Разработка LLM с нуля [Stepik] [Вячеслав Колосков]

[Megan]

Складчина: Разработка LLM с нуля [Stepik] [Вячеслав Колосков]



Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры. Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста. Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.

Чему вы научитесь

Научитесь читать схемы архитектур основанных на Трансформерах.
Изучите принципы проектирования современных LLM.
Понимать алгоритм токенизации текста.
Реализовывать ключевые компоненты GPT.
Управлять креативностью модели.
Собирать и подготавливать данные для обучения.
Настраивать Pre-train цикл обучения LLM.
Для кого этот курс
Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM).

Начальные требования
Базовые знания Python, минимальный ООП (классы, функции).
Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).
Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.
Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.

Преподаватель: Вячеслав Колосков
Machine Learning Engineer (в телекоме)
В IT работаю более 15 лет. Последние 5 лет работаю Machine Learning Engineer (в телекоме). Много занимался большими табличками (Spark, Hadoop и пр.). В последнее время в основном работаю с NLP и в частности разрабатываю RAG-систему на работе.

Программа курса

Введение

Инструкция
Что такое LLM?
Архитектура LLM
Токены и эмбединги

Byte-Pair Encoding
Эмбединги
Transformer

«‎Внимание»‎
Feed-Forward Network
Decoder
LLM

Собираем GPT
Сэмплирование
Обучение

Датасет
Train/Eval
Применение
Другие модели

GPT-2
LLama
Mistral
Mixtral
Gemma





СКАЧАТЬ

Для просмотра скрытого содержимого вы должны зарегистрироваться