[Вячеслав Колосков] [Stepik] Разработка LLM с нуля (2025)
![Изображение [Вячеслав Колосков] [Stepik] Разработка LLM с нуля (2025)](https://s6.vkurse.info/attachments/1760503085062-png.68011/ "Картинка [Вячеслав Колосков] [Stepik] Разработка LLM с нуля (2025)")
Слив курса Разработка LLM с нуля [Stepik] [Вячеслав Колосков]
Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры.
Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста.
Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.
Чему вы научитесь:
Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM).
Начальные требования:
Базовые знания Python, минимальный ООП (классы, функции).
Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).
Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.
Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.
Преподаватель: Вячеслав Колосков:
Machine Learning Engineer (в телекоме)
В IT работаю более 15 лет. Последние 5 лет работаю Machine Learning Engineer (в телекоме). Много занимался большими табличками (Spark, Hadoop и пр.).
В последнее время в основном работаю с NLP и в частности разрабатываю RAG-систему на работе.
Программа курса:
Введение
Продажник:
Скачать:
Слив курса Разработка LLM с нуля [Stepik] [Вячеслав Колосков]
Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры.
Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста.
Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки.
Чему вы научитесь:
- Научитесь читать схемы архитектур основанных на Трансформерах.
- Изучите принципы проектирования современных LLM.
- Понимать алгоритм токенизации текста.
- Реализовывать ключевые компоненты GPT.
- Управлять креативностью модели.
- Собирать и подготавливать данные для обучения.
- Настраивать Pre-train цикл обучения LLM.
Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM).
Начальные требования:
Базовые знания Python, минимальный ООП (классы, функции).
Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.).
Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки.
Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации.
Преподаватель: Вячеслав Колосков:
Machine Learning Engineer (в телекоме)
В IT работаю более 15 лет. Последние 5 лет работаю Machine Learning Engineer (в телекоме). Много занимался большими табличками (Spark, Hadoop и пр.).
В последнее время в основном работаю с NLP и в частности разрабатываю RAG-систему на работе.
Программа курса:
Введение
- Инструкция
- Что такое LLM?
- Архитектура LLM
- Byte-Pair Encoding
- Эмбединги
- «Внимание»
- Feed-Forward Network
- Decoder
- Собираем GPT
- Сэмплирование
- Датасет
- Train/Eval
- Применение
- GPT-2
- LLama
- Mistral
- Mixtral
- Gemma
Продажник:
Скачать:
Симпатии:
Это понравилось DeadMoroz и Евгенийкул