Как устроен ChatGPT: лекция Стэнфорда, главное за 50 минут

Как понять, что всё сработало

Признаков два. Первый: в меню шестерёнки напротив пункта «Звуковая дорожка» стоит «Русский». Второй: чат на твой вопрос ответил тремя предложениями, а не простынёй с подзаголовками

Если чат всё равно ответил длинно, значит строка потерялась: вставь её в начало нового чата, а не в середину старого разговора

Лекция по таймкодам: что говорят и что взять себе

Лекция идёт в аудитории Стэнфорда, студенты перебивают вопросами, и это полезно: они спрашивают то же, что спросил бы ты. Если времени мало, смотри два отрезка: 03:00-18:50 (как модель угадывает текст) и 59:40-1:33:40 (как из неё делают ассистента и проверяют), вместе около 50 минут

Шесть мыслей лекции простыми словами

Ниже конспект в том порядке, как его даёт Янн Дюбуа. Термины перевожу сразу, цифры привожу так, как их называет лектор на лето 2024 года

1. Нейросеть угадывает следующий кусочек текста (03:00-10:50). В основе ChatGPT и Claude модель, которая на каждом шаге решает одно: какое слово вероятнее всего идёт дальше. Пример лектора: после «она, скорее всего, предпочитает» модель взвешивает варианты и может выбрать «собак». Выбрала, приписала к тексту и снова угадывает следующее. Отсюда простое следствие, которое лектор называет вслух: чем длиннее ответ, тем дольше он печатается, потому что каждый кусочек считается отдельно

2. Текст режется не на слова, а на токены (10:50-18:50). Это кусочек текста, в среднем 3-4 буквы английского. Слово целиком нельзя: опечатка сломала бы его, а в тайском языке вообще нет пробелов. По буквам тоже плохо: текст станет слишком длинным. Поэтому модель заранее склеивает частые сочетания букв в один кусочек:

Я проверил это на словаре, которым пользуются новые модели OpenAI:

Отсюда два вывода. Русский текст дробится мельче английского, поэтому тот же разговор на русском съедает больше кусочков. А числа модель видит не по цифрам, как мы, и лектор прямо говорит, что из-за этого ей трудно с арифметикой

3. Знания модели это очищенный интернет (28:20-40:30). Сначала скачивают почти весь открытый интернет, около 250 млрд страниц и примерно петабайт данных. Потом долго чистят: вытаскивают текст из разметки, выкидывают вредное и личные данные, удаляют повторы, отсекают мусорные страницы. Хорошие страницы ищут хитро: учат простую модель отличать сайты, на которые ссылается Википедия, от случайных. Код и книги добавляют больше, потому что после кода модель лучше рассуждает, развлекательное берут меньше. Llama 3, лучшую открытую модель на момент лекции, учили примерно на 15 трлн токенов. Как компании собирают данные, они не рассказывают: это их главный секрет и риск судов за авторские права

4. Больше данных и больше модель дают предсказуемо лучший результат (40:30-59:40). Это называется законы масштабирования: по маленьким моделям заранее считают, насколько лучше станет большая. Параметры это числа внутри модели, которые подкручиваются при обучении, у больших моделей их сотни миллиардов. Исследование Chinchilla вывело пропорцию около 20 токенов текста на каждый параметр. Прикидка лектора по Llama 3 на 405 млрд параметров: около 70 дней на 16 000 видеокартах, примерно 52 млн долларов за аренду железа и 25 млн на зарплаты команды. Его совет из этой части: не усложняй, делай простые вещи хорошо

5. Ассистентом модель делают дообучением на ответах людей (59:40-1:09:30). Голая модель после интернета не отвечает, а продолжает текст. Пример из лекции: на просьбу объяснить высадку на Луну шестилетнему старая GPT-3 выдавала похожие вопросы, как в списке вопросов в интернете. Чтобы она отвечала, её доучивают на парах «вопрос и правильный ответ», написанных людьми. Знаний это почти не добавляет, только учит формату: в работе LIMA рост с 2 000 до 32 000 примеров почти ничего не дал. В Стэнфорде так сделали Alpaca: из 175 примеров людей старая модель OpenAI нагенерировала 52 000 похожих

Отсюда же, по гипотезе, которую приводит лектор (1:10:30-1:12:05), растут выдумки. Если человек в обучающем ответе сослался на книгу, которую модель никогда не видела, модель учится не «вспоминать источник», а «писать правдоподобную ссылку». Так появляются уверенные несуществующие цитаты и книги, подробнее в разборе почему нейросети выдумывают

6. ChatGPT доучили на оценках людей, и от этого ответы длиннее (1:09:30-1:33:40). Людям трудно написать идеальный ответ, но легко выбрать лучший из двух. Поэтому модели дают два ответа на один вопрос, человек выбирает, а модель учится чаще выдавать то, что выбирают. Ровно так OpenAI сделала ChatGPT из GPT-3:

Подвох в том, что люди при выборе смотрят на форму. Из двух похожих ответов большинство выберет более длинный, даже если короткий точнее. Модель это выучивает, и после такого дообучения ответы растут. Лектор говорит прямо: если тебя раздражают длинные ответы ChatGPT, причина в этом

Проверяют готовых ассистентов тоже людьми. В ChatBot Arena обычные пользователи вслепую говорят с двумя чат-ботами и выбирают, кто ответил лучше. У дешёвого заменителя такого суда AlpacaEval, где судит другая модель, рейтинг моделей на 98% совпадает с рейтингом ChatBot Arena, но любит многословие: у GPT-4 с просьбой «отвечай подробно» доля побед над самой собой росла с 50% до 64,4%, а с просьбой «отвечай кратко» падала до 20%. Как читать такие рейтинги без самообмана, есть в разборе бенчмарков ИИ

Что из лекции применить в своём чате

Лекция для студентов-программистов, но три вывода работают у любого, кто пишет в ChatGPT, Claude или Алису. Все три фразы мои: я перевёл мысли лекции в текст, который можно вставить в чат

Приём 1. Короткий ответ. Строка из начала статьи. Она снимает привычку к длине, которую модели дало обучение на оценках людей. Что даёт: читаешь суть, а не вступление и повтор вопроса

Приём 2. Отметка уверенности. Когда просишь книги, исследования или цитаты, попроси модель саму пометить, в чём она не уверена:

Назови 3 книги на русском о том, как устроены нейросети, с автором и годом издания. Про каждую честно отметь: «уверен, что такая книга есть» или «не уверен, проверь». Не придумывай ссылки и названия, которых не знаешь точно.

Что увидишь: рядом с каждой книгой пометку уверенности. Что это даёт: сразу видно, что проверить в поиске перед тем, как кому-то пересылать. Пометка не гарантия: модель может ошибиться и в ней, поэтому названия и годы всё равно сверяй

Приём 3. Числа по шагам. Модель видит число кусками, поэтому большие числа в уме она считает ненадёжно. Проси расписать:

Сколько будет 4738 умножить на 2961? Не считай в уме одним махом: распиши умножение столбиком по шагам и в конце проверь результат обратным действием.

Что увидишь: умножение по разрядам и проверку делением, итог 14 029 218. Что это даёт: ошибка, если она есть, видна на конкретном шаге, а не прячется в итоговой цифре

Токены считают и в лимитах: как растянуть лимит Claude Code, разобрано в статье как экономить лимит. А если нужна основа совсем с нуля, без лекций, начни с разбора что такое нейросеть

Сколько это стоит и устарела ли лекция

Смотреть лекцию бесплатно, вход в аккаунт YouTube не нужен. Для трёх приёмов выше хватит любого чат-бота, чем ChatGPT отличается от Claude, есть в сравнении ChatGPT и Claude

Лекция записана в 2024 году. Названные в ней модели и цифры (GPT-4, Llama 3, цены аренды видеокарт) с тех пор устарели, а устройство, которое она объясняет, то же самое: и ChatGPT, и Claude по-прежнему угадывают текст по кусочкам и доучиваются на ответах и оценках людей

Как смотреть по-русски: три пути

Нужен русский голос. Автоматическая озвучка уже есть у самой лекции. В браузере на русском она включается сама, иначе: шестерёнка «Настройки», «Звуковая дорожка», «Русский»

Нужен английский голос и русский текст. Выбери в «Звуковой дорожке» пункт «Английский (US) (оригинальная)», потом «Субтитры», «Перевести» и в списке из 156 языков «Русский»

Нужен другой перевод голосом. Любой ролик на английском Яндекс Браузер умеет переводить голосом поверх оригинала. Как это включить, показано в разборе перевода видео нейросетью. Похожий конспект доклада, только про ИИ-агентов, лежит в разборе доклада Лорен Тан

Что ломается и что делать

Окно cookie и пункт «Перевести» я видел на своём прогоне плеера, остальные строки это подсказки на случай, если увидишь такое у себя:

Источники

Страницы открыты 3 октября 2026 года. Метаданные и английская расшифровка лекции сняты с YouTube, меню плеера пройдено мной без входа в аккаунт, токены посчитаны библиотекой OpenAI tiktoken, приёмы проверены в Claude

• Лекция «Building Large Language Models (LLMs)» на YouTube - канал Stanford Online, 1:44:31, главы, английские субтитры и автоматическая озвучка
• Курс CS229 Machine Learning - страница курса Стэнфорда
• Сайт Янна Дюбуа - лектор, его работы и Alpaca
• Scaling Laws for Neural Language Models - работа OpenAI о законах масштабирования, 2020
• Training Compute-Optimal Large Language Models - работа Chinchilla, около 20 токенов на параметр
• LIMA: Less Is More for Alignment - дообучение на малом числе примеров
• Alpaca - блог Стэнфорда, 52 000 примеров из 175 написанных людьми
• Direct Preference Optimization - метод DPO, упрощение обучения на оценках людей
• AlpacaEval - автоматическое сравнение моделей и поправка на длину ответа
• Arena AI (бывшие LMArena и ChatBot Arena) - люди вслепую сравнивают два чат-бота
• Собственный прогон 3 октября 2026 года: меню плеера YouTube на русском без входа, список звуковых дорожек лекции, токены фраз и чисел в словарях o200k_base и cl100k_base, три фразы для чата в Claude

Памятка: лекция Стэнфорда о том, как устроен ChatGPT

Вернуться к лекции без статьи под рукой

Частые вопросы