За годы работы над созданием детекторов и взаимодействия с аппаратным обеспечением NVIDIA я видел множество прорывов, которые на деле оказывались лишь небольшими постепенными шагами. GPT-4 — это нечто иное. Это фазовый переход.

Возникновение рассуждения

Я провёл несколько дней, задавая ему сложные задачи по физике — такие, которые требуют не только памяти, но и настоящей ментальной модели физического мира. GPT-3.5 часто «галлюцинировал» вычисления. GPT-4 же, кажется, думает перед тем, как ответить. Он решил нелинейное дифференциальное уравнение и даже предложил более эффективный способ структурировать Python-код для анализа данных.

Мультимодальность: «глаза» машины

Самое поразительное обновление для специалиста в моей области — это визуальные способности. Я могу показать ему нарисованную от руки схему электрической цепи, и он способен описать поток сигнала и выявить потенциальные узкие места. Это уже не просто Large Language Model; он становится Large Reasoning Model.

Вычислительный барьер

Масштаб кластеров H100, которые OpenAI использует для выполнения этих вычислений, — это инженерное достижение, столь же впечатляющее, как и сам код. Мы становимся свидетелями появления инструмента, который не просто обрабатывает данные — он их интерпретирует. Для моих студентов вопрос уже не в том: «Как это запрограммировать?», а в том: «Как правильно задать вопрос?».