IT-бауырсақи

Forwarded from FSCP

Ну что, дождались! OpenAI выкатил новую супер-модель.

o1 отличается от предыдущих моделей встроенной способностью к "рассуждениям" (reasoning). В модель "вшита" способность к логическим выводам и самокритике/саморефлексии через chain of thought. Полный отчет по модели можно скачать тут. Модель уже доступна для всех разработчиков с доступом к API tier-5, но скоро будет доступна и в бесплатной версии GPT.

Выводы:

1. Скейлинг работает. Больше денег, больше данных = круче модель. Ужасные рассказы о том, что LLM уперлись в потолок снова оказались просто разговорами. Вместо скейлинга pre-training, теперь скейлится test time compute (то бишь инференс).

2. В точных задачах, типа математики o1 показывается в 7-8 раз круче результаты, чем gpt4o. В коде — в 8-9 раз. В задачкаъ по химии, физике — около 15% прироста.

3. OpenAI прямо зуб дают, что математические способности o1 не хуже, чем у победителя международной олимпиады по математике, а по точным наукам типа физики она работает не хуже кандидата наук.

4. В принципе, закиданный всеми на прошлой неделе в твиттере помидорами Reflection70B делал то же самое. Но не сделал. А Сэм — мужик. Сэм взял и сделал.

5. Стоит $60 за миллион токенов, а значит интеллект у нас теперь достанется только богатым.

6. Это пока что дорогая и медленная модель. Но именно используя эту новую парадигму ("думай, а потом говори"), OpenAI за ближайшие годы сделает o1 в десятки или даже сотни раз дешевле, быстрее и умнее.

7. "o1 думает, но думает несколько секунд. в будущих версиях она будет думать над сложными задачами несколько часов, дней или даже недель" OpenAI

Источник: https://t.me/cryptoEssay/1965

_________________

Официальный советы по промпт-инженерингу o1:

Держите промпты простыми и прямолинейными: модель o1 превосходно понимает и отвечает на краткие, четкие инструкции без необходимости в обширных объяснениях

Избегайте промптов с цепочкой рассуждений (речь про Chain Of thoughts и «думай шаг за шагом»):
так как модель выполняет логические выводы внутри себя, не нужно побуждать ее «думать шаг за шагом» или «объяснять своё рассуждение вслух»

Используйте разделители для ясности: используйте разделители, такие как тройные кавычки ```, XML-теги или заголовки разделов, чтобы четко обозначить разные части ввода, помогая модели правильно интерпретировать различные секции

Ограничьте дополнительный контекст при генерации с RAG:
при предоставлении дополнительного контекста или документов включайте только самую релевантную информацию, чтобы предотвратить усложнение ответа моделью

***

Это интересно, то есть промпт-инженеринг в такой модели уже совсем не нужен, кроме систематизации данных – жду не дождусь доступа

Видимо, в gpt5 уже и промпты не нужны будут, да?

Источник: https://t.me/denissexy/8734

_____________________
Я закончил пока тестировать o1, вот мои рекомендации и мысли:

• o1 нужна для крупных задач – для диплома, ресеча, и тп. Особого смысла использовать ее ее вместо gpt4o для простых задач – нет, она может думать больше минуты

• Промпт инжиниринг не требуется (он даже может ухудшить результат)

• Контекст должен предоставляться в формате тикета задачи (ну как будто вы в Jira ставите коллеге)

• Разделители контента для вашего контекста ```, *** и <tag>ваш специфичный текст</tag> – обязательны, модель должна понимать когда вы даете данные для «примера» и тп.

• o1 всё ещё допускает ошибки, как и любая другая модель уровня SOTA

• o1 работает лучше всего, когда нужно провести какое-то исследование или решить «высокоуровневую задачу», вот пример задачи которая мне особенно понравилась:

– Я давно хочу какую-то анимацию в шапку нашего сайта, но это такая мелочь, что я всегда отодвигаю ее на потом. Я скормил ей описание проекта, фич и что хотел бы от нее получить, палитру цветов и тп, и она начала выдавать очень симпатичные варианты

– Это пока лучшая модель для маркетинговых стратегий и всякого такого, так как она правда старается выдать качественный результат; в моделях прошлых поколений приходи <...>
@F_S_C_P

Стань спонсором!

Openai

Introducing OpenAI o1

93 views11:47