Сооснователь OpenAI: масштабирование искусственного интеллекта достигло предела, будущее за умными подходами к обучению
Сооснователь OpenAI Илья Сутскевер считает, что традиционные методы масштабирования крупных языковых моделей (LLM) исчерпали себя. Для значительного прогресса в будущем ИИ-компании должны обучать модели не только на больших объемах данных, но и подходить к этому процессу умнее. В интервью Reuters Сутскевер объяснил, что фаза предобучения, основополагающая для создания таких моделей, как ChatGPT, достигла своих пределов. На этапе предобучения обрабатываются огромные объемы неструктурированных данных, чтобы выявить языковые паттерны и структуры. Ранее увеличение масштабов обучения — например, использование бОльших объемов данных — обеспечивало более мощные и способные модели. Но теперь это у . . . .