Новая модель от Guide Labs
Стартап Guide Labs из Сан-Франциско только что представил свою свежую разработку в области искусственного интеллекта. Они выпустили открытую языковую модель Steerling-8B, которая пытается решить одну из старых проблем ИИ — интерпретируемость. Интересно, что архитектура этой модели позволяет отследить каждый токен до его исходных данных обучения.
Характеристики Steerling-8B
Steerling-8B — это модель с 8 миллиардами параметров, созданная руками сооснователей Guide Labs: CEO Джулиуса Адебайо и главного научного сотрудника Аи Абдельсалама Исмаила. Она призвана помочь разобраться, почему ИИ принимает те или иные решения, что особенно актуально для более сложных систем вроде Grok или ChatGPT, которые могут иногда выдавать непонятные или ошибочные результаты.
Архитектура модели
Основой Steerling-8B стала новая архитектура, в которой разработчики внедрили так называемый «слой концепций». Этот слой группирует данные по определённым категориям, что требует больше предварительной разметки. Для этой задачи используются другие ИИ-модели. Такой подход позволяет лучше понимать, откуда модель черпает факты, а также как она воспринимает юмор и гендерные вопросы.
Зачем нужна интерпретируемость?
Интерпретируемость — ключевой момент для многих областей. В контексте пользовательских LLM это может помочь заблокировать использование защищённых авторским правом материалов или обеспечивать лучший контроль за темами, связанными с насилием. В регулируемых сферах, таких как финансы, модели, анализирующие заёмщиков, смогут сосредоточиться только на финансовых данных, игнорируя расу. В науке это также полезно, ведь понимание того, почему ИИ находит успешные решения, может сыграть важную роль, как, например, в случае со свёртыванием белков.
Будущие планы Guide Labs
Guide Labs утверждает, что их Steerling-8B демонстрирует 90% возможностей существующих моделей, но при этом требует меньше данных для обучения благодаря своей уникальной архитектуре. Этот стартап, вышедший из Y Combinator и получивший $9 миллионов инвестиций в ноябре 2024 года, намерен создать более крупную модель и предложить пользователям API-доступ.
