Apple представила несколько крупных языковых моделей с открытым исходным кодом, получивших название OpenELM или Open-source Efficient Language Models, чтобы способствовать развитию открытого исследовательского сообщества и внести вклад в будущие исследования.
Модели OpenELM, представленные на платформе сообщества по обмену кодами ИИ Hugging Face Hub, имеют уникальную особенность - они работают на устройстве, а не на облачных серверах. По данным Bloomberg, Apple стремится к тому, чтобы операционная система была полностью на устройстве, а технология больших языковых моделей работала на внутреннем процессоре iPhone, а не на облачных технологиях.
Apple упоминает о наличии четырех различных моделей OpenELM - четырех предварительно обученных и четырех настраиваемых по инструкциям. Они имеют разный размер: самая большая модель содержит 3 миллиарда параметров, а остальные - от 270 миллионов до 1,1 миллиарда. Технологический гигант подчеркивает, что все модели используют стратегию послойного масштабирования для эффективного распределения параметров внутри каждого слоя модели трансформатора, что приводит к повышению эффективности и точности.
В отличие от предыдущей практики, в релиз Apple включены не только весовые коэффициенты модели и код вывода, но и полная схема обучения и оценки языковой модели на общедоступных наборах данных. Сюда также входят журналы обучения, несколько контрольных точек и конфигурации предварительного обучения.
Кроме того, Apple представит iOS 18, оснащенную возможностями ИИ, на долгожданной конференции Worldwide Developers Conference.
