A Apple introduziu vários modelos de linguagem de grande dimensão de fonte aberta, designados OpenELM ou Open-source Efficient Language Models, para promover e melhorar a comunidade de investigação aberta e contribuir para futuros projectos de investigação.
Os modelos OpenELM, lançados na plataforma da comunidade de partilha de códigos de IA, Hugging Face Hub, têm a particularidade de funcionar no dispositivo e não em servidores na nuvem. De acordo com a Bloomberg, a Apple tem como objetivo um sistema operacional totalmente no dispositivo, com a tecnologia de modelos de linguagem de grande dimensão alimentada pelo processador interno do iPhone em vez de tecnologias de nuvem.
A Apple mencionou a presença de quatro modelos OpenELM distintos - quatro que são pré-treinados e quatro que são ajustados por instruções. Estes modelos têm tamanhos diferentes, sendo que o maior modelo contém 3 mil milhões de parâmetros e os outros têm parâmetros que variam entre 270 milhões e 1,1 mil milhões. O gigante tecnológico salienta que todos os modelos utilizam uma estratégia de escalonamento por camadas para uma afetação eficiente dos parâmetros em cada camada do modelo do transformador, o que conduz a uma maior eficiência e precisão.
Em relação às práticas anteriores, o lançamento da Apple não só inclui os pesos do modelo e o código de inferência, como também fornece a estrutura completa para treinar e avaliar o modelo de linguagem em conjuntos de dados disponíveis publicamente. Isto também inclui registos de treino, vários pontos de verificação e configurações de pré-treino.
Além disso, a Apple deverá apresentar o iOS 18, equipado com capacidades de IA, na muito aguardada Worldwide Developers Conference.
