Наконец, появился комплект разработчика для разработки мобильных приложений ИИ на устройствах: LEAP от Liquid AI

Liquid AI, стартап, созданный бывшими исследователями Массачусетского технологического института (MIT) для разработки новых архитектур моделей ИИ, выходящих за рамки широко используемых « Трансформеров », сегодня объявил о выпуске LEAP , также известного как «Liquid Edge AI Platform», кроссплатформенного комплекта разработки программного обеспечения (SDK), призванного упростить разработчикам интеграцию небольших языковых моделей (SLM) непосредственно в мобильные приложения.

Наряду с LEAP компания также представила Apollo — сопутствующее приложение iOS для локального тестирования этих моделей, что способствует выполнению миссии Liquid AI по внедрению эффективного ИИ, сохраняющего конфиденциальность, на потребительское оборудование.

LEAP SDK появился в то время, когда многие разработчики ищут альтернативы облачным службам ИИ из-за проблем с задержками, стоимостью, конфиденциальностью и доступностью в автономном режиме.

LEAP напрямую отвечает этим потребностям, используя локальный подход, который позволяет запускать небольшие модели непосредственно на устройстве , снижая зависимость от облачной инфраструктуры.

LEAP предназначен для разработчиков, которые хотят создавать продукты с использованием ИИ, но могут не обладать глубокими знаниями в области машинного обучения.

По данным Liquid AI, SDK можно добавить в проект iOS или Android всего с помощью нескольких строк кода, а вызов локальной модели должен быть таким же привычным, как взаимодействие с традиционным облачным API.

«Наши исследования показывают, что разработчики выходят за рамки исключительно облачного ИИ и ищут надежных партнеров, которые помогут им разрабатывать решения для устройств», — заявил Рамин Хасани, соучредитель и генеральный директор Liquid AI, в сообщении в блоге на сайте Liquid, анонсирующем эту новость сегодня. «LEAP — это наш ответ — гибкая, комплексная платформа развертывания, созданная с нуля, чтобы сделать мощный, эффективный и конфиденциальный ИИ для периферийных устройств по-настоящему доступным».

После интеграции разработчики смогут выбрать модель из встроенной библиотеки моделей LEAP, в которую входят компактные модели размером до 300 МБ — достаточно легкие для современных телефонов с объемом оперативной памяти от 4 ГБ (!!) и больше.

SDK обеспечивает локальный вывод, оптимизацию памяти и совместимость с устройствами, упрощая типичный процесс развертывания периферийных устройств.

LEAP изначально не зависит от ОС и модели. На момент запуска он поддерживает iOS и Android и совместим с собственными моделями Liquid Foundation Models (LFM) от Liquid AI, а также со многими популярными небольшими моделями с открытым исходным кодом.

Помимо выполнения моделей, LEAP позиционирует себя как комплексную платформу для обнаружения, адаптации, тестирования и развертывания SLM для использования на периферии.

Разработчики могут просматривать тщательно подобранный каталог моделей с различными вариантами квантования и контрольных точек, что позволяет им адаптировать производительность и объем памяти к ограничениям целевого устройства.

Liquid AI подчёркивает, что крупные модели, как правило, являются универсальными, в то время как малые модели часто работают лучше всего, когда оптимизированы для узкого набора задач. Унифицированная система LEAP построена на этом принципе, предлагая инструменты для быстрой итерации и развёртывания в реальных мобильных средах.

В комплект SDK также входит сообщество разработчиков, размещенное на Discord, где Liquid AI предлагает рабочие часы, поддержку, мероприятия и конкурсы для поощрения экспериментов и отзывов.

В дополнение к LEAP компания Liquid AI также выпустила Apollo — бесплатное приложение для iOS, которое позволяет разработчикам и пользователям взаимодействовать с совместимыми с LEAP моделями локально, в автономном режиме.

Первоначально это был отдельный стартап мобильного приложения, который позволял пользователям конфиденциально общаться с представителями магистратуры права на устройстве , который Liquid приобрела в начале этого года. Apollo был переработан для поддержки всей библиотеки моделей LEAP.

Apollo разработан для экспериментов с минимальными усилиями — разработчики могут «проверить вибрацией» тональность, задержку или поведение выходного сигнала модели прямо на своих телефонах, прежде чем интегрировать её в производственное приложение. Приложение работает полностью в автономном режиме, сохраняя конфиденциальность пользователей и снижая зависимость от облачных вычислений.

Независимо от того, используется ли Apollo в качестве легкого инструмента разработки или личного помощника ИИ, он отражает более широкое стремление Liquid AI к децентрализации доступа к ИИ и его выполнения.

Выпуск LEAP SDK основан на анонсе Liquid AI 10 июля LFM2 — семействе базовых моделей второго поколения, разработанном специально для рабочих нагрузок на устройствах.

Модели LFM2 выпускаются с размерами параметров 350M, 700M и 1.2B и конкурируют с более крупными моделями по скорости и точности при выполнении ряда оценочных задач.

Эти модели составляют основу библиотеки моделей LEAP и оптимизированы для быстрого вывода на центральных процессорах, графических процессорах и нейронных процессорах.

В настоящее время LEAP можно использовать бесплатно по лицензии разработчика, которая включает основной SDK и библиотеку моделей.

Liquid AI отмечает, что в будущем премиум-функции корпоративного класса станут доступны по отдельной коммерческой лицензии, но компания уже принимает запросы от корпоративных клиентов через контактную форму на своем веб-сайте.

Модели LFM2 также бесплатны для академического использования и коммерческого использования компаниями с доходом менее 10 миллионов долларов, более крупным организациям необходимо связаться с компанией для получения лицензии.

Разработчики могут начать работу, посетив сайт LEAP SDK , загрузив Apollo из App Store или присоединившись к сообществу разработчиков Liquid AI в Discord.