AppsConf

LLM на iOS, или Как использовать iPhone

Тренды

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Что такое LLM, какие модели существуют и как они применяются в бизнесе. Как запустить LLM на своем iPhone, интегрировать в приложение и оптимизировать ресурсы для эффективной работы моделей на устройствах Apple. Также затронем такие проблемы, как высокие затраты и безопасность.

Целевая аудитория

Middle, Senior, Startup.

Тезисы

LLM обладают огромным потенциалом, но текущий подход к их использованию сталкивается с существенными вызовами: высокая стоимость вычислений, уязвимости при передаче бизнес-данных сторонним компаниям и т. д.

Современные устройства Apple с интеграцией технологий Apple Neural Engine (ANE), Metal Performance Shaders и Core ML, способны эффективно запускать LLM локально, решая проблемы приватности и безопасности данных, закладывая фундамент для будущих возможностей локальных ИИ-агентов. Это может привести к снижению серверных расходов и разработке бизнес-приложений нового типа, например, обработка изображений, распознавание данных и многое другое.

iOS-developer.

Видео