Запуск больших языковых моделей (LLM) на персональных компьютерах становится все более популярным. В ответ на этот тренд компания AMD представила приложение Gaia — проект с открытым исходным кодом, позволяющий запускать LLM на любых компьютерах с Windows.
Gaia предназначена для работы с различными моделями LLM на ПК с Windows и оптимизирована для процессоров Ryzen AI, включая Ryzen AI Max 395+. Приложение использует открытый исходный код Lemonade SDK от ONNX TurnkeyML для вывода LLM.
Модели, работающие с Gaia, могут адаптироваться для различных задач, таких как обобщение информации и решение сложных указаний.
Gaia функционирует через агента Retrieval-Augmented Generation (RAG), который объединяет LLM с базой знаний. Это позволяет LLM предоставлять более точные и контекстуально зависимые ответы, а также создавать интерактивный опыт для пользователей.
В настоящее время RAG включает четыре агента: Simple Prompt Completion — для тестирования и оценки модели. Chaty — чат-бот, который взаимодействует с пользователем.
Clip — агент, который ищет информацию на YouTube и отвечает на вопросы. Joker — генератор шуток, добавляющий юмор в общение с чат-ботом. Gaia работает, предоставляя специфические задачи для LLM через Lemonade SDK и поддерживая их в различных средах выполнения.
Она открывает веб-сервис LLM, который взаимодействует с приложением Gaia через совместимый с OpenAI REST API. Gaia также извлекает и обрабатывает данные, векторизует внешний контент (например, из GitHub, YouTube и текстовых файлов) и сохраняет его в локальном векторном индексе.
Это означает, что Gaia может улучшать запросы пользователей перед их обработкой LLM, что повышает точность и релевантность ответов.
Новый чат-бот AI имеет два установщика: основной, который работает на любом ПК с Windows, и «гибридный», оптимизированный для ПК с Ryzen AI.
Гибридный установщик позволяет Gaia использовать вычисления на нейронном процессоре (NPU) и интегрированной графике Ryzen AI для повышения производительности. Gaia становится одним из новых игроков на рынке локализованных приложений LLM, таких как LM Studio и ChatRTX.
Локальный запуск LLM имеет значительные преимущества по сравнению с облачными решениями, включая большую безопасность, меньшую задержку и, в некоторых случаях, лучшую производительность, в зависимости от аппаратного обеспечения.
Кроме того, локальные LLM могут работать в автономном режиме и не требуют подключения к Интернету.