Sherpa AI Server
Инновационная платформа, спроектированная для эффективного дообучения и использования (инференса) больших языковых моделей внутри закрытого контура корпораций
Компоненты и решаемые задачи Sherpa AI Server:
Управление офлайн-моделями: Предоставляет быстрый доступ к офлайн-моделям через веб-интерфейс пользователя, через платформу роботизации и через API для подключения внешних систем клиента.
Запуск моделей на CPU или GPU: Модели могут использоваться как с GPU, так и без него (только на CPU), обеспечивая гибкость в ресурсах. Поддерживается квантование моделей от 3 до 8 бит.
Поддержка различных моделей ИИ: Обеспечивает гибкость в выборе подходящих моделей. Платформа оптимизирована для работы с моделями размеров от 3B до 40B. Поддерживаются различные архитектуры моделей, в том числе GPT-J, LLAMA (1 и 2-я версии) и MPT. В комплект поставки входят не менее 10 тщательно отобранных моделей на базе этих архитектур, которые являются SOTA (State Of The Art – наиболее передовые) на момент поставки. Помимо этого, поставляются собственные модели Sherpa 7B и Sherpa 13B, дообученные на большом числе практических задач и поддерживающие работу с русским языком.
Векторное хранилище: Эффективно хранит и индексирует разнообразные данные и файлы, а затем позволяет получать ответы на вопросы пользователей по содержимому документов компании. API включает в себя работу с эмбеддингами для построения современных информационных систем на базе искусственного интеллекта, работающих с неограниченным объемом корпоративных данных.
Конструктор цепочек обработки: Упрощает создание пользовательских цепочек обработки данных и позволяет соединять запросы промпт-инжиниринга для различных моделей и эмбеддингов документов в единое решение.
Логирование и мониторинг: Позволяет отслеживать нагрузку и производительность системы, а также протоколировать все запросы, которые отправляли пользователи к системе, и ответы системы, для последующей модерации и контроля обоснованности использования.
Дообучение собственных моделей: Пользователи могут дообучать собственные модели, оптимизировать их под конкретные задачи.
Интеграция с платформой роботизации: Интеграция с Sherpa RPA позволяет использовать большие языковые модели в сценариях программных роботов.
Результаты использования Sherpa AI Server
Sherpa AI Server — это ключевой инструмент для оптимизации работы с ИИ, обеспечивая максимальную гибкость, эффективность и удобство в решении разнообразных задач в области искусственного интеллекта в современной компании.
Инструкция по установке Sherpa AI Server
Руководство пользователя по эксплуатации Sherpa AI Server
Лицензирование Sherpa AI Server
Лицензии на программное обеспечение Sherpa AI Server поставляются на основе подписки сроком 1 год
1 сервер с возможностью обрабатывать до 500 токенов в секунду — 500 000 рублей
Sherpa AI Server – Примеры решаемых задач
- Чат-бот для поддержки клиентов
- Чат-бот для поддержки внутренних пользователей
- Чат-бот для ответов по содержимому корпоративных документов и баз знаний
- Конструктор документов, генератор договоров, вакансий, отчётов, аналитических записок
- Робот-юрист, робот-продавец, робот-кадровик, робот-интервьювер, робот-документовед и т.д.
- Извлечение структурированных и неструктурированных данных из документов, в том числе сканированных и их заведение в информационные системы
- Генерация контент-планов, блог-постов, статей, обзоров, комментариев, пресс-релизов, дайджестов, email-писем, рассылок, презентаций и т.д.
- Генерация кода, юнит-тестов, макросов, запросов, комментариев и документации к коду
- Семантический анализ и анализ тональности комментариев и отзывов клиентов
- Текстовый и голосовой BI (Business Intelligence) для корпоративных данных
- Массовое копирование правок документов, отслеживание и поддержка изменений нормативной документации