Sherpa AI Server
Sherpa AI Server - платформа для использования ИИ в корпоративной среде
Большие языковые модели LLM в закрытом контуре. Живые диалоги в стиле ChatGPT
Безопасность, конфиденциальность, мониторинг и персонализация
Sherpa AI Server
Sherpa AI Server — это платформа для эффективного использования больших языковых моделей внутри корпоративных сред. Sherpa AI Server можно использовать как самодостаточный инструмент работы с нейросетями или в связке с роботами Sherpa RPA для решения ваших бизнес-задач.
Создавайте интеллектуальных чат-ботов, основанных на вашей информации с защитой несанкционированного доступа к данным.
Sherpa AI Server поможет ощутимо экономить время и силы, решая рутинные задачи. Умные чат-боты делают за пару мгновений то, что может занять долгие часы.
Большие языковые модели LLM в закрытом контуре
Используйте большие языковые модели для автоматизации бизнес-процессов. В Sherpa AI Server встроены более 500 больших языковых моделей (LLM). Продукт полностью локальный, устанавливается в закрытом контуре компании, работает без доступа в интернет.
Обогащение модели LLM большим объемом своих данных
Используйте возможности работы с вашими данными: загрузите базу знаний, корпоративные документы в любом формате и количестве (объем ограничен только мощностью компьютера или сервера), используйте API-интеграцию с вашими корпоративными системами. Ваши данные обеспечат ответы на запросы пользователей по содержимому ваших корпоративных документов и систем.
Живые диалоги с пользователями в стиле чата GPT
Благодаря подключенным оффлайн-моделям ИИ продукт Sherpa AI Server дает возможность получать ответы на любые запросы пользователя для решения бизнес-задач. Работайте с нашей мультимодальной моделью: задавайте вопросы текстом, загружайте документы, таблицы и изображения для анализа. Мы поддерживаем многопользовательский и многопоточный режим. Несколько вариантов ведения диалога: “диалог с памятью”, поиск по документам, полнотекстовый поиск, новые диалоги с заданным заранее промтом.
Технические характеристики
Архитектуры LLM:
LLaMA & LLaMA-2, GPT-J, MPT, OPT, Qwen, MPT, Mistral, GPT-NeoX, Falcon, StarCoder, StableLM, Flan T5 и т.д.
Производительность:
в 3 раза выше чем TGI и до 20 раз выше чем Hugging Face (HF)
Железо:
CPU only, CPU + GPU, GPU only, виртуализация и контейнеры
Методы квантования:
BitsAndBytes, GPTQ, AWQ, GGML, GGUF
Размерности квантования:
от 3 до 16 бит
Технологии:
Streaming, Batching, Paged Attention, Parallel Sampling, Beam Search, Tensor Parallelism, Sliding Window (контексты до 128k)
Эмбеддинги:
Bert, Sentence Transformers, SBERT, Llama, T5
Совместимость с библиотеками:
LangChain, LlamaIndex, PyTorch, TensorFlow и т.д.
Файн-тюнинг и адаптеры:
PEFT-совместимые, например LoRa / QLoRa
Возможности Sherpa AI Server
Большие языковые модели (LLM) в закрытом контуре
Выбор из более 300 доступных языковых моделей
Ответы на вопросы по вашим документам
Интеграция с Sherpa RPA - работа с LLM из сценариев роботов
Работа с голосом и изображениями. Длина контекста до 128 тысяч токенов на «обычном» железе
Безопасность, конфиденциальность, мониторинг, аудит
Безопасность данных
Как защитить данные? Не делиться ими
- Никакие данные не передаются и не раскрываются;
- Данные хранятся только на ваших серверах;
- Продукт полностью локальный, а не облачный
- Развертывание по принципу «включай и работай».
Соблюдайте нормативные требования
Sherpa AI Server не подпадает под запрет ФСТЭК для объектов критической инфраструктуры.
Защищает от ответственности по передаче третьим лицам персональных данных, банковской, коммерческой и финансовой тайны – все хранится в контуре организации.
Отвечает требованиям служб ИБ
Снимает возражения со стороны корпоративных служб информационной безопасности к нейросетям и большим языковым моделям - разработка собственных корпоративных ботов ведется в закрытых контурах организации.
Зачем компаниям ИИ в закрытом контуре?
Разрабатывайте умных чат-ботов
- Чат-бот для сотрудников компании;
- Чат-бот для поддержки клиентов;
- Чат-бот в стиле ChatGPT с историей и диалогами;
- Чат-бот для ответов по содержимому корпоративных документов и баз знаний
Создавайте конструкторы для документов
- Генератор договоров;
- Генератор вакансий;
- Конструктор отчетов;
- Конструктор аналитических записок
Решайте задачи извлечения данных
- Извлечение структурированных и неструктурированных данных из документов;
- Извлечение данных из сканированных документов и их заведение в информационные системы
Используйте ИИ для генерации контента
- Генерация контент-планов;
- Генерация постов, статей, обзоров;
- Генерация комментариев, пресс-релизов;
- Генерация email-писем, рассылок, презентаций
Делайте семантический анализ и анализ тональности
- Семантический анализ;
- Анализ тональности комментариев и отзывов клиентов
Поддержка корпоративных изменений
- Текстовый и голосовой BI (Business Intelligence) для корпоративных данных;
- Массовое копирование правок документов;
- Отслеживание и поддержка изменений нормативной документации
Интеллектуальные нейросотрудники
- Не следуют чётким сценариям для достижения цели;
- Выбирают и используют вспомогательные инструменты – браузер, файловую систему, свободное ориентирование в программах на экране компьютера, другие нейросети для работы с картинками и видео, API различных систем;
- Обладают кратковременной памятью в границах окна контекста;
- Обладают долговременной памятью – что делали, что видели, что получилось – и могут выборочно получать нужные данные из памяти;
- Способны к критическому мышлению и саморефлексии;
- Учатся на примерах пользователя и допускают обратную связь во время работы.
Нейросеть отвечает по ВАШИМ данным и документам
Кейсы Sherpa AI Server
Кейс. Робот-юрист по налоговому праву
Функционал:
- Робот консультирует пользователей в Telegram
- Предметная область: налоговое законодательство
- Робот протоколирует вопросы и ответы всех пользователей для последующей оценки
- Робот собирает оценки ответов непосредственно у пользователей и использует их для повышения качества ответов
Результат:
86% — ответов пользователи посчитали полезными
340 — человеко-часов в месяц сэкономлено
22% — увеличение кол-ва клиентов за счет wow-эффекта от новой технологии
Кейс. Робот-консультант по кадровым вопросам
Функционал
- Консультирует собственных сотрудников компании в MS Teams;
- Робот должен отвечать на общие вопросы о правилах о правилах начисления зарплат и премий, отпусках, отгулах, компенсационных выплатах, заменах, сверхурочных и т.д.;
- Робот должен отвечать на конкретные вопросы о начислениях и зарплате сотрудника, рассчитывать отпускные и больничные;
- Робот должен по запросу оформлять запросы на выдачу справок, доступов к информационным системам и одобрение отгулов.
Результат
50% — типовых запросов сотрудников были решены без помощи человека
80% — сотрудников оценили внедрение робота положительно
Кейс. Робот-оператор ITSM поддержки
Функционал
- Робот берет в работу тикеты в SD которые на него перевел робот-квалификатор;
- Робот должен обрабатывать запросы первой и второй линий и давать четкие ответы для решения проблемы сотрудников, при необходимости задавая уточняющие вопросы;
- В случае если требуется физическое присутствие человека, робот эскалируют задачу на третью линию поддержки;
- Робот должен соответствовать требованиям SLA и всем принципам ITIL. Робот должен работать 24\7.
Результат
В 12 раз — увеличилась скорость обработки тикетов
65% — снижение затрат на ITSM (ФОТ и лицензии)
55% — улучшилось качество обработки тикетов (SLA)
Запросить демонстрацию
- Проводим аудит бизнес-процессов компании
- Рассчитываем экономию
- Настраиваем робота и отдаем на тестовую эксплуатацию