Нейросети и данные

Какую нейросеть выбрать для бизнеса: критерии и проверка на своих задачах

Коротко
  • Универсально лучшей нейросети нет: выбор зависит от задачи, от того, какие данные увидит модель, и от объёма запросов.
  • Бизнесу доступны три группы: зарубежные облачные модели, российские облачные и открытые модели на своих серверах.
  • Сначала список сужают по требованиям к данным и 152-ФЗ, затем 2–3 кандидата сравнивают на 30–100 ваших реальных примерах.
  • Считать нужно стоимость владения: объём и длину запросов, разработку, сопровождение и цену исправления ошибок.
  • Архитектуру стоит строить так, чтобы модель можно было заменить, не переписывая интеграции.

Какую нейросеть выбрать для бизнеса, зависит от задачи, от того, какие данные будет видеть модель, и от того, сколько запросов в день вы планируете: универсально лучшей модели нет. Практичный путь — сузить список по требованиям к данным, а затем сравнить 2–3 кандидата на ваших реальных примерах. Рейтинги и анонсы помогают составить список, но не заменяют проверку.

Какие нейросети доступны бизнесу

Модели удобно делить не по брендам, а по тому, где они работают и кто отвечает за данные.

  • Зарубежные облачные модели. Семейства GPT (OpenAI), Claude (Anthropic), Gemini (Google). Сильны на сложных задачах: анализ длинных документов, многошаговые рассуждения, работа с инструментами. Для российской компании важно другое: доступность сервиса в стране определяет провайдер, поэтому условия использования и договорную схему проверяют до старта. Передача им персональных данных — трансграничная.
  • Российские облачные модели. YandexGPT в Yandex Cloud и GigaChat от Сбера. Данные обрабатываются в России, договор заключается с российским юрлицом. Качество на ваших задачах проверяют так же, как у любых других моделей.
  • Открытые модели. Семейства Llama, Qwen, Mistral и другие с открытыми весами. Их можно запустить на своём или арендованном сервере, и данные не покинут ваш контур. Качество зависит от размера модели, а размер — от оборудования. Когда такой вариант оправдан, подробно разбираем в статье про нейросеть на своём сервере.

Внутри каждого семейства есть старшие модели — медленнее и дороже, но сильнее — и младшие: быстрые и дешёвые, для простых задач. Выбор конкретной модели внутри семейства часто важнее, чем выбор провайдера.

Какую нейросеть выбрать: пять критериев

Качество на ваших задачах

Общие рейтинги измеряют то, что важно их авторам: задачи по программированию, математике, знаниям на английском. Вам важно другое: насколько модель понимает ваши формулировки на русском, соблюдает инструкции, выдаёт ответ в нужном формате для CRM или 1С, справляется с длинными документами и честно говорит «не знаю», когда ответа нет. Это проверяется только на ваших примерах.

Где обрабатываются данные

Если модель будет видеть персональные данные, коммерческую тайну или документы заказчиков, этот критерий отсекает часть вариантов ещё до проверки качества. От него зависит, нужен ли договор поручения обработки, есть ли трансграничная передача, где хранятся журналы запросов. Требования закона разобраны в статье «ИИ и 152-ФЗ».

Стоимость владения

Цена одного запроса — только часть затрат. На итог влияют число запросов, их длина (документ в запросе может быть в десятки раз длиннее самого вопроса), затраты на разработку и сопровождение и цена ошибок. Дешёвая модель, после которой сотрудник переделывает, скажем, каждый пятый ответ, может обойтись дороже сильной.

Условный пример. Бот поддержки ведёт 3 000 диалогов в месяц, в каждом в среднем 6 реплик, и к каждой реплике подкладываются фрагменты базы знаний. Затраты на модель в месяц = 3 000 × 6 × стоимость одного запроса с учётом длины этих фрагментов. Если более дешёвая модель ошибается чаще и ошибки исправляет оператор, добавляется вторая часть: число ошибок × время на исправление × стоимость часа оператора. Сравнивать модели нужно по сумме обеих частей.

Скорость ответа

В чате с клиентом важны секунды: долгую паузу человек воспринимает как сбой. При ночной обработке документов скорость отдельного ответа почти не важна, важна общая пропускная способность. Крупные модели отвечают медленнее, поэтому для живого диалога часто берут модель среднего размера.

Надёжность и интеграция

Стабильность API и ограничения на число запросов, поддержка вызова функций и структурированного ответа, настройки хранения запросов, документация, договор и закрывающие документы. Для российской компании последнее нередко решает не меньше, чем качество.

Перед выбором стоит получить от провайдера ответы на несколько вопросов:

  • где физически обрабатываются и хранятся запросы;
  • сколько хранятся журналы запросов и можно ли отключить хранение;
  • используются ли ваши запросы для обучения моделей;
  • какие действуют ограничения на число запросов и что происходит при их превышении;
  • как заранее провайдер предупреждает о выводе моделей из эксплуатации;
  • готов ли он подписать договор поручения обработки персональных данных.

Сравнение трёх вариантов

КритерийЗарубежные облачныеРоссийские облачныеОткрытые на своём сервере
Где обрабатываются данныеЗа рубежомВ РоссииВ вашем контуре
152-ФЗ при персональных данныхПоручение и трансграничная передачаПоручение обработкиОбязанности оператора без передачи третьим лицам
Качество на сложных задачахКак правило, высокое у старших моделейПроверять на своих задачахЗависит от размера модели и оборудования
Срок запускаДниДниНедели
Модель затратОплата за объём запросовОплата за объём запросовОборудование или аренда плюс сопровождение
Главные рискиДоступность в стране, изменение условий, трансграничная передачаЗависимость от одного провайдераНужна своя экспертиза, ограничения по качеству

Какая модель под какую задачу

ЗадачаЧто важнее всегоНа что смотреть
Чат-бот для клиентов на сайте или в TelegramСкорость, русский язык, стоимость диалогаБыстрые модели среднего размера и ответы по базе знаний
Извлечение данных из счетов и договоровТочность полей, строгий форматПроверка на ваших сканах и шаблонах документов
Анализ звонков и перепискиОбъём, стоимость обработкиНедорогие модели, пакетная обработка
Анализ договоров, сложная аналитикаКачество рассужденийСтаршие модели и обязательная проверка человеком
Внутренний ассистент с конфиденциальными документамиГде обрабатываются данныеРоссийское облако или модель на своём сервере

Одна компания вполне может использовать две-три модели под разные задачи. Например, интернет-магазин отвечает клиентам быстрой облачной моделью, а договоры с поставщиками разбирает старшей моделью с проверкой юристом.

Как проверить модели на своих примерах

  1. Соберите 30–100 реальных примеров: обращения клиентов, документы, расшифровки звонков. Включите сложные случаи и вопросы, на которые правильный ответ — «нет данных». Персональные данные в тестовом наборе замаскируйте.
  2. Для каждого примера запишите эталон: правильный ответ или правильно заполненные поля.
  3. Дайте всем кандидатам одинаковую инструкцию. Если для одной модели вы полдня подбирали формулировки, а для другой нет, сравнение будет нечестным.
  4. Оцените результат по нескольким показателям: правильность, соблюдение формата, частота выдумок, ответы «не знаю» там, где это уместно, время ответа, стоимость прогона.
  5. Пусть ответы оценивают эксперты из вашей команды, не зная, какая модель что ответила.
  6. Сохраните набор. Он понадобится при каждом обновлении модели и при появлении новых кандидатов.

Хороший тестовый набор похож на реальную работу, а не на экзамен. Если бот будет отвечать клиентам интернет-магазина, берите настоящие письма с опечатками, несколькими вопросами в одном сообщении и раздражённым тоном. Если модель будет разбирать счета, включите плохие сканы и документы нестандартного вида: именно на них модели различаются сильнее всего.

Обычно такое сравнение занимает несколько дней — заметно меньше, чем переделка проекта под другую модель.

Не привязывайтесь к одной модели

Модели обновляются несколько раз в год, провайдеры меняют условия и снимают старые версии с поддержки. Поэтому в архитектуре стоит предусмотреть отдельный слой, через который все сценарии обращаются к моделям. Для этого используют библиотеки вроде LangChain и LlamaIndex или собственный модуль.

Такой слой даёт три преимущества. Модель можно заменить, не переписывая интеграции с CRM и 1С. Запросы можно направлять разным моделям в зависимости от сложности и типа данных. А при сбое у основного провайдера система может переключиться на запасную модель.

Где выбор модели не решает проблему

  • Неподготовленные данные. Если база знаний устарела или противоречит сама себе, сильная модель будет уверенно повторять устаревшие сведения.
  • Неясный процесс. Если непонятно, кто и как проверяет результат, любая модель создаст больше хаоса, чем пользы.
  • Ожидание безошибочности. Любая модель иногда ошибается, выбор влияет лишь на то, как часто и в чём. Как снижать число ошибок, разбираем в статье про галлюцинации нейросетей.
  • Выбор по рейтингам. Победитель общего рейтинга может проиграть на ваших документах более простой и дешёвой модели.
  • Ставка на один сервис без запасного плана. Доступность и условия облачных сервисов меняются, поэтому полезно заранее знать, на какую модель вы переключитесь.

С чего начать

  1. Опишите 1–2 задачи, с которых начнёте, и отметьте, какие данные увидит модель.
  2. По требованиям к данным оставьте подходящие группы моделей и выберите в них 2–3 кандидата.
  3. Соберите тестовый набор и сравните кандидатов по описанной схеме.
  4. Посчитайте стоимость владения на ваших объёмах, а не на одном запросе.
  5. Запустите пилот на одном процессе и заложите в архитектуру возможность замены модели.

Подбор и сравнение моделей на ваших данных, подключение их к CRM, 1С и базе знаний входят в услугу интеграции нейросетей в бизнес-системы. На бесплатном аудите разберём ваши задачи и предложим 2–3 варианта для проверки.

Частые вопросы

Можно ли использовать несколько нейросетей одновременно?
Да, и это частая схема: простые запросы обрабатывает быстрая недорогая модель, сложные — более сильная, а запросы с конфиденциальными данными — модель в вашем контуре.
Российские модели лучше понимают русский язык?
Российские модели разрабатывались с упором на русский язык, но крупные зарубежные и часть открытых моделей тоже хорошо с ним работают. Разницу на ваших текстах покажет только проверка на своих примерах.
Как часто пересматривать выбор модели?
При выходе новых версий у вашего провайдера и при заметном изменении задач. Сохранённый набор примеров позволяет за день сравнить новую модель с текущей.
Подойдёт ли для работы бесплатная версия чат-бота?
Для личных экспериментов — да, для рабочих данных — как правило, нет. Условия хранения данных у потребительских версий часто не рассчитаны на корпоративные требования, а подключения к вашим системам там нет.