Каждый день на созвонах звучит то, что не хочется выносить наружу: цены поставщиков, зарплаты, планы, жалобы клиентов, иногда номера договоров и телефонов. Пока разговор просто идёт, он остаётся между участниками. Как только его записывают, появляется файл. Вопрос в том, где этот файл окажется.
Что происходит с записью в облачном ассистенте
Схема у большинства ИИ-помощников для встреч одна и та же. Бот подключается к звонку или вы загружаете файл. Звук уходит на сервер сервиса, там его расшифровывают, нейросеть пишет пересказ, и результат приходит вам.
Это удобно и часто работает хорошо. Но у схемы есть цена, о которой редко думают:
- Запись физически лежит у кого-то ещё. Даже если сервис обещает удалить её, вы этого не проверите. Например, Яндекс честно пишет в справке, что запись для конспекта Алисы Про хранится 24 часа, пока готовится конспект, а потом удаляется. Это хорошая практика, но это всё равно чужой сервер.
- Голоса и содержание разговора — персональные данные. Если в созвоне участвуют клиенты или сотрудники, передача записи стороннему сервису — это передача их данных. Её нужно учитывать во внутренних документах, а иногда и согласовывать.
- Часть разговоров вообще нельзя выносить. Юристы, врачи, финансисты, переговоры о сделке: тут вопрос «где лежит запись» решает, можно ли пользоваться инструментом в принципе.
Поэтому мы решили сделать по-другому: всё то же самое, но целиком на компьютере пользователя.
Что умеет Конспект
Конспект — программа для Windows 10 и 11. Вот что она делает:
- Пишет обе стороны звонка. Микрофон и звук компьютера записываются на две дорожки, поэтому собеседник слышен в любом приложении: Телемост, Zoom, мессенджер. Когда из колонок идёт разговор, Конспект предлагает начать запись. Без согласия ничего не сохраняется.
- Расшифровывает без интернета. Русскую речь распознаёт GigaAM — открытая модель Сбера, обученная именно на русском. Английский, испанский, немецкий и другие языки распознаёт Whisper, язык определяется для каждой фразы отдельно, так что смешанная встреча тоже расшифруется. Для сербского есть своя дообученная модель.
- Различает говорящих. Каждая реплика подписана. Достаточно один раз назвать человека, и на следующих встречах Конспект узнает его голос сам.
- Пишет итог. Локальная нейросеть составляет заметки: решения, кто что делает, открытые вопросы. Итог пишется на языке встречи: английский созвон получит английские заметки. По встрече можно задать вопрос, как в чате.
- Разбирает разговор. Без нейросети считает, кто сколько говорил, где был самый длинный монолог, сколько было вопросов и перебиваний. С нейросетью разбирает встречу по методикам: продажи (SPIN, BANT), собеседование (STAR), один на один, переговоры.
- Находит личные данные. Подсвечивает в расшифровке номера карт, телефоны, паспорта, ИНН, имена и адреса. Заметки можно скопировать уже без них, например чтобы переслать коллеге.
- Расшифровывает готовые файлы и ссылки. Аудио и видео можно перетащить в окно, а видео из VK или Rutube — вставить ссылкой: скачивается только звук.
- Забирает записи звонков сам. Следит за папкой на диске, а ещё умеет брать записи из АТС по SFTP, Mango Office, UIS и телефонии Битрикс24. Провайдера опрашивает сам компьютер, нашего сервера в цепочке нет. Итоги новых звонков могут сами приходить в Telegram: звонок расшифровался — через пару минут в чате сообщение с итогами.
- Работает через Telegram. Подключаете своего бота, присылаете ему голосовое или запись — бот возвращает расшифровку. Сама расшифровка всё равно идёт на вашем компьютере, бот работает, пока Конспект запущен.
- Диктует в любое окно. Зажали Ctrl+Shift+D, сказали фразу, отпустили — текст с запятыми и заглавными буквами появился там, где стоит курсор: в письме, документе, мессенджере. Диктовка бесплатная и работает без лицензии, подробнее — на странице голосового ввода.
- Ищет по всем встречам сразу — по словам и по смыслу.
Записи, расшифровки и заметки лежат в обычной папке на диске. Модели скачиваются один раз: для расшифровки при первом запуске, для заметок при первой просьбе. Дальше программа работает без сети.
Почему локально — это не только про приватность
Изначально мы думали о данных. Но у локальной работы нашлись и другие плюсы:
- Нет лимитов на минуты. Облачные сервисы обычно считают минуты расшифровки. На своём компьютере час и десять часов стоят одинаково.
- Работает без интернета. В поезде, в самолёте, на объекте без связи.
- Не нужен бот в звонке. Собеседники не видят постороннего участника «Notetaker» в списке. Но предупреждать о записи всё равно нужно, и мы об этом прямо пишем: встроенная запись Телемоста и Zoom сама уведомляет участников, а программа на вашем компьютере — нет.
Честные ограничения
О них лучше сказать сразу, чем в комментариях:
- Только Windows 10 и 11, 64 бита. Версий для Mac и Linux пока нет.
- Нужны память и место. Распознавание речи занимает около 0,5 ГБ на диске. Модель заметок выбирается: «Быстрая» — 1,8 ГБ и от 8 ГБ оперативной памяти, «Умная» — 2,5 ГБ и от 12 ГБ, «Мощная» — 5 ГБ и от 16 ГБ.
- Всё считается на процессоре. Видеокарта не нужна, но на слабом ноутбуке расшифровка длинной встречи займёт время.
- Локальная нейросеть меньше облачных. Итог встречи она пишет хорошо, но перечитывать его перед отправкой стоит. Чем мощнее модель, тем больше нужно памяти.
- Языки распознаются по-разному. На открытом наборе Google FLEURS (по 40 фраз на язык) ошибок в словах: русский 5 %, английский 6 %, испанский 7 %. Немецкий и сербский пока заметно хуже, мы над ними работаем.
- Нет экспорта в Word и PDF. Текст копируется в любой документ.
- Windows предупреждает при установке. У установщика пока нет платной подписи разработчика, поэтому SmartScreen показывает окно «Windows защитила ваш компьютер». Подлинность файла можно проверить по контрольным суммам на странице выпуска, а каждая сборка перед публикацией проходит VirusTotal.
Открытый код
Исходный код Конспекта открыт на GitHub под лицензией FSL-1.1-MIT. Его можно читать, собирать самому и дорабатывать для себя или своей компании. Нельзя одно: делать на его основе конкурирующий коммерческий продукт. Через два года каждая версия становится MIT.
Для программы, которая обещает «ничего не отправляем», это важно: обещание можно проверить, а не верить на слово.
Как попробовать
Первые 10 встреч работают полностью, чтобы можно было проверить программу на своих созвонах. Диктовка остаётся бесплатной и после них. Для встреч дальше нужна лицензия: она покупается один раз, на 3 года обновлений или навсегда, без подписки. Записи без лицензии никуда не пропадают: их можно смотреть, искать и копировать. Ключ проверяется на компьютере, без интернета.
Подробности, цены и установщик — на странице Конспекта. Если нужно просто записать встречу встроенными средствами, вот как записать созвон в Телемосте и Zoom, а для оформления итогов пригодится образец протокола совещания.
Вопросы и пожелания пишите в поддержку: особенно интересно, какие встречи вы записываете и что потом делаете с записью.