Вице-президент по цифровым поверхностям «Салют» Сбербанка Денис Филиппов выступил с докладом на площадке AI Journey 2023 и рассказал о том, что в GigaChat скоро появится возможность продвинутой работы с текстом. На международной конференции представлен прототип интерфейса для редактирования документов с помощью генеративных моделей, а также бета-версия функции загрузки в диалог GigaChat PDF-файлов для последующей работы с ними. Новые возможности на первом этапе можно будет протестировать в веб-версии сервиса.
Веб-интерфейс для редактирования документов с использованием генеративных моделей объединяет в себе доступ к ключевым моделям и технологиям для текстовой редактуры -сервис GigaChat, нейросеть Kandinsky и AI-сервис для коррекции правописания SAGE. Можно будет сгенерировать текст или документ, попросить предложить идеи и структуру, обогатить публикацию иллюстрациями, адаптировать текст для любой аудитории, исправить орфографию и пунктуацию. В GigaChat также добавится возможность загружать PDF-файлы и работать с ними. Например, можно попросить суммаризовать или определить ключевые мысли в большом финансовом отчете либо можно сформулировать вопросы к тексту и его содержанию.
Денис Филиппов пояснил, что базовые диалоговые интерфейсы сервисов пока массово не приспособлены для сценариев редактирования документов, необходимы исследования и эксперименты в построении новых интерфейсов. Такие исследования ведутся крупными компаниями и, в том числе Сбером.
«Большие языковые модели способны автоматизировать сложный поиск и извлечение информации, помочь с генерацией идей, планированием и структурой документов, автоматически создать иллюстрации, сгенерировать сложные документы под заданную цель, проконсультировать по вопросам стилистики, исправить
Вице-президент по цифровым поверхностям «Салют» Денис Филиппов
Также Сбер расширит возможности своего сервиса благодаря интеграции в GigaChat нейросетей CLaMP и SymFormer. Денис Филиппов рассказал, что скоро пользователи GigaChat смогут генерировать уникальную музыку по произвольным текстовым запросам.
Чтобы создать мелодию человеку достаточно будет сформулировать задачу. Например, сочинить весёлую музыку в стиле кантри или написать трек для лаундж-зоны бизнес-центра. GigaChat в ответ будет выдавать аудиофайл с уникальной музыкальной композицией и нотную партитуру в формате MIDI, который понимает любая DAW (Digital Audio Workstation). Пользователь сможет прослушать и скачать получившийся трек, а MIDI-файл — использовать в собственных творческих проектах (редактировать гармонии, изменять аранжировку и получать разнообразные варианты звучания трека) и даже в музыкальном продакшене.
Генерация музыки в GigaChat возможна благодаря интеграции нейросетей CLaMP и SymFormer. Для обучения SymFormer использовались платформа ML Space на базе суперкомпьютера Christofari и датасет из более 200 тысяч композиций разных стилей: от классики до современной электронной музыки и рока. Модель для генерации треков основана на принципе рассмотрения музыки в качестве нотного текста — в этом помогла адаптация подхода text-2-image к нотному домену.
Ранее осенью в рамках культурной программы Восточного экономического форума 2023 во Владивостоке состоялся первый в мире симфонический концерт с импровизациями от искусственного интеллекта. Вместе с оркестром Мариинского театра Приморской сцены выступила нейросеть SymFormer. В первой части симфонии «Космос», написанной композитором Петром Дранга, нейросеть управляла экспрессивностью исполнения, а в третьей и четвертой частях симфонии импровизировала в режиме реального времени на основе той информации, которую получила от партитуры музыканта.«Новые возможности GigaChat будут полезны не только музыкальным энтузиастам и представителям творческих профессий. Одним из сегментов целевой аудитории сервиса мы видим представителей среднего и малого предпринимательства. Благодаря GigaChat они смогут быстро, качественно и, что важно, абсолютно легально решать задачи бизнеса: создавать фоновое музыкальное сопровождение для кафе, салонов красоты и залов ожидания, генерировать треки для рекламных видеороликов и соцсетей».
Вице-президент по цифровым поверхностям «Салют» Сбербанка Денис Филиппов
