Компанія Stability AI, відома переважно своїми нейромережами для створення зображень (Stable Diffusion, Stable Doodle та інші), представила нову нейромережу — Stable Audio. Як легко вгадати з назви, вона генерує аудіокліпи.

Принцип роботи аналогічний генераторам зображень за текстовим описом. Користувач вказує ключові слова (наприклад, «мелодійний лоуфай хіп-хоп або «death metal з потужними гітарними рифами та швидкими ударними»), бажану тривалість і чекає на результат.

В основу була взята та ж сама модель, що і в Stable Diffusion, але її навчали на музичних композиціях, а не на зображеннях.

Всього для навчання використали близько 800 тисяч композицій з сайту стокової музики AudioSparx. Це приблизно 19 500 годин різних звуків.

Розробники відзначають, що головна особливість Stable Audio — можливість генерувати композиції заданої довжини. Раніше нейромережі працювали лише з фіксованою тривалістю: якщо їх навчали на 30-секундних аудіокліпах, вони могли генерувати лише 30-секундні композиції. Для можливості налаштувати тривалість треку розробникам довелося змінити модель та додати метадані для початку і кінця композиції.

Stable Audio доступна у трьох моделях. Безплатна версія дозволяє створювати не більше 20 композицій тривалістю до 45 секунд на місяць. Також є підписка Professional, яка дозволяє створювати до 500 треків тривалістю до 90 секунд за $12  на місяць і варіант Enterprise для компаній з можливістю обирати обсяг генерації і ціну за індивідуальною домовленістю.

Без платної підписки використовувати створену музику в комерційних цілях не дозволено.

Як і в разі з іншими подібними нейромережами, Stable Audio спрямована на творців контенту, а не на професійних музикантів. Такі інструменти підходять для швидкого створення фонової музики для подкастів та відео, коли немає часу або бюджету для співпраці з композитором. Також вони можуть замінити стокові звуки - якщо ви шукаєте унікальний сміх чи гомін натовпу.

Спробувати Stable Audio можна на офіційному вебсайті. Знадобиться реєстрація або вхід через обліковий запис Google. На початку можливі перебої з доступом через сильне навантаження на сервер.