Как сгенерировать картинку из музыки?

Как сгенерировать картинку из музыки?

На платформе hugging face  появилась такая функция.

Аудио отправляется в LP-Music-Caps для генерации подписи к аудио, которая затем преобразуется в иллюстративное описание изображения с помощью Llama2 и, наконец, запускается через Stable Diffusion XL для генерации изображения из аудио!

Мы сгенерировали картинку к песни Арии «Штиль». Как вы могли заметить, картинка не очень подходит по содержанию, но подходит по настроению. В интернете я встречал более удачные примеры, так что пробуйте разные аудио.

Рейтинг
( Пока оценок нет )
admin/ автор статьи
Добавить комментарий

NeuroWiki