AI софтуерни решения за аудио обработка

[Koobenot]

Днес се заиграх с Voice.AI да ми раздели на тракове едно парче, дето не ми харесваше как е смесено - цък. Основно ме дразнеше липсата на бас и барабани, и след малко заигравка в Reaper с индивидуалните тракове, които AI-то ми изкара успях да постигна този резултат. Чува се някой и друг артефакт, cymbal wash и други гнусотии, но пак за MP3-ките дето ми раздаде съм повече от доволен. Със сигурност ако ползвам Izotope или нещо по качествено дето ренди до wave ще стане и по-добре, но като за без пари – доволно.

 

[Koobenot]

Вчера се заиграх с новата версия на VirtualDJ, която може да прави realtime разделяне на stem-ове, като за "last minute request" от клиент по време на озвучаване, "можеш ли да ни отделиш вокала, не намерихме инструментал" се справя доста добре.

https://www.virtualdj.com/stems/

 

[yamaha]

Мечтата на озвучителя - да остави някой друг да се грижи за избягване на микрофониите.

Понеже все по някое време AI ще навлезе във всяка една област и всяко едно микроскопично кътче от нашия живот...чудех се кога ще се захванат с озвучаванията на живо и ето, че вече изкараха нещо, макар и в начален етап.

 

[Koobenot]

^ Ще го погледна клипчето, каква е разликата с класическия анализатор на честотни пикове? Че ще има модел натрениран с безброй микрофонии, който да ги хваща по-бързо и прецизно ли? 

[yamaha]

Изгледай го, той обяснява всичко - даже си изтегли VST плъгина ако имаш начин къде да го тестваш. Обучават AI-то за всякакви случаи, да отчита кое е гласа, кое е инструмента, къде е реверберацията от отраженията в помещението и т.н.

[Koobenot]

^ Има далавера в тая хава. Единствено се чудя – за какво ми е това VST, ако нямам дигитален миксер, който може да работи с VST-та и има близка до 0 latency за живи смесванки? Айде, купувам аргумента ако примерно бандата ми свири на живо и й правя многоканален запис щото ще издаваме Live CD и после ще го обработвам в DAW ... приема се.  

[presly]

На 29.01.2025 г. at 23:44, Koobenot написа:

^ Има далавера в тая хава. Единствено се чудя – за какво ми е това VST, ако нямам дигитален миксер, който може да работи с VST-та и има близка до 0 latency за живи смесванки? Айде, купувам аргумента ако примерно бандата ми свири на живо и й правя многоканален запис щото ще издаваме Live CD и после ще го обработвам в DAW ... приема се.  

Отговорът е прост - soundgrid (SoundGrid Systems - Waves Audio).
Пробвано и на Х32, и на WING. Работи си перфектно. Е, не е 0 семпла латенцията, по-скоро около 5мс roundtrip. 

[Koobenot]

^ 5 мс за roundtrip е супер. 

[Koobenot]

При de-esser-ите AI-то също се справя доста убедително.

 

[yamaha]

По мои наблюдения и преди AI-то де-ессерите си се справяха съвсем добре.

 

П.П. Я да питам нещо, че и без това сме в подходяща за въпроса тема.

Задачата е следната - имаме дуетна песен (мъж+жена), на припевите пеят заедно на интервали (терци, сексти и т.н.). Как да изкарам само женския вокал, а мъжкият да остане или пък обратното? Реално женският глас не се явява беквокал, а солираща партия, макар и да не пее основната мелодия, а само да я разкрасява. Някаква идея за конкретно AI, което може да раздели двата гласа? Евентуално някое такова, което се поддава на обучение, защото в куплетите ги имам поотделно и бих могъл да го обуча какво да търси в припевите.

Редактирано Март 13 от yamaha

[Koobenot]

Не съм чувал за такова с обучение, аз бих разделил песента на части, така че да хваща единия за водещ, другия за беквокал:

 

[yamaha]

Има такива, дето може да ги обучаваш, но за определени задачи, а между тях няма такава за беквокали или диференциране на различни тембри по едно и също време. Вадил съм много неща с LALAL, понеже доста напреднаха за последните 6 месеца, вадил съм и други, почти невъзможни на пръв поглед неща от комплексен запис с още по-добри алгоритми от тези на 'лалал'-то, но в случая който описах положението е малко по-различно и както и да го разделям, винаги получавам артефакти, които развалят целия резултат. Нямам нищо против артефактите, стига да не минават някаква поносима граница, но тук определено я минават.

[Koobenot]

^ Че като е такъв голям батак, не можеш ли да накараш хората да го изпеят пак или е ремикс и е невъзможно?

[yamaha]

Не са го пели при мен...и даже не ги познавам.

То в днешно време вече почти не останаха невъзможни неща и това включително също мога да го направя, но за да стигна до поносим краен резултат ще ми коства много време, а време в момента нямам никакво, отделно задачата не е платена (то и за такава глупост не виждам кой би дал пари изобщо), така че реших проблема по друг път - хем няма да има артефакти, хем пътят се явява 'шорткът' и няма да ми отнеме много време.  

 

П.П. И пак по въпроса за обучението на AI - в моя случай дори нямаше и да има нужда да го обучавам темброво като знам до какво ниво са стигнали във ваденето на гласове и инструменти. Достатъчно беше да му изсвиря по MIDI женската партия и да му кажа, че това искам да остане, пък ако иска мога и да му помогна още, като му изсвиря и мъжката партия, която да махне (проблем евентуално би се получил ако има и инструмент, който е в унисон с мъжкия вокал, но това се решава лесно). Чакам кога някой ще се сети да въведе това улеснение за всички нас и като гледам с какво темпо напредват, мисля, че ще е скоро.

Редактирано Март 14 от yamaha

[TONY]

Съобщение от модератор: линк към оригиналният пост

Песента е хубава ( Последен страж).

Музика, текст, клавирно изпълнение - ок.

Изпяване - има не лош тембър, направо подходящ, но тръгне ли да пее по разчупено и веднага почва да фалшивее.

Koobenot, въпросът ми е , какво мислиш за AI?

Според мен, ето случай да се използва креативно.

Вместо да се даде на някой да я изпее, както трябва, авторът си я изпява 

със своят глас и емоция, AI оправя фалшименто моментите.

И вместо да ми пускат по Хоризонт, добре изсвирени и изпяти нови песни , но с безумно плоски и тъпи текстове ( каквито чувам доста напоследък) , да вземат да пуснат това парче.