0
Umělá inteligence

Software PixelPlayer dokáže izolovat jednotlivé hudební nástroje ve videu

Poslouchali jste někdy hudbu a přáli jste si, abyste mohli slyšet jen jeden z hudebních nástrojů? Izolace zvuku jediného nástroje u nahraného zvuku nebo videa bylo vždycky velmi obtížné. Ale nyní vědci z MIT Computer Science and Artificial Intelligence Lab (CSAIL) vyvinuli technologii, která to umožňuje. Software je založený na softwaru umělé inteligence, která umožňuje uživatelům zesílit nebo zmírnit zvuk jednotlivých přístrojů. To se jednoduše provádí tak, že na ně kliknete, zatímco jsou přehrávány ve videu.

Výzkumníci vyvinuli algoritmus hlubokého učení nazvaný PixelPlayer. Systém je tvořen třemi neuronovými sítěmi. Jedna síť analyzuje zvuk videa, zatímco další zkoumá vizuální obraz. Navíc třetí, nazývaný syntezátor, to všechno spojuje tím, že spojuje různé zvukové vlny s pixely jejich nástrojů. Software byl nejprve vytrénován s více než 60 hodinami videozáznamů. PixelPlayer se naučil identifikovat zvuky více než 20 hudebních nástrojů. Toto bylo provedeno prohlížením všech pixelů ve videu a určením, který zvuk by měl být spojen s jakým pixelem ve videu. Podle vědců bude možné software naučit vyčlenit více nástrojů, protože dostává neustále další přísun dat.

Možné využití systému zahrnuje možnost úpravy zvuku jednotlivých nástrojů jednoduchým kliknutím na video. Mohlo by to být dokonce použito k tomu, aby roboti lépe rozuměli zvukům prostředí. Například zvuky zvířat nebo vozidel a naučí se, jak na ně reagovat.