AudioCraft Research By Meta AI

AudioCraft Research By Meta AI is echt een topding! Het is een alles-in-één codebasis voor verschillende audio-eisen, zoals muziek maken, geluidseffecten toevoegen en compressie. Na training op ruwe audio-signalen biedt AudioCraft een makkelijk ontwerp voor generatieve modellen voor audio, in vergelijking met eerdere projecten. Beide MusicGen en AudioGen bestaan uit één autoregressieve Language Model (LM) die werkt met stromen van gecomprimeerde discrete muziekrepresentaties, oftewel tokens. Er wordt een coole benadering gebruikt om de interne structuur van de parallelle stromen van tokens te benutten. Met één model en een strak token-interleavepatroon kunnen we audio-sequenties goed modelleren. Zo leggen we zowel de lange-termijn-afhankelijkheden in de audio vast als hoogwaardige audio genereren. Onze modellen gebruiken de EnCodec-neurale audio-codec om de discrete audio-tokens uit de ruwe golfvorm te leren. EnCodec zet het audio-signaal om in één of meerdere parallelle stromen van discrete tokens. Daarna gebruiken we een enkele autoregressieve taalmodel om de audio-tokens van EnCodec recursief te modelleren. De gegenereerde tokens worden naar de EnCodec-decoder gestuurd om ze terug te brengen naar de audio-ruimte en zo de output-golfvorm te krijgen. Ten slotte kunnen verschillende soorten conditioneringsmodellen gebruikt worden om de generatie te regelen, zoals een voorgetrainde tekst-encoder voor tekst-naar-audio-toepassingen.