Resonance Audio: audio spaziale multipiattaforma scalabile
31 gennaio 2018
Pubblicato da Bhavik Singh, Product Manager
Noi esseri umani ci affidiamo al suono per orientarci nell'ambiente circostante, per comunicare con gli altri e connetterci con ciò che sta accadendo intorno a noi. Mentre passeggiamo per una strada trafficata di città o quando ci troviamo a un concerto gremito di gente, riusciamo a percepire centinaia di suoni provenienti da direzioni diverse. Quindi, quando si tratta di AR, VR, giochi e persino video a 360 gradi, desideriamo un suono ricco per creare un'esperienza coinvolgente a immersione totale che ci faccia sentire come se fossimo davvero lì. Per questo abbiamo rilasciato un nuovo SDK per audio spaziale chiamato Resonance Audio. Si basa sulla tecnologia dello SDK VR Audio di Google ed è scalabile su piattaforme mobili e desktop.
Prova l'audio spaziale nella nostra app Audio Factory VR per Daydream e SteamVR
Portare ambienti audio ricchi e dinamici nelle tue esperienze VR, AR, di gioco o video, senza influire sulle prestazioni, può essere complesso. Spesso le risorse CPU destinate all'audio sono poche, specialmente sui dispositivi mobili, e ciò può limitare il numero di sorgenti sonore 3D simultanee ad alta fedeltà per ambienti complessi. L'SDK utilizza algoritmi di elaborazione del segnale digitale altamente ottimizzati basati su Ambisonic di ordine superiore per spazializzare centinaia di sorgenti audio 3D simultanee senza compromettere la qualità audio, persino dei dispositivi mobili. Abbiamo anche introdotto una nuova funzionalità in Unity per la pre-elaborazione degli effetti di riverbero altamente realistici che corrispondono esattamente alle proprietà acustiche dell'ambiente, riducendo in modo significativo l'utilizzo della CPU durante la riproduzione.
Utilizzo del riverbero basato sulla geometria assegnando materiali acustici a una cattedrale in Unity
Sappiamo quanto sia importante che le soluzioni audio si integrino perfettamente con il middleware audio preferito e gli strumenti di sound design. Con Resonance Audio, abbiamo rilasciato l'SDK multipiattaforma per i motori di gioco, i motori audio e le workstation audio digitali (DAW) più popolari in modo da semplificare i flussi di lavoro e permetterti di concentrarti sulla creazione di audio più coinvolgenti. Gli SDK funzionano sulle piattaforme Android, iOS, Windows, MacOS e Linux e si integrano con Unity, Unreal Engine, FMOD, Wwise e DAW. Forniamo anche API native per C/C++, Java, Objective-C e il web. Questo supporto multipiattaforma consente agli sviluppatori di implementare il sound design una sola volta e distribuirlo facilmente con risultati audio uniformi sulle principali piattaforme mobili e desktop. I sound designer possono risparmiare tempo utilizzando il nostro nuovo plugin DAW per il monitoraggio accurato dell'audio spaziale destinato ai video di YouTube o alle app sviluppate con gli SDK Resonance Audio. Gli sviluppatori Web possono ottenere l'SDK Resonance Audio Web open source eseguibile sui principali browser Web grazie all'API Web Audio.
Plug-in DAW per sound designer per monitorare l'audio destinato alle app e ai video 360 di YouTube sviluppati con l'SDK
Fornendo potenti strumenti per la precisa modellazione di ambienti sonori complessi, Resonance Audio va oltre la semplice spazializzazione 3D. L'SDK consente infatti agli sviluppatori di controllare la direzione in cui le onde acustiche si propagano dalle sorgenti sonore. Ad esempio, se ti trovi dietro a un chitarrista, il suono può sembrare più debole rispetto a quando ti trovi davanti. Invece, quando sei di fronte, in direzione della chitarra, il suono può sembrare più forte rispetto a quando volti le spalle.
Controllo della direttività delle onde sonore per una chitarra acustica con l'SDK
Un'altra caratteristica dell'SDK è il rendering automatico degli effetti Near Field quando le sorgenti sonore si avvicinano alla testa dell'ascoltatore, fornendo una percezione accurata della distanza anche quando le sorgenti sono vicine all'orecchio. L'SDK permette anche la diffusione della sorgente sonora specificandone la larghezza, consentendo di simulare il suono, dal piccolo punto nello spazio al muro di suono. Abbiamo anche realizzato uno strumento di registrazione Ambisonic per acquisire spazialmente il tuo sound design direttamente in Unity, salvarlo in un file e utilizzarlo ovunque sia supportata la riproduzione di campi sonori Ambisonic, dai motori di gioco ai video di YouTube.
Se sei interessato a creare paesaggi sonori ricchi e coinvolgenti utilizzando la nostra tecnologia audio spaziale all'avanguardia, consulta la documentazione di Resonance Audio sul sito per sviluppatori, facci sapere cosa ne pensi su GitHub e mostraci le tue creazioni sui social media con #ResonanceAudio e noi ricondivideremo quelle che ci piacciono di più.
Noi esseri umani ci affidiamo al suono per orientarci nell'ambiente circostante, per comunicare con gli altri e connetterci con ciò che sta accadendo intorno a noi. Mentre passeggiamo per una strada trafficata di città o quando ci troviamo a un concerto gremito di gente, riusciamo a percepire centinaia di suoni provenienti da direzioni diverse. Quindi, quando si tratta di AR, VR, giochi e persino video a 360 gradi, desideriamo un suono ricco per creare un'esperienza coinvolgente a immersione totale che ci faccia sentire come se fossimo davvero lì. Per questo abbiamo rilasciato un nuovo SDK per audio spaziale chiamato Resonance Audio. Si basa sulla tecnologia dello SDK VR Audio di Google ed è scalabile su piattaforme mobili e desktop.
Prestazioni scalabili su dispositivi mobili e desktop
Portare ambienti audio ricchi e dinamici nelle tue esperienze VR, AR, di gioco o video, senza influire sulle prestazioni, può essere complesso. Spesso le risorse CPU destinate all'audio sono poche, specialmente sui dispositivi mobili, e ciò può limitare il numero di sorgenti sonore 3D simultanee ad alta fedeltà per ambienti complessi. L'SDK utilizza algoritmi di elaborazione del segnale digitale altamente ottimizzati basati su Ambisonic di ordine superiore per spazializzare centinaia di sorgenti audio 3D simultanee senza compromettere la qualità audio, persino dei dispositivi mobili. Abbiamo anche introdotto una nuova funzionalità in Unity per la pre-elaborazione degli effetti di riverbero altamente realistici che corrispondono esattamente alle proprietà acustiche dell'ambiente, riducendo in modo significativo l'utilizzo della CPU durante la riproduzione.
Supporto multipiattaforma per sviluppatori e sound designer
Sappiamo quanto sia importante che le soluzioni audio si integrino perfettamente con il middleware audio preferito e gli strumenti di sound design. Con Resonance Audio, abbiamo rilasciato l'SDK multipiattaforma per i motori di gioco, i motori audio e le workstation audio digitali (DAW) più popolari in modo da semplificare i flussi di lavoro e permetterti di concentrarti sulla creazione di audio più coinvolgenti. Gli SDK funzionano sulle piattaforme Android, iOS, Windows, MacOS e Linux e si integrano con Unity, Unreal Engine, FMOD, Wwise e DAW. Forniamo anche API native per C/C++, Java, Objective-C e il web. Questo supporto multipiattaforma consente agli sviluppatori di implementare il sound design una sola volta e distribuirlo facilmente con risultati audio uniformi sulle principali piattaforme mobili e desktop. I sound designer possono risparmiare tempo utilizzando il nostro nuovo plugin DAW per il monitoraggio accurato dell'audio spaziale destinato ai video di YouTube o alle app sviluppate con gli SDK Resonance Audio. Gli sviluppatori Web possono ottenere l'SDK Resonance Audio Web open source eseguibile sui principali browser Web grazie all'API Web Audio.
Plug-in DAW per sound designer per monitorare l'audio destinato alle app e ai video 360 di YouTube sviluppati con l'SDK
Modellazione di funzionalità all'avanguardia per ambienti sonori complessi
Fornendo potenti strumenti per la precisa modellazione di ambienti sonori complessi, Resonance Audio va oltre la semplice spazializzazione 3D. L'SDK consente infatti agli sviluppatori di controllare la direzione in cui le onde acustiche si propagano dalle sorgenti sonore. Ad esempio, se ti trovi dietro a un chitarrista, il suono può sembrare più debole rispetto a quando ti trovi davanti. Invece, quando sei di fronte, in direzione della chitarra, il suono può sembrare più forte rispetto a quando volti le spalle.
Un'altra caratteristica dell'SDK è il rendering automatico degli effetti Near Field quando le sorgenti sonore si avvicinano alla testa dell'ascoltatore, fornendo una percezione accurata della distanza anche quando le sorgenti sono vicine all'orecchio. L'SDK permette anche la diffusione della sorgente sonora specificandone la larghezza, consentendo di simulare il suono, dal piccolo punto nello spazio al muro di suono. Abbiamo anche realizzato uno strumento di registrazione Ambisonic per acquisire spazialmente il tuo sound design direttamente in Unity, salvarlo in un file e utilizzarlo ovunque sia supportata la riproduzione di campi sonori Ambisonic, dai motori di gioco ai video di YouTube.
Se sei interessato a creare paesaggi sonori ricchi e coinvolgenti utilizzando la nostra tecnologia audio spaziale all'avanguardia, consulta la documentazione di Resonance Audio sul sito per sviluppatori, facci sapere cosa ne pensi su GitHub e mostraci le tue creazioni sui social media con #ResonanceAudio e noi ricondivideremo quelle che ci piacciono di più.
