<div dir="ltr"><div>Look for GPU Audio. They are doing exactly that.</div><div><br></div><div>They are also working on plugins and a DAW to leverage the GPU processing library they wrote.<br></div><div><br></div><div>Josh<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Jul 30, 2022 at 11:51 AM cheater cheater via Synth-diy <<a href="mailto:synth-diy@synth-diy.org">synth-diy@synth-diy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi all,<br>
there was recently an AMA with ray tracing experts at nvidia and I<br>
asked about uses for audio. I thought the possibilities could be<br>
interesting for some people here. Below is the link to the original<br>
thread as well as a copy of the question and answer.<br>
<br>
Cheers<br>
<br>
<br>
<a href="https://forums.developer.nvidia.com/t/meet-the-ray-tracing-gems-team-live-ama-july-28-2022/217920" rel="noreferrer" target="_blank">https://forums.developer.nvidia.com/t/meet-the-ray-tracing-gems-team-live-ama-july-28-2022/217920</a><br>
<br>
-------------------------------------------------------------------<br>
<br>
Welcome to our first Connect with Experts - AMA, an exclusive benefit<br>
of the NVIDIA Developer Program 12<br>
The team behind the popular Ray Tracing Gems 23 will be here live on<br>
July 28, 2022 at 10am (PDT) to 11am<br>
<br>
Eric Haines, Adam Marrs, Peter Shirley and Ingo Wald,<br>
<br>
Post questions - watch the discussion - ask the team anything.<br>
<br>
-------------------------------------------------------------------<br>
<br>
Could you please talk about how ray tracing and RTX could help<br>
realistic sound in sound-oriented games, in the context of the<br>
gameplay of the original Thief game, to give a concrete example?<br>
Effects such as realistic reverberation, sound occlusion, the carrying<br>
of sound by continuous surfaces, and others are all of benefit here.<br>
Are there current approaches to such problems which will still allow<br>
ray tracing the graphics at the same time?<br>
<br>
Here is an example of gameplay: <a href="https://youtu.be/4rWfb7ZtSPc?t=8855" rel="noreferrer" target="_blank">https://youtu.be/4rWfb7ZtSPc?t=8855</a><br>
(Thief Gold | 1080p60 | Longplay Full Game Walkthrough No Commentary -<br>
YouTube)<br>
<br>
-------------------------------------------------------------------<br>
<br>
Answer from Ingo Wald (iwald):<br>
<br>
First off: “IRL” sound is important to judge directions - you can<br>
absolutely hear what direction something is coming from - so<br>
simulating that better in a game should help make this game “feel”<br>
more realistic, and better. On the technical side, sound transport and<br>
light transport are - conceptually - actually very similar; though<br>
there’s differences in “how” things reflect you still need frequent<br>
“line of sight” computations, which are exactly what ray tracing does<br>
- so yes, having fast ray tracing should help in making sound<br>
simulation better/more accurate.<br>
<br>
Eric notes two things: VRWorks - Audio | NVIDIA Developer is from<br>
NVIDIA and may be just what the poster wants. For more on research in<br>
the area, a good place to start might be “Guided Multiview Ray Tracing<br>
for Fast Auralization” by Micah Taylor, Anish Chandak, Qi Mo,<br>
Christian Lauterbach, Carl Schissler, and Dinesh Manocha, 2012<br>
<br>
Response from Tony Scudiero:<br>
<br>
There’s a good history of ray tracing in audio: there are a number of<br>
commercial products that use ray methods for generating synthetic room<br>
impulse response filters. RTX technology is actually very good for<br>
acoustic simulations, as the material interactions of sounds are<br>
usually modeled at a coarser granularity than interactions of material<br>
and light. Acoustic simulations tend to have simple shaders, making<br>
their performance fundamentally a function of ray-scene queries, which<br>
RTX accelerates quite well!<br>
<br>
One of the fundamental challenges of ray tracing acoustic energy is<br>
that the wavelengths in question are about 1 million times longer than<br>
visible light. Wavelengths can be on the order of a meter, which is<br>
the same order of magnitude as many objects. The consequence is that<br>
many effects must be treated over a cross-sectional area of the<br>
wavefront: the interaction of sound energy with a surface cannot be<br>
accurately modeled only at an infinitesimal point. That said, there<br>
has been some research on how these effects can be treated using ray<br>
tracing techniques. The ‘right’ approach usually depends on your<br>
goals: accuracy or speed.<br>
<br>
>From a technological perspective, there’s absolutely nothing standing<br>
in the way of writing a real-time acoustics simulation using ray<br>
tracing graphics APIs like DXR or VkRay to do sound propagation<br>
simulation in tandem with ray tracing graphics. The available<br>
ray-tracing power of current-generation GPUs should be able to handle<br>
a moderately complex acoustic simulation in tandem with graphics.<br>
Depending on how the graphics rendering engine is designed, primary<br>
rays could be used for both purposes, further economizing the<br>
simulation. While this is perfectly possible, I’m not aware of anyone<br>
that has actually done this in one of the graphics APIs.<br>
<br>
NVIDIA’s VRWorks Audio, which is a relatively simple acoustics<br>
simulation intended for interactive experiences, uses OptiX. Version<br>
2.0 of that SDK can make use of RTX hardware when available.<br>
<br>
_______________________________________________<br>
Synth-diy mailing list<br>
<a href="mailto:Synth-diy@synth-diy.org" target="_blank">Synth-diy@synth-diy.org</a><br>
<a href="http://synth-diy.org/mailman/listinfo/synth-diy" rel="noreferrer" target="_blank">http://synth-diy.org/mailman/listinfo/synth-diy</a><br>
Selling or trading? Use <a href="mailto:marketplace@synth-diy.org" target="_blank">marketplace@synth-diy.org</a><br>
</blockquote></div>