RU2806700C1

RU2806700C1 - Device and method for rendering audio scene using allowable intermediate diffraction paths

Info

Publication number: RU2806700C1
Application number: RU2022126529A
Authority: RU
Inventors: Сонмун ЛИ; Франк ВЕФЕРС
Original assignee: Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date: 2020-03-13
Filing date: 2021-03-12
Publication date: 2023-11-03

Abstract

FIELD: audio processing.

SUBSTANCE: provide a plurality of intermediate diffraction paths through a plurality of diffracting objects. The intermediate diffraction path has a starting point and an exit edge of the plurality of diffracting objects and the associated filter information. Render the audio source at the listener position. At the same time, based on the output edges of the intermediate diffraction paths and the position of the listener, one or more allowable intermediate diffraction paths are determined from the position of the audio source to the position of the listener through a plurality of diffracting objects. For each allowed intermediate diffraction path, a filter representation for the full diffraction path from the audio source position to the listener position is determined using a combination of associated filter information for the allowed intermediate diffraction path and filter information describing the propagation of the audio signal from the output edge of the allowed intermediate diffraction path to the listener position.

EFFECT: increase in audio processing efficiency.

20 cl, 13 dwg

Description

Настоящее изобретение относится к обработке аудиосигналов, и в частности относится к обработке аудиосигналов в контексте геометрической акустики, которая может использоваться, например, в вариантах применения в стиле виртуальной реальности или дополненной реальности.The present invention relates to audio signal processing, and in particular relates to audio signal processing in the context of geometric acoustics, which can be used, for example, in virtual reality or augmented reality style applications.

Термин «виртуальная акустика» зачастую применяется, когда звуковой сигнал обрабатывается таким образом, что он содержит признаки моделированного акустического пространства, и звук пространственно воспроизводится с помощью бинауральных или многоканальных технологий. Следовательно, виртуальная акустика состоит из воспроизведения пространственного звука и моделирования акустики помещений [1].The term "virtual acoustics" is often used when an audio signal is processed in such a way that it contains features of a simulated acoustic space, and the sound is spatially reproduced using binaural or multi-channel technologies. Therefore, virtual acoustics consists of spatial sound reproduction and room acoustic simulation [1].

С точки зрения технологий моделирования помещений, наиболее точные способы моделирования распространения заключаются в решении теоретического волнового уравнения с соблюдением набора граничных условий. Тем не менее, большинство подходов на основе численных решателей ограничено предварительным вычислением релевантных акустических признаков, к примеру, параметрических моделей для аппроксимации импульсных откликов вследствие вычислительной сложности: это становится действительно непросто, если повышается интересующая частота и/или размер пространства (объема/поверхности) сцены и присутствует даже динамически перемещающийся объект. Учитывая тот факт, что недавние виртуальные сцены становятся более крупными и более сложными, для обеспечения очень детализированного и чувствительного взаимодействия между игроком и объектом либо между игроками внутри сцены, современные численные подходы не являются адекватными для обработки интерактивных, динамических и крупномасштабных виртуальных сцен. Множество алгоритмов демонстрируют свои возможности рендеринга посредством предварительного вычисления релевантных акустических признаков за счет использования параметрического направленного кодирования для предварительно вычисленного распространения звука [2, 3] и эффективного решателя во временной области на основе GPU для акустического волнового уравнения [4]. Тем не менее, эти подходы требуют высококачественные системные ресурсы, такие как видеокарта, многоядерная вычислительная система.From a room modeling technology perspective, the most accurate methods for simulating propagation involve solving a theoretical wave equation subject to a set of boundary conditions. However, most numerical solver-based approaches are limited to pre-computing relevant acoustic features, for example parametric models for approximating impulse responses, due to computational complexity: this becomes really difficult as the frequency of interest and/or the size of the scene space (volume/surface) increases and there is even a dynamically moving object. Given the fact that recent virtual scenes are becoming larger and more complex to provide highly detailed and sensitive interactions between player and object or between players within a scene, current numerical approaches are not adequate to handle interactive, dynamic and large-scale virtual scenes. A variety of algorithms demonstrate their rendering capabilities by precomputing relevant acoustic features by using parametric directional coding for precomputed sound propagation [2, 3] and an efficient GPU-based time domain solver for the acoustic wave equation [4]. However, these approaches require high-quality system resources such as graphics card, multi-core computing system.

Технология на основе геометрической акустики (GA) представляет собой надежный применимый на практике подход для интерактивных окружений распространения звука. Повсеместно используемые технологии GA включают в себя способ на основе источников изображений (ISM) и способ на основе трассировки лучей (RTM) [5, 6], и модифицированные подходы с использованием трассировки пучка и трассировки усеченных частей разработаны для интерактивных окружений [7, 8]. Для дифракционного звукового моделирования, в работе автора Kouryoumjian [9] предлагается однородная теория дифракции (UTD), а в работе автора Svensson [10] предлагается модель Био-Толстого-Медвина (BTM) для лучшей аппроксимации дифрагированного звука в численном смысле. Тем не менее, современные интерактивные алгоритмы ограничены статическими сценами [11] или дифракцией первого порядка в динамических сценах [12].Geometric Acoustics (GA) technology provides a robust, practical approach for interactive sound propagation environments. Commonly used GA technologies include Image Source Method (ISM) and Ray Tracing Method (RTM) [5, 6], and modified ray tracing and frustum tracing approaches have been developed for interactive environments [7, 8]. . For diffractive sound modeling, Kouryoumjian [9] proposes the Uniform Theory of Diffraction (UTD), and Svensson [10] proposes the Bio-Tolstoy-Medwin (BTM) model to better approximate diffracted sound in a numerical sense. However, current interactive algorithms are limited to static scenes [11] or first-order diffraction in dynamic scenes [12].

Возможны гибридные подходы посредством объединения этих двух категорий: численные способы для нижних частот и способы GA для верхних частот [13].Hybrid approaches are possible by combining these two categories: numerical methods for low frequencies and GA methods for high frequencies [13].

В частности, в комплексных звуковых сценах с несколькими дифрагирующими объектами, требования по обработке для моделирования дифракции звука вокруг краев становятся высокими. Следовательно, для адекватного моделирования дифракционных эффектов звука в аудиосценах с множеством дифрагирующих объектов требуются очень мощные вычислительные ресурсы.Particularly in complex sound scenes with multiple diffracting objects, the processing requirements for simulating sound diffraction around edges become high. Consequently, to adequately model the diffraction effects of sound in audio scenes with many diffracting objects requires very powerful computational resources.

Задача настоящего изобретения состоит в создании усовершенствованного принципа рендеринга аудиосцены.An object of the present invention is to provide an improved audio scene rendering principle.

Данная задача решается устройством для рендеринга аудиосцены по пункту 1 формулы или способом рендеринга аудиосцены по пункту 19 формулы, или компьютерной программой по пункту 20 формулы.This problem is solved by a device for rendering an audio scene according to claim 1 of the formula, or a method for rendering an audio scene according to claim 19 of the formula, or a computer program according to claim 20 of the formula.

Настоящее изобретение основано на понимании того, что обработка дифракции звука может значительно улучшаться посредством использования промежуточных дифракционных трактов между начальным или входным краем и конечным или выходным краем звуковой сцены, которые уже имеют ассоциированную информацию фильтра. Эта ассоциированная информация фильтра уже покрывает целый тракт между начальным краем и конечным краем независимо от того, имеется ли одна или более дифракций между начальным краем и конечным краем. Процедура базируется на том факте, что путь между начальным краем и конечным краем, т.е. маршрут, по которому звуковые волны должны проходить вследствие дифракционного эффекта, не зависит от обычно переменного положения слушателя и также не зависит от положения аудиоисточника. Даже если аудиоисточник также имеет переменное положение, только переменное положение источника или переменное положение слушателя время от времени изменяется, но любой промежуточный дифракционный тракт между начальным краем и конечным краем дифрагирующих объектов не зависит ни от чего, кроме геометрии. Этот дифракционный тракт является постоянным, поскольку он определяется только дифрагирующими объектами, предусмотренными геометрией аудиосцены. Такие тракты только являются переменными во времени, когда один из множества дифрагирующих объектов изменяет свою форму, и что подразумевает то, что такие тракты не должны изменяться для геометрии перемещаемых твердых тел. Помимо этого, множество объектов в аудиосцене являются статическими, т.е. не являются перемещаемыми. Обеспечение полной информации фильтра для всего промежуточного дифракционного тракта повышает эффективность обработки, в частности, во время выполнения. Даже если информация фильтра для промежуточного дифракционного тракта, который в итоге не используется, поскольку он не прошел проверку допустимости, также должна вычисляться, это вычисление может выполняться на этапе инициализации/кодирования и не должно выполняться во время выполнения. Другими словами, любая обработка во время выполнения относительно информации фильтра или относительно промежуточных дифракционных трактов должна осуществляться только для типично редко возникающих динамических объектов, но для нормально возникающих статических объектов, информация фильтра, ассоциированная с определенным промежуточным дифракционным трактом, всегда остается одинаковой независимо от любого перемещающегося аудиоисточника любого перемещающегося слушателя.The present invention is based on the understanding that audio diffraction processing can be significantly improved by using intermediate diffraction paths between a start or input edge and a final or output sound stage edge that already have associated filter information. This associated filter information already covers the entire path between the start edge and the end edge, regardless of whether there is one or more diffractions between the start edge and the end edge. The procedure is based on the fact that the path between the start edge and the end edge, i.e. The route that sound waves must take due to the diffraction effect is independent of the normally variable position of the listener and also independent of the position of the audio source. Even if the audio source also has a variable position, only the variable source position or the variable listener position changes from time to time, but any intermediate diffraction path between the starting edge and the ending edge of the diffracting objects does not depend on anything other than geometry. This diffraction path is constant because it is determined only by diffracting objects provided by the geometry of the audio stage. Such paths are only time variable when one of the plurality of diffracting objects changes its shape, implying that such paths should not change for the geometry of the moving solids. In addition, many objects in the audio scene are static, i.e. are not movable. Providing complete filter information for the entire intermediate diffraction path improves processing efficiency, particularly at runtime. Even if filter information for an intermediate diffraction path that is ultimately not used because it fails the validity check must also be calculated, this calculation may be performed at the initialization/encoding stage and does not have to be performed at run time. In other words, any run-time processing regarding filter information or relative to intermediate diffraction paths should be carried out only for typically infrequently occurring dynamic objects, but for normally occurring static objects, the filter information associated with a particular intermediate diffraction path always remains the same regardless of any moving audio source of any moving listener.

Устройство для рендеринга аудиосцены, содержащей аудиоисточник в положении аудиоисточника и множество дифрагирующих объектов, содержит модуль обеспечения дифракционных трактов для обеспечения множества промежуточных дифракционных трактов через множество дифрагирующих объектов, причем промежуточный дифракционный тракт имеет начальную точку или начальный край и выходной край или конечный край множества дифрагирующих объектов и ассоциированную информацию фильтра для промежуточного дифракционного тракта, описывающую общее распространение звука вследствие дифракции из начальной точки или начального края до выходного края или выходной или конечной точки. Обычно множество промежуточных дифракционных трактов обеспечивается препроцессором на этапе инициализации или на этапе предварительного вычисления, возникающем перед фактической обработкой во время выполнения, например, в окружении в стиле виртуальной реальности. Модуль обеспечения дифракционных трактов не должен вычислять всю эту информацию во время выполнения, но, например, может обеспечивать эту информацию в качестве списка промежуточных дифракционных трактов, по которым модуль рендеринга может осуществлять доступ в ходе обработки во время выполнения.An apparatus for rendering an audio scene containing an audio source at an audio source position and a plurality of diffracting objects comprises a diffraction path providing module for providing a plurality of intermediate diffraction paths through a plurality of diffracting objects, wherein the intermediate diffraction path has a starting point or starting edge and an exit edge or ending edge of the plurality of diffracting objects. and associated filter information for the intermediate diffraction path describing the overall propagation of sound due to diffraction from the start point or start edge to the exit edge or exit or end point. Typically, a plurality of intermediate diffraction paths are provided by a preprocessor during an initialization step or a pre-computation step occurring before actual run-time processing, for example in a virtual reality style environment. The diffraction path provisioning module need not compute all of this information at run time, but, for example, may provide this information as a list of intermediate diffraction paths that the rendering module can access during run-time processing.

Модуль рендеринга выполнен с возможностью рендеринга аудиоисточника в положении слушателя, причем модуль рендеринга выполнен с возможностью определения, на основе выходных краев промежуточных дифракционных трактов и положения слушателя, одного или более допустимых промежуточных дифракционных трактов из положения аудиоисточника в положение слушателя. Модуль рендеринга выполнен с возможностью определения, для каждого допустимого промежуточного дифракционного тракта из одного или более допустимых промежуточных дифракционных трактов, представления фильтра для полного дифракционного тракта из положения аудиоисточника в положение слушателя, соответствующую допустимому промежуточному дифракционному тракту из одного или более допустимых промежуточных дифракционных трактов, с использованием сочетания ассоциированной информации фильтра для допустимого промежуточного дифракционного тракта и информации фильтра, описывающей распространение аудиосигнала из выходного края допустимого промежуточного дифракционного тракта или из конечного края в положение слушателя. Выходные аудиосигналы для аудиосцены могут вычисляться с использованием аудиосигнала, ассоциированного с аудиоисточником, и полного представления фильтра для каждого полного дифракционного тракта.The rendering module is configured to render an audio source at a listener position, wherein the rendering module is configured to determine, based on the output edges of the intermediate diffraction paths and the listener position, one or more valid intermediate diffraction paths from the audio source position to the listener position. The rendering module is configured to determine, for each valid intermediate diffraction path of the one or more valid intermediate diffraction paths, a filter representation for the complete diffraction path from the audio source position to the listener position corresponding to the valid intermediate diffraction path of the one or more valid intermediate diffraction paths, with using a combination of associated filter information for the allowable intermediate diffraction path and filter information describing the propagation of an audio signal from the output edge of the allowable intermediate diffraction path or from the end edge to the listener position. Audio outputs for an audio scene can be calculated using the audio signal associated with the audio source and a complete filter representation for each complete diffraction path.

В зависимости от варианта применения, положение аудиоисточника является фиксированным, и затем модуль обеспечения дифракционных трактов определяет каждый допустимый промежуточный дифракционный тракт таким образом, что начальная точка каждого допустимого промежуточного дифракционного тракта соответствует фиксированному положению аудиоисточника. В качестве альтернативы, когда положение аудиоисточника является переменным, то модуль обеспечения дифракционных трактов определяет, в качестве начальной точки промежуточного дифракционного тракта, входной или начальной край множества дифрагирующих объектов. Модуль рендеринга выполнен с возможностью определения, дополнительно на основе входного края одного или более промежуточных дифракционных трактов и положения аудиоисточника для аудиоисточника, одного или более допустимых промежуточных дифракционных трактов, т.е. определять тракты, которые могут относиться к конкретному положению аудиоисточника, для определения конечного представления фильтра для полного дифракционного тракта дополнительно на основе дополнительной информации фильтра из источника во входной край, так что в этом случае полное представление фильтра определяется посредством трех фрагментов. Первый фрагмент представляет собой информацию фильтра для распространения звука из положения источника звука во входной край. Второй фрагмент представляет собой ассоциированную информацию, принадлежащую допустимому промежуточному дифракционному тракту, и третий фрагмент представляет собой распространение звука из выходного или конечного края в фактическое положение слушателя.Depending on the application, the position of the audio source is fixed, and then the diffraction path providing module determines each valid intermediate diffraction path such that the starting point of each valid intermediate diffraction path corresponds to the fixed position of the audio source. Alternatively, when the position of the audio source is variable, the diffraction path providing module determines, as the starting point of the intermediate diffraction path, the input or starting edge of the plurality of diffracting objects. The rendering module is configured to determine, further based on the input edge of the one or more intermediate diffraction paths and the position of the audio source for the audio source, one or more valid intermediate diffraction paths, i.e. determine paths that may relate to a particular position of the audio source to determine the final filter representation for the complete diffraction path further based on additional filter information from the source to the input edge, so that in this case the complete filter representation is determined by three fragments. The first fragment represents filter information for propagating sound from the sound source position to the input edge. The second fragment represents the associated information belonging to the permissible intermediate diffraction path, and the third fragment represents the propagation of sound from the output or end edge to the actual listener position.

Настоящее изобретение имеет преимущества, поскольку оно обеспечивает эффективный способ и систему моделирования дифрагированных звуков в комплексных сценах в стиле виртуальной реальности. Настоящее изобретение является преимущественным, поскольку оно обеспечивает возможность моделирования распространения звука через статический и динамический геометрический объект. В частности, настоящее изобретение является преимущественным в том, что оно обеспечивает способ и систему для вычисления и сохранения информации дифракционного тракта на основе набора априорных известных геометрических примитивов. В частности, дифракционный звуковой тракт включает в себя набор атрибутов, к примеру, группу геометрических примитивов для потенциальных дифракционных краев, дифракционных углов и промежуточных дифракционных краев и т.д.The present invention is advantageous in that it provides an efficient method and system for simulating diffracted sounds in complex scenes in a virtual reality style. The present invention is advantageous because it provides the ability to model sound propagation through static and dynamic geometric objects. In particular, the present invention is advantageous in that it provides a method and system for computing and storing diffraction path information based on a set of a priori known geometric primitives. In particular, a diffractive audio path includes a set of attributes, for example, a group of geometric primitives for potential diffraction edges, diffraction angles and intermediate diffraction edges, etc.

Настоящее изобретение является преимущественным, поскольку оно обеспечивает возможность анализа геометрической информации данных примитивов и извлечения полезной базы данных через препроцессор, чтобы повышать скорость рендеринга звуков в реальном времени. В частности, процедуры, раскрытые, например, в заявке US 2015/0378019 A1, либо другие процедуры, описанные ниже, позволяют предварительно вычислять граф видимости между краями, структура которых минимизирует число дифракционных краев, которые должны рассматриваться во время выполнения. Видимость между двумя краями не обязательно означает то, что точный тракт из источника до слушателя указывается, поскольку, на стадии предварительного вычисления, местоположения источника и слушателя типично неизвестны. Вместо этого, граф видимости между всеми возможными парами краев представляет собой карту для осуществления навигации из набора видимых краев из источника в набор видимых краев от слушателя.The present invention is advantageous because it provides the ability to analyze the geometric information of primitive data and extract a useful database through a preprocessor to improve the speed of real-time rendering of sounds. In particular, the procedures disclosed, for example, in US 2015/0378019 A1, or other procedures described below, allow the pre-calculation of a visibility graph between edges, the structure of which minimizes the number of diffractive edges that must be considered at run time. Visibility between two edges does not necessarily mean that the exact path from the source to the listener is indicated, since, at the precomputation stage, the locations of the source and listener are typically unknown. Instead, the visibility graph between all possible pairs of edges provides a map for navigating from the set of visible edges from the source to the set of visible edges from the listener.

Ниже предпочтительные варианты осуществления настоящего изобретения поясняются с обращением к сопровождающим чертежам, на которых:Below, preferred embodiments of the present invention are explained with reference to the accompanying drawings, in which:

Фиг. 1 является видом сверху примерной сцены с четырьмя статическими объектами;Fig. 1 is a top view of an example scene with four static objects;

Фиг. 2a является видом сверху примерной сцены с четырьмя статическими объектами и одним динамическим объектом;Fig. 2a is a top view of an example scene with four static objects and one dynamic object;

Фиг. 2b является списком для описания дифракционных трактов без и с динамическим объектом (DO);Fig. 2b is a list for describing diffraction paths without and with a dynamic object (DO);

Фиг. 3 является видом сверху примерной сцены с шестью статическими объектами;Fig. 3 is a top view of an example scene with six static objects;

Фиг. 4 является видом сверху примерной сцены с шестью статическими объектами для иллюстрации способа вычисления дифракционного тракта высшего порядка из первого или входного края;Fig. 4 is a plan view of an example scene with six static objects to illustrate a method for calculating a higher order diffraction path from a first or input edge;

Фиг. 5 иллюстрирует блок-схему алгоритма предварительного вычисления промежуточных дифракционных трактов (включающих в себя тракты высшего порядка) и рендеринга дифрагированного звука в реальном времени;Fig. 5 illustrates a flowchart of an algorithm for precomputing intermediate diffraction paths (including higher order paths) and rendering diffracted audio in real time;

Фиг. 6 иллюстрирует блок-схему алгоритма в соответствии с предпочтительным третьим вариантом осуществления для предварительного вычисления промежуточных дифракционных трактов (включающих в себя тракты высшего порядка) и рендеринга дифрагированного звука с учетом динамических объектов в реальном времени:Fig. 6 illustrates a flowchart of an algorithm in accordance with a preferred third embodiment for pre-computing intermediate diffraction paths (including higher order paths) and rendering diffracted audio taking into account dynamic objects in real time:

Фиг. 7 иллюстрирует устройство для рендеринга звуковой сцены в соответствии с предпочтительным вариантом осуществления;Fig. 7 illustrates an apparatus for rendering a sound stage in accordance with a preferred embodiment;

Фиг. 8 иллюстрирует примерный список трактов с двумя промежуточными дифракционными трактами, проиллюстрированными на фиг. 4 и фиг. 3;Fig. 8 illustrates an exemplary path list with two intermediate diffraction paths illustrated in FIG. 4 and fig. 3;

Фиг. 9 иллюстрирует процедуру для вычисления представления фильтра для полного дифракционного тракта;Fig. 9 illustrates a procedure for calculating a filter representation for a complete diffraction path;

Фиг. 10 иллюстрирует предпочтительную реализацию для извлечения информации фильтра, ассоциированной с допустимым промежуточным дифракционным трактом;Fig. 10 illustrates a preferred implementation for retrieving filter information associated with a valid intermediate diffraction path;

Фиг. 11 иллюстрирует процедуру для проверки допустимости одного или более потенциально допустимых промежуточных дифракционных трактов для получения допустимых промежуточных дифракционных трактов; иFig. 11 illustrates a procedure for testing the validity of one or more potentially valid intermediate diffraction paths to obtain valid intermediate diffraction paths; And

Фиг. 12 иллюстрирует вращение, выполняемое в невращаемое или исходное положение источника для повышения качества звучания рендерированной аудиосцены.Fig. 12 illustrates rotation performed to a non-rotated or original source position to improve the sound quality of the rendered audio scene.

Фиг. 7 иллюстрирует устройство для рендеринга аудиосцены, содержащей аудиоисточник с сигналом аудиоисточника в положении аудиоисточника и множество дифрагирующих объектов. Модуль 100 обеспечения дифракционных трактов содержит, например, устройство хранения данных, заполненное посредством препроцессора, выполняющего вычисление промежуточных дифракционных трактов на этапе инициализации, т.е. перед операцией обработки во время выполнения, выполняемой посредством модуля 200 рендеринга. В зависимости от информации списка промежуточных дифракционных трактов, полученной посредством модуля 100 обеспечения дифракционных трактов, модуль рендеринга выполнен с возможностью вычисления выходных аудиосигналов в требуемом выходном формате, таком как бинауральный формат, стереоформат, формат 5.1 или любой другой выходной формат в динамики наушника либо в громкоговорители, либо только для хранения или передачи. С этой целью, модуль 200 рендеринга принимает не только список промежуточных дифракционных трактов, но также и принимает, с одной стороны, положение слушателя и, с другой стороны, сигнал аудиоисточника и положение аудиоисточника.Fig. 7 illustrates an apparatus for rendering an audio scene comprising an audio source with an audio source signal at an audio source position and a plurality of diffracting objects. The diffraction path providing module 100 contains, for example, a data storage device populated by a preprocessor that performs the calculation of intermediate diffraction paths at the initialization stage, i.e. before the run-time processing operation performed by the rendering module 200. Depending on the intermediate diffraction path list information obtained by the diffraction path providing module 100, the rendering module is configured to calculate output audio signals in a desired output format, such as binaural format, stereo format, 5.1 format or any other output format to earphone speakers or loudspeakers. , either for storage or transmission only. To this end, the rendering module 200 receives not only a list of intermediate diffraction paths, but also receives, on the one hand, the position of the listener and, on the other hand, the audio source signal and the position of the audio source.

В частности, модуль 200 рендеринга выполнен с возможностью рендеринга аудиоисточника в положении слушателя таким образом, что вычисляется звуковой сигнал, который достигает положения слушателя. Этот звуковой сигнал существует вследствие аудиоисточника, размещаемого в положении аудиоисточника. С этой целью, рендеринг выполнен с возможностью определения, на основе выходных краев промежуточных дифракционных трактов и фактического положения слушателя, одного или более допустимых промежуточных дифракционных трактов из положения аудиоисточника в положение слушателя. Модуль рендеринга также выполнен с возможностью определения, для каждого допустимого промежуточного дифракционного тракта из одного или более допустимых промежуточных дифракционных трактов, представления фильтра для полного дифракционного тракта из положения аудиоисточника в положение слушателя, соответствующее допустимому промежуточному дифракционному тракту из одного или более допустимых промежуточных дифракционных трактов, с использованием сочетания ассоциированной информации фильтра для допустимого промежуточного дифракционного тракта и информации фильтра, описывающей распространение аудиосигнала из выходного края допустимого промежуточного дифракционного тракта в положение слушателя.In particular, the rendering module 200 is configured to render an audio source at a listener's position such that an audio signal that reaches the listener's position is calculated. This audio signal exists due to the audio source being placed at the audio source position. To this end, the rendering is configured to determine, based on the output edges of the intermediate diffraction paths and the actual listener position, one or more valid intermediate diffraction paths from the audio source position to the listener position. The rendering module is also configured to determine, for each valid intermediate diffraction path of the one or more valid intermediate diffraction paths, a filter representation for the complete diffraction path from the audio source position to the listener position corresponding to the valid intermediate diffraction path of the one or more valid intermediate diffraction paths, using a combination of associated filter information for the allowable intermediate diffraction path and filter information describing propagation of the audio signal from the output edge of the allowable intermediate diffraction path to the listener position.

Модуль рендеринга вычисляет выходные аудиосигналы для аудиосцены с использованием аудиосигнала, ассоциированного с аудиоисточником, и с использованием представления фильтра для каждого полного дифракционного тракта. В зависимости от реализации, модуль рендеринга также может быть выполнен с возможностью дополнительного вычисления отражений первого порядка, второго порядка или высшего порядка в дополнение к дифракционному вычислению, и кроме того, модуль рендеринга также может быть выполнен с возможностью вычисления вклада одного или более дополнительных аудиоисточников, если они присутствуют в звуковой сцене, а также вклада прямого распространения звука из источника, который имеет прямой тракт распространения звука, который не загорожен дифрагирующими объектами.The renderer computes audio outputs for an audio scene using the audio signal associated with the audio source and using a filter representation for each complete diffraction path. Depending on the implementation, the renderer may also be configured to additionally calculate first-order, second-order, or higher-order reflections in addition to the diffraction calculation, and further, the renderer may also be configured to calculate the contribution of one or more additional audio sources. if they are present in the sound stage, as well as the contribution of direct sound propagation from a source that has a direct sound path that is not obstructed by diffracting objects.

Ниже более подробно описаны предпочтительные варианты осуществления настоящего изобретения. В частности, любые дифракционные тракты первого порядка могут, при необходимости, фактически вычисляться в реальном времени, но это является еще более проблематичным в случае комплексных сцен с несколькими дифрагирующими объектами.Preferred embodiments of the present invention are described in more detail below. In particular, any first order diffraction paths can, if necessary, be effectively calculated in real time, but this is even more problematic in the case of complex scenes with multiple diffracting objects.

В частности, для дифракционных трактов высшего порядка, вычисление таких дифракционных трактов в реальном времени является проблематичным вследствие существенного количества избыточной информации в картах видимости, к примеру, проиллюстрированных в источнике US 2015/0378019 A1. Например, в сцене, такой как сцена на фиг. 1, когда источник расположен в правой стороне первого края, а слушатель находится в левой стороне пятого края, можно предполагать, что дифрагированный звук проходит из источника до слушателя через первый и пятый края. Тем не менее, способ компоновать дифракционный тракт край за краем в реальном времени на основе графа видимости становится вычислительно сложным, в частности, когда среднее число видимых краев увеличивается, и порядок дифракции становится выше. Помимо этого, проверки видимости из края к краю при выполнении не выполняются, что ограничивает дифракционные эффекты между динамическими объектами и между одним статическим и одним динамическим объектом. Можно осуществлять обработку только дифракционного эффекта для статического объекта или одного динамического объекта. Единственный способ объединения дифракционных эффектов посредством динамического объекта(ов) с эффектом, ассоциированным со статическими объектами, состоит в обновлении всех графов видимости с перемещёнными примитивами динамических объектов. Тем не менее, это практически невозможно во время выполнения.In particular, for higher order diffraction paths, calculating such diffraction paths in real time is problematic due to the significant amount of redundant information in visibility maps, for example, illustrated in US 2015/0378019 A1. For example, in a scene such as the scene in FIG. 1, when the source is located on the right side of the first edge and the listener is located on the left side of the fifth edge, it can be assumed that the diffracted sound travels from the source to the listener through the first and fifth edges. However, the way to arrange a diffraction path edge by edge in real time based on a visibility graph becomes computationally complex, particularly as the average number of visible edges increases and the diffraction order becomes higher. In addition, edge-to-edge visibility checks are not performed when executed, which limits diffraction effects between dynamic objects and between one static and one dynamic object. You can process only the diffraction effect for a static object or a single dynamic object. The only way to combine diffraction effects via dynamic object(s) with the effect associated with static objects is to update all visibility graphs with the dynamic object primitives moved. However, this is virtually impossible at runtime.

Способ согласно изобретению направлен на уменьшение требуемых вычислений во время выполнения для указания возможных дифракционных трактов (первого/высшего порядка) через края статических и динамических объектов из источника до слушателя. В результате выполняется рендеринг набора из множества дифрагированных звуков/аудиопотоков с надлежащими задержками. Варианты осуществления предпочтительных концепций применяются с использованием модели UTD к множеству видимых и надлежащим образом ориентированных краёв с новой проектной системной иерархией. В результате варианты осуществления могут выполнять рендеринг дифракционных эффектов высшего порядка посредством статической геометрии, посредством динамического объекта, посредством сочетания статической геометрии и динамического объекта либо также посредством сочетания множества динамических объектов. Дополнительная подробная информация относительно предпочтительной концепции представляется в следующем подразделе.The method according to the invention aims to reduce the required run-time calculations to indicate possible diffraction paths (first/higher order) through the edges of static and dynamic objects from the source to the listener. The result is a rendering of a set of multiple diffracted sounds/audio streams with appropriate delays. Embodiments of the preferred concepts are applied using the UTD model to a plurality of visible and appropriately oriented edges with a new design system hierarchy. As a result, embodiments can render higher order diffraction effects through static geometry, through a dynamic object, through a combination of static geometry and a dynamic object, or also through a combination of multiple dynamic objects. Additional detailed information regarding the preferred concept is presented in the next subsection.

Основная идея, которая инициирует этот вариант осуществления, начинается с вопроса: «Следует ли продолжать вычисление промежуточных дифракционных трактов?» Например, как показано на фиг. 3, из источника до слушателя, можно сказать, что имеется три возможных дифракционных тракта: (источник - (1) - (5) - (слушатель), (источник - (9) - (13) - (слушатель) и (источник - (1) - (7) - (11) - (слушатель). Для упрощения пояснения, последний тракт через три промежуточных края, включающих в себя (1), (7) и (11), представляет собой хороший пример. В интерактивном окружении, источник может перемещаться, и слушатель также может перемещаться. Тем не менее, в любых ситуациях, промежуточные тракты, включающие в себя (1 - (7), (7 - (11) и (11 - (13), не изменяются, если только не имеется динамический объект, загораживающий эти промежуточные тракты. (Следует отметить, что способ обработки/объединения дифракционных эффектов посредством динамических объектов представлен в конце этого раздела). Следовательно, когда можно предварительно вычислять промежуточные тракты от первого порядка до разрешенного высшего порядка посредством краев, смежных многоугольников (например, треугольной ячеистой сетки) и дифракционных углов в промежуточных трактах, то это должно минимизировать требуемые вычисления во время выполнения.The basic idea that initiates this embodiment begins with the question: “Should I continue to calculate the intermediate diffraction paths?” For example, as shown in FIG. 3, from the source to the listener, we can say that there are three possible diffraction paths: (source - (1) - (5) - (listener), (source - (9) - (13) - (listener) and (source - (1) - (7) - (11) - (listener) To simplify explanation, the last path through the three intermediate edges comprising (1), (7) and (11) is a good example. In an interactive environment , the source may move, and the listener may also move. However, in all situations, the intermediate paths including (1 - (7), (7 - (11) and (11 - (13)) do not change if only there is not a dynamic object obstructing these intermediate paths.(It should be noted that a method for handling/combining diffraction effects through dynamic objects is presented at the end of this section.) Therefore, when it is possible to precompute intermediate paths from first order to allowed higher order through edges, adjacent polygons (eg triangular mesh) and diffraction angles in intermediate paths, this should minimize the required run-time calculations.

Например, фиг. 4 показывает примерную сцену с шестью статическими объектами, чтобы демонстрировать то, каким образом вычисляется дифракционный тракт высшего порядка из края. В этом случае, она начинается с первого края, и край может содержать определенную коррелированную информацию, как указано ниже:For example, FIG. 4 shows an example scene with six static objects to demonstrate how the higher order diffraction path from an edge is calculated. In this case, it starts from the first edge, and the edge may contain certain correlated information, as follows:

struct DiffractionEdge {struct DiffractionEdge {

const EAR::Geomtery*parentGeometry;const EAR::Geomtery*parentGeometry;

int meshID;int meshID;

int edgeID;int edgeID;

std::pair<EAR::Vector3, EAR::Vector3>vtxCoords;std::pair<EAR::Vector3, EAR::Vector3>vtxCoords;

std::pair<EAR::Mesh::Triangle*, EAR::Mesh::Triangle*>adjTris;std::pair<EAR::Mesh::Triangle*, EAR::Mesh::Triangle*>adjTris;

float internalAngle;float internalAngle;

std::vector<DiffractionEdge*>visibleEdgeList;std::vector<DiffractionEdge*>visibleEdgeList;

};};

Например, parentGeometry или meshID указывает геометрию, которой принадлежит выбранный край. Помимо этого, край может физически задаваться в качестве линии двух вершин (посредством их координат или идентификаторов вершин), и смежные треугольники должны быть полезными для вычисления углов из края, источника или слушателя. internalAngle представляет собой угол между двумя смежными треугольниками, который указывает максимальный возможный дифракционный угол вокруг этого края. Кроме того, он также представляет собой индикатор, который позволяет решить, должен ли этот край представлять собой потенциальный дифракционный край.For example, parentGeometry or meshID specifies the geometry to which the selected edge belongs. In addition, an edge can be physically specified as a line of two vertices (via their coordinates or vertex IDs), and adjacent triangles should be useful for calculating angles from an edge, source, or listener. internalAngle is the angle between two adjacent triangles, which indicates the maximum possible diffraction angle around that edge. In addition, it also provides an indicator that allows one to decide whether the edge should represent a potential diffraction edge.

Из выбранного края (в этом случае, первого края, как показано на фиг. 4), можно предполагать две возможных дифракционных ориентации из одного из треугольной ячеистой сетки в открытое пространство и из другого. Эти ориентации визуализируются посредством нормальных векторов смежных треугольников, показанных как красные и синие стрелки. Например, вдоль нормали к поверхности красного цвета (в направлении против часовой стрелки), край номер 2, номер 4, номер 5 и номер 7 должны представлять собой следующие края для дифракции посредством проверки, имеется ли крайнее пространство (т.е. темная зона) для волны, которая должна дифрагировать. Например, звуковая волна не может дифрагировать из края номер 1 в край номер 6, поскольку на краю номер 6, обе стороны края номер 6 являются видимыми из края номер 1, что означает то, что не существует темных зон на краю номер 6 относительно звуковой волны, исходящей из края номер 1. Кроме того, в качестве следующего этапа, можно находить следующий возможный дифракционный край из края номер 7, номер 10 и номер 11. Например, если осуществляется навигация в край номер 11, то можно вычислять промежуточный угол из края номер 1, номер 7, в номер 11. Этот промежуточный угол задается как угол между входящими и исходящими волнами, и в этом случае, входящая волна в край номер 7 представляет собой вектор из края номер 1 в номер 7, и исходящая волна исходит из номер 7 в номер 11. Кроме того, можно выражать его в качестве _1-7-11. Тем не менее, в начале или в конце тракта, такой промежуточный угол не существует. Вместо этого, можно назначать максимально допустимый угол для источника (MAAS) и минимально допустимый угол для слушателя (MAAL). Это означает то, что если угол источника относительно ассоциированной нормали к поверхности (в этом случае красной на краю номер 1) больше MAAS, то источник видит второй край (например, номер 7). В той же концепции, если слушатель имеет меньший угол, чем данный MAAL, то слушатель видит край перед последним краем в тракте. В реальном времени, на основе значений MAAL и MAAS можно вычислять угол источника и слушателя относительно ассоциированной нормали к поверхности, и затем можно проверять допустимость этого тракта. Следовательно, предварительно вычисленный тракт 400 четвертого порядка в сцене по фиг. 4 может задаваться как вектор краев, треугольников и углов, как показано на фиг. 8, верхняя часть.From the selected edge (in this case, the first edge as shown in FIG. 4), two possible diffraction orientations can be assumed, one from the triangular mesh into open space and the other. These orientations are visualized by the normal vectors of adjacent triangles, shown as red and blue arrows. For example, along the red surface normal (counterclockwise direction), edge number 2, number 4, number 5 and number 7 should represent the next edges for diffraction by checking whether there is an edge space (i.e. dark zone) for a wave that must diffract. For example, a sound wave cannot diffract from edge number 1 to edge number 6 because at edge number 6, both sides of edge number 6 are visible from edge number 1, which means that there are no dark areas at edge number 6 relative to the sound wave emanating from edge number 1. In addition, as a next step, one can find the next possible diffraction edge from edge number 7, number 10 and number 11. For example, if one is navigating to edge number 11, then one can calculate the intermediate angle from edge number 1, number 7, to number 11. This intermediate angle is given as the angle between the incoming and outgoing waves, and in this case, the incoming wave at edge number 7 is a vector from edge number 1 to number 7, and the outgoing wave comes from number 7 to number 11. In addition, you can express it as _1-7-11 . However, at the beginning or end of a tract, such an intermediate angle does not exist. Instead, you can assign a maximum acceptable angle for the source (MAAS) and a minimum acceptable angle for the listener (MAAL). This means that if the source's angle relative to the associated surface normal (in this case, the red one at edge number 1) is greater than MAAS, then the source sees the second edge (for example, number 7). In the same concept, if the listener has a smaller angle than the given MAAL, then the listener sees the edge before the last edge in the path. In real time, based on the MAAL and MAAS values, the angle of the source and listener relative to the associated surface normal can be calculated, and the validity of this path can then be checked. Therefore, the precomputed fourth order path 400 in the scene of FIG. 4 can be specified as a vector of edges, triangles and corners, as shown in FIG. 8, upper part.

Общая процедура предпочтительного предварительного вычисления промежуточных трактов и связанные алгоритмы рендеринга в реальном времени приводятся на фиг. 5. После того как все возможные дифракционные тракты в сцене предварительно вычисляются, далее следует только находить список видимых краев из местоположения источника в качестве начальной точки для дифракции и список из местоположения слушателя в качестве конечной точки только в том случае, если прямой тракт между источником и слушателем загораживается. Затем следует вычислять угол источника относительно ассоциированного треугольника (например, 1-R в таблице 1) и угол слушателя относительно треугольника (например, 12-B в таблице 1). Если угол источника меньше MAAS, и угол слушателя больше MAAL, то он должен представлять собой допустимый тракт, вдоль которого должен распространяться сигнал источника звука. После этого, можно обновлять местоположение источника и дифракционные фильтры с использованием информации краевых вершин и ассоциированных углов. Модуль бинаурального рендеринга синтезирует информацию дифрагированных источников (вращаемых и фильтрованных) с надлежащими направленными фильтрами, такими как передаточные функции восприятия звука человеком (HRTF). Можно добавлять дополнительные признаки в дифракционную инфраструктуру, такие как эффекты направленности или расстояния.A general procedure for preferential intermediate path precomputation and associated real-time rendering algorithms are shown in FIG. 5. Once all possible diffraction paths in the scene are pre-computed, the next step is to only find the list of visible edges from the source location as the starting point for diffraction and the list from the listener location as the end point only if the direct path between the source and the listener is blocked. The angle of the source relative to the associated triangle (eg, 1-R in Table 1) and the angle of the listener relative to the triangle (eg, 12-B in Table 1) should then be calculated. If the source angle is less than MAAS and the listener angle is greater than MAAL, then it must represent a valid path along which the audio source signal must propagate. After this, the source location and diffraction filters can be updated using the edge vertex information and associated angles. The binaural rendering module synthesizes information from diffracted sources (rotated and filtered) with appropriate directional filters such as human perception transfer functions (HRTFs). Additional features can be added to the diffraction infrastructure, such as directional or distance effects.

Фиг. 1 иллюстрирует аудиосцену с четырьмя дифрагирующими объектами, в которой предусмотрен дифракционный тракт первого порядка между краем 1 и краем 5. Фиг. 2b, верхняя часть, иллюстрирует дифракционный тракт первого порядка из края 1 в край 5, с таким критерием угла, что угол источника относительно начального или входного края 1 должен быть меньше максимально допустимого угла для источника. Это имеет место на фиг. 1. Это справедливо для минимально допустимого угла для слушателя (MAAL). В частности, угол положения слушателя относительно выходного или конечного края, вычисленный из края между вершиной 5 и вершиной 6 на фиг. 1, больше минимально допустимого угла для слушателя (MAAL). Для текущего положения источника на фиг. 1 и текущего положения слушателя на фиг. 1 дифракционный тракт, как проиллюстрировано в верхней части по фиг. 2b, является активным, и дифракционная характеристика между краем 1 и краем 5, представляющая собой ассоциированную информацию фильтра, может предварительно сохраняться относительно дифракционного тракта без динамического объекта либо может просто вычисляться с использованием списка краев по фиг. 2b.Fig. 1 illustrates an audio scene with four diffracting objects in which a first order diffraction path is provided between edge 1 and edge 5. FIG. 2b, top, illustrates a first order diffraction path from edge 1 to edge 5, with an angle criterion such that the angle of the source relative to the start or input edge 1 must be less than the maximum angle allowed for the source. This is the case in FIG. 1. This is true for the minimum acceptable angle for the listener (MAAL). In particular, the angle of the listener's position relative to the exit or end edge, calculated from the edge between vertex 5 and vertex 6 in FIG. 1, greater than the minimum acceptable angle for the listener (MAAL). For the current source position in Fig. 1 and the current position of the listener in FIG. 1 diffraction path, as illustrated in the upper part of FIG. 2b is active, and the diffraction characteristic between edge 1 and edge 5, representing the associated filter information, may be previously stored with respect to the diffraction path without a dynamic object, or may simply be calculated using the edge list of FIG. 2b.

Фиг. 4 иллюстрирует промежуточный дифракционный тракт 400, проходящий из входного или начального края в выходной или конечный край 12. Фиг. 3 иллюстрирует другой промежуточный дифракционный тракт 300, проходящий из начального края 1 в конечный край 13. Аудиосцена на фиг. 3 и фиг. 4 имеет дополнительные дифракционные тракты из источника в край 9, затем в край 13 и затем до слушателя либо из источника в край 1 и из него в край 5 и из этого края до слушателя. Тем не менее, тракт 300 на фиг. 3 определяется в качестве допустимого промежуточного дифракционного тракта только для положения слушателя, указанного на фиг. 3, которое удовлетворяет минимально допустимому углу для слушателя, т.е. критерию MAAL угла. Тем не менее, положение слушателя, проиллюстрированное на фиг. 4, не должно удовлетворять этому критерию MAAL для тракта 300.Fig. 4 illustrates an intermediate diffraction path 400 extending from an entry or start edge to an exit or end edge 12. FIG. 3 illustrates another intermediate diffraction path 300 extending from start edge 1 to end edge 13. The audio stage in FIG. 3 and fig. 4 has additional diffraction paths from the source to edge 9, then to edge 13 and then to the listener, or from the source to edge 1 and from it to edge 5 and from this edge to the listener. However, path 300 in FIG. 3 is defined as a valid intermediate diffraction path only for the listener position indicated in FIG. 3, which satisfies the minimum acceptable angle for the listener, i.e. MAAL angle criterion. However, the listening position illustrated in FIG. 4 must not satisfy this MAAL criterion for path 300.

С другой стороны, положение слушателя на фиг. 3 не должно удовлетворять критерию MAAL тракта 400, проиллюстрированного на фиг. 4. Следовательно, модуль 100 обеспечения дифракционных трактов или препроцессор должен перенаправлять множество промежуточных дифракционных трактов, проиллюстрированных на фиг. 8, которые содержат промежуточный дифракционный тракт 400, проиллюстрированный на фиг. 4, в качестве первой записи списка и обеспечивать другой промежуточный дифракционный тракт 300, проиллюстрированный на фиг. 3. Этот список промежуточных дифракционных трактов должен передаваться в модуль рендеринга, и модуль рендеринга определяет один или более допустимых промежуточных дифракционных трактов из положения аудиоисточника в положение слушателя. В случае положения слушателя, проиллюстрированного на фиг. 3, только тракт 300 списка на фиг. 8 должен определяться в качестве допустимого промежуточного дифракционного тракта, тогда как для положения слушателя, проиллюстрированного на фиг. 4, только тракт 400 должен определяться в качестве допустимого промежуточного дифракционного тракта.On the other hand, the listener position in FIG. 3 must not satisfy the MAAL criterion of path 400 illustrated in FIG. 4. Therefore, the diffraction path providing module 100 or preprocessor must route the plurality of intermediate diffraction paths illustrated in FIG. 8, which include the intermediate diffraction path 400 illustrated in FIG. 4 as the first list entry and provide another intermediate diffraction path 300 illustrated in FIG. 3. This list of intermediate diffraction paths must be passed to the renderer, and the renderer determines one or more valid intermediate diffraction paths from the audio source position to the listener position. In the case of the listener position illustrated in FIG. 3, only the list path 300 of FIG. 8 should be defined as a valid intermediate diffraction path, whereas for the listener position illustrated in FIG. 4, only path 400 should be designated as a valid intermediate diffraction path.

Что касается сценария на фиг. 3 или на фиг. 4, любой промежуточный дифракционный тракт, имеющий конечные края или выходные края 15, 10, 7 или 2, не должен определяться в качестве допустимого промежуточного дифракционного тракта, поскольку эти края вообще не являются видимыми от слушателя. Модуль 200 рендеринга на фиг. 7 должен выбирать, из всех промежуточных дифракционных трактов, которые являются теоретически возможными через аудиосцену на фиг. 4, только тракты, которые имеют конечный край или выходной край, видимый для слушателя, т.е. край 4, 5, 12, 13 в этом примере. Это должно соответствовать edgelist(lis).Regarding the scenario in FIG. 3 or in FIG. 4, any intermediate diffraction path having end edges or exit edges 15, 10, 7 or 2 should not be designated as a valid intermediate diffraction path since these edges are not visible from the listener at all. Rendering module 200 in FIG. 7 must select from all intermediate diffraction paths that are theoretically possible across the audio stage in FIG. 4, only paths that have a trailing edge or exit edge visible to the listener, i.e. edge 4, 5, 12, 13 in this example. This should match edgelist(lis).

Аналогичным образом, относительно положения источника, любые предварительно вычисленные промежуточные дифракционные тракты, предусмотренные в списке промежуточных дифракционных трактов, исходящих из модуля 100 обеспечения дифракционных трактов по фиг. 7, которые имеют, в качестве начального края, например, край 3, 6, 11 или 14, вообще не должны выбираться. Только дифракционные тракты, которые имеют начальные края 1, 8, 9, 16, должны выбираться для конкретной проверки допустимости с использованием критерия угла MAAS. Эти края должны находиться в edgelist(src).Likewise, with respect to the source position, any precomputed intermediate diffraction paths provided in the list of intermediate diffraction paths originating from the diffraction path providing unit 100 of FIG. 7 which have, for example, edge 3, 6, 11 or 14 as a starting edge, should not be selected at all. Only diffraction paths that have starting edges 1, 8, 9, 16 should be selected for a specific acceptance test using the MAAS angle criterion. These edges must be in edgelist(src).

В общих словах, определение фактического допустимого промежуточного дифракционного тракта, из которого в итоге определяется представление фильтра для распространения звука из источника до слушателя, выбирается в трехстадийной процедуре. На первой стадии выбираются только предварительно сохраненные дифракционные тракты, имеющие начальные края, которые совпадают с положением источника. На второй стадии выбираются только такие промежуточные дифракционные тракты, которые имеют выходные края, совпадающие с положением слушателя, и на третьей стадии каждый из этих выбранных трактов проходит проверку допустимости с использованием критерия угла для источника, с одной стороны, и слушателя, с другой стороны. Только промежуточные дифракционные тракты, остающиеся в силе после всех трех стадий, затем используются посредством модуля рендеринга, чтобы вычислять выходные аудиосигналы.In general terms, determining the actual feasible intermediate diffraction path from which the filter representation for propagating sound from the source to the listener is ultimately determined is selected in a three-step procedure. In the first stage, only pre-stored diffraction paths are selected that have starting edges that coincide with the source position. In the second stage, only those intermediate diffraction paths are selected that have exit edges that coincide with the listener's position, and in the third stage, each of these selected paths is tested for acceptability using an angle criterion for the source on the one hand and the listener on the other. Only the intermediate diffraction paths remaining valid after all three stages are then used by the rendering module to calculate the audio output signals.

Фиг. 10 иллюстрирует предпочтительную реализацию информации выбора. На этапе 102, потенциальные начальные края для конкретного положения источника определяются с использованием геометрической информации аудиосцены, с использованием положения источника и, в частности, с использованием множества промежуточных дифракционных трактов, уже предварительно вычисленных посредством препроцессора. На этапе 104 определяются потенциальные конечные края для конкретного положения слушателя. На этапе 102 определяются потенциальные промежуточные дифракционные тракты на основе результата этапа 102 и результата блока 104, которые соответствуют вышеописанным первой и второй стадиям. На этапе 108, потенциальные промежуточные дифракционные тракты проходят проверку допустимости с использованием условий в отношении угла в виде MAAS или MAAL либо, в общем, посредством определения видимости, определяющего, является ли определенный край дифракционным краем. Этап 108 иллюстрирует вышеуказанную третью стадию. Входные данные MAAS и MAAL получаются из списка промежуточных дифракционных трактов, проиллюстрированных, например, на фиг. 8.Fig. 10 illustrates a preferred implementation of selection information. At step 102, potential starting edges for a particular source position are determined using geometric information of the audio scene, using the source position and, in particular, using a plurality of intermediate diffraction paths already precomputed by the preprocessor. At step 104, potential end edges for a particular listener position are determined. At step 102, potential intermediate diffraction paths are determined based on the result of step 102 and the result of block 104, which correspond to the first and second stages described above. At step 108, potential intermediate diffraction paths undergo a validity check using angle conditions in the form of MAAS or MAAL, or more generally through a visibility determination determining whether a particular edge is a diffraction edge. Step 108 illustrates the above third stage. The MAAS and MAAL input data are obtained from the list of intermediate diffraction paths illustrated, for example, in FIG. 8.

Фиг. 11 иллюстрирует дополнительную процедуру для совокупности этапов, выполняемых на этапе 108 для проверки допустимости потенциальных промежуточных дифракционных трактов. На этапе 112, угол положения источника вычисляется относительно начального края. Это соответствует, например, вычислению угла 113 на фиг. 1. На этапе 114, угол положения слушателя вычисляется относительно конечного края. Это соответствует вычислению угла 115 на фиг. 1. На этапе 116, угол положения источника сравнивается с максимально допустимым углом MAAS для источника, и если определяется то, что сравнение приводит к ситуациям, когда угол больше MAAS, то тест завершен неудачно, как указано на этапе 120. Тем не менее, когда определяется то, что угол 113 меньше MAAS, то первый тест на допустимость пройден.Fig. 11 illustrates an additional procedure for a set of steps performed in step 108 to test the validity of potential intermediate diffraction paths. At step 112, the angle of the source position is calculated relative to the starting edge. This corresponds, for example, to the calculation of angle 113 in FIG. 1. At step 114, the angle of the listener's position is calculated relative to the end edge. This corresponds to the calculation of angle 115 in FIG. 1. At step 116, the source position angle is compared with the maximum allowable MAAS angle for the source, and if it is determined that the comparison results in situations where the angle is greater than MAAS, then the test fails as indicated at step 120. However, when it is determined that angle 113 is less than MAAS, then the first test for admissibility is passed.

Тем не менее, промежуточный дифракционный тракт представляет собой допустимый промежуточный дифракционный тракт только тогда, когда вторая проверка допустимости также проходится. Это получается посредством результата блока 118, т.е. MAAL сравнивается с углом 115 положения слушателя. Например, когда угол 115 больше MAAL, то вторая доля для прохождения теста на допустимость получается, как указано на этапе 122, и информация фильтра извлекается из списка промежуточных дифракционных трактов, как указано на этапе 126, или информация фильтра вычисляется в зависимости от данных в списке в случае параметрических представлений, например, в зависимости от промежуточных углов, указываемых в списке по фиг. 8.However, an intermediate diffraction path is only a valid intermediate diffraction path if the second acceptance check also passes. This is obtained through the result of block 118, i.e. MAAL is compared to the angle 115 of the listener position. For example, when angle 115 is greater than MAAL, then the second portion for passing the acceptance test is obtained as specified in step 122, and filter information is retrieved from the list of intermediate diffraction paths as specified in step 126, or filter information is calculated depending on the data in the list in the case of parametric representations, for example, depending on the intermediate angles indicated in the list of FIG. 8.

После того, как информация фильтра, ассоциированная с допустимым промежуточным дифракционным трактом, получается, как в случае после этапа 126 на фиг. 11, модуль 200 рендеринга аудио по фиг. 7 должен вычислять конечную информацию фильтра, как проиллюстрировано на фиг. 9. В частности, этап 126 на фиг. 9 соответствует этапу 126 по фиг. 11. На этапе 128, начальная информация фильтра из положения источника в начальный край допустимого промежуточного дифракционного тракта определяется. В частности, она представляет собой информацию фильтра, описывающую распространение аудио источника, например, на фиг. 1 до вершины на краю (1). Эта информация распространения относится к затуханию не только вследствие расстояния, но и также в зависимости от угла. Как известно из геометрической теории дифракции (GTD) или однородной теории дифракции (UTD) либо любых других моделей для дифракции звука, возможных для настоящего изобретения, частотная характеристика дифрагированного звука зависит от дифракционного угла. Когда угол 113 источника является очень небольшим, типично только низкочастотная часть звука дифрагируется, и высокочастотная часть сильнее затухает по сравнению с ситуацией, когда угол 113 источника приближается к углу MAAS на фиг. 1. В такой ситуации, высокочастотное затухание уменьшается по сравнению со случаем, когда угол источника приближается к 0 или является очень небольшим.After filter information associated with the valid intermediate diffraction path is obtained, as is the case after step 126 in FIG. 11, audio rendering module 200 of FIG. 7 must calculate the final filter information as illustrated in FIG. 9. In particular, step 126 in FIG. 9 corresponds to step 126 of FIG. 11. At step 128, the initial filter information from the source position to the initial edge of the valid intermediate diffraction path is determined. In particular, it represents filter information describing the propagation of an audio source, for example in FIG. 1 to the top on the edge (1). This propagation information relates to attenuation not only due to distance, but also depending on the angle. As is known from Geometric Theory of Diffraction (GTD) or Uniform Theory of Diffraction (UTD) or any other models for sound diffraction possible with the present invention, the frequency response of diffracted sound depends on the diffraction angle. When the source angle 113 is very small, typically only the low frequency portion of the sound is diffracted and the high frequency portion is more attenuated compared to the situation when the source angle 113 approaches the MAAS angle in FIG. 1. In such a situation, the high frequency attenuation is reduced compared to the case where the source angle approaches 0 or is very small.

Аналогичным образом, конечная информация фильтра из конечного или выходного края 5 в положение слушателя снова определяется на основе угла 115 слушателя относительно MAAL. Далее, как только эти три информационных элемента фильтра или доли фильтра определены, они объединяются на этапе 132 для получения представления фильтра для полного дифракционного тракта, причем полный дифракционный тракт содержит тракт из источника в начальный край, промежуточный дифракционный тракт и тракт из выходного или конечного края в положение слушателя. Объединение может осуществляться множеством способов, и один эффективный способ состоит в преобразовании каждого из трех представлений фильтра, полученных на этапе 128, 126 и 130, в спектральное представление для получения соответствующей передаточной функции и последующем умножении трёх передаточных функций в спектральной области для получения конечного представления фильтра, которое может использоваться как есть в случае модуля рендеринга аудио, работающего в частотной области. В альтернативе, информация фильтра частотной области может преобразовываться во временную область в случае модуля рендеринга аудио, работающего во временной области. В качестве альтернативы, три элемента фильтра могут подвергаться операциям свертки с использованием импульсных откликов фильтра временной области, представляющих отдельные доли фильтра, и результирующий импульсный отклик фильтра временной области затем может использоваться посредством модуля рендеринга аудио для рендеринга. В этом случае, модуль рендеринга должен выполнять операцию свертки между сигналом аудиоисточника, с одной стороны, и полным представлением фильтра, с другой стороны.Likewise, the final filter information from the final or output edge 5 to the listener position is again determined based on the listener angle 115 relative to the MAAL. Next, once these three filter information elements or filter shares are determined, they are combined at step 132 to obtain a filter representation for the complete diffraction path, the complete diffraction path comprising a path from a source to a start edge, an intermediate diffraction path, and a path from an output or end edge. to the listening position. Fusion can be accomplished in a variety of ways, and one effective method is to convert each of the three filter representations obtained at steps 128, 126, and 130 into a spectral representation to obtain the corresponding transfer function and then multiply the three spectral domain transfer functions to obtain the final filter representation. , which can be used as is in the case of an audio renderer operating in the frequency domain. Alternatively, the frequency domain filter information may be converted to the time domain in the case of an audio renderer operating in the time domain. Alternatively, the three filter elements may be convolved using the time domain filter impulse responses representing the individual filter beats, and the resulting time domain filter impulse response may then be used by the audio renderer for rendering. In this case, the renderer must perform a convolution operation between the audio source signal on the one hand and the full filter representation on the other hand.

Далее иллюстрируется фиг. 5, демонстрирующая блок-схему предпочтительной реализации рендеринга статических объектов различения. Процедура начинается на этапе 202. Затем предусмотрен этап предварительного вычисления для формирования списка в соответствии с модулем 100 обеспечения дифракционных трактов по фиг. 7. На этапе 204 определяется модуль трассировки с ячеистыми сетками для теста на загораживание. Этот этап определяет все различные дифракционные тракты между краями, причем дифракционные тракты могут возникать, по определению, только тогда, когда загораживается прямой тракт между двумя несмежными краями. Когда, например, рассматривается фиг. 3, тракт между краем 1 и краем 11 загораживается посредством края 7, и в силу этого может возникать дифракция. Такие ситуации, например, определяются посредством блока 204. На этапе 206, список потенциальных дифракционных краев вычисляется с использованием внутреннего угла между двумя смежными треугольниками. Эта процедура определяет промежуточные или внутренние углы для таких частей дифракционных трактов, т.е., например, для части между краем 1 и краем 11. Этот этап 206 также должен определять дополнительную часть дифракционного тракта между краем 7 через край 11 в край 12 или между краем 7 через край 11 в край 13. Соответствующие дифракционные тракты предварительно вычисляются, например, как проиллюстрировано на фиг. 8, так что тракт 300 по фиг. 3, например, или тракт 400 по фиг. 4, например, предварительно вычисляется вместе с ассоциированной информацией фильтра, описывающей общее распространение звука из края 1 в край 13 для тракта 300 или из края 1 в край 12 для тракта 400 по фиг. 4. Процедура предварительного вычисления завершается, и этап во время выполнения выполняется. На этапе 210, модуль 200 рендеринга получает данные о положении источников и слушателя. На этапе 212, тест на загораживание направленного тракта между источником и слушателем выполняется. Процедура продолжается только в том случае, если результат теста на этапе 212 заключается в том, что направленный тракт загораживается. Если прямой тракт не загораживается, то прямое распространение возникает, и дифракция вообще не представляет собой проблему для этого тракта.The following illustrates FIG. 5 showing a block diagram of a preferred implementation of rendering static discrimination objects. The procedure begins at step 202. A precomputation step is then provided to generate the list in accordance with the diffraction path provisioning module 100 of FIG. 7. At step 204, a mesh trace module is determined for the occlusion test. This step defines all the different diffraction paths between the edges, and diffraction paths can, by definition, only occur when the direct path between two non-adjacent edges is blocked. When, for example, FIG. 3, the path between the edge 1 and the edge 11 is blocked by the edge 7, and therefore diffraction may occur. Such situations are, for example, determined by block 204. At step 206, a list of potential diffraction edges is calculated using the interior angle between two adjacent triangles. This procedure determines the intermediate or interior angles for such portions of the diffraction paths, i.e., for example, the portion between edge 1 and edge 11. This step 206 would also determine an additional portion of the diffraction path between edge 7 through edge 11 to edge 12 or between edge 7 through edge 11 into edge 13. The corresponding diffraction paths are pre-calculated, for example, as illustrated in FIG. 8, so that path 300 of FIG. 3, for example, or path 400 of FIG. 4, for example, is precomputed along with associated filter information describing the overall sound propagation from edge 1 to edge 13 for path 300 or from edge 1 to edge 12 for path 400 in FIG. 4. The pre-computation procedure ends and the run-time step is executed. At step 210, the rendering module 200 obtains the position data of the sources and the listener. At step 212, a directional path obstruction test between the source and the listener is performed. The procedure continues only if the test result at step 212 is that the directional path is obstructed. If the forward path is not obstructed, then forward propagation occurs and diffraction is not a problem for that path at all.

На этапе 214, списки видимых краев из источника, с одной стороны, и слушателя, с другой стороны, определяются. Эта процедура соответствует этапам 102 и 104 и 106 по фиг. 6. На этапе 216, тракты проходят проверку допустимости начиная с входного края из списка краев и завершая в выходном крае из списка краев для слушателя. Это соответствует процедуре, выполняемой на этапе 108 на фиг. 10. На этапе 218, представление фильтра определяется таким образом, что местоположение источника может обновляться посредством вращения относительно ассоциированных краев, и дифракционный фильтр, например, из базы данных UTD-моделей может обновляться. Тем не менее, в общем, настоящее изобретение не ограничено применением баз данных UTD-моделей, и настоящее изобретение может применяться с использованием любого конкретного вычисления и применения информации фильтра из дифракционного тракта. На этапе 220, выходные аудиосигналы для аудиосцены вычисляются, например, посредством бинаурального рендеринга с использованием ассоциированных модулей обработки линий задержки, которые предусмотрены для рендеринга эффекта расстояния в случае, если эффект расстояния не включён в соответствующие направленные фильтры для бинаурального рендеринга, к примеру, в определенные фильтры HRTF.At step 214, lists of visible edges from the source on the one hand and the listener on the other hand are determined. This procedure corresponds to steps 102 and 104 and 106 of FIG. 6. At step 216, the paths are validated starting at an input edge from the edge list and ending at an output edge from the listener edge list. This corresponds to the procedure performed at step 108 in FIG. 10. At step 218, a filter representation is defined such that the source location can be updated by rotation about the associated edges, and a diffraction filter, for example, from a UTD model database can be updated. However, in general, the present invention is not limited to the use of UTD model databases, and the present invention can be applied using any particular calculation and application of filter information from a diffraction path. At step 220, audio outputs for the audio scene are calculated, for example, by binaural rendering using associated delay line processing modules that are provided for rendering the distance effect in the event that the distance effect is not included in the corresponding directional filters for binaural rendering, for example, in certain HRTF filters.

Фиг. 12 иллюстрирует вращение, выполняемое в невращаемое положение источника для повышения качества звучания рендерированной аудиосцены. Это вращение предпочтительно применяется на этапе 218 по фиг. 5 или на этапе 218 на фиг. 6. Вращение местоположения источника для целей рендеринга или придания пространственной формы является полезным для улучшения пространственного восприятия относительно исходного местоположения источника. Следовательно, относительно фиг. 12, выполняется рендеринг источника звука в новом положении 142, которое получается посредством вращения из исходного положения 143 источника звука в промежуточное положение 141 вокруг края 9 через угол DA_9. Этот угол определяется посредством линии, соединяющей края 13 и 9 таким образом, что получается прямая линия. Промежуточное положение 141 затем вращается вокруг края 13 через угол DA_13 таким образом, что она имеет прямую линию от слушателя в конечное вращаемое положение 142 источника. Таким образом, пространственная форма придается не только частотно-зависимым значениям частотной коррекции или затухания, но также и воспринимаемому направлению исходного источника во вращаемом положении 142 источника. Это конечное вращаемое положение источника представляет собой воспринимаемое положение источника вследствие звукового дифракционного эффекта, изменяющего угол распространения звука в каждом процессе дифракции.Fig. 12 illustrates rotation performed to a non-rotated source position to improve the sound quality of the rendered audio scene. This rotation is preferably applied at step 218 of FIG. 5 or at step 218 in FIG. 6. Rotating the source location for rendering or spatial shaping purposes is useful for improving spatial perception relative to the original source location. Therefore, with respect to FIG. 12, the sound source is rendered at a new position 142, which is obtained by rotating from the original sound source position 143 to the intermediate position 141 around the edge 9 through the angle DA_9. This angle is determined by a line connecting edges 13 and 9 so that a straight line is obtained. The intermediate position 141 is then rotated about the edge 13 through the angle DA_13 such that it has a straight line from the listener to the final rotated source position 142. Thus, spatial shape is given not only to the frequency-dependent frequency equalization or attenuation values, but also to the perceived direction of the original source at the rotated source position 142. This final rotated position of the source represents the perceived position of the source due to the sound diffraction effect changing the angle of sound propagation in each diffraction process.

Следует обратиться к одному примерному дифракционному тракту из источника до слушателя «источник - (9) - (13) - слушатель». Дополнительная информация phi, theta для воспроизведения пространственного звука формируется с использованием положения 142 вращаемого источника.One exemplary diffraction path from the source to the listener "source - (9) - (13) - listener" should be referred to. Additional information phi, theta for spatial audio reproduction is generated using the rotating source position 142.

Полная ассоциированная информация фильтра с учетом точного местоположения источника/слушателя уже обеспечивает точную информацию EQ для каждой частоты, т.е. эффект затухания посредством дифракционного эффекта. Использование исходного положения источника и расстояния до исходного источника уже составляет низкоуровневую реализацию. Эта низкоуровневая реализация улучшается посредством дополнительного создания информации, требуемой для выбора надлежащих фильтров HRTF. С этой целью, исходный источник звука вращается относительно релевантных краев на величину дифракционных углов, чтобы формировать местоположение дифрагированного источника. После этого, углы азимута и подъема могут извлекаться из этого положения относительно слушателя, и полное расстояние распространения вдоль тракта может получаться.The complete associated filter information, taking into account the exact location of the source/listener, already provides accurate EQ information for each frequency, i.e. attenuation effect through diffraction effect. Using the original source position and the distance to the original source already constitutes a low-level implementation. This low-level implementation is improved by additionally generating the information required to select appropriate HRTFs. To this end, the original sound source is rotated about the relevant edges by the amount of diffraction angles to form the location of the diffracted source. Thereafter, azimuth and elevation angles can be extracted from this position relative to the listener, and the total propagation distance along the path can be obtained.

Фиг. 12 также иллюстрирует вычисление расстояния между конечным рендерированным положением 142 источника звука и положением слушателя, которое получено посредством процесса вращения. Предпочтительно дополнительно использовать это расстояние для определения задержки зависимого от расстояния затухания для рендеринга источника.Fig. 12 also illustrates the calculation of the distance between the final rendered sound source position 142 and the listener position, which is obtained through the rotation process. It is preferable to further use this distance to determine the distance-dependent attenuation delay for rendering the source.

Ниже приведены дополнительные замечания относительно использования и определения вращаемого положения 143 для исходного положения 143 источника. Каждый этап вычислений для получения допустимого тракта решает проблемы, связанные с исходным положением 143 источника. Но для достижения бинаурального рендеринга для пользователей, которые оснащаются наушниками, чтобы ощущать лучший иммерсивный звук в VR-пространстве, местоположение источника звука предпочтительно выдается в модуль бинаурализации таким образом, что модуль бинаурализации может применять надлежащую пространственную фильтрацию (H_L и H_R) к исходному аудиосигналу, где H_L/H_R называется «передаточной функцией восприятия звука человеком (HRTF)», например, как описано в https://www.ece.ucdavis.edu/cipic/spatial-sound/tutorial/hrtf/.The following are additional notes regarding the use and definition of the rotated position 143 for the source home position 143. Each computational step to obtain a valid path solves problems associated with the initial position 143 of the source. But to achieve binaural rendering for users who are equipped with headphones to experience better immersive audio in VR space, the location of the audio source is preferably output to the binauralization module in such a way that the binauralization module can apply proper spatial filtering (H_L and H_R) to the original audio signal. where H_L/H_R is called the "human perception transfer function (HRTF)", for example as described in https://www.ece.ucdavis.edu/cipic/spatial-sound/tutorial/hrtf/.

Filterd_S_L=H_L(phi, theta, w)*S(w)Filterd_S_L=H_L(phi, theta, w)*S(w)

Filterd_S_R=H_R(phi, theta, w)*S(w)Filterd_S_R=H_R(phi, theta, w)*S(w)

Моносигнал S(w) не имеет сигнальных меток локализации, которые должны использоваться для формирования пространственного звука. При этом фильтрованный звук посредством HRTF может воспроизводить пространственное впечатление. Для этого процесс должен задавать phi и theta (т.е. относительный угол азимута и подъема дифрагированного источника). Означенное представляет собой причину вращения исходного источника звука. В силу этого модуль рендеринга принимает информацию конечного положения 142 источника по фиг. 12 в дополнение к информации фильтра. Хотя для низкоуровневой реализации, в общем должно быть возможным использование направления исходного источника 143 звука таким образом, что может быть исключена сложность для вращения источника звука, эта процедура страдает от ошибки направления, видимой на фиг. 12. Тем не менее, для низкоуровневой реализации эта ошибка допускается. Это справедливо для впечатления на основе расстояния. Как показано на фиг. 12, расстояние от вращаемого источника 142 до слушателя в определенной степени превышает расстояние от исходного источника 143 до слушателя. Эта ошибка в расстоянии может допускаться для низкоуровневой имплантации для уменьшения сложности. Тем не менее, для высокоуровневого применения, эта ошибка может исключаться.The mono signal S(w) does not have localization cues that must be used to generate spatial audio. In this case, the filtered sound through HRTF can reproduce the spatial impression. To do this, the process must specify phi and theta (i.e., the relative azimuth and elevation angle of the diffracted source). This represents the reason for the rotation of the original sound source. Because of this, the rendering module receives the source end position information 142 of FIG. 12 in addition to the filter information. Although for a low-level implementation it should generally be possible to use the direction of the original sound source 143 in such a way that the difficulty of rotating the sound source can be eliminated, this procedure suffers from the direction error seen in FIG. 12. However, for a low-level implementation this error is allowed. This is true for impressions based on distance. As shown in FIG. 12, the distance from the rotating source 142 to the listener is to a certain extent greater than the distance from the original source 143 to the listener. This distance error can be tolerated for low-level implantation to reduce complexity. However, for high-level applications, this error can be eliminated.

Таким образом, формирование местоположения дифрагированного источника звука посредством вращения исходного источника относительно релевантных краев также может обеспечивать расстояние распространения от источника и от слушателя, причем расстояние используется для затухания посредством расстояния.Thus, shaping the location of a diffracted sound source by rotating the original source about relevant edges can also provide propagation distance from the source and from the listener, the distance being used for attenuation by distance.

Этот процесс формирования дополнительной информации для phi, theta и расстояния также является полезным для многоканальной системы воспроизведения. Единственное различие заключается в том, что для многоканальной системы воспроизведения, другой набор пространственных фильтров должен применяться к S(w), чтобы подавать Filtered_S_i в i-ый динамик в качестве "Filterd_S_i=H_i(phi, theta, w, другие параметры)*S(w)".This process of generating additional information for phi, theta and distance is also useful for a multi-channel playout system. The only difference is that for a multi-channel playback system, a different set of spatial filters must be applied to S(w) to feed Filtered_S_i to the i-th speaker as "Filterd_S_i=H_i(phi, theta, w, other parameters)*S (w)".

Предпочтительные варианты осуществления относятся к работе модуля рендеринга, который выполнен с возможностью вычисления, в зависимости от допустимого промежуточного дифракционного тракта или в зависимости от полного дифракционного тракта, вращаемого положения аудиоисточника, отличающегося от положения аудиоисточника вследствие дифракционного эффекта, вызываемого посредством допустимого промежуточного дифракционного тракта или в зависимости от полного дифракционного тракта, и использования вращаемого положения аудиоисточника при вычислении (220) выходных аудиосигналов для аудиосцены, либо который выполнен с возможностью вычисления выходных аудиосигналов для аудиосцены с использованием последовательности краев, ассоциированной с полным дифракционным трактом, и последовательности дифракционных углов, ассоциированной с полным дифракционным трактом, в дополнение к представлению фильтра.Preferred embodiments relate to the operation of a rendering module that is configured to calculate, depending on the allowable intermediate diffraction path or depending on the complete diffraction path, a rotatable position of an audio source different from the position of the audio source due to a diffraction effect caused by the allowable intermediate diffraction path or in depending on the complete diffraction path, and using the rotated position of the audio source in calculating (220) audio output signals for an audio scene, or which is configured to calculate audio output signals for an audio scene using a sequence of edges associated with the complete diffraction path and a sequence of diffraction angles associated with the complete diffraction path. diffraction path, in addition to the filter representation.

В другом варианте осуществления, модуль рендеринга выполнен с возможностью определения расстояния от положения слушателя до вращаемого положения источника и использования расстояния при вычислении выходных аудиосигналов для аудиосцены.In another embodiment, the rendering module is configured to determine the distance from the listener position to the rotated source position and use the distance when calculating audio output signals for the audio scene.

В другом варианте осуществления, модуль рендеринга выполнен с возможностью выбора одного или более направленных фильтров в зависимости от вращаемого положения источника и заданного выходного формата для выходных аудиосигналов и применения одного или более направленных фильтров и представление фильтра к аудиосигналу при вычислении выходных аудиосигналов.In another embodiment, the rendering module is configured to select one or more directional filters depending on the rotated position of the source and a specified output format for the output audio signals and apply the one or more directional filters and present the filter to the audio signal when calculating the output audio signals.

В другом варианте осуществления, модуль рендеринга выполнен с возможностью определения значения затухания в зависимости от расстояния между вращаемым положением источника и положением слушателя и применения, в дополнение к представлению фильтра, одного или более направленных фильтров в зависимости от положения аудиоисточника или вращаемого положения аудиоисточника к аудиосигналу.In another embodiment, the rendering module is configured to determine an attenuation value depending on the distance between the rotated position of the source and the position of the listener and apply, in addition to representing a filter, one or more directional filters depending on the position of the audio source or the rotated position of the audio source to the audio signal.

В другом варианте осуществления, модуль рендеринга выполнен с возможностью определения вращаемого положения источника в последовательности операций вращения, содержащих по меньшей мере одну операцию вращения.In another embodiment, the rendering module is configured to determine a rotated position of a source in a sequence of rotation operations comprising at least one rotation operation.

На первом этапе последовательности, начинающейся в первом дифракционном крае полного дифракционного тракта, часть тракта из первого дифракционного края в местоположение источника вращается в первой операции вращения для получения прямой линии из второго дифракционного края или положения слушателя в случае, если полный дифракционный тракт имеет только первый дифракционный край, в первое промежуточное вращаемое положение источника, при этом первое промежуточное вращаемое положение источника представляет собой вращаемое положение источника, когда полный дифракционный тракт имеет только первый дифракционный край. Последовательность должна быть закончена для одного дифракционного края. В случае с двумя дифракционными краями, первый край должен представлять собой край 9 на фиг. 12, и первое промежуточное положение представляет собой элемент 141.In the first step of the sequence starting at the first diffraction edge of the complete diffraction path, a portion of the path from the first diffraction edge to the source location is rotated in a first rotation operation to obtain a straight line from the second diffraction edge or the listener position in the case that the complete diffraction path has only the first diffraction edge, to a first intermediate rotating source position, wherein the first intermediate rotating source position is a rotating source position when the complete diffraction path has only the first diffraction edge. The sequence must be completed for one diffraction edge. In the case of two diffraction edges, the first edge should be edge 9 in FIG. 12, and the first intermediate position is element 141.

В случае более чем одного дифракционного края, результат первой операции вращения вращается вокруг второго дифракционного края во второй операции вращения для получения прямой линии из третьего дифракционного края или положения слушателя в случае, если полный дифракционный тракт имеет только первый и второй дифракционные края, во второе промежуточное вращаемое положение источника, при этом второе промежуточное вращаемое положение источника представляет собой вращаемое положение источника, когда полный дифракционный тракт имеет только первый и второй дифракционные края. Последовательность должна быть закончена для двух дифракционных краев. В случае с двумя дифракционными краями, первый край должен представлять собой край 9 на фиг. 12, и второй край представляет собой край 13.In the case of more than one diffraction edge, the result of the first rotation operation is rotated about the second diffraction edge in the second rotation operation to obtain a straight line from the third diffraction edge, or the listener position in the case of a complete diffraction path having only the first and second diffraction edges, into a second intermediate a rotated source position, wherein the second intermediate rotated source position is a rotated source position when the complete diffraction path has only the first and second diffraction edges. The sequence must be completed for two diffraction edges. In the case of two diffraction edges, the first edge should be edge 9 in FIG. 12, and the second edge is edge 13.

В случае тракта более чем с двумя дифракционными краями, такого как тракт 300 по фиг. 3, процедура продолжается, при этом одна или более операций вращения дополнительно выполняются с третьим дифракционным краем 11 на фиг. 3 и затем с краем 13 на фиг. 3 из с краем 12 на фиг. 3 и, в общем, до тех пор, пока не обработан полный дифракционный тракт и не получена прямая линия из положения слушателя в последующее полученное вращаемое положение источника.In the case of a path with more than two diffraction edges, such as path 300 of FIG. 3, the procedure continues with one or more rotation operations further performed on the third diffraction edge 11 in FIG. 3 and then with edge 13 in FIG. 3 of with edge 12 in FIG. 3 and generally until the entire diffraction path has been processed and a straight line from the listener position to the subsequently obtained rotated source position is obtained.

Далее проиллюстрирована предпочтительная реализация для обработки динамических объектов (DO). С этой целью, следует обратиться к фиг. 2b, показывающему динамический объект DO, который размещен, относительно ситуации на фиг. 1, в центральном положении аудиосцены в различные моменты. Это означает то, что промежуточный дифракционный тракт из края 1 в край 5, проиллюстрированный в верхней линии на фиг. 2d, прерывается посредством дифракционного объекта DO, и два новых дифракционных тракта сформированы, один из края 1 в край 7 и затем в край 5, и другой из края 1 в край 3 и затем в край 5. Эти дифракционные тракты применимы в случае слушателя, размещаемого слева на фиг. 2a. Вследствие того факта, что динамический объект помещен в звуковую сцену, также MAAS- и MAAL-условия изменены относительно ситуации без динамического объекта. Список промежуточных дифракционных трактов по фиг. 1 дополняется, например, как проиллюстрировано в элементе 226 по фиг. 6, посредством двух дополнительных промежуточных дифракционных трактов, проиллюстрированных в нижней части по фиг. 2b. В частности, когда предполагается, что исходный тракт из края 1 в край 5 на фиг. 5 представляет собой только часть более крупной ситуации по отражению, когда источник не размещается близко к краю 1, но когда имеются, например, один или более дополнительных трактов отражения между объектами, и когда аналогичная ситуация возникает относительно слушателя, то предварительно вычисленный дифракционный тракт, существующий для фиг. 1 без динамического объекта, может легко обновляться во время выполнения посредством замены только дифракционного тракта из 1 в 5 на фиг. 1 на два дополнительных тракта и при этом оставления предыдущей части из края 1 в любой начальный край дифракционного тракта как есть, а также оставления части тракта из края 5 в любой выходной край или конечный край как есть.The following illustrates a preferred implementation for handling dynamic objects (DOs). For this purpose, reference should be made to FIG. 2b showing a dynamic DO object that is placed with respect to the situation in FIG. 1, in the center position of the audio stage at various times. This means that the intermediate diffraction path from edge 1 to edge 5, illustrated in the top line in FIG. 2d is interrupted by the diffraction object DO, and two new diffraction paths are formed, one from edge 1 to edge 7 and then to edge 5, and the other from edge 1 to edge 3 and then to edge 5. These diffraction paths are applicable in the case of a listener, placed on the left in Fig. 2a. Due to the fact that the dynamic object is placed in the sound stage, also the MAAS and MAAL conditions are changed relative to the situation without the dynamic object. List of intermediate diffraction paths according to Fig. 1 is complemented, for example, as illustrated in element 226 of FIG. 6, by means of two additional intermediate diffraction paths illustrated in the lower part of FIG. 2b. In particular, when it is assumed that the source path from edge 1 to edge 5 in FIG. 5 represents only part of a larger reflection situation when the source is not placed close to edge 1, but when there are, for example, one or more additional reflection paths between objects, and when a similar situation arises relative to the listener, then the pre-calculated diffraction path that exists for fig. 1 without a dynamic object can be easily updated at runtime by replacing only the diffraction path from 1 to 5 in FIG. 1 into two additional paths and at the same time leaving the previous part from edge 1 to any initial edge of the diffraction path as is, and also leaving part of the path from edge 5 to any output edge or final edge as is.

Фиг. 6 иллюстрирует ситуацию процедуры, выполняемой с динамическими объектами. На этапе 222 определяется, изменяет ли динамический объект DO свое местоположение, например, посредством перемещения в пространстве и вращения. Края, присоединенные к динамическому объекту, обновляются. В примере по фиг. 2a, этап 222 должен определять то, что в отличие от предыдущего момента времени, проиллюстрированного на фиг. 1, динамический объект имеется с определенными краями 70, 60, 20, 30. На этапе 214, промежуточный дифракционный тракт, содержащий края 1 и 5, должен обнаруживаться. На этапе 224, определяется то, что имеется прерывание вследствие динамического объекта, размещенного в тракте между краями 1 и 5. На этапе 224, должны обнаруживаться дополнительные тракты, как указано в нижней части по фиг. 2b из края 1 по краю 30 динамического объекта в край 5, с одной стороны, и из края 1 по краю 60 динамического объекта в край 5. На этапе 226, непрерванный тракт должен дополняться посредством двух дополнительных трактов. Это означает то, что тракт (не показан на чертеже), исходящий из любого (не показанного) входного края в край 1 и проходящий из края 5 в любой (не показанный) выходной край, должен модифицироваться посредством замены части тракта между краем 1 и краем 5 на две других части тракта, указываемых на фиг. 2b. Часть первого тракта из входного края в край 1 должна сшиваться с этими двумя частями тракта, с тем чтобы получать два дополнительных промежуточных дифракционных тракта, и выходная часть исходного тракта, протягивающегося из края 5 в выходной край, также должна сшиваться в два соответствующих дополненных промежуточных дифракционных тракта, так что вследствие динамического объекта, из одного более раннего промежуточного дифракционного тракта (без динамического объекта) сформированы два новых дополненных более ранних дифракционных тракта. Другие этапы, проиллюстрированные на фиг. 6, осуществляются аналогично тому, что проиллюстрировано на фиг. 5.Fig. 6 illustrates the situation of a procedure performed with dynamic objects. At step 222, it is determined whether the dynamic object DO changes its location, for example, by moving in space and rotating. Edges attached to a dynamic object are updated. In the example of FIG. 2a, step 222 must determine that, unlike the previous time illustrated in FIG. 1, a dynamic object is present with defined edges 70, 60, 20, 30. At step 214, the intermediate diffraction path containing edges 1 and 5 must be detected. At step 224, it is determined that there is an interruption due to a dynamic object located in the path between edges 1 and 5. At step 224, additional paths must be detected, as indicated in the lower portion of FIG. 2b from edge 1 along dynamic object edge 30 to edge 5 on one side, and from edge 1 along dynamic object edge 60 to edge 5. At step 226, the uninterrupted path must be completed by two additional paths. This means that a path (not shown) emanating from any (not shown) input edge to edge 1 and extending from edge 5 to any (not shown) output edge must be modified by replacing the portion of the path between edge 1 and edge 5 to the other two parts of the path indicated in FIG. 2b. The part of the first path from the input edge to the edge 1 must be stitched with these two parts of the path in order to obtain two additional intermediate diffraction paths, and the output part of the original path extending from edge 5 to the output edge must also be stitched into two corresponding complemented intermediate diffraction paths path, so that due to the dynamic object, two new complemented earlier diffraction paths are formed from one earlier intermediate diffraction path (without a dynamic object). Other steps illustrated in FIG. 6 are carried out similarly to that illustrated in FIG. 5.

Рендеринг дифракционного эффекта посредством динамического объекта (во время выполнения) представляет собой один из наилучших способов представлять интерактивное впечатление для развлечений с иммерсивным мультимедиа. Предпочтительная стратегия для учёта дифракции посредством динамических объектов заключается в следующем:Rendering the diffraction effect via a dynamic object (at runtime) is one of the best ways to present an interactive experience for immersive media entertainment. The preferred strategy for accounting for diffraction through dynamic objects is as follows:

1) На этапе предварительного вычисления:1) At the pre-calculation stage:

A. Если имеется динамический объект/геометрия, то предварительное вычисление возможных (промежуточных) дифракционных трактов вокруг данного динамического объекта.A. If there is a dynamic object/geometry, then preliminary calculation of possible (intermediate) diffraction paths around this dynamic object.

B. Если имеется множество динамических объектов/геометрий, то предварительное вычисление возможных (промежуточных) дифракционных трактов вокруг одного объекта при условии, что не допускается дифракция между различными динамическими объектами.B. If there are many dynamic objects/geometries, then pre-calculate possible (intermediate) diffraction paths around one object, provided that diffraction between different dynamic objects is not allowed.

C. Если имеются динамический/геометрия и статический объект/геометрия, то предварительное вычисление возможных трактов вокруг динамического или статического объекта при условии, что не допускается дифракция между статическими и динамическими объектами.C. If there is a dynamic/geometry and a static object/geometry, then pre-compute possible paths around the dynamic or static object, provided that no diffraction is allowed between the static and dynamic objects.

2) На этапе во время выполнения:2) At runtime stage:

A. Только если динамическая ячеистая сетка перемещена (с точки зрения перемещения в пространстве и вращения), обновление потенциальных краев, которые принадлежат перемещённой динамической ячеистой сетке.A. Only if the dynamic mesh is moved (in terms of spatial translation and rotation), update the potential edges that belong to the moved dynamic mesh.

B. Нахождение списков видимых краев из источника и от слушателя.B. Finding lists of visible edges from the source and from the listener.

C. Проверка допустимости трактов начиная со списка краев источника и завершая в списке краев слушателя.C. Checking the validity of paths starting from the source edge list and ending at the listener edge list.

D. Тестирование видимости между парами промежуточных краев, и если возникает проникновение посредством прерывающего объекта, который может представлять собой динамический объект или статический объект, то дополнение тракта в прошедшем проверку допустимости тракте посредством краев, треугольников и углов.D. Visibility testing between pairs of intermediate edges, and if penetration occurs through an interrupting object, which may be a dynamic object or a static object, then padding the path in the valid path through edges, triangles, and corners.

Расширенный алгоритм обработки динамического объекта/геометрии показан на фиг. 6 с дополнительными этапами по сравнению с алгоритмом для статических сцен.An advanced dynamic object/geometry processing algorithm is shown in FIG. 6 with additional steps compared to the algorithm for static scenes.

С учетом того, что предпочтительный способ предварительно вычисляет информацию (промежуточного) дифракционного тракта, которая не должна пересматриваться за исключением частного случая, определенное число практических преимуществ возникает по сравнению с уровнем техники, в котором не разрешается обновление предварительно вычисленных данных. Кроме того, гибкий признак для объединения множества дифракционных трактов для формирования дополненного тракта позволяет рассматривать статический и динамический объект вместе.Given that the preferred method precomputes (intermediate) diffraction path information, which does not have to be revised except in a special case, a certain number of practical advantages arise over the prior art, which does not allow updating of the precomputed data. In addition, a flexible feature for combining multiple diffraction paths to form an augmented path allows the static and dynamic object to be considered together.

(1) Более низкая вычислительная сложность: предпочтительный способ не требует компоновать полный тракт из данного местоположения источника в местоположение слушателя во время выполнения. Вместо этого, он должен находить только допустимый промежуточный тракт между двумя точками.(1) Lower computational complexity: The preferred method does not require assembling the complete path from a given source location to a listener location at runtime. Instead, it must find only a valid intermediate path between two points.

(2) Возможность рендеринга дифракционных эффектов сочетания статических и динамических объектов либо множества динамических объектов: Технологии из уровня техники должны обновлять весь граф видимости между (статическими или динамическими) краями во время выполнения для учёта дифракционных эффектов посредством статических и динамических объектов одновременно. Предпочтительный способ требует эффективного процесса сшивания двух допустимых трактов/частей тракта.(2) Ability to render diffraction effects of a combination of static and dynamic objects, or multiple dynamic objects: Prior art technologies must update the entire visibility graph between (static or dynamic) edges at runtime to account for diffraction effects via static and dynamic objects simultaneously. The preferred method requires an efficient process for stitching together two valid paths/parts of a path.

С другой стороны, предварительное вычисление (промежуточных) дифракционных трактов требует большего времени по сравнению с технологиями из уровня техники. Тем не менее, можно управлять размером предварительно вычисленных данных тракта посредством применения обоснованных ограничений, таких как максимальный разрешенный уровень затухания в одном полном тракте, максимальное расстояние распространения, максимальный порядок относительно дифракции и т.д.On the other hand, pre-calculation of (intermediate) diffraction paths requires more time compared to prior art technologies. However, it is possible to control the size of the precomputed path data by applying reasonable constraints, such as the maximum allowed attenuation level in one complete path, the maximum propagation distance, the maximum order with respect to diffraction, etc.

1) [Подход на основе геометрической акустики] Предпочтительный способ согласно изобретению предназначен для применения модели UTD к множеству видимых/надлежащим образом ориентированных краёв на основе предварительно вычисленной (промежуточной) информации тракта. Эти предварительно вычисленные данные не должны отслеживаться в реальном времени (большую часть времени) за исключением очень редких случаев, таких как прерывание посредством динамического объекта. Следовательно, изобретение минимизирует вычисление в реальном времени.1) [Geometric Acoustics Approach] The preferred method of the invention is to apply a UTD model to multiple visible/properly oriented edges based on pre-computed (intermediate) path information. This precomputed data should not be monitored in real time (most of the time) except in very rare cases, such as being interrupted by a dynamic object. Therefore, the invention minimizes real-time computation.

2) [Модуляризированный] Каждый предварительно вычисленный тракт работает в качестве модуля.2) [Modularized] Each precomputed path operates as a module.

A. Для статических сцен, на этапе в реальном времени, необходимо находить допустимые модули между двумя пространственными точками.A. For static scenes, at the real-time stage, it is necessary to find valid modules between two spatial points.

B. Для динамических сцен, даже если существует прерывание посредством другого объекта (A) в допустимом тракте посредством объекта (B), необходимо дополнять тракт через B с допустимым трактом через A (предполагается сшивание двух различных изображений).B. For dynamic scenes, even if there is an interruption through another object (A) in a valid path through an object (B), it is necessary to complement the path through B with the valid path through A (assuming stitching of two different images).

3) [Поддерживающий полностью динамическое взаимодействие] Реализуется рендеринг в реальном времени дифракционных эффектов, включающих в себя сочетание статических и динамических объектов либо множества динамических объектов.3) [Supports fully dynamic interaction] Real-time rendering of diffraction effects involving a combination of static and dynamic objects or multiple dynamic objects is realized.

Здесь следует отметить, что все альтернативы или аспекты, поясненные выше, и все аспекты, определяемые независимыми пунктами в нижеприведенной формуле изобретения, могут использоваться по отдельности, т.е. без альтернатив или задач, отличных от предполагаемой альтернативы, задачи или независимого пункта формулы изобретения. Тем не менее, в других вариантах осуществления, две или более из альтернатив или аспектов или независимых пунктов формулы изобретения могут быть объединены друг с другом, и, в других вариантах осуществления, все аспекты или альтернативы и все независимые пункты формулы изобретения могут быть объединены друг с другом.It should be noted here that all alternatives or aspects explained above and all aspects defined by independent claims in the following claims can be used separately, i.e. without alternatives or objects different from the intended alternative, object or independent claim. However, in other embodiments, two or more of the alternatives or aspects or independent claims may be combined with each other, and, in other embodiments, all aspects or alternatives and all independent claims may be combined with each other. friend.

Кодированный сигнал согласно изобретению может сохраняться на цифровом носителе данных или на постоянном носителе данных, или может передаваться по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, к примеру, Интернет.The encoded signal according to the invention may be stored on a digital storage medium or a permanent storage medium, or may be transmitted over a transmission medium such as a wireless transmission medium or a wired transmission medium, for example the Internet.

При том, что некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют собой описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогичным образом, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства.While certain aspects are described in the context of an apparatus, it will be appreciated that these aspects also constitute a description of the corresponding method, wherein the block or apparatus corresponds to a method step or a feature of a method step. Likewise, aspects described in the context of a method step also provide a description of the corresponding block or element, or feature of the corresponding device.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные считываемые электронными средствами управляющие сигналы, которые взаимодействуют (или обеспечивают возможность взаимодействия) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ.Depending on certain implementation requirements, embodiments of the invention may be implemented in hardware or software. An implementation may be performed using a digital storage medium, such as a floppy disk, DVD, CD, ROM, PROM, EPROM, EEPROM, or flash memory, having stored electronically readable control signals that interface (or enable interoperability) with a programmable computer system in such a way that the appropriate method is carried out.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.Some embodiments of the invention comprise a storage medium having electronically readable control signals that are capable of interacting with a programmable computer system in a manner that implements one of the methods described herein.

В общем, варианты осуществления настоящего изобретения могут реализовываться как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может сохраняться, например, на машиночитаемом носителе.In general, embodiments of the present invention may be implemented as a computer program product with program code, wherein the program code is configured to implement one of the methods where the computer program product is executed on a computer. The program code may be stored, for example, on a computer-readable medium.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе или на энергонезависимом носителе хранения данных.Other embodiments comprise a computer program for implementing one of the methods described herein stored on a computer-readable medium or non-volatile storage medium.

Другими словами, вариант осуществления способа согласно изобретению в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.In other words, an embodiment of the method according to the invention is therefore a computer program having program code for carrying out one of the methods described herein when the computer program runs on a computer.

Следовательно, дополнительный вариант осуществления способов согласно изобретению представляет собой носитель данных (цифровой носитель данных или машиночитаемый носитель), на котором записана компьютерная программа для осуществления одного из способов, описанных в данном документе.Therefore, a further embodiment of the methods of the invention is a storage medium (digital storage medium or computer readable medium) on which a computer program for performing one of the methods described herein is stored.

Следовательно, дополнительный вариант осуществления способа согласно изобретению представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.Therefore, a further embodiment of the method of the invention is a data stream or signal sequence representing a computer program for implementing one of the methods described herein. The data stream or signal sequence, for example, may be configured to be transmitted over a data connection, such as the Internet.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществления одного из способов, описанных в данном документе.An additional embodiment comprises processing means, such as a computer or programmable logic device, configured to implement one of the methods described herein.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.A further embodiment comprises a computer having a computer program installed for performing one of the methods described herein.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения части или всех из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого устройства аппаратного обеспечения.In some embodiments, a programmable logic device (eg, a field programmable gate array) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may interface with a microprocessor to implement one of the methods described herein. In general, the methods are preferably implemented through any hardware device.

Вышеописанные варианты осуществления являются лишь иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что специалистам в данной области техники должны быть очевидны модификации и изменения конфигураций и подробностей, описанных в данном документе. Следовательно, подразумевается ограничение лишь объемом нижеприведенной формулы изобретения, но не конкретными подробностями, представленными в данном документе в качестве описания и пояснения вариантов осуществления.The above-described embodiments are merely illustrative of the principles of the present invention. It should be understood that modifications and changes to the configurations and details described herein will be apparent to those skilled in the art. Therefore, it is intended to be limited only by the scope of the following claims and not by the specific details provided herein by way of description and explanation of the embodiments.

Список литературыBibliography

[1] L. Savioja и V. Välimäki, "Interpolated rectangular 3-D digital waveguide mesh algorithms with frequency warping". IEEE Trans. Speech Audio Process., 11(6) 783-790, 2003 год.[1] L. Savioja and V. Välimäki, “Interpolated rectangular 3-D digital waveguide mesh algorithms with frequency warping.” IEEE Trans. Speech Audio Process., 11(6) 783-790, 2003.

[2] Mehra, R., Raghuvanshi, N., Antani, L., Chandak, A., Curtis, S. и Manocha, D., "Wave-based sound propagation in large open scenes using the equivalent source formulation", ACM Trans. on Graphics 32(2) 19:1-19:13, 2013 год.[2] Mehra, R., Raghuvanshi, N., Antani, L., Chandak, A., Curtis, S. and Manocha, D., "Wave-based sound propagation in large open scenes using the equivalent source formulation", ACM Trans. on Graphics 32(2) 19:1-19:13, 2013.

[3] Mehra, R., Antani, L., Kim, S. и Manocha, D., "Source and listener directivity for interactive wave-based sound propagation, IEEE Transactions on Visualization and Computer Graphics", 20(4) 495-503, 2014 год.[3] Mehra, R., Antani, L., Kim, S. and Manocha, D., “Source and listener directivity for interactive wave-based sound propagation,” IEEE Transactions on Visualization and Computer Graphics, 20(4) 495 -503, 2014.

[4] Nikunj Raghuvanshi и John M. Snyder, "Parametric directional coding for precomputed sound propagation", ACM Trans. on Graphics 37(4) 108:1-108:14, 2018 год.[4] Nikunj Raghuvanshi and John M. Snyder, “Parametric directional coding for precomputed sound propagation,” ACM Trans. on Graphics 37(4) 108:1-108:14, 2018.

[5] J. B. Allen и D. A. Berkley "Image method for efficiently simulating small-room acoustics". The Journal of the Acoustical Society of America 65(4) 943-950, 1979 год.[5] J. B. Allen and D. A. Berkley "Image method for efficiently simulating small-room acoustics." The Journal of the Acoustical Society of America 65(4) 943-950, 1979.

[6] M. Vorländer, "Simulation of the transient and steady-state sound propagation in rooms using the new combined raytracing/image-source algorithm", The Journal of the Acoustical Society of America 86(1) 172-178, 1989 год.[6] M. Vorländer, “Simulation of the transient and steady-state sound propagation in rooms using the new combined raytracing/image-source algorithm,” The Journal of the Acoustical Society of America 86(1) 172-178, 1989 .

[7] T. Funkhouser, I. Carlbom, G. Elko, G. Pingali, M. Sondhi и J. West, "A beam tracing approach to acoustic modeling for interactive virtual environments", In Proc. of ACM SIGGRAPH, 21-32, 1998 год.[7] T. Funkhouser, I. Carlbom, G. Elko, G. Pingali, M. Sondhi and J. West, “A beam tracing approach to acoustic modeling for interactive virtual environments,” In Proc. of ACM SIGGRAPH, 21-32, 1998.

[8] M. Taylor, A. Chandak, L. Antani и D. Manocha, "Resound: interactive sound rendering for dynamic virtual environments", In Proc. of the seventeen ACM international conference on Multimedia, 271-280, 2009 год.[8] M. Taylor, A. Chandak, L. Antani and D. Manocha, “Resound: interactive sound rendering for dynamic virtual environments,” In Proc. of the seventeen ACM international conference on Multimedia, 271-280, 2009.

[9] R. G. Kouyoumjian и P. H. Pathak, "A uniform geometrical theory of diffraction for the edge in the perfectly conducting surface", In Proc. of the IEEE 62, 11, 1448-1461, 1974 год.[9] R. G. Kouyoumjian and P. H. Pathak, “A uniform geometrical theory of diffraction for the edge in the perfectly conducting surface,” In Proc. of the IEEE 62, 11, 1448-1461, 1974.

[10] U. P. Svensson, R. I. Fred и J. Vanderkooy, "An analytic secondary source model of edge diffraction impulse responses", Acoustical Society of America Journal 106 2331-2344, 1999 год.[10] U. P. Svensson, R. I. Fred and J. Vanderkooy, “An analytic secondary source model of edge diffraction impulse responses,” Acoustical Society of America Journal 106 2331-2344, 1999.

[11] N. Tsingos, T. Funkhouser, A. Ngan и I. Carlbom, "Modeling acoustics in virtual environments using the uniform theory of diffraction", In Proc. of the SIGGRAPH, 545-552, 2001 год.[11] N. Tsingos, T. Funkhouser, A. Ngan and I. Carlbom, “Modeling acoustics in virtual environments using the uniform theory of diffraction,” In Proc. of the SIGGRAPH, 545-552, 2001.

[12] M. Taylor, A. Chandak, Q. Mo, C. Lauterbach, C. Schissler и D. Manocha, "Guided multiview ray tracing for fast auralization". IEEE Transactions on Visualization and Computer Graphics 18, 1797-1810, 2012 год.[12] M. Taylor, A. Chandak, Q. Mo, C. Lauterbach, C. Schissler and D. Manocha, “Guided multiview ray tracing for fast auralization.” IEEE Transactions on Visualization and Computer Graphics 18, 1797-1810, 2012.

[13] H. Yeh, R. Mehra, Z. Ren, L. Antani, D. Manocha и M. Lin, "Wave-ray coupling for interactive sound propagation in large complex scenes", ACM Trans. Graph. 32, 6, 165:1-165:11, 2013 год.[13] H. Yeh, R. Mehra, Z. Ren, L. Antani, D. Manocha and M. Lin, “Wave-ray coupling for interactive sound propagation in large complex scenes,” ACM Trans. Graph. 32, 6, 165:1-165:11, 2013.

Claims

1. An apparatus for rendering an audio scene (50) containing an audio source at an audio source position and a plurality of diffracting objects comprising:

- a diffraction path providing module (100) for providing a plurality of intermediate diffraction paths (300, 400) through a plurality of diffracting objects, wherein the intermediate diffraction path of the plurality of intermediate diffraction paths (300, 400) has a starting point and an exit edge of the plurality of diffracting objects and associated information filter for the intermediate diffraction path;

- a rendering module (200) for rendering an audio source in the listener position, wherein the rendering module (200) is configured to:

- determining (216), based on the output edges of the intermediate diffraction paths and the listener position, one or more valid intermediate diffraction paths from the audio source position to the listener position from the plurality of intermediate diffraction paths (300, 400) through the plurality of diffracting objects provided by the module (100) providing diffraction paths,

- defining (218), for each valid intermediate diffraction path of the one or more valid intermediate diffraction paths, a filter representation for the complete diffraction path from the audio source position to the listener position corresponding to the valid intermediate diffraction path of the one or more valid intermediate diffraction paths, using a combination of associated filter information for the allowable intermediate diffraction path and filter information describing propagation of an audio signal from the output edge of the allowable intermediate diffraction path to the listener position, and

- calculating (220) audio output signals for the audio scene (50) using the audio signal associated with the audio source and filter representation for each complete diffraction path.

2. The device according to claim 1, in which the position of the audio source is fixed, and the module (100) for providing diffraction paths is implemented as a preprocessor and is configured to determine each valid intermediate diffraction path in such a way that the starting point of each valid intermediate diffraction path corresponds to the position audio source, or

- in which the position of the audio source is variable, and the module (100) for providing diffraction paths is implemented as a preprocessor and is configured to determine, as the starting point of the intermediate diffraction path, the input edge of a plurality of diffracting objects, and

- wherein the rendering module (200) is configured to determine, further based on the input edge(s) of one or more intermediate diffraction paths and the audio source position for the audio source, one or more valid intermediate diffraction paths, and further determine a filter representation for the complete diffraction path based on additional filter information describing the propagation of the audio signal from the audio source position to the input edge of the allowable intermediate diffraction path associated with the full diffraction path.

3. The apparatus of claim 1 or 2, wherein the rendering module (200) is configured to perform an occlusion test (212) for the forward path from the source position to the listener position and determine one or more valid intermediate diffraction paths only when the test (212) for obstruction indicates that the direct path is obstructed.

4. The device according to one of the previous paragraphs,

- wherein the rendering module (200) is configured to determine (132) a filter representation for the complete diffraction path by multiplying the frequency domain representation of the associated filter information and the frequency domain representation of the filter information for propagating the audio signal from the output edge of the allowable intermediate diffraction path to the listener position or a frequency domain representation of additional filter information describing the propagation of the audio signal from the audio source position to the input edge of the allowable intermediate diffraction path.

5. The device according to one of the preceding claims, in which the rendering module (200) is configured to, when determining (216) one or more valid intermediate diffraction paths:

- determining (102) an initial group of potential input edges depending on the position of the audio source or determining (104) a final group of potential output edges depending on the position of the listener,

- retrieving (106) one or more potential valid intermediate diffraction paths from a previously stored list of intermediate diffraction paths using a start group or an end group, and

- testing the validity (108) of one or more potential valid intermediate diffraction paths using the source angle criterion (116) and the source angle between the source position and the corresponding input edge or using the final angle criterion (118) and the listener angle between the listener position and the corresponding output edge edge.

6. The apparatus of claim 5, wherein the rendering module (200) is configured to calculate a source angle (112) and compare (116) the source angle with a maximum acceptable angle for a source (MAAS) as a criterion for the source angle, and check the validity of ( 122) a potential intermediate diffraction path that becomes a valid intermediate diffraction path when the source angle is less than the maximum allowable angle for the source, or

- wherein the rendering module (200) is configured to calculate a listener angle (114) and compare (118) the listener angle with a minimum acceptable listener angle (MAAL) as a listener angle criterion, and check the acceptability (122) of a potential intermediate diffraction path, which becomes an acceptable intermediate diffraction path when the listener angle is greater than the minimum acceptable angle for the listener.

7. The device according to one of the previous paragraphs,

- wherein the diffraction path providing module (100) is configured to access a memory having a pre-stored list containing entries for a plurality of intermediate diffraction paths (300, 400), wherein each intermediate diffraction path entry contains a sequence of edges extending from input edge to the output edge, or a sequence of triangles extending from the input triangle to the output triangle, or a sequence of elements starting from the source angle criterion, containing one or more intermediate angles and containing the listener angle criterion.

8. Device according to clause 7,

- wherein the intermediate diffraction path entry in the list contains associated filter information or a link to associated filter information, or

- wherein the rendering module (200) is configured to extract associated filter information from the data in the intermediate diffraction path entry in the list.

9. The device according to one of the previous paragraphs,

- wherein the plurality of sound stage diffraction objects comprise a dynamic object, and wherein the diffraction path providing module (100) is configured to provide at least one intermediate diffraction path around the dynamic object.

10. Device according to one of paragraphs. 1-8,

- wherein the plurality of diffraction objects of the audio scene (50) comprise two or more dynamic diffraction objects, and wherein the diffraction path providing module (100) is configured to provide intermediate diffraction paths around one dynamic diffraction object, provided that diffraction is not allowed between two different dynamic objects.

11. Device according to one of paragraphs. 1-8,

- wherein the plurality of diffracting objects of the audio scene (50) comprise one or more dynamic objects and one or more static objects, and wherein the diffraction path providing module (100) is configured to provide intermediate diffraction paths around the dynamic object or the static object, provided that Diffraction is not allowed between a static object and a dynamic object.

12. The device according to one of the previous paragraphs,

- in which the plurality of diffraction objects contain at least one dynamic diffraction object formed by edges attached to the dynamic diffraction object,

- wherein the rendering module (200) is configured to:

- determining (222) whether at least one dynamic object has been moved by movement in relation to at least spatial translation and rotation to determine the moved object formed by the edges attached to the dynamic diffractive object,

- updating (222) the edges attached to the moved dynamic object to determine the updated positions of the edges attached to the moved dynamic diffraction object in connection with said movement;

- analysis (216) at the stage of determining one or more permissible intermediate diffraction paths, a potential permissible intermediate path in relation to visibility between pairs of internal edges, while in the event of interruption of visibility due to the movement of a moved dynamic object, the potential permissible intermediate diffraction path is supplemented (226) with an additional path called due to the movement of a displaced object to obtain one or more valid intermediate diffraction paths.

13. The apparatus of one of the preceding claims, wherein the rendering module (200) is configured to apply uniform theory of diffraction (UTD) to determine associated filter information, or wherein the rendering module (200) is configured to determine the associated filter information in a frequency-dependent manner way.

14. The device according to one of the preceding claims, wherein the rendering module (200) is configured to calculate, depending on the allowable intermediate diffraction path or depending on the complete diffraction path, a rotating position of the audio source different from the position of the audio source due to the diffraction effect caused by allowable intermediate diffraction path or depending on the complete diffraction path, and using the rotated position of the audio source when calculating (220) audio output signals for the audio scene (50), or

- wherein the rendering module (200) is configured to calculate (220) audio output signals for the audio scene (50) using an edge sequence associated with the complete diffraction path and a diffraction angle sequence associated with the complete diffraction path, in addition to the filter representation.

15. The apparatus of claim 14, wherein the rendering module (200) is configured to determine a distance from a listener position to a rotated source position and use the distance in calculating (220) output audio signals for the audio scene (50).

16. The apparatus of claim 14 or 15, wherein the rendering module (200) is configured to select one or more directional filters depending on the rotated position of the source and a specified output format for the output audio signals and apply the one or more directional filters and present the filter to audio signal when calculating output audio signals.

17. The apparatus of claim 14, 15 or 16, wherein the rendering module (200) is configured to determine an attenuation value depending on the distance between the rotated source position and the listener position and apply to the audio signal, in addition to representing a filter, one or more directional filters depending on the position of the audio source or the rotated position of the audio source.

18. Device according to one of paragraphs. 14-17, in which the rendering module (200) is configured to determine the rotated position of the source in a sequence of rotation operations containing at least one rotation operation,

- wherein, starting from the first diffraction edge of the complete diffraction path, part of the path from the first diffraction edge to the source location is rotated in a first rotation operation to obtain a straight line from the second diffraction edge or the listener position in the event that the complete diffraction path has only the first diffraction edge , to a first intermediate rotating source position, wherein the first intermediate rotating source position is a rotating source position when the complete diffraction path has only the first diffraction edge, or

- wherein the result of the first rotation operation is rotated about the second diffraction edge in the second rotation operation to obtain a straight line from the third diffraction edge or the listener position in the case of a complete diffraction path having only the first and second diffraction edges to a second intermediate rotated source position, wherein the second intermediate rotated source position is a rotated source position when the complete diffraction path has only the first and second diffraction edges, and

wherein one or more rotation operations are further performed until the complete diffraction path has been processed and a straight line from the listener position to the subsequently obtained rotated source position is obtained.

19. A method for rendering an audio scene (50) containing an audio source at an audio source position and a plurality of diffracting objects, comprising the steps of:

- providing a plurality of intermediate diffraction paths (300, 400) through a plurality of diffracting objects, wherein the intermediate diffraction path of the plurality of intermediate diffraction paths (300, 400) has a starting point and an exit edge of the plurality of diffracting objects and associated filter information for the intermediate diffraction path;

- rendering the audio source in the position of the listener, the rendering comprising the steps of:

- determining (216), based on the output edges of the intermediate diffraction paths and the position of the listener, one or more valid intermediate diffraction paths from the audio source position to the listener position from the plurality of intermediate diffraction paths (300, 400) through the plurality of diffracting objects provided by providing the plurality of intermediate diffraction paths diffraction paths (300, 400),

- calculating (220) audio output signals for the audio scene (50) using the audio signal associated with the audio source and the filter representation for each complete diffraction path.

20. A physical storage medium on which a computer program for implementing the method of claim 19 when executed on a computer or processor is stored.