RU2020119777A - Способ и система для обработки локальных переходов между положениями прослушивания в среде виртуальной реальности - Google Patents
Способ и система для обработки локальных переходов между положениями прослушивания в среде виртуальной реальности Download PDFInfo
- Publication number
- RU2020119777A RU2020119777A RU2020119777A RU2020119777A RU2020119777A RU 2020119777 A RU2020119777 A RU 2020119777A RU 2020119777 A RU2020119777 A RU 2020119777A RU 2020119777 A RU2020119777 A RU 2020119777A RU 2020119777 A RU2020119777 A RU 2020119777A
- Authority
- RU
- Russia
- Prior art keywords
- target
- source
- audio signal
- original
- sphere
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims 35
- 230000005236 sound signal Effects 0.000 claims 89
- 238000010586 diagram Methods 0.000 claims 3
- 238000007781 pre-processing Methods 0.000 claims 2
- 230000001902 propagating effect Effects 0.000 claims 2
- 230000003595 spectral effect Effects 0.000 claims 2
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Claims (128)
1. Способ (910) представления звукового сигнала в среде (180) представления виртуальной реальности, при этом способ (910) включает
представление (911) исходного звукового сигнала источника (311, 312, 313) звука из исходного положения источника на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);
определение (912) того, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;
определение (913) целевого положения источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания на основании исходного положения источника посредством проецирования исходного положения источника с исходной сферы (114) на целевую сферу (114);
определение (914) целевого звукового сигнала источника (311, 312, 313) звука на основании исходного звукового сигнала; и
представление (915) целевого звукового сигнала источника (311, 312, 313) звука из целевого положения источника на целевой сфере (114) вокруг целевого положения (302) прослушивания,
при этом исходное положение источника проецируют с исходной сферы (114) на целевую сферу (114) посредством перспективной проекции относительно целевого положения (302) прослушивания; и
при этом исходная сфера (114) и целевая сфера (114) имеют одинаковый радиус.
2. Способ (910) по п.1, отличающийся тем, что целевое положение источника определяют так, что целевое положение источника соответствует точке пересечения луча, проведенного между целевым положением (302) прослушивания и исходным положением источника, с целевой сферой (114).
3. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение целевого расстояния (322) между исходным положением источника и целевым положением (302) прослушивания; и
определение (914) целевого звукового сигнала на основании целевого расстояния (322).
4. Способ (910) по п.3, отличающийся тем, что
определение (914) целевого звукового сигнала включает применение усиления (410) на расстоянии к исходному звуковому сигналу; и
при этом усиление (410) на расстоянии зависит от целевого расстояния (322).
5. Способ (910) по п.4, отличающийся тем, что определение (914) целевого звукового сигнала включает
предоставление функции (415) расстояния, которая описывает усиление (410) на расстоянии как функцию расстояния (321, 322) между положением источника звукового сигнала (311, 312, 313) и положением (301, 302) прослушивания слушателя (181); и
определение усиления (410) на расстоянии, которое применяют к исходному звуковому сигналу, на основании функционального значения функции (415) расстояния для целевого расстояния (322).
6. Способ (910) по любому из пп.3–4, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение исходного расстояния (321) между исходным положением источника и исходным положением (301) прослушивания; и
определение (914) целевого звукового сигнала на основании исходного расстояния (321).
7. Способ (910) по п.5, отличающийся тем, что определение (914) целевого звукового сигнала включает:
определение исходного расстояния (321) между исходным положением источника и исходным положением (301) прослушивания; и
определение (914) целевого звукового сигнала на основании исходного расстояния (321).
8. Способ (910) по п. 7, отличающийся тем, что усиление (410) на расстоянии, которое применяют к исходному звуковому сигналу, определяют на основании функционального значения функции (415) расстояния для исходного расстояния (321).
9. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает определение интенсивности целевого звукового сигнала на основании интенсивности исходного звукового сигнала.
10. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение диаграммы (332) направленности источника (311, 312, 313) звука; причем диаграмма (332) направленности характеризует интенсивность исходного звукового сигнала в разных направлениях; и
определение (914) целевого звукового сигнала на основании диаграммы (332) направленности.
11. Способ (910) по п.10, отличающийся тем, что диаграмма (332) направленности характеризует усиление (510) направленности, подлежащее применению к исходному звуковому сигналу для определения целевого звукового сигнала.
12. Способ (910) по любому из пп.10–11, отличающийся тем, что
диаграмма (332) направленности характеризует функцию (515) усиления направленности; и
функция (515) усиления направленности определяет усиление (510) направленности как функцию угла (520) направленности между положением источника для источника (311, 312, 313) звука и положением (301, 302) прослушивания слушателя (181).
13. Способ (910) по любому из пп.10–11, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение целевого угла (522) между целевым положением источника и целевым положением (302) прослушивания; и
определение (914) целевого звукового сигнала на основании целевого угла (522).
14. Способ (910) по п.12, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение целевого угла (522) между целевым положением источника и целевым положением (302) прослушивания; и
определение (914) целевого звукового сигнала на основании целевого угла (522).
15. Способ (910) по п.14, отличающийся тем, что целевой звуковой сигнал определяют на основании функционального значения функции (515) усиления направленности для целевого угла (522).
16. Способ (910) по любому из пп.10, 11, 14, 15, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение исходного угла (521) между исходным положением источника и исходным положением (301) прослушивания; и
определение (914) целевого звукового сигнала на основании исходного угла (521).
17. Способ (910) по п.12, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение исходного угла (521) между исходным положением источника и исходным положением (301) прослушивания; и
определение (914) целевого звукового сигнала на основании исходного угла (521).
18. Способ (910) по п.17, отличающийся тем, что целевой звуковой сигнал определяют на основании функционального значения функции (515) усиления направленности для исходного угла (521).
19. Способ (910) по п.18, отличающийся тем, что определение (914) целевого звукового сигнала включает модификацию интенсивности исходного звукового сигнала с использованием функционального значения функции (515) усиления направленности для исходного угла (521) и для целевого угла (522), чтобы определять интенсивность целевого звукового сигнала.
20. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение данных (193) о целевой среде, характеризующих свойство распространения звука среды между целевым положением источника и целевым положением (302) прослушивания; и
определение целевого звукового сигнала на основании данных (193) о целевой среде.
21. Способ (910) по п.20, отличающийся тем, что данные (193) о целевой среде характеризуют
препятствие (603), которое расположено на прямом пути между целевым положением источника и целевым положением (302) прослушивания; и/или
информацию, относящуюся к объемным размерам препятствия (603); и/или
затухание, испытываемое звуковым сигналом на прямом пути между целевым положением источника и целевым положением (302) прослушивания.
22. Способ (910) по любому из пп.20–21, отличающийся тем, что
данные (193) о целевой среде характеризуют функцию затухания препятствия; и
функция затухания определяет затухание, испытываемое звуковым сигналом, проходящим через препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания.
23.Способ (910) по любому из пп.20–22, отличающийся тем, что
данные (193) о целевой среде характеризуют препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания;
определение (914) целевого звукового сигнала включает определение сквозного расстояния (601) между целевым положением источника и целевым положением (302) прослушивания на прямом пути; и
целевой звуковой сигнал определяют на основании сквозного расстояния (601).
24. Способ (910) по любому из пп.20–22, отличающийся тем, что
данные (193) о целевой среде характеризуют препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания;
определение (914) целевого звукового сигнала включает определение свободного от препятствий расстояния (602) между целевым положением источника и целевым положением (302) прослушивания на непрямом пути, который не пересекает препятствие (603); и
целевой звуковой сигнал определяют на основании свободного от препятствий расстояния (602).
25. Способ (910) по п.23, отличающийся тем, что
данные (193) о целевой среде характеризуют препятствие (603) на прямом пути между целевым положением источника и целевым положением (302) прослушивания;
определение (914) целевого звукового сигнала включает определение свободного от препятствий расстояния (602) между целевым положением источника и целевым положением (302) прослушивания на непрямом пути, который не пересекает препятствие (603); и
целевой звуковой сигнал определяют на основании свободного от препятствий расстояния (602).
26. Способ (910) по п.25, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение непрямого компонента целевого звукового сигнала на основании исходного звукового сигнала, распространяющегося по непрямому пути;
определение прямого компонента целевого звукового сигнала на основании исходного звукового сигнала, распространяющегося по прямому пути; и
комбинирование непрямого компонента и прямого компонента для определения целевого звукового сигнала.
27. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает
определение фокусной информации, относящейся к полю зрения (701) и/или центру (702) внимания слушателя (181); и
определение целевого звукового сигнала на основании фокусной информации.
28. Способ (910) по любому предыдущему пункту, отличающийся тем, что дополнительно включает
определение того, что источник (311, 312, 313) звука является источником звука окружающей среды;
сохранение исходного положения источника для источника (311, 312, 313) звука окружающей среды в качестве целевого положения источника;
сохранение интенсивности исходного звукового сигнала источника (311, 312, 313) звука окружающей среды в качестве интенсивности целевого звукового сигнала.
29. Способ (910) по любому предыдущему пункту, отличающийся тем, что определение (914) целевого звукового сигнала включает определение спектрального состава целевого звукового сигнала на основании спектрального состава исходного звукового сигнала.
30. Способ (910) по любому предыдущему пункту, отличающийся тем, что исходный звуковой сигнал и целевой звуковой сигнал представляют с использованием устройства (162) представления 3D звука, особенно устройства представления звука MPEG-H.
31. Способ (910) по любому предыдущему пункту, отличающийся тем, что способ (910) включает
представление множества исходных звуковых сигналов соответствующего множества источников (311, 312, 313) звука из множества разных исходных положений источника на исходной сфере (114);
определение множества целевых положений источника для соответствующего множества источников (311, 312, 313) звука на целевой сфере (114) на основании множества исходных положений источника соответственно;
определение множества целевых звуковых сигналов соответствующего множества источников (311, 312, 313) звука на основании множества исходных звуковых сигналов соответственно; и
представление множества целевых звуковых сигналов соответствующего множества источников (311, 312, 313) звука из соответствующего множества целевых положений источника на целевой сфере (114) вокруг целевого положения (302) прослушивания.
32. Устройство (160) представления звука в виртуальной реальности для представления звукового сигнала в среде (180) представления виртуальной реальности, при этом устройство (160) представления звука приспособлено
представлять исходный звуковой сигнал источника (311, 312, 313) звука из исходного положения источника на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);
определять, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;
определять целевое положение источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания на основании исходного положения источника посредством проецирования исходного положения источника с исходной сферы (114) на целевую сферу (114);
определять целевой звуковой сигнал источника (311, 312, 313) звука на основании исходного звукового сигнала; и
представлять целевой звуковой сигнал источника (311, 312, 313) звука из целевого положения источника на целевой сфере (114) вокруг целевого положения (302) прослушивания,
при этом исходное положение источника проецируется с исходной сферы (114) на целевую сферу (114) посредством перспективной проекции относительно целевого положения (302) прослушивания; и
при этом исходная сфера (114) и целевая сфера (114) имеют одинаковый радиус.
33. Устройство (160) представления звука в виртуальной реальности по п.32, отличающееся тем, что устройство (160) представления звука в виртуальной реальности содержит
блок (161) предварительной обработки, который приспособлен определять целевое положение источника и целевой звуковой сигнал источника (311, 312, 313) звука; и
устройство (162) представления 3D звука, которое приспособлено представлять целевой звуковой сигнал источника (311, 312, 313) звука.
34. Устройство (160) представления звука в виртуальной реальности по п.33, отличающееся тем, что устройство (162) представления 3D звука
приспособлено адаптировать представление звукового сигнала источника (311, 312, 313) звука на сфере (114) вокруг положения (301, 302) прослушивания слушателя (181) в случае вращательного движения головы слушателя (181); и/или
не приспособлено адаптировать представление звукового сигнала источника (311, 312, 313) звука в случае поступательного движения головы слушателя (181).
35. Кодировщик (130) звука, приспособленный генерировать битовый поток (140), который указывает звуковой сигнал, подлежащий представлению в среде (180) виртуальной реальности, отличающийся тем, что кодировщик (130) приспособлен
определять исходный звуковой сигнал источника (311, 312, 313) звука;
определять данные об исходном положении, относящиеся к исходному положению источника для источника звука на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);
генерировать битовый поток (140), содержащий исходный звуковой сигнал и данные об исходном положении;
принимать указание о том, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;
определять целевой звуковой сигнал источника (311, 312, 313) звука на основании исходного звукового сигнала;
определять данные о целевом положении, относящиеся к целевому положению источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания, на основании исходного положения источника посредством проецирования исходного положения источника с исходной сферы (114) на целевую сферу (114); и
генерировать битовый поток (140), содержащий целевой звуковой сигнал и данные о целевом положении,
при этом исходное положение источника проецируется с исходной сферы (114) на целевую сферу (114) посредством перспективной проекции относительно целевого положения (302) прослушивания; и
при этом исходная сфера (114) и целевая сфера (114) имеют одинаковый радиус.
36. Способ генерирования битового потока (140), который указывает звуковой сигнал, подлежащий представлению в среде (180) виртуальной реальности, включающий
определение исходного звукового сигнала источника (311, 312, 313) звука;
определение данных об исходном положении, относящихся к исходному положению источника для источника звука на исходной сфере (114) вокруг исходного положения (301) прослушивания слушателя (181);
генерирование битового потока (140), содержащего исходный звуковой сигнал и данные об исходном положении;
прием указания о том, что слушатель (181) передвигается из исходного положения (301) прослушивания в целевое положение (302) прослушивания;
определение целевого звукового сигнала источника (311, 312, 313) звука на основании исходного звукового сигнала;
определение данных о целевом положении, относящихся к целевому положению источника для источника (311, 312, 313) звука на целевой сфере (114) вокруг целевого положения (302) прослушивания, на основании исходного положения источника посредством проецирования исходного положения источника с исходной сферы (114) на целевую сферу (114); и
генерирование битового потока (140), содержащего целевой звуковой сигнал и данные о целевом положении,
при этом исходное положение источника проецируется с исходной сферы (114) на целевую сферу (114) посредством перспективной проекции относительно целевого положения (302) прослушивания; и
при этом исходная сфера (114) и целевая сфера (114) имеют одинаковый радиус.
37. Устройство (160) представления звука в виртуальной реальности для представления звукового сигнала в среде (180) представления виртуальной реальности, при этом устройство (160) представления звука содержит
устройство (162) представления 3D звука, которое приспособлено представлять звуковой сигнал источника (311, 312, 313) звука из положения источника на сфере (114) вокруг положения (301, 302) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности;
блок (161) предварительной обработки, который приспособлен
определять новое положение (301, 302) прослушивания слушателя (181) в пределах среды (180) представления виртуальной реальности; и
обновлять звуковой сигнал и исходное положение источника (311, 312, 313) звука относительно сферы (114) вокруг нового положения (301, 302) прослушивания, причем исходное положение источника (311, 312, 313) звука относительно сферы (114) вокруг нового положения (301, 302) прослушивания определяется путем проецирования исходного положения на сфере (114) вокруг положения (301, 302) прослушивания на сферу (114) вокруг нового положения (301, 302) прослушивания;
при этом устройство (162) представления 3D звука приспособлено представлять обновленный звуковой сигнал источника (311, 312, 313) звука из обновленного положения источника на сфере (114) вокруг нового положения (301, 302) прослушивания; причем положение источника проецируется со сферы (114) вокруг положения (301, 302) прослушивания на сферу (114) вокруг нового положения (301, 302) прослушивания посредством перспективной проекции относительно нового положения (301, 302) прослушивания; и причем сфера (114) вокруг положения (301, 302) прослушивания и сфера (114) вокруг нового положения (301, 302) прослушивания имеют одинаковый радиус.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762599848P | 2017-12-18 | 2017-12-18 | |
| EP17208087.1 | 2017-12-18 | ||
| US62/599,848 | 2017-12-18 | ||
| EP17208087 | 2017-12-18 | ||
| PCT/EP2018/085639 WO2019121773A1 (en) | 2017-12-18 | 2018-12-18 | Method and system for handling local transitions between listening positions in a virtual reality environment |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2022119490A Division RU2022119490A (ru) | 2017-12-18 | 2018-12-18 | Способ и система для обработки локальных переходов между положениями прослушивания в среде виртуальной реальности |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2020119777A true RU2020119777A (ru) | 2021-12-16 |
| RU2020119777A3 RU2020119777A3 (ru) | 2022-02-22 |
| RU2777921C2 RU2777921C2 (ru) | 2022-08-11 |
Family
ID=
Also Published As
| Publication number | Publication date |
|---|---|
| US20210092546A1 (en) | 2021-03-25 |
| EP3729830B1 (en) | 2023-01-25 |
| US11109178B2 (en) | 2021-08-31 |
| JP2024023682A (ja) | 2024-02-21 |
| KR102592858B1 (ko) | 2023-10-24 |
| RU2020119777A3 (ru) | 2022-02-22 |
| US20230362575A1 (en) | 2023-11-09 |
| KR20230151049A (ko) | 2023-10-31 |
| CN111615835B (zh) | 2021-11-30 |
| CN111615835A (zh) | 2020-09-01 |
| EP3729830A1 (en) | 2020-10-28 |
| US11743672B2 (en) | 2023-08-29 |
| EP4203524A1 (en) | 2023-06-28 |
| JP2021507558A (ja) | 2021-02-22 |
| WO2019121773A1 (en) | 2019-06-27 |
| KR20200100729A (ko) | 2020-08-26 |
| US20220086588A1 (en) | 2022-03-17 |
| CN114125691A (zh) | 2022-03-01 |
| BR112020010819A2 (pt) | 2020-11-10 |
| CN114125690A (zh) | 2022-03-01 |
| JP7467340B2 (ja) | 2024-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112567768B (zh) | 用于交互式音频环境的空间音频 | |
| US8620009B2 (en) | Virtual sound source positioning | |
| JP2024023682A5 (ru) | ||
| JP7467340B2 (ja) | 仮想現実環境における聴取位置間のローカル遷移を扱う方法およびシステム | |
| EP2737727B1 (en) | Method and apparatus for processing audio signals | |
| ES2592217T3 (es) | Un aparato y método para convertir una primera señal de audio paramétrico espacial en una segunda señal de audio paramétrico espacial | |
| US8983089B1 (en) | Sound source localization using multiple microphone arrays | |
| US20200264006A1 (en) | Spatial audio navigation | |
| ES2922639T3 (es) | Método y dispositivo para la reproducción mejorada de campo sonoro de señales de entrada de audio codificadas espacialmente | |
| RU2765926C2 (ru) | Способ и система для обработки глобальных переходов между положениями прослушивания в среде виртуальной реальности | |
| JP2020535446A5 (ru) | ||
| US10694312B2 (en) | Dynamic augmentation of real-world sounds into a virtual reality sound mix | |
| US10791410B2 (en) | Audio processing to modify a spatial extent of a sound object | |
| JP2019505047A (ja) | ドローン飛行制御 | |
| US20190306651A1 (en) | Audio Content Modification for Playback Audio | |
| RU2022119490A (ru) | Способ и система для обработки локальных переходов между положениями прослушивания в среде виртуальной реальности | |
| Steffens et al. | Acoustically driven orientation and navigation in enclosed spaces | |
| Muramatsu et al. | Sonoliards: Rendering audible sound spots by reflecting the ultrasound beams | |
| EP3002960A1 (en) | System and method for generating surround sound | |
| RU2777921C2 (ru) | Способ и система для обработки локальных переходов между положениями прослушивания в среде виртуальной реальности | |
| EP4037340A1 (en) | Processing of audio data | |
| WO2020116179A1 (ja) | 情報処理装置および方法 | |
| EP3013072B1 (en) | System and method for generating surround sound | |
| KR20230139772A (ko) | 오디오 신호 처리 장치 및 오디오 신호 처리 방법 | |
| Tronchin | On the measurement of wave propagation in systems by means of spherical microphone array: a case study |