RU2018139285A - Обработка пространственного аудио - Google Patents
Обработка пространственного аудио Download PDFInfo
- Publication number
- RU2018139285A RU2018139285A RU2018139285A RU2018139285A RU2018139285A RU 2018139285 A RU2018139285 A RU 2018139285A RU 2018139285 A RU2018139285 A RU 2018139285A RU 2018139285 A RU2018139285 A RU 2018139285A RU 2018139285 A RU2018139285 A RU 2018139285A
- Authority
- RU
- Russia
- Prior art keywords
- spatial audio
- audio
- component
- spatial
- scene
- Prior art date
Links
- 238000004590 computer program Methods 0.000 claims 2
- 230000003247 decreasing effect Effects 0.000 claims 2
- 238000000034 method Methods 0.000 claims 2
- 230000006978 adaptation Effects 0.000 claims 1
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000001914 filtration Methods 0.000 claims 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
- A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
Claims (23)
1. Устройство обработки пространственного аудио, содержащее:
приемник (101) для приема данных аудиосцены, описывающих аудиосцену, причем данные аудиосцены содержат аудиоданные, описывающие компоненты пространственного аудио, и данные положения, описывающие положения в аудиосцене по меньшей мере для некоторых компонентов пространственного аудио;
блок (105) расстояния для предоставления переменного фокусного расстояния, указывающего расстояние от опорного положения в аудиосцене;
адаптер (103) для адаптации свойства ощущаемой выразительности по меньшей мере первого компонента пространственного аудио из компонентов пространственного аудио относительно по меньшей мере одного другого компонента пространственного аудио аудиосцены в ответ на показатель разности, отражающий разность между переменным фокусным расстоянием и расстоянием в аудиосцене от опорного положения до положения первого компонента пространственного аудио;
устройство воспроизведения аудио для воспроизведения компонентов пространственного аудио, причем воспроизведение осуществляется в ответ на данные положения, и воспроизведение первого компонента пространственного аудио осуществляется вслед за адаптацией адаптером (103) свойства ощущаемой выразительности.
2. Устройство обработки пространственного аудио по п. 1, в котором адаптер (103) выполнен с возможностью определения значения свойства ощущаемой выразительности как непрерывной функции показателя разности.
3. Устройство обработки пространственного аудио по п. 2, в котором адаптер (103) выполнен с возможностью увеличения усиления для первого компонента пространственного аудио относительно по меньшей мере одного другого компонента пространственного аудио для показателя разности, указывающего убывающую разность.
4. Устройство обработки пространственного аудио по п. 3, в котором усиление определяется как функция показателя разности, причем упомянутая функция является асимметричной относительно расстояний от опорного положения до положения первого компонента пространственного аудио, меньших, чем переменное фокусное расстояние, и расстояний от опорного положения до положения первого компонента пространственного аудио, больших, чем переменное фокусное расстояние.
5. Устройство обработки пространственного аудио по п. 1, в котором свойством ощущаемой выразительности является частотное распределение сигнала для первого компонента пространственного аудио.
6. Устройство обработки пространственного аудио по п. 5, в котором адаптер выполнен с возможностью варьирования частотно-зависимой фильтрации по меньшей мере одного другого компонента пространственного аудио в ответ на показатель разности.
7. Устройство обработки пространственного аудио по п. 1, в котором свойством ощущаемой выразительности является свойство диффузности для первого компонента пространственного аудио.
8. Устройство обработки пространственного аудио по п. 7, в котором адаптер выполнен с возможностью уменьшения степени диффузности для первого компонента пространственного аудио относительно по меньшей мере одного другого компонента пространственного аудио аудиосцены для показателя разности, указывающего убывающую разность.
9. Устройство обработки пространственного аудио по п. 1, в котором показатель разности дополнительно зависит от направления опорного положения до положения первого компонента пространственного аудио.
10. Устройство обработки пространственного аудио по п. 1, в котором данные аудиосцены содержат аудиообъекты, представляющие собой по меньшей мере некоторые из компонентов пространственного аудио.
11. Устройство обработки пространственного аудио по п. 1, в котором блок (105) расстояния выполнен с возможностью определения переменного фокусного расстояния в ответ по меньшей мере на одно из отслеживания головы и глаз слушателя.
12. Устройство обработки пространственного аудио по п. 1, в котором адаптер (103) выполнен с возможностью адаптации свойства ощущаемой выразительности без изменения интераурального интервала для первого компонента пространственного аудио.
13. Устройство обработки пространственного аудио по п. 1, в котором адаптер (103) выполнен с возможностью адаптации свойства ощущаемой выразительности для уменьшения выразительности первого компонента пространственного аудио для возрастающего показателя разности для переменного фокусного расстояния, большего, чем расстояние от опорного положения до положения первого компонента пространственного аудио.
14. Способ обработки пространственного аудио, содержащий этапы, на которых:
принимают данные аудиосцены, описывающие аудиосцену, причем данные аудиосцены содержат аудиоданные, описывающие компоненты пространственного аудио, и данные положения, описывающие положения в аудиосцене по меньшей мере для некоторых компонентов пространственного аудио;
предоставляют переменное фокусное расстояние, указывающее расстояние от опорного положения в аудиосцене;
адаптируют свойство ощущаемой выразительности по меньшей мере первого компонента пространственного аудио из компонентов пространственного аудио относительно по меньшей мере одного другого компонента пространственного аудио аудиосцены в ответ на показатель разности, отражающий разность между переменным фокусным расстоянием и расстоянием в аудиосцене от опорного положения до положения первого компонента пространственного аудио; и
вслед за адаптацией свойства ощущаемой выразительности, воспроизводят компоненты пространственного аудио, включающие в себя первый компонент пространственного аудио, причем воспроизведение осуществляется в ответ на данные положения.
15. Компьютерный программный продукт, содержащий средство компьютерного программного кода, адаптированное для выполнения всех этапов способа по п. 14, когда вышеуказанная программа выполняется на компьютере.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16164787 | 2016-04-12 | ||
| EP16164787.0 | 2016-04-12 | ||
| PCT/EP2017/058172 WO2017178309A1 (en) | 2016-04-12 | 2017-04-06 | Spatial audio processing emphasizing sound sources close to a focal distance |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2018139285A true RU2018139285A (ru) | 2020-05-12 |
| RU2018139285A3 RU2018139285A3 (ru) | 2020-05-13 |
| RU2735652C2 RU2735652C2 (ru) | 2020-11-05 |
Family
ID=55759468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018139285A RU2735652C2 (ru) | 2016-04-12 | 2017-04-06 | Обработка пространственного аудио |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10440496B2 (ru) |
| EP (1) | EP3443762B1 (ru) |
| JP (1) | JP6878458B2 (ru) |
| KR (1) | KR102319880B1 (ru) |
| CN (1) | CN109076306B (ru) |
| BR (1) | BR112018070813A2 (ru) |
| RU (1) | RU2735652C2 (ru) |
| WO (1) | WO2017178309A1 (ru) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10609475B2 (en) | 2014-12-05 | 2020-03-31 | Stages Llc | Active noise control and customized audio system |
| US10945080B2 (en) | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
| EP3343349B1 (en) * | 2016-12-30 | 2022-06-15 | Nokia Technologies Oy | An apparatus and associated methods in the field of virtual reality |
| WO2019008625A1 (ja) * | 2017-07-03 | 2019-01-10 | 日本電気株式会社 | 信号処理装置、信号処理方法およびプログラムを記憶する記憶媒体 |
| US10165388B1 (en) * | 2017-11-15 | 2018-12-25 | Adobe Systems Incorporated | Particle-based spatial audio visualization |
| EP3503102A1 (en) * | 2017-12-22 | 2019-06-26 | Nokia Technologies Oy | An apparatus and associated methods for presentation of captured spatial audio content |
| EP3506080B1 (en) * | 2017-12-27 | 2023-06-07 | Nokia Technologies Oy | Audio scene processing |
| EP3506661A1 (en) * | 2017-12-29 | 2019-07-03 | Nokia Technologies Oy | An apparatus, method and computer program for providing notifications |
| GB201800918D0 (en) | 2018-01-19 | 2018-03-07 | Nokia Technologies Oy | Associated spatial audio playback |
| US11393483B2 (en) * | 2018-01-26 | 2022-07-19 | Lg Electronics Inc. | Method for transmitting and receiving audio data and apparatus therefor |
| EP3550860B1 (en) * | 2018-04-05 | 2021-08-18 | Nokia Technologies Oy | Rendering of spatial audio content |
| US11375332B2 (en) | 2018-04-09 | 2022-06-28 | Dolby International Ab | Methods, apparatus and systems for three degrees of freedom (3DoF+) extension of MPEG-H 3D audio |
| EP4221264A1 (en) | 2018-04-09 | 2023-08-02 | Dolby International AB | Methods, apparatus and systems for three degrees of freedom (3dof+) extension of mpeg-h 3d audio |
| EP3595336A1 (en) * | 2018-07-09 | 2020-01-15 | Koninklijke Philips N.V. | Audio apparatus and method of operation therefor |
| EP3595337A1 (en) * | 2018-07-09 | 2020-01-15 | Koninklijke Philips N.V. | Audio apparatus and method of audio processing |
| GB2591066A (en) * | 2018-08-24 | 2021-07-21 | Nokia Technologies Oy | Spatial audio processing |
| WO2020153092A1 (ja) * | 2019-01-25 | 2020-07-30 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
| GB2584629A (en) * | 2019-05-29 | 2020-12-16 | Nokia Technologies Oy | Audio processing |
| GB2584837A (en) * | 2019-06-11 | 2020-12-23 | Nokia Technologies Oy | Sound field related rendering |
| KR20210048271A (ko) * | 2019-10-23 | 2021-05-03 | 엘지전자 주식회사 | 복수 객체에 대한 자동 오디오 포커싱 방법 및 장치 |
| GB2589082A (en) * | 2019-11-11 | 2021-05-26 | Nokia Technologies Oy | Audio processing |
| EP3873112A1 (en) * | 2020-02-28 | 2021-09-01 | Nokia Technologies Oy | Spatial audio |
| JPWO2022038929A1 (ru) * | 2020-08-20 | 2022-02-24 | ||
| JP7371595B2 (ja) * | 2020-09-15 | 2023-10-31 | 横河電機株式会社 | 装置、システム、方法およびプログラム |
| WO2022178194A1 (en) * | 2021-02-18 | 2022-08-25 | Dathomir Laboratories Llc | Decorrelating objects based on attention |
| US11967335B2 (en) * | 2021-09-03 | 2024-04-23 | Google Llc | Foveated beamforming for augmented reality devices and wearables |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3258816B2 (ja) * | 1994-05-19 | 2002-02-18 | シャープ株式会社 | ３次元音場空間再生装置 |
| JP3907413B2 (ja) * | 2001-01-12 | 2007-04-18 | 株式会社ケンウッド | 音響検出装置 |
| EP1227392A2 (en) * | 2001-01-29 | 2002-07-31 | Hewlett-Packard Company | Audio user interface |
| JP2006074589A (ja) * | 2004-09-03 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 音響処理装置 |
| US8509454B2 (en) * | 2007-11-01 | 2013-08-13 | Nokia Corporation | Focusing on a portion of an audio scene for an audio signal |
| KR101576294B1 (ko) * | 2008-08-14 | 2015-12-11 | 삼성전자주식회사 | 가상 현실 시스템에서 사운드 처리를 수행하기 위한 장치 및 방법 |
| JP2011092302A (ja) * | 2009-10-27 | 2011-05-12 | Konami Digital Entertainment Co Ltd | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
| WO2011095913A1 (en) * | 2010-02-02 | 2011-08-11 | Koninklijke Philips Electronics N.V. | Spatial sound reproduction |
| JP2011188287A (ja) * | 2010-03-09 | 2011-09-22 | Sony Corp | 映像音響装置 |
| EP2564601A2 (en) * | 2010-04-26 | 2013-03-06 | Cambridge Mechatronics Limited | Loudspeakers with position tracking of a listener |
| WO2013111034A2 (en) * | 2012-01-23 | 2013-08-01 | Koninklijke Philips N.V. | Audio rendering system and method therefor |
| JP5825176B2 (ja) * | 2012-03-29 | 2015-12-02 | 富士通株式会社 | 携帯端末、音源位置制御方法および音源位置制御プログラム |
| CN104641659B (zh) * | 2013-08-19 | 2017-12-05 | 雅马哈株式会社 | 扬声器设备和音频信号处理方法 |
| US9143880B2 (en) * | 2013-08-23 | 2015-09-22 | Tobii Ab | Systems and methods for providing audio to a user based on gaze input |
-
2017
- 2017-04-06 US US16/092,958 patent/US10440496B2/en active Active
- 2017-04-06 KR KR1020187032537A patent/KR102319880B1/ko active IP Right Grant
- 2017-04-06 BR BR112018070813A patent/BR112018070813A2/pt unknown
- 2017-04-06 EP EP17716191.6A patent/EP3443762B1/en active Active
- 2017-04-06 JP JP2018553402A patent/JP6878458B2/ja active Active
- 2017-04-06 CN CN201780023293.7A patent/CN109076306B/zh active Active
- 2017-04-06 RU RU2018139285A patent/RU2735652C2/ru active
- 2017-04-06 WO PCT/EP2017/058172 patent/WO2017178309A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| RU2735652C2 (ru) | 2020-11-05 |
| JP2019514293A (ja) | 2019-05-30 |
| CN109076306A (zh) | 2018-12-21 |
| EP3443762B1 (en) | 2020-06-10 |
| JP6878458B2 (ja) | 2021-05-26 |
| KR102319880B1 (ko) | 2021-11-02 |
| CN109076306B (zh) | 2021-04-13 |
| WO2017178309A1 (en) | 2017-10-19 |
| US10440496B2 (en) | 2019-10-08 |
| RU2018139285A3 (ru) | 2020-05-13 |
| US20190174246A1 (en) | 2019-06-06 |
| KR20180127508A (ko) | 2018-11-28 |
| EP3443762A1 (en) | 2019-02-20 |
| BR112018070813A2 (pt) | 2019-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2018139285A (ru) | Обработка пространственного аудио | |
| JP2019514293A5 (ru) | ||
| CN106576203B (zh) | 确定和使用房间优化传输函数 | |
| KR101703388B1 (ko) | 오디오 프로세싱 장치 | |
| CN112424864A (zh) | 用于噪声抑制话音检测的线性滤波 | |
| JP6939786B2 (ja) | 音場形成装置および方法、並びにプログラム | |
| US20160320847A1 (en) | Gesture interactive wearable spatial audio system | |
| CN105979470B (zh) | 全景视频的音频处理方法、装置和播放系统 | |
| CN106648527A (zh) | 一种音量控制方法、装置以及播放设备 | |
| US10492017B2 (en) | Audio signal processing apparatus and method | |
| RU2015134363A (ru) | Стереофоническая обработка аудиосигналов | |
| JP2016513816A5 (ru) | ||
| US20130178967A1 (en) | Method and apparatus for virtualizing an audio file | |
| US20190180731A1 (en) | Apparatus and method for processing volumetric audio | |
| WO2018050128A9 (zh) | 目标跟踪方法、电子设备及存储介质 | |
| US10317505B1 (en) | Composite sound output for network connected devices | |
| CN105430247A (zh) | 一种利用摄像设备拍摄照片的方法与设备 | |
| CN104378635B (zh) | 基于麦克风阵列辅助的视频感兴趣区域的编码方法 | |
| KR101693567B1 (ko) | 스트리밍 미디어 세그먼트 준비 방법 및 장치 | |
| EP3340614A1 (en) | Method and device for synchronizing audio and video when recording using a zoom function | |
| JP2016504811A5 (ru) | ||
| EP2666309A1 (en) | An audio scene selection apparatus | |
| JP2017143469A5 (ru) | ||
| EP3342176B1 (en) | Method and systems for generating and utilizing contextual watermarking | |
| US20180006869A1 (en) | Control method and system, and electronic apparatus thereof |