KR20160081873A - 추가 자극을 생성하는 바이노럴 오디오 신호 처리 방법 및 장치 - Google Patents
추가 자극을 생성하는 바이노럴 오디오 신호 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR20160081873A KR20160081873A KR1020160066339A KR20160066339A KR20160081873A KR 20160081873 A KR20160081873 A KR 20160081873A KR 1020160066339 A KR1020160066339 A KR 1020160066339A KR 20160066339 A KR20160066339 A KR 20160066339A KR 20160081873 A KR20160081873 A KR 20160081873A
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- binaural
- stimulus
- additional
- user
- Prior art date
Links
- 230000005284 excitation Effects 0.000 title claims abstract description 8
- 238000003672 processing method Methods 0.000 title description 6
- 230000005236 sound signal Effects 0.000 claims abstract description 281
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000009877 rendering Methods 0.000 claims abstract description 21
- 238000012546 transfer Methods 0.000 claims abstract description 10
- 230000004936 stimulating effect Effects 0.000 claims description 119
- 230000000638 stimulation Effects 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 20
- 210000000988 bone and bone Anatomy 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 210000004556 brain Anatomy 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 24
- 230000006870 function Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 210000005069 ears Anatomy 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 210000003454 tympanic membrane Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007383 nerve stimulation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011491 transcranial magnetic stimulation Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/13—Hearing devices using bone conduction transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Abstract
바이노럴 오디오 신호 처리 장치가 개시된다. 바이노럴 렌더러는 오디오 신호를 수신하고, 상기 수신한 오디오를 바이노럴 렌더링하여 바이노럴 렌더링된 오디오 신호를 출력한다. 추가 자극부는 상기 바이노럴 렌더링에 적용되는 머리 전달 함수(Head Related Transfer Function, HRTF)가 포함하는 노치(notch)의 주파수 값을 기초로 하여 추가 자극을 생성하는 추가 자극부를 포함한다 상기 자극은 상기 바이노럴 렌더링된 오디오 신호에 대응한다.
Description
본 발명은 오디오 신호 처리 방법 및 장치에 관한 것이다. 구체적으로 본 발명은 오브젝트 신호와 채널 신호를 합성하고 이를 효과적으로 바이노럴 렌더링할 수 있는 오디오 신호 처리 방법 및 장치에 관한 것이다.
3D 오디오란 기존의 서라운드 오디오에서 제공하는 수평면(2D) 상의 사운드 장면에 높이 방향에 해당하는 또 다른 축을 제공함으로써, 3차원 공간상에서 임장감 있는 사운드를 제공하기 위한 일련의 신호 처리, 전송, 부호화 및 재생기술 등을 통칭한다. 특히, 3D 오디오를 제공하기 위해서는 종래보다 많은 수의 스피커를 사용하거나 혹은 적은 수의 스피커를 사용하더라도 스피커가 존재하지 않는 가상의 위치에서 음상이 맺히도록 하는 렌더링 기술이 요구된다.
3D 오디오는 초고해상도 TV(UHDTV)에 대응되는 오디오 솔루션이 될 것으로 예상되며, 고품질 인포테인먼트 공간으로 진화하고 있는 차량에서의 사운드를 비롯하여 그밖에 극장 사운드, 개인용 3DTV, 태블릿, 무선 통신 단말 및 클라우드 게임 등 다양한 분야에서 응용될 것으로 예상된다.
한편, 3D 오디오에 제공되는 음원의 형태로는 채널 기반의 신호와 오브젝트 기반의 신호가 존재할 수 있다. 이 뿐만 아니라, 채널 기반의 신호와 오브젝트 기반의 신호가 혼합된 형태의 음원이 존재할 수 있으며, 이를 통해 유저로 하여금 새로운 형태의 청취 경험을 제공할 수 있다.
바이노럴 렌더링은 이러한 3D 오디오를 사람의 양귀에 전달되는 신호로 모델링하는 것이다. 사용자는 헤드폰이나 이어폰 등을 통한 바이노럴 렌더링된 2 채널 오디오 출력 신호를 통해서도 입체감을 느낄 수 있다. 바이노럴 렌더링의 구체적인 원리는 다음과 같다. 사람은 언제나 두 귀를 통해 소리를 듣고, 소리를 통해서 음원 위치와 방향을 인식한다. 따라서 3D 오디오를 사람의 두 귀에 전달되는 오디오 신호 형태로 모델링할 수 있다면, 많은 수의 스피커 없이 2 채널 오디오 출력을 통해서도 3D 오디오의 입체감을 재현할 수 있다.
다만, 사람은 소리 이외에 소리에 따라 생성되는 진동을 통해서도 소리의 방향, 크기 등을 인식할 수 있다. 따라서 이러한 진동 또한 사람이 소리의 입체감을 인식하는데 중요한 영향을 끼친다. 그러므로 바이노럴 렌더링 오디오 신호 처리 장치가 바오노럴 렌더링과 함께 사용자에게 추가 자극을 준다면, 바이노럴 렌더링 오디오 신호 처리 장치는 바이노럴 렌더링을 통해 사용자가 지각하는 입체감을 향상할 수 있다.
본 발명의 일 실시 예는 멀티채널 혹은 멀티오브젝트 신호를 스테레오로 재생하는 바이노럴 오디오 신호 처리 방법 및 장치를 제공하는 것을 목적으로 한다.
특히, 본 발명의 일 실시 예는 추가적인 자극을 제공하여 입체감을 향상하는 바이노럴 오디오 신호 처리 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따른 오디오 신호 처리 장치는 오디오 신호를 수신하고, 상기 수신한 오디오를 바이노럴 렌더링하여 바이노럴 렌더링된 오디오 신호를 출력하는 바이노럴 렌더러; 및 상기 바이노럴 렌더링에 적용되는 머리 전달 함수(Head Related Transfer Function, HRTF)가 포함하는 노치(notch)의 주파수 값을 기초로 하여 추가 자극을 생성하는 추가 자극부를 포함하고 상기 자극은 상기 바이노럴 렌더링된 오디오 신호에 대응한다.
상기 추가 자극부는 상기 HRTF가 포함하는 노치의 주파수 값을 기초로 하여 추가 자극의 생성 여부를 결정할 수 있다.
상기 추가 자극부는 상기 HRTF가 포함하는 노치의 주파수 값을 기초로 하여 추가 자극을 생성하는 위치를 결정할 수 있다.
상기 자극은 비침습적인 뇌/신경 자극(non-invasive brain/neural excitation), 진동, 및 골전도 신호 중 적어도 어느 하나일 수 있다.
상기 자극은 상기 바이노럴 렌더링된 오디오 신호의 시간에 동기될 수 있다.
상기 추가 자극부는 상기 바이노럴 렌더링된 오디오 신호의 크기에 기초하여 상기 자극을 생성할 수 있다.
상기 추가 자극부는 상기 바이노럴 렌더링된 오디오 신호의 주파수에 기초하여 상기 자극을 생성할 수 있다.
상기 추가 자극부는 임계 값을 기초로 하여 상기 자극의 크기를 조정할 수 있다.
상기 임계 값은 사용자 입력을 기초로 결정된 것일 수 있다.
상기 추가 자극부는 상기 자극의 크기를 구별하는 단계에 적용되는 스케일링 값에 따라 상기 자극을 생성할 수 있다.
본 발명의 일 실시 예에 따른 오디오 신호 처리 장치의 동작 방법은 오디오 신호를 수신하는 단계; 상기 수신한 오디오 신호를 바이노럴 렌더링하여 바이노럴 렌더링된 오디오 신호를 출력하는 단계; 및 상기 바이노럴 렌더링에 적용되는 머리 전달 함수(Head Related Transfer Function, HRTF)가 포함하는 노치(notch)의 주파수 값을 기초로 하여 추가 자극을 생성하는 단계를 포함하고, 상기 자극은 상기 바이노럴 렌더링된 오디오 신호에 대응할 수 있다.
본 발명의 일 실시 예는 멀티채널 혹은 멀티오브젝트 신호를 스테레오로 재생하는 바이노럴 오디오 신호 처리 방법 및 장치를 제공한다.
특히, 본 발명의 일 실시 예는 추가적인 자극을 제공하여 입체감을 향상하는 바이노럴 오디오 신호 처리 방법 및 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 바이노럴 오디오 신호 처리 장치를 보여주는 블록도이다.
도 2는 사용자가 바이노럴 렌더링된 오디오 신호만으로 인식하기 어려운 음원 위치의 한 예를 보여준다.
도 3은 본 발명의 일 실시 예에 따른 바이노럴 오디오 신호 처리 장치가 포함하는 추가 자극부의 모습을 보여준다.
도 4는 본 발명의 일 실시 예에 따른 추가 자극부가 바이노럴 오디오 신호가 시뮬레이션하는 음원의 이동에 따라 자극을 생성하는 것을 보여준다.
도 5는 본 발명의 일 실시 예에 따라 추가 자극 생성 여부를 기초로 하여 출력하는 오디오 신호를 분리하는 바이노럴 오디오 신호 처리 장치를 보여준다.
도 6은 본 발명의 일 실시 예에 따른 바이노럴 오디오 신호 처리 장치의 동작을 보여준다.
도 2는 사용자가 바이노럴 렌더링된 오디오 신호만으로 인식하기 어려운 음원 위치의 한 예를 보여준다.
도 3은 본 발명의 일 실시 예에 따른 바이노럴 오디오 신호 처리 장치가 포함하는 추가 자극부의 모습을 보여준다.
도 4는 본 발명의 일 실시 예에 따른 추가 자극부가 바이노럴 오디오 신호가 시뮬레이션하는 음원의 이동에 따라 자극을 생성하는 것을 보여준다.
도 5는 본 발명의 일 실시 예에 따라 추가 자극 생성 여부를 기초로 하여 출력하는 오디오 신호를 분리하는 바이노럴 오디오 신호 처리 장치를 보여준다.
도 6은 본 발명의 일 실시 예에 따른 바이노럴 오디오 신호 처리 장치의 동작을 보여준다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 출원은 대한민국 특허 출원 제10-2014-0193545호 및 제10-2015-0114080호를 기초로 한 우선권을 주장하며, 우선권의 기초가 되는 상기 각 출원들에 서술된 실시 예 및 기재 사항은 본 출원의 상세한 설명에 포함되는 것으로 한다.
도 1은 본 발명의 일 실시 예에 따른 바이노럴 오디오 신호 처리 장치를 보여주는 블록도이다.
본 발명의 일 실시 예에 따른 바이노럴 오디오 신호 처리 장치(10)는 바이노럴 렌더러(100) 및 추가 자극부(extra exciter)(400)를 포함한다.
바이노럴 렌더러(100)는 오디오 신호를 수신한다. 바이노럴 렌더러(100)는 수신한 오디오 신호를 바이노럴 렌더링하여 바이노럴 렌더링된 오디오 신호를 출력한다. 이때, 바이노럴 렌더러(100)가 수신하는 오디오 신호는 모노 혹은 1개의 객체를 포함하는 오디오 신호일 수 있다. 또 다른 실시 예에서 바이노럴 렌더러(100)가 수신하는 오디오 신호는 복수의 객체 혹은 복수의 채널 신호를 포함하는 오디오 신호일 수 있다.
추가 자극부(400)는 사용자의 신체에 대한 자극을 생성한다. 이때, 자극은 바이노럴 렌더링된 오디오 신호에 대응한다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호에 동기된을 자극 생성하여 사용자의 신체에 자극을 제공할 수 있다. 이때, 추가 자극부(400)는 바이노럴 렌더러(100)로부터 사용자의 신체에 대한 자극울 생성하기 위해 필요한 정보를 수신할 수 있다. 구체적으로 사용자의 신체에 대한 자극을 생성하기 위해 필요한 정보는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 나타내는 위치 정보, 바이노럴 렌더링된 오디오 신호의 크기, 바이노럴 렌더링된 오디오 신호 주파수, 및 바이노럴 렌더링된 오디오 신호의 동기 정보 중 적어도 어느 하나 일 수 있다. 이때, 위치 정보는 오디오 신호가 채널 신호인 경우, 채널 신호가 구성하는 3차원 음향 장면 상에서 형성되는 음원의 위치를 나타내는 정보일 수 있다. 또한, 위치 정보는 오디오 신호가 오브젝트 신호인 경우, 오브젝트에 대한 메타데이터 등으로 확인되는 3차원 음향 장면 상의 위치에 해당하는 위치를 나타내는 정보일 수 있다.
한편, 바이노럴 렌더링이 완료된 경우, 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 직접적으로 알 수 없다. 따라서, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 좌측 신호와 우측 신호를 이용하여 양이 레벨 차이(Interaural Level Difference, ILD) 및 양이 시간 차이(Interaural Time Difference, ITD) 중 적어도 어느 하나를 역추정하고, 역추정한 ILD 및 ITD 중 적어도 어느 하나를 기초로 하여 위치 정보를 획득할 수 있다. 또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 좌측 신호와 우측 신호가 포함하는 노치(notch)가 존재하는 주파수 및 노치의 크기를 기초로 하여 위치 정보를 획득할 수 있다.
이러한 동작을 위해 추가 자극부(400)는 바이노럴 렌더러(100)로부터 바이노럴 렌더링된 오디오 신호를 수신할 수 있다. 또 다른 구체적인 실시 예에서 추가 자극부(400)는 바이노럴 렌더러(100)가 수신하는 오디오 신호를 그대로 수신할 수 있다.
또한, 추가 자극부(400)가 생성하는 사용자의 신체에 대한 자극은 비침습적인 뇌/신경 자극(non-invasive brain/neural excitation), 진동, 및 골전도 신호 중 적어도 어느 하나를 포함할 수 있다. 구체적으로 비침습적인 뇌/신경 자극은 경두개 직류 자극(Transcranial Direct Current Stimulation, TDCS), 경두개 교류 자극(Transcranial Altenating Current Stimulation, TACS), 경두개 자기 자극(Transcranial Magnetic Stimulation, TMS), 및 경두개 전기 자극(Transcranial Electrical Stimulation, TES) 중 어느 하나일 수 있다.
또한, 추가 자극부(400)는 사용자의 머리에 앞서 설명한 자극을 전달할 수 있다. 사람은 소리의 파동이 머리를 통해 고막에 전달될 때, 음원의 위치를 조금 더 정밀하게 인지할 수 있기 때문이다.
또한, 추가 자극부(400)는 사용자의 신체에 대한 자극을 생성하는 자극 생성부를 포함할 수 있다. 또 다른 구체적인 실시 예에서 추가 자극부(400)는 추가 자극부 외부에 있는 자극 생성부를 제어하는 제어 신호를 생성할 수 있다. 이러한 경우, 자극 생성부는 제어 신호에 따라 사용자의 신체에 대한 자극을 생성한다.
사용자는 추가 자극부(400)의 이러한 동작을 통해 사용자가 바이노럴 렌더링된 오디오 신호만으로 인식하기 어려운 음원 위치를 인식할 수 있다. 이에 대해서는 도 2를 통해 구체적으로 설명한다.
도 2는 사용자가 바이노럴 렌더링된 오디오 신호만으로 인식하기 어려운 음원 위치의 한 예를 보여준다. 구체적으로 도 2(a)는 사용자의 머리 위에서 바라본 바이노럴 렌더링된 오디오 신호만으로 인식하기 어려운 음원의 위치를 보여준다. 또한, 도 2(b)는 사용자의 머리 옆에서 바라본 바이노럴 렌더링된 오디오 신호만으로 인식하기 어려운 음원의 위치를 보여준다.
사람은 양 귀에 전달되는 소리의 ILD 및 ITD를 통해 음원의 위치를 감지할 수 있다. 이와 같은 공간 인식 단서는 사람마다 다른 특성을 가질 수 있고 특히 전, 후의 구별이나 높낮이에 대한 구별은 이와 같은 단서로 구별하기 어려운 경우가 많다. 바이노럴 오디오 신호 처리 장치(10)가 출력하는 오디오 신호의 양이 레벨 차이 및 양이 시간 차이가 작은 경우, 예를 들어, 음원이 사용자의 머리 정중앙을 중심으로 분포하고 있는 경우, 바이노럴 오디오 신호 처리 장치(10)의 사용자는 음원의 위치를 파악하기 힘들다. 구체적으로 바이노럴 오디오 신호 처리 장치(10)의 사용자는 양 귀의 중간에 있고, 머리의 중앙에 지평면에 수직으로 위치한 평면상에 있는 음원이 사용자의 앞 또는 뒤에 있는지 인지하기 힘들다. 예컨대, 사용자는 도 2(a)와 도 2(b)의 실시 예의 제1 음원(S1), 제2 음원(S2), 및 제3 음원(S3)에서 전달되는 소리가 앞에서 전달되는지 뒤에서 전달되는지 인지하기 힘들다.
다만, 사용자가 실제 음원으로부터 소리를 듣는 경우, 사용자는 자신의 고개를 돌려 음원의 위치를 정확히 인지할 수 있다. 또한 사용자가 실제 음원으로부터 소리를 듣는 경우, 사용자는 양이 레벨 차이 및 양이 시간 차이에 따른 위치 인식이 어려움이 있더라도, 소리에 따라 생성되는 파동이 얼굴 등의 신체부위를 통해 고막까지 전달되는 신호를 통해 음원의 위치를 인지할 수 있다. 따라서 바이노럴 오디오 신호 처리 장치(10)가 추가 자극을 생성하여 사용자의 신체에 자극을 준다면, 바이노럴 오디오 신호 처리 장치(10)는 사용자가 바이노럴 렌더링된 오디오 신호를 통해 인지하는 입체감을 향상할 수 있다.
추가 자극부(400)의 구체적인 동작에 대해서는 도 3 내지 도 6을 통해 설명한다.
도 3은 본 발명의 일 실시 예에 따른 바이노럴 오디오 신호 처리 장치가 포함하는 추가 자극부의 모습을 보여준다.
추가 자극부(400)는 바이노럴 렌더링된 오디오 신호에 기초하여 사용자의 신체에 대한 자극을 생성한다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호와 동기되는(synchronized) 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적인 실시 예에서 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 전달되는 시간과 동일한 시간에 바이노럴 렌더링된 오디오 신호에 대응하는 자극을 생성할 수 있다. 또 다른 구체적인 실시 예에서 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 출력되는 시간보다 일정한 시간만큼 이른 시간에 바이노럴 렌더링된 오디오 신호에 대응하는 자극을 생성할 수 있다. 또 다른 구체적인 실시 예에서 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 출력되는 시간보다 일정한 시간만큼 늦은 시간에 바이노럴 렌더링된 오디오 신호에 대응하는 자극을 생성할 수 있다. 이러한 실시 예에서 바이노럴 오디오 신호 처리 장치(10)는 추가 자극부(400)가 자극을 생성하는데 소요되는 시간을 기초로 하여, 바이노럴 렌더링된 오디오 신호의 출력 시간을 조정할 수 있다. 예컨대, 추가 자극부(400)는 자극을 생성하기 위해 일정 시간 이상을 필요로 할 수 있다. 이러한 경우, 사용자의 신체에 대한 자극이 생성되기 전 바이노럴 렌더링된 오디오 신호가 지나치게 일찍 출력되면 사용자가 느끼는 입체감은 감소된다. 따라서 바이노럴 오디오 신호 처리 장치(10)는 바이노럴 렌더링된 오디오 신호가 출력되는 시간을 지연할 수 있다. 이를 통해, 바이노럴 오디오 신호 처리 장치(10)는 사용자의 신체에 대한 자극이 생성되는 시간과 바이노럴 렌더링된 오디오 출력 시간 사이의 차이를 일정하게 유지할 수 있다. 또한, 구체적인 실시 예에서 바이노럴 렌더링된 오디오 신호가 비디오 신호와 함께 출력되는 경우, 바이노럴 오디오 신호 처리 장치(10)는 오디오 신호와 비디오 신호의 출력을 지연할 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 크기에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 크기가 클 수록, 사용자의 신체에 더 큰 자극을 생성할 수 있다. 예컨대, 제1 오디오 신호의 크기가 제2 오디오 신호보다 큰 경우, 추가 자극부(400)는 제1 오디오 신호를 기초로 하여 자극을 생성할 때 제2 오디오를 기초로 하여 자극을 생성하는 경우 보다 큰 자극을 생성할 수 있다. 또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 크기에 비례하여 사용자의 신체에 대한 자극의 크기를 증가할 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원과 사용자와의 거리에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원과 사용자와의 거리가 가까워질 수록, 사용자의 신체에 더 큰 자극을 생성할 수 있다. 예컨대, 제1 오디오 신호가 시뮬레이션하는 음원의 위치가 제2 오디오 신호가 시뮬레이션하는 음원의 위치보다 사용자에게 가까운 경우, 추가 자극부(400)는 제1 오디오 신호를 기초로 하여 자극 생성할 때, 제2 오디오를 기초로 하여 자극을 생성하는 경우 보다 큰 자극을 생성할 수 있다. 구체적인 실시 예에서 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원과 사용자와의 거리에 반비례하여 사용자의 신체에 대한 자극의 크기를 결정할 수 있다. 또한, 추가 자극부(400)는 바이노럴 오디오 신호와 동기되는 3D 비디오 신호의 깊이(depth) 정보에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다.
또한, 추가 자극부(400)는 사용자가 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 인지하기 어려운 경우, 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 양이 레벨 차이가 제1 기준 값보다 작은 경우 및 양이 시간 차이가 제2 기준 값보다 작은 경우 중 적어도 어느 하나에 해당하는 경우, 사용자의 신체에 대한 자극을 생성할 수 있다. 이때, 제1 기준 값과 제2 기준 값은 서로 다를 수 있다. 구체적으로 추가 자극부(400)는 특정 시점의 바이노럴 렌더링된 오디오 신호의 양이 레벨 차이가 제1 기준 값보다 작은 경우 및 양이 시간 차이가 제2 기준 값보다 작은 경우 중 적어도 어느 하나에 해당하는 경우, 해당 시점을 포함하는 시간 구간 동안 사용자의 신체에 대한 자극을 생성할 수 있다. 이때, 해당 시점을 포함하는 시간 구간의 길이(duration)는 미리 설정된 것일 수 있다. 또 다른 구체적인 실시 예에서 해당 시점을 포함하는 시간 구간의 길이는 바이노럴 렌더링된 오디오 신호의 크기 및 주파수 중 적어도 어느 하나에 따라 달라질 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링에 적용되는 머리 전달 함수(Head Related Transfer Function, HRTF)가 포함하는 노치(notch)의 주파수 값을 기초로 하여 추가 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 HRTF가 포함하는 노치의 주파수 값에 기초하여 추가 자극의 생성 여부를 결정할 수 있다. 또한, 추가 자극부(400)는 HRTF가 포함하는 노치의 주파수 값을 기초로 하여 추가 자극을 생성하는 위치를 결정할 수 있다. 구체적으로 사용자는 바이노럴 렌더링된 오디오 신호만으로는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 높이에 대한 인식이 힘들 수 있다. 다만, 사람의 귀가 지평면에 평행하게 좌우로 위치하기 때문에, 사용자는 귓바퀴의 형상에 따른 HRTF의 노치 주파수를 통해 음원의 높이를 인지할 수 있다. 따라서 추가 자극부(400)는 HRTF가 포함하는 노치의 주파수 값을 기초로 하여 추가 자극을 생성하고, 사용자는 생성된 추가 자극을 통해 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 높이를 인지할 수 있다.
이때, HRTF는 특정 위치의 음원에서 사람의 양 귀로 소리가 전달되는 과정을 모델링한 전달 함수이다. 구체적으로 HRTF는 사용자와 음원이 실내에 있는 상태에서 음원에서 사람의 양 귀로 소리가 전달되는 과정을 모델링한 전달 함수인 바이노럴 방 전달 함수(Binaural Room Transfer Function, BRTF)를 포함할 수 있다. 구체적인 실시 예에서 HRTF는 무향실에서 측정된 것일 수 있다. 또한, HRTF는 시뮬레이션으로 추정된 것일 수 있다. HRTF를 추정하는데 사용되는 시뮬레이션 기법은 구형 헤드 모델(Spherical head model, SHM), 스노우맨 모델(snowman model), 유한 차이 시간 영역 기법(Finite-difference time-domain method, FDTDM), 및 경계 요소법(Boundary element method, BEM) 중 적어도 하나일 수 있다. 이때, 구형 헤드 모델은 사람의 머리가 구라고 가정하여 시뮬레이션하는 시뮬레이션 기법을 나타낼 수 있다. 또한, 스노우맨 모델은 머리와 몸통을 구로 가정하여 시뮬레이션하는 시뮬레이션 기법을 나타낼 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 주파수 특성에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 주파수에 비례하여 사용자의 신체에 대한 자극의 빈도를 증가할 수 있다. 또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 주파수가 커질 수록, 사용자의 신체에 더 큰 자극을 생성할 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 기초로 하여 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 복수의 자극 생성부(excitation transducer)를 포함하고, 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 기초로 하여 복수의 자극 생성부 중 적어도 어느 하나를 선택할 수 있다. 추가 자극부(400)는 선택한 하나 이상의 자극 생성부를 통해 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적인 실시 예에서 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치와 복수의 자극 생성부 각각 사이의 거리에 따라 복수의 자극 생성부 중 적어도 어느 하나를 선택할 수 있다. 예컨대, 추가 자극부(400)는 사용자의 전면에 자극을 생성하는 제1 자극 생성부와 사용자의 후면에 자극을 생성하는 제2 자극 생성부를 포함할 수 있다. 이때, 바이노럴 렌더러(100)가 사용자의 전면에 있는 음원으로부터 전달되는 소리를 시뮬레이션하는 경우, 추가 자극부(400)는 제1 자극 생성부를 통해 사용자의 신체에 대한 자극을 생성할 수 있다. 또한, 바이노럴 렌더러(100)가 사용자의 후면에 있는 음원으로부터 전달되는 소리를 시뮬레이션하는 경우, 추가 자극부(400)는 제2 자극 생성부를 통해 사용자의 신체에 대한 자극을 생성할 수 있다.
앞서 설명한 바와 같이, 추가 자극부(400)는 복수의 자극 생성부를 포함할 수 있다. 구체적으로 도 3의 실시 예에서와 같이 제1 자극 생성부(E1), 제2 자극 생성부(E2), 제3 자극 생성부(E3), 및 제4 자극 생성부(E4)를 포함할 수 있다.
도 3의 실시 예에서, 스테레오 음향의 왼쪽을 출력하는 음향 출력부(Lo)와 스테레오 음향의 오른쪽을 출력하는 음향 출력부(Ro)를 기준으로 사용자의 왼쪽과 오른쪽을 구분한다.
이때, 제1 자극 생성부(E1)는 사용자의 왼쪽 전면에 위치하고, 제3 자극 생성부(E3) 사용자의 왼쪽 후면에 위치할 수 있다. 또한, 제2 자극 생성부(E2)는 사용자의 오른쪽 전면에 위치하고, 제4 자극 생성부(E4)는 사용자의 오른쪽 후면에 위치할 수 있다. 앞서 설명한 바와 같이 추가 자극부(400)는 바아노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 기초로 하여 제1 자극 생성부(E1) 내지 제4 자극 생성부(E4) 중 적어도 어느 하나를 통하여 사용자의 신체에 대한 자극을 생성할 수 있다.
또한, 자극 생성부는 사용자가 착용하는 웨어러블 장치에 포함될 수 있다. 구체적으로 자극 생성부는 고글, 안경, 헬맷, 헤드폰, 이어폰, 및 헤드 마운트 디스플레이(Head Mount Display, HMD) 중 적어도 어느 하나에 포함될 수 있다.
또한, 추가 자극부(400)가 생성하는 자극의 크기는 임계 값을 가질 수 있다. 추가 자극부(400)는 임계 값에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다. 예컨대, 추가 자극부(400)는 임계값 이상의 자극을 생성하지 않을 수 있다. 또한, 추가 자극부(400)는 사용자 입력에 따라 자극의 크기에 대한 임계값을 결정할 수 있다.
또한, 추가 자극부(400)는 사용자의 신체에 대한 자극의 크기를 구별하는 단계에 적용되는 스케일링 값에 따라 사용자의 신체에 대한 자극을 생성할 수 있다. 추가 자극부(400)는 사용자 입력을 기초로 하여 스케일링 값을 설정할 수 있다. 이를 통해 동일한 바이노럴 렌더링된 오디오 신호에 대한 자극이 생성되더라도, 사용자에 따라 다른 크기의 자극이 생성될 수 있다. 또한, 추가 자극부(400)는 사용자의 주변 환경에 기초하여 추가 자극부(400)가 생성하는 자극의 크기에 대한 스케일링 값을 설정할 수 있다. 구체적으로 추가 자극부(400)는 외부의 소음에 기초하여 추가 자극부(400)가 생성하는 자극의 크기에 대한 스케일링 값을 설정할 수 있다. 예컨대, 추가 자극부(400)는 추가 자극부(400)가 생성하는 자극의 크기에 대한 스케일링 값을 외부의 소음이 큰 거리에서, 주변이 조용한 도서관보다 더 크게 설정할 수 있다. 이를 위해 추가 자극부(400)는 외부 환경을 감지할 수 있는 감지 장치를 포함할 수 있다. 또 다른 구체적인 실시 예에서 추가 자극부(400)는 사용자의 위치에 기초하여 추가 자극부(400)가 생성하는 자극의 크기에 대한 스케일링 값을 설정할 수 있다. 예컨대, 추가 자극부(400)는 기초하여 추가 자극부(400)가 생성하는 자극의 크기에 대한 스케일링 값을 사용자가 직장에 있는 경우보다 집에 있는 경우 더 크게 설정할 수 있다. 이를 위해 추가 자극부(400)는 사용자의 위치를 감지하는 위치 감지 장치를 포함할 수 있다.
구체적으로 바이노럴 렌더링된 오디오 신호가 움직이는 음원을 시뮬레이션하는 경우, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 움직임에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다. 이에 대해서는 도 4를 통해 구체적으로 설명한다.
도 4는 본 발명의 일 실시 예에 따른 추가 자극부가 바이노럴 오디오 신호가 시뮬레이션하는 음원의 이동에 따라 자극을 생성하는 것을 보여준다.
앞서 설명한 바와 같이 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 움직임에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 움직임을 기초로 하여 추가 자극부(400)가 포함하는 복수의 자극 생성부 중 적어도 어느 하나를 선택할 수 있다. 이때, 추가 자극부(400)는 선택한 자극 생성부를 통해 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 움직임을 기초로 하여 자극 생성부의 자극 생성 시작, 자극 생성 종료, 및 생성하는 자극의 크기 중 적어도 어느 하나를 결정할 수 있다.
도 4(a)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원이 움직임을 나타내는 궤적을 보여준다. 또한, 도 4(b)는 제1 자극 생성부(E1) 내지 제4 자극 생성부(E2)가 생성하는 자극의 크기를 시간의 흐름에 따라 보여준다.
도 4의 실시 예에서, 스테레오 음향의 왼쪽을 출력하는 음향 출력부(Lo)와 스테레오 음향의 오른쪽을 출력하는 음향 출력부(Ro)를 기준으로 사용자의 왼쪽과 오른쪽을 구분한다.
바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원(S1)은 처음에는 사용자의 전면 오른쪽에 있다. 이후, 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원은 사용자의 머리 중심을 향해 휘어진 포물선 궤적을 따라 사용자의 후면 오른쪽으로 이동한다.
*구체적으로 제1 구간(t0~t1)에서 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원(S1)은 사용자 머리의 오른쪽 앞으로 다가 온다. 따라서 추가 자극부(400)는 제1 구간(t0~t1)에서 제2 자극 생성부(E2)를 통하여 서서히 사용자의 신체에 대한 자극을 생성하고, 제1 구간(t0~t1)의 중반이후부터 제1 자극 생성부(E1)를 통해 진동을 생성하기 시작한다.
또한, 제2 구간(t1~t2)에서 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원(S1)은 사용자의 오른쪽 귀 옆을 지나간다. 따라서 추가 자극부(400)는 제2 구간(t1~t2)에서 제2 자극 생성부(E2)를 통해 생성되는 자극의 크기를 서서히 줄이고, 제2 구간(t1~t2)의 중반 이후부터 제3 자극 생성부(E3) 및 제4 자극 생성(E4)를 통해 자극을 생성한다.
또한, 제3 구간(t2~t3)에서 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원(S1)은 사용자의 머리의 오른쪽 뒤에 있다. 따라서 추가 자극부(400)는 제3 구간(t2~t3)에서 제1 자극 생성부(E1) 및 제2 자극 생성부(E2)의 동작을 중지하고, 제3 구간(t2~t3)의 중반 이후부터 제3 자극 생성부(E3) 및 제4 자극 생성(E4)를 통해 지속적으로 자극을 생성한다.
또한, 제4 구간(t3~t4)에서 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원(S1)은 사용자의 머리의 오른쪽 뒤로 이동하고, 사용자로부터 점점 멀어진다. 따라서 추가 자극부(400)는 제4 구간(t3~t4)에서 제3 자극 생성부(E1) 의 동작을 중지하고, 제4 구간(t3~t4)에서 제4 자극 생성부(E3)가 생성하는 자극의 크기를 지속적으로 줄인다.
바이노럴 오디오 신호 처리 장치(10)는 이러한 동작을 통해 움직이는 음음원으부터 전달되는 소리의 입체감을 나타낼 수 있다.
도 3 내지 도 4의 실시 예에서 추가 자극부(400)가 자극 생성부를 포함하는 것으로 설명하였다. 다만, 앞서 설명한 바와 같이 자극 생성부는 추가 자극부(400)의 외부에 있고, 자극 생성부(400)는 추가 자극부 외부에 있는 자극 생성부를 제어하는 제어 신호를 생성할 수 있다. 이러한 경우에도, 도 3 내지 도 4를 통해 설명한 바이노럴 오디오 신호에 대응하는 사용자의 신체에 대한 자극을 생성하는 실시 예가 동일하게 적용될 수 있다.
바이노럴 오디오 신호 처리 장치(10)가 바이노럴 오디오 신호를 출력하면서 추가 자극을 생성하는 경우, 추가 자극에 의해 사용자에게 전달되는 소리에 영향을 미칠 수 있다. 예컨대, 추가 자극이 골전도(Bone Conduction)를 통한 자극인 경우, 골전도를 통해 저주파수 성분이 강조된 소리가 사용자에게 전달될 수 있다. 따라서 바이노럴 오디오 신호 처리 장치(10)는 추가 자극 생성 여부를 기초로 하여 수신한 오디오 신호를 바이노럴 렌더링할 수 있다.
도 5는 본 발명의 일 실시 예에 따라 추가 자극 생성 여부를 기초로 하여 출력하는 오디오 신호를 분리하는 바이노럴 오디오 신호 처리 장치를 보여준다.
바이노럴 오디오 신호 처리 장치(10)는 수신한 오디오 신호를 추가 자극부(400)를 통해 출력하는 제1 오디오 신호와 바이노럴 렌더러(100)를 통해 출력하는 제2 오디오 신호로 분리할 수 있다. 구체적으로 바이노럴 오디오 신호 처리 장치(10)는 수신한 오디오 신호를 주파수 특성에 따라 제1 오디오 신호와 제2 오디오 신호로 분리할 수 있다. 구체적인 실시 예에서 제1 오디오 신호는 저주파수 대역의 오디오 신호이고, 제2 오디오 신호는 중주파수 대역 및 고주파수 대역의 오디오 신호일 수 있다. 이때, 저주파수 대역의 오디오 신호는 제1 기준 값보다 낮은 주파수의 오디오 신호일 수 있다. 또한, 중주파수 대역 및 고주파수 대역의 오디오 신호는 제2 기준 값보다 높은 주파수의 오디오 신호일 수 있다. 구체적인 실시 예에서 제1 기준 값은 제2 기준 값과 같거나 클 수 있다.
이를 위해, 바이노럴 렌더러(100)는 수신한 오디오 신호를 저역 통과 필터링하여 제1 오디오 신호를 생성하고, 제1 오디오 신호를 추가 자극부(400)에 전달할 수 있다. 또한, 바이노럴 렌더러(100)는 수신한 오디오 신호를 고역 필터링하여 제2 오디오 신호를 생성할 수 있다.
또 다른 구체적인 실시 예에서, 바이노럴 렌더러(100)는 제1 오디오 신호에 대응하는 주파수 대역의 오디오 신호를 제외한 나머지 영역만 모델링하는 머리 전달 함수(Head Related Transfer Function, HRTF)를 수신한 오디오 신호에 적용할 수 있다. 구체적으로 바이노럴 렌더러(100)는 제2 오디오 신호에 대응하는 주파수 대역만을 모델링하는 HRTF를 저장하고, 저장한 HRTF를 적용하여 제2 오디오 신호를 바이노럴 렌더링할 수 있다. 이러한 경우, 바이노럴 렌더러(100)는 바이노럴 렌더링의 연산 효율을 높일 수 있다. 예컨대, 바이노럴 렌더러(100)는 저주파수 대역을 제거하는 고역 통과 필터가 적용된 HRTF와 고역 통과 필터가 적용되지 않은 HRTF를 동시에 저장할 수 있다. 이러한 경우, 수신한 오디오 신호를 고역 통과 필터를 통해 필터링하고, HRTF를 적용할 필요 없이 바로 수신한 오디오 신호에 고역 통과 필터가 적용된 HRTF를 적용할 수 있다. 따라서 고역 통과 필터를 통한 필터링에 적용되는 연산만큼의 연산량을 절감할 수 있다.
앞서 설명한 것과 같이 제1 오디오 신호는 추가 자극부(400)를 통해 출력되는 오디오 신호이다. 구체적으로 제1 오디오 신호는 골전도 생성기(bone conduction transducer)의 재생 대역에 대응하는 주파수 밴드 및 응답 특성을 갖는 필터로 필터링된 신호일 수 있다. 이때, 제2 오디오 신호는 바이노럴 오디오 신호 처리 장치(10)가 수신한 오디오 신호로부터 제1 오디오 신호를 차감한 신호를 기초로 생성될 수 있다. 구체적으로 제2 오디오 신호는 바이노럴 오디오 신호 처리 장치(10)가 수신한 오디오 신호로부터 제1 오디오 신호를 차감한 신호일 수 있다.
바이노럴 렌더러(100)는 제2 오디오 신호를 바이노럴 렌더링하여 출력할 수 있다. 또한, 추가 자극부(400)는 제1 오디오 신호를 기초로 하여 사용자의 신체에 대한 자극을 생성할 수 있다. 이때, 추가 자극부(400)가 생성하는 자극은 골전도 신호일 수 있다.
앞서 설명한 바와 같이 바이노럴 오디오 신호 처리 장치(10)는 추가 자극 생성 여부를 기초로 하여 수신한 오디오 신호를 바이노럴 렌더링할 수 있다. 따라서 추가 자극을 생성하는 경우, 바이노럴 오디오 신호 처리 장치(10)는 앞서 설명한 것과 같이 수신한 오디오를 제1 음성 신호와 제2 음성 신호로 분리할 수 있다.
또한, 추가 자극부(400)가 생성하는 자극은 골전도를 통한 자극일 수 있다.
도 5의 실시 예에서, 바이노럴 렌더러(100)는 오디오 신호 분리부(110)를 포함한다. 오디오 신호 분리부(100)는 수신한 오디오 신호를 제1 오디오 신호와 제2 오디오 신호로 분리한다. 구체적으로 오디오 신호 분리부(110)는 추가 자극이 생성되는 경우, 수신한 오디오 신호를 제1 오디오 신호와 제2 오디오 신호로 분리할 수 있다. 앞서 설명한 바와 같이 오디오 신호 분리부(110)는 추가 자극이 생성되는 경우, 수신한 오디오 신호를 주파수 특성에 따라 제1 오디오 신호와 제2 오디오 신호로 분리할 수 있다. 오디오 신호 분리부(110)의 구체적인 동작은 앞서 설명한 바이노럴 렌더러(100)의 동작에 따를 수 있다.
도 6은 본 발명의 일 실시 예에 따른 바이노럴 오디오 신호 처리 장치의 동작을 보여준다.
바이노럴 렌더러(100)는 오디오 신호를 수신한다(S501). 이때, 바이노럴 렌더러(100)가 수신하는 오디오 신호는 모노 혹은 1개의 객체를 포함하는 오디오 신호일 수 있다. 또 다른 실시 예에서 바이노럴 렌더러(100)가 수신하는 오디오 신호는 복수의 객체 혹은 복수의 채널 신호를 포함하는 오디오 신호일 수 있다.
바이노럴 렌더러(100)는 오디오 신호를 바이노럴 렌더링한다(S503). 바이노럴 렌더러(100)는 다양한 실시 예를 통해 오디오 신호를 바이노럴 렌더링할 수 있다. 도 5의 실시 예를 통해 설명한 것과 같이 바이노럴 렌더러(100)는 추가 자극 생성 여부를 기초로 하여 수신한 오디오 신호를 바이노럴 렌더링할 수 있다. 바이노럴 오디오 신호 처리 장치(10)가 수신한 오디오 신호는 제1 오디오 신호와 제2 오디오 신호를 포함할 수 있다. 이때, 추가 자극부(400)는 제1 오디오 신호를 출력하고, 바이노럴 렌더러(100)는 제2 오디오 신호를 출력할 수 있다. 구체적으로 제2 오디오 신호는 바이노럴 오디오 신호 처리 장치(10)가 수신한 오디오 신호로부터 제1 오디오 신호를 차감한 것일 수 있다. 구체적으로 도 5의 실시 예를 통해 설명한 것과 같이 바이노럴 렌더더(100)가 수신한 신호를 제1 오디오 신호와 제2 오디오 신호로 분리한 것일 수 있다. 제1 오디오 신호와 제2 오디오 신호의 구체적인 특성은 앞서 설명한 바와 같을 수 있다.
추가 자극부(400)는 바이노럴 렌더링된 오디오 신호에 대응하는 추가 자극을 생성한다(S505). 이를 위해 추가 자극부(400)는 바이노럴 렌더러가 수신하는 오디오 신호를 수신할 수 있다. 또 다른 구체적인 실시 예에서 추가 작극부(400)는 바이노럴 렌더링된 오디오 신호를 수신할 수 있다. 또 다른 구체적인 실시 예에서 추가 자극부(400)는 앞서 설명한 바와 같이 제1 오디오 신호를 수신할 수 있다. 이러한 경우, 추가 자극부(400)는 바이노럴 렌더러(100)가 수신하는 오디오 신호, 바이노럴 렌더링된 오디오 신호, 및 제1 오디오 신호 중 적어도 어느 하나로부터 사용자의 신체에 대한 자극을 생성하기 위해 필요한 정보를 획득할 수 있다. 구체적으로 사용자의 신체에 대한 자극을 생성하기 위해 필요한 정보는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 나타내는 위치 정보, 바이노럴 렌더링된 오디오 신호의 크기, 바이노럴 렌더링된 오디오 신호 주파수, 및 바이노럴 렌더링된 오디오 신호의 동기 정보 중 적어도 어느 하나 일 수 있다. 이때, 위치 정보는 오디오 신호가 채널 신호인 경우, 채널 신호가 구성하는 3차원 음향 장면 상에서 형성되는 음원의 위치를 나타내는 정보일 수 있다. 또한, 위치 정보는 오디오 신호가 오브젝트 신호인 경우, 오브젝트에 대한 메타데이터 등으로 확인되는 3차원 음향 장면 상의 위치에 해당하는 위치를 나타내는 정보일 수 있다.
또한, 바이노럴 오디오 신호 처리 장치(10)는 바이노럴 파라메터 컨트롤러를 더 포함할 수 있다. 바이노럴 파라메터 컨트롤러는 바이노럴 렌더링을 위한 바이노럴 파라메터를 생성하여 이를 바이노럴 렌더러(100)에 전달한다. 이러한 경우, 바이노럴 파라메터 컨트롤러가 사용자의 신체에 대한 자극을 생성하기 위해 필요한 정보를 추가 자극부(400)에 전달할 수 있다. 이때, 추가 자극부(400) 사용자의 신체에 대한 자극을 생성하기 위해 필요한 정보를 기초로 하여 추가 자극을 생성할 수 있다.
또한, 추가 자극부(400)가 생성한 자극은 사용자의 머리에 전달될 수 있다. 구체적으로 추가 자극부(400)가 생성한 자극은 사용자의 고막에 전달될 수 있다. 사람은 소리의 파동이 머리를 통해 고막에 전달될 때, 음원의 위치를 조금 더 정밀하게 인지할 수 있기 때문이다. 이를 위해 추가 자극부(400)가 포함하는 자극 생성부는 사용자의 머리로부터 일정한 거리 내에 위치할 수 있다. 구체적으로 자극 생성부는 머리, 귀, 및 목 중 적어도 어느 하나에 위치할 수 있다. 또한, 추가 자극부(400)는 복수의 자극 생성부를 포함할 수 있다. 복수의 자극 생성부 각각의 위치는 미리 지정된 것일 수 있다. 또 다른 구체적인 실시 예에서 추가 자극부(400)는 복수의 자극 생성부 각각의 위치를 측정하고, 측정한 복수의 자극 생성부 각각의 위치에 따라 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 측정한 복수의 자극 생성부 각각의 위치에 따라 자극의 크기, 자극이 생성되는 시간, 및 자극의 지속 시간 중 적어도 어느 하나를 결정할 수 있다.
구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호에 동기된 자극을 생성하여 사용자의 신체에 제공할 수 있다. 구체적으로 자극은 비침습적인 뇌/신경 자극, 진동, 및 골전도 신호 중 적어도 어느 하나를 포함할 수 있다. 구체적으로 비침습적인 뇌/신경 자극은 경두개 직류 자극, 경두개 교류 자극, 경두개 자기 자극, 및 경두개 전기 자극 중 어느 하나일 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 시간에 동기된 자극을 생성하여 사용자의 신체에 제공할 수 있다. 구체적인 실시 예에서 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 출력되는 시간과 동일한 시간에 바이노럴 렌더링된 오디오 신호에 대응하는 자극을 생성할 수 있다. 또 다른 구체적인 실시 예에서 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 출력되는 시간보다 일정한 시간만큼 이른 시간에 바이노럴 렌더링된 오디오 신호에 대응하는 자극을 생성할 수 있다. 또 다른 구체적인 실시 예에서 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 출력되는 시간보다 일정한 시간만큼 늦은 시간에 바이노럴 렌더링된 오디오 신호에 대응하는 자극을 생성할 수 있다. 이러한 실시 예에서 바이노럴 오디오 신호 처리 장치(10)는 추가 자극부(400)가 자극을 생성하는데 소요되는 시간을 기초로 하여, 바이노럴 렌더링된 오디오 신호의 출력 시간을 조정할 수 있다. 바이노럴 오디오 신호 처리 장치(10)의 구체적인 동작은 앞서 설명한 실시 예들과 동일할 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 크기에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원과 사용자와의 거리에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다.
또한, 추가 자극부(400)는 사용자가 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 인지하기 어려운 경우, 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 양이 레벨 차이가 제1 기준 값보다 작은 경우 및 상기 바이노럴 렌더링된 오디오 신호의 양이 시간 차이가 제2 기준 값보다 작은 경우 중 적어도 어느 하나에 해당하는 경우, 사용자의 신체에 대한 자극을 생성할 수 있다. 이때, 추가 자극부(400)의 구체적인 동작은 앞서 설명한 실시 예와 동일할 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 주파수 특성에 기초하여 사용자의 신체에 대한 자극을 생성할 수 있다.
또한, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 기초로 하여 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 복수의 자극 생성부를 포함하고, 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 기초로 하여 복수의 자극 생성부 중 적어도 어느 하나를 선택하여 자극을 생성할 수 있다. 이때, 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 시뮬레이션된 신호의 시간에 동기될 수 있다.
또한, 추가 자극부(400)는 임계 값을 기초로 하여 사용자의 신체에 대한 자극의 크기를 조정할 수 있다. 구체적으로 추가 자극부(400)는 임계값 이상의 크기를 갖는 자극을 생성하지 않을 수 있다. 구체적인 실시 예에서 추가 자극부(400)는 사용자 입력에 따라 자극의 크기에 대한 임계값을 결정할 수 있다.
또한, 추가 자극부(400)는 사용자의 신체에 대한 자극의 크기를 구별하는 단계에 적용되는 스케일링 값에 따라 사용자의 신체에 대한 자극을 생성할 수 있다. 추가 자극부(400)는 사용자 입력을 기초로 하여 스케일링 값을 설정할 수 있다.
또한, 추가 자극부(400)는 사용자가 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 위치를 인지하기 어려운 경우, 사용자의 신체에 대한 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 바이노럴 렌더링된 오디오 신호의 양이 레벨 차이가 제1 기준 값보다 작은 경우 및 양이 시간 차이가 제2 기준 값보다 중 적어도 어느 하나에 해당하는 경우, 사용자의 신체에 대한 자극을 생성할 수 있다. 이때, 제1 기준 값과 제2 기준 값은 서로 다를 수 있다. 구체적으로 추가 자극부(400)는 특정 시점의 바이노럴 렌더링된 오디오 신호의 양이 레벨 차이가 제1 기준 값보다 작은 경우 및 양이 시간 차이가 제2 기준 값보다 작은 경우 중 적어도 어느 하나에 해당하는 경우, 해당 시점을 포함하는 시간 구간 동안 사용자의 신체에 대한 자극을 생성할 수 있다. 이때, 해당 시점을 포함하는 시간 구간의 길이(duration)는 미리 설정된 것일 수 있다. 또 다른 구체적인 실시 예에서 해당 시점을 포함하는 시간 구간의 길이는 바이노럴 렌더링된 오디오 신호의 크기 및 주파수 중 적어도 어느 하나에 따라 달라질 수 있다.또 다른 구체적인 실시 예에서, 추가 자극부(400)는 바이노럴 렌더링에 적용되는 HRTF가 포함하는 노치(notch)의 주파수 값을 기초로 하여 추가 자극을 생성할 수 있다. 구체적으로 추가 자극부(400)는 HRTF가 포함하는 노치의 주파수 값을 기초로 하여 추가 자극의 생성 여부를 결정할 수 있다. 또한, 추가 자극부(400)는 HRTF가 포함하는 노치의 주파수 값을 기초로 하여 추가 자극을 생성하는 위치를 결정할 수 있다. 구체적으로 사용자는 바이노럴 렌더링된 오디오 신호만으로는 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 높이에 대한 인식이 힘들수 있다. 다만, 사람의 귀가 지평면에 평행하게 좌우로 위치하기 때문에, 사용자는 귓바퀴의 형상에 따른 HRTF의 노치 주파수를 통해 음원의 높이를 인지할 수 있다. 따라서 추가 자극부(400)는 HRTF가 포함하는 노치의 주파수 값을 기초로 하여 추가 자극을 생성하고, 사용자는 생성된 추가 자극을 통해 바이노럴 렌더링된 오디오 신호가 시뮬레이션하는 음원의 높이를 인지할 수 있다.
앞서 설명한 바와 같이 자극 생성부는 추가 자극부(400)의 외부에 있고, 자극 생성부(400)는 추가 자극부 외부에 있는 자극 생성부를 제어하는 제어 신호를 생성할 수 있다. 이러한 경우에도, 도 6를 통해 설명한 실시 예가 바이노럴 오디오 신호 처리 장치(10)에 동일하게 적용될 수 있다.
본 발명에 따른 바이노럴 오디오 신호 처리 장치(10)는 가상 현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR)을 구현하는 다양한 전자 장치, 및 다양한 음향 출력 장치에 사용될 수 있다. 특히, 본 발명에 따른 바이노럴 오디오 신호 처리 장치(10)는 HMD, 안경, 헬멧 등의 형태로 착용 가능한 전자 장치에 사용될 수 있다.
이상에서는 본 발명을 구체적인 실시 예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 즉, 본 발명은 멀티 오디오 신호에 대한 바이노럴 렌더링의 실시 예에 대하여 설명하였지만, 본 발명은 오디오 신호뿐만 아니라 비디오 신호를 포함하는 다양한 멀티미디어 신호에도 동일하게 적용 및 확장 가능하다. 따라서 본 발명의 상세한 설명 및 실시 예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
Claims (11)
- 오디오 신호를 수신하고, 상기 수신한 오디오를 바이노럴 렌더링하여 바이노럴 렌더링된 오디오 신호를 출력하는 바이노럴 렌더러; 및
상기 바이노럴 렌더링에 적용되는 머리 전달 함수(Head Related Transfer Function, HRTF)가 포함하는 노치(notch)의 주파수 값을 기초로 하여 추가 자극을 생성하는 추가 자극부를 포함하고,
상기 자극은 상기 바이노럴 렌더링된 오디오 신호에 대응하는
오디오 신호 처리 장치. - 제1항에서,
상기 추가 자극부는
상기 HRTF가 포함하는 노치의 주파수 값을 기초로 하여 추가 자극의 생성 여부를 결정하는
오디오 신호 처리 장치. - 제2항에서,
상기 추가 자극부는
상기 HRTF가 포함하는 노치의 주파수 값을 기초로 하여 추가 자극을 생성하는 위치를 결정하는
오디오 신호 처리 장치. - 제1항에서,
상기 자극은
비침습적인 뇌/신경 자극(non-invasive brain/neural excitation), 진동, 및 골전도 신호 중 적어도 어느 하나인
오디오 신호 처리 장치. - 제1항에서,
상기 자극은
상기 바이노럴 렌더링된 오디오 신호의 시간에 동기되는
오디오 신호 처리 장치. - 제1항에서,
상기 추가 자극부는
상기 바이노럴 렌더링된 오디오 신호의 크기에 기초하여 상기 자극을 생성하는
오디오 신호 처리 장치. - 제1항에서,
상기 추가 자극부는
상기 바이노럴 렌더링된 오디오 신호의 주파수에 기초하여 상기 자극을 생성하는
오디오 신호 처리 장치. - 제1항에서,
상기 추가 자극부는
임계 값을 기초로 하여 상기 자극의 크기를 조정하는
오디오 신호 처리 장치. - 제8항에서,
상기 임계 값은
사용자 입력을 기초로 결정된 것인
오디오 신호 처리 장치. - 제1항에서
상기 추가 자극부는
상기 자극의 크기를 구별하는 단계에 적용되는 스케일링 값에 따라 상기 자극을 생성하는
오디오 신호 처리 장치. - 오디오 신호 처리 장치의 동작 방법에서,
오디오 신호를 수신하는 단계;
상기 수신한 오디오 신호를 바이노럴 렌더링하여 바이노럴 렌더링된 오디오 신호를 출력하는 단계; 및
상기 바이노럴 렌더링에 적용되는 머리 전달 함수(Head Related Transfer Function, HRTF)가 포함하는 노치(notch)의 주파수 값을 기초로 하여 추가 자극을 생성하는 단계를 포함하고,
상기 자극은 상기 바이노럴 렌더링된 오디오 신호에 대응하는
동작 방법.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140193545 | 2014-12-30 | ||
| KR20140193545 | 2014-12-30 | ||
| KR20150114080 | 2015-08-12 | ||
| KR1020150114080 | 2015-08-12 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150185495A Division KR101627247B1 (ko) | 2014-12-30 | 2015-12-23 | 추가 자극을 생성하는 바이노럴 오디오 신호 처리 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160081873A true KR20160081873A (ko) | 2016-07-08 |
Family
ID=56192560
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150185495A KR101627247B1 (ko) | 2014-12-30 | 2015-12-23 | 추가 자극을 생성하는 바이노럴 오디오 신호 처리 방법 및 장치 |
| KR1020160066339A KR20160081873A (ko) | 2014-12-30 | 2016-05-30 | 추가 자극을 생성하는 바이노럴 오디오 신호 처리 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150185495A KR101627247B1 (ko) | 2014-12-30 | 2015-12-23 | 추가 자극을 생성하는 바이노럴 오디오 신호 처리 방법 및 장치 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10003904B2 (ko) |
| KR (2) | KR101627247B1 (ko) |
| CN (1) | CN107113525A (ko) |
| WO (1) | WO2016108510A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102153530B1 (ko) * | 2019-12-11 | 2020-09-08 | 한국건설기술연구원 | 가상현실 기반의 도로 교통 소음환경 시뮬레이션 시스템 및 이를 이용한 소음 시뮬레이션 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018093193A1 (en) * | 2016-11-17 | 2018-05-24 | Samsung Electronics Co., Ltd. | System and method for producing audio data to head mount display device |
| CN107182003B (zh) * | 2017-06-01 | 2019-09-27 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 机载三维通话虚拟听觉处理方法 |
| US11361771B2 (en) | 2017-09-22 | 2022-06-14 | Lg Electronics Inc. | Method for transmitting/receiving audio data and device therefor |
| CN108122559B (zh) * | 2017-12-21 | 2021-05-14 | 北京工业大学 | 一种数字助听器中基于深度学习的双耳声源定位方法 |
| US10777202B2 (en) * | 2018-06-19 | 2020-09-15 | Verizon Patent And Licensing Inc. | Methods and systems for speech presentation in an artificial reality world |
| KR102592476B1 (ko) * | 2022-02-16 | 2023-10-26 | 주식회사 알머스 | 공간 오디오 이어폰, 디바이스 및 이를 이용한 통화 방법 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1971978B1 (en) * | 2006-01-09 | 2010-08-04 | Nokia Corporation | Controlling the decoding of binaural audio signals |
| KR100892095B1 (ko) * | 2007-01-23 | 2009-04-06 | 삼성전자주식회사 | 헤드셋에서 송수신 음성신호 처리 장치 및 방법 |
| JP2009049844A (ja) * | 2007-08-22 | 2009-03-05 | Nec Tokin Corp | 骨伝導ヘッドホン装置 |
| KR20110074366A (ko) * | 2009-12-24 | 2011-06-30 | 송형찬 | 가상체험 의자 |
| US9357282B2 (en) * | 2011-03-31 | 2016-05-31 | Nanyang Technological University | Listening device and accompanying signal processing method |
| MX347551B (es) * | 2013-01-15 | 2017-05-02 | Koninklijke Philips Nv | Procesamiento de audio binaural. |
-
2015
- 2015-12-23 WO PCT/KR2015/014217 patent/WO2016108510A1/ko active Application Filing
- 2015-12-23 CN CN201580071944.0A patent/CN107113525A/zh active Pending
- 2015-12-23 KR KR1020150185495A patent/KR101627247B1/ko active IP Right Grant
-
2016
- 2016-05-30 KR KR1020160066339A patent/KR20160081873A/ko active Application Filing
-
2017
- 2017-06-21 US US15/629,688 patent/US10003904B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102153530B1 (ko) * | 2019-12-11 | 2020-09-08 | 한국건설기술연구원 | 가상현실 기반의 도로 교통 소음환경 시뮬레이션 시스템 및 이를 이용한 소음 시뮬레이션 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10003904B2 (en) | 2018-06-19 |
| US20170289729A1 (en) | 2017-10-05 |
| WO2016108510A1 (ko) | 2016-07-07 |
| CN107113525A (zh) | 2017-08-29 |
| KR101627247B1 (ko) | 2016-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101627247B1 (ko) | 추가 자극을 생성하는 바이노럴 오디오 신호 처리 방법 및 장치 | |
| KR102433613B1 (ko) | 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치 | |
| JP6492331B2 (ja) | 音響出力装置 | |
| KR20180135973A (ko) | 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치 | |
| WO2017049241A1 (en) | Apparatus and methods for audio-tactile spatialization of sound and perception of bass | |
| US11877135B2 (en) | Audio apparatus and method of audio processing for rendering audio elements of an audio scene | |
| EP3595337A1 (en) | Audio apparatus and method of audio processing | |
| Roginska | Binaural audio through headphones | |
| Braasch et al. | A binaural model that analyses acoustic spaces and stereophonic reproduction systems by utilizing head rotations | |
| Romigh et al. | Free-field localization performance with a head-tracked virtual auditory display | |
| TWI790192B (zh) | 耳機裝置及控制耳機裝置之方法 | |
| US10440495B2 (en) | Virtual localization of sound | |
| JP5533282B2 (ja) | 音響再生装置 | |
| US6983054B2 (en) | Means for compensating rear sound effect | |
| CN113766397A (zh) | 立体声耳机的声音定位控制方法、立体声耳机及相关设备 | |
| CN110620982A (zh) | 用于助听器中的音频播放的方法 | |
| Otani et al. | Relation between frequency bandwidth of broadband noise and largeness of sound image | |
| Aspöck et al. | Dynamic real-time auralization for experiments on the perception of hearing impaired subjects | |
| Rastogi et al. | BiVR: A device comprising of Virtual reality and Binaural audio | |
| KR20230154069A (ko) | 헤드폰들의 세트 | |
| JP2020048037A (ja) | 音源定位処理方法及びこの音源定位処理方法を用いた変換装置及びプログラム | |
| Riener et al. | Auditory Aspects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent |