KR20120094045A - 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련 전달함수 - Google Patents

패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련 전달함수 Download PDF

Info

Publication number
KR20120094045A
KR20120094045A KR1020127015604A KR20127015604A KR20120094045A KR 20120094045 A KR20120094045 A KR 20120094045A KR 1020127015604 A KR1020127015604 A KR 1020127015604A KR 20127015604 A KR20127015604 A KR 20127015604A KR 20120094045 A KR20120094045 A KR 20120094045A
Authority
KR
South Korea
Prior art keywords
hrtf
filter
signal
pair
sum
Prior art date
Application number
KR1020127015604A
Other languages
English (en)
Inventor
다비드 스텐레이 맥그레스
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20120094045A publication Critical patent/KR20120094045A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

오디오 신호들을 처리하는 방법, 오디오 신호들을 받아들이는 장치, 프로세서에서 오디오 신호들을 처리하는 방법을 이행하게 하는 명령들을 담은 캐리어 매체, 및 오디오 신호들의 필터를 이행하기 위한 필터 데이터를 담은 캐리어 매체. 방법은 입력신호들 각각을 HRTF 필터 쌍으로 필터링하고 HRT 필터링된 신호들을 가산한 결과들에 대응하는 한 쌍의 출력신호들을 생성하는 프로세스에 의해 한 쌍의 오디오 입력신호들을 필터링하는 것을 포함한다. HRTF 필터 쌍은 헤드폰을 통해 한 쌍의 출력신호들을 듣는 청취자가 한 쌍의 원하는 가상 스피커 위치들로부터의 사운드들을 경험하게 하는 필터 쌍이다. 또한, 필터링은 한 쌍의 오디오 입력신호들이 패닝된 신호성분을 포함하는 경우, 헤드폰을 통해 한 쌍의 출력신호들을 듣는 청취자에게 가상 스피커 위치들간 센터 위치에 가상 사운드 소스로부터 패닝된 신호성분이 나온다는 느낌이 제공되게 하는 필터링이다.

Description

패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련 전달함수{IMPROVED HEAD RELATED TRANSFER FUNCTIONS FOR PANNED STEREO AUDIO CONTENT}
본 발명은 오디오 신호 처리 분야에 관한 것으로, 특히 바이노럴 혹은 트랜소럴 재생 시스템을 사용하여 청취할 때 패닝된 신호를 정확하게 위치를 정하는 것을 포함하여, 공간 차원의 인지를 제공하기 위해 필터들을 통해 오디오의 채널들을 처리하는 것에 관한 것이다.
도 1은 입력 오디오 채널들 각각이 특정 방향으로부터 제공되고 있다는 인상을 청취자(20)에게 제공하기 위해서, 복수의 헤드 관련 전달함수(HRTF) 필터들, 예를 들면 FIR 필터들에 의해 복수 채널들의 오디오를 처리하는 것을 포함하는 일반적인 바이노럴(binaural) 재생 시스템을 도시한 것이다. 도 1은 정보의 제1 오디오 채널(11)(채널1), 제2 오디오 채널(채널2),..., 및 제N 오디오 채널(120(채널N)로 구성된, N으로 표기한 다수의 오디오 소스들의 처리를 도시하고 있다. 바이노럴 재생 시스템은 청취자(20)가 착용한 한 쌍의 헤드폰들(19)을 사용하여 재생한다. 각 채널은 한 쌍의 HRTF 필터들로서 청취자의 좌측 귀(22)를 통한 재생을 위한 것인 한 필터와 청취자(20)의 우측 귀(23)를 통해 재생되는 다른 한 필터에 의해 처리된다. 따라서 제1 HRTF 쌍의 필터들(13, 14) 내지 제N 쌍의 HRTF 필터들(15, 16)이 도시되었다. 청취자(20)의 좌측 귀(22) 용의 각 HRTF 필터의 출력들은 가산기(18)에 의해 가산되고, 청취자(20)의 우측 귀(23)를 통한 재생용인 각 HRTF 필터의 출력들은 가산기(17)에 의해 가산된다. 청취자(20)에 의해 인지되는 각 채널의 입사 방향은 그 채널에 인가되는 HRTF 필터 쌍의 선택에 의해 결정된다. 예를 들면, 도 1에서, 오디오 채널1(11)은 한 쌍의 필터들(13, 14)을 통해 처리되므로, 청취자에게는 θ1로 표기한 특정 도달 방위각, 예를 들면 위치(21)로부터 오디오 채널1(11)의 사운드가 청취자에게 입사되는 인상을 청취자에게 주게 될 오디오 입력이 헤드폰들(19)을 통해 제공된다. 유사하게, 제2 오디오 채널용의 HRTF 필터 쌍은 오디오 채널1의 사운드가 θ2로 표기한 특정 도달 방위각으로부터 청취자에게 입사되게 설계되고, 제N 오디오 채널용 HRTF 필터 쌍은 오디오 채널N(2)의 사운드가 θN으로 표기한 특정 도달 방위각으로부터 청취자에게 입사되게 설계된다.
간단하게, 도 1은 도달 방위각들, 예를 들면 인지되는 소스(21)로부터 채널1에 대응하는 인지되는 사운드의 도달각만을 도시하고 있다. 일반적으로, HRTF 필터들은 입사 방위각 및 입사 앙각 둘 다로 특정되는 임의의 도달방향에 대응하는 자극을 청취자(20)에게 제공하는데 사용될 수 있다.
HRTF 필터 쌍이라는 것은 청취자의 두 귀(22, 23)용의 단일 채널을 처리하는데 요구되며 한 귀에 하나씩의 HRTF 필터로서 한 세트의 2개의 개별적 HRTF 필터들을 의미한다. 그러므로, 2채널 사운드에 있어서는 2개의 HRTF 필터 쌍들이 사용된다.
여기서는 2입력채널, 즉 스테레오 입력 쌍 시스템에 대해 주로 상세하게 기술한다. 여기 기술된 면들을 3 이상 입력채널들로 확장하는 것은 수월하므로 이러한 확장은 본 발명의 범위 내인 것으로 간주된다.
도 2는 2개의 오디오 입력들로서 좌측 채널 입력(31)과 우측 채널 입력(32)을 포함하는 스테레오 바이노럴라이저 시스템을 도시한 것이다. 2개의 오디오 채널 입력들 각각은 개별적으로 처리되는데, 좌측 채널 입력은 하나의 HRTF 쌍(33, 34)을 통해 처리되고 우측 채널 입력은 다른 HRTF 쌍(35, 36)을 통해 처리된다. 전형적인 상황에서, 좌측 채널 입력(31) 및 우측 채널 입력(32)은 대칭적 재생을 위한 것으로, 2개의 HRTF 쌍들을 사용한 바이노럴화 목적은 청취자(20)의 중앙의 면에 대해서 대칭으로 놓여진 각각의 좌측 각 위치와 우측 각 위치로부터 좌측채널과 우측채널을 듣는다는 인지를 청취자에게 제공하려는 것이다. 도 2에서, HRTF 쌍들(33, 34, 35, 36)이 대칭적으로 듣기 위한 것이라면, 좌측채널은 방위각 θ에 있는 소스(37)로부터 인지되고 우측채널은 우측의 인지되는 소스(37)의 방위각의 음인 방위각에 있는 소스(38), 즉 방위각-θ로부터 오는 것으로 인지된다.
이러한 대칭 조건들 하에서, 어떤 단순화 가정을 한다. 첫 번째는 청취자의 머리와 사운드 인지가 대칭이다라고 가정한다. 이것은
HRTF(θ,L) = HRTF(-θ,R) (1)
임을 의미한다.
또한, 좌측 소스(37)에서 좌측 귀(22)에의 HRTF는 우측 소스(38)에서 우측 귀(23)에의 HRTF와 동일하다. 이러한 HRTF를 HRTFnear로서 표기한다. 마찬가지로, 이러한 대칭 가정들 하에서, 좌측 소스(37)에서 우측 귀(23)에의 HRTF는 우측 소스(38)에서 좌측 귀(22)에의 HRTF와 같다. 이러한 HRTF를 HRTFfar로서 표기한다.
바이노럴라이저들에서, 통상적으로 HRTF 필터들은 모조 머리, 혹은 청취자 머리의 실제 HRTF 응답을 측정함으로써 발견된다. 비교적 정교한 바이노럴 처리 시스템들은 복수의 청취자들 및/또는 복수의 사운드 입사 방위각 및 앙각에 대응하는 광범한 HRTF 측정 라이브러리들을 이용한다.
최근 사용되는 바이노럴 시스템에 있어서는 단순히, 측정된 θ 및 -θHRTF 쌍들을 도 2와 같은 바이노럴 처리 시스템에서 사용하는 것이 일반적이다. 즉, 측정된 HRTF 쌍들이 대칭이다라고 가정하면,
HRTFnear = HRTF(θ,L)
HRTFfar = HRTF(θ,R) (2)
이다.
측정에 의해서, HRTF 쌍을 측정한 청취자 머리 응답들이 대칭이 아니어서 식(1)이 성립하지 않는 것으로 발견되었다고 하더라도, 도 2와 같은 바이노럴라이저는 측정된 HRTF들을 평균함으로써 HRTF 필터 쌍들을 사용하여 대칭이 되게 할 수 있다. 즉, "가상 사운드 소스들"이라고도 하고, θ의 방위각 및 -θ의 방위각에 놓인 "가상 스피커들"이라고도 하는 것으로서, 사운드 소스들로부터 오는 것처럼 보이는 좌측 및 우측을 대칭적으로 듣기 위해서, 바이노럴 처리를 위한 필터들은 다음과 같이 설정된다.
Figure pat00001
(3)
여기서 HRTF(θ,L) 및 HRTF(θ,R)은 각 θ에 있는 인지된 소스에 대해서 각각 좌측 및 우측 각에 대해 측정된 HRTF들이다. 그러므로, 근(near) HRTF 및 원(far) HRTF라는 것은 대칭인 경우에 있어서는 실제 측정된 혹은 가정된 HRTF들, 혹은 비대칭 경우에 있어서는 평균 HRTF를 의미한다.
개략적으로, 이러한 바이노럴라이저는 가상 좌측 스피커, 예를 들면 37에 대응하는 HRTF 쌍을 통해 좌측 오디오 신호와, 가상 우측 스피커, 예를 들면 38에 대응하는 HRTF 쌍을 통해 우측 오디오 신호를 제공함으로써, 정규 스테레오 스피커 시스템이 작동하는 방식을 시뮬레이트한다. 이것은 사운드들로서 좌측 및 우측 채널 입력들이 각각 좌측 및 우측 가상 스피커 위치들로부터 나오고 있다는 느낌을 청취자에게 제공함에 있어 잘 작동하는 것으로 알려져 있다.
예를 들면 실제 스테레오 스피커들을 통한 사운드 재현에 있어서, 좌측 및 우측 오디오 입력 소스들(31, 32)이 청취자의 좌측 및 우측에 정확하게 놓여진 스피커들로부터 오는 것으로 보이게 하는 느낌뿐만 아니라 이러한 좌측 스피커 위치와 우측 스피커 위치 사이에 있는 하나 이상의 사운드 소스들로부터 온다는 느낌을 청취자에게 제공하는 것이 흔히 요망된다. 다른 어떤 곳, 예를 들면 청취자 앞에 어떤 다른 곳에 사운드 성분이 있다고 가정한다. 예로서, 좌측 및 우측 입력 오디오 채널들의 가정된 위치들 사이의 중앙에 사운드 소스가 있는 것으로 가정한다. 예를 들면, 최신의 스테레오 레코딩에 있어서는 오디오 신호가 좌측 및 우측 채널들에 동일하나 감쇄된 진폭으로 제공되는 것이 일반적이므로, 이러한 좌측 및 우측 채널 입력들이 청취자 앞의 스테레오 스피커들에서 재생될 때, 청취자에게 좌측 스피커와 우측 스피커 사이에 중앙에 놓인 "팬텀(phantom) 스피커"라고 하는 소스로부터 사운드 소스가 나오고 있다는 인상이 주어진다. "팬텀"이라는 용어는 실제 스피커가 그곳에는 없기 때문에 이러한 스피커에 대해 사용된다. 이것을 흔히 "팬텀 센터"라고 하며, 사운드가 센터로부터 온다는 느낌을 일으키는 프로세스를 "센터 이미지 생성"이라고 한다.
유사하게, 신호의 서로 다른 량들을 좌측 및 우측 채널 입력들에 비례적으로 공급함으로써, 좌측 스피커 위치와 우측 스피커 위치간 어떤 다른 곳으로부터 오는 사운드의 느낌이 청취자에게 제공된다.
좌측채널과 우측채널간에 입력을 분할함으로써 스테레오 쌍을 생성하는 것을 "패닝(panning)"이라고 하고, 신호를 균등하게 분할하는 것을 "센터 패닝"이라고 한다.
한 세트의 헤드폰들을 통한 재생을 위해 바이노럴라이저 시스템에서 같은 느낌을 제공하는 것, 즉 센터 이미지를 생성하는 것이 바람직하다.
예를 들면, 예를 들면 2개의 채널입력들간에 분할된, 패닝된 MonoInput 센터라 하는 오디오 입력신호를 고찰한다. 예를 들면, 두 개의 신호들로서 LeftAudio 및 RightAudio이 다음과 같이 생성되었다고 가정한다.
Figure pat00002
(4)
스테레오 스피커 재생을 위해 이와 같이 센터 패닝된 신호의 결과들은 전방 센터로부터 나오는 신호로서 인지하게 된다.
식(4)의 입력들인 LeftAudio 및 RightAudio이 도 2의 바이노럴라이저에 입력된다면, 좌측 귀(22) 및 우측 귀(23)에 각각 다음과 같은, LeftEar 및 RightEar로 표기한 신호들이 공급된다.
Figure pat00003
(5)
여기서 ⓧ는 필터링 연산을 나타낸 것으로, HRTFnear가 임펄스 응답으로서 표현되고 LeftAudio를 시간영역 입력으로서 나타낸 경우, HRTFnearⓧLeftAudio는 콘볼루션을 나타낸다. 따라서, 위의 식들을 결합함으로써,
Figure pat00004
(6)
이 된다.
이와 같이 입력을 분할하여 0°의 가상 스피커 위치에서 듣는 느낌을 줄 것이라는 것, 즉 좌측 귀와 우측 귀에 0°HRTF 쌍에 대응하는 자극이 제공될 것이 요망된다. 실제로, 이것은 일어나지 않으므로, 청취자는 신호 MonoInput이 좌측 스피커(37)와 우측 스피커(38) 사이에 중앙에 놓인 가상 스피커로부터 온는 것으로 인지하지 못한다. 유사하게, 좌측 채널 입력과 우측 채널 입력간에 신호를 불균등하게 분할하고 도 3에 도시한 것과 같은 바이노럴라이저를 통해 바이노럴화하는 것은 가상 좌측 스피커와 우측 가상 스피커 사이에 소스의 요망되는 가상 위치의 체감(illusion)을 정확하게 생성하지 못한다.
따라서, 이 기술에서는 좌측 채널 입력 및 우측 채널 입력을 의미하는 바이노럴라이저 시스템의 좌측 가상 스피커 위치와 우측 가상 스피커 위치간의 위치로부터 나오는 사운드의 체감을 청취자에게 일으키는 바이노럴라이저 및 바이노럴화 시스템의 필요성이 있다.
예를 들면, 모노 신호를 좌측 후방 채널 입력 및 우측 후방 채널 입력으로 분할함으로써, 센터 후방으로부터 오는 것처럼 나타나게 할 신호는 통상적으로 대칭적 후방 가상 스피커 위치들에 후방 스피커들을 배치할 목적으로 대칭적 후방 HRTF 필터들을 사용하는 바이노럴라이저를 통한 헤드폰에 재생시 센터 후방으로부터 오는 것으로 인지되지 않을 것이다.
이에 따라, 이 기술에서는 후방 스피커 신호들, 예를 들면 좌측 가상 후방 스피커와 우측 가성 후방 스피커(서라운드)간에 신호를 센터 패닝함으로써 생성되는 4 혹은 5 채널 시스템의 서라운드 사운드 신호들을 위한 후방 센터 위치로부터 나오는 사운드의 체감을 청취자에게 일으키는 바이노럴라이저 및 바이노럴화 시스템의 필요성이 있다.
본 발명의 목적은, 바이노럴 혹은 트랜소럴 재생 시스템을 사용하여 청취할 때 패닝된 신호를 정확하게 위치를 정하는 것을 포함하여, 공간 차원의 인지를 제공하기 위해 필터들을 통해 오디오의 채널들을 처리할 수 있는 방법 및 장치를 제공함에 있다.
오디오 신호들을 처리하는 방법, 오디오 신호들을 받아들이는 장치, 프로세서에서 오디오 신호들을 처리하는 방법을 이행하게 하는 명령들을 담은 캐리어 매체, 및 오디오 신호들의 필터를 이행하기 위한 필터 데이터를 담은 캐리어 매체가 상이한 실시예들 및 면들에서 여기에 기술된다. 입력들이 패닝된 신호를 포함할 때, 이들 각각은 센터 위치에 가상 사운드 소스로부터 패닝된 신호성분이 나온다는 느낌을 청취자에게 제공한다.
본 발명의 일 면은 한 쌍의 입력신호 각각을 HRTF 필터 쌍으로 필터링하고; 상기 HRTF 필터링된 신호들을 가산하는 결과들에 대응하는 한 쌍의 출력신호들을 생성하는 프로세스에 의해 상기 한 쌍의 오디오 입력신호들을 필터링하는 단계를 포함하는 방법이다. 상기 HRTF 필터 쌍은 헤드폰을 통해 상기 한 쌍의 출력신호들을 듣는 청취자가 한 쌍의 원하는 가상 스피커 위치들로부터의 사운드들을 경험하게 하는 것이다. 또한, 상기 필터링은 상기 한 쌍의 오디오 입력신호들이 패닝된 신호성분을 포함하는 경우, 상기 한 쌍의 출력신호들을 듣는 청취자에게 상기 패닝된 신호성분이 가상 스피커 위치들간 센터 위치에 가상 사운드 소스로부터 나온다는 느낌이 제공되게 하는 것이다.
또 다른 방법의 실시예는 등화필터에 의해 한 쌍의 입력신호들을 등화시키는 단계; 및 바이노럴화된 출력을 헤드폰을 통해 듣는 청취자에게 오디오 입력신호들에 대응하는 사운드들이 제1 및 제2 가상 스피커 위치로부터 나온다는 체감을 제공하는 한 쌍의 바이노럴화된 출력들을 제공하기 위해 HRTF 쌍들을 사용하여 상기 등화된 출력신호들을 바오노럴화는 단계를 포함한다. 방법의 요소들은 등화 및 바이노럴화의 조합이 등화된 HRTF 쌍들을 사용한 바이노럴화와 같게 하며, 상기 등화된 HRTF 쌍들의 각 등화된 HRTF는 상기 등화 필터에 의해 등화된 상기 등화된 신호들의 바이노럴화를 위한 대응하는 HRTF이도록 배열된다. 상기 등화된 HRTF들의 평균은 상기 제1 가상 스피커 위치와 상기 제2 가상 스피커 위치간 센터 위치로부터 나오는 사운드를 듣는 청취자를 위한 원하는 HRTF와 실질적으로 같다. 상기 한 쌍의 오디오 입력신호들이 패닝된 신호성분을 포함하는 경우, 헤드폰을 통해 상기 한 쌍의 바이노럴화된 출력들을 듣는 청취자에게 상기 패닝된 신호성분이 상기 센터 위치에 가상 사운드 소스로부터 나온다는 느낌이 제공된다.
본 발명의 또 다른 면은 한 쌍의 오디오 입력신호들을 처리하여, 이 처리된 신호들을 헤드폰을 통해 듣는 청취자에게 상기 오디오 입력신호들에 근사적으로 대응하는 사운드들이 제1 및 제2 가상 스피커 위치로부터 온다는 체감을 제공하며, HRTF 필터들의 평균이 제1 가상 스피커 위치와 제2 가상 스피커 위치간 센터 위치로부터 사운드를 듣는 청취자의 HRTF 응답에 근사화되게 설계된 한 세트의 HRTF 필터들용 필터 데이터를 실은 캐리어 매체이다.
본 발명의 또 다른 면은 한 쌍의 오디오 입력신호들을 처리하여, 이 처리된 신호들을 헤드폰을 통해 듣는 청취자에게 상기 오디오 입력신호들에 근사적으로 대응하는 사운드들이 제1 및 제2 가상 스피커 위치로부터 온다는 체감을 제공하여, 상기 한 쌍의 오디오 입력신호들 각각간에 패닝된 신호성분이 상기 처리된 신호들을 헤드폰을 통해 듣는 청취자에게 상기 패닝된 신호성분이 상기 제1 가상 스피커 위치와 제2 가상 스피커 위치간 센터 위치로부터 온다는 체감을 제공하게 하는 한 세트의 HRTF 필터들용 필터 데이터를 실은 캐리어 매체이다.
본 발명의 또 다른 면은 오디오 재생을 위한 한 쌍의 오디오 입력신호들을 받아들이는 단계; 상기 입력신호들을 셔플링하여 상기 입력신호들의 합에 비례하는 제1 신호("합신호")와 상기 입력신호들의 차에 비례하는 제2신호("차신호")를 생성하는 단계; 근(near ear) HRTF를 등화한 것과 원(far ear) HRTF를 등화한 것의 합에 근사한 필터를 통해 상기 합 신호를 필터링하는 단계를 포함하는 방법이다. 상기 근 및 원 HRTF들은 청취자가 대응 가상 스피커 위치들에 한 쌍의 가상 스피커들을 듣기 위한 것이다. 상기 등화된 것들은 상기 등화된 근 HRTF와 등화된 원 HRTF의 평균이 청취자가 가상 스피커 위치들간 센터 위치에 가상 사운드 소스를 듣기 위한 센터 HRTF에 근사하게 되도록 설계된 등화필터를 사용하여 얻어진다. 이 방법은 또한, 청취자가 상기 한 쌍의 가상 스피커들을 듣기 위해 상기 등화된 근 HRTF와 상기 등화된 원 HRTF간 차에 근사한 필터를 통해 상기 차신호를 필터링하는 단계를 포함한다. 방법은 또한, 상기 필터링된 합신호와 상기 필터링된 차신호를 언셔플링하여, 상기 필터링된 합신호와 상기 필터링된 차신호의 합에 비례하는 제1 출력신호와 상기 필터링된 합신호와 상기 필터링된 차신호에 비례하는 제2 출력신호를 생성하는 단계를 포함한다. 방법은 상기 한 쌍의 오디오 입력신호들이 패닝된 신호성분을 포함하는 경우, 헤드폰을 통해 상기 제1 및 제2 출력신호들을 듣는 청취자에게 상기 패닝된 신호성분이 상기 센터 위치에 상기 가상 사운드 소스로부터 나온다는 느낌을 제공하게 하는 방법이다.
본 발명의 또 다른 면은 한 쌍의 입력신호 각각을 HRTF 필터 쌍으로 필터링하고; 상기 HRTF 필터링된 신호들을 가산하고; 상기 가산된 HRTF 필터링된 신호들을 크로스토크 상쇄한 결과들에 대응하는 한 쌍의 출력신호들을 생성하는 프로세스에 의해 상기 한 쌍의 오디오 입력신호들을 필터링하는 단계를 포함하는 방법이다. 상기 크로스토크 상쇄는 청취자가 제1 한 쌍의 스피커 위치들에 놓인 스피커들을 통해 상기 한 쌍의 출력신호들을 듣게 하기 위한 것이다. 상기 HRTF 필터 쌍은 상기 한 쌍의 출력신호들을 듣는 청취자가, 원하는 가상 스피커 위치에 한 쌍의 가상 스피커들로부터의 사운드들을 경험하게 하는 것이다. 상기 필터링은 상기 한 쌍의 오디오 입력신호들이 패닝된 신호성분을 포함하는 경우, 상기 제1 한 쌍의 스피커 위치들에 상기 한 쌍의 스피커들을 통해 상기 한 쌍의 출력신호들을 듣는 청취자에게 상기 패닝된 신호성분이 가상 원하는 가상 스피커 위치들간 센터 위치에 가상 사운드 소스로부터 나온다는 느낌이 제공되게 하는 것이다.
발명의 또 다른 면은 오디오 재생을 위한 한 쌍의 오디오 입력신호들을 받아들이는 단계; 상기 입력신호들을 셔플링하여 상기 입력신호들의 합에 비례하는 제1 신호("합신호")와 상기 입력신호들의 차에 비례하는 제2신호("차신호")를 생성하는 단계; 청취자가 센터 위치에 가상 사운드 소스를 듣기 위해 2배의 센터 HRTF에 근사한 필터를 통해 상기 합신호를 필터링하는 단계:
청취자가 한 쌍의 가상 스피커들을 듣기 위해 근(near ear) HRTF와 원(far ear) HRTF간 차에 근사한 필터를 통해 상기 차신호를 필터링하는 단계; 및 상기 필터링된 합신호와 상기 필터링된 차신호를 언셔플링하여 상기 필터링된 합신호와 상기 필터링된 차신호의 합에 비례하는 제1 출력신호와, 상기 필터링된 합신호와 상기 필터링된 차신호의 차에 비례하는 제2 출력신호를 생성하는 단계를 포함하는 방법이다. 방법은 상기 한 쌍의 오디오 입력신호들이 패닝된 신호성분을 포함하는 경우, 헤드폰을 통해 상기 제1 및 제2 출력신호들을 듣는 청취자에게 상기 패닝된 신호성분이 상기 센터 위치에 상기 가상 사운드 소스로부터 나온다는 느낌을 제공하게 하는 방법이다.
방법의 한 버전에서, 2배의 센터 HRTF에 근사한 필터는 등화필터에 의해 각각 상기 근 HRTF 및 상기 원 HRTF를 필터링함으로써 얻어지는, 상기 등화된 근 HRTF 및 등화된 원 HRTF의 합으로써 각각 얻어지며, 상기 근 HRTF와 상기 원 HRTF간 차에 근사한 상기 필터는 상기 등화된 근 HRTF와 상기 등화된 원 HRTF간 차와 실질적으로 동일한 응답을 갖는 필터이다.
방법의 한 버전에서, 등화필터는 제1항에 있어서, 상기 등화필터는 상기 근 HRTF 및 상기 원 HRTF의 합에 비례하는 필터에 대한 역필터이다. 특정의 실시예에서, 등화 필터 응답은 근 HRTF 및 원 HRTF의 합에 비례하는 필터 응답을 주파수 응답에서 반전시킴으로써 결정된다.
또 다른 특정의 실시예에서, 상기 등화 필터응답은 상기 근 HRTF 및 상기 원 HRTF의 합에 비례하는 필터를 반전시키는 적응형 필터 방법에 의해 결정된다.
방법의 일 버전에서, 2배의 센터 HRTF에 근사한 필터는 원하는 2배의 센터 HRTF와 실질적으로 동일한 응답을 갖는 필터이다.
특정의 구성에서, 상기 오디오 입력신호들은 좌측입력 및 우측입력을 포함하며, 상기 한 쌍의 가상 스피커들은 청취자에 관하여 대칭인 좌측 가상 스피커 위치와 우측 가상 스피커 위치에 있으며, 청취자 및 듣기는 근 HRTF가 좌측 귀 HRTF에의 좌측 가상 스피커 및 우측 귀 HRTF에의 우측 가상 스피커가 되게 하고, 원 HRTF는 우측 귀 HRTF에의 좌측 가상 스피커 및 좌측 귀 HRTF에의 우측 가상 스피커가 되도록 대칭이다.
방법의 실시예에서, 오디오 입력신호들은 좌측입력 및 우측 입력을 포함하고, 한 쌍의 가상 스피커들은 좌측 가상 스피커 위치 및 우측 가상 스피커 위치에 있고, 근 HRTF는 좌측 귀 HRTF에의 좌측 가상 스피커와 우측 귀 HRTF에의 우측 가상 스피커의 평균에 비례하고, 원 HRTF는 우측 귀 HRTF에의 좌측 가상 스피커와 좌측 귀 HRTF에의 우측 가상 스피커의 평균에 비례한다.
또 다른 실시예에서, 오디오 입력신호들은 좌측 입력 및 우측 입력을 포함하며, 한 쌍의 가상 스피커들은 청취자의 전방에 대해 좌측 전방 가상 스피커 위치 및 우측 전방 가상 스피커 위치에 있다.
다른 면들 및 특징들은 설명, 도면, 및 청구항으로부터 명백할 것이다.
상술한 본 발명에 따르면, 바이노럴 혹은 트랜소럴 재생 시스템을 사용하여 청취할 때 패닝된 신호를 정확하게 위치를 결정하는 것을 포함하여, 공간 차원의 인지를 제공하기 위해 필터들을 통해 오디오의 채널들을 처리할 수 있는 방법 및 장치를 제공할 수 있다.
도 1은 입력 오디오 채널들 각각이 특정 방향으로부터 제공되고 있다는 인상을 청취자에게 제공하기 위해서, 복수의 HRTF 필터들에 의해 복수 채널들의 오디오를 처리하는 것을 포함하는 일반적인 바이노럴 재생 시스템을 도시한 것이다. 도 1의 구조를 구비한 바이노랄라이저가 종래 기술이지만, 여기 기술된 하나 이상의 본 발명의 면들에 따라 선택된 필터들을 갖춘 바이노럴라이저는 종래 기술이 아니다.
도 2는 각각이 두 개의 오디오 입력들, HRTF 필터들 중 하나를 통해 처리되는 좌측 채널 입력 및 우측 채널입력을 포함하는 스테레오 바이노럴라이저 시스템을 도시한 것이다. 도 1의 구조를 갖는 바이노럴라이저들이 종래 기술이지만, 여기 기술된 하나 이상의 발명의 면들에 따라 선택된 필터들을 구비한 바이노럴라이저는 종래 기술이 아니다.
도 3은 좌측 가상 스피커, 우측 가상 스피커, 및 센터 위치에 대한 2개의 소스 각들을 위한 HRTF들의 예를 도시한 것이다.
도 4a, 도 4b, 도 4c, 도 4d는 θ = ±45°에 가상 스피커들을 두기 위해 바이노럴라이저에서 사용하기 위한 어떤 전형적인 HRTF 필터들을 도시한 것이다. 도 4a는 0° HRTF, 도 4b는 근 HRTF, 도 4c는 원 HRTF, 도 4d는 근 HRTF와 원 HRTF의 평균을 도시한 것이다.
도 5a-5d는 등화에 의해 합이 원하는 0°HRTF에 보다 가깝게 일치하도록 근 및 원 HRT 필터들을 수정하는데 사용될 수 있는 방법을 도시한 것이다. 도 5a는 근 및 원 HRTF들에 적용될 등화필터의 임펄스 응답을 도시한 것이다. 도 5b 및 도 5c는 등화 후에 근 및 원 HRTF들을 도시한 것이며, 도 5d는 본 발명의 면들에 따른 등화된 근 및 원 HRTF들의 결과적인 평균을 도시한 것이다.
도 6은 본 발명의 면에 따라 설계된 등화 필터의 주파수 크기 응답을 도시한 것이다.
도 7은 본 발명의 면들에 따라 결정된 등화된 HRTF 필터들을 사용하는 바이노럴라이저의 제1 실시예를 도시한 것이다.
도 8은 셔플러 네트워크("셔플러")을 사용한 본 발명의 면들에 따라 결정된 등화된 HRTF 필터들을 사용하는 바이노럴라이저의 제2 실시예를 도시한 것이다.
도 9는 본 발명의 면에 따라, 원하는 센터 HRTF 필터인 합 신호 필터를 사용한 바이노럴라이저의 또 다른 셔플러 실시예를 도시한 것이다.
도 10은 원하는 위치들에 가상 스피커들을 두기 위한 직렬 바이노럴라이저, 및 크로스토크 상쇄기를 포함하는 크로스토크 상쇄 바이노럴화 필터 실시예를 도시한 것이다. 바이노럴라이저 부분은 본 발명의 면들을 탑재한다.
도 11은 4개의 필터들을 포함하는 크로스토크 상쇄 바이노럴화 필터의 대안적 실시예를 도시한 것이다.
도 12는 셔플러 네트워크, 합신호 필터, 차필터 네트워크를 포함하는 크로스토크 상쇄 바이노럴화 필터의 또 다른 대안적 실시예를 도시한 것이다.
*도 13은 본 발명의 면들에 따라 스테레오 입력 쌍을 처리하기 위한 오디오 처리 시스템의 DSP-디바이스 기반의 실시예를 도시한 것이다.
도 14a는 오디오 정보의 5개의 채널들을 받아들이고 후방 센터 패닝된 신호가 청취자의 센터 후방으로부터 온다는 인상을 청취자에게 생성하는 본 발명의 면들을 포함하는 처리-시스템-기반의 바이노럴라이저 실시예를 도시한 것이다.
도 14b는 오디오 정보의 4개의 채널들을 받아들이고 전방 센터 패닝된 신호가 청취자의 센터 전압으로부터 호고 후방 센터 패닝된 신호가 청취자의 센터 후방으로부터 온다는 인상을 청취자에게 생성하는 본 발명의 면들을 포함하는 처리-시스템-기반의 바이노럴라이저 실시예를 도시한 것이다.
본 발명의 일 면은 스테레오 쌍 입력들의 경우에, 제1 소스 각 및 제2 소스 각에 2개의 소스들에 대한 측정된 혹은 가정된 HRTF 쌍들을 사용하여 3이상 소스 각들에 대해 스테레오 쌍 입력들을 바이노럴화함으로써 제1 소스각과 제2 소스각 간에 제3 소스각의 소스로부터 스테레오 쌍 입력들간 패닝된 신호가 나오고 있다는 체감을 생성하는 바이노럴라이저 및 바이노럴화 방법이다.
도 3은 3개의 소스 각으로서, 좌측 가상 스피커에 대해 θ로 표기한 제1 방위각과, 도 3에서 대칭이라는 가정 하에 -θ인 우측 가상 스피커에 대한 각과, 0도, 즉 좌측 가상 스피커와 우측 가상 스피커 사이의 중간에 센터 가상 스피커에 대한 각에 대한 HRTF들의 예를 도시한 것이다. 센터 가상 스피커에 대해서, HRTF 쌍은 각각 쌍 HRTF(O,L) 및 HRTF(O,R)로서 표기되었다. 좌측 가상 스피커 HRTF 쌍은 각각 쌍 HRTF(θ,L) 및 HRTF(θ,R)으로서 표기되었고, 우측 가상 스피커 HRTF 쌍은 각각 쌍 HRTF(-θ,L) 및 HRTF(-θ,R)으로서 표기되었다.
방위각들 ±θ에 있는 가상 스피커들로부터 사운드가 오는 것처럼 보이도록 스테레오 입력을 바이노럴화하는 것이 요망된다. 배경기술에서 논한 바와 같이, 발명자는 방위각들 ±θ에 있는 가상 스피커들에 대해 도 2와 같은 통상의 바이노럴 재생 시스템을 통해 재생시 센터 패닝된 신호는 통상 불완전한 센터 이미지를 청취자에게 제공함을 알았다. 즉, 바이노럴라이저는 HRTF(0,L) 및 HRTF(0,R)에 근사화되지 않는다.
도 및 식(1-6)을 참조하면, MonoInput으로 표기한 입력이 좌측 채널 입력과 우측 채널 입력간에 분할되어 도 2의 스테레오-바이노럴 시스템에 의해 처리될 때, 청취자의 좌측 귀와 우측 귀, LeftEar 및 RightEar에의 자극은 각각, 대칭이라는 가정하에,
Figure pat00005
(7)
이다.
Figure pat00006
(8)
일 것이 요망되므로 청취자는 센터 위치로부터 MonoInput이 온다는 체감을 갖게 된다. HRTF 측정들이 완전한 대칭을 나타낸다고 가정한다. 따라서, HRTF(O,L)=HRTF(O,R)이 되고 이 량을 HRTFctr로서 표기한다. 그러므로, 좌측 입력과 우측 입력으로 분할된 신호에 대해서,
Figure pat00007
(9)
일 것이 요망된다.
식(7)과 식(9)를 비교하여, 양호한 "팬텀 센터 이미지"라 하는 것으로서 MonoInput 방향의 정확한 인지를 청취자에게 제공하기 위해서,
Figure pat00008
(10)
일 것이 요망된다.
본 발명의 일 실시예에 따라서, 등화 필터가 입력들에 적용된다. 등화필터를 선형 시불변 필터인 것으로 제약함으로써, 이러한 등화필터의 필터링은 (a) 바이노럴화에 앞서 좌측 채널 입력신호와 우측 채널 입력신호에 적용되거나, (b) 좌측 가상 스피커 위치와 우측 가상 스피커 위치에 대해 청취자에 대해 측정된 혹은 가정된 HRTF들에 적용됨으로써, 결과적인 근 및 원 HRTF들의 평균은 요망되는 팬텀 센터 HRTF에 근사화된다. 즉,
Figure pat00009
(11)
이 되고, 여기서, HRTF'near 및 HRTF'far는 등화를 포함하는 HRTFnear 및 HRTFfar 필터들이다.
등화 필터 응답, 예를 들면 임펄스 응답을 EQC로 표기한다. 바이노럴화에 앞서 좌측 채널입력과 우측 채널 입력에 이 필터를 적용하는 것은 다음과 같이 HRTFnear 및 HRTRfar로 표기한 θ 및 -θHRTF 쌍들, 및 등화필터로부터 결정된 HRTF'near 필터와 HRTF'far 필터로 바이노럴화하는 것과 같다.
Figure pat00010
(12)
식(11)에 결합하여, 요망하는 관계가 된다.
Figure pat00011
(13)
일 실시예에서, 등화필터는 요망되는 HRTF 필터와 역필터의 조합인 등화필터에 의해 얻어진다. 특히, 식(13)은 다음에 의해 주어진 등화필터에 의해 만족된다.
Figure pat00012
(14)
여기서 inverse()는 역필터링 연산을 표기한 것으로, X 및 Y가 예를 들면 임펄스 응답들로서, 시간영역에서 특정된 필터들이라면, Y=inverse(X)는 YⓧX가 델타함수임을 의미하고 ⓧ는 콘볼루션이다.
역필터를 구성하는 많은 방법들이 이 기술에 공지되어 있다. 역필터링이 디콘볼루션으로서 이 기술에 또한 공지되어 있다. 제1 구현예에서, X 및 Y가 임펄스 응답을 나타내는 유한길이 벡터에 의해 특정되는 FIR 필터들에 대한 것인 경우, Toeplitz(Y)로 표기하는, Y에 기초한 토플리츠 행렬을 형성한다. 벡터 X는 Toeplitz(Y)ⓧToeplitz(X)가 델타함수에 가깝게 되도록 선택된 유한길이 벡터이다. 즉, Toeplitz(Y)Toeplitz(X)는 최소제곱 면에서 에러가 최소화되는 항등 행렬에 가깝다. 일 구현예에서, 이러한 역을 결정하기 위해 반복적 방법을 사용한다.
본 발명은 역필터를 결정하는 어떤 특정한 방법으로 제한되지 않는다. 한 대안적인 방법은 역 필터링 문제를 적응형 필터 설계 문제로서 구성한다. 임펄스 응답 X, 길이 m1의 FIR 필터 다음에 길이 m2의 임펄스 응답 Y의 FIR 필터가 이어진다. 입력을 지연시키는 기준출력이 직렬연결의 필터들 X, Y의 출력에서 감하여져 에러 신호를 생성한다. Y의 계수들은 적응형으로 변경됨으로써 평균 제곱 에러 신호를 최소화한다. 이것은 최소 평균 제곱(LMS) 방법, 혹은 정규화된 LMS 방법이라고 하는 변형방법과 같은 표준방법들로 해결되는 표준 적응형 필터문제이다. 예를 들면, S. Haykim, "Adaptive Filter Theory," 3rd Ed., Englewood Cliffs, NJ: Prentice Hall, 1996을 참조할 수 있다. 이외 다른 역필터링 결정방법들이 사용될 수도 있다.
역필터의 또 다른 실시예는 주파수 영역에서 결정된다. 발명자는 바이노럴라이저들에 사용하기 위한 HRTF 필터들의 라이브러리를 제작하였다. 이들 소정의 HRTF 필터들은 주파수 영역에서 원활하게 작동하는 것으로 알려져 있어 이들의 주파수 응답들은 주파수 응답이 HRTF 필터의 주파수 응답의 역인 필터가 되게 가역적인 것으로 알려져 있다. 역필터를 생성하는 방법은 잘 작동되는 것으로 알려진 이러한 HRTF 필터들에 대해 (HRTFnear + HRTFfar)/2를 반전시키는 것이다.
또 다른 실시예에서, 필터 (HRTFnear + HRTFfar)/2는 다음과 같이 주파수 영역에서 반전된다.
임펄스 응답을 주파수 영역으로 변환한다.
예를 들면, 대수 주파수 영역 스케일, 예를 들면, 1/3 옥타브 분해능으로 진폭 응답에 스무딩을 적용한다. 스무딩은 스무딩된 진폭 응답이 잘 작용되게 하므로 가역적이 되게 한다.
스무딩된 진폭응답을 반전시킨다.
반전된 스무딩된 진폭필터에 위상응답을 부가하여 결과적인 필터가 최소 이상 필터가 되게 한다. 반전에 앞서 필터의 원 위상은 사용되지 않는다.
이에 따라, 제1 실시예는 EQC로 표기한 등화 필터를 사용하는 것을 포함한다. 즉 일 실시예는 다음과 같이 계산된다.
Figure pat00013
등화된 HRTF 필터들 HRTF'near 및 HRTF'far을 생성하기 위해서 HRTFnear + HRTFfar를 수정하는 것은 HRTF(θ,L) 및 HRTF(θ,R), 즉 이상적이라 할 HRTFnear 및 HRTFfar과는 더 이상 같지 않게 된다. 대신에, 좌측 채널 오디오 입력신호 및 우측 채널 오디오 입력신호는 이들에 전체적인 등화를 적용시킨다.
일반적으로, 이러한 등화는 청취자들이 좌측 가상 스피커 사운드와 우측 가상 스피커 사운드가 좋지 않다고 인지하지 않는 점에서, 전체적 프로세스의 무리한 악화를 야기하지 않는 것으로 발견되었다.
결과적인 등화된 HRTF 쌍인 HRTF'near 및 HRTF'far는 다음의 기준을 만족시킨다.
1. 입력신호가 좌측 혹은 우측으로 완전히 패닝되었을 때 시스템의 응답은 θ 및 -θ로 표기한 선택된 사운드 소스 위치들에 대한 원하는 HRTF 응답과 같게 되긴 하나 비교적 양호한 전체적 등화 EQC가 적용된다.
2. 입력신호가 센터 패닝되었을 때 시스템의 응답은 0°소스에 대한 HRTF 응답에 매우 가깝게 된다.
도 4a, 4b, 4c, 4d는 가상 스피커들을 θ = ±45°에 배치하기 위해 바이노럴라이저에서 사용하기 위한 어떤 전형적인 HRTF 필터들을 도시한 것이다. 도 4a는 측정된 0°HRTF를 도시한 것으로 이것은 HRTFcenter로 표기한 요망되는 센터 필터이며, 도 4b는 측정된 45°근(near ear) HRTF로서, 바이노럴라이저에서 사용되는 HRTFnear이다. 도 4c는 측정된 45°원(far ear) HRTF로서, 바이노럴라이저에서 사용되는 HRTFfar이며, 도 4d는 45°근 HRTF와 45°원 HRTF의 평균을 도시한 것이다. 근 HRTF와 원 HRTF의 합이 소망의 0°HRTF와 일치하지 않음을 알 수 있다.
도 5a-5d는 합이 소망의 0°HRTF에 보다 가깝게 일치하도록 근 HRTF 필터 및 원 HRTF 필터를 수정하는데 있어 등화를 어떻게 사용할 수 있는가를 도시한 것이다. 도 5a는 HRTFnear 및 HRTFfar에 적용할 등화필터 EQC의 임펄스 응답을 도시한 것이다. 도 5b는 등화 후의 45°근 HRTF, 즉 HRTF'near를 도시한 것이다. 도 5c는 등화 후의 45°원 HRTF, 즉 HRTF'far를 도시한 것이며, 도 5d는 등화된 근 HRTF 및 등화된 원 HRTF의 결과적인 평균을 도시한 것이다. 도 5d와 도 4a를 비교하면, 등화된 근 HRFT와 원 HRTF의 평균이 측정된 0°HRTF에 가깝게 일치함을 알 수 있다.
도 6은 등화필터 EQC의 주파수 크기 응답을 도시한 것이다. FIR 필터들인 HRT'near와 HRTF'far의 필터계수들이 결정되면, 도 7 및 도 8은 이러한 결정된 등화된 HRTF 필터들을 사용한 바이노럴라이저들의 2개의 대안적 구현예들을 도시한 것이다. 도 7은 좌측 귀 신호와 우측 귀 신호를 생성하기 위해 가산기들(45, 46)에 의해 가산될 신호들을 생성하기 위해서 임펄스 응답 HRTF'near의 2개의 근 필터들(41, 44)와 임펄스 응답 HRTF'far의 2개의 원 필터들(42, 43)이 사용되는 제1 구현예를 도시한 거이다.
도 8은 Cooper와 Bauk에 의해 처음 제안된 셔플러 구조를 사용하는 제2 구현예를 도시한 것이다. 예를 들면 HEAD DIFFRACTION COMPENSATED STEREO SYSTEM 명칭의 Cooper 및 Bauck의 미국특허 4,893,342를 참조할 수 있다. 가산기(51) 및 감산기(52)를 포함하는 셔플러는 좌측 오디오 입력신호와 우측 오디오 입력신호의 합인 제1 신호와, 좌측 오디오 신호와 우측 오디오 신호의 차인 제2 신호를 생성한다. 셔플러 구현(60)에서, 제1 셔플된 신호인 합신호에 대해 임펄스 응답 HRTF'near + HRTF'far를 갖는 합 필터(53)와, 제2 셔플된 신호인 차 신호에 대해 임펄스 응답 HRTF'near-HRTF'far를 갖는 차 필터(54)로서, 단지 2개의 필터만이 요구된다. 결과적인 신호들은 셔플러의 동작을 반대로 하며, 좌측 귀 신호를 생성하기 위한 가산기(55)와 우측 귀 신호를 생성하기 위한 감산기(56)를 포함하는 언셔플러 네트워크("언셔플러")에서 언셔플된다. 예를 들면, 각 경로에서 2개의 감쇄기들(57, 58)에 의한 디바이드(divide)로서, 혹은 회로의 서로 다른 부분들에서 분할되는 일련의 감쇄기들에 의한 디바이드로서, 스케일링이 포함될 수도 있다.
도 8에서 합 필터(53)는 근 및 원 HRTF들을 등화함으로써, 원하는 센터 HRTF 필터 응답인 2*HRTFcenter에 근사적으로 동일한 임펄스 응답을 갖는 것에 유의한다. 이것은 언셔플러 네트워크(55, 56) 및 감쇄기들(57, 58)이 후속되는 합 필터가 기본적으로, 센터 패닝된 신호에 대한 HRTF 필터 쌍이기 때문에, 성립한다.
대안적 방법에서, 근 HRTF 및 원 HRTF를 미리 등화하지 않고, 도 8과 유사한 셔플러 구조가 사용되나 합 필터는 원하는 센터 HRTF 필터 2개로 대치된다.
이러한 구현을 도 9에 도시하였으며, 이 구현은,
. 셔플러로부터의 제1 신호, 즉 좌측 채널입력과 우측 채널입력의 합에 비례하는 합 신호를, 센터 패닝된 신호 성분에 대해 국부화된 센터 가상 스피커 이미지를 형성하는 필터를 사용하여 처리하는 것과,
. 셔플러로부터의 제2 신호, 즉 좌측 채널입력과 우측 채널입력의 합에 비례하는 차 신호를 처리하고, 따라서 좌측 입력과 우측입력이 근사적으로 처리됨으로써 원하는 좌측 스피커 위치와 원하는 우측 스피커 위치로 국부화되게 하는 것에 대응한다.
도 9의 실시예는 센터신호와 차 신호를 생성하기 위해 가산기(51) 및 감산기(52)를 포함하는 셔플러 네트워크를 사용함으로써 이것을 달성한다. 도 9의 실시예는 좌측 등화된 HRTF와 우측 등화된 HRTF를 사용하고 이어서 이들을 등화된 HRTF들의 합 및 차로 변환하나, 도 9의 실시예는 합 필터를 2배의 원하는 센터 HRTF 응답을 갖는 합 필터(59)로 대치하고, 차 필터(60)에 대해서는 등화되지 않은 차 필터와 같은 응답을 사용한다. 이 방법은 좌측 신호와 우측신호에 어떤 국부화 에러를 대가로, 원하는 고품질 센터 HRTF 이미지를 제공한다.
그러므로, 다음과 같은 제1 및 제2 세트의 실시예들을 제안한다.
1. 근 가상 스피커 HRTF 및 원 가상 스피커 HRTF로 시작하여, 근 HRTF와 원 HRTF의 합이 2배의 원하는 센터 HRTF에 근사하게 되도록, 이들 근 가상 스피커 HRTF와 원 가상 스피커 HRTF에 등화 필터링을 적용한다. 이것은 인지되는 좌측신호와 우측신호에 어떤 등화 변동의 대가로, 원하는 고품질 센터 HRTF 이미지를 청취자에게 제공한다. 이러한 등화 에러는 불유쾌하지 않은 것으로 발견되었다.
2. 근 가상 스피커 HRTF 및 원 가상 스피커 HRTF와, 원하는 센터 HRTF로 시작하여, 차 필터를 근 HRTF 필터와 원 HRTF 필터의 차로서 결정한다. 예를 들면 셔플러 네트워크를 사용하여 합신호와 차신호를 구성한다. 원하는 센터 HRTF 필터를 합신호에 적용하고 근 스피커 HRTF 필터 및 원 스피커 HRTF 필터의 차에 비례하는 응답을 가진 필터를 차신호에 적용한다. 결과적인 2개의 필터링된 신호들을 언셔플하고 예를 들면 헤드폰들을 통해 좌측귀와 우측귀에 인가한다. 이것은 좌측 가상 스피커 신호와 우측 가상 스피커 신호에 어떤 국부적 에러의 대가로, 원하는 고품질 센서 이미지를 청취자에게 제공한다. 제3의 한 세트의 실시예들은 다음과 같이 2개의 실시예들 1, 2를 조합한다.
등화된 근 HRTF와 원 HRTF에 기초하여 합필터와 차필터를 생성하기 위해 위의 방법1을 사용한다. 등화된 필터응답들의 합을 원하는 센터 HRTF로 평균하여 평균화된 합 신호필터를 생성한다. 등화된 필터 응답들의 차를 비등화된 HRTF 필터들의 차로 평균하여 평균화된 차신호 필터를 생성한다. 예를 들면 셔플러 네트워크를 사용하여 합신호 및 차신호를 구성한다. 원하는 평균 합 필터를 합신호에 적용하고 평균화된 차신호 필터를 차신호에 적용한다. 결과적인 2개의 필터링된 신호들을 언셔플하고 예를 들면 헤드폰을 통해 좌측귀 및 우측귀에 적용한다. 이것은 좌측신호 및 우측신호에 어떤 EQ 변동과 어떤 국부적인 에러를 대가로, 원하는 고품질의 센터 HRTF 이미지를 청취자에게 제공한다.
센터 이미지의 질과 좌측 및 우측 이미지들의 질간에 절충을 제공하는 그 외 다른 대안적 실시예들이 가능하다. 이러한 제1 실시예에서, 등화필터, 예를 들면 ±45°에 가상 스피커들을 위한 도 6의 등화필터는 단지 부분적으로만 유효하도록 수정됨으로써, 위에 기술한 한 세트의 제1 실시예들에 기술된 HRTF들보다 약간 덜 명료한 센터 이미지를 갖지만 위에 기술한 한 세트의 제1 실시예들에 기술된 등화된 HRTF 필터들에서 발생할 수 있을 만큼만 좌측신호와 우측신호가 colored(?) 잇점이 있는 한 세트의 HRTF들로 된다.
보다 구체적 예로서, 도 6의 등화곡선을 반분(dB 스케일로)함으로써 등화기가 생성되므로 각 주파수에서 필터의 효과는 반분되고, 마찬가지로, 등화 필터의 위상 응답(도시생략)이 반분되면서도, 양호하게 거동되는 위상응답, 예를 들면 최소 위상필터를 유지한다. 결과적인 필터는 한 쌍의 이러한 직렬구성의 등화필터들이 도 6에 도시한 필터와 동일한 응답을 제공한다. 이 등화필터는 원하는 스피커 위치들에 대해 원하는, 예를 들면 측정된 HRTF 필터들을 등화하는데 사용된다. 결과적인 신호들이 청취자에게 재현될 때, 발명자는 결과적인 근 및 원 등화된 HRTF 필터들이 부분적으로 향상된 센터 이미지를 나타내고 좌측이미지와 우측 이미지에 단지 덜한 등화 에러만이 있음을 발견하였다.
스피커 큰 각도
위에 기술된 바는 청취자 앞, 예를 들면 ±30도, 혹은 ±45도에 가상 L 스피커와 가상 R 스피커를 배치하는데 사용되는 기술을 보이고 있지만, 여기 기술된 방법 및 장치는 보다 큰 스피커 각도들로서 ±90도까지의 각도에 대해서 작동한다. 실제 스피커들을 사용한 재현에 있어서, 청취자에게 ±90도에 가깝게, 예를 들면 청취자의 좌측 및 우측에 바로 배치하는 것은 패닝, 예를 들면 좌측 스피커와 우측 스피커간에 모노 신호를 균등 분할함으로써 만들어지는 센터 패닝에 의해 생성되는 센터 신호를 정확하게 국부화하지 못하고 이러한 경우 스테레오 스피커 재생을 위한 팬텀 센터 이미지를 올바르게 생성하지 못한다. 실제 스피커들을 통핸 재생의 경우, 이러한 센터 패닝은 청취자에게 센터의 위치를 정확하게 생성하는 것, 즉 청취자에게 단지 약 ±45도에 청취자 앞에 대칭으로 스테레오 스피커들이 놓여졌을 때만 스테레오 스피커 재생을 위한 팬텀 센터 이미지를 생성하는 것으로 알려져 있다. 본 발명의 면들은 가상 좌측/우측 스피커들이 청취자에게 최대 +/-90도에 있는 전압-센터 이미지 위치에서 헤드폰을 통한 재생을 제공한다.
스피커를 통한 재생
HRTF 필터들을 사용한 전술한 방법들 및 장치들은 바이노럴 헤드폰 재생에 적용될 수 있을 뿐만 아니라, 스테레오 스피커 재생에 적용될 수도 있다. 스피커들을 통한 사운드 국부화의 효과를 생성하는 기술, 즉 스피커 재생을 통한 팬텀 사운드 소스 이미지들을 생성하는 기술들이 이 기술에 공지되어 있고, 일반적으로 "크로스-토크 상쇄 바이노럴" 기술 및 "트랜소럴(transaural)" 필터들이라 칭한다. 예를 들면, APPARENT SOUND SOURCE TRANSLATOR 명칭의 Atal 및 Schroeder의 미국특허 3,236,949를 참조할 수 있다. 크로스토크는 청취시 청취자의 좌측귀와 우측귀간의 크로스토크, 예를 들면 스피커의 출력과 스피커에서 가장 먼 귀간의 크로스토크를 말한다. 예를 들면, 청취자 앞에 놓인 한 쌍의 스테레오 스피커들에 있어서, 크로스토크는 우측 스피커로부터 좌측 귀가 듣게 되는 사운드, 및 좌측 스피커로부터 우측 귀가 듣게 되는 사운드를 말한다. 정규 사운드 큐(cue)는 크로스토크에 의해 교란되기 때문에, 크로스토크는 국부화를 현저하게 흐리게 하는 것으로 알려져 있다. 크로스토크 상쇄는 크로스토크의 효과를 역전시킨다.
모노 입력에 대해서, 전형적인 크로스토크 상쇄 필터는, 스피커들에의 신호들은 가상 사운드 위치로부터 사운드 도달에 기인한 바이노럴 응답에 대응하는 청취자의 양 귀에의 자극을 제공하기 위한 것으로서, 정규 스테레오 쌍처럼 청취자 앞에 통상 놓여지는 2개의 스피커들에의 모노 입력신호를 처리하는 2개의 필터들을 포함한다.
예로서, 청취자 앞에 ±30°각에 놓인 2개의 실제 스피커를 고찰한다. ±60°에 사운드 소스의 체감을 청취자에게 제공하고자 하는 것으로 가정한다. 크로스토크 상쇄 바이노럴화는 이것을, 물리적 스피커 셋업에 의해 부여되는 ±30°HRTF들을 "취소(undoing")시키고 60도 HRTF 필터들을 바이노럴화함으로써 달성한다.
이들 크로스토크 상쇄 기술들이 청취자 앞에 거의 임의의 가상 소스 각(청취자 뒤쪽의 가상 소스 위치들은 얻기가 매우 어렵다)을 생성하는데 적용될 수 있지만, 0도 전방 이미지는 HRTF들을 사용하지 않고, 센터 패닝이라고 하는 것으로서, 여전히 2개의 스피커들 간에 입력을 분할하는 보다 일반적인 방법에 의해 생성되므로, 청취자에 의해 중앙에 놓여지는 모노 입력은 약 3 내지 6dB 감쇄를 갖고 좌측 스피커와 우측 스피커에 공급된다.
청취자 앞에 어떤 각도, 예를 들면 ±30°에 놓인 스피커들을 통해 재생을 위해 스테레오 입력신호 쌍을 처리하고자 하는 것으로 가정한다. 또한 청취자 앞에 다른 어떤 곳, 예를 들면 ±60°에 놓인 한 쌍의 스피커들을 듣는다는 체감을 청취자에게 제공하고자 하는 것으로 가정한다. 이것을 달성하는 한 종래기술의 방법은 크로스토크 상쇄 바이노럴라이저를 생성하는 것이다. 도 10은 원하는 위치들, 예를 들면 ±60°에 가상 스피커들을 배치하기 위해 직렬 바이노럴라이저로서 구현된 크로스토크 상쇄 바이노럴화 필터를 도시한 것이다. 바이노럴라이저는 대칭의 경우에(혹은 예를 들면 도 3과 같이 강제적 대칭의 경우) 임펄스 응답을 HRTFnear로 표기한 2개의 근 HRTF 필터들(61, 62)과 임펄스 응답을 HRTFfar로 표기한 원 HRTF 필터들(63, 64)을 포함한다. 각각의 근 및 원 필터의 출력들은 가산기들(65, 66)에 의해 가산되어 좌측 및 우측의 바이노럴화된 신호들을 형성한다. 바이노럴라이저에 크로스토크 상쇄기가 후속하여 실제 스피커 위치들, 예를 들면 ±30°에서 생성되는 크로스토크를 상쇄한다. 크로스토크 상쇄기는 바이노럴라이저로부터의 신호들을 받아들이며, 대칭의 경우에 혹은 강제된 대칭의 경우에, 임펄스 응답을 Xnear로 표기한 근 크로스토크 상쇄필터들(67, 68)과 임펄스 응답을 Xfar로 표기한 원 크로스토크 상쇄필터들(69, 70), 및 이에 후속하여 ±30°각도들에서 생성되는 크로스토크를 상쇄하기 이한 합산기들(71, 72)를 포함한다. 출력들은 좌측 스피커(73) 및 우측 스피커(74)용이다.
근 및 원 바이노럴라이저 및 크로스토크 상쇄필터들 각각은 선형 시불변 시스템이기 때문에, 직렬의 바이노럴라이저는 2입력 2출력 시스템으로서 나타낼 수 있다. 도 11은 4개의 필터들(75, 76, 77, 78)과 두 개의 합산기들(79, 80)로서 이러한 크로스토크 상쇄 바이노럴라이저의 구현을 도시한 것이다. 대칭(혹은 강제된 대칭)의 경우에 4개의 필터들은 2개의 서로 다른 임펄스 응답들로서, 필터들(75, 76)에 대해 Gnear로 표기한 근 임펄스 응답과 필터들(77, 78)에 대해 Gfar로 표기한 원 임펄스 응답들을 가지며, Gnear 및 Gfar 각각은 HRTF 필터들인 HRTFnear 및 HRTFfar의 함수, 및 크로스토크 상쇄필터들 Xnear 및 Xfar의 함수이다.
공지된 바와 같이, 도 11에 도시한 2입력 2출력 대칭 구조는 도 12에 도시한 구조로도 구현될 수 있다. 도 12는, 합신호를 생성하기 위한 가산기(81)와 차신호를 생성하기 위한 감산기(82)를 구비하는 셔플링 네트워크(90), 합신호를 필터링하는 것으로 Gnear+Gfar에 비례하는 임펄스 응답을 갖는 합신호 필터(83), 차신호를 필터링하는 것으로 Gnear-Gfar에 비례하는 임펄스 응답을 갖는 차신호 필터, 이에 후속하여, 좌측 스피커(73)용의 좌측 스피커 신호를 생성하기 위한 합산기(85)와 스케일 바이 하프 요소(scale-by-half element)(87) 및 우측 스피커(74)용의 우측 스피커 신호를 생성하기 위한 감산기(86)와 스케일 바이 하프 요소(88)를 또한 포함하는 언셔플링 네트워크(91)를 포함하는 크로스토크 상쇄 바이노럴라이저(crosstalk cancelled binauralizer)를 도시한다.
이에 따라, 크로스토크 상쇄 바이노럴화 필터는 도 8 및 도 9에 도시한 구조와 유사한, 도 12에 도시한 구조에 의해 구현된다.
일 실시예에서, 합산 필터는 센터, 예를 들면 0°에 위치한 소스를 정확하게 재현하도록 설계된다. 이러한 필터가 어떤 것인지를 계산하기보다는, 일 실시예는 좌측 및 우측 스피커로 동일 량의 모노 신호를 듣는 청취자는 이러한 신호를 센터로부터 오는 것으로서 정확하게 국부화한다는 지식을 사용하여, 이러한 필터를 위한 델타함수를 이용한다. 대안적 실시예에서, 크로스토크 상쇄 필터들은 합산 필터를 근사적으로 항등 필터, 예를 들면 임펄스 응답이 델타함수인 필터가 되게 등화된다. 대안적 실시예에서, 합산필터는 평탄(델타함수 임펄스 응답) 필터로 대치된다.
본 발명의 바이노럴 적용들은 '국부화' 인지 에러들을 정정하려는 것이고, 이 발명의 크로스토크 상쇄 적용은 일반적으로 센터 이미지에서 발생하는 일반적으로 인지되는 등화 에러들을 정정한다.
후방 가상 스피커
본 발명의 또 다른 면은 각도 ±90 혹은 그 이상의 각도, 예를 들면 2개의 후방 가상 스피커 위치들을 갖는 스피커들을 시뮬레이트하기 위해 바이노럴화하고, 또한 마치 스피커가 후방 센터 위치에 놓인 것처럼, 180도(후방-센터) 위치에 놓이는 팬텀 센터 소재를 찾아내어, 후방 센터 사운드 소스를 정확하게 시뮬레이트하는 것이다.
구체적인 예에서, 통상적인 5 스피커 홈 시어터의 효과를 생성하는 바이노럴라이저를 고찰한다. 이러한 "가상" 5스피커 배열의 좌측 및 우측 서라운드 위치들은 명료한 후방-센터 이미지가 생성된다고 하는 추가의 잇점을 갖고 시뮬레이트될 수 있다. 이것은 이를테면 Dolby Digital EXtm (Dolby Laboratories, Inc., San Francisco, CA)과 같은 후방 센터 스피커를 구비한 시스템들을 시뮬레이트할 수 있게 하여준다.
제1 후방 신호 실시예는 등화된 후방 근 및 후방 원 필터들의 합이 원하는 후방 센터 HRTF 필터에 근사하게 되도록 후방 근 및 후방 원 HRTF 필터들을 등화하는 것을 포함한다. 사전 등화의 제1 후방 신호 실시예를 사용하여 좌측 후방 및 우측 후방 신호들, 예를 들면 서라운드 사운드 입력들을 바이노럴라이저를 통해 처리함으로써 헤드폰은 후방 센터 패닝된 소스를 센터 후방으로부터 나타나는 것으로 인지하게 되는데, 2개의 서라운드 이미지들(후방 좌측 및 후방 우측)은 어떤 허용가능의 등화 에러를 갖고 사운드를 낼 것이다. 대안적으로, 셔플러 및 이에 더하여 원하는 센터 후방 HRTF에 근사한 합산 신호 HRTF 필터들을 사용하는 바이노럴라이저를 사용함으로써, 헤드폰을 통한 재생시 정확하게 센터로부터 오는 것으로 나타나는 재생 신호들을 생성하는데, 좌측 및 우측 후방 신호들은 원하는 위치들에서 약간 벗어난 좌측 및 우측 후방 가상 스피커들로부터 나타난다.
또 다른 실시예는 후방 신호들 및 전방 신호들을 다 처리하기 위해 전방 및 후방 처리를 조합하는 것을 포함한다. 서라운드 사운드, 예를 들면 4채널 사운드는 가상 센터 전방 사운드 및 가상 센터 후방 사운드를 정확하게 재현하기 위해서 전방 좌측 및 우측 신호들 및 후방 좌측 및 우측 신호들은 처리할 수 있는 것에 유의한다.
당업자들은 위에 필터 구현들은 오디오 증폭기들, 및 그 외 유사 성분들을 포함하지 않음을 알 것임에 유의한다. 또한, 위의 구현들은 디지털 필터링을 위한 것이다. 그러므로, 아날로그 입력들에 대해서, 당업자들은 아날로그 디지털 변환기들이 포함될 것임을 알 것이다. 또한, 디지털-아날로그 변환기들은 헤드폰을 통한 재생을 위해서, 혹은 트랜소럴 필터링의 경우엔 스피커들을 통한 재생을 위해 디지털 신호 출력들을 아날로그 출력들로 변환하는데 사용될 것임을 알 것이다.
또한, 당업자들은 디지털 필터들이 많은 방법들에 의해 구현될 수 있음을 알 것이다.
도 13은 본 발명의 면들에 따라 스테레오 입력 쌍을 처리하기 위한 오디오 처리 시스템의 구현 형태를 도시한 것이다. 오디오 처리 시스템은, 아날로그 입력들을 대응 디지털 신호들로 변환하기 위한 아날로그 디지털(A/D) 변환기(97), 및 처리된 신호들을 아날로그 출력신호들로 변환하기 위한 디지털 아날로그(D/A) 변환기(98)를 포함한다. 대안적인 실시예에서, 블록(97)은 A/D 변환기가 아니라 디지털 입력신호들을 위해 제공된 SPDIF 인터페이스를 포함한다. 시스템은 충분히 빠르게 출력을 발생시키기 위해 입력을 처리할 수 있는 DSP 디바이스를 포함한다. 일 실시예에서, DSP 디바이스는 프로세서 오버헤드 없이 A/D 및 D/A 변환기들(97, 98)과 통신하기 위한 직렬포트들(96) 형태의 인터페이스 회로와, 일 실시예에서, 입력/출력 처리의 동작과의 인터페이스 없이 오프-칩 메모리에서 온칩 메모리(5)로 데이터를 복사할 수 있는 오프-디바이스 메모리(92) 및 DMA 엔진을 포함한다. 여기 기술된 발명의 면들을 구현하기 위한 코드는 오프-칩 메모리에 있을 수 있고 요구시 온칩 메모리에 로딩될 수 있다. DSP 디바이스는 DSP 디바이스의 프로세서(93)를 여기 기술된 필터링을 구현하게 하는 코드를 포함하는 프로그램 메모리(94)를 포함한다. 외부 메모리가 요구되는 경우를 위해 외부 버스 멀티플렉서가 포함된다.
유사하게, 도 14a는 전방 스피커들을 통한 재생을 목적으로 좌측, 센터, 및 우측 신호들, 및 후방 스피커들을 통한 재생을 목적으로 좌측 서라운드 및 우측 서라운드 신호들 형태의 오디오 정보의 5채널들을 받아들이는 바이노럴화 시스템을 도시한 것이다. 바이노럴라이저는 헤드폰을 통해 듣는 청취자가 청취자의 센터 후방으로부터 오도록 패닝된 센터 후방인 신호를 경험하도록 좌측 서라운드 및 우측 서라운드 신호들에 대해 본 발명의 면들을 포함하는, 각 입력에 대한 HRTF 필터 쌍들을 구현한다. 바이노럴라이저는 예를 들면 프로세서를 포함하는 DSP 디바이스인 처리 시스템을 사용하여 구현된다. 위에 기술한 필터링을 프로세서가 실행하게 하는 임의의 파라미터들을 포함하여, 명령들을 보유하기 위한 메모리가 포함된다.
유사하게, 도 14b는 전방 스피커들을 통한 재생을 목적으로 좌측 및 우측 신호들, 및 후방 스피커들을 통한 재생 목적으로 좌측 후방 및 우측 후방 신호들 형태의 오디오 정보의 4채널들을 받아들이는 바이노럴화 시스템을 도시한 것이다. 바이노럴라이저는 헤드폰을 통해 듣는 청취자가 청취자의 센터 전방으로부터 오도록 패닝된 센터 전방인 신호와 청취자의 센터 후방으로부터 오도록 패닝된 센터 후방인 신호를 경험하도록 좌측신호와 우측신호들, 및 좌측 후방신호 및 우측 후방신호에 대해 발명의 면들을 포함하는, 각 입력에 대한 HRTF 필터 쌍들을 구현한다. 바이노럴라이저는 예를 들면 프로세서를 포함하는 DSP 디바이스인 처리 시스템을 사용하여 구현된다. 위에 기술한 필터링을 프로세서가 실행하게 하는 임의의 파라미터들을 포함하여, 명령들을 보유하기 위한 메모리가 포함된다.
그러므로, 여기 기술된 방법들은, 일 실시예에서, 명령들을 내장한 코드 세그먼트들을 받아들이는 하나 이상의 프로세서들을 포함하는 머신에 의해 수행될 수 있다. 여기 기술된 방법들 중 한 방법에 대해서, 명령들이 머신에 의해 실행될 때, 머신은 방법을 수행한다. 그 머신에 의해 취해질 동작들을 특정하는 한 세트의 명령들(순차 혹은 그 외)을 실행할 수 있는 임의의 머신이 포함된다. 이에 따라, 한 전형적인 머신은 하나 이상의 프로세서들을 포함하는 전형적인 처리 시스템에 의해 실증된다. 각 프로세서는 하나 이상의 CPU, 그래픽스 처리 유닛, 및 프로그래머블 DSP 유닛을 포함할 수 있다. 처리 시스템은 주 RAM 및/또는 정적 RAM, 및/또는 ROM을 포함하는 메모리 서브시스템을 또한 포함할 수 있다. 성분들간 통신을 위한 버스 서브시스템이 포함될 수 있다. 처리 시스템이 디스플레이를 요구한다면, 예를 들면 액정 디스플레이(LCD)혹은 음극선관(CRT) 디스플레이인 이러한 디스플레이가 포함될 수도 있다. 수작업에 의한 데이터 입력이 요구된다면, 처리 시스템은 키보드와 같은 하나 이상의 영문자 입력 유닛, 마우스와 같은 포인팅 제어 디바이스, 등의 입력 디바이스를 포함한다. 여기서 사용되는 메모리 유닛이라는 용어는 디스크 드라이브 유닛과 같은 저장 시스템을 포괄한다. 일부 구성들에서 처리 시스템은 사운드 출력 디바이스, 및 네트워크 인터페이스 디바이스를 포함할 수 있다. 따라서 메모리 서브시스템은 처리 시스템에 의해 실행될 때 여기 기술된 하나 이상의 방법들을 수행하기 위한 명령들을 포함하는 머신 독출가능 코드 세그먼트들(예를 들면, 소프트웨어)을 담은 캐리어 매체를 포함한다. 소프트웨어는 하드디스크 내 있을 수도 있고, 혹은 완전히 혹은 적어도 부분적으로 RAM 내에 및/또는 컴퓨터 시스템에 의한 실행시 프로세서 내에 있을 수도 있다. 따라서, 메모리 및 프로세서는 머신 독출가능 코드를 담은 캐리어 매체를 구성한다.
대안적 실시예들에서, 머신은 독자형 디바이스로서 동작하거나 네트워크로 연결된 배치에서 예를 들면 다른 머신들에 네트워크로 연결될 수도 있고, 머신은 서버-클라이언트 네트워크 환경에서 서버 혹은 클라이언트 머신으로서, 혹은 1대1 혹은 분산 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신은 개인용 컴퓨터(PC), 타블렛 PC, 셋탑박스(STB), PDA, 셀룰라 전화, 웹 기기, 네트워크 라우터, 스위치 혹은 브릿지, 혹은 그 머신에 의해 취해질 동작들을 특정하는 한 세트의 명령들(순차적 혹은 그 외)을 실행하는 임의의 머신일 수 있다.
일부 도면(들)이 단일의 프로세서와 코드를 탑재한 단일의 메모리만을 도시하고 있으나, 당업자들은 위에 기술된 성분들의 대부분이 포함되고 본 발명의 면을 모호하게 하지 않도록 명백히 도시 혹은 기술되지 않음을 알 것이다. 예를 들면, 단지 단일의 머신만이 도시되었지만, "머신"이라는 용어는 여기 논해진 임의의 하나 이상의 방법들을 수행하기 위해 한 세트(혹은 복수 세트)의 명령들을 개별적으로 혹은 함께 실행하는 임의의 일군의 머신들을 포함하는 것으로 취해질 것이다.
따라서, 여기 기술된 방법들 각각의 일 실시예는 처리 시스템, 예를 들면 바이노럴화 시스템, 혹은 다른 실시예에서는 트랜소럴 시스템의 일부인 하나 이상의 프로세서들에서 실행하는 컴퓨터 프로그램 형태이다. 따라서, 당업자가 아는 바와 같이, 본 발명의 실시예들은 방법, 전용장치와 같은 장치, 데이터 처리 시스템과 같은 장치, 혹은 캐리어 매체, 예를 들면 컴퓨터 프로그램 제품으로서 실현될 수 있다. 캐리어 매체는 방법을 구현하기 위해 처리 시스템을 제어하기 위한 하나 이상의 컴퓨터 독출가능의 코드 세그먼트들을 탑재한다. 따라서, 본 발명의 면들은 방법, 완전히 하드웨어 실시예, 완전히 소프트웨어 실시예, 혹은 소프트웨어 및 하드웨어 면들을 조합한 실시예 형태를 취할 수 있다. 또한, 본 발명은 매체에 구현된 컴퓨터 독출가능의 프로그램 코드 세그먼트들을 담은 캐리어 매체(예를 들면, 컴퓨터 독출가능 저장매체 상의 컴퓨터 프로그램 제품) 형태를 취할 수 있다.
소프트웨어는 네트워크 인터페이스 디바이스를 통해 네트워크로 송신 혹은 수신될 수 있다. 실시예에서 캐리어 매체가 단일 매체인 것으로 도시되었으나, "캐리어 매체"라는 용어는 하나 이상의 세트들의 명령들을 저장하는 단일 매체 혹은 복수 매체들(예를 들면, 중앙 혹은 분산 데이터베이스, 및/또는 연관된 캐시들 및 서버들)을 포함하는 것으로 취해질 것이다. "캐리어 매체"라는 용어는 머신에 의한 실행을 위한 한 세트의 명령들을 저장, 엔코딩 혹은 담을 수 있고 본 발명의 하나 이상의 방법들을 머신이 수행하게 하는 임의의 매체를 포함하는 것으로 취해질 것이다. 캐리어 매체는 많은 형태들로서 비휘발성 매체, 휘발성 매체, 및 전송매체의 형태들을 취할 수 있으나 이것으로 한정되는 것은 아니다. 비휘발성 매체는 예를 들면 광학, 자기 디스크, 및 자기-광학 디스크들을 포함한다. 휘발성 매체는 주 메모리와 같은 동적 메모리를 포함한다. 전송매체는 버스 서브시스템을 포함하는 와이어들을 포함하여, 동축 케이블, 구리 와이어 및 광섬유를 포함한다. 전송매체는 라디오파 및 적외 데이터 통신중 발생되는 것들과 같은 어쿠스틱 혹은 광파들의 형태를 취할 수도 있다. 예를 들면, "캐리어 매체"라는 용어는 고체상태 메모리들, 광학 및 자기 매체들, 및 캐리어파 신호들을 포함하는 것으로 취해질 것이나, 이것으로 한정되는 것은 아니다.
본 발명의 다른 실시예들은 필터들이 한 쌍의 스테레오 입력들을 처리하기 위한 컴퓨터 독출가능의 데이터를 탑재한 캐리어 매체 형태이다. 데이터는 필터의 임펄스 응답 형태이거나 필터의 주파수 영역 전달함수 형태일 수 있다. 필터들은 위에 기술된 바와 같이 설계된 두 개의 HRTF 필터들을 포함한다. 처리가 헤드폰 청취에 대한 것은 경우, HRTF 필터들은 바이노럴라이저에서 입력 데이터를 필터링하는데 사용되고, 스피커 청취의 경우, HRTF 필터들은 크로스토크 상쇄 바이노럴라이저에 탑재된다.
논해진 방법들의 단계들은 저장장치에 저장된 명령들(코드 세그먼트들)을 실행하는 처리(즉, 컴퓨터) 시스템의 적절한 프로세서(혹은 프로세서)에 의해 일 실시예에서 수행된다. 본 발명은 어떤 특정한 구현 혹은 프로그래밍 기술로 한정되지 않으며 본 발명은 여기 기술된 기능을 구현하기 위한 임의의 적합한 기술들을 사용하여 구현될 수 있음을 알 것이다. 본 발명은 어떤 특정의 프로그래밍 언어 혹은 운영시스템으로 한정되지 않는다.
본 명세서에서 "일 실시예" 혹은 "실시예"라는 언급은 실시예에 관련하여 기술된 특정한 특징, 구조 혹은 특성이 본 발명의 적어도 한 실시예에 포함됨을 의미한다. 따라서, 이 명세서에서 여로 곳에서 "일 실시예에서" 혹은 "실시예에서"라는 구들이 나타나 있는 것은 반드시 모두가 그 실시예를 언급하는 것은 아니다. 또한, 하나 이상의 실시예들에서, 이 개시로부터 당업자에게 명백하듯이, 어떤 적합한 방식으로 특정한 특징들, 구조들 혹은 특성들이 조합될 수 있다.
유사하게, 본 발명의 실시예들의 위에 설명에서, 본 발명의 여러 특징들은 종종 개시를 능률적으로 하고 하나 이상의 다양한 본 발명의 면들을 이해하는데 도움되도록 단일 실시예, 도면, 혹은 설명에서 단일 실시예에서 함께 그룹화한 것을 알 것이다. 그러나, 이 개시의 방법은 청구된 발명이 각 청구항에 명백히 인용된 것보다 더 많은 특징들을 요구한다는 의도를 반영하는 것으로서 해석하지 않는다. 그보다는, 다음 청구항들이 반영하는 바와 같이, 발명적인 면들은 단일의 전술한 실시예의 모든 특징들 미만에 놓여있다. 따라서, 상세한 설명에 이은 청구항들은 이 상세한 설명에 명백하게 포함되고, 각 청구항은 그 자체가 이 발명의 별도의 실시예로서 취해져 있다. 또한, 여기 기술된 일부 실시예들이 일부 특징들은 포함하고 이외 것을 포함하지 않아도, 서로 다른 실시예들의 특징들의 조합들은 발명의 범위 내에 있게 한 것이고 후술하는 청구된 바와 같이, 서로 다른 실시예들을 형성한다.
또한, 일부 실시예들은 컴퓨터 시스템의 프로세서에 의해 구현될 수 있는 방법의 요소들의 방법 혹은 조합으로서 여기 기술된 바와 같다. 따라서, 이러한 방법 혹은 방법의 요소를 수행하기 위한 필요한 명령들을 가진 프로세서는 방법 혹은 방법의 요소를 수행하는 수단을 형성한다. 유사하게, 여기 기술된 장치 실시예의 여기 기술된 요소는 발명을 수행할 목적의 요소에 의해 수행되는 기능을 수행하기 위한 수단의 예이다.
여기 설명 및 청구항들에서, 균등 및 실질적으로 균등에 의해 비례상수 내로 균등의 경우가 포함된다.
여기 인용된 모든 공보, 특허, 및 특허출원은 참조문헌으로 여기 포함시킨다.
따라서, 본 발명의 바람직한 실시예들인 것으로 간주되는 것이 기술되었지만, 당업자들은 본 발명의 정신 내에서 다른 수정들이 행해질 수 있고, 모든 이러한 변경 및 수정들은 발명의 범위 내에 드는 것으로서 청구하는 것임을 알 것이다. 예를 들면, 위에 주어진 임의의 식들은 사용될 수 있는 절차들을 대표하는 것일 뿐이다. 기능이 블록도들에 부가되거나 삭제될 수도 있고 동작들은 기능블록들간에 상호교환될 수 있다. 본 발명의 범위 내에서 기술된 방법들에 단계들이 부가 혹은 삭제될 수 있다.
41, 44: 근 필터 42, 43: 원 필터
45, 46: 가산기 51, 55: 가산기
52, 56: 감산기 53, 59: 합 필터
54, 60: 차 필터 57, 58: 감쇄기

Claims (26)

  1. 방법에 있어서,
    각각의 입력 신호를 HRTF 필터 쌍으로 필터링하고,
    상기 HRTF 필터링된 신호를 가산하는
    결과에 대응하는 한 쌍의 출력 신호를 생성하는 프로세스에 의해 한 쌍의 오디오 입력 신호를 필터링하는 단계를
    포함하는 방법으로,
    청취자가 헤드폰을 통해 상기 한 쌍의 출력 신호를 듣는 경우, 상기 HRTF 필터 쌍에 의해, 상기 청취자는 한 쌍의 원하는 가상 스피커 위치로부터 사운드를 경험하고, 청취자가 한 세트의 청취 스피커 위치에 위치한 청취 스피커를 통해 한 쌍의 출력 신호를 듣는 경우, 상기 방법은, 상기 청취 스피커 위치에 위치한 상기 청취 스피커를 통해 상기 쌍의 출력 신호를 듣는 청취자를 위해, 추가된 HRTF 필터링된 신호를 크로스토크 상쇄(cross-talk cancelling)하는 단계를 포함하고, 상기 HRTF 필터 쌍에 의해, 상기 청취자는 상기 쌍의 원하는 가상 스피커 위치로부터 사운드를 경험하고,
    상기 필터링에 의해, 상기 쌍의 오디오 입력 신호가 센터 패닝된 신호 성분을 포함하는 경우, 헤드폰이나 상기 청취 스피커를 통해 상기 쌍의 출력 신호를 듣는 상기 청취자에게 상기 패닝된 신호 성분이 상기 가상 스피커 위치 사이의 센터 위치에서 가상 사운드 소스로부터 나온다는 느낌을 갖도록 하며,
    상기 쌍의 오디오 입력 신호를 필터링하는 것은 상기 쌍의 오디오 입력 신호의 합이 상기 센터 위치에서 사운드 소스를 듣는 청취자를 위해 센터 HRTF의 2배와 동일한 필터 응답에 의해 필터링되는, 방법.
  2. 제 1항에 있어서, 상기 HRTF 필터 쌍은, 상기 원하는 가상 스피커 위치에서 한 쌍의 가상 스피커를 듣는 청취자를 위한 근(near ear) HRTF와 원(far ear) HRTF로 구성되고, 상기 한 쌍의 입력 신호의 필터링은,
    상기 입력 신호의 합에 비례하는 제 1 신호("합 신호")와 상기 입력 신호의 차에 비례하는 제 2 신호("차 신호")를 생성하기 위해 상기 입력 신호를 셔플링(shuffling)하는 단계와,
    상기 센터 위치에서 상기 사운드 소스를 듣는 상기 청취자를 위해 상기 센터 HRTF의 2배에 근사하는 필터를 통해 상기 합 신호(sum signal)를 필터링하는 단계와,
    상기 근 HRTF와 상기 원 HRTF 사이의 차에 근사하는 필터를 통해 상기 차 신호를 필터링하는 단계와,
    상기 필터링된 합 신호와 상기 필터링된 차 신호를 언셔플링(unshuffling)하여, 상기 필터링된 합 신호와 상기 필터링된 차 신호의 합에 비례하는 제 1 출력 신호와 상기 필터링된 합 신호와 상기 필터링된 차 신호의 차에 비례하는 제 2 출력 신호를 생성하는 단계를
    포함하는, 방법.
  3. 제 2항에 있어서, 상기 센터 HRTF의 2배에 근사하는 상기 필터는 원하는 센터 HRTF의 2배와 실질적으로 같은 응답을 갖는 필터인, 방법.
  4. 제 2항에 있어서, 상기 센터 HRTF의 2배에 근사하는 상기 필터는, 등화 필터(equalizing filter)에 의해 상기 근 HRTF와 상기 원 HRTF를 각각 필터링하여 얻어지는, 상기 등화된 근 HRTF와 상기 등화된 원 HRTF의 합으로 각각 얻어지고,
    상기 근 HRTF와 상기 원 HRTF 사이의 차에 근사하는 상기 필터는, 상기 등화된 근 HRTF와 상기 등화된 원 HRTF 사이의 차와 실질적으로 동일한 응답을 갖는 필터인, 방법.
  5. 제 4항에 있어서, 상기 등화 필터는, 상기 근 HRTF와 상기 원 HRTF의 합 또는 평균에 비례하는 필터에 대한 역필터(inverse filter)인, 방법.
  6. 제 5항에 있어서, 상기 등화 필터 응답은, 상기 근 HRTF와 상기 원 HRTF의 합에 비례하는 필터 응답을 주파수 영역에서 반전시켜 결정되는, 방법.
  7. 제 5항에 있어서, 상기 등화 필터 응답은, 상기 근 HRTF와 상기 원 HRTF의 합에 비례하는 필터 응답을 반전시키기 위한 적응형 필터 방법(adaptive filter method)에 의해 결정되는, 방법.
  8. 제 1항에 있어서, 상기 HRTF 필터 쌍은, 상기 원하는 가상 스피커 위치에서 한 쌍의 가상 스피커를 듣는 청취자를 위해 근 HRTF와 원 HRTF를 각각 등화하여 얻어지는 등화된 근 HRTF와 등화된 원 HRTF로 구성되고, 상기 등화는, 상기 등화된 근 HRTF와 등화된 원 HRTF의 평균이 센터 위치에서 가상 사운드 소스를 듣는 청취자를 위해 원하는 센터 HRTF가 되도록 구성된 등화 필터를 사용하는, 방법.
  9. 제 8항에 있어서, 상기 등화 필터는, 상기 근 HRTF와 상기 원 HRTF의 평균에 비례하는 필터에 대한 역 필터인, 방법.
  10. 제 1항에 있어서, 상기 오디오 입력 신호는 좌측 입력과 우측 입력을 포함하고, 상기 한 쌍의 가상 스피커는 청취자에 대해 대칭인 좌측 가상 스피커 위치와 우측 가상 스피커 위치에 있으며,
    상기 청취자 및 듣기는, 근(near ear) HRTF가 좌측 귀 HRTF에 좌측 가상 스피커이고 우측 귀 HRTF에 우측 가상 스피커이며, 원(far ear) HRTF가 우측 귀 HRTF에 좌측 가상 스피커이고 좌측 귀 HRTF에 우측 가상 스피커가 되도록 대칭인, 방법.
  11. 제 1항에 있어서, 상기 오디오 입력 신호는 좌측 입력과 우측 입력을 포함하고, 상기 한 쌍의 가상 스피커는 좌측 가상 스피커 위치와 우측 가상 스피커 위치에 있으며,
    상기 HRTF 필터 쌍은 청취자가 상기 원하는 가상 스피커 위치에서 한 쌍의 가상 스피커를 청취하기 위한 근 HRTF 및 원 HRTF로 구성되고,
    상기 근 HRTF는 좌측 귀 HRTF에 대한 좌측 가상 스피커와 우측 귀 HRTF에 대한 우측 가상 스피커의 평균에 비례하며,
    상기 원 HRTF는 우측 귀 HRTF에 대한 좌측 가상 스피커와 좌측 귀 HRTF에 대한 우측 가상 스피커의 평균에 비례하는, 방법.
  12. 제 1항에 있어서, 상기 오디오 입력 신호는 좌측 입력과 우측 입력을 포함하고, 상기 한 쌍의 가상 스피커는 청취자의 전방에 대해 좌측 전방 가상 스피커 위치와 우측 전방 가상 스피커 위치에 있거나,
    상기 한 쌍의 가상 스피커는 청취자의 후방에 대해 좌측 후방 가상 스피커 위치와 우측 후방 가상 스피커 위치에 있는, 방법
  13. 제 1항에 있어서, 상기 오디오 입력 신호는 서라운드 사운드 재생을 위한 2개를 초과하는 입력 신호 세트의 부분집합(subset)이고, 상기 방법은, 상기 입력 신호 각각에 대한 가상 스피커 위치를 생성하는 단계를 포함하여, 헤드폰을 통해 듣기 위해 2개를 초과하는 입력 신호 세트를 처리하는 단계를 포함하는, 방법.
  14. 장치로서,
    한 쌍의 오디오 입력 신호를 셔플링하는 수단으로서, 상기 입력 신호의 합에 비례하는 제 1 신호("합 신호")와 상기 입력 신호의 차에 비례하는 제 2 신호("차 신호")를 생성하는 셔플링 수단과,
    센터 위치에서 가상 사운드 소스를 듣는 청취자를 위해 센터 HRTF의 2배에 근사하는 필터를 통해 상기 합 신호를 필터링하는 수단으로서, 상기 셔플링 수단에 결합된 상기 합 신호를 필터링하기 위한 수단과,
    한 쌍의 가상 스피커를 듣는 청취자를 위해 근(near ear) HRTF와 원(far ear) HRTF 사이의 차에 근사하는 필터를 통해 상기 차 신호를 필터링하는 수단으로서, 상기 셔플링 수단에 결합된 상기 차 신호를 필터링하기 위한 수단과,
    상기 필터링된 합 신호와 상기 필터링된 차 신호를 언셔플링하는 수단으로서, 상기 셔플링 수단에 결합되고, 상기 필터링된 합 신호와 상기 필터링된 차 신호의 합에 비례하는 제 1 출력 신호와, 상기 필터링된 합 신호와 상기 필터링된 차 신호의 차에 비례하는 제 2 출력 신호를 생성하는, 상기 언셔플링 수단을
    포함하여,
    상기 한 쌍의 오디오 입력 신호가 패닝된 신호 성분을 포함하는 경우, 헤드폰을 통해 상기 제 1 및 제 2 출력 신호를 듣는 청취자는, 상기 패닝된 신호 성분이 상기 센터 위치에서 상기 가상 사운드 소스로부터 나온다는 느낌을 갖는, 장치.
  15. 제 14항에 있어서, 상기 센터 HRTF의 2배에 근사하는 상기 필터는, 등화 필터에 의해 상기 근 HRTF와 상기 원 HRTF를 각각 필터링하여 얻어지는, 상기 등화된 근 HRTF와 상기 등화된 원 HRTF의 합으로 각각 얻어지고,
    상기 근 HRTF와 상기 원 HRTF 사이의 차에 근사하는 상기 필터는, 상기 등화된 근 HRTF와 상기 등화된 원 HRTF 사이의 차와 실질적으로 동일한 응답을 갖는 필터인, 장치.
  16. 제 14항에 있어서, 상기 센터 HRTF의 2배에 근사하는 상기 필터는, 원하는 센터 HRTF의 2배와 실질적으로 동일한 응답을 갖는 필터인, 장치.
  17. 장치로서,
    입력 신호의 합에 비례하는 제 1 신호("합 신호")와 상기 입력 신호의 차에 비례하는 제 2 신호("차 신호")를 생성하기 위해 한 쌍의 오디오 입력 신호를 받는 입력을 갖는 셔플러(shuffler)와,
    센터 위치에서 가상 사운드 소스를 듣는 청취자를 위해 센터 HRTF의 2배에 근사하여, 상기 합 신호를 필터링하기 위해 정렬되며, 상기 합 신호 출력에 결합된 합 필터와,
    한 쌍의 가상 스피커를 듣는 청취자를 위해 근 HRTF와 원 HRTF 사이의 차를 근사하여, 상기 차 신호를 필터링 하기 위해 정렬되며, 상기 차 신호 출력에 결합된 차 필터와,
    상기 필터링된 합 신호와 상기 필터링된 차 신호의 합에 비례하는 제 1 출력 신호와 상기 필터링된 합 신호와 상기 필터링된 차 신호의 차에 비례하는 제 2 출력 신호를 생성하기 위해 정렬되며, 상기 합 필터와 상기 차 필터의 출력에 결합된 언셔플러(unshuffler)를
    포함하여,
    상기 한 쌍의 오디오 입력 신호가 패닝된 신호 성분을 포함하는 경우, 헤드폰을 통해 상기 제 1 및 제 2 출력 신호를 듣는 청취자는, 상기 패닝된 신호 성분이 상기 센터 위치에서 상기 가상 사운드 소스로부터 나온다는 느낌을 갖는, 장치.
  18. 제 17항에 있어서,
    상기 센터 HRTF의 2배에 근사하는 상기 합필터의 응답은, 상기 근 HRTF와 상기 원 HRTF를 각각의 등화 필터에 의한 필터링에 의하여 얻어지는, 상기 등화된 근 HRTF와 상기 등화된 원 HRTF 각각의 합이며,
    상기 차 필터의 응답은, 상기 등화된 근 HRTF와 상기 등화된 원 HRTF 사이의 차와 실질적으로 동일한 응답을 갖는, 장치.
  19. 제 15항 또는 제 18항에 있어서, 상기 등화 필터는, 상기 근 HRTF와 상기 원 HRTF의 합에 비례하는 필터에 대한 역필터인, 장치.
  20. 제 19항에 있어서, 상기 등화 필터 응답은, 상기 근 HRTF와 상기 원 HRTF의 합에 비례하는 필터 응답을 주파수 영역에서 반전시켜 결정되는, 장치.
  21. 제 19항에 있어서, 상기 등화 필터 응답은, 상기 근 HRTF와 상기 원 HRTF의 합에 비례하는 필터 응답을 반전시키는 적응형 필터에 의해 결정되는, 장치.
  22. 제 17항에 있어서, 상기 합 필터는, 원하는 센터 HRTF의 2배와 실질적으로 동일한 응답을 갖는, 장치.
  23. 제 14항 또는 제 17항에 있어서, 상기 오디오 입력 신호는 좌측 입력과 우측 입력을 포함하고, 상기 한 쌍의 가상 스피커는 청취자에 대해 대칭인 좌측 가상 스피커 위치와 우측 가상 스피커 위치에 있으며, 상기 청취자 및 듣기는 서로 대칭이어서,
    상기 근 HRTF는 좌측 귀 HRTF에 좌측 가상 스피커이고 우측 귀 HRTF에 우측 가상 스피커이고,
    상기 원 HRTF는 우측 귀 HRTF에 좌측 가상 스피커이고 좌측 귀 HRTF에 우측 가상 스피커인, 장치.
  24. 제 14항 또는 제 17항에 있어서, 상기 오디오 입력 신호는 좌측 입력과 우측 입력을 포함하고, 상기 한 쌍의 가상 스피커는 좌측 가상 스피커 위치와 우측 가상 스피커 위치에 있으며,
    상기 근 HRTF는 상기 좌측 귀 HRTF에 대한 상기 좌측 가상 스피커와 상기 우측 귀 HRTF에 대한 상기 우측 가상 스피커의 평균에 비례하고,
    상기 원 HRTF는 상기 우측 귀 HRTF에 대한 상기 좌측 가상 스피커와 상기 좌측 귀 HRTF에 대한 상기 우측 가상 스피커의 평균에 비례하는, 장치.
  25. 오디오 신호를 처리하는 장치에 있어서,
    상기 장치는, 실행시 상기 장치가 제 1항 내지 제 13항 중 어느 한 항에 기재된 방법을 수행하도록 하는 명령으로 구성된 처리 시스템을 포함하는, 오디오 신호 처리 장치.
  26. 컴퓨터 판독 가능 저장 매체에 있어서,
    처리 시스템에서 실행시 상기 처리 시스템이 제 1항 내지 제 13항 중 어느 한 항에 기재된 방법을 수행하도록 하는 명령으로 구성된, 컴퓨터 판독 가능 저장 매체.
KR1020127015604A 2004-10-14 2005-10-10 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련 전달함수 KR20120094045A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/965,130 US7634092B2 (en) 2004-10-14 2004-10-14 Head related transfer functions for panned stereo audio content
US10/965,130 2004-10-14

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020077007392A Division KR101202368B1 (ko) 2004-10-14 2005-10-10 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련전달함수

Publications (1)

Publication Number Publication Date
KR20120094045A true KR20120094045A (ko) 2012-08-23

Family

ID=36147964

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127015604A KR20120094045A (ko) 2004-10-14 2005-10-10 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련 전달함수
KR1020077007392A KR101202368B1 (ko) 2004-10-14 2005-10-10 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련전달함수

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020077007392A KR101202368B1 (ko) 2004-10-14 2005-10-10 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련전달함수

Country Status (14)

Country Link
US (2) US7634092B2 (ko)
EP (1) EP1800518B1 (ko)
JP (2) JP4986857B2 (ko)
KR (2) KR20120094045A (ko)
CN (1) CN101040565B (ko)
AU (1) AU2005294113B2 (ko)
BR (1) BRPI0516527B1 (ko)
CA (1) CA2579465C (ko)
HK (1) HK1103211A1 (ko)
IL (1) IL181902A (ko)
MX (1) MX2007004329A (ko)
MY (1) MY147141A (ko)
TW (1) TWI397325B (ko)
WO (1) WO2006039748A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112956210A (zh) * 2019-02-15 2021-06-11 华为技术有限公司 基于均衡滤波器的音频信号处理方法及装置

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242782B1 (en) * 1998-07-31 2007-07-10 Onkyo Kk Audio signal processing circuit
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
JP2006203850A (ja) * 2004-12-24 2006-08-03 Matsushita Electric Ind Co Ltd 音像定位装置
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
EP1899958B1 (en) * 2005-05-26 2013-08-07 LG Electronics Inc. Method and apparatus for decoding an audio signal
JP4821250B2 (ja) * 2005-10-11 2011-11-24 ヤマハ株式会社 音像定位装置
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
CA2636494C (en) * 2006-01-19 2014-02-18 Lg Electronics Inc. Method and apparatus for processing a media signal
JP5173840B2 (ja) * 2006-02-07 2013-04-03 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
JP4914124B2 (ja) * 2006-06-14 2012-04-11 パナソニック株式会社 音像制御装置及び音像制御方法
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8520873B2 (en) 2008-10-20 2013-08-27 Jerry Mahabub Audio spatialization and environment simulation
US8229143B2 (en) * 2007-05-07 2012-07-24 Sunil Bharitkar Stereo expansion with binaural modeling
US8954840B2 (en) * 2007-08-03 2015-02-10 Sap Se Annotation processing of computer files
CN101816192B (zh) * 2007-10-03 2013-05-29 皇家飞利浦电子股份有限公司 用于头戴耳机再现的方法、头戴耳机再现系统
US9031242B2 (en) * 2007-11-06 2015-05-12 Starkey Laboratories, Inc. Simulated surround sound hearing aid fitting system
WO2009105129A1 (en) * 2008-02-18 2009-08-27 Clear Channel Management Services, L.P. System and method for media stream monitoring
JP5042083B2 (ja) * 2008-03-17 2012-10-03 三菱電機株式会社 能動騒音制御方法および能動騒音制御装置
US8705751B2 (en) * 2008-06-02 2014-04-22 Starkey Laboratories, Inc. Compression and mixing for hearing assistance devices
US9485589B2 (en) 2008-06-02 2016-11-01 Starkey Laboratories, Inc. Enhanced dynamics processing of streaming audio by source separation and remixing
US9185500B2 (en) 2008-06-02 2015-11-10 Starkey Laboratories, Inc. Compression of spaced sources for hearing assistance devices
TWI475896B (zh) 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
US9247369B2 (en) * 2008-10-06 2016-01-26 Creative Technology Ltd Method for enlarging a location with optimal three-dimensional audio perception
JP5679340B2 (ja) * 2008-12-22 2015-03-04 コーニンクレッカ フィリップス エヌ ヴェ 送信効果処理による出力信号の生成
GB2476747B (en) * 2009-02-04 2011-12-21 Richard Furse Sound system
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
JP5397131B2 (ja) * 2009-09-29 2014-01-22 沖電気工業株式会社 音源方向推定装置及びプログラム
EP2373055B1 (de) * 2010-03-16 2017-11-01 Deutsche Telekom AG Kopfhörer-Vorrichtung zur Wiedergabe binauraler räumlicher Audiosignale und damit ausgestattetes System
CN101835072B (zh) * 2010-04-06 2011-11-23 瑞声声学科技(深圳)有限公司 虚拟环绕声处理方法
US9578419B1 (en) * 2010-09-01 2017-02-21 Jonathan S. Abel Method and apparatus for estimating spatial content of soundfield at desired location
CN103181191B (zh) * 2010-10-20 2016-03-09 Dts有限责任公司 立体声像加宽系统
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
CN102438199A (zh) * 2011-09-06 2012-05-02 深圳东原电子有限公司 一种虚拟环绕声扩大听音区的方法
US9602927B2 (en) * 2012-02-13 2017-03-21 Conexant Systems, Inc. Speaker and room virtualization using headphones
US9510124B2 (en) * 2012-03-14 2016-11-29 Harman International Industries, Incorporated Parametric binaural headphone rendering
US9622011B2 (en) 2012-08-31 2017-04-11 Dolby Laboratories Licensing Corporation Virtual rendering of object-based audio
US9380388B2 (en) 2012-09-28 2016-06-28 Qualcomm Incorporated Channel crosstalk removal
US9426599B2 (en) 2012-11-30 2016-08-23 Dts, Inc. Method and apparatus for personalized audio virtualization
WO2014164361A1 (en) * 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
CN104075746B (zh) * 2013-03-29 2016-09-07 上海航空电器有限公司 具有方位信息的虚拟声源定位验证装置的验证方法
US9426300B2 (en) 2013-09-27 2016-08-23 Dolby Laboratories Licensing Corporation Matching reverberation in teleconferencing environments
US9473871B1 (en) * 2014-01-09 2016-10-18 Marvell International Ltd. Systems and methods for audio management
KR102121748B1 (ko) 2014-02-25 2020-06-11 삼성전자주식회사 입체 사운드를 재생하는 방법 및 장치
WO2016023581A1 (en) * 2014-08-13 2016-02-18 Huawei Technologies Co.,Ltd An audio signal processing apparatus
JP6401576B2 (ja) * 2014-10-24 2018-10-10 株式会社河合楽器製作所 効果付与装置
DE202015009711U1 (de) 2014-11-30 2019-06-21 Dolby Laboratories Licensing Corporation Mit sozialen Medien verknüpftes großformatiges Kinosaaldesign
US9551161B2 (en) 2014-11-30 2017-01-24 Dolby Laboratories Licensing Corporation Theater entrance
US9743187B2 (en) * 2014-12-19 2017-08-22 Lee F. Bender Digital audio processing systems and methods
EP3550859B1 (en) 2015-02-12 2021-09-15 Dolby Laboratories Licensing Corporation Headphone virtualization
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
GB2544458B (en) * 2015-10-08 2019-10-02 Facebook Inc Binaural synthesis
CN105246001B (zh) * 2015-11-03 2018-08-28 中国传媒大学 双耳录音耳机重放系统及方法
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US10225657B2 (en) 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
NZ745422A (en) * 2016-01-19 2019-09-27 Boomcloud 360 Inc Audio enhancement for head-mounted speakers
DE202017102729U1 (de) * 2016-02-18 2017-06-27 Google Inc. Signalverarbeitungssysteme zur Wiedergabe von Audiodaten auf virtuellen Lautsprecher-Arrays
US10142755B2 (en) 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
JP6786834B2 (ja) * 2016-03-23 2020-11-18 ヤマハ株式会社 音響処理装置、プログラムおよび音響処理方法
EP3453190A4 (en) * 2016-05-06 2020-01-15 DTS, Inc. SYSTEMS FOR IMMERSIVE AUDIO PLAYBACK
CN107493543B (zh) * 2016-06-12 2021-03-09 深圳奥尼电子股份有限公司 用于耳机耳塞的3d音效处理电路及其处理方法
WO2017216629A1 (en) * 2016-06-14 2017-12-21 Orcam Technologies Ltd. Systems and methods for directing audio output of a wearable apparatus
US11256768B2 (en) 2016-08-01 2022-02-22 Facebook, Inc. Systems and methods to manage media content items
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
WO2018190875A1 (en) * 2017-04-14 2018-10-18 Hewlett-Packard Development Company, L.P. Crosstalk cancellation for speaker-based spatial rendering
US10623883B2 (en) * 2017-04-26 2020-04-14 Hewlett-Packard Development Company, L.P. Matrix decomposition of audio signal processing filters for spatial rendering
CN109036446B (zh) * 2017-06-08 2022-03-04 腾讯科技（深圳）有限公司 一种音频数据处理方法以及相关设备
WO2019055572A1 (en) * 2017-09-12 2019-03-21 The Regents Of The University Of California DEVICES AND METHODS FOR BINAURAL SPATIAL PROCESSING AND AUDIO SIGNAL PROJECTION
US10003905B1 (en) 2017-11-27 2018-06-19 Sony Corporation Personalized end user head-related transfer function (HRTV) finite impulse response (FIR) filter
FR3075443A1 (fr) * 2017-12-19 2019-06-21 Orange Traitement d'un signal monophonique dans un decodeur audio 3d restituant un contenu binaural
DE112018006970T5 (de) * 2018-01-29 2020-10-08 Sony Corporation Akustikverarbeitungsvorrichtung, akustikverarbeitungsverfahren und programm
US10375506B1 (en) * 2018-02-28 2019-08-06 Google Llc Spatial audio to enable safe headphone use during exercise and commuting
US10142760B1 (en) 2018-03-14 2018-11-27 Sony Corporation Audio processing mechanism with personalized frequency response filter and personalized head-related transfer function (HRTF)
US10764704B2 (en) 2018-03-22 2020-09-01 Boomcloud 360, Inc. Multi-channel subband spatial processing for loudspeakers
US11477595B2 (en) * 2018-04-10 2022-10-18 Sony Corporation Audio processing device and audio processing method
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
US10863300B2 (en) * 2018-06-18 2020-12-08 Magic Leap, Inc. Spatial audio for interactive audio environments
CN116170722A (zh) 2018-07-23 2023-05-26 杜比实验室特许公司 通过多个近场换能器渲染双耳音频
CN115866505A (zh) 2018-08-20 2023-03-28 华为技术有限公司 音频处理方法和装置
CN114205730A (zh) * 2018-08-20 2022-03-18 华为技术有限公司 音频处理方法和装置
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
US11113092B2 (en) 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
US10841728B1 (en) 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
CN111641899B (zh) * 2020-06-09 2022-11-04 京东方科技集团股份有限公司 虚拟环绕声发声电路、平面音源装置及平面显示设备
WO2022010453A1 (en) * 2020-07-06 2022-01-13 Hewlett-Packard Development Company, L.P. Cancellation of spatial processing in headphones
CN111866546A (zh) * 2020-07-21 2020-10-30 山东超越数控电子股份有限公司 一种基于FFmpeg的网络音频选择源的实现方法
GB2603768A (en) * 2021-02-11 2022-08-17 Sony Interactive Entertainment Inc Transfer function modification system and method
CN113099359B (zh) * 2021-03-01 2022-10-14 深圳市悦尔声学有限公司 一种基于hrtf技术的高仿真声场重现的方法及其应用
CN113645531B (zh) * 2021-08-05 2024-04-16 高敬源 一种耳机虚拟空间声回放方法、装置、存储介质及耳机

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US411078A (en) * 1889-09-17 Rock-drilling machine
US3088997A (en) * 1960-12-29 1963-05-07 Columbia Broadcasting Syst Inc Stereophonic to binaural conversion apparatus
US3236949A (en) * 1962-11-19 1966-02-22 Bell Telephone Labor Inc Apparent sound source translator
US4910779A (en) * 1987-10-15 1990-03-20 Cooper Duane H Head diffraction compensated stereo system with optimal equalization
US4893342A (en) * 1987-10-15 1990-01-09 Cooper Duane H Head diffraction compensated stereo system
US5440639A (en) * 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
US5622172A (en) * 1995-09-29 1997-04-22 Siemens Medical Systems, Inc. Acoustic display system and method for ultrasonic imaging
US6091894A (en) * 1995-12-15 2000-07-18 Kabushiki Kaisha Kawai Gakki Seisakusho Virtual sound source positioning apparatus
WO1997025834A2 (en) 1996-01-04 1997-07-17 Virtual Listening Systems, Inc. Method and device for processing a multi-channel signal for use with a headphone
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
GB9603236D0 (en) * 1996-02-16 1996-04-17 Adaptive Audio Ltd Sound recording and reproduction systems
US6697491B1 (en) * 1996-07-19 2004-02-24 Harman International Industries, Incorporated 5-2-5 matrix encoder and decoder system
US6009178A (en) * 1996-09-16 1999-12-28 Aureal Semiconductor, Inc. Method and apparatus for crosstalk cancellation
US6421446B1 (en) * 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
GB9622773D0 (en) * 1996-11-01 1997-01-08 Central Research Lab Ltd Stereo sound expander
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
US6067361A (en) * 1997-07-16 2000-05-23 Sony Corporation Method and apparatus for two channels of sound having directional cues
JP4627880B2 (ja) * 1997-09-16 2011-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション リスナーの周囲にある音源の空間的ひろがり感を増強するためのステレオヘッドホンデバイス内でのフィルタ効果の利用
GB9726338D0 (en) * 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
KR100598003B1 (ko) * 1998-03-25 2006-07-06 레이크 테크놀로지 리미티드 오디오 신호 처리 방법 및 장치
AUPP271598A0 (en) * 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
US20020184128A1 (en) * 2001-01-11 2002-12-05 Matt Holtsinger System and method for providing music management and investment opportunities
IL141822A (en) * 2001-03-05 2007-02-11 Haim Levy A method and system for imitating a 3D audio environment
WO2003030051A1 (en) * 2001-09-30 2003-04-10 Realcontacts Ltd Connection service
AU2003260875A1 (en) 2002-09-23 2004-04-08 Koninklijke Philips Electronics N.V. Sound reproduction system, program and data carrier
US7489792B2 (en) * 2002-09-23 2009-02-10 Koninklijke Philips Electronics N.V. Generation of a sound signal
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112956210A (zh) * 2019-02-15 2021-06-11 华为技术有限公司 基于均衡滤波器的音频信号处理方法及装置
US11405723B2 (en) 2019-02-15 2022-08-02 Huawei Technologies Co., Ltd. Method and apparatus for processing an audio signal based on equalization filter
CN112956210B (zh) * 2019-02-15 2022-09-02 华为技术有限公司 基于均衡滤波器的音频信号处理方法及装置

Also Published As

Publication number Publication date
CN101040565A (zh) 2007-09-19
BRPI0516527A (pt) 2008-09-09
IL181902A (en) 2012-02-29
US7634092B2 (en) 2009-12-15
JP2012120219A (ja) 2012-06-21
CA2579465A1 (en) 2006-04-20
JP4986857B2 (ja) 2012-07-25
AU2005294113B2 (en) 2009-11-26
KR101202368B1 (ko) 2012-11-16
EP1800518B1 (en) 2014-04-16
MX2007004329A (es) 2007-06-07
EP1800518A4 (en) 2011-10-12
HK1103211A1 (en) 2007-12-14
TW200621067A (en) 2006-06-16
US7634093B2 (en) 2009-12-15
EP1800518A1 (en) 2007-06-27
CN101040565B (zh) 2010-05-12
JP2008516539A (ja) 2008-05-15
BRPI0516527B1 (pt) 2019-06-25
AU2005294113A1 (en) 2006-04-20
US20080056503A1 (en) 2008-03-06
US20060083394A1 (en) 2006-04-20
KR20070065352A (ko) 2007-06-22
WO2006039748A1 (en) 2006-04-20
MY147141A (en) 2012-11-14
CA2579465C (en) 2013-10-01
IL181902A0 (en) 2007-07-04
TWI397325B (zh) 2013-05-21

Similar Documents

Publication Publication Date Title
KR101202368B1 (ko) 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련전달함수
US9918179B2 (en) Methods and devices for reproducing surround audio signals
US6078669A (en) Audio spatial localization apparatus and methods
US5371799A (en) Stereo headphone sound source localization system
KR101004393B1 (ko) 가상 서라운드에서 공간 인식을 개선하는 방법
KR20050119605A (ko) 7.1 채널 오디오 재생 방법 및 장치
JPWO2019116890A1 (ja) 信号処理装置および方法、並びにプログラム
KR20120067294A (ko) 가상 서라운드 렌더링을 위한 스피커 어레이
Bai et al. Robust binaural rendering with the time-domain underdetermined multichannel inverse prefilters
US11039266B1 (en) Binaural reproduction of surround sound using a virtualized line array
Parodi A systematic study of binaural reproduction systems through loudspeakers: A multiple stereo-dipole approach
JP2007202020A (ja) 音声信号処理装置、音声信号処理方法、プログラム
CN110719564A (zh) 音效处理方法和装置
Jot et al. Loudspeaker-Based 3-D Audio System Design Using the MS Shuffler Matrix
JP2018201125A (ja) 多入力多出力系の直接逆同定方法及び装置及びプログラム及び記憶媒体、多入力多出力逆フィルタ装置及び方法
KR19990069336A (ko) 3차원 음향재생 장치 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application