KR20130128396A - 스테레오 영상 확대 시스템 - Google Patents

스테레오 영상 확대 시스템 Download PDF

Info

Publication number
KR20130128396A
KR20130128396A KR1020137012525A KR20137012525A KR20130128396A KR 20130128396 A KR20130128396 A KR 20130128396A KR 1020137012525 A KR1020137012525 A KR 1020137012525A KR 20137012525 A KR20137012525 A KR 20137012525A KR 20130128396 A KR20130128396 A KR 20130128396A
Authority
KR
South Korea
Prior art keywords
audio signal
loudspeakers
stereo
signal
inverse
Prior art date
Application number
KR1020137012525A
Other languages
English (en)
Other versions
KR101827032B1 (ko
Inventor
웬 왕
Original Assignee
디티에스 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디티에스 엘엘씨 filed Critical 디티에스 엘엘씨
Publication of KR20130128396A publication Critical patent/KR20130128396A/ko
Application granted granted Critical
Publication of KR101827032B1 publication Critical patent/KR101827032B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

몇 개의 실시예들에서, 기존의 크로스토크 소거 시스템보다 더 적은 프로세싱 자원들로 스테레오 영상을 확대할 수 있는 스테레오 확대 시스템 및 연관된 신호 프로세싱 알고리즘들이 여기서 기술된다. 이들 시스템들 및 알고리즘들은 서로 근접하게 배치된 스피커들을 갖는 핸드헬드 디바이스 또는 다른 디바이스에서 유리하게 구현될 수 있어서, 더 적은 계산 비용으로 이러한 디바이스에서 생성되는 스테레오 효과를 개선한다. 그러나 여기서 기술되는 시스템들 및 알고리즘들은 핸드헬드 디바이스들로 제한되는 것이 아니라 다수의 스피커들을 갖는 임의의 디바이스에서 보다 일반적으로 구현될 수 있다.

Description

스테레오 영상 확대 시스템{STEREO IMAGE WIDENING SYSTEM}
본 출원은 35 U.S.C. §119(e)하에서 "Stereo Image Widening System"이란 명칭으로 2010년 10월 20일 출원된 미국 가출원 번호 제61/405,115호를 우선권으로 주장하며, 그에 의해 상기 가출원의 개시물은 그 전체가 인용에 의해 포함된다.
스테레오 사운드는 다수의 마이크로폰들을 이용하여 좌측 및 우측 오디오 신호들을 개별적으로 레코딩함으로써 생성될 수 있다. 대안적으로 스테레오 사운드는 좌측 및 우측 오디오 신호들을 생성하기 위해 모노포닉 신호(monophonic signal)에 바이노얼 합성 필터(binaural synthesis filter)를 적용함으로써 합성될 수 있다. 스테레오 사운드는 종종 스테레오 신호가 헤드폰을 통해 재생될 때 우수한 성능을 갖는다. 그러나 신호가 2개의 라우드스피커들을 통해 재생되는 경우, 2개의 스피커들과 청취자의 귀들 사이에서 크로스토크(crosstalk)가 발생하여 스테레오 지각이 저하된다. 이에 따라 크로스토크 소거자(crosstalk canceller)는 좌측 스피커 신호가 청취자의 우측 위에서 들리지 않고 우측 스피커 신호가 청취자의 좌측 귀에서 들리지 않도록 양 신호들 간의 크로스토크를 소거 또는 감소하는데 이용된다.
특정한 실시예들에서, 기존의 크로스토크 소거 시스템보다 더 적은 프로세싱 자원들로 스테레오 영상을 확대할 수 있는 스테레오 확대 시스템 및 연관된 신호 프로세싱 알고리즘들이 여기서 기술된다. 이들 시스템들 및 알고리즘들은 서로 근접하게 배치된 스피커들을 갖는 핸드헬드 디바이스 또는 다른 디바이스에서 유리하게 구현될 수 있어서, 더 적은 계산 비용으로 이러한 디바이스에서 생성되는 스테레오 효과를 개선한다. 그러나 여기서 기술되는 시스템들 및 알고리즘들은 핸드헬드 디바이스들로 제한되는 것이 아니라 다수의 스피커들을 갖는 임의의 디바이스에서 보다 일반적으로 구현될 수 있다.
본 개시를 요약하기 위해, 본 발명의 특정한 양상들, 이점들 및 신규한 특징들이 여기서 기술되었다. 여기서 개시된 발명의 임의의 특정한 양상에 따라 모든 이러한 이점들이 반드시 달성될 수 있는 것은 아니란 것이 이해될 것이다. 따라서 여기서 개시된 발명들은 여기서 교시되거나 제안될 수 있는 바와 같이 다른 이점들을 반드시 달성할 필요 없이 여기서 교시되는 바와 같은 이점들의 그룹 또는 하나의 이점을 달성하거나 최적화하는 방식으로 구현되거나 실행될 수 있다.
특정한 실시예들에서, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대(widening)하기 위한 방법은 좌측 오디오 신호 및 우측 오디오 신호를 포함하는 스테레오 오디오 신호들을 수신하는 단계를 포함한다. 이 방법은 추가로 좌측 오디오 신호를 좌측 채널에, 그리고 우측 오디오 신호를 우측 채널에 공급하는 단계 및 크로스토크를 완전히 소거하기 위해, 어떠한 계산-집약적 헤드-관련 전달 함수들(head-related transfer functions; HRTF들) 또는 인버스 HRTF들도 이용하지 않고 한 쌍의 라우드스피커들과 청취자의 대향하는 귀들 사이에 크로스토크의 효과들을 완화하도록 어쿠스틱 다이폴 원리들(acoustic dipole principles)을 이용하는 단계를 포함할 수 있다. 상기 이용하는 단계는, (하나 이상의 프로세서들에 의해서), 적어도 (a) 인버팅된 좌측 오디오 신호를 생성하기 위해 좌측 오디오 신호를 인버팅하고 (b) 인버팅된 좌측 오디오 신호를 우측 오디오 신호와 조합함으로써 제 1 어쿠스틱 다이폴을 근사하는 단계, 및 적어도 (a) 인버팅된 우측 오디오 신호를 생성하기 위해 우측 오디오 신호를 인버팅하고 (b) 인버팅된 우측 오디오 신호를 좌측 오디오 신호와 조합함으로써 제 2 어쿠스틱 다이폴을 근사하는 단계; 좌측 필터링된 신호를 생성하기 위해 제 1 어쿠스틱 다이폴에 단일의 제 1 인버스 HRTF를 적용하는 단계를 포함할 수 있다. 제 1 인버스 HRTF는 좌측 채널로부터 우측 채널로 제 1 크로스토크 경로보단 오히려 좌측 채널의 제 1 직접 경로에서 적용될 수 있다. 이 방법은 추가로 우측 필터링된 신호를 생성하기 위해 제 2 어쿠스틱 다이폴에 단일의 제 2 인버스 HRTF 함수를 적용하는 단계를 포함할 수 있으며, 여기서 제 2 인버스 HRTF는 우측 채널로부터 좌측 채널로 제 2 크로스토크 경로 보단 오히려 우측 채널의 제 2 직접 경로에서 적용될 수 있고, 제 1 및 제 2 인버스 HRTF들은 좌측 및 우측 필터링된 신호들 사이의 양 귀간 도달 강도 차이(interaural intensity difference; IID)를 제공한다. 또한, 이 방법은 한 쌍의 라우드스피커들 상에서 재생을 위해 좌측 및 우측 필터링된 신호들을 공급함으로써 좌측 및 우측 라우드스피커들 사이의 실제 거리보다 더 넓게 청취자에 의해 지각되도록 구성되는 스테레오 영상을 제공하는 단계를 포함할 수 있다.
몇몇 실시예들에서, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 시스템은 어쿠스틱 다이폴 컴포넌트(acoustic dipole component)를 포함하며, 이 어쿠스틱 다이폴 컴포넌트는 좌측 오디오 신호 및 우측 오디오 신호를 수신하고, 적어도 (a) 인버팅된 좌측 오디오 신호를 생성하기 위해 좌측 오디오 신호를 인버팅하고, (b) 인버팅된 좌측 오디오 신호를 우측 오디오 신호와 조합함으로써 제 1 어쿠스틱 다이폴을 근사하고, 적어도 (a) 인버팅된 우측 오디오 신호를 생성하기 위해 우측 오디오 신호를 인버팅하고, (b) 인버팅된 우측 오디오 신호를 좌측 오디오 신호와 조합함으로써 제 2 어쿠스틱 다이폴을 근사할 수 있다. 이 시스템은 또한 양 귀간 도달 강도 차이(interaural intensity difference; IID) 컴포넌트를 포함할 수 있고, 이 양 귀간 도달 강도 차이(IID) 컴포넌트는, 좌측 필터링된 신호를 생성하도록 단일의 제 1 듣기 응답 함수(hearing response function)를 제 1 어쿠스틱 다이폴에 적용하고, 우측 필터링된 신호를 생성하도록 단일의 제 2 듣기 응답 함수를 제 2 어쿠스틱 다이폴에 적용할 수 있다. 이 시스템은 좌측 및 우측 라우드스피커들에 의한 재생을 위해 좌측 및 우측 필터링된 신호들을 공급함으로써 좌측 및 우측 라우드스피커들 간의 실제 거리보다 더 넓게 청취자에 의해 지각되도록 구성되는 스테레오 영상을 제공할 수 있다. 또한 어쿠스틱 다이폴 컴포넌트 및 IID 컴포넌트는 하나 이상의 프로세서들에 의해 구현될 수 있다.
몇몇 실시예들에서, 비-일시적인 물리적 전자 저장장치는 하나 이상의 프로세서에 의해 실행될 때 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 컴포넌트들을 구현하는 프로세서-실행 가능한 명령들이 저장된다. 이 컴포넌트들은 어쿠스틱 다이폴 컴포넌트를 포함할 수 있고, 이 어쿠스틱 다이폴 컴포넌트는, 좌측 오디오 신호 및 우측 오디오 신호를 수신하고, 적어도 (a) 인버팅된 좌측 오디오 신호를 생성하기 위해 좌측 오디오 신호를 인버팅하고, (b) 인버팅된 좌측 오디오 신호를 우측 오디오 신호와 조합함으로써 제 1 시뮬레이팅된 어쿠스틱 다이폴을 형성하고, 적어도 (a) 인버팅된 우측 오디오 신호를 생성하기 위해 우측 오디오 신호를 인버팅하고, (b) 인버팅된 우측 오디오 신호를 좌측 오디오 신호와 조합함으로써 제 2 시뮬레이팅된 어쿠스틱 다이폴을 형성할 수 있다. 이 컴포넌트들은 또한 양 귀간 도달 강도 차이(IID) 컴포넌트를 포함할 수 있고, 이 양 귀간 도달 강도 차이(IID) 컴포넌트는, 좌측 필터링된 신호를 생성하도록 단일의 제 1 인버스 헤드-관련 전달 함수(HRTF)를 제 1 시뮬레이팅된 어쿠스틱 다이폴에 적용하고 우측 필터링된 신호를 생성하도록 단일의 제 2 인버스 HRTF를 제 2 시뮬레이팅된 어쿠스틱 다이폴에 적용하도록 구성된다.
도면들 전체에 걸쳐서, 참조 번호들은 참조된 엘리먼트들 간의 대응성을 표시하는데 재사용될 수 있다. 도면들은 여기서 기술된 본 발명들의 실시예들을 예시하기 위해 제공되며 본 발명의 범위를 제한하지 않는다.
도 1은 크로스토크 감소 시나리오의 실시예를 예시하는 도면.
도 2는 스테레오 영상을 확대하는데 이용될 수 있는 이상적인 어쿠스틱 다이폴(acoustic dipole)의 원리들을 예시하는 도면.
도 3은 청취자에 대한 오디오 경험을 강화하기 위해 확대된 스테레오 영상을 이용하는 예시적인 청취 시나리오를 예시하는 도면.
도 4는 스테레오 확대 시스템의 실시예를 예시하는 도면.
도 5는 도 4의 스테레오 확대 시스템의 보다 상세한 실시예를 예시하는 도면.
도 6은 예시적인 헤드-관련 전달 함수들(head-related transfer functions; HRTF)의 시간 도메인 플롯을 예시하는 도면.
도 7은 도 6의 예시적인 HRTF들의 주파수 응답 플롯을 예시하는 도면.
도 8은 도 7의 HRTF들은 인버팅함으로써 획득되는 인버스 HRTF들의 주파수 응답 플롯을 예시하는 도면.
도 9는 도 8의 인버스 HRTF들을 조작함으로써 획득되는 인버스 HRTF들의 주파수 응답 플롯을 예시하는 도면.
도 10은 도 9의 인버스 HRTF들 중 하나의 주파수 응답 플롯을 예시하는 도면.
도 11은 스테레오 확대 시스템의 실시예의 주파수 스윗 플롯을 예시하는 도면.
I. 소개
휴대용 전자 디바이스들은 통상적으로 서로 근접하게 이격된 작은 스피커들을 포함한다. 서로 근접하게 이격되어, 이들 스피커들은 열등한 채널 분리를 제공하기 쉽고 결과적으로 좁은 사운드 영상을 발생시킨다. 그 결과, 이러한 스피커들을 통해 스테레오 및 3D 사운드 효과들을 듣는 것은 매우 곤란할 수 있다. 현재 크로스토크 소거 알고리즘들은 스피커 크로스토크를 감소 또는 소거함으로써 이들 문제들을 완화하는데 목적이 있다. 그러나 이들 알고리즘들이 다수의 헤드-관련 전달 함수들(head-related transfer functions; HRTF들)을 이용하기 쉽기 때문에 이들은 구현하는데 계산적으로 비쌀 수 있다. 예를 들어, 공통 크로스토크 소거 알고리즘들은 4개 이상의 HRTF들을 이용하는데, 이는 제한된 컴퓨팅 자원들을 갖는 모바일 디바이스가 수행하기에는 계산적으로 지나치게 비쌀 수 있다.
유리하게는, 특정한 실시예들에서, 여기서 기술되는 오디오 시스템들은 기존의 크로스토크 소거 접근법들과 비교해서 감소된 컴퓨팅 자원 소모를 갖는 스테레오 확대(stereo widening)를 제공한다. 일 실시예에서, 오디오 시스템들은 다수의 HRTF들 대신 각각의 채널 경로에서 단일의 인버스(inverse) HRTF를 이용한다. 크로스토크 소거에서 공통적으로 이용되는 HRTF들을 제거하는 것은 소거된 크로스토크 경로의 전달 함수가 0이 되어야 한다는 크로스토크 소거의 근본적은 가정을 제거한다. 그러나 특정한 실시예들에서, 오디오 시스템에서 어쿠스틱 다이폴 특징들(acoustic dipole features)을 구현하는 것은 유리하게는, 스테레오 확대 및 잠재적으로 적어도 일부의 크로스토크 감소를 여전히 제공하면서 이러한 가정이 무시되도록 허용할 수 있다.
여기서 기술되는 오디오 시스템들의 특징들은 전화들, 랩톱들, 다른 컴퓨터들, 휴대용 미디어 재생기들 등과 같은 휴대용 전자 디바이스들에서 구현되어 이들 디바이스들 내부 스피커 또는 이들 디바이스들에 연관된 외부 스피커들에 의해 생성되는 스테레오 영상을 확대할 수 있다. 여기서 기술되는 시스템들의 이점들은 몇몇 실시예들에 대해서, 전화들, 테블릿들, 랩톱들, 또는 서로 근접하게 이격된 스피커들을 갖는 다른 디바이스들에서 가장 현저할 수 있다. 그러나 여기서 기술된 시스템들의 이점들 중 적어도 일부는 다른 것들 중에서도, 텔레비전들 및 자동차 스테레오 시스템들과 같이 모바일 디바이스들보다 더 멀리 이격되는 스피커들을 갖는 디바이스들과 더불어 달성될 수 있다. 보다 일반적으로, 여기서 기술되는 오디오 시스템은 3개 이상의 스피커들을 갖는 디바이스들을 포함하는 임의의 오디오 디바이스에서 구현될 수 있다.
II. 예시적인 스테레오 영상 확대 특징들
도면들을 참조하면, 도 1은 크로스토크 감소 시나리오(100)의 실시예를 예시한다. 시나리오(100)에서, 청취자(102)는 좌측 스피커(104L) 및 우측 스피커(104R)를 포함하는 2개의 라우드스피커들(104)로부터 발산되는 사운드를 청취한다. 청취자(102)의 귀들에서 수신된 사운드와 스피커들(104)의 출력들 간의 관계들을 나타내는 전달 함수들(106)은 또한 도시된다. 이들 전달 함수들(106)은 동일-측 경로 전달 함수들("S") 및 교차측 경로 전달 함수들("A")을 포함한다. 교차측 경로들에서의 "A" 전달 함수들(106)은 청취자(102)의 대향하는 귀와 각각의 스피커 사이에서 크로스토크를 발생시킨다.
기존의 크로스토크 소거 기법들의 목적은 "A" 전달 함수들을 소거하여 "A" 전달 함수들이 0의 값을 갖게 하는 것이다. 이를 달성하기 위해, 이러한 기법들은 도 1의 상위-절반에서 도시된 바와 같이 크로스토크 프로세싱을 수행할 수 있다. 이 프로세싱은 종종 좌측(L) 및 우측(R) 오디오 입력 신호들을 수신하고 이들 신호들을 다수의 필터들(110, 112)에 제공함으로써 시작한다. 양자의 크로스토크 경로 필터들(110) 및 직접 경로 필터들(112)이 도시된다. 크로스토크 밍 직접 경로 필터들(110, 112)은 크로스토크를 소거하도록 오디오 입력 신호들을 조작하는 HRTF들을 구현할 수 있다. 크로스토크 경로 필터들(110)은 그 자체가 보조 크로스토크 효과들을 생성할 수 있는 대부분의 크로스토크 소거를 수행한다. 직접 경로 필터들(112)은 이들 보조 크로스토크 효과들을 감소 또는 소거할 수 있다.
공통 방식은 -A/S(또는 그의 추정들)와 동일한 크로스토크 경로 필터들(110) 각각을 세팅하는 것이고, 여기서 A 및 S는 위에서 기술된 전달 함수들(106)이다. 직접 경로 필터들(112)은 다양한 기법들을 이용하여 구현될 수 있고, 이들 중 몇몇 예들은 "Method of Synthesizing a Three Dimensional Sound-Field"란 명칭으로 1999년 6월 14일 출원된 미국 특허 번호 제6,577,736호의 도 4에서 도시되고 기술되며, 그에 의해 상기 미국 특허의 개시물은 그 전체가 인용에 의해 포함된다. 크로스토크 경로 필터들(110)의 출력은 출력 오디오 신호들을 생성하기 위해 각자의 채널들 각각에서 조합기 블록들(114)을 이용하여 직접 경로 필터들(112)의 출력과 조합된다. 필터링의 순서는 예를 들어, 조합기 블록들(114)과 스피커들(104) 사이에 직접 경로 필터들(112)을 배치함으로써 반전될 수 있다는 것이 주의되어야 한다.
크로스토크 소거기들의 단점들 중 하나는 크로스토크 소거 효과를 지각하기 위해 청취자의 머리가 2개의 스피커들(104) 간의 작은 스윗 스팟(sweet spot) 내에 또는 그 중간에 정밀하게 배치될 필요가 있다는 것이다. 그러나 청취자들은 이러한 스윗 스팟을 식별하는 것이 어려울 수 있고 스윗 스팟 주변, 내외로 자연히 이동할 수 있어서, 크로스토크 소거 효과를 감소시킨다. 크로스토크 소거의 다른 단점은 이용되는 HRTF들이 특정한 청취자의 귀들의 실제 듣기 응답 함수와 상이할 수 있다는 것이다. 그러므로 크로스토크 소거 알고리즘은 다른 청취자들보다 일부 청취자들에 대해 더 작 작동할 수 있다.
크로스토크 소거의 유효성의 이러한 단점 외에도, 크로스토크 경로 필터들(110)에 의해 이용되는 -A/S의 계산은 계산적으로 비쌀 수 있다. 모바일 디바이스들 또는 상대적으로 낮은 컴퓨팅 전력을 갖는 디바이스들에서, 이들 크로스토크 계산을 제거하는 것이 바람직할 수 있다. 여기서 기술되는 시스템들 및 방법들은 사실상 이러한 크로스토크 계산을 제거한다. 크로스토크 경로 필터들(110)은 이에 따라 이들이 크로스토크 프로세싱으로부터 제거될 수 있음을 표시하기 위해 점선들로 도시된다. 이들 필터들(110)을 제거하는 것은 이들 필터들(110)이 대부분의 크로스토크 소거를 수행하기 때문에 반직관적(counterintuitive)이다. 이들 필터들(110) 없이, 교차측 경로 전달 함수들(A)은 0-값이 아닐 수 있다. 그러나 이들 크로스토크 필터들(110)은 유리하게는 어쿠스틱 다이폴들(가능하게는 다른 특징들 중에서)의 원리들을 이용함으로써 양호한 스테레오 분리를 여전히 제공하면서 제거될 수 있다.
특정한 실시예들에서, 크로스토크 감소에서 이용되는 어쿠스틱 다이폴들은 또한 기존의 크로스토크 알고리즘보다 스윗 스팟의 크기를 증가시킬 수 있고 듣기 응답 함수들에서의 개별 차이들에 정밀하게 정합하지 않는 HRTF들을 보상할 수 있다. 또한, 아래에서 더 상세히 기술되는 바와 같이, 크로스토크 소거에서 이용되는 HRTF들은 특정한 실시예들에서 크로스토크 경로 필터들(110)의 제거를 용이하게 하도록 조정될 수 있다.
여기서 기술되는 오디오 시스템들이 어쿠스틱 다이폴 원리들을 어떻게 이용할 수 있는지 설명하는 것을 돕기 위해, 도 2는 이상적인 어쿠스틱 다이폴(200)을 예시한다. 다이폴(200)은 동일하지만 반대 위상으로 어쿠스틱 에너지를 방사하는 2개의 포인트 소스들(210, 212)을 포함한다. 다이폴(200)은 제 1 축(224)을 따라 최대 어쿠스틱 방사(acoustic radiation)를 그리고 제 1 축(224)에 수직인 제 2 축(226)을 따라 최소 어쿠스틱 방사를 갖는 2개의 로브들(222)을 2차원으로 포함하는 방사 패턴을 생성한다. 최소 음향 방사의 제 2 축(226)은 2개의 포인트 소스들(210, 212) 사이에 놓인다. 따라서 소스들(210, 212) 사이에 이 축(226)을 따라 배치된 청취자(202)는 크로스토크가 거의 없거나 전혀 없는 와이드 스테레오 영상(wide stereo image)을 지각할 수 있다.
이상적인 어쿠스틱 다이폴(200)의 물리적 근사(physical approximation)는 2개의 스피커들을 잇따라(back-to-back) 배치함으로써 그리고 다른 스피커에게 공급되는 신호의 인버팅된 버전을 하나의 스피커에게 공급함으로써 구성될 수 있다. 모바일 디바이스들에서 스피커들은 통상적으로 이러한 방식으로 재배열될 수 없지만, 디바이스는 몇몇 실시예들에서, 이러한 구성의 스피커들로 설계될 수 있다. 그러나 어쿠스틱 다이폴은 하나의 오디오 입력의 극성(polarity)을 반전시키고 이 반전된 입력을 대향하는 채널과 조합함으로써 소프트웨어 또는 회로에서 시뮬레이팅되고 근사될 수 있다. 예를 들어, 좌측 채널 입력은 인버팅(180도)되고 우측 채널 입력과 조합될 수 있다. 비 인버팅된 좌측 채널 입력은 좌측 스피커에 공급될 수 있고 우측 채널 입력과 인버팅된 좌측 채널 입력(R-L)은 우측 스피커에 공급될 수 있다. 결과적인 재생은 좌측 채널 입력에 관한 시뮬레이팅된 어쿠스틱 다이폴을 포함할 것이다.
유사하게, 우측 채널 입력은 인버팅되고 좌측 채널 입력(L-R을 생성하기 위해)과 조합될 수 있어서, 제 2 어쿠스틱 다이폴을 생성한다. 따라서, 좌측 스피커는 L-R 신호를 출력할 수 있는 반면에, 우측 스피커는 R-L 신호를 출력할 수 있다. 여기서 기술되는 시스템들 및 프로세스들은 선택적으로는 다른 프로세싱을 통해 스테레오 분리를 증가시키기 위해 하나 또는 2개의 다이폴들로 이들 어쿠스틱 다이폴 시뮬레이션을 수행할 수 있다.
도 3은 스테레오 영상을 확대하고 그럼으로써 청취자에 대한 오디오 경험을 강화하기 위해 어쿠스틱 다이폴 기술을 이용하는 예시적인 청취 시나리오(300)를 예시한다. 시나리오(300)에서, 청취자(302)는 테블릿 컴퓨터인 모바일 디바이스(304)에 의해 출력된 오디오를 청취한다. 모바일 디바이스(304)는 디바이스의 작은 크기로 인해 비교적 서로 근접하게 이격되는 2개의 스피커들(도시되지 않음)을 포함한다. 시뮬레이팅된 어쿠스틱 다이폴들 및 가능하게는 여기서 기술된 다른 특징들을 이용하는 스테레오 확대 프로세싱은 청취자(302)에 대한 확대된 지각의 스테레오 사운드를 생성할 수 있다. 이 스테레오 확대는 청취자(302)가 사운드를 발산하는 것으로 지각할 수 있는 가상 사운드 소스들인 2개의 가상 스피커들(310, 312)에 의해 표현된다. 따라서 여기서 기술되는 스테레오 확대 특징들은 디바이스(304)의 실제 스피커들 사이의 물리적 거리보다 더 멀리 떨어진 사운드 소스들의 지각을 생성할 수 있다. 유리하게는, 스테레오 분리를 증가시키는 어쿠스틱 다이폴들을 통해, 0과 동일하게 크로스토크 경로를 세팅하는 크로스토크 소거 가정이 무시될 수 있다. 잠재적인 다른 이익들 중에서도, HRTF들에서의 개별 차이들이 통상적인 크로스토크 소거 알고리즘들에서보다 적게 청취 경험에 영향을 줄 수 있다.
도 4는 스테레오 확대 시스템(400)의 실시예를 예시한다. 스테레오 확대 시스템(400)은 위에서 기술된 어쿠스틱 다이폴 특징들을 구현할 수 있다. 또한, 스테레오 확대 시스템(400)은 스테레오 사운드를 확대하고 그렇지 않고 강화하기 위한 다른 특징들을 포함한다.
도시된 컴포넌트들은 양 귀간 도달 시간 차이(interaural time difference; ITD) 컴포넌트(410), 어쿠스틱 다이폴 컴포넌트(420), 양 귀간 도달 강도 차이(interaural intensity difference; IID) 컴포넌트(430) 및 선택적인 강화 컴포넌트(440)를 포함한다. 이들 컴포넌트들 각각은 하드웨어 및/또는 소프트웨어로 구현될 수 있다. 또한, 컴포넌트들 중 적어도 일부는 몇몇 실시예들에서 생략될 수 있고, 컴포넌트들의 순서는 또한 몇몇 실시예들에서 재배열될 수 있다.
스테레오 확대 시스템(400)은 좌측 및 우측 오디오 입력들(402, 404)을 수신한다. 이들 입력들(402, 404)은 양 귀간 도달 시간 차이(interaural time difference; ITD) 컴포넌트에 제공된다. ITD 컴포넌트는 좌측 및 우측 입력들(402, 404) 간의 양 귀간 도달 시간 차이를 생성하기 위해 하나 이상의 지연들을 이용할 수 있다. 입력들(402, 404) 간의 이러한 ITD는 라우드스피커 출력들 간의 폭 및 방향성(directionality)의 감지를 생성할 수 있다. ITD 컴포넌트(410)에 의해 적용되는 지연의 양은 좌측 및 우측 입력들(402, 404)에서 인코딩되는 메타데이터에 의존할 수 있다. 메타데이터는 좌측 및 우측 입력들(402, 404)에서의 사운드 소스들의 위치들에 관한 정보를 포함할 수 있다. 사운드 소스의 위치에 기초하여 ITD 컴포넌트(410)는 사운드가 표시된 사운드 소스로부터 나오는 것으로 보이게 하도록 적절한 지연을 생성할 수 있다. 예를 들어, 사운드가 좌측으로부터 나오는 것인 경우, ITD 컴포넌트(410)는 우측 입력(404)에 지연을 적용하고 좌측 입력(402)에 적용하지 않거나 좌측 입력(402)보다 우측 입력(404)에 더 큰 지연을 적용할 수 있다. 몇몇 실시예들에서, ITD 컴포넌트(410)는 "Systems and Methods for Audio Processing"란 명칭으로 2006년 9월 13일자 출원된 미국 특허 번호 제8,027,477호에서 기술된 개념들 중 일부 또는 모두 다를 이용하여 동적으로 ITD를 계산할 수 있으며, 그에 의해 상기 미국특허는 그 전체가 인용에 의해 포함된다.
ITD 컴포넌트(410)는 좌측 및 우측 채널 신호들을 어쿠스틱 다이폴 컴포넌트(420)에 제공한다. 도 3에 관하여 위에서 기술된 어쿠스틱 다이폴 원리들을 이용하여, 어쿠스틱 다이폴 컴포넌트(420)는 어쿠스틱 다이폴들을 시뮬레이팅 또는 근사한다. 예시를 위해, 어쿠스틱 다이폴 컴포넌트(420)는 좌측 및 우측 채널 신호들을 인버팅하고 인버팅된 신호를 대향하는 채널과 조합한다. 그 결과, 2개의 스피커들에 의해 생성되는 사운드 파형들은 2개의 스피커들 사이에서 소거될 수 있거나 그렇지 않고 감소될 수 있다. 편의를 위해, 이 명세서의 잔여부는 "좌측 어쿠스틱 다이폴(left acoustic dipole)"로서 인버팅된 좌측 채널 신호를 우측 채널 신호와 조합함으로써 생성되는 다이폴 및 "우측 어쿠스틱 다이폴(right acoustic dipole)"로서 인버팅된 우측 채널 신호를 좌측 채널 신호와 조합함으로써 생성되는 다이폴을 참조한다.
일 실시예에서, 어쿠스틱 다이폴 효과의 양을 조정하기 위해, 어쿠스틱 다이폴 컴포넌트(420)는 대향하는 채널 신호와 조합되게 되는 인버팅된 신호에 이득을 적용할 수 있다. 이득은 인버팅된 신호 크기를 감쇄 또는 증가시킬 수 있다. 일 실시예에서, 어쿠스틱 다이폴 컴포넌트(420)에 의해 인가되는 이득의 양은 2개의 라우드스피커들의 실제 물리적 분리 폭에 의존할 수 있다. 몇몇 실시예들에서 서로 더 근접한 2개의 스피커일수록 어쿠스틱 다이폴 컴포넌트(420)가 인가할 수 있는 이득이 더 적으며, 그 반대일 수도 있다. 이러한 이득은 유효하게는 2개의 스피커들 사이의 양 귀간 도달하는 강도 차이를 생성할 수 있다. 이러한 효과는 상이한 스피커 구성을 보상하도록 조정될 수 있다. 예를 들어, 스테레오 확대 시스템(400)은 슬라이더(slider), 텍스트 박스, 또는 사용자가 스피커들의 실제 물리적 폭을 입력하는 것을 가능하게 하는 다른 사용자 인터페이스 제어를 갖는 사용자 인터페이스를 제공할 수 있다. 이러한 정보를 이용하여, 어쿠스틱 다이폴 컴포넌트(420)는 인버팅된 신호들에 인가되는 이득을 상응하게 조정할 수 있다. 몇몇 실시예들에서, 이득은 어쿠스틱 다이폴 컴포넌트(420)에 의해서 뿐만 아니라 도 4에서 표현되는 프로세싱 체인에서의 임의의 지점에서 인가될 수 있다. 대안적으로 어떠한 이득도 인가되지 않는다.
어쿠스틱 다이폴 컴포넌트(420)에 의해 인가되는 임의의 이득은 스피커들의 선택된 폭에 기초하여 고정될 수 있다. 그러나 다른 실시예에서, 인버팅된 신호 경로 이득은 좌측 또는 우측 오디오 입력들(402, 404)에서 인코딩되는 메타데이터에 의존하고 입력들(402, 404)의 방향성의 감지를 증가시키는데 이용될 수 있다. 더 강한 좌측 어쿠스틱 다이폴은 예를 들어, 우측 신호 보단 좌측 신호에서 더 큰 분리를 생성하기 위해 좌측 인버팅된 입력 상의 이득을 이용하여 생성될 수 있거나, 또는 그 반대도 가능하다.
어쿠스틱 다이폴 컴포넌트(420)는 양 귀간 도달 강도 차이(IID) 컴포넌트(430)에 프로세싱된 좌측 및 우측 신호들을 제공한다. IID 컴포넌트(430)는 2개의 채널들 또는 스피커들 사이에서 양 귀간 도달 강도 차이를 생성할 수 있다. 일 구현에서, IID 컴포넌트(430)는 어쿠스틱 다이폴 컴포넌트(420)가 이러한 이득을 수행하는 대신, 좌측 및 우측 채널들 중 하나 또는 둘 다에 위에서 기술된 이득을 인가한다. IID 컴포넌트(430)는 좌측 및 우측 입력들(402, 404)에서 인코딩된 사운드 위치 정보에 기초하여 동적으로 이러한 이득들을 변경시킬 수 있다. 각각의 채널에서의 이득의 차이는 사용자의 귀들 사이에서 IID를 발생시켜서, 하나의 채널에서의 사운드가 다른 것 보다 청취자에게 더 근접하다는 지각을 제공한다. IID 컴포넌트(430)에 의해 인가되는 임의의 이득은 또한 몇몇 실시예들에서 각각의 채널에 적용되는 개별 인버스 HRTF들에서의 차이들의 결여를 보상할 수 있다. 아래에서 더 상세히 기술되는 바와 같이, 단일의 인버스 HRTF는 각각의 채널에 적용될 수 있고, IID 및/또는 ITD는 채널들 간의 분리의 감지를 생성 또는 강화하도록 적용될 수 있다.
각각의 채널에서의 이득 외에 또는 그 대신에, IID 컴포넌트(430)는 하나 또는 양 채널들에서 인버스 HRTF를 포함할 수 있다. 또한, 인버스 HRTF는 크로스토크를 감소시키도록 선택될 수 있다(아래에서 기술됨). 인버스 HRTF들은 스테레오 효과를 강화하도록 고정될 수 있는 상이한 영역들에 할당될 수 있다. 대안적으로, 이러한 이득들은 아래에서 논의되는 바와 같이 스피커 구성에 기초하여 가변적일 수 있다.
일 실시예에서, IID 컴포넌트(430)는 원하는 방향성을 생성하기 위해 IID 컴포넌트(430)가 동적으로 선택한, 각각의 채널에 대해 몇 개의 인버스 HRTF들 중 하나에 액세스할 수 있다. 더불어, ITD 컴포넌트, 어쿠스틱 다이폴 컴포넌트(420) 및 IID 컴포넌트(430)는 사운드 소스의 위치의 지각에 영향을 줄 수 있다. 위에서 포함된 '477 특허에 기술되는 IID 기법들은 IID 컴포넌트에 의해 또한 이용될 수 있다. 또한, 단순화된 인버스 HRTF들은 '477 특허에 기술된 바와 같이 이용될 수 있다.
특정한 실시예들에서, 스테레오 확대 시스템(400)에 의해 생성되는 ITD, 어쿠스틱 다이폴들 및/또는 IID는 0-값 전달 함수를 갖지 않는 크로스토크 경로(도 1 참조)를 보상할 수 있다. 따라서 특정한 실시예들에서, 기존의 크로스토크 소거 알고리즘들과 함께 이용되는 채널 분리에는 더 적은 컴퓨팅 지원들이 제공될 수 있다. 그러나 도시된 컴포넌트들 중 하나 이상은 어느 정도의 스테레오 분리를 여전히 제공하면서 생략될 수 있다는 것이 주의되어야 한다.
선택적인 강화 컴포넌트(440)가 또한 도시된다. 하나 이상의 강화 컴포넌트들(440)이 스테레오 확대 시스템(400)에 제공될 수 있다. 일반적으로 말하자면, 강화 컴포넌트(440)는 이러한 신호들의 오디오 재생을 강화하기 위해 좌측 및 우측 채널 신호들의 몇몇 특성을 조정할 수 있다. 도시된 실시예에서, 선택적인 강화 컴포넌트(440)는 좌측 및 우측 채널 신호들을 수신하고 좌측 및 우측 출력 신호들(452, 454)을 생성한다. 좌측 및 우측 출력 신호들(452, 454)은 좌측 및 우측 스피커들에, 또는 추가의 프로세싱을 위한 다른 블록들에 공급될 수 있다.
강화 컴포넌트(440)는 작은 스피커들 상의 재생을 개선하기 위해 오디오 신호들을 스펙트럼적으로(spectrally) 조작하기 위한 특징들을 포함할 수 있으며, 이들 중 몇몇 예들은 도 4에 관하여 아래에서 기술된다. 보다 일반적으로, 강화 컴포넌트(440)는 다른 것들 중에서도, 캘리포니아, 산타아나 소재의 SRS Labs, Inc.의 다음의 미국 특허들 및 특허 공개들: 5,319,713, 5,333,201, 5,459,813, 5,638,452, 5,912,976, 6,597,791, 7,031,474, 7,555,130, 7,764,802, 7,720,240, 2007/0061026, 2009/0161883, 2011/0038490, 2011/0040395, 및 2011 /0066428 중 임의의 것에 기술된 오디오 강화들 중 임의의 것을 포함할 수 있으며, 그에 의해 위의 문서들 각각은 그 전체가 인용에 의해 포함된다. 또한, 강화 컴포넌트(440)는 입력들(402, 404) 및 출력들(452, 454) 사이에서 도시되는 신호 경로들에서의 임의의 지점에 삽입될 수 있다.
스테레오 확대 시스템(400)은 시스템(400)의 양상들을 제어하기 위한 사용자용 기능을 제공하는 사용자 인터페이스와 함께 디바이스에 제공될 수 있다. 사용자는 디바이스의 제조자 또는 밴더 또는 디바이스의 종단 사용자일 수 있다. 제어는 사용자가 일반적으로 스테레오 확대 효과를, 또는 개별적으로 스테레오 확대 효과의 양상들을 (직접적으로 또는 간접적으로) 제어하는 것을 가능하게 하는 슬라이더 등, 또는 선택적으로는 조정 가능한 값의 형태일 수 있다. 예를 들어, 슬라이더는 일반적으로 더 넓은 또는 더 좁은 스테레오 효과를 선택하는데 이용될 수 있다. 다른 예에서, 더 많은 슬라이더들은 다른 특징들 중에서도, ITD, 하나 또는 양자의 다이폴들에 대한 인버팅된 신호 경로 이득, 또는 IID와 같이, 스테레오 확대 시스템의 개별 특성들이 조정되도록 허용하기 위해 제공될 수 있다. 일 실시예에서, 여기서 기술되는 스테레오 확대 시스템은 좌측 및 우측 채널들 사이에서 약 4-6 피트(약 1.2 내지 1.8m) 이상까지 모바일 전화에서 분리를 제공할 수 있다.
주로 스테레오에 대해 의도되었지만, 스테레오 확대 시스템(400)의 특징들은 또한 3개 이상의 스피커들을 갖는 시스템들에서 구현될 수 있다. 서라운드 사운드 시스템에서, 예를 들어, 어쿠스틱 다이폴 기능은 좌측 근교 및 우측 근교 서라운드 사운드 입력들에서 하나 이상의 다이폴들을 생성하는데 이용될 수 있다. 다이폴들은 또한 다수의 다른 가능한 구성들 중에서, 전방 및 후방 입력들 사이에서, 또는 전방 및 중앙 입력들 사이에서 생성될 수 있다. 서라운드 사운드 세팅들에서 이용되는 어쿠스틱 다이폴 기술은 사운드 필드(sound field)에서의 폭의 감지를 증가시킬 수 있다.
도 5는 도 4의 스테레오 확대 시스템(400)의 보다 상세한 실시예, 즉 스테레오 확대 시스템(500)을 예시한다. 스테레오 확대 시스템(500)은 스테레오 확대 시스템(400)의 일 예시적인 구현을 표현하지만, 스테레오 확대 시스템(400)의 특징들 중 임의의 것을 구현할 수 있다. 도시된 시스템(500)은 DSP 프로세서 등(FPGA-기반 프로세서들)과 같은 하나 이상의 프로세서들에 의해 구현될 수 있는 알고리즘적 흐름(algorithmic flow)을 표현한다. 시스템(500)은 또한 아날로그 및/또는 디지털 회로를 이용하여 구현될 수 있는 컴포넌트들을 표현할 수 있다.
스테레오 확대 시스템(500)은 좌측 및 우측 오디오 입력들(502, 504)을 수신하고, 좌측 및 우측 오디오 출력들(552, 554)을 생성한다. 설명의 용이함을 위해, 좌측 오디오 입력(502)으로부터 좌측 오디오 출력(552)으로의 직접 신호 경로는 여기서 좌측 채널로서 지칭되고, 우측 오디오 입력(504)으로부터 우측 오디오 출력(55)으로의 직접 신호 경로는 여기서 우측 채널로서 지칭된다.
입력들(502, 504) 각각은 각각 지연 블록들(510)에 제공된다. 지연 블록들(510)은 ITD 컴포넌트(410)의 예시적인 구현을 표현한다. 위에서 기술된 바와 같이, 지연들(510)은 몇몇 실시예들에서 사운드 필드의 확대 또는 방향성의 감지를 생성하기 위해 상이할 수 있다. 지연 블록들의 출력들은 조합기들(512)에 입력된다. 조합기들(512)은 지연된 입력들(마이너스(-) 부호를 통해)을 인버팅하고 인버팅된 지연된 입력들을 각각의 채널에서 좌측 및 우측 입력들(502, 504)에 조합한다. 조합기들(512)은 이에 따라 각각의 채널에서 어쿠스틱 다이폴들을 생성하도록 작용한다. 이에 따라, 조합기들(512)은 어쿠스틱 다이폴 컴포넌트(420)의 예시적인 구현이다. 예를 들어, 좌측 채널에서 조합기(512)의 출력은 L-Rdelayed일 수 있는 반면에, 우측 채널에서 조합기(512)의 출력은 R-Ldelayed일 수 있다. 어쿠스틱 다이폴 컴포넌트(520)를 구현하기 위한 다른 방식은 지연 블록들(510)과 조합기들(512) 사이에(또는 지연 블록들(510) 이전에) 인버터를 제공하고 조합기들(512)을 가산기들(감산기들 보단 오히려)로 변경하는 것임이 주의되어야 한다.
조합기들(512)의 출력들은 인버스 HRTF 블록들(520)에 제공된다. 이들 인버스 HRTF 블록들(520)은 위에서 기술된 IID 컴포넌트(430)의 예시적인 구현들이다. 인버스 HRTF들(520)의 예시적인 구현들의 유리한 특성들은 아래에서 더 상세히 기술된다. 인버스 HRTF들(520)은 각각 도시된 실시예에서, 선택적인 강화 컴포넌트(518)로부터 입력을 또한 수신하는 조합기(522)에 필터링된 신호를 출력한다. 이 강화 컴포넌트(518)는 입력으로서 좌측 및 우측 신호(502, 504)(채널에 의존함)를 취하고 강화된 출력을 생성한다. 이 강화된 출력은 아래에서 기술될 것이다.
조합기들(522)은 각각 다른 선택적인 강화 컴포넌트(530)에 조합된 신호를 출력한다. 도시된 실시예에서, 강화 컴포넌트(530)는 고역 통과 필터(532) 및 제한기(534)를 포함한다. 고역 통과 필터(532)는 제한된 베이스-주파수 재생 성능(bass-frequency reproduction capability)을 갖는 매우 작은 스피커들을 갖는, 모바일 전화들과 같은 일부 디바이스들에 대해 이용될 수 있다. 이 고역 통과 필터(532)는 인버스 HRTF(520) 또는 다른 프로세싱에 의해 야기되는 저주파수 범위에서의 임의의 부스트(boost)를 감소시킬 수 있고, 그럼으로써 작은 스피커들에 대한 저-주파수 왜곡을 감소시킨다. 그러나 저 주파수 콘텐츠에서의 이러한 감소는 저 및 고 주파수 콘텐츠의 불균형을 야기할 수 있으며, 이는 사운드 품질에서 컬러의 변화를 초래한다. 따라서, 위에서 참조되는 강화 컴포넌트(518)는 인버스 HRTF들(520)의 출력과 적어도 원래의 입력들(502, 504)의 저 주파수 부분을 혼합하기 위한 저역 통과 필터를 포함할 수 있다.
고역 통과 필터(532)의 출력은 하드 제한기(hard limiter)(534)에 제공된다. 하드 제한기(534)는 신호의 클리핑(clipping)을 또한 감소시키면서 신호에 적어도 일부의 이득을 인가할 수 있다. 보다 일반적으로, 몇몇 실시예들에서, 하드 제한기(534)는 고 주파수들에서 클리핑 또는 신호 감쇄를 감소시키면서 저 주파수 이득들을 강조할 수 있다. 그 결과, 하드 제한기(534)는 실질적으로 사운드의 컬러를 변경하지 않는 실질적으로 평탄한 주파수 응답을 생성하는데 도움을 주도록 이용될 수 있다(도 11 참조). 일 실시예에서, 하드 제한기(534)는 임계치보다 높은 더 높은 주파수들에 이득을 전혀 또는 거의 인가하지 않으면서 실험적으로 결정된 몇몇 임계치 보다 낮은 더 낮은 주파수 이득들을 부스팅한다. 다른 실시예들에서, 하드 제한기에 의해 더 낮은 주파수들에 인가되는 이득의 양은 더 높은 주파수들에 인가되는 이득보다 높다. 보다 일반적으로, 임의의 동적 범위 압축기(dynamic range compressor)는 하드 제한기(534) 대신 이용될 수 있다. 하드 제한기(534)는 선택적이고 몇몇 실시예들에서 생략될 수 있다.
강화 컴포넌트들(518) 중 어느 하나가 생략되고, 다른 강화 특징들로 대체되거나, 또는 다른 강화 특징들과 조합될 수 있다.
III. 예시적인 인버스 HRTF 특징들
예시적인 인버스 HRTF들(520)의 특성들은 이제 더 상세히 기술될 것이다. 알 수 있는 바와 같이, 인버스 HRTF들(520)은 크로스토크 경로 필터들(110)(도 1)의 제거를 추가로 용이하게 하도록 설계될 수 있다. 따라서 특정한 실시예들에서, 인버스 HRTF들, 어쿠스틱 다이폴, 및 ITD 컴포넌트의 특성들의 임의의 조합은 계산-집약적 크로스토크 경로 필터들(110)의 이용의 제거를 용이하게 할 수 있다.
도 6은 스테레오 확대 시스템(400 또는 500)에서 이용하기 위한 개선된 인버스 HRTF를 설계하는데 이용될 수 있는 예시적인 헤드-관련 전달 함수들(HRTF)(612, 614)의 시간 도메인 플롯(600)을 예시한다. 각각의 HRTF(612, 614)는 청취자의 귀에 대한 시뮬레이팅된 듣기 응답 함수를 표현한다. 예를 들어, HRTF(612)는 우측 귀에 대한 것일 수 있고, HRTF(614)는 좌측 귀에 대한 것일 수 있거나, 또는 그 반대일 수 있다. 시간-정렬되었지만, HRTF들(612, 614)은 몇몇 실시예들에서 ITD를 생성하기 위해 서로로부터 지연될 수 있다.
HRTF들은 통상적으로 1 미터 거리에서 측정된다. 이러한 HRTF들의 데이터베이스들은 상업적으로 입수 가능하다. 그러나 모바일 디바이스는 통상적으로 청취자의 머리로부터 20-50cm 범위에서 사용자에 의해 유지된다. 이러한 청취 범위를 보다 정확하게 반영하는 HRTF를 생성하기 위해, 특정한 실시예들에서, 상업적으로-입수 가능한 HRTF는 데이터베이스로부터 선택될 수 있다(또는 1 m 범위에서 생성됨). 선택된 HRTF는 이어서 약 3dB, 또는 약 2 내지 6dB, 또는 약 1 내지 12dB, 또는 몇몇 다른 값에 의해서와 같이 선택된 양에 의해 크기가 축소(scaled down)될 수 있다. 그러나 사용자의 귀들에 대한 핸드셋의 통상적인 거리가 통상적인 HRTF들에 대해 특정된 1m 거리의 약 절반(50cm)이면, 3dB 차이가 몇몇 실시예들에서 양호한 결과들을 제공할 수 있다. 그러나 다른 범위들이 또한 바람직한 효과들 중 적어도 일부 또는 모두 다를 제공할 수 있다.
도시된 예에서, IID는 3dB만큼(또는 몇몇 다른 값) HRTF(614)를 축소함으로써 좌측 및 우측 채널들 사이에서 생성된다. 따라서 HRTF(614)는 HRTF(612)보다 크기가 더 작다.
도 7은 도 6의 예시적인 HRTF들(612, 614)의 주파수 응답 플롯(700)을 예시한다. 플롯(700)에서, HRTF들(612, 614)의 주파수 응답들(712, 714)이 각각 도시된다. 도시된 예시적인 주파수 응답들(712, 714)은 사운드 소스가 25-50cm 거리 범위에서 우측으로 5도 위치되는 것으로서 지각되게 한다. 그러나 이들 주파수 응답들은 상이한 위치로부터 오는 사우드 소스의 지각을 생성하도록 조정될 수 있다.
도 8은 도 7의 HRTF 주파수 응답들(712, 714)을 인버팅함으로써 획득되는 인버스 HRTF들(812, 814)의 주파수 응답 플롯(800)을 예시한다. 일 실시예에서, 인버스 HRTF들(812, 814)은 부가적 인버스들(additive inverses)이다. 인버스 HRTF들(812, 814)은 비-인버팅된 HRTF가 스피커로부터 귀까지의 실제 전달 함수를 표현할 수 있고, 그에 따라 그 함수의 인버스는 크로스토크를 소거 또는 감소하는데 이용될 수 있기 때문에 크로스토크 감소 또는 소거를 위해 유용할 수 있다. 도시된 예시적인 인버스 HRTF들(812, 814)의 주파수 응답들은 특히, 더 높은 주파수들에서 상이하다. 이러한 차이들은 크로스토크 소거 알고리즘들에서 공통적으로 이용된다. 예를 들어, HRTF(812)는 도 1의 직접 경로 필터들(112)로서 이용될 수 있는 반면에, HRTF(814)는 크로스토크 경로 필터들(110)로서 이용될 수 있다. 이들 필터들은 스테레오 영상을 확대하기 위해 크로스토크 경로 필터들(110)을 이용할 필요성을 제거 또는 감소시키는 직접 경로 필터(112)를 생성하도록 유리하게 적응될 수 있다.
도 9는 도 8의 인버스 HRTF들(812, 814)를 조작함으로써 획득되는 인버스 HRTF들(912, 914)의 주파수 응답 플롯(900)을 예시한다. 이들 인버스 HRTF들(912, 914)은 인버스 HRTF들(812, 814)의 조정 파라미터들로 실험함으로써, 그리고 몇 개의 상이한 모바일 디바이스들 상에서 그리고 블라인드 청취 테스트(blind listening test)로 인버스 HRTF들을 테스트함으로써 획득되었다. 몇몇 실시예들에서, 더 낮은 주파수들의 감쇄는 실질적으르 사운드의 컬러의 변경 없이 양호한 스테레오 확대 효과를 제공할 수 있다는 것이 발견되었다. 대안적으로, 더 높은 주파수들의 감쇄가 또한 가능하다. 저 주파수들의 감쇄는 인버스 필터들이 스피커와 청취자의 귀들 간의 예시적인 크로스토크 HRTF들의 곱셈 인버스들(multiplicative inverses)이기 때문에 도시된 인버스 필터들(912, 914)을 통해 발생한다(예를 들어, 인버스 HRTF들의 상이한 쌍들에 대한 저-주파수 감쇄에 대한 도 7을 참조). 따라서 도시된 주파수 응답 플롯(900)에서 저 주파수들이 인버스 필터들(912, 914)에 의해 강조되지만, 크로스토크의 실제 저 주파수들은 탈강조(deemphasized)된다.
알 수 있는 바와 같이, 인버스 HRTF들(912, 914)은 주파수 특성면에서 유사하다. 이러한 유사성은 일 실시예에서 핸드헬드 디바이스들 또는 다른 작은 디바이스들에서의 스피커들 간의 거리가 비교적 작을 수 있기 때문에 발생할 수 있어서, 각각의 스피커로부터 크로스토크를 감소시키기 위해 유사한 인버스 HRTF들을 발생시킨다. 유리하게는, 이러한 유사성으로 인해, 인버스 HRTF들(912, 914) 중 하나는 도 1에서 도시된 크로스토크 프로세싱으로부터 드롭될 수 있다. 따라서, 도 10에서 도시된 바와 같이, 예를 들어, 단일의 인버스 HRTF(1012)은 스테레오 확대 시스템(400, 500)에서 이용될 수 있다(도시된 인버스 HRTF(1012)는 임의의 원하는 이득 레벨로 스케일링될 수 있음). 특히, 크로스토크 경로 필터들(110)은 프로세싱으로부터 드롭될 수 있다. 4개의 필터들(110, 112)과의 이전의 계산들은 총 4개의 FFT(Fast Fourier Transform) 콘볼루션들(convolutions) 및 4개의 IFFT(Inverse FFT) 콘볼루션들을 포함할 수 있다. 크로스토크 경로 필터들(110)을 드롭함으로써, FFT/IFFT 계산들은 많은 오디오 성능을 희생시키지 않고 반감(halved)될 수 있다. 인버스 HRTF 필터링은 시간 도메인에서 대신 수행될 수 있다.
위에서 기술된 바와 같이, IID 컴포넌트(430)는 각각의 채널의 인버스 HRTF에 상이한 이득을 인가함으로써(또는 이득을 하나의 채널에만 인가하고 다른 채널엔 인가하지 않음) 각각의 채널에 적용된 인버스 HRTF의 유사성 또는 동일성을 보상한다. 이득을 인가하는 것은 각각의 채널에서 제 2 인버스 HRTF를 적용하는 것보다 훨씬 덜 프로세싱 집약적일 수 있다. 여기서 이용된 바와 같이, 그의 보통의 의미를 갖는 것 외에, 용어 "이득"은 또한 몇몇 실시예들에서 감쇄를 나타낼 수 있다.
인버스 HRTF(1012)의 주파수 특성들은 약 700 내지 900Hz에서 시작하여 약 3kHz 내지 4kHz 사이에서 트러프(trough)에 도달하는 주파수 대역에서 일반적으로 감쇄하는 응답을 포함한다. 약 4kHz에서부터 약 9kHz와 약 10kHz 사이까지, 주파수 응답은 일반적으로 크기가 증가한다. 약 9kHz 내지 10kHz 사이에서 시작하여 적어도 약 11kHz까지 지속되는 범위에서, 인버스 HRTF(1012)는 더 변동하는 응답을 가지며, 2개의 두드러지는 피크들은 10kHz 내지 11kHz 범위에 있다. 도시되지 않았지만, 인버스 HRTF(1012)는 약 20kHz 주위의 청취 가능한 스펙트럼의 단부까지를 포함해서 11kHz 보다 높은 스펙트럼 특성들을 또한 가질 수 있다. 또한, 인버스 HRTF(1012)는 약 700 내지 900 Hz보다 낮은 더 낮은 주파수에서 효과가 없는 것으로서 도시된다. 그러나 대안적인 실시예들에서, 인버스 HRTF(1012)는 이들 주파수들에서 응답을 갖는다. 바람직하게는, 이러한 응답은 저 주파수들에서의 감쇄 효과이다. 그러나 중립(평탄) 또는 효과들의 강조는 또한 몇몇 실시예들에서 유익할 수 있다.
도 11은 하나의 예시적인 스피커 구성에 특유한 스테레오 확대 시스템(500)의 실시예의 예시적인 주파수 스윗 스팟(1100)을 예시한다. 플롯(1100)을 생성하기 위해, 로그 스윗(1210)은 스테레오 확대 시스템(500)의 좌측 채널 내로 공급되는 반면에 우측 채널은 침묵(silent)한다. 시스템(500)의 결과적인 출력은 좌측 출력(1220) 및 우측 출력(1222)을 포함한다. 이들 출력들 각각은 실질적으로 20Hz로부터 20kHz까지의 청취 가능한 스펙트럼의 대부분 또는 모두 다를 통해 실질적으로 평탄한 주파수 응답을 갖는다. 이들 실질적으로 평탄한 주파수 응답은, 위에 기술된 프로세싱에도 불구하고 사운드의 컬러가 실질적으로 변경되지 않는다는 것을 표시한다. 일 실시예에서, 하드 제한기(534) 및/또는 인버스 HRTF(1012)의 형상은 작은 스피커로부터 저 주파수 왜곡을 감소시키고 사운드의 컬러의 변화를 감소시키기 위해 이러한 실질적으로 평탄한 응답을 용이하게 한다. 특히 하드 제한기들(534)은 고 주파수들에서 클리핑 없이 주파수 응답의 평탄성을 개선하기 위해 저 주파수들을 부스팅할 수 있다. 하드 제한기(534)는 인버스 HRTF(1012)에 의해 야기되는 컬러의 변화를 보상하기 위해 특정한 실시예들에서 저 주파수들을 부스팅한다. 몇몇 실시예들에서, 저 주파수들 대신 고 주파수들을 감쇄하는 인버스 HRTF가 구성된다. 이러한 실시예들에서, 하드 제한기(534)는, 실질적으로 평탄한 주파수 응답을 생성하기 위해 더 낮은 주파수들을 제한 또는 탈강조하면서 더 높은 주파수들을 강조할 수 있다.
IV. 부가적인 실시예들
몇몇 실시예들에서, 좌측 및 우측 오디오 신호들은 이를테면, 컴퓨터-판독 가능한 매체(예를 들어, DVD, Blu-Ray 디스크, 하드 드라이브 등) 상의 디지털 파일로부터 판독될 수 있다는 것이 주의되어야 한다. 다른 실시예에서, 좌측 및 우측 오디오 신호들은 네트워크를 통해 수신된 오디오 스트림일 수 있다. 좌측 및 우측 오디오 신호들은 서클 서라운드 인코딩 정보(Circle Surround encoding information)로 인코딩될 수 있어서, 좌측 및 우측 오디오 신호들은 3개 이상의 출력 신호들을 생성할 수 있다. 다른 실시예에서, 좌측 및 우측 신호들은 초기에 모노폰(monophone)("모노")으로부터 합성된다. 다수의 다른 구성들이 가능하다. 또한, 몇몇 실시예들에서, 도 8의 인버스 HRTF들 중 어느 하나는 도 9 및 도 10에서 도시된 수정된 인버스 HRTF 대신 스테레오 확대 시스템(400, 500)에 의해 이용될 수 있다.
V. 용어
여기서 기술된 것들 이외의 다수의 다른 변동들이 본 개시로부터 자명해질 것이다. 예를 들어, 실시예에 의존하여, 여기서 기술된 알고리즘들 중 임의의 것의 특정한 동작들, 이벤트들, 또는 기능들은 상이한 시퀀스로 수행될 수 있고, 모두 함께 부가되고, 합쳐지거나 또는 제외될 수 있다(예를 들어, 모든 기술된 동작들 또는 이벤트들이 알고리즘들의 실행을 위해 필수적인 것은 아님). 또한, 특정한 실시예들에서, 동작들 또는 이벤트들은 예를 들어, 다중-스레딩된 프로세싱, 인터럽트 프로세싱, 또는 다수의 프로세서들 또는 프로세서 코어들을 통해 동시에 또는 순차적이긴 보다 오히려 다른 병렬 아키텍처 상에서 수행될 수 있다. 또한, 상이한 작업들 또는 프로세스들은 함께 기능할 수 있는 상이한 머신들 및/또는 컴퓨팅 시스템들에 의해 수행될 수 있다.
여기서 개시된 실시예들과 관련하여 기술되는 다양한 예시적인 논리 블록들, 모듈들 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 둘의 조합들로서 구현될 수 있다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명확히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들 및 단계들은 그들의 기능성의 견지에서 일반적으로 상술되었다. 이러한 기능성은 특정한 애플리케이션 및 전체 시스템 상에 부과되는 설계 제약들에 의존하여 하드웨어 또는 소프트웨어로서 구현된다. 기술된 기능성은 각각의 특정한 애플리케이션에 대해 다양한 방식들로 구현될 수 있지만, 이러한 구현 판단들은 본 개시의 범위로부터 벗어나는 것으로서 해석되어선 안 된다.
여기서 개시된 실시예들과 관련하여 기술되는 다양한 예시적인 논리 블록들 및 모듈들은 범용 프로세서, 디지털 신호 프로세서(digital signal processor (DSP), 주문형 집적 회로(application specific integrated circuit (ASIC), 필드 프로그래밍 가능한 게이트 어레이(field programmable gate array (FPGA) 또는 다른 프로그래밍 가능한 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 여기서 기술된 기능들을 수행하도록 설계된 이들의 임의의 조합과 같이 기계에 의해 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서이지만, 대안적으로, 프로세서는 제어기, 마이크로제어기, 또는 상태 머신, 이들의 조합들 등일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어에 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다. 여기서 주로 디지털 기술에 관하여 기술되었지만, 프로세서는 또한 주로 아날로그 컴포넌트들을 포함할 수 있다. 예를 들어, 여기서 기술된 신호 프로세싱 알고리즘 중 임의의 것은 아날로그 회로에서 구현될 수 있다. 컴퓨팅 환경은 몇 개만 말하자면, 마이크로프로세서에 기초한 컴퓨터 시스템, 메인프레인 컴퓨터, 디지털 신호 프로세서, 휴대용 컴퓨팅 디바이스, 개인용 오거나이저(personal organizer), 디바이스 제어기 및 전기기구 내의 계산 엔진을 포함(그러나 이들로 제한되지 않음)하는 임의의 타입의 컴퓨터 시스템을 포함할 수 있다.
여기서 기재된 실시예들과 관련하여 기술되는 방법, 프로세서, 또는 알고리즘의 단계들은 직접 하드웨어로, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이들 둘의 조합으로 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 제거 가능한 디스크, CD-ROM, 또는 임의의 다른 형태의 비-일시적인 컴퓨터-판독 가능한 저장 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하고 저장 매체에 정보를 기록할 수 있도록 프로세서에 결합될 수 있다. 대안적으로 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 ASIC에 상주할 수 있다. ASIC는 사용자 단말에 상주할 수 있다. 대안적으로, 프로세서 및 저장 매체는 사용자 단말에 이산 컴포넌트들로서 상주할 수 있다.
다른 것들 중에서도, "할 수 있다", "예를 들어," 등과 같이 여기서 이용되는 조건적인 언어는, 달리 구체적으로 언급되지 않거나, 이용되는 맥락 내에서 이해되지 않으면, 일반적으로 특정한 실시예들이 특정한 특징들, 엘리먼트들 및/또는 상태들을 포함하는 반면에 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하기 위해 의도되었다. 따라서, 이러한 조건적인 언어는 특징들, 엘리먼트들 및/또는 상태들이 하나 이상의 실시예들에 대해 요구되는 임의의 방식 내에 있다는 것, 또는 이들 특징들, 엘리먼트들 및/또는 상태들이 포함되거나 또는 임의의 특정한 실시예에서 수행되는지 여부를, 다른 입력 또는 프롬프팅(prompting) 없이 또는 이들을 통해 결정하기 위한 로직을 하나 이상의 실시예들이 반드시 포함한다는 것을 암시하도록 의도하는 것은 아니다. 용어 "포함하는", "갖는" 등은 동의어이며, 열린 자세(open-ended fashion)로 포괄적으로 이용되며, 부가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, 용어 "또는"은 그의 포괄적 의미(그의 배타적 의미가 아님)로 이용되어서, 예를 들어, 엘리먼트들의 리스트에 연결하는데 이용될 때, 용어 "또는"은 리스트 내의 엘리먼트들 중 하나, 일부 또는 모두 다를 의미한다.
위에 상세된 설명이 다양한 실시예들에 적용되는 것으로서 신규한 특징들을 도시하고 기술하고 지목하였지만, 예시된 디바이스들 또는 알고리즘들의 형태 및 상세들에서의 다양한 생략들, 대체들 및 변경들이 본 개시의 사상으로부터 벗어남 없이 이루어질 수 있다는 것이 이해될 것이다. 인지될 바와 같이, 여기서 기술된 본 발명의 특정한 실시예들은 몇몇 특징들이 다른 것과 별개로 이용되거나 실시될 수 있기 때문에, 여기서 기술된 특징들 및 이익들 모두를 제공하지 않는 형태 내에서 실현될 수 있다.

Claims (19)

  1. 한 쌍의 라우드스피커(loudspeaker)들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대(widening)하기 위한 방법에 있어서,
    좌측 오디오 신호 및 우측 오디오 신호를 포함하는 스테레오 오디오 신호들을 수신하는 단계;
    상기 좌측 오디오 신호를 좌측 채널에, 그리고 상기 우측 오디오 신호를 우측 채널에 공급하는 단계;
    크로스토크(crosstalk)를 완전히 소거하기 위해, 어떠한 계산-집약적 헤드-관련 전달 함수들(head-related transfer functions; HRTF들)도 이용하지 않고 한 쌍의 라우드스피커들과 청취자의 대향하는 귀들 사이에 크로스토크의 효과들을 완화하도록 어쿠스틱 다이폴 원리들(acoustic dipole principles)을 이용하는 단계 ― 상기 이용하는 단계는, 하나 이상의 프로세서들에 의해서,
    적어도 (a) 인버팅된 좌측 오디오 신호를 생성하도록 상기 좌측 오디오 신호를 인버팅하고 (b) 상기 인버팅된 좌측 오디오 신호를 상기 우측 오디오 신호와 조합함으로써, 제 1 어쿠스틱 다이폴을 근사하는(approximating) 단계, 및
    적어도 (a) 인버팅된 우측 오디오 신호를 생성하도록 상기 우측 오디오 신호를 인버팅하고 (b) 상기 인버팅된 우측 오디오 신호를 상기 좌측 오디오 신호와 조합함으로써, 제 2 어쿠스틱 다이폴을 근사하는 단계를 포함함 ― ;
    좌측 필터링된 신호를 생성하도록 상기 제 1 어쿠스틱 다이폴에 단일의 제 1 인버스(inverse) HRTF를 적용하는 단계 ― 상기 제 1 인버스 HRTF는 상기 좌측 채널로부터 상기 우측 채널로의 제 1 크로스토크 경로보단 상기 좌측 채널의 제 1 직접 경로에서 적용됨 ― ;
    우측 필터링된 신호를 생성하도록 상기 제 2 어쿠스틱 다이폴에 단일의 제 2 인버스 HRTF 함수를 적용하는 단계 ― 상기 제 2 인버스 HRTF는 상기 우측 채널로부터 상기 좌측 채널로의 제 2 크로스토크 경로보단 상기 우측 채널의 제 2 직접 경로에서 적용되고, 상기 제 1 및 제 2 인버스 HRTF들은 상기 좌측 및 우측 필터링된 신호들 사이의 양 귀간 도달 강도 차이(interaural intensity difference; IID)를 제공함 ― ; 및
    상기 한 쌍의 라우드스피커들 상에서 재생을 위해 상기 좌측 및 우측 필터링된 신호들을 공급함으로써 상기 좌측 및 우측 라우드스피커들 사이의 실제 거리보다 더 넓게 상기 청취자에 의해 지각되도록 구성되는 스테레오 영상을 제공하는 단계
    를 포함하는, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 제 1 어쿠스틱 다이폴을 근사하는 단계는 상기 좌측 오디오 신호에 제 1 지연을 적용하는 단계를 더 포함하고, 상기 제 2 어쿠스틱 다이폴을 근사하는 단계는 상기 우측 오디오 신호에 제 2 지연을 적용하는 단계를 더 포함하고, 상기 제 1 및 제 2 지연들은 양 귀간 도달 시간 지연(interaural time delay; ITD)을 제공하도록 선택되는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    강화된 좌측 오디오 신호를 생성하도록 상기 좌측 오디오 신호를 강화하는 단계;
    강화된 좌측 필터링된 오디오 신호를 생성하도록 상기 강화된 좌측 오디오 신호를 상기 좌측 필터링된 신호와 조합하는 단계;
    강화된 우측 오디오 신호를 생성하도록 상기 우측 오디오 신호를 강화하는 단계; 및
    강화된 우측 필터링된 오디오 신호를 생성하도록 상기 강화된 우측 오디오 신호를 상기 우측 필터링된 신호와 조합하는 단계
    를 더 포함하는, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 공급하는 단계를 수행하기 이전에 상기 좌측 및 우측 필터링된 신호들을 강화하는 단계를 더 포함하는, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 방법.
  5. 제 4 항에 있어서,
    상기 강화하는 단계는,
    제 2 좌측 필터링된 신호를 생성하도록 상기 좌측 필터링된 신호를 고역 통과 필터링(high-pass filtering)함으로써 상기 좌측 필터링된 신호에서 저 주파수 왜곡을 감소시키는 단계; 및
    제 2 우측 필터링된 신호를 생성하도록 상기 우측 필터링된 신호를 고역 통과 필터링함으로써 상기 우측 필터링된 신호에서 저 주파수 왜곡을 감소시키는 단계
    를 포함하는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 강화하는 단계는, 더 높은 주파수들의 클리핑(clipping)을 방지하도록 더 높은 주파수들보다 비교적 더 많이 더 낮은 주파수들을 부스팅(boost)하기 위해 상기 좌측 및 우측 오디오 신호들 중 하나 또는 둘 다의 동적 범위 압축(dynamic range compression)을 수행하는 단계를 더 포함하는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 동적 범위 압축을 수행하는 단계는 상기 좌측 및 우측 필터링된 신호들 중 하나 또는 둘 다에 제한기(limiter)를 적용하는 단계를 포함하는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 방법.
  8. 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 시스템에 있어서,
    어쿠스틱 다이폴 컴포넌트(acoustic dipole component); 및
    양 귀간 도달 강도 차이(interaural intensity difference; IID) 컴포넌트
    를 포함하고,
    상기 어쿠스틱 다이폴 컴포넌트는,
    좌측 오디오 신호 및 우측 오디오 신호를 수신하고,
    적어도 (a) 인버팅된 좌측 오디오 신호를 생성하도록 상기 좌측 오디오 신호를 인버팅하고, (b) 상기 인버팅된 좌측 오디오 신호를 상기 우측 오디오 신호와 조합함으로써, 제 1 어쿠스틱 다이폴을 근사하고,
    적어도 (a) 인버팅된 우측 오디오 신호를 생성하도록 상기 우측 오디오 신호를 인버팅하고, (b) 상기 인버팅된 우측 오디오 신호를 상기 좌측 오디오 신호와 조합함으로써, 제 2 어쿠스틱 다이폴을 근사하도록 구성되고,
    상기 양 귀간 도달 강도 차이(IID) 컴포넌트는,
    좌측 필터링된 신호를 생성하도록 단일의 제 1 듣기 응답 함수(hearing response function)를 상기 제 1 어쿠스틱 다이폴에 적용하고,
    우측 필터링된 신호를 생성하도록 단일의 제 2 듣기 응답 함수를 상기 제 2 어쿠스틱 다이폴에 적용하도록 구성되고,
    상기 시스템은 좌측 및 우측 라우드스피커들에 의한 재생을 위해 좌측 및 우측 필터링된 신호들을 공급함으로써 상기 좌측 및 우측 라우드스피커들 간의 실제 거리보다 더 넓게 청취자에 의해 지각되도록 구성되는 스테레오 영상을 제공하도록 구성되고,
    상기 어쿠스틱 다이폴 컴포넌트 및 상기 IID 컴포넌트는 하나 이상의 프로세서들에 의해 구현되도록 구성되는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 시스템.
  9. 제 8 항에 있어서,
    상기 공급하는 단계는, 강화된 좌측 및 우측 신호들을 제공하기 위해 상기 좌측 및 우측 필터링된 신호들을 강화하고 상기 좌측 및 우측 라우드스피커들의 각각의 스피커들에 상기 강화된 좌측 및 우측 신호들을 제공하도록 구성되는 적어도 하나의 강화 컴포넌트에 상기 좌측 및 우측 필터링된 신호들을 제공하는 단계를 포함하는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 시스템.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 제 1 및 제 2 인버스 HRTF들은 실질적으로 동일한 스펙트럼 특성들을 갖는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 시스템.
  11. 제 10 항에 있어서,
    상기 제 1 및 제 2 인버스 HRTF들은 이득 면에서만 상이한 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 시스템.
  12. 제 11 항에 있어서,
    상기 이득 면에서의 차이는 좌측 및 우측 라우드스피커들 간의 양 귀간 도달 강도 차이를 제공하는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 시스템.
  13. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 어쿠스틱 다이폴 컴포넌트는 또한 상기 좌측 및 우측 오디오 신호들 중 하나 또는 둘 다에 이득을 인가하도록 구성되는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 시스템.
  14. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 어쿠스틱 다이폴 컴포넌트 및 상기 IID 컴포넌트는 상기 좌측 및 우측 라우드스피커들 간의 크로스토크를 완전히 소거함 없이 스테레오 분리(stereo separation)를 제공하도록 구성되는 것인, 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 시스템.
  15. 하나 이상의 프로세서에 의해 실행될 때 한 쌍의 라우드스피커들을 통해 재생되는 스테레오 오디오 신호들을 가상으로 확대하기 위한 컴포넌트들을 구현하는 프로세서 실행 가능한 명령들이 저장되어 있는 비-일시적인 물리적 전자 저장장치에 있어서,
    상기 컴포넌트들은,
    어쿠스틱 다이폴 컴포넌트; 및
    양 귀간 도달 강도 차이(IID) 컴포넌트
    를 포함하고,
    상기 어쿠스틱 다이폴 컴포넌트는,
    좌측 오디오 신호 및 우측 오디오 신호를 수신하고,
    적어도 (a) 인버팅된 좌측 오디오 신호를 생성하도록 상기 좌측 오디오 신호를 인버팅하고, (b) 상기 인버팅된 좌측 오디오 신호를 상기 우측 오디오 신호와 조합함으로써, 제 1 시뮬레이팅된 어쿠스틱 다이폴을 형성하고,
    적어도 (a) 인버팅된 우측 오디오 신호를 생성하도록 상기 우측 오디오 신호를 인버팅하고, (b) 상기 인버팅된 우측 오디오 신호를 상기 좌측 오디오 신호와 조합함으로써 제 2 시뮬레이팅된 어쿠스틱 다이폴을 형성하도록 구성되고,
    상기 양 귀간 도달 강도 차이(IID) 컴포넌트는,
    좌측 필터링된 신호를 생성하도록 단일의 제 1 인버스 헤드-관련 전달 함수(HRTF)를 상기 제 1 시뮬레이팅된 어쿠스틱 다이폴에 적용하고,
    우측 필터링된 신호를 생성하도록 단일의 제 2 인버스 HRTF를 상기 제 2 시뮬레이팅된 어쿠스틱 다이폴에 적용하도록 구성되는 것인, 비-일시적인 물리적 전자 저장장치.
  16. 제 15 항에 있어서,
    상기 제 1 및 제 2 인버스 HRTF는 동일한 인버스 HRTF인 것인, 비-일시적인 물리적 전자 저장장치.
  17. 제 15 항 또는 제 16 항에 있어서,
    상기 제 1 및 제 2 인버스 HRTF는 동일한 인버스 HRTF로부터 유도되는 것인, 비-일시적인 물리적 전자 저장장치.
  18. 제 18 항에 있어서,
    상기 IID 컴포넌트는 상기 제 1 인버스 HRTF에 상기 제 2 인버스 HRTF에 대한 것과 상이한 이득을 할당함으로써 양 귀간 도달 강도 차이를 생성하도록 구성되는 것인, 비-일시적인 물리적 전자 저장장치.
  19. 제 15 항 내지 제 18 항 중 어느 한 항에 있어서,
    하나 이상의 물리적 프로세서들과 조합되는, 비-일시적인 물리적 전자 저장장치.
KR1020137012525A 2010-10-20 2011-10-20 스테레오 영상 확대 시스템 KR101827032B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40511510P 2010-10-20 2010-10-20
US61/405,115 2010-10-20
PCT/US2011/057135 WO2012054750A1 (en) 2010-10-20 2011-10-20 Stereo image widening system

Publications (2)

Publication Number Publication Date
KR20130128396A true KR20130128396A (ko) 2013-11-26
KR101827032B1 KR101827032B1 (ko) 2018-02-07

Family

ID=45973047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137012525A KR101827032B1 (ko) 2010-10-20 2011-10-20 스테레오 영상 확대 시스템

Country Status (7)

Country Link
US (1) US8660271B2 (ko)
EP (1) EP2630808B1 (ko)
JP (1) JP5964311B2 (ko)
KR (1) KR101827032B1 (ko)
CN (1) CN103181191B (ko)
HK (1) HK1181948A1 (ko)
WO (1) WO2012054750A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012094335A1 (en) 2011-01-04 2012-07-12 Srs Labs, Inc. Immersive audio rendering system
WO2013040738A1 (en) * 2011-09-19 2013-03-28 Huawei Technologies Co., Ltd. A method and an apparatus for generating an acoustic signal with an enhanced spatial effect
EP2856775B1 (en) * 2012-05-29 2018-04-25 Creative Technology Ltd. Stereo widening over arbitrarily-positioned loudspeakers
CN104956689B (zh) * 2012-11-30 2017-07-04 Dts（英属维尔京群岛）有限公司 用于个性化音频虚拟化的方法和装置
US9407999B2 (en) * 2013-02-04 2016-08-02 University of Pittsburgh—of the Commonwealth System of Higher Education System and method for enhancing the binaural representation for hearing-impaired subjects
WO2014164361A1 (en) 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
US10425747B2 (en) * 2013-05-23 2019-09-24 Gn Hearing A/S Hearing aid with spatial signal enhancement
CN113630711B (zh) 2013-10-31 2023-12-01 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
EP3081013A1 (en) * 2013-12-09 2016-10-19 Huawei Technologies Co., Ltd. Apparatus and method for enhancing a spatial perception of an audio signal
JP6251809B2 (ja) * 2013-12-13 2017-12-20 アンビディオ，インコーポレイテッド サウンドステージ拡張用の装置及び方法
CN105282679A (zh) * 2014-06-18 2016-01-27 中兴通讯股份有限公司 一种提升立体声音的音质的方法、装置和终端
US10224759B2 (en) 2014-07-15 2019-03-05 Qorvo Us, Inc. Radio frequency (RF) power harvesting circuit
US10566843B2 (en) * 2014-07-15 2020-02-18 Qorvo Us, Inc. Wireless charging circuit
US9380387B2 (en) 2014-08-01 2016-06-28 Klipsch Group, Inc. Phase independent surround speaker
US10559970B2 (en) 2014-09-16 2020-02-11 Qorvo Us, Inc. Method for wireless charging power control
EP3048809B1 (en) * 2015-01-21 2019-04-17 Nxp B.V. System and method for stereo widening
WO2016126907A1 (en) 2015-02-06 2016-08-11 Dolby Laboratories Licensing Corporation Hybrid, priority-based rendering system and method for adaptive audio
JP6318376B2 (ja) 2015-10-16 2018-05-09 パナソニックＩｐマネジメント株式会社 音源分離装置および音源分離方法
US10225657B2 (en) 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
EP3406085B1 (en) * 2016-01-19 2024-05-01 Boomcloud 360, Inc. Audio enhancement for head-mounted speakers
TWI584274B (zh) 2016-02-02 2017-05-21 美律實業股份有限公司 具逆相位衰減特性之共腔體式背箱設計揚聲器系統的音源訊號處理方法及其裝置
CN106060719A (zh) * 2016-05-31 2016-10-26 维沃移动通信有限公司 一种终端音频输出的控制方法及终端
CN105933818B (zh) * 2016-07-07 2018-10-16 音曼（北京）科技有限公司 耳机三维声场重建的幻象中置声道的实现方法及系统
CN107645689B (zh) * 2016-07-22 2021-01-26 展讯通信（上海）有限公司 消除声音串扰的方法、装置及语音编解码芯片
KR102580502B1 (ko) * 2016-11-29 2023-09-21 삼성전자주식회사 전자장치 및 그 제어방법
US10750307B2 (en) 2017-04-14 2020-08-18 Hewlett-Packard Development Company, L.P. Crosstalk cancellation for stereo speakers of mobile devices
CN107040849A (zh) * 2017-04-27 2017-08-11 广州天逸电子有限公司 一种提高立体声感的方法及装置
CN108966110B (zh) * 2017-05-19 2020-02-14 华为技术有限公司 声音信号处理方法、装置及系统、终端及存储介质
US10313820B2 (en) 2017-07-11 2019-06-04 Boomcloud 360, Inc. Sub-band spatial audio enhancement
US10511909B2 (en) 2017-11-29 2019-12-17 Boomcloud 360, Inc. Crosstalk cancellation for opposite-facing transaural loudspeaker systems
US10764704B2 (en) 2018-03-22 2020-09-01 Boomcloud 360, Inc. Multi-channel subband spatial processing for loudspeakers
CN110675889A (zh) 2018-07-03 2020-01-10 阿里巴巴集团控股有限公司 音频信号处理方法、客户端和电子设备
CN113545109B (zh) 2019-01-08 2023-11-03 瑞典爱立信有限公司 用于虚拟现实的有效空间异质音频元素
CN110554520B (zh) * 2019-08-14 2020-11-20 歌尔股份有限公司 一种智能头戴设备
US10841728B1 (en) 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
CN114125650B (zh) * 2020-08-27 2023-05-09 华为技术有限公司 音频数据的处理方法、装置及音箱系统

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034983A (en) 1987-10-15 1991-07-23 Cooper Duane H Head diffraction compensated stereo system
US4893342A (en) 1987-10-15 1990-01-09 Cooper Duane H Head diffraction compensated stereo system
JPH0292200A (ja) * 1988-09-29 1990-03-30 Toshiba Corp 立体音再生装置
JPH07105999B2 (ja) * 1990-10-11 1995-11-13 ヤマハ株式会社 音像定位装置
CA2056110C (en) 1991-03-27 1997-02-04 Arnold I. Klayman Public address intelligibility system
JP2973764B2 (ja) * 1992-04-03 1999-11-08 ヤマハ株式会社 音像定位制御装置
DE69322805T2 (de) 1992-04-03 1999-08-26 Yamaha Corp Verfahren zur Steuerung von Tonquellenposition
US5333201A (en) 1992-11-12 1994-07-26 Rocktron Corporation Multi dimensional sound circuit
US5319713A (en) 1992-11-12 1994-06-07 Rocktron Corporation Multi dimensional sound circuit
DE69421385T2 (de) 1993-03-18 2000-04-06 Central Research Lab Ltd Tonverarbeitung für mehrere kanäle
GB9324240D0 (en) * 1993-11-25 1994-01-12 Central Research Lab Ltd Method and apparatus for processing a bonaural pair of signals
JPH08102999A (ja) * 1994-09-30 1996-04-16 Nissan Motor Co Ltd 立体音響再生装置
JPH08111899A (ja) * 1994-10-13 1996-04-30 Matsushita Electric Ind Co Ltd 両耳聴装置
US5638452A (en) 1995-04-21 1997-06-10 Rocktron Corporation Expandable multi-dimensional sound circuit
US5661808A (en) 1995-04-27 1997-08-26 Srs Labs, Inc. Stereo enhancement system
US5850453A (en) 1995-07-28 1998-12-15 Srs Labs, Inc. Acoustic correction apparatus
GB9603236D0 (en) 1996-02-16 1996-04-17 Adaptive Audio Ltd Sound recording and reproduction systems
US6009178A (en) 1996-09-16 1999-12-28 Aureal Semiconductor, Inc. Method and apparatus for crosstalk cancellation
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
US6307941B1 (en) 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
US6668061B1 (en) * 1998-11-18 2003-12-23 Jonathan S. Abel Crosstalk canceler
GB9726338D0 (en) * 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
JPH11252698A (ja) * 1998-02-26 1999-09-17 Yamaha Corp 音場処理装置
GB2342830B (en) 1998-10-15 2002-10-30 Central Research Lab Ltd A method of synthesising a three dimensional sound-field
JP2000287294A (ja) * 1999-03-31 2000-10-13 Matsushita Electric Ind Co Ltd 音響装置
US6424719B1 (en) 1999-07-29 2002-07-23 Lucent Technologies Inc. Acoustic crosstalk cancellation system
US7031474B1 (en) 1999-10-04 2006-04-18 Srs Labs, Inc. Acoustic correction apparatus
GB0015419D0 (en) 2000-06-24 2000-08-16 Adaptive Audio Ltd Sound reproduction systems
JP2005223713A (ja) * 2004-02-06 2005-08-18 Sony Corp 音響再生装置、音響再生方法
US7536017B2 (en) 2004-05-14 2009-05-19 Texas Instruments Incorporated Cross-talk cancellation
US20050271214A1 (en) * 2004-06-04 2005-12-08 Kim Sun-Min Apparatus and method of reproducing wide stereo sound
WO2005120133A1 (en) * 2004-06-04 2005-12-15 Samsung Electronics Co., Ltd. Apparatus and method of reproducing wide stereo sound
KR100677119B1 (ko) * 2004-06-04 2007-02-02 삼성전자주식회사 와이드 스테레오 재생 방법 및 그 장치
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
KR100588218B1 (ko) 2005-03-31 2006-06-08 엘지전자 주식회사 모노 보강 스테레오 시스템 및 그 신호 처리 방법
EP1938661B1 (en) 2005-09-13 2014-04-02 Dts Llc System and method for audio processing
KR100739762B1 (ko) * 2005-09-26 2007-07-13 삼성전자주식회사 크로스토크 제거 장치 및 그를 적용한 입체 음향 생성 시스템
JPWO2007086524A1 (ja) * 2006-01-26 2009-06-25 日本電気株式会社 電子機器及び音響再生方法
TW200735687A (en) 2006-03-09 2007-09-16 Sunplus Technology Co Ltd Crosstalk cancellation system with sound quality preservation
JP5265517B2 (ja) 2006-04-03 2013-08-14 ディーティーエス・エルエルシー オーディオ信号処理
KR100718160B1 (ko) 2006-05-19 2007-05-14 삼성전자주식회사 혼선제거장치 및 방법
EP2122489B1 (en) 2007-03-09 2012-06-06 Srs Labs, Inc. Frequency-warped audio equalizer
US8229143B2 (en) * 2007-05-07 2012-07-24 Sunil Bharitkar Stereo expansion with binaural modeling
US20090086982A1 (en) 2007-09-28 2009-04-02 Qualcomm Incorporated Crosstalk cancellation for closely spaced speakers
WO2009086174A1 (en) 2007-12-21 2009-07-09 Srs Labs, Inc. System for adjusting perceived loudness of audio signals
US8295498B2 (en) 2008-04-16 2012-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for producing 3D audio in systems with closely spaced speakers
US8538042B2 (en) 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
JP5635097B2 (ja) 2009-08-14 2014-12-03 ディーティーエス・エルエルシーＤｔｓ Ｌｌｃ オーディオオブジェクトを適応的にストリーミングするためのシステム
US8204742B2 (en) 2009-09-14 2012-06-19 Srs Labs, Inc. System for processing an audio signal to enhance speech intelligibility

Also Published As

Publication number Publication date
EP2630808A4 (en) 2016-01-20
EP2630808A1 (en) 2013-08-28
KR101827032B1 (ko) 2018-02-07
JP2013544046A (ja) 2013-12-09
EP2630808B1 (en) 2019-01-02
CN103181191B (zh) 2016-03-09
HK1181948A1 (zh) 2013-11-15
WO2012054750A1 (en) 2012-04-26
CN103181191A (zh) 2013-06-26
JP5964311B2 (ja) 2016-08-03
US8660271B2 (en) 2014-02-25
US20120099733A1 (en) 2012-04-26

Similar Documents

Publication Publication Date Title
KR101827032B1 (ko) 스테레오 영상 확대 시스템
US9949053B2 (en) Method and mobile device for processing an audio signal
US10057703B2 (en) Apparatus and method for sound stage enhancement
US9398391B2 (en) Stereo widening over arbitrarily-configured loudspeakers
JP5955862B2 (ja) 没入型オーディオ・レンダリング・システム
AU747377B2 (en) Multidirectional audio decoding
CN108632714B (zh) 扬声器的声音处理方法、装置及移动终端
US9607622B2 (en) Audio-signal processing device, audio-signal processing method, program, and recording medium
JP2015507412A (ja) バスエンハンスメントシステム
US9510124B2 (en) Parametric binaural headphone rendering
EP2484127A1 (en) An apparatus
US20090103737A1 (en) 3d sound reproduction apparatus using virtual speaker technique in plural channel speaker environment
US11457329B2 (en) Immersive audio rendering
US9794717B2 (en) Audio signal processing apparatus and audio signal processing method
CN109923877B (zh) 对立体声音频信号进行加权的装置和方法
JP6512767B2 (ja) 音響処理装置および方法、並びにプログラム
CN113645531A (zh) 一种耳机虚拟空间声回放方法、装置、存储介质及耳机
US11373662B2 (en) Audio system height channel up-mixing
US11039266B1 (en) Binaural reproduction of surround sound using a virtualized line array
JP2011015118A (ja) 音像定位処理装置、音像定位処理方法およびフィルタ係数設定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant