KR102511818B1 - 3d 오디오 가상화를 위한 오디오 신호 사전 설정 - Google Patents

3d 오디오 가상화를 위한 오디오 신호 사전 설정 Download PDF

Info

Publication number
KR102511818B1
KR102511818B1 KR1020207014199A KR20207014199A KR102511818B1 KR 102511818 B1 KR102511818 B1 KR 102511818B1 KR 1020207014199 A KR1020207014199 A KR 1020207014199A KR 20207014199 A KR20207014199 A KR 20207014199A KR 102511818 B1 KR102511818 B1 KR 102511818B1
Authority
KR
South Korea
Prior art keywords
sound
sound source
binaural
audio
audio sources
Prior art date
Application number
KR1020207014199A
Other languages
English (en)
Other versions
KR20200089670A (ko
Inventor
대경 노
Original Assignee
디티에스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디티에스, 인코포레이티드 filed Critical 디티에스, 인코포레이티드
Publication of KR20200089670A publication Critical patent/KR20200089670A/ko
Application granted granted Critical
Publication of KR102511818B1 publication Critical patent/KR102511818B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

본 명세서에 설명된 방법 및 장치는 3D 오디오 가상화를 위해 크로스 토크 제거에 직면한 기술적 문제에 대한 기술적 솔루션을 제공한다. 하나의 기술적 솔루션은 크로스 토크 제거기 특성에 기초하여 그리고 3D 공간의 의도된 위치에 있는 음원의 특성에 기초하여 오디오 신호를 사전 설정하는 것을 포함한다. 이러한 기술적 솔루션을 제공하기 위해, 본 명세서에 설명된 시스템 및 방법은 오디오 가상화기 및 오디오 사전 설정기를 포함한다. 특히, 오디오 가상화기는 크로스 토크 제거기를 포함하고, 오디오 사전 설정기는 크로스 토크 제거 시스템의 특성에 기초하여 그리고 바이노럴 합성 시스템의 특성 또는 공간에서의 의도된 입력 소스 위치에 기초하여 오디오 신호를 사전 설정한다. 이러한 솔루션은 3D 음원 가상화의 전체 정확도를 향상시키고 잘못된 지역화, 채널 간 사운드 레벨 불균형 또는 의도된 것보다 높거나 낮은 사운드 레벨과 같은 오디오 아티팩트를 줄이거나 제거한다.

Description

3D 오디오 가상화를 위한 오디오 신호 사전 설정
[관련 출원 및 우선권 주장] 본 출원은 2017년 10월 18일자에 출원되고 발명의 명칭이 "라우드 스피커를 사용한 3D 오디오 가상화를 위한 오디오 신호 사전 설정을 위한 시스템 및 방법(System and Method for Preconditioning Audio Signal for 3D Audio Virtualization Using Loudspeakers)"인 미국 가출원 제 62/573,966 호에 관련되고 이의 우선권을 주장하며, 이 가출원의 전체 내용은 본 명세서에 참조로 포함된다.
[기술분야] 본 명세서에 설명된 기술은 라우드 스피커 사운드 재생 시스템을 위해 오디오 신호 사전 설정을 위한 시스템 및 방법에 관한 것이다.
개별 오디오 신호가 다양한 위치에서 발생한다(예를 들어, 3D 공간에 배치된다)는 인식을 생성하기 위해 3D 오디오 가상화기가 사용될 수 있다. 여러 개의 라우드 스피커를 사용하거나 헤드폰을 사용하여 오디오를 재생할 때 3D 오디오 가상화기를 사용할 수 있다. 3D 오디오 가상화를 위한 일부 기술에는 머리 전달 함수(head-related transfer function; HRTF) 바이노럴 합성 및 크로스 토크 제거가 포함된다. HRTF 바이노럴 합성은 귀, 머리 및 기타 물리적 특징부에 의해 사운드가 변환되는 방식을 재현함으로써 헤드폰 또는 스피커 3D 가상화에 사용된다. 라우드 스피커의 사운드가 양쪽 귀에 전송되기 때문에, 크로스 토크 제거가 사용되어 한쪽 라우드 스피커의 사운드가 반대쪽 귀에 도달하는 것, 예를 들어, 왼쪽 스피커의 사운드가 오른쪽 귀에 도달하는 것을 줄이거나 제거한다. 라우드 스피커의 오디오 신호가 3D 공간에 올바르게 배치된다는 인식을 생성하기 위해, 음원을 청취자의 귀에서 중화할 수 있도록 크로스 토크 제거가 사용되어 사운드의 음향 크로스 토크를 줄이거나 제거한다. 크로스 토크 제거의 목표는 음원이 의도된 위치에서 나오는 것처럼 3D 공간에 바이노럴 합성된 또는 바이노럴 녹음된 사운드를 표현하는 것이지만, 실질적 문제(예를 들어, 청취자의 위치, 음향 환경이 크로스 토크 제거 설계와 상이함)가 있어, 완벽한 크로스 토크 제거를 달성하는 것은 매우 어렵다. 이 불완전한 크로스 토크 제거는 부정확한 가상화를 야기하며 이는 지역화 오류, 바람직하지 않은 음색 및 음량 변화, 잘못된 사운드 필드 표현을 생성할 수 있다. 3D 오디오 가상화를 위한 향상된 크로스 토크 제거가 필요하다.
도 1은 예시적인 실시예에 따른, 원래의 음량 막대 그래프를 포함한다.
도 2는 예시적인 실시예에 따른, 제 1 크로스 토크 제거 음량 막대 그래프를 포함한다.
도 3은 예시적인 실시예에 따른, 제 2 CTC 음량 막대 그래프를 포함한다.
도 4는 예시적인 실시예에 따른, CTC 음량 선 그래프를 포함한다.
도 5는 예시적인 실시예에 따른, 사전 설정 라우드 스피커 기반 가상화 시스템의 블록도이다.
도 6은 예시적인 실시예에 따른, 사전 설정 및 바이노럴 합성 라우드 스피커 기반 가상화 시스템의 블록도이다.
도 7은 예시적인 실시예에 따른, 사전 설정 및 바이노럴 합성 파라메트릭 가상화 시스템의 블록도이다.
본 주제는 3D 오디오 가상화를 위해 크로스 토크 제거에 직면한 기술적 문제에 대한 기술적 솔루션을 제공한다. 하나의 기술적 솔루션은 크로스 토크 제거기 특성에 기초하여 그리고 3D 공간의 의도된 위치에 있는 음원의 특성에 기초하여 오디오 신호를 사전 설정하는 것을 포함한다. 이러한 솔루션은 3D 음원 가상화의 전체 정확도를 향상시키고 잘못된 지역화, 채널 간 사운드 레벨 불균형 또는 의도된 것보다 높거나 낮은 사운드 레벨과 같은 오디오 아티팩트를 줄이거나 제거한다. 크로스 토크 제거 이외에도, 이러한 기술적 솔루션은 또한 향상된 바이노럴 사운드 표현을 제공하며, 이는 바이노럴 합성 및 크로스 토크 제거의 결합된 음색 및 음량 차이를 정확하게 설명한다. 향상된 바이노럴 사운드 표현 이외에도, 이러한 솔루션은 임의의 환경에서 임의의 재생 시스템을 사용하는 임의의 청취자에게 실질적으로 향상된 크로스 토크 제거기를 제공함으로써 더 큰 유연성을 제공한다. 예를 들어, 이러한 기술적 솔루션은 개인의 머리 전달 함수(HRTF)의 변동, (예를 들어, 확산 또는 자유 필드에서) 오디오 재생의 변동, 청취자 위치 또는 청취자 수의 변동 또는 재생 장치의 스펙트럼 응답의 변동에 관계없이 실질적으로 향상된 크로스 토크 제거를 제공한다.
이러한 기술적 솔루션을 제공하기 위해, 본 명세서에 설명된 시스템 및 방법은 오디오 가상화기 및 오디오 사전 설정기를 포함한다. 특히, 오디오 가상화기는 크로스 토크 제거기를 포함하고, 오디오 사전 설정기는 크로스 토크 제거 시스템의 특성에 기초하여 그리고 바이노럴 합성 시스템의 특성 또는 공간에서의 의도된 입력 소스 위치에 기초하여 오디오 신호를 사전 설정한다. 본 명세서에 설명된 시스템 및 방법은 다양한 장점을 제공한다. 일 실시예에서, 향상된 가상화 정확도를 달성하는 것에 더하여, 본 명세서에 설명된 이러한 시스템 및 방법은 상이한 바이노럴 합성 필터를 위해 크로스 토크 제거기 또는 그 필터를 재설계할 필요가 없고, 대신 수정 필터를 사용하여 탭 및 이득을 구현한다. 다른 장점은 계산 리소스 및 시스템 설계 복잡도의 확장성을 포함하고, 예를 들어, 다수의 입력 채널을 수정하는 능력, 리소스가 제한된 경우 그룹 값을 수정하는 능력, 또는 다수의 주파수 빈에 기초하여 주파수 의존성 또는 주파수 독립성을 수정하는 능력을 제공한다. 추가적인 장점은 오디오 소스 위치, 필터 응답 또는 CTC 방위각 또는 고도를 고려하는 것을 포함하는 다양한 특정의 조직적인 크로스 토크 제거기를 솔루션에 제공할 수 있는 능력이다. 추가적인 장점은 다양한 재생 장치 또는 재생 환경에 대해 유연한 튜닝을 제공할 수 있는 능력이며, 여기서 유연한 튜닝은 사용자, OEM(Original Equipment Manufacturer) 또는 다른 당사자에 의해 제공될 수 있다. 이러한 시스템 및 방법은 텔레비전, 사운드바, 블루투스 스피커, 랩톱, 태블릿, 데스크톱 컴퓨터, 휴대 전화 및 기타 오디오/비디오(A/V) 제품을 포함하는 다양한 오디오/비디오(A/V) 제품에서 3D 오디오 가상화를 위한 향상된 크로스 토크 제거를 제공할 수 있다.
첨부된 도면들과 관련하여 아래에 설명되는 상세한 설명은 본 주제의 현재 바람직한 실시예의 설명으로서 의도되며, 본 주제가 구성되거나 사용될 수 있는 유일한 형태를 나타내기 위한 것이 아니다. 본 설명은 예시된 실시예와 관련하여 본 주제를 개발하고 동작시키기 위한 기능 및 순서 단계를 설명한다. 동일하거나 동등한 기능 및 순서는 본 주제의 범위 내에 포함되도록 의도된 상이한 실시예들에 의해 달성될 수 있음을 이해해야 한다. 또한 관계 용어(예를 들어, 제 1, 제 2)의 사용은 이러한 엔티티들 간의 실제 관계 또는 순서를 반드시 요구하거나 암시하지 않고 단지 다른 엔티티와 구별하기 위해 사용되는 것으로 이해된다.
도 1은 예시적인 실시예에 따른, 원래의 음량 막대 그래프(100)를 포함한다. 그래프(100)는 다양한 오디오 소스 방향(예를 들어, 스피커 위치)에 대한 원래의 (예를 들어, 처리되지 않은) 음원 레벨을 도시한다. 각각의 오디오 소스 방향은 청취자와 관련하여 방위각과 고도로 설명된다. 예를 들어, 0° 방위각 및 0° 고도의 중심 채널(110)은 청취자 바로 앞에 있는 반면, 상단 후면 좌측 채널(120)은 145° 방위각(예를 들어, 중심으로부터 반 시계 방향으로 145° 회전) 및 45° 고도에 있다. 음원 레벨은 각각의 위치로부터의 자연적 사운드 레벨을 나타내며, 이는 B-가중치를 사용하여 각각의 방위각 및 고도의 동측 및 반대측 HRTF의 전력 합에 기초하여 계산된다. 다양한 위치에서의 사운드 레벨 간의 차이는 각각의 오디오 소스 방향으로부터의 음색 및 사운드 레벨이 상이하기 때문이다. 도 1에 도시된 처리되지 않은 음원 레벨과 대조적으로, 바이노럴 합성된 사운드는 도 2 및 도 3에 도시된 바와 같이 상이한 관련 음색 및 사운드 레벨을 가질 것이다.
도 2는 예시적인 실시예에 따른, 제 1 크로스 토크 제거 음량 막대 그래프(200)를 포함한다. 각각의 음원 위치에 대해, 그래프(200)는 원래의 음량(210) 및 크로스 토크 제거(CTC)를 사용한 음량(220)을 모두 나타낸다. 그래프(200)에 도시된 실시예에서, 크로스 토크 제거(220)는 15° 방위각 및 0° 고도에 있는 장치에 설계된다. 도 2에서 알 수 있는 바와 같이, 원래의 음량(210)은 각각의 음원 위치마다 CTC를 사용한 음량(220)보다 크다. 그래프(200)는 음향 크로스 토크 제거를 포함하지 않으므로 음량 차이는 청취자의 귀에서 정확히 동일하지 않을 것이지만, 각각의 음원에 대한 음량 차이는 다양한 음원 위치에 따라 다르다는 것이 여전히 분명하다. 이와 같은 음량 차이의 변화는 단일 이득 보상이 상이한 음원 위치에 있는 음원의 음량을 원래의 음량 레벨로 다시 복구하지 못함을 보여준다. 예를 들어, 9dB의 오디오 이득은 중심 채널에 대한 음량을 복구할 수 있지만, 9dB의 동일한 오디오 이득은 그래프(200)에 도시된 다른 채널을 과보상할 것이다.
도 3은 예시적인 실시예에 따른, 제 2 CTC 음량 막대 그래프(300)를 포함한다. 도 2와 유사하게, 도 3은 원래의 음량(310) 및 CTC를 사용한 음량(320)을 모두 도시하지만, 여기서 CTC를 사용한 음량(320)은 5° 방위각 및 0° 고도에 있는 장치에 설계된다. 도 2에서와 같이, 원래의 음량(310)은 각각의 음원 위치마다 CTC를 사용한 음량(320)보다 크고, 원래의 음량(310)과 크로스 토크 제거를 사용한 음량(320) 간의 변화는 각각의 음원 위치마다 상이하므로, 단일 이득 보상은 상이한 음원 위치에 있는 음원의 음량을 복구하지 못한다.
단일 이득 보상의 사용과 달리, 본 명세서에 설명된 기술적 솔루션은 별도의 위치에서 CTC 시스템과 음원의 특성을 모두 고려한 보상을 제공한다. 이러한 솔루션은 3D 공간에서 원래의 음원의 음색과 음량을 유지하면서 음색과 음량의 차이를 보상한다. 특히, 이러한 솔루션은 크로스 토크 제거기 이전에 수행되는 신호 사전 설정(예를 들어, 필터 사전 설정)을 포함하며, 여기서 신호 사전 설정은 크로스 토크 제거기의 스펙트럼 응답에 그리고 바이노럴 합성 시스템의 특성 또는 공간에서의 의도된 입력 소스 위치에 모두 기초한다. 이러한 신호 사전 설정은 전체 시스템의 사전 분석을 포함하여 바이노럴 합성 및 크로스 토크 제거 특성을 결정한다. 이러한 사전 분석은 오디오 신호 처리 중에 또는 오디오 신호 처리 전에 적용되는 CTC 데이터 세트를 생성한다. 다양한 실시예들에서, 생성된 CTC 데이터 세트는 바이노럴 합성 필터 또는 시스템에 내장될 수 있다. 예를 들어, 바이노럴 합성 시스템은 생성된 CTC 데이터 세트에 기초하여 바이노럴 합성 및 크로스 토크 제거 특성을 구현하는 하드웨어 및 소프트웨어 장치의 조합을 포함할 수 있다. 사전 설정을 위한 이러한 사전 분석의 예는 도 4와 관련하여 설명된 바와 같은 음량 분석이다.
도 4는 예시적인 실시예에 따른, CTC 음량 선 그래프(400)를 포함한다. 위에서 설명된 바와 같이, 각각의 방위각에서의 단일 이득 값은 상이한 의도된 위치에서 상이한 CTC 및 음원에 대한 전력 또는 음량 차이를 정확하게 보상할 수 없다. 선 그래프(400)는 별도의 위치에서 음원에 대한 음량 값의 곡선(예를 들어, 궤적)을 도시한다. 특히, CTC의 방위각이 증가할 때, 음량의 상대적인 변화(예를 들어, 음량 델타)는 일관되지 않는다. 크로스 토크 제거기의 고도 각도 파라미터가 변경될 때, 곡선과 음량 델타도 달라진다. 이러한 비일관성을 해결하기 위한 예시적인 시스템이 아래의 도 6 및 도 7에 도시되어 있다.
도 5는 예시적인 실시예에 따른, 사전 설정 라우드 스피커 기반 가상화 시스템(500)의 블록도이다. 별도의 위치에서 음원 간의 비일관성을 해결하기 위해, 본 솔루션은 각각의 CTC 필터 Hx(A, E)에 대해 별도의 오프셋 값을 사용하며, 여기서 각각의 CTC 필터 Hx(A, E)는 방위각 "A"와 고도 "E"에서의 각각의 음원에 대응한다. 도 5에 도시된 바와 같이, 시스템(500)은 CTC 필터 Hx(A, E)(530)를 생성하기 위해 이득 보상 어레이(520) 내에서 CTC 시스템 및 신호 입력 특성(510)을 사용한다. 이득 보상 어레이(520)는 음색을 보상하기 위해 주파수 의존적 이득 보상 어레이를 포함할 수 있거나, 주파수 독립적 이득 보상 어레이를 포함할 수 있다. CTC 필터 Hx(A, E)(530)는 아래의 수학식 1에 도시된 바와 같이 보상된 신호 SRC'(550)를 생성하기 위해 대응하는 이득 G에 의해 각각의 소스 신호 SRC(540)를 수정할 수 있다:
[수학식 1]
SRC'(AS, ES) = SRC(AS, ES) x G(AS, ES, AC, EC) x WK
SRC'(550)는 크로스 토크 제거(560)에 제공되는 보상된 신호이고, SRC(540)는 원래의 음원이고, G는 정량화된 전력 차이(예를 들어, 이득)로서, 음원의 주어진 방위각 및 고도(예를 들어, AS 및 ES)와 CTC의 주어진 방위각 및 고도(예를 들어, AC 및 EC)에 대한 것이며, WK는 가중치이다. 입력되는 보상된 신호 SRC'(550)에 기초하여, 크로스 토크 제거(560)는 제 1 및 제 2 출력 사운드 채널을 포함하는 바이노럴 사운드 출력(570)을 생성한다. 크로스 토크 제거(560)는 또한 오디오 특성화 피드백(580)을 이득 보상 어레이(520)에 제공할 수 있으며, 여기서 오디오 특성화 피드백(580)은 CTC 방위각 및 고도 정보, 각각의 라우드 스피커(예를 들어, 음원)까지의 거리, 청취자 위치 또는 다른 정보를 포함할 수 있다. 이득 보상 어레이(520)는 CTC 필터 Hx(A, E)(530)에 의해 제공되는 보상을 향상시키기 위해 오디오 특성화 피드백(580)을 사용할 수 있다.
도 6은 예시적인 실시예에 따른, 사전 설정 및 바이노럴 합성 라우드 스피커 기반 가상화 시스템(600)의 블록도이다. 시스템(500)과 유사하게, 시스템(600)은 입력이 CTC 시스템 특성 및 신호 입력의 특성을 기술하는 사전 계산된 데이터 모듈을 사용하는 사전 설정 프로세스를 도시한다. 시스템(500)과 대조적으로, 시스템(600)은 시스템 응답이 공지되도록 추가적인 바이노럴 합성(645)을 포함하며, 여기서 바이노럴 합성은 CTC 시스템 및 신호 입력 특성(610)을 이득 보상 어레이(620)에 제공하여 CTC 필터 Hx(A, E)(630)를 생성한다. 이득 보상 어레이(620)는 음색을 보상하기 위해 주파수 의존적 이득 보상 어레이를 포함할 수 있거나, 주파수 독립적 이득 보상 어레이를 포함할 수 있다. CTC 필터 Hx(A, E)(630)는 수학식 1에 도시된 바와 같이 보상된 신호 SRC'(650)를 생성하기 위해 대응하는 이득 G에 의해 각각의 소스 신호 SRC(640)를 수정할 수 있다. 입력되는 보상된 신호 SRC'(650)에 기초하여, 크로스 토크 제거(660)는 제 1 및 제 2 출력 사운드 채널을 포함하는 바이노럴 사운드 출력(670)을 생성한다. 크로스 토크 제거(660)는 또한 오디오 특성화 피드백(680)을 다시 이득 보상 어레이(620)에 제공할 수 있으며, 여기서 이득 보상 어레이(620)는 오디오 특성화 피드백(680)을 사용하여 CTC 필터 Hx(A, E)(630)에 의해 제공되는 보상을 향상시킬 수 있다.
도 7은 예시적인 실시예에 따른, 사전 설정 및 바이노럴 합성 파라메트릭 가상화 시스템(700)의 블록도이다. 시스템(500) 및 시스템(600)은 각각의 입력 신호마다 단일 이득을 포함하지만, 시스템(700)은 음량에 대한 이득 설정을 위한 추가 옵션을 제공한다. 특히, 시스템(700)은 파라미터 보상 어레이(720) 및 장치 또는 재생 튜닝 파라미터(725)를 포함할 수 있다. 파라미터 보상 어레이(720)는 음색을 보상하기 위해 주파수 의존적 파라미터 보상 어레이를 포함할 수 있거나, 주파수 독립적 파라미터 보상 어레이를 포함할 수 있다. 재생 튜닝 파라미터(725)는 사용자, 사운드 엔지니어, 마이크로폰 기반 오디오 감사 애플리케이션 또는 다른 입력에 의해 제공될 수 있다. 재생 튜닝 파라미터(725)는 특정 위치에 대한 방 특정 반사를 보상하기 위해 오디오 응답을 수정하는 것과 같이 이득을 튜닝하는 능력을 제공한다. 도 2 및 도 3에 도시된 실시예들에서, 재생 튜닝 파라미터(725)는 원래의 음량(210, 310)과 CTC를 사용한 음량(220, 320) 간의 매칭을 향상시키는 능력을 제공한다. 재생 튜닝 파라미터(725)는 사용자에 의해 직접 제공될 수 있거나(예를 들어, 파라미터를 수정함) 또는 프로그래머 액세스 가능 애플리케이션 프로그래밍 인터페이스(application programming interface; API)를 통해 디지털 신호 프로세서(digital signal processor; DSP) 내에서 구현될 수 있다.
재생 튜닝 파라미터(725)는 수정된 CTC 필터 Hx'(A, E)(730)를 생성하기 위해 사용될 수 있으며, 이는 수학식 1에 도시된 바와 같이 보상된 신호 SRC'(750)를 생성하기 위해 대응하는 이득 G에 의해 각각의 소스 신호 SRC(740)를 수정하기 위해 사용될 수 있다. 입력되는 보상된 신호 SRC'(750)에 기초하여, 크로스 토크 제거(760)는 제 1 및 제 2 출력 사운드 채널을 포함하는 바이노럴 사운드 출력(770)을 생성한다. 크로스 토크 제거(760)는 또한 오디오 특성화 피드백(780)을 다시 파라미터 보상 어레이(720)에 제공할 수 있으며, 여기서 파라미터 보상 어레이(720)는 오디오 특성화 피드백(780)을 사용하여 파라미터 보상 어레이(720)에 의해 제공되는 보상을 향상시킬 수 있다.
본 명세서에 설명된 바와 같이, 오디오 소스는 다수의 오디오 신호(즉, 물리적 사운드를 나타내는 신호)를 포함할 수 있다. 이러한 오디오 신호는 디지털 전자 신호로 표현된다. 이러한 오디오 신호는 아날로그일 수 있지만, 본 주제의 전형적인 실시예들은 시계열의 디지털 바이트 또는 워드와 관련하여 동작할 것이며, 이러한 바이트 또는 워드는 아날로그 신호의 이산 근사치 또는 궁극적으로 물리적 사운드를 형성한다. 이산 디지털 신호는 주기적으로 샘플링된 오디오 파형의 디지털 표현에 해당한다. 균일한 샘플링을 위해, 파형은 관심 주파수에 대해 나이퀴스트 샘플링 이론을 만족시키기에 충분한 속도 이상으로 샘플링되어야 한다. 전형적인 실시예에서, 초당 약 44,100 샘플의 균일한 샘플링 속도(예를 들어, 44.1 kHz)가 사용될 수 있지만, 더 높은 샘플링 속도(예를 들어, 96 kHz, 128 kHz)가 대안적으로 사용될 수 있다. 양자화 방식과 비트 해상도는 표준 디지털 신호 처리 기술에 따라 특정 애플리케이션의 요구 사항을 충족하도록 선택되어야 한다. 본 주제의 기술 및 장치는 전형적으로 다수의 채널에서 상호 의존적으로 적용된다. 예를 들어, "서라운드" 오디오 시스템(예를 들어, 2 개 이상의 채널을 가짐)과 관련하여 사용될 수 있다.
본 명세서에 사용된 "디지털 오디오 신호" 또는 "오디오 신호"는 단순한 수학적 추상화를 설명하는 것이 아니라, 대신 기계 또는 장치에 의해 검출될 수 있는 물리적 매체에 구현되거나 물리적 매체에 의해 운반되는 정보를 나타낸다. 이러한 용어는 기록 또는 전송 신호를 포함하고, 펄스 코드 변조(pulse code modulation; PCM) 또는 다른 인코딩을 포함하는 임의의 형태의 인코딩에 의한 전달을 포함하는 것으로 이해되어야 한다. 출력, 입력 또는 중간 오디오 신호는 미국 특허 제 5,974,380 호; 제 5,978,762 호; 및 제 6,487,535 호에 설명된 바와 같이, MPEG, ATRAC, AC3 또는 DTS, Inc.의 독점적 방법을 포함하여 다양한 공지된 방법 중 임의의 방법으로 인코딩 또는 압축될 수 있다. 당업자에게 명백한 바와 같이, 특정 압축 또는 인코딩 방법을 수용하기 위해 계산의 일부 수정이 필요할 수 있다.
소프트웨어에서, 오디오 "코덱"은 주어진 오디오 파일 포맷 또는 스트리밍 오디오 포맷에 따라 디지털 오디오 데이터를 포맷하는 컴퓨터 프로그램을 포함한다. 대부분의 코덱은 퀵타임 플레이어(QuickTime Player), XMMS, 윈앰프(Winamp), 윈도우 미디어 플레이어(Windows Media Player), 프로 로직(Pro Logic) 또는 기타 코덱과 같은 하나 이상의 멀티미디어 플레이어와 인터페이스하는 라이브러리로 구현된다. 하드웨어에서, 오디오 코덱은 아날로그 오디오를 디지털 신호로 인코딩하고 디지털을 다시 아날로그로 디코딩하는 하나 이상의 장치를 나타낸다. 다시 말해서, 공통 클록에서 실행되는 아날로그-디지털 변환기(analog-to-digital converter; ADC)와 디지털-아날로그 변환기(digital-to-analog converter; DAC)를 모두 포함한다.
오디오 코덱은 DVD 플레이어, 블루레이 플레이어(Blu-Ray player), TV 튜너, CD 플레이어, 핸드헬드 플레이어, 인터넷 오디오/비디오 장치, 게임 콘솔, 휴대폰 또는 다른 전자 장치와 같은 소비자 전자 장치에서 구현될 수 있다. 소비자 전자 장치는 중앙 처리 장치(Central Processing Unit; CPU)를 포함하는데, 이는 IBM 파워PC(PowerPC), 인텔 펜티엄(Intel Pentium)(x86) 프로세서 또는 기타 프로세서와 같은 하나 이상의 종래 유형의 프로세서를 나타낼 수 있다. 랜덤 액세스 메모리(Random Access Memory; RAM)가 CPU에 의해 수행된 데이터 처리 동작의 결과를 일시적으로 저장하고, 일반적으로 전용 메모리 채널을 통해 상호 접속된다. 소비자 전자 장치는 또한 하드 드라이브와 같은 영구 저장 장치를 포함할 수 있으며, 이는 또한 입/출력(I/O) 버스를 통해 CPU와 통신한다. 테이프 드라이브, 광 디스크 드라이브 또는 기타 저장 장치와 같은 다른 유형의 저장 장치가 또한 연결될 수 있다. 그래픽 카드가 또한 비디오 버스를 통해 CPU에 연결될 수 있으며, 여기서 그래픽 카드는 디스플레이 데이터를 나타내는 신호를 디스플레이 모니터에 전송한다. 키보드 또는 마우스와 같은 데이터 입력 외부 주변 장치가 USB 포트를 통해 오디오 재생 시스템에 연결될 수 있다. USB 제어기가 USB 포트에 연결된 외부 주변 장치를 위해 CPU에 또는 CPU로부터 데이터 및 명령어를 이동시킨다. 프린터, 마이크로폰, 스피커 또는 기타 장치와 같은 추가 장치가 소비자 전자 장치에 연결될 수 있다.
소비자 전자 장치는 워싱턴 주 레드몬드에 소재한 마이크로소프트(Microsoft Corporation)의 윈도우즈(WINDOWS), 캘리포니아 주 쿠퍼티노에 소재한 애플(Apple, Inc.)의 맥 OS(MAC OS)와 같은 그래픽 사용자 인터페이스(graphical user interface; GUI)를 갖는 운영 체제, 안드로이드(Android)와 같은 모바일 운영 체제를 위해 설계된 다양한 버전의 모바일 GUI 또는 다른 운영 체제를 사용할 수 있다. 소비자 전자 장치는 하나 이상의 컴퓨터 프로그램을 실행할 수 있다. 일반적으로, 운영 체제 및 컴퓨터 프로그램은 컴퓨터 판독 가능 매체에 유형적으로 구현되며, 여기서 컴퓨터 판독 가능 매체는 하드 드라이브를 포함하는 하나 이상의 고정식 또는 이동식 데이터 저장 장치를 포함한다. 운영 체제 및 컴퓨터 프로그램은 모두 CPU에 의한 실행을 위해 앞서 말한 데이터 저장 장치로부터 RAM으로 로딩될 수 있다. 컴퓨터 프로그램은 CPU에 의해 판독되고 실행될 때, CPU로 하여금 본 주제의 단계 또는 특징을 실행하는 단계를 수행하게 하는 명령어를 포함할 수 있다.
오디오 코덱은 다양한 구성 또는 아키텍처를 포함할 수 있다. 이러한 구성 또는 아키텍처는 본 주제의 범위를 벗어나지 않고 쉽게 대체될 수 있다. 당업자는 위에서 설명된 순서가 컴퓨터 판독 가능 매체에서 가장 일반적으로 사용된다는 것을 인식할 것이지만, 본 주제의 범위를 벗어나지 않고 대체될 수 있는 다른 기존 순서가 존재한다.
오디오 코덱의 일 실시예의 요소는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다. 하드웨어로서 구현될 때, 오디오 코덱은 단일 오디오 신호 프로세서 상에서 사용되거나 다양한 처리 컴포넌트들 간에 분배될 수 있다. 소프트웨어로 구현될 때, 본 주제의 실시예의 요소는 필요한 태스크를 수행하기 위한 코드 세그먼트를 포함할 수 있다. 소프트웨어는 바람직하게는 본 주제의 일 실시예에서 설명된 동작을 수행하기 위한 실제 코드를 포함하거나, 동작을 에뮬레이션 또는 시뮬레이션하는 코드를 포함한다. 프로그램 또는 코드 세그먼트는 프로세서 또는 기계 액세스 가능 매체에 저장되거나, 전송 매체를 통해 반송파로 구현된 컴퓨터 데이터 신호(예를 들어, 반송파에 의해 변조된 신호)에 의해 전송될 수 있다. "프로세서 판독 가능 또는 액세스 가능 매체" 또는 "기계 판독 가능 또는 액세스 가능 매체"는 정보를 저장, 전송 또는 전달할 수 있는 임의의 매체를 포함할 수 있다.
프로세서 판독 가능 매체의 예는 전자 회로, 반도체 메모리 장치, 판독 전용 메모리(read only memory; ROM), 플래시 메모리, 소거 가능 프로그램 가능 ROM(erasable programmable ROM; EPROM), 플로피 디스켓, 컴팩트 디스크(CD) ROM, 광 디스크, 하드 디스크, 광섬유 매체, 무선 주파수(RF) 링크 또는 기타 매체를 포함한다. 컴퓨터 데이터 신호는 전자 네트워크 채널, 광섬유, 공기, 전자기, RF 링크 또는 다른 전송 매체와 같은 전송 매체를 통해 전파될 수 있는 임의의 신호를 포함할 수 있다. 코드 세그먼트는 인터넷, 인트라넷 또는 다른 네트워크와 같은 컴퓨터 네트워크를 통해 다운로드될 수 있다. 기계 액세스 가능 매체는 제조 물품으로 구현될 수 있다. 기계 액세스 가능 매체는 기계에 의해 액세스될 때 기계로 하여금 다음에 설명된 동작을 수행하게 하는 데이터를 포함할 수 있다. 여기서 "데이터"라는 용어는 프로그램, 코드, 데이터, 파일 또는 기타 정보를 포함할 수 있는 기계 판독 가능 목적으로 인코딩된 임의의 유형의 정보를 나타낸다.
본 주제의 실시예들은 소프트웨어에 의해 구현될 수 있다. 소프트웨어는 서로 결합된 여러 모듈을 포함할 수 있다. 소프트웨어 모듈은 다른 모듈에 결합되어 변수, 파라미터, 인수, 포인터, 결과, 업데이트된 변수, 포인터 또는 다른 입력 또는 출력을 생성, 전송, 수신 또는 처리한다. 소프트웨어 모듈은 또한 플랫폼에서 실행되는 운영 체제와 상호 작용하기 위한 소프트웨어 드라이버 또는 인터페이스일 수 있다. 소프트웨어 모듈은 또한 하드웨어 장치에 또는 하드웨어 장치로부터 데이터를 구성, 설정, 초기화, 전송 또는 수신하기 위한 하드웨어 드라이버일 수 있다.
본 주제의 실시예들은 일반적으로 흐름도, 흐름 도표, 구조도 또는 블록도로서 도시되는 프로세스로서 설명될 수 있다. 블록도는 순차적인 프로세스로서 동작들을 설명할 수 있지만, 많은 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스의 동작이 완료되면, 프로세스가 종료될 수 있다. 프로세스는 방법, 프로그램, 절차 또는 다른 단계 그룹에 해당할 수 있다.
특정 실시예들이 본 명세서에 도시되고 설명되었지만, 동일한 목적을 달성하기 위해 계산된 임의의 구성이 도시된 특정 실시예들을 대체할 수 있다는 것이 당업자에게 이해될 것이다. 다양한 실시예들은 본 명세서에 설명된 실시예들의 순열 및/또는 조합을 사용한다. 상기 설명은 예시를 위한 것이며 제한적이지 않으며, 본 명세서에 사용된 어구 또는 용어는 설명 목적을 위한 것임을 이해해야 한다. 상기 실시예들 및 다른 실시예들의 조합은 상기 설명을 연구할 때 당업자에게 명백할 것이다. 본 개시는 본 개시의 예시적인 실시예들을 참조하여 상세하게 설명되었으며, 실시예들의 범위를 벗어나지 않고 다양한 변경 및 수정이 이루어질 수 있음이 당업자에게 명백할 것이다. 따라서, 본 개시는 첨부된 청구 범위 및 그 등가물의 범위 내에 있는 한 본 개시의 수정 및 변형을 포함하도록 의도된다. 본 명세서에서 참조되거나 언급된 각각의 특허 및 공개는 개별적으로 그 전체가 본 명세서에 참조로 포함되거나 그 전체가 본 명세서에 설명된 것과 동일한 정도로 참조로 포함된다. 본 명세서의 교시와 상충되는 특허 또는 공개는 본 명세서의 교시에 의해 제어된다.
본 명세서에 개시된 방법 및 장치를 더 잘 설명하기 위해, 여기에 비제한적인 실시예들의 목록이 제공된다.
실시예 1은 몰입형 사운드 시스템으로서, 상기 시스템은: 하나 이상의 프로세서; 및 저장 장치를 포함하고, 저장 장치는 하나 이상의 프로세서에 의해 실행될 때, 복수의 오디오 음원 - 복수의 오디오 음원 각각은 복수의 3 차원 음원 위치 내의 대응하는 의도된 음원 위치와 관련됨 - 을 수신하고, 복수의 3 차원 음원 위치에 기초하여 보상 어레이 출력 - 보상 어레이 출력은 복수의 보상된 이득을 포함함 - 을 생성하며, 복수의 오디오 음원 및 복수의 보상된 이득에 기초하여 복수의 보상된 오디오 소스를 생성하도록 하나 이상의 프로세서를 구성하는 명령어를 포함한다.
실시예 2에서, 실시예 1의 주제는 복수의 보상된 오디오 소스에 기초하여 바이노럴 크로스 토크 제거 출력을 생성하고, 바이노럴 크로스 토크 제거 출력에 기초하여 바이노럴 사운드 출력을 변환하도록 하나 이상의 프로세서를 추가로 구성하는 명령어를 선택적으로 포함한다.
실시예 3에서, 실시예 2의 주제는 음원 메타 데이터를 수신하도록 하나 이상의 프로세서를 추가로 구성하는 명령어를 선택적으로 포함하며, 여기서 복수의 3 차원 음원 위치는 수신된 음원 메타 데이터에 기초한다.
실시예 4에서, 실시예 2 또는 실시예 3 중 어느 하나 이상의 주제는 복수의 오디오 음원은 표준 서라운드 사운드 장치 레이아웃과 관련되고; 복수의 3 차원 음원 위치는 미리 결정된 서라운드 사운드 장치 레이아웃에 기초하는 것을 선택적으로 포함한다.
실시예 5에서, 실시예 4의 주제는 서라운드 사운드를 선택적으로 포함한다.
실시예 6에서, 실시예 1 내지 실시예 5 중 어느 하나 이상의 주제는 튜닝 파라미터를 수신하도록 하나 이상의 프로세서를 추가로 구성하는 명령어를 선택적으로 포함하며, 보상 어레이 출력의 생성은 수신된 튜닝 파라미터에 기초한다.
실시예 7에서, 실시예 6의 주제는 사용자 튜닝 입력을 수신하고, 수신된 사용자 튜닝 입력에 기초하여 튜닝 파라미터를 생성하도록 하나 이상의 프로세서를 추가로 구성하는 명령어를 선택적으로 포함한다.
실시예 8에서, 실시예 1 내지 실시예 7 중 어느 하나 이상의 주제는 보상 어레이 출력의 생성은 음색을 보상하기 위해 주파수 의존적 보상 어레이에 기초하는 것을 선택적으로 포함한다.
실시예 9에서, 실시예 1 내지 실시예 8 중 어느 하나 이상의 주제는 보상 어레이 출력의 생성은 주파수 독립적 보상 어레이에 기초하는 것을 선택적으로 포함한다.
실시예 10에서, 실시예 3 내지 실시예 9 중 어느 하나 이상의 주제는 보상 어레이 출력의 생성은 또한 바이노럴 크로스 토크 제거 출력에 기초하는 것을 선택적으로 포함한다.
실시예 11에서, 실시예 3 내지 실시예 10 중 어느 하나 이상의 주제는 바이노럴 크로스 토크 제거 출력은 CTC 방위각 및 고도 정보를 포함하는 것을 선택적으로 포함한다.
실시예 12에서, 실시예 3 내지 실시예 11 중 어느 하나 이상의 주제는 바이노럴 크로스 토크 제거 출력은 청취자 위치 및 복수의 라우드 스피커 각각에 대한 거리를 포함하는 것을 선택적으로 포함한다.
실시예 13은 몰입형 사운드 방법으로서, 상기 방법은: 복수의 오디오 음원 - 복수의 오디오 음원 각각은 복수의 3 차원 음원 위치 내의 대응하는 의도된 음원 위치와 관련됨 - 을 수신하는 단계, 복수의 3 차원 음원 위치에 기초하여 보상 어레이 출력 - 보상 어레이 출력은 복수의 보상된 이득을 포함함 - 을 생성하는 단계, 및 복수의 오디오 음원 및 복수의 보상된 이득에 기초하여 복수의 보상된 오디오 소스를 생성하는 단계를 포함한다.
실시예 14에서, 실시예 13의 주제는 복수의 보상된 오디오 소스에 기초하여 바이노럴 크로스 토크 제거 출력을 생성하는 단계, 및 바이노럴 크로스 토크 제거 출력에 기초하여 바이노럴 사운드 출력을 변환하는 단계를 선택적으로 포함한다.
실시예 15에서, 실시예 14의 주제는 음원 메타 데이터를 수신하는 단계를 선택적으로 포함하며, 여기서 복수의 3 차원 음원 위치는 수신된 음원 메타 데이터에 기초한다.
실시예 16에서, 실시예 14 또는 실시예 15 중 어느 하나 이상의 주제는 복수의 오디오 음원은 표준 서라운드 사운드 장치 레이아웃과 관련되고; 복수의 3 차원 음원 위치는 미리 결정된 서라운드 사운드 장치 레이아웃에 기초하는 것을 선택적으로 포함한다.
실시예 17에서, 실시예 16의 주제는 서라운드 사운드를 선택적으로 포함한다.
실시예 18에서, 실시예 13 내지 실시예 17 중 어느 하나 이상의 주제는 튜닝 파라미터를 수신하는 단계를 선택적으로 포함하며, 보상 어레이 출력의 생성은 수신된 튜닝 파라미터에 기초한다.
실시예 19에서, 실시예 18의 주제는 사용자 튜닝 입력을 수신하는 단계, 및 수신된 사용자 튜닝 입력에 기초하여 튜닝 파라미터를 생성하는 단계를 선택적으로 포함한다.
실시예 20에서, 실시예 13 내지 실시예 19 중 어느 하나 이상의 주제는 보상 어레이 출력의 생성은 음색을 보상하기 위해 주파수 의존적 보상 어레이에 기초하는 것을 선택적으로 포함한다.
실시예 21에서, 실시예 13 내지 실시예 20 중 어느 하나 이상의 주제는 보상 어레이 출력의 생성은 주파수 독립적 보상 어레이에 기초하는 것을 선택적으로 포함한다.
실시예 22에서, 실시예 15 내지 실시예 21 중 어느 하나 이상의 주제는 보상 어레이 출력의 생성은 또한 바이노럴 크로스 토크 제거 출력에 기초하는 것을 선택적으로 포함한다.
실시예 23에서, 실시예 15 내지 실시예 22 중 어느 하나 이상의 주제는 바이노럴 크로스 토크 제거 출력은 CTC 방위각 및 고도 정보를 포함하는 것을 선택적으로 포함한다.
실시예 24에서, 실시예 15 내지 실시예 23 중 어느 하나 이상의 주제는 바이노럴 크로스 토크 제거 출력은 청취자 위치 및 복수의 라우드 스피커 각각에 대한 거리를 포함하는 것을 선택적으로 포함한다.
실시예 25는 컴퓨팅 시스템에 의해 실행될 때 컴퓨팅 시스템으로 하여금 실시예 13 내지 실시예 24의 방법 중 임의의 방법을 수행하게 하는 명령어를 포함하는 하나 이상의 기계 판독 가능 매체이다.
실시예 26은 실시예 13 내지 실시예 24 중 임의의 방법을 수행하기 위한 수단을 포함하는 장치이다.
실시예 27은 기계 판독 가능 저장 매체로서, 상기 매체는 장치의 프로세서로 실행될 때, 장치로 하여금: 복수의 오디오 음원 - 복수의 오디오 음원 각각은 복수의 3 차원 음원 위치 내의 대응하는 의도된 음원 위치와 관련됨 - 을 수신하고, 복수의 3 차원 음원 위치에 기초하여 보상 어레이 출력 - 보상 어레이 출력은 복수의 보상된 이득을 포함함 - 을 생성하며, 복수의 오디오 음원 및 복수의 보상된 이득에 기초하여 복수의 보상된 오디오 소스를 생성하게 하는 복수의 명령어를 포함한다.
실시예 28에서, 실시예 27의 주제는 장치로 하여금: 복수의 보상된 오디오 소스에 기초하여 바이노럴 크로스 토크 제거 출력을 생성하고, 바이노럴 크로스 토크 제거 출력에 기초하여 바이노럴 사운드 출력을 변환하게 하는 명령어를 선택적으로 포함한다.
실시예 29에서, 실시예 28의 주제는 장치로 하여금: 음원 메타 데이터를 수신하게 하는 명령어를 선택적으로 포함하며, 여기서 복수의 3 차원 음원 위치는 수신된 음원 메타 데이터에 기초한다.
실시예 30에서, 실시예 28 또는 실시예 29 중 어느 하나 이상의 주제는 복수의 오디오 음원은 표준 서라운드 사운드 장치 레이아웃과 관련되고; 복수의 3 차원 음원 위치는 미리 결정된 서라운드 사운드 장치 레이아웃에 기초하는 것을 선택적으로 포함한다.
실시예 31에서, 실시예 30의 주제는 서라운드 사운드를 선택적으로 포함한다.
실시예 32에서, 실시예 27 내지 실시예 31 중 어느 하나 이상의 주제는 장치로 하여금: 튜닝 파라미터를 수신하게 하는 명령어를 선택적으로 포함하며, 보상 어레이 출력의 생성은 수신된 튜닝 파라미터에 기초한다.
실시예 33에서, 실시예 32의 주제는 장치로 하여금: 사용자 튜닝 입력을 수신하고, 수신된 사용자 튜닝 입력에 기초하여 튜닝 파라미터를 생성하게 하는 명령어를 선택적으로 포함한다.
실시예 34에서, 실시예 27 내지 실시예 33 중 어느 하나 이상의 주제는 보상 어레이 출력의 생성은 음색을 보상하기 위해 주파수 의존적 보상 어레이에 기초하는 것을 선택적으로 포함한다.
실시예 35에서, 실시예 27 내지 실시예 34 중 어느 하나 이상의 주제는 보상 어레이 출력의 생성은 주파수 독립적 보상 어레이에 기초하는 것을 선택적으로 포함한다.
실시예 36에서, 실시예 29 내지 실시예 35 중 어느 하나 이상의 주제는 보상 어레이 출력의 생성은 또한 바이노럴 크로스 토크 제거 출력에 기초하는 것을 선택적으로 포함한다.
실시예 37에서, 실시예 29 내지 실시예 36 중 어느 하나 이상의 주제는 바이노럴 크로스 토크 제거 출력은 CTC 방위각 및 고도 정보를 포함하는 것을 선택적으로 포함한다.
실시예 38에서, 실시예 29 내지 실시예 37 중 어느 하나 이상의 주제는 바이노럴 크로스 토크 제거 출력은 청취자 위치 및 복수의 라우드 스피커 각각에 대한 거리를 포함하는 것을 선택적으로 포함한다.
실시예 39는 몰입형 사운드 시스템으로서, 상기 시스템은: 복수의 오디오 음원 - 복수의 오디오 음원 각각은 복수의 3 차원 음원 위치 내의 대응하는 의도된 음원 위치와 관련됨 - 을 수신하는 수단, 복수의 3 차원 음원 위치에 기초하여 보상 어레이 출력 - 보상 어레이 출력은 복수의 보상된 이득을 포함함 - 을 생성하는 수단, 및 복수의 오디오 음원 및 복수의 보상된 이득에 기초하여 복수의 보상된 오디오 소스를 생성하는 수단을 포함한다.
실시예 40은 기계에 의해 실행될 때 기계로 하여금 실시예 1 내지 실시예 39의 임의의 동작을 수행하게 하는 명령어를 포함하는 하나 이상의 기계 판독 가능 매체이다.
실시예 41은 실시예 1 내지 실시예 39 중 임의의 동작을 수행하기 위한 수단을 포함하는 장치이다.
실시예 42는 실시예 1 내지 실시예 39 중 임의의 실시예의 동작을 수행하기 위한 시스템이다.
실시예 43은 실시예 1 내지 실시예 39 중 임의의 실시예의 동작을 수행하기 위한 방법이다.
상기 상세한 설명은 상세한 설명의 일부를 형성하는 첨부 도면에 대한 참조를 포함한다. 도면은 예시로서 특정 실시예들을 도시한다. 이러한 실시예들은 본 명세서에서 "예"로도 지칭된다. 이러한 예는 도시되거나 설명된 것 외에 추가로 요소를 포함할 수 있다. 더욱이, 주제는 본 명세서에 도시되거나 설명된 특정 예 (또는 이의 하나 이상의 양태)와 관련하여, 또는 다른 예 (또는 이의 하나 이상의 양태)와 관련하여 도시되거나 설명된 요소 (또는 이의 하나 이상의 양태)의 임의의 조합 또는 순열을 포함할 수 있다.
본 문서에서, 용어 부정관사는 특허 문서에서 일반적으로 사용되는 바와 같이, "적어도 하나" 또는 "하나 이상"의 다른 사례 또는 사용과 무관하게 하나 이상을 포함하기 위해 사용된다. 본 문서에서, 용어 "또는"은 달리 지시되지 않는 한, 비배타적이거나 "A 또는 B"가 "A이지만 B가 아닌", "B이지만 A가 아닌" 및 "A 및 B"를 포함하는 것을 나타내기 위해 사용된다. 본 문서에서, 용어 "포함하는" 및 "어떤 점에서"는 개개의 용어 "구성하는" 및 "여기서"의 알기 쉬운 영어의 동등한 의미로 사용된다. 또한, 다음의 청구 범위에서, 용어 "포함하는" 및 "구성하는"은 개방형, 즉 이러한 용어 뒤에 열거된 것 외에 추가로 요소를 포함하는 시스템, 장치, 물품, 조성물, 제제 또는 공정이며, 청구 범위에서 여전히 해당 청구 범위의 범위에 속하는 것으로 간주된다. 또한, 다음의 청구 범위에서, "제 1", "제 2" 및 "제 3" 등의 용어는 단지 라벨로서 사용되며, 이 객체에 수치적 요건을 부과하도록 의도되지 않는다.
상기 설명은 예시적인 것이며 제한적이지 않다. 예를 들어, 앞서 설명된 예 (또는 이의 하나 이상의 양태)는 서로 결합하여 사용될 수 있다. 상기 설명을 검토할 때 다른 실시예들이 당업자에 의해 사용될 수 있다. 독자가 기술적 개시의 본질을 신속하게 확인할 수 있도록 요약이 제공된다. 요약은 청구 범위의 범위 또는 의미를 해석하거나 제한하기 위해 사용되지 않을 것이라는 이해와 함께 제출된다. 상기 상세한 설명에서, 다양한 특징들이 함께 그룹화되어 개시를 간소화할 수 있다. 이는 청구되지 않은 개시된 특징이 임의의 청구 범위에 필수적임을 의도하는 것으로 해석되어서는 안 된다. 오히려, 주제는 특정 개시된 실시예의 모든 특징보다 적을 수 있다. 따라서, 다음의 청구 범위는 상세한 설명에 포함되며, 각각의 청구 범위는 그 자체가 별도의 실시예를 주장하고, 이러한 실시예들은 다양한 조합 또는 순열로 서로 결합될 수 있는 것으로 고려된다. 범위는 이러한 청구 범위에 부여되는 등가물의 전체 범위와 함께 첨부된 청구 범위를 참조하여 결정되어야 한다.

Claims (20)

  1. 몰입형 사운드 시스템에 있어서,
    하나 이상의 프로세서; 및
    저장 장치
    를 포함하고, 상기 저장 장치는, 상기 하나 이상의 프로세서에 의해 실행될 때,
    복수의 오디오 음원 - 상기 복수의 오디오 음원 각각은 복수의 3 차원 음원 위치 내의 대응하는 의도된 음원 위치와 관련됨 - 을 수신하고;
    상기 복수의 3 차원 음원 위치에 기초하여 보상 어레이 출력 - 상기 보상 어레이 출력은 복수의 보상된 이득을 포함함 - 을 생성하고;
    상기 복수의 오디오 음원 및 상기 복수의 보상된 이득에 기초하여 복수의 보상된 오디오 소스를 생성하고;
    상기 복수의 보상된 오디오 소스에 기초하여 바이노럴 크로스 토크(binaural crosstalk) 제거 출력을 생성하고 - 상기 복수의 보상된 오디오 소스는 바이노럴 크로스 토크 제거에 대한 입력 신호로서 제공됨 - ;
    상기 바이노럴 크로스 토크 제거 출력에 기초하여 바이노럴 사운드 출력을 변환하도록
    상기 하나 이상의 프로세서를 구성하는 명령어를 포함하는 것인, 몰입형 사운드 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 명령어는 또한,
    음원 메타 데이터를 수신하도록 상기 하나 이상의 프로세서를 구성하며, 상기 복수의 3 차원 음원 위치는 상기 수신된 음원 메타 데이터에 기초하는 것인, 몰입형 사운드 시스템.
  4. 제 1 항에 있어서,
    상기 복수의 오디오 음원은 표준 서라운드 사운드 장치 레이아웃과 관련되고;
    상기 복수의 3 차원 음원 위치는 미리 결정된 서라운드 사운드 장치 레이아웃에 기초하는 것인, 몰입형 사운드 시스템.
  5. 제 4 항에 있어서,
    상기 표준 서라운드 사운드 장치 레이아웃은 5.1 서라운드 사운드, 7.1 서라운드 사운드, 10.2 서라운드 사운드, 11.1 서라운드 사운드, 및 22.2 서라운드 사운드 중 적어도 하나를 포함하는 것인, 몰입형 사운드 시스템.
  6. 제 1 항에 있어서,
    상기 명령어는 또한, 튜닝 파라미터를 수신하도록 상기 하나 이상의 프로세서를 구성하며, 상기 보상 어레이 출력의 생성은 상기 수신된 튜닝 파라미터에 기초하는 것인, 몰입형 사운드 시스템.
  7. 제 6 항에 있어서,
    상기 명령어는 또한,
    사용자 튜닝 입력을 수신하고;
    상기 수신된 사용자 튜닝 입력에 기초하여 튜닝 파라미터를 생성하도록
    상기 하나 이상의 프로세서를 구성하는 것인, 몰입형 사운드 시스템.
  8. 제 1 항에 있어서,
    상기 보상 어레이 출력의 생성은 음색(timbre)을 보상하기 위해 주파수 의존적 보상 어레이에 기초하는 것인, 몰입형 사운드 시스템.
  9. 제 3 항에 있어서,
    상기 보상 어레이 출력의 생성은 또한 상기 바이노럴 크로스 토크 제거 출력에 기초하는 것인, 몰입형 사운드 시스템.
  10. 제 3 항에 있어서,
    상기 바이노럴 크로스 토크 제거 출력은 CTC 방위각 및 고도 정보를 포함하는 것인, 몰입형 사운드 시스템.
  11. 제 3 항에 있어서,
    상기 바이노럴 크로스 토크 제거 출력은 청취자 위치 및 복수의 라우드 스피커 각각에 대한 거리를 포함하는 것인, 몰입형 사운드 시스템.
  12. 몰입형 사운드 방법에 있어서,
    복수의 오디오 음원 - 상기 복수의 오디오 음원 각각은 복수의 3 차원 음원 위치 내의 대응하는 의도된 음원 위치와 관련됨 - 을 수신하는 단계;
    상기 복수의 3 차원 음원 위치에 기초하여 보상 어레이 출력 - 상기 보상 어레이 출력은 복수의 보상된 이득을 포함함 - 을 생성하는 단계;
    상기 복수의 오디오 음원 및 상기 복수의 보상된 이득에 기초하여 복수의 보상된 오디오 소스를 생성하는 단계;
    상기 복수의 보상된 오디오 소스에 기초하여 바이노럴 크로스 토크 제거 출력을 생성하는 단계 - 상기 복수의 보상된 오디오 소스는 바이노럴 크로스 토크 제거에 대한 입력 신호로서 제공됨 - ; 및
    상기 바이노럴 크로스 토크 제거 출력에 기초하여 바이노럴 사운드 출력을 변환하는 단계
    를 포함하는, 몰입형 사운드 방법.
  13. 삭제
  14. 제 12 항에 있어서,
    음원 메타 데이터를 수신하는 단계
    를 더 포함하고,
    상기 복수의 3 차원 음원 위치는 상기 수신된 음원 메타 데이터에 기초하는 것인, 몰입형 사운드 방법.
  15. 제 12 항에 있어서,
    상기 복수의 오디오 음원은 표준 서라운드 사운드 장치 레이아웃과 관련되고;
    상기 복수의 3 차원 음원 위치는 미리 결정된 서라운드 사운드 장치 레이아웃에 기초하는 것인, 몰입형 사운드 방법.
  16. 제 12 항에 있어서,
    튜닝 파라미터를 수신하는 단계
    를 더 포함하고,
    상기 보상 어레이 출력의 생성은 상기 수신된 튜닝 파라미터에 기초하는 것인, 몰입형 사운드 방법.
  17. 제 16 항에 있어서,
    사용자 튜닝 입력을 수신하는 단계; 및
    상기 수신된 사용자 튜닝 입력에 기초하여 튜닝 파라미터를 생성하는 단계
    를 더 포함하는, 몰입형 사운드 방법.
  18. 기계 판독 가능 저장 매체에 있어서,
    장치의 프로세서로 실행될 때, 상기 장치로 하여금,
    복수의 오디오 음원 - 상기 복수의 오디오 음원 각각은 복수의 3 차원 음원 위치 내의 대응하는 의도된 음원 위치와 관련됨 - 을 수신하는 동작;
    상기 복수의 3 차원 음원 위치에 기초하여 보상 어레이 출력 - 상기 보상 어레이 출력은 복수의 보상된 이득을 포함함 - 을 생성하는 동작;
    상기 복수의 오디오 음원 및 상기 복수의 보상된 이득에 기초하여 복수의 보상된 오디오 소스를 생성하는 동작;
    상기 복수의 보상된 오디오 소스에 기초하여 바이노럴 크로스 토크 제거 출력을 생성하는 동작 - 상기 복수의 보상된 오디오 소스는 바이노럴 크로스 토크 제거에 대한 입력 신호로서 제공됨 - ; 및
    상기 바이노럴 크로스 토크 제거 출력에 기초하여 바이노럴 사운드 출력을 변환하는 동작
    을 수행하게 하는 복수의 명령어를 포함하는, 기계 판독 가능 저장 매체.
  19. 제 18 항에 있어서,
    상기 명령어는 상기 장치로 하여금,
    상기 복수의 보상된 오디오 소스에 기초하여 바이노럴 크로스 토크 제거 출력을 생성하고;
    상기 바이노럴 크로스 토크 제거 출력에 기초하여 바이노럴 사운드 출력을 변환하게
    하는 것인, 기계 판독 가능 저장 매체.
  20. 제 18 항에 있어서,
    상기 명령어는 상기 장치로 하여금, 튜닝 파라미터를 수신하게 하며, 상기 보상 어레이 출력의 생성은 상기 수신된 튜닝 파라미터에 기초하는 것인, 기계 판독 가능 저장 매체.
KR1020207014199A 2017-10-18 2018-10-18 3d 오디오 가상화를 위한 오디오 신호 사전 설정 KR102511818B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762573966P 2017-10-18 2017-10-18
US62/573,966 2017-10-18
PCT/US2018/056524 WO2019079602A1 (en) 2017-10-18 2018-10-18 PRECONDITIONING AUDIO SIGNAL FOR 3D AUDIO VIRTUALIZATION

Publications (2)

Publication Number Publication Date
KR20200089670A KR20200089670A (ko) 2020-07-27
KR102511818B1 true KR102511818B1 (ko) 2023-03-17

Family

ID=66096192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207014199A KR102511818B1 (ko) 2017-10-18 2018-10-18 3d 오디오 가상화를 위한 오디오 신호 사전 설정

Country Status (6)

Country Link
US (1) US10820136B2 (ko)
EP (1) EP3698555B1 (ko)
JP (1) JP7345460B2 (ko)
KR (1) KR102511818B1 (ko)
CN (1) CN111587582B (ko)
WO (1) WO2019079602A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102511818B1 (ko) 2017-10-18 2023-03-17 디티에스, 인코포레이티드 3d 오디오 가상화를 위한 오디오 신호 사전 설정
US10869152B1 (en) * 2019-05-31 2020-12-15 Dts, Inc. Foveated audio rendering
US11341952B2 (en) 2019-08-06 2022-05-24 Insoundz, Ltd. System and method for generating audio featuring spatial representations of sound sources
CN113645531B (zh) * 2021-08-05 2024-04-16 高敬源 一种耳机虚拟空间声回放方法、装置、存储介质及耳机
GB2609667A (en) * 2021-08-13 2023-02-15 British Broadcasting Corp Audio rendering
CN113660569A (zh) * 2021-08-17 2021-11-16 上海月猫科技有限公司 一种基于高音质网红麦克风的共享音频技术
CN117119358B (zh) * 2023-10-17 2024-01-19 武汉市聚芯微电子有限责任公司 一种声像偏侧的补偿方法、装置、电子设备及存储设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US20160134987A1 (en) * 2014-11-11 2016-05-12 Google Inc. Virtual sound systems and methods

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666424A (en) 1990-06-08 1997-09-09 Harman International Industries, Inc. Six-axis surround sound processor with automatic balancing and calibration
US6243476B1 (en) 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
AU735233B2 (en) * 1997-06-19 2001-07-05 British Telecommunications Public Limited Company Sound reproduction system
GB2340005B (en) * 1998-07-24 2003-03-19 Central Research Lab Ltd A method of processing a plural channel audio signal
GB2342830B (en) * 1998-10-15 2002-10-30 Central Research Lab Ltd A method of synthesising a three dimensional sound-field
US7231054B1 (en) 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
US20030007648A1 (en) 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
KR20050060789A (ko) * 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
KR100739798B1 (ko) * 2005-12-22 2007-07-13 삼성전자주식회사 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치
EP1858296A1 (en) * 2006-05-17 2007-11-21 SonicEmotion AG Method and system for producing a binaural impression using loudspeakers
US9154897B2 (en) * 2011-01-04 2015-10-06 Dts Llc Immersive audio rendering system
EP2503800B1 (en) * 2011-03-24 2018-09-19 Harman Becker Automotive Systems GmbH Spatially constant surround sound
JP2013110682A (ja) 2011-11-24 2013-06-06 Sony Corp 音響信号処理装置、音響信号処理方法、プログラム、および、記録媒体
WO2013149867A1 (en) 2012-04-02 2013-10-10 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
US9826328B2 (en) 2012-08-31 2017-11-21 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
WO2014035902A2 (en) 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation Reflected and direct rendering of upmixed content to individually addressable drivers
US9756446B2 (en) * 2013-03-14 2017-09-05 Apple Inc. Robust crosstalk cancellation using a speaker array
EP2830335A3 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
EP3050322B1 (en) * 2013-10-31 2018-04-11 Huawei Technologies Co., Ltd. System and method for evaluating an acoustic transfer function
KR102511818B1 (ko) 2017-10-18 2023-03-17 디티에스, 인코포레이티드 3d 오디오 가상화를 위한 오디오 신호 사전 설정

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US20160134987A1 (en) * 2014-11-11 2016-05-12 Google Inc. Virtual sound systems and methods

Also Published As

Publication number Publication date
JP7345460B2 (ja) 2023-09-15
CN111587582A (zh) 2020-08-25
US20190116451A1 (en) 2019-04-18
JP2021500803A (ja) 2021-01-07
US10820136B2 (en) 2020-10-27
EP3698555C0 (en) 2023-08-23
WO2019079602A1 (en) 2019-04-25
EP3698555A1 (en) 2020-08-26
EP3698555A4 (en) 2021-06-02
EP3698555B1 (en) 2023-08-23
KR20200089670A (ko) 2020-07-27
CN111587582B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
KR102511818B1 (ko) 3d 오디오 가상화를 위한 오디오 신호 사전 설정
CN112262585B (zh) 环境立体声深度提取
US10820134B2 (en) Near-field binaural rendering
US9832524B2 (en) Configuring television speakers
US9530421B2 (en) Encoding and reproduction of three dimensional audio soundtracks
US20170098452A1 (en) Method and system for audio processing of dialog, music, effect and height objects
CN113348677B (zh) 沉浸式和双耳声音的组合
WO2014105857A1 (en) System and method for variable decorrelation of audio signals
US20070297624A1 (en) Digital audio encoding
CN106463126B (zh) 基于对象的音频系统中的残差编码
WO2018151858A1 (en) Apparatus and method for downmixing multichannel audio signals
CN211654305U (zh) 一种数字音频控制系统
US11443753B2 (en) Audio stream dependency information
Adriaensen AmbDec 0.4. 2 User Manual

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant