KR20160013861A - 오디오 신호 출력 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램 - Google Patents

오디오 신호 출력 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20160013861A
KR20160013861A KR1020157032254A KR20157032254A KR20160013861A KR 20160013861 A KR20160013861 A KR 20160013861A KR 1020157032254 A KR1020157032254 A KR 1020157032254A KR 20157032254 A KR20157032254 A KR 20157032254A KR 20160013861 A KR20160013861 A KR 20160013861A
Authority
KR
South Korea
Prior art keywords
audio signal
gain
speaker
reproduction
distance
Prior art date
Application number
KR1020157032254A
Other languages
English (en)
Inventor
룬유 시
도루 치넨
유키 야마모토
미츠유키 하타나카
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160013861A publication Critical patent/KR20160013861A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324—Details of processing therefor
    • G10L21/034—Automatic adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 기술은, 보다 현장감이 있는 오디오 재생을 행할 수 있도록 하는 오디오 신호 출력 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램에 관한 것이다. 이상의 위치에 배치된 가상의 스피커인 이상 스피커로부터 음성이 출력되는 것으로서 생성된 오디오 신호가 입력된 경우, 이상 스피커의 위치와, 실제의 재생 스피커의 위치와의 거리가 구해진다. 그리고, 구해진 거리에 따른 게인에 의해 오디오 신호의 게인 조정이 행하여지고, 게인 조정 후의 오디오 신호가 재생 스피커로 재생된다. 이에 의해, 이상 스피커와 재생 스피커와의 배치 위치에 어긋남이 있는 경우에도,보다 현장감이 있는 오디오 재생을 실현할 수 있다. 본 기술은, 재생 장치에 적용할 수 있다.

Description

오디오 신호 출력 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램{AUDIO SIGNAL OUTPUT DEVICE AND METHOD, ENCODING DEVICE AND METHOD, DECODING DEVICE AND METHOD, AND PROGRAM}
본 기술은 오디오 신호 출력 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 및 프로그램에 관한 것으로, 특히 보다 현장감이 있는 오디오 재생을 행할 수 있도록 한 오디오 신호 출력 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램에 관한 것이다.
멀티 채널의 오디오 재생에 있어서, 재생측의 스피커 배치는, 음원의 위치와 완전히 일치하는 것이 바람직하지만, 현실에서는 재생측의 스피커의 위치와 음원의 위치가 상이한 경우가 많다.
재생측의 스피커의 배치 위치와 음원의 위치가 상이하면, 스피커의 위치에 없는 음원이 발생하므로, 이러한 음원의 음성을 어떻게 재생하느냐는 중요한 사항이다.
또한, 임의의 위치에 있는 음원의 음성을, 임의의 위치의 스피커로부터 재생하는 방법으로서 VBAP(Vector Base Amplitude Pannning)라고 불리는 기술이 제안되어 있다(예를 들어, 비특허문헌 1 참조).
VBAP에서는, 목표가 되는 음상(音像)의 정위 위치가, 그 정위 위치의 주위에 있는 2개 또는 3개의 스피커의 방향을 향하는 벡터의 선형 합으로 표현된다. 그리고, 그 선형 합에 있어서 각 벡터에 승산되어 있는 계수가, 각 스피커로부터 출력되는 오디오 신호의 게인으로서 사용되어 게인 조정이 행하여지고, 목표가 되는 위치에 음상이 정위하게 된다.
Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997
그런데, 종래에는 음원의 채널수 및 스피커 배치와, 재생측의 스피커의 채널수 및 스피커 배치가, 각각 미리 결정된 채널수와 스피커 배치로 되는 경우, 예를 들어 몇몇 국제 표준 회의에서 권장된 7.1 채널 배치와 5.1 채널 배치, 5.1 채널 배치와 2.1 채널 배치 또는 22.2 채널 배치와 5.1 채널 배치와 같은 경우에 대해서는, 음성의 재생 방법이 제안되어 있다. 이러한 경우, 다운 믹스 처리에 의해 각 스피커로부터 적절한 게인으로 음성이 출력되어, 현장감이 있는 오디오 재생을 실현할 수 있다.
그러나, 상기 이외의 경우나, 음원 위치 또는 스피커 배치 위치가, 미리 정해진 위치로부터 어긋난 위치에 있는 경우에는, 제안되어 있는 재생 방법으로는, 음성을 재생할 수 없거나, 재생은 할 수 있기는 하지만 음질과 음상 정의가 크게 열화되어 버리거나 하게 된다.
또한, 상술한 VBAP에서는 채널 베이스의 음원을 재생하는 경우, 채널 베이스의 음원 음상과 음원이 재생되는 이상(理想)적인 스피커의 위치가 상이한 것이 대부분이므로, 음상 정의가 크게 열화되게 된다.
이상과 같이 상술한 기술에서는, 현장감이 있는 오디오 재생을 실현하는 것이 곤란하였다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 보다 현장감이 있는 오디오 재생을 행할 수 있도록 하는 것이다.
본 기술의 제1 측면의 오디오 신호 출력 장치는, 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리를 계산하는 거리 계산부와, 상기 거리에 기초하여 상기 오디오 신호의 재생 게인을 계산하는 게인 계산부와, 상기 재생 게인에 기초하여 상기 오디오 신호의 게인 조정을 행하는 게인 조정부를 구비한다.
상기 게인 계산부에는, 각 상기 거리에 대한 상기 재생 게인을 얻기 위한 커브 정보에 기초하여, 상기 재생 게인을 계산시킬 수 있다.
상기 커브 정보를, 꺾은선 커브 또는 함수 커브를 나타내는 정보로 할 수 있다.
상기 게인 조정부에는, 상기 이상적인 스피커가 소정의 기준점을 중심으로 하는 단위원 상에 없는 경우, 상기 기준점으로부터 상기 이상적인 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 게인에 의해 상기 오디오 신호의 게인 조정을 더 행하게 할 수 있다.
상기 게인 조정부에는, 상기 기준점으로부터 상기 이상적인 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 지연 시간에 기초하여 상기 오디오 신호를 지연시키도록 할 수 있다.
상기 게인 조정부에는, 상기 실제의 스피커가 소정의 기준점을 중심으로 하는 단위원 상에 없는 경우, 상기 기준점으로부터 상기 실제의 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 게인에 의해 상기 오디오 신호의 게인 조정을 더 행하게 할 수 있다.
상기 게인 조정부에는, 상기 기준점으로부터 상기 실제의 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 지연 시간에 기초하여 상기 오디오 신호를 지연시키도록 할 수 있다.
오디오 신호 출력 장치에는, 이상적인 센터 스피커의 위치와, 상기 실제의 스피커의 위치와의 거리에 기초하여, 상기 재생 게인을 보정하는 게인 보정부를 더 설치할 수 있다.
오디오 신호 출력 장치에는, 상기 재생 게인이 미리 정해진 하한값보다도 작은 경우, 상기 재생 게인을 보정하는 하한값 보정부를 더 설치할 수 있다.
오디오 신호 출력 장치에는, 입력된 상기 오디오 신호에 기초한 입력 음성의 음압의 기대값 및 상기 재생 게인에 기초하여, 상기 재생 게인에 의해 게인 조정된 상기 오디오 신호에 기초한 출력 음성의 전체 파워와, 상기 입력 음성의 전체 파워와의 비를 산출하고, 상기 비에 기초하여 상기 재생 게인을 보정하는 전체 게인 보정부를 더 설치할 수 있다.
본 기술의 제1 측면의 오디오 신호 출력 방법 또는 프로그램은, 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리를 계산하고, 상기 거리에 기초하여 상기 오디오 신호의 재생 게인을 계산하고, 상기 재생 게인에 기초하여 상기 오디오 신호의 게인 조정을 행하는 스텝을 포함한다.
본 기술의 제1 측면에 있어서는, 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리가 계산되고, 상기 거리에 기초하여 상기 오디오 신호의 재생 게인이 계산되고, 상기 재생 게인에 기초하여 상기 오디오 신호의 게인 조정이 행하여진다.
본 기술의 제2 측면의 부호화 장치는, 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보를 생성하는 보정 정보 생성부와, 상기 오디오 신호를 부호화하는 부호화부와, 상기 보정 정보 및 부호화된 상기 오디오 신호를 포함하는 비트 스트림을 출력하는 출력부를 구비한다.
본 기술의 제2 측면의 부호화 방법은, 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보를 생성하고, 상기 오디오 신호를 부호화하고, 상기 보정 정보 및 부호화된 상기 오디오 신호를 포함하는 비트 스트림을 출력하는 스텝을 포함한다.
본 기술의 제2 측면에 있어서는, 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보가 생성되고, 상기 오디오 신호가 부호화되고, 상기 보정 정보 및 부호화된 상기 오디오 신호를 포함하는 비트 스트림이 출력된다.
본 기술의 제3 측면의 복호 장치는, 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보 및 부호화된 상기 오디오 신호를 비트 스트림으로부터 추출하는 추출부와, 상기 부호화된 상기 오디오 신호를 복호하는 복호부와, 복호된 상기 오디오 신호 및 상기 보정 정보를 출력하는 출력부를 구비한다.
상기 보정 정보를, 상기 이상적인 스피커의 위치 정보로 할 수 있다.
상기 보정 정보를, 각 상기 거리에 대한 게인을 얻기 위한 커브 정보로 할 수 있다.
상기 커브 정보를, 꺾은선 커브 또는 함수 커브를 나타내는 정보로 할 수 있다.
본 기술의 제3 측면의 복호 방법은, 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보 및 부호화된 상기 오디오 신호를 비트 스트림으로부터 추출하고, 상기 부호화된 상기 오디오 신호를 복호하고, 복호된 상기 오디오 신호 및 상기 보정 정보를 출력하는 스텝을 포함한다.
본 기술의 제3 측면에 있어서는, 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보 및 부호화된 상기 오디오 신호가 비트 스트림으로부터 추출되고, 상기 부호화된 상기 오디오 신호가 복호되고, 복호된 상기 오디오 신호 및 상기 보정 정보가 출력된다.
본 기술의 제1 측면 내지 제3 측면에 의하면, 보다 현장감이 있는 오디오 재생을 행할 수 있다.
도 1은 본 기술의 개요에 대해서 설명하는 도면.
도 2는 꺾은선 커브에 대해서 설명하는 도면.
도 3은 함수 커브에 대해서 설명하는 도면.
도 4는 재생 게인에 대해서 설명하는 도면.
도 5는 재생 장치의 구성예를 도시하는 도면.
도 6은 다운 믹스 처리를 설명하는 흐름도.
도 7은 오디오 시스템의 구성예를 도시하는 도면.
도 8은 메타데이터에 대해서 설명하는 도면.
도 9는 부호화 처리를 설명하는 흐름도.
도 10은 복호 처리를 설명하는 흐름도.
도 11은 컴퓨터의 구성예를 도시하는 도면.
이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대해서 설명한다.
<제1 실시 형태>
<본 기술의 개요에 대해서>
본 기술은, 임의의 채널의 음원을 임의의 수의 스피커로 재생하는 재생 방법과, 그 재생 방법의 실현에 필요한 정보(메타데이터)의 부호화 및 복호 기술에 관한 것이다.
먼저, 본 기술의 개요에 대해서 설명한다.
예를 들어, 복수의 각 채널의 오디오 신호와, 그들 오디오 신호의 메타데이터가 재생 장치에 공급되고, 재생 장치에 있어서, 메타데이터와 오디오 신호에 기초하여, 음성의 재생을 제어하는 것으로 한다.
여기서, 각 채널의 오디오 신호는, 메타데이터에 의해 나타나는 이상의 위치에 배치된 스피커에 의해 재생되는 것으로서 생성된 신호인 것으로 한다. 이하에서는, 메타데이터에 의해 나타나는 위치에 있는, 각 채널의 오디오 신호를 재생하는 가상의 스피커를, 이상적인 스피커라고 칭하기로 한다. 또한, 재생 장치로부터 출력된 오디오 신호에 기초하여 음성을 출력하는 실제의 스피커를 재생 스피커라고 칭하기로 한다.
본 기술에서는, 전체 채널의 오디오 신호가, LFE(Low Frequency Effect)용 오디오 신호와, LFE용이 아닌 오디오 신호로 분류된다. 즉, 전체 이상 스피커가 LFE용 스피커와, LFE용이 아닌 스피커로 분류된다. 마찬가지로, 재생 스피커도, LFE용 스피커와, LFE용이 아닌 스피커로 분류된다.
먼저, LFE용이 아닌 채널의 오디오 신호의 재생에 대해서 설명한다.
LFE용이 아닌 채널의 오디오 신호의 재생에서는, 예를 들어 도 1에 도시하는 바와 같이, 이상 스피커와 재생 스피커와의 거리에 기초하여, 오디오 신호의 게인 조정이 행하여진다.
도 1에서는, 시청자인 유저 U11의 위치를 중심으로 하는 반경 ru의 구 PH11의 표면 상에 이상 스피커 VSP1과, 재생 스피커 RSP11-1 내지 재생 스피커 RSP11-3이 배치되어 있다. 이상 스피커 VSP1 및 재생 스피커 RSP11-1 내지 재생 스피커 RSP11-3은 LFE용이 아닌 스피커이다.
또한, 이하, 재생 스피커 RSP11-1 내지 재생 스피커 RSP11-3을 특별히 구별할 필요가 없는 경우, 간단히 재생 스피커 RSP11이라고도 칭한다. 또한, 이 예에서는, 1개의 이상 스피커 및 3개의 재생 스피커만이 도시되어 있지만, 실제로는 다른 이상 스피커나 재생 스피커도 존재한다.
예를 들어, 이상 스피커 VSP1에 대응하는 채널의 오디오 신호에 기초한 음성은, 이상 스피커 VSP1의 위치에 음상을 정위시키는 것이 이상적이다.
그래서, 본 기술에서는, 이상 스피커 VSP1과 재생 스피커 RSP11과의 거리에 따라 각 재생 스피커 RSP11의 재생 게인을 정하고, 그들 재생 게인으로 오디오 신호에 기초한 음성을 각 재생 스피커 RSP11로부터 출력시킴으로써, 이상 스피커 VSP1의 위치에 음상을 정위시킨다.
구체적으로는, 이상 스피커 VSP1과 재생 스피커 RSP11의 거리는, 유저 U11을 시점으로 하고, 이상 스피커 VSP1 방향을 향하는 벡터와, 유저 U11을 시점으로 하고, 재생 스피커 RSP11 방향을 향하는 벡터가 이루는 각도로 된다.
바꾸어 말하면, 구 PH11의 표면 상에 있어서의 이상 스피커 VSP1과 재생 스피커 RSP11과의 거리, 즉 2개의 스피커를 연결하는 호의 길이가, 이상 스피커 VSP1과 재생 스피커 RSP11의 거리로 된다.
도 1의 예에서는, 화살표 A11과 화살표 A12가 이루는 각도가, 이상 스피커 VSP1과 재생 스피커 RSP11-1과의 거리 DistM1로 되어 있다. 마찬가지로, 화살표 A11과 화살표 A13이 이루는 각도가, 이상 스피커 VSP1과 재생 스피커 RSP11-2과의 거리 DistM2로 되고, 화살표 A11과 화살표 A14가 이루는 각도가, 이상 스피커 VSP1과 재생 스피커 RSP11-3과의 거리 DistM3으로 되어 있다.
그리고, 예를 들어 이상 스피커 VSP1의 채널 오디오 신호가, 거리 DistM1에 기초하여 게인 조정되어 재생 스피커 RSP11-1에서 재생된다. 또한, 이상 스피커 VSP1의 채널 오디오 신호는, 각각 거리 DistM2 및 거리 DistM3에 기초하여 게인 조정되고, 재생 스피커 RSP11-2 및 재생 스피커 RSP11-3에서 재생된다.
이에 의해, 이상 스피커 VSP1과 재생 스피커 RSP11과의 위치에 어긋남이 있는 경우에도, 그것에 의해서 발생한 음상의 어긋남을 경감할 수 있어, 보다 현장감이 있는 오디오 재생을 실현할 수 있다.
이어서, LFE용이 아닌 채널의 오디오 신호의 재생에 대해서, 더욱 상세하게 설명해 간다.
여기서는, 예를 들어 구체적으로, LFE용이 아닌 M개의 이상 스피커, 즉 M 채널의 오디오 신호를 다운 믹스해서 N 채널의 오디오 신호로 하고, 그러한 N 채널의 오디오 신호를 LFE용이 아닌 N개의 재생 스피커에 의해 재생하는 예에 대해서 설명한다.
다운 믹스 처리에서는, 주로 이하에 나타내는 6개의 처리 STE1 내지 처리 STE6이 순서대로 행하여진다.
(처리 STE1): 이상 스피커와 재생 스피커의 거리를 구한다.
(처리 STE2): 구한 거리와 미리 정한 감쇠 커브에 기초하여, 이상 스피커마다 각 재생 스피커의 재생 게인을 구한다.
(처리 STE3): 재생 스피커의 배치 위치에 따라서 재생 게인을 보정한다.
(처리 STE4): 하한값에 기초하여 재생 게인을 보정한다.
(처리 STE5): 출력 음성 전체의 에너지가, 입력 음성 전체의 에너지와 가깝게 되도록 재생 게인을 보정한다.
(처리 STE6): 재생 게인을 오디오 신호에 적용하여, 게인 조정을 행한다.
계속해서, 이 처리 STE1 내지 처리 STE6에 대해서, 재차 설명한다.
<처리 STE1에 대해서>
먼저, 처리 STE1에서는, 스피커간의 거리가 구해지는데, 각 스피커의 위치는, 수평 방향 각도θ(-180°≤θ≤+180°), 수직 방향 각도γ(-90°≤γ≤+90°), 및 유저로부터 스피커까지의 거리 r(0≤r≤+∞)에 의해 표현되는 것으로 한다.
예를 들어 도 1에 있어서, 유저 U11의 위치를 원점으로 하고, x축, y축 및 z축을 포함하는 3차원 좌표계를 고려하기로 한다.
여기서, 도면 중, 깊이 방향의 직선과, 도면 중, 가로 방향의 직선을 포함하는 평면을 xy 평면이라 하면, xy 평면에 있어서 기준이 되는 방향의 직선, 예를 들어 y축과, 유저 U11을 시점으로 하는 스피커 방향의 벡터가 xy 평면 상에 있어서 이루는 각도가 수평 방향 각도θ가 된다. 즉, 수평 방향 각도θ는, 도 1중, 수평 방향의 각도이다.
또한, 유저 U11을 시점으로 하는 스피커 방향의 벡터와, xy 평면이 이루는 각도가 수직 방향 각도γ가 되고, 유저 U11과 스피커를 연결하는 직선의 길이가 거리 r이 된다.
각 이상 스피커의 위치를 나타내는 수평 방향 각도θ, 수직 방향 각도γ 및 거리 r은, 오디오 신호의 메타데이터로서 재생 장치에 공급된다. 또한, 재생 장치에는, 각 재생 스피커의 위치를 나타내는 수평 방향 각도θ, 수직 방향 각도γ 및 거리 r도 공급된다.
또한, 이하에서는, 특히 M개의 이상 스피커 중 m번째의 이상 스피커의 수평 방향 각도θ, 수직 방향 각도γ 및 거리 r을, 각각 θim, γim 및 rim으로 나타내기로 한다. 마찬가지로, 이하, N개의 재생 스피커 중 n번째의 재생 스피커의 수평 방향 각도θ, 수직 방향 각도γ 및 거리 r을, 각각 θon, γon 및 ron으로 나타내기로 한다.
재생 장치에서는, M개의 이상 스피커마다, 그들 이상 스피커와, N개의 각 재생 스피커와의 거리가 구해진다.
예를 들어, m번째의 이상 스피커와, n번째의 재생 스피커와의 거리 Dist(m,n)는, 다음 식(1)에 의해 구해진다.
Figure pct00001
재생 장치에서는, M개의 이상 스피커와 N개의 재생 스피커의 조합마다 식(1)의 계산이 행하여지고, 합계 M×N개의 거리 Dist(m,n)가 계산된다.
그런데, 각 이상 스피커나 재생 스피커가 반경 ru의 단위원 상, 즉 도 1에 도시한 구 PH11 상에 배치되어 있으면, 각 스피커로부터 출력된 음성은, 동시에 유저 U11에 도달한다. 그러나, 일부의 스피커가 구 PH11 상에 없는 경우에는, 그 스피커로부터의 음성은, 다른 스피커로부터의 음성에 비해서 유저 U11에 일찍 또는 늦게 도달하게 될 뿐만 아니라, 유저에게 들리는 음성의 음압도 변화되어 버린다.
그래서, 재생 장치에서는, 거리 rim≠ru인 이상 스피커의 오디오 신호에 대하여, 보정값 SoundPressureCorrectionim에 의해 음압의 보정이 행하여지고, 지연 시간 Delayim에 의해 지연 처리가 실시된다.
이에 의해, 이상 스피커가 구 PH11 상에 위치하는 것으로서 취급할 수 있게 된다.
구체적으로는, 거리 rim과 반경 ru에 기초하여 다음 식(2)의 계산이 행하여져서, 보정값 SoundPressureCorrectionim이 산출된다.
Figure pct00002
식(2)에 의해 구해지는 보정값 SoundPressureCorrectionim은, 이상 스피커측, 즉 재생 장치에 입력된 채널 m의 오디오 신호에 대한 보정에 사용된다. 이하, 특히, 재생 장치에 입력된 오디오 신호를 입력 오디오 신호라고도 칭하고, 재생 장치로부터 출력되는 오디오 신호를 출력 오디오 신호라고도 칭하기로 한다.
또한, 이상 스피커의 입력 오디오 신호에 대한 지연 처리를 위한 지연 시간 Delayim은, 거리 rim과 반경 ru에 기초하여 다음 식(3)에 의해 산출된다. 또한, rim>ru의 경우에는 지연 시간 Delayim은 부의 값이 되고, 지연 처리에서는 오디오 신호가 부의 방향으로 지연되게, 즉 오디오 신호가 시간적으로 앞의 방향으로 시프트되게 된다.
Figure pct00003
이 보정값 SoundPressureCorrectionim과 지연 시간 Delayim은, 거리 rim≠ru인 이상 스피커에 대해서 산출된다. 마찬가지로, 거리 ron≠ru인 재생 스피커에 대해서도 보정값 SoundPressureCorrectionon과 지연 시간 Delayon이 산출된다.
즉, 다음 식(4)에 의해 보정값 SoundPressureCorrectionon이 산출되고, 식(5)에 의해 지연 시간 Delayon이 산출된다.
Figure pct00004
Figure pct00005
이와 같이 하여 구해진 보정값 SoundPressureCorrectionon과 지연 시간 Delayon은, 재생 스피커측, 즉 출력 오디오 신호에 대한 음압의 보정값과 지연 시간이다. 재생 장치에서는, 거리 ron≠ru인 재생 스피커에 공급되는 오디오 신호에 대하여 보정값 SoundPressureCorrectionon에 의해 음압의 보정이 행하여지고, 지연 시간 Delayon에 의해 지연 처리가 실시된다.
<처리 STE2에 대해서>
계속해서, 처리 STE2에서는, 이상 스피커마다 각 재생 스피커의 재생 게인이 구해진다.
우선은, M개의 각 이상 스피커에 대해서, 그 이상 스피커와의 거리 Dist(m,n)가 「0」이 되는 재생 스피커가 존재하는지 여부가 특정되고, 각 이상 스피커가, 재생 스피커의 위치에 있는 스피커 또는 재생 스피커의 위치에 없는 스피커 중 어느 하나로 분류된다.
그리고, 재생 스피커의 위치에 있는 스피커라고 여겨진 m번째의 이상 스피커에 대해서는, 그 m번째의 이상 스피커에 대응하는 채널 m의 오디오 신호에 관한 n번째의 재생 스피커의 재생 게인 MixGain(m,n)이 다음 식(6)에 의해 산출된다.
Figure pct00006
식(6)에서는, 거리 Dist(m,n)가 「0」인 재생 스피커, 즉 m번째의 이상 스피커와 동일 위치에 있는 재생 스피커의 재생 게인 MixGain(m,n)은 0㏈로 된다. 또한, 거리 Dist(m,n)가 「0」이 아닌 재생 스피커, 즉 m번째의 이상 스피커와 상이한 위치에 있는 재생 스피커의 재생 게인 MixGain(m,n)은 -∞㏈로 된다.
이에 의해, m번째의 이상 스피커에 대응하는 채널 m의 오디오 신호는, 그 이상 스피커와 동일 위치에 있는 재생 스피커에 있어서 재생되게 된다. 즉, 다른 재생 스피커로부터는, 채널 m의 음성 성분은 출력되지 않는다.
이에 비해, 재생 스피커의 위치에 없는 스피커라고 여겨진 m번째의 이상 스피커에 대해서는, 꺾은선 커브나 또는 함수 커브 중 어느 하나의 감쇠 커브가 사용되고, 그 이상 스피커에 관한 각 재생 스피커의 재생 게인 MixGain(m,n)가 구해진다.
구체적으로는, 재생 장치에 공급되는 메타데이터에는, 꺾은선 커브 또는 함수 커브 중 어떠한 커브를 사용해서 재생 게인을 구하는지를 나타내는 커브 정보가 포함되어 있고, 재생 장치는 메타데이터에 포함되는 커브 정보에 나타나는 종류의 커브를 사용해서 재생 게인을 산출한다.
또한, 메타데이터에는 커브 정보에 나타나는 종류의 커브 중 구체적으로 어느 커브를 사용하는지를 나타내는 커브 인덱스도 포함되어 있다. 커브 인덱스는, 재생 장치에는 기록되어 있지 않은 새로운 커브를 나타내는 정보인 경우도 있다.
재생 장치는, 커브 인덱스가 미리 정해진 커브를 나타내는 정보인 경우에는, 미리 기록되어 있는, 계수 등의 커브를 얻기 위한 정보를 사용해서 재생 게인의 산출을 행한다. 한편, 커브 인덱스가 새로운 커브를 나타내는 정보인 경우에는, 재생 장치는, 메타데이터로부터, 새로운 커브를 얻기 위한 정보를 판독하고, 그 정보로부터 얻어지는 커브를 사용해서 재생 게인을 산출한다.
예를 들어, 재생 게인의 산출에 사용되는 꺾은선 커브는, 각 거리 Dist(m,n)에 대한 재생 게인의 값을 포함하는 수열에 의해 표현된다.
구체적으로는, 재생 게인의 값의 수열로서, [0, -1.5, -4.5, -6, -9, -10.5, -12, -13.5, -15, -15, -16.5, -16.5, -18, -18, -18, -19.5, -19.5, -21, -21, -21, -∞, -∞, -∞, -∞, -∞, -∞](㏈)가 재생 게인을 얻기 위한 정보로 되어 있는 것으로 한다.
그러한 경우, 수열의 시점값이 거리 Dist(m,n)=0°일 때의 재생 게인이 되고, 수열의 종점값이 거리 Dist(m,n)=180°일 때의 재생 게인이 된다. 또한, 수열의 k번째 점의 값이, 다음 식(7)에 나타내는 거리 Dist(m,n)일 때의 재생 게인이 된다.
Figure pct00007
또한, 수열의 인접하는 점 사이는, 거리 Dist(m,n)에 따라 재생 게인이 선형으로 변화되게 된다. 이러한 수열에 의해 얻어지는 꺾은선 커브는, 재생 게인 MixGain(m,n)와, 거리 Dist(m,n)의 맵핑을 나타내는 커브이다.
예를 들어, 상술한 수열에 의해 도 2에 도시하는 꺾은선 커브가 얻어진다.
도 2에서는, 종축은 재생 게인의 값을 나타내고 있고, 횡축은 이상 스피커와 재생 스피커 사이의 거리를 나타내고 있다. 또한, 꺾은선 CV11이 꺾은선 커브를 나타내고 있고, 꺾은선 커브 상의 사각형은, 재생 게인의 값의 수열을 구성하는 1개의 수치를 나타내고 있다.
이 예에서는, n번째의 재생 스피커와 m번째의 이상 스피커와의 거리 Dist(m,n)가 DistM1인 경우에는, 그 n번째의 재생 스피커의 재생 게인 MixGain(m,n)은, 꺾은선 커브 상의 DistM1에 있어서의 게인의 값인 -3.5㏈로 된다.
또한, 거리 Dist(m,n)가 DistM2인 재생 스피커의 재생 게인 MixGain(m,n)은, 꺾은선 커브 상의 DistM2에 있어서의 게인의 값인 -8㏈로 되고, 거리 Dist(m,n)가 DistM3인 재생 스피커의 재생 게인 MixGain(m,n)은, 꺾은선 커브 상의 DistM3에 있어서의 게인의 값인 -16.5㏈로 된다.
한편, 재생 게인의 산출에 사용되는 함수 커브는, 3개의 계수 coef1, 계수 coef2 및 계수 coef3과, 미리 정해진 하한이 되는 게인값 MinGain에 의해 표현된다.
이 경우, 재생 장치는 계수 coef1 내지 계수 coef3, 게인값 MinGain 및 거리 Dist(m,n)에 의해 표현되는, 다음 식(8)에 나타내는 함수 f(Dist(m,n))를 사용하여, 이하의 식(9)을 계산하고, m번째의 이상 스피커에 관한 각 재생 스피커의 재생 게인 MixGain(m,n)을 산출한다.
Figure pct00008
Figure pct00009
또한, 식(9)에 있어서, Cut_thre는, 다음 식(10)을 만족하는 최솟값이다.
Figure pct00010
이러한 함수 f(Dist(m,n)) 등에 의해 표현되는 함수 커브는, 예를 들어 도 3에 도시하는 커브로 된다. 또한, 도 3에 있어서 종축은 재생 게인의 값을 나타내고 있고, 횡축은 이상 스피커와 재생 스피커 사이의 거리를 나타내고 있다. 또한, 곡선 CV21이 함수 커브를 나타내고 있다.
도 3에 도시하는 함수 커브에서는, 함수 f(Dist(m,n))에 의해 나타나는 재생 게인의 값이 처음으로 하한이 되는 게인값 MinGain보다 작아지면, 그 이후의 각 거리 Dist(m,n)에 있어서의 재생 게인의 값은 「-∞」로 되어 있다. 또한, 도면 중의 점선은, 각 거리 Dist(m,n)에 있어서의 원래의 함수 f(Dist(m,n))의 값을 나타내고 있다.
이 예에서는, n번째의 재생 스피커와 m번째의 이상 스피커와의 거리 Dist(m,n)가 DistM1인 경우에는, 그 n번째의 재생 스피커의 재생 게인 MixGain(m,n)은, 함수 커브 상의 DistM1에 있어서의 게인의 값인 -6㏈로 된다.
또한, 거리 Dist(m,n)가 DistM2인 재생 스피커의 재생 게인 MixGain(m,n)은, 함수 커브 상의 DistM2에 있어서의 게인의 값인 -12㏈로 되고, 거리 Dist(m,n)가 DistM3인 재생 스피커의 재생 게인 MixGain(m,n)은, 함수 커브 상의 DistM3에 있어서의 게인의 값인 -18㏈로 된다.
또한, 함수 커브에 의해 재생 게인 MixGain(m,n)을 구하는 경우, 계수 coef1 내지 계수 coef3의 조합[coef1, coef2, coef3]은, 예를 들어 [8, -12, 6]이나, [1, -3, 3], [2, -5.3, 4.2] 등으로 된다.
이상의 처리에 의해, M개의 이상 스피커마다, N개의 각 재생 스피커의 재생 게인 MixGain(m,n)이 얻어지게 된다. 이 재생 스피커의 재생 게인의 값은, 이상 스피커와의 거리 Dist(m,n)가 가까울수록 큰 값이 되고, 그 음성의 음량도 커진다. 또한, 재생 게인 MixGain(m,n)은, M>N이 되는 경우에는 믹스 게인이 된다.
<처리 STE3에 대해서>
또한, 처리 STE3에서는, 처리 STE2에서 얻어진 M×N개의 재생 게인 MixGain(m,n)에 대하여, n번째의 재생 스피커의 배치 위치에 따라서 보정이 행하여진다.
예를 들어, 유저의 전방에 위치하는 음원으로부터의 음성이, 유저의 후방으로부터 들리면 위화감이 발생해 버린다. 이에 비해, 유저의 후방에 위치하는 음원으로부터의 음성이, 유저의 전방으로부터 들려도 큰 위화감은 발생하지 않는다.
그래서, N개의 각 재생 스피커가 유저에 대하여 전방이나 후방 등, 어디에 위치하고 있는지에 따라, 각 재생 스피커의 재생 게인을 보정하여, 재생 스피커의 위치에 의해 출력되는 음성에 위화감이 발생하지 않게 한다. 즉, 이상 스피커와의 거리 Dist(m,n)가 동일한, 유저의 전방과 후방에 있는 2개의 재생 스피커에서, 이 이상 스피커의 오디오 신호를 재생하는 경우, 유저의 후방에 있는 재생 스피커의 재생 게인은, 전방의 재생 스피커의 재생 게인보다 작아지도록 보정이 행하여진다.
구체적으로는, 먼저 재생 장치는, 메타데이터로부터 재생 스피커의 배치 위치에 따른 재생 게인의 보정이 필요한지 여부를 나타내는 정보를 취득하고, 취득한 정보가, 재생 게인의 보정이 불필요하다는 취지의 정보인 경우에는, 처리 STE3을 행하지 않는다. 즉, 처리 STE2의 후, 처리 STE3은 스킵되어서 처리 STE4가 행하여진다.
한편, 메타데이터로부터 취득한 정보가, 재생 게인의 보정이 필요하다는 취지의 정보인 경우에는, 재생 장치는, 식(1)과 마찬가지의 계산을 행해서 N개의 각 재생 스피커와, 공간 원점 C와의 거리 Dist(n, C)를 구한다.
여기서, 공간 원점 C란, 재생 스피커가 배치되는 공간 상의 기준이 되는 위치이며, 예를 들어 공간 원점 C의 위치는, 수평 방향 각도θ=0, 수직 방향 각도γ=0 및 거리 r=ru에 의해 표현되는 위치가 된다. 이 경우, 공간 원점 C의 위치는 단위원, 즉 도 1의 구 PH11 상에 있고, 또한 유저 U11의 정면에 위치하게 된다. 이러한 공간 원점 C의 위치는, 이상적인 센터 스피커의 위치이다.
N개의 재생 스피커에 대해서 공간 원점 C와의 거리 Dist(n, C)가 구해지면, 다음 식(11)의 계산에 의해 N개의 각 재생 스피커의 보정 계수 spkr_pos_correction_coeffcient(n)가 구해진다.
Figure pct00011
또한, 식(11)에 있어서, Max_spkr_pos_correction_coeffcient는, 거리 Dist(n, C)가 최대(180°)가 될 때의 보정 계수를 나타내고 있다.
또한, 구해진 보정 계수 spkr_pos_correction_coeffcient(n)가 m번째의 이상 스피커에 관한 n번째의 재생 스피커의 재생 게인 MixGain(m,n)에 승산되어, 보정 후의 재생 게인 MixGain_pos_corr(m,n)이 된다. 즉, 다음 식(12)의 계산이 행하여진다.
Figure pct00012
또한, 식(12)에 있어서, MaxMixGain(n)은, n번째의 재생 스피커에 관한 M개의 재생 게인, 즉 n의 값이 동일한 재생 게인 MixGain(m,n)의 최댓값이다. 식(12)에 있어서, MaxMixGain(n)이 포함되는 항은, spkr_pos_correction_coeffcient(n)에 의한 보정이 너무 행하여지지 않도록 하기 위한 역 보정의 항이다.
이상의 처리에 의해, 재생 스피커의 배치 위치에 따라서 적절히 보정된, M×N개의 재생 게인 MixGain_pos_corr(m,n)이 얻어진다.
또한, 재생 스피커의 배치 위치에 따른 재생 게인의 보정이 행하여지지 않는 경우에는, 재생 게인 MixGain(m,n)이 그대로 재생 게인 MixGain_pos_corr(m,n)이 된다.
<처리 STE4에 대해서>
또한, 처리 STE3 후에 행하여지는 처리 STE4에서는, 모든 재생 스피커의 재생 게인이 작은 값으로 되어 있는 이상 스피커의 오디오 신호에 대하여, 적어도 하나의 재생 스피커에 있어서, 미리 정해진 재생 게인의 하한값으로 오디오 신호가 재생되도록 재생 게인이 보정된다.
즉, 처리 STE3에서 얻어진 이상 스피커마다의 재생 게인, 즉 m의 값이 동일한 N개의 재생 게인 MixGain_pos_corr(m,n)의 최댓값 MaxMixGaini(m)가 구해지고, 그 최댓값 MaxMixGaini(m)와 하한값 MixGainMinThre가 비교된다.
그리고, 소정의 m번째의 이상 스피커에 대해서, 최댓값 MaxMixGaini(m)가 하한값 MixGainMinThre보다 작은 경우, 그 m번째의 이상 스피커에 관한 N개의 재생 게인 MixGain_pos_corr(m,n)에 대하여, 보정값 MinGaincorrectioni(m)가 가산된다. 여기서, 보정값 MinGaincorrectioni(m)는, 다음 식(13)에 도시하는 바와 같이 최댓값 MaxMixGaini(m)와 하한값 MixGainMinThre와의 차분이다.
Figure pct00013
이러한 보정에 의해, 적어도 하나의 재생 스피커에 의해 채널 m의 오디오 신호가 소정의 최저 재생 게인으로 재생됨으로써, 특정 채널의 음성이 들리지 않게 되어 버리는 것을 방지할 수 있다.
<처리 STE5에 대해서>
또한, 처리 STE5에서는, 출력 음성 전체의 에너지가, 입력 음성 전체의 에너지와 가깝게 되도록 재생 게인 MixGain_pos_corr(m,n)이 보정된다.
먼저, 재생 장치는, 메타데이터로부터 이상 스피커의 각 채널간의 상대 음압의 기대값 SPR_i(m)를 판독하고, 그 중 제일 음압이 큰 이상 스피커의 절대음압을 0dBFS라고 가정하고, 이상 스피커마다의 각 기대값 SPR_i(m)로부터 각 채널의 오디오 신호의 음성 음압을 계산하여고, 입력 오디오 신호의 음성 전체의 파워값 pow_i를 구한다.
여기서, 파워값 pow_i는, M개의 각 채널의 오디오 신호를 재생함으로써 이상 스피커로부터 출력되는 음성(이하, 입력 음성이라고도 칭함) 전체의 파워이다. 또한, 이하, N개의 각 채널의 오디오 신호를 재생함으로써 재생 스피커로부터 출력되는 음성을 출력 음성이라고도 칭하기로 한다.
이어서, 재생 장치는 처리 STE4에서 얻어진 재생 게인 MixGain_pos_corr(m,n)에 대하여, 기대값 SPR_i(m)를 승산함으로써, 각 재생 스피커의 출력 음성의 음압의 기대값 SPR_o(n)를 구하고, 기대값 SPR_o(n)로부터 출력 음성 전체의 파워값 pow_o를 구한다.
그리고, 재생 장치는 처리 STE4에서 얻어진 모든 재생 게인 MixGain_pos_corr(m,n)에, 입력 음성과 출력 음성의 파워값의 비(pow_o/pow_i)를 승산하여, 출력 음성 전체의 음압 보정을 행한다. 이와 같이 하여 얻어진 재생 게인이, 이상 스피커마다의 각 재생 스피커의 최종적인 재생 게인이 된다.
여기서, 가장 음압이 큰 이상 스피커의 절대음압을 0㏈라고 가정하고, 입력 음성과 출력 음성의 파워값의 비(pow_o/pow_i)를 구했지만, 그 값은 실제의 절대음압을 사용해서 구한 입력 음성과 출력 음성의 파워값의 비(pow_o/pow_i)와 동일값이 된다. 이와 같이 입력 음성의 절대음압을 가정하면, 실제의 입력 음성의 절대음압을 모르는 경우에도, 입력 음성과 출력 음성의 파워값의 비(pow_o/pow_i)를 구하는 것이 가능하게 된다. 또한, 가정한 음압값을 0㏈가 아니고, 다른 임의의 값으로 해도, 결과적으로 얻어지는 파워값의 비는 동일값이 된다.
<LFE용 스피커에 대해서>
또한, LFE용 채널의 오디오 신호의 재생에 대해서 설명한다.
예를 들어, LFE용 이상 스피커의 수는, 0개, 1개 또는 2개 중 어느 하나가 되고, 마찬가지로 LFE용 재생 스피커의 수도 0개, 1개 또는 2개 중 어느 하나가 된다.
LFE용 이상 스피커의 수 또는 LFE용 재생 스피커의 수 중 어느 하나가 0개인 경우에는, LFE용 채널의 오디오 신호는 재생 불가능하고, 그 오디오 신호의 게인은 -∞로 된다.
이에 비해, LFE용 이상 스피커나 재생 스피커의 수가 1개 또는 2개인 경우에는, 재생 장치에서는 예를 들어 도 4에 도시하는 재생 게인에 의해, LFE용 각 채널의 오디오 신호가 생성된다.
즉, LFE용 이상 스피커와 LFE용 재생 스피커가 모두 1개 또는 2개인 경우에는, LFE용 이상 스피커의 오디오 신호가, 그대로 LFE용 재생 스피커의 오디오 신호로 되어 재생된다.
또한, LFE용 이상 스피커가 1개이며, LFE용 재생 스피커가 2개인 경우, 또는 LFE용 이상 스피커가 2개이며, LFE용 재생 스피커가 1개인 경우에는, 각 채널의 오디오 신호가 균등하게 분배된다.
즉, LFE용 이상 스피커 1개에 대하여 LFE용 재생 스피커가 2개인 경우, 이상 스피커의 오디오 신호가 동일한 재생 게인으로 게인 조정되고, 각각 2개의 재생 스피커로 재생된다. 또한, LFE용 이상 스피커 2개에 대하여 LFE용 재생 스피커가 1개인 경우, 이상 스피커의 오디오 신호가 동일한 재생 게인으로 추가되어 1개의 오디오 신호로 되고, 재생 스피커로 재생된다.
<재생 장치의 구성예>
계속해서, 이상에 있어서 설명한 재생 장치의 구체적인 실시 형태에 대해서 설명한다.
재생 장치는, 예를 들어 도 5에 도시하는 바와 같이 구성된다.
도 5에 도시하는 재생 장치(11)는, 도시하지 않은 디코더 등으로부터 메타데이터와 오디오 신호의 공급을 받아서, 메타데이터에 기초하여 오디오 신호의 게인 조정을 행하고, 그 결과 얻어진 오디오 신호를 스피커(12-1) 내지 스피커(12-N)에 공급한다.
또한, 도 5에서는 재생 장치(11) 중 LFE용이 아닌 채널의 오디오 신호를 재생하기 위한 기능 블록만이 도시되어 있고, LFE용 채널의 오디오 신호를 재생하기 위한 기능 블록의 도시는 생략되어 있다.
또한, 도 5에서는, LFE용이 아닌 M개의 각 이상 스피커에 대응하는 M 채널의 오디오 신호가 공급되고, 그들 M 채널의 오디오 신호가 N 채널의 오디오 신호로 변환되어 출력되는 것으로 한다. 또한, 스피커(12-1) 내지 스피커(12-N)는, 이상에 있어서 설명한 LFE용이 아닌 재생 스피커에 대응한다.
이하, 스피커(12-1) 내지 스피커(12-N)를 특별히 구별할 필요가 없는 경우, 간단히 스피커(12)라고도 칭하기로 한다. 또한, 각 스피커(12)는, 이상에 있어서 설명한 재생 스피커 RSP11에 대응하는 스피커이므로, 스피커(12)를 재생 스피커(12)라고도 칭하기로 한다.
도 5에 도시하는 재생 장치(11)에는, 거리 계산부(21), 재생 게인 계산부(22), 보정부(23), 하한값 보정부(24), 전체 게인 보정부(25) 및 게인 조정부(26)가 설치되어 있다. 또한, 게인 조정부(26)는, 증폭부(31), 증폭부(32) 및 증폭부(33)를 구비하고 있다.
거리 계산부(21)에는, 메타데이터에 포함되어 있는 LFE용이 아닌 각 이상 스피커의 위치 정보와, 각 재생 스피커(12)의 위치 정보가 공급된다. 거리 계산부(21)는, 이상 스피커의 위치 정보와 재생 스피커(12)의 위치 정보에 기초하여 거리 Dist(m,n)를 산출하여, 재생 게인 계산부(22)에 공급한다.
여기서, 각 스피커의 위치 정보란 수평 방향 각도θ, 수직 방향 각도γ 및 거리 r를 포함하는 정보이다.
또한, 거리 계산부(21)는, 필요에 따라 이상 스피커 측의 보정값 SoundPressureCorrectionim 및 지연 시간 Delayim을 산출해서 증폭부(31)에 공급함과 함께, 재생 스피커(12)측의 보정값 SoundPressureCorrectionon 및 지연 시간 Delayon을 산출해서 증폭부(33)에 공급한다. 즉, 거리 계산부(21)에서는 처리 STE1이 행하여진다.
재생 게인 계산부(22)에는, 메타데이터에 포함되어 있는 커브 정보와 커브 인덱스가 공급되고, 재생 게인 계산부(22)는, 커브 정보나 커브 인덱스와, 거리 계산부(21)로부터 공급된 거리를 사용해서 재생 게인 MixGain(m,n)을 산출하여, 보정부(23)에 공급한다. 즉, 재생 게인 계산부(22)에서는 처리 STE2가 행하여진다.
보정부(23)에는, 재생 스피커(12)의 위치 정보와, 메타데이터에 포함되어 있는, 재생 스피커(12)의 배치 위치에 따른 재생 게인의 보정이 필요한지 여부를 나타내는 정보 및 보정 계수 Max_spkr_pos_correction_coeffcient가 공급된다.
보정부(23)는, 이 공급된 정보에 기초하여, 재생 게인 계산부(22)로부터 공급된 재생 게인에 대하여 재생 스피커(12)의 배치 위치에 따른 보정을 행하고, 그 결과 얻어진 재생 게인 MixGain_pos_corr(m,n)을 하한값 보정부(24)에 공급한다. 즉, 보정부(23)에서는 처리 STE3이 행하여진다.
하한값 보정부(24)에는, 메타데이터에 포함되어 있는, 재생 게인의 하한값 MixGainMinThre가 공급된다. 하한값 보정부(24)는, 하한값 MixGainMinThre에 기초하여 보정부(23)로부터 공급된 재생 게인의 보정을 행하여, 전체 게인 보정부(25)에 공급한다. 즉, 하한값 보정부(24)에서는, 처리 STE4가 행하여진다.
전체 게인 보정부(25)에는, 메타데이터에 포함되어 있는 이상 스피커의 각 채널간의 상대 음압의 기대값 SPR_i(m)이 공급된다. 전체 게인 보정부(25)는, 기대값 SPR_i(m)에 기초하여, 하한값 보정부(24)로부터 공급된 재생 게인의 보정을 행하고, 그 결과 얻어진 최종적인 재생 게인을 증폭부(32)에 공급한다. 전체 게인 보정부(25)에서는, 처리 STE5가 행하여진다.
게인 조정부(26)는, 도시하지 않은 디코더로부터 공급된 M개의 이상 스피커의 오디오 신호에 대하여 게인 조정을 행해서 N 채널의 오디오 신호를 생성하고, 각 채널의 오디오 신호를 재생 스피커(12)에 공급해서 음성을 재생시킨다. 게인 조정부(26)에서는, 처리 STE6이 행하여진다.
즉, 증폭부(31)는, 거리 계산부(21)로부터 공급된 보정값 및 지연 시간에 기초하여, 공급된 M 채널의 오디오 신호에 대하여, 적절히 게인 보정 및 지연 처리를 실시해서 증폭부(32)에 공급한다.
증폭부(32)는, 증폭부(31)로부터 공급된 M 채널의 오디오 신호에, 전체 게인 보정부(25)로부터 공급된 재생 게인을 승산한다. 또한, 증폭부(32)는, 재생 게인이 승산된 각 이상 스피커의 오디오 신호를 가산함으로써 N 채널의 오디오 신호를 생성하여, 증폭부(33)에 공급한다.
증폭부(33)는, 거리 계산부(21)로부터 공급된 보정값 및 지연 시간에 기초하여, 증폭부(32)로부터 공급된 N 채널의 오디오 신호에 대하여, 적절히 게인 보정 및 지연 처리를 실시해서 재생 스피커(12)에 공급한다.
<다운 믹스 처리의 설명>
계속해서, 재생 장치(11)의 동작에 대해서 설명한다.
재생 장치(11)에 각 이상 스피커의 오디오 신호와 메타데이터가 공급되면, 재생 장치(11)는, LFE용 오디오 신호와, LFE용이 아닌 오디오 신호에 대하여 각각 재생 스피커에 공급하는 오디오 신호를 생성하여, 출력한다.
이하, 도 6의 흐름도를 참조하여, 재생 장치(11)가 LFE용이 아닌 오디오 신호에 대하여 행하는 다운 믹스 처리에 대해서 설명한다.
스텝 S11에 있어서, 거리 계산부(21)는, 메타데이터에 포함되어 있는 LFE용이 아닌 이상 스피커의 위치 정보와, LFE용이 아닌 재생 스피커(12)의 위치 정보에 기초하여, 이상 스피커와 재생 스피커(12)의 거리 Dist(m,n)를 구하고, 재생 게인 계산부(22)에 공급한다. 구체적으로는, 이상 스피커와 재생 스피커(12)의 조합마다 식(1)의 계산이 행하여져, M×N개의 거리 Dist(m,n)가 구해진다.
스텝 S12에 있어서, 거리 계산부(21)는 필요에 따라, 이상 스피커측과 재생 스피커(12)측의 보정값 및 지연 시간을 구한다.
구체적으로는 거리 계산부(21)는, 거리 rim≠ru인 이상 스피커에 대해서, 이상 스피커의 위치 정보로서의 거리 rim에 기초하여 식(2) 및 식(3)의 계산을 행하고, 보정값 SoundPressureCorrectionim 및 지연 시간 Delayim을 산출해서 증폭부(31)에 공급한다.
또한, 거리 계산부(21)는, 거리 ron≠ru인 재생 스피커에 대해서, 재생 스피커(12)의 위치 정보로서의 거리 ron에 기초하여 식(4) 및 식(5)의 계산을 행하고, 보정값 SoundPressureCorrectionon 및 지연 시간 Delayon을 산출해서 증폭부(33)에 공급한다.
스텝 S13에 있어서, 재생 게인 계산부(22)는, 거리 계산부(21)로부터 공급된 거리 Dist(m,n)에 기초하여, 이상 스피커마다 각 재생 스피커(12)의 재생 게인을 구한다.
예를 들어, 재생 게인 계산부(22)는, 이상 스피커와 재생 스피커(12)와의 거리 Dist(m,n)가 「0」이 되는 재생 스피커(12)가 존재하는 이상 스피커에 대해서는, 식(6)의 계산을 행하여, 그 이상 스피커에 관한 각 재생 스피커(12)의 재생 게인 MixGain(m,n)을 산출한다.
또한, 재생 게인 계산부(22)는, 거리 Dist(m,n)=0이 되는 재생 스피커(12)가 존재하지 않는 이상 스피커에 대해서는, 메타데이터에 포함되어 있는 커브 정보에 나타나는 커브, 즉 꺾은선 커브 또는 함수 커브를 얻는다. 이때, 재생 게인 계산부(22)는, 커브 인덱스를 참조하여, 필요에 따라 메타데이터로부터 꺾은선 커브 또는 함수 커브를 판독한다.
재생 게인 계산부(22)는, 꺾은선 커브 또는 함수 커브가 얻어지면, 얻어진 커브에 기초하여 거리 Dist(m,n)에 대응하는 게인값을 구하고, 구한 게인값을 이상 스피커의 재생 스피커(12)에 관한 재생 게인 MixGain(m,n)으로 한다. 이때, 필요에 따라 식(7)이나 식(9)의 계산이 행하여진다.
재생 게인 계산부(22)는, 각 이상 스피커에 대해서, 재생 스피커(12)마다의 재생 게인 MixGain(m,n)이 얻어지면, 재생 게인 MixGain(m,n)을 보정부(23)에 공급한다.
스텝 S14에 있어서, 보정부(23)는, 메타데이터에 포함되어 있는 재생 게인의 보정이 필요한지 여부를 나타내는 정보에 기초하여, 필요에 따라 재생 게인 계산부(22)로부터 공급된 재생 게인을 재생 스피커(12)의 배치 위치에 따라서 보정하여, 하한값 보정부(24)에 공급한다.
구체적으로는, 보정부(23)는, 각 재생 스피커(12)의 위치 정보와, 메타데이터에 포함되어 있는 보정 계수 Max_spkr_pos_correction_coeffcient를 사용하여, 식(11) 및 식(12)을 계산함으로써, 재생 게인 MixGain_pos_corr(m,n)을 산출한다.
스텝 S15에 있어서, 하한값 보정부(24)는 필요에 따라, 메타데이터에 포함되어 있는 하한값 MixGainMinThre에 기초하여, 보정부(23)로부터 공급된 재생 게인을 보정하여, 전체 게인 보정부(25)에 공급한다. 구체적으로는, 필요에 따라 식(13)이 계산되고, 재생 게인 MixGain_pos_corr(m,n)에 보정값 MinGaincorrectioni(m)이 가산된다.
스텝 S16에 있어서, 전체 게인 보정부(25)는, 출력 음성 전체의 음압 보정을 행한다.
즉, 전체 게인 보정부(25)는, 메타데이터에 포함되어 있는 기대값 SPR_i(m)와, 하한값 보정부(24)로부터 공급된 재생 게인 MixGain_pos_corr(m,n)에 기초하여, 입력 음성과 출력 음성의 전체 파워값의 비(pow_o/pow_i)를 산출한다. 그리고, 전체 게인 보정부(25)는, 파워값의 비(pow_o/pow_i)를, 재생 게인 MixGain_pos_corr(m,n)에 승산해서 최종적인 재생 게인으로 하고, 증폭부(32)에 공급한다.
스텝 S17에 있어서, 증폭부(31)는, 거리 계산부(21)로부터 공급된 이상 스피커측의 보정값 및 지연값에 기초하여, 오디오 신호의 게인 조정을 행한다.
구체적으로는 증폭부(31)는, 보정값과 지연값이 공급된 채널 m의 오디오 신호에 대해서, 오디오 신호에 보정값 SoundPressureCorrectionim을 승산하고, 그 결과 얻어진 오디오 신호를 지연 시간 Delayim만큼 시간 방향으로 지연시켜서 증폭부(32)에 공급한다.
스텝 S18에 있어서, 증폭부(32)는, 전체 게인 보정부(25)로부터 공급된 재생 게인과, 증폭부(31)로부터 공급된 오디오 신호에 기초하여, 각 재생 스피커(12)의 오디오 신호를 생성하여, 증폭부(33)에 공급한다.
구체적으로는, 증폭부(32)는, 재생 스피커(12)에 대응하는 N개의 채널 중 1개를 주목 채널 nc로 하면, 주목 채널 nc에 관한 각 이상 스피커의 재생 게인을, 그들 이상 스피커의 오디오 신호에 승산한다. 그리고, 증폭부(32)는, 재생 게인이 승산된 각 이상 스피커의 오디오 신호, 즉 M개의 오디오 신호를 더해서 얻어지는 1개의 오디오 신호를, 주목 채널 nc의 오디오 신호로 한다. N개의 각 채널을 주목 채널로 해서 마찬가지의 처리를 행함으로써, M개의 각 이상 스피커의 오디오 신호가, N개의 각 재생 스피커(12)의 오디오 신호로 변환된다.
스텝 S19에 있어서, 증폭부(33)는, 거리 계산부(21)로부터 공급된 재생 스피커(12)측의 보정값 및 지연값에 기초하여, 증폭부(32)로부터 공급된 오디오 신호의 게인 조정을 행한다.
구체적으로는 증폭부(33)는, 보정값과 지연값이 공급된 채널 n의 오디오 신호에 대해서, 오디오 신호에 보정값 SoundPressureCorrectionon을 승산하고, 그 결과 얻어진 오디오 신호를 지연 시간 Delayon만큼 시간 방향으로 지연시켜서 재생 스피커(12)에 공급한다.
각 채널의 오디오 신호가 재생 스피커(12)에 출력되면, 다운 믹스 처리는 종료된다. 또한, 재생 스피커(12)에서는, 재생 장치(11)로부터 공급된 오디오 신호에 기초하여 음성이 재생된다.
이상과 같이 하여, 재생 장치(11)는, 이상 스피커의 위치와 실제의 재생 스피커(12)의 배치 위치와의 거리에 따라 오디오 신호의 게인 조정(게인 보정)을 행한다. 이에 의해, 이상 스피커와 재생 스피커(12)와의 위치에 어긋남이 있는 경우에도, 출력 음성의 음질과 음상 정의의 열화를 억제할 수 있어, 보다 현장감이 있는 오디오 재생을 행할 수 있다.
이상에 있어서 설명한 처리에 의해, 입력된 임의의 1 이상의 채널의 오디오 신호를, 1 이상의 임의의 개수의 임의의 위치에 배치된 재생 스피커로 재생할 수 있게 된다. 또한, 입력되는 각 채널의 오디오 신호가 각 오브젝트를 음원으로 하는 오디오 신호인 경우에도, 마찬가지의 다운 믹스 처리에 의해, 올바른 음상 위치에서의 오디오 재생을 행할 수 있다.
<인코더와 디코더에 대해서>
이어서, 재생 장치(11)에 공급되는 메타데이터를 부호화하는 인코더와, 부호화된 메타데이터를 복호하는 디코더에 대해서 설명한다.
예를 들어 도 7에 도시하는 바와 같이, 본 기술을 적용한 오디오 시스템에서는, 인코더(61)로부터 디코더(62)에 메타데이터가 공급되고, 또한 디코더(62)로부터 재생 장치(11)에 메타데이터가 공급된다.
인코더(61)는, 외부로부터 메타데이터를 얻기 위해서 필요한 정보와, M개의 각 이상 스피커의 오디오 신호를 취득하고, 부호화된 메타데이터와 오디오 신호를 포함하는 비트 스트림을 생성한다.
인코더(61)는, 메타데이터 생성부(71), 오디오 신호 부호화부(72) 및 출력부(73)를 구비하고 있다.
메타데이터 생성부(71)는, 외부로부터 필요한 정보를 취득함과 함께, 취득한 정보를 필요에 따라서 부호화하고, 부호화된 메타데이터를 생성한다.
예를 들어, 메타데이터에는, 각 이상 스피커의 위치 정보, 이상 스피커 중 LFE용 이상 스피커의 수(채널수) 및 커브 정보, 커브 인덱스가 포함되어 있다. 또한, 메타데이터에는, 재생 스피커(12)의 배치 위치에 따른 재생 게인의 보정이 필요한지 여부를 나타내는 정보, 재생 스피커(12)의 배치에 의한 보정 계수 Max_spkr_pos_correction_coeffcient, 게인의 하한값 MixGainMinThre 및 채널간의 상대 음압의 기대값 SPR_i(m)도 포함되어 있다.
오디오 신호 부호화부(72)는, 외부로부터 공급된 오디오 신호를 부호화한다. 출력부(73)는, 부호화된 메타데이터와, 부호화된 오디오 신호가 포함되는 비트 스트림을 생성하고, 디코더(62)에 출력한다.
또한, 디코더(62)는, 추출부(81), 오디오 신호 복호부(82) 및 출력부(83)를 구비하고 있다. 디코더(62)는, 인코더(61)로부터 송신되어 온 비트 스트림을 수신하고, 추출부(81)는, 수신된 비트 스트림으로부터 메타데이터와 오디오 신호를 추출한다. 이때, 추출부(81)는 필요에 따라서 메타데이터의 복호를 행한다.
오디오 신호 복호부(82)는, 추출부(81)에 의해 추출된 오디오 신호를 복호한다. 출력부(83)는, 추출부(81)에 의해 추출된 메타 데이터와, 오디오 신호 복호부(82)에 의해 복호된 오디오 신호를 재생 장치(11)에 공급한다.
또한, 인코더(61)로부터 디코더(62)에 출력되는 비트 스트림에 기술되는 메타데이터의 일부는, 예를 들어 도 8에 도시하는 바와 같이 된다. 즉, 도 8은 메타데이터의 일부의 신택스를 나타내고 있다.
도 8의 예에서는, 헤더의 선두에는, 다운 믹스에 필요한 정보가 메타데이터에 포함되어 있는지 여부를 나타내는 정보로서 「down mix coef exist flag」가 배치되어 있다.
또한, 메타데이터에는 커브 정보로서 「down mix coef mode」가 배치되어 있고, 그 아래에는, 커브 인덱스로서의 「polyline curve idx」 또는 「function curve idx」가 배치된다.
「polyline curve idx」는, 꺾은선 커브를 나타내고 있고, 이 값이 2진수 「111」인 경우에는, 새로운 꺾은선 커브인 것을 나타내고 있다. 이 경우, 새로운 꺾은선 커브를 얻기 위한 정보로서 「polyline curve coeffcient[j]」가 기술되어 있다.
새로운 꺾은선 커브를 얻기 위한 정보는, 예를 들어 도 2에 도시한 꺾은선 CV11 상의 사각형의 각 점(이하, 기술점이라고 칭함), 즉 수열을 구성하는 각 값을 특정하는 정보로 된다.
구체적으로는, 예를 들어 재생 게인축(종축)이 16분할되는 것으로 하고, 16개의 분할선이 정의된다. 각 기술점은, 종축의 각 분할선 상에 순차 배치되는 것으로 한다.
메타데이터 내에서는, 기술점이 「0」으로 표현되고, 각 기술점이 어느 분할선 상에 배치되는지를 나타내는 정보는 「1」로 표현되는 것으로 한다.
도 2 중, 좌측으로부터 순서대로 기술점을 기술하기로 하고, 먼저, 좌측으로부터 1번째의 기술점이 위에서부터 몇 개 아래의 분할선 상에 위치하는지를 나타내는 정보가 「1」의 수로 기술되고, 그 후, 기술점을 나타내는 「0」이 기술된다. 여기서는, 좌측으로부터 1번째의 기술점은 최상위의 분할선 상에 위치하기 때문에, 기술점을 나타내는 「0」만이 기술된다.
또한, 그 이후에 있어서는, 그 기술점이, 직전의 기술점이 위치하는 분할선으로부터 Q개 아래의 분할선 상에 위치하는 것을 나타내는 정보가 Q개의 「1」로 기술되고, 그 후에 기술점을 나타내는 「0」이 기술된다.
예를 들어, 좌측으로부터 3번째의 기술점은 2번째의 기술점보다 2개 아래의 분할선 상에 위치하기 때문에, 2개의 「1」이 기술되고, 그 후, 1개의 「0」이 기술된다. 또한, 좌측으로부터 10번째의 기술점은 9번째의 기술점과 동일한 분할선 상에 위치하는, 즉 0개 아래의 분할선 상에 위치하므로, 「1」이 기술되지 않고, 1개의 「0」만이 기술된다.
상기 방법에 의해 기술이 행하여지고, 모든 기술점의 기술이 완료된 경우, 1개의 「1」이 기술되고, 꺾은선 커브의 정보 기술이 종료된 것이 표현된다. 단, 기술점의 수가 많아서， 합해서 64개의 「1」과 「0」을 사용해도 전부 기술하지 못하는 경우에는, 「1」과 「0」의 수가 64에 도달할 때까지 기술이 행하여지고, 그 후에는 기술 종료로 된다.
따라서, 꺾은선 커브를 얻기 위한 정보를 메타데이터부터 판독하는 경우에는, 16개의 「1」 또는 합계 64개의 「1」과 「0」(즉, 「1」과 「0」이 합계 64개)이 판독될 때까지, 순서대로 각 기술점을 얻기 위한 정보가 판독되고, 꺾은선 커브가 생성된다.
또한, 「function curve idx」는, 함수 커브를 나타내고 있고, 이 값이 2진수의 「111」인 경우에는, 새로운 함수 커브인 것을 나타내고 있다. 이 경우, 새로운 함수 커브의 계수로서 「function_curve_coeffcient[i]」가 기술되어 있다.
또한, 메타데이터에 기술되어 있는 「minimun_gain_threshold_idx」는, 게인의 하한값 MixGainMinThre를 나타내는 인덱스이다. 또한, 메타데이터에 기술되어 있는 「gain_correction_coeffcient」는 재생 스피커(12)의 배치 위치에 따른 재생 게인의 보정에 필요한 보정 계수 Max_spkr_pos_correction_coeffcient이다. 여기서, Max_spkr_pos_correction_coeffcient의 값이 「1」인 경우에는, 재생 스피커(12)의 배치 위치에 따른 재생 게인의 보정은 필요없음을 나타내고 있게 된다.
또한, 메타데이터에는, 채널간의 상대 음압의 기대값 SPR_i(m)가 메타데이터 내에 기술되어 있는지 여부를 나타내는 정보인 「sound_level_exist_flag」가 기술되어 있고, 이 「sound_level_exist_flag」의 값에 따라서 「channel sound level[i]」이 기술된다. 「channel sound level[i]」은, 기대값 SPR_i(m)이다.
<부호화 처리의 설명>
또한, 인코더(61)와 디코더(62)의 동작에 대해서 설명한다.
먼저, 도 9의 흐름도를 참조하여, 인코더(61)에 의한 부호화 처리에 대해서 설명한다.
스텝 S41에 있어서, 메타데이터 생성부(71)는, 외부로부터 필요한 정보를 취득함과 함께, 취득한 정보의 부호화를 행함으로써, 부호화된 메타데이터를 생성한다. 예를 들어, 메타데이터 생성부(71)는, 도 8에 도시한 신택스에 대응하는 메타데이터를 생성한다.
스텝 S42에 있어서, 오디오 신호 부호화부(72)는, 외부로부터 공급된 오디오 신호를 부호화한다.
스텝 S43에 있어서, 출력부(73)는, 부호화된 메타데이터와, 부호화된 오디오 신호가 포함되는 비트 스트림을 생성하여, 디코더(62)에 출력한다. 그리고, 비트 스트림이 출력되면, 부호화 처리는 종료된다.
이상과 같이 해서 인코더(61)는, 이상 스피커의 위치 정보나, 커브 정보 등이 포함되는 메타데이터를 생성하여, 출력한다. 이와 같이 이상 스피커의 위치 정보나 커브 정보 등을 포함하는 정보를 메타데이터로서 생성함으로써, 재생 장치(11)에 있어서, 이상 스피커의 위치와 실제의 재생 스피커(12)의 배치 위치와의 거리에 따른 게인 보정 등, 적절한 게인 보정을 행할 수 있게 된다. 그 결과, 보다 현장감이 있는 오디오 재생을 행할 수 있다.
<복호 처리의 설명>
계속해서, 도 10의 흐름도를 참조하여, 디코더(62)에 의해 행하여지는 복호 처리에 대해서 설명한다.
스텝 S71에 있어서, 디코더(62)는 인코더(61)로부터 송신되어 온 비트 스트림을 수신하고, 추출부(81)는, 수신된 비트 스트림으로부터 메타데이터와 오디오 신호를 추출한다. 또한, 추출부(81)는, 메타데이터의 복호도 행한다.
스텝 S72에 있어서, 오디오 신호 복호부(82)는, 추출부(81)에 의해 추출된 오디오 신호를 복호한다.
스텝 S73에 있어서, 출력부(83)는, 복호된 메타 데이터와, 복호된 오디오 신호를 재생 장치(11)에 출력하고, 복호 처리는 종료된다.
이상과 같이 해서 디코더(62)는, 메타데이터와 오디오 신호를 복호하고, 이상 스피커의 위치 정보나, 커브 정보 등이 포함되는 메타데이터와 오디오 신호를 재생 장치(11)에 출력한다. 이와 같이 이상 스피커의 위치 정보나 커브 정보 등을 포함하는 정보를 메타데이터로서 출력함으로써, 재생 장치(11)에 있어서, 이상 스피커의 위치와 실제의 재생 스피커(12)의 배치 위치와의 거리에 따른 게인 보정 등, 적절한 게인 보정을 행할 수 있게 된다. 그 결과, 보다 현장감이 있는 오디오 재생을 행할 수 있다.
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 컴퓨터 등이 포함된다.
도 11은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
컴퓨터에 있어서, CPU(501), ROM(502), RAM(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는 또한 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기록부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.
입력부(506)는, 키보드, 마우스, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(507)는, 디스플레이, 스피커 등을 포함한다. 기록부(508)는, 하드 디스크나 불휘발성 메모리 등을 포함한다. 통신부(509)는, 네트워크 인터페이스 등을 포함한다. 드라이브(510)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(511)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통하여, RAM(503)에 로드해서 실행함으로써, 상술한 일련의 처리가 행하여진다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(511)에 기록해서 제공할 수 있다. 또한, 프로그램은, 로컬에리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 미디어(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통하여, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(509)에서 수신하고, 기록부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(502)이나 기록부(508)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 또는 호출이 행하여졌을 때 등 필요한 타이밍에 처리가 행하여지는 프로그램이어도 된다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담해서 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담해서 실행할 수 있다.
또한, 본 기술은, 이하의 구성으로 하는 것도 가능하다.
[1]
오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리를 계산하는 거리 계산부와,
상기 거리에 기초하여 상기 오디오 신호의 재생 게인을 계산하는 게인 계산부와,
상기 재생 게인에 기초하여 상기 오디오 신호의 게인 조정을 행하는 게인 조정부를 구비하는 오디오 신호 출력 장치.
[2]
상기 게인 계산부는, 각 상기 거리에 대한 상기 재생 게인을 얻기 위한 커브 정보에 기초하여, 상기 재생 게인을 계산하는 [1]에 기재된 오디오 신호 출력 장치.
[3]
상기 커브 정보는, 꺾은선 커브 또는 함수 커브를 나타내는 정보인 [2]에 기재된 오디오 신호 출력 장치.
[4]
상기 게인 조정부는, 상기 이상적인 스피커가 소정의 기준점을 중심으로 하는 단위원 상에 없는 경우, 상기 기준점으로부터 상기 이상적인 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 게인에 의해 상기 오디오 신호의 게인 조정을 더 행하는 [1] 또는 [2]에 기재된 오디오 신호 출력 장치.
[5]
상기 게인 조정부는, 상기 기준점으로부터 상기 이상적인 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 지연 시간에 기초하여 상기 오디오 신호를 지연시키는 [4]에 기재된 오디오 신호 출력 장치.
[6]
상기 게인 조정부는, 상기 실제의 스피커가 소정의 기준점을 중심으로 하는 단위원 상에 없는 경우, 상기 기준점으로부터 상기 실제의 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 게인에 의해 상기 오디오 신호의 게인 조정을 더 행하는 [1] 또는 [2]에 기재된 오디오 신호 출력 장치.
[7]
상기 게인 조정부는, 상기 기준점으로부터 상기 실제의 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 지연 시간에 기초하여 상기 오디오 신호를 지연시키는 [6]에 기재된 오디오 신호 출력 장치.
[8]
이상적인 센터 스피커의 위치와, 상기 실제의 스피커의 위치와의 거리에 기초하여, 상기 재생 게인을 보정하는 게인 보정부를 더 구비하는 [1] 내지 [7] 중 어느 하나에 기재된 오디오 신호 출력 장치.
[9]
상기 재생 게인이 미리 정해진 하한값보다도 작은 경우, 상기 재생 게인을 보정하는 하한값 보정부를 더 구비하는 [1] 내지 [8] 중 어느 하나에 기재된 오디오 신호 출력 장치.
[10]
입력된 상기 오디오 신호에 기초한 입력 음성의 음압의 기대값 및 상기 재생 게인에 기초하여, 상기 재생 게인에 의해 게인 조정된 상기 오디오 신호에 기초한 출력 음성의 전체 파워와, 상기 입력 음성의 전체 파워와의 비를 산출하고, 상기 비에 기초하여 상기 재생 게인을 보정하는 전체 게인 보정부를 더 구비하는 [1] 내지 [9] 중 어느 하나에 기재된 오디오 신호 출력 장치.
[11]
오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리를 계산하고,
상기 거리에 기초하여 상기 오디오 신호의 재생 게인을 계산하고,
상기 재생 게인에 기초하여 상기 오디오 신호의 게인 조정을 행하는 스텝을 포함하는 오디오 신호 출력 방법.
[12]
오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리를 계산하고,
상기 거리에 기초하여 상기 오디오 신호의 재생 게인을 계산하고,
상기 재생 게인에 기초하여 상기 오디오 신호의 게인 조정을 행하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
[13]
오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보를 생성하는 보정 정보 생성부와,
상기 오디오 신호를 부호화하는 부호화부와,
상기 보정 정보 및 부호화된 상기 오디오 신호를 포함하는 비트 스트림을 출력하는 출력부를 구비하는 부호화 장치.
[14]
오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보를 생성하고,
상기 오디오 신호를 부호화하고,
상기 보정 정보 및 부호화된 상기 오디오 신호를 포함하는 비트 스트림을 출력하는 스텝을 포함하는 부호화 방법.
[15]
오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보 및 부호화된 상기 오디오 신호를 비트 스트림으로부터 추출하는 추출부와,
상기 부호화된 상기 오디오 신호를 복호하는 복호부와,
복호된 상기 오디오 신호 및 상기 보정 정보를 출력하는 출력부를 구비하는 복호 장치.
[16]
상기 보정 정보는, 상기 이상적인 스피커의 위치 정보인 [15]에 기재된 복호 장치.
[17]
상기 보정 정보는, 각 상기 거리에 대한 게인을 얻기 위한 커브 정보인 [15] 또는 [16]에 기재된 복호 장치.
[18]
상기 커브 정보는, 꺾은선 커브 또는 함수 커브를 나타내는 정보인 [17]에 기재된 복호 장치.
[19]
오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보 및 부호화된 상기 오디오 신호를 비트 스트림으로부터 추출하고,
상기 부호화된 상기 오디오 신호를 복호하고,
복호된 상기 오디오 신호 및 상기 보정 정보를 출력하는 스텝을 포함하는 복호 방법.
11 재생 장치
21 거리 계산부
22 재생 게인 계산부
23 보정부
24 하한값 보정부
25 전체 게인 보정부,
26 게인 조정부
61 인코더
62 디코더
71 메타데이터 생성부
72 오디오 신호 부호화부
73 출력부
81 추출부
82 오디오 신호 복호부
83 출력부

Claims (19)

  1. 오디오 신호를 재생하는 이상(理想)적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리를 계산하는 거리 계산부와,
    상기 거리에 기초하여 상기 오디오 신호의 재생 게인을 계산하는 게인 계산부와,
    상기 재생 게인에 기초하여 상기 오디오 신호의 게인 조정을 행하는 게인 조정부를 구비하는 오디오 신호 출력 장치.
  2. 제1항에 있어서,
    상기 게인 계산부는, 각 상기 거리에 대한 상기 재생 게인을 얻기 위한 커브 정보에 기초하여, 상기 재생 게인을 계산하는 오디오 신호 출력 장치.
  3. 제2항에 있어서,
    상기 커브 정보는, 꺾은선 커브 또는 함수 커브를 나타내는 정보인 오디오 신호 출력 장치.
  4. 제1항에 있어서,
    상기 게인 조정부는, 상기 이상적인 스피커가 소정의 기준점을 중심으로 하는 단위원 상에 없는 경우, 상기 기준점으로부터 상기 이상적인 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 게인에 의해 상기 오디오 신호의 게인 조정을 더 행하는 오디오 신호 출력 장치.
  5. 제4항에 있어서,
    상기 게인 조정부는, 상기 기준점으로부터 상기 이상적인 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 지연 시간에 기초하여 상기 오디오 신호를 지연시키는 오디오 신호 출력 장치.
  6. 제1항에 있어서,
    상기 게인 조정부는, 상기 실제의 스피커가 소정의 기준점을 중심으로 하는 단위원 상에 없는 경우, 상기 기준점으로부터 상기 실제의 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 게인에 의해 상기 오디오 신호의 게인 조정을 더 행하는 오디오 신호 출력 장치.
  7. 제6항에 있어서,
    상기 게인 조정부는, 상기 기준점으로부터 상기 실제의 스피커까지의 거리와 상기 단위원의 반경에 기초해서 정해진 지연 시간에 기초하여 상기 오디오 신호를 지연시키는 오디오 신호 출력 장치.
  8. 제1항에 있어서,
    이상적인 센터 스피커의 위치와, 상기 실제의 스피커의 위치와의 거리에 기초하여, 상기 재생 게인을 보정하는 게인 보정부를 더 구비하는 오디오 신호 출력 장치.
  9. 제1항에 있어서,
    상기 재생 게인이 미리 정해진 하한값보다도 작은 경우, 상기 재생 게인을 보정하는 하한값 보정부를 더 구비하는 오디오 신호 출력 장치.
  10. 제1항에 있어서,
    입력된 상기 오디오 신호에 기초한 입력 음성의 음압의 기대값 및 상기 재생 게인에 기초하여, 상기 재생 게인에 의해 게인 조정된 상기 오디오 신호에 기초한 출력 음성의 전체 파워와, 상기 입력 음성의 전체 파워와의 비를 산출하고, 상기 비에 기초하여 상기 재생 게인을 보정하는 전체 게인 보정부를 더 구비하는 오디오 신호 출력 장치.
  11. 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리를 계산하고,
    상기 거리에 기초하여 상기 오디오 신호의 재생 게인을 계산하고,
    상기 재생 게인에 기초하여 상기 오디오 신호의 게인 조정을 행하는 스텝을 포함하는 오디오 신호 출력 방법.
  12. 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리를 계산하고,
    상기 거리에 기초하여 상기 오디오 신호의 재생 게인을 계산하고,
    상기 재생 게인에 기초하여 상기 오디오 신호의 게인 조정을 행하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
  13. 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보를 생성하는 보정 정보 생성부와,
    상기 오디오 신호를 부호화하는 부호화부와,
    상기 보정 정보 및 부호화된 상기 오디오 신호를 포함하는 비트 스트림을 출력하는 출력부를 구비하는 부호화 장치.
  14. 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보를 생성하고,
    상기 오디오 신호를 부호화하고,
    상기 보정 정보 및 부호화된 상기 오디오 신호를 포함하는 비트 스트림을 출력하는 스텝을 포함하는 부호화 방법.
  15. 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보 및 부호화된 상기 오디오 신호를 비트 스트림으로부터 추출하는 추출부와,
    상기 부호화된 상기 오디오 신호를 복호하는 복호부와,
    복호된 상기 오디오 신호 및 상기 보정 정보를 출력하는 출력부를 구비하는 복호 장치.
  16. 제15항에 있어서,
    상기 보정 정보는, 상기 이상적인 스피커의 위치 정보인 복호 장치.
  17. 제15항에 있어서,
    상기 보정 정보는, 각 상기 거리에 대한 게인을 얻기 위한 커브 정보인 복호 장치.
  18. 제17항에 있어서,
    상기 커브 정보는, 꺾은선 커브 또는 함수 커브를 나타내는 정보인 복호 장치.
  19. 오디오 신호를 재생하는 이상적인 스피커의 위치와, 상기 오디오 신호를 재생하는 실제의 스피커의 위치와의 거리에 따라 상기 오디오 신호의 게인을 보정하기 위한 보정 정보 및 부호화된 상기 오디오 신호를 비트 스트림으로부터 추출하고,
    상기 부호화된 상기 오디오 신호를 복호하고,
    복호된 상기 오디오 신호 및 상기 보정 정보를 출력하는 스텝을 포함하는 복호 방법.
KR1020157032254A 2013-05-31 2014-05-21 오디오 신호 출력 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램 KR20160013861A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013115725 2013-05-31
JPJP-P-2013-115725 2013-05-31
PCT/JP2014/063410 WO2014192603A1 (ja) 2013-05-31 2014-05-21 オーディオ信号出力装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20160013861A true KR20160013861A (ko) 2016-02-05

Family

ID=51988636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157032254A KR20160013861A (ko) 2013-05-31 2014-05-21 오디오 신호 출력 장치 및 방법, 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램

Country Status (9)

Country Link
US (1) US9866985B2 (ko)
EP (1) EP3007469A4 (ko)
JP (1) JP6376127B2 (ko)
KR (1) KR20160013861A (ko)
CN (1) CN105247893A (ko)
BR (1) BR112015029344A2 (ko)
RU (1) RU2668113C2 (ko)
TW (1) TWI634798B (ko)
WO (1) WO2014192603A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3075173B1 (en) * 2013-11-28 2019-12-11 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
US11290819B2 (en) * 2016-01-29 2022-03-29 Dolby Laboratories Licensing Corporation Distributed amplification and control system for immersive audio multi-channel amplifier
US9949052B2 (en) * 2016-03-22 2018-04-17 Dolby Laboratories Licensing Corporation Adaptive panner of audio objects
JP6684651B2 (ja) * 2016-05-24 2020-04-22 日本放送協会 チャンネル数変換装置およびそのプログラム
EP3565279A4 (en) * 2016-12-28 2020-01-08 Sony Corporation AUDIO SIGNAL REPRODUCING DEVICE AND REPRODUCING METHOD, SOUND COLLECTING DEVICE AND SOUND COLLECTING METHOD, AND PROGRAM
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
CN113891233B (zh) * 2017-11-14 2024-04-09 索尼公司 信号处理设备和方法、及计算机可读存储介质
US20210176582A1 (en) * 2018-04-12 2021-06-10 Sony Corporation Information processing apparatus and method, and program
RU191094U1 (ru) * 2019-03-22 2019-07-23 Федеральное государственное бюджетное образовательное учреждение высшего образования "Санкт-Петербургский государственный институт кино и телевидения" Универсальный усилитель мощности сигналов звуковой частоты
CN113795425A (zh) * 2019-06-05 2021-12-14 索尼集团公司 信息处理装置、信息处理方法和程序
WO2021187606A1 (ja) * 2020-03-19 2021-09-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音響再生方法、コンピュータプログラム及び音響再生装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3397001B2 (ja) * 1994-06-13 2003-04-14 ソニー株式会社 符号化方法及び装置、復号化装置、並びに記録媒体
DE19646055A1 (de) * 1996-11-07 1998-05-14 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Abbildung von Schallquellen auf Lautsprecher
JP2005286903A (ja) * 2004-03-30 2005-10-13 Pioneer Electronic Corp 音響再生装置、音響再生システム、音響再生方法及び制御プログラム並びにこのプログラムを記録した情報記録媒体
JP2006101248A (ja) * 2004-09-30 2006-04-13 Victor Co Of Japan Ltd 音場補正装置
JP2008187213A (ja) * 2005-05-19 2008-08-14 D & M Holdings Inc オーディオ信号処理装置、スピーカボックス、スピーカシステム及び映像音声出力装置
KR100644715B1 (ko) * 2005-12-19 2006-11-10 삼성전자주식회사 능동적 오디오 매트릭스 디코딩 방법 및 장치
JP4867367B2 (ja) * 2006-01-30 2012-02-01 ヤマハ株式会社 立体音響再生装置
US20070253561A1 (en) * 2006-04-27 2007-11-01 Tsp Systems, Inc. Systems and methods for audio enhancement
JP4835298B2 (ja) * 2006-07-21 2011-12-14 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法およびプログラム
US20080232601A1 (en) * 2007-03-21 2008-09-25 Ville Pulkki Method and apparatus for enhancement of audio reconstruction
JP2009206819A (ja) * 2008-02-27 2009-09-10 Sharp Corp 音声信号処理装置、音声信号処理方法、音声信号処理プログラム、記録媒体、表示装置、並びに、表示装置用ラック
JP5401864B2 (ja) * 2008-08-01 2014-01-29 ヤマハ株式会社 音響装置及びプログラム
FR2955996B1 (fr) * 2010-02-04 2012-04-06 Goldmund Monaco Sam Methode pour creer un environnement audio avec n haut-parleurs
WO2012042905A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 音響再生装置および音響再生方法

Also Published As

Publication number Publication date
BR112015029344A2 (pt) 2017-07-25
WO2014192603A1 (ja) 2014-12-04
EP3007469A4 (en) 2017-03-15
TW201505455A (zh) 2015-02-01
CN105247893A (zh) 2016-01-13
EP3007469A1 (en) 2016-04-13
JPWO2014192603A1 (ja) 2017-02-23
US9866985B2 (en) 2018-01-09
RU2015149206A (ru) 2017-05-19
JP6376127B2 (ja) 2018-08-22
TWI634798B (zh) 2018-09-01
US20160127847A1 (en) 2016-05-05
RU2668113C2 (ru) 2018-09-26

Similar Documents

Publication Publication Date Title
JP6376127B2 (ja) オーディオ信号出力装置および方法、並びにプログラム
US10674262B2 (en) Merging audio signals with spatial metadata
CN107533843B (zh) 用于捕获、编码、分布和解码沉浸式音频的系统和方法
JP6047240B2 (ja) 空間オーディオ信号の異なる再生スピーカ設定に対するセグメント毎の調整
EP2873072B1 (en) Methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US20180367934A1 (en) Method and device for rendering an audio soundfield representation
KR101759005B1 (ko) 3d 오디오 계층적 코딩을 이용한 라우드스피커 포지션 보상
CN110085240B (zh) 包括音频对象的音频场景的高效编码
KR20220013003A (ko) 음성 처리 장치 및 방법, 그리고 기록 매체
KR20160003659A (ko) 음성 처리 장치 및 음성 처리 시스템
KR20160003658A (ko) 음성 처리 장치 및 방법, 및 프로그램
US11743646B2 (en) Signal processing apparatus and method, and program to reduce calculation amount based on mute information
US10621994B2 (en) Audio signal processing device and method, encoding device and method, and program
US11483669B2 (en) Spatial audio parameters
JP6694755B2 (ja) チャンネル数変換装置およびそのプログラム
KR101296765B1 (ko) 스피커와 청취자 위치를 반영한 능동적 오디오 매트릭스 디코딩 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right