KR20220125225A - 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램 - Google Patents

부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20220125225A
KR20220125225A KR1020227019705A KR20227019705A KR20220125225A KR 20220125225 A KR20220125225 A KR 20220125225A KR 1020227019705 A KR1020227019705 A KR 1020227019705A KR 20227019705 A KR20227019705 A KR 20227019705A KR 20220125225 A KR20220125225 A KR 20220125225A
Authority
KR
South Korea
Prior art keywords
sense
distance control
audio data
distance
encoded
Prior art date
Application number
KR1020227019705A
Other languages
English (en)
Inventor
미노루 츠지
도루 치넨
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220125225A publication Critical patent/KR20220125225A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Error Detection And Correction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 기술은, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현할 수 있도록 하는 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램에 관한 것이다. 부호화 장치는, 오브젝트의 오디오 데이터를 부호화하는 오브젝트 부호화부와, 오브젝트의 위치 정보를 포함하는 메타데이터를 부호화하는 메타데이터 부호화부와, 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보를 결정하는 거리감 제어 정보 결정부와, 거리감 제어 정보를 부호화하는 거리감 제어 정보 부호화부와, 부호화된 오디오 데이터, 부호화된 메타데이터 및 부호화된 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성하는 다중화부를 구비한다. 본 기술은 콘텐츠 재생 시스템에 적용할 수 있다.

Description

부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램
본 기술은, 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램에 관한 것으로, 특히 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현할 수 있도록 한 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램에 관한 것이다.
근년, 오브젝트 베이스의 오디오 기술이 주목받고 있다.
오브젝트 베이스 오디오에서는, 오디오 오브젝트에 대한 파형 신호와, 소정의 기준이 되는 청취 위치로부터의 상대 위치에 의해 표현되는 오디오 오브젝트의 정위 정보를 나타내는 메타데이터에 의해 오브젝트 오디오의 데이터가 구성되어 있다.
그리고, 오디오 오브젝트의 파형 신호가, 메타데이터에 기초하여, 예를 들어 VBAP(Vector Based Amplitude Panning)에 의해 원하는 채널수의 신호로 렌더링되어 재생된다(예를 들어, 비특허문헌 1 및 비특허문헌 2 참조).
또한, 오브젝트 베이스 오디오에 관한 기술로서, 예를 들어 유저가 임의의 청취 위치를 지정 가능한, 더 자유도가 높은 오디오 재생을 실현하는 기술도 제안되어 있다(예를 들어, 특허문헌 1 참조).
이 기술에서는, 오디오 오브젝트의 위치 정보를 청취 위치에 따라 보정함과 함께, 청취 위치부터 오디오 오브젝트까지의 거리의 변화에 따른 게인 제어나 필터 처리를 행함으로써, 유저의 청취 위치의 변경에 수반하는 주파수 특성이나 음량의 변화, 즉 오디오 오브젝트까지의 거리감이 재현되고 있다.
국제 공개 제2015/107926호
ISO/IEC 23008-3 Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3: 3D audio Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997
그러나, 상술한 기술에서는, 청취 위치부터 오디오 오브젝트까지의 거리에 따른 주파수 특성이나 음량의 변화를 재현하기 위한 게인 제어나 필터 처리는, 미리 정해진 것이었다.
그 때문에, 콘텐츠 제작자가 그것과는 다른 주파수 특성이나 음량의 변화에 따른 거리감의 재현을 하고 싶어도, 그러한 거리감의 재현을 행할 수는 없었다. 즉, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현할 수는 없었다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이고, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현할 수 있도록 하는 것이다.
본 기술의 제1 측면의 부호화 장치는, 오브젝트의 오디오 데이터를 부호화하는 오브젝트 부호화부와, 상기 오브젝트의 위치 정보를 포함하는 메타데이터를 부호화하는 메타데이터 부호화부와, 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보를 결정하는 거리감 제어 정보 결정부와, 상기 거리감 제어 정보를 부호화하는 거리감 제어 정보 부호화부와, 부호화된 상기 오디오 데이터, 부호화된 상기 메타데이터 및 부호화된 상기 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성하는 다중화부를 구비한다.
본 기술의 제1 측면의 부호화 방법 또는 프로그램은, 오브젝트의 오디오 데이터를 부호화하고, 상기 오브젝트의 위치 정보를 포함하는 메타데이터를 부호화하고, 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보를 결정하고, 상기 거리감 제어 정보를 부호화하고, 부호화된 상기 오디오 데이터, 부호화된 상기 메타데이터 및 부호화된 상기 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성하는 스텝을 포함한다.
본 기술의 제1 측면에 있어서는, 오브젝트의 오디오 데이터가 부호화되고, 상기 오브젝트의 위치 정보를 포함하는 메타데이터가 부호화되고, 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보가 결정되고, 상기 거리감 제어 정보가 부호화되고, 부호화된 상기 오디오 데이터, 부호화된 상기 메타데이터 및 부호화된 상기 거리감 제어 정보가 다중화되어 부호화 데이터가 생성된다.
본 기술의 제2 측면의 복호 장치는, 부호화 데이터를 비다중화하여, 오브젝트가 부호화된 오디오 데이터, 상기 오브젝트의 위치 정보를 포함하는 부호화된 메타데이터 및 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 부호화된 거리감 제어 정보를 추출하는 비다중화부와, 상기 부호화된 오디오 데이터를 복호하는 오브젝트 복호부와, 상기 부호화된 메타데이터를 복호하는 메타데이터 복호부와, 상기 부호화된 거리감 제어 정보를 복호하는 거리감 제어 정보 복호부와, 상기 거리감 제어 정보에 기초하여, 상기 오브젝트의 상기 오디오 데이터에 대하여 상기 거리감 제어 처리를 행하는 거리감 제어 처리부와, 상기 거리감 제어 처리에 의해 얻어진 오디오 데이터와, 상기 메타데이터에 기초하여 렌더링 처리를 행하여, 상기 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터를 생성하는 렌더링 처리부를 구비한다.
본 기술의 제2 측면의 복호 방법 또는 프로그램은, 부호화 데이터를 비다중화하여, 오브젝트가 부호화된 오디오 데이터, 상기 오브젝트의 위치 정보를 포함하는 부호화된 메타데이터 및 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 부호화된 거리감 제어 정보를 추출하고, 상기 부호화된 오디오 데이터를 복호하고, 상기 부호화된 메타데이터를 복호하고, 상기 부호화된 거리감 제어 정보를 복호하고, 상기 거리감 제어 정보에 기초하여, 상기 오브젝트의 상기 오디오 데이터에 대하여 상기 거리감 제어 처리를 행하고, 상기 거리감 제어 처리에 의해 얻어진 오디오 데이터와, 상기 메타데이터에 기초하여 렌더링 처리를 행하여, 상기 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터를 생성하는 스텝을 포함한다.
본 기술의 제2 측면에 있어서는, 부호화 데이터가 비다중화되어, 오브젝트가 부호화된 오디오 데이터, 상기 오브젝트의 위치 정보를 포함하는 부호화된 메타데이터 및 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 부호화된 거리감 제어 정보가 추출되고, 상기 부호화된 오디오 데이터가 복호되고, 상기 부호화된 메타데이터가 복호되고, 상기 부호화된 거리감 제어 정보가 복호되고, 상기 거리감 제어 정보에 기초하여, 상기 오브젝트의 상기 오디오 데이터에 대하여 상기 거리감 제어 처리가 행해지고, 상기 거리감 제어 처리에 의해 얻어진 오디오 데이터와, 상기 메타데이터에 기초하여 렌더링 처리가 행해져, 상기 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터가 생성된다.
도 1은 부호화 장치의 구성예를 나타내는 도면이다.
도 2는 복호 장치의 구성예를 나타내는 도면이다.
도 3은 거리감 제어 처리부의 구성예를 나타내는 도면이다.
도 4는 리버브 처리부의 구성예를 나타내는 도면이다.
도 5는 게인 제어 처리의 제어 룰 예에 대하여 설명하는 도면이다.
도 6은 하이 쉘프 필터에 의한 필터 처리의 제어 룰 예에 대하여 설명하는 도면이다.
도 7은 로우 쉘프 필터에 의한 필터 처리의 제어 룰 예에 대하여 설명하는 도면이다.
도 8은 리버브 처리의 제어 룰 예에 대하여 설명하는 도면이다.
도 9는 웨트 성분의 생성에 대하여 설명하는 도면이다.
도 10은 웨트 성분의 생성에 대하여 설명하는 도면이다.
도 11은 거리감 제어 정보의 예를 나타내는 도면이다.
도 12는 게인 제어의 파라미터 구성 정보의 예를 나타내는 도면이다.
도 13은 필터 처리의 파라미터 구성 정보의 예를 나타내는 도면이다.
도 14는 리버브 처리의 파라미터 구성 정보의 예를 나타내는 도면이다.
도 15는 부호화 처리를 설명하는 흐름도이다.
도 16은 복호 처리를 설명하는 흐름도이다.
도 17은 게인값을 얻기 위한 테이블과 함수의 예를 나타내는 도면이다.
도 18은 게인 제어의 파라미터 구성 정보의 예를 나타내는 도면이다.
도 19는 거리감 제어 정보의 예를 나타내는 도면이다.
도 20은 거리감 제어 정보의 예를 나타내는 도면이다.
도 21은 거리감 제어 처리부의 구성예를 나타내는 도면이다.
도 22는 거리감 제어 정보의 예를 나타내는 도면이다.
도 23은 컴퓨터의 구성예를 나타내는 도면이다.
이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대하여 설명한다.
<제1 실시 형태>
<부호화 장치의 구성예>
본 기술은, 하나 또는 복수의 오디오 오브젝트의 소리를 포함하는, 오브젝트 베이스 오디오의 오디오 콘텐츠의 재생에 관한 것이다.
이하에는, 오디오 오브젝트를 단순히 오브젝트라고도 칭하고, 오디오 콘텐츠를 단순히 콘텐츠라고도 칭하는 것으로 한다.
본 기술에서는, 콘텐츠 제작자가 설정한, 청취 위치부터 오브젝트까지의 거리감을 재현하는 거리감 제어 처리를 위한 거리감 제어 정보가 오브젝트의 오디오 데이터와 함께 복호측으로 전송된다. 이에 의해, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현할 수 있게 된다.
여기서, 거리감 제어 처리란, 오브젝트의 소리를 재생할 때 청취 위치부터 오브젝트까지의 거리감을 재현하기 위한 처리, 즉 오브젝트의 소리에 대하여 거리감을 부가하는 처리이고, 임의의 하나 또는 복수의 처리를 조합하여 실행함으로써 실현되는 신호 처리이다.
구체적으로는, 예를 들어 거리감 제어 처리에서는, 오디오 데이터에 대한 게인 제어 처리, 주파수 특성이나 각종 음향 효과를 부가하는 필터 처리, 리버브 처리 등이 행해진다.
이러한 거리감 제어 처리를 복호측에 있어서 재구성할 수 있도록 하기 위한 정보가 거리감 제어 정보이고, 거리감 제어 정보에는 구성 정보와 제어 룰 정보가 포함되어 있다. 바꾸어 말하면, 거리감 제어 정보는 구성 정보 및 제어 룰 정보를 포함한다.
예를 들어, 거리감 제어 정보를 구성하는 구성 정보는, 콘텐츠 제작자가 설정한, 거리감 제어 처리의 구성을 파라미터화함으로써 얻어지는, 거리감 제어 처리를 실현하기 위해 조합하여 행하는 하나 또는 복수의 신호 처리를 나타내는 정보이다.
더 구체적으로는, 구성 정보는 거리감 제어 처리가 몇 개의 신호 처리에 의해 구성되어 있거나, 그것들의 신호 처리는 어떤 처리로, 어떤 순서로 실행될지를 나타내고 있다.
또한, 거리감 제어 처리를 구성하는 하나 또는 복수의 신호 처리나, 그것들의 신호 처리를 행하는 순번이 미리 정해져 있는 경우에는, 거리감 제어 정보에는 반드시 구성 정보가 포함되어 있을 필요는 없다.
또한, 제어 룰 정보는, 콘텐츠 제작자가 설정한, 거리감 제어 처리를 구성하는 각 신호 처리에서의 제어 룰을 파라미터화함으로써 얻어지는, 거리감 제어 처리를 구성하는 각 신호 처리에서 사용되는 파라미터를 얻기 위한 정보이다.
더 구체적으로는, 제어 룰 정보는 거리감 제어 처리를 구성하는 각 신호 처리에는, 어떤 파라미터가 사용되는지, 그것들의 파라미터는, 청취 위치부터 오브젝트까지의 거리에 따라, 어떤 제어 룰로 변화되는지를 나타내고 있다.
부호화측에서는, 이러한 거리감 제어 정보와, 각 오브젝트의 오디오 데이터가 부호화되어 복호측으로 전송된다.
또한, 복호측에서는, 거리감 제어 정보에 기초하여 거리감 제어 처리가 재구성되어, 각 오브젝트의 오디오 데이터에 대하여 거리감 제어 처리가 행해진다.
이때, 거리감 제어 정보에 포함되는 제어 룰 정보에 기초하여, 청취 위치부터 오브젝트까지의 거리에 따른 파라미터가 결정되고, 그 파라미터에 기초하여 거리감 제어 처리를 구성하는 신호 처리가 행해진다.
그리고, 거리감 제어 처리에 의해 얻어진 오디오 데이터에 기초하여 3D 오디오의 렌더링 처리가 행해져, 콘텐츠의 소리, 즉 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터가 생성된다.
그러면, 이하, 본 기술을 적용한 더 구체적인 실시 형태에 대하여 설명한다.
예를 들어, 본 기술을 적용한 콘텐츠 재생 시스템은, 콘텐츠를 구성하는 하나 또는 복수의 각 오브젝트의 오디오 데이터나 거리감 제어 정보를 부호화하여 부호화 데이터를 생성하는 부호화 장치와, 부호화 데이터의 공급을 받아 재생 오디오 데이터를 생성하는 복호 장치를 포함한다.
이러한 콘텐츠 재생 시스템을 구성하는 부호화 장치는, 예를 들어 도 1에 나타낸 바와 같이 구성된다.
도 1에 나타내는 부호화 장치(11)는, 오브젝트 부호화부(21), 메타데이터 부호화부(22), 거리감 제어 정보 결정부(23), 거리감 제어 정보 부호화부(24) 및 다중화부(25)를 갖고 있다.
오브젝트 부호화부(21)에는, 콘텐츠를 구성하는 하나 또는 복수의 각 오브젝트의 오디오 데이터가 공급된다. 이 오디오 데이터는, 오브젝트의 소리를 재생하기 위한 파형 신호(오디오 신호)이다.
오브젝트 부호화부(21)는, 공급된 각 오브젝트의 오디오 데이터를 부호화하고, 그 결과 얻어진 부호화 오디오 데이터를 다중화부(25)에 공급한다.
메타데이터 부호화부(22)에는, 각 오브젝트의 오디오 데이터의 메타데이터가 공급된다.
메타데이터에는, 공간 내에 있어서의 오브젝트의 절대적인 위치를 나타내는 위치 정보가 적어도 포함되어 있다. 이 위치 정보는, 절대 좌표계, 즉, 예를 들어 공간 내의 소정의 위치를 기준으로 하는 3차원 직교 좌표계에 있어서의 오브젝트의 위치를 나타내는 좌표 등으로 된다. 또한, 메타데이터에는, 오브젝트의 오디오 데이터에 대한 게인 제어(게인 보정)를 행하기 위한 게인 정보 등이 포함되어 있도록 해도 된다.
메타데이터 부호화부(22)는, 공급된 각 오브젝트의 메타데이터를 부호화하고, 그 결과 얻어진 부호화 메타데이터를 다중화부(25)에 공급한다.
거리감 제어 정보 결정부(23)는, 유저에 의한 지정 조작 등에 따라 거리감 제어 정보를 결정하고, 결정한 거리감 제어 정보를 거리감 제어 정보 부호화부(24)에 공급한다.
예를 들어, 거리감 제어 정보 결정부(23)는, 유저에 의한 지정 조작에 따라, 유저에 의해 지정된 구성 정보 및 제어 룰 정보를 취득함으로써, 그것들의 구성 정보 및 제어 룰 정보를 포함하는 거리감 제어 정보를 결정한다.
또한, 예를 들어 거리감 제어 정보 결정부(23)가, 콘텐츠의 각 오브젝트의 오디오 데이터나, 콘텐츠의 장르 등의 콘텐츠에 관한 정보, 콘텐츠의 재생 공간에 관한 정보 등에 기초하여 거리감 제어 정보를 결정하도록 해도 된다.
또한, 복호측에 있어서 거리감 제어 처리를 구성하는 각 신호 처리나 그것들의 신호 처리의 처리순이 기지인 경우에는, 거리감 제어 정보에 구성 정보가 포함되어 있지 않아도 된다.
거리감 제어 정보 부호화부(24)는, 거리감 제어 정보 결정부(23)로부터 공급된 거리감 제어 정보를 부호화하고, 그 결과 얻어진 부호화 거리감 제어 정보를 다중화부(25)에 공급한다.
다중화부(25)는, 오브젝트 부호화부(21)로부터 공급된 부호화 오디오 데이터, 메타데이터 부호화부(22)로부터 공급된 부호화 메타데이터 및 거리감 제어 정보 부호화부(24)로부터 공급된 부호화 거리감 제어 정보를 다중화하여, 부호화 데이터(부호열)를 생성한다. 다중화부(25)는, 다중화에 의해 얻어진 부호화 데이터를, 통신망 등을 통해 복호 장치로 송신(전송)한다.
<복호 장치의 구성예>
또한, 콘텐츠 재생 시스템을 구성하는 복호 장치는, 예를 들어 도 2에 나타낸 바와 같이 구성된다.
도 2에 나타내는 복호 장치(51)는, 비다중화부(61), 오브젝트 복호부(62), 메타데이터 복호부(63), 거리감 제어 정보 복호부(64), 유저 인터페이스(65), 거리 계산부(66), 거리감 제어 처리부(67) 및 3D 오디오 렌더링 처리부(68)를 갖고 있다.
비다중화부(61)는, 부호화 장치(11)로부터 송신되어 온 부호화 데이터를 수신하고, 수신한 부호화 데이터를 비다중화함으로써, 부호화 데이터로부터 부호화 오디오 데이터, 부호화 메타데이터 및 부호화 거리감 제어 정보를 추출한다.
비다중화부(61)는, 부호화 오디오 데이터를 오브젝트 복호부(62)에 공급하고, 부호화 메타데이터를 메타데이터 복호부(63)에 공급하고, 부호화 거리감 제어 정보를 거리감 제어 정보 복호부(64)에 공급한다.
오브젝트 복호부(62)는, 비다중화부(61)로부터 공급된 부호화 오디오 데이터를 복호하고, 그 결과 얻어진 오디오 데이터를 거리감 제어 처리부(67)에 공급한다.
메타데이터 복호부(63)는, 비다중화부(61)로부터 공급된 부호화 메타데이터를 복호하고, 그 결과 얻어진 메타데이터를 거리감 제어 처리부(67) 및 거리 계산부(66)에 공급한다.
거리감 제어 정보 복호부(64)는, 비다중화부(61)로부터 공급된 부호화 거리감 제어 정보를 복호하고, 그 결과 얻어진 거리감 제어 정보를 거리감 제어 처리부(67)에 공급한다.
유저 인터페이스(65)는, 예를 들어 유저의 조작 등에 따라, 유저에 의해 지정된 청취 위치를 나타내는 청취 위치 정보를 거리 계산부(66), 거리감 제어 처리부(67) 및 3D 오디오 렌더링 처리부(68)에 공급한다.
여기서, 청취 위치 정보에 의해 나타나는 청취 위치는, 재생 공간 내에서 콘텐츠의 소리를 청취하는 청취자의 절대적인 위치이다. 예를 들어, 청취 위치 정보는, 메타데이터에 포함되어 있는 오브젝트의 위치 정보와 동일한 절대 좌표계에 있어서의 청취 위치를 나타내는 좌표 등으로 된다.
거리 계산부(66)는, 메타데이터 복호부(63)로부터 공급된 메타데이터와, 유저 인터페이스(65)로부터 공급된 청취 위치 정보에 기초하여, 오브젝트마다, 청취 위치부터 오브젝트까지의 거리를 계산하여, 그 계산 결과를 나타내는 거리 정보를 거리감 제어 처리부(67)에 공급한다.
거리감 제어 처리부(67)는, 메타데이터 복호부(63)로부터 공급된 메타데이터, 거리감 제어 정보 복호부(64)로부터 공급된 거리감 제어 정보, 유저 인터페이스(65)로부터 공급된 청취 위치 정보 및 거리 계산부(66)로부터 공급된 거리 정보에 기초하여, 오브젝트 복호부(62)로부터 공급된 오디오 데이터에 대하여 거리감 제어 처리를 행한다.
이때, 거리감 제어 처리부(67)는, 제어 룰 정보 및 거리 정보에 기초하여 파라미터를 구하고, 얻어진 파라미터에 기초하여 오디오 데이터에 대한 거리감 제어 처리를 행한다.
이러한 거리감 제어 처리에 의해, 오브젝트의 드라이 성분의 오디오 데이터와 웨트 성분의 오디오 데이터가 생성된다.
여기서, 드라이 성분의 오디오 데이터란, 원래의 오브젝트의 오디오 데이터에 대하여 하나 또는 복수의 처리를 행함으로써 얻어진, 오브젝트의 직접음 성분 등의 오디오 데이터이다.
이 드라이 성분의 오디오 데이터의 메타데이터로서, 원래의 오브젝트의 메타데이터, 즉 메타데이터 복호부(63)로부터 출력된 메타데이터가 사용된다.
또한, 웨트 성분의 오디오 데이터는, 원래의 오브젝트의 오디오 데이터에 대하여 하나 또는 복수의 처리를 행함으로써 얻어진, 오브젝트의 소리의 잔향 성분 등의 오디오 데이터이다.
따라서, 웨트 성분의 오디오 데이터를 생성한다는 것은, 원래의 오브젝트에 관련되는 새로운 오브젝트의 오디오 데이터를 생성하는 것이라고 할 수 있다.
거리감 제어 처리부(67)에서는, 원래의 오브젝트의 메타데이터, 제어 룰 정보, 거리 정보 및 청취 위치 정보 중 필요한 것이 적절히 사용되어, 웨트 성분의 오디오 데이터의 메타데이터가 생성된다.
이 메타데이터에는, 적어도 웨트 성분의 오브젝트의 위치를 나타내는 위치 정보가 포함되어 있다.
예를 들어, 웨트 성분의 오브젝트의 위치 정보는, 재생 공간 내에 있어서의 청취자로부터 본 오브젝트의 위치를 나타내는 수평 방향의 각도(수평각), 높이 방향의 각도(수직각) 및 청취 위치부터 오브젝트까지의 거리를 나타내는 반경에 의해 표현되는 극좌표 등으로 된다.
거리감 제어 처리부(67)는, 드라이 성분의 오디오 데이터 및 메타데이터와, 웨트 성분의 오디오 데이터 및 메타데이터를 3D 오디오 렌더링 처리부(68)에 공급한다.
3D 오디오 렌더링 처리부(68)는, 거리감 제어 처리부(67)로부터 공급된 오디오 데이터 및 메타데이터와, 유저 인터페이스(65)로부터 공급된 청취 위치 정보에 기초하여 3D 오디오의 렌더링 처리를 행하여, 재생 오디오 데이터를 생성한다.
예를 들어, 3D 오디오 렌더링 처리부(68)에서는, 3D 오디오의 렌더링 처리로서, 극좌표계에서의 렌더링 처리인 VBAP 등이 행해진다.
이 경우, 3D 오디오 렌더링 처리부(68)는, 드라이 성분의 오디오 데이터에 대해서는, 그 드라이 성분의 오브젝트의 메타데이터에 포함되는 위치 정보와, 청취 위치 정보에 기초하여 극좌표로 표현된 위치 정보를 생성하여, 얻어진 위치 정보를 렌더링 처리에 사용한다. 이 위치 정보는, 청취자로부터 본 오브젝트의 상대적인 위치를 나타내는 수평각, 수직각 및 청취 위치부터 오브젝트까지의 거리를 나타내는 반경에 의해 표현되는 극좌표이다.
이러한 렌더링 처리에 의해, 예를 들어 출력처가 되는 스피커 시스템을 구성하는 복수의 각 스피커에 대응하는 채널의 오디오 데이터를 포함하는 멀티 채널의 재생 오디오 데이터가 생성된다.
3D 오디오 렌더링 처리부(68)는, 렌더링 처리에 의해 얻어진 재생 오디오 데이터를 후단에 출력한다.
<거리감 제어 처리부의 구성예>
이어서, 복호 장치(51)의 거리감 제어 처리부(67)의 구체적인 구성예에 대하여 설명한다.
또한, 여기서는 거리감 제어 처리부(67)의 구성, 즉 거리감 제어 처리를 구성하는 하나 또는 복수의 처리와, 그것들의 처리의 순번이 미리 정해져 있는 예에 대하여 설명한다.
그러한 경우, 거리감 제어 처리부(67)는, 예를 들어 도 3에 나타낸 바와 같이 구성된다.
도 3에 나타내는 거리감 제어 처리부(67)는 게인 제어부(101), 하이 쉘프 필터 처리부(102), 로우 쉘프 필터 처리부(103) 및 리버브 처리부(104)를 갖고 있다.
이 예에서는, 거리감 제어 처리로서 게인 제어 처리, 하이 쉘프 필터에 의한 필터 처리, 로우 쉘프 필터에 의한 필터 처리 및 리버브 처리가 차례로 실행된다.
게인 제어부(101)는, 오브젝트 복호부(62)로부터 공급된 오브젝트의 오디오 데이터에 대하여, 제어 룰 정보와 거리 정보에 따른 파라미터(게인값)로 게인 제어를 행하고, 그 결과 얻어진 오디오 데이터를 하이 쉘프 필터 처리부(102)에 공급한다.
하이 쉘프 필터 처리부(102)는, 제어 룰 정보와 거리 정보에 따른 파라미터에 의해 정해지는 하이 쉘프 필터에 의해, 게인 제어부(101)로부터 공급된 오디오 데이터에 대하여 필터 처리를 행하고, 그 결과 얻어진 오디오 데이터를 로우 쉘프 필터 처리부(103)에 공급한다.
하이 쉘프 필터에 의한 필터 처리에서는, 청취 위치부터 오브젝트까지의 거리에 따라, 오디오 데이터의 고역의 게인이 억제된다.
로우 쉘프 필터 처리부(103)는, 제어 룰 정보와 거리 정보에 따른 파라미터에 의해 정해지는 로우 쉘프 필터에 의해, 하이 쉘프 필터 처리부(102)로부터 공급된 오디오 데이터에 대하여 필터 처리를 행한다.
로우 쉘프 필터에 의한 필터 처리에서는, 청취 위치부터 오브젝트까지의 거리에 따라, 오디오 데이터의 저역이 부스트(강조)된다.
로우 쉘프 필터 처리부(103)는, 필터 처리에 의해 얻어진 오디오 데이터를 3D 오디오 렌더링 처리부(68) 및 리버브 처리부(104)에 공급한다.
여기서, 로우 쉘프 필터 처리부(103)로부터 출력되는 오디오 데이터는, 상술한 원래의 오브젝트의 오디오 데이터, 즉 오브젝트의 드라이 성분의 오디오 데이터이다.
리버브 처리부(104)는, 로우 쉘프 필터 처리부(103)로부터 공급된 오디오 데이터에 대하여, 제어 룰 정보와 거리 정보에 따른 파라미터(게인)로 리버브 처리를 행하고, 그 결과 얻어진 오디오 데이터를 3D 오디오 렌더링 처리부(68)에 공급한다.
여기서, 리버브 처리부(104)로부터 출력되는 오디오 데이터는, 상술한 원래의 오브젝트의 잔향 성분 등인 웨트 성분의 오디오 데이터이다. 바꾸어 말하면, 웨트 성분의 오브젝트의 오디오 데이터이다.
<리버브 처리부의 구성예>
또한, 더 상세하게는 리버브 처리부(104)는, 예를 들어 도 4에 나타낸 바와 같이 구성된다.
도 4에 나타내는 예에서는, 리버브 처리부(104)는 게인 제어부(141), 딜레이 생성부(142), 콤 필터군(143), 올패스 필터군(144), 가산부(145), 가산부(146), 딜레이 생성부(147), 콤 필터군(148), 올패스 필터군(149), 가산부(150) 및 가산부(151)를 갖고 있다.
이 예에서는, 리버브 처리에 의해, 모노럴의 오디오 데이터에 대하여, 스테레오의 잔향 성분, 즉, 원래의 오브젝트의 좌우에 위치하는 2개의 웨트 성분의 오디오 데이터가 생성된다.
게인 제어부(141)는, 로우 쉘프 필터 처리부(103)로부터 공급된 드라이 성분의 오디오 데이터에 대하여, 제어 룰 정보와 거리 정보로부터 얻어지는 웨트 게인값에 기초하는 게인 제어 처리(게인 보정 처리)를 행하고, 그 결과 얻어진 오디오 데이터를 딜레이 생성부(142) 및 딜레이 생성부(147)에 공급한다.
딜레이 생성부(142)는, 게인 제어부(141)로부터 공급된 오디오 데이터를 일정 시간만 보유함으로써 지연시켜, 콤 필터군(143)에 공급한다.
또한, 딜레이 생성부(142)는, 게인 제어부(141)로부터 공급된 오디오 데이터를 지연시킴으로써 얻어지는, 콤 필터군(143)에 공급되는 오디오 데이터와는 지연량이 다르고, 또한 서로 지연량이 다른 2개의 오디오 데이터를 가산부(145)에 공급한다.
콤 필터군(143)은, 복수의 콤 필터를 포함하고, 딜레이 생성부(142)로부터 공급된 오디오 데이터에 대하여, 복수의 콤 필터에 의한 필터 처리를 행하고, 그 결과 얻어진 오디오 데이터를 올패스 필터군(144)에 공급한다.
올패스 필터군(144)은, 복수의 올패스 필터를 포함하고, 콤 필터군(143)으로부터 공급된 오디오 데이터에 대하여, 복수의 올패스 필터에 의한 필터 처리를 행하고, 그 결과 얻어진 오디오 데이터를 가산부(146)에 공급한다.
가산부(145)는, 딜레이 생성부(142)로부터 공급된 2개의 오디오 데이터를 가산하여, 가산부(146)에 공급한다.
가산부(146)는, 올패스 필터군(144)으로부터 공급된 오디오 데이터와, 가산부(145)로부터 공급된 오디오 데이터를 가산하고, 그 결과 얻어진 웨트 성분의 오디오 데이터를 3D 오디오 렌더링 처리부(68)에 공급한다.
딜레이 생성부(147)는, 게인 제어부(141)로부터 공급된 오디오 데이터를 일정 시간만 보유함으로써 지연시켜, 콤 필터군(148)에 공급한다.
또한, 딜레이 생성부(147)는, 게인 제어부(141)로부터 공급된 오디오 데이터를 지연시킴으로써 얻어지는, 콤 필터군(148)에 공급되는 오디오 데이터와는 지연량이 다르고, 또한 서로 지연량이 다른 2개의 오디오 데이터를 가산부(150)에 공급한다.
콤 필터군(148)은, 복수의 콤 필터를 포함하고, 딜레이 생성부(147)로부터 공급된 오디오 데이터에 대하여, 복수의 콤 필터에 의한 필터 처리를 행하고, 그 결과 얻어진 오디오 데이터를 올패스 필터군(149)에 공급한다.
올패스 필터군(149)은, 복수의 올패스 필터를 포함하고, 콤 필터군(148)으로부터 공급된 오디오 데이터에 대하여, 복수의 올패스 필터에 의한 필터 처리를 행하고, 그 결과 얻어진 오디오 데이터를 가산부(151)에 공급한다.
가산부(150)는, 딜레이 생성부(147)로부터 공급된 2개의 오디오 데이터를 가산하여, 가산부(151)에 공급한다.
가산부(151)는, 올패스 필터군(149)으로부터 공급된 오디오 데이터와, 가산부(150)로부터 공급된 오디오 데이터를 가산하고, 그 결과 얻어진 웨트 성분의 오디오 데이터를 3D 오디오 렌더링 처리부(68)에 공급한다.
또한, 여기서는 하나의 오브젝트에 대하여, 스테레오(2개)의 웨트 성분이 생성되는 예에 대하여 설명했지만, 하나의 오브젝트에 대하여 하나의 웨트 성분이 생성되도록 해도 되고, 3 이상의 웨트 성분이 생성되도록 해도 된다. 또한, 리버브 처리부(104)의 구성은, 도 4에 나타낸 구성에 한정되지 않고, 다른 어떤 구성이어도 된다.
<파라미터의 제어 룰에 대하여>
이상과 같이 거리감 제어 처리부(67)를 구성하는 각 처리 블록에서는, 청취 위치부터 오브젝트까지의 거리에 따라, 그것들의 처리 블록에서의 처리에 사용되는 파라미터, 즉 처리의 특성이 변화된다.
여기서, 청취 위치부터 오브젝트까지의 거리에 따른 파라미터의 예, 즉 파라미터의 제어 룰의 예에 대하여 설명한다.
예를 들어, 게인 제어부(101)에서는, 청취 위치부터 오브젝트까지의 거리에 따른 파라미터로서, 게인 제어 처리에 사용하는 게인값이 결정된다.
이 경우, 게인값은, 예를 들어 도 5에 나타낸 바와 같이 청취 위치부터 오브젝트까지의 거리에 따라 변화된다.
예를 들어, 화살표 Q11로 나타내는 부분에는, 거리에 따른 게인값의 변화가 나타나 있다. 즉, 종축은 파라미터로서의 게인값을 나타내고 있고, 횡축은 청취 위치부터 오브젝트까지의 거리를 나타내고 있다.
꺾은선 L11로 나타낸 바와 같이, 청취 위치부터 오브젝트까지의 거리 d가 소정의 최솟값 Min부터 D0 사이는 게인값은 0.0㏈이고, 거리 d가 D0부터 D1 사이에서는, 거리 d가 커지는 것에 따라 게인값은 직선적으로 작아진다. 또한, 거리 d가 D1부터 소정의 최댓값 Max 사이에서는 게인값은 －40.0㏈로 되어 있다.
이것으로부터, 도 5에 나타내는 예에서는 거리 d가 커지는 것에 따라, 오디오 데이터의 게인이 억제되는 제어가 행해지는 것을 알 수 있다.
구체적인 예로서는, 예를 들어 거리 d가 1m(=D0) 이하인 경우에는 게인값을0.0㏈로 하고, 거리 d가 1m부터 100m(=D1)까지의 사이에서는, 거리 d가 커지는 것에 따라 －40.0㏈까지 직선적으로 게인값을 변화시킬 수 있다.
여기서, 파라미터가 변화되는 점을 제어 변화점이라고 칭하는 것으로 하면, 도 5의 예에서는 꺾은선 L11에 있어서의 거리 d=D0인 점(위치) 및 거리 d=D1인 점이 제어 변화점으로 된다.
이 경우, 예를 들어 화살표 Q12에 나타낸 바와 같이 제어 변화점에 대응하는 거리 d=D0에 있어서의 게인값 「0.0」과 거리 d=D1에 있어서의 게인값 「－40.0」을 복호 장치(51)로 전송하면, 복호 장치(51)에서는, 임의의 거리 d에 있어서의 게인값을 얻을 수 있다.
또한, 하이 쉘프 필터 처리부(102)에서는, 예를 들어 도 6의 화살표 Q21로 나타낸 바와 같이, 청취 위치부터 오브젝트까지의 거리 d가 커지는 것에 따라, 고역의 게인을 억제하는 필터 처리가 행해진다.
또한, 화살표 Q21로 나타내는 부분에서는, 종축은 파라미터로서의 게인값을 나타내고 있고, 횡축은 청취 위치부터 오브젝트까지의 거리 d를 나타내고 있다.
특히, 이 예에서는 하이 쉘프 필터 처리부(102)에 의해 실현되는 하이 쉘프 필터는, 컷오프 주파수 Fc, 첨예도를 나타내는 Q값 및 컷오프 주파수 Fc에 있어서의 게인값에 의해 정해지는 것이다.
바꾸어 말하면, 하이 쉘프 필터 처리부(102)에서는, 파라미터인 컷오프 주파수 Fc, Q값 및 게인값에 의해 정해지는 하이 쉘프 필터에 의한 필터 처리가 행해진다.
화살표 Q21로 나타내는 부분에 있어서의 꺾은선 L21은, 거리 d에 대하여 정해진, 컷오프 주파수 Fc에 있어서의 게인값을 나타내고 있다.
이 예에서는, 거리 d가 최솟값 Min부터 D0 사이는 게인값은 0.0㏈이고, 거리 d가 D0부터 D1 사이에서는, 거리 d가 커지는 것에 따라 게인값은 직선적으로 작아진다.
또한, 거리 d가 D1부터 D2 사이에서는, 거리 d가 커지는 것에 따라 게인값은 직선적으로 작아지고, 마찬가지로 거리 d가 D2부터 D3의 사이 및 거리 d가 D3부터 D4 사이에서도 거리 d가 커지는 것에 따라 게인값은 직선적으로 작아진다. 또한, 거리 d가 D4부터 최댓값 Max 사이에서는 게인값은 －12.0㏈로 되어 있다.
이것으로부터, 도 6에 나타내는 예에서는 거리 d가 커지는 것에 따라, 오디오 데이터에 있어서의 컷오프 주파수 Fc 부근의 주파수 성분의 게인이 억제되는 제어가 행해지는 것을 알 수 있다.
구체적인 예로서는, 예를 들어 거리 d가 1m(=D0) 이하인 경우에는, 컷오프 주파수 Fc인 6㎑ 이상의 주파수 성분을 패스스루라고 하고, 거리 d가 1m부터 100m(=D4)까지의 사이에서는, 거리 d가 커지는 것에 따라 6㎑ 이상의 주파수 성분을 －12.0㏈까지 변화시키도록 할 수 있다.
또한, 이러한 하이 쉘프 필터를 복호 장치(51)에 있어서 실현하기 위해서는, 예를 들어 화살표 Q22에 나타낸 바와 같이 거리 d=D0, D1, D2, D3, D4의 5개의 제어 변화점에 대해서만, 파라미터인 컷오프 주파수 Fc, Q값 및 게인값을 전송하면 된다.
또한, 여기서는 거리 d에 상관없이, 컷오프 주파수 Fc는 6㎑이고, Q값은 2.0인 예에 대하여 설명하지만, 이것들의 컷오프 주파수 Fc나 Q값도 거리 d에 따라 변화되도록 해도 된다.
또한, 로우 쉘프 필터 처리부(103)에서는, 예를 들어 도 7의 화살표 Q31로 나타낸 바와 같이, 청취 위치부터 오브젝트까지의 거리 d가 작아지는 것에 따라, 저역의 게인을 증폭시키는 필터 처리가 행해진다.
또한, 화살표 Q31로 나타내는 부분에서는, 종축은 파라미터로서의 게인값을 나타내고 있고, 횡축은 청취 위치부터 오브젝트까지의 거리 d를 나타내고 있다.
특히, 이 예에서는 로우 쉘프 필터 처리부(103)에 의해 실현되는 로우 쉘프 필터는, 컷오프 주파수 Fc, 첨예도를 나타내는 Q값 및 컷오프 주파수 Fc에 있어서의 게인값에 의해 정해지는 것이다.
바꾸어 말하면, 로우 쉘프 필터 처리부(103)에서는, 파라미터인 컷오프 주파수 Fc, Q값 및 게인값에 의해 정해지는 로우 쉘프 필터에 의한 필터 처리가 행해진다.
화살표 Q31로 나타내는 부분에 있어서의 꺾은선 L31은, 거리 d에 대하여 정해진, 컷오프 주파수 Fc에 있어서의 게인값을 나타내고 있다.
이 예에서는, 거리 d가 최솟값 Min부터 D0 사이는 게인값은 3.0㏈이고, 거리 d가 D0부터 D1 사이에서는, 거리 d가 커지는 것에 따라 게인값은 직선적으로 작아진다. 또한, 거리 d가 D1부터 최댓값 Max 사이에서는 게인값은 0.0㏈로 되어 있다.
이것으로부터, 도 7에 나타내는 예에서는 거리 d가 작아지는 것에 따라, 오디오 데이터에 있어서의 컷오프 주파수 Fc 부근의 주파수 성분의 게인이 증폭되는 제어가 행해지는 것을 알 수 있다.
구체적인 예로서는, 예를 들어 거리 d가 3m(=D1) 이상인 경우에는, 컷오프 주파수 Fc인 200㎐ 이하의 주파수 성분을 패스스루라고 하고, 거리 d가 3m부터 10㎝(=D0)까지의 사이에서는, 거리 d가 작아지는 것에 따라 200㎐ 이하의 주파수 성분을 ＋3.0㏈까지 변화시키도록 할 수 있다.
또한, 이러한 로우 쉘프 필터를 복호 장치(51)에 있어서 실현하기 위해서는, 예를 들어 화살표 Q32에 나타낸 바와 같이 거리 d=D0, D1의 2개의 제어 변화점에 대해서만, 파라미터인 컷오프 주파수 Fc, Q값 및 게인값을 전송하면 된다.
또한, 여기서는 거리 d에 상관없이, 컷오프 주파수 Fc는 200㎐이고, Q값은 2.0인 예에 대하여 설명하지만, 이것들의 컷오프 주파수 Fc나 Q값도 거리 d에 따라 변화되도록 해도 된다.
또한, 리버브 처리부(104)에서는, 예를 들어 도 8의 화살표 Q41로 나타낸 바와 같이, 청취 위치부터 오브젝트까지의 거리 d가 커지는 것에 따라, 웨트 성분의 게인(웨트 게인값)이 커지는 리버브 처리가 행해진다.
바꾸어 말하면, 거리 d가 커지는 것에 따라, 리버브 처리로 생성되는 웨트 성분(잔향 성분)의 드라이 성분에 대한 비율이 증가해 가는 제어가 행해진다. 또한, 여기서 말하는 웨트 게인값은, 예를 들어 도 4에 나타낸 게인 제어부(141)에서의 게인 제어에서 사용되는 게인값이다.
화살표 Q41로 나타내는 부분에서는, 종축은 파라미터로서의 웨트 게인값을 나타내고 있고, 횡축은 청취 위치부터 오브젝트까지의 거리 d를 나타내고 있다. 또한, 꺾은선 L41은, 거리 d에 대하여 정해진 웨트 게인값을 나타내고 있다.
꺾은선 L41로 나타낸 바와 같이, 청취 위치부터 오브젝트까지의 거리 d가 최솟값 Min부터 D0 사이는 웨트 게인값은 마이너스 무한대(-Inf㏈)이고, 거리 d가 D0부터 D1 사이에서는, 거리 d가 커지는 것에 따라 웨트 게인값은 직선적으로 커진다. 또한, 거리 d가 D1부터 최댓값 Max 사이에서는 웨트 게인값은 －3.0㏈로 되어 있다.
이것으로부터, 도 8에 나타내는 예에서는 거리 d가 커지는 것에 따라, 웨트 성분이 커지는 제어가 행해지는 것을 알 수 있다.
구체적인 예로서는, 예를 들어 거리 d가 1m(=D0) 이하인 경우에는, 웨트 성분의 게인(웨트 게인값)을 -Inf㏈라고 하고, 거리 d가 1m부터 50m(=D1)까지의 사이에서는, 거리 d가 커지는 것에 따라 －3.0㏈까지 직선적으로 게인을 변화시킬 수 있다.
또한, 이러한 리버브 처리를 복호 장치(51)에 있어서 실현하기 위해서는, 예를 들어 화살표 Q42에 나타낸 바와 같이 거리 d=D0, D1의 2개의 제어 변화점에 대해서만, 파라미터인 웨트 게인값을 전송하면 된다.
또한, 리버브 처리에 있어서는, 임의의 수의 웨트 성분(잔향 성분)의 오디오 데이터를 생성할 수 있다.
구체적으로는, 예를 들어 도 9에 나타낸 바와 같이 하나의 오브젝트의 오디오 데이터, 즉 모노럴의 오디오 데이터에 대하여, 스테레오의 잔향 성분의 오디오 데이터를 생성할 수 있다.
이 예에서는, 재생 공간 내에 있어서의 3차원 직교 좌표계인 XYZ 좌표계의 원점 O가 청취 위치로 되어 있고, 재생 공간 내에는 하나의 오브젝트 OB11이 배치되어 있다.
이제, 재생 공간 내의 임의의 오브젝트의 위치를, 원점 O로부터 본 수평 방향의 위치를 나타내는 수평각과, 원점 O로부터 본 수직 방향의 위치를 나타내는 수직각으로 나타내는 것으로 하고, 오브젝트 OB11의 위치가 수평각 az와 수직각 el로부터 (az, el)이라고 표현되는 것으로 한다.
또한, 수평각 az는, 원점 O와 오브젝트 OB11을 연결하는 직선을 LN이라고 하고, 그 직선 LN을 XZ 평면에 사영하여 얻어지는 직선을 LN'이라고 했을 때, 직선 LN'과 Z축이 이루는 각도이다. 또한, 수직각 el은, 직선 LN과 XZ 평면이 이루는 각도이다.
도 9의 예에서는, 오브젝트 OB11에 대하여, 2개의 오브젝트 OB12 및 오브젝트 OB13이 웨트 성분의 오브젝트로서 생성되어 있다.
특히, 여기서는 오브젝트 OB12 및 오브젝트 OB13은, 원점 O로부터 보아 오브젝트 OB11에 대하여 좌우 대칭의 위치에 배치되어 있다.
즉, 오브젝트 OB12 및 오브젝트 OB13은, 오브젝트 OB11에 대하여, 상대적으로 좌우로 60도씩 어긋난 위치에 배치되어 있다.
따라서, 오브젝트 OB12의 위치는 수평각(az＋60)과 수직각 el로부터 표현되는 위치(az＋60, el)의 위치이고, 오브젝트 OB13의 위치는 수평각(az-60)과 수직각 el로부터 표현되는 위치(az-60, el)의 위치이다.
이와 같이, 오브젝트 OB11에 대하여 좌우 대칭의 위치의 웨트 성분을 생성하는 경우에는, 그것들의 웨트 성분의 위치를, 오브젝트 OB11의 위치에 대한 오프셋 각도에 의해 지정할 수 있다. 예를 들어, 이 예에서는 수평각의 오프셋 각도±60도를 지정하면 된다.
또한, 여기서는 하나의 오브젝트에 대하여, 좌측과 우측에 위치하는 좌우 2개의 웨트 성분을 생성하는 예에 대하여 설명했지만, 상하 좌우의 각 위치의 웨트 성분을 생성하는 등, 하나의 오브젝트에 대하여 생성되는 웨트 성분의 수는 몇 개여도 된다.
또한, 예를 들어 도 9에 나타낸 바와 같이 좌우 대칭의 웨트 성분을 생성하는 경우, 도 10에 나타낸 바와 같이 청취 위치부터 오브젝트까지의 거리에 따라 웨트 성분의 위치를 지정하는 오프셋 각도가 변화되도록 해도 된다.
도 10의 화살표 Q51로 나타내는 부분에는, 도 9에 나타낸 웨트 성분인 오브젝트 OB12와 오브젝트 OB13의 수평각의 오프셋 각도가 나타나 있다.
즉, 화살표 Q51로 나타내는 부분에 있어서 종축은 수평각의 오프셋 각도를 나타내고 있고, 횡축은 청취 위치부터 오브젝트 OB11까지의 거리 d를 나타내고 있다.
또한, 꺾은선 L51은 각 거리 d에 대하여 정해진 좌측의 웨트 성분인 오브젝트 OB12의 오프셋 각도를 나타내고 있다. 이 예에서는 거리 d가 작아질수록 오프셋 각도가 커져, 원래의 오브젝트 OB11로부터 더 이격된 위치에 배치된다.
한편, 꺾은선 L52는 각 거리 d에 대하여 정해진 우측의 웨트 성분인 오브젝트 OB13의 오프셋 각도를 나타내고 있다. 이 예에서는 거리 d가 작아질수록 오프셋 각도가 작아져, 원래의 오브젝트 OB11로부터 더 이격된 위치에 배치된다.
이렇게 거리 d에 따라 오프셋 각도가 변화되는 경우, 예를 들어 화살표 Q52에 나타낸 바와 같이, 거리 d=D0의 제어 변화점에 대해서만, 오프셋 각도를 복호 장치(51)로 전송하면, 콘텐츠 제작자가 의도하는 위치에 웨트 성분을 생성할 수 있다.
이상과 같이 하여, 청취 위치부터 오브젝트까지의 거리 d에 따른 구성 및 파라미터로 거리감 제어 처리를 행하면, 적절하게 거리감을 재현할 수 있다. 즉, 청취자에 대하여 오브젝트와의 거리감을 느끼게 할 수 있다.
이때, 콘텐츠 제작자가 각 거리 d에서의 파라미터를 자유롭게 결정하면, 콘텐츠 제작자의 의도에 기초하는 거리감 제어를 실현할 수 있다.
또한, 이상에 있어서 설명한 거리 d에 따른 파라미터의 제어 룰은, 어디까지나 일례이며, 콘텐츠 제작자가 제어 룰을 자유롭게 지정할 수 있도록 함으로써, 오브젝트와의 거리감을 느끼는 방법을 변화시킬 수 있다.
예를 들어, 옥외와 옥내에서는 거리에 대한 소리의 변화는 다르기 때문에, 재현하고 싶은 공간이 옥외인지 옥내인지에 따라 제어 룰을 바꿀 필요가 있다.
그래서, 예를 들어 콘텐츠 제작자가 콘텐츠로 재현하고 싶은 공간에 따라 제어 룰을 결정(지정)함으로써, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현하여, 더 임장감이 높은 콘텐츠 재생을 행할 수 있다.
또한, 거리감 제어 처리부(67)에 있어서, 콘텐츠(재생 오디오 데이터)의 재생 환경에 따라, 거리감 제어 처리에 사용되는 파라미터를 더 조정할 수도 있다.
구체적으로는, 예를 들어 리버브 처리에서 사용되는 웨트 성분의 게인, 즉 상술한 웨트 게인값을, 콘텐츠의 재생 환경에 따라 조정할 수 있다.
실공간에 있어서 실제로 스피커 등에 의해 콘텐츠를 재생하면, 그 실공간에서는 스피커 등으로부터 출력된 소리의 잔향이 발생한다. 이때, 어느 정도의 잔향이 발생하는지는, 콘텐츠의 재생을 행하는 실공간, 즉 재생 환경에 따라 다르다.
예를 들어, 콘텐츠를 잔향이 많은 환경에서 재생하면, 재생된 콘텐츠의 소리에 대하여 더 잔향이 부가된다. 그 때문에, 실제로 콘텐츠를 재생한 경우에, 거리감 제어 처리에서 실현되는 거리감, 즉 콘텐츠 제작자가 의도하는 거리감보다도 먼 거리감을 청취자에 대하여 느끼게 해 버리는 경우가 있다.
그래서, 재생 환경에서의 잔향이 적은 경우에는, 미리 설정된 제어 룰, 즉 제어 룰 정보에 따라 거리감 제어 처리를 행하지만, 재생 환경에서의 잔향이 비교적 많은 경우에는, 제어 룰에 따라 결정된 웨트 게인값의 미세 조정을 행하도록 해도 된다.
구체적으로는, 예를 들어 유저 등에 의해 유저 인터페이스(65)가 조작되어, 옥외나 옥내 등의 재생 환경의 종별 정보, 잔향이 많은 재생 환경인지 여부를 나타내는 정보 등의, 재생 환경의 잔향에 관한 정보가 입력된 것으로 한다. 그러한 경우, 유저 인터페이스(65)는, 유저 등에 의해 입력된, 재생 환경의 잔향에 관한 정보를 거리감 제어 처리부(67)에 공급한다.
그러면, 거리감 제어 처리부(67)는, 제어 룰 정보, 거리 정보 및 유저 인터페이스(65)로부터 공급된 재생 환경의 잔향에 관한 정보에 기초하여, 웨트 게인값을 산출한다.
구체적으로는, 거리감 제어 처리부(67)는, 제어 룰 정보 및 거리 정보에 기초하여, 웨트 게인값을 산출함과 함께, 재생 환경의 잔향에 관한 정보에 기초하여, 잔향이 많은 재생 환경인지 여부의 판정 처리를 행한다.
여기서는, 예를 들어 재생 환경의 잔향에 관한 정보로서, 잔향이 많은 재생 환경인 것을 나타내는 정보나, 잔향이 많은 재생 환경을 나타내는 종별 정보가 공급된 경우에, 잔향이 많은 재생 환경이라고 판정된다.
그리고, 거리감 제어 처리부(67)는, 잔향이 많은 재생 환경이 아닌, 즉 잔향이 적은 재생 환경이라고 판정된 경우, 산출된 웨트 게인값을, 최종적인 웨트 게인값으로서 리버브 처리부(104)에 공급한다.
이에 비해, 거리감 제어 처리부(67)는, 잔향이 많은 재생 환경이라고 판정된 경우, 산출된 웨트 게인값을, －6㏈ 등의 소정의 보정값에 의해 보정(조정)하고, 보정 후의 웨트 게인값을 최종적인 웨트 게인값으로서 리버브 처리부(104)에 공급한다.
또한, 웨트 게인값의 보정값은, 미리 정해진 값이어도 되고, 재생 환경의 잔향에 관한 정보, 즉 재생 환경에서의 잔향의 정도에 기초하여 거리감 제어 처리부(67)에 의해 산출되도록 해도 된다.
이렇게 재생 환경에 따라 웨트 게인값을 조정함으로써, 콘텐츠의 재생 환경에 의해 발생하는, 콘텐츠 제작자가 의도하는 거리감과의 어긋남을 개선할 수 있다.
<거리감 제어 정보의 전송에 대하여>
이어서, 이상에 있어서 설명한 거리감 제어 정보의 전송 방법에 대하여 설명한다.
거리감 제어 정보 부호화부(24)에서 부호화되는 거리감 제어 정보는, 예를 들어 도 11에 나타내는 구성으로 할 수 있다.
도 11에서는, 「DistanceRender_Attn()」은, 게인 제어부(101)에서 사용되는 파라미터의 제어 룰을 나타내는 파라미터 구성 정보를 나타내고 있다.
또한, 「DistanceRender_Filt()」는, 하이 쉘프 필터 처리부(102) 또는 로우 쉘프 필터 처리부(103)에서 사용되는 파라미터의 제어 룰을 나타내는 파라미터 구성 정보를 나타내고 있다.
여기서는, 하이 쉘프 필터와 로우 쉘프 필터는, 동일한 파라미터 구성으로 표현 가능하기 때문에, 동일한 파라미터 구성 정보 DistanceRender_Filt()라고 하는 Syntax로 기술되어 있다. 따라서 거리감 제어 정보에는, 하이 쉘프 필터 처리부(102)의 파라미터 구성 정보 DistanceRender_Filt()와, 로우 쉘프 필터 처리부(103)의 파라미터 구성 정보 DistanceRender_Filt()가 포함되어 있다.
또한 「DistanceRender_Revb()」는, 리버브 처리부(104)에서 사용되는 파라미터의 제어 룰을 나타내는 파라미터 구성 정보를 나타내고 있다.
거리감 제어 정보에 포함되어 있는 파라미터 구성 정보 DistanceRender_Attn(), 파라미터 구성 정보 DistanceRender_Filt() 및 파라미터 구성 정보 DistanceRender_Revb()는, 제어 룰 정보에 대응한다.
또한, 도 11에 나타내는 거리감 제어 정보에서는, 거리감 제어 처리를 구성하는 4개의 처리의 파라미터 구성 정보가, 그것들의 처리가 행해지는 순번으로 배열되어 저장되어 있다.
그 때문에, 복호 장치(51)에서는 거리감 제어 정보에 기초하여, 도 3에 나타낸 거리감 제어 처리부(67)의 구성을 특정할 수 있다. 바꾸어 말하면, 도 11에 나타내는 거리감 제어 정보로부터, 거리감 제어 처리가 몇몇 처리로 구성되고, 그것들의 처리가 어떤 처리로, 어떤 순번으로 행해지는지를 특정할 수 있다. 따라서, 이 예에서는 거리감 제어 정보에는, 실질적으로 구성 정보가 포함되어 있다고 할 수 있다.
또한, 도 11에 나타낸 파라미터 구성 정보 DistanceRender_Attn(), 파라미터 구성 정보 DistanceRender_Filt() 및 파라미터 구성 정보 DistanceRender_Revb()는, 예를 들어 도 12 내지 도 14에 나타낸 바와 같이 구성된다.
도 12는, 게인 제어 처리의 파라미터 구성 정보 DistanceRender_Attn()의 구성예, 즉 Syntax예를 나타내는 도면이다.
도 12에 있어서 「num_points」는, 게인 제어 처리의 파라미터의 제어 변화점의 수를 나타내고 있다. 예를 들어 도 5에 나타낸 예에서는, 거리 d=D0인 점(위치)과 거리 d=D1인 점이 제어 변화점이다.
도 12의 예에서는, 제어 변화점의 수만큼, 그것들의 제어 변화점에 대응하는 거리 d를 나타내는 「distance[i]」와, 그 거리 d에 있어서의 파라미터로서의 게인값 「gain[i]」이 포함되어 있다. 이렇게 각 제어 변화점의 거리 distance[i]와 게인값 gain[i]을 전송하면, 복호 장치(51)에 있어서 도 5에 나타낸 게인 제어를 실현할 수 있다.
도 13은, 필터 처리의 파라미터 구성 정보 DistanceRender_Filt()의 구성예, 즉 Syntax예를 나타내는 도면이다.
도 13에 있어서 「filt_type」은, 필터 타입을 나타내는 인덱스를 나타내고 있다.
예를 들어, 인덱스 filt_type 「0」은 로우 쉘프 필터를 나타내고 있고, 인덱스 filt_type 「1」은 하이 쉘프 필터를 나타내고 있고, 인덱스 filt_type 「2」는 피크 필터를 나타내고 있다.
또한, 인덱스 filt_type 「3」은 저역 통과 필터를 나타내고 있고, 인덱스 filt_type 「4」는 고역 통과 필터를 나타내고 있다.
따라서, 예를 들어 인덱스 filt_type의 값이 「0」이면, 이 파라미터 구성 정보 DistanceRender_Filt()에는, 로우 쉘프 필터의 구성을 특정하기 위한 파라미터에 관한 정보가 포함되어 있는 것을 알 수 있다.
또한, 도 3에 나타낸 예에서는, 거리감 제어 처리를 구성하는 필터 처리의 필터예로서 하이 쉘프 필터와 로우 쉘프 필터에 대하여 설명했다.
이에 비해, 도 13에 나타내는 예에서는, 기타, 피크 필터나 저역 통과 필터, 고역 통과 필터 등도 사용할 수 있도록 되어 있다.
또한, 거리감 제어 처리를 구성하는 필터 처리를 위한 필터는, 로우 쉘프 필터나 하이 쉘프 필터, 피크 필터, 저역 통과 필터, 고역 통과 필터 중 몇 개만 사용할 수 있도록 해도 되고, 다른 필터도 사용할 수 있도록 해도 된다.
도 13에 나타내는 파라미터 구성 정보 DistanceRender_Filt()에서는, 인덱스 filt_type 이후의 영역에는, 그 인덱스 filt_type에 의해 나타나는 필터의 구성을 특정하기 위한 파라미터 등이 포함되어 있다.
즉, 「num_points」는 필터 처리의 파라미터의 제어 변화점의 수를 나타내고 있다.
또한, 그 「num_points」에 의해 나타나는 제어 변화점의 수만큼, 제어 변화점에 대응하는 거리 d를 나타내는 「distance[i]」, 그 거리 d에 있어서의 파라미터로서의 주파수 「freq[i]」, Q값 「Q[i]」 및 게인값 「gain[i]」이 포함되어 있다.
예를 들어, 인덱스 filt_type이 로우 쉘프 필터를 나타내는 「0」이면, 파라미터인 주파수 「freq[i]」, Q값 「Q[i]」 및 게인값 「gain[i]」은, 도 7에 나타낸 컷오프 주파수 Fc, Q값 및 게인값에 대응한다.
또한, 주파수 freq[i]는, 필터 타입이 로우 쉘프 필터나 하이 쉘프 필터, 저역 통과 필터, 고역 통과 필터일 때는 컷오프 주파수이지만, 필터 타입이 피크 필터일 때는 중심 주파수로 된다.
이상과 같이 각 제어 변화점의 거리 distance[i], 주파수 「freq[i]」, Q값 「Q[i]」 및 게인값 「gain[i]」을 전송하면, 복호 장치(51)에 있어서 도 6에 나타낸 하이 쉘프 필터나, 도 7에 나타낸 로우 쉘프 필터를 실현할 수 있다.
도 14는, 리버브 처리의 파라미터 구성 정보 DistanceRender_Revb()의 구성예, 즉 Syntax예를 나타내는 도면이다.
도 14에 있어서 「num_points」는, 리버브 처리의 파라미터의 제어 변화점의 수를 나타내고 있고, 이 예에서는, 제어 변화점의 수만큼, 그것들의 제어 변화점에 대응하는 거리 d를 나타내는 「distance[i]」와, 그 거리 d에 있어서의 파라미터로서의 웨트 게인값 「wet_gain[i]」이 포함되어 있다. 이 웨트 게인값 wet_gain[i]은, 예를 들어 도 8에 나타낸 웨트 게인값에 대응한다.
또한, 도 14에 있어서 「num_wetobjs」는, 생성되는 웨트 성분의 수, 즉 웨트 성분의 오브젝트의 수를 나타내고 있고, 그것들의 웨트 성분의 수만큼 웨트 성분의 위치를 나타내는 오프셋 각도가 저장되어 있다.
즉, 「wet_azimuth_offset[i][j]」은, i번째의 제어 변화점에 대응하는 거리 distance[i]에 있어서의, j번째의 웨트 성분(오브젝트)의 수평각의 오프셋 각도를 나타내고 있다. 이 오프셋 각도 wet_azimuth_offset[i][j]은, 예를 들어 도 10에 나타낸 수평각의 오프셋 각도에 대응한다.
마찬가지로 「wet_elevation_offset[i][j]」은, i번째의 제어 변화점에 대응하는 거리 distance[i]에 있어서의, j번째의 웨트 성분의 수직각의 오프셋 각도를 나타내고 있다.
또한, 생성되는 웨트 성분의 수 num_wetobjs는, 복호 장치(51)로 행하게 하려고 하는 리버브 처리에 의해 결정되고, 예를 들어 웨트 성분의 수 num_wetobjs는 외부로부터 부여되는 것으로 한다.
이렇게 도 14의 예에서는, 각 제어 변화점에 있어서의 거리 distance[i] 및 웨트 게인값 wet_gain[i]과, 각 웨트 성분의 오프셋 각도 wet_azimuth_offset[i][j] 및 오프셋 각도 wet_elevation_offset[i][j]이 복호 장치(51)로 전송된다.
이에 의해 복호 장치(51)에서는, 예를 들어 도 4에 나타낸 리버브 처리부(104)를 실현할 수 있고, 드라이 성분의 오디오 데이터와, 각 웨트 성분의 오디오 데이터 및 메타데이터를 얻을 수 있다.
<부호화 처리의 설명>
계속해서, 콘텐츠 재생 시스템의 동작에 대하여 설명한다.
먼저, 도 15의 흐름도를 참조하여, 부호화 장치(11)에 의해 행해지는 부호화 처리에 대하여 설명한다.
스텝 S11에 있어서 오브젝트 부호화부(21)는, 공급된 각 오브젝트의 오디오 데이터를 부호화하여, 얻어진 부호화 오디오 데이터를 다중화부(25)에 공급한다.
스텝 S12에 있어서 메타데이터 부호화부(22)는, 공급된 각 오브젝트의 메타데이터를 부호화하여, 얻어진 부호화 메타데이터를 다중화부(25)에 공급한다.
스텝 S13에 있어서 거리감 제어 정보 결정부(23)는, 유저에 의한 지정 조작 등에 따라 거리감 제어 정보를 결정하고, 결정한 거리감 제어 정보를 거리감 제어 정보 부호화부(24)에 공급한다.
스텝 S14에 있어서 거리감 제어 정보 부호화부(24)는, 거리감 제어 정보 결정부(23)로부터 공급된 거리감 제어 정보를 부호화하여, 얻어진 부호화 거리감 제어 정보를 다중화부(25)에 공급한다. 이에 의해, 예를 들어 도 11에 나타낸 거리감 제어 정보(부호화 거리감 제어 정보)가 얻어져, 다중화부(25)에 공급된다.
스텝 S15에 있어서 다중화부(25)는, 오브젝트 부호화부(21)로부터의 부호화 오디오 데이터, 메타데이터 부호화부(22)로부터의 부호화 메타데이터 및 거리감 제어 정보 부호화부(24)로부터의 부호화 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성한다.
스텝 S16에 있어서 다중화부(25)는, 다중화에 의해 얻어진 부호화 데이터를, 통신망 등을 통해 복호 장치(51)로 송신하고, 부호화 처리는 종료된다.
이상과 같이 하여 부호화 장치(11)는, 거리감 제어 정보를 포함하는 부호화 데이터를 생성하여, 복호 장치(51)로 송신한다.
이렇게 각 오브젝트의 오디오 데이터나 메타데이터에 더하여 거리감 제어 정보도 복호 장치(51)로 전송함으로써, 복호 장치(51)측에 있어서 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현할 수 있게 된다.
<복호 처리의 설명>
또한, 부호화 장치(11)에 있어서 도 15를 참조하여 설명한 부호화 처리가 행해지면, 복호 장치(51)에서는 복호 처리가 행해진다. 이하, 도 16의 흐름도를 참조하여, 복호 장치(51)에 의한 복호 처리에 대하여 설명한다.
스텝 S41에 있어서 비다중화부(61)는, 부호화 장치(11)로부터 송신되어 온 부호화 데이터를 수신한다.
스텝 S42에 있어서 비다중화부(61)는, 수신한 부호화 데이터를 비다중화하여, 부호화 데이터로부터 부호화 오디오 데이터, 부호화 메타데이터 및 부호화 거리감 제어 정보를 추출한다.
비다중화부(61)는, 부호화 오디오 데이터를 오브젝트 복호부(62)에 공급하고, 부호화 메타데이터를 메타데이터 복호부(63)에 공급하고, 부호화 거리감 제어 정보를 거리감 제어 정보 복호부(64)에 공급한다.
스텝 S43에 있어서 오브젝트 복호부(62)는, 비다중화부(61)로부터 공급된 부호화 오디오 데이터를 복호하여, 얻어진 오디오 데이터를 거리감 제어 처리부(67)에 공급한다.
스텝 S44에 있어서 메타데이터 복호부(63)는, 비다중화부(61)로부터 공급된 부호화 메타데이터를 복호하여, 얻어진 메타데이터를 거리감 제어 처리부(67) 및 거리 계산부(66)에 공급한다.
스텝 S45에 있어서 거리감 제어 정보 복호부(64)는, 비다중화부(61)로부터 공급된 부호화 거리감 제어 정보를 복호하여, 얻어진 거리감 제어 정보를 거리감 제어 처리부(67)에 공급한다.
스텝 S46에 있어서 거리 계산부(66)는, 메타데이터 복호부(63)로부터 공급된 메타데이터와, 유저 인터페이스(65)로부터 공급된 청취 위치 정보에 기초하여 청취 위치부터 오브젝트까지의 거리를 계산하고, 그 계산 결과를 나타내는 거리 정보를 거리감 제어 처리부(67)에 공급한다. 스텝 S46에서는, 오브젝트마다 거리 정보가 구해진다.
스텝 S47에 있어서 거리감 제어 처리부(67)는, 오브젝트 복호부(62)로부터 공급된 오디오 데이터, 메타데이터 복호부(63)로부터 공급된 메타데이터, 거리감 제어 정보 복호부(64)로부터 공급된 거리감 제어 정보, 유저 인터페이스(65)로부터 공급된 청취 위치 정보 및 거리 계산부(66)로부터 공급된 거리 정보에 기초하여 거리감 제어 처리를 행한다.
예를 들어, 거리감 제어 처리부(67)가 도 3에 나타낸 구성으로 되고, 도 11에 나타낸 거리감 제어 정보가 공급된 경우, 거리감 제어 처리부(67)는 거리감 제어 정보와 거리 정보에 기초하여 각 처리에서 사용하는 파라미터를 산출한다.
구체적으로는, 예를 들어 거리감 제어 처리부(67)는, 각 제어 변화점의 거리 distance[i] 및 게인값 gain[i]에 기초하여, 거리 정보에 의해 나타나는 거리 d에 있어서의 게인값을 구하여, 게인 제어부(101)에 공급한다.
또한, 거리감 제어 처리부(67)는, 하이 쉘프 필터의 각 제어 변화점의 거리 distance[i], 주파수 freq[i], Q값 Q[i] 및 게인값 gain[i]에 기초하여, 거리 정보에 의해 나타나는 거리 d에 있어서의 컷오프 주파수, Q값 및 게인값을 구하여, 하이 쉘프 필터 처리부(102)에 공급한다.
이에 의해, 하이 쉘프 필터 처리부(102)는, 거리 정보에 의해 나타나는 거리 d에 따른 하이 쉘프 필터를 구축할 수 있다.
거리감 제어 처리부(67)는, 하이 쉘프 필터의 경우와 마찬가지로 하여, 거리 정보에 의해 나타나는 거리 d에 있어서의 로우 쉘프 필터의 컷오프 주파수, Q값 및 게인값을 구하여, 로우 쉘프 필터 처리부(103)에 공급한다. 이에 의해, 로우 쉘프 필터 처리부(103)는, 거리 정보에 의해 나타나는 거리 d에 따른 로우 쉘프 필터를 구축할 수 있다.
또한 거리감 제어 처리부(67)는, 각 제어 변화점의 거리 distance[i] 및 웨트 게인값 wet_gain[i]에 기초하여, 거리 정보에 의해 나타나는 거리 d에 있어서의 웨트 게인값을 구하여, 리버브 처리부(104)에 공급한다.
이에 의해, 거리감 제어 정보로부터 도 3에 나타낸 거리감 제어 처리부(67)가 구축되게 된다.
또한, 거리감 제어 처리부(67)는, 수평각의 오프셋 각도 wet_azimuth_offset[i][j] 및 수직각의 오프셋 각도 wet_elevation_offset[i][j]과, 오브젝트의 메타데이터와, 청취 위치 정보를 리버브 처리부(104)에 공급한다.
게인 제어부(101)는, 거리감 제어 처리부(67)로부터 공급된 게인값에 기초하여, 오브젝트의 오디오 데이터에 대하여 게인 제어 처리를 행하고, 그 결과 얻어진 오디오 데이터를 하이 쉘프 필터 처리부(102)에 공급한다.
하이 쉘프 필터 처리부(102)는, 거리감 제어 처리부(67)로부터 공급된 컷오프 주파수, Q값 및 게인값에 의해 정해지는 하이 쉘프 필터에 의해, 게인 제어부(101)로부터 공급된 오디오 데이터에 대하여 필터 처리를 행하고, 그 결과 얻어진 오디오 데이터를 로우 쉘프 필터 처리부(103)에 공급한다.
로우 쉘프 필터 처리부(103)는, 거리감 제어 처리부(67)로부터 공급된 컷오프 주파수, Q값 및 게인값에 의해 정해지는 로우 쉘프 필터에 의해, 하이 쉘프 필터 처리부(102)로부터 공급된 오디오 데이터에 대하여 필터 처리를 행한다.
거리감 제어 처리부(67)는, 로우 쉘프 필터 처리부(103)에서의 필터 처리에 의해 얻어진 오디오 데이터를, 드라이 성분의 오디오 데이터로서, 그 드라이 성분의 오브젝트의 메타데이터와 함께 3D 오디오 렌더링 처리부(68)에 공급한다. 이 드라이 성분의 메타데이터는, 메타데이터 복호부(63)로부터 공급된 메타데이터이다.
또한, 로우 쉘프 필터 처리부(103)는, 필터 처리에 의해 얻어진 오디오 데이터를 리버브 처리부(104)에 공급한다.
그러면 리버브 처리부(104)에서는, 예를 들어 도 4를 참조하여 설명한 바와 같이, 드라이 성분의 오디오 데이터에 대한 웨트 게인값에 기초하는 게인 제어나, 오디오 데이터에 대한 지연 처리, 콤 필터나 올패스 필터에 의한 필터 처리 등이 행해져, 웨트 성분의 오디오 데이터가 생성된다.
또한, 리버브 처리부(104)는, 오프셋 각도 wet_azimuth_offset[i][j] 및 오프셋 각도 wet_elevation_offset[i][j]과, 오브젝트(드라이 성분)의 메타데이터와, 청취 위치 정보에 기초하여 웨트 성분의 위치 정보를 산출함과 함께, 그 위치 정보를 포함하는 웨트 성분의 메타데이터를 생성한다.
리버브 처리부(104)는, 이렇게 하여 생성된 각 웨트 성분의 오디오 데이터와 메타데이터를 3D 오디오 렌더링 처리부(68)에 공급한다.
스텝 S48에 있어서 3D 오디오 렌더링 처리부(68)는, 거리감 제어 처리부(67)로부터 공급된 오디오 데이터 및 메타데이터와, 유저 인터페이스(65)로부터 공급된 청취 위치 정보에 기초하여 렌더링 처리를 행하여, 재생 오디오 데이터를 생성한다. 예를 들어, 스텝 S48에서는 VBAP 등이 렌더링 처리로서 행해진다.
재생 오디오 데이터가 생성되면, 3D 오디오 렌더링 처리부(68)는, 생성된 재생 오디오 데이터를 후단에 출력하고, 복호 처리는 종료된다.
이상과 같이 하여 복호 장치(51)는, 부호화 데이터에 포함되어 있는 거리감 제어 정보에 기초하여 거리감 제어 처리를 행하여, 재생 오디오 데이터를 생성한다. 이렇게 함으로써, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현할 수 있다.
<제1 실시 형태의 변형예 1>
<파라미터 구성 정보의 다른 예>
또한, 이상에 있어서는 파라미터 구성 정보로서, 도 12나 도 13, 도 14에 나타내는 예에 대하여 설명했지만, 이에 한정되지 않고, 파라미터 구성 정보는 거리감 제어 처리의 파라미터를 얻을 수 있는 것이라면, 어떤 것이어도 된다.
예를 들어, 거리감 제어 처리를 구성하는 하나 또는 복수의 각 처리에 대하여, 청취 위치부터 오브젝트까지의 거리 d에 대한 파라미터를 얻기 위한 테이블이나 함수(수식) 등을 미리 준비하고, 그것들의 테이블이나 함수를 나타내는 인덱스를 파라미터 구성 정보에 포함하도록 하는 것도 생각된다. 이 경우, 테이블이나 함수를 나타내는 인덱스가 파라미터의 제어 룰을 나타내는 제어 룰 정보로 된다.
이렇게 파라미터를 얻기 위한 테이블이나 함수를 나타내는 인덱스를 제어 룰 정보로 하는 경우, 예를 들어 도 17에 나타낸 바와 같이, 파라미터로서의 게인 제어 처리의 게인값을 얻기 위한 테이블이나 함수를 복수 준비해 둘 수 있다.
이 예에서는, 예를 들어 인덱스의 값 「1」에 대해서는, 게인 제어 처리의 게인값을 얻기 위한 함수 「20log10(1/d)2」이 준비되어 있고, 이 함수에 거리 d를 대입함으로써, 거리 d에 따른 게인 제어 처리의 게인값을 얻을 수 있다.
또한, 예를 들어 인덱스의 값 「2」에 대하여, 게인 제어 처리의 게인값을 얻기 위한 테이블이 준비되어 있고, 이 테이블을 사용했을 때는 거리 d가 커질수록, 파라미터로서의 게인값은 작아진다.
복호 장치(51)의 거리감 제어 처리부(67)는, 이러한 각 인덱스에 대응지어 테이블이나 함수를 미리 보유하고 있다.
이러한 경우, 예를 들어 도 11에 나타낸 파라미터 구성 정보 DistanceRender_Attn()은, 도 18에 나타내는 구성으로 된다.
도 18의 예에서는, 파라미터 구성 정보 DistanceRender_Attn()에는, 콘텐츠 제작자에 의해 지정된 함수나 테이블을 나타내는 인덱스 「index」가 포함되어 있다.
따라서, 거리감 제어 처리부(67)에서는, 이 인덱스 index에 대응지어져 보유되어 있는 테이블이나 함수가 읽어내어지고, 읽어내어진 테이블이나 함수와, 청취 위치부터 오브젝트까지의 거리 d에 기초하여 파라미터로서의 게인값이 구해진다.
이렇게 거리 d에 따른 파라미터를 얻기 위한 복수의 패턴, 즉 복수의 테이블이나 함수를 미리 정의해 두면, 콘텐츠 제작자는 그것들의 패턴 중에서 원하는 것을 지정(선택)함으로써, 자신의 의도에 맞는 거리감 제어 처리가 행해지도록 할 수 있다.
또한, 여기서는 게인 제어 처리의 파라미터를 얻기 위한 테이블이나 함수를 인덱스에 의해 지정하는 예에 대하여 설명했다. 그러나, 이에 한정되지 않고, 하이 쉘프 필터 등의 필터 처리나 리버브 처리에 있어서의 경우에 있어서도 마찬가지로 하여, 인덱스에 의해 파라미터의 제어 룰을 지정할 수 있다.
<제1 실시 형태의 변형예 2>
<거리감 제어 정보의 다른 예>
또한, 이상에 있어서는 모든 오브젝트에 대하여, 동일한 제어 룰로, 거리 d에 따른 파라미터가 결정되는 예에 대하여 설명했지만 오브젝트마다 파라미터의 제어 룰을 설정(지정)할 수 있도록 해도 된다.
그러한 경우, 거리감 제어 정보는, 예를 들어 도 19에 나타내는 구성으로 된다.
도 19에 나타내는 예에서는, 「num_objs」는 콘텐츠를 구성하는 오브젝트의 수를 나타내고 있고, 예를 들어 오브젝트의 수 num_objs는 외부로부터 거리감 제어 정보 결정부(23)에 부여된다.
거리감 제어 정보에는 이 오브젝트의 수 num_objs의 분만큼, 오브젝트가 거리감 제어의 대상인지 여부를 나타내는 플래그 「isDistanceRenderFlg」가 포함되어 있다.
예를 들어, i번째의 오브젝트의 플래그 isDistanceRenderFlg의 값이 「1」인 경우, 그 오브젝트는 거리감 제어의 대상이 되고, 그 오브젝트의 오디오 데이터에 대하여 거리감 제어 처리가 행해진다.
i번째의 오브젝트의 플래그 isDistanceRenderFlg의 값이 「1」인 경우, 거리감 제어 정보에는, 그 오브젝트의 파라미터 구성 정보 DistanceRender_Attn(), 2개의 파라미터 구성 정보 DistanceRender_Filt() 및 파라미터 구성 정보 DistanceRender_Revb()가 포함되어 있다.
따라서, 이 경우에는 상술한 바와 같이 거리감 제어 처리부(67)에 있어서, 대상으로 된 오브젝트의 오디오 데이터에 대하여 거리감 제어 처리가 행해지고, 얻어진 드라이 성분이나 웨트 성분의 오디오 데이터와 메타데이터가 출력된다.
이에 비해, i번째의 오브젝트의 플래그 isDistanceRenderFlg의 값이 「0」인 경우, 그 오브젝트는 거리감 제어의 대상이 아닌, 즉 대상 외가 되어, 그 오브젝트의 오디오 데이터에 대해서는 거리감 제어 처리가 행해지지 않는다.
따라서, 그러한 오브젝트에 대해서는, 오브젝트의 오디오 데이터와 메타데이터가 그대로 거리감 제어 처리부(67)로부터 3D 오디오 렌더링 처리부(68)로 공급된다.
i번째의 오브젝트의 플래그 isDistanceRenderFlg의 값이 「0」인 경우, 거리감 제어 정보에는, 그 오브젝트의 파라미터 구성 정보 DistanceRender_Attn(), 파라미터 구성 정보 DistanceRender_Filt() 및 파라미터 구성 정보 DistanceRender_Revb()는 포함되어 있지 않다.
이렇게 도 19에 나타내는 예에서는, 거리감 제어 정보 부호화부(24)에 있어서 오브젝트마다 파라미터 구성 정보가 부호화된다. 바꾸어 말하면, 오브젝트마다 거리감 제어 정보가 부호화된다. 이에 의해, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 오브젝트마다 실현하여, 더 임장감이 높은 콘텐츠 재생을 행할 수 있다.
특히, 이 예에서는 거리감 제어 정보에 플래그 isDistanceRenderFlg를 저장함으로써, 오브젝트마다 거리감 제어를 행할지 여부를 설정한 후, 오브젝트마다 다른 거리감 제어를 행할 수 있도록 되어 있다.
예를 들어, 사람의 음성의 오브젝트에 대해서는, 그 오브젝트 이외의 다른 오브젝트와는 다른 제어 룰을 설정하거나, 거리감 제어 자체를 행하지 않도록 하거나 함으로써, 거리감을 그다지 느끼게 하지 않는, 즉 청취자의 입장에서 평소에 듣기 쉬운 소리(알아 듣기 쉬운 소리)가 재생되도록 할 수 있다.
<제1 실시 형태의 변형예 3>
<거리감 제어 정보의 다른 예>
또한, 오브젝트마다가 아니라, 하나 또는 복수의 오브젝트를 포함하는 오브젝트 그룹마다 파라미터의 제어 룰을 설정(지정)할 수 있도록 해도 된다.
그러한 경우, 거리감 제어 정보는, 예를 들어 도 20에 나타내는 구성으로 된다.
도 20에 나타내는 예에서는, 「num_obj_groups」는 콘텐츠를 구성하는 오브젝트 그룹의 수를 나타내고 있고, 예를 들어 오브젝트 그룹의 수 num_obj_groups는 외부로부터 거리감 제어 정보 결정부(23)에 부여된다.
거리감 제어 정보에는 이 오브젝트 그룹의 수 num_obj_groups의 분만큼, 오브젝트 그룹, 더 상세하게는 오브젝트 그룹에 속하는 오브젝트가 거리감 제어의 대상인지 여부를 나타내는 플래그 「isDistanceRenderFlg」가 포함되어 있다.
예를 들어, i번째의 오브젝트 그룹의 플래그 isDistanceRenderFlg의 값이 「1」인 경우, 그 오브젝트 그룹은 거리감 제어의 대상이 되고, 그 오브젝트 그룹에 속하는 오브젝트의 오디오 데이터에 대하여 거리감 제어 처리가 행해진다.
i번째의 오브젝트 그룹의 플래그 isDistanceRenderFlg의 값이 「1」인 경우, 거리감 제어 정보에는, 그 오브젝트 그룹의 파라미터 구성 정보 DistanceRender_Attn(), 2개의 파라미터 구성 정보 DistanceRender_Filt() 및 파라미터 구성 정보 DistanceRender_Revb()가 포함되어 있다.
따라서, 이 경우에는 상술한 바와 같이 거리감 제어 처리부(67)에 있어서, 대상이 된 오브젝트 그룹에 속하는 오브젝트의 오디오 데이터에 대하여 거리감 제어 처리가 행해진다.
이에 비해, i번째의 오브젝트 그룹의 플래그 isDistanceRenderFlg의 값이 「0」인 경우, 그 오브젝트 그룹은 거리감 제어의 대상이 아닌 것으로 되어, 오브젝트 그룹의 오브젝트의 오디오 데이터에 대하여 거리감 제어 처리는 행해지지 않는다.
따라서, 그러한 오브젝트 그룹의 오브젝트에 대해서는, 오브젝트의 오디오 데이터와 메타데이터가 그대로 거리감 제어 처리부(67)로부터 3D 오디오 렌더링 처리부(68)로 공급된다.
i번째의 오브젝트 그룹의 플래그 isDistanceRenderFlg의 값이 「0」인 경우, 거리감 제어 정보에는, 그 오브젝트 그룹의 파라미터 구성 정보 DistanceRender_Attn(), 파라미터 구성 정보 DistanceRender_Filt() 및 파라미터 구성 정보 DistanceRender_Revb()는 포함되어 있지 않다.
이렇게 도 20에 나타내는 예에서는, 거리감 제어 정보 부호화부(24)에 있어서 오브젝트 그룹마다 파라미터 구성 정보가 부호화된다. 바꾸어 말하면, 오브젝트 그룹마다 거리감 제어 정보가 부호화된다. 이에 의해, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 오브젝트 그룹마다 실현하여, 더 임장감이 높은 콘텐츠 재생을 행할 수 있다.
특히, 이 예에서는 거리감 제어 정보에 플래그 isDistanceRenderFlg를 저장함으로써, 오브젝트 그룹마다 거리감 제어를 행할지 여부를 설정한 후, 오브젝트 그룹마다 다른 거리감 제어를 행할 수 있다.
예를 들어, 드럼 세트를 구성하는 스네어 드럼이나 베이스 드럼, 탐탐, 심벌 등의 복수의 타악기에 대하여 동일한 제어 룰을 설정하는 경우, 콘텐츠 제작자는, 그것들의 복수의 타악기의 오브젝트를 통합하여 하나의 오브젝트 그룹으로 할 수 있다.
이렇게 함으로써, 동일한 오브젝트 그룹에 속하는, 드럼 세트를 구성하는 복수의 각 타악기에 대응하는 각 오브젝트에 대하여 동일한 제어 룰을 설정할 수 있다. 즉, 복수의 각 오브젝트에 대하여 동일한 제어 룰 정보를 부여할 수 있다. 또한, 도 20에 나타낸 예와 같이, 오브젝트 그룹마다 파라미터 구성 정보를 전송함으로써, 복호측으로 전송하는 파라미터 등의 정보, 즉 거리감 제어 정보의 정보량을 더 적게 할 수 있다.
<제2 실시 형태>
<거리감 제어 처리부의 구성예>
또한, 이상에 있어서는 복호 장치(51)에 마련된 거리감 제어 처리부(67)의 구성이 미리 정해져 있는 예에 대하여 설명했다. 즉, 거리감 제어 정보의 구성 정보에 의해 나타나는, 거리감 제어 처리를 구성하는 하나 또는 복수의 처리나, 그것들의 처리의 순번이 미리 정해져 있는 예에 대하여 설명했다.
그러나, 이에 한정되지 않고 거리감 제어 정보의 구성 정보에 의해 거리감 제어 처리부(67)의 구성을 자유롭게 바꿀 수 있도록 해도 된다.
그러한 경우, 거리감 제어 처리부(67)는, 예를 들어 도 21에 나타낸 바와 같이 구성된다.
도 21에 나타내는 예에서는, 거리감 제어 처리부(67)는 거리감 제어 정보에 따라 프로그램을 실행하여, 신호 처리부(201-1) 내지 신호 처리부(201-3) 및 리버브 처리부(202-1) 내지 리버브 처리부(202-4) 중 몇 개의 처리 블록을 실현한다.
신호 처리부(201-1)는, 거리 계산부(66)로부터 공급된 거리 정보와, 거리감 제어 정보 복호부(64)로부터 공급된 거리감 제어 정보에 기초하여, 오브젝트 복호부(62)로부터 공급된 오브젝트의 오디오 데이터에 대하여 신호 처리를 실시하고, 그 결과 얻어진 오디오 데이터를 신호 처리부(201-2)에 공급한다.
이때, 신호 처리부(201-1)는, 리버브 처리부(202-2)가 기능하고 있는 경우, 즉 리버브 처리부(202-2)가 실현되어 있는 경우에는, 신호 처리에 의해 얻어진 오디오 데이터를 리버브 처리부(202-2)에도 공급한다.
신호 처리부(201-2)는, 거리 계산부(66)로부터 공급된 거리 정보와, 거리감 제어 정보 복호부(64)로부터 공급된 거리감 제어 정보에 기초하여, 신호 처리부(201-1)로부터 공급된 오디오 데이터에 대하여 신호 처리를 실시하고, 그 결과 얻어진 오디오 데이터를 신호 처리부(201-3)에 공급한다. 이때, 신호 처리부(201-2)는, 리버브 처리부(202-3)가 기능하고 있는 경우에는, 신호 처리에 의해 얻어진 오디오 데이터를 리버브 처리부(202-3)에도 공급한다.
신호 처리부(201-3)는, 거리 계산부(66)로부터 공급된 거리 정보와, 거리감 제어 정보 복호부(64)로부터 공급된 거리감 제어 정보에 기초하여, 신호 처리부(201-2)로부터 공급된 오디오 데이터에 대하여 신호 처리를 실시하고, 그 결과 얻어진 오디오 데이터를 3D 오디오 렌더링 처리부(68)에 공급한다. 이때, 신호 처리부(201-3)는, 리버브 처리부(202-4)가 기능하고 있는 경우에는, 신호 처리에 의해 얻어진 오디오 데이터를 리버브 처리부(202-4)에도 공급한다.
또한, 이하, 신호 처리부(201-1) 내지 신호 처리부(201-3)를 특별히 구별할 필요가 없는 경우, 단순히 신호 처리부(201)라고도 칭하는 것으로 한다.
신호 처리부(201-1)나, 신호 처리부(201-2), 신호 처리부(201-3)에서 행해지는 신호 처리는, 거리감 제어 정보의 구성 정보에 의해 나타나는 처리이다.
구체적으로는, 신호 처리부(201)에서 행해지는 신호 처리는, 예를 들어 게인 제어 처리, 하이 쉘프 필터나 로우 쉘프 필터 등에 의한 필터 처리 등이다.
리버브 처리부(202-1)는, 거리 계산부(66)로부터 공급된 거리 정보와, 거리감 제어 정보 복호부(64)로부터 공급된 거리감 제어 정보에 기초하여, 오브젝트 복호부(62)로부터 공급된 오브젝트의 오디오 데이터에 대하여 리버브 처리를 실시함으로써, 웨트 성분의 오디오 데이터를 생성한다.
또한, 리버브 처리부(202-1)는, 거리감 제어 정보 복호부(64)로부터 공급된 거리감 제어 정보, 메타데이터 복호부(63)로부터 공급된 메타데이터, 유저 인터페이스(65)로부터 공급된 청취 위치 정보에 기초하여, 웨트 성분의 위치 정보를 포함하는 메타데이터를 생성한다. 또한, 리버브 처리부(202-1)에서는, 필요에 따라 거리 정보도 사용되어 웨트 성분의 메타데이터가 생성된다.
리버브 처리부(202-1)는, 이렇게 하여 생성한 웨트 성분의 메타데이터와 오디오 데이터를 3D 오디오 렌더링 처리부(68)에 공급한다.
리버브 처리부(202-2)는, 거리 계산부(66)로부터의 거리 정보, 거리감 제어 정보 복호부(64)로부터의 거리감 제어 정보, 신호 처리부(201-1)로부터의 오디오 데이터, 메타데이터 복호부(63)로부터의 메타데이터 및 유저 인터페이스(65)로부터의 청취 위치 정보에 기초하여, 웨트 성분의 메타데이터 및 오디오 데이터를 생성하여, 3D 오디오 렌더링 처리부(68)에 공급한다.
리버브 처리부(202-3)는, 거리 계산부(66)로부터의 거리 정보, 거리감 제어 정보 복호부(64)로부터의 거리감 제어 정보, 신호 처리부(201-2)로부터의 오디오 데이터, 메타데이터 복호부(63)로부터의 메타데이터 및 유저 인터페이스(65)로부터의 청취 위치 정보에 기초하여, 웨트 성분의 메타데이터 및 오디오 데이터를 생성하여, 3D 오디오 렌더링 처리부(68)에 공급한다.
리버브 처리부(202-4)는, 거리 계산부(66)로부터의 거리 정보, 거리감 제어 정보 복호부(64)로부터의 거리감 제어 정보, 신호 처리부(201-3)로부터의 오디오 데이터, 메타데이터 복호부(63)로부터의 메타데이터 및 유저 인터페이스(65)로부터의 청취 위치 정보에 기초하여, 웨트 성분의 메타데이터 및 오디오 데이터를 생성하여, 3D 오디오 렌더링 처리부(68)에 공급한다.
이들 리버브 처리부(202-2)나 리버브 처리부(202-3), 리버브 처리부(202-4)에서는, 리버브 처리부(202-1)에 있어서의 경우와 마찬가지의 처리가 행해져, 웨트 성분의 메타데이터 및 오디오 데이터가 생성된다.
또한, 이하, 리버브 처리부(202-1) 내지 리버브 처리부(202-4)를 특별히 구별할 필요가 없는 경우, 단순히 리버브 처리부(202)라고도 칭한다.
거리감 제어 처리부(67)에서는, 리버브 처리부(202)가 하나도 기능하지 않는 구성으로 되어도 되고, 하나 또는 복수의 리버브 처리부(202)가 기능하는 구성으로 되어도 된다.
따라서, 예를 들어 거리감 제어 처리부(67)는, 오브젝트(드라이 성분)에 대하여 좌우에 위치하는 웨트 성분을 생성하는 리버브 처리부(202)와, 오브젝트에 대하여 상하에 위치하는 웨트 성분을 생성하는 리버브 처리부(202)를 갖는 구성으로 되어도 된다.
이상과 같이 함으로써, 거리감 제어 처리를 구성하는 각 신호 처리나, 그것들의 신호 처리가 행해지는 순번을 콘텐츠 제작자가 자유롭게 지정할 수 있다. 이에 의해, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현할 수 있다.
<거리감 제어 정보의 다른 예>
또한, 도 21에 나타낸 바와 같이 거리감 제어 처리부(67)의 구성을 자유롭게 변경(지정)할 수 있는 경우, 거리감 제어 정보는, 예를 들어 도 22에 나타내는 구성으로 된다.
도 22에 나타내는 예에서는, 「num_objs」는 콘텐츠를 구성하는 오브젝트의 수를 나타내고 있고, 거리감 제어 정보에는 이 오브젝트의 수 num_objs의 분만큼, 오브젝트가 거리감 제어의 대상인지 여부를 나타내는 플래그 「isDistanceRenderFlg」가 포함되어 있다.
또한, 이들 오브젝트의 수 num_objs 및 플래그 isDistanceRenderFlg는, 도 19에 나타낸 예와 마찬가지이므로, 그 설명은 생략한다.
i번째의 오브젝트 플래그 isDistanceRenderFlg의 값이 「1」인 경우, 거리감 제어 정보에는, 그 오브젝트에 대하여 행해지는 거리감 제어 처리를 구성하는 각 신호 처리에 대하여, 신호 처리를 나타내는 id 정보 「proc_id」와 파라미터 구성 정보가 포함되어 있다.
즉, 예를 들어 j번째(단 0≤j<4)의 신호 처리를 나타내는 id 정보 「proc_id」에 따라, 게인 제어 처리의 파라미터 구성 정보 「DistanceRender_Attn()」, 필터 처리의 파라미터 구성 정보 「DistanceRender_Filt()」, 리버브 처리의 파라미터 구성 정보 「DistanceRender_Revb()」, 또는 유저 정의 처리의 파라미터 구성 정보 「DistanceRender_UserDefine()」이 거리감 제어 정보에 포함되어 있다.
구체적으로는, 예를 들어 id 정보 「proc_id」가 게인 제어 처리를 나타내는 「ATTN」인 경우, 게인 제어 처리의 파라미터 구성 정보 「DistanceRender_Attn()」이 거리감 제어 정보에 포함되어 있다.
또한, 파라미터 구성 정보 「DistanceRender_Attn()」, 「DistanceRender_Filt()」 및 「DistanceRender_Revb()」는, 도 11에 있어서의 경우와 마찬가지이므로, 그 설명은 생략한다.
또한, 파라미터 구성 정보 「DistanceRender_UserDefine()」은, 유저에 의해 임의로 정의된 신호 처리인 유저 정의 처리에서 사용되는 파라미터의 제어 룰을 나타내는 파라미터 구성 정보를 나타내고 있다.
따라서, 이 예에서는 게인 제어 처리나 필터 처리, 리버브 처리뿐만 아니라, 유저에 의해 별도로 정의된 유저 정의 처리를, 거리감 제어 처리를 구성하는 신호 처리로서 추가할 수 있도록 되어 있다.
또한, 여기서는 거리감 제어 처리를 구성하는 신호 처리의 수가 4개인 경우를 예로 하여 설명했지만, 거리감 제어 처리를 구성하는 신호 처리의 수는 몇 개여도 된다.
도 22에 나타낸 거리감 제어 정보에서는, 예를 들어 거리감 제어 처리를 구성하는 0번째의 신호 처리를 게인 제어 처리로 하고, 1번째의 신호 처리를 하이 쉘프 필터에 의한 필터 처리로 하고, 2번째의 신호 처리를 로우 쉘프 필터에 의한 필터 처리로 하고, 3번째의 신호 처리를 리버브 처리로 하면, 도 3에 나타낸 것과 동일한 구성의 거리감 제어 처리부(67)가 실현되게 된다.
그러한 경우, 도 21에 나타낸 거리감 제어 처리부(67)에서는, 신호 처리부(201-1) 내지 신호 처리부(201-3) 및 리버브 처리부(202-4)가 실현되고, 리버브 처리부(202-1) 내지 리버브 처리부(202-3)는 실현되지 않는다(기능하지 않는다).
그리고, 신호 처리부(201-1) 내지 신호 처리부(201-3) 및 리버브 처리부(202-4)는, 도 3에 나타낸 게인 제어부(101), 하이 쉘프 필터 처리부(102), 로우 쉘프 필터 처리부(103) 및 리버브 처리부(104)로서 기능한다.
이와 같이, 거리감 제어 정보가 도 22에 나타내는 구성으로 되는 경우에 있어서도, 기본적으로는 부호화 장치(11)에서는 도 15를 참조하여 설명한 부호화 처리가 행해지고, 복호 장치(51)에서는 도 16을 참조하여 설명한 복호 처리가 행해진다.
단, 부호화 처리에서는, 예를 들어 스텝 S13에 있어서 오브젝트마다, 거리감 제어 처리의 대상으로 할지 여부나, 거리감 제어 처리의 구성 등이 결정되고, 스텝 S14에서는 도 22에 나타낸 구성의 거리감 제어 정보가 부호화된다.
한편, 복호 처리에서는, 스텝 S47에 있어서, 도 22에 나타낸 구성의 거리감 제어 정보에 기초하여, 오브젝트마다 거리감 제어 처리부(67)의 구성이 결정되어, 적절히 거리감 제어 처리가 행해진다.
이상과 같이, 본 기술에 의하면, 콘텐츠 제작자의 설정 등에 따라, 거리감 제어 정보를 오브젝트의 오디오 데이터와 함께 복호측으로 전송함으로써, 오브젝트 베이스 오디오에 있어서, 콘텐츠 제작자의 의도에 기초한 거리감 제어를 실현할 수 있다.
<컴퓨터의 구성예>
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 23은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 또한 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기록부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.
입력부(506)는, 키보드, 마우스, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(507)는, 디스플레이, 스피커 등을 포함한다. 기록부(508)는, 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(509)는, 네트워크 인터페이스 등을 포함한다. 드라이브(510)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(511)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통해, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 기록 매체(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통해, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(509)에서 수신하여, 기록부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(502)이나 기록부(508)에 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 기술은 이하의 구성으로 하는 것도 가능하다.
(1)
오브젝트의 오디오 데이터를 부호화하는 오브젝트 부호화부와,
상기 오브젝트의 위치 정보를 포함하는 메타데이터를 부호화하는 메타데이터 부호화부와,
상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보를 결정하는 거리감 제어 정보 결정부와,
상기 거리감 제어 정보를 부호화하는 거리감 제어 정보 부호화부와,
부호화된 상기 오디오 데이터, 부호화된 상기 메타데이터 및 부호화된 상기 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성하는 다중화부
를 구비하는 부호화 장치.
(2)
상기 거리감 제어 정보에는, 상기 거리감 제어 처리에서 사용되는 파라미터를 얻기 위한 제어 룰 정보가 포함되어 있는
(1)에 기재된 부호화 장치.
(3)
상기 파라미터는, 청취 위치부터 상기 오브젝트까지의 거리에 따라 변화되는
(2)에 기재된 부호화 장치.
(4)
상기 제어 룰 정보는, 상기 파라미터를 얻기 위한 함수 또는 테이블을 나타내는 인덱스인
(2) 또는 (3)에 기재된 부호화 장치.
(5)
상기 거리감 제어 정보에는, 상기 거리감 제어 처리를 실현하기 위해 조합하여 행하는 하나 또는 복수의 처리를 나타내는 구성 정보가 포함되어 있는
(2) 내지 (4) 중 어느 한 항에 기재된 부호화 장치.
(6)
상기 구성 정보는, 상기 하나 또는 복수의 처리 및 상기 하나 또는 복수의 처리를 행하는 순번을 나타내는 정보인
(5)에 기재된 부호화 장치.
(7)
상기 처리는, 게인 제어 처리, 필터 처리, 또는 리버브 처리인
(5) 또는 (6)에 기재된 부호화 장치.
(8)
상기 거리감 제어 정보 부호화부는, 복수의 상기 오브젝트마다 상기 거리감 제어 정보를 부호화하는
(1) 내지 (7) 중 어느 한 항에 기재된 부호화 장치.
(9)
상기 거리감 제어 정보 부호화부는, 하나 또는 복수의 상기 오브젝트를 포함하는 오브젝트 그룹마다 상기 거리감 제어 정보를 부호화하는
(1) 내지 (7) 중 어느 한 항에 기재된 부호화 장치.
(10)
부호화 장치가,
오브젝트의 오디오 데이터를 부호화하고,
상기 오브젝트의 위치 정보를 포함하는 메타데이터를 부호화하고,
상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보를 결정하고,
상기 거리감 제어 정보를 부호화하고,
부호화된 상기 오디오 데이터, 부호화된 상기 메타데이터 및 부호화된 상기 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성하는
부호화 방법.
(11)
오브젝트의 오디오 데이터를 부호화하고,
상기 오브젝트의 위치 정보를 포함하는 메타데이터를 부호화하고,
상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보를 결정하고,
상기 거리감 제어 정보를 부호화하고,
부호화된 상기 오디오 데이터, 부호화된 상기 메타데이터 및 부호화된 상기 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
(12)
부호화 데이터를 비다중화하여, 오브젝트가 부호화된 오디오 데이터, 상기 오브젝트의 위치 정보를 포함하는 부호화된 메타데이터 및 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 부호화된 거리감 제어 정보를 추출하는 비다중화부와,
상기 부호화된 오디오 데이터를 복호하는 오브젝트 복호부와,
상기 부호화된 메타데이터를 복호하는 메타데이터 복호부와,
상기 부호화된 거리감 제어 정보를 복호하는 거리감 제어 정보 복호부와,
상기 거리감 제어 정보에 기초하여, 상기 오브젝트의 상기 오디오 데이터에 대하여 상기 거리감 제어 처리를 행하는 거리감 제어 처리부와,
상기 거리감 제어 처리에 의해 얻어진 오디오 데이터와, 상기 메타데이터에 기초하여 렌더링 처리를 행하여, 상기 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터를 생성하는 렌더링 처리부
를 구비하는 복호 장치.
(13)
상기 거리감 제어 처리부는, 상기 거리감 제어 정보에 포함되어 있는 제어 룰 정보와 청취 위치로부터 얻어지는 파라미터에 기초하여 상기 거리감 제어 처리를 행하는
(12)에 기재된 복호 장치.
(14)
상기 파라미터는, 상기 청취 위치부터 상기 오브젝트까지의 거리에 따라 변화되는
(13)에 기재된 복호 장치.
(15)
상기 거리감 제어 처리부는, 상기 재생 오디오 데이터의 재생 환경에 따라 상기 파라미터의 조정을 행하는
(13) 또는 (14)에 기재된 복호 장치.
(16)
상기 거리감 제어 처리부는, 상기 파라미터에 기초하여, 상기 거리감 제어 정보에 의해 나타나는 하나 또는 복수의 처리를 조합한 상기 거리감 제어 처리를 행하는
(13) 내지 (15) 중 어느 한 항에 기재된 복호 장치.
(17)
상기 처리는, 게인 제어 처리, 필터 처리, 또는 리버브 처리인
(16)에 기재된 복호 장치.
(18)
상기 거리감 제어 처리부는, 상기 거리감 제어 처리에 의해, 상기 오브젝트의 웨트 성분의 오디오 데이터를 생성하는
(12) 내지 (17) 중 어느 한 항에 기재된 복호 장치.
(19)
복호 장치가,
부호화 데이터를 비다중화하여, 오브젝트가 부호화된 오디오 데이터, 상기 오브젝트의 위치 정보를 포함하는 부호화된 메타데이터 및 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 부호화된 거리감 제어 정보를 추출하고,
상기 부호화된 오디오 데이터를 복호하고,
상기 부호화된 메타데이터를 복호하고,
상기 부호화된 거리감 제어 정보를 복호하고,
상기 거리감 제어 정보에 기초하여, 상기 오브젝트의 상기 오디오 데이터에 대하여 상기 거리감 제어 처리를 행하고,
상기 거리감 제어 처리에 의해 얻어진 오디오 데이터와, 상기 메타데이터에 기초하여 렌더링 처리를 행하여, 상기 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터를 생성하는
복호 방법.
(20)
부호화 데이터를 비다중화하여, 오브젝트가 부호화된 오디오 데이터, 상기 오브젝트의 위치 정보를 포함하는 부호화된 메타데이터 및 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 부호화된 거리감 제어 정보를 추출하고,
상기 부호화된 오디오 데이터를 복호하고,
상기 부호화된 메타데이터를 복호하고,
상기 부호화된 거리감 제어 정보를 복호하고,
상기 거리감 제어 정보에 기초하여, 상기 오브젝트의 상기 오디오 데이터에 대하여 상기 거리감 제어 처리를 행하고,
상기 거리감 제어 처리에 의해 얻어진 오디오 데이터와, 상기 메타데이터에 기초하여 렌더링 처리를 행하여, 상기 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터를 생성하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
11: 부호화 장치
21: 오브젝트 부호화부
22: 메타데이터 부호화부
23: 거리감 제어 정보 결정부
24: 거리감 제어 정보 부호화부
25: 다중화부
51: 복호 장치
61: 비다중화부
62: 오브젝트 복호부
63: 메타데이터 복호부
64: 거리감 제어 정보 복호부
66: 거리 계산부
67: 거리감 제어 처리부
68: 3D 오디오 렌더링 처리부
101: 게인 제어부
102: 하이 쉘프 필터 처리부
103: 로우 쉘프 필터 처리부
104: 리버브 처리부

Claims (20)

  1. 오브젝트의 오디오 데이터를 부호화하는 오브젝트 부호화부와,
    상기 오브젝트의 위치 정보를 포함하는 메타데이터를 부호화하는 메타데이터 부호화부와,
    상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보를 결정하는 거리감 제어 정보 결정부와,
    상기 거리감 제어 정보를 부호화하는 거리감 제어 정보 부호화부와,
    부호화된 상기 오디오 데이터, 부호화된 상기 메타데이터 및 부호화된 상기 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성하는 다중화부를 구비하는, 부호화 장치.
  2. 제1항에 있어서, 상기 거리감 제어 정보에는, 상기 거리감 제어 처리에서 사용되는 파라미터를 얻기 위한 제어 룰 정보가 포함되어 있는, 부호화 장치.
  3. 제2항에 있어서, 상기 파라미터는, 청취 위치부터 상기 오브젝트까지의 거리에 따라 변화되는, 부호화 장치.
  4. 제2항에 있어서, 상기 제어 룰 정보는, 상기 파라미터를 얻기 위한 함수 또는 테이블을 나타내는 인덱스인, 부호화 장치.
  5. 제2항에 있어서, 상기 거리감 제어 정보에는, 상기 거리감 제어 처리를 실현하기 위해 조합하여 행하는 하나 또는 복수의 처리를 나타내는 구성 정보가 포함되어 있는, 부호화 장치.
  6. 제5항에 있어서, 상기 구성 정보는, 상기 하나 또는 복수의 처리 및 상기 하나 또는 복수의 처리를 행하는 순번을 나타내는 정보인, 부호화 장치.
  7. 제5항에 있어서, 상기 처리는, 게인 제어 처리, 필터 처리, 또는 리버브 처리인, 부호화 장치.
  8. 제1항에 있어서, 상기 거리감 제어 정보 부호화부는, 복수의 상기 오브젝트마다 상기 거리감 제어 정보를 부호화하는, 부호화 장치.
  9. 제1항에 있어서, 상기 거리감 제어 정보 부호화부는, 하나 또는 복수의 상기 오브젝트를 포함하는 오브젝트 그룹마다 상기 거리감 제어 정보를 부호화하는, 부호화 장치.
  10. 부호화 장치가,
    오브젝트의 오디오 데이터를 부호화하고,
    상기 오브젝트의 위치 정보를 포함하는 메타데이터를 부호화하고,
    상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보를 결정하고,
    상기 거리감 제어 정보를 부호화하고,
    부호화된 상기 오디오 데이터, 부호화된 상기 메타데이터 및 부호화된 상기 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성하는, 부호화 방법.
  11. 오브젝트의 오디오 데이터를 부호화하고,
    상기 오브젝트의 위치 정보를 포함하는 메타데이터를 부호화하고,
    상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 거리감 제어 정보를 결정하고,
    상기 거리감 제어 정보를 부호화하고,
    부호화된 상기 오디오 데이터, 부호화된 상기 메타데이터 및 부호화된 상기 거리감 제어 정보를 다중화하여, 부호화 데이터를 생성하는, 스텝을 포함하는 처리를 컴퓨터에 실행시키는, 프로그램.
  12. 부호화 데이터를 비다중화하여, 오브젝트가 부호화된 오디오 데이터, 상기 오브젝트의 위치 정보를 포함하는 부호화된 메타데이터 및 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 부호화된 거리감 제어 정보를 추출하는 비다중화부와,
    상기 부호화된 오디오 데이터를 복호하는 오브젝트 복호부와,
    상기 부호화된 메타데이터를 복호하는 메타데이터 복호부와,
    상기 부호화된 거리감 제어 정보를 복호하는 거리감 제어 정보 복호부와,
    상기 거리감 제어 정보에 기초하여, 상기 오브젝트의 상기 오디오 데이터에 대하여 상기 거리감 제어 처리를 행하는 거리감 제어 처리부와,
    상기 거리감 제어 처리에 의해 얻어진 오디오 데이터와, 상기 메타데이터에 기초하여 렌더링 처리를 행하여, 상기 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터를 생성하는 렌더링 처리부를 구비하는, 복호 장치.
  13. 제12항에 있어서, 상기 거리감 제어 처리부는, 상기 거리감 제어 정보에 포함되어 있는 제어 룰 정보와 청취 위치로부터 얻어지는 파라미터에 기초하여 상기 거리감 제어 처리를 행하는, 복호 장치.
  14. 제13항에 있어서, 상기 파라미터는, 상기 청취 위치부터 상기 오브젝트까지의 거리에 따라 변화되는, 복호 장치.
  15. 제13항에 있어서, 상기 거리감 제어 처리부는, 상기 재생 오디오 데이터의 재생 환경에 따라 상기 파라미터의 조정을 행하는, 복호 장치.
  16. 제13항에 있어서, 상기 거리감 제어 처리부는, 상기 파라미터에 기초하여, 상기 거리감 제어 정보에 의해 나타나는 하나 또는 복수의 처리를 조합한 상기 거리감 제어 처리를 행하는, 복호 장치.
  17. 제16항에 있어서, 상기 처리는, 게인 제어 처리, 필터 처리, 또는 리버브 처리인, 복호 장치.
  18. 제12항에 있어서, 상기 거리감 제어 처리부는, 상기 거리감 제어 처리에 의해, 상기 오브젝트의 웨트 성분의 오디오 데이터를 생성하는, 복호 장치.
  19. 복호 장치가,
    부호화 데이터를 비다중화하여, 오브젝트가 부호화된 오디오 데이터, 상기 오브젝트의 위치 정보를 포함하는 부호화된 메타데이터 및 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 부호화된 거리감 제어 정보를 추출하고,
    상기 부호화된 오디오 데이터를 복호하고,
    상기 부호화된 메타데이터를 복호하고,
    상기 부호화된 거리감 제어 정보를 복호하고,
    상기 거리감 제어 정보에 기초하여, 상기 오브젝트의 상기 오디오 데이터에 대하여 상기 거리감 제어 처리를 행하고,
    상기 거리감 제어 처리에 의해 얻어진 오디오 데이터와, 상기 메타데이터에 기초하여 렌더링 처리를 행하여, 상기 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터를 생성하는, 복호 방법.
  20. 부호화 데이터를 비다중화하여, 오브젝트가 부호화된 오디오 데이터, 상기 오브젝트의 위치 정보를 포함하는 부호화된 메타데이터 및 상기 오디오 데이터에 대하여 행해지는 거리감 제어 처리를 위한 부호화된 거리감 제어 정보를 추출하고,
    상기 부호화된 오디오 데이터를 복호하고,
    상기 부호화된 메타데이터를 복호하고,
    상기 부호화된 거리감 제어 정보를 복호하고,
    상기 거리감 제어 정보에 기초하여, 상기 오브젝트의 상기 오디오 데이터에 대하여 상기 거리감 제어 처리를 행하고,
    상기 거리감 제어 처리에 의해 얻어진 오디오 데이터와, 상기 메타데이터에 기초하여 렌더링 처리를 행하여, 상기 오브젝트의 소리를 재생하기 위한 재생 오디오 데이터를 생성하는, 스텝을 포함하는 처리를 컴퓨터에 실행시키는, 프로그램.
KR1020227019705A 2020-01-10 2020-12-25 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램 KR20220125225A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020002711 2020-01-10
JPJP-P-2020-002711 2020-01-10
PCT/JP2020/048729 WO2021140959A1 (ja) 2020-01-10 2020-12-25 符号化装置および方法、復号装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20220125225A true KR20220125225A (ko) 2022-09-14

Family

ID=76788406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227019705A KR20220125225A (ko) 2020-01-10 2020-12-25 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램

Country Status (7)

Country Link
US (1) US20230056690A1 (ko)
EP (1) EP4089673A4 (ko)
JP (1) JPWO2021140959A1 (ko)
KR (1) KR20220125225A (ko)
CN (1) CN114762041A (ko)
BR (1) BR112022013235A2 (ko)
WO (1) WO2021140959A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2022387785A1 (en) * 2021-11-09 2024-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Late reverberation distance attenuation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015107926A1 (ja) 2014-01-16 2015-07-23 ソニー株式会社 音声処理装置および方法、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4772315B2 (ja) * 2004-11-10 2011-09-14 ソニー株式会社 情報変換装置及び情報変換方法、並びに通信装置及び通信方法
JP5988710B2 (ja) * 2011-06-14 2016-09-07 ヤマハ株式会社 音響システム及び音響特性制御装置
WO2014175668A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법
ES2640815T3 (es) * 2013-05-24 2017-11-06 Dolby International Ab Codificación eficiente de escenas de audio que comprenden objetos de audio
WO2018047667A1 (ja) * 2016-09-12 2018-03-15 ソニー株式会社 音声処理装置および方法
RU2740703C1 (ru) * 2017-07-14 2021-01-20 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Принцип формирования улучшенного описания звукового поля или модифицированного описания звукового поля с использованием многослойного описания
KR102615550B1 (ko) * 2017-10-20 2023-12-20 소니그룹주식회사 신호 처리 장치 및 방법, 그리고 프로그램
KR102585667B1 (ko) * 2017-10-20 2023-10-06 소니그룹주식회사 신호 처리 장치 및 방법, 그리고 프로그램
EP3776543B1 (en) * 2018-04-11 2022-08-31 Dolby International AB 6dof audio rendering

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015107926A1 (ja) 2014-01-16 2015-07-23 ソニー株式会社 音声処理装置および方法、並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ISO/IEC 23008-3 Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3: 3D audio
Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997

Also Published As

Publication number Publication date
EP4089673A1 (en) 2022-11-16
CN114762041A (zh) 2022-07-15
WO2021140959A1 (ja) 2021-07-15
US20230056690A1 (en) 2023-02-23
BR112022013235A2 (pt) 2022-09-06
EP4089673A4 (en) 2023-01-25
JPWO2021140959A1 (ko) 2021-07-15

Similar Documents

Publication Publication Date Title
US11785410B2 (en) Reproduction apparatus and reproduction method
KR101507901B1 (ko) 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치
JP5646699B2 (ja) マルチチャネル・パラメータ変換のための装置および方法
CN104054126B (zh) 空间音频渲染和编码
KR101366291B1 (ko) 신호 디코딩 방법 및 장치
KR101054932B1 (ko) 스테레오 오디오 신호의 동적 디코딩
CN109996166B (zh) 声音处理装置和方法、以及程序
US11749252B2 (en) Signal processing device, signal processing method, and program
KR102392773B1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
MX2008012250A (es) Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
KR20090104674A (ko) 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
US11074921B2 (en) Information processing device and information processing method
KR20220125225A (ko) 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램
KR20230038426A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
WO2019229300A1 (en) Spatial audio parameters
CN116643712A (zh) 电子设备、音频处理的系统及方法、计算机可读存储介质
JP2014161111A (ja) 波面合成信号変換装置および波面合成信号変換方法
JP2019036961A (ja) 音響処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination