KR20230162143A - 신호 처리 장치 및 방법, 그리고 프로그램 - Google Patents

신호 처리 장치 및 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20230162143A
KR20230162143A KR1020237039834A KR20237039834A KR20230162143A KR 20230162143 A KR20230162143 A KR 20230162143A KR 1020237039834 A KR1020237039834 A KR 1020237039834A KR 20237039834 A KR20237039834 A KR 20237039834A KR 20230162143 A KR20230162143 A KR 20230162143A
Authority
KR
South Korea
Prior art keywords
reverb
information
signal
audio object
sound
Prior art date
Application number
KR1020237039834A
Other languages
English (en)
Inventor
히로유키 혼마
미노루 츠지
도루 치넨
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20230162143A publication Critical patent/KR20230162143A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Abstract

본 기술은, 부호화 효율을 향상시킬 수 있도록 하는 신호 처리 장치 및 방법, 그리고 프로그램에 관한 것이다. 신호 처리 장치는, 오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 오디오 오브젝트의 오디오 오브젝트 신호를 취득하는 취득부와, 리버브 정보 및 오디오 오브젝트 신호에 기초하여, 오디오 오브젝트의 리버브 성분의 신호를 생성하는 리버브 처리부를 구비한다. 본 기술은 신호 처리 장치에 적용할 수 있다.

Description

신호 처리 장치 및 방법, 그리고 프로그램{SIGNAL PROCESSING DEVICE, METHOD, AND PROGRAM}
본 기술은 신호 처리 장치 및 방법, 그리고 프로그램에 관한 것이며, 특히 부호화 효율을 향상시킬 수 있도록 한 신호 처리 장치 및 방법, 그리고 프로그램에 관한 것이다.
종래, 영화나 게임 등에서 오브젝트 오디오 기술이 사용되며, 오브젝트 오디오를 취급할 수 있는 부호화 방식도 개발되고 있다. 구체적으로는, 예를 들어 국제 표준 규격인 MPEG(Moving Picture Experts Group)-H Part 3: 3D audio 규격 등이 알려져 있다(예를 들어, 비특허문헌 1 참조).
이러한 부호화 방식에서는, 종래의 2채널 스테레오 방식이나 5.1채널 등의 멀티채널 스테레오 방식과 함께, 이동하는 음원 등을 독립된 오디오 오브젝트로서 취급하여, 오디오 오브젝트의 신호 데이터와 함께 오브젝트의 위치 정보를 메타데이터로서 부호화하는 것이 가능하다.
이와 같이 함으로써, 스피커수가 다른 여러 가지 시청 환경에서 재생을 행할 수 있다. 또한, 종래의 부호화 방식으로는 곤란하였던 특정 음원의 음의 음량 조정이나, 특정 음원의 음에 대한 이펙트의 추가 등, 특정 음원의 음을 재생 시에 가공하는 것이 용이하게 가능하다.
예를 들어 비특허문헌 1의 규격에서는, 렌더링 처리에 3차원 VBAP(Vector Based Amplitude Panning)(이하, 간단히 VBAP라고 칭함)라고 불리는 방식이 사용된다.
이것은 일반적으로 패닝이라고 불리는 렌더링 방법의 하나로, 시청 위치를 원점으로 하는 구 표면 상에 존재하는 스피커 중, 동일하게 구 표면 상에 존재하는 오디오 오브젝트에 가장 가까운 3개의 스피커에 대하여 게인을 분배함으로써 렌더링을 행하는 방식이다.
이러한 패닝에 의한 오디오 오브젝트의 렌더링은, 모든 오디오 오브젝트가 시청 위치를 원점으로 하는 구 표면 상에 있는 것을 전제로 하고 있다. 그 때문에, 오디오 오브젝트가 시청 위치에 가까운 경우나, 시청 위치로부터 먼 경우의 거리감은 오디오 오브젝트에 대한 게인의 대소만으로 제어하게 된다.
그런데, 실제로는 주파수 성분에 따라 감쇠율이 다르다는 것이나, 오디오 오브젝트가 존재하는 공간의 반사 등을 가미하지 않으면, 거리감의 표현은 실제 체험과는 좀 먼 것으로 되어 버린다.
이러한 영향을 시청 체험에 반영시키기 위해, 공간의 반사나 감쇠를 물리적으로 계산하여 최종적인 출력 오디오 신호로 하는 것이 우선 고려된다. 그러나, 이러한 방법은, 매우 긴 계산 시간을 들여 제작하는 것이 가능한 영화 등의 동화상 콘텐츠에 대해서는 유효하지만, 오디오 오브젝트를 리얼 타임으로 렌더링하는 경우에는 곤란하다.
또한, 공간의 반사나 감쇠를 물리적으로 계산하여 얻어지는 최종 출력은, 콘텐츠 제작자의 의도를 반영시키기 어려워, 특히 뮤직 클립 등의 음악 작품에서는, 보컬 트랙 등에 원하는 리버브 처리를 하는 등, 콘텐츠 제작자의 의도를 반영시키기 쉬운 포맷이 요구된다.
INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3: 3D audio
그래서, 오디오 오브젝트 하나하나에 공간의 반사나 감쇠를 가미한 리버브 처리에 필요한 계수 등의 데이터를, 오디오 오브젝트의 위치 정보와 함께 파일이나 전송 스트림에 저장하고, 그것들을 사용하여 최종적인 출력 오디오 신호를 얻는 것이 리얼 타임 재생을 하는 데 있어서 바람직하다.
그러나, 파일이나 전송 스트림에, 오디오 오브젝트 하나하나에 필요한 리버브 처리의 데이터를 매 프레임 저장하는 것은 전송 레이트의 증대를 초래하게 되어, 부호화 효율이 높은 데이터 전송이 요구된다.
본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 부호화 효율을 향상시킬 수 있도록 하는 것이다.
본 기술의 일 측면의 신호 처리 장치는, 오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 상기 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 상기 오디오 오브젝트의 오디오 오브젝트 신호를 취득하는 취득부와, 상기 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여, 상기 오디오 오브젝트의 리버브 성분의 신호를 생성하는 리버브 처리부를 구비한다.
본 기술의 일 측면의 신호 처리 방법 또는 프로그램은, 오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 상기 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 상기 오디오 오브젝트의 오디오 오브젝트 신호를 취득하고, 상기 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여, 상기 오디오 오브젝트의 리버브 성분의 신호를 생성하는 스텝을 포함한다.
본 기술의 일 측면에 있어서는, 오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 상기 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 상기 오디오 오브젝트의 오디오 오브젝트 신호가 취득되고, 상기 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여, 상기 오디오 오브젝트의 리버브 성분의 신호가 생성된다.
본 기술의 일 측면에 따르면, 부호화 효율을 향상시킬 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은, 신호 처리 장치의 구성예를 도시하는 도면이다.
도 2는, 렌더링 처리부의 구성예를 도시하는 도면이다.
도 3은, 오디오 오브젝트 정보의 신택스 예를 도시하는 도면이다.
도 4는, 오브젝트 리버브 정보 및 공간 리버브 정보의 신택스 예를 도시하는 도면이다.
도 5는, 리버브 성분의 정위 위치에 대하여 설명하는 도면이다.
도 6은, 임펄스 응답에 대하여 설명하는 도면이다.
도 7은, 오디오 오브젝트와 시청 위치의 관계를 설명하는 도면이다.
도 8은, 직접음 성분, 초기 반사음 성분 및 후부 잔향 성분에 대하여 설명하는 도면이다.
도 9는, 오디오 출력 처리를 설명하는 흐름도이다.
도 10은, 부호화 장치의 구성예를 도시하는 도면이다.
도 11은, 부호화 처리를 설명하는 흐름도이다.
도 12는, 컴퓨터의 구성예를 도시하는 도면이다.
이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대하여 설명한다.
<제1 실시 형태>
<신호 처리 장치의 구성예>
본 기술은, 오디오 오브젝트와 시청 위치의 관계에 따라 적응적으로 리버브 파라미터의 부호화 방식을 선택함으로써, 부호화 효율이 높은 리버브 파라미터의 전송을 가능하게 하는 것이다.
도 1은, 본 기술을 적용한 신호 처리 장치의 일 실시 형태의 구성예를 도시하는 도면이다.
도 1에 도시하는 신호 처리 장치(11)는, 코어 디코드 처리부(21) 및 렌더링 처리부(22)를 갖고 있다.
코어 디코드 처리부(21)는, 송신되어 온 입력 비트 스트림을 수신하여 복호(디코드)하고, 그 결과 얻어진 오디오 오브젝트 정보 및 오디오 오브젝트 신호를 렌더링 처리부(22)에 공급한다. 바꾸어 말하면, 코어 디코드 처리부(21)는, 오디오 오브젝트 정보 및 오디오 오브젝트 신호를 취득하는 취득부로서 기능한다.
여기서, 오디오 오브젝트 신호는, 오디오 오브젝트의 음을 재생하기 위한 오디오 신호이다.
또한, 오디오 오브젝트 정보는, 오디오 오브젝트, 즉 오디오 오브젝트 신호의 메타데이터이다. 이 오디오 오브젝트 정보에는, 렌더링 처리부(22)에 있어서 행해지는 처리에 필요한, 오디오 오브젝트에 관한 정보가 포함되어 있다.
구체적으로는, 오디오 오브젝트 정보에는, 오브젝트 위치 정보, 직접음 게인, 오브젝트 리버브 정보, 오브젝트 리버브음 게인, 공간 리버브 정보 및 공간 리버브 게인이 포함되어 있다.
여기서, 오브젝트 위치 정보는, 오디오 오브젝트의 3차원 공간 상의 위치를 나타내는 정보이다. 예를 들어 오브젝트 위치 정보는, 기준으로 되는 시청 위치에서 본 오디오 오브젝트의 수평 방향의 위치를 나타내는 수평 각도, 시청 위치에서 본 오디오 오브젝트의 수직 방향의 위치를 나타내는 수직 각도, 및 시청 위치에서부터 오디오 오브젝트까지의 거리를 나타내는 반경을 포함한다.
또한, 직접음 게인은, 오디오 오브젝트의 음의 직접음 성분을 생성할 때의 게인 조정에 사용되는 게인값이다.
예를 들어 렌더링 처리부(22)에서는, 오디오 오브젝트, 즉 오디오 오브젝트 신호의 렌더링 시에는, 오디오 오브젝트로부터의 직접음 성분의 신호와, 오브젝트 고유 리버브음의 신호와, 공간 고유 리버브음의 신호가 생성된다.
특히, 오브젝트 고유 리버브음이나 공간 고유 리버브음의 신호는, 오디오 오브젝트로부터의 음의 반사음이나 잔향음 등의 성분의 신호, 즉 오디오 오브젝트 신호에 대하여 리버브 처리를 행함으로써 얻어지는 리버브 성분의 신호이다.
오브젝트 고유 리버브음은 오디오 오브젝트의 음의 초기 반사음 성분이며, 오디오 오브젝트의 3차원 공간 상의 위치 등, 오디오 오브젝트의 상태의 기여율이 큰 음이다. 즉, 오브젝트 고유 리버브음은, 시청 위치와 오디오 오브젝트의 상대적인 위치 관계에 따라 크게 변화하는, 오디오 오브젝트의 위치에 의존하는 리버브음이다.
이에 비해, 공간 고유 리버브음은 오디오 오브젝트의 음의 후부 잔향 성분으로서, 오디오 오브젝트의 상태의 기여율은 작고, 오디오 오브젝트의 주위 환경, 즉 오디오 오브젝트의 주위 공간의 상태의 기여율이 큰 음이다.
즉, 공간 고유 리버브음은, 오디오 오브젝트의 주위 공간에 있어서의 시청 위치와 벽 등의 상대적인 위치 관계, 벽이나 바닥의 재질 등에 따라 크게 변화하지만, 시청 위치와 오디오 오브젝트의 상대적인 위치 관계에 따라서는 거의 변화하지 않는다. 따라서, 공간 고유 리버브음은, 오디오 오브젝트의 주위 공간에 의존하는 음이라고 할 수 있다.
렌더링 처리부(22)에 있어서의 렌더링 처리 시에는, 이러한 오디오 오브젝트로부터의 직접음 성분, 오브젝트 고유 리버브음 성분 및 공간 고유 리버브음 성분이, 오디오 오브젝트 신호에 대한 리버브 처리에 의해 생성된다. 직접음 게인은, 이러한 직접음 성분의 신호 생성에 사용된다.
오브젝트 리버브 정보는, 오브젝트 고유 리버브음에 관한 정보이다. 예를 들어 오브젝트 리버브 정보에는, 오브젝트 고유 리버브음의 음상의 정위 위치를 나타내는 오브젝트 리버브 위치 정보나, 리버브 처리 시에 오브젝트 고유 리버브음 성분의 생성에 사용되는 계수 정보가 포함되어 있다.
오브젝트 고유 리버브음은 오디오 오브젝트 고유의 성분이기 때문에, 오브젝트 리버브 정보는, 리버브 처리 시에 있어서 오브젝트 고유 리버브음 성분의 생성에 사용되는, 오디오 오브젝트에 고유한 리버브 정보라고 할 수 있다.
또한, 이하, 오브젝트 리버브 위치 정보에 의해 나타나는 3차원 공간 상의 오브젝트 고유 리버브음의 음상의 정위 위치를, 오브젝트 리버브 성분 위치라고도 칭하기로 한다. 이 오브젝트 리버브 성분 위치는, 3차원 공간 상에 있어서의 오브젝트 고유 리버브음을 출력하는 실 스피커 또는 가상 스피커의 배치 위치라고도 할 수 있다.
또한, 오디오 오브젝트 정보에 포함되는 오브젝트 리버브음 게인은, 오브젝트 고유 리버브음의 게인 조정에 사용되는 게인값이다.
공간 리버브 정보는, 공간 고유 리버브음에 관한 정보이다. 예를 들어 공간 리버브 정보에는 공간 고유 리버브음의 음상의 정위 위치를 나타내는 공간 리버브 위치 정보나, 리버브 처리 시에 공간 고유 리버브음 성분의 생성에 사용되는 계수 정보가 포함되어 있다.
공간 고유 리버브음은 오디오 오브젝트의 기여율이 낮은 공간 고유의 성분이기 때문에, 공간 리버브 정보는 리버브 처리 시에 있어서 공간 고유 리버브음 성분의 생성에 사용되는, 오디오 오브젝트의 주위 공간에 고유한 리버브 정보라고 할 수 있다.
또한, 이하, 공간 리버브 위치 정보에 의해 나타나는 3차원 공간 상의 공간 고유 리버브음의 음상의 정위 위치를, 공간 리버브 성분 위치라고도 칭하기로 한다. 이 공간 리버브 성분 위치는, 3차원 공간 상에 있어서의 공간 고유 리버브음을 출력하는 실 스피커 또는 가상 스피커의 배치 위치라고도 할 수 있다.
또한, 공간 리버브 게인은, 오브젝트 고유 리버브음의 게인 조정에 사용되는 게인값이다.
코어 디코드 처리부(21)로부터 출력되는 오디오 오브젝트 정보에는, 오브젝트 위치 정보, 직접음 게인, 오브젝트 리버브 정보, 오브젝트 리버브음 게인, 공간 리버브 정보 및 공간 리버브 게인 중 적어도 오브젝트 위치 정보가 포함되어 있다.
렌더링 처리부(22)는, 코어 디코드 처리부(21)로부터 공급된 오디오 오브젝트 정보 및 오디오 오브젝트 신호에 기초하여, 출력 오디오 신호를 생성하고, 후단의 스피커나 기록부 등에 공급한다.
즉, 렌더링 처리부(22)는, 오디오 오브젝트 정보에 기초하여 리버브 처리를 행하고, 하나 또는 복수의 각 오디오 오브젝트의 직접음의 신호, 오브젝트 고유 리버브음의 신호 및 공간 고유 리버브음의 신호를 생성한다.
그리고, 렌더링 처리부(22)는, 얻어진 직접음, 오브젝트 고유 리버브음 및 공간 고유 리버브음의 신호별로 VBAP에 의해 렌더링 처리를 행하여, 출력처로 되는 스피커 시스템이나 헤드폰 등의 재생 장치에 따른 채널 구성의 출력 오디오 신호를 생성한다. 또한, 렌더링 처리부(22)는, 신호별로 생성한 출력 오디오 신호의 동일한 채널의 신호를 가산하여, 최종적인 하나의 출력 오디오 신호로 한다.
이와 같이 하여 얻어진 출력 오디오 신호에 기초하여 음을 재생하면, 오디오 오브젝트의 직접음의 음상이 오브젝트 위치 정보에 의해 나타나는 위치에 정위하고, 오브젝트 고유 리버브음의 음상이 오브젝트 리버브 성분 위치에 정위하고, 공간 고유 리버브음의 음상이 공간 리버브 성분 위치에 정위한다. 이에 의해, 오디오 오브젝트의 거리감이 적절하게 제어된, 보다 임장감이 있는 오디오 재생이 실현된다.
<렌더링 처리부의 구성예>
다음에, 도 1에 도시한 신호 처리 장치(11)의 렌더링 처리부(22)의 보다 상세한 구성예에 대하여 설명한다.
여기서는, 구체적인 예로서, 오디오 오브젝트가 2개 존재하는 경우에 대하여 설명을 행한다. 또한, 오디오 오브젝트의 수는 몇 개여도 되며, 계산 자원이 허용하는 한도의 수의 오디오 오브젝트를 취급하는 것이 가능하다.
이하에서는, 2개의 각 오디오 오브젝트를 구별하는 경우에는, 한쪽 오디오 오브젝트를 오디오 오브젝트 OBJ1이라고도 기재하고, 그 오디오 오브젝트 OBJ1의 오디오 오브젝트 신호를 오디오 오브젝트 신호 OA1이라고도 기재하기로 한다. 또한, 다른 쪽 오디오 오브젝트를 오디오 오브젝트 OBJ2라고도 기재하고, 그 오디오 오브젝트 OBJ2의 오디오 오브젝트 신호를 오디오 오브젝트 신호 OA2라고도 기재하기로 한다.
또한, 이하, 오디오 오브젝트 OBJ1에 대한 오브젝트 위치 정보, 직접음 게인, 오브젝트 리버브 정보, 오브젝트 리버브음 게인 및 공간 리버브 게인을, 특히 오브젝트 위치 정보 OP1, 직접음 게인 OG1, 오브젝트 리버브 정보 OR1, 오브젝트 리버브음 게인 RG1 및 공간 리버브 게인 SG1이라고도 기재하기로 한다.
마찬가지로, 이하, 오디오 오브젝트 OBJ2에 대한 오브젝트 위치 정보, 직접음 게인, 오브젝트 리버브 정보, 오브젝트 리버브음 게인 및 공간 리버브 게인을, 특히 오브젝트 위치 정보 OP2, 직접음 게인 OG2, 오브젝트 리버브 정보 OR2, 오브젝트 리버브음 게인 RG2 및 공간 리버브 게인 SG2라고도 기재하기로 한다.
이와 같이 오디오 오브젝트가 2개 존재하는 경우, 렌더링 처리부(22)는, 예를 들어 도 2에 도시하는 바와 같이 구성된다.
도 2에 도시하는 예에서는, 렌더링 처리부(22)는, 증폭부(51-1), 증폭부(51-2), 증폭부(52-1), 증폭부(52-2), 오브젝트 고유 리버브 처리부(53-1), 오브젝트 고유 리버브 처리부(53-2), 증폭부(54-1), 증폭부(54-2), 공간 고유 리버브 처리부(55) 및 렌더링부(56)를 갖고 있다.
증폭부(51-1) 및 증폭부(51-2)는, 코어 디코드 처리부(21)로부터 공급된 오디오 오브젝트 신호 OA1 및 오디오 오브젝트 신호 OA2에 대하여, 코어 디코드 처리부(21)로부터 공급된 직접음 게인 OG1 및 직접음 게인 OG2를 승산함으로써 게인 조정을 행하고, 그 결과 얻어진 오디오 오브젝트의 직접음의 신호를 렌더링부(56)에 공급한다.
또한, 이하, 증폭부(51-1) 및 증폭부(51-2)를 특별히 구별할 필요가 없는 경우, 간단히 증폭부(51)라고도 칭하기로 한다.
증폭부(52-1) 및 증폭부(52-2)는, 코어 디코드 처리부(21)로부터 공급된 오디오 오브젝트 신호 OA1 및 오디오 오브젝트 신호 OA2에 대하여, 코어 디코드 처리부(21)로부터 공급된 오브젝트 리버브음 게인 RG1 및 오브젝트 리버브음 게인 RG2를 승산하여 게인 조정을 행한다. 이 게인 조정에 의해, 각 오브젝트 고유 리버브음의 크기가 조정된다.
증폭부(52-1) 및 증폭부(52-2)는, 게인 조정된 오디오 오브젝트 신호 OA1 및 오디오 오브젝트 신호 OA2를, 오브젝트 고유 리버브 처리부(53-1) 및 오브젝트 고유 리버브 처리부(53-2)에 공급한다.
또한, 이하, 증폭부(52-1) 및 증폭부(52-2)를 특별히 구별할 필요가 없는 경우, 간단히 증폭부(52)라고도 칭하기로 한다.
오브젝트 고유 리버브 처리부(53-1)는, 코어 디코드 처리부(21)로부터 공급된 오브젝트 리버브 정보 OR1에 기초하여, 증폭부(52-1)로부터 공급된 게인 조정 후의 오디오 오브젝트 신호 OA1에 대하여 리버브 처리를 행한다.
이 리버브 처리에 의해, 오디오 오브젝트 OBJ1에 대한 오브젝트 고유 리버브음의 신호가 하나 또는 복수 생성된다.
또한, 오브젝트 고유 리버브 처리부(53-1)는, 코어 디코드 처리부(21)로부터 공급된 오브젝트 위치 정보 OP1과, 오브젝트 리버브 정보 OR1에 포함되는 오브젝트 리버브 위치 정보에 기초하여, 3차원 공간 상에 있어서의 각 오브젝트 고유 리버브음의 음상의 절대적인 정위 위치를 나타내는 위치 정보를 생성한다.
상술한 바와 같이 오브젝트 위치 정보 OP1은, 3차원 공간 상에 있어서의 시청 위치를 기준으로 하는 오디오 오브젝트 OBJ1의 절대적인 위치를 나타내는 수평 각도, 수직 각도 및 반경을 포함하는 정보이다.
이에 비해, 오브젝트 리버브 위치 정보는, 3차원 공간 상에 있어서의 시청 위치에서 본 절대적인 오브젝트 고유 리버브음의 음상의 위치(정위 위치)를 나타내는 정보로 할 수도 있고, 3차원 공간 상에 있어서의 오디오 오브젝트 OBJ1에 대한 상대적인 오브젝트 고유 리버브음의 음상의 위치(정위 위치)를 나타내는 정보로 할 수도 있다.
예를 들어 오브젝트 리버브 위치 정보가, 3차원 공간 상에 있어서의 시청 위치에서 본 절대적인 오브젝트 고유 리버브음의 음상의 위치를 나타내는 정보인 경우, 오브젝트 리버브 위치 정보는, 3차원 공간 상에 있어서의 시청 위치를 기준으로 하는 오브젝트 고유 리버브음의 음상의 절대적인 정위 위치를 나타내는 수평 각도, 수직 각도 및 반경을 포함하는 정보로 된다.
이 경우, 오브젝트 고유 리버브 처리부(53-1)는, 오브젝트 리버브 위치 정보를, 그대로 오브젝트 고유 리버브음의 음상의 절대적인 위치를 나타내는 위치 정보로 한다.
한편, 오브젝트 리버브 위치 정보가, 오디오 오브젝트 OBJ1에 대한 상대적인 오브젝트 고유 리버브음의 음상의 위치를 나타내는 정보인 경우, 오브젝트 리버브 위치 정보는, 3차원 공간 상에 있어서의 시청 위치에서 본 오브젝트 고유 리버브음의 음상의 오디오 오브젝트 OBJ1에 대한 상대적인 위치를 나타내는 수평 각도, 수직 각도 및 반경을 포함하는 정보로 된다.
이 경우, 오브젝트 고유 리버브 처리부(53-1)는, 오브젝트 위치 정보 OP1과 오브젝트 리버브 위치 정보에 기초하여, 3차원 공간 상에 있어서의 시청 위치를 기준으로 하는 오브젝트 고유 리버브음의 음상의 절대적인 정위 위치를 나타내는 수평 각도, 수직 각도 및 반경을 포함하는 정보를, 오브젝트 고유 리버브음의 음상의 절대적인 위치를 나타내는 위치 정보로서 생성한다.
오브젝트 고유 리버브 처리부(53-1)는, 이와 같이 하여 하나 또는 복수의 오브젝트 고유 리버브음별로 얻어진, 오브젝트 고유 리버브음의 신호와, 그 오브젝트 고유 리버브음의 위치 정보의 페어를 렌더링부(56)에 공급한다.
이와 같이, 리버브 처리에 의해, 오브젝트 고유 리버브음의 신호와 위치 정보를 생성함으로써, 각 오브젝트 고유 리버브음의 신호를, 독립된 오디오 오브젝트의 신호로서 취급할 수 있게 된다.
마찬가지로, 오브젝트 고유 리버브 처리부(53-2)는, 코어 디코드 처리부(21)로부터 공급된 오브젝트 리버브 정보 OR2에 기초하여, 증폭부(52-2)로부터 공급된 게인 조정 후의 오디오 오브젝트 신호 OA2에 대하여 리버브 처리를 행한다.
이 리버브 처리에 의해, 오디오 오브젝트 OBJ2에 대한 오브젝트 고유 리버브음의 신호가 하나 또는 복수 생성된다.
또한, 오브젝트 고유 리버브 처리부(53-2)는, 코어 디코드 처리부(21)로부터 공급된 오브젝트 위치 정보 OP2와, 오브젝트 리버브 정보 OR2에 포함되는 오브젝트 리버브 위치 정보에 기초하여, 3차원 공간 상에 있어서의 각 오브젝트 고유 리버브음의 음상의 절대적인 정위 위치를 나타내는 위치 정보를 생성한다.
그리고, 오브젝트 고유 리버브 처리부(53-2)는, 이와 같이 하여 얻어진 오브젝트 고유 리버브음의 신호와, 그 오브젝트 고유 리버브음의 위치 정보의 페어를 렌더링부(56)에 공급한다.
또한, 이하, 오브젝트 고유 리버브 처리부(53-1) 및 오브젝트 고유 리버브 처리부(53-2)를 특별히 구별할 필요가 없는 경우, 간단히 오브젝트 고유 리버브 처리부(53)라고도 칭하기로 한다.
증폭부(54-1) 및 증폭부(54-2)는, 코어 디코드 처리부(21)로부터 공급된 오디오 오브젝트 신호 OA1 및 오디오 오브젝트 신호 OA2에 대하여, 코어 디코드 처리부(21)로부터 공급된 공간 리버브 게인 SG1 및 공간 리버브 게인 SG2를 승산하여 게인 조정을 행한다. 이 게인 조정에 의해, 각 공간 고유 리버브음의 크기가 조정된다.
또한, 증폭부(54-1) 및 증폭부(54-2)는, 게인 조정된 오디오 오브젝트 신호 OA1 및 오디오 오브젝트 신호 OA2를, 공간 고유 리버브 처리부(55)에 공급한다.
또한, 이하, 증폭부(54-1) 및 증폭부(54-2)를 특별히 구별할 필요가 없는 경우, 간단히 증폭부(54)라고도 칭하기로 한다.
공간 고유 리버브 처리부(55)는, 코어 디코드 처리부(21)로부터 공급된 공간 리버브 정보에 기초하여, 증폭부(54-1) 및 증폭부(54-2)로부터 공급된 게인 조정 후의 오디오 오브젝트 신호 OA1 및 오디오 오브젝트 신호 OA2에 대하여 리버브 처리를 행한다. 또한, 공간 고유 리버브 처리부(55)는, 오디오 오브젝트 OBJ1 및 오디오 오브젝트 OBJ2에 대한 리버브 처리에 의해 얻어진 신호를 가산함으로써, 공간 고유 리버브음의 신호를 생성한다. 공간 고유 리버브 처리부(55)에서는, 공간 고유 리버브음의 신호가 하나 또는 복수 생성된다.
또한, 공간 고유 리버브 처리부(55)는, 오브젝트 고유 리버브 처리부(53)에 있어서의 경우와 마찬가지로 하여, 코어 디코드 처리부(21)로부터 공급된 공간 리버브 정보에 포함되는 공간 리버브 위치 정보와, 오브젝트 위치 정보 OP1과, 오브젝트 위치 정보 OP2에 기초하여, 공간 고유 리버브음의 음상의 절대적인 정위 위치를 나타내는 위치 정보로서 생성한다.
이 위치 정보는, 예를 들어 3차원 공간 상에 있어서의 시청 위치를 기준으로 하는 공간 고유 리버브음의 음상의 절대적인 정위 위치를 나타내는 수평 각도, 수직 각도 및 반경을 포함하는 정보로 된다.
공간 고유 리버브 처리부(55)는, 이와 같이 하여 얻어진 하나 또는 복수의 공간 고유 리버브음에 대한 공간 고유 리버브음의 신호와 위치 정보의 페어를 렌더링부(56)에 공급한다. 여기서, 이들 공간 고유 리버브음도 오브젝트 고유 리버브음과 마찬가지로, 위치 정보를 갖는다는 점에서 독립된 오디오 오브젝트의 신호로서 취급할 수 있다.
이상의 증폭부(51) 내지 공간 고유 리버브 처리부(55)는, 렌더링부(56)의 전단에 마련된, 오디오 오브젝트 정보 및 오디오 오브젝트 신호에 기초하여 리버브 처리를 행하는 리버브 처리부를 구성하는 처리 블록으로서 기능한다.
렌더링부(56)는, 공급된 각 음의 신호와, 그들 음의 신호의 위치 정보에 기초하여 VBAP에 의해 렌더링 처리를 행하여, 소정의 채널 구성의 각 채널의 신호를 포함하는 출력 오디오 신호를 생성하고, 출력한다.
즉, 렌더링부(56)는, 코어 디코드 처리부(21)로부터 공급된 오브젝트 위치 정보와, 증폭부(51)로부터 공급된 직접음의 신호에 기초하여 VBAP에 의해 렌더링 처리를 행하여, 오디오 오브젝트 OBJ1 및 오디오 오브젝트 OBJ2의 각각에 대한 각 채널의 출력 오디오 신호를 생성한다.
또한, 렌더링부(56)는, 오브젝트 고유 리버브 처리부(53)로부터 공급된 오브젝트 고유 리버브음의 신호와 위치 정보의 페어에 기초하여, 페어별로 VBAP에 의해 렌더링 처리를 행하여, 오브젝트 고유 리버브음별로 각 채널의 출력 오디오 신호를 생성한다.
또한, 렌더링부(56)는, 공간 고유 리버브 처리부(55)로부터 공급된 공간 고유 리버브음의 신호와 위치 정보의 페어에 기초하여, 페어별로 VBAP에 의해 렌더링 처리를 행하여, 공간 고유 리버브음별로 각 채널의 출력 오디오 신호를 생성한다.
그리고, 렌더링부(56)는, 오디오 오브젝트 OBJ1, 오디오 오브젝트 OBJ2, 오브젝트 고유 리버브음 및 공간 고유 리버브음의 각각에 대하여 얻어진 출력 오디오 신호의 동일한 채널의 신호끼리를 가산하여, 최종적인 출력 오디오 신호로 한다.
<입력 비트 스트림의 포맷 예>
여기서, 신호 처리 장치(11)에 공급되는 입력 비트 스트림의 포맷 예에 대하여 설명한다.
예를 들어 입력 비트 스트림의 포맷(신택스)은, 도 3에 도시하는 바와 같이 된다. 도 3에 도시하는 예에서는, 문자 「object_metadata()」의 부분이 오디오 오브젝트의 메타데이터, 즉 오디오 오브젝트 정보의 부분으로 되어 있다.
이 오디오 오브젝트 정보의 부분에는, 문자 「num_objects」에 의해 나타나는 오디오 오브젝트수만큼, 오디오 오브젝트에 대한 오브젝트 위치 정보가 포함되어 있다. 이 예에서는 i번째 오디오 오브젝트의 오브젝트 위치 정보로서, 수평 각도 position_azimuth[i], 수직 각도 position_elevation[i] 및 반경 position_radius[i]가 저장되어 있다.
또한, 오디오 오브젝트 정보에는, 문자 「flag_obj_reverb」에 의해 나타나는, 오브젝트 리버브 정보나 공간 리버브 정보 등의 리버브 정보가 포함되어 있는지 여부를 나타내는 리버브 정보 플래그가 포함되어 있다.
여기서는, 리버브 정보 플래그 flag_obj_reverb의 값이 「1」인 경우, 오디오 오브젝트 정보에 리버브 정보가 포함되어 있음을 나타내고 있다.
바꾸어 말하면, 리버브 정보 플래그 flag_obj_reverb의 값이 「1」인 경우, 공간 리버브 정보와 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보가 오디오 오브젝트 정보에 저장되어 있다고 할 수 있다.
부언하면, 보다 상세하게는 후술하는 재이용 플래그 use_prev의 값에 따라서는, 오디오 오브젝트 정보에 리버브 정보로서 과거의 리버브 정보를 식별하는 식별 정보, 즉 후술하는 리버브 ID가 포함되어 있고, 오브젝트 리버브 정보나 공간 리버브 정보는 포함되어 있지 않은 경우도 있다.
이에 비해, 리버브 정보 플래그 flag_obj_reverb의 값이 「0」인 경우, 오디오 오브젝트 정보에는 리버브 정보가 포함되어 있지 않음을 나타내고 있다.
리버브 정보 플래그 flag_obj_reverb의 값이 「1」인 경우, 오디오 오브젝트 정보에는, 리버브 정보로서 문자 「dry_gain[i]」에 의해 나타나는 직접음 게인, 문자 「wet_gain[i]」에 의해 나타나는 오브젝트 리버브음 게인 및 문자 「room_gain[i]」에 의해 나타나는 공간 리버브 게인이, 각각 오디오 오브젝트수만큼 저장되어 있다.
이들 직접음 게인 dry_gain[i], 오브젝트 리버브음 게인 wet_gain[i] 및 공간 리버브 게인 room_gain[i]에 의해, 출력 오디오 신호에 있어서의 직접음, 오브젝트 고유 리버브음 및 공간 고유 리버브음의 혼합 비율이 정해진다.
또한, 오디오 오브젝트 정보에는, 리버브 정보로서 문자 「use_prev」에 의해 나타나는 재이용 플래그가 저장되어 있다.
이 재이용 플래그 use_prev는, i번째 오디오 오브젝트의 오브젝트 리버브 정보로서, 리버브 ID에 의해 특정되는 과거의 오브젝트 리버브 정보를 재이용할지 여부를 나타내는 플래그 정보이다.
여기서는, 입력 비트 스트림으로 전송된 각 오브젝트 리버브 정보에 대하여, 그들 오브젝트 리버브 정보를 식별(특정)하는 식별 정보로서 리버브 ID가 부여되어 있다.
예를 들어 재이용 플래그 use_prev의 값이 「1」일 때에는, 과거의 오브젝트 리버브 정보를 재이용함을 나타내고 있고, 이 경우에는 오디오 오브젝트 정보에는 문자 「reverb_data_id[i]」에 의해 나타나는, 재이용할 오브젝트 리버브 정보를 나타내는 리버브 ID가 저장되어 있다.
이에 비해 재이용 플래그 use_prev의 값이 「0」일 때에는, 오브젝트 리버브 정보를 재이용하지 않음을 나타내고 있고, 이 경우에는 오디오 오브젝트 정보에는 문자 「obj_reverb_data(i)」에 의해 나타나는 오브젝트 리버브 정보가 저장되어 있다.
또한, 오디오 오브젝트 정보에는, 리버브 정보로서 문자 「flag_room_reverb」에 의해 나타나는 공간 리버브 정보 플래그가 저장되어 있다.
이 공간 리버브 정보 플래그 flag_room_reverb는, 공간 리버브 정보의 유무를 나타내는 플래그이다. 예를 들어 공간 리버브 정보 플래그 flag_room_reverb의 값이 「1」인 경우, 공간 리버브 정보가 있음을 나타내고 있고, 오디오 오브젝트 정보에는 문자 「room_reverb_data(i)」에 의해 나타나는 공간 리버브 정보가 저장되어 있다.
이에 비해, 공간 리버브 정보 플래그 flag_room_reverb의 값이 「0」인 경우, 공간 리버브 정보가 없음을 나타내고 있고, 이 경우에는 오디오 오브젝트 정보에는 공간 리버브 정보는 저장되어 있지 않다. 또한, 공간 리버브 정보에 대해서도 오브젝트 리버브 정보에 있어서의 경우와 마찬가지로, 재이용 플래그가 저장되어, 적절하게, 공간 리버브 정보의 재이용이 행해지도록 해도 된다.
또한, 입력 비트 스트림의 오디오 오브젝트 정보에 있어서의, 오브젝트 리버브 정보 obj_reverb_data(i) 및 공간 리버브 정보 room_reverb_data(i)의 부분의 포맷(신택스)은, 예를 들어 도 4에 도시하는 바와 같이 된다.
도 4에 도시하는 예에서는, 오브젝트 리버브 정보로서 문자 「reverb_data_id」에 의해 나타나는 리버브 ID와, 문자 「num_out」에 의해 나타나는, 생성될 오브젝트 고유 리버브음 성분의 수와, 문자 「len_ir」에 의해 나타나는 탭 길이가 포함되어 있다.
또한, 이 예에서는 오브젝트 고유 리버브음 성분의 생성에 사용되는 계수 정보로서, 임펄스 응답의 계수가 저장되어 있는 것으로 하고, 탭 길이 len_ir은, 그 임펄스 응답의 탭 길이, 즉 임펄스 응답의 계수의 개수를 나타내고 있는 것으로 본다.
또한, 오브젝트 리버브 정보로서, 생성될 오브젝트 고유 리버브음 성분의 개수 num_out만큼, 그들 오브젝트 고유 리버브음의 오브젝트 리버브 위치 정보가 포함되어 있다.
즉, i번째 오브젝트 고유 리버브음 성분의 오브젝트 리버브 위치 정보로서, 수평 각도 position_azimuth[i], 수직 각도 position_elevation[i] 및 반경 position_radius[i]가 저장되어 있다.
또한, i번째 오브젝트 고유 리버브음 성분의 계수 정보로서, 탭 길이 len_ir의 개수만큼 임펄스 응답의 계수 impulse_response[i][j]가 저장되어 있다.
한편, 공간 리버브 정보로서 문자 「num_out」에 의해 나타나는, 생성될 공간 고유 리버브음 성분의 수와, 문자 「len_ir」에 의해 나타나는 탭 길이가 포함되어 있다. 이 탭 길이 len_ir은, 공간 고유 리버브음 성분의 생성에 사용되는 계수 정보로서의 임펄스 응답의 탭 길이이다.
또한, 공간 리버브 정보로서, 생성될 공간 고유 리버브음 성분의 개수 num_out만큼, 그들 공간 고유 리버브음의 공간 리버브 위치 정보가 포함되어 있다.
즉, i번째 공간 고유 리버브음 성분의 공간 리버브 위치 정보로서, 수평 각도 position_azimuth[i], 수직 각도 position_elevation[i] 및 반경 position_radius[i]가 저장되어 있다.
또한, i번째 공간 고유 리버브음 성분의 계수 정보로서, 탭 길이 len_ir의 개수만큼 임펄스 응답의 계수 impulse_response[i][j]가 저장되어 있다.
또한, 도 3 및 도 4에 도시한 예에서는, 오브젝트 고유 리버브음 성분이나 공간 고유 리버브음 성분의 생성에 사용되는 계수 정보로서, 임펄스 응답을 사용하는 예에 대하여 설명하였다. 즉, 샘플링 리버브를 이용한 리버브 처리가 행해지는 예에 대하여 설명하였다. 그러나, 이것에 한정되지 않고, 그 밖에 파라메트릭 리버브 등이 이용되어 리버브 처리가 행해지도록 해도 된다. 또한, 이들 계수 정보는, 허프만 부호 등의 가역 부호화 기술이 이용되어 압축되도록 해도 된다.
이상과 같이 입력 비트 스트림에서는, 리버브 처리에 필요한 정보가, 직접음에 관한 정보(직접음 게인)와, 오브젝트 리버브 정보 등의 오브젝트 고유 리버브음에 관한 정보와, 공간 리버브 정보 등의 공간 고유 리버브음에 관한 정보로 나누어져 전송된다.
따라서, 그들 직접음에 관한 정보나, 오브젝트 고유 리버브음에 관한 정보, 공간 고유 리버브음에 관한 정보 등의 정보별로, 적절한 전송 빈도로 정보를 혼합 출력할 수 있다. 즉, 오디오 오브젝트 신호의 각 프레임에 있어서, 오디오 오브젝트와 시청 위치의 관계 등에 기초하여, 직접음에 관한 정보 등의 각 정보 중 필요한 것만을 선택적으로 전송할 수 있다. 이에 의해, 입력 비트 스트림의 비트 레이트를 억제하여, 보다 효율적인 정보 전송을 실현할 수 있다. 즉, 부호화 효율을 향상시킬 수 있다.
<출력 오디오 신호에 대하여>
계속해서, 출력 오디오 신호에 기초하여 재생되는 오디오 오브젝트의 직접음, 오브젝트 고유 리버브음 및 공간 고유 리버브음에 대하여 설명한다.
오디오 오브젝트의 위치와, 오브젝트 리버브 성분 위치의 관계는, 예를 들어 도 5에 도시하는 바와 같이 된다.
여기서는, 1개의 오디오 오브젝트의 위치 OBJ11의 주위에, 그 오디오 오브젝트에 대한 4개의 오브젝트 고유 리버브음의 오브젝트 리버브 성분 위치 RVB11 내지 오브젝트 리버브 성분 위치 RVB14가 있다.
여기서는, 도면 중, 상측에는 오브젝트 리버브 성분 위치 RVB11 내지 오브젝트 리버브 성분 위치 RVB14를 나타내는 수평 각도(azimuth)와 수직 각도(elevation)가 도시되어 있다. 이 예에서는, 시청 위치인 원점 O를 중심으로 하여 4개의 오브젝트 고유 리버브음 성분이 배치되어 있음을 알 수 있다.
오브젝트 고유 리버브음의 정위 위치나, 오브젝트 고유 리버브음이 어떠한 음으로 되는지는, 오디오 오브젝트의 3차원 공간 상의 위치에 따라 크게 다르다. 따라서, 오브젝트 리버브 정보는, 오디오 오브젝트의 공간 상의 위치에 의존하는 리버브 정보라고 할 수 있다.
그래서, 입력 비트 스트림에서는, 오브젝트 리버브 정보가 오디오 오브젝트에 관련지어져 있지 않고, 리버브 ID에 의해 관리되고 있다.
코어 디코드 처리부(21)에서는, 입력 비트 스트림으로부터 오브젝트 리버브 정보가 판독되면, 그 판독된 오브젝트 리버브 정보가 일정 기간 유지된다. 즉, 코어 디코드 처리부(21)에서는, 과거의 소정 기간만큼의 오브젝트 리버브 정보가 항상 유지되고 있다.
예를 들어, 소정 시각에 있어서 재이용 플래그 use_prev의 값이 「1」이고, 오브젝트 리버브 정보의 재이용이 지시되어 있다고 하자.
이 경우, 코어 디코드 처리부(21)는, 입력 비트 스트림으로부터 소정의 오디오 오브젝트에 대한 리버브 ID를 취득한다. 즉, 리버브 ID가 판독된다.
그리고 코어 디코드 처리부(21)는, 자신이 유지하고 있는 과거의 오브젝트 리버브 정보 중, 판독한 리버브 ID에 의해 특정되는 오브젝트 리버브 정보를 판독하여, 그 오브젝트 리버브 정보를, 소정 시각의 소정 오디오 오브젝트에 대한 오브젝트 리버브 정보로서 재이용한다.
이와 같이 오브젝트 리버브 정보를 리버브 ID로 관리함으로써, 예를 들어 오디오 오브젝트 OBJ1에 대한 것으로서 전송된 오브젝트 리버브 정보를, 오디오 오브젝트 OBJ2에 대한 것으로서도 재이용할 수 있다. 따라서, 코어 디코드 처리부(21)에 일시적으로 보유해 두는 오브젝트 리버브 정보의 수, 즉 데이터양을 보다 적게 할 수 있다.
그런데, 일반적으로 공간 상에 임펄스가 방출된 경우, 예를 들어 도 6에 도시하는 바와 같이 직접음 외에, 주위 공간에 존재하는 바닥이나 벽 등의 반사에 의해 초기 반사음이 발생하고, 또한 반사가 반복됨으로써 발생하는 후부 잔향 성분이 발생한다.
여기서는, 화살표 Q11로 나타내는 부분이 직접음 성분을 나타내고 있고, 이 직접음 성분이 증폭부(51)에서 얻어지는 직접음의 신호에 대응한다.
또한, 화살표 Q12로 나타내는 부분이 초기 반사음 성분을 나타내고 있고, 이 초기 반사음 성분이 오브젝트 고유 리버브 처리부(53)에서 얻어지는 오브젝트 고유 리버브음의 신호에 대응한다. 또한, 화살표 Q13으로 나타내는 부분이 후부 잔향 성분을 나타내고 있고, 이 후부 잔향 성분이 공간 고유 리버브 처리부(55)에서 얻어지는 공간 고유 리버브음의 신호에 대응한다.
이러한 직접음, 초기 반사음 및 후부 잔향 성분의 관계를 2차원 평면 상에서 설명하면, 예를 들어 도 7 및 도 8에 도시하는 바와 같이 된다. 또한, 도 7 및 도 8에 있어서, 서로 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절하게 생략한다.
예를 들어 도 7에 도시하는 바와 같이, 사각형 프레임에 의해 표시되는 벽에 둘러싸인 실내 공간 상에 2개의 오디오 오브젝트 OBJ21과 오디오 오브젝트 OBJ22가 있다고 하자. 또한, 기준으로 되는 시청 위치에 시청자 U11이 있다고 하자.
여기서, 시청자 U11에서부터 오디오 오브젝트 OBJ21까지의 거리가 ROBJ21이고, 시청자 U11에서부터 오디오 오브젝트 OBJ22까지의 거리가 ROBJ22인 것으로 하자.
이러한 경우, 도 8에 도시하는 바와 같이 도면 중, 일점쇄선의 화살표로 그려진, 오디오 오브젝트 OBJ21에서 발생하고, 시청자 U11로 직접 향해 오는 음이 오디오 오브젝트 OBJ21의 직접음 DOBJ21로 된다. 마찬가지로, 도면 중, 일점쇄선의 화살표로 그려진, 오디오 오브젝트 OBJ22에서 발생하고, 시청자 U11로 직접 향해 오는 음이 오디오 오브젝트 OBJ22의 직접음 DOBJ22로 된다.
또한, 도면 중, 점선의 화살표로 그려진, 오디오 오브젝트 OBJ21에서 발생하고, 실내의 벽 등에서 한번 반사되고 나서 시청자 U11로 향해 오는 음이 오디오 오브젝트 OBJ21의 초기 반사음 EOBJ21로 된다. 마찬가지로, 도면 중, 점선의 화살표로 그려진, 오디오 오브젝트 OBJ22에서 발생하고, 실내의 벽 등에서 한번 반사되고 나서 시청자 U11로 향해 오는 음이 오디오 오브젝트 OBJ22의 초기 반사음 EOBJ22로 된다.
또한, 오디오 오브젝트 OBJ21에서 발생하고, 몇 번이나 반복하여 실내의 벽 등에서 반사되어 시청자 U11에 도달하는 음 SOBJ21과, 오디오 오브젝트 OBJ22에서 발생하고, 몇 번이나 반복하여 실내의 벽 등에서 반사되어 시청자 U11에 도달하는 음 SOBJ22를 포함하는 음의 성분이 후부 잔향 성분으로 된다. 여기서는, 후부 잔향 성분은 실선의 화살표에 의해 그려져 있다.
여기서, 거리 ROBJ22는 거리 ROBJ21보다 짧고, 오디오 오브젝트 OBJ22는 오디오 오브젝트 OBJ21보다 시청자 U11에 가까운 위치에 있다.
그 때문에, 오디오 오브젝트 OBJ22에 대해서는, 시청자 U11에게 들리는 음으로서 초기 반사음 EOBJ22보다 직접음 DOBJ22가 지배적이다. 따라서, 오디오 오브젝트 OBJ22의 리버브에 대해서는, 직접음 게인이 큰 값으로 되고, 오브젝트 리버브음 게인과 공간 리버브 게인은 작은 값으로 되어, 그들 게인이 입력 비트 스트림에 저장된다.
이에 비해, 오디오 오브젝트 OBJ21은 오디오 오브젝트 OBJ22보다 시청자 U11로부터 먼 위치에 있다.
그 때문에, 오디오 오브젝트 OBJ21에 대해서는, 시청자 U11에게 들리는 음으로서 직접음 DOBJ21보다 초기 반사음 EOBJ21이나 후부 잔향 성분의 음 SOBJ21이 지배적이다. 따라서, 오디오 오브젝트 OBJ21의 리버브에 대해서는, 직접음 게인이 작은 값으로 되고, 오브젝트 리버브음 게인과 공간 리버브 게인은 큰 값으로 되어, 그들 게인이 입력 비트 스트림에 저장된다.
또한, 오디오 오브젝트 OBJ21이나 오디오 오브젝트 OBJ22가 이동하는 경우, 그들 오디오 오브젝트의 위치와 주위의 공간인 방의 벽이나 바닥의 위치 관계에 따라 초기 반사음 성분이 크게 변화한다.
그 때문에, 오디오 오브젝트 OBJ21이나 오디오 오브젝트 OBJ22의 오브젝트 리버브 정보에 대해서는, 오브젝트 위치 정보와 동일한 빈도로 전송할 필요가 있다. 이러한 오브젝트 리버브 정보는, 오디오 오브젝트의 위치에 크게 의존하는 정보이다.
한편, 후부 잔향 성분은 벽이나 바닥 등의 공간의 재질 등에 크게 의존하기 때문에, 공간 리버브 정보는 필요 최저한의 저빈도로 전송하고, 오디오 오브젝트의 위치에 따라 그 대소 관계만을 제어함으로써 충분히 주관적인 품질을 확보할 수 있다.
따라서, 예를 들어 공간 리버브 정보는, 오브젝트 리버브 정보보다 낮은 빈도로 신호 처리 장치(11)에 전송된다. 바꾸어 말하면, 코어 디코드 처리부(21)는, 오브젝트 리버브 정보의 취득 빈도보다, 보다 낮은 빈도로 공간 리버브 정보를 취득한다.
본 기술에서는, 리버브 처리에 필요한 정보를 직접음, 오브젝트 고유 리버브음 및 공간 고유 리버브음과 같은 음 성분별로 분할함으로써, 리버브 처리에 필요한 정보(데이터)의 데이터양을 삭감할 수 있다.
일반적으로, 샘플링 리버브에서는 1초 정도의 긴 임펄스 응답의 데이터가 필요하게 되지만, 본 기술과 같이 필요한 정보를 음 성분별로 분할함으로써, 임펄스 응답을 고정 딜레이와 짧은 임펄스 응답 데이터의 조합으로서 실현할 수 있고, 데이터양을 삭감할 수 있다. 이것은, 샘플링 리버브뿐만 아니라, 파라메트릭 리버브에서도 마찬가지로 바이쿼드 필터의 단 수를 삭감하는 것이 가능하다.
게다가 본 기술에서는, 리버브 처리에 필요한 정보를 음 성분별로 분할하여 전송함으로써, 필요한 정보를 필요한 빈도로 전송할 수 있어, 부호화 효율을 향상시킬 수 있다.
이상과 같이, 본 기술에 따르면, VBAP 등의 패닝 베이스의 렌더링 방법에 대하여 거리감을 제어하기 위한 리버브 정보를 전송하는 경우에, 오디오 오브젝트가 다수 존재하는 경우라도, 높은 전송 효율을 실현하는 것이 가능하게 된다.
<오디오 출력 처리의 설명>
다음에, 신호 처리 장치(11)의 구체적인 동작에 대하여 설명한다. 즉, 이하, 도 9의 흐름도를 참조하여, 신호 처리 장치(11)에 의한 오디오 출력 처리에 대하여 설명한다.
스텝 S11에 있어서, 코어 디코드 처리부(21)는, 수신한 입력 비트 스트림을 복호(데이터)한다.
코어 디코드 처리부(21)는, 복호에 의해 얻어진 오디오 오브젝트 신호를 증폭부(51), 증폭부(52) 및 증폭부(54)에 공급함과 함께, 복호에 의해 얻어진 직접음 게인, 오브젝트 리버브음 게인 및 공간 리버브 게인을, 각각 증폭부(51), 증폭부(52) 및 증폭부(54)에 공급한다.
또한, 코어 디코드 처리부(21)는, 복호에 의해 얻어진 오브젝트 리버브 정보 및 공간 리버브 정보를 오브젝트 고유 리버브 처리부(53) 및 공간 고유 리버브 처리부(55)에 공급한다. 또한 코어 디코드 처리부(21)는, 복호에 의해 얻어진 오브젝트 위치 정보를, 오브젝트 고유 리버브 처리부(53), 공간 고유 리버브 처리부(55) 및 렌더링부(56)에 공급한다.
또한, 이때 코어 디코드 처리부(21)는, 입력 비트 스트림으로부터 판독된 오브젝트 리버브 정보를 일시적으로 보유한다.
또한, 보다 상세하게는 코어 디코드 처리부(21)는, 재이용 플래그 use_prev의 값이 「1」일 때에는, 자신이 보유하고 있는 오브젝트 리버브 정보 중, 입력 비트 스트림으로부터 판독된 리버브 ID에 의해 특정되는 것을, 오디오 오브젝트의 오브젝트 리버브 정보로서 오브젝트 고유 리버브 처리부(53)에 공급한다.
스텝 S12에 있어서 증폭부(51)는, 코어 디코드 처리부(21)로부터 공급된 오디오 오브젝트 신호에 대하여, 코어 디코드 처리부(21)로부터 공급된 직접음 게인을 승산하여 게인 조정을 행함으로써 직접음의 신호를 생성하고, 렌더링부(56)에 공급한다.
스텝 S13에 있어서, 오브젝트 고유 리버브 처리부(53)는, 오브젝트 고유 리버브음의 신호를 생성한다.
즉, 증폭부(52)는, 코어 디코드 처리부(21)로부터 공급된 오디오 오브젝트 신호에 대하여, 코어 디코드 처리부(21)로부터 공급된 오브젝트 리버브음 게인을 승산하여 게인 조정을 행하고, 오브젝트 고유 리버브 처리부(53)에 공급한다.
또한, 오브젝트 고유 리버브 처리부(53)는, 코어 디코드 처리부(21)로부터 공급된 오브젝트 리버브 정보에 포함되는 임펄스 응답의 계수에 기초하여, 증폭부(52)로부터 공급된 오디오 오브젝트 신호에 대하여 리버브 처리를 행한다. 즉, 임펄스 응답의 계수와 오디오 오브젝트 신호의 콘벌루션 처리가 행해져, 오브젝트 고유 리버브음의 신호가 생성된다.
또한 오브젝트 고유 리버브 처리부(53)는, 코어 디코드 처리부(21)로부터 공급된 오브젝트 위치 정보와, 오브젝트 리버브 정보에 포함되는 오브젝트 리버브 위치 정보에 기초하여, 오브젝트 고유 리버브음의 위치 정보를 생성하고, 얻어진 위치 정보와 오브젝트 고유 리버브음의 신호를 렌더링부(56)에 공급한다.
스텝 S14에 있어서, 공간 고유 리버브 처리부(55)는, 공간 고유 리버브음의 신호를 생성한다.
즉, 증폭부(54)는, 코어 디코드 처리부(21)로부터 공급된 오디오 오브젝트 신호에 대하여, 코어 디코드 처리부(21)로부터 공급된 공간 리버브 게인을 승산하여 게인 조정을 행하고, 공간 고유 리버브 처리부(55)에 공급한다.
또한, 공간 고유 리버브 처리부(55)는 코어 디코드 처리부(21)로부터 공급된 공간 리버브 정보에 포함되는 임펄스 응답의 계수에 기초하여, 증폭부(54)로부터 공급된 오디오 오브젝트 신호에 대하여 리버브 처리를 행한다. 즉, 임펄스 응답의 계수와 오디오 오브젝트 신호의 콘벌루션 처리가 행해져, 콘벌루션 처리에 의해 오디오 오브젝트별로 얻어진 신호가 가산되어, 공간 고유 리버브음의 신호가 생성된다.
또한 공간 고유 리버브 처리부(55)는, 코어 디코드 처리부(21)로부터 공급된 오브젝트 위치 정보와, 공간 리버브 정보에 포함되는 공간 리버브 위치 정보에 기초하여, 공간 고유 리버브음의 위치 정보를 생성하고, 얻어진 위치 정보와 공간 고유 리버브음의 신호를 렌더링부(56)에 공급한다.
스텝 S15에 있어서, 렌더링부(56)는 렌더링 처리를 행하고, 얻어진 출력 오디오 신호를 출력한다.
즉, 렌더링부(56)는, 코어 디코드 처리부(21)로부터 공급된 오브젝트 위치 정보와 증폭부(51)로부터 공급된 직접음의 신호에 기초하여 렌더링 처리를 행한다. 또한, 렌더링부(56)는, 오브젝트 고유 리버브 처리부(53)로부터 공급된 오브젝트 고유 리버브음의 신호와 위치 정보에 기초하여 렌더링 처리를 행함과 함께, 공간 고유 리버브 처리부(55)로부터 공급된 공간 고유 리버브음의 신호와 위치 정보에 기초하여 렌더링 처리를 행한다.
그리고, 렌더링부(56)는, 각 음 성분의 렌더링 처리에 의해 얻어진 신호를 채널마다 가산하여, 최종적인 출력 오디오 신호를 생성한다. 렌더링부(56)는, 이와 같이 하여 얻어진 출력 오디오 신호를 후단에 출력하고, 오디오 출력 처리는 종료된다.
이상과 같이 하여 신호 처리 장치(11)는, 직접음, 오브젝트 고유 리버브음 및 공간 고유 리버브음의 성분별로 분할된 정보가 포함되는 오디오 오브젝트 정보에 기초하여 리버브 처리나 렌더링 처리를 행하여, 출력 오디오 신호를 생성한다. 이와 같이 함으로써, 입력 비트 스트림의 부호화 효율을 향상시킬 수 있다.
<부호화 장치의 구성예>
이어서, 이상에 있어서 설명한 입력 비트 스트림을 출력 비트 스트림으로서 생성하고, 출력하는 부호화 장치에 대하여 설명한다.
그러한 부호화 장치는, 예를 들어 도 10에 도시하는 바와 같이 구성된다.
도 10에 도시하는 부호화 장치(101)는, 오브젝트 신호 부호화부(111), 오디오 오브젝트 정보 부호화부(112) 및 패킹부(113)를 갖고 있다.
오브젝트 신호 부호화부(111)는, 공급된 오디오 오브젝트 신호를 소정의 부호화 방식에 의해 부호화하고, 부호화된 오디오 오브젝트 신호를 패킹부(113)에 공급한다.
오디오 오브젝트 정보 부호화부(112)는, 공급된 오디오 오브젝트 정보를 부호화하고, 패킹부(113)에 공급한다.
패킹부(113)는, 오브젝트 신호 부호화부(111)로부터 공급된, 부호화된 오디오 오브젝트 신호와, 오디오 오브젝트 정보 부호화부(112)로부터 공급된, 부호화된 오디오 오브젝트 정보를 비트 스트림에 저장하여, 출력 비트 스트림으로 한다. 패킹부(113)는, 얻어진 출력 비트 스트림을 신호 처리 장치(11)에 송신한다.
<부호화 처리의 설명>
계속해서, 부호화 장치(101)의 동작에 대하여 설명한다. 즉, 이하, 도 11의 흐름도를 참조하여, 부호화 장치(101)에 의한 부호화 처리에 대하여 설명한다. 예를 들어 이 부호화 처리는, 오디오 오브젝트 신호의 프레임별로 행해진다.
스텝 S41에 있어서, 오브젝트 신호 부호화부(111)는, 공급된 오디오 오브젝트 신호를 소정의 부호화 방식에 의해 부호화하고, 패킹부(113)에 공급한다.
스텝 S42에 있어서, 오디오 오브젝트 정보 부호화부(112)는, 공급된 오디오 오브젝트 정보를 부호화하고, 패킹부(113)에 공급한다.
여기서는, 예를 들어 공간 리버브 정보가 오브젝트 리버브 정보보다 낮은 빈도로 신호 처리 장치(11)에 전송되도록, 오브젝트 리버브 정보나 공간 리버브 정보가 포함되는 오디오 오브젝트 정보의 공급 및 부호화가 행해진다.
스텝 S43에 있어서, 패킹부(113)는, 오브젝트 신호 부호화부(111)로부터 공급된, 부호화된 오디오 오브젝트 신호를 비트 스트림에 저장한다.
스텝 S44에 있어서, 패킹부(113)는, 오디오 오브젝트 정보 부호화부(112)로부터 공급된, 부호화된 오디오 오브젝트 정보에 포함되어 있는 오브젝트 위치 정보를 비트 스트림에 저장한다.
스텝 S45에 있어서, 패킹부(113)는, 오디오 오브젝트 정보 부호화부(112)로부터 공급된, 부호화된 오디오 오브젝트 정보에 리버브 정보가 있는지 여부를 판정한다.
여기서는, 리버브 정보로서, 오브젝트 리버브 정보도 공간 리버브 정보도 포함되어 있지 않은 경우, 리버브 정보가 없다고 판정된다.
스텝 S45에 있어서 리버브 정보가 없다고 판정된 경우, 그 후, 처리는 스텝 S46으로 진행한다.
스텝 S46에 있어서, 패킹부(113)는, 리버브 정보 플래그 flag_obj_reverb의 값을 「0」으로 하고, 그 리버브 정보 플래그 flag_obj_reverb를 비트 스트림에 저장한다. 이에 의해, 리버브 정보가 포함되어 있지 않은 출력 비트 스트림이 얻어지게 된다. 출력 비트 스트림이 얻어지면, 그 후, 처리는 스텝 S54로 진행한다.
이에 비해, 스텝 S45에 있어서 리버브 정보가 있다고 판정된 경우, 그 후, 처리는 스텝 S47로 진행한다.
스텝 S47에 있어서, 패킹부(113)는, 리버브 정보 플래그 flag_obj_reverb의 값을 「1」로 하고, 그 리버브 정보 플래그 flag_obj_reverb와, 오디오 오브젝트 정보 부호화부(112)로부터 공급된, 부호화된 오디오 오브젝트 정보에 포함되어 있는 게인 정보를 비트 스트림에 저장한다. 여기서는 게인 정보로서, 상술한 직접음 게인 dry_gain[i], 오브젝트 리버브음 게인 wet_gain[i] 및 공간 리버브 게인 room_gain[i]가 비트 스트림에 저장된다.
스텝 S48에 있어서, 패킹부(113)는 오브젝트 리버브 정보의 재이용을 행할지 여부를 판정한다.
예를 들어 오디오 오브젝트 정보 부호화부(112)로부터 공급된, 부호화된 오디오 오브젝트 정보에 오브젝트 리버브 정보가 포함되어 있지 않고, 리버브 ID가 포함되어 있는 경우, 재이용을 행하는 것으로 판정된다.
스텝 S48에 있어서 재이용을 행하는 것으로 판정된 경우, 그 후, 처리는 스텝 S49로 진행한다.
스텝 S49에 있어서, 패킹부(113)는, 재이용 플래그 use_prev의 값을 「1」로 하고, 그 재이용 플래그 use_prev와, 오디오 오브젝트 정보 부호화부(112)로부터 공급된, 부호화된 오디오 오브젝트 정보에 포함되어 있는 리버브 ID를 비트 스트림에 저장한다. 리버브 ID가 저장되면, 그 후, 처리는 스텝 S51로 진행한다.
한편, 스텝 S48에 있어서 재이용을 행하지 않는 것으로 판정된 경우, 그 후, 처리는 스텝 S50으로 진행한다.
스텝 S50에 있어서, 패킹부(113)는, 재이용 플래그 use_prev의 값을 「0」으로 하고, 그 재이용 플래그 use_prev와, 오디오 오브젝트 정보 부호화부(112)로부터 공급된, 부호화된 오디오 오브젝트 정보에 포함되어 있는 오브젝트 리버브 정보를 비트 스트림에 저장한다. 오브젝트 리버브 정보가 저장되면, 그 후, 처리는 스텝 S51로 진행한다.
스텝 S49 또는 스텝 S50의 처리가 행해지면, 그 후, 스텝 S51의 처리가 행해진다.
즉, 스텝 S51에 있어서, 패킹부(113)는, 오디오 오브젝트 정보 부호화부(112)로부터 공급된, 부호화된 오디오 오브젝트 정보에 공간 리버브 정보가 있는지 여부를 판정한다.
스텝 S51에 있어서 공간 리버브 정보가 있다고 판정된 경우, 그 후, 처리는 스텝 S52로 진행한다.
스텝 S52에 있어서, 패킹부(113)는, 공간 리버브 정보 플래그 flag_room_reverb의 값을 「1」로 하고, 그 공간 리버브 정보 플래그 flag_room_reverb와, 오디오 오브젝트 정보 부호화부(112)로부터 공급된, 부호화된 오디오 오브젝트 정보에 포함되어 있는 공간 리버브 정보를 비트 스트림에 저장한다.
이에 의해, 공간 리버브 정보가 포함되어 있는 출력 비트 스트림이 얻어지게 된다. 출력 비트 스트림이 얻어지면, 그 후, 처리는 스텝 S54로 진행한다.
한편, 스텝 S51에 있어서 공간 리버브 정보가 없다고 판정된 경우, 그 후, 처리는 스텝 S53으로 진행한다.
스텝 S53에 있어서, 패킹부(113)는, 공간 리버브 정보 플래그 flag_room_reverb의 값을 「0」으로 하고, 그 공간 리버브 정보 플래그 flag_room_reverb를 비트 스트림에 저장한다. 이에 의해, 공간 리버브 정보가 포함되어 있지 않은 출력 비트 스트림이 얻어지게 된다. 출력 비트 스트림이 얻어지면, 그 후, 처리는 스텝 S54로 진행한다.
스텝 S46, 스텝 S52 또는 스텝 S53의 처리가 행해져 출력 비트 스트림이 얻어지면, 그 후, 스텝 S54의 처리가 행해진다. 여기서, 이들 처리에 의해 얻어진 출력 비트 스트림은, 예를 들어 도 3 및 도 4에 도시한 포맷의 비트 스트림이다.
스텝 S54에 있어서, 패킹부(113)는, 얻어진 출력 비트 스트림을 출력하고, 부호화 처리는 종료된다.
이상과 같이 하여, 부호화 장치(101)는, 직접음, 오브젝트 고유 리버브음 및 공간 고유 리버브음의 성분별로 분할된 정보가 적절하게 포함되는 오디오 오브젝트 정보를 비트 스트림에 저장하여 출력한다. 이와 같이 함으로써, 출력 비트 스트림의 부호화 효율을 향상시킬 수 있다.
또한, 이상에 있어서는, 직접음 게인이나 오브젝트 리버브음 게인, 공간 리버브 게인 등의 게인 정보가 오디오 오브젝트 정보로서 제공되는 예에 대하여 설명하였지만, 이들 게인 정보가 복호측에서 생성되도록 해도 된다.
그러한 경우, 예를 들어 신호 처리 장치(11)는, 오디오 오브젝트 정보에 포함되는 오브젝트 위치 정보나 오브젝트 리버브 위치 정보, 공간 리버브 위치 정보 등에 기초하여, 직접음 게인이나 오브젝트 리버브음 게인, 공간 리버브 게인을 생성한다.
<컴퓨터의 구성예>
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 12는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 추가로 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는 입력부(506), 출력부(507), 기록부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.
입력부(506)는 키보드, 마우스, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(507)는 디스플레이, 스피커 등을 포함한다. 기록부(508)는 하드 디스크나 불휘발성 메모리 등을 포함한다. 통신부(509)는 네트워크 인터페이스 등을 포함한다. 드라이브(510)는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(511)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통하여, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 기록 매체(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통하여, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(509)에서 수신하고, 기록부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(502)이나 기록부(508)에, 미리 인스톨해 둘 수 있다.
여기서, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 기술은, 이하의 구성으로 하는 것도 가능하다.
(1)
오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 상기 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 상기 오디오 오브젝트의 오디오 오브젝트 신호를 취득하는 취득부와,
상기 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여, 상기 오디오 오브젝트의 리버브 성분의 신호를 생성하는 리버브 처리부
를 구비하는 신호 처리 장치.
(2)
상기 공간 리버브 정보는, 상기 오브젝트 리버브 정보보다 낮은 빈도로 취득되는
(1)에 기재된 신호 처리 장치.
(3)
상기 리버브 처리부는, 과거의 상기 리버브 정보를 나타내는 식별 정보가 상기 취득부에 의해 취득된 경우, 상기 식별 정보에 의해 나타나는 상기 리버브 정보와, 상기 오디오 오브젝트 신호에 기초하여 상기 리버브 성분의 신호를 생성하는
(1) 또는 (2)에 기재된 신호 처리 장치.
(4)
상기 식별 정보는, 상기 오브젝트 리버브 정보를 나타내는 정보이고,
상기 리버브 처리부는, 상기 식별 정보에 의해 나타나는 상기 오브젝트 리버브 정보, 상기 공간 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여 상기 리버브 성분의 신호를 생성하는
(3)에 기재된 신호 처리 장치.
(5)
상기 오브젝트 리버브 정보는, 상기 오디오 오브젝트의 위치에 의존하는 정보인
(1) 내지 (4) 중 어느 한 항에 기재된 신호 처리 장치.
(6)
상기 리버브 처리부는,
상기 공간 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여 상기 공간에 고유한 상기 리버브 성분의 신호를 생성하고,
상기 오브젝트 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여 상기 오디오 오브젝트에 고유한 상기 리버브 성분의 신호를 생성하는
(1) 내지 (5) 중 어느 한 항에 기재된 신호 처리 장치.
(7)
신호 처리 장치가,
오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 상기 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 상기 오디오 오브젝트의 오디오 오브젝트 신호를 취득하고,
상기 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여, 상기 오디오 오브젝트의 리버브 성분의 신호를 생성하는
신호 처리 방법.
(8)
오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 상기 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 상기 오디오 오브젝트의 오디오 오브젝트 신호를 취득하고,
상기 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여, 상기 오디오 오브젝트의 리버브 성분의 신호를 생성하는
스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
11: 신호 처리 장치
21: 코어 디코드 처리부
22: 렌더링 처리부
51-1, 51-2, 51: 증폭부
52-1, 52-2, 52: 증폭부
53-1, 53-2, 53: 오브젝트 고유 리버브 처리부
54-1, 54-2, 54: 증폭부
55: 공간 고유 리버브 처리부
56: 렌더링부
101: 부호화 장치
111: 오브젝트 신호 부호화부
112: 오디오 오브젝트 정보 부호화부
113: 패킹부

Claims (8)

  1. 오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 상기 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 상기 오디오 오브젝트의 오디오 오브젝트 신호를 취득하는 취득부와,
    상기 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여, 상기 오디오 오브젝트의 리버브 성분의 신호를 생성하는 리버브 처리부와,
    VBAP(Vector Based Amplitude Panning)에 의한 렌더링 처리를 행하여, 출력 오디오 신호를 생성하는 랜더링 처리부
    를 구비하는, 신호 처리 장치.
  2. 제1항에 있어서,
    상기 공간 리버브 정보는, 상기 오브젝트 리버브 정보보다 낮은 빈도로 취득되는,
    신호 처리 장치.
  3. 제1항에 있어서,
    상기 리버브 처리부는, 과거의 상기 리버브 정보를 나타내는 식별 정보가 상기 취득부에 의해 취득된 경우, 상기 식별 정보에 의해 나타나는 상기 리버브 정보와, 상기 오디오 오브젝트 신호에 기초하여 상기 리버브 성분의 신호를 생성하는,
    신호 처리 장치.
  4. 제3항에 있어서,
    상기 식별 정보는, 상기 오브젝트 리버브 정보를 나타내는 정보이고,
    상기 리버브 처리부는, 상기 식별 정보에 의해 나타나는 상기 오브젝트 리버브 정보, 상기 공간 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여 상기 리버브 성분의 신호를 생성하는,
    신호 처리 장치.
  5. 제1항에 있어서,
    상기 오브젝트 리버브 정보는, 상기 오디오 오브젝트의 위치에 의존하는 정보인,
    신호 처리 장치.
  6. 제1항에 있어서,
    상기 리버브 처리부는,
    상기 공간 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여 상기 공간에 고유한 상기 리버브 성분의 신호를 생성하고,
    상기 오브젝트 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여 상기 오디오 오브젝트에 고유한 상기 리버브 성분의 신호를 생성하는,
    신호 처리 장치.
  7. 신호 처리 장치가,
    오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 상기 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 상기 오디오 오브젝트의 오디오 오브젝트 신호를 취득하고,
    상기 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여, 상기 오디오 오브젝트의 리버브 성분의 신호를 생성하고,
    VBAP에 의한 렌더링 처리를 행하여, 출력 오디오 신호를 생성하는
    스텝을 포함하는
    신호 처리 방법.
  8. 오디오 오브젝트의 주위 공간에 고유한 공간 리버브 정보와, 상기 오디오 오브젝트에 고유한 오브젝트 리버브 정보 중 적어도 어느 한쪽을 포함하는 리버브 정보, 및 상기 오디오 오브젝트의 오디오 오브젝트 신호를 취득하고,
    상기 리버브 정보 및 상기 오디오 오브젝트 신호에 기초하여, 상기 오디오 오브젝트의 리버브 성분의 신호를 생성하고,
    VBAP에 의한 렌더링 처리를 행하여, 출력 오디오 신호를 생성하는
    스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램이 기록된,
    컴퓨터로 판독 가능한 기록 매체.
KR1020237039834A 2017-10-20 2018-10-05 신호 처리 장치 및 방법, 그리고 프로그램 KR20230162143A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017203877 2017-10-20
JPJP-P-2017-203877 2017-10-20
KR1020207009926A KR102615550B1 (ko) 2017-10-20 2018-10-05 신호 처리 장치 및 방법, 그리고 프로그램
PCT/JP2018/037330 WO2019078035A1 (ja) 2017-10-20 2018-10-05 信号処理装置および方法、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207009926A Division KR102615550B1 (ko) 2017-10-20 2018-10-05 신호 처리 장치 및 방법, 그리고 프로그램

Publications (1)

Publication Number Publication Date
KR20230162143A true KR20230162143A (ko) 2023-11-28

Family

ID=66174521

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237039834A KR20230162143A (ko) 2017-10-20 2018-10-05 신호 처리 장치 및 방법, 그리고 프로그램
KR1020207009926A KR102615550B1 (ko) 2017-10-20 2018-10-05 신호 처리 장치 및 방법, 그리고 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207009926A KR102615550B1 (ko) 2017-10-20 2018-10-05 신호 처리 장치 및 방법, 그리고 프로그램

Country Status (7)

Country Link
US (3) US11109179B2 (ko)
EP (1) EP3699905A4 (ko)
JP (2) JP7272269B2 (ko)
KR (2) KR20230162143A (ko)
CN (3) CN117479077A (ko)
RU (1) RU2020112483A (ko)
WO (1) WO2019078035A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117479077A (zh) 2017-10-20 2024-01-30 索尼公司 信号处理装置、方法和存储介质
EP3699906A4 (en) 2017-10-20 2020-12-23 Sony Corporation SIGNAL PROCESSING DEVICE AND METHOD, AND PROGRAM
WO2021091769A1 (en) * 2019-11-04 2021-05-14 Qualcomm Incorporated Signalling of audio effect metadata in a bitstream
US20230011357A1 (en) * 2019-12-13 2023-01-12 Sony Group Corporation Signal processing device, signal processing method, and program
WO2021140959A1 (ja) * 2020-01-10 2021-07-15 ソニーグループ株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
JP2022017880A (ja) * 2020-07-14 2022-01-26 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
GB202105632D0 (en) * 2021-04-20 2021-06-02 Nokia Technologies Oy Rendering reverberation
EP4175325A1 (en) * 2021-10-29 2023-05-03 Harman Becker Automotive Systems GmbH Method for audio processing

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2554615A1 (fr) 1983-11-07 1985-05-10 Telediffusion Fse Sommateur de signaux analogiques applicable dans des filtres transversaux analogiques
JPH04149599A (ja) 1990-10-12 1992-05-22 Pioneer Electron Corp 残響音生成装置
JP4813365B2 (ja) * 2003-12-02 2011-11-09 トムソン ライセンシング オーディオ信号のインパルス応答を符号化及び復号化する方法
US7492915B2 (en) 2004-02-13 2009-02-17 Texas Instruments Incorporated Dynamic sound source and listener position based audio rendering
TWI245258B (en) 2004-08-26 2005-12-11 Via Tech Inc Method and related apparatus for generating audio reverberation effect
US8041045B2 (en) 2004-10-26 2011-10-18 Richard S. Burwen Unnatural reverberation
SG135058A1 (en) 2006-02-14 2007-09-28 St Microelectronics Asia Digital audio signal processing method and system for generating and controlling digital reverberations for audio signals
US8234379B2 (en) 2006-09-14 2012-07-31 Afilias Limited System and method for facilitating distribution of limited resources
US8036767B2 (en) * 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
JP2008311718A (ja) 2007-06-12 2008-12-25 Victor Co Of Japan Ltd 音像定位制御装置及び音像定位制御プログラム
US20110016022A1 (en) 2009-07-16 2011-01-20 Verisign, Inc. Method and system for sale of domain names
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
JP5141738B2 (ja) 2010-09-17 2013-02-13 株式会社デンソー 立体音場生成装置
EP2541542A1 (en) * 2011-06-27 2013-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal
EP2840811A1 (en) 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
EP3806498B1 (en) 2013-09-17 2023-08-30 Wilus Institute of Standards and Technology Inc. Method and apparatus for processing audio signal
CN109996166B (zh) * 2014-01-16 2021-03-23 索尼公司 声音处理装置和方法、以及程序
US9510125B2 (en) 2014-06-20 2016-11-29 Microsoft Technology Licensing, Llc Parametric wave field coding for real-time sound propagation for dynamic sources
JP6511775B2 (ja) 2014-11-04 2019-05-15 ヤマハ株式会社 残響音付加装置
JP2017055149A (ja) * 2015-09-07 2017-03-16 ソニー株式会社 音声処理装置および方法、符号化装置、並びにプログラム
US10320744B2 (en) 2016-02-18 2019-06-11 Verisign, Inc. Systems, devices, and methods for dynamic allocation of domain name acquisition resources
US10659426B2 (en) 2017-05-26 2020-05-19 Verisign, Inc. System and method for domain name system using a pool management service
EP3699906A4 (en) 2017-10-20 2020-12-23 Sony Corporation SIGNAL PROCESSING DEVICE AND METHOD, AND PROGRAM
CN117479077A (zh) 2017-10-20 2024-01-30 索尼公司 信号处理装置、方法和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3: 3D audio

Also Published As

Publication number Publication date
CN111164673A (zh) 2020-05-15
WO2019078035A1 (ja) 2019-04-25
KR20200075826A (ko) 2020-06-26
EP3699905A1 (en) 2020-08-26
US20230126927A1 (en) 2023-04-27
CN117479077A (zh) 2024-01-30
JP7272269B2 (ja) 2023-05-12
CN117475983A (zh) 2024-01-30
US20210195363A1 (en) 2021-06-24
KR102615550B1 (ko) 2023-12-20
JPWO2019078035A1 (ja) 2020-11-12
US20210377691A1 (en) 2021-12-02
US11109179B2 (en) 2021-08-31
EP3699905A4 (en) 2020-12-30
US11805383B2 (en) 2023-10-31
CN111164673B (zh) 2023-11-21
RU2020112483A3 (ko) 2022-04-21
JP2023083502A (ja) 2023-06-15
RU2020112483A (ru) 2021-09-27

Similar Documents

Publication Publication Date Title
KR102615550B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
US10952009B2 (en) Audio parallax for virtual reality, augmented reality, and mixed reality
US9197979B2 (en) Object-based audio system using vector base amplitude panning
RU2683380C2 (ru) Устройство и способ для повторного отображения относящихся к экрану звуковых объектов
RU2617553C2 (ru) Система и способ для генерирования, кодирования и представления данных адаптивного звукового сигнала
US20180227691A1 (en) Processing Object-Based Audio Signals
US11743646B2 (en) Signal processing apparatus and method, and program to reduce calculation amount based on mute information
JP2023164970A (ja) 情報処理装置および方法、並びにプログラム
JP2024012333A (ja) オーディオ・レンダリングのための事前レンダリングされた信号のための方法、装置およびシステム
US11122386B2 (en) Audio rendering for low frequency effects
RU2763391C2 (ru) Устройство, способ и постоянный считываемый компьютером носитель для обработки сигналов
CN114128312A (zh) 用于低频效果的音频渲染

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination