KR102077375B1 - Hoa 콘텐츠의 스크린 관련된 적응 - Google Patents

Hoa 콘텐츠의 스크린 관련된 적응 Download PDF

Info

Publication number
KR102077375B1
KR102077375B1 KR1020177009268A KR20177009268A KR102077375B1 KR 102077375 B1 KR102077375 B1 KR 102077375B1 KR 1020177009268 A KR1020177009268 A KR 1020177009268A KR 20177009268 A KR20177009268 A KR 20177009268A KR 102077375 B1 KR102077375 B1 KR 102077375B1
Authority
KR
South Korea
Prior art keywords
hoa
audio signal
viewing window
audio
reference screen
Prior art date
Application number
KR1020177009268A
Other languages
English (en)
Other versions
KR20170066400A (ko
Inventor
닐스 귄터 페터스
마틴 제임스 모렐
디판잔 센
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170066400A publication Critical patent/KR20170066400A/ko
Application granted granted Critical
Publication of KR102077375B1 publication Critical patent/KR102077375B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

본 개시물은 1보다 큰 차수를 가지는 구면 고조파 기저 함수에 대응하는 적어도 하나의 고차 앰비소닉 (HOA) 계수를 포함하는 고차 앰비소닉 오디오 데이터의 코딩을 위한 기법들을 기술한다. 본 개시물은 혼합된 오디오/비디오 재생 시나리오에서 시각적 구성요소에 대한 음향 엘리먼트들의 공간 정렬을 잠재적으로 향상시키기 위해 HOA 음장들을 조정하는 기법들을 기술한다. 일 예에서, HOA 오디오 신호를 렌더링하는 디바이스는 참조 스크린의 하나 이상의 시야 (FOV) 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 하나 이상의 스피커들을 통해 HOA 오디오 신호를 렌더링하도록 구성된 하나 이상의 프로세서들을 포함한다.

Description

HOA 콘텐츠의 스크린 관련된 적응{SCREEN RELATED ADAPTATION OF HOA CONTENT}
본 출원은 2014년 10월 10일에 출원된 미국 가특허출원 제 62/062,761호의 이익을 주장하며, 이의 전체 내용이 본원에 참고로 포함된다.
기술 분야
본 개시물은 오디오 데이터, 좀더 구체적으로는, 고차 앰비소닉 오디오 데이터의 코딩에 관한 것이다.
고차 앰비소닉 (HOA; higher-order ambisonics) 신호 (종종 복수의 구면 고조파 계수들 (SHC) 또는 다른 계층적 엘리먼트들에 의해 표현됨) 는 음장의 3차원 표현이다. HOA 또는 SHC 표현은 음장을, SHC 신호로부터 렌더링되는 멀티-채널 오디오 신호를 플레이백하는데 사용되는 로컬 스피커 지오메트리 (local speaker geometry) 와 독립적인 방법으로 표현할 수도 있다. SHC 신호는 또한 SHC 신호가 5.1 오디오 채널 포맷 또는 7.1 오디오 채널 포맷과 같은, 널리 공지된 그리고 많이 채택된 멀티-채널 포맷들로 렌더링될 수도 있기 때문에, 이전 버전들과의 호환성 (backwards compatibility) 을 용이하게 할 수도 있다. 따라서, SHC 표현은 이전 버전과의 호환성을 또한 수용하는 더 나은 음장의 표현을 가능하게 할 수도 있다.
일반적으로, 고차 앰비소닉 오디오 데이터의 코딩을 위한 기법들이 설명된다. 고차 앰비소닉 오디오 데이터는 1보다 큰 차수를 가지는 구면 고조파 기저 함수에 대응하는 적어도 하나의 고차 앰비소닉 (HOA) 계수를 포함할 수도 있다. 본 개시물은 혼합된 오디오/비디오 재생 시나리오에서 시각적 구성요소에 대한 음향 엘리먼트들의 공간 정렬을 잠재적으로 향상시키기 위해 HOA 음장들을 조정하는 기법들을 기술한다.
일 예에서, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스는, 참조 스크린의 하나 이상의 시야 (FOV) 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여, 하나 이상의 스피커들을 통해 HOA 오디오 신호를 렌더링하도록 구성된 하나 이상의 프로세서들을 포함한다.
다른 예에서, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법은, 참조 스크린의 하나 이상의 시야 (FOV) 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여, 하나 이상의 스피커들을 통해 HOA 오디오 신호를 렌더링하는 단계를 포함한다.
다른 예에서, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 장치는, HOA 오디오 신호를 수신하는 수단 및 참조 스크린의 하나 이상의 시야 (FOV) 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여, 하나 이상의 스피커들을 통해 HOA 오디오 신호를 렌더링하는 수단을 포함한다.
다른 예에서, 컴퓨터-판독가능 저장 매체는, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 참조 스크린의 하나 이상의 시야 (FOV) 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여, 하나 이상의 스피커들을 통해 HOA 오디오 신호를 렌더링하는 것을 포함한, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하도록 하는 명령들을 저장한다.
본 기법들의 하나 이상의 양태들의 세부 사항들은 첨부도면 및 아래의 상세한 설명에서 개시된다. 본 기법들의 다른 특징들, 목적들, 및 이점들은 설명 및 도면들로부터, 그리고 청구범위로부터 명백히 알 수 있을 것이다.
도 1 은 여러 차수들 및 하위-차수들의 구면 고조파 (spherical harmonic) 기저 함수들을 예시하는 다이어그램이다.
도 2 는 본 개시물에서 설명하는 기법들의 여러 양태들을 수행할 수도 있는 시스템을 예시하는 다이어그램이다.
도 3 은 본 개시물에서 설명하는 기법들의 여러 양태들을 수행할 수도 있는 도 2 의 예에 나타낸 오디오 인코딩 디바이스의 일 예를 좀더 자세하게 예시하는 블록도이다.
도 4 는 도 2 의 오디오 디코딩 디바이스를 좀더 자세하게 예시하는 블록도이다.
도 5 는 본 개시물에서 설명되는 벡터-기반 합성 기법들의 여러 양태들을 수행할 때에 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다.
도 6 은 본 개시물에서 설명하는 기법들의 여러 양태들을 수행할 때에 오디오 디코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다.
도 7a 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 방위각 각도들을 수정된 방위각 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 7b 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 고도 각도들을 수정된 고도 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 8 은 제 1 예에 대한 참조 스크린 및 뷰잉 윈도우의 효과로서 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다.
도 9a 및 도 9b 는 계산된 HOA 효과 매트릭스들의 예들을 나타낸다.
도 10 은 효과 매트릭스가 사전-렌더링되어 라우드스피커 렌더링 매트릭스에 적용될 수도 있는 방법의 일 예를 나타낸다.
도 11 은 효과 매트릭스가 고차 콘텐츠 (예컨대, 6번째 차수) 를 초래할 수도 있으면, 이 차수에서의 렌더링 매트릭스가 원래 차수 (여기서는, 3번째 차수) 에서 최종 렌더링 매트릭스를 사전-계산하기 위해 증가될 수도 있는 방법의 일 예를 나타낸다.
도 12a 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 방위각 각도들을 수정된 방위각 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 12b 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 고도 각도들을 수정된 고도 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 12c 는 계산된 HOA 효과 매트릭스를 나타낸다.
도 13 은 참조 스크린 및 뷰잉 윈도우의 효과로서 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다.
도 14a 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 방위각 각도들을 수정된 방위각 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 14b 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 고도 각도들을 수정된 고도 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 14c 는 계산된 HOA 효과 매트릭스를 나타낸다.
도 15 는 참조 스크린 및 뷰잉 윈도우의 효과로서 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다.
도 16a 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 방위각 각도들을 수정된 방위각 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 16b 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 고도 각도들을 수정된 고도 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 16c 는 계산된 HOA 효과 매트릭스를 나타낸다.
도 17 은 참조 스크린 및 뷰잉 윈도우의 효과로서 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다.
도 18a 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 방위각 각도들을 수정된 방위각 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 18b 는 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여 원래 고도 각도들을 수정된 고도 각도들에 맵핑하는데 사용될 수도 있는 예시적인 맵핑 함수를 나타낸다.
도 18c 는 계산된 HOA 효과 매트릭스를 나타낸다.
도 19 는 참조 스크린 및 뷰잉 윈도우의 효과로서 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다.
도 20a 내지 도 20c 는 본 개시물의 기법들을 구현하도록 구성된 오디오 렌더링 디바이스들의 예시적인 구현예들을 예시하는 블록도들이다.
도 21 은 본 개시물에서 설명된 스크린-기반의 적응 기법들을 수행할 때 오디오 디코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다.
오늘날 서라운드 사운드의 발전은 엔터테인먼트에 대한 많은 출력 포맷들을 이용가능하게 하였다. 이러한 소비자 서라운드 사운드 포맷들의 예들은 그들이 라우드스피커들에의 피드들 (feeds) 을 어떤 기하학적인 좌표들로 암시적으로 규정한다는 점에서 주로 '채널' 기반이다. 소비자 서라운드 사운드 포맷들은 (다음 6개의 채널들: 전면 좌측 (FL), 전면 우측 (FR), 중심 또는 전면 중앙, 후면 좌측 또는 서라운드 좌측, 후면 우측 또는 서라운드 우측, 및 저주파수 효과들 (LFE) 을 포함하는) 대중적인 5.1 포맷, 성장하는 7.1 포맷, 및 (예컨대, 초고화질 텔레비전 표준 (Ultra High Definition Television standard) 과 함께 사용하기 위한) 22.2 포맷 및 7.1.4 포맷과 같은, 높이 스피커 (height speaker) 들을 포함하는 다양한 포맷들을 포함한다. 비-소비자 포맷들은 '서라운드 어레이들' 로서 종종 불리는 (대칭 및 비-대칭 지오메트리들에 있어서) 임의 개수의 스피커들에 걸쳐 있을 수 있다. 이러한 어레이의 일 예는 트렁케이트된 (truncated) 20면체의 모서리들 상의 좌표들 상에 위치되는 32 개의 라우드스피커들을 포함한다.
미래 MPEG 인코더에의 입력은 옵션적으로 다음 3개의 가능한 포맷들 중 하나이다: (i) (위에서 설명한 바와 같이) 사전-규정된 위치들에서 라우드스피커들을 통해서 플레이되어야 하는 전통적인 채널-기반의 오디오; (ii) (다른 정보 중에서) 그들의 로케이션 좌표들을 포함하는 연관된 메타데이터를 가진 단일 오디오 오브젝트들에 대한 이산 펄스-코드-변조 (PCM) 데이터를 수반하는 오브젝트-기반의 오디오; 및 (iii) 구면 고조파 기저 함수들의 계수들 (또한, "구면 고조파 계수들", 또는 SHC, "고차 앰비소닉" 또는 HOA, 및 "HOA 계수들" 이라 함) 을 이용하여 음장을 표현하는 것을 수반하는 장면-기반의 오디오. 미래 MPEG 인코더는 2013년 1월, 스위스, 제네바에서 배포되고, 그리고 http://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w13411.zip 에서 입수가능한, ISO/IEC (International Organization for Standardization/International Electrotechnical Commission) JTC1/SC29/WG11/N13411 에 의한, "Call for Proposals for 3D Audio" 란 표제로 된 문서에 좀더 자세히 설명되어 있을 수도 있다.
시장에서는 여러 '서라운드-사운드' 채널-기반 포맷들이 있다. 그들은 예를 들어, (스테레오를 넘어서 거실들로 잠식해 들어가는 관점에서 가장 성공적이었던) 5.1 홈 시어터 시스템으로부터, NHK (Nippon Hoso Kyokai 또는 일본 방송 협회 (Japan Broadcasting Corporation)) 에 의해 개발된 22.2 시스템에 이른다. 콘텐츠 생성자들 (예컨대, 할리우드 스튜디오들) 은 영화용 사운드트랙을 한번 제작하고, 각각의 스피커 구성을 위해 그것을 재믹싱하는데 노력을 들이지 않기를 원할 것이다. 최근, 표준들 개발 조직들은 표준화된 비트스트림으로의 인코딩, 및 스피커 지오메트리 (및 개수) 및 (렌더러를 포함한) 플레이백의 로케이션에서의 음향 조건들에 적응가능하고 독립적인 후속 디코딩을 제공할 방법들을 고려하고 있다.
콘텐츠 생성자들에게 이러한 유연성을 제공하기 위해, 음장을 표현하는데 엘리먼트들의 계층적 세트가 사용될 수도 있다. 엘리먼트들의 계층적 세트는 낮은-차수의 엘리먼트들의 기본적인 세트가 모델링된 음장의 풀 표현을 제공하도록 엘리먼트들이 오더링되는 엘리먼트들의 세트를 지칭할 수도 있다. 그 세트가 고-차수 엘리먼트들을 포함하도록 확장됨에 따라, 그 표현이 좀더 상세해져, 해상도를 증가시킨다.
엘리먼트들의 계층적 세트의 일 예는 구면 고조파 계수들 (SHC) 의 세트이다. 다음 수식은 음장의 설명 또는 표현을 SHC 를 이용하여 설명한다:
Figure 112017033305657-pct00001
수식은 시간 t 에서 음장의 임의의 지점
Figure 112017033305657-pct00002
에서의 압력
Figure 112017033305657-pct00003
이, SHC,
Figure 112017033305657-pct00004
에 의해 고유하게 표현될 수 있다는 것을 나타낸다. 여기서,
Figure 112017033305657-pct00005
이고, c 는 사운드의 속도 (~343 m/s) 이고,
Figure 112017033305657-pct00006
는 참조의 지점 (또는, 관측 지점) 이고,
Figure 112017033305657-pct00007
는 차수 n 의 구면 Bessel 함수이고,
Figure 112017033305657-pct00008
는 차수 n 및 하위차수 m 의 구면 고조파 기저 함수들이다. 꺽쇠 괄호들 내 항은 이산 푸리에 변환 (DFT), 이산 코사인 변환 (DCT), 또는 웨이블릿 변환과 같은, 여러 시간-주파수 변환들에 의해 근사화될 수 있는 신호의 주파수-도메인 표현 (즉,
Figure 112017033305657-pct00009
) 인 것을 알 수 있다. 계층적 세트들의 다른 예들은 웨이블릿 변환 계수들의 세트들 및 다중해상도 기저 함수들의 계수들의 다른 세트들을 포함한다.
비디오 데이터는 종종 대응하는, 동기화된 오디오 데이터와 연계하여 디스플레이되며, 여기서 오디오 데이터는 일반적으로 비디오 데이터의 관점과 매칭하도록 발생된다. 예를 들어, 레스토랑에서 대화하고 있는 2 사람의 클로즈업 (close-up) 관점을 나타내는 비디오의 프레임들 동안, 그 2 사람의 대화는 다른 식사손님들의 대화들, 주방 잡음, 백그라운드 음악, 등과 같은, 레스토랑에서의 임의의 배경 잡음보다 소리가 크고 잘 들릴 수도 있다. 대화하는 2 사람의 더 먼 관점을 나타내는 비디오의 프레임들 동안, 2 사람의 대화는 소스가 비디오의 프레임에 지금 있을 수도 있는 배경 잡음들보다 더 작게 소리가 나고 더 작게 들릴 수도 있다.
전통적으로, 관점에 관한 결정들 (예컨대, 장면의 줌인 및 줌아웃 또는 장면을 회전하면서 패닝하는 것) 은 콘텐츠 제작자에 의해 이루어지며, 콘텐츠의 최종 소비자는 원래 콘텐츠 제작자에 의해 선택된 관점을 변경하는 능력을 거의 또는 전혀 가지고 있지 않다. 그러나, 사용자들이 비디오를 보고 있을 때 그들이 보는 관점에 관해서 일부 제어의 레벨을 가지는 것이 더욱 일반적이 되고 있다. 일 예로서, 풋볼 방송 동안, 사용자는 필드의 큰 섹션을 나타내는 비디오 공급을 수신할 수도 있지만 특정의 플레이어 또는 플레이어들의 그룹에 줌인하는 능력을 가질 수도 있다. 본 개시물은 대응하는 비디오의 지각에서의 변화에 매칭하는 방법으로 오디오 재생의 지각을 적응시키는 기법들을 도입한다. 예를 들어, 풋볼 게임을 보고 있는 동안 사용자가 쿼터백에 줌인하면, 오디오는 또한 쿼터백에 줌인하는 오디오 효과를 발생시키도록 적응될 수도 있다.
비디오의 사용자의 지각은 또한 비디오를 플레이백하는데 사용되고 있는 디스플레이의 사이즈에 의존하여 변할 수도 있다. 예를 들어, 10-인치 태블릿 상에서 영화를 보고 있을 때, 전체 디스플레이는 뷰어의 중심 시야 내에 있을 수도 있지만, 반면 동일한 영화를 100-인치 텔레비전 상에서 보고 있을 때에는, 디스플레이의 외부 부분들이 단지 뷰어의 주변 시야 내에 있을 수도 있다. 본 개시물은 대응하는 비디오 데이터에 대해 사용될 디스플레이의 사이즈에 기초하여 오디오 재생의 지각을 적응시키는 기법들을 도입한다.
MPEG-H 3D 오디오 비트스트림은 콘텐츠 생성 프로세스 동안 사용되는 참조 스크린 사이즈의 정보를 시그널링하기 위해 새로운 비트필드들을 포함한다. 여러 예들이 본 개시물에서 설명되는, MPEG-H 3D-규격 오디오 디코더는, 또한 디코딩중인 오디오에 대응하는 비디오와 연계하여 사용될 디스플레이 셋업의 실제 스크린 사이즈를 결정하도록 구성될 수도 있다. 따라서, 본 개시물의 기법들에 따르면, 오디오 디코더가 참조 스크린 사이즈 및 실제 스크린 사이즈에 기초하여, HOA 음장을 적응시킬 수도 있으며, 그 결과, 비디오에 보여지고 있는 동일한 로케이션으로부터 스크린 관련된 오디오 콘텐츠가 인지되는 것이다.
본 개시물은 HOA 음장들이 혼합된 오디오/비디오 재생 시나리오에서 시각적 구성요소에 대한 음향 엘리먼트들의 공간 정렬을 보장하도록 적응될 수 있는 방법에 관한 기법들을 기술한다. 본 개시물의 기법들은, 현재 단지 스크린-관련된 오디오 오브젝트들이 조정되는, HOA-단독 콘텐츠에 대한 또는 HOA 와 오디오 오브젝트들의 조합을 가지는 콘텐츠에 대한 일관성있는 오디오/비디오 경험을 생성하는 것을 돕는데 이용될 수 있다.
도 1 은 제로 차수 (n = 0) 로부터 제 4 차수 (n = 4) 까지의 구면 고조파 기저 함수들을 예시하는 다이어그램이다. 볼 수 있는 바와 같이, 각각의 차수에 대해, 예시의 용이 목적을 위해 도 1 의 예에 나타내지만 명시적으로 표시되지 않은 하위차수들 m 의 전개가 존재한다.
SHC
Figure 112017033305657-pct00010
는 여러 마이크로폰 어레이 구성들에 의해 물리적으로 획득될 (예컨대, 기록될) 수 있거나, 또는 이의 대안으로, 그들은 음장의 채널-기반의 또는 오브젝트-기반의 설명들로부터 유도될 수 있다. SHC 는 장면-기반의 오디오를 나타내며, 여기서, SHC 는 좀더 효율적인 송신 또는 저장을 증진할 수도 있는 인코딩된 SHC 를 획득하기 위해 오디오 인코더에 입력될 수도 있다. 예를 들어, (1+4)2 (25, 따라서, 제 4 차수) 계수들을 수반하는 제 4-차수 표현이 사용될 수도 있다.
위에서 언급한 바와 같이, SHC 는 마이크로폰 어레이를 이용한 마이크로폰 리코딩으로부터 유도될 수도 있다. SHC 가 마이크로폰 어레이들로부터 유도될 수 있는 방법의 여러 예들은 2005년 11월, J. Audio Eng. Soc., 권 53, 번호 11, 페이지 1004-1025, Poletti, M., "Three-Dimensional Surround Sound Systems Based on Spherical Harmonics" 에 설명되어 있다.
SHC들이 어떻게 오브젝트-기반의 설명으로부터 유도될 수 있는지를 예시하기 위해, 다음 방정식을 고려한다. 개개의 오디오 오브젝트에 대응하는 음장에 대한 계수들
Figure 112017033305657-pct00011
은 다음과 같이 표현될 수도 있다:
Figure 112017033305657-pct00012
여기서, i 는
Figure 112017033305657-pct00013
이고,
Figure 112017033305657-pct00014
는 차수 n 의 (제 2 종의) 구면 Hankel 함수이고,
Figure 112017033305657-pct00015
는 오브젝트의 로케이션이다. (예컨대, PCM 스트림에 관해 고속 푸리에 변환을 수행하는 것과 같은, 시간-주파수 분석 기법들을 이용하여) 오브젝트 소스 에너지
Figure 112017033305657-pct00016
를 주파수의 함수로서 아는 것은 우리가 각각의 PCM 오브젝트 및 대응하는 로케이션을 SHC
Figure 112017033305657-pct00017
로 변환가능하게 한다. 또, (상기가 선형 및 직교 분해이므로) 각각의 오브젝트에 대한
Figure 112017033305657-pct00018
계수들이 누적되는 것으로 표시될 수 있다. 이러한 방법으로, 다수의 PCM 오브젝트들은
Figure 112017033305657-pct00019
계수들에 의해 (예컨대, 개개의 오브젝트들에 대한 계수 벡터들의 합계로서) 표현될 수 있다. 본질적으로, 계수들은 음장에 관한 정보 (3D 좌표들의 함수로서의 압력) 을 포함하며, 상기는 관측 지점
Figure 112017033305657-pct00020
근처에서, 개개의 오브젝트들로부터 전체 음장의 표현으로의 변환을 나타낸다. 나머지 도면들은 오브젝트-기반 및 SHC-기반 오디오 코딩의 상황에서 아래에서 설명된다.
도 2 는 본 개시물에서 설명하는 기법들의 여러 양태들을 수행할 수도 있는 시스템 (10) 을 예시하는 다이어그램이다. 도 2 의 예에 나타낸 바와 같이, 시스템 (10) 은 콘텐츠 생성자 디바이스 (12) 및 콘텐츠 소비자 디바이스 (14) 를 포함한다. 콘텐츠 생성자 디바이스 (12) 및 콘텐츠 소비자 디바이스 (14) 의 상황에서 설명되지만, 이 기법들은 (HOA 계수들로서 또한 지칭될 수도 있는) SHC들 또는 음장의 임의의 다른 계층적 표현이 오디오 데이터를 나타내는 비트스트림을 형성하기 위해 인코딩되는 임의의 상황에서 구현될 수도 있다. 더욱이, 콘텐츠 생성자 디바이스 (12) 는 몇개의 예들을 제공하자면, 핸드셋 (또는, 셀룰러폰), 태블릿 컴퓨터, 스마트 폰, 또는 데스크탑 컴퓨터를 포함한, 본 개시물에서 설명하는 기법들을 구현하는 것이 가능한 임의 유형의 컴퓨팅 디바이스를 나타낼 수도 있다. 이와 유사하게, 콘텐츠 소비자 디바이스 (14) 는 몇개의 예들을 제공하자면 핸드셋 (또는, 셀룰러폰), 태블릿 컴퓨터, 스마트 폰, 셋-탑 박스, 또는 데스크탑 컴퓨터를 포함한, 본 개시물에서 설명하는 기법들을 구현하는 것이 가능한 임의 유형의 컴퓨팅 디바이스를 나타낼 수도 있다.
콘텐츠 생성자 디바이스 (12) 는 콘텐츠 소비자 디바이스 (14) 와 같은 콘텐츠 소비자 디바이스들의 조작자에 의한 소비를 위해 멀티-채널 오디오 콘텐츠를 발생할 수도 있는 영화 스튜디오 또는 다른 엔터티에 의해 동작될 수도 있다. 일부 예들에서, 콘텐츠 생성자 디바이스 (12) 는 압축 HOA 계수들 (11) 로 오디오 신호를 발생시키고 또한 오디오 신호에 하나 이상의 시야 (FOV) 파라미터들을 포함시키기를 원하는 개개의 사용자에 의해 동작될 수도 있다. 종종, 콘텐츠 생성자는 비디오 콘텐츠와 함께 오디오 콘텐츠를 발생시킨다. FOV 파라미터들은 예를 들어, 비디오 콘텐츠에 대한 참조 스크린 사이즈를 기술할 수도 있다. 콘텐츠 소비자 디바이스 (14) 는 개개인에 의해 동작될 수도 있다. 콘텐츠 소비자 디바이스 (14) 는 멀티-채널 오디오 콘텐츠로서 플레이백을 위한 SHC 를 렌더링하는 것이 가능한 임의 유형의 오디오 플레이백 시스템을 지칭할 수도 있는 오디오 플레이백 시스템 (16) 을 포함할 수도 있다.
콘텐츠 생성자 디바이스 (12) 는 오디오 편집 시스템 (18) 을 포함한다. 콘텐츠 생성자 디바이스 (12) 는 실황 녹음들 (7) 을 (HOA 계수들로서 직접 포함하는) 여러 포맷들로, 그리고 콘텐츠 생성자 디바이스 (12) 가 오디오 편집 시스템 (18) 을 이용하여 편집할 수도 있는 오디오 오브젝트들 (9) 을 획득한다. 마이크로폰 (5) 은 실황 녹음들 (7) 을 캡쳐할 수도 있다. 콘텐츠 생성자는 편집 프로세스 동안, 추가로 편집할 필요가 있는 음장의 여러 양태들을 식별하려는 시도로 렌더링된 스피커 피드들을 청취하는 오디오 오브젝트들 (9) 로부터 HOA 계수들 (11) 을 렌더링할 수도 있다. 콘텐츠 생성자 디바이스 (12) 는 그후 (잠재적으로는, 소스 HOA 계수들이 위에서 설명된 방법으로 유도될 수도 있는 오디오 오브젝트들 (9) 중 상이한 하나의 조작을 통해서 간접적으로) HOA 계수들 (11) 및 FOV 파라미터들 (13) 을 편집할 수도 있다. 콘텐츠 생성자 디바이스 (12) 는 HOA 계수들 (11) 및 FOV 파라미터들 (13) 을 발생시키기 위해 오디오 편집 시스템 (18) 을 채용할 수도 있다. 오디오 편집 시스템 (18) 은 오디오 데이터를 편집하여 오디오 데이터를 하나 이상의 소스 구면 고조파 계수들로서 출력하는 것이 가능한 임의의 시스템을 나타낸다.
편집 프로세스가 완료될 때, 콘텐츠 생성자 디바이스 (12) 는 HOA 계수들 (11) 에 기초하여 오디오 비트스트림 (21) 을 발생시킬 수도 있다. 즉, 콘텐츠 생성자 디바이스 (12) 는 오디오 비트스트림 (21) 을 발생시키는 본 개시물에서 설명하는 기법들의 여러 양태들에 따라서 HOA 계수들 (11) 을 인코딩하거나 또는 아니면 압축하도록 구성된 디바이스를 나타내는 오디오 인코딩 디바이스 (20) 를 포함한다. 오디오 인코딩 디바이스 (20) 는 비트스트림 (21) 에, FOV 파라미터들 (13) 을 시그널링하기 위한 값들을 포함시킬 수도 있다. 오디오 인코딩 디바이스 (20) 는 일 예로서, 유선 또는 무선 채널, 데이터 저장 디바이스, 또는 기타 등등일 수도 있는 송신 채널을 통한 송신을 위해 오디오 비트스트림 (21) 을 발생시킬 수도 있다. 오디오 비트스트림 (21) 은 HOA 계수들 (11) 의 인코딩된 버전을 나타낼 수도 있으며, 1차 비트스트림 및 부 채널 정보로서 지칭될 수도 있는 다른 부 비트스트림 (부 비트스트림) 을 포함할 수도 있다. 일부 예들에서, 오디오 인코딩 디바이스 (20) 는 FOV 파라미터들 (13) 을 부 채널에 포함시킬 수도 있지만, 다른 예들에서, 오디오 인코딩 디바이스 (20) 는 FOV 파라미터들 (13) 을 다른 어딘가에 포함시킬 수도 있다. 또한 다른 예들에서, 오디오 인코딩 디바이스 (20) 는 FOV 파라미터들 (13) 을 인코딩하지 않을 수도 있으며, 대신, 오디오 플레이백 시스템 (16) 이 디폴트 값들을 FOV 파라미터들 (13') 에 할당할 수도 있다.
도 2 에서 콘텐츠 소비자 디바이스 (14) 로 직접 송신되는 것으로 나타내지만, 콘텐츠 생성자 디바이스 (12) 는 오디오 비트스트림 (21) 을 콘텐츠 생성자 디바이스 (12) 와 콘텐츠 소비자 디바이스 (14) 사이에 위치된 중간 디바이스로 출력할 수도 있다. 중간 디바이스는 이 비트스트림을 요청할 수도 있는 콘텐츠 소비자 디바이스 (14) 에게의 추후 전달을 위해 오디오 비트스트림 (21) 을 저장할 수도 있다. 중간 디바이스는 파일 서버, 웹 서버, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 모바일 폰, 스마트 폰, 또는 오디오 디코더에 의한 추후 취출을 위해 오디오 비트스트림 (21) 을 저장하는 것이 가능한 임의의 다른 디바이스를 포함할 수도 있다. 중간 디바이스는 오디오 비트스트림 (21) 을 (그리고, 어쩌면, 대응하는 비디오 데이터 비트스트림을 송신하는 것과 함께) 오디오 비트스트림 (21) 을 요청하는 콘텐츠 소비자 디바이스 (14) 와 같은, 가입자들에게 스트리밍하는 것이 가능한 콘텐츠 전달 네트워크에 상주할 수도 있다.
이의 대안으로, 콘텐츠 생성자 디바이스 (12) 는 오디오 비트스트림 (21) 을, 대부분이 컴퓨터에 의해 판독가능하고 따라서 컴퓨터-판독가능 저장 매체들 또는 비일시성 컴퓨터-판독가능 저장 매체들로서 지칭될 수도 있는, 컴팩트 디스크, 디지털 비디오 디스크, 고화질 비디오 디스크 또는 다른 저장 매체들과 같은, 저장 매체에 저장할 수도 있다. 이 상황에서, 송신 채널은 매체들에 저장된 콘텐츠가 송신되는 채널들을 지칭할 수도 있다 (그리고, 소매점들 및 다른 저장-기반의 전달 메커니즘을 포함할 수도 있다). 어쨌든, 본 개시물의 기법들은 따라서 이 점에서 도 2 의 예에 한정되지 않아야 한다.
콘텐츠 생성자 디바이스 (12) 는 비디오 데이터 (23) 를 발생시켜 인코딩하도록 추가로 구성될 수도 있으며, 콘텐츠 소비자 디바이스 (14) 는 비디오 데이터 (23) 를 수신하여 디코딩하도록 구성될 수도 있다. 비디오 데이터 (23) 는 오디오 비트스트림 (21) 과 연관되어 그와 함께 송신될 수도 있다. 이 점에 있어서, 콘텐츠 생성자 디바이스 (12) 및 콘텐츠 소비자 디바이스 (14) 는 도 2 에 명시적으로 나타내지 않은 추가적인 하드웨어 및 소프트웨어를 포함할 수도 있다. 콘텐츠 생성자 디바이스 (12) 는 예를 들어, 비디오 데이터를 획득하는 카메라들, 비디오 데이터를 편집하는 비디오 편집 시스템, 및 비디오 데이터를 인코딩하는 비디오 인코더를 포함할 수도 있으며, 콘텐츠 소비자 디바이스 (14) 는 또한 비디오 디코더 및 비디오 렌더러를 포함할 수도 있다.
도 2 의 예에 추가로 나타낸 바와 같이, 콘텐츠 소비자 디바이스 (14) 는 오디오 플레이백 시스템 (16) 을 포함한다. 오디오 플레이백 시스템 (16) 은 멀티-채널 오디오 데이터를 플레이백하는 것이 가능한 임의의 오디오 플레이백 시스템을 나타낼 수도 있다. 오디오 플레이백 시스템 (16) 은 다수의 상이한 렌더러들 (22) 을 포함할 수도 있다. 렌더러들 (22) 은 상이한 유형의 렌더링을 각각 제공할 수도 있으며, 여기서, 상이한 유형들의 렌더링은 벡터-기반 진폭 패닝 (VBAP) 을 수행하는 여러 방법들 중 하나 이상, 및/또는 음장 합성을 수행하는 여러 방법들 중 하나 이상을 포함할 수도 있다. 본원에서 사용될 때, "A 및/또는 B" 는 "A 또는 B", 또는 "A 및 B" 양쪽을 의미한다.
오디오 플레이백 시스템 (16) 은 오디오 디코딩 디바이스 (24) 를 더 포함할 수 있다. 오디오 디코딩 디바이스 (24) 는 오디오 비트스트림 (21) 으로부터 HOA 계수들 (11') 및 FOV 파라미터들 (13') 을 디코딩하도록 구성된 디바이스를 나타낼 수도 있으며, 여기서, HOA 계수들 (11') 은 HOA 계수들 (11) 과 유사하지만 손실있는 동작들 (예컨대, 양자화) 및/또는 송신 채널을 통한 송신으로 인해 상이할 수도 있다. 대조적으로, FOV 파라미터들 (13) 은, 무손실 코딩될 수도 있다. 오디오 플레이백 시스템 (16) 은 HOA 계수들 (11') 을 얻기 위해 오디오 비트스트림 (21) 을 디코딩한 후, HOA 계수들 (11') 을 렌더링하여 라우드스피커 피드들 (25) 을 출력할 수도 있다. 아래에서 좀더 자세히 설명되는 바와 같이, 오디오 플레이백 시스템 (16) 이 HOA 계수들 (11') 을 렌더링하는 방법은 일부 경우, FOV 파라미터들 (13') 에 기초하여 디스플레이 (15) 의 FOV 파라미터들과 연계하여 수정될 수도 있다. 라우드스피커 피드들 (25) 은 (용이한 예시의 목적을 위해 도 2 의 예에 도시되지 않은) 하나 이상의 라우드스피커들을 구동할 수도 있다.
적합한 렌더러를 선택하기 위해, 또는, 일부 경우, 적합한 렌더러를 발생시키기 위해, 오디오 플레이백 시스템 (16) 은 다수의 라우드스피커들 및/또는 라우드스피커들의 공간 지오메트리를 나타내는 라우드스피커 정보 (13) 를 획득할 수도 있다. 일부의 경우, 오디오 플레이백 시스템 (16) 은 참조 마이크로폰을 이용하여 라우드스피커 정보 (13) 를 획득하고 라우드스피커 정보 (13) 를 동적으로 결정하는 방법으로 라우드스피커들을 구동할 수도 있다. 다른 경우들에서, 또는 라우드스피커 정보 (13) 의 동적 결정과 함께, 오디오 플레이백 시스템 (16) 은 오디오 플레이백 시스템 (16) 과 인터페이스하여 라우드스피커 정보 (13) 를 입력하도록 사용자에게 프롬프트할 수도 있다.
오디오 플레이백 시스템 (16) 은 그후 라우드스피커 정보 (13) 에 기초하여 오디오 렌더러들 (22) 중 하나를 선택할 수도 있다. 일부의 경우, 오디오 플레이백 시스템 (16) 은 어떤 오디오 렌더러들 (22) 도 라우드스피커 정보 (13) 에 규정된 라우드스피커 지오메트리에 대한 어떤 임계치 유사성 척도 (라우드스피커 지오메트리의 관점에서) 내에 있지 않을 때, 라우드스피커 정보 (13) 에 기초하여 오디오 렌더러들 (22) 중 하나를 발생시킬 수도 있다. 오디오 플레이백 시스템 (16) 은 일부 경우, 기존 오디오 렌더러들 (22) 중 하나를 선택하려고 먼저 시도함이 없이, 라우드스피커 정보 (13) 에 기초하여 오디오 렌더러들 (22) 중 하나를 발생시킬 수도 있다. 하나 이상의 스피커들 (3) 은 그후 그 렌더링된 라우드스피커 피드들 (25) 을 플레이백할 수도 있다.
도 2 에 나타낸 바와 같이, 콘텐츠 소비자 디바이스 (14) 는 또한 연관된 디스플레이 디바이스, 즉, 디스플레이 (15) 를 갖는다. 도 2 의 예에서, 디스플레이 (15) 는 콘텐츠 소비자 디바이스 (14) 에 통합되는 것으로 도시되며; 그러나, 다른 예들에서, 디스플레이 (15) 는 콘텐츠 소비자 디바이스 (14) 외부에 있을 수도 있다. 아래에서 좀더 자세히 설명되는 바와 같이, 디스플레이 (15) 는 FOV 파라미터들 (13') 로부터 분리된 하나 이상의 연관된 FOV 파라미터들을 가질 수도 있다. FOV 파라미터들 (13') 은 콘텐츠 생성 시에 참조 스크린과 연관된 파라미터들을 나타내지만, 디스플레이 (15) 의 FOV 파라미터들은 플레이백에 사용되는 뷰잉 윈도우의 FOV 파라미터들이다. 오디오 플레이백 시스템 (16) 은 디스플레이 (15) 와 연관된 FOV 파라미터들 (13') 및 FOV 파라미터들 양자에 기초하여 오디오 렌더러 (22) 중 하나를 수정하거나 또는 발생시킬 수도 있다.
도 3 은 본 개시물에서 설명하는 기법들의 여러 양태들을 수행할 수도 있는 도 2 의 예에 나타낸 오디오 인코딩 디바이스 (20) 의 일 예를 좀더 자세하게 예시하는 블록도이다. 오디오 인코딩 디바이스 (20) 는 콘텐츠 분석 유닛 (26), 벡터-기반 분해 유닛 (27) 및 방향-기반 분해 유닛 (28) 을 포함한다. 아래에서 간단히 설명되지만, 오디오 인코딩 디바이스 (20) 및 HOA 계수들을 압축하거나 또는 아니면 인코딩하는 여러 양태들에 관한 더 많은 정보는 "INTERPOLATION FOR DECOMPOSED REPRESENTATIONS OF A SOUND FIELD"란 발명의 명칭으로 2014년 5월 29일에 출원된, 국제 특허 출원 공개 번호 WO 2014/194099호에서 입수가능하다.
콘텐츠 분석 유닛 (26) 은 HOA 계수들 (11) 의 콘텐츠를 분석하여 HOA 계수들 (11) 이 라이브 리코딩 또는 오디오 오브젝트로부터 발생된 콘텐츠를 나타내는지 여부를 식별하도록 구성된 유닛을 나타낸다. 콘텐츠 분석 유닛 (26) 은 HOA 계수들 (11) 이 실제 음장의 리코딩으로부터 또는 인공적인 오디오 오브젝트로부터 발생되었는지 여부를 결정할 수도 있다. 일부의 경우, 프레임으로 된 HOA 계수들 (11) 이 리코딩으로부터 발생되었을 때, 콘텐츠 분석 유닛 (26) 은 HOA 계수들 (11) 을 벡터-기반 분해 유닛 (27) 으로 전달한다. 일부의 경우, 프레임으로 된 HOA 계수들 (11) 이 합성 오디오 오브젝트로부터 발생되었을 때, 콘텐츠 분석 유닛 (26) 은 HOA 계수들 (11) 을 방향-기반 분해 유닛 (28) 으로 전달한다. 방향-기반 분해 유닛 (28) 은 HOA 계수들 (11) 의 방향-기반 합성을 수행하여 방향-기반 비트스트림 (21) 을 발생시키도록 구성된 유닛을 나타낼 수도 있다.
도 3 의 예에 나타낸 바와 같이, 벡터-기반 분해 유닛 (27) 은 선형 가역 변환 (LIT) 유닛 (30), 파라미터 계산 유닛 (32), 리오더 유닛 (34), 포어그라운드 선택 유닛 (36), 에너지 보상 유닛 (38), 음향심리 오디오 코더 유닛 (40), 비트스트림 발생 유닛 (42), 음장 분석 유닛 (44), 계수 감소 유닛 (46), 백그라운드 (BG) 선택 유닛 (48), 공간-시간 보간 유닛 (50), 및 양자화 유닛 (52) 을 포함할 수도 있다.
선형 가역 변환 (LIT) 유닛 (30) 은 HOA 계수들 (11) 을 HOA 채널들의 유형으로 수신하며, 각각의 채널은 (HOA[k] 로서 표시될 수도 있으며, 여기서 k 는 샘플들의 현재의 프레임 또는 블록을 표시할 수도 있는) 구형 기저 함수들의 주어진 차수, 하위차수와 연관된 계수의 블록 또는 프레임을 나타낸다. HOA 계수들 (11) 의 매트릭스는 차원들 D: M x (N+1)2 을 가질 수도 있다.
LIT 유닛 (30) 은 특이 값 분해로서 지칭되는 분석의 유형을 수행하도록 구성된 유닛을 나타낼 수도 있다. SVD 에 대해 설명되지만, 본 개시물에서 설명하는 기법들은 선형으로 비상관된, 에너지 압축된 출력의 세트들을 제공하는 임의의 유사한 변환 또는 분해에 대해서 수행될 수도 있다. 또한, 본 개시물에서 "세트들" 에 대한 언급은, 구체적으로 반대로 언급되지 않는 한, 비-제로 세트들을 지칭하는 것으로 일반적으로 의도되며, 소위 "빈 (empty) 세트" 를 포함하는 세트들의 고전적 (classical) 수학적 정의를 지칭하는 것으로 의도되지 않는다. 대안적인 변환은 "PCA" 로서 종종 지칭되는 주요 구성요소 분석을 포함할 수도 있다. 상황에 따라서, PCA 는 몇 개의 예들을 들면, 이산 Karhunen-Loeve 변환, Hotelling 변환, 적합 직교 분해 (POD), 및 고유치 분해 (EVD) 와 같은, 다수의 상이한 이름들로 지칭될 수도 있다. 오디오 데이터를 압축하는 기본적인 목표에 도움이 되는 이러한 동작들의 성질들은 멀티채널 오디오 데이터의 '에너지 압축' 및 '비상관' 이다.
어쨌든, 예의 목적을 위해 LIT 유닛 (30) 이 ("SVD" 로서 또한 지칭될 수도 있는) 특이 값 분해를 수행한다고 가정하면, LIT 유닛 (30) 은 HOA 계수들 (11) 을 변환된 HOA 계수들의 2개 이상의 세트들로 변환할 수도 있다. 변환된 HOA 계수들의 "세트들" 은 변환된 HOA 계수들의 벡터들을 포함할 수도 있다. 도 3 의 예에서, LIT 유닛 (30) 은 HOA 계수들 (11) 에 대해 SVD 를 수행하여, 소위 V 매트릭스, S 매트릭스, 및 U 매트릭스를 발생시킬 수도 있다. SVD 는, 선형 대수학에서, y 곱하기 z (y-by-z) 실수 또는 복소수 매트릭스 X (여기서, X 는 HOA 계수들 (11) 과 같은, 멀티-채널 오디오 데이터를 나타낼 수도 있다) 의 인수분해를 다음 형태로 나타낼 수도 있다:
Figure 112017033305657-pct00021
U 는 y 곱하기 y 실수 또는 복소수 단위 매트릭스 (unitary matrix) 를 나타낼 수도 있으며, 여기서, U 의 y 칼럼들은 멀티-채널 오디오 데이터의 좌측-특이 벡터들로서 알려져 있다. S 는 대각선 상에 비-음의 실수들을 가지는 y 곱하기 z (y-by-z) 직사각형의 대각선 매트릭스를 나타낼 수도 있으며, 여기서, S 의 대각선 값들은 멀티-채널 오디오 데이터의 특이 값들로서 알려져 있다. (V 의 켤레 전치를 표시할 수도 있는) V* 는 z 곱하기 z 실수 또는 복소수 단위 매트릭스를 나타낼 수도 있으며, 여기서, V* 의 z 칼럼들은 멀티-채널 오디오 데이터의 우측-특이 벡터들로서 알려져 있다.
일부 예들에서, 위에서 참조되는 SVD 수학적 수식에서 V* 매트릭스는 SVD 가 복소수들을 포함하는 매트릭스들에 적용될 수도 있다는 점을 반영하기 위해 V 매트릭스의 켤레 전치로서 표시된다. 단지 실수들만을 포함하는 매트릭스들에 적용될 때, V 매트릭스의 켤레 복소수 (또는, 즉, V* 매트릭스) 는 V 매트릭스의 전치인 것으로 간주될 수도 있다. 아래에서는, 용이한 예시 목적을 위해, V* 매트릭스보다는, V 매트릭스가 SVD 를 통해서 출력되는 결과로 HOA 계수들 (11) 이 실수들을 포함한다고 가정된다. 더욱이, 본 개시물에서 V 매트릭스로서 표시되지만, V 매트릭스에 대한 언급은 적당한 경우 V 매트릭스의 전치를 지칭하는 것으로 이해되어야 한다. V 매트릭스인 것으로 가정되지만, 이 기법들은 복소 계수들을 가지는 HOA 계수들 (11) 과 유사한 방식으로 적용될 수도 있으며, 여기서, SVD 의 출력은 V* 매트릭스이다. 따라서, 본 기법들은 이 점에서, 단지 V 매트릭스를 발생시키기 위한 SVD 의 적용을 허용하는데만 한정되지 않아야 하며, V* 매트릭스를 발생시키기 위한 복소수 구성요소들을 가지는 HOA 계수들 (11) 에의 SVD 의 적용을 포함할 수도 있다.
이러한 방법으로, LIT 유닛 (30) 은 HOA 계수들 (11) 에 대해 SVD 를 수행하여, 차원들 D: M x (N+1)2 를 가지는 (S 벡터들과 U 벡터들의 결합된 버전을 나타낼 수도 있는) US[k] 벡터들 (33) 및 차원들 D: (N+1)2 x (N+1)2 를 가지는 V[k] 벡터들 (35) 을 출력할 수도 있다. US[k] 매트릭스에서의 개개의 벡터 엘리먼트들은 또한
Figure 112017033305657-pct00022
로서 지칭될 수도 있으며, 반면 V[k] 매트릭스의 개개의 벡터들은 또한
Figure 112017033305657-pct00023
로서 지칭될 수도 있다.
U, S 및 V 매트릭스들의 분석은 매트릭스들이 X 로 위에서 나타낸 기본적인 음장의 공간 및 시간 특성들을 지니거나 또는 나타낸다는 것을 보일 수도 있다. (길이 M 샘플들의) U 에서의 N 개의 벡터들의 각각은, 서로에 직교하며 (방향 정보로서 또한 지칭될 수도 있는) 임의의 공간 특성들로부터 분리되어 있는 정규화된 분리된 오디오 신호들을 (M 샘플들로 표현된 시간 기간에 대한) 시간의 함수로서 나타낼 수도 있다. 공간 형태 및 위치 (r, 쎄타 (theta), 파이 (phi)) 를 나타내는, 공간 특성들은 V 매트릭스 (길이 (N+1)2 각각) 에서, 개개의 i 번째 벡터들,
Figure 112017033305657-pct00024
로 대신 표시될 수도 있다.
Figure 112017033305657-pct00025
벡터들의 각각의 개개의 엘리먼트들은 연관된 오디오 오브젝트에 대한 (폭을 포함한) 음장의 형태 및 위치를 기술하는 HOA 계수를 나타낼 수도 있다. U 매트릭스 및 V 매트릭스의 벡터들 양쪽은 그들의 자승 평균 평방근 에너지들이 1 과 동일하도록 정규화된다. U 에서의 오디오 신호들의 에너지는 따라서 S 에서 대각선 엘리먼트들로 표현된다. U 와 S 를 곱하여 (개개의 벡터 엘리먼트들
Figure 112017033305657-pct00026
을 가지는) US[k] 를 형성하는 것은, 따라서 에너지들을 가지는 오디오 신호를 나타낸다. (U 에서) 오디오 시간-신호들, (S 에서) 그들의 에너지들 및 (V 에서) 그들의 공간 특성들을 분리시키는 SVD 분해의 능력은 본 개시물에서 설명하는 기법들의 여러 양태들을 지원할 수도 있다. 또, US[k] 와 V[k] 의 벡터 곱셈에 의해 기본적인 HOA[k] 계수들, X 를 합성하는 모델은, 이 문서 전반에 걸쳐서 사용되는 용어 "벡터-기반 분해" 를 야기시킨다.
HOA 계수들 (11) 에 대해 직접 수행되는 것으로 설명되지만, LIT 유닛 (30) 은 HOA 계수들 (11) 의 도함수들에 선형 가역 변환을 적용할 수도 있다. 예를 들어, LIT 유닛 (30) 은 HOA 계수들 (11) 로부터 유도된 전력 스펙트럼 밀도 매트릭스에 대해 SVD 를 적용할 수도 있다. 계수들 자신보다는, HOA 계수들의 전력 스펙트럼 밀도 (PSD) 에 대해 SVD 를 수행함으로써, LIT 유닛 (30) 은 프로세서 사이클들 및 저장 공간 중 하나 이상의 관점에서 SVD 를 수행하는 계산 복잡성을 잠재적으로 감소시키는 한편, SVD 가 HOA 계수들에 직접 적용된 것처럼 동일한 소스 오디오 인코딩 효율을 달성할 수도 있다.
파라미터 계산 유닛 (32) 은 상관 파라미터 (R), 방향 성질들 파라미터들 (θ, φ, r), 및 에너지 성질 (e) 과 같은, 여러 파라미터들을 계산하도록 구성된 유닛을 나타낸다. 현재의 프레임에 대한 파라미터들의 각각은 R[k], θ[k], φ[k], r[k] 및 e[k] 로서 표시될 수도 있다. 파라미터 계산 유닛 (32) 은 US[k] 벡터들 (33) 에 대해 에너지 분석 및/또는 상관 (또는, 소위 교차-상관) 을 수행하여, 파라미터들을 식별할 수도 있다. 파라미터 계산 유닛 (32) 은 또한 이전 프레임에 대한 파라미터들을 결정할 수도 있으며, 여기서 이전 프레임 파라미터들은 US[k-1] 벡터 및 V[k-1] 벡터들의 이전 프레임에 기초하여 R[k-1], θ[k-1], φ[k-1], r[k-1] 및 e[k-1] 로 표시될 수도 있다. 파라미터 계산 유닛 (32) 은 현재의 파라미터들 (37) 및 이전 파라미터들 (39) 을 리오더 유닛 (34) 으로 출력할 수도 있다.
파라미터 계산 유닛 (32) 에 의해 계산된 파라미터들은 시간 경과에 따른 그들의 자연발생적인 평가 또는 연속성을 표시하기 위해 오디오 오브젝트들을 리오더링하기 위해 리오더 유닛 (34) 에 의해 사용될 수도 있다. 리오더 유닛 (34) 은 파라미터들 (37) 의 각각을 제 2 US[k-1] 벡터들 (33) 에 대한 파라미터들 (39) 의 각각에 대해 턴-방식 (turn-wise) 으로 제 1 US[k] 벡터들 (33) 과 비교할 수도 있다. 리오더 유닛 (34) 은 US[k] 매트릭스 (33) 및 V[k] 매트릭스 (35) 내 여러 벡터들을 현재의 파라미터들 (37) 및 이전 파라미터들 (39) 에 기초하여 (일 예로서, Hungarian 알고리즘을 이용하여) 리오더링하여, (수학적으로
Figure 112017033305657-pct00027
로서 표시될 수도 있는) 리오더링된 US[k] 매트릭스 (33') 및 (수학적으로
Figure 112017033305657-pct00028
로서 표시될 수도 있는) 리오더링된 V[k] 매트릭스 (35') 를 포어그라운드 사운드 (또는, 지배적인 사운드 - PS) 선택 유닛 (36) ("포어그라운드 선택 유닛 (36)") 및 에너지 보상 유닛 (38) 으로 출력할 수도 있다.
음장 분석 유닛 (44) 은 목표 비트레이트 (41) 를 잠재적으로 달성하도록 HOA 계수들 (11) 에 대해 음장 분석을 수행하도록 구성된 유닛을 나타낼 수도 있다. 음장 분석 유닛 (44) 은 그 분석에, 및/또는 수신된 목표 비트레이트 (41) 에 기초하여, (주변 또는 백그라운드 채널들의 총 개수 (BGTOT) 및 포어그라운드 채널들 또는, 즉, 지배적인 채널들의 개수의 함수일 수도 있는) 음향심리 코더 인스턴스화들의 총 개수를 결정할 수도 있다. 음향심리 코더 인스턴스화들의 총 개수는 numHOATransportChannels 로서 표시될 수 있다.
또한, 음장 분석 유닛 (44) 은 또한 목표 비트레이트 (41) 를 잠재적으로 달성하기 위해, 포어그라운드 채널들의 총 개수 (nFG) (45), 백그라운드 (또는, 즉, 주변) 음장의 최소 차수 (NBG 또는, 대안적으로, MinAmbHOAorder), 백그라운드 음장의 최소 차수를 나타내는 실제 채널들의 대응하는 개수 (nBGa = (MinAmbHOAorder + 1)2), 및 (도 3 의 예에서 일괄하여 백그라운드 채널 정보 (43) 로서 표시될 수도 있는) 전송할 추가적인 BG HOA 채널들의 인덱스들 (i) 을 결정할 수도 있다. 백그라운드 채널 정보 (42) 는 또한 주변 채널 정보 (43) 로서 지칭될 수도 있다. numHOATransportChannels - nBGa 로부터 남은 채널들의 각각은, "추가적인 백그라운드/주변 채널", "활성 벡터-기반 지배적인 채널", "활성 방향 기반 지배적인 신호" 또는 "완전히 비활성적" 일 수도 있다. 일 양태에서, 채널 유형들은 2 비트 (예컨대, 00: 방향 기반 신호; 01: 벡터-기반 지배적인 신호; 10: 추가적인 주변 신호; 11: 비활성 신호) 에 의해 ("ChannelType" 으로서) 신택스 엘리먼트로 표시될 수도 있다. 백그라운드 또는 주변 신호들의 총 개수, nBGa 는, (MinAmbHOAorder +1)2 + (상기 예에서의) 인덱스 10 이 그 프레임에 대한 비트스트림에서 채널 유형으로서 나타나는 횟수로 주어질 수도 있다.
음장 분석 유닛 (44) 은 목표 비트레이트 (41) 에 기초하여, 백그라운드 (또는, 즉, 주변) 채널들의 개수 및 포어그라운드 (또는, 즉, 지배적인) 채널들의 개수를 선택하여, 목표 비트레이트 (41) 가 상대적으로 더 높을 때 (예컨대, 목표 비트레이트 (41) 가 512 Kbps 와 동일하거나 또는 더 많을 때) 더 많은 백그라운드 및/또는 포어그라운드 채널들을 선택할 수도 있다. 일 양태에서, numHOATransportChannels 는 8 로 설정될 수도 있으며, 한편 MinAmbHOAorder 는 비트스트림의 헤더 섹션에서 1 로 설정될 수도 있다. 이 시나리오에서, 매 프레임에서, 4개의 채널들이 음장의 백그라운드 또는 주변 부분을 표현하는데 담당될 수도 있지만, 다른 4 개의 채널들은 프레임 단위로, 채널의 유형에 따라서 변할 수 있다 - 예컨대, 추가적인 백그라운드/주변 채널 또는 포어그라운드/지배적인 채널로서 사용될 수 있다. 포어그라운드/지배적인 신호들은 위에서 설명한 바와 같이 벡터-기반 또는 방향 기반 신호들 중 하나일 수 있다.
일부의 경우, 프레임에 대한 벡터-기반의 지배적인 신호들의 총 개수는 그 프레임의 비트스트림에서 ChannelType 인덱스가 01 인 횟수로 주어질 수도 있다. 상기 양태에서, (예컨대, 10 의 ChannelType 에 대응하는) 모든 추가적인 백그라운드/주변 채널에 대해, (처음 4개를 넘어서는) 가능한 HOA 계수들 중 어느 HOA 계수의 대응하는 정보가 그 채널에 표시될 수도 있다. 제 4 차수 HOA 콘텐츠에 대한, 정보는 HOA 계수들 (5-25) 을 표시하는 인덱스일 수도 있다. 처음 4개의 주변 HOA 계수들 (1-4) 은 minAmbHOAorder 가 1 로 설정될 때는 언제나 전송될 수도 있으며, 따라서 오디오 인코딩 디바이스는 단지 5-25 의 인덱스를 가지는 추가적인 주변 HOA 계수 중 하나만을 표시해야 할 수도 있다. 정보는 따라서 "CodedAmbCoeffIdx" 로서 표시될 수도 있는, (제 4 차수 콘텐츠에 대해) 5 비트 신택스 엘리먼트를 이용하여 전송될 수 있다. 어쨌든, 음장 분석 유닛 (44) 은 백그라운드 채널 정보 (43) 및 HOA 계수들 (11) 을 백그라운드 (BG) 선택 유닛 (36) 으로, 백그라운드 채널 정보 (43) 를 계수 감소 유닛 (46) 및 비트스트림 발생 유닛 (42) 으로, 그리고 nFG (45) 를 포어그라운드 선택 유닛 (36) 으로 출력한다.
백그라운드 선택 유닛 (48) 은 백그라운드 채널 정보 (예컨대, 백그라운드 음장 (NBG) 및 개수 (nBGa) 및 전송할 추가적인 BG HOA 채널들의 인덱스들 (i)) 에 기초하여 백그라운드 또는 주변 HOA 계수들 (47) 을 결정하도록 구성된 유닛을 나타낼 수도 있다. 예를 들어, NBG 가 1 과 동일할 때, 백그라운드 선택 유닛 (48) 은 1 과 동일하거나 또는 미만인 차수를 가지는 오디오 프레임의 각각의 샘플에 대해 HOA 계수들 (11) 을 선택할 수도 있다. 백그라운드 선택 유닛 (48) 은 이 예에서, 그후 인덱스들 (i) 중 하나를 추가적인 BG HOA 계수들로서 식별된 인덱스를 가지는 HOA 계수들 (11) 을 선택할 수도 있으며, nBGa 가 도 2 및 도 4 의 예에 나타낸 오디오 디코딩 디바이스 (24) 와 같은, 오디오 디코딩 디바이스로 하여금, 오디오 비트스트림 (21) 으로부터 백그라운드 HOA 계수들 (47) 을 파싱하도록 하기 위해서 오디오 비트스트림 (21) 에 규정되도록, 비트스트림 발생 유닛 (42) 에 제공된다. 백그라운드 선택 유닛 (48) 은 그후 주변 HOA 계수들 (47) 을 에너지 보상 유닛 (38) 으로 출력할 수도 있다. 주변 HOA 계수들 (47) 은 차원들 D: M x [(NBG+1)2 + nBGa] 을 가질 수도 있다. 주변 HOA 계수들 (47) 은 또한 "주변 HOA 계수들 (47)" 로서 지칭될 수도 있으며, 여기서, 주변 HOA 계수들 (47) 의 각각은 음향심리 오디오 코더 유닛 (40) 에 의해 인코딩될 별개의 주변 HOA 채널 (47) 에 대응한다.
포어그라운드 선택 유닛 (36) 은 (포어그라운드 벡터들을 식별하는 하나 이상의 인덱스들을 나타낼 수도 있는) nFG (45) 에 기초하여 음장의 포어그라운드 또는 특유한 구성요소들을 나타내는 리오더링된 US[k] 매트릭스 (33') 및 리오더링된 V[k] 매트릭스 (35') 를 선택하도록 구성된 유닛을 나타낼 수도 있다. 포어그라운드 선택 유닛 (36) 은 (리오더링된 US[k]1, …, nFG (49), FG1, …, nfG[k] (49), 또는
Figure 112017033305657-pct00029
(49) 로서 표시될 수도 있는) nFG 신호들 (49) 을 음향심리 오디오 코더 유닛 (40) 으로 출력할 수도 있으며, 여기서, nFG 신호들 (49) 은 차원들 D: M x nFG 을 가질 수도 있으며 각각은 모노-오디오 오브젝트들을 나타낸다. 또한, 포어그라운드 선택 유닛 (36) 은 음장의 포어그라운드 구성요소들에 대응하는 리오더링된 V[k] 매트릭스 (35') (또는,
Figure 112017033305657-pct00030
(35')) 를 공간-시간 보간 유닛 (50) 으로 출력할 수도 있으며, 여기서, 포어그라운드 구성요소들에 대응하는 리오더링된 V[k] 매트릭스 (35') 의 서브세트는 차원들 D: (N+1)2 x nFG 을 가지는 (
Figure 112017033305657-pct00031
로서 수학적으로 표시될 수도 있는) 포어그라운드 V[k] 매트릭스 (51k) 로서 표시될 수도 있다.
에너지 보상 유닛 (38) 은 백그라운드 선택 유닛 (48) 에 의한 HOA 채널들 중 여러 HOA 채널들의 제거로 인한 에너지 손실을 보상하기 위해 주변 HOA 계수들 (47) 에 대해 에너지 보상을 수행하도록 구성된 유닛을 나타낼 수도 있다. 에너지 보상 유닛 (38) 은 리오더링된 US[k] 매트릭스 (33'), 리오더링된 V[k] 매트릭스 (35'), nFG 신호들 (49), 포어그라운드 V[k] 벡터들 (51k) 및 주변 HOA 계수들 (47) 중 하나 이상에 대해 에너지 분석을 수행하고, 그후 그 에너지 분석에 기초하여 에너지 보상을 수행함으로써, 에너지 보상된 주변 HOA 계수들 (47') 을 발생시킬 수도 있다. 에너지 보상 유닛 (38) 은 에너지 보상된 주변 HOA 계수들 (47') 을 음향심리 오디오 코더 유닛 (40) 으로 출력할 수도 있다.
공간-시간 보간 유닛 (50) 은 k번째 프레임에 대한 포어그라운드 V[k] 벡터들 (51k) 및 이전 프레임 (따라서, k-1 표기) 에 대한 포어그라운드 V[k-1] 벡터들 (51k-1) 을 수신하고 공간-시간 보간을 수행하여 보간된 포어그라운드 V[k] 벡터들을 발생시키도록 구성된 유닛을 나타낼 수도 있다. 공간-시간 보간 유닛 (50) 은 nFG 신호들 (49) 을 포어그라운드 V[k] 벡터들 (51k) 과 재결합하여 리오더링된 포어그라운드 HOA 계수들을 복원할 수도 있다. 공간-시간 보간 유닛 (50) 은 그후 리오더링된 포어그라운드 HOA 계수들을 보간된 V[k] 벡터들로 나눠서, 보간된 nFG 신호들 (49') 을 발생시킬 수도 있다. 공간-시간 보간 유닛 (50) 은, 또한 오디오 디코딩 디바이스 (24) 와 같은, 오디오 디코딩 디바이스가 보간된 포어그라운드 V[k] 벡터들을 발생시켜 포어그라운드 V[k] 벡터들 (51k) 을 복원할 수 있도록 보간된 포어그라운드 V[k] 벡터들을 발생시키는데 사용된 포어그라운드 V[k] 벡터들 (51k) 을 출력할 수도 있다. 보간된 포어그라운드 V[k] 벡터들을 발생시키는데 사용되는 포어그라운드 V[k] 벡터들 (51k) 은 나머지 포어그라운드 V[k] 벡터들 (53) 로서 표시된다. 동일한 V[k] 및 V[k-1] 이 (보간된 벡터들 V[k] 을 생성하기 위해) 인코더 및 디코더에서 사용되도록 보장하기 위해, 벡터들의 양자화된/양자화해제된 버전들이 인코더 및 디코더에서 사용될 수도 있다. 공간-시간 보간 유닛 (50) 은 보간된 nFG 신호들 (49') 을 음향심리 오디오 코더 유닛 (46) 으로, 그리고 보간된 포어그라운드 V[k] 벡터들 (51k) 을 계수 감소 유닛 (46) 으로 출력할 수도 있다.
계수 감소 유닛 (46) 은 백그라운드 채널 정보 (43) 에 기초하여 나머지 포어그라운드 V[k] 벡터들 (53) 에 대해 계수 감소를 수행하여 감소된 포어그라운드 V[k] 벡터들 (55) 을 양자화 유닛 (52) 으로 출력하도록 구성된 유닛을 나타낼 수도 있다. 감소된 포어그라운드 V[k] 벡터들 (55) 은 차원들 D: [(N+1)2 - (NBG+1)2-BGTOT] x nFG 를 가질 수도 있다. 계수 감소 유닛 (46) 은 이 점에서, 나머지 포어그라운드 V[k] 벡터들 (53) 에서의 계수들의 개수를 감소시키도록 구성된 유닛을 나타낼 수도 있다. 다시 말해서, 계수 감소 유닛 (46) 은 거의 없거나 전혀 없는 방향 정보를 가지는 (나머지 포어그라운드 V[k] 벡터들 (53) 을 형성하는) 포어그라운드 V[k] 벡터들에서의 계수들을 제거하도록 구성된 유닛을 나타낼 수도 있다. 일부 예들에서, (NBG 로서 표시될 수도 있는) 제 1 및 제로 차수 기저 함수들에 대응하는 별개의, 또는, 즉, 포어그라운드 V[k] 벡터들의 계수들은 적은 방향 정보를 제공하며, 따라서 ("계수 감소" 로서 지칭될 수도 있는 프로세스를 통해서) 포어그라운드 V-벡터들로부터 제거될 수 있다. 이 예에서, [(NBG +1)2+1, (N+1)2] 의 세트로부터, NBG 에 대응하는 계수들을 식별할 뿐만 아니라 (변수 TotalOfAddAmbHOAChan 에 의해 표시될 수도 있는) 추가적인 HOA 채널들을 식별하기 위해 더 큰 유연성이 제공될 수도 있다.
양자화 유닛 (52) 은 감소된 포어그라운드 V[k] 벡터들 (55) 을 압축하여 코딩된 포어그라운드 V[k] 벡터들 (57) 을 발생시키기 위해 임의 유형의 양자화를 수행하여 코딩된 포어그라운드 V[k] 벡터들 (57) 을 비트스트림 발생 유닛 (42) 으로 출력하도록 구성된 유닛을 나타낼 수도 있다. 동작 시, 양자화 유닛 (52) 은 음장의 공간 구성요소, 즉, 이 예에서는, 감소된 포어그라운드 V[k] 벡터들 (55) 중 하나 이상을 압축하도록 구성된 유닛을 나타낼 수도 있다. 양자화 유닛 (52) 은 "NbitsQ" 로 표기된 양자화 모드 신택스 엘리먼트로 표시된 바와 같이, 다음 12 개의 양자화 모드들 중 임의의 하나를 수행할 수도 있다:
NbitsQ 값 양자화 모드의 유형
0-3: 예약됨
4: 벡터 양자화
5: Huffman 코딩에 의하지 않는 스칼라 양자화
6: Huffman 코딩에 의한 6-비트 스칼라 양자화
7: Huffman 코딩에 의한 7-비트 스칼라 양자화
8: Huffman 코딩에 의한 8-비트 스칼라 양자화
… …
16: Huffman 코딩에 의한 16-비트 스칼라 양자화
양자화 유닛 (52) 은 또한 전술한 유형들의 양자화 모드들 중 임의의 양자화 모드의 예측된 버전들을 수행할 수도 있으며, 여기서, 이전 프레임의 V-벡터의 엘리먼트 (또는, 벡터 양자화가 수행될 때의 가중치) 와 현재의 프레임의 V-벡터의 엘리먼트 (또는, 벡터 양자화가 수행될 때의 가중치) 사이의 차이가 결정된다. 양자화 유닛 (52) 은 그후 현재의 프레임 자체의 V-벡터의 엘리먼트의 값 대신, 현재의 프레임의 엘리먼트들 또는 가중치들과 이전 프레임의 엘리먼트들 또는 가중치들 사이의 차이를 양자화할 수도 있다.
양자화 유닛 (52) 은 감소된 포어그라운드 V[k] 벡터들 (55) 의 각각에 대해 다수의 양자화의 유형들을 수행하여, 감소된 포어그라운드 V[k] 벡터들 (55) 의 다수의 코딩된 버전들을 획득할 수도 있다. 양자화 유닛 (52) 은 감소된 포어그라운드 V[k] 벡터들 (55) 의 코딩된 버전들 중 하나를 코딩된 포어그라운드 V[k] 벡터 (57) 로서 선택할 수도 있다. 즉, 양자화 유닛 (52) 은 출력 스위칭된-양자화된 V-벡터로서 사용할, 비-예측된 벡터-양자화된 V-벡터, 예측된 벡터-양자화된 V-벡터, 비-Huffman-코딩된 스칼라-양자화된 V-벡터, 및 Huffman-코딩된 스칼라-양자화된 V-벡터 중 하나를, 본 개시물에서 설명되는 기준들의 임의의 조합에 기초하여 선택할 수도 있다. 일부 예들에서, 양자화 유닛 (52) 은 벡터 양자화 모드 및 하나 이상의 스칼라 양자화 모드들을 포함하는 양자화 모드들의 세트로부터 양자화 모드를 선택하고, 그 선택된 모드에 기초하여 (또는, 그에 따라서) 입력 V-벡터를 양자화할 수도 있다. 양자화 유닛 (52) 은 그후 (예컨대, 가중 값들 또는 그를 표시하는 비트들의 관점에서) 비-예측된 벡터-양자화된 V-벡터, (예컨대, 에러 값들 또는 그를 표시하는 비트들의 관점에서) 예측된 벡터-양자화된 V-벡터, 비-Huffman-코딩된 스칼라-양자화된 V-벡터 및 Huffman-코딩된 스칼라-양자화된 V-벡터 중 선택된 하나를, 비트스트림 발생 유닛 (52) 에, 코딩된 포어그라운드 V[k] 벡터들 (57) 로서 제공할 수도 있다. 양자화 유닛 (52) 은 또한 양자화 모드를 표시하는 신택스 엘리먼트들 (예컨대, NbitsQ 신택스 엘리먼트) 및 V-벡터를 양자화해제하거나 또는 아니면 복원하는데 사용되는 임의의 다른 신택스 엘리먼트들을 제공할 수도 있다.
오디오 인코딩 디바이스 (20) 내에 포함되는 음향심리 오디오 코더 유닛 (40) 은 음향심리 오디오 코더의 다수의 인스턴스들을 나타낼 수도 있으며, 이의 각각은 에너지 보상된 주변 HOA 계수들 (47') 및 보간된 nFG 신호들 (49') 의 각각의 상이한 오디오 오브젝트 또는 HOA 채널을 인코딩하여 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 발생시키는데 사용된다. 음향심리 오디오 코더 유닛 (40) 은 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 비트스트림 발생 유닛 (42) 으로 출력할 수도 있다.
오디오 인코딩 디바이스 (20) 내에 포함된 비트스트림 발생 유닛 (42) 은 (디코딩 디바이스에 의해 알려진 포맷을 지칭할 수도 있는) 기지의 포맷을 따르도록 데이터를 포맷하여, 벡터-기반 비트스트림 (21) 을 발생시키는 유닛을 나타낸다. 즉, 오디오 비트스트림 (21) 은 위에서 설명된 방법으로 인코딩되어 있는 인코딩된 오디오 데이터를 나타낼 수도 있다. 비트스트림 발생 유닛 (42) 은 일부 예들에서, 코딩된 포어그라운드 V[k] 벡터들 (57), 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 백그라운드 채널 정보 (43) 를 수신할 수도 있는 멀티플렉서를 나타낼 수도 있다. 비트스트림 발생 유닛 (42) 은 그후 코딩된 포어그라운드 V[k] 벡터들 (57), 인코딩된 주변 HOA 계수들 (59), 인코딩된 nFG 신호들 (61) 및 백그라운드 채널 정보 (43) 에 기초하여, 오디오 비트스트림 (21) 을 발생시킬 수도 있다. 이렇게 하여, 비트스트림 발생 유닛 (42) 은 그에 따라서 벡터들 (57) 을 오디오 비트스트림 (21) 에 규정함으로써 오디오 비트스트림 (21) 을 획득할 수도 있다. 오디오 비트스트림 (21) 은 1차 또는 메인 비트스트림 및 하나 이상의 부 채널 비트스트림들을 포함할 수도 있다.
도 3 의 예에서는 나타내지 않았지만, 오디오 인코딩 디바이스 (20) 는 또한 현재의 프레임이 방향-기반 합성 또는 벡터-기반 합성을 이용하여 인코딩되는지 여부에 기초하여 오디오 인코딩 디바이스 (20) 로부터 출력된 비트스트림을 (예컨대, 방향-기반 비트스트림 (21) 과 벡터-기반 비트스트림 (21) 사이에) 스위칭하는 비트스트림 출력 유닛을 포함할 수도 있다. 비트스트림 출력 유닛은 방향-기반 합성이 (HOA 계수들 (11) 이 합성 오디오 오브젝트로부터 발생되었다고 검출한 결과로서) 수행되었는지 여부 또는 벡터-기반 합성이 (HOA 계수들이 기록되었다고 검출한 결과로서) 수행되었는지 여부를 나타내는 콘텐츠 분석 유닛 (26) 에 의해 출력된 신택스 엘리먼트에 기초하여 스위칭을 수행할 수도 있다. 비트스트림 출력 유닛은 비트스트림들 (21) 의 개개의 하나와 함께 현재의 프레임에 대해 이용된 스위치 또는 현재의 인코딩을 나타내는 올바른 헤더 신택스를 규정할 수도 있다.
더욱이, 위에서 언급한 바와 같이, 음장 분석 유닛 (44) 은 (때로는 BGTOT 가 2개 이상의 (시간에서) 인접한 프레임들에 걸쳐서 일정하거나 또는 동일하게 유지할 수도 있지만) 프레임 단위로 변할 수도 있는 BGTOT 주변 HOA 계수들 (47) 을 식별할 수도 있다. BGTOT 에서의 변화는 감소된 포어그라운드 V[k] 벡터들 (55) 로 표현된 계수들에 대해 변화들을 초래할 수도 있다. BGTOT 에서의 변화는 (또한, 때로는 BGTOT 가 2개 이상의 (시간에서) 인접한 프레임들에 걸쳐서 일정하거나 또는 동일하게 유지할 수도 있지만) 프레임 단위로 변하는 ("주변 HOA 계수들" 로서 또한 지칭될 수도 있는) 백그라운드 HOA 계수들을 초래할 수도 있다. 이 변화들은 종종 추가적인 주변 HOA 계수들의 추가 또는 제거, 및 감소된 포어그라운드 V[k] 벡터들 (55) 로부터의 계수들의 대응하는 제거 또는 감소된 포어그라운드 V[k] 벡터들 (55) 에의 계수들의 추가로 표현되는 음장의 양태들에 대해 에너지의 변화를 초래한다.
그 결과, 음장 분석 유닛 (44) 은 주변 HOA 계수들이 프레임들 간에 변하는 시점을 추가로 결정하고, (변화가 주변 HOA 계수의 "전이" 로서 또는 주변 HOA 계수의 "전이" 로서 또한 지칭될 수도 있는) 음장의 주변 구성요소들을 나타내는데 사용되는 관점에서 주변 HOA 계수에 대한 변화를 나타내는 플래그 또는 다른 신택스 엘리먼트를 발생시킬 수도 있다. 특히, 계수 감소 유닛 (46) 은 (AmbCoeffTransition 플래그 또는 AmbCoeffIdxTransition 플래그로서 표시될 수도 있는) 플래그를 발생시켜, 그 플래그가 (가능한 한 부 채널 정보의 일부로서) 오디오 비트스트림 (21) 에 포함될 수 있도록 그 플래그를 비트스트림 발생 유닛 (42) 에 제공할 수도 있다.
계수 감소 유닛 (46) 은 주변 계수 전이 플래그를 규정하는 것에 더하여, 또한 감소된 포어그라운드 V[k] 벡터들 (55) 이 발생되는 방법을 수정할 수도 있다. 일 예에서, 주변 HOA 주변 계수들 중 하나가 현재의 프레임 동안 전이 중이라고 결정하자 마자, 계수 감소 유닛 (46) 은 전이 중인 주변 HOA 계수에 대응하는 감소된 포어그라운드 V[k] 벡터들 (55) 의 V-벡터들의 각각에 대해 ("벡터 엘리먼트" 또는 "엘리먼트" 로서 또한 지칭될 수도 있는) 벡터 계수를 규정할 수도 있다. 또, 전이 중인 주변 HOA 계수는 백그라운드 계수들의 BGTOT 총 개수로부터 추가 또는 제거할 수도 있다. 따라서, 백그라운드 계수들의 총 개수에서의 최종 변화는 주변 HOA 계수가 비트스트림에 포함되는지 여부, 및 V-벡터들의 대응하는 엘리먼트가 위에서 설명된 제 2 및 제 3 구성 모드들에서 비트스트림에 규정된 V-벡터들을 위해 포함되는지 여부에 영향을 미친다. 계수 감소 유닛 (46) 이 에너지에서의 변화들을 극복하기 위해 감소된 포어그라운드 V[k] 벡터들 (55) 을 규정할 수 있는 방법에 관한 더 많은 정보는 "TRANSITIONING OF AMBIENT HIGHER_ORDER AMBISONIC COEFFICIENTS" 란 발명의 명칭으로, 2015년 1월 12일에 출원된, 미국 출원 번호 제 14/594,533호에서 제공된다.
도 4 는 도 2 의 오디오 디코딩 디바이스 (24) 를 좀더 자세하게 예시하는 블록도이다. 도 4 의 예에 나타낸 바와 같이, 오디오 디코딩 디바이스 (24) 는 추출 유닛 (72), 방향-기반 복원 유닛 (90) 및 벡터-기반 복원 유닛 (92) 을 포함할 수도 있다. 아래에서 설명되지만, 오디오 디코딩 디바이스 (24) 및 HOA 계수들을 분해하거나 또는 아니면 디코딩하는 여러 양태들에 관한 더 많은 정보는 "INTERPOLATION FOR DECOMPOSED REPRESENTATIONS OF A SOUND FIELD"란 발명의 명칭으로, 2014년 5월 29일에 출원된 국제 특허 출원 공개 번호 제 WO 2014/194099호에서 입수가능하다.
추출 유닛 (72) 은 오디오 비트스트림 (21) 을 수신하여 HOA 계수들 (11) 의 여러 인코딩된 버전들 (예컨대, 방향-기반 인코딩된 버전 또는 벡터-기반의 인코딩된 버전) 을 추출하도록 구성된 유닛을 나타낼 수도 있다. 추출 유닛 (72) 은 HOA 계수들 (11) 이 여러 방향-기반의 또는 벡터-기반의 버전들을 통해서 인코딩되었는지 여부를 표시하는 위에서 언급된 신택스 엘리먼트로부터 결정할 수도 있다. 방향-기반 인코딩이 수행되었을 때, 추출 유닛 (72) 은 HOA 계수들 (11) 의 방향-기반 버전 및 (도 4 의 예에서 방향-기반 정보 (91) 로서 표시된) 인코딩된 버전과 연관된 신택스 엘리먼트들을 추출하여, 방향 기반의 정보 (91) 를 방향-기반 복원 유닛 (90) 으로 전달할 수도 있다. 방향-기반 복원 유닛 (90) 은 방향-기반 정보 (91) 에 기초하여 HOA 계수들을 HOA 계수들 (11') 의 유형으로 복원하도록 구성된 유닛을 나타낼 수도 있다. 비트스트림 및 비트스트림 내 신택스 엘리먼트들의 배열이 도 7a 내지 도 7j 의 예에 대해 아래에서 좀더 자세히 설명된다.
HOA 계수들 (11) 이 벡터-기반 합성을 이용하여 인코딩되었다고 신택스 엘리먼트가 표시할 때, 추출 유닛 (72) 은 (코딩된 가중치들 (57) 및/또는 인덱스들 (63) 또는 스칼라 양자화된 V-벡터들을 포함할 수도 있는) 코딩된 포어그라운드 V[k] 벡터들 (57), 인코딩된 주변 HOA 계수들 (59) 및 (인코딩된 nFG 신호들 (61) 로서 또한 지칭될 수도 있는) 대응하는 오디오 오브젝트들 (61) 을 추출할 수도 있다. 오디오 오브젝트들 (61) 은 각각 벡터들 (57) 중 하나에 대응한다. 추출 유닛 (72) 은 코딩된 포어그라운드 V[k] 벡터들 (57) 을 V-벡터 복원 유닛 (74) 으로, 그리고 인코딩된 주변 HOA 계수들 (59) 을 인코딩된 nFG 신호들 (61) 과 함께 음향심리 디코딩 유닛 (80) 으로 전달할 수도 있다.
V-벡터 복원 유닛 (74) 은 인코딩된 포어그라운드 V[k] 벡터들 (57) 로부터 V-벡터들을 복원하도록 구성된 유닛을 나타낼 수도 있다. V-벡터 복원 유닛 (74) 은 양자화 유닛 (52) 의 방법과는 반대인 방법으로 동작할 수도 있다.
음향심리 디코딩 유닛 (80) 은 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 nFG 신호들 (61) 을 디코딩하여 에너지 보상된 주변 HOA 계수들 (47') 및 (보간된 nFG 오디오 오브젝트들 (49') 로서 또한 지칭될 수도 있는) 보간된 nFG 신호들 (49') 을 발생시키기 위해 도 3 의 예에 나타낸 음향심리 오디오 코더 유닛 (40) 과 반대인 방법으로 동작할 수도 있다. 음향심리 디코딩 유닛 (80) 은 에너지 보상된 주변 HOA 계수들 (47') 을 페이드 유닛 (770) 으로, 그리고 nFG 신호들 (49') 을 포어그라운드 포뮬레이션 유닛 (78) 으로 전달할 수도 있다.
공간-시간 보간 유닛 (76) 은 공간-시간 보간 유닛 (50) 에 대해 위에서 설명한 방법과 유사한 방법으로 동작할 수도 있다. 공간-시간 보간 유닛 (76) 은 감소된 포어그라운드 V[k] 벡터들 (55k) 을 수신하고 포어그라운드 V[k] 벡터들 (55k) 및 감소된 포어그라운드 V[k-1] 벡터들 (55k-1) 에 대해 공간-시간 보간을 수행하여 보간된 포어그라운드 V[k] 벡터들 (55k'') 을 발생시킬 수도 있다. 공간-시간 보간 유닛 (76) 은 보간된 포어그라운드 V[k] 벡터들 (55k'') 을 페이드 유닛 (770) 으로 포워딩할 수도 있다.
추출 유닛 (72) 은 또한 주변 HOA 계수들 중 하나가 전이 중인 시점을 나타내는 신호 (757) 를 페이드 유닛 (770) 으로 출력할 수도 있으며, 그 페이드 유닛은 그후 SHCBG (47') (여기서, SHCBG (47') 는 또한 "주변 HOA 채널들 (47')" 또는 "주변 HOA 계수들 (47')" 로서 표시될 수도 있다) 및 보간된 포어그라운드 V[k] 벡터들 (55k'') 의 엘리먼트들 중 어느 것이 페이드-인되거나 또는 페이드-아웃되는지를 결정할 수도 있다. 일부 예들에서, 페이드 유닛 (770) 은 주변 HOA 계수들 (47') 및 보간된 포어그라운드 V[k] 벡터들 (55k'') 의 엘리먼트들의 각각에 대해 반대로 동작할 수도 있다. 즉, 페이드 유닛 (770) 은 주변 HOA 계수들 (47') 의 대응하는 하나에 대해 페이드-인 또는 페이드-아웃, 또는 페이드-인 또는 페이드-아웃 양쪽을 수행할 수도 있지만, 보간된 포어그라운드 V[k] 벡터들 (55k'') 의 엘리먼트들의 대응하는 하나에 대해 페이드-인 또는 페이드-아웃 또는 페이드-인 및 페이드-아웃 양쪽을 수행할 수도 있다. 페이드 유닛 (770) 은 조정된 주변 HOA 계수들 (47'') 을 HOA 계수 포뮬레이션 유닛 (82) 으로, 그리고, 조정된 포어그라운드 V[k] 벡터들 (55k''') 을 포어그라운드 포뮬레이션 유닛 (78) 으로 출력할 수도 있다. 이 점에서, 페이드 유닛 (770) 은 예컨대, 주변 HOA 계수들 (47') 및 보간된 포어그라운드 V[k] 벡터들 (55k'') 의 엘리먼트들의 유형인, HOA 계수들 또는 그의 도함수들의 여러 양태들에 대해 페이드 동작을 수행하도록 구성된 유닛을 나타낸다.
포어그라운드 포뮬레이션 유닛 (78) 은 포어그라운드 HOA 계수들 (65) 을 발생시키기 위해 조정된 포어그라운드 V[k] 벡터들 (55k''') 및 보간된 nFG 신호들 (49') 에 대해 매트릭스 곱셈을 수행하도록 구성된 유닛을 나타낼 수도 있다. 이 점에서, 포어그라운드 포뮬레이션 유닛 (78) 은 (보간된 nFG 신호들 (49') 을 표시하는 다른 방식인) 오디오 오브젝트들 (49') 을 벡터들 (55k''') 과 결합하여, HOA 계수들 (11') 의 포어그라운드 또는, 즉, 지배적인 양태들을 복원할 수도 있다. 포어그라운드 포뮬레이션 유닛 (78) 은 조정된 포어그라운드 V[k] 벡터들 (55k''') 과의 보간된 nFG 신호들 (49') 의 매트릭스 곱셈을 수행할 수도 있다.
HOA 계수 포뮬레이션 유닛 (82) 은 HOA 계수들 (11') 을 획득하기 위해 포어그라운드 HOA 계수들 (65) 을 조정된 주변 HOA 계수들 (47'') 에 결합하도록 구성된 유닛을 나타낼 수도 있다. 프라임 표기는 HOA 계수들 (11') 이 HOA 계수들 (11) 과 유사하지만 동일하지 않을 수도 있다는 것을 반영한다. HOA 계수 (11) 와 HOA 계수 (11') 사이의 차이들은 손실되는 전송 매체, 양자화 또는 다른 손실되는 동작들을 통한 송신으로 인해 손실을 초래할 수도 있다.
도 5 는 본 개시물에서 설명되는 벡터-기반 합성 기법들의 여러 양태들을 수행할 때 도 3 의 예에 나타낸 오디오 인코딩 디바이스 (20) 와 같은, 오디오 인코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다. 먼저, 오디오 인코딩 디바이스 (20) 는 HOA 계수들 (11) 을 수신한다 (106). 오디오 인코딩 디바이스 (20) 는 LIT 유닛 (30) 을 호출할 수도 있으며, 그 LIT 유닛은 HOA 계수들에 대해 LIT 를 적용하여 변환된 HOA 계수들을 출력할 수도 있다 (예컨대, SVD 의 경우, 변환된 HOA 계수들은 US[k] 벡터들 (33) 및 V[k] 벡터들 (35) 을 포함할 수도 있다) (107).
오디오 인코딩 디바이스 (20) 는 다음으로, US[k] 벡터들 (33), US[k-1] 벡터들 (33), V[k] 및/또는 V[k-1] 벡터들 (35) 의 임의의 조합에 대해 상기 설명된 분석을 수행하여 여러 파라미터들을 위에서 설명된 방법으로 식별하기 위해 파라미터 계산 유닛 (32) 을 호출할 수도 있다. 즉, 파라미터 계산 유닛 (32) 은 변환된 HOA 계수들 (33/35) 의 분석에 기초하여 적어도 하나의 파라미터를 결정할 수도 있다 (108).
오디오 인코딩 디바이스 (20) 는 그후 리오더 유닛 (34) 을 호출할 수도 있으며, 그 리오더 유닛은 위에서 설명한 바와 같이, 파라미터에 기초하여 (또한, SVD 의 상황에서, US[k] 벡터들 (33) 및 V[k] 벡터들 (35) 을 지칭할 수도 있는) 변환된 HOA 계수들을 리오더링하여, 리오더링된 변환된 HOA 계수들 (33'/35') (또는, 즉, US[k] 벡터들 (33') 및 V[k] 벡터들 (35')) 을 발생시킬 수도 있다 (109). 오디오 인코딩 디바이스 (20) 는 전술한 동작들 또는 후속 동작들 중 임의의 동작 동안, 음장 분석 유닛 (44) 을 또한 호출할 수도 있다. 음장 분석 유닛 (44) 은 위에서 설명한 바와 같이, HOA 계수들 (11) 및/또는 변환된 HOA 계수들 (33/35) 에 대해서 음장 분석을 수행하여, (도 3 의 예에서 백그라운드 채널 정보 (43) 로서 일괄하여 표시될 수도 있는) 전송할 포어그라운드 채널들의 총 개수 (nFG) (45), 백그라운드 음장의 차수 (NBG) 및 추가적인 BG HOA 채널들의 개수 (nBGa) 및 인덱스들 (i) 를 결정할 수도 있다 (109).
오디오 인코딩 디바이스 (20) 는 또한 백그라운드 선택 유닛 (48) 을 호출할 수도 있다. 백그라운드 선택 유닛 (48) 은 백그라운드 채널 정보 (43) 에 기초하여 백그라운드 또는 주변 HOA 계수들 (47) 을 결정할 수도 있다 (110). 오디오 인코딩 디바이스 (20) 는 포어그라운드 선택 유닛 (36) 을 추가로 호출할 수도 있으며, 이 포어그라운드 선택 유닛은 음장의 포어그라운드 또는 특유한 구성요소들을 나타내는 리오더링된 US[k] 벡터들 (33') 및 리오더링된 V[k] 벡터들 (35') 을 (포어그라운드 벡터들을 식별하는 하나 이상의 인덱스들을 나타낼 수도 있는) nFG (45) 에 기초하여 선택할 수도 있다 (112).
오디오 인코딩 디바이스 (20) 는 에너지 보상 유닛 (38) 을 호출할 수도 있다. 에너지 보상 유닛 (38) 은 주변 HOA 계수들 (47) 에 대해 에너지 보상을 수행하여, 백그라운드 선택 유닛 (48) 에 의한 HOA 계수들의 여러 HOA 계수들의 제거로 인한 에너지 손실을 보상하고 (114), 이에 따라서 에너지 보상된 주변 HOA 계수들 (47') 을 발생시킬 수도 있다.
오디오 인코딩 디바이스 (20) 는 또한 공간-시간 보간 유닛 (50) 을 호출할 수도 있다. 공간-시간 보간 유닛 (50) 은 리오더링된 변환된 HOA 계수들 (33'/35') 에 대해 공간-시간 보간을 수행하여 ("보간된 nFG 신호들 (49')" 로서 또한 지칭될 수도 있는) 보간된 포어그라운드 신호들 (49') 및 ("V[k] 벡터들 (53)" 로서 또한 지칭될 수도 있는) 나머지 포어그라운드 방향 정보 (53) 를 획득할 수도 있다 (116). 오디오 인코딩 디바이스 (20) 는 그후 계수 감소 유닛 (46) 을 호출할 수도 있다. 계수 감소 유닛 (46) 은 백그라운드 채널 정보 (43) 에 기초하여 나머지 포어그라운드 V[k] 벡터들 (53) 에 대해 계수 감소를 수행하여, (감소된 포어그라운드 V[k] 벡터들 (55) 로서 또한 지칭될 수도 있는) 감소된 포어그라운드 방향 정보 (55) 를 획득할 수도 있다 (118).
오디오 인코딩 디바이스 (20) 는 그후 양자화 유닛 (52) 을 호출하여, 위에서 설명된 방법으로, 감소된 포어그라운드 V[k] 벡터들 (55) 을 압축하여, 코딩된 포어그라운드 V[k] 벡터들 (57) 을 발생시킬 수도 있다 (120).
오디오 인코딩 디바이스 (20) 는 또한 음향심리 오디오 코더 유닛 (40) 을 호출할 수도 있다. 음향심리 오디오 코더 유닛 (40) 은 보간된 nFG 신호들 (49') 및 에너지 보상된 주변 HOA 계수들 (47') 의 각각의 벡터를 음향심리 코딩하여, 인코딩된 nFG 신호들 (61) 및 인코딩된 주변 HOA 계수들 (59) 을 발생시킬 수도 있다. 오디오 인코딩 디바이스는 그후 비트스트림 발생 유닛 (42) 을 호출할 수도 있다. 비트스트림 발생 유닛 (42) 은 코딩된 포어그라운드 방향 정보 (57), 코딩된 주변 HOA 계수들 (59), 코딩된 nFG 신호들 (61) 및 백그라운드 채널 정보 (43) 에 기초하여, 오디오 비트스트림 (21) 을 발생시킬 수도 있다.
도 6 은 본 개시물에서 설명하는 기법들의 여러 양태들을 수행할 때 도 4 에 나타낸 오디오 디코딩 디바이스 (24) 와 같은, 오디오 디코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다. 먼저, 오디오 디코딩 디바이스 (24) 는 오디오 비트스트림 (21) 을 수신할 수도 있다 (130). 비트스트림을 수신하자 마자, 오디오 디코딩 디바이스 (24) 는 추출 유닛 (72) 을 호출할 수도 있다. 논의의 목적들을 위해, 벡터-기반의 복원이 수행된다는 것을 오디오 비트스트림 (21) 이 표시한다고 가정하면, 추출 유닛 (72) 은 비트스트림을 파싱하여 상기 언급된 정보를 취출하여, 그 정보를 벡터-기반 복원 유닛 (92) 으로 전달할 수도 있다.
다시 말해서, 추출 유닛 (72) 은 오디오 비트스트림 (21) 으로부터 위에서 설명된 방법으로 (또한, 코딩된 포어그라운드 V[k] 벡터들 (57) 로서 또한 지칭될 수도 있는) 코딩된 포어그라운드 방향 정보 (57), 코딩된 주변 HOA 계수들 (59) 및 (코딩된 포어그라운드 nFG 신호들 (59) 또는 코딩된 포어그라운드 오디오 오브젝트들 (59) 로서 또한 지칭될 수도 있는) 코딩된 포어그라운드 신호들을 취출할 수도 있다 (132).
오디오 디코딩 디바이스 (24) 는 양자화해제 유닛 (74) 을 추가로 호출할 수도 있다. 양자화해제 유닛 (74) 은 코딩된 포어그라운드 방향 정보 (57) 를 엔트로피 디코딩하여 양자화해제하여 감소된 포어그라운드 방향 정보 (55k) 를 획득할 수도 있다 (136). 오디오 디코딩 디바이스 (24) 는 또한 음향심리 디코딩 유닛 (80) 을 호출할 수도 있다. 음향심리 디코딩 유닛 (80) 은 인코딩된 주변 HOA 계수들 (59) 및 인코딩된 포어그라운드 신호들 (61) 을 디코딩하여, 에너지 보상된 주변 HOA 계수들 (47') 및 보간된 포어그라운드 신호들 (49') 을 획득할 수도 있다 (138). 음향심리 디코딩 유닛 (80) 은 에너지 보상된 주변 HOA 계수들 (47') 을 페이드 유닛 (770) 으로, 그리고 nFG 신호들 (49') 을 포어그라운드 포뮬레이션 유닛 (78) 으로 전달할 수도 있다.
오디오 디코딩 디바이스 (24) 는 다음으로 공간-시간 보간 유닛 (76) 을 호출할 수도 있다. 공간-시간 보간 유닛 (76) 은 리오더링된 포어그라운드 방향 정보 (55k') 를 수신하고 감소된 포어그라운드 방향 정보 (55k/55k-1) 에 대해 공간-시간 보간을 수행하여, 보간된 포어그라운드 방향 정보 (55k'') 을 발생시킬 수도 있다 (140). 공간-시간 보간 유닛 (76) 은 보간된 포어그라운드 V[k] 벡터들 (55k'') 을 페이드 유닛 (770) 으로 포워딩할 수도 있다.
오디오 디코딩 디바이스 (24) 는 페이드 유닛 (770) 을 호출할 수도 있다. 페이드 유닛 (770) 은 에너지 보상된 주변 HOA 계수들 (47') 이 전이 중인 시점을 나타내는 (예컨대, 추출 유닛 (72) 으로부터의) 신택스 엘리먼트들 (예컨대, AmbCoeffTransition 신택스 엘리먼트) 을 수신하거나 또는 아니면 획득할 수도 있다. 페이드 유닛 (770) 은, 전이 신택스 엘리먼트들 및 유지된 전이 상태 정보에 기초하여, 에너지 보상된 주변 HOA 계수들 (47') 을 페이드-인 또는 페이드-아웃하여, 조정된 주변 HOA 계수들 (47'') 을 HOA 계수 포뮬레이션 유닛 (82) 으로 출력할 수도 있다. 페이드 유닛 (770) 은 또한, 신택스 엘리먼트들 및 유지된 전이 상태 정보에 기초하여, 보간된 포어그라운드 V[k] 벡터들 (55k'') 의 대응하는 하나 이상의 엘리먼트들을 페이드-아웃 또는 페이드-인하여, 조정된 포어그라운드 V[k] 벡터들 (55k''') 을 포어그라운드 포뮬레이션 유닛 (78) 으로 출력할 수도 있다 (142).
오디오 디코딩 디바이스 (24) 는 포어그라운드 포뮬레이션 유닛 (78) 을 호출할 수도 있다. 포어그라운드 포뮬레이션 유닛 (78) 은 조정된 포어그라운드 방향 정보 (55k''') 와의 nFG 신호들 (49') 의 매트릭스 곱셈을 수행하여, 포어그라운드 HOA 계수들 (65) 을 획득할 수도 있다 (144). 오디오 디코딩 디바이스 (24) 는 또한 HOA 계수 포뮬레이션 유닛 (82) 을 호출할 수도 있다. HOA 계수 포뮬레이션 유닛 (82) 은 HOA 계수들 (11') 을 획득하기 위해 포어그라운드 HOA 계수들 (65) 을 조정된 주변 HOA 계수들 (47'') 에 가산할 수도 있다 (146).
본 개시물의 기법들에 따르면, 오디오 디코딩 디바이스 (24) 는 생성 및 재생 스크린 사이즈에 기초하여 HOA 효과 매트릭스를 계산할 수도 있다. HOA 효과 매트릭스는 그후 스크린-관련된 HOA 렌더링 매트릭스를 생성하기 위해 주어진 HOA 렌더링 매트릭스 R 로 곱해질 수도 있다. 일부 구현예들에서, HOA 렌더링 매트릭스의 적응은 런-타임 복잡성이 증가하지 않도록, 예를 들어, 오디오 디코딩 디바이스 (24) 의 초기화 단계 동안, 오프라인으로 이루어질 수도 있다.
하나의 제안된 본 개시물의 기법은 구
Figure 112017033305657-pct00032
상의 900 개 동일하게 이격된 샘플링 지점을 이용하며, 샘플링 지점들의 각각은 ISO/IEC DIS 23008-3, Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio (이하, "DIS 23008") 의 부속서 F.9 에 설명된 바와 같이, 방향
Figure 112017033305657-pct00033
로 정의된다. 그들 방향들에 기초하여, 오디오 디코딩 디바이스는 DIS 23008 의 부속서 F.1.5 에서 약술된 바와 같이 모드 매트릭스 Ψ900 를 계산할 수도 있다. 그들 900 개의 샘플링 지점들의 방향들은 맵핑 함수를 통해서 수정되며, 수정된 모드 매트릭스 Ψm900 가 그에 따라서 계산된다. 스크린-관련된 오디오 오브젝트들과 스크린-관련된 HOA 콘텐츠 사이의 부정합을 피하기 위해, DIS 23008 의 조항 18.3 에 이미 설명된 동일한 맵핑 함수들이 사용된다. 그러면, 효과 매트릭스 F 는 다음과 같이 계산된다:
Figure 112017033305657-pct00034
그러면, 스크린-관련된 렌더링 매트릭스는 다음과 같이 계산된다:
Figure 112017033305657-pct00035
이 프로세싱 단계의 임의의 반복을 피하기 위해 매트릭스
Figure 112017033305657-pct00036
를 사전-계산하여 저장하는 것이 가능하다. D 를 발생시키기 위한 방정식 (1) 및 (2) 에서의 나머지 연산들의 총 수는 (900+M)*(N+1)4 이다. 차수 N=4 및 M=22 개의 스피커들을 갖는 렌더링 매트릭스에 있어서, 복잡성은 약 0.58 가중된 MOPS 이다.
본 개시물의 스크린-기반의 적응 기법들의 제 1 예가 이하 도 7 내지 도 11 을 참조하여 설명될 것이다. 도 7a 는 참조 스크린에 대한 방위각 각도를 뷰잉 윈도우에 대한 방위각 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 7b 는 참조 스크린에 대한 고도 각도를 뷰잉 윈도우에 대한 고도 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 7a 및 도 7b 의 예에서, 참조 스크린의 각도들은 29 내지 -29 도 방위각 및 16.3 내지 -16.3 도 고도이며, 뷰잉 윈도우의 각도들은 58 내지 -58 도 방위각 및 32.6 내지 -32.6 도 고도이다. 따라서, 도 7a 및 도 7b 의 예에서, 뷰잉 윈도우는 참조 스크린의 2배이다.
본 개시물에서 사용될 때, 뷰잉 윈도우는 비디오를 재생하는데 사용되는 스크린 중 일부 또는 모두를 지칭할 수도 있다. 텔레비전, 태블릿, 폰 또는 다른 이러한 디바이스 상에 영화를 풀 스크린 모드에서 플레이백할 때, 뷰잉 윈도우는 디바이스의 전체 스크린에 대응할 수도 있다. 다른 예들에서, 그러나, 뷰잉 윈도우는 디바이스의 전체 스크린보다 적은 스크린에 대응할 수도 있다. 예를 들어, 4개의 스포츠 이벤트들을 동시에 플레이백하는 디바이스는 하나의 스크린 상에 4개의 별개의 뷰잉 윈도우들을 포함할 수도 있거나, 또는 디바이스는 비디오를 플레이백하기 위해 단일 뷰잉 윈도우를 가질 수도 있으며 다른 콘텐츠를 디스플레이하기 위해 나머지 스크린 영역을 이용할 수도 있다. 뷰잉 윈도우의 시야는 뷰잉 윈도우의 물리적인 사이즈 및/또는 뷰잉 윈도우로부터 뷰잉 로케이션까지의 (측정되거나 또는 추정된) 거리와 같은 파라미터들에 기초하여 결정될 수도 있다. 시야는 예를 들어, 방위각 각도들 및 고도 각도들로 기술될 수도 있다.
본 개시물에서 사용될 때, 참조 스크린은 HOA 오디오 데이터의 음장에 대응하는 시야를 지칭한다. 예를 들어, HOA 오디오 데이터는 어떤 시야 (즉, 참조 스크린) 에 대해서 발생되거나 또는 캡쳐될 수도 있지만, 상이한 시야 (예컨대, 뷰잉 윈도우의 시야) 에 대해서 재생될 수도 있다. 본 개시물에서 설명되는 바와 같이, 참조 스크린은 오디오 디코더가 참조 스크린과는 사이즈, 로케이션, 또는 어떤 다른 이러한 특성이 상이한 스크린 상에서의 로컬 플레이백을 위해 HOA 오디오 데이터를 적응시킬 수도 있는 참조기준 (reference) 을 제공한다. 설명의 목적을 위해, 본 개시물에서의 어떤 기법들은 생성 스크린 및 재생 스크린을 참조하여 설명될 수도 있다. 이들 동일한 기법들은 참조 스크린들 및 뷰잉 윈도우들에 적용가능한 것으로 이해되어야 한다.
도 8 은 제 1 예에 대한 참조 스크린 및 뷰잉 윈도우의 효과로서 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다. 도 8 에서, 도트들은 맵핑 목적지에 대응하지만, 도트들로 들어가는 라인들은 맵핑 트레일들 (trails) 에 대응한다. 파선의 직사각형은 참조 스크린 사이즈에 대응하며, 실선의 직사각형은 뷰잉 윈도우 사이즈에 대응한다.
도 61 은 얼마나 스크린-관련된 효과가 콘텐츠의 HOA 차수의 증가를 초래할 수도 있는지의 일 예를 나타낸다. 도 61 의 예에서, 효과 매트릭스는 3번째 차수 입력 자료로부터 49 개의 HOA 계수들 (6번째 차수) 을 생성하도록 계산된다. 그러나, 매트릭스가 (N+1)2 x (N+1)2 엘리먼트들을 가지는 정사각형 매트릭스로서 계산되면 만족스러운 결과들이 또한 얻어질 수도 있다.
도 10 은 효과 매트릭스가 라우드스피커 렌더링 매트릭스에 사전 렌더링되어 적용됨으로써, 런타임에 어떤 추가 계산도 요하지 않을 수도 있는지의 일 예를 나타낸다.
도 11 은 효과 매트릭스가 고차 콘텐츠 (예컨대, 6번째 차수) 를 초래할 수도 있으면, 이 차수에서의 렌더링 매트릭스가 원래 차수 (여기서는, 3번째 차수) 에서 최종 렌더링 매트릭스를 사전-계산하기 위해 증가될 수도 있는 방법의 일 예를 나타낸다.
본 개시물의 스크린-기반의 적응 기법들의 제 2 예가 이하 도 12 내지 도 13 을 참조하여 설명될 것이다. 도 12a 는 참조 스크린에 대한 방위각 각도를 뷰잉 윈도우에 대한 방위각 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 12b 는 참조 스크린에 대한 고도 각도를 뷰잉 윈도우에 대한 고도 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 12a 및 도 12b 의 예에서, 참조 스크린의 각도들은 29 내지 -29 도 방위각 및 16.3 내지 -16.3 도 고도이며, 뷰잉 윈도우의 각도들은 29 내지 -29 도 방위각 및 32.6 내지 -32.6 도 고도이다. 따라서, 도 12a 및 도 12b 의 예에서, 뷰잉 윈도우는 높이가 2배이지만 참조 스크린과 동일한 폭을 갖는다. 도 12c 는 제 2 예에 대한 계산된 HOA 효과 매트릭스를 나타낸다.
도 13 은 제 2 예에 대한 참조 스크린 및 뷰잉 윈도우의 효과로서의 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다. 도 13 에서, 도트들은 맵핑 목적지에 대응하지만, 도트들로 들어가는 라인들은 맵핑 트레일들에 대응한다. 파선의 직사각형은 참조 스크린 사이즈에 대응하며, 실선의 직사각형은 뷰잉 윈도우 사이즈에 대응한다.
본 개시물의 스크린-기반의 적응 기법들의 제 3 예가 이하 도 14 내지 도 15 를 참조하여 설명될 것이다. 도 14a 는 참조 스크린에 대한 방위각 각도를 뷰잉 윈도우에 대한 방위각 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 14b 는 참조 스크린에 대한 고도 각도를 뷰잉 윈도우에 대한 고도 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 14a 및 도 14b 의 예에서, 참조 스크린의 각도들은 29 내지 -29 도 방위각 및 16.3 내지 -16.3 도 고도이며, 뷰잉 윈도우의 각도는 58 내지 -58 도 방위각 및 16.3 내지 -16.3 도 고도이다. 따라서, 도 14a 및 도 14b 의 예에서, 뷰잉 윈도우는 참조 스크린보다 2배 넓이이지만 참조 스크린과 동일한 높이를 갖는다. 도 14c 는 제 3 예에 대한 계산된 HOA 효과 매트릭스를 나타낸다.
도 15 는 제 3 예에 대한 참조 스크린 및 뷰잉 윈도우의 효과로서의 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다. 도 15 에서, 도트들은 맵핑 목적지에 대응하지만, 도트들로 들어가는 라인들은 맵핑 트레일들에 대응한다. 파선의 직사각형은 참조 스크린 사이즈에 대응하며, 실선의 직사각형은 뷰잉 윈도우 사이즈에 대응한다.
본 개시물의 스크린-기반의 적응 기법들의 제 4 예가 이하 도 16 내지 도 17 을 참조하여 설명될 것이다. 도 16a 는 참조 스크린에 대한 방위각 각도를 뷰잉 윈도우에 대한 방위각 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 16b 는 참조 스크린에 대한 고도 각도를 뷰잉 윈도우에 대한 고도 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 16a 및 도 16b 의 예에서, 참조 스크린의 각도들은 29 내지 -29 도 방위각 및 16.3 내지 -16.3 도 고도이며, 뷰잉 윈도우의 각도들은 49 내지 -9 도 방위각 및 16.3 내지 -16.3 도 고도이다. 따라서, 도 14a 및 도 14b 의 예에서, 뷰잉 윈도우는 참조 스크린보다 2배 넓이이지만 참조 스크린과 동일한 높이를 갖는다. 도 16c 는 제 3 예에 대한 계산된 HOA 효과 매트릭스를 나타낸다.
도 17 은 제 4 예에 대한 참조 스크린 및 뷰잉 윈도우의 효과로서 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다. 도 17 에서, 도트들은 맵핑 목적지에 대응하지만, 도트들로 들어가는 라인들은 맵핑 트레일들에 대응한다. 파선의 직사각형은 참조 스크린 사이즈에 대응하며, 실선의 직사각형은 뷰잉 윈도우 사이즈에 대응한다.
본 개시물의 스크린-기반의 적응 기법들의 제 5 예가 이하 도 18 내지 도 19 를 참조하여 설명될 것이다. 도 18a 는 참조 스크린에 대한 방위각 각도를 뷰잉 윈도우에 대한 방위각 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 18b 는 참조 스크린에 대한 고도 각도를 뷰잉 윈도우에 대한 고도 각도에 맵핑하는데 사용될 수도 있는 맵핑 함수의 일 예를 나타낸다. 도 18a 및 도 18b 의 예에서, 참조 스크린의 각도들은 29 내지 -29 도 방위각 및 16.3 내지 -16.3 도 고도이며, 뷰잉 윈도우의 각도들은 49 내지 -9 도 방위각 및 16.3 내지 -16.3 도 고도이다. 따라서, 도 18a 및 도 18b 의 예에서, 뷰잉 윈도우는 방위각 로케이션이 참조 스크린에 대해 시프트된다. 도 18c 는 제 5 예에 대한 계산된 HOA 효과 매트릭스를 나타낸다.
도 19 는 제 4 예에 대한 참조 스크린 및 뷰잉 윈도우의 효과로서 음장의 원하는 스크린-관련된 확장 효과에 대한 벡터 필드를 나타낸다. 도 19 에서, 도트들은 맵핑 목적지에 대응하지만, 도트들로 들어가는 라인들은 맵핑 트레일들에 대응한다. 파선의 직사각형은 참조 스크린 사이즈에 대응하며, 실선의 직사각형은 뷰잉 윈도우 사이즈에 대응한다.
도 20a 내지 도 20c 는 본 개시물에서 설명된 오디오의 스크린-기반의 적응을 위한 본 기법들의 여러 양태들을 구현할 수도 있는 오디오 디코딩 디바이스 (900) 의 다른 예를 예시하는 블록도들이다. 간결성을 위해, 오디오 디코딩 디바이스 (900) 의 모든 양태들이 도 20a - 도 20c 에 도시되지는 않는다. 오디오 디코딩 디바이스 (900) 의 특징들 및 기능들은 도 2 및 도 4 와 관련하여 위에서 설명된 오디오 디코딩 디바이스 (24) 와 같은, 본 개시물에서 설명된 다른 오디오 디코딩 디바이스들의 특징들 및 기능들과 함께 구현될 수도 있는 것으로 의도된다.
오디오 디코딩 디바이스 (900) 는 USAC 디코더 (902), HOA 디코더 (904), 로컬 렌더링 매트릭스 발생기 (906), 시그널링된/로컬 렌더링 매트릭스 결정기 (908), 및 라우드스피커 렌더러 (910) 를 포함한다. 오디오 디코딩 디바이스 (900) 는 인코딩된 비트스트림 (예컨대, MPEG-H 3D 오디오 비트스트림) 을 수신한다. USAC 디코더 (902) 및 HOA 디코더 (904) 는 위에서 설명된 USAC 및 HOA 오디오 디코딩 기법들을 이용하여 비트스트림을 디코딩한다. 로컬 렌더링 매트릭스 발생기 (906) 는 디코딩된 오디오를 플레이백하고 있을 시스템의 로컬 라우드스피커 구성에 적어도 부분적으로 기초하여 하나 이상의 렌더링 매트릭스들을 발생시킨다. 비트스트림은 또한 인코딩된 비트스트림으로부터 디코딩될 수도 있는 하나 이상의 렌더링 매트릭스들을 포함할 수도 있다. 로컬/시그널링된 렌더링 매트릭스 결정기 (908) 는 로컬로 발생된 또는 시그널링된 렌더링 매트릭스들 중 어느 것을 오디오 데이터를 플레이백할 때 사용할 지를 결정한다. 라우드스피커 렌더러 (910) 는 선택된 렌더링 매트릭스에 기초하여 오디오를 하나 이상의 스피커들로 출력한다.
도 20b 는 오디오 디코딩 디바이스 (900) 의 다른 예를 예시하는 블록도이다. 도 20b 의 예에서, 오디오 디코딩 디바이스 (900) 는 효과 매트릭스 발생기 (912) 를 더 포함한다. 효과 매트릭스 발생기 (912) 는 비트스트림으로부터 참조 스크린 사이즈를 결정하고, 대응하는 비디오 데이터를 디스플레이하는데 사용되는 시스템에 기초하여, 뷰잉 윈도우 사이즈를 결정할 수도 있다. 참조 스크린 사이즈 및 뷰잉 윈도우 사이즈에 기초하여, 효과 매트릭스 발생기 (912) 는 로컬/시그널링된 렌더링 매트릭스 결정기 (908) 에 의해 선택된 렌더링 매트릭스 (R') 를 수정하기 위해 효과 매트릭스 (F) 를 발생시킬 수도 있다. 도 20b 의 예에서, 라우드스피커 렌더러 (910) 는 수정된 렌더링 매트릭스 (D) 에 기초하여 오디오를 하나 이상의 스피커들로 출력할 수도 있다. 도 20c 의 예에서, 오디오 디코딩 디바이스 (900) 는 HOADecoderConfig() 에서 플래그 isScreenRelative 플래그 == 1 인 경우에만 효과를 렌더링하도록 구성될 수도 있다.
본 개시물의 기법들에 따르면, 효과 매트릭스 발생기 (912) 는 또한 스크린 회전에 응답하여 효과 매트릭스를 발생시킬 수도 있다. 효과 매트릭스 발생기 (912) 는 예를 들어, 다음 알고리즘에 따라서 효과 매트릭스를 발생시킬 수도 있다. 의사 코드에서의, 새로운 맵핑 함수에 대한 예시적인 알고리즘은, 다음과 같다:
%1. 상대적인 스크린 맵핑 파라미터를 계산한다
originalWidth = originalAngles.azi(1) - originalAngles.azi(2);
originalHeight = originalAngles.ele(1) - originalAngles.ele(2);
newWidth = newAngles.azi(1) - newAngles.azi(2);
newHeight = newAngles.ele(1) - newAngles.ele(2);
%2. 참조 스크린의 중심 및 뷰잉 윈도우의 중심을 찾는다.
originalCenter.azi = originalAngles.azi(1) - originalWidth * 0.5;
originalCenter.ele = originalAngles.ele(1) - originalHeight * 0.5;
newCenter.azi = newAngles.azi(1) - newWidth * 0.5;
newCenter.ele = newAngles.ele(1) - newHeight * 0.5;
%3. 상대적인 스크린 관련된 맵핑을 행한다
heightRatio = newHeight/originalHeight;
widthRatio = newWidth/originalWidth;
생성 및 뷰잉 윈도우의 절대 위치들 대신, heightRatio 및 widthRatio 를 이용한 MPEG-H 스크린 관련된 맵핑 함수를 이용한, 균등하게 분산된 공간 위치들의 맵핑.
%4. 음장을 회전한다
(3.) 에서 프로세싱된 공간 위치를 originalCenter 로부터 newCenter 로 회전한다.
%5. HOA 효과 매트릭스를 계산한다
원래 공간 위치들 및 (4. 로부터의) 프로세싱된 공간 위치들을 이용한다
본 개시물의 기법들에 따르면, 효과 매트릭스 발생기 (912) 는 또한 스크린 회전에 응답하여 효과 매트릭스를 발생시킬 수도 있다. 효과 매트릭스 발생기 (912) 는 예를 들어, 다음 알고리즘에 따라서 효과 매트릭스를 발생시킬 수도 있다.
1. 상대적인 스크린 맵핑 파라미터:
widthRatio = localWidth / productionWidth;
heightRatio = localHeight /productionHeight;
를
productionWidth = production_Azi_L - production_Azi_R;
productionHeight = production_Ele_Top - production_Ele_Down;
localWidth = local_Azi_L - local_Azi_R;
localHeight = local_Ele_Top - local_Ele_Down;
로 계산한다;
2. 규범적인 생성 스크린의 중심 좌표들 및 로컬 재생 스크린의 중심을 계산한다:
productionCenter_Azi = production_Azi_L - productionWidth /2;
productionCenter_Ele = production_Ele_Top - productionHeight /2;
localCenter_Azi = local_Azi_L - localWidth/2;
localCenter_Ele = local_Ele_Top - localHeight/2;
3. 스크린-관련된 맵핑:
Figure 112017033305657-pct00037
에의 heightRatio 및 widthRatio 를 이용한 스크린-관련된 맵핑 함수에 의한
Figure 112017033305657-pct00038
의 맵핑.
4. 위치들을 회전한다:
회전 커널 R 을 이용하여 공간 위치
Figure 112017033305657-pct00039
를 productionCenter 좌표로부터 localCenter 좌표로 회전시켜,
Figure 112017033305657-pct00040
이 된다
Figure 112017033305657-pct00041
Y-축 회전(피치) Z-축 회전(요)
5. HOA 효과 매트릭스를 계산한다:
Figure 112017033305657-pct00042
여기서,
Figure 112017033305657-pct00043
는
Figure 112017033305657-pct00044
로부터 생성된 모드 매트릭스이다.
도 20c 는 오디오 디코딩 디바이스 (900) 의 다른 예를 예시하는 블록도이다. 도 20c 의 예에서, 오디오 디코딩 디바이스 (900) 는 일반적으로 도 20b 의 예에 대해 위에서 설명된 동일한 방법으로 동작하지만, 도 20c 의 예에서, 효과 매트릭스 발생기 (912) 는 줌 동작에 대한 스케일링 인자를 결정하고, 스케일링 정보, 참조 스크린 사이즈, 및 뷰잉 윈도우 사이즈에 기초하여, 로컬/시그널링된 렌더링 매트릭스 결정기 (908) 에 의해 선택된 렌더링 매트릭스 (R') 를 수정하기 위해 효과 매트릭스 (F) 를 발생시키도록 추가로 구성된다. 도 20c 의 예에서, 라우드스피커 렌더러 (910) 는 수정된 렌더링 매트릭스 (D) 에 기초하여 오디오를 하나 이상의 스피커들로 출력할 수도 있다. 도 20c 의 예에서, 오디오 디코딩 디바이스 (900) 는 HOADecoderConfig() 에서 플래그 isScreenRelativeHOA 플래그 == 1 인 경우에만 효과를 렌더링하도록 구성될 수도 있다.
(테이블 1 로서 아래에 나타낸) HOADecoderConfig() 신택스 테이블에서의 플래그 isScreenRelativeHOA 는 재생 스크린 사이즈에의 스크린-관련된 HOA 콘텐츠의 적응을 가능하게 하기에 충분하다. 명목상의 생성 스크린 상의 정보는 메타데이터 오디오 엘리먼트의 부분으로서 별개로 시그널링될 수도 있다.
테이블 1 - DIS 23008 에서의 테이블 120, HOADecoderConfig() 의 신택스
Figure 112017033305657-pct00045
오디오 플레이백 시스템 (16) 과 같은, 본 개시물의 오디오 플레이백 시스템은 참조 스크린의 하나 이상의 FOV 파라미터들 (예컨대, FOV 파라미터들 (13')) 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 하나 이상의 스피커들 (예컨대, 스피커들 (3)) 을 통해서 HOA 오디오 신호를 렌더링함으로써 HOA 오디오 신호를 렌더링하도록 구성될 수도 있다. 렌더링은 예를 들어, 사용자 개시된 줌 동작에 응답하여 획득된 스케일링 인자에 추가로 기초할 수도 있다. 일부 예들에서, 참조 스크린에 대한 하나 이상의 FOV 파라미터들은 참조 스크린의 중심의 로케이션 및 뷰잉 윈도우의 중심의 로케이션을 포함할 수도 있다.
오디오 플레이백 시스템 (16) 은 예를 들어, HOA 오디오 신호를 포함하는 인코딩된 오디오 데이터의 비트스트림을 수신할 수도 있다. 인코딩된 오디오 데이터는 대응하는 비디오 데이터와 연관될 수도 있다. 오디오 플레이백 시스템 (16) 은 비트스트림으로부터, 대응하는 비디오 데이터에 대한 참조 스크린의 하나 이상의 FOV 파라미터들 (예컨대, FOV 파라미터들 (13')) 을 획득할 수도 있다.
오디오 플레이백 시스템 (16) 은 또한 대응하는 비디오 데이터를 디스플레이하기 위해 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 획득할 수도 있다. 뷰잉 윈도우의 FOV 파라미터들은 사용자 입력, 자동화된 측정치들, 디폴트 값들, 또는 기타 등등의 임의의 조합에 기초하여 로컬로 결정될 수도 있다.
오디오 플레이백 시스템 (16) 은 뷰잉 윈도우의 하나 이상의 FOV 파라미터들 및 참조 스크린의 하나 이상의 FOV 파라미터들에 기초하여, 오디오 렌더러들 (22) 로부터, 인코딩된 오디오 데이터에 대해, 렌더러를 결정하고, 오디오 렌더러들 (22) 중 하나를 수정하고, 수정된 렌더러 및 인코딩된 오디오 데이터에 기초하여, 하나 이상의 스피커들을 통해 HOA 오디오 신호를 렌더링할 수도 있다. 오디오 플레이백 시스템 (16) 은 추가로 줌 동작이 수행될 때의 스케일링 인자에 기초하여 오디오 렌더러들 (22) 중 하나를 수정할 수도 있다.
오디오 플레이백 시스템 (16) 은 예를 들어, 플레이백에 이용가능한 스피커들의 수 및/또는 하나 이상의 스피커들의 공간 지오메트리를 포함하지만 이에 한정되지 않는, 스피커 구성에 기초하여, 인코딩된 오디오 데이터에 대한 렌더러를 결정할 수도 있다.
오디오 렌더러들 (22) 은 예를 들어, 인코딩된 오디오 데이터를 재생 포맷으로 변환하는 알고리즘을 포함하거나 및/또는 렌더링 포맷을 이용할 수도 있다. 렌더링 포맷은 예를 들어, 매트릭스, 레이, 라인, 또는 벡터 중 임의의 것을 포함할 수도 있다. 오디오 렌더러들 (22) 은 비트스트림으로 시그널링되거나 또는 플레이백 환경에 기초하여 결정될 수도 있다.
참조 스크린에 대한 하나 이상의 FOV 파라미터들은 참조 스크린에 대한 하나 이상의 방위각 각도들을 포함할 수도 있다. 참조 스크린에 대한 하나 이상의 방위각 각도들은 참조 스크린에 대한 좌측 방위각 각도 및 참조 스크린에 대한 우측 방위각 각도를 포함할 수도 있다. 참조 스크린에 대한 하나 이상의 FOV 파라미터들은 대안적으로 또는 추가적으로 참조 스크린에 대한 하나 이상의 고도 각도들을 포함할 수도 있다. 참조 스크린에 대한 하나 이상의 고도 각도들은 참조 스크린에 대한 상부 고도 각도 및 참조 스크린에 대한 하부 고도 각도를 포함할 수도 있다.
뷰잉 윈도우에 대한 하나 이상의 FOV 파라미터들은 뷰잉 윈도우에 대한 하나 이상의 방위각 각도들을 포함할 수도 있다. 뷰잉 윈도우에 대한 하나 이상의 방위각 각도들은 뷰잉 윈도우에 대한 좌측 방위각 각도 및 뷰잉 윈도우에 대한 우측 방위각 각도를 포함할 수도 있다. 뷰잉 윈도우에 대한 하나 이상의 FOV 파라미터들은 뷰잉 윈도우에 대한 하나 이상의 방위각 각도들을 포함할 수도 있다. 뷰잉 윈도우에 대한 하나 이상의 고도 각도들은 뷰잉 윈도우에 대한 상부 고도 각도 및 뷰잉 윈도우에 대한 하부 고도 각도를 포함할 수도 있다.
오디오 플레이백 시스템 (16) 은 참조 스크린의 하나 이상의 FOV 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 스피커의 방위각 각도를 수정하기 위한 방위각 각도 맵핑 함수를 결정하고 방위각 각도 맵핑 함수에 기초하여 하나 이상의 스피커들의 제 1 스피커에 대한 방위각 각도를 수정하여 제 1 스피커에 대한 수정된 방위각 각도를 발생시킴으로써 오디오 렌더러들 (22) 중 하나 이상을 수정할 수도 있다.
방위각 각도 맵핑 함수는 다음을 포함한다:
Figure 112017033305657-pct00046
여기서, φ' 는 제 1 스피커에 대한 수정된 방위각 각도를 나타내며;
φ 는 제 1 스피커에 대한 방위각 각도를 나타내고;
Figure 112017033305657-pct00047
는 참조 스크린의 좌측 방위각 각도를 나타내며;
Figure 112017033305657-pct00048
는 참조 스크린의 우측 방위각 각도를 나타내고;
Figure 112017033305657-pct00049
는 뷰잉 윈도우의 좌측 방위각 각도를 나타내며; 그리고,
Figure 112017033305657-pct00050
는 뷰잉 윈도우의 우측 방위각 각도를 나타낸다.
오디오 플레이백 시스템 (16) 은 참조 스크린의 하나 이상의 FOV 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 스피커의 고도 각도를 수정하기 위한 고도 각도 맵핑 함수를 결정하고 그리고 고도 각도 맵핑 함수에 기초하여 하나 이상의 스피커들의 제 1 스피커에 대한 고도 각도를 수정함으로써 렌더러를 수정할 수도 있다.
고도 각도 맵핑 함수는 다음과 같다:
Figure 112017033305657-pct00051
여기서, θ' 는 제 1 스피커에 대한 수정된 고도 각도를 나타내며;
θ 는 제 1 스피커에 대한 고도 각도를 나타내고;
Figure 112017033305657-pct00052
는 참조 스크린의 상부 고도 각도를 나타내고;
Figure 112017033305657-pct00053
는 참조 스크린의 저부 고도 각도를 나타내고;
Figure 112017033305657-pct00054
는 뷰잉 윈도우의 상부 고도 각도를 나타내며; 그리고,
Figure 112017033305657-pct00055
는 뷰잉 윈도우의 저부 고도 각도를 나타낸다.
오디오 플레이백 시스템 (16) 은 뷰잉 윈도우에서의 사용자 개시된 줌 기능에 응답하여 렌더러를 수정할 수도 있다. 예를 들어, 사용자 개시된 줌 기능에 응답하여, 오디오 플레이백 시스템 (16) 은 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 결정하고, 참조 스크린의 하나 이상의 FOV 파라미터들 및 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여, 렌더러를 수정할 수도 있다. 오디오 플레이백 시스템 (16) 은 또한 스케일링 인자 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 결정하고, 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들 및 참조 스크린의 하나 이상의 FOV 파라미터들에 기초하여 스피커의 방위각 각도를 수정하기 위한 방위각 각도 맵핑 함수를 결정하고, 그리고 방위각 각도 맵핑 함수에 기초하여 하나 이상의 스피커들의 제 1 스피커에 대한 방위각 각도를 수정하여, 제 1 스피커에 대한 수정된 방위각 각도를 발생시킴으로써, 렌더러를 수정할 수도 있다.
방위각 각도 맵핑 함수는 다음을 포함한다:
Figure 112017033305657-pct00056
여기서, φ' 는 제 1 스피커에 대한 수정된 방위각 각도를 나타내며;
φ 는 제 1 스피커에 대한 방위각 각도를 나타내고;
Figure 112017033305657-pct00057
는 참조 스크린의 좌측 방위각 각도를 나타내며;
Figure 112017033305657-pct00058
는 참조 스크린의 우측 방위각 각도를 나타내고;
Figure 112017033305657-pct00059
는 줌된 뷰잉 윈도우의 좌측 방위각 각도를 나타내며; 그리고,
Figure 112017033305657-pct00060
는 줌된 뷰잉 윈도우의 우측 방위각 각도를 나타낸다.
오디오 플레이백 시스템 (16) 은 스케일링 인자 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 결정하고, 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들 및 참조 스크린의 하나 이상의 FOV 파라미터들에 기초하여 스피커의 고도 각도를 수정하기 위한 고도 각도 맵핑 함수를 결정하고, 그리고 고도 각도 맵핑 함수에 기초하여 하나 이상의 스피커들의 제 1 스피커에 대한 고도 각도를 수정하여, 제 1 스피커에 대한 수정된 고도 각도를 발생시킴으로써, 렌더러를 수정할 수도 있다.
고도 각도 맵핑 함수는 다음과 같다:
Figure 112017033305657-pct00061
여기서, θ' 는 제 1 스피커에 대한 수정된 고도 각도를 나타내며;
θ 는 제 1 스피커에 대한 고도 각도를 나타내고;
Figure 112017033305657-pct00062
는 참조 스크린의 상부 고도 각도를 나타내고;
Figure 112017033305657-pct00063
는 참조 스크린의 저부 고도 각도를 나타내고;
Figure 112017033305657-pct00064
는 줌된 뷰잉 윈도우의 상부 고도 각도를 나타내며; 그리고,
Figure 112017033305657-pct00065
는 줌된 뷰잉 윈도우의 저부 고도 각도를 나타낸다.
오디오 플레이백 시스템 (16) 은 뷰잉 윈도우에 대한 하나 이상의 방위각 각도들 및 스케일링 인자에 기초하여 줌된 뷰잉 윈도우에 대한 하나 이상의 방위각 각도들을 결정함으로써 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 결정할 수도 있다. 오디오 플레이백 시스템 (16) 은 뷰잉 윈도우에 대한 하나 이상의 고도 각도들 및 스케일링 인자에 기초하여 줌된 뷰잉 윈도우에 대한 하나 이상의 고도 각도들을 결정함으로써 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 결정할 수도 있다. 오디오 플레이백 시스템 (16) 은 참조 스크린의 하나 이상의 FOV 파라미터들에 기초하여 참조 스크린의 중심을 결정하고 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 뷰잉 윈도우의 중심을 결정할 수도 있다.
오디오 플레이백 시스템 (16) 은 인코딩된 오디오 데이터에 대한 렌더러를 결정하고, 뷰잉 윈도우의 중심 및 참조 스크린의 중심에 기초하여 렌더러를 수정하고, 그리고 수정된 렌더러 및 인코딩된 오디오 데이터에 기초하여 하나 이상의 스피커들을 통해 HOA 오디오 신호를 렌더링하도록 구성될 수도 있다.
오디오 플레이백 시스템 (16) 은 다음 알고리즘에 따라서 뷰잉 윈도우의 중심을 결정할 수도 있다:
originalWidth = originalAngles.azi(1) - originalAngles.azi(2);
originalHeight = originalAngles.ele(1) - originalAngles.ele(2);
newWidth = newAngles.azi(1) - newAngles.azi(2);
newHeight = newAngles.ele(1) - newAngles.ele(2);
originalCenter.azi = originalAngles.azi(1) - originalWidth * 0.5;
originalCenter.ele = originalAngles.ele(1) - originalHeight * 0.5;
newCenter.azi = newAngles.azi(1) - newWidth * 0.5;
newCenter.ele = newAngles.ele(1) - newHeight * 0.5,
여기서, "originalWidth" 는 참조 스크린의 폭을 나타내고; "originalHeight" 는 참조 스크린의 높이를 나타내며; "originalAngles.azi(1)" 은 참조 스크린의 제 1 방위각 각도를 나타내고; "originalAngles.azi(2)" 는 참조 스크린의 제 2 방위각 각도를 나타내며; "originalAngles.ele(1)" 는 참조 스크린의 제 1 고도 각도를 나타내고; "originalAngles.ele(2)" 는 참조 스크린의 제 2 고도 각도를 나타내며; "newWidth" 는 뷰잉 윈도우의 폭을 나타내고; "newHeight" 는 뷰잉 윈도우의 높이를 나타내며; "newAngles.azi(1)" 는 뷰잉 윈도우의 제 1 방위각 각도를 나타내고; "newAngles.azi(2)" 는 뷰잉 윈도우의 제 2 방위각 각도를 나타내며; "newAngles.ele(1)" 는 뷰잉 윈도우의 제 1 고도 각도를 나타내고; "newAngles.ele(2)" 는 뷰잉 윈도우의 제 2 고도 각도를 나타내며; "originalCenter.azi" 는 참조 스크린의 중심의 방위각 각도를 나타내고; "originalCenter.ele" 는 참조 스크린의 중심의 고도 각도를 나타내며; "newCenter.azi" 는 뷰잉 윈도우의 중심의 방위각 각도를 나타내고; "newCenter.ele" 는 뷰잉 윈도우의 중심의 고도 각도를 나타낸다.
오디오 플레이백 시스템 (16) 은 음장을 참조 스크린의 중심으로부터 뷰잉 윈도우의 중심으로 회전시킬 수도 있다.
HOA 오디오 신호는 MPEG-H 3D 규격 비트스트림의 부분일 수도 있다. 뷰잉 윈도우는 예를 들어, 재생 스크린 또는 재생 스크린의 부분일 수도 있다. 뷰잉 윈도우는 또한 로컬 스크린에 대응할 수도 있다. 참조 스크린은 예를 들어, 생성 스크린일 수도 있다.
오디오 플레이백 시스템 (16) 은 참조 스크린의 하나 이상의 FOV 파라미터들에 대한 값들이 디폴트 값들에 대응한다는 것을 나타내는 신택스 엘리먼트를 수신하거나 및/또는 참조 스크린의 하나 이상의 FOV 파라미터들에 대한 값들이 HOA 오디오 신호를 포함하는 비트스트림에 포함된 시그널링된 값들에 대응한다는 것을 나타내는 신택스 엘리먼트를 수신하도록 구성될 수도 있다.
도 21 은 본 개시물에서 설명된 스크린-기반의 적응 기법들을 수행할 때 오디오 디코딩 디바이스의 예시적인 동작을 예시하는 플로우차트이다. 도 21 의 기법들은 콘텐츠 소비자 디바이스 (14) 에 관하여 설명되지만, 도 21 의 기법들은 이러한 디바이스에만 반드시 한정되지는 않으며 다른 유형들의 오디오 렌더링 디바이스들에 의해 수행될 수도 있는 것으로 이해되어야 한다. 콘텐츠 소비자 디바이스 (14) 는 뷰잉 윈도우에 대한 하나 이상의 FOV 파라미터들 및 참조 스크린에 대한 하나 이상의 FOV 파라미터들을 획득한다 (1000). 콘텐츠 소비자 디바이스 (14) 는 예를 들어, HOA 오디오 신호를 포함하는 비트스트림으로부터 참조 스크린에 대한 하나 이상의 FOV 파라미터들을 획득할 수도 있다. 콘텐츠 소비자 디바이스 (14) 는 로컬 디스플레이의 사이즈와 같은 로컬 디스플레이의 특성들에 기초하여 뷰잉 윈도우에 대한 하나 이상의 FOV 파라미터들을 로컬로 획득할 수도 있다. FOV 파라미터들은 또한 디스플레이의 방위, 비디오를 디스플레이하는데 사용되는 줌의 양, 및 다른 이러한 특성들과 같은 특성들에 기초할 수도 있다. 참조 스크린의 하나 이상의 시야 FOV 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여, 콘텐츠 소비자 디바이스 (14) 는 하나 이상의 스피커들을 통해 HOA 오디오 신호를 렌더링한다 (1020).
전술한 기법들은 임의 개수의 상이한 상황들 및 오디오 생태계들에 대해 수행될 수도 있다. 다수의 예시적인 상황들이 아래에 설명되지만, 본 기법들은 예시적인 상황들에 한정되지 않아야 한다. 일 예시적인 오디오 생태계는 오디오 콘텐츠, 영화 스튜디오들, 음악 스튜디오들, 게이밍 오디오 스튜디오들, 채널 기반 오디오 콘텐츠, 코딩 엔진들, 게임 오디오 시스템들, 게임 오디오 코딩 / 렌더링 엔진들, 및 전달 시스템들을 포함할 수도 있다.
영화 스튜디오들, 음악 스튜디오들, 및 게이밍 오디오 스튜디오들은 오디오 콘텐츠를 수신할 수도 있다. 일부 예들에서, 오디오 콘텐츠는 획득의 출력을 나타낼 수도 있다. 영화 스튜디오들은 채널 기반 오디오 콘텐츠를 (예컨대, 2.0, 5.1, 및 7.1 에서) 예컨대, 디지털 오디오 워크스테이션 (DAW) 을 이용함으로써 출력할 수도 있다. 음악 스튜디오들은 채널 기반 오디오 콘텐츠를 (예컨대, 2.0, 및 5.1 에서) 예컨대, DAW 를 이용함으로써 출력할 수도 있다. 어느 경우에나, 코딩 엔진들은 전달 시스템들에 의한 출력을 위해 채널 기반 오디오 콘텐츠 기반의 하나 이상의 코덱들 (예컨대, AAC, AC3, Dolby True HD, Dolby 디지털 플러스, 및 DTS 마스터 오디오) 을 수신하여 인코딩할 수도 있다. 게이밍 오디오 스튜디오들은 하나 이상의 게임 오디오 시스템들을, 예컨대, DAW 를 이용함으로써 출력할 수도 있다. 게임 오디오 코딩 / 렌더링 엔진들은 전달 시스템들에 의한 출력을 위해 오디오 시스템들을 채널 기반 오디오 콘텐츠로 코딩하고 및/또는 렌더링할 수도 있다. 본 기법들이 수행될 수도 있는 다른 예시적인 상황은 브로드캐스트 리코딩 오디오 오브젝트들, 전문 오디오 시스템들, 소비자 온-디바이스 캡쳐, HOA 오디오 포맷, 온-디바이스 렌더링, 소비자 오디오, TV 및 부속물들, 및 카 오디오 시스템들을 포함할 수도 있는 오디오 생태계를 포함한다.
브로드캐스트 리코딩 오디오 오브젝트들, 전문 오디오 시스템들, 및 소비자 온-디바이스 캡쳐는 그들의 출력을 HOA 오디오 포맷을 이용하여 모두 코딩할 수도 있다. 이러한 방법으로, 오디오 콘텐츠는 HOA 오디오 포맷을 이용하여, 온-디바이스 렌더링, 소비자 오디오, TV, 및 부속물들, 및 카 오디오 시스템들을 이용하여 플레이백될 수도 있는 단일 표현으로 코딩될 수도 있다. 다시 말해서, 오디오 콘텐츠의 단일 표현은 오디오 플레이백 시스템 (16) 과 같은, (즉, 5.1, 7.1, 등과 같은 특정의 구성을 필요로 하는 것과는 반대로) 일반적인 오디오 플레이백 시스템에서 플레이백될 수도 있다.
본 기법들이 수행될 수도 있는 상황의 다른 예들은 획득 엘리먼트들, 및 플레이백 엘리먼트들을 포함할 수도 있는 오디오 생태계를 포함한다. 획득 엘리먼트들은 유선 및/또는 무선 획득 디바이스들 (acquisition devices) (예컨대, 아이겐 (Eigen) 마이크로폰들), 온-디바이스 서라운드 사운드 캡쳐, 및 모바일 디바이스들 (예컨대, 스마트폰들 및 태블릿들) 을 포함할 수도 있다. 일부 예들에서, 유선 및/또는 무선 획득 디바이스들은 유선 및/또는 무선 통신 채널(들) 을 통해서 모바일 디바이스에 커플링될 수도 있다.
본 개시물의 하나 이상의 기법들에 따르면, 모바일 디바이스가 음장을 획득하는데 사용될 수도 있다. 예를 들어, 모바일 디바이스는 유선 및/또는 무선 획득 디바이스들 및/또는 온-디바이스 서라운드 사운드 캡쳐 (예컨대, 모바일 디바이스에 통합된 복수의 마이크로폰들) 를 통해서 음장을 획득할 수도 있다. 모바일 디바이스는 그후 플레이백 엘리먼트들 중 하나 이상에 의한 플레이백을 위해 그 획득된 음장을 HOA 계수들로 코딩할 수도 있다. 예를 들어, 모바일 디바이스의 사용자는 라이브 이벤트 (예컨대, 미팅, 회의, 연극, 콘서트, 등) 를 리코딩하여 (그의 음장을 획득하여), 그 리코딩을 HOA 계수들로 코딩할 수도 있다.
모바일 디바이스는 또한 플레이백 엘리먼트들 중 하나 이상을 이용하여, HOA 코딩된 음장을 플레이백할 수도 있다. 예를 들어, 모바일 디바이스는 HOA 코딩된 음장을 디코딩하고, 플레이백 엘리먼트들 중 하나 이상이 음장을 재생하도록 하는 신호를 플레이백 엘리먼트들 중 하나 이상으로 출력할 수도 있다. 일 예로서, 모바일 디바이스는 무선 및/또는 무선 통신 채널들을 이용하여, 하나 이상의 스피커들 (예컨대, 스피커 어레이들, 사운드 바들, 등) 로 그 신호를 출력할 수도 있다. 다른 예로서, 모바일 디바이스는 도킹 솔루션들을 이용하여, 그 신호를 하나 이상의 도킹 스테이션들 및/또는 하나 이상의 도킹된 스피커들 (예컨대, 스마트 카들 및/또는 홈들에서의 사운드 시스템들) 로 출력할 수도 있다. 다른 예로서, 모바일 디바이스는 헤드폰 렌더링을 이용하여, 예컨대, 실제적인 바이노럴 사운드를 생성하기 위해 그 신호를 헤드폰들의 세트로 출력할 수도 있다.
일부 예들에서, 특정의 모바일 디바이스가 3D 음장을 획득할 뿐만 아니라 그 동일한 3D 음장을 추후에 플레이백할 수도 있다. 일부 예들에서, 모바일 디바이스는 플레이백을 위해, 3D 음장을 획득하고, 3D 음장을 HOA 로 인코딩하고, 그리고 인코딩된 3D 음장을 하나 이상의 다른 디바이스들 (예컨대, 다른 모바일 디바이스들 및/또는 다른 비-모바일 디바이스들) 로 송신할 수도 있다.
본 기법들이 수행될 수도 있는 또 다른 상황은 오디오 콘텐츠, 게임 스튜디오들, 코딩된 오디오 콘텐츠, 렌더링 엔진들, 및 전달 시스템들을 포함할 수도 있는 오디오 생태계를 포함한다. 일부 예들에서, 게임 스튜디오들은 HOA 신호들의 편집을 지원할 수도 있는 하나 이상의 DAW들을 포함할 수도 있다. 예를 들어, 하나 이상의 DAW들은 하나 이상의 게임 오디오 시스템들과 동작하도록 (예컨대, 그들과 작업하도록) 구성될 수도 있는 HOA 플러그인들 및/또는 툴들을 포함할 수도 있다. 일부 예들에서, 게임 스튜디오들은 HOA 를 지원하는 새로운 시스템 포맷들을 출력할 수도 있다. 어쨌든, 게임 스튜디오들은 전달 시스템들에 의한 플레이백을 위해, 코딩된 오디오 콘텐츠를 음장을 렌더링할 수도 있는 렌더링 엔진들로 출력할 수도 있다.
이 기법들은 또한 예시적인 오디오 획득 디바이스들에 대해 수행될 수도 있다. 예를 들어, 이 기법들은 3D 음장을 리코딩하도록 집합하여 구성되는 복수의 마이크로폰들을 포함할 수도 있는 아이겐 (Eigen) 마이크로폰에 대해 수행될 수도 있다. 일부 예들에서, 아이겐 마이크로폰의 복수의 마이크로폰들은 대략 4cm 의 반경을 가지는 실질적으로 구형인 볼의 표면 상에 로케이트될 수도 있다. 일부 예들에서, 오디오 인코딩 디바이스 (20) 는 마이크로폰으로부터 직접 오디오 비트스트림 (21) 을 출력하기 위해 아이겐 마이크로폰에 통합될 수도 있다.
다른 예시적인 오디오 획득 상황은 하나 이상의 아이겐 마이크로폰들과 같은 하나 이상의 마이크로폰들로부터 신호를 수신하도록 구성될 수도 있는 프로덕션 트럭을 포함할 수도 있다. 프로덕션 트럭은 또한 도 3 의 오디오 인코딩 디바이스 (20) 와 같은 오디오 인코더를 포함할 수도 있다.
모바일 디바이스는 또한, 일부 경우, 3D 음장을 리코딩하도록 집합하여 구성된 복수의 마이크로폰들을 포함할 수도 있다. 다시 말해서, 복수의 마이크로폰은 X, Y, Z 다이버시티를 가질 수도 있다. 일부 예들에서, 모바일 디바이스는 모바일 디바이스의 하나 이상의 다른 마이크로폰들에 대해 X, Y, Z 다이버시티를 제공하도록 회전될 수도 있는 마이크로폰을 포함할 수도 있다. 모바일 디바이스는 또한 도 3 의 오디오 인코딩 디바이스 (20) 와 같은 오디오 인코더를 포함할 수도 있다.
러기다이즈드 (ruggedized) 비디오 캡쳐 디바이스는 3D 음장을 리코딩하도록 더 구성될 수도 있다. 일부 예들에서, 러기다이즈드 비디오 캡쳐 디바이스는 활동에 참가하는 사용자의 헬멧에 부착될 수도 있다. 예를 들어, 러기다이즈드 비디오 캡쳐 디바이스는 사용자 급류 래프팅의 헬멧에 부착될 수도 있다. 이러한 방법으로, 러기다이즈드 비디오 캡쳐 디바이스는 사용자 전반에 걸친 액션 (예컨대, 사용자 뒤에서 부서지는 물, 사용자의 전면에서 말하고 있는 다른 래프터, 등) 을 나타내는 3D 음장을 캡쳐할 수도 있다.
이 기법들은 또한 3D 음장을 리코딩하도록 구성될 수도 있는 부속물 향상된 (accessory enhanced) 모바일 디바이스에 대해 수행될 수도 있다. 일부 예들에서, 모바일 디바이스는 하나 이상의 부속물들의 추가에 따라, 위에서 설명된 모바일 디바이스들과 유사할 수도 있다. 예를 들어, 아이겐 마이크로폰은 부속물 향상된 모바일 디바이스를 형성하기 위해 위에서 언급된 모바일 디바이스에 부착될 수도 있다. 이러한 방법으로, 부속물 향상된 모바일 디바이스는 단지 부속물 향상된 모바일 디바이스에 통합된 사운드 캡쳐 구성요소들을 이용하는 것보다 더 높은 품질 버전의 3D 음장을 캡쳐할 수도 있다.
본 개시물에서 설명하는 기법들의 여러 양태들을 수행할 수도 있는 예시적인 오디오 플레이백 디바이스들이 아래에서 추가로 설명된다. 본 개시물의 하나 이상의 기법들에 따르면, 스피커들 및/또는 사운드 바들은 임의의 임의적인 구성으로 배열될 수도 있지만 여전히 3D 음장을 플레이백할 수도 있다. 더욱이, 일부 예들에서, 헤드폰 플레이백 디바이스들은 유선 또는 무선 접속을 통해서 오디오 디코딩 디바이스 (24) 에 커플링될 수도 있다. 본 개시물의 하나 이상의 기법들에 따르면, 음장의 단일 포괄 표현 (generic representation) 이 스피커들, 사운드 바들, 및 헤드폰 플레이백 디바이스들의 임의의 조합 상에서 음장을 렌더링하기 위해 이용될 수도 있다.
다수의 상이한 예시적인 오디오 플레이백 환경들이 또한 본 개시물에서 설명하는 기법들의 여러 양태들을 수행하는데 적합할 수도 있다. 예를 들어, 5.1 스피커 플레이백 환경, 2.0 (예컨대, 스테레오) 스피커 플레이백 환경, 풀 높이 전면 라우드스피커들을 가지는 9.1 스피커 플레이백 환경, 22.2 스피커 플레이백 환경, 16.0 스피커 플레이백 환경, 자동차 스피커 플레이백 환경, 및 이어 버드 플레이백 환경을 가지는 모바일 디바이스가 본 개시물에서 설명하는 기법들의 여러 양태들을 수행하는데 적합한 환경들일 수도 있다.
본 개시물의 하나 이상의 기법들에 따르면, 음장의 단일 포괄 표현이 전술한 플레이백 환경들 중 임의의 환경 상에서 음장을 렌더링하기 위해 이용될 수도 있다. 게다가, 본 개시물의 기법들은 위에서 설명된 것과는 다른 플레이백 환경들 상에서의 플레이백을 위해 렌더러가 포괄 표현으로부터 음장을 렌더링가능하게 한다. 예를 들어, 설계 고려사항들이 7.1 스피커 플레이백 환경에 따른 스피커들의 적합한 배치를 방해하면 (예컨대, 우측 서라운드 스피커를 배치하는 것이 가능하지 않으면), 본 개시물의 기법들은 플레이백이 6.1 스피커 플레이백 환경 상에서 달성될 수 있도록 렌더가 다른 6 개의 스피커들을 보상가능하게 한다.
더욱이, 사용자는 헤드폰들을 착용한 상태에서 스포츠 게임을 볼 수도 있다. 본 개시물의 하나 이상의 기법들에 따르면, 스포츠 게임의 3D 음장이 획득될 수 있으며 (예컨대, 하나 이상의 아이겐 마이크로폰들이 야구 경기장 내 및/또는 둘레에 배치될 수도 있으며), 3D 음장에 대응하는 HOA 계수들이 획득되어 디코더로 송신될 수도 있으며, 디코더가 HOA 계수들에 기초하여 3D 음장을 복원하여 복원된 3D 음장을 렌더러로 출력할 수도 있으며, 렌더러가 플레이백 환경의 유형 (예컨대, 헤드폰들) 에 관한 표시를 획득하여 복원된 3D 음장을 헤드폰들이 스포츠 게임의 3D 음장의 표현을 출력시키는 신호들로 렌더링할 수도 있다.
위에서 설명된 여러 경우들의 각각에서, 오디오 인코딩 디바이스 (20) 가 방법을 수행하거나 또는 아니면 오디오 인코딩 디바이스 (20) 가 수행되도록 구성되는 방법의 각각의 단계를 수행하는 수단을 포함할 수도 있는 것으로 이해되어야 한다. 일부의 경우, 수단은 하나 이상의 프로세서들을 포함할 수도 있다. 일부의 경우, 하나 이상의 프로세서들은 비일시성 컴퓨터-판독가능 저장 매체에 저장된 명령들에 의해 구성되는 특수 목적 프로세서를 나타낼 수도 있다. 다시 말해서, 인코딩 예들의 세트들 각각에서 본 기법들의 여러 양태들은, 실행될 때, 하나 이상의 프로세서들로 하여금, 오디오 인코딩 디바이스 (20) 가 수행하도록 구성되어 있는 방법을 수행하도록 하는 명령들을 저장하고 있는 비일시성 컴퓨터-판독가능 저장 매체를 제공할 수도 있다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 그 기능들은 하나 이상의 명령들 또는 코드로서, 컴퓨터-판독가능 매체 상에 저장되거나 또는 컴퓨터-판독가능 매체를 통해서 송신될 수도 있으며, 하드웨어-기반의 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터-판독가능 매체는 데이터 저장 매체들과 같은, 유형의 매체에 대응하는 컴퓨터-판독가능 저장 매체들을 포함할 수도 있다. 데이터 저장 매체는 본 개시물에서 설명하는 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수도 있다.
이와 유사하게, 위에서 설명된 여러 경우들 각각에서, 오디오 디코딩 디바이스 (24) 가 방법을 수행하거나 또는 아니면 오디오 디코딩 디바이스 (24) 가 수행하도록 구성되는 방법의 각각의 단계를 수행하는 수단을 포함할 수도 있는 것으로 이해되어야 한다. 일부의 경우, 수단은 하나 이상의 프로세서들을 포함할 수도 있다. 일부의 경우, 하나 이상의 프로세서들은 비일시성 컴퓨터-판독가능 저장 매체에 저장된 명령들에 의해 구성되는 특수 목적 프로세서를 나타낼 수도 있다. 다시 말해서, 인코딩 예들의 세트들의 각각에서 본 기법들의 여러 양태들은 실행될 때, 하나 이상의 프로세서들로 하여금, 오디오 디코딩 디바이스 (24) 가 수행하도록 구성되어 있는 방법을 수행가능하게 하는 명령들을 저장하고 있는 비일시성 컴퓨터-판독가능 저장 매체를 제공할 수도 있다.
일 예로서, 이에 한정하지 않고, 이런 컴퓨터-판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 그러나, 컴퓨터-판독가능 저장 매체 및 데이터 저장 매체는 접속부들, 캐리어 파들, 신호들, 또는 다른 일시성 매체를 포함하지 않고, 그 대신, 비-일시성 유형의 저장 매체로 송신되는 것으로 해석되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용할 때, 컴팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 Blu-레이 디스크를 포함하며, 디스크들 (disks) 은 데이터를 자기적으로 보통 재생하지만, 디스크들 (discs) 은 레이저로 데이터를 광학적으로 재생한다. 앞에서 언급한 것들의 결합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 등가의 집적 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 용어 "프로세서" 는, 본원에서 사용될 때 전술한 구조 중 임의의 구조 또는 본원에서 설명하는 기법들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 게다가, 일부 양태들에서, 본원에서 설명하는 기능은 인코딩 및 디코딩을 위해 구성되는 전용 하드웨어 및/또는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 포함될 수도 있다. 또한, 이 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 전적으로 구현될 수 있다.
본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC들의 세트 (예컨대, 칩 세트) 를 포함한, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 개시한 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해서 여러 구성요소들, 모듈들, 또는 유닛들이 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하지는 않는다. 대신, 위에서 설명한 바와 같이, 여러 유닛들이 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명한 바와 같은 하나 이상의 프로세서들을 포함한, 상호작용하는 하드웨어 유닛들의 컬렉션으로 제공될 수도 있다.
본 기법들의 여러 양태들이 설명되었다. 본 기법들의 이들 및 다른 실시형태들은 다음 청구항들의 범위 이내이다.

Claims (32)

  1. 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스로서,
    HOA 오디오 신호와 연관된 HOA 오디오 데이터 및 시야 (FOV) 파라미터 정보를 저장하도록 구성된 메모리; 및
    상기 메모리에 커플링된 하나 이상의 프로세서들
    을 포함하고,
    상기 하나 이상의 프로세서들은,
    참조 스크린의 하나 이상의 FOV 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 렌더링 매트릭스를 수정하여 수정된 렌더링 매트릭스를 형성하고; 그리고
    상기 수정된 렌더링 매트릭스를 저장된 상기 HOA 오디오 데이터의 적어도 부분에 적용하여 상기 HOA 오디오 신호를 하나 이상의 스피커 피드들로 렌더링하도록
    구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  2. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    상기 HOA 오디오 데이터에 대한 렌더러를 결정하고; 그리고
    상기 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들 및 상기 참조 스크린의 상기 하나 이상의 FOV 파라미터들에 기초하여 상기 렌더러를 수정하도록
    구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  3. 제 2 항에 있어서,
    상기 HOA 오디오 데이터에 대한 렌더러를 결정하기 위해, 상기 하나 이상의 프로세서들은 또한, 상기 하나 이상의 스피커 피드들과 연관된 스피커 구성에 기초하여 상기 렌더러를 결정하도록 구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  4. 제 2 항에 있어서,
    상기 렌더러는 렌더링 포맷 또는 상기 HOA 오디오 데이터를 재생 포맷으로 변환하는 알고리즘 중 하나 이상을 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  5. 제 2 항에 있어서,
    상기 렌더러를 수정하기 위해, 상기 하나 이상의 프로세서들은 또한,
    상기 참조 스크린의 상기 하나 이상의 FOV 파라미터들 및 상기 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들에 기초하여, 스피커 각도 정보를 수정하기 위한 각도 맵핑 함수를 결정하고; 그리고
    상기 각도 맵핑 함수에 기초하여, 상기 하나 이상의 스피커 피드들과 연관된 스피커에 대한 각도를 수정하여 상기 스피커에 대한 수정된 각도를 발생시키도록
    구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  6. 제 2 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 사용자 개시된 줌 기능을 검출하는 것에 응답하여, 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 결정하도록 구성되고, 그리고
    상기 렌더러를 수정하기 위해, 상기 하나 이상의 프로세서들은 또한, 상기 줌된 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들에 기초하여 상기 렌더러를 수정하도록 구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  7. 제 6 항에 있어서,
    상기 렌더러를 수정하기 위해, 상기 하나 이상의 프로세서들은 또한,
    사용자 개시된 줌 동작을 검출하는 것에 응답하여 스케일링 인자를 획득하고;
    상기 스케일링 인자 및 상기 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들에 기초하여, 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 결정하고;
    상기 줌된 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들 및 상기 참조 스크린의 상기 하나 이상의 FOV 파라미터들에 기초하여, 스피커 각도 정보를 수정하기 위한 각도 맵핑 함수를 결정하고; 그리고
    상기 각도 맵핑 함수에 기초하여, 하나 이상의 스피커들의 제 1 스피커와 연관된 각도를 수정하여 상기 스피커에 대한 수정된 각도를 발생시키도록
    구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  8. 제 7 항에 있어서,
    상기 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 결정하기 위해, 상기 하나 이상의 프로세서들은 또한, 상기 뷰잉 윈도우에 대한 하나 이상의 방위각 각도들 및 상기 스케일링 인자에 기초하여 상기 줌된 뷰잉 윈도우에 대한 하나 이상의 방위각 각도들을 결정하도록 구성되며,
    상기 줌된 뷰잉 윈도우의 하나 이상의 FOV 파라미터들을 결정하기 위해, 상기 하나 이상의 프로세서들은 또한, 상기 뷰잉 윈도우에 대한 하나 이상의 고도 각도들 및 상기 스케일링 인자에 기초하여 상기 줌된 뷰잉 윈도우에 대한 하나 이상의 고도 각도들을 결정하도록 구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  9. 제 1 항에 있어서,
    상기 참조 스크린에 대한 상기 하나 이상의 FOV 파라미터들은, 상기 참조 스크린에 대한 하나 이상의 방위각 각도들 또는 상기 참조 스크린에 대한 하나 이상의 고도 각도들 중 적어도 하나를 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  10. 제 1 항에 있어서,
    상기 뷰잉 윈도우에 대한 상기 하나 이상의 FOV 파라미터들은, 상기 뷰잉 윈도우에 대한 하나 이상의 방위각 각도들 또는 상기 뷰잉 윈도우에 대한 하나 이상의 고도 각도들 중 적어도 하나를 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  11. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 사용자 개시된 줌 동작을 검출하는 것에 응답하여 획득된 스케일링 인자에 기초하여 상기 HOA 오디오 신호를 상기 하나 이상의 스피커 피드들로 렌더링하도록 구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  12. 제 1 항에 있어서,
    상기 참조 스크린에 대한 상기 하나 이상의 FOV 파라미터들은, 상기 참조 스크린의 중심의 좌표들 및 상기 뷰잉 윈도우의 중심의 좌표들을 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  13. 제 12 항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    상기 참조 스크린의 상기 하나 이상의 FOV 파라미터들에 기초하여 상기 참조 스크린의 상기 중심의 상기 좌표들을 결정하고; 그리고
    상기 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들에 기초하여 상기 뷰잉 윈도우의 상기 중심의 상기 좌표들을 결정하도록
    구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  14. 제 12 항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    상기 HOA 오디오 데이터에 대한 렌더러를 결정하고; 그리고
    상기 뷰잉 윈도우의 상기 중심의 상기 좌표들 및 상기 참조 스크린의 상기 중심의 상기 좌표들에 기초하여 상기 렌더러를 수정하도록
    구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  15. 제 12 항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    상기 HOA 오디오 신호에 의해 기술된 음장을 상기 참조 스크린의 상기 중심으로부터 상기 뷰잉 윈도우의 상기 중심으로 회전시키도록 구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  16. 제 1 항에 있어서,
    상기 HOA 오디오 신호는 MPEG-H 3D 규격 비트스트림을 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  17. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 참조 스크린의 상기 하나 이상의 FOV 파라미터들 및 상기 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들에 기초한 상기 HOA 오디오 신호의 렌더링이 가능하게 되는지 여부를 표시하는 신택스 엘리먼트를 수신하도록 구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  18. 제 1 항에 있어서,
    상기 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스는 상기 하나 이상의 스피커 피드들과 연관된 적어도 하나의 스피커를 더 포함하며,
    상기 HOA 오디오 신호를 렌더링하기 위해, 상기 하나 이상의 프로세서들은 또한, 상기 적어도 하나의 스피커를 구동하기 위해 라우드스피커 피드를 발생시키도록 구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  19. 제 1 항에 있어서,
    상기 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스는 상기 뷰잉 윈도우를 디스플레이하기 위한 디스플레이를 더 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  20. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은 또한, 상기 HOA 오디오 신호를 디코딩하여 복수의 HOA 계수들을 결정하도록 구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  21. 제 20 항에 있어서,
    상기 하나 이상의 프로세서들은 또한,
    구 (sphere) 의 9백개의 샘플링 지점들에 대한 모드 매트릭스를 발생시키고;
    상기 참조 스크린의 상기 하나 이상의 FOV 파라미터들 및 상기 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들에 기초하여 상기 모드 매트릭스를 수정하여 효과 매트릭스를 발생시키고; 그리고
    상기 효과 매트릭스에 기초하여 상기 HOA 계수들을 렌더링하도록
    구성되는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  22. 제 1 항에 있어서,
    저장된 상기 HOA 오디오 데이터는 하나 이상의 포어그라운드 오디오 오브젝트들을 포함하고,
    상기 하나 이상의 프로세서들은 또한, 상기 하나 이상의 포어그라운드 오디오 오브젝트들에 기초하여 저장된 상기 HOA 오디오 데이터를 복원하도록 구성되고, 그리고
    렌더링된 상기 HOA 오디오 신호는 복원된 하나 이상의 포어그라운드 오디오 오브젝트들을 나타내는 HOA 계수들을 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스.
  23. 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법으로서,
    참조 스크린의 하나 이상의 시야 (FOV) 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 렌더링 매트릭스를 수정하여 수정된 렌더링 매트릭스를 형성하는 단계; 및
    상기 수정된 렌더링 매트릭스를 상기 HOA 오디오 신호의 적어도 부분에 적용하여 상기 HOA 오디오 신호를 하나 이상의 스피커 피드들로 렌더링하는 단계
    를 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법.
  24. 제 23 항에 있어서,
    상기 HOA 오디오 신호를 포함하는 인코딩된 오디오 데이터의 비트스트림을 수신하는 단계로서, 상기 인코딩된 오디오 데이터는 대응하는 비디오 데이터와 연관되는, 상기 인코딩된 오디오 데이터의 비트스트림을 수신하는 단계;
    상기 비트스트림으로부터, 상기 대응하는 비디오 데이터에 대한 상기 참조 스크린의 상기 하나 이상의 FOV 파라미터들을 획득하는 단계; 및
    상기 대응하는 비디오 데이터를 디스플레이하기 위해 상기 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들을 획득하는 단계
    를 더 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법.
  25. 제 23 항에 있어서,
    상기 HOA 오디오 신호에 대한 렌더러를 결정하는 단계; 및
    상기 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들 및 상기 참조 스크린의 상기 하나 이상의 FOV 파라미터들에 기초하여 상기 렌더러를 수정하는 단계
    를 더 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법.
  26. 제 25 항에 있어서,
    상기 HOA 오디오 신호에 대한 렌더러를 결정하는 단계는, 상기 하나 이상의 스피커 피드들의 스피커 구성에 기초하여 상기 렌더러를 결정하는 단계를 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법.
  27. 제 26 항에 있어서,
    상기 참조 스크린에 대한 상기 하나 이상의 FOV 파라미터들은, 상기 참조 스크린에 대한 하나 이상의 방위각 각도들 또는 상기 참조 스크린에 대한 하나 이상의 고도 각도들 중 적어도 하나를 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법.
  28. 제 23 항에 있어서,
    상기 HOA 오디오 신호를 디코딩하여 복수의 HOA 계수들을 결정하는 단계; 및
    상기 HOA 계수들을 렌더링하는 단계
    를 더 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법.
  29. 제 23 항에 있어서,
    상기 HOA 오디오 신호는 포어그라운드 오디오 신호를 포함하고, 상기 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법은 상기 포어그라운드 오디오 신호에 기초하여 상기 HOA 오디오 신호를 복원하는 단계를 더 포함하고, 렌더링된 상기 HOA 오디오 신호는 복원된 포어그라운드 오디오 신호를 나타내는 HOA 계수들을 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 방법.
  30. 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 장치로서,
    상기 HOA 오디오 신호를 수신하는 수단; 및
    참조 스크린의 하나 이상의 시야 (FOV) 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 렌더링 매트릭스를 수정하여 수정된 렌더링 매트릭스를 형성하는 수단; 및
    상기 수정된 렌더링 매트릭스를 상기 HOA 오디오 신호의 적어도 부분에 적용하여 상기 HOA 오디오 신호를 하나 이상의 스피커 피드들로 렌더링하는 수단
    을 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 장치.
  31. 제 30 항에 있어서,
    상기 HOA 오디오 신호를 포함하는 인코딩된 오디오 데이터의 비트스트림을 수신하는 수단으로서, 상기 인코딩된 오디오 데이터는 대응하는 비디오 데이터와 연관되는, 상기 인코딩된 오디오 데이터의 비트스트림을 수신하는 수단;
    상기 비트스트림으로부터, 상기 대응하는 비디오 데이터에 대한 상기 참조 스크린의 상기 하나 이상의 FOV 파라미터들을 획득하는 수단; 및
    상기 대응하는 비디오 데이터를 디스플레이하기 위해 상기 뷰잉 윈도우의 상기 하나 이상의 FOV 파라미터들을 획득하는 수단
    을 더 포함하는, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 장치.
  32. 명령들을 저장하는 비일시적 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은, 고차 앰비소닉 (HOA) 오디오 신호를 렌더링하는 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
    참조 스크린의 하나 이상의 시야 (FOV) 파라미터들 및 뷰잉 윈도우의 하나 이상의 FOV 파라미터들에 기초하여 렌더링 매트릭스를 수정하여 수정된 렌더링 매트릭스를 형성하도록 하고; 그리고
    상기 수정된 렌더링 매트릭스를 상기 HOA 오디오 신호의 적어도 부분에 적용하여 상기 HOA 오디오 신호를 하나 이상의 스피커 피드들로 렌더링하도록 하는, 비일시적 컴퓨터-판독가능 저장 매체.
KR1020177009268A 2014-10-10 2015-10-09 Hoa 콘텐츠의 스크린 관련된 적응 KR102077375B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462062761P 2014-10-10 2014-10-10
US62/062,761 2014-10-10
US14/878,948 2015-10-08
US14/878,948 US9940937B2 (en) 2014-10-10 2015-10-08 Screen related adaptation of HOA content
PCT/US2015/054964 WO2016057935A1 (en) 2014-10-10 2015-10-09 Screen related adaptation of hoa content

Publications (2)

Publication Number Publication Date
KR20170066400A KR20170066400A (ko) 2017-06-14
KR102077375B1 true KR102077375B1 (ko) 2020-02-13

Family

ID=54364703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177009268A KR102077375B1 (ko) 2014-10-10 2015-10-09 Hoa 콘텐츠의 스크린 관련된 적응

Country Status (10)

Country Link
US (1) US9940937B2 (ko)
EP (2) EP3205122B1 (ko)
JP (1) JP6599451B2 (ko)
KR (1) KR102077375B1 (ko)
CN (1) CN106797527B (ko)
BR (1) BR112017007267B1 (ko)
ES (2) ES2900653T3 (ko)
HU (1) HUE047302T2 (ko)
SG (1) SG11201701554PA (ko)
WO (1) WO2016057935A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
US9838819B2 (en) * 2014-07-02 2017-12-05 Qualcomm Incorporated Reducing correlation between higher order ambisonic (HOA) background channels
US9736606B2 (en) 2014-08-01 2017-08-15 Qualcomm Incorporated Editing of higher-order ambisonic audio data
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
KR102631929B1 (ko) * 2016-02-24 2024-02-01 한국전자통신연구원 스크린 사이즈에 연동하는 전방 오디오 렌더링 장치 및 방법
CN108346432B (zh) * 2017-01-25 2022-09-09 北京三星通信技术研究有限公司 虚拟现实vr音频的处理方法及相应设备
US10390166B2 (en) * 2017-05-31 2019-08-20 Qualcomm Incorporated System and method for mixing and adjusting multi-input ambisonics
US10405126B2 (en) * 2017-06-30 2019-09-03 Qualcomm Incorporated Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems
US11164606B2 (en) 2017-06-30 2021-11-02 Qualcomm Incorporated Audio-driven viewport selection
US10469968B2 (en) * 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
GB2598751A (en) * 2020-09-10 2022-03-16 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0292821A2 (de) 1987-05-18 1988-11-30 Hoechst Aktiengesellschaft Verfahren zur Bildumkehr von normalerweise positiv arbeitenden Photoresistmaterialien

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2374123B1 (fr) 2008-12-15 2019-04-10 Orange Codage perfectionne de signaux audionumeriques multicanaux
US20100328419A1 (en) * 2009-06-30 2010-12-30 Walter Etter Method and apparatus for improved matching of auditory space to visual space in video viewing applications
US20120162362A1 (en) 2010-12-22 2012-06-28 Microsoft Corporation Mapping sound spatialization fields to panoramic video
EP2541547A1 (en) 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
WO2014111308A2 (en) * 2013-01-16 2014-07-24 Thomson Licensing Method for measuring hoa loudness level and device for measuring hoa loudness level
US9502044B2 (en) 2013-05-29 2016-11-22 Qualcomm Incorporated Compression of decomposed representations of a sound field
KR101862356B1 (ko) * 2014-01-03 2018-06-29 삼성전자주식회사 개선된 앰비소닉 디코딩을 수행하는 방법 및 장치
US9922656B2 (en) 2014-01-30 2018-03-20 Qualcomm Incorporated Transitioning of ambient higher-order ambisonic coefficients
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0292821A2 (de) 1987-05-18 1988-11-30 Hoechst Aktiengesellschaft Verfahren zur Bildumkehr von normalerweise positiv arbeitenden Photoresistmaterialien

Also Published As

Publication number Publication date
US9940937B2 (en) 2018-04-10
CN106797527B (zh) 2019-06-21
ES2900653T3 (es) 2022-03-17
EP3205122A1 (en) 2017-08-16
KR20170066400A (ko) 2017-06-14
SG11201701554PA (en) 2017-04-27
CN106797527A (zh) 2017-05-31
EP3205122B1 (en) 2019-11-20
JP2017535174A (ja) 2017-11-24
EP3668124A1 (en) 2020-06-17
BR112017007267B1 (pt) 2022-03-03
ES2774449T3 (es) 2020-07-21
HUE047302T2 (hu) 2020-04-28
BR112017007267A2 (pt) 2018-01-23
US20160104495A1 (en) 2016-04-14
JP6599451B2 (ja) 2019-10-30
WO2016057935A1 (en) 2016-04-14
EP3668124B1 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
KR102077375B1 (ko) Hoa 콘텐츠의 스크린 관련된 적응
JP6449455B2 (ja) 高次アンビソニック（ｈｏａ）バックグラウンドチャネル間の相関の低減
JP6820386B2 (ja) 高次アンビソニック（ｈｏａ）コンテンツの画面に関連した適応
CN106575506B (zh) 用于执行高阶立体混响音频数据的中间压缩的装置和方法
KR102092774B1 (ko) 고차 앰비소닉 오디오 데이터의 스케일러블 코딩을 위한 시그널링 계층들
KR102329373B1 (ko) 고차 앰비소닉 오디오 신호들로부터 분해된 코딩 벡터들에 대한 코드북들 선택
EP3143618B1 (en) Closed loop quantization of higher order ambisonic coefficients
KR102077412B1 (ko) 다중 트랜지션들 동안 고차 앰비소닉 계수들의 코딩

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right