KR102690826B1 - Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치 - Google Patents

Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치 Download PDF

Info

Publication number
KR102690826B1
KR102690826B1 KR1020207024064A KR20207024064A KR102690826B1 KR 102690826 B1 KR102690826 B1 KR 102690826B1 KR 1020207024064 A KR1020207024064 A KR 1020207024064A KR 20207024064 A KR20207024064 A KR 20207024064A KR 102690826 B1 KR102690826 B1 KR 102690826B1
Authority
KR
South Korea
Prior art keywords
packets
format
stream
mhas
mpeg
Prior art date
Application number
KR1020207024064A
Other languages
English (en)
Other versions
KR20200123786A (ko
Inventor
스테판 슈라이너
크리스토프 페르쉬
Original Assignee
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 인터네셔널 에이비 filed Critical 돌비 인터네셔널 에이비
Priority to KR1020247025538A priority Critical patent/KR20240119188A/ko
Publication of KR20200123786A publication Critical patent/KR20200123786A/ko
Application granted granted Critical
Publication of KR102690826B1 publication Critical patent/KR102690826B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/42615—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific demultiplexing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 개시는 패킷화된 미디어 스트림들의 부가 부하(side load) 처리를 위한 방법, 장치 및 시스템에 관한 것이다. 실시예에서, 장치는, 비트스트림을 수신하기 위한 수신기, 및 비트스트림에서 패킷 유형을 식별하고, 비트스트림의 패킷 유형의 값을 식별하는 것에 기반하여 메인 스트림과 보조 스트림으로 분할하기 위한 스플리터를 포함한다.

Description

MPEG-H 3D 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치
관련 출원들에 대한 교차 참조
본 출원은, 다음의 우선권 출원: 2018년 2월 22일자로 출원된, 미국 가출원 제62/634,136호(참고 문헌: D18027USP1), 2018년 3월 9일자로 출원된, 미국 가출원 제62/641,098호(참조 문헌: D18027USP2), 2018년 4월 9일자로 출원된, EP 출원 제18166319.6호(참조 문헌: D18027EP), 2018년 7월 13일자로 출원된, 미국 가출원 제62/697,536호(참조 문헌: D18027USP3)의 우선권을 주장하고, 이들은 본 명세서에 참조로 통합된다.
기술 분야
본 개시는 패킷화된 미디어 처리를 위한 장치, 시스템 및 방법을 제공하는 것에 관한 것이다.
홈 가전 제품(home Consumer Electronics) 설치의 경우, 기능(functionality)이 수개의 디바이스(예를 들어, 셋톱 박스, TV 수상기, AVR 수신기) - 여기서 이러한 디바이스들은 표준 인터페이스(예를 들어, HDMI)를 통해 연결됨 - 에 걸쳐 분산될 수 있다.
제1 디바이스는 브로드캐스트 및/또는 광대역 연결로부터 미디어 스트림들을 수신할 수 있다. 제1 디바이스는 추가적으로 정교한(sophisticated) 지능(예를 들어, "스마트 스피커" 기능)을 가질 수 있다. 제2 디바이스는 미디어 디코딩, 렌더링 및 사용자들에게로의 프레젠테이션(presentation)에 전용될 수 있다.
전형적으로, 미디어 프로그램은 디바이스 #1에 의해 수신되고 재현(reproduction)을 위해 디바이스 #2로 전송된다. 이 미디어 프로그램은 "메인 프로그램(Main program)"으로 알려질 수 있다. 때때로 혹은 또한, 상이한 전송 채널로부터 수신된 상이한 미디어 프로그램(광고처럼) 또는 디바이스 #1의 "스마트 디바이스" 능력에 의해 생성된 미디어(둘 다 일반적으로 상이한 미디어 포맷으로 표현됨)는 메인 미디어 프로그램에 삽입되거나 오버레이된다(overlaid).
이는 메인 및 보조 프로그램을, 일반화된, 전형적으로 압축되지 않은 표현으로 디코딩하고, 스트림들을 전환하거나 결합된 표현으로 혼합/렌더링(mixing/rendering)하고, 생성된 미디어 스트림을 인코딩된 전송 포맷으로 재인코딩(re-encoding)함으로써 달성될 수 있다. 이 방법은 디바이스 #1에서 모두 수행되는 바와 같이 임의의 디바이스에서 수행될 수 있다. 하지만, 렌더링 단계와 중간 표현이 디바이스 #2의 실제의 재현 시스템의 최적 매칭(optimal matching)을 제공할 수 없는 동안, 높은 계산 전력(high computational power)이 요구될 수 있다.
상세한 설명
도 1은 예시적인 디바이스 #1 및 예시적인 디바이스 #2를 도시한다. 디바이스 #1은 일차 수신기(primary receiver)(101), 이차 수신기/로컬 엔진(secondary receiver/local engine)(103) 및 패킷화된 스트림 병합기(packetized stream merger)(102)를 포함할 수 있다. 패킷화된 스트림 병합기(102)는 일차 수신기(101)(예를 들어, 메인 스트림) 및 이차 수신기/로컬 엔진(103)(예를 들어, 보조 데이터 스트림)으로부터 수신된 데이터 스트림들을 병합할 수 있다. 디바이스 #2는 스트림 스플리터(201), 일차 디코더/렌더러(primary decoder/renderer)(202) 및 이차 디코더/렌더러(secondary decoder/renderer)(203)를 포함할 수 있다. 스트림 스플리터(stream splitter)(201)는 (그 다음 일차 디코더/렌더러(202)에 제공될 수 있는) 메인 스트림 및 (그 다음 이차 디코더/렌더러(203)에 제공될 수 있는) 보조 스트림과 같은 스트림들을 분할할 수 있다. 두 디코더 출력 신호는 동시에 청취자에게 제시될 수 있다.
전술된 제한 사항을 극복하기 위해, 디바이스 #1은 착신되는 메인 미디어 스트림을 바로 디바이스 #2로 전송할 수 있다. 디바이스 #1의 이런 모드는 "패스-스루(pass-through)" 모드로 불릴 수 있다. 하지만, 이런 접근법의 부정적인 면은, 비디오 및 오디오에 대한 하나의 단일 데이터 스트림을 실어 나르도록 표준화된 인터페이스들이 지정되고, 태생적으로(natively) 해당 인터페이스를 통해 디바이스 #2로 제2 미디어 스트림이 재현을 위해 전송될 수 없다는 것이다.
본 발명은 패킷화된 미디어 데이터를 수신하기 위한 제1 수신기, 추가적인 미디어 스트림을 수신하기 위한 이차 수신기, 및 패킷화된 미디어 데이터를 전송하기 위한 송신기 인터페이스를 위한 방법 및 장치를 제공할 수 있다.
본 발명은 다음의 수단에 의해 제2 보조 미디어 스트림을 패킷화된 메인 미디어 스트림 내에 병합할 것을 제안한다.
패킷화된 스트림들로 표현된 미디어 스트림들은 패킷 유형 식별자를 전형적으로 사용하여 다수의 서브스트림을 전체 미디어 스트림과 구별한다. 메인 미디어 스트림과 관련이 없는 추가적인 (미디어) 데이터를 실어 나르기 위해, 제1 디바이스 #1은 메인 미디어 스트림에 따라 포맷되지만 패킷 헤더의 전용 태그에 의해 라벨링되는(labeled) 패킷들에 추가적인 데이터를 캡슐화할 수 있다. 이 전용 태그는 추가적인 미디어 스트림을 반송(carrying)하는 패킷들을 스트립핑(to strip out the packets)하도록 수신 디바이스 #2를 트리거할 것이다. 그 다음, 선택적으로, 디바이스 #2는, 메인 스트림을 일차 디코더/렌더러(202)에 의해 수신하면서, 추가적인 미디어 스트림을 이차 디코더/렌더러(203) 인스턴스(instance)에 제공할 수 있다.
일 예시에서, 캡슐화된 추가적인 미디어 스트림들의 패킷 헤더에서 이 새로운 태그를 인식하지 못하는 레거시 수신 디바이스(legacy receiving device)는 이미 이들 패킷을 무시(disregard)할 것으로 예상된다.
해당 태그는 MPEG-H, AC-4, Dolby Digital + 등과 같은 임의의 인코딩된 오디오 데이터 스트림 환경에서 제공될 수 있다.
삽입된 추가적인 데이터 스트림들이 원래의 미디어 스트림에 비해서 상당한 데이터 속도를 초과하면, 수신기 디바이스는 다운스트림 연결된 (레거시) 미디어 디코더의 수신기 버퍼 모델을 유지하기 위해, 착신되는 패킷화된 스트림을 필터링하고 추가적인 데이터 패킷들을 선택적으로 스트립핑해야 한다.
더 나아가, 도 3은 예시적인 디바이스 #1 및 예시적인 디바이스 #3을 도시한다. 디바이스 #1은 일차 수신기(101), 이차 수신기/로컬 엔진(103) 및 패킷화된 스트림 병합기(102)를 포함할 수 있다. 패킷화된 스트림 병합기(102)는 일차 수신기(101)(예를 들어, 메인 스트림) 및 이차 수신기/로컬 엔진(103)(예를 들어, 보조 데이터 스트림)으로부터 수신된 데이터 스트림들을 병합할 수 있다. 디바이스 #3은 일차 디코더/렌더러(301)만을 포함하지만, 스트림 스플리터는 포함하지 않을 수 있다. 일 예시에서, 보조 스트림을 이차 디코더/렌더러에 제공하는 것이 가능하지 않을 수 있다. 이 예시에서, 수정된 일차 디코더는 내부적으로 보조 스트림을 메인 스트림과 디코드/변환/혼합할 수 있다.
MPEG-H 생태계
ISO/IEC 23008-3에 따른 MPEG-H 3d 오디오는 MHAS 포맷으로 캡슐화된다. 이 포맷은, 각각의 패킷이 패킷 헤더(packet header)와 패킷 페이로드(packet payload)로 구성되는, 패킷화된 포맷을 활용했다. 페이로드는 임의의 이진 데이터일 수 있지만, 헤더는 페이로드의 유형과 길이를 지정한다. (추가적으로 이용 가능한 라벨이 다수의 인스턴스를 구별하기 위해 사용될 수 있지만 여기서는 활용되지 않는다.)
이차 미디어 스트림용으로 새로운 MHAS 패킷 유형(예시적으로 PACTYP_MEDIA라 명명함)을 할당함으로써, 압축되지 않은 PCM 데이터(선택적으로 RIFF/WAV 포맷을 사용하여 더 지정됨) 또는 ISO/IEC 14496-3에 따른 MPEG-4 오디오와 같은 압축된 오디오 데이터로 표현된 추가적인 오디오 데이터, 또는 (예를 들어, ATSC A/52 또는 ETSI TS 103 190에 따른) 임의의 기타 인코딩된 표현이, MHAS 패킷들에 캡슐화될 수 있으므로 메인 MPEG-H 3d 오디오 스트림에 병합될 수 있다. 캡슐화될 상이한 포맷이, 상이한 패킷 유형(예를 들어, PACTYP_PCM, PACTYP_MPEG4AUDIO, …)에 의해, 또는 아래의 예시에 도시된 바와 같이 MHAS 패킷의 서브-헤더를 형성하는 추가적인 지정자(specifier)에 의해, 구별될 수 있다.
(미디어) 데이터는 구성 데이터(configuration data)를 요구할 수 있지만 자체-포함된 스트림들(self-contained streams)로서 표현되지 않을 수 있기 때문에, 이 데이터는 컨테이너(container) MHAS 패킷의 헤더에 캡슐화될 수 있거나, 추가적인 MHAS 패킷(예를 들어, PACTYP_MEDIA_CONFIG, 또는 PACTYP_PCMCONFIG와 같은 구성(configuration)을 나타내는 또다른 유형의 MHAS 패킷 이름)이 할당될 수 있는데, 이는, 또한, 추가적인 데이터의 유형 정보도 반송할 수 있다. MHAS 패킷 유형은, 디코더에 구성 정보를 공급하기 위해, PCM 페이로드 데이터에 대한 구성 정보를 반송할 수 있다. 예를 들어, 구성 정보(예를 들어, PACTYP_MEDIA_CONFIG 또는 PACTYP_PCMCONFIG)용의 MHAS 패킷 유형이 (예를 들어, PACTYP_MEDIA_CONFIG 이후에) 비트스트림에 존재하면, 데이터 구조(예를 들어, pcmDataConfig()) 형태의 PCT 데이터 구성 정보가 디코더에 공급될 수 있다.
일반적으로, MHAS 패킷 유형(예를 들어, PACTYP_PCMDATA)은, 구성 구조에 정의된 PCM 신호들에 대응하는 PCM 페이로드 데이터를 내장하고 PCM 데이터를 PCM 데이터 페이로드 구조의 형태로 디코더에 공급(feed)하기 위해, 사용될 수 있다. MHAS 패킷 유형(예를 들어, PACTYP_PCMDATA)이 비트스트림에 존재하면, PCM 데이터 페이로드 구조(예를 들어, pcmDataPayload())가 디코딩 동안 사용될 수 있다.
도 2는 본 발명에 따른 예시적인 MPEG-H 3D 오디오 패킷 스트림을 도시한다.
일 예시에서, 본 발명은 다음의 신택스 보정에 기반하여 정보를 식별하는 것에 기반할 수 있다:
1) 표 220 - MHASPacketPayload()의 신택스를 다음을 이용하여 보정한다:
2) 표 223에서 PACTYP_MEDIA를 위해 적절한 MHASPacketType을 할당한다. 대안적으로, MHASPacketType의 값은 가변적이거나, 또는 사전 설정된 값, 예를 들어, 최종 표준 문서에서 표준 조직에 의해 개시된 값에 따를 수 있다.
3) 다음의 미디어 유형은 mhasMediaDataType 열거를 사용하여 지정되어야 한다:
도 2는 3D 오디오 데이터(예시적으로 구성 데이터, 예를 들어, 메타데이터로서의 PACTYP_MPEGH3DACFG, 및 코딩된 오디오 데이터, 예를 들어, PACTYP_MPEGH3DAFRAME을 포함함)를 갖는 MPEG-H 3D 오디오에 따른 예시적인 패킷들을 포함하는 패킷화된 메인 스트림을 예시적으로 도시한다.
또한, 도 2는, 예시적으로 압축된 포맷의, 예를 들어, MPEG4Audio의, 추가적인 오디오 데이터(보조 오디오 데이터/이차 오디오 데이터)를 포함하는 전술된 예시적인 추가적인 패킷 유형 PACTYP_MEDIA를 참조하여 헤더 정보에 의해 지시된 바와 같이, 본 발명에 따른 예시적인 패킷들을 포함하는 패킷화된 이차 스트림(보조 스트림)을 예시적으로 도시한다.
대안적으로 또는 추가적으로, 추가적인 오디오 데이터는, 위에서 논의된 바와 같이 캡슐화된 상이한 포맷을 나타내는 서브-헤더를 포함하여, 여기서는 예시적으로 MPEG-H 3D 오디오인, 패킷화된 메인 스트림의 포맷에 따른 헤더를 갖는 패킷으로 패킷화될 수 있다.
본 발명의 예시적인 양상에 따르면, 메인 스트림 및 보조(이차) 스트림은, 예를 들어, 패킷화된 스트림 병합기(102)에 의해서와 같이, 스트림 병합기에 의해 병합될 수 있다.
발신되는 스트림(병합된 스트림)은, (도 2의 예시적인 MPEG-H 3D 오디오와 같은) 동일한 포맷의 단일 패킷화된 비트스트림 내에, 메인 스트림의 인코딩된 오디오 데이터에 관련된 패킷 및 보조 스트림의 오디오 데이터에 관련된 패킷을 포함한다.
비수정된(레거시) MPEG-H 3D 오디오 디코더들은 새로이 추가된 패킷 유형(예를 들어, PACTYP_MEDIA)을 이해할 수 없으며, 이러한 비수정된(레거시) MPEG-H 3D 오디오 디코더들이 그들의 헤더에 지시된 새로이 추가된 패킷 유형(예를 들어, PACTYP_MEDIA)을 갖는 패킷들을 무시(ignore) 또는 폐기(dump)할 수 있음에 주목해야 한다. 이러한 비수정된(레거시) MPEG-H 3D 오디오 디코더들은, 여전히 메인 스트림에 관련된 오디오 데이터를 디코딩할 수 있지만, 추가적인 보조/이차 오디오 데이터는 처리하지 않을 것이다.
메인 및 보조 스트림을 갖는 병합된 스트림을 디코딩하고 처리하기 위해, 디코더 디바이스들은 보조 오디오 데이터에 관련된 패킷들을 필터링하고, 디코딩/처리할 수 있도록 수정된 디코더를 포함하도록 수정될 수 있다.
도 4는 본 발명에 따른 일차 디코더/렌더러의 또다른 예시를 개략적으로 도시한다.
도 4는 미디어 포맷이 PCM 데이터인 MPEG-H 3D 오디오 디코더에서 이를 달성할 수 있는 방법을 도시한다. 예시적으로, 일차 디코더/렌더러(301)는, 예를 들어, MPEG-H 3D 오디오 (ISO/IEC 23008-3) 표준에 따라 정의된 바와 같이 MPEG-H 3D 오디오 코어 디코더(M1) 및 객체 렌더러(M2)와 같은 관련 렌더링 유닛들을 포함하는 것으로 실현된다.
수정된 디코더(301)는, 새로운 추가적인 패킷 유형(예를 들어, PACTYP_MEDIA)을 나타내는 헤더를 갖는 MHAS 패킷들을 추가적으로 필터링 및 스트립핑하고, 보조 오디오 데이터를 갖는 패킷들을 포맷 변환 유닛(301c1)에 입력한 다음, 샘플 속도 변환기(예컨대, MPEG-H 3D 오디오 (ISO/IEC 23008-3) 표준에 따라 정의된 바와 같은 MPEG-H 3D 오디오 코어 디코더(M1)의 디코더 아키텍처 다운스트림에 존재하는 예시적인 샘플 속도 변환기(M3))에 입력할 수 있다.
따라서, 수정된 디코더(301)는, 미디어 샘플링 속도 및 채널 레이아웃을 디코더의 출력 샘플링 속도 및 채널 구성에 매치(match)시키기 위해, 입력 미디어 데이터(MHASPacketType == PACTYP_MEDIA)에 대한 샘플 속도 변환(예를 들어, 샘플 속도 변환기(M3)에 의해) 및 포맷 변환(예를 들어, 포맷 변환 유닛(301c1)에 의해)을 수행할 수 있다. 더 나아가, 수정된 디코더는, 혼합기(mixer)(예컨대, MPEG-H 3D 오디오 (ISO/IEC 23008-3) 표준에 따라 정의된 바와 같은 MPEG-H 3D 오디오 코어 디코더(M1)의 디코더 아키텍처 다운스트림에 존재하는 예시적인 혼합기 유닛(M4))에서, 입력 미디어 데이터 또는 샘플링-속도-변환된 입력 미디어 데이터를, MPEG-H 3D 오디오 코어 디코더(M1)에 의해 생성된(created) 오디오 미디어 데이터와 혼합할 수 있다.
도 4의 위의 예시는, 예시적으로 PCM 데이터 등과 같은 압축되지 않은 미디어 데이터를 포함하는 보조 미디어 데이터에 관한 것이다. PCM 데이터 등과 같은 압축되지 않은 미디어 데이터가 위치 정보를 더 포함하거나, 예를 들어 3D 오디오 기기의 대응하는 위치 메타데이터에 관련되면, 보조 데이터는 MPEG-H 3D 오디오 (ISO/IEC 23008-3) 표준에 따라 정의된 바와 같은 MPEG-H 3D 오디오 코어 디코더(M1)의 디코더 아키텍처 다운스트림에 존재하는 객체 렌더러(M2)와 같은 위치 데이터 처리 객체 렌더러에 의해 더 처리될 수 있음에 주목해야 한다.
도 5는 본 발명에 따른 일차 디코더/렌더러의 또 다른 예시를 개략적으로 도시한다. 예시적으로, 일차 디코더/렌더러(301)는, 예를 들어, MPEG-H 3D 오디오 (ISO/IEC 23008-3) 표준에 따라 정의된 바와 같은 MPEG-H 3D 오디오 코어 디코더(M1) 및 객체 렌더러(M2)와 같은 관련 렌더링 유닛들을 포함하는 것으로 실현된다.
도 5는 미디어 포맷이 인코딩된 데이터(예컨대, MPEG-4 오디오)인 MPEG-H 3D 오디오 디코더에서 위의 내용을 달성할 수 있는 방법을 예시적으로 도시한다. 수정된 디코더(301)는, 반드시 ISO/IEC 23008-3 내에 지정된 것은 아닌, 추가적인 디코더(301c2)(보조 미디어 데이터를 변환 및/또는 디코딩하도록 구성되는 변환기 및/또는 디코더)를 사용하여, 입력 미디어 데이터(MHASPacketType == PACTYP_MEDIA)를 디코딩할 수 있다. 더 나아가, 수정된 디코더는, 디코딩된 미디어 데이터를, MPEG-H 3D 오디오 (ISO/IEC 23008-3) 표준에 따라 정의된 바와 같은 MPEG-H 3D 오디오 코어 디코더(M1)에 의해 생성된 오디오 미디어 데이터와 혼합할 수 있다.
상이한 소스들로부터 발생하는 다수의 MHAS 서브스트림의 시간-정렬(time-alignment)
본 발명에 따른 예시적인 양상에서, 예를 들어, 상이한 소스들로부터 발생하는 다수의 MHAS 서브스트림의 시간-정렬을 제공하기 위해, 추가적인 시간-정렬 유닛들이 보조 스트림의 패킷들의 시간-정렬을 위해 제공될 수 있다.
ISO/IEC 23008-3의 섹션 14.6에 따라, MHAS "서브스트림들은 동일한 인코더에 의해 생성되[고 따라서] 다양한 착신되는 스트림들[…]이 완전히 정렬되고 어떤 위상 오프셋도 갖지 않는다"는 것으로 가정된다. 이 경우에, MHASPacketLabel 번호를 사용하여 프레임의 정렬이 수행될 수 있다. 본 발명에서 제안된 방법으로, 위의 제한 사항은 더이상 당연한 것으로 취급될 수 없다. 상이한 코덱 또는 샘플링 속도를 위한 상이한 프레임 지속시간으로, MHAS 메인 스트림과 병합되는 이차 스트림의 연속되는 MHAS 패킷들의 시간 오프셋이, 시간에 걸쳐 가변된다. 각각의 특정 시간 슬롯에서, 메인 스트림에 대한 이차 스트림의 시간 오프셋(timing offset)은 시그널링될 필요가 있다. 예를 들어, 보조 스트림의 패킷들의 페이로드에 포함된 미디어 데이터와 연관된 메타데이터에 관련된 패킷 유형을 나타내는 보조 스트림의 관련 패킷들이 도 6에 도시되어 있다.
도 6은, MHAS에 기반하여 본 발명의 수단을 달성하기 위한 예시적인 패킷 유형들을 도시하는데, 예를 들어, 여기서는 또다른 MHAS 패킷 유형이 적절한 시간 오프셋 시그널링(time offset signaling)을 반송하기 위해 정의된다. 이 시그널링을 대응하는 스트림에 링크(link)하려면, 시간 오프셋 패킷은, 그것이 참조하는 PACTYP_MEDIA 유형의 MHASPacket과 동일한 MHASPacketLabel 번호를 할당받을 필요가 있다. 도 6으로부터, 각각의 스트림의 하나의 특정 시간 슬롯에 대응하는 스트림 데이터의 직접적인 일-대-일 관계가 보장되지는 않지만, 하나의 스트림으로부터 2개 이상의 시간 슬롯이 시기 적절하게(in a timely manner) 다른 한 스트림으로부터의 하나의 시간 슬롯에 대응할 수 있다는 것이 분명하다.
시간 오프셋을 시그널링하기 위한 또다른 옵션은, 이 시간 오프셋을 PACTYP_MEDIA 유형의 MHAS 패킷 자체에 추가하는 것이다.
위의 관점에서, 본 발명에 따른 일부 예시적인 양상에서, 도 4 및/또는 도 5의 예시의 수정된 일차 디코더/렌더러(301)의 변환 및/또는 디코딩 유닛은, 보조 스트림 데이터를 메인 스트림 데이터와 시간-정렬하기 위한 시간-정렬 유닛, 예를 들어, 도 4 및 도 5의 예시의 혼합기 유닛(M4)과 같은 혼합기의 업스트림, 또는 또한, 도 4 및 도 5의 예시의 샘플러(예를 들어, 샘플 속도 변환기(M3))의 업스트림을 포함할 수 있거나, 또한, 도 1의 예시의 이차 디코더/렌더러(203)의 일부로서 포함할 수 있다.
메인 및 이차 오디오 스트림들의 혼합 제어
메인 오디오 스트림에 대한 이차(보조) 오디오 스트림의 혼합을 제어하기 위해 추가적인 데이터가 요구될 수 있다. 기타 옵션들 중에서, 이 데이터는, 이차 오디오 스트림이 재현될 때, 메인 스트림을 처리하기 위해 ISO/IEC 23003-4 DynamicRangeControl 데이터로서 예시적으로 형성된 정적 이득들 또는 동적 이득 시퀀스들을 포함할 수 있다. 이런 데이터는 전형적으로 디바이스 #1에 의해 생성되고 더 나아가 별도의 MHAS 패킷들(예를 들어, 식별자 PACTYP_MPEGH_MEDIA_CFG를 가짐)에 의해 이차 스트림 헤더에 추가됨으로 혹은 임의의 기타 종류의 스트림 캡슐화에 의해 스트림 내에 통합될 수 있다.
위의 관점에서, 본 발명에 따른 일부 예시적인 양상에서, 도 4 및/또는 도 5의 예시의 수정된 디코더(301)의 변환 및/또는 디코딩 유닛은, (예를 들어, 음량 조절을 위한) 정적 및/또는 동적 이득을 적용하기 위한 이득 조절 유닛(gain adjustment unit), 예를 들어, 도 4 및 도 5의 예시의 혼합기 유닛(M4)과 같은 혼합기의 업스트림, 또는 또한, 도 4 및 도 5의 예시의 샘플러(예를 들어, 샘플 속도 변환기(M3))의 업스트림을 포함할 수 있거나, 또한, 도 1의 예시의 이차 디코더/렌더러(203)의 일부로서 포함할 수 있다.
돌비 생태계
더 나아가, Dolby AC-4 (ETSI TS 103 190) 및 Dolby Digital 및 Dolby Digital + (ETSI TS 102 366)는, 위 섹션(MPEG-H 생태계)에서 정의된 바와 동일하거나 유사한 데이터를 반송하기 위해 사용될 수 있는, EMDF 페이로드에 임의의 이진 데이터를 반송할 수 있다는 가능성을 제공하다.
이러한 목적으로, ETSI TS 103 190에 정의된 바와 같은 신택스 요소 emdf_info() 또는 ETSI TS 102 366, 부록 H 및 그들의 기본 요소(underlying elements)에 정의된 바와 같은 신택스 요소 emdf _container()가 사용될 수 있다. 이를 행하기 위해서, 일 실시예는 PACTYP_MEDIA 및/또는 PACTYP_MPEGH_MEDIA_CFG 하에서 전술한 바와 동일하거나 유사한 포맷을 가진 이진 데이터를 식별하기 위해 사용될 수 있는 하나 이상의 emdf _payload_id 정의를 단순히 정의할 수 있다.
압축되지 않은/코딩되지 않은 데이터를 포함하는 미디어 스트림들에 대한 시스템 사운드 혼합은 도 4 및 도 5에 표시된 바와 같이 이 Dolby AC-4 또는 Dolby Digital/Dolby Digital + 에서 유사하게 달성될 수 있지만, 차이점은 어떤 신호 경로를 사용할지에 대한 구분이 MHASPacketType에 기반하여 행해지지 않고 emdf_payload_id-value에 기반하여 행해진다는 것이다.
본 발명에 의해 다루어지는 미디어 스트림들(메인 스트림 및 부가-데이터(side-data) 스트림들)이 다음의 유형일 수 있다:
오디오 스트림들(이 둘은 압축됨 및 압축되지 않음)
비디오 스트림들
자막들
본 발명은 또한, 오버레이 화상, 비디오 또는 텍스트가 표준화된 인터페이스 연결을 통해 메인(전형적으로 압축된 비디오 스트림)에 추가되어 전송되는, 비디오 표시 디바이스들(모니터)에 적용될 수 있다.
참고 문헌들:
US20170223429A1, EP3149955A1
ISO/IEC 23008-3: (MPEG-H 3d 오디오, 제2판)
본 개시의 열거된 예시적인 실시예는 다음에 관련된다:
EEE1. 오디오 신호 처리를 위한 방법으로서,
메인 오디오 정보를 나타내는 메인 스트림과 연관된 패킷들 및 보조 오디오 정보를 나타내는 부가-데이터 스트림과 연관된 패킷들을 포함하는 병합된 패킷화된 미디어 비트스트림을 수신하는 단계, 병합된 패킷화된 미디어 비트스트림의 패킷들의 헤더 정보에서 패킷 유형의 값을 식별하는 단계, 및 병합된 패킷화된 미디어 비트스트림을, 병합된 패킷화된 미디어 비트스트림의 패킷들의 헤더 정보에서 패킷 유형의 값의 식별에 기반하여, 메인 오디오 정보를 나타내는 메인 스트림 및 보조 오디오 정보를 나타내는 부가-데이터 스트림으로 분할하는 단계를 포함하는, 방법.
EEE2. EEE1의 방법으로서,
메인 스트림의 메인 오디오 정보로부터 획득된 출력 신호 및 부가-데이터 스트림의 보조 오디오 정보로부터 획득된 출력 신호에 기반하여, 오디오 출력 신호를 혼합하는 단계를 더 포함하는, 방법.
EEE3. EEE 2의 방법으로서, 메인 및 보조 오디오 정보로부터의 출력 신호들이 동시에 청취자에게 출력되는, 방법.
EEE4. EEE1의 방법으로서,
일차 디코더에 의해 메인 스트림을 디코딩하는 단계를 더 포함하는, 방법.
EEE5. EEE1의 방법으로서,
부가-데이터 스트림이 압축된 보조 오디오 정보에 관련될 때, 이차 디코더에 의해 부가-데이터 스트림을 디코딩하는 단계를 더 포함하는, 방법.
EEE6. EEE1의 방법으로서,
부가-데이터 스트림이 압축된 보조 오디오 정보에 관련될 때, 변환기에 의해 부가-데이터 스트림의 패킷들에 포함된 미디어 데이터를 변환하는 단계를 더 포함하는 단계를 더 포함하는, 방법.
EEE7. EEE5 또는 EEE6의 방법으로서,
압축된 보조 오디오 정보는 MPEG-4 오디오 데이터를 포함하는, 방법.
EEE8. EEE1의 방법으로서,
부가-데이터 스트림은 압축되지 않은 보조 오디오 정보에 관련되는, 방법.
EEE9. EEE8의 방법으로서,
압축되지 않은 보조 오디오 정보는 PCM 데이터를 포함하는, 방법.
EEE10. EEE1의 방법으로서,
패킷 유형은 내부 원시 포맷(internal raw format), 특히 디코더 내부 원시 포맷을 나타내는, 방법.
EEE11. EEE1의 방법으로서,
부가-데이터 스트림에 대해 신호 처리를 수행하는 단계를 더 포함하는, 방법.
EEE12. EEE11의 방법으로서,
부가-데이터 스트림에 대해 신호 처리를 수행하는 단계는, 메인 스트림의 메인 오디오 정보로부터 획득된 출력 신호 및 부가-데이터 스트림의 보조 오디오 정보로부터 획득된 출력 신호에 기반하여 오디오 출력 신호를 혼합하는 단계 전에 수행되는, 방법.
EEE13. EEE11의 방법으로서,
부가-데이터 스트림에 대해 신호 처리를 수행하는 단계는 이득 조절을 수행하는 단계를 포함하는, 방법.
EEE14. EEE13의 방법으로서,
이득 조절은 정적 이득 또는 동적 이득에 기반하여 수행되는, 방법.
EEE15. EEE13의 방법으로서,
정적 이득(들) 또는 동적 이득(들) 중 적어도 하나에 관련되는 혼합 정보를 수신하는 단계를 더 포함하는, 방법.
EEE16. EEE13의 방법으로서,
이득 조절은 음량 조정을 위해 수행되는, 방법.
EEE17. EEE11의 방법으로서,
부가-데이터 스트림에 대해 신호 처리를 수행하는 단계는 시간-정렬을 수행하는 단계를 포함하는, 방법.
EEE18. EEE17의 방법으로서,
시간-정렬을 수행하는 단계는 부가-데이터 비트스트림의 보조 오디오 정보를 메인 비트스트림의 메인 오디오 정보와 시간-정렬하기 위해 수행되는, 방법.
EEE19. EEE17 또는 EEE18에 따른 방법으로서,
부가-데이터 비트스트림의 보조 오디오 정보를 메인 비트스트림의 메인 오디오 정보와 시간-정렬하는 것에 관한 시간-정렬 정보를 수신하는 단계를 더 포함하는, 방법.
EEE20. EEE1의 방법으로서,
패킷 유형은, 특히 시간-정렬을 위해, 시간 오프셋 시그널링을 반송하기 위해 정의되는, 방법.
EEE21. EEE1의 방법으로서,
메인 스트림에 대한 부가-데이터 스트림의 시간 오프셋의 표시(indication of a timing offset)를 수신하는 단계를 더 포함하는, 방법.
EEE22. EEE11의 방법으로서,
부가-데이터 스트림에 대해 신호 처리를 수행하는 단계는, 보조 오디오 정보가 위치 정보와 연관될 때, 객체 렌더링을 포함하는, 방법.
EEE23. EEE 22의 방법으로서,
객체 렌더링은 메인 및 부가-데이터 스트림에 대한 객체 렌더링을 수행하는 객체 렌더러에 의해 수행되는, 방법.
EEE24. EEE11의 방법으로서,
부가-데이터 스트림에 대해 신호 처리를 수행하는 단계는 포맷 변환을 포함하는, 방법.
EEE25. EEE1의 방법으로서,
표준화된 MPEG-H 3D 오디오 디코더에 의해 메인 스트림을 디코딩하는 단계를 더 포함하는, 방법.
EEE26. EEE25의 방법으로서,
부가-데이터 스트림의 패킷들에 포함된 미디어 데이터를, 표준화된 MPEG-H 3D 오디오 디코더에 의해 생성된 미디어 데이터와 혼합하는 단계를 더 포함하는, 방법.
EEE27. EEE26의 방법으로서,
부가-데이터 스트림의 패킷들에 포함된 미디어 데이터는, 압축되지 않은 데이터, 특히 PCM 데이터, 또는 압축된 데이터, 특히 MPEG4 오디오 데이터인, 방법.
EEE28. EEE26의 방법으로서,
부가-데이터 스트림의 패킷들에 포함된 미디어 데이터는 MPEG-H 3D 오디오에서 표준화되지 않은 디코더에 의해 디코딩되는, 방법.
EEE29. EEE1의 방법으로서,
병합된 패킷화된 미디어 비트스트림은 MHAS 패킷들을 포함하는, 방법.
EEE30. 오디오 신호 처리를 위한 방법으로서,
- 메인 오디오 정보를 나타내는 메인 스트림을 수신하는 단계;
- 보조 오디오 정보를 나타내는 부가-데이터 스트림을, 보조 오디오 정보에 기반하여, 생성 또는 수신하는 단계; 및
- 메인 오디오 정보를 나타내는 메인 스트림과 연관된 패킷들 및 보조 오디오 정보를 나타내는 부가-데이터 스트림과 연관된 패킷들을 포함하는 병합된 패킷화된 미디어 비트스트림을 생성하기 위해, 메인 스트림과 부가-데이터 스트림을 병합하는 단계를 포함하는, 방법.
EEE31. EEE30의 방법으로서,
보조 오디오 정보를 나타내는 미디어 데이터를, 병합된 패킷화된 미디어 비트스트림의 포맷의 패킷들로 패킷화하는 단계를 더 포함하는, 방법.
EEE32. EEE30의 방법으로서,
부가-데이터 스트림은 압축된 보조 오디오 정보에 관련되는, 방법.
EEE33. EEE32의 방법으로서,
압축된 보조 오디오 정보는 MPEG-4 오디오 데이터를 포함하는, 방법.
EEE34. EEE30의 방법으로서,
부가-데이터 스트림은 압축되지 않은 보조 오디오 정보에 관련되는, 방법.
EEE35. EEE34의 방법으로서,
압축되지 않은 보조 오디오 정보는 PCM 데이터를 포함하는, 방법.
EEE36. EEE30의 방법으로서,
병합된 패킷화된 미디어 비트스트림의 패킷들의 헤더 정보는 패킷 유형을 나타내는, 방법.
EEE37. EEE36의 방법으로서,
보조 오디오 정보를 나타내는 부가-데이터 스트림과 연관된 패킷들의 패킷 유형의 값은, 보조 오디오 정보와 연관된 미디어 데이터를 나타내는, 방법.
EEE38. EEE30의 방법으로서,
병합된 패킷화된 미디어 비트스트림은 MHAS 패킷들을 포함하는, 방법.
EEE39. 오디오 신호 처리를 위한 장치로서,
메인 오디오 정보를 나타내는 메인 스트림과 연관된 패킷들 및 보조 오디오 정보를 나타내는 부가-데이터 스트림과 연관된 패킷들을 포함하는 병합된 패킷화된 미디어 비트스트림을 수신하도록 구성되는 수신기, 및
병합된 패킷화된 미디어 비트스트림의 패킷들의 헤더 정보에서 패킷 유형의 값의 식별에 기반하여, 병합된 패킷화된 미디어 비트스트림을, 메인 오디오 정보를 나타내는 메인 스트림과 보조 오디오 정보를 나타내는 부가-데이터 스트림으로 분할하도록 구성되는 스플리터를 포함하는, 장치.
EEE40. EEE39의 장치로서,
메인 스트림의 메인 오디오 정보로부터 획득된 출력 신호 및 부가-데이터 스트림의 보조 오디오 정보로부터 획득된 출력 신호에 기반하여 오디오 출력 신호를 혼합하도록 구성되는 혼합기를 더 포함하는, 장치.
EEE41. EEE39의 장치로서,
메인 스트림을 디코딩하도록 구성되는 일차 디코더를 더 포함하는, 장치.
EEE42. EEE39의 장치로서,
부가-데이터 스트림이 압축된 보조 오디오 정보에 관련될 때, 부가-데이터 스트림을 디코딩하도록 구성되는 이차 디코더를 더 포함하는, 장치.
EEE43. EEE39의 장치로서,
부가-데이터 스트림이 압축된 보조 오디오 정보에 관련될 때, 부가-데이터 스트림의 패킷들에 포함된 미디어 데이터를 변환하도록 구성되는 변환기를 더 포함하는, 장치.
EEE44. EEE42 또는 EEE43의 장치로서,
압축된 보조 오디오 정보는 MPEG-4 오디오 데이터를 포함하는, 방법.
EEE45. EEE39의 장치로서,
부가-데이터 스트림은 압축되지 않은 보조 오디오 정보에 관련되는, 방법.
EEE46. EEE45의 장치로서,
압축되지 않은 보조 오디오 정보는 PCM 데이터를 포함하는, 방법.
EEE47. EEE39의 장치로서,
패킷 유형은 내부 원시 포맷, 특히 디코더 내부 원시 포맷을 나타내는, 방법.
EEE48. EEE39의 장치로서,
부가-데이터 스트림에 적용되는 이득 조절을 수행하도록 구성되는 이득 조절 유닛을 더 포함하는, 장치.
EEE49. EEE39의 장치로서,
부가-데이터 스트림에 적용되는 시간-정렬을 수행하도록 구성되는 시간-정렬 유닛을 더 포함하는, 장치.
EEE50. EEE39의 장치로서,
부가-데이터 스트림에 적용되는 객체 렌더링을 수행하도록 구성되는 객체 렌더러를 더 포함하는, 장치.
EEE51. EEE50의 장치로서
객체 렌더러는 일차 디코더에 포함되는, 장치.
EEE52. EEE39의 장치로서,
부가-데이터 스트림에 적용된 포맷 변환을 수행하도록 구성되는 포맷 변환 유닛을 더 포함하는, 장치.
EEE53. EEE39의 장치로서,
메인 스트림을 디코딩하기 위한 표준화된 MPEG-H 3D 오디오 디코더를 더 포함하는, 장치.
EEE54. EEE39의 장치로서
병합된 패킷화된 미디어 비트스트림은 MHAS 패킷들을 포함하는, 장치.
EEE55. 오디오 신호 처리를 위한 장치로서,
메인 오디오 정보를 나타내는 메인 스트림을 수신하도록 구성되는 수신기;
보조 오디오 정보에 기반하여, 보조 오디오 정보를 나타내는 부가-데이터 스트림을 생성하도록 구성되는 로컬 엔진 및/또는 부가-데이터 스트림을 수신하도록 구성되는 수신기; 및
메인 오디오 정보를 나타내는 메인 스트림과 연관된 패킷들 및 보조 오디오 정보를 나타내는 부가-데이터 스트림과 연관된 패킷들을 포함하는 병합된 패킷화된 미디어 비트스트림을 생성하기 위해, 메인 스트림과 부가-데이터 스트림을 병합하도록 구성되는 병합기를 포함하는, 장치.
EEE56. EEE55의 장치로서,
보조 오디오 정보를 나타내는 미디어 데이터를, 병합된 패킷화된 미디어 비트스트림의 포맷의 패킷들로 패킷화하도록 구성되는 패킷화기를 더 포함하는, 장치.
EEE57. EEE55의 장치 및 EEE39의 장치를 포함하는 시스템.

Claims (36)

  1. 메인 스트림(main stream)과 연관된 패킷들 및 보조 스트림(auxiliary stream)과 연관된 패킷들을 포함하는 병합된 패킷화된 미디어 비트스트림(merged packetized media bitstream)을 수신하도록 구성되는 수신기 - 상기 메인 스트림은 MHAS 포맷의 패킷들로서 캡슐화된 MPEG-H 3D 오디오 데이터를 포함하고, 상기 보조 스트림은 상기 MHAS 포맷의 패킷들로서 캡슐화된 추가적인 오디오 데이터를 포함하고, 상기 보조 스트림과 연관된 패킷들의 패킷 페이로드(packet payload)의 포맷은 MPEG-H 3D 오디오 포맷과 상이하고, 상기 MHAS 포맷의 시간 오프셋 패킷들은 상기 메인 스트림에 대한 상기 보조 스트림의 시간 오프셋의 표시를 시그널링하고 상기 시간 오프셋 패킷들이 참조하는 상기 추가적인 오디오 데이터를 반송하는 MHAS 패킷들과 동일한 패킷 라벨 번호를 할당받음 -;
    상기 병합된 패킷화된 미디어 비트스트림의 상기 패킷들의 헤더에 캡슐화된 패킷 유형(packet type)을 식별하도록 구성되고, 상기 패킷 유형의 상기 식별에 기반하여, 상기 병합된 패킷화된 미디어 비트스트림을 상기 메인 스트림과 상기 보조 스트림으로 분할하도록 구성되는 스플리터(splitter) - 상기 보조 스트림과 연관된 패킷들의 패킷 유형들은 패킷 헤더에 캡슐화된 MHAS 패킷 유형들이고, 상기 MHAS 패킷 유형들은 상기 MHAS 패킷들과 상이함 -; 및
    상기 시그널링된 시간 오프셋에 기반하여 상기 추가적인 오디오 데이터를 메인 오디오 데이터와 시간-정렬(time-aligning)하기 위한 시간-정렬 유닛(time-alignment unit)을 포함하는 장치.
  2. 제1항에 있어서, 상기 장치는 MPEG-H 3D 오디오 포맷에 따라 상기 메인 스트림을 디코딩하도록 구성되는 일차 디코더(primary decoder)를 더 포함하는, 장치.
  3. 제1항에 있어서, 상기 보조 스트림과 연관된 패킷들은 상기 패킷 페이로드의 포맷을 식별하는 서브-헤더(sub-header)를 포함하는, 장치.
  4. 제1항에 있어서, 상기 장치는 상기 스플리터로부터 상기 보조 스트림을 수신하고 상기 MPEG-H 3D 오디오 포맷과는 상이한 상기 포맷에 따라 상기 보조 스트림을 디코딩하도록 구성되는 이차 디코더(secondary decoder)를 더 포함하는, 장치.
  5. 제1항에 있어서, 상기 메인 및 보조 스트림으로부터 획득된 출력 신호들은 동시에 청취자(listener)에게 출력되는, 장치.
  6. 제1항에 있어서, 상기 MHAS 포맷은 ISO/IEC 23008-3 표준과 호환되는, 장치.
  7. 메인 스트림과 연관된 패킷들 및 보조 스트림과 연관된 패킷들을 포함하는 병합된 패킷화된 미디어 비트스트림을 수신하는 단계 - 상기 메인 스트림은 MHAS 포맷의 패킷들로서 캡슐화된 MPEG-H 3D 오디오 데이터를 포함하고, 상기 보조 스트림은 상기 MHAS 포맷의 패킷들로서 캡슐화된 추가적인 오디오 데이터를 포함하고, 상기 보조 스트림과 연관된 패킷들의 패킷 페이로드의 포맷은 MPEG-H 3D 오디오 포맷과 상이하고, 상기 MHAS 포맷의 시간 오프셋 패킷들은 상기 메인 스트림에 대한 상기 보조 스트림의 시간 오프셋의 표시를 시그널링하고 상기 시간 오프셋 패킷들이 참조하는 상기 추가적인 오디오 데이터를 반송하는 MHAS 패킷들과 동일한 패킷 라벨 번호를 할당받음 -;
    상기 병합된 패킷화된 미디어 비트스트림의 상기 패킷들의 헤더에 캡슐화된 패킷 유형을 식별하는 단계;
    상기 패킷 유형의 상기 식별에 기반하여, 상기 병합된 패킷화된 미디어 비트스트림을 상기 메인 스트림과 상기 보조 스트림으로 분할하는 단계 - 상기 보조 스트림과 연관된 패킷들의 패킷 유형들은 패킷 헤더에 캡슐화된 MHAS 패킷 유형들이고, 상기 MHAS 패킷 유형들은 상기 MHAS 패킷들과 상이함 -; 및
    상기 시그널링된 시간 오프셋에 기반하여 상기 추가적인 오디오 데이터를 메인 오디오 데이터와 시간-정렬하는 단계를 포함하는 방법.
  8. 제7항에 있어서, 상기 방법은, 상기 MPEG-H 3D 오디오 포맷에 따라, 상기 병합된 패킷화된 미디어 비트스트림으로부터 분할된 상기 메인 스트림을, 일차 디코더에 의해, 디코딩하는 단계를 더 포함하는, 방법.
  9. 제7항에 있어서, 상기 보조 스트림과 연관된 패킷들은 상기 패킷 페이로드의 포맷을 식별하는 서브-헤더를 포함하는, 방법.
  10. 제7항에 있어서, 상기 방법은, 상기 MPEG-H 3D 오디오 포맷과 상이한 상기 포맷에 따라, 상기 병합된 패킷화된 비트스트림으로부터 분할된 상기 보조 스트림을, 이차 디코더에 의해, 디코딩하는 단계를 더 포함하는, 방법.
  11. 제7항에 있어서, 상기 방법은 상기 메인 및 보조 스트림으로부터 획득된 신호들을 동시에 청취자에게 출력하는 단계를 더 포함하는, 방법.
  12. 제7항에 있어서, 상기 MHAS 포맷은 ISO/IEC 23008-3 표준과 호환되는, 방법.
  13. MHAS 포맷의 패킷들로서 캡슐화된 메인 MPEG-H 3D 오디오 데이터를 포함하는 병합된 패킷화된 미디어 비트스트림의 메인 스트림과 연관된 패킷들에 기반하여 오디오 데이터를 생성하도록 구성되는 MPEG-H 3D 오디오 코어 디코더(Audio Core decoder);
    패킷 유형의 식별에 기반하여, 상기 병합된 패킷화된 미디어 비트스트림의 보조 스트림과 연관된 패킷들로서 캡슐화된 추가적인 오디오 데이터에 대해 포맷 변환을 수행하도록 구성되는 포맷 변환 유닛(format conversion unit) - 상기 보조 스트림은 상기 MHAS 포맷의 패킷들로서 캡슐화된 추가적인 오디오 데이터를 포함하고, 상기 보조 스트림과 연관된 패킷들의 패킷 페이로드의 포맷은 MPEG-H 3D 오디오 포맷과 상이하고, 상기 보조 스트림과 연관된 패킷들의 패킷 유형들은 상기 패킷들의 헤더에 캡슐화된 MHAS 패킷 유형들이고, 상기 MHAS 패킷 유형들은 MHAS 패킷들과 상이함 -;
    상기 패킷들에 캡슐화된 상기 추가적인 오디오 데이터의 샘플 속도를 변환하도록 구성되는 샘플 속도 변환기(sample rate converter); 및 선택적으로
    상기 MPEG-H 3D 오디오 코어 디코더에 의해 생성된 오디오 데이터와 상기 샘플 속도 변환기에 의해 출력된 상기 오디오 데이터를 혼합하도록 구성되는 혼합기(mixer)를 포함하는, 장치.
  14. 제13항에 있어서, 상기 MHAS 포맷은 ISO/IEC 23008-3 표준과 호환되는, 장치.
  15. MHAS 포맷의 패킷들로서 캡슐화된 메인 MPEG-H 3D 오디오 데이터를 포함하는 병합된 패킷화된 미디어 비트스트림의 메인 스트림과 연관된 패킷들에 기반하여 오디오 데이터를 생성하도록 구성되는 MPEG-H 3D 오디오 코어 디코더;
    상기 패킷들의 헤더에 캡슐화된 패킷 유형의 식별에 기반하여, 상기 병합된 패킷화된 미디어 비트스트림의 보조 스트림과 연관된 패킷들로서 캡슐화된 추가적인 오디오 데이터를 디코딩하는 수단을 포함하는 추가적인 디코더(additional decoder) - 상기 보조 스트림은 상기 MHAS 포맷의 패킷들로서 캡슐화된 추가적인 오디오 데이터를 포함하고, 상기 보조 스트림과 연관된 패킷들의 패킷 페이로드의 포맷은 MPEG-H 3D 오디오 포맷과 상이하고, 상기 보조 스트림과 연관된 패킷들의 패킷 유형은 상기 패킷들의 헤더에 캡슐화된 MHAS 패킷 유형이고 상기 표준화된 MPEG-H 3D 오디오 코어 디코더에 의해 디코딩될 수 없으며, 상기 MHAS 패킷 유형은 MHAS 패킷들과 상이함-;
    상기 패킷들에 캡슐화된 추가적인 오디오 데이터에 대해 포맷 변환을 수행하도록 구성되는 포맷 변환 유닛;
    상기 패킷들에 캡슐화된 상기 추가적인 오디오 데이터의 샘플 속도를 변환하도록 구성되는 샘플 속도 변환기; 및 선택적으로
    상기 MPEG-H 3D 오디오 코어 디코더에 의해 생성된 오디오 데이터와 상기 샘플 속도 변환기에 의해 출력된 상기 오디오 데이터를 혼합하도록 구성되는 혼합기를 포함하는, 장치.
  16. 제15항에 있어서, 상기 추가적인 디코더는 보조 오디오 스트림과 메인 스트림의 혼합에 관한 정보를 수신하도록 더 구성되는, 장치.
  17. 제16항에 있어서, 혼합 정보(mixing information)는 상기 추가적인 오디오 데이터의 이득 조절을 수행하기 위한 정적 이득(들) 또는 동적 이득(들) 중 적어도 하나에 관련되는, 장치.
  18. 제15항에 있어서, 상기 MHAS 포맷은 ISO/IEC 23008-3 표준과 호환되는, 장치.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
KR1020207024064A 2018-02-22 2019-02-22 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치 KR102690826B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247025538A KR20240119188A (ko) 2018-02-22 2019-02-22 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862634136P 2018-02-22 2018-02-22
US62/634,136 2018-02-22
US201862641098P 2018-03-09 2018-03-09
US62/641,098 2018-03-09
EP18166319.6 2018-04-09
EP18166319 2018-04-09
US201862697536P 2018-07-13 2018-07-13
US62/697,536 2018-07-13
PCT/EP2019/054432 WO2019162434A1 (en) 2018-02-22 2019-02-22 Method and apparatus for processing of auxiliary media streams embedded in a mpeg-h 3d audio stream

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247025538A Division KR20240119188A (ko) 2018-02-22 2019-02-22 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200123786A KR20200123786A (ko) 2020-10-30
KR102690826B1 true KR102690826B1 (ko) 2024-08-02

Family

ID=65628745

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207024064A KR102690826B1 (ko) 2018-02-22 2019-02-22 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치
KR1020247025538A KR20240119188A (ko) 2018-02-22 2019-02-22 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020247025538A KR20240119188A (ko) 2018-02-22 2019-02-22 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치

Country Status (8)

Country Link
US (3) US11232805B2 (ko)
EP (1) EP3756355A1 (ko)
JP (2) JP7274492B2 (ko)
KR (2) KR102690826B1 (ko)
CN (5) CN115691517A (ko)
BR (1) BR112020015531A2 (ko)
RU (1) RU2762400C1 (ko)
WO (1) WO2019162434A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220034860A (ko) 2019-08-15 2022-03-18 돌비 인터네셔널 에이비 수정된 오디오 비트스트림의 생성 및 처리를 위한 방법 및 디바이스
CN115242712B (zh) * 2022-09-26 2023-01-24 中央广播电视总台 一种4k8kip制播调度控制方法、装置和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101564461B1 (ko) 2007-09-24 2015-11-06 코닌클리케 필립스 엔.브이. 비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
JP3735863B2 (ja) * 2002-06-06 2006-01-18 ソニー株式会社 ビデオテープレコーダ及び記録方法
EP1408505A1 (en) * 2002-10-11 2004-04-14 Deutsche Thomson-Brandt Gmbh Method and apparatus for synchronizing data streams containing audio, video and/or other data
US7609939B2 (en) * 2004-08-17 2009-10-27 Lg Electronics Inc. Method and apparatus of reproducing data recorded on recording medium and local storage
US8363161B2 (en) * 2006-05-26 2013-01-29 Broadcom Corporation Systems, methods, and apparatus for synchronization of audio and video signals
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
EP2362653A1 (en) * 2010-02-26 2011-08-31 Panasonic Corporation Transport stream packet header compression
CN103181164A (zh) * 2010-07-20 2013-06-26 汤姆森许可公司 用于技巧模式操作中内容呈现的方法
JP6015085B2 (ja) 2012-04-13 2016-10-26 船井電機株式会社 音声信号出力機器
US9288603B2 (en) * 2012-07-15 2016-03-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding
EP2893707B1 (en) * 2012-09-04 2020-10-21 TiVo Solutions Inc. Wireless media streaming system
US10158927B1 (en) * 2012-09-05 2018-12-18 Google Llc Systems and methods for detecting audio-video synchronization using timestamps
BR122015008454B1 (pt) 2013-01-21 2022-02-15 Dolby Laboratories Licensing Corporation Codificador e decodificador de áudio com sonoridade de programa e metadados de limite.
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
EP2863386A1 (en) * 2013-10-18 2015-04-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for generating encoded audio output data and methods permitting initializing a decoder
CN105723711B (zh) 2013-11-12 2019-05-07 杜比实验室特许公司 高动态范围视频编码中的预抖动方法、装置及存储介质
US9729903B2 (en) * 2013-12-31 2017-08-08 Samsung Electronics Co., Ltd. Data transmitting device and method
US9621963B2 (en) * 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
KR102370031B1 (ko) * 2014-03-18 2022-03-04 코닌클리케 필립스 엔.브이. 시청각 콘텐트 아이템 데이터 스트림들
PL3149955T3 (pl) 2014-05-28 2019-10-31 Fraunhofer Ges Forschung Procesor danych i transport danych kontrolnych użytkownika do dekoderów audio i modułów renderowania
EP2996269A1 (en) * 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
CN113037767A (zh) * 2014-09-12 2021-06-25 索尼公司 发送设备、发送方法、接收设备和接收方法
EP3208801A4 (en) * 2014-10-16 2018-03-28 Sony Corporation Transmitting device, transmission method, receiving device, and receiving method
EP3240195B1 (en) * 2015-02-14 2020-04-01 Samsung Electronics Co., Ltd. Method and apparatus for decoding audio bitstream including system data
US11039182B2 (en) * 2015-04-07 2021-06-15 Sony Corporation Transmission device, transmission method, reception device, and reception method
EP3306942B1 (en) * 2015-05-28 2020-11-25 Sony Corporation Transmission device, transmission method, receiving device, and receiving method
WO2016194563A1 (ja) * 2015-06-02 2016-12-08 ソニー株式会社 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
MX365274B (es) * 2015-06-17 2019-05-29 Sony Corp Dispositivo de transmisión, método de transmisión, dispositivo de recepción, y método de recepción.
US10171849B1 (en) * 2015-07-08 2019-01-01 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
JP2017028463A (ja) * 2015-07-21 2017-02-02 ソニー株式会社 送信装置、および送信方法、受信装置、および受信方法、並びにプログラム
US10693936B2 (en) * 2015-08-25 2020-06-23 Qualcomm Incorporated Transporting coded audio data
US9854375B2 (en) 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
JP6984586B2 (ja) * 2016-03-09 2021-12-22 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US10861435B2 (en) * 2016-03-25 2020-12-08 Sharp Kabushiki Kaisha Systems and methods for signaling of information associated with audio content
US9674453B1 (en) * 2016-10-26 2017-06-06 Cisco Technology, Inc. Using local talker position to pan sound relative to video frames at a remote location
EP3470976A1 (en) 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
CA3230221A1 (en) * 2017-10-12 2019-04-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Optimizing audio delivery for virtual reality applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101564461B1 (ko) 2007-09-24 2015-11-06 코닌클리케 필립스 엔.브이. 비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템

Also Published As

Publication number Publication date
EP3756355A1 (en) 2020-12-30
US20240185871A1 (en) 2024-06-06
US11830508B2 (en) 2023-11-28
US20220165284A1 (en) 2022-05-26
CN115691518A (zh) 2023-02-03
US11232805B2 (en) 2022-01-25
CN115841818A (zh) 2023-03-24
RU2762400C1 (ru) 2021-12-21
CN115691517A (zh) 2023-02-03
KR20200123786A (ko) 2020-10-30
KR20240119188A (ko) 2024-08-06
RU2021134283A (ru) 2021-12-10
JP7274492B2 (ja) 2023-05-16
JP2023086987A (ja) 2023-06-22
JP2021515448A (ja) 2021-06-17
CN111713116A (zh) 2020-09-25
BR112020015531A2 (pt) 2021-02-02
WO2019162434A1 (en) 2019-08-29
CN115691519A (zh) 2023-02-03
US20200395027A1 (en) 2020-12-17
CN111713116B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
US10142757B2 (en) Transmission device, transmission method, reception device, and reception method
US20240185871A1 (en) Method and apparatus for processing of auxiliary media streams embedded in a mpegh 3d audio stream
US20230260523A1 (en) Transmission device, transmission method, reception device and reception method
US11871078B2 (en) Transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
RU2780733C2 (ru) Способ и устройство обработки вспомогательных потоков медиаданных, встроенных в поток mpeg-h 3d audio
KR20100060449A (ko) 수신 시스템 및 오디오 데이터 처리 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant