KR102201826B1

KR102201826B1 - 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법 및 데이터 수신 방법

Info

Publication number: KR102201826B1
Application number: KR1020140025030A
Authority: KR
Inventors: 이경재; 김수영; 김종화; 나일주
Original assignee: 삼성전자주식회사
Priority date: 2013-03-15
Filing date: 2014-03-03
Publication date: 2021-01-12
Also published as: JP6514648B2; TWI625056B; JP6514649B2; KR20140115247A; TWI666931B; TW201438460A; KR20140115245A; KR102180826B1; TW201442494A; JP2016515352A; JP2016513930A

Abstract

데이터 전송 장치를 개시한다. 본 발명의 일 실시 예에 따른 데이터 전송 장치는, 오디오 메타 데이터 패킷을 생성하는 패킷 생성부와, 상기 생성된 오디오 메타 데이터 패킷을 데이터 수신 장치로 전송하는 전송부를 포함하고, 상기 생성된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

Description

데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법 및 데이터 수신 방법{DATA TRANSMITTING APPRATUS, DATA RECEIVING APPARATUS, DATA TRANCEIVING SYSTEM, METHOD FOR TRANSMITTING DATA AND METHOD FOR RECEIVING DATA}

본 발명은 데이터 송수신 방법 및 장치에 관한 것으로, 좀더 상세하게는, 화면 분리의 지원에 관한 정보를 송수신하는, 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법 및 데이터 수신 방법에 관한 것이다.

최근 멀티 미디어 환경이 구축되면서 다양한 데이터 전송을 위한 고속 유선 인터페이스 규격이 제안되고 있다. 예를 들어 HDMI, MHL은 다양한 포맷의 영상 데이터, 오디오 신호, 제어 신호의 전송 규격을 규정한다. 하나의 디스플레이 장치를 통해 서로 다른 시청자가 각각 서로 다른 콘텐츠를 시청할 수 있는 멀티 뷰 기술이 등장하면서, 멀티 뷰 영상에 대응되는 멀티 오디오 전송 규약의 필요성이 제기되고 있다.

특히, 여러 사용자들이 화면을 나누어 서로 다른 콘텐츠를 시청하는 경우, 소스 장치와 싱크 장치 사이에 어떠한 포맷으로 화면의 분리가 이루어졌는지, 분리된 화면 각각에 매칭되는 오디오 신호는 어떤 것인지 등에 관해 정보를 공유할 필요가 있다.

따라서, 소스 장치와 싱크 장치 사이에 화면 분리에 관한 지원 정보를 송수신할 수 있는 규격의 필요성이 제기된다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 소스 장치와 싱크 장치 사이에 화면 분리에 관한 지원 정보를 송수신할 수 있는 인터페이스 규격을 제공하기 위함이다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 데이터 송수신 시스템은 데이터 전송 장치와 데이터 수신 장치를 포함한다.

데이터 전송 장치은 멀티 오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 생성하여 데이터 수신 장치로 전송한다.

상기 패킷의 헤더는, 전체 패킷들 중에서 상기 생성된 패킷의 순서를 식별하기 위한 시퀀스 번호 필드(Sequence Number Field)를 포함한다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 데이터 전송 장치는, 패킷 생성부, 전송부를 포함한다.

상기 패킷 생성부는 멀티 오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 생성한다.

이때, 상기 생성된 패킷의 헤더는, 전체 패킷들 중에서 상기 생성된 패킷의 순서를 식별하기 위한 시퀀스 번호 필드(Sequence Number Field)를 포함한다.

전송부는 상기 생성된 패킷을 데이터 수신 장치로 전송한다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 데이터 수신 장치는, 수신부, 파싱부를 포함한다.

수신부는 데이터 전송 장치(100-1)로부터 멀티 오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 수신하는 구성이고, 파싱부는 상기 수신된 패킷을 파싱한다. 상기 수신된 패킷의 헤더는, 전체 패킷들 중에서 상기 생성된 패킷의 순서를 식별하기 위한 시퀀스 번호 필드(Sequence Number Field)를 포함한다.

상기와 같은 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 데이터 송수신 시스템은, 데이터 전송 장치와 데이터 수신 장치를 포함한다.

데이터 전송 장치는 오디오 메타 데이터 패킷을 생성하여 데이터 수신 장치로 전송한다.

데이터 수신 장치는 상기 오디오 메타 데이터 패킷을 상기 데이터전송 장치로부터 수신한다.

상기 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

상기와 같은 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 데이터 전송 장치는, 패킷 생성부, 전송부를 포함한다.

패킷 생성부는 오디오 메타 데이터 패킷을 생성하고, 특히, 상기 생성된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

전송부는 상기 생성된 오디오 메타 데이터 패킷을 데이터 수신 장치로 전송한다. 이때, 상기 화면 분리 정보 필드는, 화면 분리 지원 여부를 나타내는 화면 분리 유효 필드(Split Screen Valid Field) 및 전송되는 오디오 데이터와 관련된 분리 화면 종류를 나타내는 분리 화면 종류 필드(Split Screen Type Field) 중 적어도 하나를 포함할 수 있다.

또한, 상기 분리 화면 종류 필드는, 디스플레이 화면을 수평 방향으로 분리하는 제1 분리모드, 상기 디스플레이 화면을 수직 방향으로로 분리하는 제2 분리 모드, 상기 디스플레이 화면 내에 PIP 화면을 디스플레이 하는 제3분리 모드 및 상기 디스플레이 화면을 세 개 이상으로 분리하는 제4 분리 모드 중 어느 하나를 포함할 수 있다.

또한, 상기 생성된 오디오 메타 데이터 패킷의 헤더(header)는, 전송되는 콘텐츠가 멀티뷰 콘텐츠인지 싱글뷰 콘텐츠인지를 나타내는 뷰 종류 필드(View Type Field), 상기 오디오 메타데이터 패킷의 시퀀스 번호를 나타내는 시퀀스 번호 필드(Sequence Number Field), 및 전송되는 오디오 스트림의 개수 정보를 나타내는 오디오 스트림 개수 필드(Number Of Audio Stream Field) 중 적어도 하나를 더 포함할 수 있다.

또한, 상기 생성된 오디오 메타 데이터 패킷의 페이로드(payload)는, 멀티 오디오 샘플 패킷(Multi Audio Sample Packet)의 서브 패킷에 대한 메타 데이터를 나타내는 멀티 오디오 디스크립터 필드(Multi Audio Descriptor Field)를 포함할 수 있다.

또한, 상기 멀티 오디오 디스크립터 필드는, 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 분리된 화면 정보를 나타내는 화면 분리 태그 필드(Split Screen Tag Field), 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 뷰를 나타내는 관련 뷰 식별 필드(Associated View ID Field), 상기 멀티 오디오 디스크립터 필드가 유효한 언어 코드를 포함하는지를 나타내는 유효언어 코드 필드(Valid Language Code Field), 메인 오디오 데이터와 보조 오디오 데이터의 프리 믹스 여부를 나타내는 믹스 오디오 필드(mixed Audio Field), 상기 멀티 오디오 디스크립터 필드가 유효한 보조 오디오 데이터의 종류에 대한 정보를 포함하는지를 나타내는 SAT 프레즌트 필드(SAT Present Field), 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터를 위한 보조 오디오 데이터 종류를 나타내는 보조 오디오 종류 필드(Supplemental Audio Type Field), 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터의 ISO639로 정의된 언어 코드를 나타내는 언어 코드 필드(Language Code Field) 중 적어도 하나를 포함할 수 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 데이터 수신 장치는, 수신부, 파싱부를 포함한다.

수신부는 데이터 전송 장치로부터 오디오 메타 데이터 패킷을 수신하고, 특히, 상기 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

수신부는 상기 오디오 메타 데이터 패킷을 데이터 전송 장치(100-2)로부터 수신한다. 이때, 상기 화면 분리 정보 필드는, 화면 분리 지원 여부를 나타내는 화면 분리 유효 필드(Split Screen Valid Field) 및 전송되는 오디오 데이터와 관련된 분리 화면 종류를 나타내는 분리 화면 종류 필드(Split Screen Type Field) 중 적어도 하나를 포함할 수 있다.

또한, 상기 분리 화면 종류 필드는, 디스플레이 화면을 수평 방향으로 분리하는 제1 분리모드, 상기 디스플레이 화면을 수직방향으로 분리하는 제2 분리 모드, 상기 디스플레이 화면 내에 PIP 화면을 디스플레이 하는 제3분리 모드 및 상기 디스플레이 화면을 세 개 이상으로 분리하는 제4 분리 모드 중 어느 하나를 포함할 수 있다.

또한, 상기 오디오 메타 데이터 패킷의 헤더(header)는, 수신되는 콘텐츠가 멀티뷰 콘텐츠인지 싱글뷰 콘텐츠인지를 나타내는 뷰 종류 필드(View Type Field), 상기 오디오 메타데이터 패킷의 시퀀스 번호를 나타내는 시퀀스 번호 필드(Sequence Number Field), 및 수신되는 오디오 스트림의 개수 정보를 나타내는 오디오 스트림 개수 필드(Number Of Audio Stream Field) 중 적어도 하나를 더 포함할 수 있다.

또한, 상기 오디오 메타 데이터 패킷의 페이로드(payload)는, 멀티 오디오 샘플 패킷(Multi Audio Sample Packet)의 서브 패킷에 대한 메타 데이터를 나타내는 멀티 오디오 디스크립터 필드(Multi Audio Descriptor Field)를 포함할 수 있다.

또한, 상기 멀티 오디오 디스크립터 필드는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 분리된 화면 정보를 나타내는 화면 분리 태그 필드(Split Screen Tag Field), 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 뷰를 나타내는 관련 뷰 식별 필드(Associated View ID Field), 상기 멀티 오디오 디스크립터 필드가 유효한 언어 코드를 포함하는지를 나타내는 유효언어 코드 필드(Valid Language Code Field), 메인 오디오 데이터와 보조 오디오 데이터의 프리 믹스 여부를 나타내는 믹스 오디오 필드(mixed Audio Field), 상기 멀티 오디오 디스크립터 필드가 유효한 보조 오디오 데이터의 종류에 대한 정보를 포함하는지를 나타내는 SAT 프레즌트 필드(SAT Present Field), 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터를 위한 보조 오디오 데이터 종류를 나타내는 보조 오디오 종류 필드(Supplemental Audio Type Field), 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터의 ISO639로 정의된 언어 코드를 나타내는 언어 코드 필드(Language Code Field) 중 적어도 하나를 포함할 수 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 또 다른 실시 예에 따른 데이터 송수신 시스템은 데이터 전송 장치와 데이터 수신 장치를 포함한다.

상기 데이터 전송 장치는, 오디오 데이터에 관하여 싱크 장치에 의해 지원되는 특징 정보를 포함하는 디바이스 성능 정보 블록(Device Capability Information Block)을 상기 데이터 수신 장치로 전송한다.

상기와 같은 목적을 달성하기 위한 본 발명의 또 다른 실시 예에 따른 데이터 전송 장치는, 생성부와, 전송부를 포함한다.

생성부는, 오디오 데이터에 관하여 싱크 장치에 의해 지원되는 특징 정보를 포함하는 디바이스 성능 정보 블록(Device Capability Information Block)을 생성한다.

상기 디바이스 성능 정보 블록은, 상기 싱크 장치가 화면 분리와 관련된 멀티 오디오 수신 및 처리를 지원하는지를 나타내는 화면분리 오디오 필드(Split Screen Audio Field)를 포함할 수 있다.

전송부는 데이터 수신 장치(200-3)에 상기 디바이스 성능 정보 블록(Device Capability Information Block)을 전송한다.

상기와 같은 목적을 달성하기 위한 본 발명의 또 다른 실시 예에 따른 데이터 수신 장치는, 수신부와 분석부를 포함한다.

수신부는, 상기 데이터 전송 장치로부터 디바이스 성능 정보 블록을 수신하고, 분석부는 수신된 디바이스 성능 정보 블록을 분석한다.

상기 디바이스 성능 정보 블록(Device Capability Information Block)은, 오디오 데이터에 관하여 싱크 장치에 의해 지원되는 특징 정보를 포함한다. 구체적으로, 상기 디바이스 성능 정보 블록은, 상기 싱크 장치가 화면 분리와 관련된 멀티 오디오 수신 및 처리를 지원하는지를 나타내는 화면분리 오디오 필드(Split Screen Audio Field)를 포함할 수 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 데이터 전송 방법은, 오디오 메타 데이터 패킷을 생성하는 단계와, 상기 생성된 오디오 메타 데이터 패킷을 데이터 수신 장치로 전송하는 단계를 포함한다. 이때, 상기 생성된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

이때, 상기 화면 분리 정보 필드는, 화면 분리 지원 여부를 나타내는 화면 분리 유효 필드(Split Screen Valid Field) 및 전송되는 오디오 데이터와 관련된 분리 화면 종류를 나타내는 분리 화면 종류 필드(Split Screen Type Field) 중 적어도 하나를 포함할 수 있다.

또한, 상기 분리 화면 종류 필드는, 디스플레이 화면을 수평 방향으로 분리하는 제1 분리모드, 상기 디스플레이 화면을 수직 방향으로 분리하는 제2 분리 모드, 상기 디스플레이 화면 내에 PIP 화면을 디스플레이 하는 제3분리 모드 및 상기 디스플레이 화면을 세 개 이상으로 분리하는 제4 분리 모드 중 어느 하나를 포함할 수 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 데이터 수신 방법은, 데이터 전송 장치로부터 오디오 메타 데이터 패킷을 수신하는 단계, 상기 수신된 오디오 메타 데이터 패킷을 파싱하는 단계를 포함하고, 상기 수신된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

또한, 상기 화면 분리 정보 필드는, 화면 분리 지원 여부를 나타내는 화면 분리 유효 필드(Split Screen Valid Field) 및 전송되는 오디오 데이터와 관련된 분리 화면 종류를 나타내는 분리 화면 종류 필드(Split Screen Type Field) 중 적어도 하나를 포함할 수 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 데이터 전송 방법은, 멀티오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 생성하는 단계와, 상기 생성된 패킷을 데이터 수신 장치로 전송하는 단계를 포함하고, 상기 생성된 패킷의 헤더는, 전체 패킷들 중에서 상기 생성된 패킷의 순서를 식별하기 위한 시퀀스 번호 필드(Sequence Number Field)를 포함한다.

상기와 같은 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 데이터 수신 방법은, 멀티오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 수신하는 단계와, 상기 수신된 패킷을 파싱하는 단계를 포함하고, 상기 수신된 패킷의 헤더는, 전체 패킷들 중에서 상기 생성된 패킷의 순서를 식별하기 위한 시퀀스 번호 필드(Sequence Number Field)를 포함한다.

상기와 같은 목적을 달성하기 위한 본 발명의 또 다른 실시 예에 따른 따른 데이터 전송 방법은, 오디오 데이터에 관하여 싱크 장치에 의해 지원되는 특징 정보를 포함하는 디바이스 성능 정보 블록(Device Capability Information Block)을 생성하는 단계와, 데이터 수신 장치에 상기 디바이스 성능 정보 블록을 전송하는 단계를 포함하고, 상기 디바이스 성능 정보 블록은, 상기 싱크 장치가 화면 분리와 관련된 멀티 오디오 수신 및 처리를 지원하는지를 나타내는 화면분리 오디오 필드(Split Screen Audio Field)를 포함한다.

상기와 같은 목적을 달성하기 위한 본 발명의 또 다른 실시 예에 따른 데이터 수신 방법은, 오디오 데이터에 관하여 싱크 장치에 의해 지원되는 특징 정보를 포함하는 디바이스 성능 정보 블록(Device Capability Information Block)을 수신하는 단계와, 상기 수신된 디바이스 성능 정보 블록을 분석하는 단계를 포함하고, 상기 디바이스 성능 정보 블록은, 상기 싱크 장치가 화면 분리와 관련된 멀티 오디오 수신 및 처리를 지원하는지를 나타내는 화면분리 오디오 필드(Split Screen Audio Field)를 포함한다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은, 소스 장치와 싱크 장치 사이에 화면 분리에 관한 지원 정보를 송수신할 수 있는 인터페이스 규격을 제공한다.

도 1은 싱글 오디오 스트림과 멀티 오디오 스트림을 도시한 도면,
도 2는 소스 장치가 싱크 장치로 듀얼 윈도우 및 화면 분리에 대한 멀티 오디오를 전송하는 도시한 도면,
도 3은 상기 화면 분리 지원 정보를 표시하기 위한 싱크 장치와 소스 장치 사이의 데이터 송수신을 개괄적으로 나타낸 도면,
도 4는 상기 멀티 오디오 샘플 패킷의 페이로드가 전송되는 상황을 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 데이터 송수신 시스템의 블록도,
도 6은 본 발명의 일 실시 예에 따른 데이터 전송 장치의 블록도를 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 데이터 수신 장치의 블록도를 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 데이터 송수신 시스템의 블록도,
도 9는 본 발명의 일 실시 예에 따른 데이터 전송 장치의 블록도,
도 10은 본 발명의 일 실시 예에 따른 데이터 수신 장치의 블록도,
도 11 및 12는 3D 오디오 신호의 전송 타이밍일 도시한 도면,
도 13은 본 발명의 일 실시 예에 따른 데이터 송수신 시스템의 블록도,
도 14는 본 발명의 일 실시 예에 따른 데이터 전송 장치의 구성을 도시한 블록도,
도 15는 본 발명의 일 실시 예에 따른 데이터 수신 장치의 구성을 도시한 블록도,
도 16a 내지 16 c는 쿼드 뷰 비디오 콘텐츠를 3D 인터레이스 포맷으로 전송하는 경우 다양한 데이터 전송 포맷을 도시한 도면,
도 17은 본 발명의 일 실시 예에 따른 데이터 전송 방법의 흐름도,
도 18은 본 발명의 일 실시 예에 따른 데이터 수신 방법의 흐름도,
도 19는 본 발명의 다른 실시 예에 따른 데이터 전송 방법의 흐름도,
도 20은 본 발명의 다른 실시 예에 따른 데이터 수신 방법의 흐름도,
도 21은 본 발명의 또 다른 실시 예에 따른 데이터 전송 방법의 흐름도, 그리고,
도 22는 본 발명의 또 다른 실시 예에 따른 데이터 수신 방법의 흐름도이다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 본 발명의 기술적 사상과 균등한 범위에서 HDMI(High Definition Multimedia Interface), MHL(Mobile High-Definition Link) 규격과 같은 다양한 유선 인터페이스 전송 규격에 적용될 수 있으므로 본 발명의 권리범위는 이와 유사한 유선 인터페이스 전송 규격에까지 미친다.

본 명세서는 하기의 문헌을 참조한다.

ITU-R BS.2159-4 (05/2012), 가정내 다채널 사운드 기술과 방송 애플리케이션(Multichannel sound technology in home and broadcasting applications)

SMPTE, SMPTE 2036-2:2008, “UHDTV-음성 특징들과 프로그램 제작을 위한 음성 채널 맵핑(UHDTV ? Audio characteristics and audio channel mapping for program production)”, 2008

IEC, IEC 62574 ed 1.0, “음성, 비디오 그리고 멀티미디어 시스템- 다채널 음성의 일반적 채널 할당(Audio, video and multimedia systems ? General channel assignment of multichannel audio)”, 2011년 4월 7일

다음의 테이블 1은 본 명세서에서 사용하는 용어를 간략하게 설명하고 있다.

Term	Definition
MHL 소스	MHL 출력 포트를 갖는 장치. MHL 소스는 각각의 MHL 출력 포트에서 소켓을 사용하고 플러그는 사용하지 않는다.
MHL 싱크	하나 또는 그 이상의 MHL 입력 포트를 갖는 장치. MHL 싱크는 각각의 MHL 입력 포트에서 소켓을 사용하고 플러그는 사용하지 않는다.
3D 오디오	스피커들이 3D 공간 어디에서든 위치하는 음성 시스템. 이것은 높이 요소를 포함하지 않고 전형적으로 수평적 2D 평면 스피커들을 위치시키는 오디오. 3D 오디오는 ITU-R BS.2159-4(타입 B 10.2ch), SMPTE2036-2 (22.2ch), 또는 IEC62574 (30.2ch)에서 정의되는 채널 레이아웃을 사용한다. 3D 오디오는 또한 9개 또는 그 이상의 오디오 채널들을 포함하는 이런 표준들에서 정의되는 다운믹스된 오디오 스트림을 포함한다. 이 명세서에서 의심의 여지를 피하기 위해, 3D 오디오는 별개의 채널들의 한정된 수를 의미할 뿐, 객체를 기반으로 하는 오디오를 의미하지 않는다.
멀티 오디오	하나 또는 그 이상의 비디오 스트림과 관련된 오디오 스트림의 컬렉션. 멀티 오디오는 싱글-AV 스트림으로서 옮겨진다. 이 명세서에서 명확성을 위해, 멀티 오디오는 멀티 AV-스트리밍을 경유한 다수 오디오 스트림의 전송을 의미하지 않는다.
스트림	MHL 소스로부터 기원하고 하나의 MHL 싱크에서 종료하는 디지털 데이터의 시간 순서 집합. 스트림은 스트림 데이터 내에서 고정된 주파수 대역폭 조건들에 의해, 그리고 동기화 시점이나 시간 스탬프에 의해 특징지어 진다.
(싱글-AV) 스트림	모든 스트림 데이터가 동일한 패킷 스트림 ID를 공유하도록 패킷화되는 싱글 스트림. 싱글-AV 스트림에서 스트림 데이터는 하나 또는 그 이상의 비디오 스트림, 그리고 하나 또는 그 이상의 오디오 스트림을 처리할 수 있다.
멀티-AV 스트림	유일한 패킷 스트림 ID가 각 싱글-AV 스트림에 할당되는 다수 싱글-AV 스트림 집합.
싱글-뷰	싱글 비디오 스트림만이 MHL 싱크에 표시되는 뷰 모드.
멀티-뷰	두 개 또는 그 이상의 독립 비디오 스트림이 MHL 싱크에 동시에 표시되고, 시청자가 주어진 시간에 언제든 하나의 비디오 스트림만을 볼 수 있는 뷰 모드. 예를 들어, 멀티 뷰 비디오 스트림은 독립 비디오 스트림이 좌우 입체 화면들에서 각각 처리되는 3D 비디오 포맷을 통해 전송될 수 있다.
윈도우	MHL 싱크에 의해 표시되는 비디오 영상의 (비중첩) 부분. 비디오 영상은 각 창이 서로 중첩하지 않는 두 개 또는 그 이상의 창들로 구성될 수 있다.
분리 화면	두 개 또는 그 이상의 창들이 태그(tag) 되고 MHL 소스(예를 들면, PIP TV 시청, TV 퀵 프리뷰, 멀티스크린 게임)에 의해 식별되는 뷰 옵션.

< Table 1 ? Term>

도 1은 싱글 오디오 스트림과 멀티 오디오 스트림을 도시한 도면이다.

도 1 (A)에 도시된 것처럼 싱글 오디오 스트림은 적어도 하나의 비디오 데이터에 대해 복수의 오디오 데이터가 존재하고, 이들 오디오 데이터가 하나의 싱글 스트림으로 전송되는 경우이다. 싱글 스트림에서는 모든 스트림 데이터가 동일한 패킷 스트림 ID를 공유하도록 패킷화된다.

도 1 (B)에 도시된 것처럼 멀티 오디오 스트림은 다수의 싱글 AV 스트림이 전송되는 경우이다. 멀티 오디오 스트림에서는 유일한 패킷 스트림 ID가 각 싱글 AV 스트림에 할당되는 다수의 싱글-AV 스트림 집합이 존재한다. 다수의 싱글 AV 스트림의 비디오 데이터는 상호 독립적이다.

멀티 오디오 스트림의 각 오디오 스트림은 최대 2 개의 오디오 채널을 전송한다. 그리고, 싱글 오디오 스트림과 관련된다. 예를 들어, 싱글 뷰 모드에서 각 오디오는 디폴트 비디오 스트림에 연결되고, 듀얼 뷰 모드에서 오디오는 좌측 이미지나 우측 이미지(또는 둘다)에 연결될 수 있다. 또한, 다음과 같은 하나 이상의 보조 오디오 옵션을 전송할 수 있다. 즉, 화면 분리 태깅(Split-screen tagging), 언어 표시(Language indication), 시각/청각 장애인을 위한 오디오 표시(indication of audio for visually/hearing impaired)이 그것이다.

화면 분리(Split Screen)란, 두 개 이상의 윈도우에 대해 소스 장치에 의해 상이한 오디오 데이터가 태깅되고 식별되는 시청 옵션(viewing option)을 의미한다. 화면 분리는 PIP 시청 방식 (picture-in-pucture viewing), 퀵 프리뷰 시청 방식(quick-preview), 멀티 스크린 게임(multi-screen game) 등에서 사용된다. 여기서 윈도우란 싱크 장치의 스크린의 일 영역 상에 디스플레이 되는 구별되는 디스플레이 이미지를 의미한다.

화면 분리(또는 멀티 윈도우도 동일한 용어로 사용될 수 있다)는 멀티 오디오와 함께 사용되는 선택적인 구성이 될 수 있다. 화면 분리 모드는 싱크 장치에서 화면이 분리되는 구성을 나타내며, 오디오 스트림을 태깅하고, 특정한 윈도창에 매핑한다.

도 2는 소스 장치가 싱크 장치로 듀얼 윈도우 및 화면 분리에 대한 멀티 오디오를 전송하는 도시한 도면이다.

도 2의 (A)는 멀티 스크린에 각각에 대한 오디오 데이터를 전송하는 실시 예이고, 도 2의 (B)는 퀵 프리뷰 시청이나 PIP 시청에 따른 복수의 오디오 데이터를 전송하는 실시 예이며, 도 2의 (C)는 멀티 스크린 게임에 따른 복수의 오디오 데이터를 전송하는 실시 예를 도시한다. 싱크 장치의 사용자는 원하는 오디오를 선택하여 청취할 수 있다.

도 3은 상기 화면 분리 지원 정보를 표시하기 위한 싱크 장치와 소스 장치 사이의 데이터 송수신을 개괄적으로 나타낸 도면이다.

소스 장치(310)는 밴더-특정 인포프레임(Vendor-Specific Infoframe), 멀티 오디오 샘플 패킷(Multi-Audio Sample Packet), 멀티 오디오 매타 데이터 패킷(Multi-Audio Metadata Packet)을 싱크 장치로 전송한다.

멀티 오디오 샘플 패킷은 복수의 오디오 스트림을 포함한다. 멀티 오디오 메타 데이터 패킷은 각 오디오 스트림에 대한 설정을 표시한다. 이는 비디오 스트림과 관련되며, 보조 오디오 정보를 운반할 수 있다. 밴더-특정 인포 프레임은 전송되는 콘텐츠의 멀티 뷰 타입을 표시한다. 구체적인 실시 예에 대해서는 후술하기로 한다.

싱크 장치(320)는 확장된 디바이스 성능 레지스터(Extended Device Capability Register)를 소스 장치로 전송하여 싱크 장치가 지원하는 멀티 오디오 모드 정보를 알려준다. 구체적인 실시 예에 대해서는 후술하기로 한다.

한편, 멀티 오디오는 보조 오디오 트랙들(예를 들면, 다수 언어, 시각적 장애를 위한 오디오 설명, 또는 청각적 장애를 위한 클린 오디오)의 전송을 지원한다. 이 경우에, 최대 16개의 오디오 스트림들이 동시에 전송될 수 있다. 이에 대해서도 구체적인 설명은 뒤에서 하기로 한다.

TMDS 시그널링과 인코딩

데이터 플랫폼 패킷

Packet Type Value	Packet Type	Section
0x00	Null	4.x
0x01	Audio Clock Regeneration (N/CTS)	4.x
0x02	Audio Sample	4.x
0x03	Content Mute Packet	4.x
0x04	3D Audio Sample	4.x
0x05	Multi-Audio Sample	4.x
0x06	3D Audio Metadata Packet	4.x
0x07	Multi-Audio Metadata Packet	4.x
0x80+InfoFrame Type	InfoFrame	4.x

< Table 2 - Packet Types>

3D 오디오 샘플 패킷

3D 오디오는 스피커가 3D 공간상에서 3D 오디오 규격(e.g. 10.2ch, 22.2ch, 30.2ch 등)별로 정해진 위치에 배치될 수 있는 오디오로 정의된다. 3D 오디오 샘플 패킷은 9개에서 32개의 오디오 채널들을 가지는 하나의 오디오 샘플로 구성되어 있다.

3D 오디오 스트림은 32 오디오 채널(또는 그 이상)까지를 포함하고 데이터 섬 구간에서 연속적인 패킷을 통해 전송된다. 각 패킷은 8 오디오 채널들까지 포함한다. 서브 패킷들의 구성은 시퀀스 번호와 헤더에 있는 샘플 프레즌트 비트(sample_present bits)에 의해 판단된다.

시퀀스 번호 필드(sequence_number): 현재 패킷의 순서를 나타낸다. 다수 3D 오디오 샘플 패킷들이 싱글 3D 오디오 샘플을 포함하기 때문에, 이 필드는 패킷 순서를 정확하게 식별하기 위해 필요하다.

다른 헤더 필드들과 서브패킷 구조는 MHL 2.0 명세서에서 보여지는 오디오 샘플 패킷과 일치한다.

Byte \ Bit #	7	6	5	4	3	2	1	0
HB0	0	0	0	0	0	1	0	0
HB1	0	0	sequence_number		sample present.sp3	sample present.sp2	sample present.sp1	sample present.sp0
HB2	B.3	B.2	B.1	B.0	sample flat.sp3	sample flat.sp2	sample flat.sp1	sample flat.sp0
PB0	L.11	…	…	…	…	…	…	L.4
PB1	L.19	…	…	…	…	…	…	L.12
PB2	L.27	…	…	…	…	…	…	L.20
PB3	R.11	…	…					R.4
PB4	R.19	…	…	…	…	…	…	R.12
PB5	R.27	…	…	…	…	…	…	R.20
PB6	P_R	C_R		V_R	P_L	C_L	U_L	V_L
PB7	L.11	…	…	…	…	…	…	L.4
PB8	L.19	…	…	…	…	…	…	L.12
PB9	L.27	…	…	…	…	…	…	L.20
PB10	R.11	…	…					R.4
PB11	R.19	…	…	…	…	…	…	R.12
PB12	R.27	…	…	…	…	…	…	R.20
PB13	P_R	C_R		V_R	P_L	C_L	U_L	V_L
PB14	L.11	…	…	…	…	…	…	L.4
PB15	L.19	…	…	…	…	…	…	L.12
PB16	L.27	…	…	…	…	…	…	L.20
PB17	R.11	…	…					R.4
PB18	R.19	…	…	…	…	…	…	R.12
PB19	R.27	…	…	…	…	…	…	R.20
PB20	P_R	C_R		V_R	P_L	C_L	U_L	V_L
PB21	L.11	…	…	…	…	…	…	L.4
PB22	L.19	…	…	…	…	…	…	L.12
PB23	L.27	…	…	…	…	…	…	L.20
PB24	R.11	…	…					R.4
PB25	R.19	…	…	…	…	…	…	R.12
PB26	R.27	…	…	…	…	…	…	R.20
PB27	P_R	C_R		V_R	P_L	C_L	U_L	V_L

< Table 3 - 3D Audio Sample Packet>

멀티 오디오 샘플 패킷

멀티 오디오 샘플 패킷은 각 오디오 샘플이 독립적으로 오디오 스트림과 관련된 네 개의 오디오 샘플들을 포함할 수 있다. 소스 장치가 네 개 이상의 독립적 오디오 스트림들을 동시에 전송할 때, 이런 연속적인 오디오 스트림들은 계속되는 멀티 오디오 샘플 패킷들 시리즈에 의해 전송된다. 패킷 헤더에서 정의된 시퀀스 번호(sequence_number)는 각각의 멀티 오디오 샘플 패킷을 식별하고 패킷들의 정렬 내에서 현재 패킷의 순서를 나타낸다. 서브 패킷들의 구성은 시퀀스 번호와 헤더에 있는 샘플 프레즌트 비트(sample present bits) 에 의해 판단된다. 이에 대해 멀티 오디오 데이터 패킷화에서 자세하게 설명된다.

각각의 서브 패킷(또는 오디오 스트림)을 위해, 멀티 오디오 메타데이터 패킷(Multi-Audio Metadata Packet)에 있는 디스크립터 필드(descriptor field)는 뷰 모드(즉, 싱글-뷰 또는 멀티-뷰), 그리고 선택적 정보(예를 들면, 화면 분리 태깅, 언어 코드, 시각적 장애를 위한 오디오, 등)를 설명한다. 이것들은 뒤에서 자세히 설명된다.

시퀀스 번호 필드(sequence_number): 소스 장치로부터 싱크 장치로 전송하기 위한 네 개 이상의 오디오 스트림들이 있을 때, 현재 멀티 오디오 샘플 패킷의 시퀀스 번호를 나타낸다. 만약 이 필드가 0으로 설정되면, 그 패킷은 해당 서브 패킷들에서 각각 첫 번째 네 개의 오디오 스트림들을 포함할 수 있다. 만약 이 필드가 1로 설정되면, 그 패킷은 해당 서브 패킷들에서 각각 두 번째 네 개의 오디오 스트림 세트를 포함할 수 있다. 비슷한 방법에서, 패킷은 이 필드가 2나 3으로 설정될 때, 세 번째나 네 번째 네 개의 오디오 스트림 세트를 각각 포함한다. 시퀀스 번호가 0인 서브 패킷 0에서 처리되는 오디오 스트림은 디폴트(default) 오디오 스트림으로서 지정된다.

스트림 프레즌트 필드 (stream_presnt.spX) : 서브 패킷 X가 스트림 X의 오디오 샘플(들)을 포함하는지 아닌지를 나타낸다.

스트림 플랫 필드(stream_flat.spX) : 서브 패킷 X가 스트림 X의 “플랫라인(flatline)” 샘플을 나타내는지 아닌지를 나타낸다. stream_present.spX 가 설정될 때만 유효하다.

다른 헤더 필드들과 서브 패킷 구조는 MHL 2.0 스팩에서 보여지는 오디오 샘플 패킷과 일치한다.

Byte \ Bit #	7	6	5	4	3	2	1	0
HB0	0	0	0	0	0	1	0	1
HB1	0	0	sequence_number		stream present.sp3	stream present.sp2	stream present.sp1	stream present.sp0
HB2	B.3	B.2	B.1	B.0	stream flat.sp3	stream flat.sp2	stream flat.sp1	stream flat.sp0
PB0~PB6	Audio sample data for audio stream N+0
PB7~PB13	Audio sample data for audio stream N+1
PB14~PB20	Audio sample data for audio stream N+2
PB21~PB27	Audio sample data for audio stream N+3

< Table 4 - Mutli Audio Sample Packet>

도 4는 상기 멀티 오디오 샘플 패킷의 페이로드가 전송되는 상황을 도시한 도면이다.

도 4에 도시된 것처럼 4 개의 멀티 오디오 샘플 패킷이 전송되는 경우 16개의 오디오 스트림을 운반할 수 있다. 시퀀스 번호는 2비트로 이루어져 있으므로, 최대 16개의 오디오 스트림이 운반될 수 있다.

도 5는 본 발명의 일 실시 예에 따른 데이터 송수신 시스템(1000-1)의 블록도이다.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 데이터 송수신 시스템(1000-1)은 데이터 전송 장치(100-1)와 데이터 수신 장치(200-1)를 포함한다.

데이터 전송 장치(100-1)은 멀티 오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 생성하여 데이터 수신 장치(200-1)로 전송한다.

도 6은 본 발명의 일 실시 예에 따른 데이터 전송 장치(100-1)의 블록도를 도시한 도면이다.

도 6을 참조하면, 본 발명의 일 실시 예에 따른 데이터 전송 장치(100-1)는, 패킷 생성부(110), 전송부(120)를 포함한다.

상기 패킷 생성부(110)는 멀티 오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 생성한다. 전술한 실시 예에서 보여지듯이, 하나의 패킷은 4개의 오디오 스트림에 대응되는 4 개의 서브 패킷을 포함할 수 있다.

이때, 상기 생성된 패킷의 헤더는, 전체 패킷들 중에서 상기 생성된 패킷의 순서를 식별하기 위한 시퀀스 번호 필드(Sequence Number Field)를 포함한다. 도 4의 실시 예와 같이 시퀀스 번호 필드는 전송되는 패킷의 순서를 나타낸다.

전송부(120)는 상기 생성된 패킷을 데이터 수신 장치(200-1)로 전송한다.

도 7은 본 발명의 일 실시 예에 따른 데이터 수신 장치(200-1)의 블록도를 도시한 도면이다.

도 7을 참조하면, 본 발명의 일 실시 예에 따른 데이터 수신 장치(200-1)는, 수신부(210), 파싱부(220)를 포함한다.

수신부(210)는 데이터 전송 장치(100-1)로부터 멀티 오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 수신하는 구성이다.

파싱부(220)는 상기 수신된 패킷을 파싱한다. 상기 수신된 패킷의 헤더는, 전체 패킷들 중에서 상기 생성된 패킷의 순서를 식별하기 위한 시퀀스 번호 필드(Sequence Number Field)를 포함한다. 도 4의 실시 예와 같이 시퀀스 번호 필드는 전송되는 패킷의 순서를 나타낸다.

3D 오디오 메타데이터 패킷

액티브(active) 3D 오디오 데이터를 설명하는 보조 데이터(Ancillary data)는 3D 오디오 메타데이터 패킷을 사용해서 전송된다. 소스 장치가 3D 오디오 샘플 패킷들을 전송할 수 있다면, 소스 장치는 항상 정확한 3D 오디오 메타데이터 패킷을, 적어도 두 개의 비디오 필드당 한번, 전송한다.

다음은 3D 오디오 메타데이터 패킷을 보여준다.

Byte \ Bit #	7	6	5	4	3	2	1	0
HB0	0	0	0	0	0	1	1	1
HB1	0	0	0	0	0	0	0	0
HB2	0	0	0	0	0	0	0	0
PB0	0	0	0	3D_CC
PB1	0	0	0	0	3D_CAST
PB2	3D_CA
PB3~PB27	Reserved

< Table 5 - 3D Audio Metadata Packet>

3D_CC [4:0]	Audio Channel Count
0b00000	Refer to Stream Header
0b00001	9 channels
0b00010	10 channels
…	…
0b11000	32 channels
0b11001~0b11111	Reserved

< Table 6 - 3D_CC (3D Audio Channel Count) field>

3D_CAST [3:0]	Description
0b0000	Reserved
0b0001	Up to 10.2 channels Based on ITU-R BS. 2159-4 (Type B, 10.2ch)
0b0010	Up to 22.2 channels Based on SMPTE 2036-2
0b0011	Up to 30.2 channels Based on IEC 62574/Ed.1
0b0100~0b1111	Reserved

< Table 7 - 3D_CAST (3D Audio Channel Allocation Standard Type) field>

3D_CA
(hex)

Channel Number

12

11

10

9

8

7

6

5

4

3

2

1

0x00

TpFC

LFE2

TpFR

TpFL

BR

BL

RS

LS

FC

LFE1

FR

FL

0x01

Reserved

…

0xFF

< Table 8 - 3D_CA (3D Audio Channel/Speaker Allocation) field ( 3D_CAST = 0x01(up to 10.2ch) )>

3D_CA (hex)	Channel Number
	12	11	10	9		8		7		6		5		4		3		2	1
0x00	TpFC	LFE2	TpFR	TpFL		BR		BL		SiR		SiL		FC		LFE1		FR	FL
0x01	TpFC	LFE2	TpFR	TpFL		BR		BL		SiR		SiL		FC		LFE1		FR	FL
0x02	Reserved
…
0xFF
3D_CA (hex)	Channel Number
	24	23	22	21	20		19		18		17		16		15		14		13
0x00	-	-	-	-	-		-		-		-		-		-		-		-
0x01	BtFC	BtFR	BtFL	TpC	TpSiR		TpSiL		TpBC		TpBR		TpBL		BC		FRC		FLC
0x02	Reserved
…
0xFF

< Table 9 - 3D_CA (3D Audio Channel/Speaker Allocation) field ( 3D_CAST = 0x02(up to 22.2ch) )>

3D_CA
(hex)

Channel Number

12

11

10

9

8

7

6

5

4

3

2

1

0x00

TpFC

LFE2

TpFR

TpFL

BR

BL

SiR

SiL

FC

LFE1

FR

FL

0x01

TpFC

LFE2

TpFR

TpFL

BR

BL

SiR

SiL

FC

LFE1

FR

FL

0x02

TpFC

LFE2

TpFR

TpFL

BR

BL

SiR

SiL

FC

LFE1

FR

FL

0x03

Reserved

…

0xFF

3D_CA
(hex)

Channel Number

24

23

22

21

20

19

18

17

16

15

14

13

0x00

-

0x01

BtFC

BtFR

BtFL

TpC

TpSiR

TpSiL

TpBC

TpBR

TpBL

BC

FRC

FLC

0x02

BtFC

BtFR

BtFL

TpC

TpSiR

TpSiL

TpBC

TpBR

TpBL

BC

FRC

FLC

0x03

Reserved

…

0xFF

3D_CA
(hex)

Channel Number

32

31

30

29

28

27

26

25

0x00

-

0x01

-

0x02

TpRS

TpLS

RSd

LSd

RS

LS

FRW

FLW

0x03

Reserved

…

0xFF

< Table 10 - 3D_CA (3D Audio Channel/Speaker Allocation) field ( 3D_CAST = 0x03(up to 30.2ch) )>

멀티 오디오 메타데이터 패킷(Multi-Audio Metadata Packet)

액티브 멀티 오디오 스트림을 설명하는 보조 데이터(supplementary data)는 멀티 오디오 메타데이터 패킷을 사용해서 전송된다. 이 패킷은 뷰 종류와 멀티 오디오 샘플 패킷들에서 옮겨지는 각각의 오디오 스트림을 위한 보조적 오디오 선택사항들을 설명하기 위해 사용된다.

소스 장치가 멀티 오디오 샘플 패킷들을 전송할 수 있다면, 소스 장치는 항상 정확한 멀티 스트림 오디오 메타데이터 패킷을, 적어도 두 개의 비디오 필드당 한번씩 전송한다.

다음은 멀티 오디오 메타데이터 패킷을 보여준다.

Byte \ Bit #	7		6	5	4	3	2	1	0
HB0	0		0	0	0	1	0	0	0
HB1	MA_View_Type			Sequence_Number		Num_Audio_Streams
HB2	SC_ Valid	000 0000 (or Split_Screen_Config, if SC_Valid=1)
PB0~PB6	MA_Descriptor_0
PB7~PB13	MA_Descriptor_1
PB14~PB20	MA_Descriptor_2
PB21~PB27	MA_Descriptor_3

< Table 11 - Multi-Audio Metadata Packet>

뷰 종류 필드(MA_View_Type): 싱글뷰나 멀티뷰 같은 멀티 오디오 스트림의 관련된 뷰 모드를 나타낸다. 아래 테이블을 참고.

시퀀스 번호 필드(Sequence_Number): 패킷이나 현재 멀티 오디오 메타데이터 패킷의 시퀀스 번호를 나타낸다. 이 필드는 최고 네 개의 상이한 멀티 오디오 메타데이터 패킷들을 식별하기 위해 사용된다. 이 필드는 각 멀티 오디오 메타데이터 패킷을 같은 시퀀스 번호를 갖는 멀티 오디오 샘플 패킷과 연결한다.

오디오 스트림 개수 필드(Num_Audio_Streams: 멀티 오디오 샘플 패킷들에 의해 전송된 오디오 스트림들의 총 개수를 나타낸다.

화면 분리 유효 필드(SC_Valid): 만약 1로 설정된다면, 화면 분리 태깅은 지원받고, 화면 분리 구성 필드는 다음 7비트에서 상세화된다. 만약 0으로 설정되면, 화면 분리 태깅은 지원받지 않거나 상세화되지 않거나 하고, 다음 7비트는 다른 사용을 위해 남겨진다.

화면 분리 종류 필드(Split_Screen_Config) : 현재 디스크립터에 의해 나타내지는 오디오 스트림과 관련된 화면 분리 종류를 나타낸다. 선택 가능한 화면 분리 종류들은 아래 테이블 13에서 나열되어 있다. 이 필드는 SC_유효=1일때만 유효하다.

멀티 오디오 디스크립터 필드(MA_Descriptor_X): 해당 멀티 오디오 샘플 패킷의 서브 패킷 X에 의해 전송되는 오디오 스트림의 특성을 나타낸다. 테이블 13은 멀티 오디오 디스크립터의 상세한 구조를 보여준다.

MA_View_Type [1:0]	Description
0b00	Unspecified or single view mode
0b01	Multi-View mode
0b10	Reserved
0b11	Reserved

< Table 12 - Multi-Audio Type field>

Split_Screen_Config [6:0]	Description
0b000 0000	Unspecified or single view mode
0b000 0001	Split mode 1 (split by 2)
0b000 0010	Split mode 2 (split by 2)
0b000 0011	Split mode 3 (split by 2)
0b000 0100	Split mode 4 (split by 3)
0b000 0101	Split mode 5 (split by 3)
0b000 0110	Split mode 6 (split by 3)
0b000 0111	Split mode 7 (split by 3)
0b000 1000	Split mode 8 (split by 3)
0b000 1001	Split mode 9 (split by 3)
0b000 1010	Split mode 10 (split by 4)
0b000 1011	Split mode 11 (split by 4)
0b000 1100	… (TBD)
0bxxx xxxx ~ 0b111 1111	Reserved

< Table 13 - Split_Screen_Config field>

다음 표는 멀티 오디오 디스크립터를 보여준다.

Byte \ Bit #	7	6	5	4	3	2	1	0
PB N+0	Split_Screen_Tag				0	0	Associated_View_ID
PB N+1	LC_present	0	Mixed_ Audio	SAT_ present	Suppl_Audio_Type
PB N+2	Language_Code (3 Bytes)
PB N+3
PB N+4
PB N+5	0	0	0	0	0	0	0	0
PB N+6	0	0	0	0	0	0	0	0

< Table 14 - Multi-Audio Descriptor>

화면 분리 태그 필드(Split_Screen_Tag) : 현재 멀티 오디오 디스크립터에 의해 나타내지는 오디오 스트림과 관련된 특정 창(분리 화면 구성에 의해 정의된 것처럼)을 나타낸다. 상세한 설명은 아래 테이블 16에서 보여진다. 이 필드는 SC_유효=1 일때만 유효하고, 그렇지 않으면 싱크 장치는 이 필드를 무시한다.

관련 뷰 식별 필드(Associated_View_ID): 현재 멀티 오디오 디스크립터에 의해 나타내지는 오디오 스트림과 관련된 특정 뷰를 나타낸다. 이 필드의 의미는 뷰 종류 필드(MA_View_Type) 의 값에 달려있다. 상세한 설명은 아래 테이블 15에서 보여진다.

유효 언어 코드 필드(LC_present): 만약 이 필드가 1로 설정되면, 현재 디스크립터는 다음 바이트들에서 유효한 언어 코드 필드(Language_Code)를 포함한다.

믹스 오디오 필드(Mixed_Audio): 만약 이 필드가 1로 설정되면, 해당 오디오 스트림은 보조 오디오 종류 필드(Suppl_Audio_Type)에 의해 나타나듯이 일반 오디오와 보조 오디오의 미리 믹스된 스트림을 포함한다.

SAT 프레즌트 필드(SAT_present) : 만약 이 필드가 1로 설정되면, 현재 디스크립터는 다음 4비트들에서 유효한 보조 오디오 종류 필드(Suppl_Audio_Type)를 포함한다.

보조 오디오 종류 필드(Suppl_Audio_Type) : 해당 오디오 스트림을 위한 보조 오디오의 종류를 나타낸다. 상세한 설명은 테이블 17을 참고. 이 필드는 SAT 프레즌트 필드(SAT_present)=1 일 때만 유효하고, 그렇지 않으면, 싱크 장치는 이 필드를 무시한다.

언어 코드 필드(Language_Code): 해당 오디오 스트림의 ISO639로 정의된 언어 코드를 나타낸다. 이 필드는 유효 언어 코드 필드(LC_present)가 1로 설정될 때만 유효하고, 그렇지 않으면, 싱크 장치는 이 필드를 무시한다.

MA_View_Type	Associated_View_ID [2:0]	Description
0b00	0b00	Unspecified or default view
0b01	0b00	Left stereoscopic picture of 3D field
	0b01	Right stereoscopic picture of 3D field
	0b10 ~ 0b11	Reserved

< Table 15 - Associated View Identifier field>

Split_Screen_Tag [3:0]	Description
0b0000	Window 1
0b0001	Window 2
0b0010	Window 3
…	…
0b1111	Window 16

< Table 16 - Split-Screen Tag field>

Suppl_Audio_Type [3:0]	Description
0b0000	Unspecified or general Audio
0b0001	Narrated Audio for the visually impaired
0b0010	Spoken subtitles for the visually impaired
0b0011	Clean audio for the hearing impaired
0b0100	Emergency audio channel
0b0101~0b1111	Reserved

< Table 17 - Supplementary Audio Feature field>

도 8은 본 발명의 일 실시 예에 따른 데이터 송수신 시스템(1000-2)의 블록도이다.

도 8을 참조하면, 본 발명의 다른 실시 예에 따른 데이터 송수신 시스템(1000-2)은, 데이터 전송 장치(100-2)와 데이터 수신 장치(200-2)를 포함한다.

데이터 전송 장치(100-2)은 오디오 메타 데이터 패킷을 생성하여 데이터 수신 장치(200-2)로 전송한다. 오디오 메타 데이터 패킷은 전송되는 오디오 스팩에 대해 정의한다.

데이터 수신 장치(200-2)는 상기 오디오 메타 데이터 패킷을 상기 데이터전송 장치(100-2)로부터 수신한다.

데이터 전송 장치(100-2)와 데이터 수신 장치(200-2)의 각 구성에 대해서는 아래에서 자세하게 설명한다.

도 9는 본 발명의 다른 실시 예에 따른 데이터 전송 장치(100-2)의 블록도이다.

도 9를 참조하면, 본 발명의 일 실시 예에 따른 데이터 전송 장치(100-2)는, 패킷 생성부(110), 전송부(120)를 포함한다.

패킷 생성부(110)는 오디오 메타 데이터 패킷을 생성한다. 오디오 메타 데이터 패킷은 전송되는 오디오 스팩에 대해 정의한다.

특히, 상기 생성된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

전송부(120)는 상기 생성된 오디오 메타 데이터 패킷을 데이터 수신 장치(200-2)로 전송한다.

도 10은 본 발명의 다른 실시 예에 따른 데이터 수신 장치(200-2)의 블록도이다.

도 10을 참조하면, 본 발명의 다른 실시 예에 따른 데이터 수신 장치(200-2)는, 수신부(210), 파싱부(220) 를 포함한다.

수신부(210)는 데이터 전송 장치(100-2)로부터 오디오 메타 데이터 패킷을 수신한다. 오디오 메타 데이터 패킷은 수신되는 오디오 스팩에 대해 정의한다.

특히, 상기 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

수신부(220)는 상기 오디오 메타 데이터 패킷을 데이터 전송 장치(100-2)로부터 수신한다.

액티브 멀티 오디오 모드 인디케이터(Active Multi-Audio Mode Indicator)

소스 장치는 싱크 장치에, 전송되는 정확한 뷰 모드를 나타내기 위해 Vendor-Specific Infoframe(VSIF)를 사용한다. VSIF는 테이블 18에서 보여지는 것처럼 구조화된다.

Byte \ Bit #	7	6	5	4	3	2	1	0
HB0	InfoFrame_Type = 0x81
HB1	InfoFrame_version = 0x01
HB2	0	0	0	InfoFrame_length
PB0	Checksum
PB1	24-bit IEEE-assigned Organizationally Unique Identifier (OUI) 0x7CA61D
PB2
PB3
PB4	Reserved		MHL_3D_FMT_TYPE				MHL_VID_FMT
PB5	TBD? (for High-End Video Mode)
PB6	0	0	0	0	0	MHL_MULTI_VIEW
PB7…PB26	Reserved
PB27	Reserved

< Table 18 - Vendor-Specific InfoFrame Packet>

MHL 멀티 뷰 필드(MHL_MULTI_VIEW): 어떤 멀티뷰 모드가 전송되는지를 나타낸다. 상세한 설명은 테이블 19에서 보여진다.

MHL_MULTI_VIEW [2:0]	Description
0b000	Unspecified or Single-View mode
0b001	Dual-View mode
0b010	Triple-View mode
0b011	Quad-View mode
0b100~0b111	Reserved

< Table 19 - MHL_MULTI_VIEW field>

비디오

3D 지원을 위한 3D 비디오 디스크립터

	Bit
	7	6	5	4	3	2	1	0
VDI_L	Reserved				MV_ SUPP	LR_ SUPP	TB_ SUPP	FS_ SUPP
VDI_H	Reserved

< Table 20 - 3D Video Descriptor Data Structure>

각각의 지원되는 3D 비디오 모드는 하나의 3D 비디오 디스크립터에서 나타내진다.

MV_SUPP: 만약 ‘1’로 설정되면, 장치는 멀티뷰 비디오 스트리밍을 위한 3D 비디오 포맷들을 사용해 지원한다.

오디오

채널/스피커 할당

싱크 장치가 3D 오디오를 수신할 능력이 있을 경우에, 테이블 38에서 테이블 40에 설명된 3D 채널 스피커 할당 디스크립터는 부착된 스피커들의 구성을 나타내기 위해 사용된다. 소스 장치로부터 전송되는 3D 오디오를 위한 현재 스피커 할당의 지표가 3D 오디오 메타데이터 패킷의 3D CA 필드에서 다뤄진다. 3D CA 필드의 상세한 설명은 테이블 27부터 29를 참고한다.

3D 오디오 데이터 패킷화(3D Audio Data Packetization)

3D 오디오 샘플 패킷의 각 서브 패킷은 0 또는 하나의 IEC 60958 프레임을 포함한다. 만약 소스 장치가 3D 오디오 스트림을 다운 믹스할 필요가 있고, 그 다운 믹스된 오디오 스트림들이 또한 3D 오디오 스트림일 때, 그것들은 3D 오디오 샘플 패킷들을 사용해서 처리된다. 만약 싱크 장치가 3D 오디오 특징을 지원하지 않는다면, 소스 장치는 3D 오디오 메타데이터 패킷과 더불어 3D 오디오 샘플 패킷들을 전송하지 않는다.

채널들의 수에 의존해, 다른 서브 패킷 레이아웃의 수가 존재한다. 아래 테이블 21부터 23는 12, 24, 또는 32 채널들 각각을 전송할 때 3D 오디오 패킷 레이아웃을 보여준다.

Packet #	sequence number	Num Channels	Sample	Subpkt 0	Subpkt 1	Subpkt 2	Subpkt 3
0	0	12	1	Chnl 1,2(Sample 0)	Chnl 3,4(Sample 0)	Chnl 5,6(Sample 0)	Chnl 7,8(Sample 0)
1	1	Chnl 9,10(Sample 0)	1	Chnl 11,12(Sample 0)	Empty	Empty

< Table 21 - 3D Audio Sample Packet Layout for 12 channels>

Packet #	sequence number	Num Channels	Sample	Subpkt 0	Subpkt 1	Subpkt 2	Subpkt 3
0	0	24	1	Chnl 1,2(Sample 0)	Chnl 3,4(Sample 0)	Chnl 5,6(Sample 0)	Chnl 7,8(Sample 0)
1	1	Chnl 9,10(Sample 0)		Chnl 11,12(Sample 0)	Chnl 13,14(Sample 0)	Chnl 15,16(Sample 0)
2	2	Chnl 17,18(Sample 0)		Chnl 19,20(Sample 0)	Chnl 21,22(Sample 0)	Chnl 23,24(Sample 0)

< Table 22 - 3D Audio Sample Packet Layout for 24 channels>

Packet #	sequence number	Num Channels	Sample	Subpkt 0	Subpkt 1	Subpkt 2	Subpkt 3
0	0	32 (Max)	1	Chnl 1,2(Sample 0)	Chnl 3,4(Sample 0)	Chnl 5,6(Sample 0)	Chnl 7,8(Sample 0)
1	1	Chnl 9,10(Sample 0)		Chnl 11,12(Sample 0)	Chnl 13,14(Sample 0)	Chnl 15,16(Sample 0)
2	2	Chnl 17,18(Sample 0)		Chnl 19,20(Sample 0)	Chnl 21,22(Sample 0)	Chnl 23,24(Sample 0)
3	3	Chnl 25,26(Sample 0)		Chnl 27,28(Sample 0)	Chnl 29,30(Sample 0)	Chnl 31,32(Sample 0)

< Table 23 - 3D Audio Sample Packet Layout for 32 channels>

각각의 서브 패킷을 위한 하나의, 3D 오디오 샘플 패킷 헤더에 4개의 샘플 프레즌트 비트(Sample_present bit)들이 있다. 각각은 하나의 서브 패킷이 3D 오디오 샘플을 포함한다는 것을 나타낸다. 덧붙여, 샘플에 의해 대표되는 시간 기간 동안에 소스 장치에서 이용 가능한 유용한 오디오 데이터가 없다면, 설정되는 네 개의 샘플 플랫(sample_flat.spX) 비트들이 있다. 이것은 샘플 비율 변화 또는 일시적인 스트림 방해 동안 발생할 수 있다.

계속되는 3D 오디오 샘플 패킷들은 L-PCM 오디오(즉, 5에서 16 IEC60958 프레임들)의 9에서 32개 사이의 채널들을 포함하는 하나의 3D 오디오 샘플을 처리하도록 사용될 수 있다.

3D 오디오 샘플의 첫 번째 패킷은 8개 오디오 채널들로 가득 쌓여 있고, 0으로 설정된 시퀀스 번호 필드를 갖는다. 시퀀스 번호는 동일한 3D 오디오 샘플 내에서 각 추가 패킷에 대해 하나씩 증가한다. 마지막 패킷은 3D 오디오 샘플의 전체 채널 수들에 의존하는 8개 또는 그 보다 적은 오디오 채널수를 포함한다.

3D 오디오 샘플 패킷을 위한 오직 5개의 유효한 샘플 프레즌트(sample_present) 비트들이 있다.

SP0	SP1	SP1	SP3	Description
0	0	0	0	No Subpackets contain parts of the audio sample.
1	0	0	0	Only Subpacket 0 contains one part of the audio sample.
1	1	0	0	Subpackets 0 and 1 contain two contiguous parts of the audio sample.
1	1	1	0	Subpackets 0 , 1 and 2 contain three contiguous parts of the audio sample.
1	1	1	1	Subpackets 0 , 1, 2 and 3 contain four contiguous parts of the audio sample.

< Table 24 - Valid Sample_Present Bit Configurations for 3D Audio transmission>

도 11 및 12는 3D 오디오 신호의 전송 타이밍일 도시한 도면이다.

도 11과 12에서 수평 블랭크 구간(horizontal Blanking Interval)에서 3개의 8채널 2D 오디오 신호 샘플들을 전송하는 것을 알 수 있다. 24 채널의 3D 오디오 신호는 같은 기간 동안 하나의 샘플이 전송된다.

멀티 오디오 데이터 패킷화(Multi-Audio Data Packetization)

MHL은 MHL 소스 장치가 싱글-AV 스트리밍을 위해 오디오 스트림들을 동시에 전송하도록 하게 한다. 다수 오디오 스트림들은 싱글뷰 또는 멀티뷰 비디오 스트리밍(예를 들면, 뷰 당 다른 오디오들을 갖는 듀얼뷰 게이밍) 중 하나와 연관된다. 보조 오디오 모드들은 화면 분리 태깅(즉, 화면의 다른 부분들이 태그되고 그 자신의 오디오 스트림과 관련된다), 언어 코드들, 또는 시각적/청각적 장애인을 위한 오디오를 나타낼 수 있다. 각각의 오디오 스트림은 하나의 뷰 모드와 관련되고 최대 2개의 오디오 채널들을 포함한다.

멀티 스트림 오디오 샘플 패킷의 각각의 서브 패킷은 0 또는 하나의IEC60958로 정의된 IEC60958 또는 IEC61937 “블록”의 “프레임들”을 포함할 수 있다.

전송되기 위한 4개 이상의 오디오 스트림들이 있을 때, 두 개 또는 그 이상의 연속되는 멀티 오디오 샘플 패킷들은 다수의 오디오 스트림들을 전송하기 위해 사용된다. 패킷 정렬 내의 각 패킷의 순서는 시퀀스 번호 필드에 의해 식별된다. MHL 소스 장치는 싱글 AV 스트림 내에서 최대 16개의 독립 오디오 스트림들을 동시에 전송할 수 있다.

테이블 25와 26은 MHL 소스 장치가 싱글 뷰 비디오 스트리밍으로 네 개의 오디오 스트림들을 전송할 때, 멀티 오디오 샘플 패킷과 멀티 오디오 메타데이터 패킷 레이아웃의 예들을 보여준다. 멀티 오디오 메타데이터 패킷은 각각의 오디오 스트림의 특징들(보조 정보, 언어)을 설명한다.

테이블 27과 28은 MHL 소스 장치가 듀얼뷰 비디오 스트리밍으로 8개의 오디오 스트림들을 전송할 때, 멀티 오디오 샘플 패킷과 멀티 오디오 메타데이터 패킷 레이아웃의 예들을 보여준다. 멀티 오디오 메타데이터 패킷은 각각의 오디오 스트림의 특징들(관련뷰, 보조 정보, 언어)을 설명한다.

테이블 29와 30은 MHL 소스 장치가 싱글뷰 비디오 스트리밍을 가능하게 하는 화면 분리 태깅 옵션을 가지고 여섯 개의 오디오 스트림들을 전송할 때, 멀티 오디오 샘플 패킷과 멀티 오디오 메타데이터 패킷 레이아웃의 예들을 보여준다.

Packet #	sequence number	Num Streams	Subpkt 0	Subpkt 1	Subpkt 2	Subpkt 3
0	0	4	Stream 1 (Channel 1,2)	Stream 2 (Channel 1,2)	Stream 3 (Channel 1,2)	Stream 4 (Channel 1,2)

< Table 25 - Example of Multi-Audio Sample Packet Layout with 4 audio streams in single view mode>

Packet #	sequence number	Num Streams	Subpkt 0	Subpkt 1	Subpkt 2	Subpkt 3
0	0	4	English nomal	Korean normal	Japanese Audio for VI	Spanish Audio for HI

< Table 26 - Example of Multi-Audio Metadata Packet Layout (related to the packet in Table 25)>

HI를 위한 오디오: 청각적 장애를 위한 오디오 스트림

VI를 위한 오디오: 시각적 장애를 위한 오디오 스트림

Packet #	sequence number	Num Streams	Subpkt 0	Subpkt 1	Subpkt 2	Subpkt 3
0	0	8	Stream 1 (Channel 1,2)	Stream 2 (Channel 1,2)	Stream 3 (Channel 1,2)	Stream 4 (Channel 1,2)
1	1	Stream 5 (Channel 1,2)	Stream 6 (Channel 1,2)	Stream 7 (Channel 1,2)	Stream 8 (Channel 1,2)

< Table 27 - Example of Multi-Audio Sample Packet Layout with 8 audio streams in dual view mode>

Packet #	sequence number	Num Streams	Subpkt 0	Subpkt 1	Subpkt 2	Subpkt 3
0	0	8	Left View English nomal	Left View Korean normal	Left View Spanish normal	Left View Spanish Audio for HI
1	1	Left View English Audio for VI	Right View Koean Audio for VI	Right View Japanese Audio for VI	Right View Chinese Audio for VI

< Table 28 - Example of Multi-Audio Metadata Packet Layout (related to the packet in Table 27)>

HI를 위한 오디오: 청각적 장애를 위한 오디오 스트림

VI를 위한 오디오: 시각적 장애를 위한 오디오 스트림

Packet #	sequence number	Num Streams	Subpkt 0	Subpkt 1	Subpkt 2	Subpkt 3
0	0	6	Stream 1 (Channel 1,2)	Stream 2 (Channel 1,2)	Stream 3 (Channel 1,2)	Stream 4 (Channel 1,2)
1	1	Stream 5 (Channel 1,2)	Stream 6 (Channel 1,2)	-	-

< Table 29 - Example of Multi-Audio Sample Packet Layout with 6 audio streams with Split-Screen tagging (in single view) mode>

Packet #	sequence number	Num Streams	Subpkt 0	Subpkt 1	Subpkt 2	Subpkt 3
0	0	6	Window 1 English normal	Window 2 Korean normal	Window 3 Spanish normal	Window 4 Japanese normal
1	1	Window 5 English Audio for HI	Window 6 English Audio for VI	-	-

< Table 30 - Example of Multi-Audio Metadata Packet Layout (related to the packet in Table 29)>

HI를 위한 오디오: 청각적 장애를 위한 오디오 스트림

VI를 위한 오디오: 시각적 장애를 위한 오디오 스트림

3D 오디오 메타데이터 패킷화

액티브 3D 오디오 스트림이 전송될 때마다, 정확한 3D 오디오 메타데이터 패킷이 적어도 두 개 비디오 필드 당 한번 전송된다.

새로운 3D 오디오 스트림이 시작할 때, 또는 3D 오디오 메타데이터 패킷과 오디오 인포프레임에 의해 나타낼 수 있는 3D 오디오 스트림에 변화가 있을 때, 수정된 정확한 3D 오디오 메타데이터 패킷은 처음 영향받은 넌 사일런트(non-silent) 오디오 샘플을 따르는 하나의 비디오 프레임 이전에 전송된다. 우선적으로, 이것은 처음 영향 받은 오디오 샘플이 전송되기 바로 직전에 발생한다.

3D 오디오 메타데이터 패킷 전송은 수평적 수직적 블랭킹 구간을 포함하는 데이터 플랫폼 구간 이내에서 언제든 발생할 수 있다.

3D 오디오가 스트리밍 될 때, MHL 싱크 장치는 오디오 인포프레임에서 CC와 CA 필드들을 무시하고, 대신에 3D 오디오 메타데이터 패킷에서 3D_CC와 3D_CA를 참고한다.

멀티 오디오 메타데이터 패킷화

액티브 멀티-오디오 스트림이 전송될 때마다, 정확한 멀티-오디오 메타데이터 패킷이 적어도 두 개 비디오 필드 당 한번 전송된다.

새로운 멀티-오디오 스트림이 시작할 때, 또는 멀티-오디오 메타데이터 패킷과 오디오 인포프레임에 의해 나타낼 수 있는 멀티-오디오 스트림에 변화가 있을 때, 수정된 정확한 멀티-오디오 메타데이터 패킷은 처음 영향받은 넌 사일런트(non-silent) 오디오 샘플을 따르는 하나의 비디오 프레임 이전에 전송된다. 우선적으로, 이것은 처음 영향 받은 오디오 샘플이 전송되기 바로 직전에 발생한다.

멀티-오디오 메타데이터 패킷 전송은 수평적 수직적 블랭킹 구간을 포함하는 데이터 플랫폼 구간 이내에서 언제든 발생할 수 있다.

3D/멀티-오디오 지원을 위한 WRITE_BURST 사용

3D 오디오 모드에 대한 지원은 테이블 30과 31에서 나타난 것처럼 포맷된 일련의 WRITE_BURST 이동을 사용하여 나타낸다.

Offset	Symbol	Value	Description	Notes
0x00	BURST_ID_H		High-order byte of Burst_ID
0x01	BURST_ID_L		Low-order byte of Burst_ID
0x02	CHECK_SUM		Checksum for WRITE_BURST
0x03	TOT_DESC		Total Descriptors in Sequence
0x04	SEQ		Sequence Index
0x05	NUM_DESC		Number of Descriptors in this burst
0x06	AUD_DESC 1		Indicates the audio descriptor for 3D Audio
0x07
0x08
0x09
0x0A	AUD_DESC 2		Indicates the audio descriptor for 3D Audio
0x0B
0x0C
0x0D
0x0E	TBD		TBD
0x0F	TBD		TBD

< Table 31 - MHL 3D Audio Descriptors (3D_AD) in WRITE_BURST>

Byte \ Bit #	7	6	5	4	3	2	1	0
1	0	0	0	0	Audio Format Code = 0001b
2	0	0	0	Max Number of channels - 1
3	0	192 kHz	176.4 kHz	96 kHz	88.2 kHz	48 kHz	44.1 kHz		32 kHz
4	0	0	0	0	0	24 bit	20 bit		16 bit

< Table 32 - 3D Audio Descriptor for Audio Format Code = 1 (LPCM)>

Byte \ Bit #	7	6	5	4	3	2	1	0
1	0	0	0	0	Audio Format Code
2	0	0	0	Max Number of channels - 1
3	0	192 kHz	176.4 kHz	96 kHz	88.2 kHz	48 kHz	44.1 kHz	32 kHz
4	Maximum bit rate divided by 8kHz

< Table 33 -3D Audio Descriptor for Audio Format Codes 2 to 8>

Byte \ Bit #	7	6	5	4	3	2	1	0
1	0	0	0	0	Audio Format Code
2	0	0	0	Max Number of channels - 1
3	0	192 kHz	176.4 kHz	96 kHz	88.2 kHz	48 kHz	44.1 kHz	32 kHz
4	Audio Format Code dependent value

< Table 34 - 3D Audio Descriptor for Audio Format Codes 9 to 13>

Byte \ Bit #	7	6	5	4	3	2	1	0
1	0	0	0	0	Audio Format Code = 1110b
2	0	0	0	Max Number of channels - 1
3	0	192 kHz	176.4 kHz	96 kHz	88.2 kHz	48 kHz	44.1 kHz	32 kHz
4	Reserved (0)					Profile

Table 35 - 3D Audio Descriptor for Audio Format Code 14 (WMA Pro)>

Byte \ Bit #	7	6	5	4	3	2	1	0
1	0	0	0	0	Audio Format Code = 1111b
2	0	0	0	Max Number of channels - 1
3	0	192 kHz	176.4 kHz	96 kHz	88.2 kHz	48 kHz	44.1 kHz	32 kHz
4	Audio Format Code Extension					0	0	0

Offset	Symbol	Value	Description	Notes
0x00	BURST_ID_H		High-order byte of Burst_ID
0x01	BURST_ID_L		Low-order byte of Burst_ID
0x02	CHECK_SUM		Checksum for WRITE_BURST
0x03	CSA_DESC		Indicates the channel / speaker allocation descriptor for 3D Audio
0x04
0x05
0x06
0x07	TBD		TBD
0x08	TBD		TBD
0x09	TBD		TBD
0x0A	TBD		TBD
0x0B	TBD		TBD
0x0C	TBD		TBD
0x0D	TBD		TBD
0x0E	TBD		TBD
0x0F	TBD		TBD

< Table 37 - MHL 3D Channel / Speaker Allocation Descriptor (3D_CSAD) in WRITE_BURST>

Byte \ Bit #	7	6	5	4	3	2	1	0
PB1	FLW/ FRW	BLC/ BRC	FLC/ FRC	BC	BL/BR	FC	LFE1	FL/FR
PB2	TpSiL/TpSiR	SiL/SiR	TpBC	LFE2	LS/RS	TpFC	TpC	TpFL/ TpFR
PB3	0	0	0	LSd/ LRd	TpLS/ TpRS	BtFL/ BtFR	BtFC	TpBL/ TpBR
PB4	3D_CAST (=0x01)				0	0	0	0

< Table 38 - 3D Channel Speaker Allocation Descriptor for 10.2channel>

굵은 글씨는 10.2채널과 관련된 지정 스피커를 나타냄.

Byte \ Bit #	7	6	5	4	3	2	1	0
PB1	FLW/ FRW	BLC/ BRC	FLC/ FRC	BC	BL/BR	FC	LFE1	FL/FR
PB2	TpSiL/TpSiR	SiL/SiR	TpBC	LFE2	LS/RS	TpFC	TpC	TpFL/ TpFR
PB3	0	0	0	LSd/ LRd	TpLS/ TpRS	BtFL/ BtFR	BtFC	TpBL/ TpBR
PB4	3D_CAST (=0x02)				0	0	0	0

< Table 39 - 3D Channel Speaker Allocation Descriptor for 22.2channel>

굵은 글씨는 22.2채널과 관련된 지정 스피커를 나타냄

Byte \ Bit #	7	6	5	4	3	2	1	0
PB1	FLW/ FRW	BLC/ BRC	FLC/ FRC	BC	BL/BR	FC	LFE1	FL/FR
PB2	TpSiL/TpSiR	SiL/SiR	TpBC	LFE2	LS/RS	TpFC	TpC	TpFL/ TpFR
PB3	0	0	0	LSd/ LRd	TpLS/ TpRS	BtFL/ BtFR	BtFC	TpBL/ TpBR
PB4	3D_CAST (=0x03)				0	0	0	0

< Table 40 - 3D Channel Speaker Allocation Descriptor for 30.2channel>

굵은 글씨는 30.2채널과 관련된 지정 스피커를 나타냄

3D_CAST	Description
0x0	Reserved
0x1	Up to 10.2 channels Based on ITU-R BS. 2159-4 (Type B, 10.2ch)
0x2	Up to 22.2 channels Based on SMPTE 2036-2
0x3	Up to 30.2 channels Based on IEC 62574/Ed.1Reserved
0x4	Reserved
…
0xF

< Table 41 - 3D_CAST (3D Audio Channel Allocation Standard Type) field>

링크 제어 버스(Link Control Bus)

디바이스 레지스터 변경 인터럽트(Device Register Change Interrupt)

Register Name

Offset

7

6

5

4

3

2

1

0

RCHANGE_INT

0x20

Bit

Name

Source

Sink

Notes

0

DCAP_CHG

X

…

1

DSCR_CHG

X

…

2

REQ_WRT

X

…

2

3

GRT_WRT

X

…

2

4

3D_REQ

X

…

3

5

3D_AUD_REQ

X

Request for 3D Audio Information

4

6-7

< Table 42 - Register Change Interrupt Register Details>

3D_AUD_REQ는 MHL 싱크 장치로부터 3D 오디오 지원 정보를 요청하기 위해 MHL 소스 장치에 의해 사용된다. MHL 스팩 6.14 참조.

Burst_ID Code

Symbol	Value	Description	Notes
3D_VIC	0x0010	Indicates Video Index Codes for 3D	1
3D_DTD	0x0011	Indicates Detailed Timing Descriptors for 3D	1
3D_AD	0x0101	Indicates the 3D Audio Descriptors for 3D Audio	2
3D_CSAD	0x0110	Indicates the 3D Channel/Speaker Allocation Descriptor for 3D Audio	2

< Table 43 - BURST_ID Codes>

3D_AD와 3D_CSAD는 오디오 연장의 지원을 나타내는데 있어 MHL 싱크 장치에 의해 사용된다. MHL 스팩 7.XX를 참조.

제어와 구성(Control and Configuration)

확장된 디바이스 성능 레지스터(Extended Device Capability Register)

싱크 장치는 소스 장치에 확장된 디바이스 성능 레지스터를 제공할 수 있다. 다시 말해, 소스 장치는 싱크 장치의 확장된 디바이스 성능 레지스터를 읽어올 수 있다.

아래 테이블과 같이 MHL 스팩에서 확장된 디바이스 성능 레지스터의 어드레스 0x85를 싱크 장치가 지원하는 멀티 오디오 모드를 나타내는데 사용할 수 있다.

Address	Extended Device Capability Register Name	Definition
0x80	ECBUS_SPEEDS	Frequencies
0x81	TMDS_SPEEDS	TMDS Frequencies
0x82	ECBUS_TDM_SUPPORTED	Number of supported eCBUS TDM channels.
0x83	ECBUS_USB_ROLES	Indicates USB roles supported by this device.
0x84	CABLE_REPORT	Indicates the type of cable detected at Sink.
0x85	MULTI_AUD_MODE	Indicates the Multi-Audio modes supported by Sink.

< Table 44 - Extended Device Capability Register Name and Definition>

멀티 오디오 모드(Multi-Audio Mode)

각 싱크 장치는, 지원하는 특정 멀티 오디오 모드를 등록하는 멀티오디오모드(MULTI_AUD_MODE)에 표시할 수 있다.

멀티 오디오 모드 레지스터는 싱크 장치가 화면 분리와 관련된 멀티 오디오 수신 및 처리를 지원하는지를 나타내는 화면분리 오디오 필드(Split Screen Audio Field)를 포함한다.

Register Name		Offset	7	6	5	4	3	2	1		0
MULTI_AUD_MODE		0x85	Reserved				SUPP_ AUD_ LANG	SUPP_ AUD_ SUPPL	SUPP_ AUD_ SPLIT		SUPP_ AUD_ MV
Bit	Name									Notes
0	SUPP_AUD_MV	Supports Multi-View Multi-Audio mode								1
1	SUPP_AUD_SC	Supports Split-Screen tagging
2	SUPP_AUD_SUPPL	Supports Supplementary Audio mode (e.g., audio for visually/hearing impaired)
3	SUPP_AUD_LANG	Supports Multi-language Audio
7:4		Reserved

< Table 45 - MULTI_AUD_MODE Register Details>

장치가 멀티뷰 비디오 스트리밍을 지원할 능력이 없는 경우, 이 필드는 0으로 설정된다.

도 13은 본 발명의 일 실시 예에 따른 데이터 송수신 시스템(1000-3)의 블록도를 도시한 도면이다.

도 13을 참조하면, 본 발명의 일 실시 예에 따른 데이터 송수신 시스템(1000-3)은 데이터 전송 장치(100-3)와 데이터 수신 장치(200-3)를 포함한다.

상기 데이터 전송 장치(100-3)는, 오디오 데이터에 관하여 싱크 장치에 의해 지원되는 특징 정보를 포함하는 디바이스 성능 정보 블록(Device Capability Information Block)을 상기 데이터 수신 장치(200-3)로 전송한다.

도 14는 본 발명의 일 실시 예에 따른 데이터 전송 장치(100-3)의 구성을 도시한 블록도이다.

도 14를 참조하면, 본 발명의 일 실시 예에 따른 데이터 전송 장치(100-3)는, 생성부(130)와, 전송부(120)를 포함한다.

생성부(130)는, 오디오 데이터에 관하여 싱크 장치에 의해 지원되는 특징 정보를 포함하는 디바이스 성능 정보 블록(Device Capability Information Block)을 생성한다.

전송부(120)는 데이터 수신 장치(200-3)에 상기 디바이스 성능 정보 블록(Device Capability Information Block)을 전송한다.

도 15는 본 발명의 일 실시 예에 따른 데이터 수신 장치(200-3)의 구성을 도시한 블록도이다.

도 15를 참조하면, 본 발명의 일 실시 예에 따른 데이터 수신 장치(200-3)는, 수신부(210)와 분석부(230)를 포함한다.

수신부(210)는, 상기 데이터 전송 장치(100-3)로부터 디바이스 성능 정보 블록을 수신한다.

분석부(230)는 수신된 디바이스 성능 정보 블록을 분석한다.

멀티 스트림 오디오(Multi-Stream Audio)

이하에서는 본 발명의 다양한 실시 예에 따른 멀티 스트림 오디오를 설명한다. 이하에서 설명하는 멀티 스트림 오디오 전송 스팩은 HDMI, MHL를 포함하는 다양한 유무선 전송 인터페이스에서 적용될 수 있다.

본 발명의 소스 장치는 동시에 4개의 오디오 스트림을 전송할 수 있다. 멀티 스트림 오디오 샘플 패킷(Multi-stream Audio Sample Packet)에 대해서 모든 오디오 스트림들은 하나의 오디오 인포프레임(Infoframe)을 공유한다.

본 발명의 다양한 실시 예에 따른 유선 인터페이스는 싱글 뷰 비디오 스트리밍에 대한 지원(예를 들어, 여러 언어(multi-lingual)를 지원하거나 시각/청각 장애인을 위한 오디오 등)을 추가할 수 있다. 이는 오디오 메타 데이터 패킷(Audio Metadata Packet)을 수정하거나 HDMI 오디오 데이터 블록(HDMI Audio Data Block)을 수정하여 할 수 있다.

예를 들어, 아래 테이블 46과 같이 멀티 스트림 오디오는 여러 언어를 지원하고, 오디오는 2채널로 지원될 수 있다.

시나리오

아래 테이블은 가능한 시나리오를 도시한다.

4개의 서브 패킷을 갖는 멀티 스트림 오디오 샘플 패킷의 경우 1) 싱글 뷰를 위한 오디오 디스크립션(audio description)과 함께 싱글 TV 프로그램이 전송되는 경우 스트림 0은 노멀(normal) 오디오 신호를 포함하고, 스트림 1은 시각 장애인을 위한 오디오 디스크립션 신호를 포함할 수 있다.

2) 상기 싱글 뷰에서 2개 국어를 지원하는 경우, 지원되는 언어로 된 오디오 신호 스트림 2개와, 각각에 대응되는 오디오 디스크립션이 함께 전송된다. 예를 들어, 영어와 한국어가 지원되는 경우, 스트림 0은 한국어 노멀 오디오 신호, 스트림 1은 시각 장애인을 위한 한국어 오디오 디스크립션 신호, 스트림 2는 영어 노멀 오디오 신호, 스트림 3은 시각 장애인을 위한 영어 오디오 디스크립션 신호를 각각 포함할 수 있다.

3)싱글 뷰에서 한가지 언어로 된 오디오 신호 스트림 하나와 이에 대한 상이한 언어로 지원되는 시각 장애인을 위한 오디오 디스크립션 신호가 두 개 전송될 수도 있다. 예를 들어, 스트림 0은 한국어 또는 영어 노멀 오디오 신호, 스트림 1은 시각 장애인을 위한 한국어 오디오 디스크립션 신호, 스트림 2는 시각 장애인을 위한 영어 오디오 디스크립션 신호를 각각 포함할 수 있다.

4) 소스 장치가 멀티뷰를 위한 오디오 신호를 전송할 수도 있다. 듀얼 뷰가 지원되는 경우, 가장 기본적인 형태는 각 뷰에 대한 오디오 신호를 하나의 전송 스트림으로 전송하는 것이다. 듀얼 뷰의 경우 독립적인 제1 뷰와 제2 뷰를 포함하고, 각 뷰는 독립적인 콘텐츠를 제공한다.

5) 각 뷰에 대해 2개 국어가 지원될 수 있다. 이 경우, 제1 뷰에 대한 제1 언어로 된 오디오 신호 스트림, 제1 뷰에 대한 제2 언어로 된 오디오 신호 스트림, 제2 뷰에 대한 제1 언어로 된 오디오 신호 스트림, 제2 뷰에 대한 제2 언어로 된 오디오 신호 스트림이 각각 전송될 수 있다. 예를 들어, 영어와 한국어가 지원되는 경우, 스트림 0은 제1 뷰에 대한 한국어 오디오 신호, 스트림 1은 제1 뷰에 대한 영어 오디오 신호, 스트림 2는 제2 뷰에 대한 한국어 오디오 신호, 스트림 3은 제2 뷰에 대한 영어 오디오 신호를 포함할 수 있다.

6) 듀얼 뷰의 경우 어느 하나의 뷰는 시각장애인을 위한 오디오 디스크립션 신호를 더 전송할 수 있다. 즉, 제1 뷰에 대한 오디오 신호 스트림, 제2 뷰에 대한 노멀 오디오 신호 스트림, 제2 뷰에 대한 시각 장애인을 위한 오디오 디스크립션 신호 스트림이 각각 전송될 수 있다. 예를 들어, 스트림 0은 제1 뷰에 대한 오디오 신호, 스트림 1은 제2 뷰에 대한 오디오 신호, 스트림 3은 제2 뷰에 대한 오디오 디스크립션 신호를 포함할 수 있다.

7) 하나의 스트림은 공통 오디오 신호를 전송하는데 사용할 수도 있다. 즉, 제1 뷰와 제2 뷰에 대한 공통 오디오 신호 스트림, 제1 뷰 전용 오디오 스트림, 제2 뷰 전용 오디오 스트림이 각각 전송될 수 있다. 이 경우 수신단에서는 공통 오디오 스트림과 전용 오디오 스트림을 먹싱(Muxing)하여 출력한다. 이러한 시나리오는 게임의 경우 적용될 수 있다. 예를 들어, 스트림 0은 제1 뷰와 제2 뷰에 대한 공통 오디오 신호(예를 들어, 배경음향, 진행 안내 보이스 등), 스트림 1은 제1 뷰에 대한 전용 오디오 신호, 스트림 2는 제2 뷰에 대한 전용 오디오 신호를 포함할 수 있다.

오디오 메타 데이터 패킷(Audio Metadata Packet)

소스 장치는 오디오 메타 데이터 패킷을 싱크 장치로 전송하여, 전송되는 오디오 스팩을 알려준다. 이때, 오디오 메타 데이터 패킷의 헤더는 하기와 같은 구조를 갖는다.

각 필드를 설명하면 다음과 같다.

3D 오디오 필드(3D_AUDIO) [1bit]: 3D_AUDIO=1이면, 오디오 메타 데이터 패킷(Audio Metadata Packet)은 3D 오디오 채널 카운트(3D Audio Channel count : 3D_CC필드. 아래 테이블 참조)와 채널/스피커 할당 정보(ACAST : Audio Channel Allocation Standard Type) 필드(아래 테이블 참조)를 포함한다. 소스가 3D 오디오 패킷을 전송할 때, 이러한 필드는 1로 설정될 것이다.

뷰 개수 필드(NUM_VIEWS) [2bits] : 뷰의 개수를 나타낸다. NUM_VIEWS=00이면, 싱글뷰 비디오 스트리밍이 지원된다. NUM_VIEWS=01이면, 듀얼뷰 비디오 스트리밍이 지원된다. 이 모드는 VSIF에서의 3D_DualView=1인 경우만 허용된다. 나머지 NUM_VIEWS 값에 대해서는 미래의 사용을 위해 리저브되어 있다.

오디오 스트림 개수 필드(NUM_AUDIO_STR) [2bits]: 오디오 스트림의 개수-1을 나타낸다. NUM_AUDIO_STR=01, 10, 또는 11인 경우, 오디오 메타 데이터 패킷(Audio Metadata Packet)은 최대 4개까지 오디오 메타 데이터 디스크립터(audio metadata descriptor)를 포함하고, 각각은 오디오 스트림에 대응된다.

아래 테이블은 3D오디오를 위한 오디오 메타 데이터 패킷의 페이로드를 나태낸다. 3D_Audio=1인 경우 메타 데이터 패킷 페이로드는 아래의 구조를 갖는다.

즉, 3D 오디오 채널 카운트 정보를 나타내는 3D_CC필드와, 소스에 의해 제공되는 오디오 채널 할당 표준 타입을 표시하는 ACAST필드를 포함한다.

테이블 51은 3D_CC 값에 따른 오디오 채널을 나타내고 있으며, 테이블 52는 ACAST필드 값에 따른 오디오 채널 할당 표준 타입을 나타낸다.

Table 51 3D_CC field

3D_CC4	3D_CC3	3D_CC2	3D_CC1	3D_CC0	Audio Channel Count
0	0	0	0	0	Refer to Stream Header
0	0	0	0	1	2 channels
0	0	0	1	0	3 channels
0	0	0	1	1	4 channels
0	0	1	0	0	5 channels
0	0	1	0	1	6 channels
0	0	1	1	0	7 channels
0	0	1	1	1	8 channels
0	1	0	0	0	9 channels
0	1	0	0	1	10 channels
0	1	0	1	0	11 channels
0	1	0	1	1	12 channels
-	-	-	-	-
1	1	1	1	1	32 channels

Table 52 - Audio Channel Allocation Standard Type field

ACAT3	ACAT2	ACAT1	ACAT0	Description
0	0	0	0	Reserved
0	0	0	1	Refer to 10 2 channels (TTA Standard)
0	0	1	0	Refer to 22 2 channels (SMPTE2036-2)
0	0	1	1	Refer to 30 2 channels (IEC62574/Ed 1)
0	1	0	0	reserved

1	1	1	1

아래 테이블은 멀티 스트림 오디오를 위한 오디오 메타 데이터 패킷의 페이로드를 나태낸다. 3D_Audio=0인 경우 메타 데이터 패킷 페이로드는 아래의 구조를 갖는다.

< Table 53 ? Audio Metadata Packet Payload(3D_AUDIO==0)>

상기 테이블 53에 도시된 것처럼 오디오 메타 데이터 패킷의 페이로는 각각 5 바이트짜리 오디오 메타 데이터 디스크립터(Audio_Metadata_Descriptor)를 포함한다. 오디오 메타 데이터 디스크립터(4 필드, 각 5바이트)는 멀티 스트림 오디오 샘플 패킷(Multi-stream Audio Sample Packet)에서 서브 패킷 X에 대한 오디오 메타 데이터 또는 멀티 스트림 원비트 오디오 샘플 패킷(Multi-stream One Bit Audio Sample Packet)에서 서브패킷 X에 대한 오디오 메타 데이터를 표현한다. 오디오 메타 데이터 디스크립터는 하기에서 구조가 설명된다.

각 필드를 설명하면 아래와 같다.

긴급 채널 필드(Emergency_Channel) [1bit] : Emergency_Channel=1이면, 대응되는 오디오 스트림은 긴급 경고 오디오 데이터를 전송한다. 수신 장치는 스크립트 등을 통해 긴급 방송이 있음을 알릴 수 있고, 사용자는 오디오 선택을 통해 수신받은 긴급 경고 오디오 신호를 출력시킬 수 있다.

멀티뷰 필드(좌측)(Multiview_Left) [1bit] : Multiview_Left=1이면, 대응되는 오디오 스트림이 3D 비디오 포맷에서 좌측 입체 영상에 매핑된다. 만일 Multiview_Left=0이면, 이 필드는 NUM_VIEWS=01인 경우만, 유효하다.

멀티뷰 필드(우측)(Multiview_Right [1bit] : Multiview_Right=1이면, 대응되는 오디오 스트림이 3D 비디오 포맷에서 우측 입체 영상에 매핑된다. 만일 Multiview_Right=0이면, 이 필드는 NUM_VIEWS=01인 경우만, 유효하다.

언어 코드 유효 필드(LC_Valid) [1bit]: LC_Valid=1이면, 언어 코드(Language_Code)가 유효하고, 대응되는 오디오 스트림의 언어를 정확하게 식별한다. 그렇지 않으면, 대응되는 오디오 스트림의 언어는 명시되지 않는 것으로 된다.

보조 오디오 유효 필드(Suppl_A_Valid) [1bit]: Suppl_A_Valid=1이면, 대응되는 오디오 스트림은 Suppl_A_Type에 의해 나타난 보조 오디오 트랙(supplemental audio track)을 포함한다.

프리믹스 보조 오디오 필드(Suppl_A_Mixed [1bit]: Suppl_A_Mixed=1이면, 대응되는 오디오 스트림은 메인 오디오 컴포넌트와 Suppl_A_Type에 의해 나타난 프리 믹스 보조 오디오 트랙(pre-mixed supplemental audio track)을 포함할 수 있다. 이 비트는 Suppl_A_Valid=1인 경우만 유효하다.

보조 오디오 타입 필드(Suppl_A_Type) [3bits] : 하기의 테이블에서 정의된 보조 오디오 타입을 나타낸다. 이 필드는 Suppl_A_Valid=1인 경우만 유효하다. 테이블 55는 보조 오디오 타입 필드 값의 디스크립션을 나타낸다.

언어 코드(Language_Code) [3Bytes]: 대응되는 오디오 스트림의 언어를 식별한다. 언어 코드는 ISO639에서 정의된다. 그리고, 3 캐릭터 코드가 위치하는데, 마지막 캐릭터 코드는 오디오 메타 데이터 디스크립터 X(Audio_Metadata_Descriptor_X)의 마지막 바이트와 일치한다. 이 필드는 LC_Valid=1인 경우만 유효하다.

오디오 데이터 블록(Audio Data Block)

아래는 EDID (Extended Display Identification Data)의 오디오 데이터 블록을 나타내는 테이블이다. 아래 테이블에서 3-4바이트 부분은 하기의 테이블로 재정의한다.

또한, 멀티스트림 오디오를 위한 새로운 단축 오디오 디스크립터(Short Audio Descriptor : SAD)는 삭제하고, 대신에 EDID에서 정의된 노멀(normal) SAD 를 사용한다. 추가된 내용에 따르면, 2개의 채널까지 전송될 수 있다.

아래 테이블은 상기 오디오 데이터 블록의 3-4바이트를 대체하는 블록 구성을 나타낸다.

각 필드를 설명하면 다음과 같다.

긴급 채널 필드 (Supports_MS_Emergency [1bit]: Supports_MS_Emergency=1이면, 싱크 장치는 긴급 경고 오디오 채널을 수신하고, 처리하는 것을 지원한다. Supports_MS_Emergency=0이면, 싱크 장치는 이러한 특징을 지원하지 않는다.

오디오 믹스 필드(Supports_MS_Mix) [1bit]: Supports_MS_Mix=1이면, 싱크 장치는 메인 오디오와 보조 오디오(supplementary audio)를 합성하는 것을 지원한다. Supports_MS_Mix=0이면 싱크 장치는 이러한 합성을 지원하지 않고, 믹스된 오디오를 재생하는 것만 지원한다.

보조 오디오 지원 필드(Supports_MS_Supple) [1bit]: Supports_MS_Supple =1이면, 싱크 장치는 시각/청각 장애인을 위한 보조 오디오 트랙을 갖는 멀티 스트림 오디오를 지원한다. Supports_MS_Supple =0이면, 아무 것도 나타내지 않거나 싱크 장치가 시각/청각 장애인을 위한 보조 오디오 트랙을 지원하지 않음을 나타낸다.

언어 지원 필드(Supports_MS_Lang) [1bit]: Supports_MS_Lang=1이면, 싱크 장치는 여러 언어 오디오 스트림을 갖는 멀티 스트림 오디오를 지원한다. Supports_MS_Lang=0이면, 아무 것도 나타내지 않거나 싱크 장치가 여러 언어 오디오 스트림을 지원하지 않음을 나타낸다.

멀티뷰 오디오 지원 필드(Supports_MS_MultiView) [1bit]: Supports_MS_MultiView=1이면, 싱크 장치는 멀티뷰 비디오 스트리밍을 위한 멀티 스트림 오디오를 지원한다. Supports_MS_MultiView=0이면, 아무 것도 나타내지 않거나 싱크 장치가 멀티뷰 비디오 스트리밍을 위한 멀티 스트림 오디오를 지원하지 않음을 나타낸다.

최대 스트림 카운트 필드(Max_Stream_Count-1) [2bits]: 싱크 장치가 핸들링할 수 있는 최대 오디오 스트림의 개수를 나타낸다. Max_Stream_Count-1값이 아래의 테이블에 도시된다.

오디오 디스크립터 개수 필드(NUM_HDMI_3D_AD) [3bits]: 3D 오디오 디스크립터의 개수를 나타낸다.

한편, 본 발명의 다양한 실시 예에 따른 유선 인터페이스는 쿼드 뷰 콘텐츠 전송을 지원할 수 있다. 쿼드 뷰 전송을 위해 HDMI 유선 인터페이스 규격의 3D 비디오 포맷 규격을 활용할 수 있다.

도 16a 내지 16c는 쿼드 뷰 비디오 콘텐츠를 3D 인터레이스 포맷으로 전송하는 경우 다양한 데이터 전송 포맷을 도시한 도면이다.

또한, 이 경우 밴더 특정 인포프레임(Vendor-Specific Infoframe)과 밴더 특정 데이터 블록(Vendor-specific Data Block)을 수정할 수 있다. 구체적으로 종래의 3D 듀얼뷰를 정의하는 필드를 리저브 영역까지 확장한다.

이하에서는 본 발명의 다양한 실시 예에 따른 데이터 전송 방법 및 수신방법을 설명한다.

도 17은 본 발명의 일 실시 예에 따른 데이터 전송 방법의 흐름도이고, 도 18은 본 발명의 일 실시 예에 따른 데이터 수신 방법의 흐름도이다.

도 17을 참조하면, 본 발명의 일 실시 예에 따른 데이터 전송 방법은, 오디오 메타 데이터 패킷을 생성하는 단계(S1710)와, 상기 생성된 오디오 메타 데이터 패킷을 데이터 수신 장치로 전송하는 단계(S1720)를 포함한다. 이때, 상기 생성된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

도 18을 참조하면, 본 발명의 일 실시 예에 따른, 데이터 수신 방법은, 데이터 전송 장치로부터 오디오 메타 데이터 패킷을 수신하는 단계(S1810), 상기 수신된 오디오 메타 데이터 패킷을 파싱하는 단계(S1820)를 포함하고, 상기 수신된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함한다.

도 19는 본 발명의 다른 실시 예에 따른 데이터 전송 방법의 흐름도이고, 도 20은 본 발명의 다른 실시 예에 따른 데이터 수신 방법의 흐름도이다.

도 19를 참조하면, 본 발명의 다른 실시 예에 따른 데이터 전송 방법은, 멀티오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 생성하는 단계(S1910)와, 상기 생성된 패킷을 데이터 수신 장치로 전송하는 단계(S1920)를 포함하고, 상기 생성된 패킷의 헤더는, 전체 패킷들 중에서 상기 생성된 패킷의 순서를 식별하기 위한 시퀀스 번호 필드(Sequence Number Field)를 포함한다.

도 20을 참조하면, 본 발명의 다른 실시 예에 따른 데이터 수신 방법은, 멀티오디오 스트림에 대한 복수의 서브 패킷을 포함하는 패킷을 수신하는 단계(S2010)와, 상기 수신된 패킷을 파싱하는 단계(S2020)를 포함하고, 상기 수신된 패킷의 헤더는, 전체 패킷들 중에서 상기 생성된 패킷의 순서를 식별하기 위한 시퀀스 번호 필드(Sequence Number Field)를 포함한다.

도 21은 본 발명의 또 다른 실시 예에 따른 데이터 전송 방법의 흐름도이고, 도 22는 본 발명의 또 다른 실시 예에 따른 데이터 수신 방법의 흐름도이다.

도 21을 참조하면, 본 발명의 또 다른 실시 예에 따른 데이터 전송 방법은, 오디오 데이터에 관하여 싱크 장치에 의해 지원되는 특징 정보를 포함하는 디바이스 성능 정보 블록(Device Capability Information Block)을 생성하는 단계(S2110)와, 데이터 수신 장치에 상기 디바이스 성능 정보 블록을 전송하는 단계(S2120)를 포함하고, 상기 디바이스 성능 정보 블록은, 상기 싱크 장치가 화면 분리와 관련된 멀티 오디오 수신 및 처리를 지원하는지를 나타내는 화면분리 오디오 필드(Split Screen Audio Field)를 포함한다.

도 22를 참조하면, 본 발명의 또 다른 실시 예에 따른 데이터 수신 방법은, 오디오 데이터에 관하여 싱크 장치에 의해 지원되는 특징 정보를 포함하는 디바이스 성능 정보 블록(Device Capability Information Block)을 수신하는 단계(S2210)와, 상기 수신된 디바이스 성능 정보 블록을 분석하는 단계(S2220)를 포함하고, 상기 디바이스 성능 정보 블록은, 상기 싱크 장치가 화면 분리와 관련된 멀티 오디오 수신 및 처리를 지원하는지를 나타내는 화면분리 오디오 필드(Split Screen Audio Field)를 포함한다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

1000-1, 1000-2, 1000-3 : 데이터 송수신 시스템
100-1, 100-2, 100-3 : 데이터 전송 장치
200-1, 200-2, 200-3 : 데이터 수신 장치
110 : 패킷 생성부 120 : 전송부
130 : 생성부
210 : 수신부 220 : 파싱부
230 : 분석부

Claims

데이터 전송 장치에 있어서,
오디오 메타 데이터 패킷을 생성하는 패킷 생성부; 및
상기 생성된 오디오 메타 데이터 패킷을 데이터 수신 장치로 전송하는 전송부;를 포함하고,
상기 생성된 오디오 메타 데이터 패킷은, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함하고,
상기 화면 분리 정보 필드는, 화면 분리 지원 여부를 나타내는 화면 분리 유효 필드(Split Screen Valid Field) 및 전송되는 오디오 데이터와 관련된 분리 화면 종류를 나타내는 화면 분리 종류 필드(Split Screen Configuration Field) 중 적어도 하나를 포함하고,
상기 분리 화면 종류 필드는, 디스플레이 화면을 수평 방향으로 분리하는 제1 분리모드, 상기 디스플레이 화면을 수직 방향으로 분리하는 제2 분리 모드, 상기 디스플레이 화면 내에 PIP 화면을 디스플레이 하는 제3분리 모드 및 상기 디스플레이 화면을 세 개 이상으로 분리하는 제4 분리 모드 중 어느 하나를 포함하는 것을 특징으로 하는 데이터 전송 장치.
삭제
삭제
제1항에 있어서,
상기 생성된 오디오 메타 데이터 패킷의 헤더(header)는,
전송되는 콘텐츠가 멀티뷰 콘텐츠인지 싱글뷰 콘텐츠인지를 나타내는 뷰 종류 필드(View Type Field), 상기 오디오 메타데이터 패킷의 시퀀스 번호를 나타내는 시퀀스 번호 필드(Sequence Number Field), 및 전송되는 오디오 스트림의 개수 정보를 나타내는 오디오 스트림 개수 필드(Number Of Audio Stream Field) 중 적어도 하나를 더 포함하는 것을 특징으로 하는 데이터 전송 장치.
제1항에 있어서,
상기 생성된 오디오 메타 데이터 패킷의 페이로드(payload)는,
멀티 오디오 샘플 패킷(Multi Audio Sample Packet)의 서브 패킷에 대한 메타 데이터를 나타내는 멀티 오디오 디스크립터 필드(Multi Audio Descriptor Field)를 포함하는 것을 특징으로 하는 데이터 전송 장치.
제5항에 있어서,
상기 멀티 오디오 디스크립터 필드는,
상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 분리된 화면 정보를 나타내는 화면 분리 태그 필드(Split Screen Tag Field), 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 뷰를 나타내는 관련 뷰 식별 필드(Associated View ID Field), 상기 멀티 오디오 디스크립터 필드가 유효한 언어 코드를 포함하는지를 나타내는 유효언어 코드 필드(Valid Language Code Field), 메인 오디오 데이터와 보조 오디오 데이터의 프리 믹스 여부를 나타내는 믹스 오디오 필드(mixed Audio Field), 상기 멀티 오디오 디스크립터 필드가 유효한 보조 오디오 데이터의 종류에 대한 정보를 포함하는지를 나타내는 SAT 프레즌트 필드(SAT Present Field), 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터를 위한 보조 오디오 데이터 종류를 나타내는 보조 오디오 종류 필드(Supplemental Audio Type Field), 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터의 ISO639로 정의된 언어 코드를 나타내는 언어 코드 필드(Language Code Field) 중 적어도 하나를 포함하는 것을 특징으로 하는 데이터 전송 장치.
데이터 수신 장치에 있어서,
데이터 전송 장치로부터 오디오 메타 데이터 패킷을 수신하는 수신부;
상기 수신된 오디오 메타 데이터 패킷을 파싱하는 파싱부;를 포함하고,
상기 수신된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함하고,
상기 화면 분리 정보 필드는, 화면 분리 지원 여부를 나타내는 화면 분리 유효 필드(Split Screen Valid Field) 및 전송되는 오디오 데이터와 관련된 분리 화면 종류를 나타내는 화면 분리 종류 필드(Split Screen Configuration Field) 중 적어도 하나를 포함하고,
상기 분리 화면 종류 필드는, 디스플레이 화면을 수평 방향으로 분리하는 제1 분리모드, 상기 디스플레이 화면을 수직 방향으로 분리하는 제2 분리 모드, 상기 디스플레이 화면 내에 PIP 화면을 디스플레이 하는 제3분리 모드 및 상기 디스플레이 화면을 세 개 이상으로 분리하는 제4 분리 모드 중 어느 하나를 포함하는 것을 특징으로 하는 데이터 수신 장치.
삭제
삭제
제7항에 있어서,
상기 수신된 오디오 메타 데이터 패킷의 헤더(header)는,
전송되는 콘텐츠가 멀티뷰 콘텐츠인지 싱글뷰 콘텐츠인지를 나타내는 뷰 종류 필드(View Type Field), 상기 오디오 메타데이터 패킷의 시퀀스 번호를 나타내는 시퀀스 번호 필드(Sequence Number Field), 및 전송되는 오디오 스트림의 개수 정보를 나타내는 오디오 스트림 개수 필드(Number Of Audio Stream Field) 중 적어도 하나를 더 포함하는 것을 특징으로 하는 데이터 수신 장치.
제7항에 있어서,
상기 수신된 오디오 메타 데이터 패킷의 페이로드(payload)는,
멀티 오디오 샘플 패킷(Multi Audio Sample Packet)의 서브 패킷에 대한 메타 데이터를 나타내는 멀티 오디오 디스크립터 필드(Multi Audio Descriptor Field)를 포함하는 것을 특징으로 하는 데이터 수신 장치.
제11항에 있어서,
상기 멀티 오디오 디스크립터 필드는,
상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 분리된 화면 정보를 나타내는 화면 분리 태그 필드(Split Screen Tag Field), 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 뷰를 나타내는 관련 뷰 식별 필드(Associated View ID Field), 상기 멀티 오디오 디스크립터 필드가 유효한 언어 코드를 포함하는지를 나타내는 유효언어 코드 필드(Valid Language Code Field), 메인 오디오 데이터와 보조 오디오 데이터의 프리 믹스 여부를 나타내는 믹스 오디오 필드(mixed Audio Field), 상기 멀티 오디오 디스크립터 필드가 유효한 보조 오디오 데이터의 종류에 대한 정보를 포함하는지를 나타내는 SAT 프레즌트 필드(SAT Present Field), 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터를 위한 보조 오디오 데이터 종류를 나타내는 보조 오디오 종류 필드(Supplemental Audio Type Field), 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터의 ISO639로 정의된 언어 코드를 나타내는 언어 코드 필드(Language Code Field) 중 적어도 하나를 포함하는 것을 특징으로 하는 데이터 수신 장치.
데이터 송수신 시스템에 있어서,
오디오 메타 데이터 패킷을 생성하여 데이터 수신 장치로 전송하는 데이터 전송 장치와,
상기 오디오 메타 데이터 패킷을 상기 데이터전송 장치로부터 수신하는 상기 데이터 수신 장치를 포함하고,
상기 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함하고,
상기 화면 분리 정보 필드는, 화면 분리 지원 여부를 나타내는 화면 분리 유효 필드(Split Screen Valid Field) 및 전송되는 오디오 데이터와 관련된 분리 화면 종류를 나타내는 화면 분리 종류 필드(Split Screen Configuration Field) 중 적어도 하나를 포함하고,
상기 분리 화면 종류 필드는, 디스플레이 화면을 수평 방향으로 분리하는 제1 분리모드, 상기 디스플레이 화면을 수직 방향으로 분리하는 제2 분리 모드, 상기 디스플레이 화면 내에 PIP 화면을 디스플레이 하는 제3분리 모드 및 상기 디스플레이 화면을 세 개 이상으로 분리하는 제4 분리 모드 중 어느 하나를 포함하는 것을 특징으로 하는 데이터 송수신 시스템.
데이터 전송 방법에 있어서,
오디오 메타 데이터 패킷을 생성하는 단계; 및
상기 생성된 오디오 메타 데이터 패킷을 데이터 수신 장치로 전송하는 단계;를 포함하고,
상기 생성된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함하고,
상기 화면 분리 정보 필드는, 화면 분리 지원 여부를 나타내는 화면 분리 유효 필드(Split Screen Valid Field) 및 전송되는 오디오 데이터와 관련된 분리 화면 종류를 나타내는 화면 분리 종류 필드(Split Screen Configuration Field) 중 적어도 하나를 포함하고,
상기 분리 화면 종류 필드는, 디스플레이 화면을 수평 방향으로 분리하는 제1 분리모드, 상기 디스플레이 화면을 수직 방향으로 분리하는 제2 분리 모드, 상기 디스플레이 화면 내에 PIP 화면을 디스플레이 하는 제3분리 모드 및 상기 디스플레이 화면을 세 개 이상으로 분리하는 제4 분리 모드 중 어느 하나를 포함하는 것을 특징으로 하는 데이터 전송 방법.
삭제
삭제
제14항에 있어서,
상기 생성된 오디오 메타 데이터 패킷의 헤더(header)는,
전송되는 콘텐츠가 멀티뷰 콘텐츠인지 싱글뷰 콘텐츠인지를 나타내는 뷰 종류 필드(View Type Field), 상기 오디오 메타데이터 패킷의 시퀀스 번호를 나타내는 시퀀스 번호 필드(Sequence Number Field), 및 전송되는 오디오 스트림의 개수 정보를 나타내는 오디오 스트림 개수 필드(Number Of Audio Stream Field) 중 적어도 하나를 더 포함하는 것을 특징으로 하는 데이터 전송 방법.
제14항에 있어서,
상기 생성된 오디오 메타 데이터 패킷의 페이로드(payload)는,
멀티 오디오 샘플 패킷(Multi Audio Sample Packet)의 서브 패킷에 대한 메타 데이터를 나타내는 멀티 오디오 디스크립터 필드(Multi Audio Descriptor Field)를 포함하는 것을 특징으로 하는 데이터 전송 방법.
제18항에 있어서,
상기 멀티 오디오 디스크립터 필드는,
상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 분리된 화면 정보를 나타내는 화면 분리 태그 필드(Split Screen Tag Field), 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 뷰를 나타내는 관련 뷰 식별 필드(Associated View ID Field), 상기 멀티 오디오 디스크립터 필드가 유효한 언어 코드를 포함하는지를 나타내는 유효언어 코드 필드(Valid Language Code Field), 메인 오디오 데이터와 보조 오디오 데이터의 프리 믹스 여부를 나타내는 믹스 오디오 필드(mixed Audio Field), 상기 멀티 오디오 디스크립터 필드가 유효한 보조 오디오 데이터의 종류에 대한 정보를 포함하는지를 나타내는 SAT 프레즌트 필드(SAT Present Field), 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터를 위한 보조 오디오 데이터 종류를 나타내는 보조 오디오 종류 필드(Supplemental Audio Type Field), 상기 생성된 오디오 메타 데이터 패킷이 나타내는 오디오 데이터의 ISO639로 정의된 언어 코드를 나타내는 언어 코드 필드(Language Code Field) 중 적어도 하나를 포함하는 것을 특징으로 하는 데이터 전송 방법.
데이터 수신 방법에 있어서,
데이터 전송 장치로부터 오디오 메타 데이터 패킷을 수신하는 단계;
상기 수신된 오디오 메타 데이터 패킷을 파싱하는 단계;를 포함하고,
상기 수신된 오디오 메타 데이터 패킷의 헤더(header)는, 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터와 관련된 화면 분리 정보 필드(Split Screen Information Field) 를 포함하고,
상기 화면 분리 정보 필드는, 화면 분리 지원 여부를 나타내는 화면 분리 유효 필드(Split Screen Valid Field) 및 전송되는 오디오 데이터와 관련된 분리 화면 종류를 나타내는 화면 분리 종류 필드(Split Screen Configuration Field) 중 적어도 하나를 포함하고,
상기 분리 화면 종류 필드는, 디스플레이 화면을 수평 방향으로 분리하는 제1 분리모드, 상기 디스플레이 화면을 수직 방향으로 분리하는 제2 분리 모드, 상기 디스플레이 화면 내에 PIP 화면을 디스플레이 하는 제3분리 모드 및 상기 디스플레이 화면을 세 개 이상으로 분리하는 제4 분리 모드 중 어느 하나를 포함하는 것을 특징으로 하는 데이터 수신 방법.
삭제
삭제
제20항에 있어서,
상기 수신된 오디오 메타 데이터 패킷의 헤더(header)는,
전송되는 콘텐츠가 멀티뷰 콘텐츠인지 싱글뷰 콘텐츠인지를 나타내는 뷰 종류 필드(View Type Field), 상기 오디오 메타데이터 패킷의 시퀀스 번호를 나타내는 시퀀스 번호 필드(Sequence Number Field), 및 전송되는 오디오 스트림의 개수 정보를 나타내는 오디오 스트림 개수 필드(Number Of Audio Stream Field) 중 적어도 하나를 더 포함하는 것을 특징으로 하는 데이터 수신 방법.
제20항에 있어서,
상기 수신된 오디오 메타 데이터 패킷의 페이로드(payload)는,
멀티 오디오 샘플 패킷(Multi Audio Sample Packet)의 서브 패킷에 대한 메타 데이터를 나타내는 멀티 오디오 디스크립터 필드(Multi Audio Descriptor Field)를 포함하는 것을 특징으로 하는 데이터 수신 방법.
제24항에 있어서,
상기 멀티 오디오 디스크립터 필드는,
상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 분리된 화면 정보를 나타내는 화면 분리 태그 필드(Split Screen Tag Field), 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터에 대응되는 뷰를 나타내는 관련 뷰 식별 필드(Associated View ID Field), 상기 멀티 오디오 디스크립터 필드가 유효한 언어 코드를 포함하는지를 나타내는 유효언어 코드 필드(Valid Language Code Field), 메인 오디오 데이터와 보조 오디오 데이터의 프리 믹스 여부를 나타내는 믹스 오디오 필드(mixed Audio Field), 상기 멀티 오디오 디스크립터 필드가 유효한 보조 오디오 데이터의 종류에 대한 정보를 포함하는지를 나타내는 SAT 프레즌트 필드(SAT Present Field), 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터를 위한 보조 오디오 데이터 종류를 나타내는 보조 오디오 종류 필드(Supplemental Audio Type Field), 상기 오디오 메타 데이터 패킷이 나타내는 오디오 데이터의 ISO639로 정의된 언어 코드를 나타내는 언어 코드 필드(Language Code Field) 중 적어도 하나를 포함하는 것을 특징으로 하는 데이터 수신 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제