KR20190136131A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20190136131A
KR20190136131A KR1020197035535A KR20197035535A KR20190136131A KR 20190136131 A KR20190136131 A KR 20190136131A KR 1020197035535 A KR1020197035535 A KR 1020197035535A KR 20197035535 A KR20197035535 A KR 20197035535A KR 20190136131 A KR20190136131 A KR 20190136131A
Authority
KR
South Korea
Prior art keywords
time
payload
transport
transport packet
value
Prior art date
Application number
KR1020197035535A
Other languages
English (en)
Other versions
KR102102349B1 (ko
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190136131A publication Critical patent/KR20190136131A/ko
Application granted granted Critical
Publication of KR102102349B1 publication Critical patent/KR102102349B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0044—Arrangements for allocating sub-channels of the transmission path allocation of payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/40—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/22—Arrangements affording multiple use of the transmission path using time-division multiplexing
    • H04L65/607—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

차세대 방송용의 트랜스포트 구조에 있어서, 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보를 수신측으로 양호하게 전송 가능하게 한다. 페이로드에 전송 미디어를 포함하는 제1 전송 패킷과, 페이로드에 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림을 생성한다. 이 전송 스트림을 RF 전송로, 통신 네트워크 전송로 등의 소정의 전송로를 통해서 수신측으로 송신한다. 제1 전송 패킷 또는 제2 전송 패킷에, 수신측에서 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보를 삽입한다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법{TRANSMISSION APPARATUS, TRANSMISSION METHOD, RECEPTION APPARATUS AND RECEPTION METHOD}
본 기술은, 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것으로, 상세하게는, 비디오, 오디오 등의 전송 미디어를 RF 통신로나 통신 네트워크 통신로를 통해서 송신하는 송신 장치 등에 관한 것이다.
종래, 예를 들어 특허문헌 1에 기재된 바와 같이, 방송용의 트랜스포트 구조로서 MPEG2-TS가 사용되고 있다.
일본 특허공개 제2011-217161호 공보
최근 들어, 차세대 방송용의 트랜스포트 구조로서 MMT(MPEG Media Transport) 구조가 점점 각광을 받고 있다. 이 MMT 구조는, IP 네트워크와의 공존이 주된 특징이다.
본 기술의 목적은, 차세대 방송용의 트랜스포트 구조에 있어서, 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보를 수신측으로 양호하게 전송 가능하게 하는 데 있다.
본 기술의 개념은,
페이로드에 전송 미디어를 포함하는 제1 전송 패킷과, 페이로드에 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림을 생성하는 전송 스트림 생성부와,
상기 전송 스트림을 소정의 전송로를 통해서 수신측으로 송신하는 전송 스트림 송신부와,
상기 제1 전송 패킷 또는 상기 제2 전송 패킷에, 상기 수신측에서 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보를 삽입하는 시각 정보 삽입부를 구비하는 송신 장치에 있다.
본 기술에 있어서, 전송 스트림 생성부에 의해, 전송 스트림이 생성된다. 이 전송 스트림은, 페이로드에 전송 미디어를 포함하는 제1 전송 패킷과, 페이로드에 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 것이다. 예를 들어, 제1 전송 패킷 및 제2 전송 패킷은 MMT 패킷이도록 되어도 된다. 전송 스트림 송신부에 의해, 전송 스트림은, 소정의 전송로를 통하여, 수신측으로 송신된다. 예를 들어, 소정의 전송로는, RF 전송로 또는 통신 네트워크 전송로이도록 되어도 된다.
시각 정보 삽입부에 의해, 제1 전송 패킷 또는 제2 전송 패킷에, 수신측에서 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보가 삽입된다. 예를 들어, 제1 전송 패킷에 포함되는 전송 미디어는 하나 이상의 액세스 유닛으로 구성되고, 시각 정보 삽입부에서 삽입되는 시각 정보는, 하나 이상의 액세스 유닛에 각각 대응한 디코드 시각 및/또는 표시 시각을 취득하기 위한 정보이도록 되어도 된다.
이 경우, 시각 정보 삽입부에서 삽입되는 시각 정보는, 하나 이상의 액세스 유닛의 최초의 액세스 유닛에 대응한 디코드 시각 혹은 표시 시각의 값과, 각 액세스 유닛에 각각 대응한 디코드 시각으로부터 표시 시각까지의 오프셋값을 갖도록 되어도 된다. 이와 같이 오프셋값을 사용함으로써 시각 정보의 전송을 효율적으로 행하는 것이 가능하게 된다. 또한, 이 경우, 시각 정보 삽입부에서 삽입되는 시각 정보는, 하나 이상의 액세스 유닛의 각각에 대응한 표시 시각, 혹은 표시 시각 및 디코드 시각이도록 되어도 된다. 이와 같이 표시 시각, 혹은 표시 시각 및 디코드 시각 그 자체를 전송함으로써, 수신측에 있어서의 처리 부하의 경감이 가능하게 된다.
그리고, 이 경우, 오프셋값은, 절대 오프셋값에 대응한 상대 오프셋값이며, 시각 정보 삽입부에서 삽입되는 시각 정보에는, 상대 오프셋값을 절대 오프셋값으로 변환하기 위한 변환 정보가 부가되도록 되어도 된다. 이와 같이 상대 오프셋값을 사용함으로써 오프셋값을 수신측에 효율적으로 전송하는 것이 가능하게 된다. 예를 들어, 시각 정보 삽입부는, 상대 오프셋값을 가변 길이 부호화한 후에 삽입하도록 되어도 된다. 이와 같이 가변 길이 부호화를 이용함으로써, 시각 정보의 전송 용량의 저감을 도모하는 것이 가능하게 된다.
예를 들어, 제1 전송 패킷의 페이로드는, 페이로드 헤더부와 페이로드 본체부를 포함하며, 시각 정보 삽입부는, 페이로드 헤더부에, 시각 정보를 삽입하도록 되어도 된다. 또한, 예를 들어 제1 전송 패킷의 페이로드는, 페이로드 헤더부와 페이로드 본체부를 포함하고, 페이로드 본체부에는, 전송 미디어가 프래그먼트화된 하나 이상의 액세스 유닛을 각각 포함하는 프래그먼트 페이로드가 프래그먼트 헤더를 수반하여 배치되고, 시각 정보 삽입부는, 프래그먼트 헤더 혹은 프래그먼트 페이로드에, 대응하는 액세스 유닛의 시각 정보를 삽입하도록 되어도 된다. 또한, 예를 들어 제2 전송 패킷의 페이로드부는, 페이로드 헤더부와 페이로드 본체부를 포함하고, 시각 정보 삽입부는, 페이로드 본체부에, 시각 정보를 삽입하도록 되어도 된다.
이와 같이 본 기술에 있어서는, 제1 전송 패킷 또는 제2 전송 패킷에, 수신측에서 디코드 시각 및 표시 시각을 취득하기 위한 시각 정보가 삽입되는 것이며, 차세대 방송용의 트랜스포트 구조에 있어서, 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보를 수신측으로 양호하게 전송 가능하게 된다.
또한, 본 기술의 다른 개념은,
페이로드에 전송 미디어를 포함하는 제1 전송 패킷과, 페이로드에 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림을, 송신측으로부터 소정의 전송로를 통해서 수신하는 전송 스트림 수신부를 구비하고,
상기 제1 전송 패킷 또는 상기 제2 전송 패킷에는, 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보가 삽입되어 있으며,
상기 전송 스트림으로부터 취출된 상기 전송 미디어를, 상기 시각 정보에 기초하여 취득된 상기 디코드 시각 및/또는 상기 표시 시각을 사용해서 처리하는 전송 미디어 처리부를 더 구비하는, 수신 장치에 있다.
본 기술에 있어서, 전송 스트림 수신부에 의해, 소정의 전송로를 통하여, 송신측으로부터 전송 스트림이 수신된다. 이 전송 스트림은, 페이로드에 전송 미디어를 포함하는 제1 전송 패킷과, 페이로드에 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 것이다. 제1 전송 패킷 또는 제2 전송 패킷에는, 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보가 삽입되어 있다. 전송 미디어 처리부에 의해, 전송 스트림으로부터 취출된 전송 미디어가, 시각 정보에 기초하여 취득된 디코드 시각 및/또는 표시 시각을 사용해서 처리된다.
예를 들어, 제1 전송 패킷에 포함되는 전송 미디어는 하나 이상의 액세스 유닛으로 구성되고, 시각 정보는, 하나 이상의 액세스 유닛의 최초의 액세스 유닛에 대응한 디코드 시각 혹은 표시 시각의 값과, 각 액세스 유닛에 각각 대응한 디코드 시각으로부터 표시 시각까지의 절대 오프셋값에 대응한 상대 오프셋값이며, 이 상대 오프셋값을 절대 오프셋값으로 변환하는 오프셋값 변환부를 더 구비하도록 되어도 된다.
이와 같이 본 기술에 있어서는, 제1 전송 패킷 또는 제2 전송 패킷에 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보가 삽입되어 있으며, 이 시각 정보에 기초하여 디코드 시각 및/또는 표시 시각을 취득하고, 전송 스트림으로부터 취출된 전송 미디어의 처리를 양호하게 행할 수 있다.
본 기술에 의하면, 차세대 방송용의 트랜스포트 구조에 있어서, 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보를 수신측으로 양호하게 전송할 수 있다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시로서 한정되는 것이 아니라, 또한 부가적인 효과가 있어도 된다.
도 1은, 실시 형태로서의 송수신 시스템의 구성예를 나타내는 블록도이다.
도 2는, MMT 페이로드(MMT payload)의 구성을 개략적으로 나타내는 도면이다.
도 3은, MMT 파일과 실제로 전송되는 MMT 패킷의 대응 관계의 일례를 나타내는 도면이다.
도 4는, MMT 파일과 실제로 전송되는 MMT 패킷의 대응 관계의 다른 일례를 나타내는 도면이다.
도 5는, MMT 파일과 실제로 전송되는 MMT 패킷의 대응 관계의 또 다른 일례를 나타내는 도면이다.
도 6은, 프래그먼트화된 MFU를 포함하는 MMT 패킷을 전송 패킷으로 하는 경우로서, 그 MMT 패킷이 랜덤 액세스의 선두(GOP의 선두)의 패킷인 경우를 설명하기 위한 도면이다.
도 7은, 프래그먼트화된 MFU를 포함하는 MMT 패킷을 전송 패킷으로 하는 경우로서, 그 MMT 패킷이 랜덤 액세스의 비(非) 선두의 패킷인 경우를 설명하기 위한 도면이다.
도 8은, 프래그먼트화된 MFU를 포함하는 MMT 패킷을 전송 패킷으로 하는 경우로서, 그 MMT 패킷이 랜덤 액세스의 선두(GOP의 선두)의 패킷인 경우를 설명하기 위한 도면이다.
도 9는, MMT 패킷의 구성을 트리 형식으로 나타내는 도면이다.
도 10은, 트랜스포트 패킷 송신 장치 및 트랜스포트 패킷 수신 장치의 개념도이다.
도 11은, 「NTP short 포맷」을 나타내는 도면이다.
도 12는, 미디어 데이터가 비디오이며, 초기값이 디코드 시각인 경우에 있어서의 시각 정보를 설명하기 위한 도면이다.
도 13은, 미디어 데이터가 비디오이며, 초기값이 표시 시각인 경우에 있어서의 시각 정보를 설명하기 위한 도면이다.
도 14는, 미디어 데이터가 오디오이며, 초기값이 디코드 시각인 경우에 있어서의 시각 정보를 설명하기 위한 도면이다.
도 15는, 디코드 출력 처리부의 구성예를 나타내는 블록도이다.
도 16은, 제어부에 있어서의 AV 동기 재생 제어의 일례를 나타내는 타이밍 차트이다.
도 17은, MFU에 프래그먼트되어 있는 패킷이 전송 상에서 드롭된 경우에 대하여 설명하기 위한 도면이다.
도 18은, MMT 패킷에 시각 정보를 삽입하는 방법의 일례를 개략적으로 나타내는 도면이다.
도 19는, 송수신 지연을 낮게 하기 위해서, 각 액세스 유닛에 대응하여 시각 정보(타임 스탬프)를 삽입하는 경우의 패킷 구성의 일례를 나타내는 도면이다.
도 20은, MMT 패킷 전체의 구조예를 나타내는 도면이다.
도 21은, MMT 패킷 헤더(mmtp_header())의 구조예를 나타내는 도면이다.
도 22는, MMT 페이로드 헤더(mmtp_payload_header())의 구조예를 나타내는 도면이다.
도 23은, MMT 페이로드 헤더 익스텐션(mmtp_payload_header_extension())의 구조예를 나타내는 도면이다.
도 24는, MMT 페이로드 헤더 익스텐션의 구조예의 주요한 정보의 내용을 나타내는 도면이다.
도 25는, MMT 페이로드 헤더 익스텐션(mmtp_payload_header_extension())의 다른 구조예를 나타내는 도면이다.
도 26은, MMT 페이로드 헤더 익스텐션의 다른 구조예의 주요한 정보의 내용을 나타내는 도면이다.
도 27은, MPU 페이로드 중에서 프래그먼트화된 액세스 유닛마다 시각 정보를 보내는 경우에 대하여 설명하기 위한 도면이다.
도 28은, MFU의 구조예(Syntax)를 나타내는 도면이다.
도 29는, MFU 헤더(mfu_header())의 구조예를 나타내는 도면이다.
도 30은, MFU 헤더(mfu_header())의 구조예를 나타내는 도면이다.
도 31은, MFU 헤더의 구조예의 주요한 정보의 내용을 나타내는 도면이다.
도 32는, MFU 헤더 익스텐션(mfu_header_extension())의 구조예를 나타내는 도면이다.
도 33은, MFU 헤더 익스텐션의 구조예의 주요한 정보의 내용을 나타내는 도면이다.
도 34는, MFU 페이로드에 시각 정보를 삽입하는 경우에 있어서의 MFU 헤더(mfu_header())의 구조예를 나타내는 도면이다.
도 35는, MFU 페이로드에 시각 정보를 삽입하는 경우에 있어서의 MFU 헤더(mfu_header())의 구조예를 나타내는 도면이다.
도 36은, MFU 페이로드에 시각 정보를 삽입하는 경우에 있어서의 MFU 헤더의 구조예의 주요한 정보의 내용을 나타내는 도면이다.
도 37은, MFU 페이로드(mfu_payload())의 구조예 및 그 주요한 정보의 내용을 나타내는 도면이다.
도 38은, MFU 페이로드에 시각 정보를 삽입하는 경우에 있어서의 MFU 헤더(mfu_header())의 다른 구조예를 나타내는 도면이다.
도 39는, MFU 페이로드에 시각 정보를 삽입하는 경우에 있어서의 MFU 헤더(mfu_header())의 다른 구조예를 나타내는 도면이다.
도 40은, MFU 페이로드에 시각 정보를 삽입하는 경우에 있어서의 MFU 헤더의 다른 구조예의 주요한 정보의 내용을 나타내는 도면이다.
도 41은, MFU 페이로드(mfu_payload())의 구조예를 나타내는 도면이다.
도 42는, MFU 페이로드의 구조예의 주요한 정보의 내용을 나타내는 도면이다.
도 43은, 타임 스탬프 메시지(Timestamp Message)의 구조예(Syntax)를 나타내는 도면이다.
도 44는, 타임 스탬프 테이블(timestamp_table())의 구조예(Syntax)를 나타내는 도면이다.
도 45는, 패키지 액세스 메시지(Package Access message)의 구조예(Syntax)를 나타내는 도면이다.
도 46은, 액세스 유닛 AU(n)의 디코드 시각 D(n)와, 표시 시각 R(n)의 대응 관계의 일례를 나타내는 도면이다.
도 47은, 시계열의 오프셋값을 가변 길이 부호화하기 위한 가변 길이 부호 테이블의 일례를 나타내는 도면이다.
도 48은, 리오더 거리 M이 커질수록 가변 길이 부호화에 의한 전송 용량의 저감 효율이 높아지는 것을 나타내는 도면이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」로 함)에 대하여 설명한다. 또한, 설명을 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[송수신 시스템의 구성예]
도 1은, 실시 형태로서의 송수신 시스템(10)의 구성예를 나타내고 있다. 이 송수신 시스템(10)은, 트랜스포트 패킷 송신 장치(100)와, 트랜스포트 패킷 수신 장치(200)에 의해 구성되어 있다.
송신 장치(100)는, MMT 구조(ISO/IEC CD 23008-1 참조)의 트랜스포트 패킷, 즉 MMT 패킷이 포함되는 전송 스트림을 생성하고, 이 전송 스트림을 RF 전송로 혹은 통신 네트워크 전송로를 통하여, 수신측으로 송신한다. 이 전송 스트림에는, 페이로드에 비디오나 오디오의 전송 미디어를 포함하는 제 1MMT 패킷과, 페이로드에 전송 미디어에 관한 정보를 포함하는 제 2MMT 패킷이, 적어도 프래그먼트된 패킷의 크기로 시분할적으로 다중화되어 있다. 본 실시 형태에 있어서, 제 1MMT 패킷 또는 제 2MMT 패킷에, 수신측에서 디코드 시각 및 표시 시각을 취득하기 위한 시각 정보가 삽입된다.
수신 장치(200)는, 송신측으로부터, RF 전송로 혹은 통신 네트워크 전송로를 통하여, 전술한 전송 스트림을 수신한다. 수신 장치(200)는, 전송 스트림으로부터 취출한 전송 미디어를, 시각 정보에 기초하여 취득된 디코드 시각 및/또는 표시 시각을 사용해서 처리하고, 화상을 표시함과 함께 음성을 출력한다.
도 2는, MMT 페이로드(MMT payload)의 구성을 개략적으로 나타내고 있다. 도 2에 있어서, MMT 패키지(MMT Package)는 MMT의 논리적인 개념이며, 전송 소재를 의미하고 있다. 이 MMT 패키지에는, 미디어인 에셋(Asset), 에셋의 전송 특성(Asset Delivery Characteristics), 패키지에 부수되는 메시지군(Package Access), MMT 패킷 테이블에 관한 정보(MPT Packet Table), 콤퍼지션 인포메이션(Composition Information) 등이 들어 있다. 콤퍼지션 인포메이션은, 미디어의 표시 제어를 담당하는 정보이다. 이 예에서는, 에셋 1(Asset1)이 비디오 1(Video1) 데이터이며, 에셋 2(Asset2)가 오디오 1(Audio1) 데이터이며, 에셋 3(Asset3)이 비디오 2(Video2) 데이터이다.
도 2에는, MMT 패키지가 실제로 MMT 파일(MMT File)이 되어 있는 경우의 파일 구성의 일례를 나타내고 있다. 이 파일 구성은, 기본적으로는, MP4의 파일 구성과 거의 동등하다. 처음에 "styp"의 박스(Box)가 있다. 계속해서, 세그먼트 인포메이션으로서의 "sidx"의 박스가 있다. 계속해서, MMT 독자의 "mmpu"의 박스가 있다. 계속해서, 파일 전체의 메타데이터로서의 "moov"의 박스가 있다. 또한, 계속해서, "moof" 및 "mdat"의 박스가 있다. 이 "mdat"의 박스에는, 비디오(Video), 오디오(Audio), 자막 등의 실제 데이터가 들어 있다. 또한, "mdat"가 프래그먼트된 경우, 프래그먼트마다 "moof"의 박스가 있다.
MMT 패키지가 전송(Delivery)되는 경우, 도 2에 도시한 바와 같이, MPU(Media Processing Unit)를 단위로 하여 전송된다. 이 MPU는, 랜덤 액세스 포인트(RAP: Random Access Pint)로부터 시작되는 것이며, 1개 또는 복수의 액세스 유닛(AU:Access Unit)을 포함하는 것이다. 구체적으로는, 예를 들어 하나의 GOP(Group Of Picture)의 픽처가, 하나의 MPU의 구성으로 되는 경우가 있다. 이 MPU는, 에셋별로 정의되게 되어 있다. 따라서, 비디오의 에셋으로부터는 비디오 데이터만을 포함하는 비디오의 MPU가 작성되고, 오디오의 에셋으로부터는 오디오 데이터만을 포함하는 오디오의 MPU가 작성된다.
도 2에 도시한 바와 같이, MPU는, 메시지(Message)와 함께, MMT 페이로드를 구성하게 된다. 메시지(Message)에는, 전술한 콤퍼지션 인포메이션 등의 정보가 포함된다. MFU(MMT Fragment Unit)는 MPU가 세분화, 즉 프래그먼트(Fragment)화된 것이다. 예를 들어, 비디오인 경우, 이 MFU를 하나의 NAL 유닛에 상당하도록 설정할 수 있다. 또한, 예를 들어 통신 네트워크 전송로에서 보내는 경우, 이 MFU를 1개 또는 복수의 MTU 사이즈(MTU size)로 구성할 수도 있다.
도 2에 도시한 바와 같이, MMT 페이로드는, MMT 패킷에 의해 전송된다. 이 MMT 패킷은, MMT 패킷 헤더(MMT packet header)와, MMT 패킷 페이로드(MMT packet payload)에 의해 구성된다. 그리고, 이 MMT 패킷 페이로드는, MMT 페이로드 헤더(MMT payload header)와, MMT 페이로드 데이터(MMT payload data)에 의해 구성된다. 이 MMT 페이로드 데이터에, MPU나 메시지(Message)가 삽입된다.
각 에셋의 MPU를 프래그먼트화하여 얻어진 MFU는, 도 2에 도시한 바와 같이, 시분할적으로 다중된다. MPU로서는, 예를 들어 15프레임분, 혹은 30프레임분이라는 어느 정도 긴 시간 단위의 것이다. 각 MPU를 프래그먼트화하여 시분할적으로 다중하지 않는 경우에는, 비디오 데이터를 보내고 있는 어느 정도 긴 시간 동안에, 오디오 데이터를 보낼 수 없게 된다. 그로 인해, 시간 맞춤을 위해 큰 버퍼 용량이 필요해짐과 함께, 화상, 음성의 출력까지의 지연이 커진다. 각 MPU를 프래그먼트화하여 시분할적으로 다중함으로써, 그와 같은 문제를 해결할 수 있다.
도 3, 도 4, 도 5는, MMT 파일과, 실제로 전송되는 MMT 패킷의 대응 관계의 일례를 나타내고 있다. MMT 파일은, 전술한 바와 같이, "styp", "sidx", "mmpu", "moov"," moof", "mdat" 등의 박스를 갖고 있다.
MMT 패킷은, MMT 패킷 헤더(MMT Hdr)와, MMT 페이로드(MMT Payload)로 구성된다. MMT 헤더에는, 패킷 ID(packet_id), 패킷 시퀀스 넘버(packet_sequence_number), 트랜스미션 타임 스탬프(transmission_timestamp), 트랜스미션 프라이오리티(transmission_priority), 프라이빗 유저 데이터(private_user_data) 등이 포함된다.
패킷 ID는, 비디오, 오디오의 에셋(Asset)이나, 컨트롤(Control)계인 메시지를 식별하기 위한 식별자이다. 패킷 시퀀스 넘버는, 패킷순을 나타내는 번호이다. 트랜스미션 타임 스탬프는, 전송을 위한 타입 스탬프, 즉 MMT 패킷이 송신측으로부터 나갈 때의 시각이다.
트랜스미션 프라이오리티는, 전송로의 대역이 좁아진 경우에 어느 MMT 패킷을 우선적으로 통과할지를 판단하기 위한 지표가 되는 우선도이다. 프라이빗 유저 데이터는, 유저가 어떠한 방송 응용에 의해 사적으로 삽입할 수 있는 데이터이다. MMT 페이로드(MMT Payload)는 MMT 페이로드 헤더(MMT Pl_hdr)와, MMT 페이로드 데이터로 구성된다. MMT 페이로드 헤더에는, 페이로드 헤더 익스텐션(payload header extension)을 포함할 수 있다.
MMT 페이로드 헤더에는, 페이로드 길이(payload length), 페이로드 타입(payload type), 프래그먼트 타입(fragmentation_indicator), 프래그먼트 카운트(fragment_count), 애그리게이션 인포 플래그(aggregation_info_flag), RAP 플래그(random_access_point_flag) 등이 포함된다.
또한, MMT 페이로드 헤더에는, 데이터 오프셋(data_offset), 데이터 유닛 넘버(numDU), 데이터 유닛 오프셋(DU_offset), 페이로드 시퀀스 넘버(payload_sequence_number), 헤더 익스텐션 필드 플래그(header_extension_field_flag) 등이 포함된다.
페이로드 길이는, 페이로드 전체의 사이즈 정보이다. 페이로드 타입은, 페이로드가 MPU인지, 컨트롤계(메시지)인지를 나타내는 정보이다. 하나의 페이로드에는, 최대 64kbyte의 데이터를 넣을 수 있다. 프래그먼트 타입은, 하나의 페이로드 중에서 MPU가 완결되는지 여부를 나타내는 정보이다.
예를 들어, MPU가 완결되는 경우에는 "0"이 삽입되고, 완결되지 않는 경우, 즉 소정수의 MFU로 세분화되어 있는 경우에는, "1", "2", "3" 중 어느 하나로 된다. "1"은 이 MMT 패킷에는 최초의 프래그먼트가 존재함을 나타낸다. "2"는 이 MMT 패킷에는 최초, 최후 중 어느 것도 아니며, 중간의 프래그먼트가 존재함을 나타낸다. "3"은 이 MMT 패킷에는 최후의 프래그먼트가 존재함을 나타낸다.
프래그먼트 카운트는, MFU의 카운트 정보이다. 애그리게이션 인포 플래그는, 페이로드에 복수의 MPU가 들어 있는지 여부를 나타내는 플래그 정보이다. "0"은, 페이로드에 하나의 MPU만이 포함되는 것을 나타낸다. "1"은, 페이로드에 복수의 MPU가 포함되는 것을 나타낸다. RAP 플래그는, 이 MMT 패킷에 랜덤 액세스 포인트, 즉 GOP의 선두 픽처에 상당하는 액세스 유닛이 존재하는지 여부를 나타내는 정보이다.
데이터 오프셋은, 페이로드 선두 위치로부터의 페이로드 데이터의 최초의 위치까지의 사이즈, 즉 페이로드 헤더의 크기를 나타내는 정보이다. 데이터 유닛 넘버는, 페이로드 내에 존재하는 MPU 데이터 유닛의 개수를 나타낸다. 데이터 유닛 오프셋은, 각 데이터 유닛의 페이로드 데이터의 선두 위치로부터의 오프셋 정보이다. 페이로드 시퀀스 넘버는, 이 MMT 패킷의 페이로드 시퀀스 넘버이다. 헤더 익스텐션 필드 플래그는, 페이로드 헤더 익스텐션이 존재하는지 여부를 나타내는 플래그 정보이다.
도 3은, MMT 패킷화의 일례를 나타내고 있다. MMT 페이로드의 하나의 MPU 데이터 유닛에 MMT 파일의 "styp", "sidx", "mmpu", "moov", "moof"의 각 박스의 메타데이터가 삽입되고, MMT 패킷이 생성된다. 이 경우, MMT 페이로드 헤더에 있어서,「fragmentation_indicator」는 "0", 「fragment_count」는 "0",「aggregation_info_flag」는 "0", 「RAP flag」는 "1"로 된다.
또한, 이 경우, MMT 페이로드의 하나의 MPU 데이터 유닛에 MMT 파일의 "mdat"에 존재하는 하나의 MPU가 삽입되고, MMT 패킷이 생성된다. 이 경우, MMT 페이로드 헤더에 있어서, 「fragmentation_indicator」는 "0", 「fragment_count」는 "0", 「aggregation_info_flag」는 "0", 「RAP_flag」는 "1"로 된다.
도 4는, MMT 패킷화의 다른 일례를 나타내고 있다. 이 경우, 도 3의 예와 마찬가지로, MMT 페이로드의 하나의 MPU 데이터 유닛에 MMT 파일의 "styp", "sidx", "mmpu", "moov"의 각 박스의 메타데이터가 삽입되고, MMT 패킷이 생성된다. 또한, 이 경우, MMT 페이로드의 복수, 이 예에서는 3개의 MPU 데이터 유닛에 MMT 파일의 "mdat"에 존재하는 3개의 MPU가 삽입되고, MMT 패킷이 생성된다. 이 경우, MMT 페이로드 헤더에 있어서, 「fragmentation_indicator」는 "0", 「fragment_count」는 "0", 「aggregation_info_flag」는 "1", 「RAP_flag」는 "1", 「numDU」는 "3"으로 되고, 「DU offset」가 3개 존재한다.
도 5는, MMT 패킷화의 또 다른 일례를 나타내고 있다. 이 경우, 도 3의 예와 마찬가지로, MMT 페이로드의 하나의 MPU 데이터 유닛에 MMT 파일의 "styp", "sidx", "mmpu", "moov", "moof"의 각 박스의 메타데이터가 삽입 혹은 소정의 정보의 변환이 이루어져서, MMT 패킷이 생성된다.
또한, 이 경우, MMT 페이로드의 하나의 MPU 데이터 유닛에 MMT 파일의 "mdat"에 존재하는 하나의 액세스 유닛(AU)이 MFU 헤더(MFU Hdr)와 함께 삽입되어 MMT 패킷이 생성된다. 이 경우, MMT 페이로드 헤더에 있어서, 「fragmentation_indicator」는 "1", 「fragment_count」는 MFU의 카운트값인 "N", 「aggregation_info_flag」는 포함되는 MFU에 따라서 "1" 내지 "3" 중 어느 하나, 「RAP_flag」는 "1" 혹은 "0"으로 된다. 또한, MFU 헤더에는, MFU의 시퀀스 넘버(sequence_number) 등의 정보가 포함된다.
도 6, 도 8은, 프래그먼트화된 MFU를 포함하는 MMT 패킷을 전송 패킷으로 하는 경우로서, 그 MMT 패킷이 랜덤 액세스(Random Access)의 선두(GOP의 선두)의 패킷인 경우를 나타내고 있다. 이 경우, 이 MMT 패킷은, MMT 파일의 "styp", "sidx", "mmpu", "moov", "moof"의 각 박스의 메타데이터가 삽입 혹은 소정의 정보의 변환이 이루어진 MMT 패킷과 함께 전송된다.
예를 들어, "mmpu"의 영역에는, MFU의 데이터가 리얼 타임계 데이터인지 여부를 식별하는 정보가 포함되어 있지만, 수신측에서는, 랜덤 액세스(Random Access)의 선두에서, 예를 들어 이 식별 정보에 의해 MFU의 데이터가 리얼 타임계 데이터인지 여부의 식별이 가능하게 된다.
도 7은, 프래그먼트화된 MFU를 포함하는 MMT 패킷을 전송 패킷으로 하는 경우로서, 그 MMT 패킷이 랜덤 액세스(Random Access)의 비(非) 선두의 패킷인 경우를 나타내고 있다. 이 경우, 이 MMT 패킷은, 전술한 선두 패킷과는 달리, 최소 구성의 MMT 패킷으로 전송된다.
도 9는, MMT 패킷의 구성을 트리 형식으로 나타낸 것이다. MMT 패킷은, 전술한 바와 같이, MMT 패킷 헤더(MMT Packet Header)와, MMT 페이로드 헤더(MMT Payload Header)와, MMT 페이로드(MMT Payload)에 의해 구성된다. MMT 페이로드에는, 메시지(Message), MPU(Media Processing Unit), FEC 수정 심볼(FEC Repair Symbol) 등이 포함되고, 이들 시그널링은 MMT 페이로드 헤더에 포함되는 페이로드 타입(payload_type)에 의해 행해진다.
또한, 메시지에는, 각종 메시지 내용이 테이블 형식으로 삽입된다. 또한, MPU는, 프래그먼트화되어, MFU(MMT Fragment Unit)로 세분화되는 경우도 있다. 그 경우, 각 MFU의 선두에는, MFU 헤더(MFU Header)가 부가된다. MMT 페이로드에는, 비디오나 오디오의 미디어 데이터에 관한 MPU, 나아가, 메타데이터에 관한 MPU가 존재한다. 각 MPU를 포함하는 MMT 패킷은, MMT 패킷 헤더에 존재하는 패킷 ID(Packet_ ID)로 식별 가능하게 된다.
[송신 장치, 수신 장치의 개념]
도 10은, 트랜스포트 패킷 송신 장치(100) 및 트랜스포트 패킷 수신 장치(200)의 개념도를 나타내고 있다. 송신 장치(100)는, 에셋 발생부(101)와, 인코더(102)와, 트랜스포트 패킷화부(103)와, 클럭 발생부(104)와, IP 송신부(105)와, RF 송신부(106)를 갖고 있다.
에셋 발생부(101)는, 미디어 데이터로서의 비디오나 오디오의 데이터를 발생한다. 이 에셋 발생부(101)는, HDD(Hard Disk Drive)나 반도체 메모리 등을 포함하는 데이터 스토리지, 혹은 비디오 카메라, 마이크로폰 등이다. 인코더(102)는, 에셋 발생부(101)에서 발생되는 비디오나 오디오의 데이터에 대하여 부호화 처리를 행해 송신 데이터를 생성한다.
트랜스포트 패킷화부(103)는, 인코더(102)에서 생성되는 송신 데이터를 MPU 단위, 혹은 그것을 세분화한 MFU 단위로 페이로드에 삽입한, 미디어 데이터를 포함하는 MMT 패킷을 생성하는 외에, 전술한 메타데이터를 포함하는 MMT 패킷이나 메시지를 포함하는 MMT 패킷을 생성한다. 트랜스포트 패킷화부(103)는, MMT 패킷을 생성할 때, 수신측에서 디코드 시각(Decode_Timestamp) 및 표시 시각(Display_Timestamp)을 취득하기 위한 시각 정보를, 그 MMT 패킷에 삽입한다. 이 MMT 패킷에의 시각 정보 삽입의 상세에 대해서는, 후술한다.
IP 송신부(105)는, 통신 네트워크 전송로를 사용하는 경우, 트랜스포트 패킷화부(103)로부터 순차 출력되는 MMT 패킷을 포함하는 전송 스트림을 IP 패킷화하고, 통신 네트워크 전송로를 통해 수신측으로 보낸다. RF 송신부(106)는, RF 전송로를 사용하는 경우, 트랜스포트 패킷화부(103)로부터 순차 출력되는 MMT 패킷을 포함하는 전송 스트림을 적절한 어댑테이션 레이어를 개재하는 등으로 하여 RF 변조하고, RF 전송로를 통해 수신측으로 보낸다. 여기서, 송신 장치(100)는, 클럭 발생부(104)로부터 출력되는 시스템 타임 클럭 STC에 기초하여, 송신 데이터에 송신 타임 스탬프를 부가한다.
수신 장치(200)는, RF 수신부(201)와, IP 수신부(202)와, 클럭 재생부(203)와, 트랜스포트 언패킷화부(204)와, 디코드 출력 처리부(205)를 갖고 있다.
RF 수신부(201)는, 송신측으로부터 RF 전송로를 통해서 송신되는 MMT 패킷의 연속으로 이루어지는 전송 스트림을 어댑테이션 레이어의 해석을 거쳐 수신하고, 트랜스포트 언패킷화부(204)로 출력한다. 또한, IP 수신부(202)는, 송신측으로부터 통신 네트워크 전송로를 통해서 송신되는 MMT 패킷의 연속으로 이루어지는 전송 스트림을 수신하고, 트랜스포트 언패킷화부(204)로 출력한다.
클럭 발생부(203)는, 시스템 타임 클럭 STC를 발생하고, 트랜스포트 언패킷화부(204) 등에 공급한다. 클럭 발생부(203)는, 송신 데이터에 부가되어 있는 송신 타임 스탬프값(NTP값)에 기초하여 클럭 세트를 행한다. 또는, NTP 패킷에서 공급되는 타임 스탬프값(NTP값)에 기초하여 클럭 세트를 행한다. 이 경우, 클럭 발생부(203)는, 발생하는 시스템 타임 클럭 STC와 타입 스탬프값(NTP값)의 차가 어떤 범위에 들어가도록, 발생하는 시스템 타임 클럭 STC의 보정을 행한다.
NTP가 MMT 패킷 헤더의 송신 시 타임 스탬프가 아니라, NTP 서버 등으로부터 취득되는 NTP 패킷에 의해 공급되는 경우, NTP의 포맷은, 도 11에 도시한 바와 같은 「NTP short 포맷」으로 한정되지 않는다. 도시는 생략하였지만, 64비트의 「NTP Timestamp Format(초의 정수 부분 32bits+초의 소수 부분 32bits)」으로 공급되는 경우도 있다(IETF RFC 5905 참조). 그 경우, 수신기 내에서는, 수신한 NTP의 값으로서 수신기의 디코더 클럭을 세트하고, 미디어의 타임 스탬프값과 비교된다. 이 경우, 미디어의 표시 혹은 디코드의 타임 스탬프와 수신기 클럭 사이의 정밀도의 차이는, 비교를 행할 때 수신기측에서 고려된다.
트랜스포트 언패킷화부(204)는, RF 수신부(201) 혹은 IP 수신부(202)로부터 순차 공급되는 MMT 패킷의 언패킷화를 행하여, 미디어 데이터로서의 수신 데이터를 얻는 외에, 메타데이터나 메시지를 얻는다. 디코드 출력 처리부(205)는, 트랜스포트 언패킷화부(204)에서 얻어지는 수신 데이터의 복호화를 행하여 비디오나 오디오의 데이터를 취득하고, 메타데이터나 메시지에 기초하여, 비디오 표시나 오디오 출력을 행한다.
이 경우, 디코드 출력 처리부(205)는, 트랜스포트 언패킷화부(204)에서 추출되는 시각 정보에 기초하여, 액세스 유닛마다의 디코드 시각(Decode_Timestamp) 및/또는 표시 시각(Display_Timestamp)을 취득하고, 디코드 타이밍 및 표시 타이밍을 제어하고, 비디오 및 오디오의 동기 재생을 실현한다. 이 비디오 및 오디오의 동기 재생의 상세에 대해서는, 후술한다.
도 10에 도시한 송신 장치(100) 및 수신 장치(200)의 동작을 간단히 설명한다. 처음에 송신 장치(100)의 동작을 설명한다. 에셋 발생부(101)에서 발생되는 비디오나 오디오의 데이터는 인코더(102)에 공급된다. 그리고, 이 인코더(102)에서는, 비디오나 오디오의 데이터에 대하여 부호화 처리가 행해져서 송신 데이터(부호화 데이터)가 생성된다.
인코더(102)에서 생성된 송신 데이터는, 트랜스포트 패킷화부(103)에 공급된다. 그리고, 이 트랜스포트 패킷화부(103)에서는, 송신 데이터를 MPU 단위, 혹은 그것을 세분화한 MFU 단위로 페이로드에 삽입한, 미디어 데이터를 포함하는 MMT 패킷이 생성되는 외에, 전술한 메타데이터를 포함하는 MMT 패킷이나 메시지를 포함하는 MMT 패킷이 생성된다.
트랜스포트 패킷화부(103)에서 순차 생성되는 MMT 패킷을 포함하는 전송 스트림은, IP 송신부(105) 혹은 RF 송신부(106)에 공급된다. IP 송신부(105)에서는, 통신 네트워크 전송로를 사용하는 경우, 전송 스트림이 IP 패킷화되고, 통신 네트워크 전송로를 통해서 수신측으로 보내진다. 또한, RF 송신부(106)에서는, RF 전송로를 사용하는 경우, 전송 스트림이 RF 변조되고, RF 전송로를 통해서 수신측으로 보내진다. 이때, 클럭 발생부(104)로부터 출력되는 시스템 타임 클럭 STC에 기초하여, 송신 데이터에 송신 타임 스탬프가 부가된다.
다음으로, 수신 장치(200)의 동작을 설명한다. 송신측으로부터 보내져 오는 전송 스트림은, RF 수신부(201) 혹은 IP 수신부(202)에서 수신되고, MMT 패킷이 연속해서 포함되는 전송 스트림이 취득된다. 이 전송 스트림은, 트랜스포트 언패킷화부(204)에 공급된다. 이 트랜스포트 언패킷화부(204)에서는, MMT 패킷의 언패킷화가 행해지고, 미디어 데이터로서의 수신 데이터가 얻어지는 외에, 메타데이터나 메시지, 나아가 시각 정보 등이 얻어진다. 이들 데이터나 정보는, 디코드 출력 처리부(205)에 공급된다.
디코드 출력 처리부(205)에서는, 트랜스포트 언패킷화부(204)에서 얻어지는 수신 데이터의 복호화가 행해져서 비디오나 오디오의 데이터가 취득되고, 메타데이터나 메시지에 기초하여, 비디오 표시나 오디오 출력이 행해진다. 이 경우, 디코드 출력 처리부(205)에는, 트랜스포트 언패킷화부(204)에서 MMT 패킷으로부터 추출되는 시각 정보가 공급된다. 그리고, 디코드 출력 처리부(205)에서는, 시각 정보에 기초하여, 액세스 유닛마다의 디코드 시각(Decode_Timestamp) 및/또는 표시 시각(Display_Timestamp)이 취득되고, 디코드 타이밍 및 출력 타이밍이 제어되고, 비디오 및 오디오의 동기 재생이 실현된다.
[MMT 패킷에 삽입하는 시각 정보]
다음으로, MMT 패킷에 삽입되는 시각 정보에 대하여 설명한다. 이 시각 정보는, 전술한 바와 같이, 수신측에서 디코드 시각(Decode_Timestamp) 및/또는 표시 시각(Display_Timestamp)을 취득하기 위한 정보이다. MMT 패킷에 포함되는 미디어 데이터는 하나 이상의 액세스 유닛으로 구성되어 있다. MMT 패킷에 삽입되는 시각 정보는, 이 하나 이상의 액세스 유닛에 각각 대응한 시각 정보 및/또는 표시 시각을 취득하기 위한 정보이다.
예를 들어, 제1 방법에서는, MMT 패킷에 삽입되는 시각 정보에는, 초기값, 즉 하나 이상의 액세스 유닛의 최초의 액세스 유닛에 대응한 디코드 시각 혹은 표시 시각의 값이 포함된다. 또한, 이 시각 정보에는, 각 액세스 유닛에 각각 대응한 디코드 시각으로부터 표시 시각까지의 오프셋값이 포함된다. 또한, 예를 들어 제2 방법에서는, MMT 패킷에 삽입되는 시각 정보에는, 표시 시각, 혹은 표시 시각 및 디코드 시각 그 자체가 포함된다.
제1 방법에 대하여 설명한다. 오프셋값은, 절대 오프셋값에 대응한 상대 오프셋값으로 된다. 그로 인해, 시각 정보에는, 상대 오프셋값을 절대 오프셋값으로 변환하기 위한 변환 정보가 부가된다. 이 변환 정보에는, 「timestamp_type」, 「time tick」, 「au_rate_scale」 및 「division_factor」 등이 포함된다.
「timestamp_type」은, 초기값이 디코드 시각의 초기값인지 표시 시각의 초기값인지를 나타내는 정보이다. 「time tick」은, 어떠한 클럭으로 제어할지를 나타내는 정보이다. 이 정보에 의해, 예를 들어 90㎑의 클럭으로 전부를 제어하는 것 등을 나타낸다. 「au_rate_scale」은, 비디오나 오디오의 액세스 유닛 레이트를 구하기 위한 스케일 정보이다. 또한, 변환 정보로서, 또한 미디어 데이터가 비디오인지 오디오인지를 나타내는 플래그 정보 「Asset_type」도 포함된다.
예를 들어, 비디오인 경우, 전술한 「time_tick」가 90㎑를 나타낼 때, 「au_rate_scale」은, 1500, 1800, 3000, 3600 등의 값으로 된다. 각각, 90㎑를 그 값으로서 나눔으로써, 60㎐, 50㎐, 30㎐, 25㎐ 등의 비디오 레이트를 산출할 수 있다.
또한, 「division_factor」는, 레이트를 미세 조정하기 위한 요소이다. 예를 들어, NTSC계의 비디오에 있어서, 30㎐인지 29.94㎐인지를 조정하기 위한 값이며, 「1」 혹은 「1.001」이다.
여기서, 미디어 데이터가 비디오이며, 초기값이 디코드 시각인 경우에 대하여 설명한다. 도 12는, 0번째부터 6번째까지의 액세스 유닛(AU)에 대응한, 디코드 시각 「DTS(n)」, 오프셋값 「DLT(n)」, 표시 시각 「PTS(n)」의 대응 관계의 일례를 나타내고 있다. 이 예에서는, 디코드 시각의 초기값으로부터의 표시 시각의 초기값까지의 오프셋값(dlt_time)은 「1」로 되고, 상대 오프셋값으로 되어 있다.
여기서, 0번째의 액세스 유닛은 I 픽처, 1번째의 액세스 유닛은 P 픽처, 2번째의 액세스 유닛은 B 픽처, 3번째의 액세스 유닛은 B 픽처, 4번째의 액세스 유닛은 P 픽처, 5번째의 액세스 유닛은 B 픽처, 6번째의 액세스 유닛은 B 픽처이다. 그로 인해, 디코드 시각에 대하여 표시 시각은 리오더(Reorder)되게 된다.
이 경우, MMT 패킷에 삽입되어 송신되는 시각 정보는, 디코드 시각의 초기값인 TS0(여기에서는, TS0=0)과, 상대 오프셋값 DLT(n)으로 된다. 또한, 도 12에 있어서, 「Time」은 액세스 유닛마다의 시각을 상대값으로서 나타나 있다.
이와 같은 시각 정보가 수신측으로 송신되는 경우, 수신측에서는, 이하와 같이, 각 액세스 유닛의 디코드 시각 및 표시 시각을, 변환 정보를 이용하여, 산출할 수 있다. 이 경우, 초기값 TS0은, 최초의 액세스 유닛의 디코드 시각 DTS(0)이다. 이 초기값 TS0으로부터의 오프셋 시간(dlt_time)은 이하의 수식 1로 구해진다. 예를 들어, 전형예로서, au_rate_scale=1500이고, division_factor=1.001인 경우, dlt_time=1500*1.001로 된다.
<식 1>
dlt_time=au_rate_scale*division_factor
그 후의 액세스 유닛 디코드 시각 DTS(n)은, 이하의 수식 2에 나타낸 바와 같이, 오프셋 시간(dlt_time)을 「time_tick」로 나눈 값을, 직전의 디코드 시각 DTS(n-1)에 가산함으로써 구해진다. 단, DTS(0)=TS0이다.
<식 2>
DTS(n)=dlt_time/time_tick+DTS(n-1)
또한, 각 액세스 유닛의 표시 시각 PTS(n)은, 이하의 수식 3에 나타낸 바와 같이, 오프셋값 DLT(n)에 「dlt_time/time_tick」를 곱한 값을, 디코드 시각 DTS(n)에 가산함으로써 구해진다.
<식 3>
PTS(n)=DLT(n)*(dlt_time/time_tick)+DTS(n)
다음으로, 미디어 데이터가 비디오이며, 초기값이 표시 시각인 경우에 대하여 설명한다. 도 13은, 도 12와 마찬가지의, 0번째부터 6번째까지의 액세스 유닛(AU)에 대응한, 디코드 시각 「DTS(n)」, 오프셋값 「DLT(n)」, 표시 시각 「PTS(n)」의 대응 관계의 일례를 나타내고 있다. 이 예에서는, 디코드 시각의 초기값으로부터의 표시 시각의 초기값까지의 오프셋값(dlt_time)은 「1」로 되어 있다. 이 경우에도, 디코드 시각에 대하여 표시 시각은 리오더(Reorder)되게 된다.
이 경우, MMT 패킷에 삽입되어 송신되는 시각 정보는, 표시 시각의 초기값인 TS0(여기에서는, TS0=1)과, 상대 오프셋값 DLT(n)으로 된다. 또한, 도 13에 있어서, 「Time」은 액세스 유닛마다의 시각을 상대값으로서 나타나 있다.
이와 같은 시각 정보가 수신측으로 송신되는 경우, 수신측에서는, 이하와 같이, 각 액세스 유닛의 디코드 시각 및 표시 시각을, 변환 정보를 이용하여, 산출할 수 있다. 이 경우, 초기값 TS0은, 최초의 액세스 유닛의 표시 시각 PTS(0)이다. 그로 인해, 최초의 액세스 유닛 디코드 시각 DTS(0)은, 이하의 수식 4에 나타낸 바와 같이, PTS(0)으로부터, 오프셋 시간만큼, 즉 「dlt_time」을 「time_tick」으로 나눈 값으로 오프셋값 DLT(n)을 곱한 값을, 감산함으로써 구해진다.
<식 4>
DTS(0)=PTS(0)-(dlt_time/time_tick)*DLT(n)
여기서, 「dlt_time」은, 이하의 수식 5에 나타낸 바와 같이, 「au_rate_scale」에 「division_factor」를 곱함으로써 구해진다.
<식 5>
dlt_time=au_rate_scale*division_factor
그 후의 액세스 유닛 디코드 시각 DTS(n)은, 이하의 수식 6에 나타낸 바와 같이, 오프셋 시간(dlt_time)을 「time_tick」으로 나눈 값을, 직전의 디코드 시각 DTS(n-1)에 가산함으로써 구해진다.
<식 6>
DTS(n)=dlt_time/time tick+DTS(n-1)
또한, 각 액세스 유닛의 표시 시각 PTS(n)은, 이하의 수식 7에 나타낸 바와 같이, 오프셋값 DLT(n)에 「dlt_time/time_tick」을 곱한 값을, 디코드 시각 DTS(n)에 가산함으로써 구해진다.
<식 7>
PTS(n)=DLT(n)*(dlt_time/time_tick)+DTS(n)
다음으로, 미디어 데이터가 오디오이며, 초기값이 디코드 시각인 경우에 대하여 설명한다. 도 14는, 0번째부터 6번째까지의 액세스 유닛(AU)에 대응한, 디코드 시각 「DTS(n)」, 오프셋값 「DLT(n)」, 오디오 출력 시각 「PTS(n)」의 대응 관계의 일례를 나타내고 있다. 이 예에서는, 「dlt_time/time_tick」은 「1」로 되어 있다.
또한, 오디오 액세스 유닛은, 복수의 오디오 샘플의 집합체이다. 여기서, 「dlt_time」은, 이하의 수식 8에 나타낸 바와 같이, 「au_rate_scale」에 「division_factor」를 곱함으로써 구해진다. 예를 들어, 전형예로서, 오디오 샘플링 주파수가 44.1㎑이고, 오디오 부호화 방식이 1024 샘플을 1개의 오디오 액세스 유닛으로 하는 경우에는, au_rate_scale=2089.8이고, division_factor=1이며, dlt_time=2089.8*1로 된다.
<식 8>
dlt_time =au_rate_scale*division_factor
이 경우, MMT 패킷에 삽입되어 송신되는 시각 정보는, 오디오 출력 시각(표시 시각)의 초기값인 TS0(여기에서는, TS0=0)과, 상대 오프셋값 DLT(n)으로 된다. 또한, 도 14에 있어서, 「Time」은 액세스 유닛마다의 시각을 상대값으로서 나타나 있다. 통상의 경우, 리오더(Reorder)는 없으며, 디코딩한 후에는 그대로 출력 버퍼에 전송되므로, 디코드 시각 DTS(n)과 오디오 출력 시각 PTS(n)의 차분을 나타내는 DLT(n)은 「0」으로 된다.
이와 같은 시각 정보가 수신측으로 송신되는 경우, 수신측에서는, 이하와 같이, 각 액세스 유닛의 디코드 시각 및 오디오 출력 시각을, 변환 정보를 이용하여, 산출할 수 있다. 이 경우, 초기값 TS0은, 최초의 액세스 유닛의 오디오 출력 시각 PTS(0)이지만, 그대로, 최초의 액세스 유닛의 디코드 시각 DTS(0)으로도 된다.
그 후의 액세스 유닛 디코드 시각 DTS(n) 및 오디오 출력 시각 PTS(n)은, 이하의 수식 9에 나타낸 바와 같이, 오프셋 시간(dlt_time)을 「time_tick」로 나눈 값을, 직전의 오디오 출력 시각 PTS(n-1)에 가산함으로써 구해진다. 단, PTS(0)=TS0이다.
<식 9>
PTS(n)=DTS(n)=(dlt_time/time_tick)+PTS(n-1)
[수신 장치의 디코드 출력 처리부의 구성예]
수신 장치(200)의 디코드 출력 처리부(205)에 대하여 더 설명한다. 도 15는, 디코드 출력 처리부(205)의 구성예를 나타내고 있다. 이 디코드 출력 처리부(205)는, 디멀티플렉서(301)와, 비디오 디코더(302)와, 비디오 표시부(303)와, 오디오 디코더(304)와, 오디오 출력부(305)와, 제어부(306)를 갖고 있다.
디멀티플렉서(301)는, 트랜스포트 언패킷화부(204)의 출력으로부터 다양한 정보 혹은 데이터를 추출한다. 즉, 디멀티플렉서(301)는, 비디오의 액세스 유닛마다의 부호화 비디오 데이터를 추출함과 함께, 오디오의 액세스 유닛마다의 부호화 오디오 데이터를 추출한다.
또한, 디멀티플렉서(301)는, 비디오, 오디오의 각 액세스 유닛의 디코드 시각 DTS(n) 및 표시 시각(오디오 출력 시각) PTS(n)을 취득하기 위한 시각 정보를 추출한다. 이 시각 정보에는, 전술한 바와 같이 초기값 TS0과, 상대 오프셋값 DLT(n)이 포함되어 있다.
또한, 디멀티플렉서(301)는, 상대 오프셋값 DLT(n)을 절대 오프셋값으로 변환하기 위한 다양한 정보(변환 정보)를 추출한다. 이 변환 정보에는, 전술한 바와 같이, 「timestamp_type」, 「time_tick」, 「au_rate_scale」 및 「division_factor」 등이 포함되어 있다.
비디오 디코더(302)는, 디멀티플렉서(301)에 의해 추출되는 비디오의 각 액세스 유닛의 부호화 비디오 데이터에 대해 디코드 처리를 행하여 각 액세스 유닛이 복호화된 비디오 데이터를 얻는다. 비디오 표시부(303)는, 비디오 디코더(302)에 의해 얻어진 각 액세스 유닛의 복호화 비디오 데이터에 기초하여 비디오 표시(화상 표시)를 행한다.
오디오 디코더(304)는, 디멀티플렉서(301)에 의해 추출되는 오디오의 각 액세스 유닛의 부호화 오디오 데이터에 대하여 디코드 처리를 행하여 각 액세스 유닛이 복호화된 오디오 데이터를 얻는다. 오디오 출력부(305)는, 오디오 디코더(304)에 의해 얻어진 각 액세스 유닛의 복호화 오디오 데이터에 기초하여 오디오 출력(음성 출력)을 행한다.
제어부(306)는, 디멀티플렉서(301)에 의해 추출되는 시각 정보 및 변환 정보에 기초하여, 비디오, 오디오의 각 액세스 유닛의 디코드 시각 DTS(n) 및 표시 시각(오디오 출력 시각) PTS(n)을 구한다. 그리고, 제어부(306)는, 이하와 같이, 오디오, 비디오의 동기 재생 제어를 행한다.
즉, 제어부(306)는, 비디오의 각 액세스 유닛의 디코드 시각 DTS(n) 및 표시 시각 PTS(n)에 기초하여, 각 액세스 유닛의 디코드 타이밍 및 표시 타이밍을 제어한다. 이 경우, 각 액세스 유닛의 디코드를, 클럭 발생부(203)(도 7 참조)에서 발생되는 시스템 클럭 STC가 디코드 시각 DTS(n)으로 되는 타이밍에 개시하도록, 비디오 디코더(302)를 제어한다. 또한, 각 액세스 유닛에 의한 비디오 표시를, 이 시스템 클럭 STC가 표시 시각 PTS(n)으로 되는 타이밍에 개시하도록, 비디오 표시부(303)를 제어한다.
또한, 제어부(306)는, 오디오의 각 액세스 유닛의 디코드 시각 DTS(n) 및 오디오 출력 시각 PTS(n)에 기초하여, 각 액세스 유닛의 디코드 타이밍 및 표시 타이밍을 제어한다. 이 경우, 각 액세스 유닛의 디코드를, 시스템 클럭 STC가 디코드 시각 DTS(n)으로 되는 타이밍에 개시하도록 오디오 디코더(304)를 제어한다. 또한, 각 액세스 유닛에 의한 오디오 출력을, 이 시스템 클럭 STC가 오디오 출력 시각 PTS(n)으로 되는 타이밍에 개시하도록, 오디오 출력부(305)를 제어한다.
도 15에 도시한 디코드 출력 제어부(205)의 동작을 간단하게 설명한다. 트랜스포트 언패킷화부(204)의 출력은, 디멀티플렉서(301)에 공급된다. 이 디멀티플렉서(301)에서는, 비디오의 액세스 유닛마다의 부호화 비디오 데이터가 추출되고, 비디오 디코더(302)에 공급된다.
비디오 디코더(302)에서는, 비디오의 각 액세스 유닛의 부호화 비디오 데이터에 대하여 디코드 처리가 행해지고, 각 액세스 유닛이 복호화된 비디오 데이터가 얻어진다. 이와 같이 복호화된 각 액세스 유닛의 비디오 데이터는, 비디오 표시부(303)에 공급된다. 비디오 표시부(303)에서는, 각 액세스 유닛의 비디오 데이터에 기초하여 비디오 표시(화상 표시)가 행해진다.
또한, 디멀티플렉서(301)에서는, 오디오의 액세스 유닛마다의 부호화 오디오 데이터가 추출되고, 오디오 디코더(304)에 공급된다. 오디오 디코더(304)에서는, 오디오의 각 액세스 유닛의 부호화 오디오 데이터에 대하여 디코드 처리가 행해져서, 각 액세스 유닛이 복호화된 오디오 데이터가 얻어진다. 이와 같이 복호화된 각 액세스 유닛의 오디오 데이터는, 오디오 출력부(305)에 공급된다. 오디오 출력부(305)에서는, 각 액세스 유닛의 오디오 데이터에 기초하여 오디오 출력(음성 출력)이 행해진다.
또한, 디멀티플렉서(301)에서는, 비디오, 오디오의 각 액세스 유닛의 디코드 시각 DTS(n) 및 표시 시각(오디오 출력 시각) PTS(n)을 취득하기 위한 시각 정보(초기값 TS0, 상대 오프셋값 DLT(n))가 추출된다. 또한, 디멀티플렉서(301)에서는, 상대 오프셋값 DLT(n)을 절대 오프셋값으로 변환하기 위한 다양한 변환 정보가 추출된다. 이 시각 정보 및 변환 정보는, 제어부(306)에 공급된다.
제어부(306)에서는, 시각 정보 및 변환 정보에 기초하여, 비디오, 오디오의 각 액세스 유닛의 디코드 시각 DTS(n) 및 표시 시각(오디오 출력 시각) PTS(n)이 산출된다. 그리고, 제어부(306)에서는, 이 디코드 시각 DTS(n) 및 표시 시각(오디오 출력 시각) PTS(n)에 기초하여, 오디오, 비디오의 동기 재생 제어가 행해진다.
이 경우, 제어부(306)에서는, 비디오의 각 액세스 유닛의 디코드 시각 DTS(n) 및 표시 시각 PTS(n)에 기초하여, 비디오의 각 액세스 유닛의 디코드 타이밍 및 표시 타이밍이 제어된다. 또한, 제어부(306)에서는, 오디오의 각 액세스 유닛의 디코드 시각 DTS(n) 및 오디오 출력 시각 PTS(n)에 기초하여, 오디오의 각 액세스 유닛의 디코드 타이밍 및 출력 타이밍이 제어된다.
또한, 전술한 설명에서는, MMT 패킷에 삽입되는 시각 정보가 제1 방법에 의한 경우, 즉 시각 정보가, 디코드 시각 혹은 표시 시각의 초기값과, 각 액세스 유닛에 대응한 오프셋값인 경우를 설명하였다. 상세 설명은 생략하지만, MMT 패킷에 삽입되는 시각 정보가 제2 방법에 의한 경우, 즉 시각 정보가, 각 액세스 유닛의 표시 시각, 혹은 표시 시 시각 및 디코드 시각 그 자체인 경우도 생각된다. 그 경우, 제어부(306)에서는, 그들 시각이 그대로 사용된다.
도 16은, 제어부(306)에 있어서의 AV 동기 재생 제어의 일례를 나타내는 타이밍차트이다. 도 16의 (a)는, 클럭 발생부(203)에서 발생되는 시스템 클럭 STC를 나타내고 있다. 이 시스템 클럭 STC는, 전술한 바와 같이, 송신측으로부터 보내져 오는 송신 타임 스탬프(NTP값), 혹은 NTP 패킷에서 공급되는 타임 스탬프값(NTP값)에 의해 클럭 세트가 행해진다.
도 16의 (b)에 도시한 바와 같이, 시스템 클럭 STC가 비디오의 각 액세스 유닛의 디코드 시각 DTS(n)으로 될 때마다, 비디오의 각 액세스 유닛의 디코드가 개시된다. 그리고, 도 16의 (c)에 도시한 바와 같이, 시스템 타임 클럭 STC가 비디오의 각 액세스 유닛의 표시 시각 PTS(n)으로 될 때마다, 비디오의 각 액세스 유닛의 비디오 표시(화상 표시)가 개시된다.
도 16의 (d)에 도시한 바와 같이, 시스템 클럭 STC가 오디오의 각 액세스 유닛의 디코드 시각 DTS(n)으로 될 때마다, 오디오의 각 액세스 유닛의 디코드가 개시됨과 함께, 오디오 출력(음성 출력)이 개시된다. 도 16의 (e)는, 오디오 샘플 출력을 나타내고 있다.
또한, MFU에 프래그먼트화되어 있는 패킷이, 전송 상에서 드롭된 경우, 혹은, 수신 장치(200) 내에서 표시에 사용되지 않는다고 판단된 경우, 수신측에서 재생되는 타임 스탬프 테이블의 액세스 유닛 카운트와, 실제로 수신하는 액세스 유닛과 관계는, 도 17에 도시되게 된다. MFU 헤더의 시퀀스 넘버(sequence_number)에 의해 소트된 MFU 데이터로서 수신하는 액세스 유닛(AU)을 타임 스탬프 테이블 위에서 검사하고, 압축 버퍼로부터는 DTS(n)의 타이밍에 디코더로 전송한다. 또한, 디코드 버퍼로부터 PTS(n)의 타이밍에 표시용 프로세스로 전송한다. 이와 같이 하여, 수신하지 않는 액세스 유닛, 혹은 표시시키지 않는다고 판단한 액세스 유닛에 대한, 타임 스탬프(Timestamp)를 참조할지 여부를 판단한다.
[파일로부터 전송 패킷으로 변환할 때의 시각 정보의 생성 방법]
파일의 상태로부터 전송 패킷으로 변환할 때, MMT 파일로부터 이하와 같이 취득된 정보에 기초하여, MMT 패킷에 삽입할 시각 정보(수신측에서 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보)가 생성된다. 파일 내의 정보로부터, MMT 패킷에 삽입하는 시각 정보의 생성은, 트랜스포트 패킷화부(103)에서 행해진다.
처음에, 파일 전체에 대하여 「moov」 정보를 이용하는 경우에 대하여 설명한다. 이 경우, "Moov" 박스의 관리 하의 'stts', 'ctts'의 박스이고, 파일 내에 포함되는 전체 샘플의 디코드 시각, 표시 시각이 공급된다. 이때, 'stts'(decoding time to sample)의 박스에 의해, 디코드 시각이 부여된다. 또한, 'ctts'(composition time to sample)의 박스에 의해 디코드 시각과 표시 시각의 차분이 부여된다. 또한, 'stss'(sync sample table)의 박스에서는, 랜덤 액세스의 샘플 위치가 나타난다.
다음으로, 프래그먼트마다 「moof」 정보를 이용하는 경우에 대하여 설명한다. 이 경우, "Moof" 박스의 관리 하의, 'trun', 'tfra'의 박스에서 프래그먼트마다의 샘플의 디코드 시각, 표시 시각이 공급된다. 이때, 'trun'(track fragment run)의 박스에 의해, 프래그먼트의 선두 위치로부터의 오프셋 위치와, 샘플의 디코드 시각, 표시 시각과의 오프셋(비디오인 경우에는 프레임 수, 오디오인 경우에는 오디오 샘플 수)이 공급된다. 또한, 'tfra'(track fragment random access)의 박스에 의해, 랜덤 액세스 위치와, 그 샘플의 디코드 시각이 공급되고, 또한 샘플마다의 디코드 시각과 표시 시각의 차분값으로부터, 표시 시각도 알 수 있다.
[시각 정보의 삽입 위치]
다음으로, 시각 정보의 삽입 방법에 대하여 설명한다. 도 18은, MMT 패킷에 시각 정보를 삽입하는 방법을 개략적으로 나타내고 있다. 도 18의 (a)는, MPU 페이로드 헤더(MPU payload header) 중에서 시각 정보를 보내는 경우를 나타내고 있다. 이 경우, MPU의 페이로드가 복수의 액세스 유닛(AU)을 포함할 때에는, 페이로드 헤더 익스텐션(payload header extension)에, 그 복수의 액세스 유닛만큼의 시각 정보를 삽입한다. 한편, MPU 페이로드에 하나의 액세스 유닛을 갖는 구성에서는, 페이로드 헤더 익스텐션에, 개개의 액세스 유닛에 대하여 시각 정보를 삽입한다.
도 18의 (b)는, MPU 페이로드 중에서 프래그먼트화된 액세스 유닛(AU)마다 시각 정보를 보내는 경우를 나타내고 있다. 이 경우, MFU에 하나의 액세스 유닛을 갖는 구성으로서, MFU 헤더 익스텐션(MFU header extension)에, 개개의 액세스 유닛에 대하여 시각 정보를 삽입한다. 또는, MFU 페이로드(MFU payload)에, 개개의 액세스 유닛에 대하여 시각 정보를 삽입한다. 또한, 도 18의 (c)는, 메시지(Message)로 시각 정보를 보내는 경우를 나타내고 있다. 이 경우, 적어도, RAP(랜덤 액세스 포인트) 단위로, 대상의 패킷 ID(packet_id)에서 관련짓는 미디어에 대한 시각 정보를 갖는 메시지를 전송한다.
도 19는, 송수신 지연을 낮게 하기 위해서, 각 액세스 유닛에 대응하여 시각 정보(수신측에서 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보)를 삽입하는 경우의 패킷 구성의 일례를 나타내고 있다. 도 19의 (a)는, MMT 페이로드 헤더에 시각 정보를 삽입하는 경우의 패킷 구성예이다. 도 19의 (b)는, MFU 내에 시각 정보를 삽입하는 경우의 패킷 구성예이다. 또한, 도 19의 (c)는, MMT 메시지에 시각 정보를 삽입하는 경우의 패킷 구성예이다.
또한, 각 패킷 구성예에 있어서, 대상의 액세스 유닛을 갖는 MMT 패킷이 랜덤 액세스의 선두 패킷, 즉 랜덤 액세스 포인트의 패킷인 경우에는, MMT 파일의 "styp", "sidx", "mmpu", "moov"의 각 박스의 메타데이터가 삽입된 MMT 패킷과 함께 전송된다. 한편, 이 MMT 패킷이 랜덤 액세스의 비 선두 패킷, 즉 비 랜덤 액세스 포인트의 패킷인 경우에는, 전술한 메타데이터가 삽입된 MMT 패킷은 전송되지 않는다.
MPU 페이로드 헤더(MPU payload header) 중에서 시각 정보를 보내는 경우에 대하여 더 설명한다. 도 20은, MMT 패킷 전체의 구조예(Syntax)를 나타내고 있다. MMT 패킷(mmt packet())에는, MMT 패킷 헤더(mmtp_header())와, MMT 페이로드(mmtp_payload())가 포함되어 있다. 또한, MMT 페이로드에는, MMT 페이로드 헤더(mmtp_payload_header())와, MMT 페이로드 데이터(mmtp_payload_data())가 포함되어 있다.
도 21은, MMT 패킷 헤더(mmtp_header())의 구조예(Syntax)를 나타내고 있다. 상세 설명은 생략하지만, 이 MMT 패킷 헤더에는, 전술한 바와 같이, 패킷 ID(packet_id), 패킷 시퀀스 넘버(packet_sequence_number), 트랜스미션 타임 스탬프(transmission_timestamp), 트랜스미션 프라이오리티(transmission Priority), 프라이빗 유저 데이터(private user_data) 등이 포함되어 있다.
도 22는, MMT 페이로드 헤더(mmtp_payload_header())의 구조예(Syntax)를 나타내고 있다. 상세 설명은 생략하지만, 이 MMT 페이로드 헤더에는, 전술한 바와 같이, 페이로드 길이(payload_length), 페이로드 타입(payload_type), 프래그먼트 타입(fragment_type), 프래그먼트 카운트(fragment_count), 애그리게이션 인포 플래그(aggregation_info_flag), RAP 플래그(random_access_point_flag), 데이터 오프셋(data_offset), 데이터 유닛 넘버(numDU), 데이터 유닛 오프셋(DU_offset), 페이로드 시퀀스 넘버(payload_seq_number), 헤더 익스텐션 필드 플래그(header_extension_field_flag) 등이 포함되어 있다.
그리고, 헤더 익스텐션 필드 플래그가 "1"일 때, 이 MMT 페이로드 헤더에는, MMT 페이로드 헤더 익스텐션(mmtp_payload_header_extension())이 더 포함된다.
도 23은, MMT 페이로드 헤더 익스텐션(mmtp_payload_header_extension())의 구조예(Syntax)를 나타내고 있다. 이 구조예는, MPU 페이로드 헤더(MPU payload header) 중에서 시각 정보를 보내는 경우에 대응하고 있다. 도 24는, 이 구조예의 주요한 정보의 내용(Semantics)을 나타내고 있다.
「payload_header_extension_type」의 16비트 필드는, MMT 페이로드 헤더 익스텐션의 타입을 나타낸다. 예를 들어, "0×0001"은, 처리를 위한 시각 정보(타입 스탬프)를 제공함을 나타낸다. 「payload_header_extension_length」의 16비트 필드는, MMT 페이로드 헤더 익스텐션의 사이즈를 나타낸다. 「asset_type」 2비트 필드는, 에셋 타입을 나타낸다. 예를 들어, "01"은 비디오를 나타내고, "10"은 오디오를 나타낸다.
「time_tick」의 2비트 필드는, 어떠한 클럭으로 제어하는지를 나타낸다. "01"은 90㎑의 정밀도의 클럭값을 나타낸다. "10"은 「NTP short time」임을 나타낸다. 「au_rate_scale」의 3비트 필드는, 비디오나 오디오의 액세스 유닛 레이트를 구하기 위한 스케일 정보이다.
에셋 타입이 비디오인 경우, "000"은 3750의 값을 나타내고, 이 값에 의해 레이트로서 24㎐를 구할 수 있다. 또한, "001"은 3600의 값을 나타내고, 이 값에 의해 레이트로서 25㎐를 구할 수 있다. 또한, "010"은 3000의 값을 나타내고, 이 값에 의해 레이트로서 30㎐를 구할 수 있다.
또한, "011"은 1800의 값을 나타내고, 이 값에 의해 레이트로서 50㎐를 구할 수 있다. 또한, "100"은 1500의 값을 나타내고, 이 값에 의해 레이트로서 60㎐를 구할 수 있다. 또한, "101"은 900의 값을 나타내고, 이 값에 의해 레이트로서 100㎐를 구할 수 있다. 또한, "110"은 750의 값을 나타내고, 이 값에 의해 레이트로서 120㎐를 구할 수 있다. 또한, "111"은 리저브로 된다.
한편, 에셋 타입이 오디오인 경우, "000"은 1920의 값을 나타내고, 이 값에 의해 레이트로서 48㎑*1024를 구할 수 있다. 또한, "001"은 2089.8의 값을 나타내고, 이 값에 의해 레이트로서 44.1㎑*1024를 구할 수 있다. 또한, "010"은 2880의 값을 나타내고, 이 값에 의해 레이트로서 32㎑*1024를 구할 수 있다. 또한, 그 밖에는 리저브로 된다.
「division_factor」의 2비트 필드는, 레이트를 미세 조정하기 위한 요소이다. 에셋 타입이 비디오인 경우, "00"은 1을 나타내고, "01"은 1.001을 나타낸다. 또한, 에셋 타입이 오디오인 경우, "00"은 1을 나타내고, "01"은 2를 나타낸다.
「timestamp_type」의 1비트 필드는, 초기값이 디코드 시각의 초기값인지 표시 시각의 초기값인지를 나타내는 정보이다. "1"은 디코드 시각(decode_timestamp)임을 나타내고, "0"은 표시 시각(display_timestamp)임을 나타낸다.
「timestamp_for_processing」의 32비트 필드는, 초기값을 나타낸다. 이 경우, 「time_tick」가 "01"일 때는, 90㎑ 정밀도의 것으로 된다. 또한, 「time_tick」가 "10"일 때는, RFC5059로 규정되는 「NTP short timestamp」로 된다.
「au_count_in_mpu」의 10비트 필드는, MPU에 포함되는 액세스 유닛(AU)의 개수를 나타낸다. 「delta_sequence_type」의 1비트 필드는, 오프셋값이 가변 길이 부호인지, 8비트 고정 길이인지를 나타낸다. "1"은 가변 길이 부호임을 나타내고, "0"은 8비트 고정 길이임을 나타낸다. 또한, 오프셋값의 가변 길이 부호화에 대해서는 후술한다.
「delta_fixed_length_code」의 8비트 필드는, 8비트 고정 길이의 오프셋값을 삽입하는 영역이다. 「delta_variable_length_code」의 가변 길이 영역은, 가변 길이 부호로서의 오프셋값을 삽입하는 영역이다. 또한, 「tralling_filler()」는, MMT 페이로드 헤더 익스텐션(mmtp_payload_header_extension())의 사이즈가 바이트 얼라인되도록, 「delta_variable_length_code」의 누적에 대하여, 적절히 1 내지 7비트의 연속되는 "0"을 삽입하는 것이다.
또한, 도 24의 내용(Semantics)에 추가하는 것으로, 비디오인 경우, time_tick=60㎐, au_rate_scale=1을 할당하고, 오디오인 경우, time_tick=44.1㎑, au_rate_scale=1을 할당할 수도 있다.
또한, 전술에서는, MMT 페이로드 헤더 익스텐션에, 디코드 시각 혹은 표시 시각과, 오프셋값을 삽입하는, 제1 방법에 대응한 구조예를 나타내었다. 이 MMT 페이로드 헤더 익스텐션에 표시 시각, 혹은 표시 시각 및 디코드 시각을 삽입하는, 제2 방법에 대응한 구조예도 생각된다.
도 25는, 그 경우에 있어서의 MMT 페이로드 헤더 익스텐션(mmtp_payload_header_extension())의 구조예(Syntax)를 나타내고 있다. 이 구조예도, MPU 페이로드 헤더(MPU payload header) 중에서 시각 정보를 보내는 경우에 대응하고 있다. 도 26은, 이 구조예의 주요한 정보의 내용(Semantics)을 나타내고 있다.
「payload_header_extension_type」의 16비트 필드는, MMT 페이로드 헤더 익스텐션의 타입을 나타낸다. 예를 들어, "0×01"은, NTP short time 포맷의 표시 타임 스탬프(표시 시각)를 공급함을 나타낸다. "0×02"는, NTP short time 포맷의 표시 타임 스탬프와, 디코드 타임 스탬프(디코드 시각)를 공급함을 나타낸다. "0×03"은, 90㎑ 정밀도에서의 표시 타임 스탬프를 공급함을 나타낸다. "0×04"는, 90㎑ 정밀도에서의 표시 타임 스탬프와, 디코드 타임 스탬프를 공급함을 나타낸다.
「payload_header_extension_length」의 16비트 필드는, MMT 페이로드 헤더 익스텐션의 사이즈를 나타낸다. 「presentation_timestamp」의 32비트 필드는, 표시 타임 스탬프(표시 시각)의 값을 나타낸다. 「decoding_timestamp」의 32비트 필드는, 디코드 타임 스탬프(디코드 시각)의 값을 나타낸다.
다음으로, MPU 페이로드 중에서 프래그먼트화된 액세스 유닛(AU)마다 시각 정보를 보내는 경우에 대하여 더 설명한다. 이 경우, 예를 들어 도 27에 도시한 바와 같이, 액세스 유닛(AU)마다, 표시 시각(표시 타임 스탬프) PTS와, 오프셋값 DLT를, MFU 헤더 익스텐션(mfu_header_extension)의 영역에 삽입하여 전송한다. 또한, 도시를 생략하였지만, 표시 시각(표시 타임 스탬프) PTS 대신에 디코드 시각(디코드 타임 스탬프) DTS를 전송하는 것도 가능하다.
도 28은, MFU의 구조예(Syntax)를 나타내고 있다. MFU에는, MFU 헤더(mfu_header())와, MFU 미디어 데이터(mfu_media_data())가 포함되어 있다. 도 29, 도 30은, MFU 헤더(mfu_header())의 구조예(Syntax)를 나타내고 있다. 도 31은, 이 구조예의 주요한 정보의 내용(Semantics)을 나타내고 있다.
「sequence_number」의 32비트 필드는, MPU 내의 MFU의 시퀀스 번호이다. 「trackref_index」의 8비트 필드는, 미디어 트랙의 번호이다. 「sample_number」의 32비트 필드는, 당 MFU가 속하는 샘플(액세스 유닛)의 moof 박스 내의 순서를 나타낸다. 「priority」의 8비트 필드는, MPU 내의 당 MFU의 우선도를 나타낸다. 「dependency_counter」의 8비트 필드는, 당 MFU에 디코드가 의존하고 있는 MFU의 수를 나타낸다.
「offset」의 16비트 필드는, mdat 박스로부터의 오프셋을 나타낸다. 「length」의 32비트 필드는, MFU의 크기를 나타낸다. 「multiLayer_flag」의 1비트 필드는, 멀티레이어 정보의 유무를 나타낸다. 「mfu_header_extension_flag」의 1비트 필드는, MFU 익스텐션(mfu_extension)의 유무를 나타낸다.
「dependency_id」, 「depth_flag」, 「temporal_id」, 「quality_id」, 「priority_id」, 「view_id」, 「layer_id」는, MFU끼리의 다양한 의존 관계를 나타내는 ID 군이다. 「Item_ ID」는, 파일의 ID를 나타낸다. MFU 헤더 익스텐션 플래그(mfu_header_extension_flag)가 "1"일 때, MFU 헤더 익스텐션(mfu_header_extension())이 존재한다.
도 32는, MFU 헤더 익스텐션(mfu_header_extension())의 구조예(Syntax)를 나타내고 있다. 도 33은, 이 구조예의 주요한 정보의 내용(Semantics)을 나타내고 있다. 「asset_type」 2비트 필드는, 에셋 타입을 나타낸다. 예를 들어, "01"은 비디오를 나타내고, "10"은 오디오를 나타낸다.
「time_tick」의 2비트 필드는, 어떠한 클럭으로 제어하는지를 나타낸다. "01"은 90㎑의 정밀도의 클럭으로 전부를 제어함을 나타낸다. "10"은 「NTP short time」임을 나타낸다. 「au_rate_scale」의 10비트 필드는, 비디오나 오디오의 액세스 유닛 레이트를 구하기 위한 스케일 정보이다.
에셋 타입이 비디오인 경우, "000"은 3750의 값을 나타내고, 이 값에 의해 레이트로서 24㎐를 구할 수 있다. 또한, "001"은 3600의 값을 나타내고, 이 값에 의해 레이트로서 25㎐를 구할 수 있다. 또한, "010"은 3000의 값을 나타내고, 이 값에 의해 레이트로서 30㎐를 구할 수 있다.
또한, "011"은 1800의 값을 나타내고, 이 값에 의해 레이트로서 50㎐를 구할 수 있다. 또한, "100"은 1500의 값을 나타내고, 이 값에 의해 레이트로서 60㎐를 구할 수 있다. 또한, "101"은 900의 값을 나타내고, 이 값에 의해 레이트로서 100㎐를 구할 수 있다. 또한, "110"은 750의 값을 나타내고, 이 값에 의해 레이트로서 120㎐를 구할 수 있다. 또한, "111"은 리저브로 된다.
한편, 에셋 타입이 오디오인 경우, "000"은 1920의 값을 나타내고, 이 값에 의해 레이트로서 48㎑*1024를 구할 수 있다. 또한, "001"은 2089.8의 값을 나타내고, 이 값에 의해 레이트로서 44.1㎑*1024를 구할 수 있다. 또한, "010"은 2880의 값을 나타내고, 이 값에 의해 레이트로서 32㎑*1024를 구할 수 있다. 또한, 그 밖에는 리저브로 된다.
「division_factor」의 2비트 필드는, 레이트를 미세 조정하기 위한 요소이다. 에셋 타입이 비디오인 경우, "00"은 1을 나타내고, "01"은 1.001을 나타낸다. 또한, 에셋 타입이 오디오인 경우, "00"은 1을 나타내고, "01"은 2를 나타낸다.
「timestamp_for_processing」의 32비트 필드는, 대응하는 액세스 유닛의 시각을 나타낸다. 이 경우, 「time_tick」가 "01"일 때는, 90㎑ 정밀도의 것으로 된다. 또한, 「time_tick」가 "10"일 때는, RFC5059로 규정되는 「NTP short timestamp」로 된다.
「timestamp_type」의 1비트 필드는, 전술한 「timestamp_for_processing」으로 나타내는 시각이 디코드 시각인지 표시 시각인지를 나타낸다. "1"은 디코드 시각(decode_timestamp)임을 나타내고, "0"은 표시 시각(display_timestamp)임을 나타낸다. 「delta_fixed_length_code」의 8비트 필드는, 8비트 고정 길이의 오프셋값을 삽입하는 영역이다.
또한, 전술에서는, MFU 헤더 익스텐션에, 시각 정보(예를 들어, 표시 시각 PTS 혹은 디코드 시각 DTS와, 오프셋값 DLT)를 삽입하는 구조예를 나타내었다. MFU 페이로드에 시각 정보를 삽입하는 구조예도 고려된다. 도 34, 도 35는, 그 경우에 있어서의 MFU 헤더(mfu_header())의 구조예(Syntax)를 나타내고 있다. 도 36은, 이 구조예의 주요한 정보의 내용(Semantics)을 나타내고 있다.
「timestamp_type」의 2비트 필드는, MPU 페이로드의 선두에 타임 스탬프가 공급되는지 여부를 나타낸다. "00"은, 타임 스탬프는 공급되지 않음을 나타낸다. 이 경우, MPU 페이로드의 최초의 바이트(1st 바이트)가 프래그먼트된 MPU 페이로드의 선두 바이트와 일치한다. "01"은, MPU 페이로드의 선두에 표시 타임 스탬프가 공급됨을 나타낸다. 이 경우, 표시 타임 스탬프의 직후에 프래그먼트된 MPU 페이로드의 선두 바이트가 공급된다. "10"은, MFU 페이로드의 선두에 디코드 타임 스탬프와 표시 타임 스탬프의 양쪽이 공급됨을 나타낸다. 이 경우, 타임 스탬프의 직후에 프래그먼트된 MPU 페이로드의 선두 바이트가 공급된다.
「time_tick」의 1비트 필드는, 타임 스탬프값의 정밀도를 나타낸다. "0"은, 90000㎐ 정밀도임을 나타낸다. "1"은, NTP short time 포맷임을 나타낸다.
도 37은, MFU 페이로드(mfu_payload())의 구조예(Syntax) 및 그 주요한 정보의 내용(Semantics)을 나타내고 있다. 「presentation_timestamp」의 32비트 필드는, 표시 타임 스탬프(표시 시각)의 값을 나타낸다. 「decoding_timestamp」의 32비트 필드는, 디코드 타임 스탬프(디코드 시각)의 값을 나타낸다. MFU 헤더에 있어서의 「timestamp_type 」이 "01"일 때, 페이로드 데이터(payload_data)의 직전에 「presentation_timestamp」의 32비트 필드가 존재한다. 또한, MFU 헤더에 있어서의 「timestamp_type」이 "10"일 때, 페이로드 데이터(payload_data)의 직전에 「presentation_timestamp」의 32비트 필드 및 「decoding_timestamp」의 32비트 필드가 존재한다.
도 38, 도 39는, MFU 페이로드에 시각 정보를 삽입하는 경우에 있어서의, MFU 헤더(mfu_header())의 다른 구조예(Syntax)를 나타내고 있다. 도 40은, 이 구조예의 주요한 정보의 내용(Semantics)을 나타내고 있다. 「payload_header_flag」의 1비트 플래그 정보는, MFU 페이로드의 선두에, MFU 페이로드 헤더가 존재하는지 여부를 나타낸다. "0"은, MFU 페이로드 헤더는 존재하지 않음을 나타낸다. 이 경우, MFU 페이로드의 최초의 바이트(1st 바이트)는 프래그먼트된 MPU 페이로드의 선두 바이트와 일치한다. "1"은, MFU 페이로드 헤더가 존재함을 나타낸다. 이 경우, MFU 페이로드 헤더의 직후에 프래그먼트된 MPU 페이로드의 선두 바이트가 공급된다.
도 41은, MFU 페이로드(mfu_payload())의 구조예(Syntax)를 나타내고 있다. 도 42는, 이 구조예의 주요한 정보의 내용(Semantics)을 나타내고 있다. 「mfu_payload_header_type」의 8비트 필드는, MFU 페이로드 헤더의 타입을 나타낸다. 예를 들어, "0×01"은, NTP short time 포맷의 표시 타임 스탬프(표시 시각)를 공급함을 나타낸다. "0×02"는, NTP short time 포맷의 표시 타임 스탬프와, 디코드 타임 스탬프(디코드 시각)를 공급함을 나타낸다. "0×03"은, 90㎑ 정밀도에서의 표시 타임 스탬프를 공급함을 나타낸다. "0×04"는, 90㎑ 정밀도에서의 표시 타임 스탬프와, 디코드 타임 스탬프를 공급함을 나타낸다.
「mfu_payload_header_length」의 8비트 필드는, 본 엘리먼트 이후의 MFU 페이로드 헤더의 사이즈를 바이트 수로 나타낸다. 「presentation_timestamp」의 32비트 필드는, 표시 타임 스탬프(표시 시각)의 값을 나타낸다. 「decoding_timestamp」의 32비트 필드는, 디코드 타임 스탬프(디코드 시각)의 값을 나타낸다.
다음으로, 메시지(Message)에서 시각 정보를 보내는 경우에 대하여 더 설명한다. 도 43은, 타임 스탬프 메시지(Timestamp Message)의 구조예(Syntax)를 나타내고 있다. 이 타임 스탬프 메시지는, MPU에 포함되는 각 액세스 유닛(AU)의 디코드 시각(decode_timestamp), 표시 시각(display_timestamp)을 수신측에서 취득하기 위해서, 수신측의 시각 정보를 공급하기 위한 메시지이다.
이 타임 스탬프 메시지에는, 메시지 내용이 배치되는 타임 스탬프 테이블(timestamp_table())이 포함된다. 도 44는, 이 타임 스탬프 테이블(timestamp_table())의 구조예(Syntax)를 나타내고 있다. 상세 설명은 생략하지만, 이 타임 스탬프 테이블에는, 전술한 MMT 페이로드 헤더 익스텐션(mmtp_payload_header_extension())(도 23, 도 24 참조)과 마찬가지의 정보(시각 정보, 변환 정보)가 포함된다.
이 타임 스탬프 메시지에는, 패킷 ID(acket_ ID)가 포함되고, 에셋(asset) 레벨에서의 관련짓기가 행해진다. 그 밖에, 이 타임 스탬프 메시지에는, 종래의 테이블(table) 구성에 따라서, 테이블 ID(table_id), 버전(version), 길이(length) 등의 정보가 추가되어 있다. 여기서, 테이블 ID나 버전은, 시스템에 의해 고유하게 할당되는 것이다. 또한, 길이는, 당 테이블 전체의 사이즈를 나타낸다.
이 타임 스탬프 테이블(timestamp_table)은, 메시지(message)군을 묶는 메시지이다. 패키지 액세스 메시지(Package Access message) 중 메시지 페이로드(message payload())로 전송하는 것도 가능하다. 도 45는, 패키지 액세스 메시지(Package Access message)의 구조예(Syntax)를 나타내고 있다.
그 경우, 패키지 액세스 메시지로서는, 도시한 바와 같이, 헤더 부분에 패키지 액세스 메시지를 나타내는 「message_id」로부터 시작해서, 「version」, 「length」가 계속된다. 그리고,「number_of_tables」에서 테이블(table)의 수가 나타난 후, 그 테이블의 수만큼 루프(loop)가 있고, 각 루프 중에는 「table_id」로부터 시작해서, 「table_version」, 「table_length」가 계속된다. 「table_id」는, 타임 스탬프 테이블(timestamp_table) 중 「table_id」와 일치한다. 「table_length」는, 「timestamp_table」를 포함하고, 다른 「table」을 포함한 사이즈를 나타낸다. 그 후, 「message_payload」 중에, 「timestamp_table」이 그대로 공급된다.
[오프셋값의 가변 길이 부호화]
다음으로, 오프셋값 DLT(n)의 가변 길이 부호화에 대하여 설명한다. 전술한 바와 같이, 액세스 유닛(AU)마다의 디코드 시각 및 표시 시각을 수신측에서 재현하기 위해서, 각 액세스 유닛의 오프셋값을 시계열적으로 전송하는 것이 행해진다. 이 오프셋값은, 배신순(=디코드순)의 계열을 표시순으로 정렬할 때 유효해지는 것이며, 주로 비디오에 관한 픽처 리오더(picture reorder)를 정확하게 행하고, 또한 동기 표시를 확보할 목적으로 참조된다.
도 46은, 액세스 유닛 AU(n)의 디코드 시각 D(n)과, 표시 시각 R(n)의 대응 관계의 일례를 나타내고 있다. 이 예의 경우, 리오더 거리 M=3이며, 이하의 값을 액세스 유닛의 수만큼 부호화하게 된다.
D(0)→R(0)의 오프셋값 DLT=+1
D(1)→R(1)의 오프셋값 DLT=+3
D(2)→R(2)의 오프셋값 DLT=0
D(3)→R(3)의 오프셋값 DLT=0
따라서, 오프셋값 DLT의 시계열 표현은, +1, +3, 0, 0, +3, 0, 0, 3, …으로 된다. 이것은, 리오더 거리 M에 의존하는 것이며, 리오더 거리 M이 커지면, "0"을 넣는 비율이 증대된다. 본 실시 형태에서는, 이것을 이용하여, 0 발생 확률에 따라서 유효한 부호 사이즈를 확보하여, 전송 용량에 맞출 목적으로 가변 길이 부호화를 행한다.
도 47은, 시계열의 오프셋값을 가변 길이 부호화하기 위한 가변 길이 부호 테이블의 일례를 나타내고 있다. 고확률로 발생하는 "0"에 대하여 쇼트 워드(short word)가 할당되고, 리오더 거리 M의 단위로 발생하는 값으로는, 롱 워드(long word)가 할당된다. 이러한 가변 길이 부호화에 의해, 시계열의 오프셋값 전송 용량을 효율적으로 저감할 수 있다.
또한, 리오더 거리 M이 커질수록 B 픽처의 비율이 커지므로, 이러한 가변 길이 부호화에 의한 전송 용량의 저감 효율은 크게 되어있다. 도 48은, 이러한 점을 나타내고 있다. 예를 들어, 리오더 거리 M이 3인 경우, 「IPBB」의 4개의 액세스 유닛의 오프셋값 전송 용량은 10비트로 되고, 평균하면, 10/4비트로 된다. 이에 반하여, 예를 들어 리오더 거리 M이 6인 경우, 「IPBBBBB」의 7개의 액세스 유닛의 오프셋값 전송 용량은 13비트로 되고, 평균하면, 13/7비트로 된다.
전술한 바와 같이, 도 1에 도시한 송수신 시스템(10)에 있어서는, 송신 장치(100)로부터 수신 장치(200)로 보내지는 MMT 패킷에, 수신측에서 각 액세스 유닛의 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보가 삽입되는 것이다. 따라서, 예를 들어 수신측에서 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보의 전송을 양호하게 행할 수 있다.
또한, 도 1에 도시한 송수신 시스템(10)에 있어서는, 시각 정보는, 예를 들어 하나 이상의 액세스 유닛의 최초의 액세스 유닛에 대응한 디코드 시각 혹은 표시 시각의 값(초기값)과, 각 액세스 유닛에 각각 대응한 디코드 시각으로부터 표시 시각까지의 오프셋값으로 되는 것이다. 또한, 이 오프셋값은 절대 오프셋값이 아니라, 상대 오프셋값으로 된다. 따라서, 시각 정보의 전송을 효율적으로 행할 수 있다.
또한, 도 1에 도시한 송수신 시스템(10)에 있어서는, 시계열의 오프셋을 가변 길이 부호화하여 전송하는 것이다. 따라서, 시각 정보의 전송 용량의 저감을 도모할 수 있다.
<2. 변형예>
또한, 전술한 실시 형태에 있어서는, 파일 내의 시각 정보를 MMT 패킷에 반영하는 방법을 기술(記述)하였지만, "moov" 내, 혹은 "moof" 내의 시각 정보를 그대로 MMT 페이로드 헤더 혹은 MFU 내의 영역, 또는 메시지에서 공급하는 것으로 해도 유사한 효과가 얻어진다.
또한, 전술한 실시 형태에 있어서는, 본 기술을, MMT 구조의 트랜스포트 패킷, 즉 MMT 패킷이 포함되는 전송 스트림을 RF 전송로 혹은 통신 네트워크 전송로를 통해서 전송하는 송수신 시스템(10)에 적용한 것이다. 본 기술은, 마찬가지의 전송 스트림을 RF 전송로 혹은 통신 네트워크 전송로를 통해서 전송하는 송수신 시스템에도 마찬가지로 적용할 수 있음은 물론이다.
또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 페이로드에 전송 미디어를 포함하는 제1 전송 패킷과, 페이로드에 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림을 생성하는 전송 스트림 생성부와,
상기 전송 스트림을 소정의 전송로를 통해서 수신측으로 송신하는 전송 스트림 송신부와,
상기 제1 전송 패킷 또는 상기 제2 전송 패킷에, 상기 수신측에서 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보를 삽입하는 시각 정보 삽입부를 구비하는, 송신 장치.
(2) 상기 제1 전송 패킷에 포함되는 전송 미디어는 하나 이상의 액세스 유닛으로 구성되고,
상기 시각 정보 삽입부에서 삽입되는 시각 정보는, 상기 하나 이상의 액세스 유닛에 각각 대응한 디코드 시각 및/또는 표시 시각을 취득하기 위한 정보인, 상기 (1)에 기재된 송신 장치.
(3) 상기 시각 정보 삽입부에서 삽입되는 시각 정보는, 상기 하나 이상의 액세스 유닛의 최초의 액세스 유닛에 대응한 디코드 시각 혹은 표시 시각의 값과, 각 액세스 유닛에 각각 대응한 디코드 시각으로부터 표시 시각까지의 오프셋값을 갖는, 상기 (2)에 기재된 송신 장치.
(4) 상기 오프셋값은, 절대 오프셋값에 대응한 상대 오프셋값이며,
상기 시각 정보 삽입부에서 삽입되는 시각 정보에는, 상기 상대 오프셋값을 상기 절대 오프셋값으로 변환하기 위한 변환 정보가 부가되는, 상기 (3)에 기재된 송신 장치.
(5) 상기 시각 정보 삽입부는, 상기 상대 오프셋값을 가변 길이 부호화한 후에 삽입하는, 상기 (4)에 기재된 송신 장치.
(6) 상기 시각 정보 삽입부에서 삽입되는 시각 정보는, 상기 하나 이상의 액세스 유닛의 각각에 대응한 표시 시각, 혹은 표시 시각 및 디코드 시각인, 상기 (2)에 기재된 송신 장치.
(7) 상기 제1 전송 패킷의 페이로드는, 페이로드 헤더부와 페이로드 본체부를 포함하고,
상기 시각 정보 삽입부는, 상기 페이로드 헤더부에, 상기 시각 정보를 삽입하는, 상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(8) 상기 제1 전송 패킷의 페이로드는, 페이로드 헤더부와 페이로드 본체부를 포함하고,
상기 페이로드 본체부에는, 상기 전송 미디어가 프래그먼트화된 하나 이상의 액세스 유닛을 각각 포함하는 프래그먼트 페이로드가 프래그먼트 헤더를 수반하여 배치되고,
상기 시각 정보 삽입부는, 상기 프래그먼트 헤더에, 대응하는 액세스 유닛의 시각 정보를 삽입하는, 상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(9) 상기 제1 전송 패킷의 페이로드는, 페이로드 헤더부와 페이로드 본체부를 포함하고,
상기 페이로드 본체부에는, 상기 전송 미디어가 프래그먼트화된 하나 이상의 액세스 유닛을 각각 포함하는 프래그먼트 페이로드가 프래그먼트 헤더를 수반하여 배치되고,
상기 시각 정보 삽입부는, 상기 프래그먼트 페이로드에, 대응하는 액세스 유닛의 시각 정보를 삽입하는, 상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(10) 상기 제2 전송 패킷의 페이로드부는, 페이로드 헤더부와 페이로드 본체부를 포함하고,
상기 시각 정보 삽입부는, 상기 페이로드 본체부에, 상기 시각 정보를 삽입하는, 상기 (1) 내지 (6) 중 어느 하나에 기재된 송신 장치.
(11) 상기 소정의 전송로는, RF 전송로 또는 통신 네트워크 전송로인, 상기 (1) 내지 (10) 중 어느 하나에 기재된 송신 장치.
(12) 상기 제1 전송 패킷 및 상기 제2 전송 패킷은, MMT 패킷인, 상기 (1) 내지 (11) 중 어느 하나에 기재된 송신 장치.
(13) 페이로드에 전송 미디어를 포함하는 제1 전송 패킷과, 페이로드에 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림을 생성하는 전송 스트림 생성 스텝과,
상기 전송 스트림을 소정의 전송로를 통해서 수신측으로 송신하는 전송 스트림 송신 스텝과,
상기 제1 전송 패킷 또는 상기 제2 전송 패킷에, 상기 수신측에서 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보를 삽입하는 시각 정보 삽입 스텝을 구비하는, 송신 방법.
(14) 페이로드에 전송 미디어를 포함하는 제1 전송 패킷과, 페이로드에 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림을, 송신측으로부터 소정의 전송로를 통해서 수신하는 전송 스트림 수신부를 구비하고,
상기 제1 전송 패킷 또는 상기 제2 전송 패킷에는, 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보가 삽입되어 있으며,
상기 전송 스트림으로부터 취출된 상기 전송 미디어를, 상기 시각 정보에 기초하여 취득된 상기 디코드 시각 및/또는 상기 표시 시각을 사용해서 처리하는 전송 미디어 처리부를 더 구비하는, 수신 장치.
(15) 상기 제1 전송 패킷에 포함되는 전송 미디어는 하나 이상의 액세스 유닛으로 구성되고,
상기 시각 정보는, 상기 하나 이상의 액세스 유닛의 최초의 액세스 유닛에 대응한 디코드 시각 혹은 표시 시각의 값과, 각 액세스 유닛에 각각 대응한 디코드 시각으로부터 표시 시각까지의 절대 오프셋값에 대응한 상대 오프셋값이며,
상기 상대 오프셋값을 상기 절대 오프셋값으로 변환하는 오프셋값 변환부를 더 구비하는, 상기 (14)에 기재된 수신 장치.
(16) 페이로드에 전송 미디어를 포함하는 제1 전송 패킷과, 페이로드에 상기 전송 미디어에 관한 정보를 포함하는 제2 전송 패킷이 시분할적으로 다중화된 전송 스트림을, 송신측으로부터 소정의 전송로를 통해서 수신하는 전송 스트림 수신 스텝을 구비하고,
상기 제1 전송 패킷 또는 상기 제2 전송 패킷에는, 디코드 시각 및/또는 표시 시각을 취득하기 위한 시각 정보가 삽입되어 있으며,
상기 전송 스트림으로부터 취출된 상기 전송 미디어를, 상기 시각 정보에 기초하여 취득된 상기 디코드 시각 및/또는 상기 표시 시각을 사용해서 처리하는 전송 미디어 처리 스텝을 더 구비하는, 수신 방법.
본 기술의 주된 특징은, MMT 패킷에, 복수의 액세스 유닛의 최초의 액세스 유닛에 대응한 디코드 시각 혹은 표시 시각의 값과, 각 액세스 유닛에 각각 대응한 디코드 시각으로부터 표시 시각까지의 상대 오프셋값을 삽입함으로써, 시각 정보의 전송을 효율적으로 행할 수 있도록 한 것이다(도 15, 도 18 참조).
10: 송수신 시스템
100: 트랜스포트 패킷 송신 장치
101: 에셋 발생부
102: 인코더
103: 트랜스포트 패킷화부
104: 클럭 발생부
105: IP 송신부
106: RF 송신부
200: 트랜스포트 패킷 수신 장치
201: RF 수신부
202: IP 수신
203: 클럭 발생부
204: 트랜스포트 언패킷화부
205: 디코드 출력 처리부
301: 디멀티플렉서
302: 비디오 디코더
303: 비디오 표시부
304: 오디오 디코더
305: 오디오 출력부
306: 제어부

Claims (20)

  1. 페이로드에 미디어 데이터를 포함하는 제1 전송 패킷과, 페이로드에 메타데이터를 포함하는 제2 전송 패킷을 갖는 전송 스트림을 생성하는 전송 스트림 생성부와,
    상기 전송 스트림을 소정의 전송로를 통해서 수신측으로 송신하는 전송 스트림 송신부와,
    상기 제2 전송 패킷에, 상기 제1 전송 패킷에 포함되는 미디어 데이터의 presentation 시각의 값을 삽입하는 시각 정보 삽입부를 구비하고,
    상기 제1 전송 패킷 및 상기 제2 전송 패킷의 각각의 페이로드는, 페이로드 헤더와 페이로드 데이터를 포함하고,
    상기 페이로드 헤더는, 상기 페이로드 데이터의 데이터 타입을 지시하는 타입 정보를 포함하는, 송신 장치.
  2. 제1항에 있어서,
    상기 시각 정보 삽입부는, 상기 presentation 시각의 값을 상기 제2 전송 패킷의 페이로드 데이터에 삽입하는, 송신 장치.
  3. 제1항에 있어서,
    상기 제1 전송 패킷에 포함되는 상기 미디어 데이터는 하나 이상의 액세스 유닛으로 구성되고,
    상기 시각 정보 삽입부는, 상기 제1 전송 패킷의 최초의 액세스 유닛에 대응한 presentation 시각의 값을 삽입하는, 송신 장치.
  4. 제3항에 있어서,
    상기 시각 정보 삽입부는, 각 액세스 유닛에 각각 대응한 디코드 시각으로부터 presentation 시각까지의 오프셋값을 삽입하는, 송신 장치.
  5. 제4항에 있어서,
    상기 오프셋값은, 절대 오프셋값에 대응한 상대 오프셋값이며,
    상기 시각 정보 삽입부는, 상기 상대 오프셋값을 상기 절대 오프셋값으로 변환하기 위한 변환 정보를 삽입하는, 송신 장치.
  6. 제5항에 있어서,
    상기 시각 정보 삽입부는, 상기 상대 오프셋값을 가변 길이 부호화한 후에 삽입하는, 송신 장치.
  7. 제1항에 있어서,
    상기 송신 장치는 또한, 시스템 시각 또는 서버로부터 취득된 타임스탬프 값을 송신하는, 송신 장치.
  8. 제1항에 있어서,
    상기 소정의 전송로는, RF 전송로 또는 통신 네트워크 전송로인, 송신 장치.
  9. 제1항에 있어서,
    상기 제1 전송 패킷 및 상기 제2 전송 패킷은, MMT 패킷인, 송신 장치.
  10. 제1항에 있어서,
    상기 제2 전송 패킷에 포함되는 상기 메타데이터는 상기 미디어 데이터에 관련된 제어 정보인, 송신 장치.
  11. 페이로드에 미디어 데이터를 포함하는 제1 전송 패킷과, 페이로드에 메타데이터를 포함하는 제2 전송 패킷을 갖는 전송 스트림을 생성하는 전송 스트림 생성 스텝과,
    상기 전송 스트림을 소정의 전송로를 통해서 수신측으로 송신하는 전송 스트림 송신 스텝과,
    상기 제2 전송 패킷에, 상기 제1 전송 패킷에 포함되는 미디어 데이터의 presentation 시각의 값을 삽입하는 시각 정보 삽입 스텝을 갖고,
    상기 제1 전송 패킷 및 상기 제2 전송 패킷의 각각의 페이로드는, 페이로드 헤더와 페이로드 데이터를 포함하고,
    상기 페이로드 헤더는, 상기 페이로드 데이터의 데이터 타입을 지시하는 타입 정보를 포함하는, 송신 방법.
  12. 제11항에 있어서,
    상기 수신측으로 상기 전송 스트림을 송신하는 전송 스트림 송신 스텝은, 시스템 시각 또는 서버로부터 취득된 타임스탬프 값을 송신하는 것을 포함하는, 송신 방법.
  13. 페이로드에 미디어 데이터를 포함하는 제1 전송 패킷과, 페이로드에 메타데이터를 포함하는 제2 전송 패킷을 갖는 전송 스트림을, 송신측으로부터 소정의 전송로를 통해서 수신하는 전송 스트림 수신부를 구비하고,
    상기 제2 전송 패킷에는, 상기 제1 전송 패킷에 포함되는 미디어 데이터의 presentation 시각의 값이 삽입되어 있으며,
    상기 제1 전송 패킷 및 상기 제2 전송 패킷의 각각의 페이로드는, 페이로드 헤더와 페이로드 데이터를 포함하고, 상기 페이로드 헤더는, 상기 페이로드 데이터의 데이터 타입을 지시하는 타입 정보를 포함하고,
    상기 전송 스트림으로부터 취출된 상기 미디어 데이터를, 상기 presentation 시각의 값에 기초하여 처리하는 미디어 데이터 처리부를 더 구비하는, 수신 장치.
  14. 제13항에 있어서,
    상기 presentation 시각의 값은 상기 제2 전송 패킷의 페이로드 데이터에 삽입되어 있는, 수신 장치.
  15. 제13항에 있어서,
    상기 제1 전송 패킷에 포함되는 상기 미디어 데이터는 하나 이상의 액세스 유닛으로 구성되고,
    상기 presentation 시각의 값은, 상기 제1 전송 패킷의 최초의 액세스 유닛에 대응한 표시 시각의 값이며, 상기 제2 전송 패킷에는, 각 액세스 유닛에 각각 대응한 디코드 시각으로부터 presentation 시각까지의 절대 오프셋값에 대응한 상대 오프셋값이 삽입되어 있으며,
    상기 상대 오프셋값을 상기 절대 오프셋값으로 변환하는 오프셋값 변환부를 더 구비하는, 수신 장치.
  16. 제13항에 있어서,
    상기 수신 장치는 또한, 상기 송신측 또는 서버로부터 송신된 시스템 시각에 기초하여 시스템 클럭을 세트하고,
    상기 미디어 데이터 처리부는 상기 presentation 시각 및 상기 시스템 클럭에 기초하여 오디오 및/또는 비디오의 동기 재생을 제어하는, 수신 장치.
  17. 제16항에 있어서,
    상기 수신 장치는 또한, 상기 시스템 클럭과 상기 시스템 시각의 차이가 어떤 범위에 들어가도록 상기 시스템 클럭을 보정하는, 수신 장치.
  18. 페이로드에 미디어 데이터를 포함하는 제1 전송 패킷과, 페이로드에 메타데이터를 포함하는 제2 전송 패킷을 갖는 전송 스트림을, 송신측으로부터 소정의 전송로를 통해서 수신하는 전송 스트림 수신 스텝을 갖고,
    상기 제2 전송 패킷에는, 상기 제1 전송 패킷에 포함되는 미디어 데이터의 presentation 시각의 값이 삽입되어 있으며,
    상기 제1 전송 패킷 및 상기 제2 전송 패킷의 각각의 페이로드는, 페이로드 헤더와 페이로드 데이터를 포함하고,
    상기 페이로드 헤더는, 상기 페이로드 데이터의 데이터 타입을 지시하는 타입 정보를 포함하고,
    상기 전송 스트림으로부터 취출된 상기 미디어 데이터를, 상기 presentation 시각의 값에 기초하여 처리하는 미디어 데이터 처리 스텝을 더 갖는, 수신 방법.
  19. 제18항에 있어서,
    상기 송신측 또는 서버로부터 송신된 시스템 시각에 기초하여 시스템 클럭을 세트하는 시스템 클럭 세트 스텝을 더 갖고,
    상기 미디어 데이터 처리 스텝은, 상기 presentation 시각 및 상기 시스템 클럭에 기초하여 오디오 및/또는 비디오의 동기 재생을 제어하는 것을 포함하는, 수신 방법.
  20. 제19항에 있어서,
    상기 시스템 클럭과 상기 시스템 시각의 차이가 어떤 범위에 들어가도록 상기 시스템 클럭을 보정하는 시스템 클럭 보정 스텝을 더 포함하는, 수신 방법.
KR1020197035535A 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR102102349B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2013-052559 2013-03-14
JP2013052559 2013-03-14
JPJP-P-2013-100774 2013-05-10
JP2013100774A JP5641090B2 (ja) 2013-03-14 2013-05-10 送信装置、送信方法、受信装置および受信方法
PCT/JP2014/056574 WO2014142203A1 (ja) 2013-03-14 2014-03-12 送信装置、送信方法、受信装置および受信方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177017510A Division KR102052684B1 (ko) 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207010677A Division KR102145154B1 (ko) 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Publications (2)

Publication Number Publication Date
KR20190136131A true KR20190136131A (ko) 2019-12-09
KR102102349B1 KR102102349B1 (ko) 2020-04-21

Family

ID=51536854

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020177017510A KR102052684B1 (ko) 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR1020157024271A KR101753503B1 (ko) 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR1020207010677A KR102145154B1 (ko) 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR1020197035535A KR102102349B1 (ko) 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020177017510A KR102052684B1 (ko) 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR1020157024271A KR101753503B1 (ko) 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR1020207010677A KR102145154B1 (ko) 2013-03-14 2014-03-12 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (12)

Country Link
US (4) US9876616B2 (ko)
EP (2) EP3745728A1 (ko)
JP (1) JP5641090B2 (ko)
KR (4) KR102052684B1 (ko)
CN (1) CN105009595B (ko)
BR (1) BR112015021917B1 (ko)
CA (1) CA2904115C (ko)
MX (1) MX357400B (ko)
MY (1) MY177181A (ko)
RU (1) RU2642834C2 (ko)
SG (1) SG11201507164RA (ko)
WO (1) WO2014142203A1 (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101484843B1 (ko) 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
KR102148158B1 (ko) 2013-04-23 2020-08-28 삼성전자주식회사 통신 시스템에서 패킷 송수신 방법 및 장치
EP3697100A1 (en) * 2013-06-05 2020-08-19 Sun Patent Trust Data decoding method, data decoding apparatus, and data transmitting method
JP2015015706A (ja) * 2013-07-03 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ データ送信方法、データ再生方法、データ送信装置およびデータ再生装置
US20150032845A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
KR20150047082A (ko) 2013-10-23 2015-05-04 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
EP3703379B1 (en) 2013-12-16 2022-06-22 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmitting device, and receiving device
JP6652320B2 (ja) 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
US10530828B2 (en) * 2014-03-31 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for signaling and operation of low delay consumption of media data in MMT
JP5708866B1 (ja) * 2014-04-10 2015-04-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR102127641B1 (ko) * 2014-06-20 2020-06-30 삼성전자주식회사 응용 계층 순방향 오류 정정 방식을 사용하여 제공되는 방송 서비스의 수신을 제어하는 방법 및 장치
KR102386821B1 (ko) * 2014-06-24 2022-04-15 삼성전자주식회사 방송 시스템에서 시스템 시간 정보를 송수신하는 기법
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
KR20160004858A (ko) * 2014-07-04 2016-01-13 삼성전자주식회사 멀티미디어 통신 시스템에서 패킷 송/수신 장치 및 방법
JP6706784B2 (ja) * 2014-09-12 2020-06-10 パナソニックＩｐマネジメント株式会社 送信装置、受信装置、送信方法及び受信方法
JP6696430B2 (ja) 2014-11-05 2020-05-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
BR112017014634A2 (pt) * 2015-01-13 2018-03-20 Sony Corporation ?dispositivos de transmissão e recepção, e, métodos para transmissão e recepção?
JP6222781B2 (ja) * 2015-03-19 2017-11-01 マクセルホールディングス株式会社 制御方法
JP6222782B2 (ja) * 2015-03-20 2017-11-01 マクセルホールディングス株式会社 録画予約の制御方法
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
CN113038188B (zh) 2015-03-31 2023-06-06 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置以及接收装置
US20160295256A1 (en) * 2015-03-31 2016-10-06 Microsoft Technology Licensing, Llc Digital content streaming from digital tv broadcast
EP3280150A1 (en) * 2015-03-31 2018-02-07 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmission device and reception device
JP6585508B2 (ja) * 2015-04-02 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
JP6591775B2 (ja) * 2015-04-15 2019-10-16 マクセル株式会社 出力制御方法
JP2016201765A (ja) * 2015-04-14 2016-12-01 日立マクセル株式会社 放送受信装置及び映像出力方法
JP2016225906A (ja) 2015-06-02 2016-12-28 ソニー株式会社 送信装置、送信方法、受信装置、及び、受信方法
JP6641731B2 (ja) 2015-06-05 2020-02-05 ソニー株式会社 送信装置及び送信方法、並びに受信装置及び受信方法
JP6382158B2 (ja) * 2015-06-16 2018-08-29 マクセル株式会社 一時蓄積の制御方法
JP6378137B2 (ja) * 2015-06-15 2018-08-22 マクセル株式会社 録画制御方法
JP6684433B2 (ja) * 2015-06-26 2020-04-22 ソニー株式会社 送信装置、送信方法、並びに、プログラム
JP2017017382A (ja) * 2015-06-26 2017-01-19 ソニー株式会社 データ処理装置、データ処理方法、並びに、プログラム
US10547881B2 (en) 2015-07-01 2020-01-28 Sony Corporation Transmission device and transmission method as well as reception device and reception method
CN113259750B (zh) 2015-08-06 2023-02-03 麦克赛尔株式会社 影像显示装置
WO2017038481A1 (ja) * 2015-09-01 2017-03-09 ソニー株式会社 受信装置、データ処理方法、及び、プログラム
US9911433B2 (en) 2015-09-08 2018-03-06 Bose Corporation Wireless audio synchronization
JP6820507B2 (ja) * 2015-09-14 2021-01-27 パナソニックＩｐマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
JP6883214B2 (ja) * 2015-09-15 2021-06-09 ソニーグループ株式会社 受信装置および方法、送信装置および方法
EP3375194A1 (en) * 2015-11-09 2018-09-19 Thomson Licensing Method and device for adapting the video content decoded from elementary streams to the characteristics of a display
US9770401B2 (en) 2015-12-31 2017-09-26 L'oreal Skin tightening compositions
US9999580B2 (en) 2015-12-31 2018-06-19 L'oreal Skin tightening compositions
KR102421791B1 (ko) * 2016-05-26 2022-07-15 삼성전자주식회사 Mmt 네트워크 시스템에서 미디어 시간 정보를 전송 하는 방법 및 장치
US10924784B2 (en) * 2016-08-30 2021-02-16 Sony Corporation Transmitting device, transmitting method, receiving device, and receiving method
CN106851350B (zh) * 2016-12-30 2019-07-30 中广热点云科技有限公司 一种传输流平滑拼接的系统及方法
JP7139311B2 (ja) * 2017-03-14 2022-09-20 ソニーセミコンダクタソリューションズ株式会社 受信装置、及び、データ処理方法
US10726872B1 (en) * 2017-08-30 2020-07-28 Snap Inc. Advanced video editing techniques using sampling patterns
JP6283146B2 (ja) * 2017-09-29 2018-02-21 マクセル株式会社 録画予約の制御方法
JP6283145B2 (ja) * 2017-09-29 2018-02-21 マクセル株式会社 制御方法
CN109936715B (zh) * 2017-12-19 2021-09-03 华为技术有限公司 一种mp4文件的处理方法及其相关设备
JP6317861B1 (ja) * 2018-01-25 2018-04-25 マクセル株式会社 放送番組のコンテンツの送出、受信、および蓄積制御方法
JP6317534B1 (ja) * 2018-01-25 2018-04-25 マクセル株式会社 放送番組の録画予約の制御方法
JP2018164294A (ja) * 2018-06-20 2018-10-18 マクセル株式会社 放送番組の視聴予約および映像デコードの制御方法
JP6412288B1 (ja) * 2018-07-26 2018-10-24 マクセル株式会社 録画制御方法
JP6405492B1 (ja) * 2018-07-26 2018-10-17 マクセル株式会社 録画制御方法
JP6412289B1 (ja) * 2018-08-01 2018-10-24 マクセル株式会社 一時蓄積の制御方法
JP6405493B1 (ja) * 2018-08-01 2018-10-17 マクセル株式会社 一時蓄積の制御方法
US11095927B2 (en) 2019-02-22 2021-08-17 The Nielsen Company (Us), Llc Dynamic watermarking of media based on transport-stream metadata, to facilitate action by downstream entity
JP6879344B2 (ja) * 2019-08-22 2021-06-02 三菱電機株式会社 復号装置
JP2021168521A (ja) * 2020-07-07 2021-10-21 マクセル株式会社 放送受信装置における映像、音声及び字幕の再生同期方法
JP2021168520A (ja) * 2020-07-07 2021-10-21 マクセル株式会社 放送受信装置における映像と音声の再生同期方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040174835A1 (en) * 1996-09-05 2004-09-09 Godwin John P. Device and method for efficient delivery of redundant national television signals
US20070183452A1 (en) * 2006-02-03 2007-08-09 Mark Hryszko Transport stream dejittering
JP2011217161A (ja) 2010-03-31 2011-10-27 Sony Corp 通信装置、コンテンツ配信システム、およびコンテンツ配信方法
KR20130009670A (ko) * 2011-07-13 2013-01-23 연세대학교 원주산학협력단 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
WO2013021656A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 再生装置、再生方法、集積回路、放送システム、及び放送方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747853B2 (en) * 2001-06-06 2010-06-29 Sony Corporation IP delivery of secure digital content
US7787539B2 (en) * 2002-07-17 2010-08-31 Broadcom Corporation Decoding and presentation time stamps for MPEG-4 advanced video coding
JP2004265083A (ja) * 2003-02-28 2004-09-24 Matsushita Electric Ind Co Ltd コンテンツ配信システム
US8982943B2 (en) * 2003-06-30 2015-03-17 Panasonic Intellectual Property Management Co., Ltd. Data processing device and data processing method
KR100513290B1 (ko) * 2003-06-30 2005-09-09 삼성전자주식회사 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법
US7483532B2 (en) * 2003-07-03 2009-01-27 Microsoft Corporation RTP payload format
JP4237129B2 (ja) 2004-10-29 2009-03-11 三菱電機株式会社 ネットワーク対応映像機器及びネットワーク対応映像システム
US7421048B2 (en) * 2005-01-20 2008-09-02 Vixs Systems, Inc. System and method for multimedia delivery in a wireless environment
CN101223723A (zh) * 2005-05-19 2008-07-16 诺基亚公司 用于在dvb-h传输系统中为标记有优先级的数据报提供非均衡差错保护的系统和方法
US7643513B2 (en) * 2005-11-30 2010-01-05 Broadcom Corporation Method and system for audio and video transport
JP2007274019A (ja) * 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd デジタル方式情報配信システムおよびその方法
US20080056295A1 (en) * 2006-09-01 2008-03-06 Dne Technologies, Inc. Internet protocol quality of service apparatus and method
JP4986229B2 (ja) * 2007-06-27 2012-07-25 Ｋｄｄｉ株式会社 同期した異なる種類のストリーミングデータを受信し且つ同時に再生する受信システム、受信装置及びプログラム
WO2009003684A1 (en) * 2007-07-02 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for storing and reading a file having a media data container and a metadata container
CA2697459C (en) * 2007-08-24 2013-09-24 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
US20090119723A1 (en) * 2007-11-05 2009-05-07 John Tinsman Systems and methods to play out advertisements
US9106544B2 (en) * 2008-11-12 2015-08-11 Google Technology Holdings LLC Multi-rate statistical multiplexing
US8542706B2 (en) * 2008-12-08 2013-09-24 Qualcomm Incorporated Method and apparatus related to packet fragmentation and reconstruction
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
US20130209063A1 (en) * 2010-08-17 2013-08-15 Lg Electronics Inc. Digital receiver and content processing method in digital receiver
JP2011061828A (ja) * 2010-10-25 2011-03-24 Sony Corp Ｍｐｅｇ方式のトランスポートストリーム送受信システム
JP2012129827A (ja) 2010-12-15 2012-07-05 Sony Corp 送信装置、送信方法、受信装置および受信方法
KR20120084234A (ko) 2011-01-19 2012-07-27 삼성전자주식회사 Ｍｐｅｇ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ（ｍｍｔ）에서 ｍｍｔ ａｕ를 전송하는 방법
JP6018799B2 (ja) * 2011-05-20 2016-11-02 日本放送協会 放送通信連携システム
KR20120138319A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 데이터 특징 정보를 이용하여 멀티미디어 서비스 데이터 패킷을 송신하는 방법 및 장치
JP2013042117A (ja) * 2011-07-15 2013-02-28 Semiconductor Energy Lab Co Ltd 半導体装置
US9872051B2 (en) * 2012-04-25 2018-01-16 Samsung Electonics Co., Ltd. Method and apparatus for transceiving data for multimedia transmission system
WO2014038522A1 (ja) 2012-09-07 2014-03-13 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR102181994B1 (ko) 2012-11-26 2020-11-24 소니 주식회사 송신 장치, 송신 방법, 수신 장치, 수신 방법 및 수신 표시 방법
EP2934014A4 (en) 2012-12-13 2016-07-13 Sony Corp TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE AND RECEIVER METHOD

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040174835A1 (en) * 1996-09-05 2004-09-09 Godwin John P. Device and method for efficient delivery of redundant national television signals
US20070183452A1 (en) * 2006-02-03 2007-08-09 Mark Hryszko Transport stream dejittering
JP2011217161A (ja) 2010-03-31 2011-10-27 Sony Corp 通信装置、コンテンツ配信システム、およびコンテンツ配信方法
KR20130009670A (ko) * 2011-07-13 2013-01-23 연세대학교 원주산학협력단 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
WO2013021656A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 再生装置、再生方法、集積回路、放送システム、及び放送方法

Also Published As

Publication number Publication date
JP2014200054A (ja) 2014-10-23
JP5641090B2 (ja) 2014-12-17
EP3745728A1 (en) 2020-12-02
WO2014142203A1 (ja) 2014-09-18
EP2975851B1 (en) 2020-09-23
SG11201507164RA (en) 2015-10-29
US20200280407A1 (en) 2020-09-03
CA2904115C (en) 2022-06-21
CA2904115A1 (en) 2014-09-18
KR101753503B1 (ko) 2017-07-03
US11075728B2 (en) 2021-07-27
US20210351883A1 (en) 2021-11-11
US9876616B2 (en) 2018-01-23
CN105009595A (zh) 2015-10-28
US20150373380A1 (en) 2015-12-24
US10862638B2 (en) 2020-12-08
CN105009595B (zh) 2019-09-27
KR20150128691A (ko) 2015-11-18
BR112015021917A2 (pt) 2017-07-18
RU2642834C2 (ru) 2018-01-29
US20160294520A1 (en) 2016-10-06
EP2975851A4 (en) 2016-10-19
MX357400B (es) 2018-07-06
MY177181A (en) 2020-09-09
KR102052684B1 (ko) 2019-12-06
KR102145154B1 (ko) 2020-08-14
MX2015011615A (es) 2015-12-17
KR20170077285A (ko) 2017-07-05
KR102102349B1 (ko) 2020-04-21
BR112015021917B1 (pt) 2023-04-25
KR20200040941A (ko) 2020-04-20
RU2015138151A (ru) 2017-03-14
EP2975851A1 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
KR102052684B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6237547B2 (ja) 送信装置、送信方法、受信装置および受信方法
US9942292B2 (en) Transmission apparatus, transmitting method, reception apparatus, and reception method
JP7279767B2 (ja) 送信方法および送信装置
JP2021036721A (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant