KR20160111016A

KR20160111016A - 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법

Info

Publication number: KR20160111016A
Application number: KR1020157022754A
Authority: KR
Inventors: 야스아키 야마기시
Original assignee: 소니 주식회사
Priority date: 2014-01-17
Filing date: 2014-12-01
Publication date: 2016-09-23
Also published as: MX342827B; US10924524B2; MX2015012247A; EP3096524A1; CN105191324B; JP2015136057A; CN105191324A; EP3096524A4; CA2904959A1; EP3096524B1; KR102247976B1; WO2015107784A1; US20160315987A1

Abstract

GOP를 분할한 데이터 단위로 콘텐츠 배신을 행하고, 수신 장치측에서 GOP 복원과 재생을 실행 가능하게 한 장치, 방법을 제공한다. 송신 장치가, GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하고, 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 패킷을 생성하여 송신한다. 수신 장치는, 수신 패킷에 설정된 GOP 내 위치 식별자를 참조하여 복수의 패킷으로 분할 저장된 미디어 데이터를 배열해서 GOP를 재구축하여 복호한다.

Description

통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법{COMMUNICATION APPARATUS, COMMUNICATION DATA GENERATION METHOD, AND COMMUNICATION DATA PROCESSING METHOD}

본 개시는, 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법에 관한 것이다. 더 상세하게는 예를 들어 방송파나 네트워크를 통한 데이터의 송신 또는 수신을 실행하는 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법에 관한 것이다.

화상 데이터나 음성 데이터 등의 콘텐츠를 각 통신 사업자의 서비스 형태에 관계 없이 배신(配信) 가능하게 한 데이터 배신 방식으로서 OTT(Over The Top)가 알려져 있다. OTT에 의한 배신 콘텐츠는 OTT 콘텐츠라 불리며, 또한 OTT를 이용한 화상(비디오) 데이터의 배신 서비스는 OTT 비디오나 OTT-V(Over The Top Video)라 불린다.

예를 들어 OTT-V에 따른 데이터 스트리밍 배신의 기반 기술로서 DASH(Dynamic Adaptive Streaming over HTTP)가 이용된다. DASH는, HTTP(HyperText Transfer Protocol) 프로토콜을 사용한 어뎁티브(적응형) 스트리밍 기술의 표준 규격이다.

어뎁티브(적응형) 스트리밍에서는, 콘텐츠 배신 서버는 다양한 클라이언트에서 배신 콘텐츠의 재생을 가능하게 하기 위해서, 복수의 비트 레이트의 동화상 콘텐츠의 세분화 파일과 이들의 속성 정보나 URL을 기술(記述)한 매니페스트 파일을 작성해서 유지한다.

클라이언트는, 매니페스트 파일을 서버로부터 취득하여, 자 장치의 표시부의 사이즈나 이용 가능한 통신 대역에 따른 최적의 비트 레이트 콘텐츠를 선택하고, 선택 콘텐츠를 수신하여 재생한다. 네트워크 대역의 변동에 따라서 비트 레이트의 동적인 변경도 가능하며, 클라이언트측에서는, 상황에 따른 최적의 콘텐츠를 수시 전환하여 수신하는 것이 가능하게 되어, 영상 중단의 발생을 저감한 동화상 콘텐츠 재생이 실현된다. 또한, 어뎁티브(적응형) 스트리밍에 대해서는, 예를 들어 특허문헌 1(일본 특허공개 제2011-87103호 공보)에 기재가 있다.

MPEG(Moving Picture Expert Group) 부호화된 동화상이나 음성 데이터를 상기의 DASH에 따라서 스트리밍 배신하기 위한 사양을 정한 규격으로서 MPEG-DASH 규격이 있다.

MPEG-DASH 규격에는, 이하의 2개의 규격이 포함된다.

(a) 동화상이나 음성 파일의 관리 정보인 메타데이터를 기술하기 위한 매니페스트 파일(MPD: Media Presentation Description)에 관한 규격

(b) 동화상 콘텐츠 전송용 파일 포맷(세그먼트 포맷)에 관한 규격

MPEG 데이터를 DASH에 따라서 스트리밍 배신하는 경우에는, 이 MPEG-DASH 규격에 따른 처리가 행해진다.

그러나, 어뎁티브(적응형) 스트리밍 기술의 표준 규격인 DASH는 1대1의 통신 처리인 포인트 투 포인트(Point-to-point)형의 HTTP 스트리밍 기술을 베이스로 하고 있다.

이로 인해, 예를 들어 스포츠 중계 등, 다수의 클라이언트가 동시에 시청할 가능성이 있는 콘텐츠(프로그램)의 스트리밍 배신에 적용하는 경우에는 CDN(Content Delivery Network)의 서포트가 필요해진다.

그러나, CDN을 적용한 포인트 투 포인트의 HTTP 스트리밍을 구축하기 위해서는 비용적인 제약이 있으며, 방송 배신에 필적할 정도의 스케일러빌리티를 실현하는 것은 곤란하다. 전술한 바와 같이 DASH는 HTTP를 베이스로 하는 스트리밍 프로토콜을 이용하고 있으며, 방송 배신과 같이 다수의 클라이언트가 동시에 시청하는 콘텐츠 배신에는 부적합하다는 문제가 있다.

일본 특허공개 제2011-87103호 공보

본 개시는, HTTP를 베이스로 하는 스트리밍 프로토콜을 이용한 콘텐츠 배신에 있어서, 동시에 다수의 클라이언트에 콘텐츠를 제공하고, 각 클라이언트에 있어서 지연이 적은 리얼타임 재생을 실현하는 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법을 제공하는 것을 목적으로 한다.

본 개시의 제1 측면은,

부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하고,

상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 패킷을 생성하는 데이터 처리부와,

상기 데이터 처리부가 생성한 패킷을 송신하는 통신부를 갖는 통신 장치에 있다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 데이터 처리부는, GOP의 구성 데이터인 NAL 유닛을 1개 이상 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 데이터 처리부는, 패킷 저장 세그먼트가, 미디어 데이터를 저장하지 않은 초기화 세그먼트인지, 미디어 데이터를 저장한 미디어 세그먼트인지를 식별 가능하게 한 세그먼트 식별 정보를 패킷 부가 정보로서 기록한 패킷을 생성한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 데이터 처리부는, 상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터가, GOP의 선두 위치, 중간 위치, 말미 위치 중 어느 위치의 구성 데이터인지를 식별 가능하게 한 GOP 내 위치 식별자를 패킷 부가 정보로서 생성한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 데이터 처리부는, 상기 부가 정보를 생성 패킷 내의 HTTP 헤더에 기록한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 데이터 처리부는, 상기 부가 정보를 생성 패킷 내의 확장 헤더에 기록한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 데이터 처리부는, 상기 부가 정보를 생성 패킷 내의 LCT 헤더에 기록한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 통신부는, 상기 데이터 처리부가 생성한 패킷을, 방송파를 통해 브로드캐스트 배신, 또는 멀티캐스트 배신한다.

또한, 본 개시의 제2 측면은,

부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로 하고,

상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 패킷을 수신하는 통신부와,

상기 통신부가 수신한 패킷을 입력하여 처리를 실행하는 데이터 처리부를 갖는 통신 장치에 있다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 데이터 처리부는, 수신 패킷에 기록된 GOP 내 위치 식별자를 참조하여, 복수의 수신 패킷에 분산 저장된 GOP 구성 데이터의 배열을 실행하여 GOP 데이터를 재구축한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 통신부는, GOP의 구성 데이터인 NAL 유닛을 1개 이상 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 저장한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷으로부터 NAL 유닛을 1개 이상 포함하는 미디어 데이터를 취득하고, 수신 패킷에 기록된 GOP 내 위치 식별자를 참조하여, 복수의 수신 패킷에 분산 저장된 NAL 유닛의 배열을 실행하여 GOP 데이터를 재구축한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 통신부는, 패킷 저장 세그먼트가, 미디어 데이터를 저장하지 않은 초기화 세그먼트인지, 미디어 데이터를 저장한 미디어 세그먼트인지를 식별 가능하게 한 세그먼트 식별 정보를 패킷 부가 정보로서 기록한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷에 기록된 부가 정보로부터, 상기 세그먼트 식별 정보를 취득하고, 수신 패킷에 저장된 세그먼트의 종류를 판별하여, 판별 결과에 따른 처리를 실행한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 통신부는, 상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터가, GOP의 선두 위치, 중간 위치, 말미 위치 중 어느 위치의 구성 데이터인지를 식별 가능하게 한 GOP 내 위치 식별자를 패킷 부가 정보로서 설정한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷에 기록된 GOP 내 위치 식별자에 기초하여, 상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터가, GOP의 선두 위치, 중간 위치, 말미 위치 중 어느 위치의 구성 데이터인지를 판별한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 통신부는, 상기 패킷 부가 정보를 HTTP 헤더에 기록한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷의 HTTP 헤더로부터 상기 패킷 부가 정보를 취득한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 통신부는, 상기 패킷 부가 정보를 확장 헤더에 기록한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷의 확장 헤더로부터 상기 패킷 부가 정보를 취득한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 통신부는, 상기 패킷 부가 정보를 LCT 헤더에 기록한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷의 LCT 헤더로부터 상기 패킷 부가 정보를 취득한다.

또한, 본 개시의 통신 장치의 일 실시 형태에 있어서, 상기 통신부는, 상기 패킷을, 방송파를 통해 수신한다.

또한, 본 개시의 제3 측면은,

데이터 송신 장치에서 실행하는 통신 데이터 생성 방법이며,

데이터 처리부가, 부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하고,

상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 송신 패킷을 생성하는 통신 데이터 생성 방법에 있다.

또한, 본 개시의 제4 측면은,

데이터 수신 장치에서 실행하는 통신 데이터 처리 방법이며,

통신부가, 부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로 하고,

상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 패킷을 수신하고,

데이터 처리부가, 상기 통신부가 수신한 패킷을 입력하여 처리를 실행하는 통신 데이터 처리 방법에 있다.

본 개시의 또 다른 목적, 특징이나 이점은, 후술하는 본 개시의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 명백해질 것이다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것으로 한정되지는 않는다.

본 개시의 일 실시예의 구성에 의하면, GOP를 분할한 데이터 단위로 콘텐츠 배신을 행하고, 수신 장치측에서 GOP 복원과 재생을 실행 가능하게 한 장치, 방법이 실현된다.

구체적으로는, 송신 장치가, GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하고, 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 패킷을 생성하여 송신한다. 수신 장치는, 수신 패킷에 설정된 GOP 내 위치 식별자를 참조하여 복수의 패킷에 분할 저장된 미디어 데이터를 배열하여 GOP를 재구축하여 복호한다.

본 구성에 의해, GOP를 분할한 데이터 단위로 콘텐츠 배신을 행하고, 수신 장치측에서 GOP 복원과 재생을 실행 가능하게 한 장치, 방법이 실현된다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시로서, 한정되는 것은 아니며, 또한 부가적인 효과가 있어도 된다.

도 1은, 본 개시의 처리를 실행하는 통신 시스템의 일 구성예에 대하여 설명하는 도면이다.
도 2는, 송신 장치의 송신 데이터에 대하여 설명하는 도면이다.
도 3은, DASH 세그먼트의 구성예에 대하여 설명하는 도면이다.
도 4는, 프래그먼트 생성 시퀀스에 대하여 설명하는 도면이다.
도 5는, 프래그먼트 내의 미디어 데이터(mdat)를 1GOP 단위의 데이터가 아니라, 1GOP를 세분화한 데이터로 설정한 구성예에 대하여 설명하는 도면이다.
도 6은, 서브 GOP 미디어 세그먼트에 HTTP 헤더를 설정한 HTTP 패킷의 구성예에 대하여 설명하는 도면이다.
도 7은, 미디어 세그먼트 HTTP 패킷의 HTTP 헤더의 기록 정보에 대하여 설명하는 도면이다.
도 8은, 미디어 세그먼트 HTTP 패킷의 HTTP 헤더의 기록 정보에 대하여 설명하는 도면이다.
도 9는, 초기화 세그먼트 HTTP 패킷의 HTTP 헤더의 기록 정보에 대하여 설명하는 도면이다.
도 10은, IP 패킷의 구성예에 대하여 설명하는 도면이다.
도 11은, 송신 장치와 수신 장치의 프로토콜 스택에 대하여 설명하는 도면이다.
도 12는, 수신 장치의 프로토콜 스택에 대하여 설명하는 도면이다.
도 13은, 송신 장치가 실행하는 처리 시퀀스에 대하여 설명하는 흐름도를 나타내는 도면이다.
도 14는, 수신 장치가 실행하는 처리 시퀀스에 대하여 설명하는 흐름도를 나타내는 도면이다.
도 15는, 확장 헤더에 부가 정보를 기록한 실시예에 대하여 설명하는 도면이다.
도 16은, FLUTE 프로토콜에 따라서 설정되는 LCT 헤더의 구성예에 대하여 설명하는 도면이다.
도 17은, LCT 헤더의 헤더 확장부에 대한 데이터 기록 구성에 대하여 설명하는 도면이다.
도 18은, LCT 헤더의 헤더 확장부에 기록하는 데이터에 대하여 설명하는 도면이다.
도 19는, HEVC 부호화 데이터의 구성에 대하여 설명하는 도면이다.
도 20은, 통신 장치의 하드웨어 구성예에 대하여 설명하는 도면이다.

이하, 도면을 참조하면서 본 개시의 통신 장치, 통신 데이터 생성 방법, 및 통신 데이터 처리 방법의 상세에 대하여 설명한다. 또한, 설명은 이하의 항목에 따라 행한다.

1. 통신 시스템의 구성예에 대하여

2. 일제 동시 배신형 콘텐츠 배신에서의 문제점에 대하여

3. 송신 데이터의 세분화 처리 구성에 대하여

4. HTTP 헤더에 부가 정보를 기록한 실시예에 대하여

5. 패킷의 구성에 대하여

6. 송신 장치와 수신 장치의 구성과 처리에 대하여

7. 송신 장치와 수신 장치의 처리 시퀀스에 대하여

8. 확장 헤더에 부가 정보를 기록한 실시예에 대하여

9. LCT 헤더에 부가 정보를 기록한 실시예에 대하여

10. HEVC 부호화 데이터에 대한 적용예에 대하여

11. 각 장치의 하드웨어 구성예에 대하여

12. 본 개시의 구성의 정리

[1. 통신 시스템의 구성예에 대하여]

우선, 도 1을 참조하여 본 개시의 처리를 실행하는 통신 시스템의 일 구성예에 대하여 설명한다.

도 1에 도시한 바와 같이, 통신 시스템(10)은, 화상 데이터나 음성 데이터 등의 콘텐츠를 송신하는 통신 장치인 송신 장치(20)와, 송신 장치(20)의 송신 콘텐츠를 수신하는 통신 장치인 수신 장치(30)를 갖는다.

송신 장치(20)는, 구체적으로는, 예를 들어 방송국(21)이나 콘텐츠 서버(22) 등, 콘텐츠를 제공하는 측의 장치이다.

한편, 수신 장치(30)는, 일반 유저의 클라이언트 장치이며, 구체적으로는, 예를 들어 텔레비전(31), PC(32), 휴대 단말기(33) 등으로 구성된다.

송신 장치(20)와 수신 장치(30) 사이의 데이터 통신은, 인터넷 등의 네트워크를 통한 쌍방향 통신, 혹은, 방송파 등에 의한 일방향 통신 중 적어도 어느 하나, 혹은 양자를 이용한 통신으로서 행해진다.

송신 장치(20)로부터 수신 장치(30)에 대한 콘텐츠 송신은, 어뎁티브(적응형) 스트리밍 기술의 규격인 MPEG-DASH 규격에 따라서 실행한다.

앞에서 설명한 바와 같이, MPEG-DASH 규격에는, 이하의 2개의 규격이 포함된다.

송신 장치(20)로부터, 수신 장치(30)에 대한 콘텐츠 배신은, 상기의 MPEG-DASH 규격에 따라서 실행한다.

송신 장치(20)는, 콘텐츠 데이터를 부호화하고, 부호화 데이터 및 부호화 데이터의 메타데이터를 포함하는 데이터 파일을 생성한다. 부호화 처리는, 예를 들어 MPEG에서 규정되는 MP4 파일 포맷에 따라서 행해진다. 또한, 송신 장치(20)가 MP4 형식의 데이터 파일을 생성하는 경우의 부호화 데이터의 파일은 「mdat」, 메타데이터는 「moov」나 「moof」 등이라 불린다.

이들 부호화 데이터의 상세에 대해서는 후단에서 설명한다.

송신 장치(20)가 수신 장치(30)에 제공하는 콘텐츠는, 예를 들어 음악 데이터나, 영화, 텔레비전 프로그램, 비디오, 사진, 문서, 회화 및 도표 등의 영상 데이터나, 게임 및 소프트웨어 등, 다양한 데이터이다.

송신 장치(20)의 송신 데이터에 대하여 도 2를 참조하여 설명한다.

MPEG-DASH 규격에 따라서 데이터 송신을 실행하는 송신 장치(20)는, 도 2에 도시한 바와 같이, 초기화 세그먼트(Initialization Segment)(50)와, 미디어 세그먼트(Media Segment)(60)를, 각각 패킷에 저장하여 수신 장치(30)에 송신한다. 이들 각 세그먼트는 DASH 세그먼트라 불린다.

미디어 세그먼트(60) 각각은 MPEG 부호화된 콘텐츠 데이터를 분할하여 저장한 세그먼트이다.

초기화 세그먼트(50)는 미디어 세그먼트(60)의 저장 콘텐츠를 수신 장치(30)측에서 재생하는 경우에 필요해지는 초기 설정 정보, 예를 들어 코덱의 설정 정보 등을 저장한 세그먼트이다.

또한, 송신 장치(20)는, 예를 들어 1개의 영화나 프로그램 등의 콘텐츠를, 다수의 미디어 세그먼트(60)로 분할 저장하여 순차 송신한다.

송신 장치(20)는, 도 2에 도시한 초기화 세그먼트(50), 미디어 세그먼트(60)를 HTTP 패킷에 저장하고, 또한 HTTP 패킷을 저장한 IP 패킷을 생성하여 송신한다. 송신 패킷의 구성 상세에 대해서는 후단에서 설명한다.

도 2에 도시한 수신 장치(30)는, 우선, 1개의 초기화 세그먼트(50)를 수신하고, 초기화 세그먼트에 저장된 설정 정보에 따라서 코덱 등의 설정 처리 등을 실행한다. 계속해서, 미디어 세그먼트(60)를 순차 수신하고, 재생순에 따라서 디코드를 행하여 재생 처리를 행한다.

[2. 일제 동시 배신형 콘텐츠 배신에서의 문제점에 대하여]

전술한 바와 같이, 어뎁티브(적응형) 스트리밍 기술의 표준 규격인 DASH는 포인트 투 포인트의 HTTP 스트리밍을 베이스로 하고 있으며, 다수의 클라이언트가 동시에 시청하는 일제 동시 배신형 콘텐츠의 배신에는 적합하지 않다는 문제가 있다.

그러나, 멀티캐스트나 브로드캐스트(MC/BC)를 병용함으로써, 콘텐츠를 동시에 다수의 클라이언트(수신 장치)에 지연 없이 제공하는 것이 가능하다고 생각된다.

멀티캐스트나 브로드캐스트(MC/BC)형 스트리밍에 적용 가능한 트랜스포트 프로토콜에는, 예를 들어 RTP(Real-time Transport Protocol)나 FLUTE(File Delivery over Uni-directional Transport)가 있다.

도 3을 참조하여, FLUTE 프로토콜을 이용하여 HTTP 스트리밍 베이스의 DASH 규격에 따라서 콘텐츠 스트림 배신을 행하는 경우에 이용 가능한 DASH 세그먼트의 구성예에 대하여 설명한다.

앞에서 도 2를 참조하여 설명한 바와 같이, DASH 세그먼트는,

(a) 초기화 세그먼트(Initialization Segment)

(b) 미디어 세그먼트(Media Segment)

이들 2종류로 나뉜다.

(a) 초기화 세그먼트(Initialization Segment)는, 수신 장치(30)에서의 디코더의 설정 등, 콘텐츠 재생을 실행하기 위해 필요해지는 설정 정보 등의 초기화 데이터를 저장한 세그먼트이다.

(b) 미디어 세그먼트(Media Segment)는, 재생 대상인 부호화 콘텐츠를 저장한 세그먼트이다.

도 3에 도시한 바와 같이 (a) 초기화 세그먼트는, 이하의 각 정보를 포함한다.

(a1) 세그먼트의 파일 타입 정보 등으로 이루어지는 헤더 정보(dash)

(a2) 미디어 세그먼트에 의해 송신하는 부호화 콘텐츠인 미디어 데이터(mdat)의 코덱(부호화 형태) 정보 등의 초기화 정보를 포함하는 메타데이터(moov)

한편, (b) 미디어 세그먼트는, 도 3에 도시한 바와 같이 이하의 각 정보를 포함한다.

(b1) 세그먼트의 파일 타입 정보 등으로 이루어지는 헤더 정보(msdh)

(b2) 미디어 세그먼트에 저장된 복수의 서브 세그먼트(Sub-Segment)의 경계 정보나, 미디어 세그먼트에 저장된 부호화 콘텐츠인 미디어 데이터(mdat)의 랜덤 액세스 포인트 등을 나타내는 액세스 정보(sidx)

(b3) 복수의 서브 세그먼트(Sub-Segment)(70)

또한, 복수의 서브 세그먼트(Sub-Segment)(70)는 1개 또는 복수의 프래그먼트(Fragment)(80)로 구성된다.

프래그먼트(Fragment)(80)는, 이하의 각 데이터를 포함한다.

재생 대상인 부호화 콘텐츠인 미디어 데이터(mdat)

미디어 데이터(mdat)에 대응하는 메타데이터(moof)

또한, (b) 미디어 세그먼트의 액세스 정보(sidx)에 기록되는 랜덤 액세스 포인트는, DASH에서는 SAP(Stream Access Point)라 불린다.

SAP는, 예를 들어 스트림을 복호하기 위해 필요한 모든 상태를 리셋할 수 있는 화상 시퀀스의 선두 픽처의 선두 바이트 위치를 나타낸다. 구체적으로는, 예를 들어 MPEG 데이터의 I 픽처의 위치 등을 나타내는 정보이다.

프래그먼트(Fragment)(80)에 저장하는 미디어 데이터(mdat)에 대응하는 메타데이터(moof)에는, 예를 들어 프래그먼트 저장 미디어 데이터(mdat)의 재생 시간 정보로서의 프리젠테이션 타임 등이 기록된다.

1개의 프래그먼트(80)에 저장하는 미디어 데이터(mdat)는, 현행에서는 통상 DASH의 제어 대상인 콘텐츠 스트림의 처리 단위(청크)로 설정된다. 처리 단위(청크)란, 예를 들어 MPEG(Moving Picture Expert Group) 부호화의 처리 단위인 GOP(Group of Pictures)이다.

또한, GOP는 재생 시간이 약 0.5 내지 2초 정도의 데이터로 설정하여 운용하고 있는 경우가 많다.

그러나, 1개의 프래그먼트(80)에 저장하는 미디어 데이터(mdat)를 1개의 GOP 단위의 데이터로 하면, 데이터 배신이나 재생 처리에서의 지연이 발생하여, 리얼타임 재생에 지장이 발생할 가능성이 있다.

예를 들어, 라이브 중계 화상을 배신하는 경우, 송신 장치(20)는, 카메라로부터 입력하는 라이브 화상 데이터의 부호화 처리를 실행하여 미디어 세그먼트(60)를 순차 생성한다. 미디어 세그먼트(60)의 각 프래그먼트(80)에 저장하는 미디어 데이터(mdat)가 GOP 단위의 부호화 데이터인 경우, 송신 장치(30)는, GOP 단위의 부호화 데이터인 미디어 데이터(mdat)를 생성하고, 그 후, 생성한 미디어 데이터(mdat)의 프리젠테이션 타임 등의 속성 정보를 기술한 메타데이터(moof)를 생성하게 된다.

따라서, 이 시퀀스에서 각 데이터의 생성을 행하면, 각 GOP 단위의 부호화 데이터의 데이터 범위가 결정된 후가 아니면, 그 GOP의 메타데이터(moof)를 생성할 수 없다.

따라서, 메타데이터(moof)의 생성은, 미디어 데이터(mdat)의 데이터 범위가 결정 후에 행하게 되어, 각 메타데이터(moof)의 생성 처리는, 1개의 GOP 단위의 시간(0.5 내지 2초)에 상당하는 시간을 기다려 행하지 않을 수 없게 된다.

미디어 세그먼트(60)를 구성하는 프래그먼트(80)에 저장하는 미디어 데이터(mdat)를 GOP 단위의 부호화 데이터로 한 경우의 프래그먼트 생성 시퀀스에 대하여 도 4를 참조하여 설명한다.

또한, 도 4에 도시한 예는, 미디어 세그먼트(60)에 저장하는 미디어 데이터(mdat)를 MPEG에서 규정되는 MP4 파일 포맷(부호화 형식)에 따라서 저장하는 경우의 시퀀스예이다.

MP4 파일 포맷의 데이터부는, 기본 저장 단위로서의 샘플(sample)로 구분된다. 또한 각 샘플(sample)은, 1 이상의 NAL 유닛에 의해 구성된다. NAL 유닛은, MPEG 부호화 데이터의 예를 들어 슬라이스 단위의 세분화 데이터이다.

도 4의 (a)에 도시한 바와 같이 복수의 1개의 GOP에 대응하는 부호화 데이터는 복수의 NAL 유닛에 의해 구성된다.

도 4에는,

상단에 (a) GOP를 구성하는 NAL 유닛

하단에 (b) 프래그먼트 생성 처리 시퀀스

이들을 나타내고 있다.

(b) 프래그먼트 생성 처리 시퀀스의 최하단에는 시간축을 나타내고 있다. 좌로부터 우로 시간이 경과하고, 송신 장치(20)는, 이 시간축에 따라서, 각 처리를 실행하여 프래그먼트를 생성한다.

또한, 송신 장치는, 생성한 프래그먼트를 저장한 미디어 세그먼트를 생성하고, 그 후, 미디어 세그먼트를 저장한 HTTP 패킷을 생성하고, 또한 HTTP 패킷을 저장한 IP 패킷을 생성한 후, IP 패킷의 송신을 행한다.

도 4의 (b)에 도시한 프래그먼트 생성 처리 시퀀스에 대하여 설명한다.

송신 장치(20)는, 이하의 시퀀스에서 MP4 파일 포맷에 따른 부호화 데이터를 저장한 프래그먼트를 생성한다.

시간 t0∼t1: GOP를 구성하는 복수의 NAL 유닛을 저장한 샘플 1(sample1)을 생성

시간 t2∼t3: GOP를 구성하는 복수의 NAL 유닛을 저장한 샘플 2(sample2)를 생성

시간 t4∼t5: GOP를 구성하는 복수의 NAL 유닛을 저장한 샘플 3(sample3)을 생성

여기까지에 의해, 1GOP를 구성하는 모든 NAL 유닛을 저장한 샘플의 생성이 완료된다.

이들 샘플 1∼3(sample1∼3)이 미디어 세그먼트의 프래그먼트 내의 미디어 데이터(mdat)로서 설정되게 된다.

시간 t6∼t7: 샘플 1∼3(sample1∼3)에 저장한 GOP 부호화 데이터의 속성 정보인 메타데이터(moof)를 생성한다.

시간 t8∼t9: 샘플 1∼3(sample1∼3)에 의해 구성되는 미디어 데이터(mdat)와, 샘플 1∼3(sample1∼3)의 메타데이터(moof)를 조합한 프래그먼트를 생성한다.

송신 장치(20)는, 그 후, 전술한 처리에 따라서 생성한 프래그먼트를 포함하는 미디어 세그먼트를 생성하고, 미디어 세그먼트를 페이로드로서 포함하는 패킷을 생성하여 수신 장치(30)에 송신하게 된다.

송신 장치(20)는, 프래그먼트를 생성하는 경우, 프래그먼트에 저장하는 GOP 단위의 미디어 데이터(mdat)의 재생 시간 등을 확인하고, 그 재생 시간에 따른 프레젠테이션 타임 등, GOP 데이터 단위의 속성 정보를 생성하여, 메타데이터(moof)에 기록할 필요가 있다.

현재, 데이터 배신되는 화상 데이터는 주로 하이비전에 대응하는 화상 데이터이지만, 이후, 고화질화가 더 진행되고, 예를 들어 4K 화상 등, 데이터량이 많은 데이터 배신이 증가할 것으로 예상된다. 이러한 대용량의 데이터 배신에 대응하기 위해서 스트림의 비트 레이트가 커질 가능성이 있다.

고화질화에 의한 데이터량의 증대에 따라서 각 GOP 단위의 데이터량도 증대한다. 따라서, 도 4를 참조하여 설명한 바와 같이 1개의 GOP 단위의 프래그먼트를 순차, 생성하여 송신하는 구성으로 하면, 송신측에서의 처리 간격이 길어진다. 또한, 송신 데이터의 단위당 데이터량도 커진다. 따라서, 충분한 통신 대역을 확보 할 수 없는 경우, 네트워크 송신에서의 송신 지연의 발생 가능성이 증가한다.

또한, 수신 장치측에서의 패킷 수신 간격이 길어지게 되어, 1 패킷당 데이터 수신량이 증가하고, 수신 장치측에 요구되는 데이터 버퍼량도 증가한다. 또한, 패킷의 수신 에러가 발생한 경우의 재송 처리를 행하면, 지연량이 급격하게 커지게 되어, 리얼타임 재생이 파탄될 가능성이 높아진다.

[3. 송신 데이터의 세분화 처리 구성에 대하여]

상기의 문제를 해결하기 위해, 송신 장치(20)로부터 수신 장치(30)에 대한 송신 데이터를 세분화하고, 1개의 송신 패킷, 즉 1단위당 송신 데이터량을 삭감한 구성예에 대하여, 이하 설명한다.

도 4를 참조한 프래그먼트 생성 시퀀스에서는, 프래그먼트로 설정하는 미디어 데이터(mdat)를 1GOP 단위의 데이터로 하고, 이 1GOP 단위의 미디어 데이터(mdat)에 대응하는 메타데이터(moof)를 생성하는 구성으로 하고 있었다. 즉, 각 메타데이터(moof)를 1GOP 단위의 미디어 데이터(mdat)에 대응한 메타데이터로 하고 있었다.

도 4에 도시한 시퀀스에서는, 메타데이터(moof)의 생성 타이밍은, 1개의 GOP의 데이터량에 따라서 결정되어버린다. 따라서 1GOP에 포함되는 데이터량이 많아지면, 메타데이터(moof)의 생성 타이밍도 지연되고, 그 결과, 프래그먼트의 생성 처리, 미디어 세그먼트의 생성 처리, 송신 패킷의 생성 처리에도 지연이 발생한다. 또한, 이 결과 1 패킷당 데이터량이 증가하여, 배신 지연의 가능성을 높이게 된다.

이와 같은 사태를 방지하는 구성으로서, 프래그먼트 내의 미디어 데이터(mdat)를 1GOP 단위의 데이터가 아니라, 1GOP를 세분화한 데이터로 설정한 구성예에 대하여, 도 5를 참조하여 설명한다.

도 5에는, 프래그먼트에 저장하는 미디어 데이터(mdat)를 1개의 GOP 데이터가 아니라, 1개의 GOP 데이터를 세분화한 데이터, 구체적으로는 1개의 GOP의 구성 데이터인 1개의 NAL 유닛 또는 복수의 NAL 유닛으로 한 예를 나타내고 있다.

도 5의 (a)는, 도 4의 (a)와 마찬가지로, GOP를 구성하는 NAL 유닛을 나타내고 있다.

도 5의 (b1) 내지 (b3)은, 이 1개의 GOP의 구성 데이터인 NAL 유닛을 미디어 데이터(mdat)로서 분산시켜서 저장한 복수의 미디어 세그먼트이다.

도 5의 (b1) 내지 (b3)에 도시한 바와 같이 GOP 데이터를 세분화 데이터인 1 이상의 NAL 유닛으로 구성되는 미디어 데이터(mdat)를 저장한 미디어 세그먼트를, 이하, 서브 GOP 미디어 세그먼트라 칭한다.

도 5에는, 1개의 GOP 데이터를 3개의 서브 GOP 미디어 세그먼트에 저장한 예를 나타내고 있지만, 1개의 GOP 데이터를 저장하기 위한 서브 GOP 미디어 세그먼트의 수는, 2 이상의 임의 수로 설정 가능하다.

또한, 도 5의 (b1) 내지 (b3)의 서브 GOP 미디어 세그먼트는, 모두 미디어 데이터(mdat)를 복수의 NAL 유닛으로 설정한 예로 하고 있지만, 미디어 데이터(mdat)를 1개의 NAL 유닛만의 설정으로 하여도 된다.

송신 장치(20)는, 도 5의 (b1) 내지 (b3)에 도시한 서브 GOP 미디어 세그먼트를 생성하고, 생성한 서브 GOP 미디어 세그먼트의 각각을, 각각 개별의 HTTP 패킷의 페이로드로 설정하여 네트워크나 방송파를 통해 송신한다.

도 5의 (b1) 내지 (b3)의 서브 GOP 미디어 세그먼트에 저장하는 메타데이터(moof)는, 개개의 서브 GOP 미디어 세그먼트에 저장하는 미디어 데이터(mdat)에 대응한 속성 정보로 이루어지는 메타데이터로 한다.

이와 같은 설정으로 함으로써, 네트워크나 방송파를 통해 송신되는 1개의 패킷의 데이터량이 작아지게 되어, 송신 장치측의 1개의 패킷 생성 처리에 필요로 하는 시간이 단축된다. 또한 패킷 지연의 가능성도 저감되어, 패킷 손실일 때 등의 재송 처리 지연도 작아지게 된다. 결과로서, 수신 장치(30)에서의 에러가 없는 리얼타임 재생이 실현된다.

서브 GOP 미디어 세그먼트에 HTTP 헤더를 설정한 HTTP 패킷의 구성예에 대하여, 도 6을 참조하여 설명한다.

도 6에는 2개의 HTTP 패킷 구성예를 나타내고 있다.

도 6의 (a)와 (b)에 도시한 패킷의 차이는, 랜덤 액세스 정보 등을 저장하는 [sidx]를 갖는지 여부에 따른다.

sidx는, 앞에서 도 3을 참조하여 설명한 바와 같이, 미디어 세그먼트에 저장된 복수의 서브 세그먼트(Sub-Segment)의 경계 정보나, 미디어 세그먼트에 저장된 부호화 콘텐츠인 미디어 데이터(mdat)의 랜덤 액세스 포인트 등을 나타내는 액세스 정보이다. DASH에서는 액세스 정보는 SAP(Stream Access Point)라 불린다. SAP는, 예를 들어 스트림을 복호하기 위해 필요한 모든 상태를 리셋할 수 있는 화상 시퀀스의 선두 픽처의 선두 바이트 위치를 나타낸다. 구체적으로는, 예를 들어 MPEG 데이터의 I 픽처 위치에 상당한다.

도 6의 (b)에 도시한 HTTP 패킷은, sidx를 포함하지 않는 패킷이다. 도 6의 (b)에 도시한 HTTP 패킷은, 이 패킷에 저장된 미디어 데이터(mdat)에 액세스 포인트로 되는 픽처 데이터를 포함하지 않는다.

패킷 저장 미디어 데이터(mdat)에 액세스 포인트로 되는 데이터를 포함하지 않는 경우, 액세스 포인트를 나타내는 데이터도 불필요하게 된다. 따라서 도 6의 (b)에 도시한 HTTP 패킷에는 sidx가 설정되지 않는다.

한편, 액세스 포인트로 되는 데이터를 포함하는 미디어 데이터(mdat)를 저장한 서브 GOP 미디어 세그먼트를 갖는 패킷에는, 도 6의 (a)에 도시한 바와 같이 sidx가 설정된다.

도 5 내지 도 6을 참조하여 설명한 바와 같이, 본 실시예에서는, 1개의 GOP 구성 데이터를 복수의 패킷으로 분할하여 송신한다.

수신 장치(30)는, 이 복수의 패킷을 순차 수신하고, 각 패킷으로 분할하여 저장된 GOP 구성 데이터를 취득한다. GOP 단위의 복호 처리를 행하는 경우에는, 복수의 패킷에 저장된 GOP 구성 데이터를 모두 모아서, GOP의 구성 데이터(NAL 유닛)를 올바른 순서로 배열하여 GOP 데이터를 재구성하는 것이 필요해진다.

이하, GOP 재구성 처리에 적용하는 정보 등, 수신 장치측에서의 처리를 원활하게 실행시키기 위한 부가 정보의 설정예에 대하여 설명한다.

[4. HTTP 헤더에 부가 정보를 기록한 실시예에 대하여]

우선, GOP 재구성 처리에 적용하는 정보 등, 수신 장치측에서의 처리를 원활하게 실행시키기 위한 부가 정보를 HTTP 패킷의 HTTP 헤더에 기록한 실시예에 대하여 설명한다.

도 7, 도 8을 참조하여 HTTP 헤더의 기록 정보에 대하여 설명한다.

도 7에는, 앞에서 도 5를 참조하여 설명한 것과 마찬가지로, 1개의 GOP 데이터를 3개의 서브 GOP 미디어 세그먼트로 분할 저장한 HTTP 패킷의 구성예를 나타내고 있다.

이들 3개의 HTTP 패킷의 HTTP 헤더에, 도 7에 도시한 바와 같이,

(1) 세그먼트 식별자(Content-Location)

(2) GOP 내 위치 식별 정보(X-(Start/Middle/End)ofGOP)

이들 2개의 식별 정보를 기록한다.

(1) 세그먼트 식별자는, 그 HTTP 패킷에 저장된 세그먼트의 콘텐츠 위치 정보와, 세그먼트의 종류와 패킷에 저장된 미디어 데이터(mdat)가 속하는 GOP의 식별 정보를 포함하는 데이터이다. 또한, 구체적으로는 GOP 데이터의 위치 정보(URL 등의 액세스 정보)를 기록하면 된다.

패킷을 수신하는 수신 장치(30)는, 동일한 세그먼트 식별자(Content-Location)가 기록된 HTTP 패킷은 동일한 GOP에 속하는 미디어 데이터(mdat)를 저장한 HTTP 패킷이라고 판정할 수 있다.

(2) GOP 내 위치 식별 정보는, HTTP 패킷에 저장된 미디어 데이터(mdat)가 1개의 GOP의 어느 위치에 있는지를 나타내는 데이터이다.

GOP 내 위치 식별 정보=X-StartofGOP인 패킷은, GOP 데이터의 선두 영역의 NAL 유닛을 미디어 데이터(mdat)로서 저장한 패킷이다.

GOP 내 위치 식별 정보=X-MiddleofGOP인 패킷은, GOP 데이터의 중간 영역 NAL 유닛을 미디어 데이터(mdat)로서 저장한 패킷이다.

GOP 내 위치 식별 정보=X-EndofGOP인 패킷은, GOP 데이터의 말미 영역의 NAL 유닛을 미디어 데이터(mdat)로서 저장한 패킷이다.

또한, 1개의 GOP 데이터가, 4개 이상의 서브 GOP 미디어 세그먼트로 분할된 경우, GOP 내 위치 식별 정보=X-MiddleofGOP를 설정한 복수의 패킷이 생성되게 된다. 이들 패킷에 저장되는 미디어 데이터(mdat)의 GOP 데이터 내 배열은, HTTP 헤더 이외의 패킷 헤더 정보에 의해 판별할 수 있다.

예를 들어 HTTP 패킷을 저장하는 LCT 패킷의 LCT 헤더에 기록되는 패킷 시퀀스 번호를 참조함으로써 판별 가능하다. 또한, 구체적인 송신 패킷의 구성, 및 LCT 헤더 구성에 대해서는, 후술한다.

따라서, 예를 들어 HTTP 패킷을 LCT 패킷에 저장하여 송신하는 구성에서는, HTTP 헤더에 설정하는 GOP 내 위치 식별 정보는, GOP 위치가 선두 영역의 데이터를 저장한 패킷만을 식별하는 설정으로 하여도 된다. 즉, GOP 내 위치 식별 정보=X-StartofGOP만을 기록하고, 이 다음에 이어지는 GOP 데이터는, LCT 헤더의 시퀀스 번호를 참조하여 배열하는 구성으로 하여도 된다.

도 8에, 미디어 세그먼트를 저장한 HTTP 패킷의 HTTP 헤더의 데이터 구성예를 나타낸다.

도 8에 도시한 바와 같이 HTTP 헤더에는, 예를 들어 이하의 HTTP 헤더 정보가 기록된다.

「…

HTTP/1.1 206 Partial Content

Date: Fri, 04 Oct 2013 11:14:20 GMT

Content-type: application/mp4

Content-Location: http://a.com/x.mp4

X-StartOfGOP

…」

상기의 HTTP 헤더 정보 중,

세그먼트 식별자는,

「Content-Location:http://a.com/x.mp4」

이다.

이 세그먼트 식별자는, HTTP 패킷에 저장된 미디어 데이터(mdat)가 속하는 GOP의 식별 정보를 포함하게 된다. 구체적으로는 그 GOP 데이터의 위치 정보(액세스 정보)이다.

동일한 세그먼트 식별자(Content-Location)가 기록된 HTTP 패킷은 동일한 GOP에 속하는 미디어 데이터(mdat)를 저장한 HTTP 패킷이라고 판정할 수 있다.

또한, 상기 HTTP 헤더 정보 중,

GOP 내 위치 식별 정보는,

「X-StartOfGOP」

이다. 이 GOP 내 위치 식별 정보는, HTTP 패킷에 저장된 미디어 데이터(mdat)가 1개의 GOP의 어느 위치에 있는지를 나타내는 데이터이다.

HTTP 패킷에 저장된 미디어 데이터(mdat)가 1개의 GOP의,

선두 영역인 경우에는, 「X-StartOfGOP」,

중간 영역인 경우에는, 「X-MiddleOfGOP」,

말미 영역인 경우에는, 「X-EndOfGOP」,

HTTP 헤더에는 이들 중 어느 하나의 데이터가 GOP 내 위치 식별 정보로서 기록된다.

다음으로, 초기화 세그먼트를 저장하는 HTTP 패킷의 HTTP 헤더의 기록 정보에 대하여 도 9를 참조하여 설명한다.

초기화 세그먼트를 저장하는 HTTP 패킷의 HTTP 헤더에는, HTTP 패킷이 초기화 세그먼트를 저장한 패킷임을 나타내는 세그먼트 식별 정보를 기록한다.

도 9에, 초기화 세그먼트를 저장한 HTTP 패킷의 HTTP 헤더의 데이터 구성예를 나타낸다.

도 9에 도시한 바와 같이 HTTP 헤더에는, 예를 들어 이하의 HTTP 헤더 정보가 기록된다.

「…

HTTP/1.1 206 Partial Content

Date: Fri, 04 Oct 2013 11:14:20 GMT

Content-type: application/mp4

Content-Location: http://a.com/x-init.mp4」

X-InitializationSegment

…」

상기의 HTTP 헤더 정보 중,

세그먼트 식별자는,

「Content-Location: http://a.com/x-init.mp4」

이다.

이 세그먼트 식별자는, 초기화 세그먼트의 URL 등의 액세스 정보를 기록하면 된다.

상기 HTTP 헤더 정보 중,

세그먼트 식별 정보는,

「X-InitializationSegment」

이다.

이 세그먼트 식별 정보는, HTTP 패킷에 저장된 세그먼트가, 초기화 세그먼트임을 나타내는 정보이다.

초기화 세그먼트를 저장한 HTTP 헤더에는 이 세그먼트 식별 정보가 기록된다.

[5. 패킷의 구성에 대하여]

다음으로, 송신 장치로부터 수신 장치를 향해 송신되는 패킷의 구성예에 대하여 설명한다.

도 10에는 이하의 2개의 IP 패킷의 구성예를 나타내고 있다.

(1) 초기화 세그먼트 저장 IP 패킷

(2) 미디어 세그먼트 저장 IP 패킷

(1) 초기화 세그먼트 저장 IP 패킷은, 이하의 구성을 갖는다.

IP 헤더

UDP 헤더

LCT 헤더

HTTP 헤더

초기화 세그먼트 구성 데이터[dash]

초기화 세그먼트 구성 데이터[moov]

IP 헤더, UDP 헤더, LCT 헤더, HTTP 헤더는, 각각 IP 프로토콜, UDP 프로토콜, FLUTE 프로토콜, HTTP 프로토콜의 각 통신 프로토콜에 따라서 설정되는 헤더 정보이다.

한편, (2) 미디어 세그먼트 저장 IP 패킷은, 이하의 구성을 갖는다.

IP 헤더

UDP 헤더

LCT 헤더

HTTP 헤더

미디어 세그먼트 구성 데이터[msdh]

미디어 세그먼트 구성 데이터[sidx]

미디어 세그먼트 구성 데이터[moof]

미디어 세그먼트 구성 데이터[mdat]

또한, 전술한 바와 같이 미디어 세그먼트 구성 데이터[sidx]는, 랜덤 액세스에 적용 가능한 미디어 데이터(mdat)를 갖는 패킷에는 설정되지만, 그 이외의 패킷에는 설정이 불필요하다.

송신 장치(20)는, 도 10에 도시한 IP 패킷을 생성하여 수신 장치(30)를 향해서 송신한다.

수신 장치(30)는, 수신 장치(20)로부터 수신하는 도 10에 도시한 각 패킷을 수신하고, 각 헤더 정보를 해석하여, 세그먼트를 추출하고, 세그먼트 저장 데이터에 따라서, 초기 설정이나 콘텐츠 재생을 실행한다.

[6. 송신 장치와 수신 장치의 구성과 처리에 대하여]

다음으로, 도 11 이하를 참조하여 송신 장치와 수신 장치의 구성과 처리에 대하여 설명한다.

우선, 도 11을 참조하여, 송신 장치(20)와 수신 장치(30)의 구성과 프로토콜 스택에 대하여 설명한다.

도 10을 참조하여 설명한 IP 패킷을 생성하여 송신하는 송신 장치(20)는, 도 11에 도시한 바와 같이 데이터 처리부(21)와 통신부(22)를 갖는다.

데이터 처리부(21)는, 송신 패킷의 생성 처리를 실행한다.

구체적으로는, 예를 들어 전술한 바와 같이 부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터(mdat)와, 미디어 데이터에 대응하는 메타데이터(moof)를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성한다. 또한, 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자 등의 패킷 부가 정보를 생성하여 HTTP 헤더에 기록한 패킷을 생성한다.

통신부(22)는, 데이터 처리부(21)가 생성한 패킷을 송신한다.

통신부(22)는, 데이터 처리부(21)가 생성한 패킷을, 방송파, 혹은 인터넷 등의 네트워크를 통해 브로드캐스트 배신, 또는 멀티캐스트 배신한다.

데이터 처리부(21)와 통신부(22)는, 이하의 레이어로 이루어지는 프로토콜 스택에 따라서 패킷 생성 처리를 실행하고, 생성된 패킷을 송신한다. 이하, 송신 장치(20)의 프로토콜 스택의 레이어 구성에 대하여 설명한다. 송신 장치(20)의 프로토콜 스택은, 상위 레이어로부터 하위 레이어까지, 이하에 나타내는 레이어 구성을 갖는다.

(1) DASH Server: DASH 규격에 따른 세그먼트 생성 등의 처리를 실행하는 애플리케이션 레이어

(2) Video/Audio/Subtitle etc: 송신 대상 콘텐츠의 생성, 취득을 실행하는 애플리케이션 레이어

(3) FragmentedMP4: MP4 파일 포맷에 따른 부호화 데이터를 생성해 세그먼트를 생성하는 애플리케이션 레이어

(4) HTTP: HTTP 프로토콜에 따라서 HTTP 헤더를 갖는 HTTP 패킷을 생성하는 레이어

(5) FLUTE/ALC(LCT): FLUTE 프로토콜에 따라서 LCT 헤더를 갖는 FLUTE 패킷을 생성하는 레이어

(6) UDP: UDP 프로토콜에 따라서 UDP 헤더를 갖는 UDP 패킷을 생성하는 레이어

(7) IP: IP 프로토콜에 따라서 IP 헤더를 갖는 IP 패킷을 생성하는 레이어

(8) PHY: IP 패킷, 또는 IP 패킷을 저장한 MAC 프레임을 생성하여 송신하는 통신부 등으로 구성되는 물리 레이어

또한, 도 10을 참조하여 설명한 IP 패킷을 수신하는 수신 장치(30)는, 도 11에 도시한 바와 같이 데이터 처리부(31)와 통신부(32)를 갖는다.

통신부(32)는, 송신 장치(20)가 송신하는 패킷을 수신하고, 데이터 처리부(31)는 통신부(31)가 수신한 패킷을 입력하여, 데이터 처리를 행한다.

데이터 처리부(31)와 통신부(32)는, 이하의 레이어로 이루어지는 프로토콜 스택에 따라서 패킷의 수신, 해석을 실행한다. 수신 장치(30)의 프로토콜 스택은, 상위 레이어로부터 하위 레이어까지, 이하에 나타내는 레이어 구성을 갖는다.

(1) DASH Client: DASH 규격에 따른 세그먼트의 해석 등의 처리를 실행하는 애플리케이션 레이어

(2) Video/Audio/Subtitle etc: 수신 콘텐츠의 취득, 재생 처리 등을 실행하는 애플리케이션 레이어

(3) FragmentedMP4: MP4 파일 포맷에 따른 부호화 데이터의 복호 처리 등을 실행하는 애플리케이션 레이어

(4) HTTP: HTTP 프로토콜에 따라서 HTTP 헤더를 갖는 HTTP 패킷을 해석하는 레이어

(5) FLUTE/ALC(LCT): FLUTE 프로토콜에 따라서 LCT 헤더를 갖는 FLUTE 패킷을 해석하는 레이어

(6) UDP: UDP 프로토콜에 따라서 UDP 헤더를 갖는 UDP 패킷을 해석하는 레이어

(7) IP: IP 프로토콜에 따라서 IP 헤더를 갖는 IP 패킷을 해석하는 레이어

(8) PHY: IP 패킷, 또는 IP 패킷을 저장한 MAC 프레임을 수신하는 통신부 등으로 구성되는 물리 레이어

또한, 송신 장치(20)는, 전술한 바와 같이 IP 패킷을 브로드캐스트, 혹은 멀티캐스트 송신할 때, 네트워크를 통한 송신, 혹은 방송파를 통한 송신 중 어느 하나, 또는, 이들 양쪽의 통신 경로를 이용하여 병렬 송신하는 처리를 행한다.

수신 장치(30)는, 방송파와, 인터넷 등의 네트워크 중 어느 하나의 통신 경로, 또는 양 통신 경로를 통한 패킷 수신 처리를 행한다.

인터넷 등의 네트워크를 통한 송수신 패킷의 생성 및 해석은, 도 11에 도시한 FLUTE/ALC(LCT) 레이어와 UDP 레이어를, TCP 레이어로 치환하여 행하는 것이 가능하다.

방송파를 통해 수신하는 IP 패킷과, 인터넷 등의 네트워크를 통해 수신하는 IP 패킷을 적절히, 전환하여 처리를 행하는 수신 장치(30)의 프로토콜 스택의 예에 대하여, 도 12를 참조하여 설명한다.

도 12에 도시한 수신 장치(30)의 프로토콜 스택은, 이하의 2개의 통신계에 대응한 프로토콜 스택의 레이어 구성을 나타내고 있다.

(1) 방송계

(2) 네트워크 통신계

(1) 방송계는, 도 11을 참조하여 설명한 레이어 구성으로 되어 있다.

(2) 네트워크 통신계는, 방송계 레이어의 FLUTE/ALC(LCT) 레이어와, UDP 레이어를 TCP 레이어로 치환한 구성이다.

TCP 레이어는, TCP 헤더를 갖는 TCP 패킷의 해석을 실행한다.

시그널링(Signaling) 레이어는, 각 통신계의 전환 제어를 행하기 위한 레이어이다.

수신 장치(30)는, 방송계와 네트워크 통신계의 각 레이어를, 적절히 전환해서 이용함으로써, 방송파를 통해 수신하는 패킷과, 인터넷 등의 네트워크를 통해 수신하는 패킷을 선택적으로 이용하여 패킷 저장 콘텐츠를 취득하여 재생 처리를 실행할 수 있다.

예를 들어, 네트워크로부터의 패킷 수신에 지연이 발생한 경우, 방송계로 전환하여 동일 콘텐츠에 대응하는 패킷을, 방송파를 통해 수신하고, 콘텐츠 재생을 계속할 수 있다.

네트워크 통신계, 방송계 중 어느 한쪽의 통신계를 통한 배신 패킷에도, 전술한 세그먼트 식별자나 GOP 내 위치 식별자가 기록되어 있으며, 이들 식별 정보를 참조하여, GOP 데이터의 재구축이 가능하게 되어, 에러가 없는 복호 처리와, 콘텐츠 재생이 실현된다.

[7. 송신 장치와 수신 장치의 처리 시퀀스에 대하여]

다음으로, 도 13, 도 14에 도시한 흐름도를 참조하여 송신 장치와 수신 장치가 실행하는 처리 시퀀스에 대하여 설명한다.

우선, 도 13에 도시한 흐름도를 참조하여 송신 장치(20)가 실행하는 처리 시퀀스에 대하여 설명한다.

도 13에 도시한 플로우는, 미디어 세그먼트를 저장한 IP 패킷의 생성과 송신 처리의 시퀀스를 설명하는 플로우이다.

이 처리는, 송신 장치(20)의 데이터 처리부에서 실행한다. 데이터 처리부는, 프로그램 실행 기능을 갖는 CPU를 구비하고, 예를 들어 기억부에 저장된 프로그램에 따라서, 도 13에 도시한 플로우에 따른 처리를 실행한다.

각 스텝의 처리에 대하여, 순차 설명한다.

(스텝 S101)

우선, 송신 장치의 데이터 처리부는, 송신 대상인 콘텐츠의 부호화 처리를 실행한다. 예를 들어 MP4 파일 포맷에 따른 부호화 처리를 실행한다.

(스텝 S102)

다음으로, 송신 장치는, 미디어 세그먼트의 프래그먼트에 저장하는 미디어 데이터(mdat)를 생성한다. 이 처리는, 앞에서 도 5 등을 참조하여 설명한 서브 GOP 미디어 세그먼트에 저장하는 미디어 데이터(mdat)를 생성하는 처리이다. MP4 부호화 데이터인 GOP 데이터의 일부, 즉 GOP를 구성하는 1개 이상의 NAL 유닛을 구성 데이터로 하는 미디어 데이터(mdat)를 생성한다.

(스텝 S103)

다음으로, 송신 장치는, 스텝 S102에서 생성한 미디어 데이터(mdat)에 대응하는 속성 정보인 메타데이터(moof)를 생성한다.

(스텝 S104)

다음으로, 송신 장치는, 스텝 S102에서 생성한 미디어 데이터(mdat)와, 스텝 S103에서 생성한 메타데이터(moof)를 저장한 프래그먼트를 생성한다.

(스텝 S105)

다음으로, 송신 장치는, 스텝 S104에서 생성한 프래그먼트를 저장한 미디어 세그먼트를 생성한다. 이것은, 앞에서 도 5 등을 참조하여 설명한 서브 GOP 미디어 세그먼트이다. 즉, GOP 데이터 전체가 아니라, GOP 구성 데이터의 일부의 NAL 유닛을 미디어 데이터(mdat)로서 저장한 미디어 세그먼트이다.

(스텝 S106 내지 S107)

다음으로, 송신 장치는, 미디어 세그먼트에 저장한 미디어 데이터의 속성 정보인,

세그먼트 식별 정보,

GOP 내 위치 식별 정보,

이들 식별 정보를 기록한 HTTP 헤더를 설정한 HTTP 패킷을 생성한다.

이들 식별 정보는, 앞에서 도 7, 도 8을 참조하여 설명한 식별 정보이다.

(스텝 S108 내지 S109)

다음으로, 송신 장치는, HTTP 패킷에 대하여 LCT 헤더, UDP 헤더, IP 헤더를 설정하여 IP 패킷을 생성하여 송신한다. 송신 처리는, 인터넷 등의 통신 네트워크 또는 방송파 중 어느 하나, 또는 양 통신로를 통해 실행한다.

도 13에 도시한 플로우는, 미디어 세그먼트를 저장한 패킷의 생성과 송신 처리 시퀀스를 설명하는 플로우이다. 초기화 세그먼트를 저장한 패킷 생성 시에는, 초기화 세그먼트의 구성 데이터의 생성 후, HTTP 헤더에 초기화 세그먼트임을 나타내는 세그먼트 식별 정보를 기록하는 처리를 행하게 된다. 그 밖의 처리는, 거의 도 13에 도시한 플로우에 기재한 수순에 따라서 행해진다.

다음으로, 도 14에 도시한 흐름도를 참조하여 수신 장치에서 실행하는 패킷 수신으로부터 콘텐츠 재생에 이르기까지의 처리 시퀀스에 대하여 설명한다.

이 처리는, 수신 장치(30)의 데이터 처리부에서 실행한다. 데이터 처리부는, 프로그램 실행 기능을 갖는 CPU를 구비하고, 예를 들어 기억부에 저장된 프로그램에 따라서, 도 14에 도시한 플로우에 따른 처리를 실행한다.

이하, 각 스텝의 처리에 대하여, 순차 설명한다.

(스텝 S201)

우선, 스텝 S201에서, 수신 장치는, 유저에 의한 재생 콘텐츠의 지정 정보를 입력한다. 예를 들어 미리 송신 장치로부터 수신한 프로그램표 등의 콘텐츠 일람 리스트를 표시부에 표시하고, 이 표시 정보에 대한 유저 입력 정보에 기초하여 재생 콘텐츠를 결정한다.

(스텝 S202)

다음으로 수신 장치는, 재생 대상으로서 선택된 선택 콘텐츠에 대응하는 초기화 세그먼트를 포함하는 패킷을 수신하여 초기화 세그먼트를 취득한다.

또한, 앞에서 도 9를 참조하여 설명한 바와 같이 초기화 세그먼트를 저장한 HTTP 패킷의 HTTP 헤더에는, 세그먼트 식별 정보가 기록되어 있으며, 이 식별 정보를 참조함으로써 초기화 세그먼트를 저장한 HTTP 패킷임을 확인할 수 있다.

(스텝 S203)

수신 장치는, 수신한 초기화 세그먼트의 저장 데이터를 따라서 수신 장치의 초기화 처리를 실행한다. 구체적으로는 초기화 세그먼트에 저장된 코덱 설정 파라미터 등을 취득하고, 취득 파라미터에 따라서 코덱의 설정 등을 행한다.

(스텝 S204)

다음으로, 수신 장치는, 스텝 S201에서 선택한 선택 콘텐츠에 대응하는 미디어 세그먼트를 저장한 패킷을 순차 수신한다. 앞에서 도 5 등을 참조하여 설명한 바와 같이, 각 패킷은 1개의 GOP 데이터보다 작은 단위의 데이터를 저장한 서브 GOP 미디어 세그먼트를 페이로드로서 저장한 패킷이며, 수신 장치는, 이 서브 GOP 미디어 세그먼트 저장 패킷을 순차 수신한다.

(스텝 S205)

다음으로, 수신 장치는, 서브 GOP 미디어 세그먼트 HTTP 패킷의 HTTP 헤더로부터,

세그먼트 식별자,

GOP 내 위치 식별 정보,

이들 각 식별 정보를 취득한다.

앞에서, 도 7, 도 8을 참조하여 설명한 바와 같이, 세그먼트 식별자는, 그 HTTP 패킷에 저장된 세그먼트의 콘텐츠 위치 정보와, 세그먼트의 종류와 패킷에 저장된 미디어 데이터(mdat)가 속하는 GOP의 식별 정보를 포함하는 데이터이다.

GOP 내 위치 식별 정보는, HTTP 패킷에 저장된 미디어 데이터(mdat)가 1개의 GOP의 어느 위치에 있는지를 나타내는 데이터이다. 예를 들어, GOP 내 위치 식별 정보=X-StartofGOP인 패킷은, GOP 데이터의 선두 영역의 NAL 유닛을 미디어 데이터(mdat)로서 저장한 패킷이다.

(스텝 S206)

다음으로, 수신 장치는, HTTP 헤더로부터 취득한 식별 정보에 따라서, 복수의 서브 GOP 미디어 세그먼트 HTTP 패킷에 저장된 NAL 유닛을 재배열하고, GOP 단위 데이터를 재구축한다.

(스텝 S207 내지 S208)

다음으로, 수신 장치는, 재구축한 GOP 데이터에 대한 복호 처리를 실행하고, 복호 데이터의 재생 처리를 행한다.

(스텝 S209)

다음으로, 수신 장치는, 데이터 재생 처리가 종료되었는지 여부를 판정하고, 종료되지 않은 경우에는, 스텝 S204로 되돌아가서, 스텝 S204 이하의 처리를 반복하여 실행한다.

스텝 S209에서 재생 처리 종료라고 판정된 경우에는 처리를 종료한다.

또한, 예를 들어 랜덤 액세스 재생 등, 특정한 재생 위치의 화상만을 재생하는 경우에는, 서브 GOP 미디어 세그먼트에 랜덤 액세스 포인트 정보인 sidx 데이터가 설정된 세그먼트만을 처리 대상으로서 처리를 실행하여도 된다.

이 경우, GOP 전체 데이터를 재배열하는 처리를 행하지 않고 랜덤 액세스 포인트의 데이터만을 선택하여 재생하는 것이 가능하다.

[8. 확장 헤더에 부가 정보를 기록한 실시예에 대하여]

전술한 실시예에서는, GOP 재구성 처리에 적용하는 정보 등, 수신 장치측에서의 처리를 원활하게 실행시키기 위한 부가 정보를 HTTP 패킷에 설정한 실시예에 대하여 설명하였다.

그러나, 부가 정보의 기록처는 HTTP 헤더에 한하지 않고, 다양한 기록처로 하는 것이 가능하다.

이하, 확장 헤더에 부가 정보를 기록한 실시예에 대하여 설명한다.

도 15를 참조하여, 확장 헤더에 부가 정보를 기록한 실시예에 대하여 설명한다.

도 15에 도시한 예는, HTTP 헤더와 서브 GOP 미디어 세그먼트의 사이에 새로운 확장 헤더를 삽입하고, 이 확장 헤더에 부가 정보를 기록한 예이다.

도 15에는,

(1) 초기화 세그먼트 HTTP 패킷

(2) 서브 GOP 미디어 세그먼트 HTTP 패킷

이들 2종류의 HTTP 패킷의 예를 나타내고 있다.

각 패킷의 HTTP 헤더의 다음에 확장 헤더를 설정하고 있다.

이 확장 헤더에,

(a) 세그먼트 식별 정보,

(b) GOP 내 위치 식별 정보를 저장한다.

예를 들어 (a) 세그먼트 식별 정보는, 8비트 데이터로 하고, 초기화 세그먼트의 경우에는 1을 설정하고, 그 밖의 세그먼트의 경우에는 0을 설정한다.

또한, 미디어 세그먼트의 경우, HTTP 헤더에 기록되는 콘텐츠 위치 정보(ContentLocation)를 GOP 단위 데이터의 위치 정보에 설정하면, 이 콘텐츠 위치 정보를 참조함으로써 각 GOP 데이터의 구별이 가능하게 된다.

(b) GOP 내 위치 식별 정보는, 8비트 데이터로 하여, 예를 들어 비트값을 이하의 설정으로 한다.

GOP의 선두 위치인 데이터(StartofGOP)=1

GOP의 중간 위치인 데이터(MiddleofGOP)=2

GOP의 말미 위치인 데이터(EndofGOP)=3

송신 장치는, 이와 같은 확장 헤더를 설정하여 수신 장치에 송신한다. 한편, 수신 장치는, 이 확장 헤더의 세그먼트 식별 정보를 참조하여, 패킷에 저장된 세그먼트가 초기화 세그먼트인지, 서브 GOP 미디어 세그먼트인지를 판별한다. 또한, 수신 장치는, 패킷이 서브 GOP 미디어 세그먼트 패킷이라고 식별한 경우, 확장 헤더의 GOP 내 위치 식별 정보를 참조함으로써, 서브 GOP 미디어 세그먼트에 저장된 미디어 데이터(mdat)가 GOP 내의 어느 위치에 대응하는 데이터인지를 식별하는 것이 가능하게 된다.

[9. LCT 헤더에 부가 정보를 기록한 실시예에 대하여]

전술한 바와 같이, 멀티캐스트나 브로드캐스트(MC/BC)형 스트리밍에 적용 가능한 트랜스포트 프로토콜에는, 예를 들어 RTP(Real-time Transport Protocol)나 FLUTE(File Delivery over Uni-directional Transport)가 있다.

FLUTE 프로토콜에 따라서 설정되는 패킷에는, FLUTE 프로토콜에 따른 헤더 정보인 LCT 헤더가 설정된다.

즉, 앞에서 도 10을 참조하여 설명한 IP 패킷 내의 LCT 헤더이다.

이하, 이 LCT 헤더에, GOP 재구성 처리에 적용하는 정보 등, 수신 장치측에서의 처리를 원활하게 실행시키기 위한 부가 정보를 기록한 실시예에 대하여 설명한다.

FLUTE 프로토콜에 따라서 설정되는 LCT 헤더의 구성예를 도 16에 도시한다.

LCT 헤더에 설정되는 주된 데이터 필드에는, 예를 들어 이하의 필드가 있다.

CCI(Congestion Control Information): 각 필드의 길이나 폭주 제어 정보 등을 기록하는 필드이다.

TSI(Transport Session Identifier): 패킷 전송의 세션 정보를 기록하는 필드이다.

TOI(Transport Object Identifier): 패킷 전송의 시퀀스 등을 기록하는 필드이다.

헤더 확장부(Header Extensions): 다양한 확장 데이터를 기록할 수 있는 필드이다.

앞에서, 도 7을 참조하여 설명한 바와 같이, GOP 내 위치 정보의 대용으로서, 상기 TOI를 참조하여, 데이터 송신순을 확인하는 것이 가능하다.

전술한 바와 같이, 예를 들어 HTTP 헤더 등에 기록하는 부가 정보인 GOP 내 위치 정보에 대하여, 선두 위치를 나타내는 X-StartofGOP만을 기록하고, 그 밖의 GOP 내 데이터의 배열순은, LCT 헤더 내의 TOI를 참조하여 패킷 시퀀스를 취득하고, 패킷 시퀀스에 따라서 GOP 내의 NAL 유닛을 올바른 순서로 배열하는 구성으로 하여도 된다.

도 16에 도시한 바와 같이, LCT 헤더 내에는 다양한 데이터를 기록할 수 있는 헤더 확장부(Header Extensions)가 설정된다. 이 헤더 확장부에 GOP 재구성 처리에 적용하는 정보 등, 수신 장치측에서의 처리를 원활하게 실행시키기 위한 부가 정보를 기록하는 것이 가능하다.

LCT 헤더의 헤더 확장부에 대한 데이터 기록 구성에 대하여, 도 17을 참조하여 설명한다.

LCT 헤더의 헤더 확장부에, 데이터를 기록하는 경우의 포맷에는 2개의 종류가 있다.

도 17의 (1)은, 기록 정보의 길이를 자유롭게 설정 가능한 포맷이다.

도 17의 (2)는, 기록 정보의 길이가 고정된 포맷이다.

HET(Header Extension Type)에는, 확장 헤더의 종류를 나타내는 확장 헤더 식별 정보(수치)를 기록한다. 도 17의 (1)의 포맷은 127까지의 값이 이용 가능하고, 도 17의 (2)의 포맷은 128 이상으로 설정하는 것이 규정되어 있다.

HEL(Header Extension Length)에는, 확장 헤더의 길이를 기록한다.

HEC(Header Extension Content)는, 확장 헤더 콘텐츠를 기록하는 필드이며, 임의의 확장 정보를 기록 가능한 필드이다.

도 17의 (2)에 도시한 기록 정보의 길이가 고정된 포맷을 이용하여, GOP 재구성 처리에 적용하는 정보 등, 수신 장치측에서의 처리를 원활하게 실행시키기 위한 부가 정보를 기록하는 경우의 기록 데이터의 구성예를 도 18에 도시한다.

도 18에 도시한 바와 같이,

(a) 확장 헤더 식별 정보(HET)는, 8비트 데이터로 하여, 새로운 정보의 식별값으로서, 예를 들어 [200]을 기록한다.

또한, 확장 정보 기록부(HEC)에,

(b) 세그먼트 식별 정보,

(c) GOP 내 위치 식별 정보,

이들 각 식별 정보를 기록한다.

예를 들어 (b) 세그먼트 식별 정보는, 8비트 데이터로 하여, 초기화 세그먼트의 경우에는 1을 설정하고, 그 밖의 세그먼트의 경우에는 0을 설정한다.

(c) GOP 내 위치 식별 정보는, 8비트 데이터로 하여, 예를 들어 비트값을 이하의 설정으로 한다.

GOP의 선두 위치인 데이터(StartofGOP)=1

GOP의 중간 위치인 데이터(MiddleofGOP)=2

GOP의 말미 위치인 데이터(EndofGOP)=3

송신 장치는, 이와 같은 확장 헤더 정보를 포함하는 LCT 헤더를 설정하여 수신 장치에 송신한다. 한편, 수신 장치는, 이 LCT 헤더 내의 확장 헤더 정보의 세그먼트 식별 정보를 참조하여, 패킷에 저장된 세그먼트가 초기화 세그먼트인지, 서브 GOP 미디어 세그먼트인지를 판별한다. 또한, 수신 장치는, 패킷이 서브 GOP 미디어 세그먼트 패킷이라고 식별한 경우, LCT 헤더의 확장 헤더 정보에 기록된 GOP 내 위치 식별 정보를 참조함으로써, 서브 GOP 미디어 세그먼트에 저장된 미디어 데이터(mdat)가 GOP 내의 어느 위치에 대응하는 데이터인지를 식별하는 것이 가능하게 된다.

[10. HEVC 부호화 데이터에 대한 적용예에 대하여]

전술한 실시예에서는, MPEG 부호화 방식에 따른 MP4 부호화 데이터에 대한 처리예에 대하여 설명하였지만, 본 개시의 처리는, 그 밖의 부호화 데이터에 더 추가해 적용 가능하다. 예를 들어 HEVC(High Efficiency Video Coding)에 따른 부호화 데이터에 적용하는 것이 가능하다.

HEVC 부호화 데이터의 구성에 대하여, 도 19를 참조하여 설명한다.

도 19에 도시한 바와 같이, HEVC 부호화 처리에 의해 생성되는 1개의 HEVC 스트림은, 복수의 시퀀스(CVS: Coded VideoSequence)와, End of sequence NAL unit(EoB)를 갖는다.

HEVC 스트림의 구성 요소인 CVS는, 복수의 GOP와, End of sequence NAL unit(EoS)로 구성된다. 1개의 GOP는, 랜덤 액세스 포인트로 되는 IRAP(Intra Random Access Point) 액세스 유닛을 선두 데이터로 하고, 복수의 LP(Leading Picture) 액세스 유닛과, TP(Trailing Picture) 액세스 유닛을 갖는다.

LP 액세스 유닛과, TP 액세스 유닛은, 어떠한 참조 픽처를 참조하여 복호가능한 액세스 유닛이다.

단, IRAP 액세스 유닛으로부터 복호를 개시한 경우에는, TPAU에 대해서도 정상적인 복호, 재생이 가능하다.

액세스 유닛(AU)은 복수의 NAL 유닛(Network Abstraction Layer Unit)으로 구성되고, 액세스 유닛(AU)은, 반드시 1개 이상의 슬라이스 세그먼트 NAL 유닛을 포함한다.

도 19에 도시한 바와 같이, HEVC 부호화 처리에 의해 생성되는 부호화 데이터에도 부호화 처리 단위로서의 GOP가 설정되고, 이 GOP는, 또한 복수의 NAL 유닛으로 분할된다.

앞에서 도 5를 참조하여 설명한 서브 GOP 미디어 세그먼트에, HEVC 부호화 데이터에서 설정되는 GOP 구성 데이터인 NAL 유닛을 1개 또는 복수, 저장하는 구성으로 한다.

이와 같이, HEVC 부호화 데이터에 대해서도, GOP 데이터를 분할한 NAL 유닛 단위의 미디어 데이터(mdat)를 저장한 프래그먼트의 생성이 가능하다. 따라서, 도 5 등을 참조하여 설명한 서브 GOP 미디어 세그먼트의 생성이 가능하고, 본 개시의 처리를 적용할 수 있다.

또한, MP4, HEVC에 한하지 않고, GOP 상당의 부호화 처리 단위를 갖고, GOP 데이터를 분할한 유닛(NAL)이 설정되는 부호화 구성이면, 본 개시의 처리를 적용하는 것이 가능하다.

[11. 각 장치의 하드웨어 구성예에 대하여]

마지막으로, 도 20을 참조하여, 전술한 처리를 실행하는 각 장치의 하드웨어 구성예에 대하여 설명한다.

도 20은, 송신 장치(20), 수신 장치(30)로서 적용 가능한 통신 장치의 하드웨어 구성예를 나타내고 있다.

CPU(Central Processing Unit)(201)는, ROM(Read Only Memory)(202), 또는 기억부(208)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행하는 데이터 처리부로서 기능한다. 예를 들어, 전술한 실시예에서 설명한 시퀀스에 따른 처리를 실행한다. RAM(Random Access Memory)(203)에는, CPU(201)가 실행하는 프로그램이나 데이터 등이 기억된다. 이들 CPU(201), ROM(202) 및 RAM(203)은, 버스(204)에 의해 서로 접속되어 있다.

CPU(201)는 버스(204)를 통해 입출력 인터페이스(205)에 접속되고, 입출력 인터페이스(205)에는, 각종 스위치, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(206), 디스플레이, 스피커 등으로 이루어지는 출력부(207)가 접속되어 있다. CPU(201)는, 입력부(206)로부터 입력되는 명령에 대응하여 각종 처리를 실행하고, 처리 결과를 예를 들어 출력부(207)로 출력한다.

입출력 인터페이스(205)에 접속되어 있는 기억부(208)는, 예를 들어 하드디스크 등으로 이루어지고, CPU(201)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(209)는, 인터넷이나 로컬 에리어 네트워크 등의 네트워크를 통한 데이터 통신의 송수신부, 또한 방송파의 송수신부로서 기능하고, 외부의 장치와 통신한다.

입출력 인터페이스(205)에 접속되어 있는 드라이브(210)는, 자기디스크, 광디스크, 광자기디스크, 혹은 메모리 카드 등의 반도체 메모리 등의 리무버블 미디어(211)를 구동하고, 데이터의 기록 혹은 판독을 실행한다.

또한, 데이터의 부호화 혹은 복호는, 데이터 처리부로서의 CPU(201)의 처리로서 실행 가능하지만, 부호화 처리 혹은 복호 처리를 실행하기 위한 전용 하드웨어로서의 코덱을 구비한 구성으로 하여도 된다.

[12. 본 개시의 구성의 정리]

이상, 특정한 실시예를 참조하면서, 본 개시의 실시예에 대하여 상세히 설명하였다. 그러나, 본 개시의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 이룰 수 있음은 자명하다. 즉, 예시라는 형태로 본 발명을 개시해 온 것이며, 한정적으로 해석되어서는 안 된다. 본 개시의 요지를 판단하기 위해서는, 청구범위의 란을 참작해야만 한다.

또한, 본 명세서에서 개시한 기술은, 이하와 같은 구성을 취할 수 있다.

(1) 부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하고,

상기 데이터 처리부가 생성한 패킷을 송신하는 통신부를 갖는 통신 장치.

(2) 상기 데이터 처리부는, GOP의 구성 데이터인 NAL 유닛을 1개 이상 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하는, 상기 (1)에 기재된 통신 장치.

(3) 상기 데이터 처리부는, 패킷 저장 세그먼트가, 미디어 데이터를 저장하지 않은 초기화 세그먼트인지, 미디어 데이터를 저장한 미디어 세그먼트인지를 식별 가능하게 한 세그먼트 식별 정보를 패킷 부가 정보로서 기록한 패킷을 생성하는, 상기 (1) 또는 (2)에 기재된 통신 장치.

(4) 상기 데이터 처리부는, 상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터가, GOP의 선두 위치, 중간 위치, 말미 위치 중 어느 위치의 구성 데이터인지를 식별 가능하게 한 GOP 내 위치 식별자를 패킷 부가 정보로서 생성하는, 상기 (1) 내지 (3) 중 어느 하나에 기재된 통신 장치.

(5) 상기 데이터 처리부는, 상기 부가 정보를 생성 패킷 내의 HTTP 헤더에 기록하는, 상기 (1) 내지 (4) 중 어느 하나에 기재된 통신 장치.

(6) 상기 데이터 처리부는, 상기 부가 정보를 생성 패킷 내의 확장 헤더에 기록하는, 상기 (1) 내지 (4) 중 어느 하나에 기재된 통신 장치.

(7) 상기 데이터 처리부는, 상기 부가 정보를 생성 패킷 내의 LCT 헤더에 기록하는, 상기 (1) 내지 (4) 중 어느 하나에 기재된 통신 장치.

(8) 상기 통신부는, 상기 데이터 처리부가 생성한 패킷을, 방송파를 통해 브로드캐스트 배신, 또는 멀티캐스트 배신하는, 상기 (1) 내지 (7) 중 어느 하나에 기재된 통신 장치.

(9) 부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로 하고,

상기 통신부가 수신한 패킷을 입력하여 처리를 실행하는 데이터 처리부를 갖는, 통신 장치.

(10) 상기 데이터 처리부는, 수신 패킷에 기록된 GOP 내 위치 식별자를 참조하여, 복수의 수신 패킷에 분산 저장된 GOP 구성 데이터의 배열을 실행하여 GOP 데이터를 재구축하는, 상기 (9)에 기재된 통신 장치.

(11) 상기 통신부는, GOP의 구성 데이터인 NAL 유닛을 1개 이상 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 저장한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷으로부터 NAL 유닛을 1개 이상 포함하는 미디어 데이터를 취득하고, 수신 패킷에 기록된 GOP 내 위치 식별자를 참조하여, 복수의 수신 패킷에 분산 저장된 NAL 유닛의 배열을 실행하여 GOP 데이터를 재구축하는, 상기 (9) 또는 (10)에 기재된 통신 장치.

(12) 상기 통신부는, 패킷 저장 세그먼트가, 미디어 데이터를 저장하지 않은 초기화 세그먼트인지, 미디어 데이터를 저장한 미디어 세그먼트인지를 식별 가능하게 한 세그먼트 식별 정보를 패킷 부가 정보로서 기록한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷에 기록된 부가 정보로부터, 상기 세그먼트 식별 정보를 취득하고, 수신 패킷에 저장된 세그먼트의 종류를 판별하여, 판별 결과에 따른 처리를 실행하는, 상기 (9) 내지 (11) 중 어느 하나에 기재된 통신 장치.

(13) 상기 통신부는, 상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터가, GOP의 선두 위치, 중간 위치, 말미 위치 중 어느 위치의 구성 데이터인지를 식별 가능하게 한 GOP 내 위치 식별자를 패킷 부가 정보로서 설정한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷에 기록된 GOP 내 위치 식별자에 기초하여, 상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터가, GOP의 선두 위치, 중간 위치, 말미 위치 중 어느 위치의 구성 데이터인지를 판별하는, 상기 (9) 내지 (12) 중 어느 하나에 기재된 통신 장치.

(14) 상기 통신부는, 상기 패킷 부가 정보를 HTTP 헤더에 기록한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷의 HTTP 헤더로부터 상기 패킷 부가 정보를 취득하는, 상기 (9) 내지 (13) 중 어느 하나에 기재된 통신 장치.

(15) 상기 통신부는, 상기 패킷 부가 정보를 확장 헤더에 기록한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷의 확장 헤더로부터 상기 패킷 부가 정보를 취득하는, 상기 (9) 내지 (13) 중 어느 하나에 기재된 통신 장치.

(16) 상기 통신부는, 상기 패킷 부가 정보를 LCT 헤더에 기록한 패킷을 수신하고, 상기 데이터 처리부는, 수신 패킷의 LCT 헤더로부터 상기 패킷 부가 정보를 취득하는, 상기 (9) 내지 (13) 중 어느 하나에 기재된 통신 장치.

(17) 상기 통신부는, 상기 패킷을, 방송파를 통해 수신하는, 상기 (9) 내지 (16) 중 어느 하나에 기재된 통신 장치.

(18) 데이터 송신 장치에서 실행하는 통신 데이터 생성 방법이며,

상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 송신 패킷을 생성하는, 통신 데이터 생성 방법.

(19) 데이터 수신 장치에서 실행하는 통신 데이터 처리 방법이며,

데이터 처리부가, 상기 통신부가 수신한 패킷을 입력하여 처리를 실행하는, 통신 데이터 처리 방법.

또한, 명세서 중에서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨해서 실행시키거나, 혹은, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨해서 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 외에, LAN(Local Area Network), 인터넷 등의 네트워크를 통해 프로그램을 수신하고, 내장된 하드디스크 등의 기록 매체에 인스톨할 수 있다.

또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 또는 개별로 실행되어도 된다. 또한, 본 명세서에서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것으로는 한정되지 않는다.

이상, 설명한 바와 같이, 본 개시의 일 실시예의 구성에 의하면, GOP를 분할한 데이터 단위로 콘텐츠 배신을 행하고, 수신 장치측에서 GOP 복원과 재생을 실행 가능하게 한 장치, 방법이 실현된다.

구체적으로는, 송신 장치가, GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하고, 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 패킷을 생성하여 송신한다. 수신 장치는, 수신 패킷에 설정된 GOP 내 위치 식별자를 참조하여 복수의 패킷으로 분할 저장된 미디어 데이터를 배열하여 GOP를 재구축하여 복호한다.

10: 통신 시스템
20: 송신 장치
21: 데이터 처리부
22: 통신부
30: 수신 장치
31: 데이터 처리부
32: 통신부
50: 초기화 세그먼트
60: 미디어 세그먼트
201: CPU
202: ROM
203: RAM
204: 버스
205: 입출력 인터페이스
206: 입력부
207: 출력부
208: 기억부
209: 통신부
210: 드라이브
211: 리무버블 미디어

Claims

통신 장치로서,
부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하고,
상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 패킷을 생성하는 데이터 처리부와,
상기 데이터 처리부가 생성한 패킷을 송신하는 통신부를 갖는, 통신 장치.
제1항에 있어서,
상기 데이터 처리부는,
GOP의 구성 데이터인 NAL 유닛을 1개 이상 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하는, 통신 장치.
제1항에 있어서,
상기 데이터 처리부는,
패킷 저장 세그먼트가, 미디어 데이터를 저장하지 않은 초기화 세그먼트인지, 미디어 데이터를 저장한 미디어 세그먼트인지를 식별 가능하게 한 세그먼트 식별 정보를 패킷 부가 정보로서 기록한 패킷을 생성하는, 통신 장치.
제1항에 있어서,
상기 데이터 처리부는,
상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터가, GOP의 선두 위치, 중간 위치, 말미 위치 중 어느 위치의 구성 데이터인지를 식별 가능하게 한 GOP 내 위치 식별자를 패킷 부가 정보로서 생성하는, 통신 장치.
제1항에 있어서,
상기 데이터 처리부는,
상기 부가 정보를 생성 패킷 내의 HTTP 헤더에 기록하는, 통신 장치.
제1항에 있어서,
상기 데이터 처리부는,
상기 부가 정보를 생성 패킷 내의 확장 헤더에 기록하는, 통신 장치.
제1항에 있어서,
상기 데이터 처리부는,
상기 부가 정보를 생성 패킷 내의 LCT 헤더에 기록하는, 통신 장치.
제1항에 있어서,
상기 통신부는,
상기 데이터 처리부가 생성한 패킷을, 방송파를 통해 브로드캐스트 배신(配信), 또는 멀티캐스트 배신하는, 통신 장치.
통신 장치로서,
부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로 하고,
상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 패킷을 수신하는 통신부와,
상기 통신부가 수신한 패킷을 입력하여 처리를 실행하는 데이터 처리부를 갖는, 통신 장치.
제9항에 있어서,
상기 데이터 처리부는,
수신 패킷에 기록된 GOP 내 위치 식별자를 참조하여, 복수의 수신 패킷에 분산 저장된 GOP 구성 데이터의 배열을 실행하여 GOP 데이터를 재구축하는, 통신 장치.
제9항에 있어서,
상기 통신부는,
GOP의 구성 데이터인 NAL 유닛을 1개 이상 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 저장한 패킷을 수신하고,
상기 데이터 처리부는,
수신 패킷으로부터 NAL 유닛을 1개 이상 포함하는 미디어 데이터를 취득하고, 수신 패킷에 기록된 GOP 내 위치 식별자를 참조하여, 복수의 수신 패킷에 분산 저장된 NAL 유닛의 배열을 실행하여 GOP 데이터를 재구축하는, 통신 장치.
제9항에 있어서,
상기 통신부는,
패킷 저장 세그먼트가, 미디어 데이터를 저장하지 않은 초기화 세그먼트인지, 미디어 데이터를 저장한 미디어 세그먼트인지를 식별 가능하게 한 세그먼트 식별 정보를 패킷 부가 정보로서 기록한 패킷을 수신하고,
상기 데이터 처리부는,
수신 패킷에 기록된 부가 정보로부터, 상기 세그먼트 식별 정보를 취득하고, 수신 패킷에 저장된 세그먼트의 종류를 판별하여, 판별 결과에 따른 처리를 실행하는, 통신 장치.
제9항에 있어서,
상기 통신부는,
상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터가, GOP의 선두 위치, 중간 위치, 말미 위치 중 어느 위치의 구성 데이터인지를 식별 가능하게 한 GOP 내 위치 식별자를 패킷 부가 정보로서 설정한 패킷을 수신하고,
상기 데이터 처리부는,
수신 패킷에 기록된 GOP 내 위치 식별자에 기초하여, 상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터가, GOP의 선두 위치, 중간 위치, 말미 위치 중 어느 위치의 구성 데이터인지를 판별하는, 통신 장치.
제9항에 있어서,
상기 통신부는,
상기 패킷 부가 정보를 HTTP 헤더에 기록한 패킷을 수신하고,
상기 데이터 처리부는,
수신 패킷의 HTTP 헤더로부터 상기 패킷 부가 정보를 취득하는, 통신 장치.
제9항에 있어서,
상기 통신부는,
상기 패킷 부가 정보를 확장 헤더에 기록한 패킷을 수신하고,
상기 데이터 처리부는,
수신 패킷의 확장 헤더로부터 상기 패킷 부가 정보를 취득하는, 통신 장치.
제9항에 있어서,
상기 통신부는,
상기 패킷 부가 정보를 LCT 헤더에 기록한 패킷을 수신하고,
상기 데이터 처리부는,
수신 패킷의 LCT 헤더로부터 상기 패킷 부가 정보를 취득하는, 통신 장치.
제9항에 있어서,
상기 통신부는,
상기 패킷을, 방송파를 통해 수신하는, 통신 장치.
데이터 송신 장치에서 실행하는 통신 데이터 생성 방법으로서,
데이터 처리부가, 부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로서 생성하고,
상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 송신 패킷을 생성하는, 통신 데이터 생성 방법.
데이터 수신 장치에서 실행하는 통신 데이터 처리 방법으로서,
통신부가, 부호화 데이터의 처리 단위인 GOP(Group of Pictures)의 구성 데이터의 일부만을 포함하는 미디어 데이터와, 그 미디어 데이터에 대응하는 메타데이터를 저장한 서브 GOP 미디어 세그먼트를 패킷 저장 데이터로 하고,
상기 서브 GOP 미디어 세그먼트의 저장 데이터인 미디어 데이터의 GOP 내 위치를 나타내는 GOP 내 위치 식별자를 패킷 부가 정보로서 기록한 패킷을 수신하고,
데이터 처리부가, 상기 통신부가 수신한 패킷을 입력하여 처리를 실행하는, 통신 데이터 처리 방법.