KR20140044861A

KR20140044861A - 스트리밍 배신 장치 및 방법, 스트리밍 수신 장치 및 방법, 스트리밍 시스템, 프로그램과 기록 매체

Info

Publication number: KR20140044861A
Application number: KR20147001308A
Authority: KR
Inventors: 야스아키 야마기시; 나오히사 기타자토; 요시하루 데와; 가즈히코 다카바야시; 미츠히로 히라바야시
Original assignee: 소니 주식회사
Priority date: 2011-07-29
Filing date: 2012-07-11
Publication date: 2014-04-15
Also published as: BR112014001577A2; CN103688532B; RU2618373C2; US9113178B2; JPWO2013018517A1; EP2739047A1; KR102023788B1; US20130185760A1; RU2014102004A; CN103688532A; EP2739047A4; IN2014CN00513A; US20150304730A1; WO2013018517A1; JP6062363B2; BR112014001577A8

Abstract

본 기술은, 스트리밍에 있어서의 서브타이틀의 표시에 관한 처리 부하를 경감시킬 수 있도록 하는 스트리밍 배신 장치 및 방법, 스트리밍 수신 장치 및 방법, 스트리밍 시스템, 프로그램과 기록 매체에 관한 것이다. MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와, 콘텐츠에 표시되는 서브타이틀에 관한 TTML 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 서브타이틀 프래그먼트 생성부를 구비하고, 프래그먼트의 헤더 정보에, 프래그먼트에 저장된 TTML 다큐먼트 인스턴스가 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가한다.

Description

스트리밍 배신 장치 및 방법, 스트리밍 수신 장치 및 방법, 스트리밍 시스템, 프로그램과 기록 매체{STREAMING DISTRIBUTION DEVICE AND METHOD, STREAMING RECEIVING DEVICE AND METHOD, STREAMING SYSTEM, PROGRAM, AND RECORDING MEDIUM}

본 기술은, 스트리밍 배신 장치 및 방법, 스트리밍 수신 장치 및 방법, 스트리밍 시스템, 프로그램과 기록 매체에 관한 것으로, 특히 스트리밍에 있어서의 서브타이틀의 표시에 관한 처리 부하를 경감시킬 수 있도록 하는 스트리밍 배신 장치 및 방법, 스트리밍 수신 장치 및 방법, 스트리밍 시스템, 프로그램과 기록 매체에 관한 것이다.

최근, IP(Internet Protocol)를 이용하여 동화상 배신을 행하는 IPTV 등의 인터넷 스트리밍에 있어서의 표준화가 행해지고 있다. 예를 들어, HTTP(HyperText Transfer Protocol) 스트리밍에 의한 VoD(Video on Demand) 스트리밍이나, 라이브 스트리밍에 적용되는 방식의 표준화가 행해지고 있다. 이러한 표준화의 작업에 있어서, 컨테이너 레이어에 있어서 채용하는 포맷으로서, MP4 파일 포맷을 이용하는 것이 검토되고 있다.

HTTP 스트리밍의 구성 요소로서 자막(서브타이틀)이 있는 경우, W3C(The World Wide Web Consortium)에 의해 규정된 TTML(TimedText MarkUp Language)이 많이 이용되고 있다. TTML은, 다른 표준화 단체에서도 채용이 진행되고 있으며, 유력한 포맷으로서 주목받고 있다.

TTML은, 다큐먼트 인스턴스라고 하는 구분에 따라서, 주로 2가지 타입으로 분류된다. 하나는, 「Initialization Document instance」라 칭해지는 다큐먼트 인스턴스이며, 예를 들어 서브타이틀로서 표시되는 문자의 색, 폰트, 표시 위치 등을 지정하는 기술에 의해 구성되는 인스턴스로 된다. 다른 하나는, 「Body Document instance」라 칭해지는 다큐먼트 인스턴스이며, 실제로 서브타이틀로서 실제로 표시되는 문자열 등의 기술에 의해 구성되는 인스턴스로 된다.

TTML을 이용하면, 예를 들어 「Initialization Document instance」에 기술된 문자의 색, 폰트, 표시 위치 등에 따라서, 「Body Document instance」에 기술된 문자열을 차례 차례로 표시시킬 수 있다.

즉, 스트림을 수신하여 표시하는 수신기에 있어서는, 처음에 「Initialization Document instance」를 해석하여, 문자의 색, 폰트, 표시 위치 등을 특정해 두고, 그 후, 「Body Document instance」를 해석하여 얻어진 문자열을 표시시키도록 할 수 있다. 즉, 수신기에 있어서, 문자의 색, 폰트, 표시 위치 등의 정의 정보인 렌더링 컨텍스트를 매번 해석할 필요가 없어지므로, 서브타이틀의 표시에 관한 처리 부하를 저감시키는 것이 가능해진다.

또한, 2D 프로그램과 3D 프로그램이 혼재되는 편성 형태에 있어서, 효율적인 대역 운용이나, 수신기측에서의 효율적인 채널 전환 처리를 실현하는 것이 가능한 스트림 수신 장치도 제안되어 있다(예를 들어, 특허문헌 1 참조).

일본 특허 공개 제2011-097227호 공보

그런데, 영화나 드라마 등의 콘텐츠의 경우와 달리, 예를 들어 뉴스나 스포츠 중계 등의 라이브 콘텐츠의 화상에 삽입되는 서브타이틀의 경우, 미리 서브타이틀의 문자열을 확정시켜 둘 수 없다. 이로 인해, 방송(스트리밍) 중에 서브타이틀의 문자열을 매번 삽입하는 처리가 필요해진다. 이러한 경우, 수신기에 TTML의 「Initialization Document instance」를 수신시켜서 렌더링 컨텍스트를 해석시킨 후, 「Body Document instance」를 매번 수신시키도록 하는 것이 바람직하다.

또한, 예를 들어 서브타이틀로서 표시하는 문자열의 내용(강조하고 싶은 문장이나, 놀람이나 곤혹을 나타내는 감정 표현문 등)에 따라서, 렌더링 컨텍스트를 변경시키고 싶은 경우도 있다. 이러한 경우, TTML의 「Initialization Document instance」에 의해, 복수 종류의 렌더링 컨텍스트를 미리 정의해 두고, 그 후, 「Body Document instance」에 있어서 사용하는 렌더링 컨텍스트를 지정하는 것도 가능하다.

그러나, MP4 파일 포맷에서는, TTML 인스턴스의 타입을 구분하여 저장하는 방법이 규정되어 있지 않기 때문에, 수신기가 TTML의 인스턴스의 타입을 식별할 수 없다. 이로 인해, IPTV 등의 인터넷 스트리밍에 있어서 서브타이틀을 표시시킬 때에는, 렌더링 컨텍스트의 해석에 관한 처리 부하를 경감시키는 것이 기대되고 있다.

본 기술은 이러한 상황을 감안하여 개시하는 것으로, 스트리밍에 있어서의 서브타이틀의 표시에 관한 처리 부하를 경감시킬 수 있도록 하는 것이다.

본 기술의 제1 측면은, 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와, 상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 서브타이틀 프래그먼트 생성부를 구비하고, 상기 서브타이틀 프래그먼트 생성부는, 상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가하는 스트리밍 배신 장치이다.

상기 서브타이틀 프래그먼트 생성부는, 상기 서브타이틀에 관한 TTML 다큐먼트 인스턴스의 기술 내용을 개별적으로 식별하는 기술 내용 식별 정보와 함께, 상기 TTML 다큐먼트 인스턴스가 기술된 샘플을, 상기 프래그먼트에 저장하도록 할 수 있다.

복수의 상기 프래그먼트를 포함하는 무비의 헤더 정보에 있어서, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보를 부가하는 무비 헤더 생성부를 더 구비하도록 할 수 있다.

복수의 상기 프래그먼트를 포함하는 무비의 헤더 정보에 있어서, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보를 부가하는 무비 헤더 생성부를 더 구비하고, 상기 무비 헤더 생성부는, 프래그먼트 구분 식별 정보에, 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스를 저장하고, 상기 프래그먼트의 헤더 정보에, 상기 인스턴스 구분 식별 정보가 부가되지 않도록 할 수 있다.

본 발명의 제1 측면은, 콘텐츠 프래그먼트 생성부가, 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하고, 서브타이틀 프래그먼트 생성부가, 상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하고, 상기 서브타이틀 프래그먼트 생성부에 의해, 상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보가 부가되는 스트리밍 배신 방법이다.

본 발명의 제1 측면은, 컴퓨터를, 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와, 상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 서브타이틀 프래그먼트 생성부를 구비하고, 상기 서브타이틀 프래그먼트 생성부는, 상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가하는 스트리밍 배신 장치로서 기능시키는 프로그램이다.

본 발명의 제1 측면에 있어서는, 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트가 생성되고, 상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트가 생성되고, 상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보가 부가된다.

본 발명의 제2 측면은, MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하는 무비 수신부와, 상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하는 TTML 판정부와, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 TTML 디코드부를 구비하는 스트리밍 수신 장치이다.

상기 TTML 디코드부는, 상기 프래그먼트의 헤더 정보에 포함되는, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보에 기초하여, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스의 구분을 식별하여 디코드하도록 할 수 있다.

상기 TTML 디코드부는, 상기 프래그먼트의 헤더 정보에 포함되는, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보에 기초하여, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스의 구분을 식별하고, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스라고 식별된 경우, 상기 프래그먼트에 저장된 샘플에 있어서의 상기 서브타이틀에 관한 TTML 다큐먼트 인스턴스의 기술 내용을 개별적으로 식별하는 기술 내용 식별 정보에 기초하여, 상기 TTML 다큐먼트 인스턴스를 디코드할지 여부를 판정하는 디코드 판정부를 구비하도록 할 수 있다.

상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 디코드부가, 프래그먼트 구분 식별 정보에 포함되는 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스를 디코드하도록 할 수 있다.

본 발명의 제2 측면은, 무비 수신부가, MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하고, TTML 판정부가, 상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하고, TTML 디코드부가, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 스트리밍 수신 방법이다.

본 발명의 제2 측면은, 컴퓨터를, MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하는 무비 수신부와, 상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하는 TTML 판정부와, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 TTML 디코드부를 구비하는 스트리밍 수신 장치로서 기능시키는 프로그램이다.

본 발명의 제2 측면에 있어서는, MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터가 수신되고, 상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부가 판정되고, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 추출되어 디코드된다.

본 발명의 제3 측면은, 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와, 상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 서브타이틀 프래그먼트 생성부를 구비하고, 상기 서브타이틀 프래그먼트 생성부는, 상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가하는 스트리밍 배신 장치와, MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하는 무비 수신부와, 상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하는 TTML 판정부와, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 TTML 디코드부를 구비하는 스트리밍 수신 장치를 포함하는 스트리밍 시스템이다.

본 발명의 제3 측면에 있어서는, 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트가 생성되고, 상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트가 생성되고, 상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보가 부가된다. 또한, MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터가 수신되고, 상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부가 판정되고, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 추출되어 디코드된다.

본 기술에 의하면, 스트리밍에 있어서의 서브타이틀의 표시에 관한 처리 부하를 경감시킬 수 있다.

도 1은 TTML의 구성을 설명하는 도면이다.
도 2는 MP4 파일 포맷에 있어서의 「BOX」의 구성을 나타내는 도면이다.
도 3은 「BOX」계층 구조를 설명하는 도면이다.
도 4는 MP4 파일 포맷을 이용한 스트리밍에 대하여 설명하는 도면이다.
도 5는 「Movie」의 구성을 설명하는 도면이다.
도 6은 「Movie」에 있어서의 「BOX」 구조를 설명하는 도면이다.
도 7은 「Non-fragment Movie」의 구성을 설명하는 도면이다.
도 8은 「Fragment Movie」의 구성을 설명하는 도면이다.
도 9는 「moov」의 「BOX」의 구성을 설명하는 도면이다.
도 10은 「Initialization Document instance」의 경우의 「moof」의 「BOX」의 구성을 설명하는 도면이다.
도 11은 「Body Document instance」의 경우의 「moof」의 「BOX」의 구성을 설명하는 도면이다.
도 12는 TTML의 다큐먼트 인스턴스가 저장되는 경우의 「mdat」의 「Sample」의 기술 형식을 설명하는 도면이다.
도 13은 본 기술의 일 실시 형태에 따른 스트리밍 시스템의 구성예를 나타내는 블록도이다.
도 14는 「Initialization Document instance」의 기술예를 나타내는 도면이다.
도 15는 「Body Document instance」의 기술예를 나타내는 도면이다.
도 16은 도 15의 「Body Document instance」에 기초하여 표시되는 서브타이틀을 나타내는 도면이다.
도 17은 「Body Document instance」의 다른 기술예를 나타내는 도면이다.
도 18은 도 17의 「Body Document instance」에 기초하여 표시되는 서브타이틀을 나타내는 도면이다.
도 19는 서브타이틀의 표시예를 설명하는 도면이다.
도 20은 스트리밍 배신 처리의 예를 설명하는 흐름도이다.
도 21은 서브타이틀 데이터 삽입 처리의 예를 설명하는 흐름도이다.
도 22는 콘텐츠 재생 처리의 예를 설명하는 흐름도이다.
도 23은 TT 디코드 처리의 예를 설명하는 흐름도이다.
도 24는 「moov」의 「BOX」의 다른 구성을 설명하는 도면이다.
도 25는 도 24에 대응하는 서브타이틀의 표시예를 설명하는 도면이다.
도 26은 퍼스널 컴퓨터의 구성예를 나타내는 블록도이다.

이하, 도면을 참조하여, 여기에서 개시하는 기술의 실시 형태에 대하여 설명한다.

처음에 TTML(TimedText MarkUp Language)에 대하여 설명한다. TTML은, W3C(The World Wide Web Consortium)에 의해 규정된 마크업 언어이며, 텍스트의 표시 위치(레이아웃), 표시의 타이밍 등을 지정할 수 있다.

예를 들어, 서버로부터 TTML로 기술된 정보를 전송하고, 클라이언트에 해석시킴으로써, 클라이언트의 디스플레이에 있어서, 지정된 시각에, 지정된 서체로, 지정된 영역에, 소정의 문자열을 표시시킬 수 있다. 이와 같이 TTML로 기술된 정보를 이용하면, 예를 들어 콘텐츠의 화상이나 음성과 동기시켜 서브타이틀을 표시시키는 것도 간단하게 실현할 수 있다.

TTML은, 다큐먼트 인스턴스라 칭해지는 텍스트의 집합체에 의해 구성되고, 다큐먼트 인스턴스는, 주로 2가지 타입으로 분류된다. 하나는, 「Initialization Document instance」라 칭해지는 다큐먼트 인스턴스이며, 예를 들어 서브타이틀로서 표시되는 문자의 색, 폰트, 표시 위치 등을 지정하는 기술에 의해 구성되는 인스턴스로 된다. 다른 하나는, 「Body Document instance」라 칭해지는 다큐먼트 인스턴스이며, 실제로 서브타이틀로서 실제로 표시되는 문자열 등의 기술에 의해 구성되는 인스턴스로 된다.

도 1은, TTML의 구성을 설명하는 도면이다.

도 1에 나타낸 인스턴스(21)가, 「Initialization Document instance」로 된다. 이 인스턴스(21)에는, 「head」, 「styling」, 「layout」, …이라고 하는 태그가 기술되어 있다. 「styling」, 「layout」의 태그에 의해, 서브타이틀로서 표시되는 문자의 색, 폰트, 표시 위치 등의 렌더링 컨텍스트가 지정된다.

또한, 이 예에서는, 「<region xml:id="subtitleArea" style="s1"…」이라고 하는 기술에 의해, 「s1」이라고 하는 렌더링 컨텍스트가 정의되어 있다. 예를 들어, 하나의 「Initialization Document instance」 중에서, 「s1」, 「s2」, …와 같이 복수 종류의 렌더링 컨텍스트를 정의하는 것도 가능하다.

도 1의 인스턴스(22)는, 「Body Document instance」로 된다. 이 인스턴스(22)에는, 「body」, 「div」, 「p」, …라고 하는 태그가 기술되어 있다. 예를 들어, 「<p xml:id=…>」라고 하는 기술에 의해, 서브타이틀의 문자열과, 그 문자열의 표시 개시 시각 및 표시 종료 시각이 지정되어 있다.

이와 같이, TTML은, 인스턴스(21)와 인스턴스(22)의 조합에 의해 이루어지는 계층 구조를 갖는 기술로 된다. 도 1의 인스턴스(22)의 도면 중 좌측에, 인스턴스(21)와 인스턴스(22)의 조합에 의해 이루어지는 계층 구조가 나타나 있다.

예를 들어, 스트림을 수신하여 표시하는 수신기에 있어서, 도 1에 나타내는 TTML을 수신시켜서 해석시킴으로써, 콘텐츠 중의 소정의 시간대에 소정의 문자열을 표시시키는 것이 가능해진다. 즉, 수신기의 디스플레이에 있어서, 인스턴스(22)의 「p」라고 하는 태그에 의해 지정된 문자열, 표시 개시 시각 및 표시 종료 시각에 기초하여, 서브타이틀의 표시가 적절히 변경되어 간다. 도 1의 예에서는, 인스턴스(22)의 「p」라고 하는 태그에 의해 지정된 문자열 F1, 문자열 F2, …가 시간의 경과에 수반하여 전환되어 표시된다.

또한, TTML의 상세에 대해서는, Timed Text Markup Language(TTML) 1.0 등에 개시되어 있다.

다음으로, MP4 파일 포맷에 대하여 설명한다. MP 파일 포맷은, 자유도가 높은 파일 포맷이며, 「BOX」라 칭해지는 다양한 크기의 데이터가 모여서 MP4 파일을 구성하도록 규정되어 있다. 「BOX」에는 여러 종류가 있으며, 자유롭게 증가시킬 수도 있다.

MP4 파일 포맷에 있어서의 「BOX」의 구성을 도 2에 나타낸다. 도 2에 있어서, 「Box Size」, 「Box Type」이라 표시되어 있는 영역에는, 상기 「BOX」의 크기와 타입(종류)이 기술된다. 그리고, 「Box Data」라고 표시된 영역에는, 예를 들어 인코드된 비디오 데이터, 오디오 데이터, 서브타이틀의 데이터 등이 저장된다.

또한, MP4 파일 포맷에 있어서는, 전술한 「BOX」가 계층 구조를 갖도록 규정되어 있다. 즉, 도 3에 나타낸 바와 같이, 상위 계층의「BOX」의 영역 「Box Data」 중에 하위 계층의 「BOX」를 저장할 수 있도록 이루어져 있다.

MP4 파일 포맷에 있어서는, 예를 들어 오디오 데이터의 디코드 단위, 비디오 데이터의 1 프레임 등, 전송되는 콘텐츠의 단위 데이터가 「Sample(샘플)」이라 칭해진다. 그리고, 복수의 「Sample」에 의해 「Chunk(청크)」가 구성된다. 예를 들어, 도 4에 나타낸 바와 같이, 오디오(audio)의 「Chunk」, 비디오(video)의 「Chunk」에 의해 스트리밍이 구성된다.

MP4 파일 포맷에 있어서는, 예를 들어 일련의 비디오의 「Chunk」의 집합체, 일련의 오디오의 「Chunk」의 집합체 등을 「Track(트랙)」이라 칭한다. 그리고, 복수의 트랙을 통합한 데이터를 「Movie(무비)」라 칭한다.

도 5는, 「Movie」의 구성을 설명하는 도면이다. 도 5의 예에서는, 비디오의 「Track」과, 오디오의 「Track」에 의해 하나의 「Movie」가 구성되어 있다.

「Movie」는, 전술한 바와 같이, 「BOX」 구조를 갖는다. 도 6은, 「Movie」에 있어서의 「BOX」 구조를 설명하는 도면이다. 도 6의 예에서는, 「Movie」의 「BOX」 중에, 「Movie Metadata box」와 「Movie Data box」가 저장되어 있다.

「Movie Metadata box」는, 「Movie Data box」 중에 저장된 각 「Sample」의 저장 위치에 관한 정보(「adrs=1000」등)와, 재생 시각이나 재생 시간에 관한 정보(「Δt=10」 등)가 기술된 「BOX」로 된다. 또한, 필요에 따라서 코덱 파라미터 등도 기술된다. 「Movie Data box」는, 각 「Sample」이 저장된 「BOX」로 된다. 또한, MP4 파일 포맷의 규격에서는, 「Movie Metadata box」는 「moov」라 칭해지고, 「Movie Data box」는 「mdat」라 칭해진다.

도 6에 나타낸 바와 같은 「Movie」를 수신기에 의해 수신하여 해석함으로써, 시각 t0, 시각 t10, 시각 t20, …에 있어서, 각각 Sample1, Sample2, Sample3, …이 재생되도록 할 수 있다.

또한, 「Movie」는, 크게 구별하면 2종류로 분류된다. 하나는, 「Non-fragment Movie」라 칭해지고, 예를 들어 영화나 드라마 등의 콘텐츠의 전송에 적합하다. 다른 하나는 「Fragmented Movie」라 칭해지고, 뉴스나 스포츠 중계 등의 라이브 콘텐츠의 전송에 적합하다.

도 7은, 「Non-fragment Movie」의 구성을 설명하는 도면이다.

도 7에 나타낸 바와 같이, 「Non-fragment Movie」의 선두에는, 「File Type(ftyp)」이라 칭해지는「BOX」가 배치된다. 「File Type(ftyp)」은, 파일 타입, 호환성 정보 등이 저장된 「BOX」로 된다.

「ftyp」에 이어서, 전술한 「moov」가 배치되고, 또한 전술한 「mdat」가 배치되어 있다. 전술한 바와 같이, 「moov」에는, 코덱 파라미터, 저장 위치 정보, 재생 시간 정보 등이 기술되어 있다. 「moov」는, 말하자면 「Movie」 전체에 있어서의 헤더 정보로 된다. 또한, 전술한 바와 같이, 「mdat」에는, 오디오 데이터의 디코드 단위, 비디오 데이터의 1 프레임 등으로 이루어지는 「Sample」이 저장되어 있다.

「Non-fragment Movie」에서는, 「moov」에 의해, 「Movie」 전체의 렌더링 컨텍스트가 정의되도록 이루어져 있다. 즉, 영화나 드라마 등의 콘텐츠의 경우, 어느 타이밍에서, 어느 화상, 어느 음성, 어느 자막이 재생되어야 할지 미리 알고 있으므로, 각 「Sample」을 수신하기 전에, 「Movie」 전체의 렌더링 컨텍스트를 정의할 수 있다.

뉴스나 스포츠 중계 등의 라이브 콘텐츠의 경우, 어느 타이밍에서, 어느 화상, 어느 음성, 어느 자막이 재생되어야 할지를 미리 알 수 없다. 이로 인해, 라이브 콘텐츠의 전송에는, 「Fragmented Movie」가 채용된다.

도 8은, 「Fragmented Movie」의 구성을 설명하는 도면이다.

도 8에 나타낸 바와 같이, 「Fragmented Movie」는, 「Non-fragment Movie」의 경우와 마찬가지로, 「ftyp」과 「moov」가 배치되지만, 그 후에는 「Fragment」라 칭해지는 「BOX」가 복수 배치된다. 「Fragment」는, 「Movie Fragment(moof)」라 칭해지는 「BOX」와, 「mdat」에 의해 구성되어 있다.

도 8에 나타낸 바와 같이, 각 「Fragment」의 각각에 「moof」가 설치되어 있으며, 「moof」는, 말하자면 「Fragment」의 헤더 정보로 된다. 「moof」에는, 상기 「Fragment」에 저장되어 있는 「mdat」의 「Sample」에 관한 저장 위치 정보, 재생 시간 정보 등이 기술되어 있다. 즉, 「Fragmented Movie」에서는, 「Non-fragment Movie」의 경우와 달리, 각 「Fragment」마다, 각 「Fragment」의 렌더링 컨텍스트가 정의되도록 이루어져 있다.

또한, 도 8에 나타낸 「Movie Fragment RandomAccess(mfra)」는, 「Fragmented Movie」의 마지막에 삽입되는 「BOX」로 되고, 랜덤 액세스용 정보 등이 저장된다.

또한, 도 7과 도 8에 나타낸 예는, MP4 파일 포맷으로서의 「Movie」의 구성을 나타낸 것이며, 예를 들어 인터넷 스트리밍 등이 행해질 때에는, 도 7과 도 8을 참조하여 전술한 데이터가 소정의 전송 포맷으로 배신되게 된다. 이 전송 포맷에 있어서는, 예를 들어 도 8에 나타낸 「moov」가, 「Fragment」간에 삽입되어 복수회 반복하여 배신되도록 이루어져 있다.

그런데, 최근 IP(Internet Protocol)를 이용하여 동화상 배신을 행하는 IPTV 등의 인터넷 스트리밍에 있어서의 표준화가 행해지고 있다. 예를 들어, HTTP(HyperText Transfer Protocol) 스트리밍에 의한 VoD(Video on Demand) 스트리밍이나, 라이브 스트리밍에 적용되는 방식의 표준화가 행해지고 있다. 이러한 표준화의 작업에 있어서, 컨테이너 레이어에 있어서 채용하는 포맷으로서, MP4 파일 포맷을 이용하는 것이 검토되고 있다.

또한, 스트리밍의 구성 요소로서 자막(서브타이틀)이 있는 경우, TTML이 많이 이용되고 있으며, 스트리밍의 표준화에 있어서도 주목받고 있다.

예를 들어, 뉴스나 스포츠 중계 등의 라이브 콘텐츠의 화상에 서브타이틀을 삽입하는 경우, 미리 서브타이틀의 문자열을 확정시켜 둘 수 없다. 이로 인해, 방송(스트리밍) 중에 서브타이틀의 문자열을 매번 삽입하는 처리가 필요해진다. 이러한 경우, 예를 들어 수신기에 TTML의 「Initialization Document instance」를 수신시켜서 렌더링 컨텍스트를 해석시킨 후, 「Body Document instance」를 매번 수신시키도록 하는 것이 바람직하다.

또한, 예를 들어 동일한 콘텐츠 중에서도, 서브타이틀로서 표시하는 문자열의 내용(강조하고 싶은 문장이나, 놀람이나 곤혹을 나타내는 감정 표현 문장 등)에 따라서, 렌더링 컨텍스트를 변경시키고 싶은 경우도 있다. 이러한 경우, TTML의 「Initialization Document instance」에 의해, 복수 종류의 렌더링 컨텍스트를 미리 정의해 두고, 그 후, 「Body Document instance」에 있어서 사용하는 렌더링 컨텍스트를 지정하는 것도 가능하다.

그러나, MP4 파일 포맷에서는, TTML 인스턴스의 타입을 구분하여 저장하는 방법이 규정되어 있지 않기 때문에, 수신기가 TTML의 인스턴스의 타입을 식별할 수 없다. 이로 인해, 종래, MP4 파일 포맷으로 송신되는 IPTV 등의 인터넷 스트리밍에 있어서는, 예를 들어 서브타이틀로서 표시시키는 문자열과 함께, 렌더링 컨텍스트를 매번 해석시키게 하지 않을 수 없었다. 이러한 상황 속에서, IPTV 등의 인터넷 스트리밍에 있어서 서브타이틀을 표시시킬 때에는, 렌더링 컨텍스트의 해석에 관한 처리 부하를 경감시키는 것이 기대되고 있었다.

따라서, 본 기술에서는, 다음과 같이 하여, MP4 파일 포맷을 이용하여, TTML 인스턴스의 타입을 구분하여 저장할 수 있도록 한다.

본 기술에서는, 「Fragmented Movie」로서 전송되는 콘텐츠에 있어서, 서브타이틀을 삽입하는 경우에 적용되는 것을 전제로 한다. 그리고, 「Fragment」 중 「mdat」의 「Sample」로서 TTML의 다큐먼트 인스턴스가 저장되어 전송되도록 한다. 즉, 스트리밍되는 콘텐츠에 삽입되는 서브타이틀을 표시시키기 위해서, 「Fragment」 중 「mdat」의 「Sample」로서, 도 1의 인스턴스(21), 또는 인스턴스(22) 등이 적절히 저장되게 된다.

우선, 본 기술에서는, 「moov」의 「BOX」에 기술된 정보에 기초하여, TTML로 기술된 정보가 포함되는 인터넷 스트리밍임을 식별할 수 있도록 한다. 구체적으로는, 「moov.trak.mdia.minf.stbl.stsd」에 TTML로 기술된 정보가 포함되는 것을 기술할 수 있도록 한다.

도 9는, 「moov」의 「BOX」의 구성을 설명하는 도면이다. 전술한 바와 같이, 「BOX」에서는 계층 구조가 채용되어 있으며, 「moov」의 「BOX」의 하위 계층의 「BOX」로서 「stsd」라 칭해지는 「BOX」가 설치되어 있다(「moov.trak.mdia.minf.stbl.stsd」와 같이 기술함). 「stsd」는, 트랙 데이터 재생을 위한 헤더 정보를 저장하기 위한 「BOX」로 되어 있다.

본 기술에서는, TTML로 기술된 정보가 포함되는 경우, 「stsd」의 「sampleEntry」에는, 4CC(four_character_code)의 「ttml」이 기술되도록 한다. 또한, 종래의 표준에서는, 오디오 데이터임을 나타내는 4CC의 「MP4A」, 비디오 데이터임을 나타내는 4CC의 「MP4V」 등이 「stsd」에 저장되는 것이 규정되어 있다.

또한, TTML로 기술된 정보가 포함되는 경우, 「moov.trak.mdia.hdlr」의 「HandlerType」에는, 「text」라고 기술되도록 한다.

또한, 본 기술에서는, 「moof」의 「BOX」에 기술된 정보에 기초하여, 상기 「Fragment」 중 「mdat」의 「Sample」로서 저장되어 있는 TTML의 다큐먼트 인스턴스가, 「Initialization Document instance」인지, 「Body Document instance」인지를 식별할 수 있도록 한다.

구체적으로는, 「moof」의 「BOX」의 「traf」라 칭해지는 「BOX」의 하위 계층의 「BOX」로서, 「ttsd」라 칭해지는 「BOX」를 새롭게 설치하는 것으로 한다. 그리고, 「ttsd」의 「initFlag」가 「true」라 기술되어 있는 경우, 상기 「Fragment」에 저장되어 있는 TTML 다큐먼트 인스턴스가, 「Initialization Document instance」임을 나타내는 것으로 한다. 또한, 「ttsd」의 「initFlag」이 「false」라 기술되어 있는 경우, 상기 「Fragment」에 저장되어 있는 TTML 다큐먼트 인스턴스가, 「Body Document instance」임을 나타내는 것으로 한다.

도 10은, 상기 「Fragment」에 저장되어 있는 TTML의 다큐먼트 인스턴스가, 「Initialization Document instance」인 경우의 「moof」의 「BOX」의 구성을 나타내는 도면이다. 도 10에 나타낸 바와 같이, 「moof」의 하위 계층에 「traf」가 존재하고, 또한 그 하위 계층의 「BOX」로서 「ttsd」가 설치되어 있다. 그리고, 「ttsd」에 저장되는 정보로서 「initFlag: "true"」라 기술되어 있다.

도 11은, 상기 「Fragment」에 저장되어 있는 TTML 다큐먼트 인스턴스가, 「Body Document instance」인 경우의 「moof」의 「BOX」의 구성을 나타내는 도면이다. 도 11에 나타낸 바와 같이, 「moof」의 하위 계층에 「traf」가 존재하고, 또한 그 하위 계층의 「BOX」로서 「ttsd」가 설치되어 있다. 그리고, 「ttsd」에 저장되는 정보로서 「initFlag: "false"」라 기술되어 있다.

또한, 본 기술에서는, 송신되어 온 TTML의 다큐먼트 인스턴스의 기술 내용에 변경(갱신)이 있었는지 여부를, 수신기가 판정할 수 있도록 한다. 구체적으로는, TTML의 다큐먼트 인스턴스가 저장되는 경우의 「mdat」의 「Sample」의 기술 형식을, 예를 들어 도 12에 나타낸 바와 같이 규정한다.

본 기술에서는, 도 12에 나타내는 「unsined id(16) document-id;」의 필드를 새롭게 설치하는 것으로 한다. 「unsined id(16) document-id;」의 필드에, 상기 「Sample」에 기술되어 있는 TTML의 다큐먼트 인스턴스를 식별하기 위한 식별자가 기술된다. 이 식별자는, 예를 들어 개개의 다큐먼트 인스턴스에 부여된 ID나 버전 등으로 된다. 당연히, 다큐먼트 인스턴스에 변경이 있는 경우, 상기한 식별자도 변경되므로, 예를 들어 수신기가 다큐먼트 인스턴스에 변경이 있었는지 여부를 판정하는 것이 가능해진다.

또한, 도 12에 나타내는 「unsined int(16) text-length;」의 필드에는, 「unsined int(8) text[text-length];」의 필드에 저장되는 텍스트의 텍스트 길이가 저장된다. 도 12에 나타내는 「unsined int(8) text[text-length];」의 필드에, TTML의 다큐먼트 인스턴스가 저장되도록 한다.

예를 들어, 복수의 채널로 콘텐츠를 스트리밍 방송하는 경우, 시청자는 언제 어느 채널을 선국할지 알 수 없으므로, 정기적으로 렌더링 컨텍스트의 정의 정보(즉, 「Initialization Document instance」)를 송신할 필요가 있다. 이 경우, 수신한 「Initialization Document instance」를 매번 구문 해석시키면, 수신기의 처리 부하가 증대하게 되므로, 한번 구문 해석한 「Initialization Document instance」에 기초하여, 그 후의 렌더링 컨텍스트가 정의되도록 하는 것이 바람직하다.

그러나, 「Initialization Document instance」의 내용이 갱신된 경우, 렌더링 컨텍스트가 변경되게 되므로, 수신기에서는, 새롭게 구문 해석을 행할 필요가 있다. 이로 인해, 전술한 바와 같이, 본 기술에서는, 송신되어 온 TTML 다큐먼트 인스턴스의 기술 내용에 변경(갱신)이 있었는지 여부를, 수신기가 판정할 수 있도록 이루어져 있다.

정리하면, 본 기술에서는, 「moov」의 「stsd」의 「sampleEntry」에 기술되는 새로운 4CC(four_character_code)로서, 「ttml」을 설치하는 것으로 한다. 그리고, 「moov」의 「stsd」의 기술을 참조함으로써, 「Fragment」에 TTML의 다큐먼트 인스턴스가 저장되어 있는 것을 식별할 수 있도록 한다.

또한, 본 기술에서는, 각 「Fragment」의 「moof」의 하위 계층의 「BOX」로서 「ttsd」를 설치한다. 그리고, 「ttsd」에 저장되는 정보로서 「initFlag: "true"」 또는 「initFlag: "false"」가 기술되는 것으로 하고, 상기 「Fragment」에 저장되어 있는 TTML이, 「Initialization Document instance」인지, 또는 「Body Document instance」인지를 식별할 수 있도록 한다.

또한, 본 기술에서는, 「mdat」의 「Sample」에 있어서, 「unsined id(16) document-id;」의 필드를 설치한다. 그리고, 이 필드에 저장된 식별자에 기초하여, TTML 다큐먼트 인스턴스의 기술 내용에 변경(갱신)이 있었는지 여부를 식별할 수 있도록 한다.

이와 같이 함으로써, MP4 파일 포맷을 이용하여, TTML 다큐먼트 인스턴스를 전송할 때 TTML 인스턴스의 타입을 구분하여 저장할 수 있으며, 또한 기술 내용의 갱신을 간단하게 식별할 수 있다. 따라서, 본 기술에 의하면, 예를 들어 IPTV 등의 스트리밍에 있어서의 서브타이틀의 표시에 관한 처리 부하를 경감시킬 수 있다.

도 13은, 본 기술의 일 실시 형태에 따른 스트리밍 시스템의 구성예를 나타내는 블록도이다. 도 13에 나타내는 스트리밍 시스템(100)은 TT(TimedText) 서버(121), IPTV 서버(122), 및 IPTV 클라이언트(123)에 의해 구성되어 있다.

도 13의 IPTV 서버(122)는 예를 들어 콘텐츠를 스트리밍 방송하는 송신기로서 구성되고, IPTV 클라이언트(123)는 스트리밍 방송을 수신하는 수신기로서 구성된다. 그리고, TT 서버(121)는 예를 들어 스트리밍 방송되는 콘텐츠에 삽입되는 서브타이틀에 관한 데이터를 생성하는 장치로 된다.

TT 서버(121)는 TT(TimedText) 프래그먼트 생성부(141), 및 샘플 삽입부(142)를 갖는 구성으로 되어 있다.

TT 프래그먼트 생성부(141)는 「moov」의 「stsd」의 「sampleEntry」에, 4CC의 「ttml」을 기술하고, 「moov.trak.mdia.hdlr」의 「HandlerType」에는, 「text」라 기술한다(이 처리는, 후술하는 「Fragment」의 생성보다는 빈도가 낮음). 또한, TT 프래그먼트 생성부(141)는 도 8을 참조하여 전술한 바와 같은 TTML의 다큐먼트 인스턴스가 저장되는 「Fragment」의 데이터를 생성한다. 이때, TT 프래그먼트 생성부(141)는 「moof」의 하위 계층의 「BOX」로서 「ttsd」를 설치한다. 그리고, TT 프래그먼트 생성부(141)는 생성되는 다큐먼트 인스턴스의 타입에 따라서 「ttsd」에 저장되는 정보로서 「initFlag: "true"」 또는 「initFlag: "false"」를 기술한다.

예를 들어, 상기 「Fragment」에 저장되어 있는 TTML의 다큐먼트 인스턴스가, 「Initialization Document instance」인 경우, 「ttsd」에 저장되는 정보로서 「initFlag: "true"」가 기술된다. 또한, 예를 들어 상기 「Fragment」에 저장되어 있는 TTML 다큐먼트 인스턴스가, 「Body Document instance」인 경우, 「ttsd」에 저장되는 정보로서 「initFlag: "false"」가 기술된다.

샘플 삽입부(142)는 TTML의 다큐먼트 인스턴스를 생성함과 함께, TT 프래그먼트 생성부(141)에 의해 생성된 「Fragment」 중 「mdat」의 「Sample」로서 TTML의 다큐먼트 인스턴스를 삽입한다.

이때, 샘플 삽입부(142)는 도 12를 참조하여 전술한 바와 같이, 「unsined id(16) document-id;」의 필드를 설치한다. 그리고, 샘플 삽입부(142)는 「unsined id(16) document-id;」의 필드에, 상기 「Sample」에 기술되어 있는 TTML의 다큐먼트 인스턴스를 식별하기 위한 식별자를 기술한다. 또한, 다큐먼트 인스턴스에 변경이 있는 경우, 상기한 식별자도 변경된다.

또한, NTP 동기된 타임 스탬프 생성부(151)에 의해 생성된 타임 스탬프가, TT 프래그먼트 생성부(141), 및 샘플 삽입부(142)에 적절히 공급되도록 이루어져 있다.

IPTV 서버(122)는 콘텐츠 샘플 생성부(161), 프래그먼트 멀티플렉서(162) 및 프래그먼트 배신부(163)를 갖는 구성으로 되어 있다.

콘텐츠 샘플 생성부(161)는 예를 들어 콘텐츠를 구성하는 음성 데이터, 화상 데이터 등을 인코드하여, 오디오 데이터, 비디오 데이터 등을 생성한다. 그리고, 콘텐츠 샘플 생성부(161)는 그들 오디오 데이터, 비디오 데이터 등에 기초하여, 「Sample」의 데이터를 생성한다.

프래그먼트 멀티플렉서(162)는 콘텐츠 샘플 생성부(161)가 생성한 「Sample」의 데이터를, 「mdat」 중에 저장한 「Fragment」를 생성한다. 그리고, 프래그먼트 멀티플렉서(162)는 TT 서버(121)에 의해 생성된 「Fragment」와, 자신이 생성한 「Fragment」를 다중화한다. 즉, 오디오 데이터, 비디오 데이터 등이 저장된 「Fragment」와 TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 다중화된다.

프래그먼트 배신부(163)는 프래그먼트 멀티플렉서(162)에 의해 다중화된 「Fragment」에 의해 구성되는 「Fragmented Movie」를, 네트워크 등을 통하여 배신한다. 이에 의해, 콘텐츠가 스트리밍 배신되게 된다.

또한, NTP 동기된 타임 스탬프 생성부(151)에 의해 생성된 타임 스탬프가, 콘텐츠 샘플 생성부(161), 및 프래그먼트 멀티플렉서(162)에 적절히 공급되도록 이루어져 있다.

IPTV 클라이언트(123)는 계시부(181), 프래그먼트 디멀티플렉서(182), TT(TimedText) 디코더(183), 콘텐츠 디코더(184) 및 표시 제어부(185)를 갖는 구성으로 되어 있다.

계시부(181)는 각 부에 NTP 동기된 시각 정보를 공급한다.

프래그먼트 디멀티플렉서(182)는 IPTV 서버(122)로부터 송신된 「Fragmented Movie」를, 네트워크 등을 통하여 수신하고, 「Fragmented Movie」를 구성하는 각 「Fragment」를 추출한다. 그리고, 프래그먼트 디멀티플렉서(182)는 「moov」의 「stsd」의 「sampleEntry」의 기술을 해석하고, 상기 「Fragmented Movie」에는, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 존재하고 있는지 여부를 판정한다. 즉, 「moov」의 「stsd」의 「sampleEntry」의 기술이 「ttml」인 경우, 상기 「Fragmented Movie」에는, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 존재한다고 판정된다.

TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 존재한다고 판정된 경우, 프래그먼트 디멀티플렉서(182)는 각 「Fragment」의 「moof」의 「ttsd」를 체크하여, 상기 「Fragment」에 TTML의 다큐먼트 인스턴스가 저장되어 있는지 여부를 판정한다. 즉, 「moof」의 하위에 「ttsd」가 설치되어 있는 「Fragment」는, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」라 판정되고, TT 디코더(183)에 공급된다. 한편, 「moof」에 「ttsd」가 설치되어 있지 않은 「Fragment」는, TTML의 다큐먼트 인스턴스가 저장되어 있지 않은 「Fragment」(오디오 데이터, 비디오 데이터 등의 「Fragment」)라 판정되고, 콘텐츠 디코더(184)에 공급된다.

TT 디코더(183)는 TTML의 다큐먼트 인스턴스가 저장된 「Sample」의 데이터의 디코드를 행하는 기능 블록으로 된다. 또한, TT 디코더(183)에 있어서의 디코드는, 주로 TTML 다큐먼트 인스턴스의 구문 해석을 의미하는 것이다.

TT 디코더(183)는 각 「Fragment」의 「moof」의 「ttsd」의 기술에 기초하여, 상기 「Fragment」에 저장되어 있는 TTML의 다큐먼트 인스턴스의 타입을 판정한다. 즉, 「ttsd」의 기술이 「initFlag: "true"」인 경우, 상기 「Fragment」에는, 「Initialization Document instance」가 저장되어 있다고 판정된다. 한편, 「ttsd」의 기술이 「initFlag: "false"」인 경우, 상기 「Fragment」에는, 「Body Document instance」가 저장되어 있다고 판정된다.

「Initialization Document instance」가 저장되어 있다고 판정된 경우, TT 디코더(183)는 「Fragment」 중 「mdat」의 「Sample」의 「unsined id(16) document-id;」의 필드에 기술된 식별자를 기억한다. 그리고, TT 디코더(183)는 「mdat」의 「Sample」 중에 저장된 「Initialization Document instance」의 기술을 해석하고, 렌더링 컨텍스트를 설정한다.

이 이후, TT 디코더(183)는 「unsined id(16) document-id;」의 필드에 기술된 식별자를, 미리 기억하고 있는 식별자와 비교하여, 「Initialization Document instance」에 변경이 있었는지 여부를 판정한다. 그리고, TT 디코더(183)는 「Initialization Document instance」에 변경이 있었다고 판정된 경우에만, 「mdat」의 「Sample」 중에 저장된 「Initialization Document instance」의 기술을 해석하고, 렌더링 컨텍스트를 다시 설정하도록 이루어져 있다.

또한, 「Body Document instance」가 저장되어 있다고 판정된 경우, TT 디코더(183)는 「mdat」의 「Sample」 중에 저장된 「Body Document instance」를 해석하고, 서브타이틀의 표시 데이터를 생성한다. 여기서 생성된 서브타이틀의 표시 데이터는, 표시 시각에 관한 정보와 함께, 표시 제어부(185)에 공급된다.

콘텐츠 디코더(184)는 「mdat」의 「Sample」 중에 저장된 오디오 데이터, 비디오 데이터 등을 디코드하고, 화상의 표시 데이터, 음성의 출력 데이터 등을 생성한다. 여기서 생성된 화상의 표시 데이터, 음성의 출력 데이터 등은, 표시 시각, 출력 시각 등에 관한 정보와 함께 표시 제어부(185)에 공급된다.

표시 제어부(185)는 표시 시각에 관한 정보 등에 기초하여, 콘텐츠의 화상에 서브타이틀을 중첩하여 표시시키기 위한 화상 신호를 생성하여, 디스플레이(도시생략) 등에 공급한다. 또한, 표시 제어부(185)는 출력 시각에 관한 정보 등에 기초하여, 콘텐츠의 음성을 출력시키기 위한 음성 신호를 생성하고, 스피커(도시생략) 등에 공급한다.

이와 같은 스트리밍 시스템(100)에 의해, 예를 들어 다음과 같은 서브타이틀의 표시를 제어하는 것이 가능해진다.

예를 들어, TT 서버(121)에 의해, 도 14에 나타낸 바와 같은 TTML의 다큐먼트 인스턴스를 「Fragment」에 저장하고, IPTV 서버(122)로부터 배신한다. 도 14는, 「Initialization Document instance」의 기술의 일례로 된다.

그리고, TT 서버(121)에 의해, 도 15에 나타낸 바와 같은 TTML의 다큐먼트 인스턴스를 「Fragment」에 저장하고, IPTV 서버(122)로부터 배신한다. 도 15는, 「Body Document instance」의 기술의 일례로 된다.

도 14의 기술에 따라서 설정된 렌더링 컨텍스트에 있어서, 도 15의 기술에 의해 지정된 문자열을 표시시키면, 예를 들어 도 16에 나타낸 바와 같은 서브타이틀을 표시시킬 수 있다.

그 후, TT 서버(121)에 의해, 도 17에 나타낸 바와 같은 TTML의 다큐먼트 인스턴스를 「Fragment」에 저장하고, IPTV 서버(122)로부터 배신한다. 도 17은, 「Body Document instance」의 기술의 다른 예로 된다.

도 14의 기술을 따라서 설정된 렌더링 컨텍스트에 있어서, 도 17의 기술에 의해 지정된 문자열을 표시시키면, 예를 들어 도 18에 나타낸 바와 같은 서브타이틀을 표시시킬 수 있다.

또한, 「Body Document instance」의 「<p>」라 하는 태그에 의해 지정된 문자열이, 서브타이틀의 문자열로 된다. 「<p>」의 태그 내에 시간이 지정되어 있는 경우에는 그 시간 지정에 맞춰서 문자열이 표시되고, 시간 지정이 없는 경우, 또는 표시 기간(duration)만 지정되어 있는 경우에는, 상기 「Sample」의 「decodingTime」으로서 특정되는 재생 시각에 표시가 개시되도록 제어된다.

즉, 도 19에 나타낸 바와 같이, Fragment0, Fragment1, Fragment2의 각 「Fragment」의 「mdat」의 「Sample」로서 저장된 TTML의 다큐먼트 인스턴스가 해석되어 서브타이틀이 표시된다.

이 예에서는, Fragment0의 mdat0에 도 14에 나타내는 「Initialization Document instance」(Init instance)가 저장되어 있는 것으로 한다. 또한, Fragment1의 mdat1에 도 15에 나타내는 「Body Document instance」(Body instance1)이 저장되어 있는 것으로 한다. 또한, Fragment2의 mdat2에 도 17에 나타내는 「Body Document instance」(Body instance2)가 저장되어 있는 것으로 한다.

도 19의 예에서는, Fragment0의 mdat0의 Sample0에 저장된 Init 인스턴스에 기초하여 렌더링 컨텍스트가 설정되어 있다. 그 후, 시각 t1에 있어서, Fragment1의 mdat1의 Sample1에 저장된 Body instance1에 기초하여, 도 16에 나타낸 바와 같은 서브타이틀이 표시되어 있다. 또한, 그 후, 시각 t2에 있어서, Fragment2의 mdat2의 Sample2에 저장된 Body instance2에 기초하여, 도 18에 나타낸 바와 같은 서브타이틀이 표시되어 있다.

또한, 전술한 시각 t1 및 시각 t2는, moov.trak.mdia.minf.stbl.stts 또는, moof.traf.tfdt에 기술되는 그 moof에 대응하는 최초의 mdat에 저장되는 최초의 「Sample」의 「decoding time」에 기초하여 산출된다.

즉, TTML의 다큐먼트 인스턴스 중에 기술되는 문자열의 표시 시간을 특정하기 위해서, 그 다큐먼트 인스턴스가 저장되는 MP4 파일의 「Sample」의 제시 시각이 이용된다.

다음으로, 도 20의 흐름도를 참조하여, 도 13의 IPTV 서버(122)에 의한 스트리밍 배신 처리의 예에 대하여 설명한다. 이 처리는, 예를 들어 라이브 콘텐츠에 서브타이틀을 삽입하여, 「Fragmented Movie」로서 네트워크 등을 통하여 배신하는 경우에 실행된다.

스텝 S21에 있어서, IPTV 서버(122)는 콘텐츠의 데이터를 취득한다. 이때, 예를 들어 콘텐츠를 구성하는 음성 데이터, 화상 데이터 등이 취득된다.

스텝 S22에 있어서, 콘텐츠 샘플 생성부(161)는 예를 들어 콘텐츠를 구성하는 음성 데이터, 화상 데이터 등을 인코드하여, 오디오 데이터, 비디오 데이터 등을 생성한다. 그리고, 콘텐츠 샘플 생성부(161)는 그들 오디오 데이터, 비디오 데이터 등에 기초하여, 「Sample」의 데이터를 생성한다.

스텝 S23에 있어서, 프래그먼트 멀티플렉서(162)는 스텝 S22에서 생성된 「Sample」의 데이터를, 「mdat」 중에 저장한 「Fragment」를 생성한다.

스텝 S24에 있어서, TT 서버(121)는 도 21을 참조하여 후술하는 서브타이틀 데이터 삽입 처리를 실행한다. 이에 의해, 스트리밍 배신되는 콘텐츠의 데이터에, 서브타이틀에 관한 데이터가 삽입된다.

여기서, 도 21의 흐름도를 참조하여, 도 20의 스텝 S24의 서브타이틀 데이터 삽입 처리가 상세한 예에 대하여 설명한다.

스텝 S41에 있어서, TTML 문장이 생성된다.

스텝 S42에 있어서, TT 프래그먼트 생성부(141)는 「moov」의 「stsd」의 「sampleEntry」에, 4CC의 「ttml」을 기술하고, 「moov.trak.mdia.hdlr」의 「HandlerType」에는, 「text」라 기술한다(이 처리는, 후술하는 「Fragment」의 생성보다는 빈도가 낮음). 또한, TT 프래그먼트 생성부(141)는 TTML의 다큐먼트 인스턴스가 저장되는 「Fragment」의 데이터를 생성한다. 이때, TT 프래그먼트 생성부(141)는 「moof」의 하위 계층의 「BOX」로서 「ttsd」를 설치한다. 그리고, TT 프래그먼트 생성부(141)는 생성되는 다큐먼트 인스턴스의 타입에 따라서 「ttsd」에 저장되는 정보로서 「initFlag: "true"」 또는 「initFlag: "false"」를 기술한다.

스텝 S43에 있어서, 샘플 삽입부(142)는 스텝 S41에서 생성된 TTML 문장에 기초하여, TTML의 다큐먼트 인스턴스를 생성함과 함께, 스텝 S42에서 생성된 「Fragment」 중 「mdat」의 「Sample」로서 TTML의 다큐먼트 인스턴스를 삽입한다.

이때, 샘플 삽입부(142)는 도 12를 참조하여 전술한 바와 같이, 「unsined id(16) document-id;」의 필드를 설치한다. 그리고, 샘플 삽입부(142)는 「unsined id(16) document-id;」의 필드에, 상기 「Sample」에 기술되어 있는 TTML의 다큐먼트 인스턴스의 타입을 식별하기 위한 식별자를 기술한다. 또한, 다큐먼트 인스턴스에 변경이 있는 경우, 상기한 식별자도 변경된다.

스텝 S44에 있어서, 샘플 삽입부(142)는 스텝 S43의 처리에 의해 TTML의 다큐먼트 인스턴스가 삽입된 「Fragment」를 출력한다. 이에 의해, IPTV 서버(122)의 프래그먼트 멀티플렉서(162)에, 상기 「Fragment」가 공급된다.

도 20으로 되돌아가서, 스텝 S24의 처리의 후, 스텝 S25에 있어서, 프래그먼트 멀티플렉서(162)는 도 21의 스텝 S41의 처리에서 생성된 「Fragment」와, 스텝 S23의 처리에서 생성된 「Fragment」를 다중화한다. 즉, 오디오 데이터, 비디오 데이터 등이 저장된 「Fragment」와 TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 다중화된다.

스텝 S26에 있어서, 프래그먼트 멀티플렉서(162)는 「Fragmented Movie」의 데이터를 생성한다.

스텝 S27에 있어서, 프래그먼트 배신부(163)는 스텝 S26의 처리에서 생성된 「Fragmented Movie」를, 네트워크 등을 통하여 배신한다.

이와 같이 하여, 스트리밍 배신 처리가 실행된다.

다음으로, 도 22의 흐름도를 참조하여, 도 13의 IPTV 클라이언트(123)에 의한 콘텐츠 재생 처리의 예에 대하여 설명한다.

스텝 S61에 있어서, IPTV 클라이언트(123)의 프래그먼트 디멀티플렉서(182)는 도 20의 스텝 S27의 처리에서 배신된 「Fragmented Movie」를 수신한다.

스텝 S62에 있어서, 프래그먼트 디멀티플렉서(182)는 스텝 S61에서 수신한 「Fragmented Movie」의 「moov」의 「stsd」의 「sampleEntry」의 기술을 해석한다.

스텝 S63에 있어서, 프래그먼트 디멀티플렉서(182)는 스텝 S61에서 수신한 「Fragmented Movie」를 구성하는 각 「Fragment」를 추출한다.

스텝 S64에 있어서, 프래그먼트 디멀티플렉서(182)는 스텝 S62의 처리에서의 해석 결과에 기초하여, 상기 「Fragmented Movie」에는, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 존재하고 있는지 여부를 판정한다. 이때, 「moov」의 「stsd」의 「sampleEntry」의 기술이 「ttml」인 경우, 상기 「Fragmented Movie」에는, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 존재한다고 판정된다.

스텝 S64에 있어서, 상기 「Fragmented Movie」에는, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 존재한다고 판정된 경우, 처리는 스텝 S65로 진행한다.

스텝 S65에 있어서, 프래그먼트 디멀티플렉서(182) 및 TT 디코더(183)는 도 23의 흐름도를 참조하여 후술하는 TT 디코드 처리를 실행한다.

여기서, 도 23의 흐름도를 참조하여 도 22의 스텝 S65의 TT 디코드 처리의 상세한 예에 대하여 설명한다.

스텝 S81에 있어서, 프래그먼트 디멀티플렉서(182)는 각 「Fragment」의 「moof」의 「ttsd」를 체크한다.

스텝 S82에 있어서, 프래그먼트 디멀티플렉서(182)는 상기 「Fragment」에 TTML의 다큐먼트 인스턴스가 저장되어 있는지 여부를 판정한다. 이때, 「moof」의 하위에 「ttsd」가 설치되어 있는 「Fragment」는, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」라 판정된다. 한편, 「moof」에 「ttsd」가 설치되어 있지 않은 「Fragment」는, TTML의 다큐먼트 인스턴스가 저장되어 있지 않은 「Fragment」(오디오 데이터, 비디오 데이터 등의 「Fragment」)라 판정된다.

스텝 S82에 있어서, 상기 「Fragment」에 TTML의 다큐먼트 인스턴스가 저장되어 있다고 판정된 경우, 처리는 스텝 S83으로 진행한다.

스텝 S83에 있어서, TT 디코더(183)는 「Fragment」의 「moof」의 「ttsd」의 기술에 기초하여, 상기 「Fragment」에 저장되어 있는 TTML의 다큐먼트 인스턴스의 타입을 판정한다. 이때, 「ttsd」의 기술이 「initFlag: "true"」인 경우, 상기 「Fragment」에는, 「Initialization Document instance」가 저장되어 있다고 판정된다. 한편, 「ttsd」의 기술이 「initFlag: "false"」인 경우, 상기 「Fragment」에는, 「Body Document instance」가 저장되어 있다고 판정된다.

스텝 S83의 처리에서 「Initialization Document instance」가 저장되어 있다고 판정된 경우, 처리는 스텝 S84로 진행한다.

스텝 S84에 있어서, TT 디코더(183)는 TT 디코더(183)는 「unsined id(16) document-id;」의 필드에 기술된 식별자를 취득한다.

스텝 S85에 있어서, TT 디코더(183)는 스텝 S84에서 취득한 식별자를 미리 기억하고 있는 식별자와 비교하여, 「Initialization Document instance」에 변경이 있었는지 여부를 판정한다. 또한, 「Initialization Document instance」가 최초에 수신되었을 때는, 「Initialization Document instance」에 변경이 있었다고 판정되게 된다.

스텝 S85에 있어서, 「Initialization Document instance」에 변경이 있었다고 판정된 경우, 처리는 스텝 S86으로 진행한다.

스텝 S86에 있어서, TT 디코더(183)는 「Fragment」 중 「mdat」의 「Sample」의 「unsined id(16) document-id;」의 필드에 기술된 식별자를 기억한다. 또한, 예를 들어 복수의 채널에서 콘텐츠가 스트리밍 방송되어 있는 경우, 상기 식별자는, 채널에 대응지어 기억된다.

스텝 S87에 있어서, TT 디코더(183)는 「mdat」의 「Sample」 중에 저장된 「Initialization Document instance」의 기술을 해석(디코드)한다.

스텝 S88에 있어서, TT 디코더(183)는 스텝 S87에서의 해석 결과에 기초하여, 렌더링 컨텍스트를 설정한다.

또한, 스텝 S85에 있어서, 「Initialization Document instance」에 변경이 없었다고 판정된 경우, 스텝 S86 내지 스텝 S88의 처리는 스킵된다.

한편, 스텝 S83의 처리에서, 「Body Document instance」가 저장되어 있다고 판정된 경우, 처리는 스텝 S89로 진행한다.

스텝 S89에 있어서, TT 디코더(183)는 「mdat」의 「Sample」 중에 저장된 「Body Document instance」를 해석(디코드)한다.

스텝 S90에 있어서, TT 디코더(183)는 스텝 S89에서의 해석 결과에 기초하여, 서브타이틀의 표시 데이터를 생성한다. 여기서 생성된 서브타이틀의 표시 데이터는, 표시 시각에 관한 정보와 함께, 표시 제어부(185)에 공급된다.

또한, 스텝 S82에 있어서, 상기 「Fragment」에 TTML의 다큐먼트 인스턴스가 저장되어 있지 않다고 판정된 경우, 처리는 도 22의 스텝 S66으로 진행한다.

이와 같이 하여, TT 디코드 처리가 실행된다.

도 22의 설명으로 되돌아간다. 스텝 S64에 있어서, 상기 「Fragmented Movie」에는, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 존재하지 않는다고 판정된 경우, 처리는 스텝 S66으로 진행한다.

스텝 S66에 있어서, 콘텐츠 디코더(184)는 「mdat」의 「Sample」 중에 저장된 오디오 데이터, 비디오 데이터 등을 디코드한다.

스텝 S67에 있어서, 콘텐츠 디코더(184)는 스텝 S66의 처리 결과 얻어진 화상의 표시 데이터, 음성의 출력 데이터 등을 출력한다. 여기서 생성된 화상의 표시 데이터, 음성의 출력 데이터 등은, 표시 시각, 출력 시각 등에 관한 정보와 함께 표시 제어부(185)에 공급된다.

스텝 S68에 있어서, 표시 제어부(185)는 표시 시각에 관한 정보 등에 기초하여, 콘텐츠의 화상에 서브타이틀을 중첩하여 표시시키기 위한 화상 신호를 생성하여, 디스플레이(도시생략) 등에 공급한다. 또한, 표시 제어부(185)는 출력 시각에 관한 정보 등에 기초하여, 콘텐츠의 음성을 출력시키기 위한 음성 신호를 생성하고, 스피커(도시생략) 등에 공급한다.

즉, 도 22의 스텝 S67의 처리에서 생성된 화상의 표시 데이터, 음성의 출력 데이터와, 도 23의 스텝 S90의 처리에서 생성된 서브타이틀의 표시 데이터가 동기하여 표시 또는 출력된다.

스텝 S69에 있어서, 「Fragmented Movie」가 종료되었는지 여부가 판정된다. 예를 들어, 도 8에 나타낸 「Movie Fragment RandomAccess(mfra)」가 수신된 경우, 「Fragmented Movie」가 종료되었다고 판정된다. 또한, 예를 들어 유저가 수신을 정지하도록 명령한 경우, 「Fragmented Movie」가 종료되었다고 판정된다.

스텝 S69에 있어서, 아직, 「Fragmented Movie」가 종료되지 않았다고 판정된 경우, 처리는 스텝 S63으로 되돌아간다. 한편, 스텝 S69에 있어서, 「Fragmented Movie」가 종료되었다고 판정된 경우, 처리는 종료된다.

이와 같이 하여, 콘텐츠 재생 처리가 실행된다.

그런데, 이상에서는, 도 9를 참조하여 전술한 바와 같이, TTML로 기술된 정보가 포함되는 경우, 「moov.trak.mdia.minf.stbl.stsd」의 「sampleEntry」에는, 4CC의 「ttml」이 기술되도록 하는 것으로 설명하였다. 그러나, 「moov.trak.mdia.minf.stbl.stsd」에, 또한 「Initialization Document instance」가 저장되도록 하는 것도 가능하다.

도 24는, 「Initialization Document instance」가 저장되도록 한 경우의 「moov」의 「BOX」의 구성을 설명하는 도면이다. 도 24에 나타낸 바와 같이, 「moov.trak.mdia.minf.stbl.stsd」의 「sampleEntry」에는, 도 9의 경우와 마찬가지로, 4CC의 「ttml」이 기술되어 있지만, 이것에 계속해서 「TTconfig {…」이라고 하는 기술이 이루어져 있다.

그리고, 도 24의 「TTconfig {…」이라고 하는 기술에 있어서, 「unsined id(16) document-id;」의 필드가 설치되어 있다. 이것은, 도 12를 참조하여 전술한 경우와 마찬가지로, TTML의 다큐먼트 인스턴스를 식별하기 위한 식별자가 기술되는 필드로 된다. 이 식별자는, 예를 들어 개개의 다큐먼트 인스턴스에 부여된 ID나 버전 등으로 된다. 당연히, 다큐먼트 인스턴스에 변경이 있는 경우, 상기한 식별자도 변경되므로, 예를 들어 수신기가 다큐먼트 인스턴스에 변경이 있었는지 여부를 판정하는 것이 가능해진다.

또한, 도 24에 나타내는 「unsined int(16) text-length;」의 필드에는, 「unsined int(8) text[text-length];」의 필드에 저장되는 텍스트의 텍스트 길이가 저장된다. 도 24에 나타내는 「unsined int(8) text[text-length];」의 필드에, TTML 다큐먼트 인스턴스가 저장되도록 한다. 도 24의 예의 경우, 「unsined int(8) text[text-length];」의 필드에는, 「Initialization Document instance」만이 저장되고, 「Body Document instance」는 저장되지 않는다.

또한, 도 24에 나타낸 바와 같이 「moov」를 구성하는 경우, 「moof」의 「traf」의 하위 계층의 「BOX」인 「ttsd」에, 「initFlag: "true"」 또는 「initFlag: "false"」를 기술할 필요는 없다(기술하여도 되지만, 무의미한 정보로 됨). 즉, 이 경우, 각 「Fragment」 중 「mdat」의 「Sample」로서 저장되는 TTML의 다큐먼트 인스턴스는, 「Body Document instance」만으로 된다. 따라서, 상기 「Fragment」에 저장되어 있는 TTML 다큐먼트 인스턴스가, 「Initialization Document instance」이거나, 「Body Document instance」를 나타낼 필요는 없다.

또한, 도 24에 나타낸 바와 같이 「moov」를 구성하는 경우, 예를 들어 IPTV 서버(122)의 TT 프래그먼트 생성부(141)가 「Fragmented Movie」의 데이터를 생성할 때, 「moov」의 「stsd」의 「sampleEntry」에, 4CC의 「ttml」을 기술하고, 「moov.trak.mdia.hdlr」의 「HandlerType」에는, 「text」라고 기술한다. 또한, TT 프래그먼트 생성부(141)는 「moov」의 「stsd」에 도 24의 「TTconfig {…」이라고 하는 기술을 추가한다. 또한, 이때, 「unsined int(8) text[text-length];」의 필드에는, 「Initialization Document instance」가 저장되게 된다.

도 24에 나타낸 바와 같이 「moov」를 구성하는 경우, 예를 들어 IPTV 클라이언트(123)의 프래그먼트 디멀티플렉서(182)가 「Fragmented Movie」의 「moov」의 「stsd」의 「sampleEntry」의 기술을 해석하고, 상기 「Fragmented Movie」에는, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 존재하고 있는지 여부를 판정한다. 여기서, TTML의 다큐먼트 인스턴스가 저장된 「Fragment」가 존재하고 있다고 판정된 경우(즉, 「stsd」의 「sampleEntry」에, 4CC의 「ttml」이 기술되어 있던 경우), 「TTconfig {…」이라고 하는 기술이 TT 디코더(183)에 공급된다.

그리고, TT 디코더(183)는 「unsined id(16) document-id;」의 필드에 기술된 식별자를 취득하고, 미리 기억하고 있는 식별자와 비교하여, 「Initialization Document instance」에 변경이 있었는지 여부를 판정한다. 「Initialization Document instance」에 변경이 있었다고 판정된 경우, TT 디코더(183)는 「unsined id(16) document-id;」의 필드에 기술된 식별자를 기억한다. 또한, 예를 들어 복수의 채널로 콘텐츠가 스트리밍 방송되고 있는 경우, 상기 식별자는, 채널에 대응지어 기억된다.

또한, TT 디코더(183)는 「unsined int(8) text[text-length];」의 필드에 저장되어 있는 「Initialization Document instance」의 기술을 해석(디코드)한다. 그리고, 해석 결과에 기초하여, 렌더링 컨텍스트가 설정된다.

도 24에 나타낸 바와 같이 「moov」를 구성하는 경우, 도 25에 나타낸 바와 같이, Fragment1, Fragment2의 각 「Fragment」의 「mdat」의 「Sample」로서 저장된 TTML의 다큐먼트 인스턴스가 해석되어 서브타이틀이 표시된다.

이 예에서는, Fragment1의 mdat1에 도 15에 나타내는 「Body Document instance」(Body instance1)이 저장되어 있던 것으로 한다. 또한, Fragment2의 mdat2에 도 17에 나타내는 「Body Document instance」(Body instance2)가 저장되어 있던 것으로 한다.

도 25의 예에서는, 「moov」의 「stsd」에 저장된 「Initialization Document instance(Init instance)」에 기초하여 렌더링 컨텍스트가 설정되어 있다. 그 후, 시각 t1에 있어서, Fragment1의 mdat1의 Sample1에 저장된 Body instance1에 기초하여, 도 16에 나타낸 바와 같은 서브타이틀이 표시되어 있다. 또한, 그 후, 시각 t2에 있어서, Fragment2의 mdat2의 Sample2에 저장된 Body instance2에 기초하여, 도 18에 나타낸 바와 같은 서브타이틀이 표시되어 있다.

또한, 전술한 시각 t1 및 시각 t2는, moov.trak.mdia.minf.stbl.stts, 또는 moof.traf.tfdt에 기술되는 그 moof에 대응하는 최초의 mdat에 저장되는 최초의 「Sample」의 「decoding time」에 기초하여 산출된다.

이와 같이, 「moov.trak.mdia.minf.stbl.stsd」에, 또한 「Initialization Document instance」가 저장되도록 하여도 된다.

또한, 전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 전술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한, 예를 들어 도 26에 나타낸 바와 같은 범용의 퍼스널 컴퓨터(700) 등에, 네트워크나 기록 매체로부터 인스톨된다.

도 26에 있어서, CPU(701: Central Processing Unit)는, ROM(702: Read Only Memory)에 기억되어 있는 프로그램, 또는 기억부(708)로부터 RAM(703: Random Access Memory)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(703)에는 또한, CPU(701)가 각종 처리를 실행하는데 있어서 필요한 데이터 등도 적절히 기억된다.

CPU(701), ROM(702) 및 RAM(703)은, 버스(704)를 통해 서로 접속되어 있다. 이 버스(704)에는 또한, 입출력 인터페이스(705)도 접속되어 있다.

입출력 인터페이스(705)에는, 키보드, 마우스 등으로 이루어지는 입력부(706), LCD(Liquid Crystal display) 등으로 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(707), 하드디스크 등으로 구성되는 기억부(708), 모뎀, LAN 카드 등의 네트워크 인터페이스 카드 등으로 구성되는 통신부(709)가 접속되어 있다. 통신부(709)는 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.

입출력 인터페이스(705)에는 또한, 필요에 따라서 드라이브(710)가 접속되고, 자기디스크, 광디스크, 광자기디스크, 또는 반도체 메모리 등의 리무버블 미디어(711)가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라서 기억부(708)에 인스톨된다.

전술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 인터넷 등의 네트워크나, 리무버블 미디어(711) 등으로 이루어지는 기록 매체로부터 인스톨된다.

또한, 이 기록 매체는, 도 26에 나타내는, 장치 본체와는 별도로, 유저에게 프로그램을 배신하기 위해 배포되는, 프로그램이 기록되어 있는 자기디스크(플로피디스크(등록상표)를 포함함), 광디스크(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광자기디스크(MD(Mini-Disk)(등록 상표)을 포함함), 또는 반도체 메모리 등으로 이루어지는 리무버블 미디어(711)에 의해 구성되는 것뿐만 아니라, 장치 본체에 미리 내장된 상태에서 유저에게 배신되는, 프로그램이 기록되어 있는 ROM(702)이나, 기억부(708)에 포함되는 하드디스크 등으로 구성되는 것도 포함한다.

또한, 본 명세서에 있어서 전술한 일련의 처리는, 기재된 순서를 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별로 실행되는 처리도 포함하는 것이다.

또한, 본 기술의 실시 형태는, 전술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

[1] 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와,

상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 서브타이틀 프래그먼트 생성부를 구비하고,

상기 서브타이틀 프래그먼트 생성부는,

상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가하는

스트리밍 배신 장치.

[2] 상기 서브타이틀 프래그먼트 생성부는,

상기 서브타이틀에 관한 TTML 다큐먼트 인스턴스의 기술 내용을 개별적으로 식별하는 기술 내용 식별 정보와 함께, 상기 TTML 다큐먼트 인스턴스가 기술된 샘플을, 상기 프래그먼트에 저장하는 상기 [1]에 기재된 스트리밍 배신 장치.

[3] 복수의 상기 프래그먼트를 포함하는 무비의 헤더 정보에 있어서, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보를 부가하는 무비 헤더 생성부를 더 구비하는 [1] 또는 [2]에 기재된 스트리밍 배신 장치.

[4] 복수의 상기 프래그먼트를 포함하는 무비의 헤더 정보에 있어서, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보를 부가하는 무비 헤더 생성부를 더 구비하고,

상기 무비 헤더 생성부는, 프래그먼트 구분 식별 정보에, 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스를 저장하고,

상기 프래그먼트의 헤더 정보에, 상기 인스턴스 구분 식별 정보가 부가되지 않는 상기 [1] 또는 [2]에 기재된 스트리밍 배신 장치.

[5] 콘텐츠 프래그먼트 생성부가, 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하고,

서브타이틀 프래그먼트 생성부가, 상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하고,

상기 서브타이틀 프래그먼트 생성부에 의해, 상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보가 부가되는

스트리밍 배신 방법.

[6] 컴퓨터를,

스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와,

상기 서브타이틀 프래그먼트 생성부는,

상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가하는 스트리밍 배신 장치로서 기능시키는

프로그램.

[7] 상기 [6]에 기재된 프로그램이 기록되어 있는 기록 매체.

[8] MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하는 무비 수신부와,

상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하는 TTML 판정부와,

상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 TTML 디코드부

를 구비하는 스트리밍 수신 장치.

[9] 상기 TTML 디코드부는,

상기 프래그먼트의 헤더 정보에 포함되는, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보에 기초하여, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스의 구분을 식별하여 디코드하는 상기 [8]에 기재된 스트리밍 수신 장치.

[10] 상기 TTML 디코드부는,

상기 프래그먼트의 헤더 정보에 포함되는, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보에 기초하여, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스의 구분을 식별하고,

상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스라고 식별된 경우,

상기 프래그먼트에 저장된 샘플에 있어서의 상기 서브타이틀에 관한 TTML 다큐먼트 인스턴스의 기술 내용을 개별적으로 식별하는 기술 내용 식별 정보에 기초하여, 상기 TTML 다큐먼트 인스턴스를 디코드할지 여부를 판정하는 디코드 판정부를 구비하는 상기 [8] 또는 [9]에 기재된 스트리밍 수신 장치.

[11] 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우,

상기 TTML 디코드부가, 프래그먼트 구분 식별 정보에 포함되는 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스를 디코드하는 상기 [8] 또는 [9]에 기재된 스트리밍 수신 장치.

[12] 무비 수신부가, MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하고,

TTML 판정부가, 상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하고,

TTML 디코드부가, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는

스트리밍 수신 방법.

[13] 컴퓨터를,

MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하는 무비 수신부와,

상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 TTML 디코드부를 구비하는 스트리밍 수신 장치로서 기능시키는

프로그램.

[14] 상기 [13]에 기재된 프로그램이 기록되어 있는 기록 매체.

[15] 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와,

상기 서브타이틀 프래그먼트 생성부는,

상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가하는 스트리밍 배신 장치와,

상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 TTML 디코드부를 구비하는 스트리밍 수신 장치

를 포함하는 스트리밍 시스템.

100: 스트리밍 시스템
121: TT 서버
122: IPTV 서버
123: IPTV 클라이언트
141: TT 프래그먼트 생성부
142: 샘플 삽입부
151: 타임 스탬프 생성부
161: 콘텐츠 샘플 생성부
162: 프래그먼트 멀티플렉서
163: 프래그먼트 배신부
181: 계시부
182: 프래그먼트 디멀티플렉서
183: TT 디코더
184: 콘텐츠 디코더
185: 표시 제어부

Claims

스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와,
상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 서브타이틀 프래그먼트 생성부를 구비하고,
상기 서브타이틀 프래그먼트 생성부는,
상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가하는,
스트리밍 배신 장치.
제1항에 있어서,
상기 서브타이틀 프래그먼트 생성부는,
상기 서브타이틀에 관한 TTML 다큐먼트 인스턴스의 기술 내용을 개별적으로 식별하는 기술 내용 식별 정보와 함께, 상기 TTML 다큐먼트 인스턴스가 기술된 샘플을, 상기 프래그먼트에 저장하는, 스트리밍 배신 장치.
제1항에 있어서,
복수의 상기 프래그먼트를 포함하는 무비의 헤더 정보에 있어서, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보를 부가하는 무비 헤더 생성부를 더 구비하는, 스트리밍 배신 장치.
제1항에 있어서,
복수의 상기 프래그먼트를 포함하는 무비의 헤더 정보에 있어서, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보를 부가하는 무비 헤더 생성부를 더 구비하고,
상기 무비 헤더 생성부는, 프래그먼트 구분 식별 정보에, 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스를 저장하고,
상기 프래그먼트의 헤더 정보에, 상기 인스턴스 구분 식별 정보가 부가되지 않는, 스트리밍 배신 장치.
콘텐츠 프래그먼트 생성부가, 스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하고,
서브타이틀 프래그먼트 생성부가, 상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하고,
상기 서브타이틀 프래그먼트 생성부에 의해, 상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보가 부가되는,
스트리밍 배신 방법.
컴퓨터를,
스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와,
상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 서브타이틀 프래그먼트 생성부를 구비하고,
상기 서브타이틀 프래그먼트 생성부는,
상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가하는 스트리밍 배신 장치로서 기능시키는, 프로그램.
제6항에 기재된 프로그램이 기록되어 있는 기록 매체.
MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하는 무비 수신부와,
상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하는 TTML 판정부와,
상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 TTML 디코드부
를 구비하는, 스트리밍 수신 장치.
제8항에 있어서,
상기 TTML 디코드부는,
상기 프래그먼트의 헤더 정보에 포함되는, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보에 기초하여, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스의 구분을 식별하여 디코드하는, 스트리밍 수신 장치.
제8항에 있어서,
상기 TTML 디코드부는,
상기 프래그먼트의 헤더 정보에 포함되는, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보에 기초하여, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스의 구분을 식별하고,
상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스라고 식별된 경우,
상기 프래그먼트에 저장된 샘플에 있어서의 상기 서브타이틀에 관한 TTML 다큐먼트 인스턴스의 기술 내용을 개별적으로 식별하는 기술 내용 식별 정보에 기초하여, 상기 TTML 다큐먼트 인스턴스를 디코드할지 여부를 판정하는 디코드 판정부를 구비하는, 스트리밍 수신 장치.
제8항에 있어서,
상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우,
상기 TTML 디코드부가, 프래그먼트 구분 식별 정보에 포함되는 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스를 디코드하는, 스트리밍 수신 장치.
무비 수신부가, MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하고,
TTML 판정부가, 상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하고,
TTML 디코드부가, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는,
스트리밍 수신 방법.
컴퓨터를,
MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하는 무비 수신부와,
상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하는 TTML 판정부와,
상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 TTML 디코드부를 구비하는 스트리밍 수신 장치로서 기능시키는, 프로그램.
제13항에 기재된 프로그램이 기록되어 있는 기록 매체.
스트리밍 배신되는 콘텐츠의 데이터가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 콘텐츠 프래그먼트 생성부와,
상기 콘텐츠에 표시되는 서브타이틀에 관한 TTML(TimedText MarkUp Language) 다큐먼트 인스턴스가 저장된 프래그먼트로서, MP4 파일 포맷에 의해 규정된 프래그먼트를 생성하는 서브타이틀 프래그먼트 생성부를 구비하고,
상기 서브타이틀 프래그먼트 생성부는,
상기 프래그먼트의 헤더 정보에, 상기 프래그먼트에 저장된 상기 TTML 다큐먼트 인스턴스가 상기 서브타이틀에 관한 렌더링 컨텍스트를 지정하는 TTML 다큐먼트 인스턴스인지 여부를 식별하는 인스턴스 구분 식별 정보를 부가하는 스트리밍 배신 장치와,
MP4 파일 포맷에 의해 규정된 프래그먼트로서, 복수의 프래그먼트를 포함하는 무비의 데이터를 수신하는 무비 수신부와,
상기 무비의 헤더 정보에 부가된, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는 것을 나타내는 프래그먼트 구분 식별 정보에 기초하여, 상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함되는지 여부를 판정하는 TTML 판정부와,
상기 무비에 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트가 포함된다고 판정된 경우, 상기 TTML 다큐먼트 인스턴스가 저장된 프래그먼트를 추출하여 디코드하는 TTML 디코드부를 구비하는 스트리밍 수신 장치
를 포함하는, 스트리밍 시스템.