KR20050051687A - 전송 데이터 구조, 데이터 수신 방법, 데이터 수신 장치 및데이터 수신 프로그램 - Google Patents

전송 데이터 구조, 데이터 수신 방법, 데이터 수신 장치 및데이터 수신 프로그램 Download PDF

Info

Publication number
KR20050051687A
KR20050051687A KR1020057006101A KR20057006101A KR20050051687A KR 20050051687 A KR20050051687 A KR 20050051687A KR 1020057006101 A KR1020057006101 A KR 1020057006101A KR 20057006101 A KR20057006101 A KR 20057006101A KR 20050051687 A KR20050051687 A KR 20050051687A
Authority
KR
South Korea
Prior art keywords
data
text
reproduction
information
fragment
Prior art date
Application number
KR1020057006101A
Other languages
English (en)
Inventor
요시노리 마츠이
요우지 노토야
다다마사 도마
다이지 이도
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20050051687A publication Critical patent/KR20050051687A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

스트리밍형 전달에서 타임드 텍스트를 이용하기에 적합한 전송 데이터 구조. PES 패킷(1)은 MP4 파일의 텍스트 트랙을 전송하고 데이터 수신 장치가 스트리밍형을 재생시키도록 하기 위한 데이터 구조를 가지고 있다. 트랙 헤더(111), 샘플 디스크립션(112) 및 콘피그 인포메이션(113)은, 전체 텍스트 트랙의 재생에 관련된 정보이다. 텍스트 프레임(114)은 텍스트 샘플과 세그먼트 텍스트 헤더를 가진다. 텍스트 샘플은 텍스트를 포함한다. 각 세그먼트 텍스트 헤더는 텍스트 샘플마다 배치되며, 텍스트 샘플의 개개의 재생에 관련된 정보이다.

Description

전송 데이터 구조, 데이터 수신 방법, 데이터 수신 장치 및 데이터 수신 프로그램 {TRANSMISSION DATA STRUCTURE, DATA RECEIVING METHOD, DATA RECEIVING APPARATUS, AND DATA RECEIVING PROGRAM}
본 발명은, 텍스트 데이터의 전송 데이터 구조, 데이터 수신 방법, 데이터 수신 장치 및 데이터 수신 프로그램에 관한 것이다.
최근, 영상 음성 등을 전달하는 기술의 개발이 행해지고 있다. 예컨대, 디지털화된 영상 음성을 패킷화해 전송하는 방식이다. 영상 음성의 부호화 방식으로서 MPEG-4를 사용하고, 영상 음성 파일의 형식으로서 MP4(ISO/IEC 14496-1:2001) 파일 형식을 사용한 영상 음성 전달에 대한 종래 기술(예컨대, 일본 특허공개공보 2002-199370호 공보(제6페이지) 참조)이 알려져 있다.
제3세대 이동 통신(W-CDMA)의 국제 표준 규격을 책정하는 단체 3GPP(Third Generation Partnership Project)의 SA(Service and System Aspect) WG4는, 영상 전달 규격 TS26.234를 책정하고 있다. 영상 전달 규격 TS26.234의 버전 5.0.0에서는, 다운로드형 영상 전달에 사용 가능한 MP4 파일을 확장해 텍스트 데이터의 데이터 구조를 규정하고 있다(Timed Text, 이하 '타임드 텍스트'라 함). 이것에 의해서, MP4 파일을 다운로드하면서 재생하는 서비스에 있어서, 비디오나 오디오뿐만 아니라, 텍스트도 재생하는 것이 가능하게 되고 있다(예컨대, '3GPP TS26.234 v5.0.0'. Page56. [online]. 3GPP,2002. [Retrieved on 2002-10-07]. Retrieved from the Internet: <URL:ftp://ftp.3gpp.org/Specs/2002-03/Rel-5/26_series/26234-500.zip>참조).
텍스트에 의한 정보 통지는, 전하고 싶은 정보를 직접 사용자에게 전할 수 있어, 비디오에 비해 데이터량은 매우 적어도 되기 때문에, 정보 통지 수단으로서는 매우 중요하다. 전술한 바와 같은 MP4 파일을 다운로드하면서 재생하는 서비스에 있어서는, 비디오와 텍스트를 합성해 부호화하여 전송하는 것이 아니라, 텍스트를 독립한 트랙으로서 전송하기 때문에, 텍스트가 깨져 읽을 수 없게 되는 일이 적어지고 있어 유효하게 정보 통지를 실시하는 것이 가능하게 되고 있다.
또한, 3GPP에서 규정한 타임드 텍스트에서는, 텍스트의 일부를 수식하거나 이동시키거나 혹은 문자열에 다른 URL에의 링크를 붙이거나 하는 것이 가능하다(스타일, 하이라이트, 가라오케, 텍스트 박스, 블링크, 스크롤, 하이퍼링크 등). 이것에 의해, 전하고 싶은 정보를 여러 가지 표현 형식으로 재생하는 것이 가능해지고 있다.
여기서, 도 55를 사용하여, 3GPP에서 규정한 타임드 텍스트의 데이터 구조에 대해 설명한다. 3GPP에서 규정한 타임드 텍스트에서는, 텍스트의 일부를 수식하거나 이동시키거나 혹은 다른 URL에의 링크를 붙이거나 하는 것이 가능해지고 있다(스타일, 하이라이트, 가라오케, 텍스트 박스, 블링크, 스크롤, 하이퍼링크 등). 이 때문에, 타임드 텍스트의 데이터 구조는, 텍스트 데이터와 그에 대응하는 수식 정보로 구성되어 있다.
MP4 파일(3000)은, 헤더부(3010)와 데이터부(3020)로 구성된다. 헤더부(3010)는, 트랙 헤더(3030)와 샘플 디스크립션(Sample Description, 3040)과 샘플 테이블(3050)을 구비하고 있다. 데이터부(3020)는, 텍스트 샘플(3060, 3061, …)을 구비하고 있다.
트랙 헤더(3030)는, 타임드 텍스트의 재생에 관한 정보로서, 레이아웃(표시 영역의 크기, 비디오와의 상대 위치), 레이어(비디오 등 타 미디어와의 계층 관계), 타임드 텍스트의 재생 시간, 파일의 작성 일시, 후술하는 Time-to-Sample-Box(3051)의 타임 스케일 등의 정보를 포함하고 있다.
샘플 디스크립션(3040)은, 복수의 샘플 엔트리(3041, 3042, …)를 갖고 있다. 샘플 엔트리(3041, 3042, …)는, 텍스트 샘플(3060, 3061, …)의 디폴트의 서식에 관한 정보로서, 스크롤의 유무와 방향, 수평·수직의 자리맞춤, 배경색, 폰트명, 폰트 사이즈 등을 포함하고 있다.
샘플 테이블(3050)은, Time-to-Sample-Box(3051)와 Sample-Size-Box(3052)와 Sample-to-Chunk-Box(3053)를 가지고 있다. Time-to-Sample-Box(3051)은, 텍스트 샘플(3060, 3061, …)의 각각의 재생 시간에 관한 정보(3055, 3056, …)를 텍스트 샘플(3060, 3061, …)의 배치 순서로 포함시키고 있다. 정보(3055, 3056, …)가 저장하는 값의 타임 스케일은, 트랙 헤더(3030)에 의해 지정되어 있다. 구체적으로는, 트랙 헤더(3030)는, 타임 스케일로서 1초간의 해상도를 저장하고 있고, 예컨대, 트랙 헤더(3030)가 저장하는 타임 스케일의 값이 [1000]인 경우, 1/1000초 단위의 해상도가 된다. 따라서, 텍스트 샘플(3060, 3061, …)의 각각의 재생 시간을 초 환산한 값은, 정보(3055, 3056, …)를 트랙 헤더(3030)가 저장하는 타임 스케일의 값으로 나눈 값이 되고, 예컨대, 타임 스케일의 값이 [1000]인 경우, 정보(3056)가 나타내는 값 [3400]은, 텍스트 샘플(3061)을 3.4초간 재생하는 것을 의미하고 있다. 이하, 타임 스케일의 값이 [1000]으로 설정되어 있다고 하여 설명을 실시한다. Sample-Size-Box(3052)는, 텍스트 샘플(3060, 3061, …)의 각각의 데이터 길이에 관한 정보(3057, 3058, …)를 텍스트 샘플(3060, 3061, …)의 배치 순서로 포함시키고 있다. 이것에 의해, 재생 측에서는, 텍스트 샘플(3060, 3061, …)의 각각의 정보의 경계선을 검출할 수 있다. Sample-to-Chunk-Box(3053)는, 텍스트 샘플(3060, 3061, …)의 각각과 샘플 엔트리(3041, 3042, …)의 각각을 관련짓는 정보를 포함하고 있다.
텍스트 샘플(3060)은, 텍스트(3065)와 텍스트(3065)의 데이터 길이(3066)와 모디파이어(3067)를 가지고 있다. 텍스트(3065)는, 문자 정보 그 자체를 저장하고 있다. 문자 코드는 유니코드(Unicode) 규격 중, UTF-8 또는 UTF-16 빅 엔디안(Big Endian)으로 인코드되어 있다. UTF-8과 UTF-16의 식별은, 텍스트(3065)의 선두 2바이트에 기술되는 바이트 오더 마크(Byte Order Mark: BOM)에 의해 행해진다. 선두 2바이트가 [0×FEFF]인 경우, UTF-16에 의해 인코드되어 있는 것을 나타낸다. 또한, 텍스트(3065)의 선두에 BOM이 포함되지 않는 경우에는, UTF-8로 인코드되어 있는 것을 나타낸다. 데이터 길이(3066)는, 문자 정보 그 자체의 바이트 길이를 나타내고 있다. 모디파이어(3067)는, 텍스트(3065)의 옵션의 수식 정보이며, 하이라이트, 가라오케, 블링크, 하이퍼링크 등 7 종류의 수식 타입이 정의되고 있다. 그 외의 텍스트 샘플(3061, …)은, 텍스트 샘플(3060)과 동일한 데이터 구조이므로 설명을 생략한다.
도 56을 사용하여 타임드 텍스트의 재생에 관해서 구체적으로 설명한다.
우선, 샘플 엔트리(3041)의 상세한 구조에 대해 도 56a를 참조해 설명한다. 그 외의 샘플 엔트리(3042, …)에 대해서는, 동일한 데이터 구조이므로 설명을 생략한다. 샘플 엔트리(3041)는, 스크롤의 유무와 방향(displayFlags), 표시 영역 내에서의 수평·수직의 자리맞춤(Horizontal justification, Vertical justification), RGB값 및 투명도에 의해 지정되는 배경색(bgColor), 표시 영역(TextBox) 폰트명(fontTable, font-ID), 폰트 사이즈(fontSize), 굵은 글씨·이탤릭·언더라인 등의 스타일(faceStyle), RGB값 및 투명도에 의해 지정되는 폰트색(fontColor) 등을 포함하고 있다. 한편, 이 서식을 적용하는 범위를 지정하는 데이터(startChar, EndChar)는, 항상 값 [0]을 취하고, 샘플 엔트리(3041)가 지정하는 서식이 적용되는 텍스트 샘플 중의 전체 범위의 텍스트에 대해서 이 서식이 적용되는 것을 나타내고 있다. 도 56a에 도시하는 샘플 엔트리(3041)의 각각의 값은, 텍스트(3065)의 디폴트의 서식을, 배경색을 백색, 폰트색을 흑색 및 스타일을 노말(normal)로 지정하는 것을 의미하고 있다.
다음에, 모디파이어(3067)의 상세한 구조에 대해 도 56b를 참조해 설명한다. 모디파이어(3067)는, 모디파이어(3067)의 데이터 길이(modifierSize), 텍스트(3065)의 옵션 서식의 지정(modifierType, entryCount), 옵션 서식을 적용하는 텍스트(3065)의 범위의 지정(startChar, EndChar), 폰트명(font-ID), 폰트 사이즈(fontSize), 굵은 글씨·이탤릭·언더라인 등의 스타일(faceStyle), RGB값 및 투명도에 의해 지정되는 폰트색(fontColor) 등을 포함하고 있다. 이 옵션 서식의 지정은, 샘플 엔트리(3041, 3042, …)의 어느 하나로 지정된 서식에 우선하여 적용된다. 도 56b에 도시하는 모디파이어(3067)의 각각의 값은, 텍스트(3065)의 5 번째 문자부터 8 번째 문자까지를 [굵은 글씨]로 하는 것을 의미하고 있다.
도 56c에 이상의 서식이 적용된 텍스트 샘플(3060)의 재생 상태를 도시한다. 예컨대, 텍스트(3065)가 나타내는 내용이 [It's fine today.]인 경우에, 5 번째 문자부터 8 번째 문자까지인 [fine]이 굵은 글씨로 재생된다. 또한 그 재생 시간은, Time-to-Sample-Box(3051)에 있어서 최초로 배치되는 정보(3055)의 값 [1000]에 의해, 1000 [밀리 초(msec)]인 것을 알 수 있다(도 55 참조).
이상 설명한 구조를 갖는 MP4 파일의 재생 시에 있어서는, 미리 수신 단말기에서 MP4 파일을 다운로드하고, 다운로드 완료 후에 수신 단말기에서 MP4 파일의 재생이 행해진다.
도 1은, 본 발명의 PES 패킷의 데이터 구조를 도시하는 도면(제1 실시 형태)이다.
도 2는, 본 발명의 PES 패킷의 데이터 구조의 상세 설명도(제1 실시 형태)이다.
도 3은, 본 발명의 데이터 전송 장치의 블록도(제1 실시 형태)이다.
도 4는, 본 발명의 데이터 전송 방법의 동작 플로우 차트(제1 실시 형태)이다.
도 5는, 본 발명의 데이터 전송 방법의 상세 설명도(제1 실시 형태)이다.
도 6은, 본 발명의 데이터 수신 장치의 블록도(제1 실시 형태)이다.
도 7은, 본 발명의 데이터 수신 방법의 동작 플로우 차트(제1 실시 형태)이다.
도 8은, 본 발명의 데이터 수신 장치에 있어서의 데이터 해석의 신택스를 설명하는 설명도(제1 실시 형태)이다.
도 9는, 복수의 PES 패킷이 구비하는 텍스트 프레임의 재생 시각이 중복되고 있는 경우에 디코드해야 할 텍스트 프레임을 판정하는 규칙에 대해 설명하는 설명도(제1 실시 형태)이다.
도 10은, PES 패킷이 수신된 시각이 그 PES 패킷의 PTS가 나타내는 시각을 경과하고 있는 경우에 디코드해야 할 텍스트 프레임을 판정하는 규칙에 대해 설명하는 설명도(제1 실시 형태)이다.
도 11은, 시간 변화를 수반하는 처리를 포함하는 텍스트 프레임을 수신했을 경우의 재생 상태를 설명하는 설명도(제1 실시 형태)이다.
도 12는, 본 발명의 변형예로서의 PES 패킷의 데이터 구조를 도시하는 도면(제1 실시 형태)이다.
도 13은, 본 발명의 변형예로서의 PES 패킷의 데이터 구조를 도시하는 도면(제1 실시 형태)이다.
도 14는, 본 발명의 변형예로서의 샘플 디스크립션의 데이터 구조를 도시하는 도면(제1 실시 형태)이다.
도 15는, 본 발명의 PES 패킷의 데이터 구조를 도시하는 도면(제2 실시 형태)이다.
도 16은, 본 발명의 데이터 전송 장치의 블록도(제2 실시 형태)이다.
도 17은, 본 발명의 데이터 수신 장치의 블록도(제2 실시 형태)이다.
도 18은, 본 발명의 변형예로서의 PES 패킷의 데이터 구조를 도시하는 도면(제2 실시 형태)이다.
도 19는, 본 발명의 변형예로서의 PES 패킷의 데이터 구조를 도시하는 도면(제2 실시 형태)이다.
도 20은, RTP/RTSP 시퀀스의 일반적인 처리를 설명하는 설명도(제3 실시 형태)이다.
도 21은, 인 밴드 전송에 있어서의 RTP 패킷의 데이터 구조를 도시하는 도면(제3 실시 형태)이다.
도 22는, 아웃 밴드 전송에 있어서의 RTP 패킷의 데이터 구조를 도시하는 도면(제3 실시 형태)이다.
도 23은, 본 발명의 데이터 전송 장치의 블록도(제3 실시 형태)이다.
도 24는, 본 발명의 데이터 수신 장치의 블록도(제3 실시 형태)이다.
도 25는, MP4 파일 형식의 미디어 데이터를 취득할 때의 일반적인 처리의 흐름을 설명하는 설명도(제4 실시 형태)이다.
도 26은, 타임드 텍스트를 RTP 패킷으로서 전송하는 경우에 전송되는 기본 패킷(Pt0)에 대해 설명하는 설명도(제4 실시 형태)이다.
도 27은, 분할 패킷의 기본적 구조에 대해 설명하는 설명도(제4 실시 형태)이다.
도 28은, 텍스트 본문(Td0)의 문자 코드의 식별 정보를 가지는 분할 헤더의 개요에 대해 설명하는 설명도(제4 실시 형태)이다.
도 29는, 모디파이어(Md0)의 개시 위치를 나타내기 위한 정보를 가지는 분할 헤더의 개요에 대해 설명하는 설명도(제4 실시 형태)이다.
도 30은, 모디파이어(Md0)의 개시 위치를 나타내기 위한 정보를 가지는 분할 헤더의 개요에 대해 설명하는 설명도(제4 실시 형태)이다.
도 31은, 텍스트 샘플(Ts0)의 분할의 바리에이션과 모디파이어 또는 모디파이어 박스의 개시 위치 정보와의 관계에 대해 설명하는 설명도(제4 실시 형태)이다.
도 32는, 분할 텍스트 샘플이 포함하는 텍스트 본문의 일부가 텍스트 본문의 전체의 몇 번째 문자 이후를 포함하는지에 관한 정보를 가지는 분할 헤더의 개요에 대해 설명하는 설명도(제4 실시 형태)이다.
도 33은, 분할된 모디파이어 박스의 재생을 위해서 저장되는 정보에 대해 개요를 설명하는 설명도(제4 실시 형태)이다.
도 34는, 분할된 가라오케 스타일의 모디파이어 박스의 재생을 위해서 저장되는 정보에 대해 설명하는 설명도(제4 실시 형태)이다.
도 35는, 분할된 문자 스타일의 모디파이어 박스의 재생을 위해서 저장되는 정보에 대해 설명하는 설명도(제4 실시 형태)이다.
도 36은, 분할된 하이퍼링크 스타일의 모디파이어 박스의 재생을 위해서 저장되는 정보에 대해 설명하는 설명도(제4 실시 형태)이다.
도 37은, 분할 패킷(PtN)의 헤더부(HdN)의 구조의 일례를 설명하는 설명도(제4 실시 형태)이다.
도 38은, 본 발명의 데이터 구조를 가지는 RTP 패킷을 재생하기 위한 데이터 재생 장치(710)의 블록도(제4 실시 형태)이다.
도 39는, 본 발명의 데이터 구조를 가지는 RTP 패킷을 재생하기 위한 데이터 재생 방법을 설명하는 플로우 차트(제4 실시 형태)이다.
도 40은, 본 발명의 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 장치(720)의 블록도(제4 실시 형태)이다.
도 41은, 본 발명의 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 방법을 설명하는 플로우 차트(제4 실시 형태)이다.
도 42는, 제5 실시 형태에 따른 분할 헤더(FhN)의 구조에 대해 설명하는 설명도(제5 실시 형태)이다.
도 43은, 텍스트 인디케이터와 분할 헤더 플래그의 조합에 대한, 분할 헤더(FhN)가 구비하는 정보에 대해 설명하는 설명도(제5 실시 형태)이다.
도 44는, 텍스트 인디케이터와 분할 헤더 플래그의 조합에 대한, 샘플 헤더(ShN)가 구비하는 정보에 대해 설명하는 설명도(제5 실시 형태)이다.
도 45는, 텍스트 샘플의 분할 상황 테이블(제5 실시 형태)이다.
도 46은, 본 발명의 데이터 구조를 가지는 RTP 패킷을 재생하기 위한 데이터 재생 장치(730)의 블록도(제5 실시 형태)이다.
도 47은, 본 발명의 데이터 구조를 가지는 RTP 패킷을 재생하기 위한 데이터 재생 방법을 설명하는 플로우 차트(제5 실시 형태)이다.
도 48은, 본 발명의 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 장치(740)의 블록도(제5 실시 형태)이다.
도 49는, 본 발명의 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 방법을 설명하는 플로우 차트(제5 실시 형태)이다.
도 50은, 상기 각 실시의 형태의 데이터 전송 방법 혹은 데이터 수신 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장하기 위한 기록매체에 대한 설명도(제6 실시 형태)이다.
도 51은, 컨텐츠 공급 시스템의 전체 구성을 도시하는 블록도(제7 실시 형태)이다.
도 52는, 본 발명의 데이터 수신 장치, 데이터 재생 장치를 탑재하는 휴대 전화의 예(제7 실시 형태)이다.
도 53은, 휴대 전화의 블록도(제7 실시 형태)이다.
도 54는, 디지털 방송용 시스템의 예(제7 실시 형태)이다.
도 55는, 3GPP에서 규정되는 타임드 텍스트의 데이터 구조를 설명하는 설명도(배경기술)이다.
도 56은, 타임드 텍스트의 데이터 구조의 상세 설명도(배경기술)이다.
한편, 비디오, 오디오를 포함한 미디어 데이터를 전달하는 서비스에 있어서, 다운로드형 대신에 스트리밍형의 전달이 채용되는 경우도 많아지고 있다. 스트리밍형의 전달에서는, 수신 단말기에서 미디어 데이터를 수신하는 처리와 수신한 미디어 데이터를 재생하는 처리가 병행하여 행해진다. 이 때문에, 장시간의 미디어 데이터를 재생하는 경우에도, 그 미디어 데이터의 요구를 행하고 나서, 재생이 행해지기까지의 대기 시간이 적어진다는 이점을 가진다. 또한, 생중계되는 미디어 데이터의 전달에도 매우 적합한 전달이다.
이러한 스트리밍형의 전달에 있어서, 타임드 텍스트를 사용한 정보 통지를 실시하는 경우, 타임드 텍스트는, 그 컨테이너 파일 포맷인 MP4 파일과 떼어낼 수 없는 데이터 구조로 되어 있고 스트리밍형의 전달에서의 사용은 어렵다.
따라서, 본 발명에서는, 타임드 텍스트를 스트리밍형의 전달에서 사용하는데 매우 적합한 전송 데이터 구조를 제공하는 것을 과제로 한다. 또한 또다른 본 발명에서는, 이 전송 데이터 구조를 가지는 데이터를 수신하는 데이터 수신 방법, 데이터 수신 장치 및 데이터 수신 프로그램을 제공하는 것을 과제로 한다.
청구항 1에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 데이터 수신 장치에 순차로 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서, 전체 텍스트 헤더 데이터와 분할 텍스트 데이터와 분할 텍스트 헤더 데이터를 구비하고 있다. 전체 텍스트 헤더 데이터는, 텍스트 데이터 전체의 재생에 관련된다. 분할 텍스트 데이터는, 분할된 텍스트 데이터를 포함한다. 분할 텍스트 헤더 데이터는, 분할 텍스트 데이터마다 배치되고 분할 텍스트 데이터의 개개의 재생에 관련된다.
여기서, 텍스트 재생용 데이터란, 예컨대, MP4 파일 등의 데이터이다.
데이터 수신 장치에서는, 전체 텍스트 헤더 데이터로부터 텍스트 데이터 전체의 재생에 관련된 정보를 취득한다. 또한, 분할 텍스트 헤더 데이터로부터, 분할 텍스트 데이터의 재생에 관련된 정보를 취득한다. 분할 텍스트 데이터는, 전체 텍스트 헤더 데이터 및 분할 텍스트 헤더 데이터에 근거하여 순차 재생된다.
본 발명의 전송 데이터 구조에 의해, 텍스트 재생용 데이터의 모두가 수신되지 않아도, 분할 텍스트 데이터를 순차 재생하는 것이 가능해진다. 즉, 스트리밍 전달에 적합한 전송 데이터 구조가 제공된다.
청구항 2에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 1에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 분할 텍스트 헤더 데이터는 분할 텍스트 데이터의 재생 시간에 관한 재생 시간 정보를 포함하고 있다.
데이터 수신 장치에서는, 분할 텍스트 헤더 데이터로부터 분할 텍스트 데이터의 재생 시간에 관한 정보를 취득한다. 분할 텍스트 헤더 데이터는, 취득된 재생 시간 정보에 근거하여 순차 재생된다.
본 발명의 전송 데이터 구조에 의해, 각 분할 텍스트 헤더 데이터는, 재생 시간 정보가 가지는 재생 시간씩 순차 재생된다.
청구항 3에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 1 또는 2에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 분할 텍스트 헤더 데이터는, 분할 텍스트 데이터의 데이터 길이에 관한 데이터 길이 정보를 포함하고 있다.
본 발명의 전송 데이터 구조에 의해, 순차 전송되는 텍스트 전송용 데이터에 있어서의 분할 텍스트 데이터의 데이터 경계가 명확해진다. 이 때문에, 스트리밍 전송에 있어서의 재생 오류 등을 방지 가능해진다.
청구항 4에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 1 내지 3 중 어느 하나에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 전체 텍스트 헤더 데이터는, 텍스트 데이터의 재생 영역에 관한 정보를 포함하는 텍스트 재생 정보와 분할 텍스트 데이터의 서식에 관한 정보를 포함한 서식 정보를 포함하고 있다.
여기서, 텍스트 재생 정보란, 예컨대, 텍스트 데이터의 레이아웃(표시 영역의 크기, 비디오 등 타 미디어와의 상대 위치), 레이어(타 미디어와의 계층 관계) 등에 관한 정보이다. 서식 정보란, 예컨대, 분할 텍스트 데이터의 스크롤의 유무와 방향, 재생 위치, 배경색, 폰트 서식(폰트명, 크기, 색, 굵은 글씨, 밑줄, 이탤릭 등) 등에 관한 정보이다.
데이터 수신 장치에서는, 텍스트 재생 정보에 근거하여 각각의 분할 텍스트 데이터의 재생 영역을 판단한다. 또한 서식 정보에 근거하여 각각의 분할 텍스트 데이터에 적용되는 서식을 판단한다.
청구항 5에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 4에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 전체 텍스트 헤더 데이터는 분할 텍스트 헤더 데이터의 데이터 길이를 커스터마이즈하기 위한 데이터 길이 커스터마이즈 정보를 더 포함하고 있다.
데이터 수신 장치에서는, 데이터 길이 커스터마이즈 정보에 근거하여 분할 텍스트 헤더 데이터의 데이터 길이를 판단한다. 데이터 길이 커스터마이즈 정보는, 예컨대, 분할 텍스트 헤더 데이터의 데이터 길이를 비트 단위로 지정한다.
본 발명의 전송 데이터 구조에 의해, 분할 텍스트 데이터의 개개의 재생에 관계된 분할 텍스트 헤더 데이터의 데이터 길이를 필요에 따라서 커스터마이즈할 수 있다. 즉, 분할 텍스트 헤더 데이터의 정보량을 필요 충분한 양으로 커스터마이즈할 수 있다. 이 결과, 분할 텍스트 데이터의 개개의 재생에 필요한 정보량을 적게 할 수 있다.
청구항 6에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 4 또는 5에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 분할 텍스트 헤더 데이터는, 분할 텍스트 데이터와 서식 정보의 관련을 나타내는 인덱스를 포함한다.
데이터 수신 장치에서는, 인덱스에 근거하여 분할 텍스트 데이터에 적용하는 서식을 서식 정보로부터 판단한다.
본 발명의 전송 데이터 구조에 의해, 예컨대, 분할 텍스트 데이터마다 서식에 관한 정보를 전송할 필요가 없어진다. 이 때문에, 비트 효율을 향상시키는 것이 가능해진다.
청구항 7에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 4 내지 6 중 어느 하나에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 텍스트 전송용 데이터는 복수의 패킷으로 구성되어 있다. 텍스트 재생 정보는, 분할 텍스트 데이터 및 분할 텍스트 헤더 데이터와 다른 형식으로 패킷화되어 있다.
여기서, 텍스트 재생 정보는, 예컨대, 섹션 형식으로 패킷화되어 있다. 분할 텍스트 데이터 및 분할 텍스트 헤더 데이터는, 예컨대, PES 형식으로 패킷화되어 있다.
본 발명의 전송 데이터 구조에 의해, 분할 텍스트 데이터의 전송 효율을 향상시키는 것이 가능해진다. 즉, 텍스트 재생 정보 등, 빈번하게 전송할 필요가 없는 정보에 대해서는, 분할 텍스트 데이터와 다른 형식으로 전송함으로써, 분할 텍스트 데이터의 전송에 대해서 보다 많은 대역을 확보하는 것이 가능해진다.
청구항 8에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 7에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 서식 정보는 텍스트 재생 정보와 동일한 형식으로 패킷화되고 있다.
여기서, 텍스트 재생 정보, 서식 정보는, 예컨대, 섹션 형식으로 패킷화되고 있다.
본 발명의 전송 데이터 구조에 의해, 서식 정보를 빈번하게 전송할 필요가 없는 경우에는, 분할 텍스트 데이터의 전송에 대해서, 보다 더 많은 대역을 확보하는 것이 가능해진다.
청구항 9에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 7에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 서식 정보는 분할 텍스트 데이터 및 분할 텍스트 헤더 데이터와 같은 형식으로 패킷화되고 있다.
여기서, 서식 정보, 분할 텍스트 데이터 및 분할 텍스트 헤더 데이터는, 예컨대, PES 형식으로 패킷화되고 있다.
본 발명의 전송 데이터 구조에 의해, 서식 정보를 분할 텍스트 데이터와 같은 패킷으로서 전송하는 것이 가능해진다. 이 때문에, 서식 정보에 변경이 있는 경우라도, 변경된 서식 정보는 그 서식이 적용되는 분할 텍스트 데이터보다 이전에 수신 가능해진다. 즉, 보다 확실하게 서식 정보의 변경 등을 반영하는 것이 가능해진다.
청구항 10에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 9에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 서식 정보는, 복수의 서식 정보 단위를 포함하고 있다. 서식 정보 단위는 분할 텍스트 데이터마다 배치된다.
데이터 수신 장치에서는, 분할 텍스트 데이터마다 배치되는 서식 정보 단위를 취득하고, 분할 텍스트 데이터마다의 서식을 판단한다.
본 발명의 전송 데이터 구조에 의해, 분할 텍스트 데이터에 적용하는 서식의 변경 등을 보다 확실하게 반영하는 것이 가능해진다.
청구항 11에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 1 내지 10 중 어느 하나에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 텍스트 전송용 데이터는, 다중화 데이터로서 전송되는 데이터이다.
데이터 수신 장치에서는, 다중화 데이터로부터의 분리에 의해, 텍스트 전송용 데이터가 취득된다.
청구항 12에 따른 텍스트 전송용 데이터의 데이터 수신 방법은 수신 단계와 재생 단계를 구비하고 있다. 수신 단계는, 청구항 1 내지 11 중 어느 하나에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터를 수신한다. 재생 단계는, 텍스트 전송용 데이터가 포함하는 전체 텍스트 헤더 데이터와 분할 텍스트 데이터와 분할 텍스트 헤더 데이터에 근거하여 분할 텍스트 데이터가 포함하는 분할된 텍스트 데이터를 순차 재생한다.
이 데이터 수신 방법에서는, 전체 텍스트 헤더 데이터로부터 텍스트 데이터 전체의 재생에 관련된 정보가 취득된다. 또한, 분할 텍스트 헤더 데이터로부터, 분할 텍스트 데이터의 재생에 관련된 정보가 취득된다. 분할 텍스트 데이터는, 전체 텍스트 헤더 데이터 및 분할 텍스트 헤더 데이터에 근거하여 순차 재생된다.
본 발명의 데이터 수신 방법에 의해, 텍스트 재생용 데이터의 모두가 수신되지 않아도, 분할 텍스트 데이터를 순차 재생하는 것이 가능해진다. 즉, 스트리밍 전달에 적합한 데이터 수신 방법이 제공된다.
청구항 13에 따른 텍스트 전송용 데이터의 데이터 수신 장치는, 수신 수단과 재생 수단을 구비하고 있다. 수신 수단은, 청구항 1 내지 11 중 어느 하나에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터를 수신한다. 재생 수단은, 텍스트 전송용 데이터가 포함하는 전체 텍스트 헤더 데이터와 분할 텍스트 데이터와 분할 텍스트 헤더 데이터에 근거하여 분할 텍스트 데이터가 포함하는 분할된 텍스트 데이터를 순차 재생한다.
이 데이터 수신 장치에서는, 전체 텍스트 헤더 데이터로부터 텍스트 데이터 전체의 재생에 관련된 정보가 취득된다. 또한, 분할 텍스트 헤더 데이터로부터, 분할 텍스트 데이터의 재생에 관련된 정보가 취득된다. 분할 텍스트 데이터는, 전체 텍스트 헤더 데이터 및 분할 텍스트 헤더 데이터에 근거하여 순차 재생된다.
본 발명의 데이터 수신 장치에 의해, 텍스트 재생용 데이터의 모두가 수신되지 않아도, 분할 텍스트 데이터를 순차 재생하는 것이 가능해진다. 즉, 스트리밍 전달에 적합한 데이터 수신 장치가 제공된다.
청구항 14에 따른 데이터 수신 프로그램은, 컴퓨터에 의해, 청구항 1 내지 11 중 어느 하나에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법을 행하기 위한 데이터 수신 프로그램으로서, 데이터 수신 방법은 수신 단계와 재생 단계를 구비하고 있다. 수신 단계는 청구항 1 내지 11 중 어느 하나에 기재된 전송 데이터 구조를 갖는 텍스트 전송용 데이터를 수신한다. 재생 단계는, 텍스트 전송용 데이터가 포함하는 전체 텍스트 헤더 데이터와 분할 텍스트 데이터와 분할 텍스트 헤더 데이터에 근거하여 분할 텍스트 데이터가 포함하는 분할된 텍스트 데이터를 순차 재생한다.
이 데이터 수신 프로그램에서는, 전체 텍스트 헤더 데이터로부터 텍스트 데이터 전체의 재생에 관련된 정보가 취득된다. 또한, 분할 텍스트 헤더 데이터로부터, 분할 텍스트 데이터의 재생에 관련된 정보가 취득된다. 분할 텍스트 데이터는, 전체 텍스트 헤더 데이터 및 분할 텍스트 헤더 데이터에 근거하여 순차 재생된다.
본 발명의 데이터 수신 프로그램에 의해, 텍스트 재생용 데이터의 모두가 수신되지 않아도, 분할 텍스트 데이터를 순차 재생하는 것이 가능해진다. 즉, 스트리밍 전달에 적합한 데이터 수신 프로그램이 제공된다.
청구항 15에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 텍스트 전송용 데이터는, 복수의 패킷으로 구성되어 있다. 또한, 분할 텍스트 데이터는, 각 패킷 내에 있어서 표시 순서로 배치되고 있다. 또한, 패킷은 각 분할 텍스트 데이터의 재생 시각 정보를 가지고 있다. 또한, 제2 패킷은, 그 전의 제1 패킷의 분할 텍스트 데이터와 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함하고 있다.
여기서, 재생 시각 정보는, 패킷 내에 있어 최초로 배치되는 분할 텍스트 데이터의 재생 시각과 각 분할 텍스트 데이터의 재생 시간으로 구성되는 정보, 혹은 각 분할 텍스트 데이터의 재생 시각으로 구성되는 정보이다.
제2 패킷과 그 전의 제1 패킷은, 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함한다. 즉, 다른 패킷으로 중복하는 재생 시각 정보를 가지는 분할 텍스트 데이터를 복수회 전송하는 것이 허락된다. 이것에 의해, 텍스트 전송용 데이터의 에러 내성을 높일 수 있다.
청구항 16에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 15에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 패킷에 포함되는 분할 텍스트 데이터의 개수는 텍스트 전송용 데이터의 전송을 위해서 확보된 전송로 대역과 거의 일치하는 대역으로 패킷이 전송되는 개수로서 결정된다.
이것에 의해, 텍스트 전송용 데이터의 전송을 위해서 확보된 전송로 대역을 유효하게 이용하고, 중복되는 재생 시각 정보를 가지는 분할 텍스트 데이터를 복수회 전송하여 텍스트 전송용 데이터의 에러 내성을 한층 더 높일 수 있다.
청구항 17에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 청구항 15 또는 16에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 텍스트 전송용 데이터는, 다중화 데이터로서 전송되는 데이터이다.
데이터 수신 장치에서는, 다중화 데이터로부터의 분리에 의해 텍스트 전송용 데이터가 취득된다.
청구항 18에 따른 텍스트 전송용 데이터의 데이터 수신 방법은, 청구항 15 내지 17 중 어느 하나에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법으로서, 시각 취득 단계와 치환 단계를 구비하고 있다. 시각 취득 단계는, 제1 패킷의 각 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)과 제2 패킷의 최초의 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Ta)을 취득한다. 치환 단계는, 제1 패킷에 있어서 시각(Tn)이 시각(Ta)과 같거나 또는 뒤인 분할 텍스트 데이터를, 제2 패킷에 있어서 재생 시각 정보가 중복하는 분할 텍스트 데이터로 치환한다.
이 데이터 수신 방법에 의해, 미리 전송된 분할 텍스트 데이터를 최신의 분할 텍스트 데이터에 의해 갱신하는 것이 가능해지고, 항상 최신의 정보를 포함한 분할 텍스트 데이터를 재생하는 것이 가능해진다.
청구항 19에 따른 텍스트 전송용 데이터의 데이터 수신 방법은, 청구항 15 내지 17 중 어느 하나에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법으로서, 수신 지연 판단 단계와 재생 단계를 구비하고 있다. 수신 지연 판단 단계는, 제1 분할 텍스트 데이터의 수신 시각(Td)이, 제1 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)보다 느리게 또한 다음의 제2 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn+1)보다 빠르게 수신되었는지 여부를 판단한다. 재생 단계는, 판단이 긍정적일 경우에 제1 분할 텍스트 데이터를 수신 시각(Td)부터 시각(Tn+1)까지의 사이에 재생한다.
이 데이터 수신 방법에 의해, 재생 시각 정보가 나타내는 시각보다 느리게 수신된 분할 텍스트 데이터라도, 다음의 분할 텍스트 데이터의 재생 시각 정보에 도달할 때까지의 사이에 재생을 실시할 수 있다. 즉, 재생되어 있어야 할 텍스트 데이터를 도중부터도 재생할 수 있어 장시간에 걸쳐 텍스트 데이터가 재생되지 않는 등의 폐해를 막을 수 있다.
청구항 20에 따른 텍스트 전송용 데이터의 데이터 수신 방법은, 청구항 19에 기재된 텍스트 전송용 데이터의 데이터 수신 방법으로서, 재생 단계에서는 제1 분할 텍스트 데이터에 있어서 시각(Tn)부터 수신 시각(Td)까지의 시간이 경과한 시점의 재생 상태로부터, 제1 분할 텍스트 데이터의 재생을 개시한다.
이 데이터 수신 방법에 의해, 예컨대, 스크롤 재생이나 가라오케 재생 등의 시각 변화를 수반하는 분할 텍스트 데이터를 도중부터라도 재생할 수 있다. 이것에 의해, 텍스트 데이터의 재생 시에 재생되고 있어야 할 상태가 재생되지 않는다는 폐해를 막을 수 있다.
청구항 21에 따른 텍스트 전송용 데이터의 데이터 수신 장치는, 청구항 15 내지 17 중 어느 하나에 기내된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 장치로서, 시각 취득 수단과 치환 수단을 구비하고 있다. 시각 취득 수단은, 제1 패킷의 각 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)과 제2 패킷의 최초의 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Ta)을 취득한다. 치환 수단은, 제1 패킷에 있어서 시각(Tn)이 시각(Ta)과 같거나 또는 뒤인 분할 텍스트 데이터를, 제2 패킷에 있어서 재생 시각 정보가 중복하는 분할 텍스트 데이터로 치환한다.
이 데이터 수신 장치에 의해, 미리 전송된 분할 텍스트 데이터를 최신의 분할 텍스트 데이터에 의해 갱신하는 것이 가능해지고, 항상 최신의 정보를 포함한 분할 텍스트 데이터를 재생하는 것이 가능해진다.
청구항 22에 따른 텍스트 전송용 데이터의 데이터 수신 장치는, 청구항 15 내지 17 중 어느 하나에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 장치로서, 수신 지연 판단 수단과 재생 수단을 구비하고 있다. 수신 지연 판단 수단은, 제1 분할 텍스트 데이터의 수신 시각(Td)이, 제1 분할 텍스트 데이터의 재생 개시 시각 정보가 나타내는 시각(Tn)보다 느리게, 또한 다음의 제2 분할 텍스트 데이터의 재생 개시 시각 정보가 나타내는 시각(Tn+1)보다 빠르게 수신되었는지 여부를 판단한다. 재생 수단은, 판단이 긍정적인 경우에, 제1 분할 텍스트 데이터를 수신 시각(Td)부터 시각(Tn+1)까지의 사이에 재생한다.
이 데이터 수신 장치에 의해, 재생 시각 정보가 나타내는 시각보다 느리게 수신된 분할 텍스트 데이터라도, 다음의 분할 텍스트 데이터의 재생 시각 정보에 도달할 때까지의 사이에 재생을 실시할 수 있다. 즉, 재생되고 있어야 할 텍스트 데이터를 도중부터도 재생할 수 있어 장시간에 걸쳐 텍스트 데이터가 재생되지 않는 등의 폐해를 막을 수 있다.
청구항 23에 따른 텍스트 전송용 데이터의 데이터 수신 장치는, 청구항 22에 기재된 텍스트 전송용 데이터의 데이터 수신 장치로서, 재생 수단에서는 제1 분할 텍스트 데이터에 있어서 시각(Tn)부터 수신 시각(Td)까지의 시간이 경과한 시점의 재생 상태로부터, 제1 분할 텍스트 데이터의 재생을 개시한다.
이 데이터 수신 장치에 의해, 예컨대, 스크롤 재생이나 가라오케 재생 등의 시각 변화를 수반하는 분할 텍스트 데이터를 도중부터라도 재생할 수 있다. 이것에 의해, 텍스트 데이터의 재생 시에 재생되고 있어야 할 상태가 재생되지 않는다는 폐해를 막을 수 있다.
청구항 24에 따른 데이터 수신 프로그램은, 컴퓨터에 의해, 청구항 15 내지 17 중 어느 하나에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법을 행하기 위한 데이터 수신 프로그램으로서, 데이터 수신 방법은 시각 취득 단계와 치환 단계를 구비하고 있다. 시각 취득 단계는, 제1 패킷의 각 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)과 제2 패킷의 최초의 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Ta)을 취득한다. 치환 단계는, 제1 패킷에 있어서 시각(Tn)이 시각(Ta)과 같거나 또는 뒤인 분할 텍스트 데이터를, 제2 패킷에 있어서 재생 시각 정보가 중복하는 분할 텍스트 데이터로 치환한다.
이 데이터 수신 프로그램에 의해, 미리 전송된 분할 텍스트 데이터를 최신의 분할 텍스트 데이터에 의해 갱신하는 것이 가능해지고, 항상 최신의 정보를 포함하는 분할 텍스트 데이터를 재생하는 것이 가능해진다.
청구항 25에 따른 데이터 수신 프로그램은, 컴퓨터에 의해, 청구항 15 내지 17에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법을 행하기 위한 데이터 수신 프로그램으로서, 데이터 수신 방법은 수신 지연 판단 단계와 재생 단계를 구비하고 있다. 수신 지연 판단 단계는, 제1 분할 텍스트 데이터의 수신 시각(Td)이, 제1 분할 텍스트 데이터의 재생 개시 시각 정보가 나타내는 시각(Tn)보다 느리게, 또한 다음의 제2 분할 텍스트 데이터의 재생 개시 시각 정보가 나타내는 시각(Tn+1)보다 빠르게 수신되는지 여부를 판단한다. 재생 단계는, 판단이 긍정적인 경우에, 제1 분할 텍스트 데이터를 수신 시각(Td)부터 시각(Tn+1)까지의 사이에 재생한다.
이 데이터 수신 프로그램에 의해, 재생 시각 정보가 나타내는 시각보다 느리게 수신된 분할 텍스트 데이터라도, 다음의 분할 텍스트 데이터의 재생 시각 정보에 도달할 때까지의 사이에 재생을 실시할 수 있다. 즉, 재생되고 있어야 할 텍스트 데이터를 도중부터라도 재생할 수 있어 장시간에 걸쳐 텍스트 데이터가 재생되지 않는 등의 폐해를 막을 수 있다.
청구항 26에 따른 데이터 수신 프로그램은, 청구항 25에 기재된 데이터 수신 프로그램으로서, 재생 단계에서는 제1 분할 텍스트 데이터에 있어서, 시각(Tn)으로부터 수신 시각(Td)까지의 시간이 경과한 시점의 재생 상태로부터, 제1 분할 텍스트 데이터의 재생을 개시한다.
이 데이터 수신 프로그램에 의해, 예컨대, 스크롤 재생이나 가라오케 재생 등의 시각 변화를 수반하는 분할 텍스트 데이터를 도중부터라도 재생할 수 있다. 이것에 의해, 텍스트 데이터의 재생 시에 재생되고 있어야 할 상태가 재생되지 않는다는 폐해를 막을 수 있다.
발명을 실시하기 위한 최선의 형태
[제1 실시 형태]
본 발명의 제1 실시 형태로서 MPEG-2 TS를 사용한 텍스트 트랙의 스트리밍 전송에 대해 설명한다. 텍스트 트랙은, 3GPP에서 규정되는 타임드 텍스트와 동일한 표현으로 텍스트 재생을 실시하기 위한 정보를 구비하는 데이터이다.
〈PES 패킷의 데이터 구조〉
(1)
MPEG-2 TS를 사용하여 텍스트 트랙을 스트리밍 전송하기 위한 PES 패킷(1)의 데이터 구조를 도 1에 도시한다.
MPEG-2 시스템에서는, 비디오, 오디오, 혹은 텍스트라는 트랙을 구성하는 요소가 되는 신호를 ES(Elementary Stream)라 부르고 있다. 또한 ES를 가변 길이의 블록으로 단락지어 헤더 정보를 부가한 것을 PES(Packetized Elementary Stream)라 하고 있다. MPEG-2 시스템에서는, 복수의 PES를 다중 전송하는 신호로서 TS(Transport Stream)를 규정하고 있다.
(2)
도 1에 도시하는 PES 패킷(1)의 데이터 구조는, MPEG-2 시스템으로 규정되는 PES 헤더부(10)와 페이로드부(11)로 구성된다. PES 헤더부(10)는, 비디오, 오디오, 혹은 텍스트라는 트랙 간의 동기(同期) 재생을 위한 시각 정보인 PTS(Presentation Time Stamp)를 가지고 있다. 페이로드부(11)는, 트랙 헤더(111)와 샘플 디스크립션(112)과 콘피그 인포메이션(Config Information, 113)과 텍스트 프레임(114, 114′, …)과, 각각의 정보를 식별하는 식별자(트랙 헤더 식별자(111a), 샘플 디스크립션 식별자(112a), 콘피그 인포메이션 식별자(113a), 텍스트 프레임 식별자(114a))를 포함하고 있다.
트랙 헤더(111)는, 텍스트 트랙의 전체의 재생에 따른 정보로서, 레이아웃(표시 영역의 크기(폭 및 높이), 비디오와의 상대 위치(비디오 표시 영역으로부터 가로 방향 및 세로 방향으로의 트랜슬레이션)), 레이어(비디오 등 타 미디어와의 계층 관계), 텍스트 트랙의 재생 시간, 작성일시, 후술하는 듀레이션(Duration, 1141b)의 타임 스케일 등의 정보를 포함하고 있다.
샘플 디스크립션(112)은, 복수의 샘플 엔트리(1121, 1122, …)를 구비하고 있다(도 2b 참조). 각각의 샘플 엔트리(1121, 1122, …)는, 텍스트 트랙의 서식에 따른 정보로서, 스크롤의 유무와 방향, 수평·수직의 자리맞춤, 배경색, 폰트명, 폰트 사이즈, 그 외의 서식의 디폴트 정보 등을 포함하고 있다.
콘피그 인포메이션(113)은, 후술하는 텍스트 프레임(114, 114′, …)이 포함하는 인덱스(1141a) 및 듀레이션(1141b)(도 2a 참조)의 데이터 길이를 커스터마이즈하기 위한 정보를 포함하고 있다. 예컨대, 인덱스(1141a) 및 듀레이션(1141b)의 데이터 길이를 각각 1 내지 4바이트의 어느 하나로 설정한다.
텍스트 프레임(114, 114′, …)은 재생 순서로 나열되어 있다. 또한, PES 헤더부(10)의 PTS가 나타내는 값은, 페이로드부(11)에 있어서 최초로 배치되어 있는 텍스트 프레임(114)의 재생 시각을 나타내고 있다.
이하, 도 2a를 사용하여 텍스트 프레임(114)에 대해 설명한다. 그 밖의 텍스트 프레임(114′, …)은 텍스트 프레임(114)과 동일한 구조를 가지고 있으므로 설명은 생략한다.
텍스트 프레임(114)은 세그먼트(Segment) 텍스트 헤더(1141)와 텍스트 샘플(1142)로 구성된다.
세그먼트 텍스트 헤더(1141)는, 인덱스(1141a)와 듀레이션(1141b)을 가지고 있다. 인덱스(1141a)는, 샘플 엔트리(1121, 1122, …)(도 2b 참조)를 지정함으로써, 텍스트 샘플(1142)의 디폴트의 서식을 나타내고 있다. 듀레이션(1141b)은, 텍스트 샘플(1142)의 재생 시간에 관한 정보이다. 듀레이션(1141b)이 저장하는 값의 타임 스케일은, 트랙 헤더(111)(도 1 참조)에 있어서 지정되어 있다. 텍스트 샘플(1142)은, 텍스트(1142a)와 텍스트(1142a)의 데이터 길이를 저장하는 텍스트 길이(1142b)와 모디파이어(1142c)를 가지고 있다. 모디파이어(1142c)는, 텍스트(1142a)의 일부 혹은 전부를 옵션으로 서식 변경(하이라이트, 가라오케, 블링크, 하이퍼링크 등)하는 경우에 사용된다.
도 1에 도시하는 식별자(111a, 112a, 113a, 114a)는, 각각 공통의 스타트 코드(115)와 각각 고유의 ID(111b, 112b, 113b 및 114b)로 구성된다. 예컨대, 각각의 식별자(111a, 112a, 113a, 114a)는, 3바이트의 스타트 코드(115)에 1바이트의 ID(111b, 112b, 113b, 114b)를 부가한 구조를 가지고 있다. 도 1에서는, 스타트 코드(115)는 [0×000001], 트랙 헤더 식별자(111a)의 ID(111b)는 [0×00], 샘플 디스크립션 식별자(112a)의 ID(112b)는 [0×01], 콘피그 인포메이션 식별자(113a)의 ID(113b)는 [0×02], 텍스트 프레임 식별자(114a)의 ID(114b)는 [0×03]으로 결정되고 있다. 다만 본 발명에서는, 스타트 코드 및 각각의 ID를 상기로 한정하는 것은 아니다.
또한, 각각의 식별자(111a, 112a, 113a, 114a)는, 트랙 헤더(111), 샘플 디스크립션(112), 콘피그 인포메이션(113), 텍스트 프레임(114)에 각각 부가되고 있다.
(3)
도 2를 사용하여, 샘플 디스크립션(112), 콘피그 인포메이션(113) 및 텍스트 프레임(114)의 구체적 내용에 대해 설명한다.
도 2a에 도시하는 텍스트 프레임(114)이 구비하는 인덱스(1141a)의 값 [1]은, 텍스트 샘플(1142)의 재생 시에 참조해야 할 샘플 엔트리(1121)를 지정하고 있다.
도 2b에 도시하는 샘플 엔트리(1121)는, 스크롤의 유무와 방향(display Flags), 표시 영역 내에서의 수평·수직의 자리맞춤(Horizontal justification, Vertical justification), RGB값 및 투명도에 의해 지정되는 배경색(bgColor), 표시 영역(TextBox) 폰트명(fontTable, font-ID), 폰트 사이즈(fontSize), 굵은 글씨·이탤릭·언더라인 등의 스타일(faceStyle), RGB값 및 투명도에 의해 지정되는 폰트색(fontColor) 등을 포함하고 있다. 한편, 이 서식을 적용하는 범위를 지정하는 데이터(startChar, EndChar)는, 항상 값 [0]을 취하고, 샘플 엔트리(1121)의 지정하는 서식이 적용되는 텍스트 샘플(1142) 중의 전체 범위의 텍스트(1142a)에 대해서, 이 서식이 적용되는 것을 나타내고 있다. 도 2b에 도시하는 샘플 엔트리(1121)의 각각의 값에 의해, 텍스트(1142a)의 디폴트의 서식은, 배경색을 백색, 폰트색을 흑색 및 스타일을 노말로 지정하고 있다.
듀레이션(1141b)의 값 [4500]은, 텍스트 샘플(1142)의 재생 시간을 나타내고 있다. 이 값의 타임 스케일은, 트랙 헤더(111)(도 1 참조)에 의해 지정되어 있다. 구체적으로는, 트랙 헤더(111)는, 타임 스케일로서 1초간의 해상도를 저장하고 있고, 예컨대, 트랙 헤더(111)가 저장하는 타임 스케일의 값이 [1000]인 경우, 1/1000초 단위의 해상도가 된다. 따라서, 텍스트 샘플(1142)의 재생 시간을 초 환산한 값은, 듀레이션(1141b)의 값을 트랙 헤더(111)가 저장하는 타임 스케일의 값으로 나눈 값이 되고, 예컨대, 타임 스케일의 값이 [1000]인 경우, 듀레이션(1141b)의 값 [4500]은, 텍스트 샘플(1142)을 4.5초간 재생하는 것을 의미하고 있다. 이하, 타임 스케일의 값이 [1000]으로 설정되어 있다고 하여 설명을 실시한다.
인덱스(1141a) 및 듀레이션(1141b)의 데이터 길이는, 도 2c에 도시하는 콘피그 인포메이션(113)에 의해 지정 가능하다. 콘피그 인포메이션(113)은, 1바이트의 데이터이며, 4비트의 리저브 영역(1131a)과 2비트의 인덱스 사이즈 인디케이터(1131b)와 2비트의 듀레이션 사이즈 인디케이터(1131c)로 구성된다. 즉, 2비트의 인덱스 사이즈 인디케이터(1131b) 및 듀레이션 사이즈 인디케이터(1131c)에 의해, 인덱스(1141a) 및 듀레이션(1141b)의 데이터 길이는, 1~4바이트로 지정된다. 예컨대, 인덱스 사이즈 인디케이터(1131b)의 값을 [00], 듀레이션 사이즈 인디케이터(1131c)의 값을 [01]로 하면, 도 2a의 인덱스(1141a) 및 듀레이션(1141b)의 데이터 길이는, 각각 1바이트 및 2바이트로 지정된다.
도 2a의 텍스트 길이(1142b)는, 텍스트(1142a)의 데이터 길이를 저장하고 있다. 본 실시 형태에서는, 텍스트 길이(1142b)의 데이터 길이를 2바이트로 하고 있고, 이것에 의해 텍스트(1142a)의 데이터 길이는, 최대 65535바이트로 제한되게 되지만, 필요에 따라서 텍스트 길이(1142b)의 데이터 길이를 바꾸어도 된다.
모디파이어(1142c)는, 모디파이어(1142c)의 데이터 길이(modifierSize), 텍스트(1142a)의 옵션 서식의 지정(modifierType, entryCount), 옵션 서식을 적용하는 텍스트(1142a)의 범위의 지정(startChar, EndChar), 폰트명(font-ID), 폰트 사이즈(fontSize), 굵은 글씨·이탤릭·언더라인 등의 스타일(faceStyle), RGB값 및 투명도에 의해 지정되는 폰트색(fontColor) 등을 포함하고 있다. 이 옵션 서식의 지정은, 인덱스(1141a)에 의해 참조한 샘플 엔트리(1121)의 서식에 우선해서 적용된다. 도 2a에 도시하는 값은, 텍스트(1142a)의 5 번째 문자부터 8 번째 문자까지를 [굵은 글씨]로 하는 것을 의미하고 있다.
도 2d에 텍스트 프레임(114)의 재생 상태를 도시한다. 텍스트(1142a)가 나타내는 텍스트 내용(It's fine today.) 중 5 번째 문자부터 8 번째 문자(fine)까지가 굵은 글씨로서 재생된다. 또한, 그 재생 시간은 4500 [밀리 초]간이다.
(4)
도 1에 도시하는 PES 패킷(1)의 페이로드부(11)는, 트랙 헤더(111)와 샘플 디스크립션(112)과 콘피그 인포메이션(113)과 텍스트 프레임(114, 114′, …)의 모든 정보를 구비한다고 하여 설명했다.
그러나, 송출되는 PES 패킷의 모두가, 상기 모든 정보를 구비하고 있을 필요는 없다. 트랙 헤더(111), 샘플 디스크립션(112) 혹은 콘피그 인포메이션(113)은, 각각 소정의 타이밍으로 PES 패킷에 출현하는 것이어도 된다. 또한, 일부의 정보가 포함되지 않은 경우에 재생 측에 있어서는, 과거의 PES 패킷에 의해 수신한 정보, 혹은 미리 설정된 디폴트값을 이용하여 재생을 실시하는 것이어도 된다.
이것에 의해, 텍스트의 재생에 필요한 정보를 필요한 빈도로 보내게 되고, 텍스트 트랙의 전송에 필요한 정보량을 삭감할 수 있다.
〈데이터 전송 장치〉
도 3에, MPEG-2 TS의 전송 시에 사용되는 데이터 전송 장치(3)를 도시한다. 데이터 전송 장치(3)는, 축적부(31)와 PES 송출부(32)와 시스템 인코드부(33)를 구비하고 있고 축적된 미디어 데이터를 TS 패킷으로서 송출하는 장치이다.
축적부(31)는, 미디어 데이터를, 예컨대, MP4 파일 형식으로 축적하고 있다. PES 송출부(32)는, MP4 파일로부터 비디오, 오디오, 혹은 타임드 텍스트 등의 트랙마다 독립한 ES를 수신한다. PES 송출부(32)에서는, 수취한 타임드 텍스트를 트랙 헤더(3030), 샘플 디스크립션(3040), 샘플 테이블(3050) 및 텍스트 샘플(3060)(도 55 참조) 로 분리해 버퍼링한다. 또한, 버퍼링된 각각의 정보로부터, 도 1 및 도 2에 도시하는 PES 패킷(1)을 작성한다. 또한, PES 패킷(1)의 PES 헤더부(10)의 PTS에는, PES 패킷(1)에 있어서 최초로 배치되는 텍스트 프레임(114)을 재생하는 시각 정보가 저장된다. 시스템 인코드부(33)는, 트랙마다 얻어진 PES 패킷을 TS 패킷으로서 다중화해 송출한다.
한편, 본 발명의 특징은, 주로 PES 송출부(32)에 있기 때문에, 데이터 전송 장치의 형태는 데이터 전송 장치(3)로 한정되는 것은 아니다. 예컨대, 축적부(31)나 시스템 인코드부(33)를 외부에 별체로서 구비하는 것이어도 되고, TS 패킷으로서 송출된 데이터에 전송로 부호화 및 변조를 가하여 방송파로서 송출하는 것이어도 된다.
또한, 축적부(31)가 구비하는 미디어 데이터는, MP4 파일 형식에 한정되지 않고, 타임드 텍스트와 동일한 데이터 구조를 가지고 있을 필요는 없다. 예컨대, 타임드 텍스트가 구비하는 것과 같은 정보를 포함하고, 보다 스트리밍 전송에 적절한 데이터 구조로서 축적되어 있어도 된다.
〈데이터 전송 방법〉
(1)
도 4를 이용하여, MPEG-2 TS의 전송 시에 사용되는 데이터 전송 장치(3)에 있어서의 데이터 전송 방법에 대해 설명한다.
MP4 파일 형식의 비디오, 오디오, 혹은 타임드 텍스트 등이라는 트랙마다 독립한 ES 중, 타임드 텍스트는 트랙 헤더(3030), 샘플 디스크립션(3040), 샘플 테이블(3050) 및 텍스트 샘플(3060)(도 55 참조)로 분리하여 버퍼링된다(단계 S401). 버퍼링된 각각의 정보에 근거하여, 도 1 및 도 2에 도시하는 PES 패킷(1)의 페이로드부(11)가 합성된다(단계 S402). 또한, 페이로드부(11)의 최초로 배치되는 텍스트 프레임(114)을 재생하는 시각 정보를 PTS로서 저장한 PES 헤더부(10)가 부가되어 PES 패킷(1)이 송출된다(단계 S403). 또한, 얻어진 PES 패킷(1)은, TS로서 송출된다(단계 S404).
(2)
PES 패킷의 송출 시에 있어서는, 다른 PES 패킷으로 동일한 텍스트 프레임을 복수회 전송할 수 있다. 이것에 대해서, 도 5를 사용하여 설명한다.
도 5에 도시하는 PES 패킷(5 및 5′)은, 도 1에 도시하는 PES 패킷(1)과 동일한 데이터 구조를 가지고 있다. PES 패킷(5′)은, PES 패킷(5)의 다음에 송출된다. PES 패킷(5)의 페이로드부(51)는, 도 2a에 도시하는 텍스트 프레임(114)과 동일한 데이터 구상(構想)을 가지는 텍스트 프레임(TF0, TF1, TF2, …)을 가지고 있다. 또한, PES 패킷(5)은, 페이로드부(51)에 있어서 최초로 배치되는 텍스트 프레임인 TF0의 재생 시각(T0)을 PTS의 값으로서 PES 헤더부(50)에 저장하고 있다. PES 패킷(5′)의 페이로드부(51′)는, 도 2a에 도시하는 텍스트 프레임(114)과 동일한 데이터 구상을 가지는 텍스트 프레임(TF1, TF2, TF3, …)을 가지고 있다. 또한, PES 패킷(5′)은, 페이로드부(51′)에 있어서 최초로 배치되는 텍스트 프레임인 TF1의 재생 시각(T1)을 PTS의 값으로서 PES 헤더부(50′)에 저장하고 있다.
이와 같이, 1개의 PES 패킷으로 복수의 텍스트 프레임을 송출하고, 또 다른 PES 패킷간에 동일한 텍스트 프레임을 중복해 전송함으로써, 전송시의 에러 내성을 높일 수 있다.
(3)
또한, PES 패킷의 전송시에 있어서는, 텍스트 트랙용으로 미리 고정된 전송로 대역을 확보했을 경우, 그 고정의 전송로 대역을 충분히 이용하도록 PES 패킷의 데이터 길이 혹은 PES 패킷의 전송 개수가 결정된다. 예컨대, 텍스트 트랙용으로 16 kbps의 전송로 대역을 할당한 경우, 1초간에 2000바이트의 PES 패킷을 작성할 수 있다. 이것에 의해, 2000바이트의 PES 패킷 내에 들어갈 만한 텍스트 프레임을 담아 전송한다.
이것에 의해, 전송로 대역을 충분히 활용하여 중복된 텍스트 프레임을 전송하는 것이 가능해지고, 에러 내성을 높인 전송이 가능해진다.
〈데이터 수신 장치〉
도 6에, MPEG-2 TS의 전송시에 있어서 사용되는 데이터 수신 장치(6)를 도시한다. 데이터 수신 장치(6)는, 수신부(60)와 시스템 디코더부(61)와 미디어 디코더 버퍼부(62)와 미디어 디코더부(63)와 표시 버퍼부(64)를 구비하고 있고, 방송파 등에서 수신한 TS로부터 텍스트 트랙을 재생하는 장치이다. 데이터 수신 장치(6)는, 예컨대, 텔레비전, 컴퓨터 혹은 카 네비게이션 등에 내장 혹은 외부 접속되는 장치이다.
수신부(60)는 방송파 등을 수신하고, TS를 복조한다. 시스템 디코더부(61)는, 복조된 TS로부터 비디오, 오디오, 혹은 텍스트라는 트랙마다 PES 패킷을 분리한다. 또한, TS 패킷으로부터 트랙 간의 동기 재생을 위한 기준 시각인 STC (System Time ㅊlock)를 재생한다. 미디어 디코더 버퍼부(62)는, 분리된 PES 패킷 중 텍스트 트랙의 재생에 따른 PES 패킷(1)의 PES 헤더부(10)로부터 PTS를 취출한다. 또한, 시스템 디코더부(61)에서 재생된 STC를 참조해, STC에 일치하는 PTS를 가지는 PES 패킷(1)의 페이로드부(11)를 송출한다. 미디어 디코더부(63)는, 취득한 페이로드부(11)를 해석하고, 트랙 헤더(111), 샘플 디스크립션(112), 콘피그 인포메이션(113)이 저장하는 정보, STC, 듀레이션(1141b) 및 모디파이어(1141c)에 근거하여 텍스트 트랙을 디코드한다. 표시 버퍼부(64)는, 디코드된 텍스트 트랙을 저장하고, 표시장치(65)의 표시 레이트에 따라서, 디코드된 텍스트 트랙을 비디오, 오디오라는 다른 미디어와 동기적으로 재생시킨다.
한편, 본 발명의 특징은 미디어 디코더부(63)에 있기 때문에, 데이터 수신 장치의 형태는 데이터 수신 장치(6)로 한정되는 것은 아니다. 예컨대, 표시장치(65)를 일체적으로 대비하는 것이어도 된다.
〈데이터 수신 방법〉
(1)
도 7을 사용하여, MPEG-2 TS의 전송시에 있어서 사용되는 데이터 수신 장치(6)에 있어서의 데이터 수신 방법에 대해 설명한다.
수신된 TS로부터, 비디오, 오디오, 혹은 텍스트라고 하는 트랙마다 PES 패킷이 분리된다. 또한, TS로부터 트랙 간의 동기 재생을 위한 기준 시각인 STC가 재생된다(단계 S701). 분리된 PES 패킷 중, 텍스트 트랙의 재생에 따른 PES 패킷(1)의 PES 헤더부(10)로부터 PTS가 취득된다. 또한, 재생된 STC로부터, STC에 일치하는 PTS를 가지는 PES 패킷(1)의 페이로드부(11)가 해석된다(단계 S702). 페이로드부(11)의 해석에 의해 식별된 트랙 헤더(111), 샘플 디스크립션(112) 및 콘피그 인포메이션(113)의 저장하는 정보, STC, 듀레이션(1141b) 및 모디파이어(1141c)에 근거하여 텍스트 트랙이 디코드된다(단계 S703).
(2)
도 8에, 데이터 수신 장치(6)에 있어서, 텍스트 트랙 시퀀스로서 정의되는 페이로드부(11)를 해석하기 위한 신택스를 도시한다.
PES 패킷(1)의 페이로드부(11)의 해석 시에 있어서, 스타트 코드(115)의 검색이 실시된다. 스타트 코드(115)가 발견되었을 경우, 그 스타트 코드에 부가되는 ID가 해석된다(단계 S802a, 단계 S803a, 단계 S804a, 단계 S805a). ID의 해석에 의해, 트랙 헤더(111), 샘플 디스크립션(112), 콘피그 인포메이션(113), 텍스트 프레임(114)이 식별되고 각각의 정보에 있어서 처리를 실시한다(단계 S802b, 단계 S803b, 단계 S804b, 단계 S805b).
또한, 수신한 PES 패킷(1)에 콘피그 인포메이션(113)이 포함되지 않은 경우, 인덱스(1141a) 및 듀레이션(1141b)의 데이터 길이에는 디폴트값이 사용된다(단계 S801).
이 시퀀스는, 텍스트 트랙이 종료할 때까지 계속된다. 예컨대, 텍스트 트랙의 종료는, 텍스트 트랙의 마지막에 부가된 스타트 코드(115)와 텍스트 트랙의 종료를 의미하는 ID(예컨대, [0×04])로 구성되는 식별자 등에 의해 식별된다(단계 S806).
(3)
데이터 수신 장치(6)에 있어서는, 상기 텍스트 트랙 시퀀스에서 PES 패킷(1)의 페이로드부(11)의 해석을 실시한다. 또한 페이로드부(11)가 포함하는 복수의 텍스트 프레임(114, 114′, …) 중 디코드해야 할 텍스트 프레임을 판정하는 규칙에 대해서, 도 9 및 도 10을 사용하여 설명한다.
(3-1)
우선, 복수의 PES 패킷이 구비하는 텍스트 프레임의 재생 시각이 중복되고 있는 경우에 대해 설명한다.
도 9에 도시하는 PES 패킷(9 및 9′)은, 도 1에 도시하는 PES 패킷(1)과 동일한 데이터 구조를 가지고 있다.
PES 패킷(9′)은 PES 패킷(9)의 다음에 송출된다. PES 패킷(9)의 페이로드부(91)는, 도 2a에 도시하는 텍스트 프레임(114)과 동일한 데이터 구상을 가지는 텍스트 프레임(TF0, TF1, …, TFn-1, TFn, TFn＋1, …)을 가지고 있다. 또한, 각각의 듀레이션을 D0, D1, …, Dn-1, Dn, Dn＋1, …로 한다. 또한, PES 패킷(9)은, 페이로드부(91)에 있어서 최초로 배치되는 텍스트 프레임인 TF0의 재생 시각(Ta)을 PTS의 값으로 하는 PES 헤더부(90)을 가지고 있다.
PES 패킷(9′)의 페이로드부(91′)는, 도 2a에 도시하는 텍스트 프레임(114)과 동일한 데이터 구조를 가지는 텍스트 프레임(TFk, TFk＋1, …)을 가지고 있다. 또, 각각의 듀레이션을 Dk, Dk＋1, …으로 한다. 또한, PES 패킷(9′)은, 페이로드부(91′)에 있어서 최초로 배치되는 텍스트 프레임인 TFk의 재생 시각(Tb)을 PTS의 값으로 하는 PES 헤더부(90′)를 가지고 있다.
또한, TFk의 재생 시각(Tb)은, Tn＜Tb＜Tn＋1을 만족한다고 한다. 여기서, Tn 및 Tn＋1은, 텍스트 프레임 TFn 및 TFn＋1의 재생 시각이며, Tn=Tn-1＋Dn-1, Tn＋1=Tn＋Dn이다.
이 때, 이 PES 패킷(9)과 PES 패킷(9′)의 관계에 있어서, 디코드되어야 할 텍스트 프레임은, PES 패킷(9)에 있어서 시각(Tb) 이전에 재생되어야 할 텍스트 프레임 및 PES 패킷(9′)이 포함하는 텍스트 프레임이다.
즉, 시각(Tb)에 있어서는, PES 패킷(9)의 재생하고 있는 텍스트 프레임(TFn) 상태와 상관없이, PES 패킷(9′)이 구비하는 텍스트 프레임(TFk, TFk＋1, …)의 재생이 개시된다.
더욱 구체적으로 설명한다. 예컨대, PES 패킷(9)은, 3개의 텍스트 프레임을 구비하고, PES 패킷(9)의 PTS의 값에 대해서 각각 0, 20, 30초 후에 재생 개시하도록 듀레이션의 값이 지정되어 있다고 한다. 한편, PES 패킷(9′)은, 3개의 텍스트 프레임을 구비하고, PES 패킷(9)의 PTS의 값에 대해서 각각 26, 38, 52초 후에 재생 개시하도록 PTS 및 듀레이션의 값이 지정되어 있다고 한다. PES 패킷(9)과 PES 패킷(9′)을 수신했을 경우에, 재생측에서는, PES 패킷(9)의 PTS의 값에 대해서 0, 20, 26, 38, 52초 후에 각각 텍스트 프레임이 재생된다.
이것에 의해서, 미리 보낸 복수의 텍스트 프레임을 최신의 정보로 갱신해 재생할 수 있고 예컨대, 긴급 사태에 텍스트의 재생을 실시하는 것 등이 가능해진다.
(3-2)
다음에, PES 패킷이 수신된 시각이 그 PES 패킷의 PTS가 나타내는 시각을 경과하고 있는 경우에 대해 설명한다.
도 10에 도시하는 PES 패킷(110)은, 도 1에 도시하는 PES 패킷(1)과 동일한 데이터 구조를 가지고 있다.
PES 패킷(110)의 페이로드부(101)는, 도 2a에 도시하는 텍스트 프레임(114)과 동일한 데이터 구상을 가지는 텍스트 프레임(TF0, TF1, …, TFn-1, TFn, TFn＋1, …)을 가지고 있다. 또한, 각각의 듀레이션을 D0, D1, …, Dn-1, Dn, Dn＋1, …으로 한다. 또한, PES 패킷(110)은, 페이로드부(101)에 있어서 최초로 배치되는 텍스트 프레임인 TF0의 재생 시각(Ta)을 PTS의 값으로 하는 PES 헤더부(100)를 가지고 있다.
여기서, PES 패킷(110)의 수신 시각을 Td로 한다. 시각(Td)이, Ta＜Tn＜Td＜Tn＋1을 만족한다고 하고, 수신시에 있어서 이미 TF0의 재생 시각(Ta)을 경과하고 있다고 한다. 여기서, Tn 및 Tn＋1은, 텍스트 프레임 TFn 및 TFn＋1의 재생 시각이며, Tn=Tn-1＋Dn-1, Tn＋1=Tn＋Dn이다.
이 때, PES 패킷(110)의 텍스트 프레임(TF0, TF1, …, TFn-1, TFn, TFn＋1, …) 중, 디코드되어야 할 텍스트 프레임은, PES 패킷(110)에 있어서, 시각(Td) 이후에 재생되는 텍스트 프레임이다.
즉, 시각(Td)에 있어서 텍스트 프레임(TFn)으로부터 재생이 개시되고, 텍스트 프레임(TFn)은 시각(Tn+1)까지의 [Tn＋1 - Td]만큼 재생된다.
또한, 텍스트 프레임(TFn)이 시간 변화를 수반하는 처리를 포함하는 경우, 예컨대, 스크롤이나 가라오케 등의 서식으로 재생되는 경우에는, 시각(Td)에 있어서 재생되어 있어야 할 상태로부터 재생이 개시된다.
도 11을 사용하여 구체적으로 설명한다. 텍스트 프레임(TFn)은, 모디파이어에 의해 가라오케의 옵션 서식이 설정되어 있다고 하고, 시각(Tn)으로부터의 5초간으로 「아 이 우 에 오」의 5 문자를 1초간에 1 문자씩 색변화시킨다고 한다. 재생 상태(1101)는, 시각(Tn)에 재생되고 있어야 할 상태, 재생 상태(1102)는 시각(Tn)으로부터 5초 후에 재생되고 있어야 할 상태로 한다.
이 때, 텍스트 프레임(TFn)을 포함하는 PES 패킷(110)을 시각(Tn)으로부터 3초 경과한 시각(Td)에 수신했다고 한다. 이 때, 시각(Td)에 있어서는, 3 문자 색변화한 재생 상태(1103)로부터 재생이 개시된다.
〈제1 실시 형태의 효과〉
(PES 패킷의 데이터 구조)
본 실시 형태에서 나타낸 PES 패킷(1)의 데이터 구조에 의해, 타임드 텍스트의 헤더부(3010)(도 55 참조)와 같은 타임드 텍스트의 전체의 재생과 관계된 정보를 사전에 전송해 둘 필요가 없어진다. 이 때문에, 텍스트 트랙의 수신 개시로부터 재생 개시까지의 대기 시간이 적어진다.
또한, 텍스트 트랙의 재생에 필요한 정보인 트랙 헤더(111), 샘플 디스크립션(112), 콘피그 인포메이션(113) 등의 정보가 반복되어 전송되고 있어 텍스트 트랙에 랜덤 억세스하여 재생하는 것이 가능해진다.
이로써, PES 패킷(1)의 데이터 구조는, 스트리밍 전송에 매우 적합한 데이터 구조라고 할 수 있다.
(데이터 전송 장치 및 데이터 전송 방법)
본 실시 형태에서 나타낸 데이터 전송 장치(3) 및 데이터 전송 방법에서는, 1개의 PES 패킷으로 복수의 텍스트 프레임을 송출하고, 또 다른 PES 패킷 간에 동일한 텍스트 프레임을 중복하여 전송한다. 이것에 의해, 전송시의 에러 내성을 높일 수 있어 데이터의 재전송 요구 등이 불가능한 스트리밍 전송에 있어서 매우 적합한 전송이 가능해진다.
(데이터 수신 장치 및 데이터 수신 방법)
본 실시 형태에서 나타낸 데이터 수신 장치(6) 및 데이터 수신 방법에서는, 미리 보낸 복수의 텍스트 프레임을 최신의 정보로 갱신해 재생할 수 있다. 이것에 의해, 예컨대, 긴급 사태에 텍스트의 재생을 실시하는 것 등이 가능해진다.
또한, PES 패킷의 수신 시각이 PES 패킷의 PTS를 경과하고 있는 경우, 비디오 혹은 오디오라면 그 PES 패킷을 파기하고, 다음의 PES 패킷의 수신을 기다려 재생을 재개한다. 그러나, 텍스트 트랙의 재생에서는, PES 패킷의 도중의 텍스트 프레임으로부터라도 재생을 실시하는 것을 가능하게 하여 정보의 결핍을 가능한 한 막는 것이 가능해진다. 또한, 가라오케, 스크롤 등의 시간 변화를 수반하는 서식으로 텍스트 트랙의 재생이 실시되는 경우라도, 텍스트 트랙과 비디오 혹은 오디오와의 차이로부터 느껴지는 위화감을 경감하는 것이 가능해진다.
〈제1 실시 형태의 변형예〉
(1)
제1 실시 형태에 있어서, 트랙 헤더 식별자(111a), 샘플 디스크립션 식별자(112a), 콘피그 인포메이션 식별자(113a) 및 텍스트 프레임 식별자(114a)는, 각각 공통의 스타트 코드(115)와 각각 고유의 ID(111b, 112b, 113b 및 114b)로 구성된다고 설명했다.
여기서 도 12a에 도시하는 바와 같이, 각각의 식별자는, 트랙 헤더(111), 샘플 디스크립션(112), 콘피그 인포메이션(113), 혹은 텍스트 프레임(114, 114′, …)의 각각의 데이터 길이를 저장하는 길이부(111c, 112c, 113c, 114c, 114′c, …)와 고유의 ID(111b, 112b, 113b, 114b)로 구성되는 것이어도 된다.
예컨대, 각각의 길이부를 2바이트로 하면, 트랙 헤더(111), 샘플 디스크립션(112), 콘피그 인포메이션(113), 혹은 텍스트 프레임(114, 114′, …)의 각각의 데이터 길이는, 최대 65535바이트로 제한된다. 그러나, 일반적으로는, 텍스트 데이터의 전송으로서 충분한 데이터 길이라고 할 수 있다. 또한, 길이부를 2바이트로 하면, 3바이트의 스타트 코드(115)를 사용한 경우에 비해 비트 효율이 좋다고 말할 수 있다. 또한, 스타트 코드(115)를 사용하여 식별하는 경우, 비트열 중에 유사 스타트 코드(스타트 코드는 아니지만, 스타트 코드와 동일한 비트열)가 발생해서는 안 되기 때문에, 비트열 중에 유사 스타트 코드가 출현하지 않도록 제한을 마련할 필요가 있다. 그러나, 식별자에 길이부를 사용한 경우, 이러한 문제점의 발생은 방지할 수 있다.
이 때, 길이부의 데이터 길이를 콘피그 인포메이션(113)에 의해 지정하는 것도 가능하다. 구체적으로는, 콘피그 인포메이션(113)의 리저브 영역(1131a) 중 2비트를 길이 사이즈 인디케이터(1131′a)로 하고, 길이부의 데이터 길이를 1~4바이트로 지정하는 것도 가능하다(도 12b 참조).
(2)
제1 실시 형태에 있어서는, PES 패킷(1)은, 도 2에 도시하는 구조를 가지는 텍스트 프레임(114)을 가지고 있다고 하여 설명했다. 여기서, PES 패킷은, 도 13에 도시하는 PES 패킷(1″)이어도 된다.
도 13에 도시하는 PES 패킷(1″)은, MPEG-2 시스템으로 규정되는 PES 헤더부(116)와 페이로드부(117)를 구비하고 있다. 페이로드부(117)는, 페이로드 헤더부(118)와 페이로드 데이터부(119)로 구성된다. 페이로드 헤더부(118)는, 카운트부(118a), 샘플 헤더부(118b 및 118c)를 가지고 있다. 페이로드 데이터부(119)는, 텍스트 샘플(119b 및 119c)을 가지고 있다.
카운트부(118a)는, PES 패킷(1″)에 포함되는 텍스트 샘플의 개수를 나타내고 있다. 도 13에서는, 카운트부(118a)의 값이 [2]인 경우를 도시하고 있고 PES 패킷(1″)은, 2개의 텍스트 샘플(119b 및 119c)을 포함하고 있다.
샘플 헤더부(118b)는, 길이부와 인덱스와 듀레이션을 가지고 있다. 길이부는, 샘플 헤더부(118b)의 데이터 길이를 저장하고 있다. 인덱스 및 듀레이션은, 도 2에 도시하는 인덱스(1141a) 및 듀레이션(1141b)과 동일하다. 샘플 헤더부(118c)는, 샘플 헤더부(118b)와 동일한 구조를 가지고 있다.
텍스트 샘플(119b 및 119c)은, 도 2에 도시하는 텍스트 샘플(1142)과 동일한 구조를 가지고 있으므로 설명은 생략한다.
여기서, 샘플 헤더부(118b 및 118c)는, 그 배치 순서로 텍스트 샘플(119b 및 119c)과 관련되어 있다. 즉, 페이로드 헤더부(118)에 있어서 최초로 배치되는 샘플 헤더부(118b)는, 페이로드 데이터부(119)에 있어서 최초로 배치되는 텍스트 샘플(119b)의 인덱스 및 듀레이션을 나타내고 있다. 또한, 텍스트 샘플(119b 및 119c)은, 페이로드 데이터부(119)에 있어서 재생 순서로 배치되어 있고 PES 패킷(1)과 동일하게 최초로 배치되는 텍스트 샘플(119b)의 재생 시각을 PES 헤더부(116)의 PTS에 저장하고 있다.
PES 패킷(1″)에서는, 복수의 텍스트 샘플(119b 및 119c)을 연결한 구조를 가지고 있고 PES 패킷(1)에 비교해 MP4 파일 기록시의 구조에 가까운 구조를 가지면서, 스트리밍 전송에 적절한 패킷 구조가 되고 있다.
한편, PES 패킷(1″)은 트랙 헤더(111), 샘플 디스크립션(112), 콘피그 인포메이션(113)(도 1 참조)을 추가로 가져도 된다. 이 경우, 각각을 식별하는 식별자를 부가하는 것이 요구된다.
또한, PES 패킷은, 텍스트 샘플마다 샘플 헤더부를 배치하는 구조라도 된다. 도 13을 사용하여 구체적으로 설명하면, 샘플 헤더부(118b), 텍스트 샘플(119b), 샘플 헤더부(118c), 텍스트 샘플(119c)의 순서로 데이터를 저장하는 구조이다. 이 경우, 텍스트 샘플(118b(118c))은, 직전에 배치되는 샘플 헤더부(119b(119c))와 관련되고 있다. 또한, 이 경우, 길이부는 직후에 배치되는 텍스트 샘플의 데이터 길이를 저장한다. 또한, 이 경우 카운트부(118a)는 없어도 된다.
(3)
식별자의 일부에 스타트 코드(115)를 사용하는 경우, 비트열 중의 의사 스타트 코드의 출현은 이하와 같이 하여 방지된다. 예컨대, 도 1에 도시하는 바와 같이, 스타트 코드(115)는 [0×000001], 트랙 헤더 식별자(111a)의 ID(111b)는 [0×00], 샘플 디스크립션 식별자(112a)의 ID(112b)는 [0×01], 콘피그 인포메이션 식별자(113a)의 ID(113b)는 [0×02], 텍스트 프레임 식별자(114a)의 ID(114b)는 [0×03]로 결정되고 있다고 한다. 이 때, 트랙 헤더(111), 샘플 디스크립션(112), 콘피그 인포메이션(113) 혹은 텍스트 프레임(114)의 비트열 중에 2바이트의 제로가 출현했을 경우, 미리 정한 1바이트 코드(예컨대 [0×05])를 2바이트의 제로의 뒤에 삽입해 전송하는 것으로 해도 된다. 이 경우, 재생 측에서는, 트랙 헤더(111) 등의 비트열 중에 2바이트의 제로가 계속된 후의 1바이트를 무조건 삭제함으로써 오리지널의 데이터로 되돌릴 수 있다.
구체적으로는, 트랙 헤더(111) 등의 비트열 중에, [0000EA65…]라는 비트열이 출현한 경우, 전송 측에 있어서 미리 정한 1바이트 코드 [0×05]를 삽입하고, [000005EA65…]로서 전송한다. 재생 측에 있어서 [000005EA65…]라는 비트열을 수신한 경우, 2바이트의 제로가 계속된 후의 1바이트를 무조건 삭제하고, [0000EA65…]라는 비트열을 복원한다.
(4)
텍스트 프레임이 구비하는 듀레이션의 값은, [무한대]를 표현하는 것도 가능하게 한다.
즉, 재생 측에 있어서는, [무한대]를 표현하는 듀레이션의 값을 가지는 텍스트 프레임을 수신했을 경우, 그 텍스트 프레임의 재생 개시 시각을 넘는 재생 개시 시각을 가지는 텍스트 프레임을 수신할 때까지는, [무한대]를 표현하는 듀레이션의 값을 가지는 텍스트 프레임을 계속 재생하는 것으로 한다.
또한, [무한대]를 표현하는 듀레이션의 값을 가지는 텍스트 프레임은, PES 패킷에 있어서 마지막에 배치되는 것으로 한다.
한편, 듀레이션의 값 [무한대]를 표현하기 위해서, 구체적으로는, 듀레이션의 값으로서 [0]이 저장된다.
(5)
도 2b를 사용하여 설명한 샘플 디스크립션(112)은, 도 14에 도시하는 데이터 구조를 가지고 있어도 된다. 도 14에 도시하는 샘플 디스크립션(112′)은, 샘플 엔트리마다 인덱스를 가지고 있는 점을 특징으로 하고 있다. 구체적으로는, 데이터 수신 장치 등에서는, 텍스트 프레임이 가지는 인덱스(예컨대, 도 2의 인덱스(1141a) 등)를 샘플 디스크립션(112′)이 가지는 인덱스와 대응시키고, 텍스트 프레임에 적용하는 샘플 엔트리를 판단한다. 이하, 도 14에 대해서 더욱 상세하게 설명을 추가한다. 도 14에 도시하는 샘플 디스크립션(112′)은, 엔트리 카운트(501)와 복수의 샘플 엔트리를 가지고 있다. 도 14에서는, 샘플 엔트리(502)와 샘플 엔트리(503)의 2개의 샘플 엔트리를 가지는 경우를 도시한다.
엔트리 카운트(501)는, 샘플 디스크립션(112′)이 가지는 샘플 엔트리의 개수를, 예컨대 1바이트의 데이터 길이로 나타낸다. 도 14에서는, 2개의 샘플 엔트리를 가지기 때문에 값 [2]가 저장된다. 샘플 엔트리(502)는, 인덱스(504)와 샘플 애트리뷰트(505)를 가지고 있다. 샘플 엔트리(503)도 동일한 구조를 가지고 있고 인덱스(506)와 샘플 애트리뷰트(507)를 가지고 있다. 이하, 샘플 엔트리(502)를 사용하여 설명을 추가한다.
인덱스(504)는, 미리 설정된 데이터 길이(N바이트)로 샘플 엔트리(502)의 인덱스값을 나타낸다. 샘플 애트리뷰트(505)는, 도 2b에서 설명한 샘플 엔트리(1121) 등과 동일한 서식 정보를 저장하고 있다. 샘플 애트리뷰트(505)의 데이터 길이는, 가변이다.
이 샘플 디스크립션(112′)에서는, 샘플 디스크립션(112′)이 가지는 인덱스와 텍스트 프레임이 가지는 인덱스를 대응시켜, 텍스트 프레임에 적용하는 서식을 판단시키는 것이 가능해진다.
[제2 실시 형태]
〈데이터 구조〉
제1 실시 형태에 있어서는, 텍스트 트랙의 재생과 관련된 정보를 모두 PES 패킷(1)에 의해 전송했다(인 밴드 전송). 한편, 트랙 헤더, 샘플 디스크립션이라는 정보를 MPEG-2 TS에 대해 규정되는 PSI(Program Specific Information)라 불리는 테이블 정보로서 전송하는 것도 가능하다(아웃 밴드 전송).
TS는 비디오, 오디오 등 복수의 프로그램을 다중화해 전송할 수 있기 때문에, 스트림 중에 포함되어 있는 어떤 프로그램을 다른 어떤 프로그램과 함께 재생하면 좋은 것인지 하는 정보를 보낼 필요가 있다. MPEG-2 TS에서는, 비디오, 오디오 등을 전송하는 PES가 아니라, 섹션이라 불리는 데이터 구조에 의해 이러한 정보를 전송하고 있다. PSI에는, PAT(Program Association Table), PMT(Program Map Table)라는 테이블이 규정되어 있다. 또한, PSI의 섹션에 있어서는, 디스크립터로 불리는 구조를 사용하여 여러 가지 설명 정보 등을 전송하는 것이 가능해지고 있다.
이 PMT, 혹은 응용 시스템으로 정의되는 PSI 프라이빗 섹션에 있어서 트랙 헤더, 샘플 디스크립션이라는 정보를 디스크립터로서 캐루젤(carousel) 방식으로 전송하는 것이 가능하다.
이 경우, PES 패킷에서는, 텍스트 트랙의 재생과 관련된 정보 가운데, 텍스트 프레임만을 전송하면 된다. 도 15에 제2 실시 형태에 있어서 전송되는 PES 패킷(13)을 도시한다.
도 15에 도시하는 PES 패킷(13)의 데이터 구조는, MPEG-2 TS로 규정되는 PES 헤더부(130)와 페이로드부(131)로 구성된다. PES 헤더부(130)는, 비디오, 오디오, 혹은 텍스트라는 트랙 간의 동기 재생을 위한 시각 정보인 PTS(Presentation Time Stamp)를 가지고 있다. 페이로드부(131)는, 도 2a에 있어서 정의되는 텍스트 프레임(114)과 동일한 구조를 가지는 텍스트 프레임(1314, 1314′, …)과 각각의 텍스트 프레임(1314, 1314′, …)의 데이터 길이(1315, 1315′, …)로 구성된다.
한편, 데이터 길이(1315, 1315′, …) 대신에 스타트 코드를 사용하여 텍스트 프레임(1314, 1314′, …)의 경계의 표적으로 해도 된다.
PMT, 혹은 PSI 프라이빗 섹션에 있어서 전송되는 트랙 헤더, 샘플 디스크립션은, 각각 제1 실시 형태에 있어서 설명한 트랙 헤더(111), 샘플 디스크립션(112), 샘플 디스크립션(112′)과 동일한 구조를 가지고 있다. 또한, 필요에 따라서 콘피그 인포메이션(113)을 전송한다고 해도 된다.
또한, 도 15에 도시하는 PES 패킷(13)은, 제1 실시 형태의 변형예로서 설명한 도 13에 도시하는 PES 패킷(1″)과 동일한 구조를 가지는 것이어도 된다.
〈데이터 전송 장치〉
도 16에, MPEG-2 TS의 전송시에 있어서 사용되는 데이터 전송 장치(14)를 도시한다. 데이터 전송 장치(14)는, 축적부(141)와 PES 송출부(142)와 시스템 인코드부(143)을 구비하고 있고 축적된 미디어 데이터를 TS 패킷으로서 송출하는 장치이다.
축적부(141)는, 미디어 데이터를, 예컨대, MP4 파일 형식으로 축적하고 있다. PES 송출부(142)는, MP4 파일로부터 비디오, 오디오, 혹은 타임드 텍스트 등이라는 트랙마다 독립한 ES를 수신한다. PES 송출부(142)에서는, 수취한 타임드 텍스트를 트랙 헤더(3030), 샘플 디스크립션(3040), 샘플 테이블(3050) 및 텍스트 샘플(3060)(도 55 참조)로 분리해 버퍼링한다. 버퍼링된 각각의 정보로부터, 도 15에 도시하는 PES 패킷(13)을 작성한다. 또한, PES 패킷(13)의 PTS에는, PES 패킷(13)에 있어서 최초로 배치되는 텍스트 프레임(1314)을 비디오 혹은 오디오 등 다른 트랙과 동기 재생하는 시각 정보가 저장된다. 시스템 인코드부(143)에서는, 트랙 헤더(3030) 및 샘플 디스크립션(3040)을, PMT 혹은 PSI 프라이빗 섹션에 있어서 저장하고, TS 패킷으로서 PES 패킷(13)과 다중하여 송출한다.
또한, 데이터 전송시에 있어서는, 제1 실시 형태의〈데이터 전송 방법〉(2) 및 (3)에서 설명한 데이터 전송 방법을 채용하는 것도 가능하다.
〈데이터 수신 장치〉
도 17에, MPEG-2 TS의 전송 시에 있어서 사용되는 데이터 수신 장치(15)를 도시한다. 데이터 수신 장치(15)는, 수신부(150)와 시스템 디코더부(151)와 미디어 디코더 버퍼부(152)와 미디어 디코더부(153)와 표시 버퍼부(154)를 구비하고 있고, 수신한 TS로부터 텍스트 트랙을 재생하는 장치이다. 데이터 수신 장치(15)는, 예컨대, 텔레비전, 컴퓨터 혹은 카 네비게이션 등에 내장 혹은 외부 접속된다.
수신부(150)는 방송파 등을 수신하고 TS를 복조한다. 시스템 디코더부(151)는, 복조된 TS로부터 비디오, 오디오, 혹은 텍스트라고 하는 트랙마다 PES 패킷을 분리한다. 또한 TS 패킷으로부터 미디어 간의 동기 재생을 위한 기준 시각인 STC를 재생한다. 또한, PMT 혹은 PSI 프라이빗 섹션에 있어서 저장된 트랙 헤더(3030) 및 샘플 디스크립션(3040)을 미디어 디코더부(153)로 설정한다.
미디어 디코더 버퍼부(152)는, 분리된 PES 패킷 중 텍스트 트랙의 재생에 따른 PES 패킷(13)으로부터 PTS를 취출한다. 또한, 시스템 디코더부(151)에서 재생된 STC를 참조하여, STC에 일치하는 PTS를 가지는 PES 패킷(13)의 페이로드부(131)를 송출한다.
미디어 디코더부(153)는, 취득한 페이로드부(131), STC 및 설정된 트랙 헤더(3030) 및 샘플 디스크립션(3040)에 근거해 텍스트 트랙을 디코드한다.
표시 버퍼부(154)는, 디코드된 텍스트 트랙을 저장하고, 표시장치(155)의 표시 레이트에 따라서, 디코드된 텍스트 트랙을 비디오, 오디오라는 다른 미디어와 동기적으로 재생시킨다.
또한, 데이터 수신 시에 있어서는, 제1 실시 형태의〈데이터 수신 방법〉(2) 및 (3)에서 설명한 데이터 수신 방법을 채용하는 것도 가능하다.
〈제2 실시 형태의 효과〉
제1 실시 형태의 효과와 동일한 효과를 얻을 수 있다.
또한, 텍스트 트랙의 재생에 필요한 정보인 트랙 헤더, 샘플 디스크립션이라는 정보는, 캐루젤 방식에 의해 반복 전송되고 있어 PES 패킷(13)을 수신하면서 순차 재생하는 것이 가능해진다.
또한, 상기 제 1 실시 형태와 같이 인 밴드 전송하는 경우, 트랙 헤더나 샘플 디스크립션 등은, 그 내용에 변화가 없어도, PES 패킷에 포함되어 반복 출현한다. 이 때문에, 재생 시에는, 그 내용이 변화했는지 여부를 매회 해석해 확인할 필요가 있다. 한편, 상기 제2 실시 형태와 같이 아웃 밴드 전송하는 경우, PMT 중에서 트랙 헤더 등을 반복 전송할 필요는 있지만, 내용의 변화의 유무는, PMT의 헤더부에 있는 버전 번호의 변화로 판단 가능하고, 그 내용이 변화했는지 여부를 매회 해석해 확인할 필요가 없어 효율적인 처리가 가능해진다.
〈제2 실시 형태의 변형예〉
(1)
도 15를 사용하여 설명한 PES 패킷(13)에 있어서, 데이터 길이(1315, 1315′)를 세그먼트 텍스트 헤더(도 2a 참조)의 일부로서 포함하고 있어도 된다. 이 경우의 PES 패킷의 구조를 도 18에 도시한다.
도 18에 도시하는 PES 패킷(511)은, MPEG-2 TS로 규정되는 PES 헤더부(512)와 페이로드부(513)로 구성된다. PES 헤더부(512)는, 도 15를 사용하여 설명한 PES 헤더부(130)와 동일한 구조를 가지고 있다. 페이로드부(513)는, 복수의 텍스트 프레임을 가지고 있다. 이하, 페이로드부(513)가 가지는 텍스트 프레임 중 하나인 텍스트 프레임(514)을 사용하여 텍스트 프레임의 구조에 대해 설명한다.
텍스트 프레임(514)은, 세그먼트 텍스트 헤더(515)와 텍스트 샘플(516)로 구성된다. 세그먼트 텍스트 헤더(515)는, 인덱스(517)과 듀레이션(518)과 길이(519)를 가지고 있다. 인덱스(517)는, 텍스트 샘플(516)과 텍스트 샘플(516)에 적용되는 샘플 엔트리(도 2b, 도 14 참조)를 관련짓기 위한 정보이다. 듀레이션(518)은, 텍스트 샘플(516)의 재생 시간 정보이다. 길이(519)는, 텍스트 샘플(516)의 데이터 길이를 저장한다. 한편, 세그먼트 텍스트 헤더(515)에 있어서의 인덱스(517), 듀레이션(518) 및 길이(519)의 순서는 임의이다. 텍스트 샘플(516)은, 도 2a에 도시하는 텍스트 샘플(1142)과 동일한 구조를 가지고 있다.
PES 패킷(511)에는, 이상의 구조를 가지는 텍스트 프레임이 복수 저장된다.
(2)
상기 실시 형태에서는, 도 15를 사용하여, 트랙 헤더 및 샘플 디스크립션을 아웃 밴드 전송하는 경우에 대해 설명했다. 여기에서, 샘플 디스크립션은, 인 밴드 전송하는 것으로 해도 된다. 이 경우의 PES 패킷의 구조를 도 19를 사용하여 설명한다.
《2-1》
도 19a는, 페이로드부의 모두에 샘플 디스크립션을 정리해 배치하는 PES 패킷의 구조에 대해 도시하고 있다.
PES 패킷(526)은, MPEG-2 TS로 규정되는 PES 헤더부(527)와 페이로드부(528)로 구성된다. PES 헤더부(527)는, 도 15를 사용하여 설명한 PES 헤더부(130)와 동일한 구조를 가지고 있다. 페이로드부(528)는, 샘플 디스크립션(529) 및 복수의 텍스트 프레임을 가지고 있다. 도 19a에서는, 3개의 텍스트 프레임(530~532)이 저장되어 있다.
샘플 디스크립션(529)은, 도 14를 사용하여 설명한 샘플 디스크립션(112′)과 동일한 구조를 가지고 있고, 페이로드부(528)가 가지는 텍스트 프레임(530~532)에 의해 참조되는 샘플 엔트리를 가지고 있다. 보다 구체적으로는, 텍스트 프레임(530~532)이 가지는 인덱스값에 대응하는 인덱스값을 가지는 샘플 엔트리를 가지고 있다. 즉, 텍스트 프레임(530~532)이 가지는 인덱스값이 각각 값 [3], [2], [2]인 경우, 샘플 디스크립션(529)은 인덱스값 [3]을 가지는 샘플 엔트리와 값 [2]를 가지는 샘플 엔트리의 2개의 샘플 엔트리를 구비한다.
텍스트 프레임(530~532)의 구조는, 도 18을 사용하여 설명한 텍스트 프레임(514)과 동일하다.
한편, 샘플 디스크립션(529)은, 도 2b에 도시하는 샘플 디스크립션(112)과 동일한 구조, 즉, 인덱스를 갖지 않는 구조라도 된다. 이 경우, 인덱스값 [N]을 가지는 텍스트 프레임에 대해서, 샘플 디스크립션(112)에 있어서 [N]번째로 저장되고 있는 샘플 엔트리가 적용된다.
또한, 텍스트 프레임(530~532)은, 도 2a에 도시하는 텍스트 프레임(114)과 동일한 구조, 즉, 길이를 구비하지 않은 구조를 가지고 있어도 된다. 이 경우에는, 텍스트 프레임(530~532)의 경계를 명확하게 하기 위해서, 식별자가 사용되어도 된다.
《2-2》
도 19b는, 텍스트 프레임마다 샘플 엔트리를 배치하는 PES 패킷의 구조에 대해 도시하고 있다.
PES 패킷(536)은, MPEG-2 TS로 규정되는 PES 헤더부(537)와 페이로드부(538)로 구성된다. PES 헤더부(537)는, 도 15를 사용하여 설명한 PES 헤더부(130)와 동일한 구조를 가지고 있다. 페이로드부(538)는, 복수의 텍스트 프레임을 가지고 있다. 이하, 페이로드부(538)가 가지는 텍스트 프레임 중 하나인 텍스트 프레임(539)을 사용하여 텍스트 프레임의 구조에 대해 설명한다.
텍스트 프레임(539)은, 세그먼트 텍스트 헤더(540)와 텍스트 샘플(541)로 구성된다. 세그먼트 텍스트 헤더(540)는, 샘플 엔트리(542)와 듀레이션(543)과 길이(544)를 가지고 있다. 샘플 엔트리(542)는, 텍스트 샘플(541)에 적용되는 서식 정보로서, 도 2b에 도시하는 샘플 엔트리(1121) 혹은 도 14에 도시하는 샘플 애트리뷰트(505)와 동일한 구조를 가지고 있다. 듀레이션(543)은, 텍스트 샘플(541)의 재생 시간 정보이다. 길이(544)는, 텍스트 샘플(541)의 데이터 길이를 저장한다. 한편, 세그먼트 텍스트 헤더(540)에 있어서의, 샘플 엔트리(542), 듀레이션(543) 및 길이(544)의 순서는 임의이다. 텍스트 샘플(541)은, 도 2a에 도시하는 텍스트 샘플(1142)과 동일한 구조를 가지고 있다.
PES 패킷(536)에는, 이상의 구조를 가지는 텍스트 프레임이 복수 저장된다.
《2-3》
샘플 디스크립션을 인 밴드 전송으로 하는 것의 효과에 대해서 설명한다.
샘플 디스크립션을 섹션 형식에 의해서 아웃 밴드 전송하는 경우, 섹션 형식의 패킷과 PES 패킷의 전송 빈도가 다르기 때문에, PES 패킷에 의해 전송되는 텍스트 샘플을 재생하기 위해서 필요해지는 타이밍에 샘플 디스크립션이 전송되어 있지 않다는 일이 일어날 수 있다. 즉, 텍스트 샘플이 수신되고 있어도, 텍스트 샘플의 재생에 필요한 샘플 디스크립션이 전송되고 있지 않기 때문에, 샘플 디스크립션의 전송이 완료할 때까지 텍스트 샘플의 재생 개시가 늦어지는 일이 있다. 특히, 샘플 디스크립션의 정보량이 많은 경우 등에는, 복수의 패킷으로 나누어 전송될 필요가 있기 때문에, 더욱 재생 개시까지의 시간이 걸리게 된다.
한편, 도 19에 도시하는 PES 패킷에 의해 샘플 디스크립션을 인 밴드 전송으로 하는 경우에는, PES 패킷이 저장하는 텍스트 샘플이 필요로 하는 샘플 엔트리를 포함한 샘플 디스크립션을 전송하면 텍스트 샘플의 재생이 가능해진다. 즉, MP4 파일(도 55 참조)이 포함하는 모든 텍스트 샘플에 의해 참조되는 가능성이 있는 샘플 엔트리의 모두를 사전에 전송해 둘 필요가 없고, 텍스트 샘플의 재생 개시까지의 시간을 단축화할 수 있다.
또한, 샘플 디스크립션의 내용을 변경했을 경우에도, 변경 내용을 추가해 전송하는 것이 용이하고, 리얼타임으로 데이터를 작성하면서 전송하는 스트리밍 전송에 적합한 구조를 가지고 있다고 할 수 있다.
(3)
상기 실시 형태에서는, 필요에 따라서 콘피그 인포메이션(113)을 아웃 밴드 전송해도 된다고 설명했다.
여기서, 콘피그 인포메이션은, 아웃 밴드 전송으로도, 인 밴드 전송으로도 전송되지 않는 것이어도 된다. 이 경우, 세그먼트 텍스트 헤더의 데이터 길이는, 어떤 디폴트값으로 설정된다고 해도 된다.
[제3 실시 형태]
제3 실시 형태에서는, RTP(Real time Transport Protocol), RTSP(Real Time Streaming Protocol) 및 SDP(Session Description Protocol)를 사용한 텍스트 트랙의 스트리밍 전송에 대해 설명한다. RTP는, IETF(Internet Engineering Task Force)의 RFC1889에 있어서 규정되고 있는, 멀티미디어 스트림의 패킷 포맷이다. RTSP, SDP는, RFC2326, RFC2327로 각각 규정되는, 멀티미디어 스트리밍의 제어 프로토콜이다.
〈RTP·RTSP 순서〉
우선, 인터넷 상에 있어 클라이언트(161)가 서버(162)로부터 MP4 파일 형식의 미디어 데이터를 취득할 때의 일반적인 처리의 흐름을 도 20에 도시한다.
우선, 유저가 퍼스널 컴퓨터 등의 클라이언트(161)에 장비되어 있는 웹 브라우저에 의해, MP4 파일로의 링크를 포함한 HTML(Hyper Text Markup Language) 파일을 요구하면, 클라이언트(161)는, HTML 파일을 요구하는 커맨드(C1)를 발행한다. 서버(162)는, 커맨드(C1)를 이해한 것을 나타내는 응답(R1)(HTTP/1.0 OK)을 클라이언트(161)에 발행함과 동시에, HTML 데이터를 송신한다(세션 S1).
다음에, 유저가 MP4 파일로의 링크를 클릭하면, 클라이언트(161)는, MP4 파일에 관한 상세한 정보를 요구하는 커맨드(C2)를 발행한다. 서버(162)는, 커맨드(C2)를 이해한 것을 나타내는 응답(R2)(RTSP/1.0 OK)을 클라이언트(161)에 발행함과 동시에, 이 상세한 정보를 포함하는 SDP 데이터가 클라이언트(161)에 공급된다(세션 S2).
다음에, 클라이언트(161)는, 수신된 SDP의 기술에 근거하여, MP4 파일의 각각의 트랙을 제공할 준비를 실시하는 것을 요구하는 커맨드(C31~C33)를 발행한다. 서버(162)는, 각각의 미디어 데이터를 제공할 준비가 갖추어지는 대로, 상기 커맨드(C31~C33)를 이해한 것을 나타내는 응답(R31~R33)(RTSP/1.0 OK)을 발행한다(세션 S3).
다음에, 클라이언트(161)는, 모든 미디어 데이터의 제공을 요구하는 커맨드(C4)를 발행한다. 서버(162)는, 커맨드(C4)를 이해한 것을 나타내는 응답(R4)(RTSP/1.0 OK)을 발행한다(세션 S4). 그 후, MP4 파일 형식의 미디어 데이터가 RTP 패킷으로서 전송된다.
클라이언트(161)는, 세션의 종료 시에 있어서는, 세션의 종료를 요구하는 커맨드(C5)를 발행한다. 서버(162)는, 커맨드(C5)를 이해한 것을 나타내는 응답(R5)(RTSP/1.0 OK)을 발행하고 세션이 종료된다(세션 S5).
여기서, 상기 세션(S2~S5)은 RTSP에 의해 행해진다.
〈RTP 패킷의 데이터 구조〉
(1)
서버(162)가 구비하는 MP4 파일 형식의 미디어 데이터는, RTP 패킷으로서 전송된다.
여기서, MP4 파일이 구비하는 타임드 텍스트를 스트리밍 전송에 의해 이용하기 위해서, RTP 패킷은 도 21에 도시하는 데이터 구조를 가지고 있다. 도 21에 도시하는 RTP 패킷(17)의 데이터 구조는, 도 12에 도시하는 PES 패킷(1′)의 데이터 구조와 동일하므로 자세한 설명은 생략한다.
RTP 패킷(17)은, RTP 헤더부(170)에 타임 스탬프로 불리는 시각 정보를 가지고 있다. 이 타임 스탬프는, 도 12에 도시하는 PES 패킷(1′)의 PTS와 동일하게, 페이로드부(171)에 있어서 최초로 배치되는 텍스트 프레임의 재생 시각을 가지고 있다.
(2)
트랙 헤더, 샘플 디스크립션, 콘피그 인포메이션 및 텍스트 프레임이라고 하는 텍스트 트랙의 재생과 관련된 정보를 모두 RTP 패킷(17)에 의해 전송(인 밴드 전송)함에 대해서, 일부의 정보를 도 20의 세션(S2)에 있어서 공급되는 SDP로서 전송하는 것도 가능하다(아웃 밴드 전송).
RTP를 이용해 서버(162)로부터 미디어 데이터를 취득할 때, 서버·클라이언트간에 세션(S2)이 실행된다. 이 때문에, SDP로서 트랙 헤더, 샘플 디스크립션이라고 하는 정보를 미리 전송해 두어 이용할 수 있다.
도 22에 RTP를 사용한 아웃 밴드 전송으로 전송되는 RTP 패킷(18)의 데이터 구조를 도시한다. 도 22에 도시하는 RTP 패킷(18)의 데이터 구조는, 도 15에 도시하는 PES 패킷(13)의 데이터 구조와 거의 동일하므로 자세한 설명은 생략한다.
RTP 패킷(18)은, RTP 헤더부(180)에 타임 스탬프로 불리는 시각 정보를 가지고 있다. 이 타임 스탬프는, 도 15에 도시하는 PES 패킷(13)의 PTS와 동일하게, 페이로드부(181)에 있어서 최초로 배치되는 텍스트 프레임의 재생 시각을 가지고 있다.
SDP에 있어서 전송되는 트랙 헤더, 샘플 디스크립션은, 각각 제1 실시 형태에 있어서 설명한 트랙 헤더(111), 샘플 디스크립션(112)과 동일한 구조를 가지고 있다. 또한, 필요에 따라서 콘피그 인포메이션(113)을 전송한다고 해도 된다.
(3)
또한, 도 21 및 도 22에 도시하는 RTP 패킷(17 및 18)은, 제1 실시 형태의 변형예로서 설명한 도 13에 도시하는 PES 패킷(1″)의 페이로드부(117)와 동일한 구조를 가지는 페이로드부에 RTP 헤더부(170 및 180)를 부가한 구조를 가지는 것이어도 된다.
〈데이터 전송 장치〉
도 23에, RTP를 사용한 텍스트 트랙의 전송시에 있어서 사용되는 데이터 전송 장치(19)를 나타낸다. 데이터 전송 장치(19)는, 축적부(191)와 RTP 생성부(192)와 RTSP 통신부(193)와 RTP 송신부(194)를 구비하고 있다. 데이터 전송 장치(19)는, 예컨대, 축적된 미디어 데이터를 클라이언트(161)로부터의 요구에 따르고, RTP 패킷(17 혹은 18)으로서 송출하는 서버(162) 등에 탑재되는 장치이다. 이하, 텍스트 트랙의 전송과 관련된 부분을 중심으로 설명한다.
(1)
우선, 텍스트 트랙의 재생과 관련된 정보를 RTP 패킷으로 인 밴드 전송하는 경우에 대해 설명한다.
축적부(191)는, 미디어 데이터를, 예컨대, MP4 파일 형식으로 축적하고 있다. 또한, 축적부(191)는, 축적하는 파일에 관한 상세한 정보를 가지고 있다.
RTP 생성부(192)는, MP4 파일로부터 비디오, 오디오, 혹은 타임드 텍스트 등이라고 하는 트랙마다 독립한 ES를 수신한다. RTP 생성부(192)에서는, 수취한 타임드 텍스트를 트랙 헤더(3030), 샘플 디스크립션(3040), 샘플 테이블(3050) 및 텍스트 샘플(3060)(도 55 참조)로 분리해 버퍼링한다. 또한, 버퍼링된 각각의 정보로부터, 도 21에 도시하는 RTP 패킷(17)을 작성한다. 또, RTP 패킷(17)의 타임 스탬프에는, RTP 패킷(17)에 있어서 최초로 배치되는 텍스트 프레임을 재생하는 시각 정보가 저장된다.
RTSP 통신부(193)는, 미디어 데이터의 제공을 요구하는 클라이언트(161)와 세션(S2~S5)(도 20 참조)을 실시하고, 축적부(191)에 축적되는 파일에 관한 정보를 취득해 송신한다. 또, 클라이언트(161)로부터의 미디어 데이터의 재생의 요구를 수취하여 RTP 생성부(192)에 RTP 패킷(17)을 작성시킨다.
RTP 송신부(194)는, 클라이언트(161)에 대해서, RTP 패킷(17)을 송신한다.
(2)
데이터 전송 장치(19)와 동일한 구성을 가지는 데이터 전송 장치에 의해, 텍스트 트랙의 재생과 관련된 정보를 SDP로 아웃 밴드 전송하는 경우에 대해 설명한다. 이하, 동작이 상이한 RTP 생성부와 RTSP 통신부의 동작에 대해 설명한다.
아웃 밴드 전송에 사용되는 데이터 전송 장치에 있어서, RTP 생성부는 축적부로부터 받은 타임드 텍스트를 트랙 헤더(3030), 샘플 디스크립션(3040), 샘플 테이블(3050) 및 텍스트 샘플(3060)(도 55 참조)로 분리해 버퍼링한다. 또한, 버퍼링된 각각의 정보로부터, 도 22에 도시하는 RTP 패킷(18)을 작성한다. 또한, RTP 패킷(18)의 타임 스탬프에는, RTP 패킷(18)에 있어서 최초로 배치되는 텍스트 프레임을 재생하는 시각 정보가 저장된다.
RTSP 통신부는, 미디어 데이터의 제공을 요구하는 클라이언트(161)와 세션(S2~S5)(도 20 참조)을 실시한다. 세션(S2)에 있어서는, 축적부에 축적되는 파일에 관한 정보, 트랙 헤더(3030) 및 샘플 디스크립션(3060)을 SDP에 의해 송신한다. 또한, 클라이언트(161)로부터의 미디어 데이터의 재생의 요구를 받아 RTP 생성부에 RTP 패킷(18)을 작성시킨다.
RTP 송신부는, 클라이언트(161)에 대해서, RTP 패킷(18)을 전송한다.
(3)
데이터 전송 시에 있어서는, 제1 실시 형태의〈데이터 전송 방법〉(2) 및 (3)에서 설명한 데이터 전송 방법을 채용하여 RTP 패킷을 작성하는 것도 가능하다.
〈데이터 수신 장치〉
도 24에 RTP에 의해 전송되는 텍스트 트랙을 수신하기 위해서 사용되는 데이터 수신 장치(20)를 도시한다. 데이터 수신 장치(20)는, RTSP 통신부(201)와 RTP 수신부(202)와 수신 버퍼부(203)와 클록(clock, 204)과 디코더부(205)와 표시부(206)를 구비하고 있고, 데이터 전송 장치(19)에서 수신한 RTP 패킷(17 혹은 18)에 근거하여, 텍스트 트랙의 재생을 실시하는 컴퓨터, 휴대 전화, PDA(personal digital assistant) 등이라는 장치이다. 이하, 텍스트 트랙의 재생과 관련된 부분을 중심으로 설명한다.
(1)
우선, 텍스트 트랙의 재생과 관련된 정보가 모두 RTP 패킷에서 인 밴드 전송되는 경우에 대해 설명한다. 여기서, 텍스트 트랙의 재생과 관련된 정보가 RTP 패킷에 의해 인 밴드 전송되는지, SDP에 의해 아웃 밴드 전송되는지에 대해서는, 세션(S2)(도 20 참조)에서 전송되는 SDP에 나타나고 있다.
RTSP 통신부(201)는, 미디어 데이터의 제공을 실시하는 서버(162)와 세션(S2~S5)(도 20 참조)을 실시한다. 또한, 이 세션(S2~S5)에 근거하여, RTP 수신부(202)에 RTP 패킷(17)을 수신시키기 위한 수신 제어를 실시한다.
RTP 수신부(202)는, 서버(162)로부터 송신된 RTP 패킷(17)을 상기 수신 제어에 근거하여 수신하고, 일시적으로 수신 버퍼부(203)에 저장한다.
수신 버퍼부(203)는, 저장한 RTP 패킷(17)으로부터 타임 스탬프를 취득하고, 클록(204)의 카운트와 타임 스탬프에 근거하여 RTP 패킷(17)을 디코더부(205)에 송출한다.
디코더부(205)는, 취득한 RTP 패킷(17)과 클록(204)의 카운트에 근거하여 텍스트 트랙의 디코드를 실시한다.
디코드된 텍스트 트랙은, 표시부(206)에서 표시된다.
(2)
데이터 수신 장치(20)와 동일한 구성을 가지는 데이터 수신 장치에 의해, SDP로 아웃 밴드 전송된 텍스트 트랙의 재생과 관련된 정보를 수신하는 경우에 대해 설명한다.
RTSP 통신부는, 서버(162)와의 세션(S2)에 있어서, SDP에 의해 타임드 텍스트의 트랙 헤더(3030), 샘플 디스크립션(3040)(도 55 참조)을 취득한다. 취득된 트랙 헤더(3030), 샘플 디스크립션(3040)은 디코더부(205)로 설정된다.
RTP 수신부는 서버(162)로부터 송신된 RTP 패킷(18)을 수신하고 일시적으로 수신 버퍼부에 저장한다.
수신 버퍼부는, 저장한 RTP 패킷(18)으로부터 타임 스탬프를 취득하고, 클록의 카운트와 타임 스탬프에 근거하여 RTP 패킷(18)을 디코더부에 송출한다.
디코더부는, 취득한 RTP 패킷(18)과 클록의 카운트와 RTSP 통신부에 의해 설정된 정보에 근거하여, 텍스트 트랙의 디코드를 실시한다.
(3)
한편, 데이터 수신시에 있어서는, 제1 실시 형태의〈데이터 수신 방법〉(2) 및 (3)에서 설명한 데이터 수신 방법을 채용하고, RTP 패킷으로부터 텍스트 트랙을 재생하는 것도 가능하다.
또한, 본 발명의 특징은, 디코더부(205)에 있기 때문에, 데이터 수신 장치의 형태는 데이터 수신 장치(20)로 한정되는 것은 아니다. 예컨대, 표시부(206)를 별체로 하여 외부에 구비하는 것이어도 된다.
〈제3 실시 형태의 효과〉
제1 실시 형태 및 제2 실시 형태와 동일한 효과를 얻을 수 있다.
또한, SDP를 사용한 전송에서는, 텍스트 트랙의 전송 전에 RTSP에 의한 세션(S2~S5)이 실행되는 것을 이용하여 텍스트 트랙의 재생과 관련된 정보의 일부를 송신한다. 이것에 의해, 텍스트 트랙의 재생과 관련된 중요한 정보를 확실히 전송할 수 있다. 또한, 이 경우, 세션(S2)에 있어서 1회만 트랙 헤더나 샘플 디스크립션을 보내면 되기 때문에, 전송로 대역을 충분히 활용해 텍스트 프레임의 전송을 실시할 수 있다.
〈제3 실시 형태의 변형예〉
(1)
도 22에 도시하는 RTP 패킷(18)의 페이로드부(181)는, 도 18에 도시하는 페이로드부(513)와 동일한 구조를 가지고 있어도 된다. 또한, 도 19에 도시하는 페이로드부(528) 혹은 페이로드부(538)와 동일한 구조를 가지고 있어도 된다.
(2)
상기 실시 형태에서는, 필요에 따라서 콘피그 인포메이션(113)을 아웃 밴드 전송해도 된다고 설명했다.
여기서, 콘피그 인포메이션은, 아웃 밴드 전송으로도, 인 밴드 전송으로도 전송되지 않는 것이어도 된다. 이 경우, 세그먼트 텍스트 헤더의 데이터 길이는, 어떤 디폴트값로 설정된다고 해도 좋다.
[제1~제3 실시 형태에 관한 부기]
〈부기의 내용〉
(부기 1)
텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서,
상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 상기 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
상기 텍스트 전송용 데이터는, 상기 분할 텍스트 데이터에 부가된 분할 텍스트 데이터 식별자와 상기 텍스트 헤더 데이터에 부가된 텍스트 헤더 데이터 식별자를 포함하고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 2)
상기 텍스트 헤더 데이터는, 상기 텍스트 데이터 전체의 재생과 관계된 전체 텍스트 헤더 데이터와, 상기 분할 텍스트 데이터의 개개의 재생과 관계된 분할 텍스트 헤더 데이터를 포함하고,
상기 텍스트 전송용 데이터에서는, 상기 분할 텍스트 헤더 데이터는 상기 분할 텍스트 데이터마다 나열되어 있으며,
상기 텍스트 헤더 데이터 식별자는, 상기 전체 텍스트 헤더 데이터에 부가된 전체 텍스트 헤더 데이터 식별자를 포함하는, 부기 1에 기재된 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 3)
상기 전체 텍스트 헤더 데이터는, 상기 분할 텍스트 데이터의 서식 정보를 복수 가지고 있고,
상기 분할 텍스트 헤더 데이터는, 상기 분할 텍스트 데이터와 상기 서식 정보의 관련을 나타내는 인덱스를 포함한, 부기 2에 기재된 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 4)
상기 분할 텍스트 헤더 데이터는, 상기 분할 텍스트 데이터의 재생 시간 정보를 포함하는, 부기 2 또는 3에 기재된 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 5)
텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서,
상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 상기 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
상기 텍스트 헤더 데이터는, 상기 텍스트 데이터 전체의 재생과 관계된 전체 텍스트 헤더 데이터와 상기 분할 텍스트 데이터의 개개의 재생과 관계된 분할 텍스트 헤더 데이터를 포함하며,
상기 전체 텍스트 헤더 데이터는, 상기 분할 텍스트 헤더 데이터의 데이터 길이를 커스터마이즈하기 위한 데이터 길이 커스터마이즈 정보를 포함하고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 6)
상기 전체 텍스트 헤더 데이터는, 상기 분할 텍스트 데이터의 서식 정보를 복수 더 포함하고,
상기 분할 텍스트 헤더 데이터는, 상기 분할 텍스트 데이터와 상기 서식 정보의 관련을 나타내는 인덱스를 포함하고 있는, 부기 5에 기재된 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 7)
상기 분할 텍스트 헤더 데이터는 상기 분할 텍스트 데이터의 재생 시간 정보를 포함하고 있는, 부기 5 또는 6에 기재된 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 8)
텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서,
상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 상기 분할 텍스트 데이터의 재생을 개시하는 재생 개시 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
상기 텍스트 전송용 데이터는 복수의 패킷으로 구성되며,
상기 각 패킷은 상기 텍스트 헤더 데이터의 상기 재생 개시 정보를 포함하고 있는,
텍스트 전송용 데이터의 전송 데이터 구조.
(부기 9)
상기 텍스트 헤더 데이터는, 상기 텍스트 데이터 전체의 재생과 관계된 전체 텍스트 헤더 데이터와 상기 분할 텍스트 데이터의 개개의 재생과 관계된 분할 텍스트 헤더 데이터를 포함하고,
상기 각 전체 텍스트 헤더 데이터는 상기 재생 개시 정보를 포함하고 있는, 부기 8에 기재된 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 10)
상기 전체 텍스트 헤더 데이터는, 상기 분할 텍스트 데이터의 서식 정보를 복수 더 포함하고,
상기 분할 텍스트 헤더 데이터는, 상기 분할 텍스트 데이터와 상기 서식 정보의 관련을 나타내는 인덱스를 포함하고 있는, 부기 9에 기재된 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 11)
상기 전체 텍스트 헤더 데이터는, 상기 분할 텍스트 헤더 데이터의 데이터 길이를 커스터마이즈하기 위한 데이터 길이 커스터마이즈 정보를 더 포함하고 있는, 부기 9 또는 10에 기재된 텍스트 전송용 데이터의 전송 데이터 구조.
(부기 12)
텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 방법으로서,
상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 상기 분할 텍스트 데이터의 재생을 개시하는 재생 개시 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
상기 텍스트 재생용 데이터에 근거하여 상기 텍스트 전송용 데이터의 페이로드부를 작성하는 작성 단계와,
상기 작성된 상기 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 단계를 구비하며
상기 각 페이로드부는, 상기 텍스트 헤더 데이터의 상기 재생 개시 정보를 포함하고 있는,
텍스트 전송용 데이터의 데이터 전송 방법.
(부기 13)
텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 장치로서,
상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 상기 분할 텍스트 데이터의 재생을 개시하는 재생 개시 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
상기 텍스트 재생용 데이터에 근거하여, 상기 텍스트 전송용 데이터의 페이로드부를 작성하는 작성 수단과,
상기 작성된 상기 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 수단을 구비하며,
상기 각 페이로드부는, 상기 텍스트 헤더 데이터의 상기 재생 개시 정보를 포함하고 있는,
텍스트 전송용 데이터의 데이터 전송 장치.
(부기 14)
컴퓨터에 의해, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 방법을 실시하기 위한 데이터 전송 프로그램으로서,
상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 상기 분할 텍스트 데이터의 재생을 개시하는 재생 개시 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
상기 데이터 전송 프로그램은, 컴퓨터에,
상기 텍스트 재생용 데이터에 근거하여 상기 텍스트 전송용 데이터의 페이로드부를 작성하는 작성 단계와,
상기 작성된 상기 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 단계를 구비하며,
상기 각 페이로드부는 상기 텍스트 헤더 데이터의 상기 재생 개시 정보를 포함하고 있는,
텍스트 전송용 데이터의 데이터 전송 방법을 실시하게 하는 것인 데이터 전송 프로그램.
(부기 15)
텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 방법으로서,
상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 상기 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
상기 텍스트 재생용 데이터에 근거하여 페이로드부를 작성하는 작성 단계와,
상기 작성된 상기 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 단계를 구비하며,
상기 텍스트 전송용 데이터는, 복수의 상기 패킷으로 구성되고,
상기 분할 텍스트 데이터는, 상기 각 패킷 내에 있어서 표시 순서로 배치되고,
상기 패킷은, 상기 각 분할 텍스트 데이터의 재생 시각 정보를 가지고,
제2 패킷은, 그 전의 제1 패킷의 분할 텍스트 데이터와 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함하고 있는, 텍스트 전송용 데이터의 데이터 전송 방법.
(부기 16)
텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 장치로서,
상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 상기 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
상기 텍스트 재생용 데이터에 근거하여 페이로드부를 작성하는 작성 단계와,
상기 작성된 상기 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 단계를 구비하고,
상기 텍스트 전송용 데이터는, 복수의 상기 패킷으로 구성되고,
상기 분할 텍스트 데이터는 상기 각 패킷 내에 있어서 표시 순서로 배치되며,
상기 패킷은 상기 각 분할 텍스트 데이터의 재생 시각 정보를 가지고,
제2 패킷은, 그 전의 제1 패킷의 분할 텍스트 데이터와 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함하고 있는,
텍스트 전송용 데이터의 데이터 전송 장치.
(부기 17)
컴퓨터에 의해, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 방법을 실시하기 위한 데이터 전송 프로그램으로서,
상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 상기 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
상기 데이터 전송 프로그램은, 컴퓨터에,
상기 텍스트 재생용 데이터에 근거하여 페이로드부를 작성하는 작성 단계와,
상기 작성된 상기 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 단계를 구비하고,
상기 텍스트 전송용 데이터는, 복수의 상기 패킷으로부터 구성되며,
상기 분할 텍스트 데이터는, 상기 각 패킷 내에 있어서 표시 순서로 배치되고,
상기 패킷은 상기 각 분할 텍스트 데이터의 재생 시각 정보를 가지며,
제2 패킷은, 그 전의 제1 패킷의 분할 텍스트 데이터와 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함하고 있는,
텍스트 전송용 데이터의 데이터 전송 방법을 실시하게 하는 것인 데이터 전송 프로그램.
〈부기의 설명〉
부기 1에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 또한, 텍스트 전송용 데이터는, 분할 텍스트 데이터에 부가된 분할 텍스트 데이터 식별자와 텍스트 헤더 데이터에 부가된 텍스트 헤더 데이터 식별자를 포함하고 있다.
여기서, 분할 텍스트 데이터 식별자와 텍스트 헤더 데이터 식별자란, 예컨대, 스타트 코드와 분할 텍스트 데이터 및 텍스트 헤더 데이터를 식별하는 고유의 ID로 구성되는 식별자나, 분할 텍스트 데이터 및 텍스트 헤더 데이터의 각각의 데이터 길이와 각각 고유의 ID로 구성되는 식별자 등이다.
텍스트 전송용 데이터에 있어서, 분할 텍스트 데이터 및 텍스트 헤더 데이터는, 분할 텍스트 데이터 식별자 및 텍스트 헤더 데이터 식별자에 의해 식별 가능해진다. 즉, 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를, 분할 텍스트 데이터마다 혹은 주기적으로 전송해도, 재생측에서 식별시킬 수 있다. 이것에 의해, 재생 측에 있어서는, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터의 정보량과 상관없이, 분할 텍스트 데이터 및 텍스트 헤더 데이터에 근거하여 순차 재생을 실시하는 것이 가능해진다.
부기 2에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 부기 1에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 텍스트 헤더 데이터는, 텍스트 데이터 전체의 재생과 관계된 전체 텍스트 헤더 데이터와 분할 텍스트 데이터의 개개의 재생과 관계된 분할 텍스트 헤더 데이터를 포함하고 있다. 또한, 텍스트 전송용 데이터에서는, 분할 텍스트 헤더 데이터는 분할 텍스트 데이터마다 나열되어 있다. 또한, 텍스트 헤더 데이터 식별자는, 전체 텍스트 헤더 데이터에 부가된 전체 텍스트 헤더 데이터 식별자를 포함하고 있다.
여기서, 분할 텍스트 데이터 식별자나 전체 텍스트 헤더 데이터 식별자는, 예컨대, 스타트 코드와 분할 텍스트 데이터 및 전체 텍스트 헤더 데이터를 식별하는 고유의 ID로 구성되는 식별자나, 분할 텍스트 데이터 및 전체 텍스트 헤더 데이터의 데이터 길이와 각각 고유의 ID로 구성되는 식별자 등이다.
텍스트 전송용 데이터에 있어서, 분할 텍스트 데이터 및 전체 텍스트 헤더 데이터는, 분할 텍스트 데이터 식별자 및 전체 텍스트 헤더 데이터 식별자에 의해 식별 가능해진다. 즉, 텍스트 전송용 데이터에 있어서, 전체 텍스트 헤더 데이터를 필요한 타이밍으로 전송할 수 있다.
부기 3에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 부기 2에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 전체 텍스트 헤더 데이터는, 분할 텍스트 데이터의 서식 정보를 복수 가지고 있다. 또한, 분할 텍스트 헤더 데이터는, 분할 텍스트 데이터와 상기 서식 정보의 관련을 나타내는 인덱스를 포함하고 있다.
여기서, 서식 정보란, 예컨대, 분할 텍스트 데이터의 스크롤의 유무와 방향, 재생 위치, 배경색, 폰트 서식(폰트명, 크기, 색, 굵은 글씨, 밑줄, 이탤릭 등) 등으로 구성되는 분할 텍스트 데이터의 서식의 디폴트 정보이다.
이것에 의해, 분할 텍스트 데이터마다 서식 정보를 전송할 필요가 없어진다. 그 때문에, 텍스트 전송용 데이터의 정보량을 적게 하는 것이 가능해진다.
부기 4에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 부기 2 또는 3에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 분할 텍스트 헤더 데이터는, 분할 텍스트 데이터의 재생 시간 정보를 포함하고 있다.
재생 시간 정보는, 분할 텍스트 데이터마다 나열되어 있다. 재생측에서는, 이 재생 시간 정보에 따라서, 분할 텍스트 데이터의 재생을 실시한다.
부기 5에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 또한, 텍스트 헤더 데이터는, 텍스트 데이터 전체의 재생과 관계된 전체 텍스트 헤더 데이터와 분할 텍스트 데이터의 개개의 재생과 관계된 분할 텍스트 헤더 데이터를 포함하고 있다. 또한, 전체 텍스트 헤더 데이터는, 분할 텍스트 헤더 데이터의 데이터 길이를 커스터마이즈하기 위한 데이터 길이 커스터마이즈 정보를 포함하고 있다.
데이터 길이 커스터마이즈 정보에 의해, 분할 텍스트 데이터의 개개의 재생과 관계된 분할 텍스트 헤더 데이터의 데이터 길이를 필요에 따라서 커스터마이즈할 수 있다. 즉, 텍스트 전송용 데이터에 있어서의 분할 텍스트 헤더 데이터가 차지하는 정보량을 필요 충분한 양으로 커스터마이즈할 수 있다. 이 결과, 분할 텍스트 데이터의 개개의 재생에 필요한 정보량을 줄일 수 있어 재생측에 있어서의 순차 재생과 관련된 부하를 경감할 수 있다.
부기 6에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 부기 5에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 전체 텍스트 헤더 데이터는, 분할 텍스트 데이터의 서식 정보를 복수 더 포함하고 있다. 또한, 분할 텍스트 헤더 데이터는, 분할 텍스트 데이터와 서식 정보의 관련을 나타내는 인덱스를 포함하고 있다.
여기서, 서식 정보란, 예컨대, 분할 텍스트 데이터의 스크롤의 유무와 방향, 재생 위치, 배경색, 폰트 서식(폰트명, 크기, 색, 굵은 글씨, 밑줄, 이탤릭 등) 등으로 구성되는 분할 텍스트 데이터의 서식의 디폴트 정보이다.
또한, 데이터 길이 커스터마이즈 정보는, 인덱스의 데이터 길이를, 예컨대, 8, 16, 24, 32비트라는 데이터 길이로 설정한다.
이것에 의해, 분할 텍스트 데이터마다 서식 정보를 전송할 필요가 없어진다. 이 결과, 분할 텍스트 데이터의 개개의 재생에 필요한 정보량을 줄일 수 있고, 재생측에 있어서의 순차 재생과 관련된 부하를 더욱 경감할 수 있다.
부기 7에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 부기 5 또는 6에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 분할 텍스트 헤더 데이터는 분할 텍스트 데이터의 재생 시간 정보를 포함하고 있다.
또, 데이터 길이 커스터마이즈 정보는, 재생 시간 정보의 데이터 길이를, 예컨대, 8, 16, 24, 32비트라는 데이터 길이로 설정한다.
재생 시간 정보는, 분할 텍스트 데이터로 나열되어 있다. 재생측에서는, 이 재생 시간 정보에 따라서, 분할 텍스트 데이터의 재생을 실시한다.
부기 8에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터의 재생을 개시하는 재생 개시 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 또한, 텍스트 전송용 데이터는 복수의 패킷으로 구성되어 있다. 또한, 각 패킷은 텍스트 헤더 데이터의 재생 개시 정보를 포함하고 있다.
여기서, 재생 개시 정보란, 예컨대, 텍스트 데이터의 레이아웃(표시 영역, 비디오 등 타 미디어와의 상대 위치), 레이어(타 미디어와의 계층 관계), 재생 시간 등의 정보를 포함하고, 분할 텍스트 데이터의 재생을 개시하기 위해서 필요한 정보이다.
이것에 의해, 재생측에 있어서는, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터의 정보량과 상관없이, 각 패킷 단위로 순차 재생을 개시할 수 있어 재생 개시까지의 대기 시간을 적게 하는 것이 가능해진다.
부기 9에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 부기 8에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 텍스트 헤더 데이터는, 텍스트 데이터 전체의 재생과 관계된 전체 텍스트 헤더 데이터와 분할 텍스트 데이터의 개개의 재생과 관계된 분할 텍스트 헤더 데이터를 포함하고 있다. 또, 각 전체 텍스트 헤더 데이터는 재생 개시 정보를 포함하고 있다.
전체 텍스트 헤더 데이터는, 각 패킷에 포함되고, 분할 텍스트 데이터의 재생을 개시하는 재생 개시 정보를 포함한다. 또한, 각 패킷은, 각각의 패킷이 포함하는 분할 텍스트 데이터의 재생과 관계된 분할 텍스트 헤더 데이터를 포함하고 있다.
부기 10에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 부기 9에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 전체 텍스트 헤더 데이터는, 분할 텍스트 데이터의 서식 정보를 복수 더 포함하고 있다. 또한, 분할 텍스트 헤더 데이터는, 분할 텍스트 데이터와 서식 정보의 관련을 나타내는 인덱스를 포함하고 있다.
여기서, 서식 정보란, 예컨대, 분할 텍스트 데이터의 스크롤의 유무와 방향, 재생 위치, 배경색, 폰트 서식(폰트명, 크기, 색, 굵은 글씨, 밑줄, 이탤릭 등) 등으로 구성되는 분할 텍스트 데이터의 서식의 디폴트 정보이다.
이것에 의해, 분할 텍스트 데이터마다 서식 정보를 전송할 필요가 없어진다. 이 결과, 분할 텍스트 데이터의 개개의 재생에 필요한 정보량을 줄일 수 있어 재생 측에 있어서의 순차 재생과 관련된 부하를 경감할 수 있다.
부기 11에 따른 텍스트 전송용 데이터의 전송 데이터 구조는, 부기 9 또는 10에 기재된 텍스트 전송용 데이터의 전송 데이터 구조로서, 전체 텍스트 헤더 데이터는, 분할 텍스트 헤더 데이터의 데이터 길이를 커스터마이즈하기 위한 데이터 길이 커스터마이즈 정보를 더욱 포함하고 있다.
데이터 길이 커스터마이즈 정보에 의해, 분할 텍스트 데이터의 개개의 재생과 관계된 분할 텍스트 헤더 데이터의 데이터 길이를 필요에 따라서 커스터마이즈할 수 있다. 즉, 각 패킷에 있어서의 분할 텍스트 헤더 데이터의 정보량을 필요 충분한 양으로 커스터마이즈할 수 있다. 이 결과, 분할 텍스트 데이터의 개개의 재생에 필요한 정보량을 줄일 수 있고, 재생측에 있어서의 순차 재생과 관련된 부하를 한층 더 경감할 수 있다.
부기 12에 따른 텍스트 전송용 데이터의 데이터 전송 방법은, 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 방법으로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터의 재생을 개시하는 재생 개시 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 또한, 텍스트 재생용 데이터에 근거하여, 텍스트 전송용 데이터의 페이로드부를 작성하는 작성 단계와 작성된 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 단계를 구비하고 있다. 또한, 각 페이로드부는 텍스트 헤더 데이터의 재생 개시 정보를 포함하고 있다.
여기서, 재생 개시 정보란, 예컨대, 텍스트 데이터의 레이아웃(표시 영역, 비디오 등 타 미디어와의 상대 위치), 레이어(타 미디어와의 계층 관계), 재생 시간 등의 정보를 포함하고, 분할 텍스트 데이터의 재생을 개시하기 위해서 필요한 정보이다.
이 데이터 전송 방법에 의해 작성된 각 패킷을 취득하는 재생측에 있어서는, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터의 정보량과 상관없이, 각 패킷 단위로 순차 재생을 개시할 수 있어 재생 개시까지의 대기 시간을 적게 하는 것이 가능해진다.
부기 13에 따른 텍스트 전송용 데이터의 데이터 전송 장치는, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 장치로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터의 재생을 개시하는 재생 개시 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 또한, 텍스트 재생용 데이터에 근거하여, 텍스트 전송용 데이터의 페이로드부를 작성하는 작성 수단과 작성된 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 수단을 구비하고 있다. 또한, 각 페이로드부는, 텍스트 헤더 데이터의 재생 개시 정보를 포함하고 있다.
여기서, 재생 개시 정보란, 예컨대, 텍스트 데이터의 레이아웃(표시 영역, 비디오 등 타 미디어와의 상대 위치), 레이어(타 미디어와의 계층 관계), 재생 시간 등의 정보를 포함하고, 분할 텍스트 데이터의 재생을 개시하기 위해서 필요한 정보이다.
이 데이터 전송 장치에 의해 작성된 각 패킷을 취득하는 재생측에 있어서는, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터의 정보량과 상관없이, 각 패킷 단위로 순차 재생을 개시할 수 있어 재생 개시까지의 대기 시간을 적게 하는 것이 가능해진다.
부기 14에 따른 데이터 전송 프로그램은, 컴퓨터에 의해, 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 방법을 실시하기 위한 데이터 전송 프로그램으로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터의 재생을 개시하는 재생 개시 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 텍스트 전송용 데이터의 데이터 전송 방법은, 텍스트 재생용 데이터에 근거하여, 텍스트 전송용 데이터의 페이로드부를 작성하는 작성 단계와 작성된 상기 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 단계를 구비하고 있다. 또한, 각 페이로드부는, 텍스트 헤더 데이터의 재생 개시 정보를 포함하고 있다.
여기서, 재생 개시 정보란, 예컨대, 텍스트 데이터의 레이아웃(표시 영역, 비디오 등 타 미디어와의 상대 위치), 레이어(타 미디어와의 계층 관계), 재생 시간 등의 정보를 포함하고, 분할 텍스트 데이터의 재생을 개시하기 위해서 필요한 정보이다.
이 데이터 전송 프로그램에 의해 작성된 각 패킷을 취득하는 재생측에 있어서는, 텍스트 데이터의 재생에 따른 텍스트 재생용 데이터의 정보량과 상관없이, 각 패킷 단위로 순차 재생을 개시할 수 있어 재생 개시까지의 대기 시간을 적게 하는 것이 가능해진다.
부기 15에 따른 텍스트 전송용 데이터의 데이터 전송 방법은, 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 방법으로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 또한, 텍스트 재생용 데이터에 근거하여, 페이로드부를 작성하는 작성 단계와 작성된 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 단계를 구비하고 있다. 텍스트 전송용 데이터는, 복수의 상기 패킷으로 구성되어 있다. 또한, 분할 텍스트 데이터는, 각 패킷 내에 있어서 표시 순서로 배치되어 있다. 또한 패킷은, 각 분할 텍스트 데이터의 재생 시각 정보를 가지고 있다. 또한 제2 패킷은, 그 전의 제1 패킷의 분할 텍스트 데이터와 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함하고 있다.
여기서, 재생 시각 정보는, 패킷 내에 있어서 최초로 배치되는 분할 텍스트 데이터의 재생 시각과 각 분할 텍스트 데이터의 재생 시간으로 구성되는 정보, 혹은 각 분할 텍스트 데이터의 재생 시각으로 구성되는 정보이다.
이 데이터 전송 방법에 의해 작성된 각 패킷에 있어서는, 제2 패킷과 그 전의 제1 패킷은, 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함한다. 즉, 다른 패킷으로 중복되는 재생 시각 정보를 가지는 분할 텍스트 데이터를 복수회 전송하는 것이 허락된다. 이것에 의해, 텍스트 전송용 데이터의 에러 내성을 높일 수 있다.
부기 16에 따른 텍스트 전송용 데이터의 데이터 전송 장치는, 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 장치로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 또한, 텍스트 재생용 데이터에 근거하고, 페이로드부를 작성하는 작성 수단과 작성된 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 수단을 구비하고 있다. 텍스트 전송용 데이터는, 복수의 패킷으로 구성되어 있다. 또, 분할 텍스트 데이터는, 각 패킷 내에 있어 표시 순서로 배치되어 있다. 또한 패킷은, 각 분할 텍스트 데이터의 재생 시각 정보를 가지고 있다. 또한, 제2 패킷은, 그 전의 제1 패킷의 분할 텍스트 데이터와 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함하고 있다.
여기서, 재생 시각 정보는, 패킷 내에 있어서 최초로 배치되는 분할 텍스트 데이터의 재생 시각과 각 분할 텍스트 데이터의 재생 시간으로 구성되는 정보, 혹은 각 분할 텍스트 데이터의 재생 시각으로 구성되는 정보이다.
이 데이터 전송 장치에 의해 작성된 각 패킷에 있어서는, 제2 패킷과 그 전의 제1 패킷은, 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함한다. 즉, 다른 패킷으로 중복되는 재생 시각 정보를 가지는 분할 텍스트 데이터를 복수회 전송하는 것이 허락된다. 이것에 의해, 텍스트 전송용 데이터의 에러 내성을 높일 수 있다.
부기 17에 따른 데이터 전송 프로그램은, 컴퓨터에 의해, 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 데이터 전송 방법을 행하기 위한 데이터 전송 프로그램으로서, 텍스트 재생용 데이터는, 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고 있다. 텍스트 전송용 데이터의 데이터 전송 방법은, 텍스트 재생용 데이터에 근거하여, 페이로드부를 작성하는 작성 단계와 작성된 각 페이로드부에 대해서 헤더부를 부가해 패킷으로 하는 부가 단계를 구비하고 있다. 텍스트 전송용 데이터는, 복수의 패킷으로부터 구성되어 있다. 또, 분할 텍스트 데이터는, 각 패킷 내에 있어서 표시 순서로 배치되어 있다. 또한 패킷은, 각 분할 텍스트 데이터의 재생 시각 정보를 가지고 있다. 제2 패킷은, 그 전의 제1 패킷의 분할 텍스트 데이터와 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함하고 있다.
여기서, 재생 시각 정보는, 패킷 내에 있어서 최초로 배치되는 분할 텍스트 데이터의 재생 시각과 각 분할 텍스트 데이터의 재생 시간으로 구성되는 정보, 혹은 각 분할 텍스트 데이터의 재생 시각으로 구성되는 정보이다.
이 데이터 전송 프로그램에 의해 작성된 각 패킷에 있어서는, 제2 패킷과 그 전의 제1 패킷은, 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함한다. 즉, 다른 패킷으로 중복되는 재생 시각 정보를 가지는 분할 텍스트 데이터를 복수회 전송하는 것이 허락된다. 이것에 의해, 텍스트 전송용 데이터의 에러 내성을 높일 수 있다.
[제4 실시 형태]
〈제4 실시 형태 및 제5 실시 형태의 과제〉
타임드 텍스트를 스트리밍 전송할 때, 상기 실시 형태에서 설명한 전송 데이터 구조를 가지는 전송용 데이터를 패킷으로서 패킷 전송하는 것이 생각된다.
한편, 패킷 전송을 실시할 때에, 1개의 패킷의 최대 데이터 사이즈인 MTU(Maximum Transmission Unit)가 규정되어 있는 경우, 전송 도중에 패킷이 분할되는 일이 있다. 예컨대, 패킷이 IP 레이어의 MTU를 넘는 사이즈로 송출되면, 송출된 패킷은, 전송 도중에 IP 레이어에서 분할된다. 그러나, 패킷 로스가 일어날 수 있는 전송(예컨대, RTP/UDP/IP 전송)에서는, 패킷 로스에 대한 에러 보상이 없고, IP 레이어에서 분할된 패킷의 몇 개인가가 로스하면, 패킷 전체의 재생에 영향을 주는 것이 생각된다.
따라서, 제4 실시 형태 및 제5 실시 형태에서는, 수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 스트리밍 전송할 때에, 패킷 로스에 대한 내성을 구비한 패킷 데이터 구조를 제공하는 것을 과제로 한다. 또한, 제4 실시 형태 혹은 제5 실시 형태에서 설명하는 패킷 데이터 구조를 가지는 패킷 데이터를 재생하는 데이터 재생 장치를 제공하는 것을 과제로 한다.
〈제4 실시 형태의 내용〉
도 25~도 41을 사용하여, 본 발명의 제4 실시 형태로서의 패킷 데이터 구조, 데이터 재생 장치 및 데이터 다중 장치에 대해 설명한다. 추가하여, 데이터 재생 방법 및 데이터 다중 방법에 대해 설명한다.
본 실시 형태에서는, (1) 본 발명의 패킷 데이터 구조를 가지는 패킷이 전송될 때의 시퀀스(RTP·RTSP 순서), (2) 이 시퀀스에 의해 전송되는 본 발명의 패킷 데이터 구조, (3) 이 패킷 데이터 구조를 가지는 패킷의 데이터 재생 장치 및 데이터 재생 방법, (4) 이 패킷 데이터 구조를 가지는 패킷의 데이터 다중 장치 및 데이터 다중 방법의 순서로 설명을 실시한다.
한편, 도 26~도 37에 있어서, 부호의 마지막에 첨부되는 영숫자(英數字)는, 이하의 규칙에 따라서 첨부되고 있다. 숫자 [0]은, 후술하는 기본 패킷 및 기본 패킷을 구성하는 요소에 대해서 첨부되고 있다(예컨대 도 26, 기본 패킷(Pt0) 등). 또한, 숫자 [0]은, 본 발명의 패킷 데이터 구조를 설명하기 위한 기본이 되는 분할 전의 텍스트 샘플 및 텍스트 샘플을 구성하는 요소에 대해서 첨부되고 있다(예컨대 도 26, 텍스트 샘플(Ts0) 등). 그 밖의 영숫자는, 기본이 되는 텍스트 샘플을 분할한 몇 번째의 패킷인지를 나타냄과 동시에(예컨대 도 27, 분할 패킷(Pt1) 등), 그 패킷을 구성하는 요소에 대해서 첨부되고 있다. 한편, 도면 중에 있어서, 동일한 데이터 내용을 가지는 요소에 대해서는, 상기 규칙에 따르지 않고, 동일한 부호를 부여하고 있다(예컨대 도 29, 텍스트 샘플(Ts0)에 있어서의 텍스트 길이(Tl0)와 분할 패킷(Pt1)에 있어서의 텍스트 길이(Tl0) 등).
(1)〈RTP·RTSP 순서〉
RTP(Real time Transport Protocol), RTSP(Real Time Streaming Protocol) 및 SDP(Session Description Protocol)를 사용한 스트리밍 전송에 대해 설명한다. RTP는, IETF(Internet Engineering Task Force)의 RFC1889에 있어서 규정되고 있는, 멀티미디어 스트림의 패킷 포맷이다. RTSP, SDP는, RFC2326, RFC2327로 각각 규정되는, 멀티미디어 스트리밍의 제어 프로토콜이다.
도 25를 사용하여, 인터넷 상에 있어서 클라이언트(CL)가 서버(SV)로부터 MP4 파일 형식의 미디어 데이터를 취득할 때의 일반적인 처리의 흐름을 설명한다.
최초로, 퍼스널 컴퓨터 등의 클라이언트(CL)에 장비되어 있는 웹 브라우저에 의해, 유저가 MP4 파일로의 링크를 포함한 HTML(Hyper Text Markup Language) 파일을 요구하면, 클라이언트(CL)는, HTML 파일을 요구하는 커맨드(C1)를 발행한다. 서버(SV)는, 커맨드(C1)를 이해한 것을 나타내는 응답(R1)(HTTP/1.0 OK)을 클라이언트(CL)에게 발행함과 동시에, HTML 데이터를 송신한다(세션 S1).
다음에, 유저가 MP4 파일로의 링크를 클릭하면, 클라이언트(CL)는, MP4 파일에 관한 상세한 정보를 요구하는 커맨드(C2)를 발행한다. 서버(SV)는, 커맨드(C2)를 이해한 것을 나타내는 응답(R2)(RTSP/1.0 OK)을 클라이언트(CL)에게 발행함과 동시에, 이 상세한 정보를 포함하는 SDP 데이터가 클라이언트(SV)에게 공급된다(세션(S2)).
다음에, 클라이언트(CL)는, 수신된 SDP의 기술에 근거하여, MP4 파일의 각각의 트랙을 제공할 준비를 실시하는 것을 요구하는 커맨드(C31~C33)를 발행한다. 서버(SV)는, 각각의 미디어 데이터를 제공할 준비가 갖추어지는 대로, 상기 커맨드(C31~C33)를 이해한 것을 나타내는 응답(R31~R33)(RTSP/1.0 OK)을 발행한다(세션 S3).
다음에, 클라이언트(CL)는, 모든 미디어 데이터의 제공을 요구하는 커맨드(C4)를 발행한다. 서버(SV)는, 커맨드(C4)를 이해한 것을 나타내는 응답(R4)(RTSP/1.0 OK)을 발행한다(세션 S4). 그 후, MP4 파일 형식의 미디어 데이터가 RTP 패킷으로서 전송된다. 이 RTP 패킷에는, 후술하는 본 발명의 패킷 데이터 구조를 가지는 패킷이 포함되어 있다.
클라이언트(CL)는, 세션의 종료시에 있어서는, 세션의 종료를 요구하는 커맨드(C5)를 발행한다. 서버(SV)는, 커맨드(C5)를 이해한 것을 나타내는 응답(R5)(RTSP/1.0 OK)을 발행하고 세션이 종료된다(세션 S5).
(2)〈RTP 패킷의 데이터 구조〉
도 26~도 37을 사용하여, RTP 패킷으로서 전송되는 본 발명의 패킷 데이터 구조를 가지는 패킷에 대해 설명한다.
(i) 기본 패킷의 개요
타임드 텍스트를 RTP 패킷으로서 전송하는 경우, 기본적으로는, 도 26에 도시하는 기본 패킷(Pt0)이 이용된다.
기본 패킷(Pt0)은 페이로드부(Pl0)와 헤더부(Hd0)를 구비하고 있다. 페이로드부(Pl0)는, 텍스트 샘플(Ts0)을 구비하고 있다. 텍스트 샘플(Ts0)은, 도 55에 도시하는 텍스트 샘플(3060, 3061, …)과 동일한 구조를 가지고 있고 텍스트 길이(Tl0)와 텍스트(Tx0)와 모디파이어(Md0)로 구성되어 있다. 텍스트 길이(Tl0)는, 텍스트(Tx0)의 데이터 길이(도면 중의 값 [TL])를 저장하고 있다. 텍스트(Tx0)는, 텍스트 본문(Td0)과 바이트 오더 마크(Bm0)로 구성된다. 모디파이어(Md0)는, 텍스트 본문(Td0)의 수식 정보이며, 1개 이상의 모디파이어 박스(Mb0, …)를 구비하고 있다. 모디파이어 박스(Mb0, …)는, 텍스트 본문(Td0)에 수식 효과를 이용하기 위한 정보이다. 모디파이어 박스(Mb0)는, 또한 모디파이어 박스(Mb0)의 박스 사이즈(Sz0)와 수식 타입(Ty0)과 복수의 레코드(Mr0, …)를 포함하고 있다. 모디파이어 박스(Mb0)의 구조는, 수식 타입(Ty0)이 기술하는 수식 타입에 의존한다. 모디파이어 박스(Mb0)의 구조에 대해서는, 잠시 후에 자세하게 설명한다.
헤더부(Hd0)는, RTP 헤더(Rh0)와 샘플 헤더(Sh0)를 구비하고 있다. RTP 헤더(Rh0)는, RTP에서 사용되는 헤더 포맷을 가지고 있고, 시퀀스 번호(Sn0), 타임 스탬프(Tsp0) 혹은 마커 비트(M0) 등을 포함하고 있다. 샘플 헤더(Sh0)는, 샘플 길이(Sln0)와 샘플 인덱스(Sid0)와 샘플 듀레이션(Sdr0)을 기술하고 있다. 샘플 길이(Sln0)는, 텍스트 샘플(Ts0)의 데이터 길이(도면 중의 값 [SL])를 저장하고 있다. 샘플 인덱스(Sid0)는, 텍스트 샘플(Ts0)과 SDP 데이터로서 전송된 샘플 디스크립션(3040)(도 55 참조)의 관련을 기술하는 정보이다. 샘플 듀레이션(Sdr0)은, 텍스트 샘플(Ts0)의 재생 시간에 관한 정보이다.
타임드 텍스트를 스트리밍 전송에 의해 이용하는 경우, 모든 데이터 내용을 RTP 패킷으로서 전송하는 것도 가능하다(RTP 인 밴드 전송). 그러나, 본 실시 형태에 있어서는, MP4 파일(3000)의 헤더부(3010)(도 55 참조)에 상당하는 데이터의 일부를, 도 25를 사용하여 설명한 세션(S2)에 있어서 SDP 데이터로서 통지한다(RTP 아웃 밴드 전송). 구체적으로는, 헤더부(3010)의 트랙 헤더(3030)와 샘플 디스크립션(3040)에 상당하는 데이터를 SDP 데이터로 하고 셋업시에 전송해 둔다. 또한 동시에, 전송되는 RTP 패킷 중에 후술하는 분할 패킷이 포함되는지 여부에 관한 정보가 통지된다.
(ii) 분할 패킷의 개요
기본 패킷(Pt0)의 데이터 사이즈는, 전송로의 MTU(Maximum Transmission Unit)를 넘어 전송 도중에 분할될 가능성이 있다. 전송 도중에 분할될 가능성이 있다고 판단되었을 경우, 텍스트 샘플(Ts0)을 분할하고, 분할된 텍스트 샘플(Ts0)을 재생하기 위한 정보를 부여하여, 미리 전송로의 MTU를 넘지 않는 사이즈의 분할 패킷으로서 전송한다. 이하, 분할 패킷의 개요에 대해서, 도 26에서 설명한 것과 동일한 구조를 가지는 텍스트 샘플(Ts0)을 분할하는 경우를 예시하고 설명을 실시한다.
도 27을 사용하여, 분할 패킷의 기본적 구조에 대해 설명한다. 도 27에서는, 텍스트 샘플(Ts0)을 2개로 분할하고(보다 자세한 것은, L0바이트의 Tx0를 L1바이트와 L2바이트로 분할), 각각을 분할 패킷(Pt1, Pt2)에 저장하는 경우를 나타내고 있다. 분할의 개수에 대해서는, 임의이며 전송로의 MTU에 의해 결정된다. 분할 패킷(Pt1, Pt2)은, 각각, 페이로드부(Pl1, Pl2)와 헤더부(Hd1, Hd2)를 구비하고 있다.
페이로드부(Pl1, Pl2)는, 각각 텍스트 샘플(Ts0)을 분할한 분할 텍스트 샘플(Ft1, Ft2)을 구비하고 있다. 헤더부(Hd1, Hd2)는, 기본 패킷(Pt0)(도 26 참조)의 헤더부(Hd0)가 가지는 것과 동일한 구조에 더하여 분할 헤더(Fh1, Fh2)를 구비하고 있다. 즉, 헤더부(Hd1, Hd2)는, RTP 헤더(Rh1, Rh2)와 샘플 헤더(Sh1, Sh2)와 분할 헤더(Fh1, Fh2)를 구비하고 있다.
RTP 헤더(Rh1, Rh2)의 마커 비트(M1, M2)는, 각각 값 [0], [1]을 저장하고 있다. RTP 헤더에 있어서, 마커 비트의 값에 대해서는, 유저가 여러가지로 정의할 수 있다. 본 실시 형태에서는, 기본 패킷(Pt0)(도 26 참조) 및 분할 패킷(Pt1, Pt2)이 텍스트 샘플(Ts0)의 최후미의 데이터를 페이로드부에 포함한 경우, 그 패킷의 마커 비트가 값 [1]을 저장한다고 정의한다. 그 때문에, 기본 패킷(Pt0) 및 분할 패킷(Pt2)에 있어서, 마커 비트(M0, M2)는 각각 값 [1]을 저장하고 있고, 분할 패킷(Pt1)에 있어서, 마커 비트(M1)는 값 [0]을 저장하고 있다.
기본 패킷(Pt0)의 샘플 길이(Sln0)는, 텍스트 샘플(Ts0)의 데이터 길이(도 26 중의 값 [SL])를 저장하고 있다. 한편, 분할 패킷(Pt1, Pt2)에서는, 샘플 길이(Sln1, Sln2)에 각각 값 [0]을 저장하고 있다. 이 값 [0]에 의해, 분할 패킷(Pt1, Pt2)이 분할 텍스트 샘플(Ft1, Ft2)을 포함하고 있는 것을 판별시킨다.
분할 패킷(Pt1, Pt2)은, 분할 헤더(Fh1, Fh2)에 페이로드부(Pl1, Pl2)의 재생에 필요한 정보를 구비하고 있고 다른 패킷으로부터 독립해 재생이 가능해지고 있다. 그 때문에, 분할 헤더(Fh1, Fh2)가 구비하는 정보는, 분할 텍스트 샘플(Ft1, Ft2)이 구비하는 정보에 의존하고 있다. 즉, 텍스트 샘플(Ts0)의 어느 부분을 경계로서 분할하는지에 따라, 분할 헤더(Fh1, Fh2)가 구비해야 할 정보가 결정 된다.
(iii) 분할 헤더의 개요
텍스트 샘플을 복수로 분할해 저장하는 본 발명의 분할 패킷의 분할 헤더는, 각각 이하의 4개의 정보를 저장 가능하다. 4개의 정보란, (a) 텍스트 본문의 문자 코드의 식별 정보, (b) 모디파이어 또는 모디파이어 박스의 개시 위치 정보, (c) 분할 텍스트 샘플이 포함하는 텍스트 본문의 일부가 텍스트 본문의 전체의 몇번째 문자 이후를 포함하는지에 관한 정보, 및 (d) 분할된 모디파이어 박스의 재생을 위해서 저장되는 정보이다.
이하, 분할 패킷의 구조를 설명하면서, 각각의 분할 헤더가 저장하는 (a)~(d)의 정보에 대해 설명한다. 한편, 이하에서 설명하는 분할 패킷은, 도 27에 있어서 설명한 분할 패킷(Pt1, Pt2)과 동일한 구조를 가지고 있으므로, 상세한 구조에 대해서는 설명을 생략한다. 또한, 이하에서 설명하는 텍스트 샘플(Ts0)의 분할 방법은, 각각의(a)~(d)의 정보에 대해 설명하기 위한 예시이며, 분할은 이 방법에 한정되는 것은 아니다.
(a) 텍스트 본문의 문자 코드의 식별 정보
도 28을 사용하여, 분할 헤더(Fh2)가 저장하는 텍스트 본문(Td0)의 문자 코드의 식별 정보에 대해 설명한다.
도 28에서는, 텍스트 샘플(Ts0)은, 텍스트 본문(Td0)에 있어서 분할의 경계를 가지고 있다. 분할 패킷(Pt1, Pt2)은, 분할된 텍스트 본문(Td0)을 가지고 있다.
분할 패킷(Pt2)은, 분할 헤더(Fh2)에 있어서, 텍스트 본문(Td0)의 문자 코드 정보(U2)를 저장하고 있다. 문자 코드 정보(U2)는, 텍스트 본문(Td0)의 문자 코드를 식별하기 위한 1비트의 플래그이며, 예컨대, 값 [1]은 UTF-16bE를, 값 [0]은 UTF-8을 나타낸다.
이것에 의해, 예컨대, 전송 도중에 바이트 오더 마크(Bm0)를 구비하는 분할 패킷(Pt1)이 로스되었을 경우, 분할 패킷(Pt2)만을 취득한 데이터 재생 장치에 있어서, 분할 패킷(Pt2)이 구비하는 분할된 텍스트 본문(Td0)의 문자 코드를 문자 코드 정보(U2)에 의해 판별할 수 있다. 이 결과, 분할 패킷(Pt2)의 정보를 재생하는 것이 가능해진다.
한편, 문자 코드 정보(U2)는, 분할된 텍스트 본문(Td0)을 포함하는 분할 패킷(Pt2)에 있어서 구비되지만, 텍스트(Tx0)의 선두 부분을 포함하는 분할 패킷(Pt1)에 있어서는, 반드시 구비할 필요는 없다.
(b) 모디파이어 또는 모디파이어 박스의 개시 위치 정보
도 29~도 31을 사용하여, 모디파이어(Md0) 또는 모디파이어 박스(Mb0, …)의 개시 위치 정보에 대해 설명한다.
《모디파이어의 개시 위치 정보》
도 29에서는, 텍스트 샘플(Ts0)은, 텍스트 본문(Td0)에 있어서 분할의 경계를 가지고 있다. 분할 패킷(Pt1, Pt2)은, 분할된 텍스트 본문(Td0)을 가지고 있다.
도 29에서는, 분할 패킷(Pt2)은, 분할 헤더(Fh2)에 있어서, 모디파이어(Md0)의 개시 위치를 나타내기 위한 정보로서, 모디파이어 포인터(Mbp2)와 모디파이어 포인터 길이(Ml2)와 텍스트 인디케이터(T2)를 저장하고 있다.
모디파이어 포인터(Mbp2)는, 페이로드부(Pl2)에 있어서의 모디파이어(Md0)의 개시 위치, 즉 도 29에서는, 분할된 텍스트 본문(Td0)의 일부인 분할 텍스트 본문(Ftd2)의 데이터 길이(도면 중의 값 [X1])를 저장하고 있다. 모디파이어 포인터 길이(Ml2)는, 모디파이어 포인터(Mbp2)의 데이터 길이를, 예컨대, 2비트로 지정한다. 텍스트 인디케이터(T2)는, 분할 패킷(Pt2)이 텍스트(Tx0)의 일부를 포함하는 것을 식별하기 위한 1비트의 플래그이며, 여기에서는 분할 텍스트 본문(Ftd2)을 포함하기 때문에, 예컨대, 값 [1]을 저장하고 있다.
이것에 의해, 예컨대, 전송 도중에 텍스트 길이(Tl0)를 구비하는 분할 패킷(Pt1)이 로스되었을 경우, 분할 패킷(Pt2)만을 취득한 데이터 재생 장치에 있어서, 분할 패킷(Pt2)이 가지는 모디파이어(Md0)의 개시 위치를 식별해, 모디파이어(Md0)를 재생하는 것이 가능해진다. 또한, 데이터 재생 장치에서는, 모디파이어(Md0)를 텍스트 본문(Td0)의 일부로서 잘못하여 재생하는 것이 방지된다.
한편, 모디파이어 포인터 길이(Ml2)를 구비하지 않고, 모디파이어 포인터(Mbp2)의 데이터 길이를 고정의 데이터 길이로 해도 좋다.
또한, (a)에 있어서 도 28을 사용하여 설명한 것과 마찬가지로, 도 29에 도시하는 분할 패킷(Pt2)은, 텍스트 본문(Td0)의 문자 코드 정보를 구비하고 있어도 되지만, 여기에서는 설명을 생략한다.
《모디파이어 박스의 개시 위치 정보》
도 30에서는, 텍스트 샘플(Ts0)은, 모디파이어 박스(Mb0)에 있어서 분할의 경계를 가지고 있다. 분할 패킷(PtN)은, 분할된 모디파이어 박스(Mb0)의 일부인 분할 모디파이어 박스(FmbN)와 모디파이어 박스(Mb1)를 포함하고 있다.
분할 패킷(PtN)은, 분할 헤더(FhN)에 있어서, 모디파이어 박스(Mb1)의 개시 위치를 나타내기 위한 정보로서 모디파이어 포인터(MbpN)와 모디파이어 포인터 길이(MlN)와 텍스트 인디케이터(TN)를 저장하고 있다.
모디파이어 포인터(MbpN)는, 페이로드부(PlN)에 있어서의 모디파이어 박스(Mb1)의 개시 위치, 즉 도 30에서는, 분할 모디파이어 박스(FmbN)의 데이터 길이(도면 중의 값 [X2])를 저장하고 있다. 모디파이어 포인터 길이(MlN)는, 모디파이어 포인터(MbpN)의 데이터 길이를 2비트로 지정한다. 텍스트 인디케이터(TN)는, 분할 패킷(PtN)이 텍스트(Tx0)의 일부를 포함하는 것을 식별하기 위한 1비트의 플래그이며, 여기에서는 Tx0을 포함하지 않기 때문에, 예컨대, 값 [0]을 저장하고 있다.
이것에 의해, 예컨대, 전송 도중에 분할 패킷(PtN)의 전후의 분할 패킷이 로스되었을 경우, 분할 패킷(PtN)을 취득한 데이터 재생 장치에 있어서, 분할 패킷(PtN)이 가지는 모디파이어 박스(Mb1)의 개시 위치를 식별해 모디파이어 박스(Mb1)를 재생하는 것이 가능해진다. 이 때문에, 텍스트(Tx0)를 포함하는 분할 패킷(예컨대, 분할 패킷(Pt1))이 데이터 재생 장치에 있어서 정상적으로 취득되고 있으면, 그 분할 패킷에 대해서 모디파이어 박스(Mb1)의 수식 효과를 이용할 수 있다. 또, 데이터 재생 장치에서는, 텍스트 인디케이터(TN)에 근거하여, 분할된 모디파이어 박스(Mb0)를 텍스트 본문(Td0)으로서 잘못하여 재생하는 것이 방지된다.
《텍스트 샘플(Ts0)의 분할의 배리에이션》
도 31을 사용하여, 텍스트 샘플(Ts0)의 분할의 배리에이션과 모디파이어(Md0) 또는 모디파이어 박스(Mb0, …)의 개시 위치 정보의 관계에 대해 설명한다. 텍스트 샘플(Ts0)의 분할의 배리에이션에 의해 얻어지는 분할 패킷은, 분할 패킷이 페이로드부에 가지는 정보에 근거하여, 분할 타입 A 내지 분할 타입 E의 5 종류로 분류할 수 있다.
(분할 타입 A)
분할 타입 A의 분할 패킷은, 텍스트(Tx0)의 일부 혹은 전부만을 포함하는 혹은 텍스트 샘플(Ts0)의 선두를 포함하는 분할 패킷이다. 예컨대, 도 31에 있어서 [TypeA]로서 지시된 5개의 분할 패킷(PtA)이 해당한다.
이 경우, 각각의 분할 패킷(PtA)의 분할 헤더(FhA)는, 텍스트 인디케이터(TA)와 모디파이어 포인터 길이(MlA)를 가지고 있다. 텍스트 인디케이터(TA)는, 예컨대, 값 [1]을 저장하고, 분할 패킷(PtA)이 텍스트(Tx0)의 일부를 포함하는 것을 나타내고 있다. 모디파이어 포인터 길이(MlA)는, 2비트의 비트열에 의해 모디파이어 포인터(MbpA)의 데이터 길이를 0비트로 지정한다. 이것에 의해, 분할 헤더(FhA)가 모디파이어 포인터(MbpA)를 포함하지 않는 것이 나타난다. 즉, 분할 패킷(PtA)은, 텍스트(Tx0)의 직전에 배치되는 텍스트 길이(Tl0)로부터 텍스트(Tx0)와 모디파이어(Md0)의 경계가 판단 가능한 패킷, 또는 텍스트(Tx0)와 모디파이어(Md0)의 경계를 포함하지 않는 패킷이다.
(분할 타입 B)
분할 타입 B의 분할 패킷은, 텍스트(Tx0)의 일부와 모디파이어(Md0)의 일부 혹은 전부를 포함하는 분할 패킷이다. 즉, 분할 타입 B의 분할 패킷은, 텍스트 샘플(Ts0)의 선두를 포함하지 않는 분할 패킷이다. 예컨대, 도 31에 있어서 [TypeB]로서 지시된 3개의 분할 패킷(PtB)이 해당한다.
이 경우, 각각의 분할 패킷(PtB)의 분할 헤더(FhB)는, 텍스트 인디케이터(TB)와 모디파이어 포인터 길이(MlB)와 모디파이어 포인터(MbpB)를 가지고 있다. 텍스트 인디케이터(TB)는, 예컨대, 값 [1]을 저장하고, 분할 패킷(PtB)이 텍스트(Tx0)의 일부를 포함하는 것을 나타내고 있다. 모디파이어 포인터 길이(MlB)는, 2비트의 비트열에 의해 모디파이어 포인터(MbpB)의 데이터 길이를, 예컨대, 8, 16, 32비트의 어느 하나로 지정한다. 모디파이어 포인터(MbpB)는, 모디파이어 포인터 길이(MlB)에 의해 지정된 데이터 길이의 비트열에 의해 모디파이어(Md0)의 위치를 나타낸다.
한편, 분할 패킷(PtB)의 분할 헤더(FhB)는, (a)에 있어서 도 28을 사용해 설명한 것과 마찬가지로, 텍스트 본문(Td0)의 문자 코드 정보를 구비하고 있어도 된다.
(분할 타입 C)
분할 타입 C의 분할 패킷은, 모디파이어 박스(Mb0, …) 중 하나의 일부만을 포함하고, 또한 그 모디파이어 박스 모디파이어 박스(Mb0, …)의 선두를 포함하지 않는 분할 패킷이다. 바꾸어 말하면, 텍스트(Tx0)를 포함하지 않고, 또한 모디파이어 박스(Mb0, …)의 선두를 포함하지 않는 분할 패킷이다. 예컨대, 도 31에 있어서 [TypeC]로서 지시된 분할 패킷(PtC)이 해당한다.
이 경우, 분할 패킷(PtC)의 분할 헤더(FhC)는, 텍스트 인디케이터(TC)와 모디파이어 포인터 길이(MlC)를 가지고 있다. 텍스트 인디케이터(TC)는, 예컨대, 값 [0]을 저장하고, 분할 패킷(PtC)이 텍스트(Tx0)의 일부를 포함하지 않는 것을 나타내고 있다. 모디파이어 포인터 길이(MlC)는, 2비트의 비트열에 의해 모디파이어 포인터(MbpC)의 데이터 길이를 0비트로 지정한다. 이것에 의해, 분할 헤더(FhC)가 모디파이어 포인터(MbpC)를 포함하지 않는 것이 나타난다.
(분할 타입 D)
분할 타입 D의 분할 패킷은, 모디파이어 박스(Mb0, …) 중 일부만을 포함하고, 또한 모디파이어 박스(Mb0, …)의 선두를 포함하는 분할 패킷이다. 예컨대, 도 31에 있어서 [TypeD]로서 지시된 분할 패킷(PtD)이 해당한다.
이 경우, 분할 패킷(PtD)의 분할 헤더(FhD)는, 텍스트 인디케이터(TD)와 모디파이어 포인터 길이(MlD)와 모디파이어 포인터(MbpD)를 가지고 있다. 텍스트 인디케이터(TD)는, 예컨대, 값 [0]을 저장하고, 분할 패킷(PtD)이 텍스트(Tx0)의 일부를 포함하지 않는 것을 나타내고 있다. 모디파이어 포인터 길이(MlD)는, 2비트의 비트열에 의해 모디파이어 포인터(MbpD)의 데이터 길이를, 예컨대, 8, 16, 32비트의 어느 하나로 지정한다. 모디파이어 포인터(MbpD)는, 모디파이어 포인터 길이(MlD)에 의해 지정된 데이터 길이의 비트열에 의해 모디파이어 박스(Mb0)…의 선두의 위치를 나타낸다.
(분할 타입 E)
분할 타입 E의 분할 패킷은, 분할 타입 D의 분할 패킷 중에서도 특히 페이로드부의 선두에 모디파이어 박스(Mb0, …)의 선두를 포함한 분할 패킷이다. 예컨대, 도 31에 있어서 [TypeE]로서 지시된 분할 패킷(PtE)이 해당한다.
이 경우, 분할 패킷(PtE)의 분할 헤더(FhE)는, 텍스트 인디케이터(TE)와 모디파이어 포인터 길이(MlE)와 모디파이어 포인터(MbpE)를 가지고 있다. 텍스트 인디케이터(TE)는, 예컨대, 값 [0]을 저장하고, 분할 패킷(PtE)이 텍스트(Tx0)의 일부를 포함하지 않는 것을 나타내고 있다. 모디파이어 포인터 길이(MlE)는, 2비트의 비트열에 의해 모디파이어 포인터(MbpE)의 데이터 길이를, 예컨대, 8, 16, 32비트의 어느 하나로 지정한다. 모디파이어 포인터(MbpE)는, 모디파이어 포인터 길이(MlE)에 의해 지정된 데이터 길이의 비트열에 의해 값 [0]을 나타내고, 페이로드부(PlE)의 선두에 모디파이어 박스(Mb0, …)의 선두를 포함하는 것을 나타낸다.
(c) 분할 텍스트 샘플이 포함하는 텍스트 본문의 일부가 텍스트 본문의 전체의 몇 문자째 이후를 포함하는지에 관한 정보
도 32에서는, 텍스트 샘플(Ts0)은, 텍스트 본문(Td0)에 있어서 분할의 경계를 가지고 있다. 분할 패킷(Pt1, Pt2)은, 분할된 텍스트 본문(Td0)인 분할 텍스트 본문(Ftd1, Ftd2)을 가지고 있다.
분할 패킷(Pt2)은, 분할 헤더(Fh2)에 있어서, 캐릭터 오프셋(Sco2)과 캐릭터 오프셋 길이(Sl2)를 저장하고 있다. 캐릭터 오프셋(Sco2)은, 분할 텍스트 샘플(Ft2)이 포함하는 분할 텍스트 본문(Ftd2)이 텍스트 본문(Td0)의 전체의 몇 번째 문자 이후인지를 문자수를 단위로 하여 저장하고 있다(도면 중의 값 [X3]). 캐릭터 오프셋 길이(Sl2)는, 캐릭터 오프셋(Sco2)의 데이터 길이를, 예컨대, 2비트로 지정한다. 또한, 모디파이어(Md0)에 있어서, 텍스트 본문(Td0)의 수식은, 바이트 단위가 아니라 문자수를 단위로 지정되어 있다.
이것에 의해, 예컨대, 전송 도중에 분할 패킷(Pt1)이 로스되었을 경우, 분할 패킷(Pt2)만을 취득한 데이터 재생 장치에 있어서, 분할 패킷(Pt2)이 구비하는 분할 텍스트 본문(Ftd2)에, 모디파이어(Md0)의 수식 효과를 적용하는 것이 가능해진다.
한편, 캐릭터 오프셋(Sco2)은 분할 텍스트 샘플(Ft2)이 포함하는 분할 텍스트 본문(Ftd2)이 텍스트 본문(Td0)의 전체의 어디에 위치하는지를 바이트 단위로서 저장한다고 해도 된다. 이 경우, 분할 패킷(Pt2)을 취득한 데이터 재생 장치에 있어서, 모디파이어(Md0)를 해석하고, 수식 효과를 적용해야 할 분할 텍스트 본문(Ftd2)의 범위를 도출하게 된다. 바이트 단위의 정보로부터는 정확한 문자 위치를 검출할 수 없는 경우도 있지만, 어느 정도의 추정은 가능하다. 예컨대, UTF-16으로 부호화되어 있는 경우, 1 문자는 2바이트 고정이기 때문에, 바이트 위치를 절반으로 하면 문자 위치를 구할 수 있다.
또한, 캐릭터 오프셋(Sco2)은, 분할 텍스트 본문(Ftd2)을 포함하는 분할 패킷(Pt2)에 있어서 구비되지만, 텍스트(Tx0)의 선두 부분을 포함하는 분할 패킷(Pt1)에 있어서는 반드시 구비할 필요는 없다.
또한, 분할 패킷(Pt2)은, (a) 및 (b)에서 설명한 문자 코드 정보, 모디파이어 포인터, 모디파이어 포인터 길이, 텍스트 인디케이터를 구비하고 있어도 된다.
(d) 분할된 모디파이어 박스의 재생을 위해서 저장되는 정보
도 33~도 36을 사용하여, 분할된 모디파이어 박스의 재생을 위해서 저장되는 정보에 대해 설명한다.
도 33을 사용하여, 분할된 모디파이어 박스(MbM)의 재생을 위해서 저장되는 정보에 대해 개요를 설명한다. 또한, 상세한 설명은, 도 34~도 36을 이용하여 후에 설명한다.
도 33에서는, 모디파이어 박스(MbM)는, 모디파이어 박스(MbM)의 박스 사이즈(SzM)와 텍스트 본문(Td0)으로의 수식 효과를 기술하는 수식 타입(TyM)과 수식 효과의 적용 범위 등을 기술하는 복수의 레코드(MrM1, MrM2, …)를 포함하고 있다. 텍스트 샘플(Ts0)은, M번째의 모디파이어 박스인 모디파이어 박스(MbM)의 레코드(MrM2)에 있어서 분할의 경계를 가지고 있다. 분할 패킷(PtN-1, PtN)은, 각각 분할된 모디파이어 박스(MbM)의 일부를 가지고 있다.
분할 패킷(PtN)은, 분할 헤더(FhN)에 있어서, 박스 분할 플래그(BN)와 싱크 오프셋(SoN)와 싱크 오프셋 길이(SolN)와 익스텐션 바이트(ExN)와 익스텐션 바이트 길이(ExlN)와 아톰 타입(AtN)을 저장하고 있다.
박스 분할 플래그(BN)는, 분할 패킷(PtN)이 분할된 모디파이어 박스(MbM)를 가지는 것을 나타내기 위한 플래그이며, 도면 중에서는 값 [1]을 저장하고, 분할된 모디파이어 박스(MbM)의 존재를 나타내고 있다. 싱크 오프셋(SoN)은, 분할 패킷(PtN)이 가지는 분할된 모디파이어 박스(MbM) 중 부분적으로 이용 가능한 레코드(MrM3)의 개시 위치(도면 중의 값 [X5])를 저장하고 있다. 싱크 오프셋 길이(SolN)는, 싱크 오프셋(SoN)의 데이터 길이를, 예컨대, 2비트의 비트열로 지정한다. 익스텐션 바이트(ExN)는, 분할 패킷(PtN)이 포함하는 분할된 모디파이어 박스(MbM)의 재생에 필요한 정보를 기술한다. 정보의 자세한 내용에 대해서는, 도 34~도 36을 사용하여 후에 설명한다. 익스텐션 바이트 길이(ExlN)는, 익스텐션 바이트(ExN)의 데이터 길이를, 예컨대, 3비트의 비트열로 지정한다. 아톰 타입(AtN)은, 모디파이어 박스(MbM)의 수식 타입이며, 수식 타입(TyM)과 동일한 내용을 기술한다.
이것에 의해, 예컨대, 전송 도중에 모디파이어 박스(MbM)의 수식 타입(TyM)이나 그 밖의 재생에 필요한 정보를 구비하는 분할 패킷(PtN-1)이 로스되었을 경우, 분할 패킷(PtN)을 취득한 데이터 재생 장치에 있어서, 분할 헤더(FhN)가 저장하는 아톰 타입(AtN)이나 익스텐션 바이트(ExN)를 사용하여, 분할 패킷(PtN)이 가지는 분할된 모디파이어 박스(MbM)의 디코드를 실시할 수 있다. 또한, 예컨대, 전송 도중에 분할 패킷(PtN-1)이 로스되었을 경우, 분할 패킷(PtN)을 취득한 데이터 재생 장치에 있어서, 분할 패킷(PtN)이 가지는 레코드(MrM3)의 선두 위치를 식별해, 수식 정보를 이용하는 것이 가능해진다.
한편, 레코드(MrM2)에 있어서 Ts0를 분할하는 경우에 대해 설명했지만, 본 발명의 효과는, 이 경우에 한정되는 것은 아니다. 구체적으로는, 분할은, 박스 사이즈(SzM), 수식 타입(TyM) 혹은 그 외의 레코드(MrM1, MrM3, …)에 있어서 실시해도 된다.
도 34~도 36을 사용하여, 분할된 모디파이어 박스의 재생을 위해서 저장되는 정보에 대해 상세하게 설명한다. 한편, 도 34~도 36에서는, 모디파이어 박스는, 각각, 가라오케, 문자 스타일 및 하이퍼 텍스트의 수식을 지정하고 있다.
《가라오케》
도 34에서는, 텍스트 샘플(Ts0)은, M번째의 모디파이어 박스인 모디파이어 박스(MbM)에 있어서 분할의 경계를 가지고 있다. 모디파이어 박스(MbM)는, 텍스트(Td0)를 가라오케 스타일로 수식한다. 분할 패킷(PtN-1, PtN)은, 분할된 모디파이어 박스(MbM)를 가지고 있다.
가라오케 스타일의 모디파이어 박스(MbM)는, 박스 사이즈(SzM)와 수식 타입(TyM)과 스타트 타임과 엔트리 카운트와 엔트리(En1~En5)를 구비하고 있다. 박스 사이즈(SzM)는, 모디파이어 박스(MbM)의 데이터 길이이다. 수식 타입(TyM)은, 모디파이어 박스가 가라오케인 것을 나타내기 때문에, [krok]를 나타내는 비트열을 저장하고 있다. 스타트 타임은, 수식 개시 시간을 지정한다. 엔트리 카운트는, 모디파이어 박스(MbM)가 가지는 엔트리의 개수를 지정한다. 엔트리(En1~En5)는, 각각, 가라오케의 수식 종료 시간과 수식하는 문자를 지정하는 정보를 구비하고 있다. 각각의 엔트리(En2~En5)에 의한 수식은, 직전에 배치되는 엔트리(En1~En4)의 수식 종료시간부터 자신의 수식 종료시간까지의 사이, 지정된 문자에 대해서 적용된다(엔트리(En1)에 의한 수식은, 스타트 타임이 지정하는 수식 개시 시간부터 자신의 수식 종료시간까지 적용된다).
분할 패킷(PtN)은, 페이로드부(PlN)에 엔트리(En3~En5)를 가지고 있다. 즉, 모디파이어 박스(MbM)는, 엔트리(En2)와 엔트리(En3)의 경계에 있어서 분할되고 있다. 분할 헤더(FhN)는, 박스 분할 플래그(BN)와 아톰 타입(AtN)과 익스텐션 바이트 길이(ExlN)와 익스텐션 바이트(ExN)를 포함하고 있다. 박스 분할 플래그(BN)는, 예컨대, 값 [1]을 저장하고, 분할 패킷(PtN)이 분할된 모디파이어 박스(MbM)를 가지는 것을 나타낸다. 아톰 타입(AtN)은, 분할된 모디파이어 박스(MbM)의 수식 타입이 가라오케인 것을 나타내기 때문에, [krok]를 나타내는 비트열을 저장하고 있다. 익스텐션 바이트 길이(ExlN)는, 익스텐션 바이트(ExN)의 데이터 길이를, 예컨대, 3비트의 비트열로 지정한다. 익스텐션 바이트(ExN)는, 분할에 의해 분할 패킷(PtN)에 포함되지 않게 된 엔트리(En2)가 나타내는 가라오케의 수식 종료시간을 저장한다.
여기서, 도 34에 도시하는 분할 패킷(PtN)은, 도 33에 있어서 설명한 싱크 오프셋(SoN) 및 싱크 오프셋 길이(SolN)에 상당하는 정보는 구비하지 않는 것으로서 설명한다. 이러한 정보는, 텍스트 샘플(Ts0)의 분할시에, 「모디파이어 박스(MbM)의 레코드 MrM1, …의 도중에는 분할을 실시하지 않는다」는 분할 규칙에 의해 분할을 실시함으로써 불필요해지는 정보이기 때문이다.
이것에 의해, 예컨대, 전송 도중에 분할 패킷(PtN-1)이 로스되었을 경우, 분할 패킷(PtN)을 취득한 데이터 재생 장치에 있어서, 분할 패킷(PtN)이 구비하는 엔트리(En3~En5)를 가라오케 스타일로서 해석하는 것이 가능해진다. 또한 이 데이터 재생 장치에서는, 엔트리(En3)에 대해서, 분할 헤더(FhN)가 구비하는 익스텐션 바이트(ExN)의 저장하는 정보를 참조해 수식 개시 시간을 판별하는 것이 가능해진다.
《문자 스타일》
도 35에서는, 텍스트 샘플(Ts0)은, M번째의 모디파이어 박스인 모디파이어 박스(MbM)에 있어서 분할의 경계를 가지고 있다. 모디파이어 박스(MbM)는, 텍스트(Tx0)의 문자 스타일을 변경한다. 분할 패킷(PtN-1, PtN)은, 분할된 모디파이어 박스(MbM)를 가지고 있다.
문자 스타일의 모디파이어 박스(MbM)는, 박스 사이즈(SzM)와 수식 타입(TyM)과 엔트리 카운트와 엔트리(En1~En5)를 구비하고 있다. 박스 사이즈(SzM)는, 모디파이어 박스(MbM)의 데이터 길이이다. 수식 타입(TyM)은, 모디파이어 박스(MbM)가 문자 스타일인 것을 나타내기 때문에, [styl]를 나타내는 비트열을 저장하고 있다. 엔트리 카운트는, 모디파이어 박스(MbM)가 가지는 엔트리의 개수를 지정한다. 엔트리(En1~En5)는, 각각, 문자 스타일을 적용하는 범위를 지정하는 정보, 폰트 스타일, 폰트 사이즈 등을 구비하고 있다.
분할 패킷(PtN)은, 페이로드부(PlN)에 엔트리(En3~En5)를 가지고 있다. 즉, 모디파이어 박스(MbM)는, 엔트리(En2)와 엔트리(En3)의 경계에 있어서 분할되고 있다. 분할 헤더(FhN)는, 박스 분할 플래그(BN)와 아톰 타입(AtN)과 익스텐션 바이트 길이(ExlN)를 포함하고 있다. 박스 분할 플래그는, 예컨대, 값 [1]을 저장하고, 분할 패킷(PtN)이 분할된 모디파이어 박스(MbM)를 가지는 것을 나타낸다. 아톰 타입(AtN)은, 분할된 모디파이어 박스(MbM)의 수식 타입이 문자 스타일인 것을 나타내기 때문에, [styl]를 나타내는 비트열을 저장하고 있다. 익스텐션 바이트 길이(ExlN)는, 익스텐션 바이트(ExN)의 데이터 길이를, 예컨대, 3비트의 비트열로 지정한다. 문자 스타일에서는, 익스텐션 바이트(ExN)에 있어서 저장할 필요가 있는 정보가 없기 때문에, 값 [0]을 저장하고 있다.
이것에 의해, 예컨대, 전송 도중에 분할 패킷(PtN-1)이 로스되었을 경우, 분할 패킷(PtN)을 취득한 데이터 재생 장치에 있어서, 분할 패킷(PtN)이 구비하는 엔트리(En3~En5)를 문자 스타일로서 해석하는 것이 가능해진다.
《하이퍼 텍스트》
도 36에서는, 텍스트 샘플(Ts0)은, M번째의 모디파이어 박스인 모디파이어 박스(MbM)에 있어서 분할의 경계를 가지고 있다. 모디파이어 박스(MbM)는, 텍스트(Td0)를 하이퍼 텍스트 스타일로 수식한다. 분할 패킷(PtN-1, PtN)은, 분할된 모디파이어 박스(MbM)를 가지고 있다.
하이퍼 텍스트의 모디파이어 박스(MbM)는, 박스 사이즈(SzM)와 수식 타입(TyM)과 하이퍼 텍스트 링크가 적용되는 문자열의 범위(ScM, EcM)와 링크되는 URL 패스(UrlM)와 URL 패스의 데이터 길이를 지정하는 URL 길이(UrM)와 대체 텍스트 등을 지정하는 ALT 속성(AltM)과 ALT 속성의 데이터 길이를 지정하는 ALT 길이(AlM)를 구비하고 있다.
분할 패킷(PtN)은, 페이로드부(PlN)에 ALT 속성(AltM)과 ALT 길이(AlM)를 가지고 있다. 분할 헤더(FhN)는, 박스 분할 플래그(BN)와 아톰 타입(AtN)과 익스텐션 바이트 길이(ExlN)와 익스텐션 바이트(ExN)를 포함하고 있다. 박스 분할 플래그(BN)는, 예컨대, 값 [1]을 저장하고, 분할 패킷(PtN)이 분할된 모디파이어 박스(MbM)를 가지는 것을 나타낸다. 아톰 타입(AtN)은, 분할된 모디파이어 박스(MbM)의 수식 타입이 하이퍼 텍스트인 것을 나타내기 때문에, [href]를 나타내는 비트열을 저장하고 있다. 익스텐션 바이트 길이(ExlN)는, 익스텐션 바이트(ExN)의 데이터 길이를, 예컨대, 3비트의 비트열로 지정한다. 익스텐션 바이트(ExN)는, 분할에 의해 분할 패킷(PtN)에 포함되지 않게 된 ALT 속성을 적용하는 문자열의 범위를 저장하고 있다. 즉, 익스텐션 바이트(ExN)는, 모디파이어 박스(MbM)가 가지는 하이퍼 텍스트 링크가 적용되는 문자열의 범위(ScM, EcM)에 관한 정보를 저장하고 있다.
이것에 의해, 전송 도중에 분할 패킷(PtN-1)이 로스되었을 경우, 분할 패킷(PtN)을 취득한 데이터 재생 장치에 있어서, 분할 패킷(PtN)이 구비하는 ALT 속성(AltM)과 ALT 길이(AlM)를 하이퍼 텍스트 스타일로서 해석하는 것이 가능해진다. 또한, ALT 속성을 적용하는 문자열의 범위를 판별하는 것이 가능해진다.
(ⅳ) 그 밖의 분할 패킷
(분할 헤더의 구조)
상기 (a)~(d)의 정보의 전체를 분할 헤더가 한 번에 가지는 경우도 있다. 도 37에 분할 패킷(PtN)의 헤더부(HdN)의 구조의 일례를 도시한다. 단, 각 정보의 배치는 일례이며, 이것으로 한정되는 것은 아니다.
분할 패킷(PtN)의 헤더부(HdN)는, RTP 헤더(RhN), 샘플 헤더(ShN)와 분할 헤더(FhN)를 구비하고 있다. RTP 헤더(RhN)에서는, 마커 비트(MN)의 값에 의해 분할 패킷(PtN)이 텍스트 샘플(Ts0)의 최후미의 데이터를 페이로드부(PlN)에 포함하는지 여부가 식별된다. 도 37에서는, 마커 비트(MN)는, 값 [0]을 저장하고, 분할 패킷(PtN)이 텍스트 샘플(Ts0)의 최후미의 데이터를 페이로드부에 포함하지 않는 것을 도시하고 있다. 샘플 헤더(ShN)에서는, 샘플 길이(SlnN)에 값 [0]을 저장하고, 분할 패킷(PtN)이 분할된 텍스트 샘플(Ts0)을 포함하고 있는 것을 판별시킨다.
분할 헤더(FhN)는, 상기 (a)~(b)에서 설명한 정보를 각각 포함하고 있다.
(분할 헤더의 존재)
제4 실시 형태에서는, 「샘플 길이에 값 [0]을 저장하고, 분할 패킷이 분할된 텍스트 샘플을 포함하고 있는 것을 판별시킨다」고 설명했다. 여기에서, 분할된 텍스트 샘플을 포함하는 것을 나타내는 플래그를 분할 패킷에 가지고, 이 플래그에 의해 분할 패킷이 분할된 텍스트 샘플을 포함하는 것을 판별시켜도 된다.
(문자 코드 정보의 변형예)
제4 실시 형태에서는, 「1비트의 플래그인 문자 코드 정보에 의해, 텍스트 본문의 문자 코드를 식별시킨다」라고 설명했다. 여기서, 분할 패킷에, 텍스트 샘플이 포함하는 바이트 오더 마크(BOM)를 추가로 저장해도 된다. 예컨대, BOM을 모든 분할 패킷에 반복한다. BOM은, 분할 패킷이 가지는 텍스트 본문의 선두에 저장해도 되고, 분할 헤더에 설치된 저장 영역에 저장해도 된다.
여기서, BOM은 가변 길이(0바이트, 2바이트, 4바이트)이므로, 분할 헤더에 저장 영역을 마련하는 경우는, BOM의 데이터 길이를 기술하는 정보를 더 설치해도 된다. 텍스트 본문의 선두에 저장하는 경우도, 분할 헤더에 BOM의 데이터 길이를 기술해 두면, 텍스트의 선두에 있는 BOM의 판정이 보다 확실해진다.
(3) 〈데이터 재생 장치 및 데이터 재생 방법〉
도 38 및 도 39를 사용하여, 상기한 데이터 구조를 가지는 RTP 패킷을 재생하기 위한 데이터 재생 장치 및 데이터 재생 방법에 대해 설명한다.
(i) 데이터 재생 장치
도 38에, 상기 (2)〈RTP 패킷의 데이터 구조〉에서 설명한 데이터 구조를 가지는 RTP 패킷을 재생하기 위한 데이터 재생 장치(710)의 블록도를 도시한다.
데이터 재생 장치(710)는, RTP 수신부(711)와 기본 헤더 해석부(712)와 분할 헤더 해석부(713)와 디코더부(714)와 표시부(715)를 구비하고 있다. 데이터 재생 장치(710)는, 후술하는 RTP 전송 장치(725, 728)(도 40 참조)에서 전송된 RTP 패킷에 근거하여, 타임드 텍스트의 재생을 실시하는 컴퓨터, 휴대 전화, PDA(personal digital assistant) 등이라는 장치이다.
RTP 수신부(711)는, RTP 전송 장치(725, 728)로부터 송신된 RTP 패킷을 수신하고, 일시적으로 기본 헤더 해석부(712)에 저장한다.
기본 헤더 해석부(712)는, 저장한 RTP 패킷의 RTP 헤더로부터 시퀀스 번호, 타임 스탬프, 마커 비트 등을 취득한다. 또한, 기본 헤더 해석부(712)는, 저장한 RTP 패킷의 샘플 헤더로부터 샘플 길이의 값을 취득한다. 기본 헤더 해석부(712)는, 시퀀스 번호에 의해, 전송 도중에 로스된 RTP 패킷의 존재를 판단한다. 또한, 기본 헤더 해석부(712)는, 샘플 길이의 값에 의해, RTP 패킷이 텍스트 샘플을 분할해 포함하는지 여부를 판단한다. 또한 기본 헤더 해석부(712)는, 타임 스탬프에 따라서 RTP 패킷을 디코더부(714)에 송출한다.
여기서, 하나의 텍스트 샘플을 분할해 포함하는 복수의 RTP 패킷에 대해서, 몇 개의 RTP 패킷이 전송 도중에 로스되고 있었을 경우, 기본 헤더 해석부(712)는, 그 RTP 패킷을 분할 헤더 해석부(713)로 송출한다.
분할 헤더 해석부(713)는, 취득한 RTP 패킷의 분할 헤더를 해석한다. 즉, 도 37에 도시한 구조를 가지는 분할 헤더로부터, 텍스트 인디케이터, 문자 코드 정보, 모디파이어 포인터, 캐릭터 오프셋, 박스 분할 플래그, 싱크 오프셋, 익스텐션 바이트, 아톰 타입 등의 정보를 취득한다. 이러한 정보에 대해서는, 상기 (2)〈RTP 패킷의 데이터 구조〉에서 설명했으므로 설명은 생략한다.
디코더부(714)는, 분할 헤더의 해석된 RTP 패킷에 대해서, 분할 헤더 해석부(713)의 해석 결과에 근거하여, 그 RTP 패킷의 페이로드부의 디코드를 실시한다. 디코드된 페이로드부는, 표시부(715)에서 표시된다.
이 데이터 재생 장치(710)에서는, 하나의 텍스트 샘플을 분할해 포함하는 복수의 RTP 패킷에 대해서, 몇 개의 RTP 패킷이 전송 도중에 로스되고 있었을 경우에, 취득된 RTP 패킷의 분할 헤더가 가지는 정보에 근거하여, 그 취득된 RTP 패킷의 페이로드부의 재생을 실시하는 것이 가능해진다.
(ii) 데이터 재생 방법
도 39에, 상기 (2)〈RTP 패킷의 데이터 구조〉에서 설명한 데이터 구조를 가지는 RTP 패킷을 재생하기 위한 데이터 재생 방법을 설명하는 플로우 차트를 도시한다.
RTP 패킷이 수신되면 RTP 패킷의 RTP 헤더 및 샘플 헤더가 해석된다. 우선, 샘플 헤더가 가지는 샘플 길이의 값이 해석되고(단계 S710), RTP 패킷이 분할된 텍스트 샘플을 포함하는지 여부가 판단된다(단계 S711).
RTP 패킷이 분할된 텍스트 샘플을 포함하지 않는다고 판단되었을 경우, 즉 RTP 패킷이 텍스트 샘플의 전부를 포함한다고 판단되었을 경우, RTP 패킷은, 디코드된다(단계 S715).
한편, RTP 패킷이 분할된 텍스트 샘플을 포함한다고 판단되었을 경우, RTP 패킷의 RTP 헤더가 구비하는 시퀀스 번호에 근거하여(단계 S712), 전송 도중에 로스한 패킷의 유무가 판단된다(단계 S713). 전송 도중에 로스된 패킷이 없다고 판단되었을 경우, 분할된 텍스트 샘플을 포함한 복수의 RTP 패킷은, 한 번에 디코드된다(단계 S715).
전송 도중에 로스된 패킷이 있다고 판단되었을 경우, 각각의 RTP 패킷의 분할 헤더가 해석되고 각각의 RTP 패킷이 가지는 분할된 텍스트 샘플의 재생에 필요한 정보가 취득되고(단계 S714), 취득된 정보에 근거하여, 각각의 RTP 패킷이 디코드된다(단계 S715).
이 데이터 재생 방법에서는, 하나의 텍스트 샘플을 분할해서 포함하는 복수의 RTP 패킷에 대해서, 몇 개의 RTP 패킷이 전송 도중에 로스되고 있었을 경우에, 취득된 RTP 패킷의 분할 헤더가 가지는 정보에 근거하여, 그 취득된 RTP 패킷의 페이로드부의 재생을 실시하는 것이 가능해진다.
(4) 〈데이터 다중 장치 및 데이터 다중 방법〉
도 40 및 도 41을 사용하여, 상기 (2)〈RTP 패킷의 데이터 구조〉에서 설명한 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 장치 및 데이터 다중 방법에 대해 설명한다.
(i) 데이터 다중 장치
도 40에, 상기 (2)〈RTP 패킷의 데이터 구조〉에서 설명한 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 장치(720)의 블록도를 도시한다.
데이터 다중 장치(720)는, 타임드 텍스트의 축적되고 있는 축적부(721)와 타임드 텍스트를 해석해 다중화에 필요한 정보를 취득하는 ES 해석부(722)와 분할과 분할 헤더의 작성을 실시하는 분할 헤더 생성부(723)와 기본 헤더를 생성하는 기본 헤더 생성부(724)로 구성된다.
축적부(721)는, 미디어 데이터를, 예컨대, MP4 파일 형식(도 55 참조)으로 축적하고 있다. 또한, 축적부(721)는, 축적하는 파일에 관한 상세한 정보를 가지고 있다. ES 해석부(722)는, 축적부(721)로부터 트랙 헤더와 텍스트 샘플과 샘플 디스크립션과 샘플 테이블을 취득한다. 텍스트 샘플의 사이즈에 근거하여, 분할을 실시하지 않는 경우의 RTP 패킷의 사이즈를 추정한다. 추정 사이즈가 목표의 사이즈를 넘는 경우에는, 텍스트 샘플의 분할을 실시한다고 판단한다. 분할을 실시한다고 판단했을 경우에는, 분할 헤더 생성부(723)로 텍스트 샘플을 송출한다.
분할 헤더 생성부(723)에 있어서는, 목표의 RTP 패킷의 사이즈에 가까워지도록, 취득된 텍스트 샘플을 분할한다. 또한, 분할된 텍스트 샘플의 재생에 필요한 정보를 분할 헤더에 저장하고, 분할된 텍스트 샘플에 부여한다. 분할 헤더와 분할된 텍스트 샘플은 복수 개의 조가 되어 기본 헤더 작성부(724)에 송출된다. 여기서, 분할 헤더란, 예컨대, 도 37에 도시한 구조를 가지고 있어 텍스트 샘플의 내용에 의존한 정보를 구비하고 있다.
기본 헤더 작성부(724)는, 분할되지 않은 텍스트 샘플과 분할된 텍스트 샘플에 기본 헤더를 부여해, RTP 패킷을 작성한다.
여기서, 기본 헤더란, RTP 헤더, 샘플 헤더(도 26 참조)이다. 분할된 텍스트 샘플에 부여된 기본 헤더에서는, 샘플 헤더의 샘플 길이의 값은, 예컨대, 값 [0]을 저장하고 있다. 이것에 의해, 그 기본 헤더를 가지는 RTP 패킷은, 분할된 텍스트 샘플을 포함하고 있는 것을 나타낸다. 또한, 분할되지 않은 텍스트 샘플 및 분할된 텍스트 샘플 중 최후미의 텍스트 샘플에 부여된 기본 헤더에서는, RTP 헤더의 마커 비트는, 예컨대, 값 [1]을 저장하고 있다. 한편, 그 밖의 분할된 텍스트 샘플에 부여된 기본 헤더에서는, RTP 헤더의 마커 비트는, 예컨대, 값 [0]을 저장하고 있다.
기본 헤더 작성부(724)에서 작성된 RTP 패킷은, RTP 전송 장치(725)에 보내지고 다시 데이터 재생 장치(710)(도 38 참조)로 전송된다. 혹은, 전송용 축적 파일 작성부(726)에 보내진다. 전송용 축적 파일 작성부(726)는, 전송을 위한 서버 축적 파일을 작성해 축적 수단(727)에 축적한다. RTP 전송 장치(728)는, 서버 축적 파일을 해석하고, RTP 패킷으로 변환하며, 데이터 재생 장치(710)(도 38 참조)로 전송된다.
(ii) 데이터 다중 방법
도 41에, 상기 (2)〈RTP 패킷의 데이터 구조〉에서 설명한 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 방법을 설명하는 플로우 차트를 도시한다.
입력된 타임드 텍스트는, 트랙 헤더, 샘플 디스크립션, 샘플 테이블 및 텍스트 샘플로 분리된다(단계 S720). 텍스트 샘플의 사이즈에 근거하여, 분할을 실시하지 않는 경우의 RTP 패킷의 사이즈를 추정하고, 추정 사이즈가 목표의 사이즈를 넘는지 여부의 판단을 실시한다(단계 S721). 추정 사이즈가 목표의 사이즈를 넘지 않는다고 판단되면, 텍스트 샘플은 분할되지 않고, 기본 헤더가 부여되어 RTP 패킷이 된다(단계 S724).
추정 사이즈가 목표의 사이즈를 넘는다고 판단되면, 텍스트 샘플의 분할 처리가 실시된다(단계 S722). 분할 처리는, 목표의 사이즈에 가까워지고, 또한, 분할한 텍스트 샘플을 포함하는 RTP 패킷의 일부가 로스해도 나머지의 RTP 패킷의 내용을 표시 가능하도록 실시된다. 또한, 분할된 텍스트 샘플에는, 분할 헤더가 부여된다(단계 S723). 분할 헤더는, 분할된 텍스트 샘플의 재생에 필요한 정보를 저장하고 있다. 또한 분할 헤더가 부여된 분할된 텍스트 샘플에는, 기본 헤더가 부여된다(단계 S724).
여기서, 기본 헤더란, RTP 헤더, 샘플 헤더(도 26 참조)이다. 분할된 텍스트 샘플에 부여된 기본 헤더에서는, 샘플 헤더의 샘플 길이의 값은, 예컨대, 값 [0]을 저장하고 있다. 이것에 의해, 그 기본 헤더를 가지는 RTP 패킷이 분할된 텍스트 샘플을 포함하고 있는 것을 나타낸다. 또, 분할되지 않은 텍스트 샘플 및 분할된 텍스트 샘플 중 최후미의 텍스트 샘플에 부여된 기본 헤더에서는, RTP 헤더중의 마커 비트는, 예컨대, 값 [1]을 저장하고 있다. 한편, 그 밖의 분할된 텍스트 샘플에 부여된 기본 헤더에서는, RTP 헤더의 마커 비트는, 예컨대, 값 [0]을 저장하고 있다.
[제5 실시 형태]
도 42~도 49를 사용하여, 본 발명의 제5 실시 형태로서의 패킷 데이터 구조, 데이터 재생 장치 및 데이터 다중 장치에 대해 설명한다. 추가하여, 데이터 재생 방법 및 데이터 다중 방법에 대해 설명한다.
본 실시 형태에서는, (1) 분할 헤더의 오버헤드를 최소화하는 플래그 정보를 가지는 패킷 데이터 구조, (2) 텍스트 샘플의 분할 상황을 식별 가능하게 하는 패킷 데이터 구조, (3) 이러한 패킷 데이터 구조를 가지는 패킷의 데이터 재생 장치 및 데이터 재생 방법, (4) 이러한 패킷 데이터 구조를 가지는 패킷의 데이터 다중 장치 및 데이터 다중 방법의 순서로 설명을 실시한다. 한편, 본 실시 형태에 있어서, 특별히 정의를 부여하지 않은 문언에 대해서는, 제4 실시 형태와 동일한 정의에 의해 이용한다고 한다.
(1) 〈분할 헤더의 오버헤드를 최소화하는 플래그 정보를 가지는 패킷 데이터 구조〉
도 37을 사용하여 설명한 분할 헤더(FhN)에서는, 텍스트 인디케이터(TN)와 문자 코드 정보(UN)와 캐릭터 오프셋 길이(SlN)와 모디파이어 포인터 길이(MlN)와 박스 분할 플래그(BN)의 5개의 정보를 저장하는 데이터 영역을 항상 확보할 필요가 있다.
그러나, 예컨대, 페이로드부가 텍스트 본문을 포함하지 않는 경우, 거기에 부여되는 분할 헤더에는, 문자 코드 정보와 캐릭터 오프셋 길이는 필요가 없는 정보이며, 확보한 데이터 영역은 소용없게 된다.
따라서, 분할 헤더의 오버헤드를 최소화하기 위해서, 1비트의 분할 헤더 플래그를 정의한다. 분할 헤더 플래그는, 분할 헤더가, 문자 코드 정보, 캐릭터 오프셋 길이, 모디파이어 포인터 길이, 박스 분할 플래그의 어느 하나를 포함하는 것을 나타내고 있다. 이 분할 헤더 플래그와 텍스트 인디케이터를 분할 헤더의 필수 정보로서 저장한다.
(분할 헤더가 구비하는 정보)
도 42를 사용하여 분할 헤더 플래그(FN)와 텍스트 인디케이터(TN)를 구비하는 분할 헤더(FhN)의 구조에 대해 설명한다. 도 42에서는, 분할 패킷(PtN)은, 헤더부(HdN)와 페이로드부(PlN)를 구비하고 있다. 헤더부(HdN)는, RTP 헤더(RhN)와 샘플 헤더(ShN)와 분할 헤더(FhN)를 포함하고 있다. 또, 페이로드부(PlN)는, 텍스트 샘플(Ts0)의 일부를 포함하고 있다.
여기서, 분할 헤더(FhN)는, 상기한 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)를 포함하고 있다. 분할 헤더(FhN)의 그 밖의 영역이 구비하는 정보는, 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)의 조합에 의해, 도 43에 도시하는 바와 같이 결정되고 있다. 여기서, 분할 헤더(FhN)의 그 밖의 영역이 구비하는 정보란, 「[제4 실시 형태] (2)〈RTP 패킷의 데이터 구조〉(iii) 분할 헤더의 개요」에 있어서 나타낸 (a)~(d) 중의 어느 하나의 정보이다.
도 43은, 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)의 조합에 대한, 도 42에 도시하는 분할 헤더(FhN)가 구비하는 정보를 도시하고 있다. 이 관계는, 텍스트 샘플(Ts0)의 선두는 텍스트 길이(Tl0) 및 텍스트(Tx0)인 것이라 하는 전제에 근거하여, 상기한 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)라는 정의에 의해 논리적으로 도출되는 것이다. 한편, 도 43에서는, 텍스트 인디케이터(TN)를 T, 분할 헤더 플래그(FN)를 F라 표시하고 있다.
분할 헤더 플래그(FN)가 값 [0]일 때, 분할 헤더(FhN)는, 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)의 2비트만을 저장한다(도 43, 열(a), 열(c) 참조). 한편, 란(欄) 내에 값 [0]을 가지고 있을 때, 그 정보는 존재하지 않는 것을 나타내고 있다.
텍스트 인디케이터(TN)가 값 [1] 이고 분할 헤더 플래그(FN)가 값 [1]일 때, 분할 헤더(FhN)는, 문자 코드 정보와 캐릭터 오프셋 길이와 모디파이어 포인터 길이와 캐릭터 오프셋과 모디파이어 포인터를 저장한다(도 43, 열(b) 참조).
텍스트 인디케이터(TN)가 값 [0] 이고 또한 분할 헤더 플래그(FN)가 값 [1]일 때, 분할 헤더(FhN)는, 모디파이어 포인터 길이와 모디파이어 포인터와 박스 분할 플래그와 싱크 오프셋과 싱크 오프셋 길이와 익스텐션 바이트와 익스텐션 바이트 길이와 아톰 타입을 저장한다(도 43, 열(d) 참조).
이것에 의해, 예컨대, 분할 패킷(PtN)을 취득한 데이터 재생 장치에 있어서, 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)의 값을 취득하고, 분할 헤더(FhN)가 포함하는 정보를 해석하는 것이 가능해진다. 즉, 분할 헤더(FhN)에 있어서, 불필요한 정보를 위한 데이터 영역을 확보할 필요가 없어져, 전송 데이터의 비트 효율이 향상한다.
(샘플 헤더가 구비하는 정보)
또한, 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)의 조합에 의해, 도 42에 도시하는 샘플 헤더(ShN)가 구비하는 정보를 표현하는 것도 가능하다.
도 44는, 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)의 조합과 샘플 헤더(ShN)가 구비하는 정보의 관계를 도시하고 있다. 이 관계는, 상기한 텍스트 인디케이터(TN)와 분할 헤더 플래그(TN)의 정의에 의해 논리적으로 도출되는 것이다.
텍스트 인디케이터(TN)가 값 [0]일 때, 분할 패킷(PtN)은, 샘플 헤더(ShN)를 구비하지 않는다(도 44, 열(c), 열(d) 참조).
텍스트 인디케이터(TN)가 값 [1]이고 또한 분할 헤더 플래그(FN)가 값 [0]일 때, 샘플 헤더(ShN)는, 샘플 길이(SlnN)와 샘플 인덱스(SidN)와 샘플 듀레이션(SdrN)을 저장한다(도 44, 열(a) 참조).
텍스트 인디케이터(TN)가 값 [1]이고 또한 분할 헤더 플래그(FN)가 값 [1]일 때, 샘플 헤더(ShN)는, 샘플 인덱스(SidN)와 샘플 듀레이션(SdrN)을 저장한다(도 44, 열(b) 참조).
이것에 의해, 예컨대, 분할 패킷(PtN)을 취득한 데이터 재생 장치에 있어서, 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)의 값을 취득하고, 샘플 헤더(ShN)가 포함하는 정보를 해석하는 것이 가능해진다. 즉, 샘플 헤더(ShN)에 있어서, 불필요한 정보를 위한 데이터 영역을 확보할 필요가 없어져, 전송 데이터의 비트 효율이 향상한다.
한편, 분할 헤더(FhN)의 그 밖의 영역이 구비하는 정보란, 「[제4 실시 형태](2)〈RTP 패킷의 데이터 구조〉(iii) 분할 헤더의 개요」에 있어서 나타낸 (a)~(d)의 정보라고 기재했지만, (a)~(d)에 나타낸 정보의 어느 하나를 규격으로서 구비하지 않은 경우도 생각할 수 있다. 그 경우, 도 43은, 분할 헤더에 규격으로서 구비하지 않는다고 된 정보에 관한 부분을 제외하고 이용된다.
예컨대, 텍스트 본문을 분할하는 경우, 분할 헤더에 캐릭터 오프셋을 부여하고, 분할 패킷이 텍스트 본문의 몇 번째 문자부터를 포함하는지를 판단시킨다. 그러나, 분할 패킷을 작성하는 데이터 다중 장치에 따라서는, 문자수를 카운트 할 수 할 수 없는 경우가 있다. 이 경우, 텍스트 본문이 분할되고 있음에도 불구하고, 캐릭터 오프셋은 부여되지 않는다. 이 경우에 있어서는, 분할 패킷을 취득한 데이터 재생 장치에 있어서, 도 43의 행(e)의 정보는 고려하지 않고 재생을 실시하게 된다.
(2) 〈텍스트 샘플의 분할 상황을 식별 가능한 패킷 데이터 구조〉
일반적으로, 분할 패킷의 전송에 로스가 없는 상황에서는, 텍스트 샘플의 분할 상황은, RTP 헤더의 시퀀스 번호, 타임 스탬프, 마커 비트를 감시함으로써 식별 가능하다. 동일한 텍스트 샘플을 분할해 포함하는 분할 패킷에는, 동일한 타임 스탬프가 부여되고 있다. 또한 마커 비트는, 예컨대, 값 [1]을 저장하고, 동일한 텍스트 샘플을 분할해 포함하는 분할 패킷의 최후의 패킷을 판별시킨다.
그러나, 분할 패킷에 로스가 발생했을 경우, 시퀀스 번호, 타임 스탬프, 마커 비트를 감시하는 것만으로는, 그 분할 패킷이 선두의 분할 패킷인 것의 판단을 할 수 없기 때문에, 정상적인 디코드에 지장을 초래한다. 즉, 텍스트 샘플의 변환기(타임 스탬프의 변환기)에 있어서, 복수의 패킷이 로스했을 경우, 마커 비트의 값이 [1]인 패킷을 로스하고 있어, 전의 텍스트 샘플의 최후를 판단할 수 없다.
따라서, 상기 (1)〈분할 헤더의 오버헤드를 최소화하는 플래그 정보를 가지는 패킷 데이터 구조〉에서 정의된 텍스트 인디케이터(TN)와 분할 헤더 플래그(FN)에 추가하여 RTP 헤더(RhN)가 구비하는 마커 비트(MN)를 조합함으로써(도 42 참조), 분할 패킷(PtN)이 가지는 분할된 텍스트 샘플(Ts0)의 분할 상황을 도 45에 도시하는 바와 같이 판단한다.
여기서, 텍스트 샘플(Ts0)의 선두는 텍스트 길이(Tl0) 및 텍스트(Tx0)인 것, 그리고 텍스트 샘플의 선두를 포함하는 분할 패킷에서 분할 헤더는, 텍스트 인디케이터와 분할 헤더 플래그 이외를 포함하지 않는 것을 전제로 하고 있다. 또한, 마커 비트(MN)는, 분할 패킷(PtN)이 텍스트 샘플(Ts0)의 최후미를 포함하는 것을 나타낸다고 정의되고 있다. 한편, 도 45에서는, 텍스트 인디케이터(TN)를 T, 분할 헤더 플래그(FN)를 F, 마커 비트(MN)를 M으로 표시하고 있다.
이것에 의해, 텍스트 인디케이터(TN)와 분할 헤더 플래그(MN)와 마커 비트(MN)를 이용해 텍스트 샘플(Ts0)의 분할 상황이 판단 가능해진다. 이 때문에, 예컨대, 분할 패킷(PtN)을 취득한 데이터 재생 장치에 있어서, 분할 패킷(PtN)이 분할의 최후인 것을 판단(예컨대, 마커 비트(MN)의 값 [1]의 경우)해 디코드를 개시하는 것이 가능할 뿐만 아니라, 분할 패킷이 분할의 선두인 것을 판단(예컨대, 텍스트 인디케이터(TN)의 값 [1], 또한 분할 헤더 플래그 MN의 값 [0]인 경우)하는 것이 가능해진다.
(3) 〈데이터 재생 장치 및 데이터 재생 방법〉
도 46 및 도 47을 사용하여, 상기한 데이터 구조를 가지는 RTP 패킷을 재생하기 위한 데이터 재생 장치 및 데이터 재생 방법에 대해 설명한다.
(i) 데이터 재생 장치
도 46에, 상기 (1) 또는 (2)에서 설명한 데이터 구조를 가지는 RTP 패킷(도 42 참조)을 재생하기 위한 데이터 재생 장치(730)의 블록도를 도시한다.
데이터 재생 장치(730)는, 도 38에 도시한 데이터 재생 장치(710)와 거의 동일한 구성을 가지고 있으므로, 그 특징 부분인 분할 헤더 해석부(733)을 중심으로 설명한다.
데이터 재생 장치(730)는, RTP 수신부(731)와 기본 헤더 해석부(732)와 분할 헤더 해석부(733)과 디코더부(734)와 표시부(735)를 구비하고 있다. 데이터 재생 장치(730)는, 후술하는 RTP 전송 장치(745, 748)(도 48 참조)에서 전송된 RTP 패킷에 근거하여, 타임드 텍스트의 재생을 실시하는 컴퓨터, 휴대 전화, PDA(personal digital assistant) 등이라는 장치이다.
RTP 수신부(731)는, RTP 전송 장치(745, 748)로부터 송신된 RTP 패킷을 수신하고, 일시적으로 기본 헤더 해석부(732)에 저장한다.
기본 헤더 해석부(732)는, 시퀀스 번호에 의해, 전송 도중에 로스된 RTP 패킷의 존재를 판단한다.
여기서, 어떤 텍스트 샘플을 분할해 포함하는 복수의 RTP 패킷에 대해서, 몇 개의 RTP 패킷이 전송 도중에 로스되고 있었을 경우, 기본 헤더 해석부(732)는, 나머지의 RTP 패킷을 분할 헤더 해석부(733)로 송출한다.
분할 헤더 해석부(733)는, 로스되지 않고 취득된 RTP 패킷의 분할 헤더를 해석한다. 즉, 분할 헤더 해석부(733)는, 분할 헤더에 필수의 정보인 텍스트 인디케이터와 분할 헤더 플래그의 값을 취득한다. 또한 그 값에 근거하여, 도 43 및 도 44에 도시하는 분할 헤더 및 샘플 헤더의 정보의 유무를 판단해, 각각의 정보를 취득한다.
또한, 분할 헤더 해석부(733)는, 텍스트 인디케이터와 분할 헤더 플래그와 마커 비트와의 값의 조합에 근거하여, 도 45에 도시하는 텍스트 샘플의 분할 상태를 판단한다.
디코더부(734)는, 분할 헤더 해석부(733)가 취득한 분할 헤더의 정보와 텍스트 샘플의 분할 상태에 근거하여, 디코드의 타이밍을 결정한다.
한편, RTP 패킷이 로스없이 전송되었을 경우는, RTP 패킷은, 기본 헤더 해석부(732)에 의한 해석 후, 디코더부(734)로 송출되어 디코드된다.
(ii) 데이터 재생 방법
도 47에, 상기 (1) 또는 (2)에서 설명한 데이터 구조를 가지는 RTP 패킷을 재생하기 위한 데이터 재생 방법을 설명하는 플로우 차트를 도시한다.
RTP 패킷이 수신되면 RTP 패킷의 RTP 헤더가 해석되고(단계 S730), 시퀀스 번호에 근거하여 로스한 패킷의 유무가 판단된다(단계 S731). 또 동시에, 마커 비트도 취득된다.
로스한 패킷이 없다고 판단되면, RTP 패킷은, 디코드된다(단계 S733).
RTP 패킷의 로스가 있다고 판단되었을 경우, 분할 헤더가 해석된다. 구체적으로는, 텍스트 인디케이터와 분할 헤더 플래그와의 값이 취득되고 그 값에 의해, 도 43 및 도 44에 도시하는 분할 헤더의 정보의 유무가 판단된다. 또한, 각각의 정보가 취득된다(단계 S732). 또한, 동시에 텍스트 인디케이터와 분할 헤더 플래그와 마커 비트와의 값의 조합에 근거하여, 도 45에 도시하는 텍스트 샘플의 분할 상태가 판단된다.
단계 S732에서 취득된 정보에 근거하여, RTP 패킷이 디코드된다(단계 S733).
(4) 〈데이터 다중 장치 및 데이터 다중 방법〉
도 48 및 도 49를 사용하여, 상기한 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 장치 및 데이터 다중 방법에 대해 설명한다.
(i) 데이터 다중 장치
도 48에, 상기 (1) 또는 (2)에서 설명한 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 장치(740)의 블록도를 도시한다.
데이터 다중 장치(740)는, 타임드 텍스트가 축적되어 있는 축적부(741)와 타임드 텍스트를 해석해 다중화에 필요한 정보를 취득하는 ES 해석부(742)와 분할과 분할 헤더의 작성을 실시하는 분할 헤더 생성부(743)와 기본 헤더를 생성하는 기본 헤더 생성부(744)로 구성된다.
축적부(741)는, 미디어 데이터를, 예컨대, MP4 파일 형식(도 55 참조)으로 축적하고 있다. 또, 축적부(741)는, 축적하는 파일에 관한 상세한 정보를 가지고 있다. ES 해석부(742)는, 축적부(741)로부터 트랙 헤더와 텍스트 샘플과 샘플 디스크립션과 샘플 테이블을 취득하고, 텍스트 샘플은, 분할 헤더 생성부(743)에 송출된다.
분할 헤더 생성부(743)에 있어서는, 목표의 RTP 패킷의 사이즈에 가까워지도록 취득된 텍스트 샘플을 분할한다. 한편, 분할하지 않아도 목표의 RTP 패킷의 사이즈를 넘지 않는다면, 분할은 행해지지 않는다. 또, 분할된 텍스트 샘플의 재생에 필요한 정보를 분할 헤더에 저장하고, 분할된 텍스트 샘플에 부여한다. 또한 분할 헤더 플래그와 텍스트 인디케이터가 적절한 값을 취하여 저장된다. 한편, 분할되지 않은 텍스트 샘플에 대해서도, 분할 헤더 플래그와 텍스트 인디케이터가 적절한 값을 취하여 부여된다. 이러한 정보는, 기본 헤더 작성부(744)에 송출된다.
기본 헤더 작성부(744)는, 분할되지 않은 텍스트 샘플과 분할된 텍스트 샘플에 기본 헤더를 부여해 RTP 패킷을 작성한다. 여기서, 기본 헤더란, RTP 헤더, 샘플 헤더(도 26 참조)이다. 한편, 샘플 헤더는, 저장된 분할 헤더 플래그와 텍스트 인디케이터에 근거하여 부여된다(도 44 참조). 또한, 기본 헤더에서는, 마커 비트는, RTP 패킷의 페이로드부가 가지는 텍스트 샘플의 분할 상황에 적합한 값을 저장하고 있다.
기본 헤더 작성부(744)에서 작성된 RTP 패킷은, RTP 전송 장치(745)에 보내지고 다시 데이터 재생 장치(730)(도 46 참조)로 전송된다. 혹은, 전송용 축적 파일 작성부(746)에 보내진다. 전송용 축적 파일 작성부(746)는, 전송을 위한 서버 축적 파일을 작성하고, 축적 수단(747)에 축적한다. RTP 전송 장치(748)는, 서버 축적 파일을 해석하고, RTP 패킷으로 변환해 데이터 재생 장치(730)(도 46 참조)로 전송된다.
(ii) 데이터 다중 방법
도 49에, 상기 (1) 또는 (2)에서 설명한 데이터 구조를 가지는 RTP 패킷을 작성하기 위한 데이터 다중 방법을 설명하는 플로우 차트를 도시한다.
입력된 타임드 텍스트는, 트랙 헤더, 샘플 디스크립션, 샘플 테이블 및 텍스트 샘플로 분리된다(단계 S740).
텍스트 샘플의 사이즈에 근거하여, 분할을 실시하지 않는 경우의 RTP 패킷의 사이즈를 추정하고, 추정 사이즈가 목표의 사이즈를 넘는다고 판단되면(단계 S741), 텍스트 샘플의 분할 처리가 실시된다(단계 S742). 분할 처리는, 목표의 사이즈에 가까워지고, 또한, 분할한 텍스트 샘플을 포함하는 RTP 패킷의 일부가 로스해도 나머지의 RTP 패킷의 내용을 표시 가능해지는 위치에 있어서 실시된다. 또한 분할된 텍스트 샘플에 분할 헤더가 부여된다(단계 S743). 분할 헤더에는, 분할된 텍스트 샘플의 재생에 필요한 정보와 분할 헤더 플래그와 텍스트 인디케이터가 저장되고 있다. 분할 헤더가 부여된 분할된 텍스트 샘플에는, 기본 헤더가 부여된다(단계 S745).
한편, 분할을 실시하지 않는 경우, 텍스트 샘플에는 분할 헤더 플래그와 텍스트 인디케이터가 부여된다(단계 S744). 또한, 텍스트 샘플에는, 기본 헤더가 부여된다(단계 S745).
여기서, 기본 헤더란, RTP 헤더, 샘플 헤더이다.
[제4 실시 형태 및 제5 실시 형태에 관한 부기]
〈부기의 내용〉
(부기 1)
수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서,
상기 재생 데이터의 분할된 일부인 분할 재생 데이터를 가지는 페이로드부와,
상기 페이로드부가 상기 분할 재생 데이터를 포함하는 것을 나타내는 분할 존재 정보와, 상기 분할 재생 데이터의 재생에 필요한 분할 재생 데이터 재생 정보를 가지는 헤더부를 구비하는 패킷 데이터 구조.
(부기 2)
수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서,
상기 재생 데이터의 분할된 일부인 분할 재생 데이터를 가지는 페이로드부와,
상기 분할 재생 데이터가 포함하는 분할된 상기 텍스트 데이터의 문자 코드를 판별하는 문자 코드 정보를 가지는 헤더부를 구비하는 패킷 데이터 구조.
(부기 3)
상기 헤더부는, 상기 문자 코드 정보의 데이터 길이를 나타내는 제1 데이터 길이 정보를 더 가지는, 부기 2에 기재된 패킷 데이터 구조.
(부기 4)
상기 문자 코드 정보는, 2 종류의 상기 문자 코드를 판별하는 1비트의 플래그인, 부기 2에 기재된 패킷 데이터 구조.
(부기 5)
수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서,
상기 재생 데이터의 분할된 일부인 분할 재생 데이터를 가지는 페이로드부와,
상기 분할 재생 데이터에 있어서의 상기 수식 정보의 위치 정보인 제1 위치 정보를 가지는 헤더부를 구비하는 패킷 데이터 구조.
(부기 6)
상기 분할 재생 데이터는, 상기 텍스트 데이터의 적어도 일부와 상기 텍스트 데이터의 적어도 일부에 이어서 배치되는 상기 수식 정보를 포함하고 있고,
상기 제 1 위치 정보는, 상기 분할 재생 데이터가 포함하는 상기 텍스트 데이터의 데이터 길이인, 부기 5에 기재된 패킷 데이터 구조.
(부기 7)
상기 수식 정보는, 복수의 부분 수식 정보를 포함하고 있고,
상기 분할 재생 데이터는, 제1 부분 수식 정보의 분할된 일부와, 상기 제 1 부분 수식 정보의 분할된 일부에 이어서 배치되는 제2 부분 수식 정보를 포함하고 있으며,
상기 제 1 위치 정보는, 상기 제 1 부분 수식 정보의 분할된 일부의 데이터 길이인, 부기 5에 기재된 패킷 데이터 구조.
(부기 8)
상기 헤더부는, 상기 분할 재생 데이터가 상기 텍스트 데이터의 적어도 일부를 포함하는 것을 나타내는 텍스트 존재 정보를 더 가지는, 부기 6 또는 7에 기재된 패킷 데이터 구조.
(부기 9)
수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서,
상기 재생 데이터의 분할된 일부인 분할 재생 데이터를 가지는 페이로드부와,
상기 분할 재생 데이터가 포함하는 분할된 상기 텍스트 데이터인 분할 텍스트 데이터의 상기 텍스트 데이터에 있어서의 위치 정보인 제2 위치 정보를 가지는 헤더부를 구비하는 패킷 데이터 구조.
(부기 10)
상기 제2 위치 정보는, 상기 분할 텍스트 데이터의 위치 정보를 텍스트의 문자수를 단위로서 포함하고 있는, 부기 9에 기재된 패킷 데이터 구조.
(부기 11)
수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서,
상기 재생 데이터의 분할된 일부인 분할 재생 데이터를 가지는 페이로드부와,
상기 수식 정보가 포함하는 부분 수식 정보의 수식 타입을 나타내는 정보로서, 상기 분할 재생 데이터에 포함되지 않는 수식 타입 정보를 가지는 헤더부를 구비하는 패킷 데이터 구조.
(부기 12)
수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서,
상기 재생 데이터의 분할된 일부인 분할 재생 데이터를 가지는 페이로드부와,
상기 수식 정보가 포함하는 부분 수식 정보를 구성하는 단위 수식 정보로서, 상기 분할 재생 데이터에 포함되는 제1 단위 수식 정보의 위치 정보인 제3 위치 정보를 가지는 헤더부를 구비하는 패킷 데이터 구조.
(부기 13)
상기 헤더부는, 상기 제3 위치 정보의 데이터 길이를 나타내는 제2 데이터 길이 정보를 더욱 가지는, 부기 12에 기재된 패킷 데이터 구조.
(부기 14)
수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서,
상기 재생 데이터의 분할된 일부인 분할 재생 데이터를 가지는 페이로드부와,
상기 수식 정보가 포함하는 부분 수식 정보를 구성하는 단위 수식 정보로서, 상기 분할 재생 데이터에 포함되지 않는 제2 단위 수식 정보를 가지는 헤더부를 구비하는 패킷 데이터 구조.
(부기 15)
상기 헤더부는, 상기 제2 단위 수식 정보의 데이터 길이를 나타내는 제3 데이터 길이 정보를 더 가지는, 부기 14에 기재된 패킷 데이터 구조.
(부기 16)
수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서,
상기 재생 데이터의 분할된 일부인 분할 재생 데이터를 가지는 페이로드부와,
상기 페이로드부에 부가되고 텍스트 존재 정보와 재생 정보 존재 정보를 가지는 헤더부를 구비하며,
상기 텍스트 존재 정보는, 상기 분할 재생 데이터가 상기 텍스트 데이터의 적어도 일부를 포함하는 것을 나타내고,
상기 재생 정보 존재 정보는, 상기 헤더부가 상기 분할 재생 데이터의 재생에 필요한 분할 재생 데이터 재생 정보를 포함하는 것을 나타내는, 패킷 데이터 구조.
(부기 17)
상기 헤더부는, 상기 분할 재생 데이터가 상기 재생 데이터의 최후에 위치하는 데이터인 것을 나타내는 분할 재생 데이터 위치 정보를 더 가지는, 부기 16에 기재된 패킷 데이터 구조.
(부기 18)
부기 1에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서,
상기 분할 존재 정보로부터 상기 페이로드부가 상기 분할 재생 데이터를 포함하는 것을 판단하는 분할 판단 수단과,
상기 분할 판단 수단의 판단 결과에 근거하여, 상기 분할 재생 데이터 재생 정보로부터 상기 분할 재생 데이터의 재생을 실시하는 데이터 재생 수단을 구비하는 데이터 재생 장치.
(부기 19)
부기 2에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서,
상기 문자 코드 정보로부터 상기 분할 재생 데이터가 포함하는 분할된 상기 텍스트 데이터의 문자 코드를 판별하는 문자 코드 판별 수단과,
상기 문자 코드 판별 수단의 판별 결과에 근거하여, 상기 분할 재생 데이터의 재생을 실시하는 데이터 재생 수단을 구비하는 데이터 재생 장치.
(부기 20)
부기 5에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서,
상기 제1 위치 정보로부터 상기 분할 재생 데이터에 있어서의 상기 수식 정보의 위치 정보를 취득하는 제1 위치 정보 취득 수단과,
상기 제1 위치 정보 취득 수단의 취득한 상기 위치 정보에 근거하여, 상기 분할 재생 데이터의 재생을 실시하는 데이터 재생 수단을 구비하는 데이터 재생 장치.
(부기 21)
부기 9에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서,
상기 제2 위치 정보로부터 상기 분할 재생 데이터가 포함하는 분할된 상기 텍스트 데이터인 분할 텍스트 데이터의 상기 텍스트 데이터에 있어서의 위치 정보를 취득하는 제2 위치 정보 취득 수단과,
상기 제2 위치 정보 취득 수단의 취득한 상기 위치 정보에 근거하여, 상기 분할 재생 데이터의 재생을 실시하는 데이터 재생 수단을 구비하는 데이터 재생 장치.
(부기 22)
부기 11에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서,
상기 수식 타입 정보로부터 상기 분할 재생 데이터가 포함하는 상기 부분 수식 정보의 수식 타입을 취득하는 수식 타입 취득 수단과,
상기 수식 타입 취득 수단의 취득한 상기 수식 타입에 근거하여, 상기 분할 재생 데이터의 재생을 실시하는 데이터 재생 수단을 구비하는 데이터 재생 장치.
(부기 23)
부기 12에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서,
상기 제3 위치 정보로부터 상기 제1 단위 수식 정보를 취득하는 제1 단위 수식 정보 취득 수단과,
상기 제1 단위 수식 정보 취득 수단의 취득한 상기 제1 단위 수식 정보에 근거하여, 상기 재생 데이터의 재생을 실시하는 데이터 재생 수단을 구비하는 데이터 재생 장치.
(부기 24)
부기 14에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서,
상기 제2 단위 수식 정보를 취득하는 제2 단위 수식 정보 취득 수단과,
상기 제2 단위 수식 정보 취득 수단의 취득한 상기 제2 단위 수식 정보에 근거하여 상기 재생 데이터의 재생을 실시하는 데이터 재생 수단을 구비하는 데이터 재생 장치.
(부기 25)
부기 16에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서,
상기 텍스트 존재 정보와 상기 재생 정보 존재 정보에 근거하여, 상기 분할 재생 데이터가 가지는 분할 재생 데이터 재생 정보를 판단하는 재생 정보 판단 수단과,
상기 재생 정보 판단 수단의 판단 결과에 근거하여, 상기 재생 데이터의 재생을 실시하는 데이터 재생 수단을 구비하는 데이터 재생 장치.
(부기 26)
부기 17에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서,
상기 텍스트 존재 정보와 상기 재생 정보 존재 정보와 상기 분할 재생 데이터 위치 정보에 근거하여 상기 분할 재생 데이터의 분할 상황을 판단하는 분할 상황 판단 수단과,
상기 분할 상황 판단 수단의 판단 결과에 근거하여, 상기 분할 재생 데이터의 재생을 제어하는 재생 제어 수단을 구비하는 데이터 재생 장치.
〈부기의 설명〉
부기 1에 기재된 패킷 데이터 구조는, 수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서, 페이로드부와 헤더부를 구비하고 있다. 페이로드부는, 재생 데이터의 분할된 일부인 분할 재생 데이터를 가진다. 헤더부는, 페이로드부가 분할 재생 데이터를 포함하는 것을 나타내는 분할 존재 정보와 분할 재생 데이터의 재생에 필요한 분할 재생 데이터 재생 정보를 가진다.
재생 데이터란, 예컨대, 타임드 텍스트에 있어서의 텍스트 샘플을 포함하고 있다(이하, 이 란에 있어서 동일함). 분할 재생 데이터 재생 정보란, 예컨대, 재생 데이터가 포함하고 있던 재생에 필요한 정보 중 재생 데이터가 분할되었기 때문에 일부의 분할 재생 데이터에는 포함하지 않게 된 정보 혹은 재생 데이터가 분할되었기 때문에 새롭게 분할 재생 데이터의 재생에 필요한 정보 등이다(이하, 이 란에 있어서 동일함).
본 발명의 패킷 데이터 구조에서는, 분할 존재 정보에 의해, 재생 데이터가 분할되고 있는 것이 식별 가능해진다. 또, 분할 재생 데이터 재생 정보에 의해, 패킷의 몇 개인가가 전송 도중에 로스된 경우에도, 취득한 패킷의 분할 재생 데이터의 재생이 가능해진다.
부기 2에 기재된 패킷 데이터 구조는, 수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서, 페이로드부와 헤더부를 구비하고 있다. 페이로드부는, 재생 데이터의 분할된 일부인 분할 재생 데이터를 가진다. 헤더부는, 분할 재생 데이터가 포함한 분할된 텍스트 데이터의 문자 코드를 판별하는 문자 코드 정보를 가진다.
텍스트 데이터는, 예컨대, 선두 부분에 문자 코드를 구비하고 있고, 재생 데이터의 분할에 의해, 일부의 분할 재생 데이터는, 이 문자 코드를 포함하지 않게 된다. 타임드 텍스트에서는, 문자 코드는, 유니코드 규격의 UTF-8 또는 UTF-16 빅 엔디안으로 인코드되고 있다. 문자 코드는, 예컨대, BOM(바이트 오더 마크)로 불리는 비트열에 의해 판단된다.
본 발명의 패킷 데이터 구조에서는, 분할 재생 데이터의 문자 코드를 판별하는 문자 코드 정보를 헤더부에 가지고 있고, 재생 데이터가 포함하는 텍스트 데이터의 문자 코드를 가지는 패킷이 전송 도중에 로스된 경우에도, 분할 재생 데이터를 정상적인 문자 코드로 재생 가능해진다.
부기 3에 기재된 패킷 데이터 구조는, 부기 2에 기재된 패킷 데이터 구조이며, 헤더부는, 문자 코드 정보의 데이터 길이를 나타내는 제1 데이터 길이 정보를 더 가진다.
제1 데이터 길이 정보는, 문자 코드 정보의 데이터 길이를, 예컨대, 바이트 길이로서 지정하기 위한 비트열이다.
본 발명의 패킷 데이터 구조에서는, 제1 데이터 길이 정보에 의해, 가변 길이의 문자 코드 정보를 이용할 수 있고, 또 문자 코드 정보의 판정도 확실히 실시하는 것이 가능해진다.
부기 4에 기재된 패킷 데이터 구조는, 부기 2에 기재된 패킷 데이터 구조이며, 문자 코드 정보는, 2 종류의 문자 코드를 판별하는 1비트의 플래그이다.
본 발명의 패킷 데이터 구조에서는, 1비트의 플래그에 의해, 예컨대, 분할 재생 데이터가 UTF-8혹은 UTF-16 빅 엔디안의 어느 하나로 인코드되는지 등을 판별하는 것이 가능해진다.
부기 5에 기재된 패킷 데이터 구조는, 수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서, 페이로드부와 헤더부를 구비하고 있다. 페이로드부는, 재생 데이터의 분할된 일부인 분할 재생 데이터를 가진다. 헤더부는, 분할 재생 데이터에 있어서의 수식 정보의 위치 정보인 제1 위치 정보를 가진다.
제1 위치 정보는, 수식 정보의 위치를, 예컨대, 페이로드부의 선두로부터의 바이트 길이로서 지정한다.
본 발명의 패킷 데이터 구조에서는, 예컨대, 타임드 텍스트에 있어서의 텍스트 샘플이 가지는 텍스트 데이터의 데이터 길이를 포함하는 패킷이 전송 도중에 로스되었을 경우에도, 분할 재생 데이터에 있어서의 수식 정보의 식별이 가능해진다. 이 결과, 수식 정보를 확실히 디코드하는 것이 가능해지고, 또 수식 정보와 텍스트 데이터를 혼동해 잘못된 텍스트를 표시하는 것을 방지 가능해진다.
부기 6에 기재된 패킷 데이터 구조는, 부기 5에 기재된 패킷 데이터 구조로서, 분할 재생 데이터는, 텍스트 데이터의 적어도 일부와 텍스트 데이터의 적어도 일부에 이어서 배치되는 수식 정보를 포함하고 있다. 또, 제1 위치 정보는, 분할 재생 데이터가 포함하는 텍스트 데이터의 데이터 길이이다.
분할 재생 데이터는, 텍스트 데이터를 페이로드부의 선두로부터 포함하고 있고, 그 데이터 길이는, 예컨대, 바이트 길이로서 지정되어 있다.
본 발명의 패킷 데이터 구조에서는, 수식 정보를 확실히 디코드하는 것이 가능하고, 또 수식 정보와 텍스트 데이터를 혼동해 잘못된 텍스트를 표시하는 것을 방지 가능해진다.
부기 7에 기재된 패킷 데이터 구조는, 부기 5에 기재된 패킷 데이터 구조로서, 수식 정보는, 복수의 부분 수식 정보를 포함하고 있다. 분할 재생 데이터는, 제1 부분 수식 정보의 분할된 일부와 제1 부분 수식 정보의 분할된 일부에 이어서 배치되는 제2 부분 수식 정보를 포함하고 있다. 제1 위치 정보는, 제1 부분 수식 정보의 분할된 일부의 데이터 길이이다.
분할된 제1 부분 수식 정보는, 페이로드부의 선두로부터 배치되어 있고, 그 데이터 길이는, 예컨대, 바이트 길이로서 지정되어 있다.
본 발명의 패킷 데이터 구조에서는, 제2 부분 수식 정보를 확실히 디코드하는 것이 가능해진다.
부기 8에 기재된 패킷 데이터 구조는, 부기 6 또는 7에 기재된 패킷 데이터 구조로서, 헤더부는, 분할 재생 데이터가 텍스트 데이터의 적어도 일부를 포함하는 것을 나타내는 텍스트 존재 정보를 더 가진다.
본 발명의 패킷 데이터 구조에서는, 복수의 재생 데이터를 전송할 때에 부기 6 또는 부기 7에 기재된 패킷 데이터 구조를 가지는 패킷이 혼재하고 있어도, 텍스트 데이터의 유무에 의해 판별하는 것이 가능해진다.
부기 9에 기재된 패킷 데이터 구조는, 수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서, 페이로드부와 헤더부를 구비하고 있다. 페이로드부는, 재생 데이터의 분할된 일부인 분할 재생 데이터를 가진다. 헤더부는, 분할 재생 데이터가 포함하는 분할된 텍스트 데이터인 분할 텍스트 데이터의 텍스트 데이터에 있어서의 위치 정보인 제2 위치 정보를 가진다.
수식 정보는, 텍스트 데이터의 수식 범위를, 예컨대, 바이트 단위 혹은 텍스트 본문의 문자수를 단위 등으로서 지정하고 있다. 제2 위치 정보는, 예컨대, 분할 텍스트 데이터의 텍스트 데이터에 있어서의 개시 위치를, 예컨대, 바이트 단위 혹은 텍스트 본문의 문자수를 단위로서 나타낸 정보 등이다.
본 발명의 패킷 데이터 구조에서는, 제2 위치 정보에 의해, 수식을 부여해야 할 분할 텍스트 데이터의 범위를 판별 가능해지고, 분할 텍스트 데이터에 수식 효과를 이용하는 것이 가능해진다.
부기 10에 기재된 패킷 데이터 구조는, 부기 9에 기재된 패킷 데이터 구조로서, 제2 위치 정보는, 분할 텍스트 데이터의 위치 정보를 텍스트의 문자수를 단위로서 포함하고 있다.
수식 정보는, 텍스트 데이터의 수식 범위를, 텍스트 본문의 문자수를 단위 등으로서 지정하고 있다.
본 발명의 패킷 데이터 구조에서는, 제2 위치 정보에 의해, 수식을 부여해야 할 분할 텍스트 데이터의 문자열의 범위를 판별 가능해지고, 분할 텍스트 데이터에 수식 효과를 이용하는 것이 가능해진다.
부기 11에 기재된 패킷 데이터 구조는, 수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서, 페이로드부와 헤더부를 구비하고 있다. 페이로드부는, 재생 데이터의 분할된 일부인 분할 재생 데이터를 가진다. 헤더부는, 수식 정보가 포함하는 부분 수식 정보의 수식 타입을 나타내는 정보로서, 분할 재생 데이터에 포함되지 않는 수식 타입 정보를 가진다.
부분 수식 정보란, 예컨대, 타임드 텍스트에 있어서의 텍스트 샘플의 모디파이어 등이다.
본 발명의 패킷 데이터 구조에서는, 예컨대, 재생 데이터의 분할에 의해, 분할 재생 데이터가 부분 수식 정보의 수식 타입을 나타내는 정보를 포함하지 않게 되었을 경우에, 헤더부가 가지는 수식 타입 정보를 사용하여 분할 재생 데이터가 가지는 부분 수식 정보를 이용하는 것이 가능해진다.
부기 12에 기재된 패킷 데이터 구조는, 수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서, 페이로드부와 헤더부를 구비하고 있다. 페이로드부는, 재생 데이터의 분할된 일부인 분할 재생 데이터를 가진다. 헤더부는, 수식 정보가 포함하는 부분 수식 정보를 구성하는 단위 수식 정보로서, 분할 재생 데이터에 포함되는 제1 단위 수식 정보의 위치 정보인 제3 위치 정보를 가진다.
본 발명의 패킷 데이터 구조에서는, 예컨대, 재생 데이터의 분할에 의해, 분할 재생 데이터가 분할된 부분 수식 정보를 포함하는 경우에, 분할된 부분 수식 정보의 제1 단위 수식 정보를 판별해 텍스트 데이터에 수식 효과를 이용하는 것이 가능해진다.
부기 13에 기재된 패킷 데이터 구조는, 부기 12에 기재된 패킷 데이터 구조로서, 헤더부는, 제3 위치 정보의 데이터 길이를 나타내는 제2 데이터 길이 정보를 더 가진다.
본 발명의 패킷 데이터 구조에서는, 제1 단위 수식 정보의 식별에 필요한 제3 위치 정보를 보다 확실히 판별할 수 있고, 제1 단위 수식 정보의 식별을 보다 확실히 실시하는 것이 가능해진다.
부기 14에 기재된 패킷 데이터 구조는, 수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서, 페이로드부와 헤더부를 구비하고 있다. 페이로드부는, 재생 데이터의 분할된 일부인 분할 재생 데이터를 가진다. 헤더부는, 수식 정보가 포함하는 부분 수식 정보를 구성하는 단위 수식 정보로서, 분할 재생 데이터에 포함되지 않는 제2 단위 수식 정보를 가진다.
제2 단위 수식 정보란, 예컨대, 분할에 의해 분할 재생 데이터에 포함되지 않게 된 단위 수식 정보 가운데, 분할 재생 데이터가 포함하는 단위 수식 정보를 이용하기 위해서 필요해지는 정보 등이다.
본 발명의 패킷 데이터 구조에서는, 제2 단위 수식 정보를 사용하여, 분할 재생 데이터가 포함하는 분할된 수식 정보를 이용하는 것이 가능해진다.
부기 15에 기재된 패킷 데이터 구조는, 부기 14에 기재된 패킷 데이터 구조로서, 헤더부는, 제2 단위 수식 정보의 데이터 길이를 나타내는 제3 데이터 길이 정보를 더 가진다.
제2 단위 수식 정보는, 부분 수식 정보의 수식 타입에 의존하는 정보이다.
본 발명의 패킷 데이터 구조에서는, 제3 데이터 길이 정보에 의해, 제2 단위 수식 정보의 식별을 보다 확실히 실시하는 것이 가능해진다.
부기 16에 기재된 패킷 데이터 구조는, 수식 정보가 부여된 텍스트 데이터를 포함하는 재생 데이터를 전송하고 재생 장치에서 순차 재생시키기 위한 패킷 데이터 구조로서, 페이로드부와 헤더부를 구비하고 있다. 페이로드부는, 재생 데이터의 분할된 일부인 분할 재생 데이터를 가진다. 헤더부는 페이로드부에 부가되고, 텍스트 존재 정보와 재생 정보 존재 정보를 가진다. 또, 텍스트 존재 정보는, 분할 재생 데이터가 텍스트 데이터의 적어도 일부를 포함하는 것을 나타내고 있다. 재생 정보 존재 정보는, 헤더부가 분할 재생 데이터의 재생에 필요한 분할 재생 데이터 재생 정보를 포함하는 것을 나타내고 있다.
분할 재생 데이터 재생 정보란, 예컨대, 분할 재생 데이터가 포함하는 텍스트 데이터의 문자 코드 정보나 분할 재생 데이터가 포함하는 수식 정보를 이용하기 위한 정보 등이다.
분할 재생 데이터 재생 정보가 가지는 정보의 종류는, 텍스트 존재 정보에 의존하고 있다. 이 때문에, 텍스트 존재 정보와 재생 정보 존재 정보의 조합에 의해, 분할 재생 데이터 재생 정보가 가지는 정보의 종류가 판별된다.
본 발명의 패킷 데이터 구조에서는, 분할 재생 데이터 재생 정보가 가지는 정보의 모두에 대해서 비트열을 할당하지 않아도, 텍스트 존재 정보와 재생 정보 존재 정보의 조합에 의해 분할 재생 데이터 재생 정보가 가지는 정보를 판별 가능해진다. 즉, 패킷의 로스에 대한 내성을 높이면서 비트 효율을 높이는 것이 가능해진다.
부기 17에 기재된 패킷 데이터 구조는, 부기 16에 기재된 패킷 데이터 구조로서, 헤더부는, 분할 재생 데이터가 재생 데이터의 최후에 위치하는 데이터인 것을 나타내는 분할 재생 데이터 위치 정보를 더 가진다.
텍스트 존재 정보와 재생 정보 존재 정보와 분할 재생 데이터 위치 정보와의 조합에 의해, 분할 재생 데이터의 분할 상황을 판별 가능해진다.
본 발명의 패킷 데이터 구조에서는, 분할 재생 데이터의 분할 상황의 판별을 가능하게 한다. 이것에 의해, 분할 재생 데이터의 재생 개시의 타이밍을 판단하는 것도 가능해진다.
부기 18에 기재된 데이터 재생 장치는, 부기 1에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서, 분할 판단 수단과 데이터 재생 수단을 구비하고 있다. 분할 판단 수단은, 분할 존재 정보로부터 페이로드부가 분할 재생 데이터를 포함하는 것을 판단한다. 데이터 재생 수단은, 분할 판단 수단의 판단 결과에 근거하여, 분할 재생 데이터 재생 정보로부터 분할 재생 데이터의 재생을 실시한다.
데이터 재생 수단은, 분할 판단 수단의 판단 결과에 근거하여 패킷의 해석을 실시한다. 즉, 페이로드부에 분할 재생 데이터가 포함되어 있다고 판단하는 경우, 분할 재생 데이터 재생 정보를 해석해, 분할 재생 데이터의 재생을 실시할 수 있다.
본 발명의 데이터 재생 장치에서는, 패킷의 몇 개인가가 전송 도중에 로스된 경우에도, 취득한 분할 재생 데이터의 재생을 실시하는 것이 가능해진다.
부기 19에 기재된 데이터 재생 장치는, 부기 2에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서, 문자 코드 판별 수단과 데이터 재생 수단을 구비하고 있다. 문자 코드 판별 수단은, 문자 코드 정보로부터 분할 재생 데이터가 포함하는 분할된 텍스트 데이터의 문자 코드를 판별한다. 데이터 재생 수단은, 문자 코드 판별 수단의 판별 결과에 근거하여, 분할 재생 데이터의 재생을 실시한다.
데이터 재생 수단은, 문자 코드 판별 수단의 판별 결과에 근거하여, 패킷의 해석을 실시한다. 즉, 분할 재생 데이터가 포함하는 텍스트 데이터의 문자 코드를 판별해, 분할 재생 데이터의 재생을 실시할 수 있다.
본 발명의 데이터 재생 장치에서는, 패킷의 몇 개인가가 전송 도중에 로스된 경우에도, 취득한 분할 재생 데이터를 정상적인 문자 코드로 재생 가능해진다.
부기 20에 기재된 데이터 재생 장치는, 부기 5에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서, 제1 위치 정보 취득 수단과 데이터 재생 수단을 구비하고 있다. 제1 위치 정보 취득 수단은, 제1 위치 정보로부터 분할 재생 데이터에 있어서의 수식 정보의 위치 정보를 취득한다. 데이터 재생 수단은, 제1 위치 정보 취득 수단의 취득한 위치 정보에 근거하여, 분할 재생 데이터의 재생을 실시한다.
데이터 재생 수단은, 제1 위치 정보 취득 수단의 취득한 제1 위치 정보에 근거하여 패킷의 해석을 실시한다. 즉, 제1 위치 정보로부터 분할 재생 데이터에 있어서의 수식 정보를 판별해, 분할 재생 데이터의 재생을 실시한다.
본 발명의 데이터 재생 장치에서는, 패킷의 몇 개인가가 전송 도중에 로스된 경우에도, 취득한 분할 재생 데이터에 수식 효과를 이용하는 것이 가능해진다.
부기 21에 기재된 데이터 재생 장치는, 부기 9에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서, 제2 위치 정보 취득 수단과 데이터 재생 수단을 구비하고 있다. 제2 위치 정보 취득 수단은, 분할 재생 데이터가 포함하는 분할된 텍스트 데이터인 분할 텍스트 데이터의 텍스트 데이터에 있어서의 위치 정보를 취득한다. 데이터 재생 수단은, 제2 위치 정보 취득 수단의 취득한 위치 정보에 근거하여, 분할 재생 데이터의 재생을 실시한다.
수식 정보는, 텍스트 데이터의 수식 범위를, 예컨대, 바이트 단위 혹은 텍스트 본문의 문자수를 단위 등으로서 지정하고 있다. 제2 위치 정보는, 예컨대, 분할 텍스트 데이터의 텍스트 데이터에 있어서의 개시 위치를, 예컨대, 바이트 단위 혹은 텍스트 본문의 문자수를 단위로서 표시한 정보 등이다.
데이터 재생 수단은, 제2 위치 정보 취득 수단의 취득한 제2 위치 정보에 근거하여 패킷의 해석을 실시한다. 즉, 제2 위치 정보로부터 수식이 부여되는 분할 텍스트 데이터의 범위를 특정하고, 분할 텍스트 데이터의 재생을 실시한다.
본 발명의 데이터 재생 장치에서는, 패킷의 몇 개인가가 전송 도중에 로스된 경우에도, 취득한 분할 텍스트 데이터에 수식 효과를 이용하는 것이 가능해진다.
부기 22에 기재된 데이터 재생 장치는, 부기 11에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서, 수식 타입 취득 수단과 데이터 재생 수단을 구비하고 있다. 수식 타입 취득 수단은, 수식 타입 정보로부터 분할 재생 데이터가 포함하는 부분 수식 정보의 수식 타입을 취득한다. 데이터 재생 수단은, 수식 타입 취득 수단의 취득한 수식 타입에 근거하여, 분할 재생 데이터의 재생을 실시한다.
부분 수식 정보란, 예컨대, 타임드 텍스트에 있어서의 텍스트 샘플의 모디파이어 등이다.
본 발명의 데이터 재생 장치에서는, 예컨대, 재생 데이터의 분할에 의해, 분할 재생 데이터가 부분 수식 정보의 수식 타입을 나타내는 정보를 포함하지 않게 되었을 경우에, 헤더부가 가지는 수식 타입 정보를 사용하여 분할 재생 데이터가 가지는 부분 수식 정보를 이용할 수 있다.
부기 23에 기재된 데이터 재생 장치는, 부기 12에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서, 제1 단위 수식 정보 취득 수단과 데이터 재생 수단을 구비하고 있다. 제1 단위 수식 정보 취득 수단은, 제3 위치 정보로부터 제1 단위 수식 정보를 취득한다. 데이터 재생 수단은, 제1 단위 수식 정보 취득 수단의 취득한 제1 단위 수식 정보에 근거하여, 재생 데이터의 재생을 실시한다.
데이터 재생 수단은, 제1 단위 수식 정보 취득 수단의 취득한 제1 단위 수식 정보에 근거하여, 패킷의 해석을 실시한다.
본 발명의 데이터 재생 장치에서는, 예컨대, 분할 재생 데이터가 분할된 부분 수식 정보를 포함하는 경우에, 분할된 부분 수식 정보 중 제1 단위 수식 정보를 판별해 텍스트 데이터에 수식 효과를 이용하는 것이 가능해진다.
부기 24에 기재된 데이터 재생 장치는, 부기 14에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서, 제2 단위 수식 정보 취득 수단과 데이터 재생 수단을 구비하고 있다. 제2 단위 수식 정보 취득 수단은, 제2 단위 수식 정보를 취득한다. 데이터 재생 수단은, 제2 단위 수식 정보 취득 수단의 취득한 제2 단위 수식 정보에 근거하여 재생 데이터의 재생을 실시한다.
데이터 재생 수단은, 제2 단위 수식 정보 취득 수단의 취득한 제2 단위 수식 정보에 근거하여 패킷의 해석을 실시한다.
본 발명의 데이터 재생 장치에서는, 제2 단위 수식 정보에 의해, 분할 재생 데이터가 포함하는 분할된 수식 정보를 이용하는 것이 가능해진다.
부기 25에 기재된 데이터 재생 장치는, 부기 16에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서, 재생 정보 판단 수단과 데이터 재생 수단을 구비하고 있다. 재생 정보 판단 수단은, 텍스트 존재 정보와 재생 정보 존재 정보에 근거하여, 분할 재생 데이터가 가지는 분할 재생 데이터 재생 정보를 판단한다. 데이터 재생 수단은, 재생 정보 판단 수단의 판단 결과에 근거하여 재생 데이터의 재생을 실시한다.
분할 재생 데이터 재생 정보란, 예컨대, 분할 재생 데이터가 포함하는 텍스트 데이터의 문자 코드 정보나 분할 재생 데이터가 포함하는 수식 정보를 이용하기 위한 정보 등이다.
분할 재생 데이터 재생 정보가 가지는 정보의 종류는, 텍스트 존재 정보에 의존하고 있다. 이 때문에, 텍스트 존재 정보와 재생 정보 존재 정보의 조합에 의해, 분할 재생 데이터 재생 정보가 가지는 정보의 종류가 판별된다.
본 발명의 데이터 재생 장치에서는, 텍스트 존재 정보와 재생 정보 존재 정보의 조합에 의해 분할 재생 데이터 재생 정보가 가지는 정보를 판별 가능해진다.
부기 26에 기재된 데이터 재생 장치는, 부기 17에 기재된 패킷 데이터 구조를 가지는 패킷으로부터 재생 데이터를 재생하는 데이터 재생 장치로서, 분할 상황 판단 수단과 재생 제어 수단을 구비하고 있다. 분할 상황 판단 수단은, 텍스트 존재 정보와 재생 정보 존재 정보와 분할 재생 데이터 위치 정보에 근거하여, 분할 재생 데이터의 분할 상황을 판단한다. 재생 제어 수단은, 분할 상황 판단 수단의 판단 결과에 근거하여, 분할 재생 데이터의 재생을 제어한다.
본 발명의 패킷 데이터 구조에서는, 분할 재생 데이터의 분할 상황의 판별을 가능하게 한다. 이것에 의해, 재생 제어 수단은, 분할 재생 데이터의 재생 개시의 타이밍을 판단하는 것이 가능해진다.
[제6 실시 형태]
상기 각 실시 형태에서 나타낸 데이터 전송 방법, 데이터 수신 방법, 데이터 재생 방법 혹은 데이터 다중 방법을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기록매체에 기록하도록 함으로써, 상기 각 실시 형태에서 나타낸 처리를, 독립한 컴퓨터 시스템에 있어서 간단하게 실시하는 것이 가능해진다.
도 50은, 상기 각 실시 형태의 데이터 전송 방법, 데이터 수신 방법, 데이터 재생 방법 혹은 데이터 다중 방법을, 플렉시블 디스크 등의 기록매체에 기록된 프로그램을 사용하여 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.
도 50b는, 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 도시하고, 도 50a는, 기록매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고 상기 디스크의 표면에는, 동심원형으로 외주에서는 내주를 향해 복수의 트랙(Tr)이 형성되며 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램이 기록되어 있다.
또한, 도 50c는, 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 실시하기 위한 구성을 도시한다. 데이터 전송 방법, 데이터 수신 방법, 데이터 재생 방법 혹은 데이터 다중 방법을 실현하는 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램을 플렉시블 디스크 드라이브를 통하여 기입한다. 또한, 플렉시블 디스크 내의 프로그램에 의해 상기 데이터 전송 방법, 데이터 수신 방법, 데이터 재생 방법 혹은 데이터 다중 방법을 컴퓨터 시스템 중에 구축하는 경우는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 읽어내어 컴퓨터 시스템에 전송한다.
한편, 상기 설명에서는, 기록매체로서 플렉시블 디스크를 사용하여 설명을 실시했지만, 광디스크를 사용해도 마찬가지로 실시할 수 있다. 또한, 기록 매체는 이것에 한정하지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.
[제7 실시 형태]
또한, 여기에서, 상기 실시의 형태에서 나타낸 패킷 데이터 구조, 데이터 전송 장치, 데이터 수신 장치, 데이터 재생 장치 및 데이터 다중 장치의 응용예와 그것을 사용한 시스템을 설명한다.
도 51은, 컨텐츠 전달 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 에리어를 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107~ex110)이 설치되어 있다.
이 컨텐츠 공급 시스템(ex100)은, 예컨대, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104), 및 기지국(ex107~ex110)을 통하여 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대 전화(ex114), 카메라 부착 휴대 전화(ex115) 등의 각 기기가 접속된다.
그러나, 컨텐츠 공급 시스템(ex100)은 도 51과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또한, 고정 무선국인 기지국(ex107~ex110)을 통하지 않고 각 기기가 전화망(ex104)에 직접 접속되어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 동영상 촬영이 가능한 기기이다. 또한, 휴대 전화는, PDC(Personal Digitalcommunications) 방식, CDMA(Code Division Multipleaccess) 방식, W-CDMA(Wideband-Code Division Multipleaccess) 방식, 혹은 GSM(Global System for Mobilecommunications) 방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이며, 무엇이라도 상관없다.
또한, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되고 있고, 카메라(ex113)를 사용하여 유저가 송신하는 부호화 처리된 데이터에 근거한 라이브 전달 등이 가능해진다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 실시해도, 데이터의 송신 처리를 하는 서버 등으로 실시해도 된다. 또한, 카메라(116)로 촬영한 동영상 데이터는 컴퓨터(ex111)를 통하여 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털카메라 등의 정지 화면, 동영상이 촬영 가능한 기기이다. 이 경우, 동영상 데이터의 부호화는 카메라(ex116)로 실시해도 되고 컴퓨터(ex111)로 실시해도 된다. 또한, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 가지는 LSI(ex117)에 있어서 처리하게 된다. 한편, 화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 내장시켜도 된다. 또한, 카메라 부착 휴대 전화(ex115)로 동영상 데이터를 송신해도 된다. 이 때의 동영상 데이터는 휴대 전화(ex115)가 가지는 LSI로 부호화 처리된 데이터이다.
이 컨텐츠 공급 시스템(ex100)에서는, 유저가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 컨텐츠(예컨대, 음악 라이브를 촬영한 영상 등) 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편으로, 스트리밍 서버(ex103)는 요구가 있던 클라이언트에 대해서 상기 컨텐츠 데이터를 스트림 전달한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이렇게 함으로써 컨텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에 있어서 수신해 재생할 수 있고, 또한 클라이언트에 있어서 리얼타임으로 수신해 복호화하고 재생함으로써, 개인 방송도 실현 가능해지는 시스템이다.
여기서, 스트리밍 서버(ex103)는, 본원 발명의 데이터 전송 장치, 데이터 다중 장치로서의 기능도 가지고 있다. 또한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등은, 본원 발명의 데이터 수신 장치, 데이터 재생 장치로서의 기능도 가지고 있다. 이것에 의해, 스트리밍 서버(ex103)로부터 MP4 파일 형식으로 축적된 미디어 데이터를 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등으로 취득하고, 타임드 텍스트를 스트리밍에 의해 표시시키는 것이 가능해진다.
도 52는, 본 발명의 패킷 데이터 구조, 데이터 수신 장치, 데이터 재생 장치 및 데이터 다중 장치를 사용한 휴대 전화(ex115)를 도시하는 도이다. 휴대 전화(ex115)는, 기지국(ex110)과의 사이에 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화면을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)로 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동영상 혹은 정지화면의 데이터, 수신한 메일의 데이터, 동영상의 데이터 혹은 정지화면의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 가지고 있다. 기록 미디어(ex207)는 SD카드 등의 플라스틱 케이스 내에 전기적으로 재기록이나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 저장한 것이다.
또한 휴대 전화(ex115)에 대해 도 53을 사용해 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각부를 통괄적으로 제어하도록 이루어진 주제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305), 텍스트 복호화부(ex314)가 동기 버스(ex313)를 통하여 서로 접속되고 있다.
전원 회로부(ex310)는, 사용자의 조작에 의해 종화(終話) 및 전원 키가 온 상태로 되면, 배터리팩으로부터 각부에 대해서 전력을 공급함으로써 카메라 부착 디지털 휴대 전화(ex115)를 동작 가능 상태로 기동한다.
휴대 전화(ex115)는, CPU, ROM 및 RAM등으로 이루어지는 주제어부(ex311)의 제어에 근거하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)로 스펙트럼 확산 처리하여, 송수신 회로부(ex301)로 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통하여 송신한다. 또한 휴대 전화기(ex115)는, 음성 통화 모드시에 안테나(ex201)에서 수신한 수신 신호를 증폭해 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여 음성 처리부(ex305)에 의해서 아날로그 음성 신호로 변환한 후, 이것을 음성 출력부(ex208)를 통하여 출력한다.
또한, 데이터 통신 모드시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통하여 주제어부(ex311)에 송출된다. 주제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통하여 기지국(ex110)에 송신한다.
데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통하여 화상 부호화부(ex312)에 공급한다. 또한, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통하여 표시부(ex202)에 직접 표시하는 것도 가능하다.
화상 부호화부(ex312)는, 카메라부(ex203)로부터 공급된 화상 데이터를 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또한, 이 때 동시에 휴대 전화기(ex115)는, 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통하여 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.
다중 분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하며, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통하여 송신한다.
데이터 통신 모드시에 홈페이지 등에 링크된 동영상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통하여 기지국(ex110)으로부터 수신한 수신 신호를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.
또, 안테나(ex201)를 통하여 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는 다중화 데이터를 분리함으로써 화상 데이터의 부호화 비트 스트림과 음성 데이터의 부호화 비트 스트림으로 나누고, 동기 버스(ex313)를 통하여 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급함과 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다. 또한, MP4 파일 중, 타임드 텍스트 트랙을 텍스트 복호화부(ex314)에 공급한다.
다음에, 화상 복호화부(ex309)는, 화상 데이터의 부호화 비트 스트림을 복호함으로써 재생 동영상 데이터를 생성하고, 이것을 LCD 제어부(ex302)를 통하여 표시부(ex202)에 공급하며, 이것에 의해, 예컨대 홈페이지에 링크된 동영상 파일에 포함되는 동영상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 신호로 변환한 후, 이것을 음성 출력부(ex208)에 공급하고, 이것에 의해, 예컨대 홈페이지에 링크된 동영상 파일에 포함하는 음성 데이터가 재생된다. 또한, 텍스트 복호화부(ex314)는, 텍스트 샘플을 상기 실시 형태에서 설명한 바와 같이 재생하고, LCD 제어부(ex302)를 통하여 표시부(ex202)에 공급하며, 재생 동영상 데이터와 동기적으로 표시시킨다.
한편, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 54에 도시한 바와 같이, 디지털 방송용 시스템에도 본 발명의 데이터 전송 장치, 데이터 수신 장치, 데이터 다중 장치 또는 데이터 재생 장치의 어느 하나를 내장할 수 있다.
구체적으로는, 방송국(ex409)에서는 영상 정보의 부호화 비트 스트림이 전파를 통하여 통신 또는 방송위성(ex410)에 전송된다. 이것을 받은 방송위성(ex410)은, 방송용의 전파를 발신하고, 이 전파를 위성방송 수신 설비를 가지는 가정의 안테나(ex406)에서 수신하며, 텔레비전(수신기)(ex401) 또는 셋톱 박스(STB)(ex407) 등의 장치에 의해 부호화 비트 스트림을 복호화해 이것을 재생한다. 또한, 기록매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 부호화 비트 스트림을 판독하고, 복호화하는 재생 장치(ex403)에도 본 발명의 데이터 수신 장치, 데이터 재생 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호 및 텍스트 트랙은 모니터(ex404)에 표시된다. 또한, 케이블 텔레비전용 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋톱 박스(ex407) 내에 본 발명의 데이터 수신 장치, 데이터 재생 장치를 실장하고, 이것을 텔레비전의 모니터(ex408)에서 재생하는 구성도 생각된다. 이 때 셋톱 박스가 아니고, 텔레비전 내에 데이터 수신 장치, 데이터 재생 장치를 내장해도 된다. 또, 안테나(ex411)를 가지는 차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하고, 차(ex412)가 가지는 카 네비게이션(ex413) 등의 표시장치에 동영상을 재생하는 것도 가능하다.
또한, 화상 신호를 기록매체에 기록할 수도 있다. 구체적인 예로서는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드 디스크에 기록하는 디스크 레코더 등의 레코더(ex420)가 있다. 또한, SD카드(ex422)에 기록할 수도 있다. 레코더(ex420)가 본 발명의 데이터 재생 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD카드(ex422)에 기록한 화상 신호를 재생하여 모니터(ex408)에서 표시할 수 있다.
한편, 카 네비게이션(ex413)의 구성은 예컨대 도 54에 도시하는 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성이 생각되고, 동일한 것이 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각된다.
또한, 상기 휴대 전화(ex114) 등의 단말기는, 부호화기·복호화기를 모두 가지는 송수신형의 단말기 외에, 부호화기만의 송신 단말기, 복호화기만의 수신 단말기의 3 가지의 실장 형식이 생각된다.
이와 같이, 상기 실시의 형태에서 나타낸 패킷 데이터 구조, 데이터 전송 장치, 데이터 전송 방법, 데이터 수신 장치, 데이터 수신 방법, 데이터 재생 장치 및 데이터 다중 장치를 전술한 어느 하나의 기기·시스템에 사용하는 것은 가능하고, 그렇게 함으로써 상기 실시 형태에서 설명한 효과를 얻을 수 있다.
[제8 실시 형태]
본 발명은 이러한 상기 실시 형태에 한정되는 것은 아니고, 본 발명의 범위를 일탈하는 일 없이 여러 가지의 변형 또는 수정이 가능하다. 또한, 상기 실시 형태에서 설명한 방법은, 프로그램으로서 컴퓨터 등에 의해 실현되는 것도 가능하다.
본 발명에 따른 전송 데이터 구조는, 타임드 텍스트를 스트리밍형의 전달로 사용하는데 매우 적합한 전송 데이터 구조의 제공이 요구되는 텍스트 전송 데이터 등에 적용 가능하다.

Claims (26)

  1. 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고, 데이터 수신 장치에 순차 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서,
    상기 텍스트 데이터 전체의 재생에 관련된 전체 텍스트 헤더 데이터와,
    분할된 상기 텍스트 데이터를 포함하는 분할 텍스트 데이터와,
    상기 분할 텍스트 데이터마다 배치되고 상기 분할 텍스트 데이터의 개개의 재생에 관련된 분할 텍스트 헤더 데이터를 구비하는 텍스트 전송용 데이터의 전송 데이터 구조.
  2. 제1항에 있어서, 상기 분할 텍스트 헤더 데이터는 상기 분할 텍스트 데이터의 재생 시간에 관한 재생 시간 정보를 포함하고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
  3. 제1항 또는 제2항에 있어서, 상기 분할 텍스트 헤더 데이터는, 상기 분할 텍스트 데이터의 데이터 길이에 관한 데이터 길이 정보를 포함하고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 전체 텍스트 헤더 데이터는, 상기 텍스트 데이터의 재생 영역에 관한 정보를 포함하는 텍스트 재생 정보와, 상기 분할 텍스트 데이터의 서식에 관한 정보를 포함한 서식 정보를 포함하고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
  5. 제4항에 있어서, 상기 전체 텍스트 헤더 데이터는, 상기 분할 텍스트 헤더 데이터의 데이터 길이를 커스터마이즈하기 위한 데이터 길이 커스터마이즈 정보를 더 포함하고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
  6. 제4항 또는 제5항에 있어서, 상기 분할 텍스트 헤더 데이터는, 상기 분할 텍스트 데이터와 상기 서식 정보의 관련을 나타내는 인덱스를 포함하는, 텍스트 전송용 데이터의 전송 데이터 구조.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서, 상기 텍스트 전송용 데이터는, 복수의 패킷으로 구성되고,
    상기 텍스트 재생 정보는, 상기 분할 텍스트 데이터 및 상기 분할 텍스트 헤더 데이터와 다른 형식으로 패킷화되고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
  8. 제7항에 있어서, 상기 서식 정보는, 상기 텍스트 재생 정보와 동일한 형식으로 패킷화되고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
  9. 제7항에 있어서, 상기 서식 정보는, 상기 분할 텍스트 데이터 및 상기 분할 텍스트 헤더 데이터와 동일한 형식으로 패킷화되고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
  10. 제9항에 있어서, 상기 서식 정보는, 복수의 서식 정보 단위를 포함하고,
    상기 서식 정보 단위는, 상기 분할 텍스트 데이터마다 배치되는, 텍스트 전송용 데이터의 전송 데이터 구조.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 텍스트 전송용 데이터는, 다중화 데이터로서 전송되는 데이터인, 텍스트 전송용 데이터의 전송 데이터 구조.
  12. 제1항 내지 제11항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터를 수신하는 수신 단계와,
    상기 텍스트 전송용 데이터가 포함하는 상기 전체 텍스트 헤더 데이터와, 상기 분할 텍스트 데이터와 상기 분할 텍스트 헤더 데이터에 근거하여, 상기 분할 텍스트 데이터가 포함하는 분할된 상기 텍스트 데이터를 순차 재생하는 재생 단계를 구비하는 텍스트 전송용 데이터의 데이터 수신 방법.
  13. 제1항 내지 제11항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터를 수신하는 수신 수단과,
    상기 텍스트 전송용 데이터가 포함하는 상기 전체 텍스트 헤더 데이터와, 상기 분할 텍스트 데이터와, 상기 분할 텍스트 헤더 데이터에 근거하여 상기 분할 텍스트 데이터가 포함하는 분할된 상기 텍스트 데이터를 순차 재생하는 재생 수단을 구비하는 텍스트 전송용 데이터의 데이터 수신 장치.
  14. 컴퓨터에 의해, 제1항 내지 제11항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법을 실시하기 위한 데이터 수신 프로그램으로서,
    상기 데이터 수신 프로그램은, 컴퓨터에,
    제1항 내지 제11항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터를 수신하는 수신 단계와,
    상기 텍스트 전송용 데이터가 포함하는 상기 전체 텍스트 헤더 데이터와, 상기 분할 텍스트 데이터와, 상기 분할 텍스트 헤더 데이터에 근거하여 상기 분할 텍스트 데이터가 포함하는 분할된 상기 텍스트 데이터를 순차 재생하는 재생 단계를 구비하는 데이터 수신 방법을 실시하게 하는 것인 데이터 수신 프로그램.
  15. 텍스트 데이터의 재생에 관계되는 텍스트 재생용 데이터를 전송하고 순차 재생시키기 위한 텍스트 전송용 데이터의 전송 데이터 구조로서,
    상기 텍스트 재생용 데이터는, 상기 텍스트 데이터를 분할한 복수의 분할 텍스트 데이터와 분할 텍스트 데이터를 재생하기 위한 정보를 포함하는 텍스트 헤더 데이터를 포함하고,
    상기 텍스트 전송용 데이터는, 복수의 패킷으로 구성되며,
    상기 분할 텍스트 데이터는, 상기 각 패킷 내에 있어서 표시 순서로 배치되고,
    상기 패킷은 상기 각 분할 텍스트 데이터의 재생 시각 정보를 가지며,
    제2 패킷은, 그 전의 제1 패킷의 분할 텍스트 데이터와 재생 시각 정보가 중복되는 분할 텍스트 데이터를 포함하고 있는, 텍스트 전송용 데이터의 전송 데이터 구조.
  16. 제15항에 있어서, 상기 패킷에 포함되는 상기 분할 텍스트 데이터의 개수는, 상기 텍스트 전송용 데이터의 전송을 위해서 확보된 전송로 대역과 거의 일치하는 대역에서 상기 패킷이 전송되는 개수로서 결정되는, 텍스트 전송용 데이터의 전송 데이터 구조.
  17. 제15항 또는 제16항에 있어서, 상기 텍스트 전송용 데이터는, 다중화 데이터로서 전송되는 데이터인,텍스트 전송용 데이터의 전송 데이터 구조.
  18. 제15항 내지 제17항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법으로서,
    상기 제1 패킷의 각 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)과,
    상기 제2 패킷의 최초의 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Ta)을 취득하는 시각 취득 단계와,
    상기 제1 패킷에 있어서 상기 시각(Tn)이 상기 시각(Ta)과 같거나 또는 뒤인 분할 텍스트 데이터를, 상기 제2 패킷에 있어서 재생 시각 정보가 중복되는 분할 텍스트 데이터로 치환하는 치환 단계를 구비한 텍스트 전송용 데이터의 데이터 수신 방법.
  19. 제15항 내지 제17항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법으로서,
    제1 분할 텍스트 데이터의 수신 시각(Td)이, 상기 제1 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)보다 느리게, 또한 다음의 제2 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn+1)보다 빠르게 수신되는지 여부를 판단하는 수신 지연 판단 단계와,
    상기 판단이 긍정적일 경우에, 상기 제1 분할 텍스트 데이터를, 상기 수신 시각(Td)으로부터 상기 시각(Tn+1)까지의 사이에 재생하는 재생 단계를 구비한 텍스트 전송용 데이터의 데이터 수신 방법.
  20. 제19항에 있어서, 상기 재생 단계에서는 상기 제1 분할 텍스트 데이터에 있어서 상기 시각(Tn)으로부터 상기 수신 시각(Td)까지의 시간이 경과한 시점의 재생 상태로부터, 상기 제1 분할 텍스트 데이터의 재생을 개시하는, 텍스트 전송용 데이터의 데이터 수신 방법.
  21. 제15항 내지 제17항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 장치로서,
    상기 제1 패킷의 각 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)과, 상기 제2 패킷의 최초의 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Ta)을 취득하는 시각 취득 수단과,
    상기 제1 패킷에 있어서 상기 시각(Tn)이 상기 시각(Ta)과 같거나 또는 뒤인 분할 텍스트 데이터를, 상기 제2 패킷에 있어서 재생 시각 정보가 중복되는 분할 텍스트 데이터로 치환하는 치환 수단을 구비한 텍스트 전송용 데이터의 데이터 수신 장치.
  22. 제15항 내지 제17항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 장치로서,
    제1 분할 텍스트 데이터의 수신 시각(Td)이, 상기 제1 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)보다 느리게, 또한 다음의 제2 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn+1)보다 빠르게 수신되는지 여부를 판단하는 수신 지연 판단 수단과,
    상기 판단이 긍정적일 경우에, 상기 제1 분할 텍스트 데이터를, 상기 수신 시각(Td)으로부터 상기 시각(Tn+1)까지의 사이에 재생하는 재생 수단을 구비한 텍스트 전송용 데이터의 데이터 수신 장치.
  23. 제22항에 있어서, 상기 재생 수단에서는 상기 제1 분할 텍스트 데이터에 있어서 상기 시각(Tn)으로부터 상기 수신 시각(Td)까지의 시간이 경과한 시점의 재생 상태로부터, 상기 제1 분할 텍스트 데이터의 재생을 개시하는, 텍스트 전송용 데이터의 데이터 수신 장치.
  24. 컴퓨터에 의해, 제15항 내지 제17항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법을 실시하기 위한 데이터 수신 프로그램으로서,
    상기 데이터 수신 프로그램은, 컴퓨터에,
    상기 제1 패킷의 각 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)과, 상기 제2 패킷의 최초의 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Ta)을 취득하는 시각 취득 단계와,
    상기 제1 패킷에 있어서 상기 시각(Tn)이 상기 시각(Ta)과 같거나 또는 뒤인 분할 텍스트 데이터를, 상기 제2 패킷에 있어서 재생 시각 정보가 중복되는 분할 텍스트 데이터로 치환하는 치환 단계를 구비한 텍스트 전송용 데이터의 데이터 수신 방법을, 실시하게 하는 것인 데이터 수신 프로그램.
  25. 컴퓨터에 의해, 제15항 내지 제17항 중 어느 한 항에 기재된 전송 데이터 구조를 가지는 텍스트 전송용 데이터의 데이터 수신 방법을 실시하기 위한 데이터 수신 프로그램으로서,
    상기 데이터 수신 프로그램은, 컴퓨터에,
    제1 분할 텍스트 데이터의 수신 시각(Td)이, 상기 제1 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn)보다 느리게, 또한 다음의 제2 분할 텍스트 데이터의 재생 시각 정보가 나타내는 시각(Tn+1)보다 빠르게 수신되는지 여부를 판단하는 수신 지연 판단 단계와,
    상기 판단이 긍정적일 경우에, 상기 제1 분할 텍스트 데이터를, 상기 수신 시각(Td)으로부터 상기 시각(Tn+1)까지의 사이에 재생하는 재생 단계를 구비한 텍스트 전송용 데이터의 데이터 수신 방법을 실시하게 하는 것인 데이터 수신 프로그램.
  26. 제25항에 있어서, 상기 재생 단계에서는, 상기 제1 분할 텍스트 데이터에 있어서 상기 시각(Tn)으로부터 상기 수신 시각(Td)까지의 시간이 경과한 시점의 재생 상태로부터, 상기 제1 분할 텍스트 데이터의 재생을 개시하는, 데이터 수신 프로그램.
KR1020057006101A 2002-10-08 2003-10-03 전송 데이터 구조, 데이터 수신 방법, 데이터 수신 장치 및데이터 수신 프로그램 KR20050051687A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002295423 2002-10-08
JPJP-P-2002-00295423 2002-10-08
JPJP-P-2003-00024613 2003-01-31
JP2003024613 2003-01-31

Publications (1)

Publication Number Publication Date
KR20050051687A true KR20050051687A (ko) 2005-06-01

Family

ID=32095409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057006101A KR20050051687A (ko) 2002-10-08 2003-10-03 전송 데이터 구조, 데이터 수신 방법, 데이터 수신 장치 및데이터 수신 프로그램

Country Status (4)

Country Link
EP (1) EP1553733A1 (ko)
KR (1) KR20050051687A (ko)
AU (1) AU2003268755A1 (ko)
WO (1) WO2004034654A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665967B2 (en) 2006-02-15 2014-03-04 Samsung Electronics Co., Ltd. Method and system for bit reorganization and packetization of uncompressed video for transmission over wireless communication channels
US8363675B2 (en) 2006-03-24 2013-01-29 Samsung Electronics Co., Ltd. Method and system for transmission of uncompressed video over wireless communication channels
US20070230461A1 (en) * 2006-03-29 2007-10-04 Samsung Electronics Co., Ltd. Method and system for video data packetization for transmission over wireless channels
US7979784B2 (en) 2006-03-29 2011-07-12 Samsung Electronics Co., Ltd. Method and system for enhancing transmission reliability of video information over wireless channels
WO2007114630A1 (en) * 2006-04-03 2007-10-11 Tobesoft Co., Ltd. Data division formation system for client-server and method thereof
US8175041B2 (en) 2006-12-14 2012-05-08 Samsung Electronics Co., Ltd. System and method for wireless communication of audiovisual data having data size adaptation
KR100848790B1 (ko) * 2006-12-27 2008-07-30 연세대학교 산학협력단 소나무 재선충, 다이플로스캡터 및 예쁜 꼬마선충에 대한살선충제의 고속 스크리닝 방법
US8127206B2 (en) 2007-09-13 2012-02-28 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video having reed-solomon code error concealment
US8205126B2 (en) 2007-11-27 2012-06-19 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video using selective retransmission
US8176524B2 (en) 2008-04-22 2012-05-08 Samsung Electronics Co., Ltd. System and method for wireless communication of video data having partial data compression

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3403865B2 (ja) * 1995-06-08 2003-05-06 株式会社東芝 ストリーム多重装置およびストリーム多重方法
JP2001078146A (ja) * 1999-09-03 2001-03-23 Matsushita Electric Ind Co Ltd 映像復号化方法，及びその装置
JP2003333489A (ja) * 2002-05-09 2003-11-21 Matsushita Electric Ind Co Ltd データ再生装置およびデータ再生方法

Also Published As

Publication number Publication date
EP1553733A1 (en) 2005-07-13
WO2004034654A1 (ja) 2004-04-22
AU2003268755A1 (en) 2004-05-04

Similar Documents

Publication Publication Date Title
KR101973544B1 (ko) 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR101429773B1 (ko) 내손실성 멀티미디어 멀티캐스팅 방법 및 시스템
US9645878B2 (en) Error handling for files exchanged over a network
EP3285491A1 (en) Method and apparatus for transmitting or receiving service signaling for broadcasting service
CN110870282B (zh) 使用网络内容的文件轨处理媒体数据
US8433678B2 (en) Method and device for editing composite content file and reproduction apparatus
US9369508B2 (en) Method for transmitting a scalable HTTP stream for natural reproduction upon the occurrence of expression-switching during HTTP streaming
JP2005229587A (ja) 多重化方式変換装置
CN111656796A (zh) 动态条件性广告插入
KR20190031490A (ko) 미디어 스트리밍을 위한 세그먼트 청크들의 취출 및 액세스
US7558296B2 (en) Multiplexer and demultiplexer
US20050278637A1 (en) Method, medium, and apparatus for processing slide show data
EP1379051B1 (en) Data sending/receiving system and method for a defect-free data transmission
TW201445934A (zh) 用於封包標頭壓縮之方法及裝置
US11356749B2 (en) Track format for carriage of event messages
US7555009B2 (en) Data processing method and apparatus, and data distribution method and information processing apparatus
CN112106382A (zh) 在媒体分段中信令通知用于网络流式传输的媒体数据的缺失部分
CN110996160B (zh) 视频处理方法、装置、电子设备及计算机可读取存储介质
US7801182B2 (en) Transmission data structure, and method and device for transmitting the same
US11876723B2 (en) Method and apparatus for transmitting and receiving packet in communication system
KR20050051687A (ko) 전송 데이터 구조, 데이터 수신 방법, 데이터 수신 장치 및데이터 수신 프로그램
EP1566966A1 (en) Data transmission device
US20090245346A1 (en) Method and apparatus for generating and processing packet
US9245528B2 (en) Communication system, method, and apparatus
JP2004254281A (ja) 伝送データ構造、データ受信方法、データ受信装置およびデータ受信プログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid