JP6825558B2 - 送信装置、送信方法、再生装置および再生方法 - Google Patents

送信装置、送信方法、再生装置および再生方法 Download PDF

Info

Publication number
JP6825558B2
JP6825558B2 JP2017512510A JP2017512510A JP6825558B2 JP 6825558 B2 JP6825558 B2 JP 6825558B2 JP 2017512510 A JP2017512510 A JP 2017512510A JP 2017512510 A JP2017512510 A JP 2017512510A JP 6825558 B2 JP6825558 B2 JP 6825558B2
Authority
JP
Japan
Prior art keywords
subtitle
time stamp
stream
packet
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017512510A
Other languages
English (en)
Other versions
JPWO2016167187A1 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016167187A1 publication Critical patent/JPWO2016167187A1/ja
Application granted granted Critical
Publication of JP6825558B2 publication Critical patent/JP6825558B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本技術は、送信装置、送信方法、再生装置および再生方法に関し、特に、画像データと共にサブタイトル情報を送信する送信装置等に関する。
従来、例えば、ＤＶＢ（Digital Video Broadcasting）の放送などでは、サブタイトルの情報をビットマップデータで送信する運用が行われている。近時、サブタイトルの情報をテキストの文字コードで、つまりテキストベースで送信することが提案されている。この場合、受信側で解像度に応じたフォント展開がなされる。
また、サブタイトルの情報をテキストベースで送信する場合、テキスト情報にタイミング情報を持たせることが提案されている。このテキスト情報として、例えば、Ｗ３Ｃ（World Wide Web Consortium）でＴＴＭＬ（Timed Text Markup Language）が提唱されている（特許文献１参照）。
特開２０１２−１６９８８５号公報
本技術の目的は、変速再生処理時におけるサブタイトル表示を良好に行い得るようにすることにある。
本技術の概念は、
ペイロードに符号化画像データを持つビデオパケットにより構成されるビデオストリームを生成するビデオエンコード部と、
ペイロードにサブタイトル情報を持つと共に、該サブタイトル情報によるサブタイトル表示の優先度情報が挿入されたサブタイトルパケットにより構成されるサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む多重化ストリームを生成する多重化ストリーム生成部と、
上記多重化ストリームを送信する送信部を備える
送信装置にある。
本技術において、ビデオエンコード部により、ペイロードに符号化画像データを持つビデオパケットで構成されるビデオストリームが生成される。サブタイトルエンコード部により、ペイロードにサブタイトル情報を持つと共に、このサブタイトル情報によるサブタイトル表示の優先度情報が挿入されたサブタイトルパケットで構成されるサブタイトルストリームが生成される。
例えば、サブタイトル情報は、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報である、ようにされてもよい。例えば、サブタイトルエンコード部は、優先度情報を、サブタイトルパケットのヘッダまたはペイロードに挿入する、ようにされてもよい。
多重化ストリーム生成部により、ビデオストリームとサブタイトルストリームを含む多重化ストリームが生成される。例えば、ビデオパケットおよびサブタイトルパケットはＰＥＳパケットであり、多重化ストリームはＭＰＥＧ２トランスポートストリームである、ようにされてもよい。送信部により、多重化ストリームが送信される。
このように本技術においては、サブタイトルパケットに、そのサブタイトルパケットが持つサブタイトル情報によるサブタイトル表示の優先度情報を挿入するものである。そのため、変速再生処理時に複数のサブタイトルの表示期間に重複期間が生じる場合にどのサブタイトルを表示させるかの選択が当該優先度情報を参照することで容易となり、かつ制作側の意図を反映させた良好なサブタイトル表示が可能となる。
なお、本技術において、例えば、多重化ストリーム生成部は、多重化ストリームに、サブタイトルパケットに優先度情報の挿入があることを示す識別情報を挿入する、ようにされてもよい。この場合、例えば、識別情報には、挿入位置を示す情報が付加される、ようにされてもよい。識別情報の挿入により、サブタイトルパケットに優先度情報の挿入があることを容易に判断可能となる。また、挿入位置を示す情報の付加により、サブタイトルパケットから優先度情報を容易に取得可能となる。
また、本技術において、例えば、多重化ストリーム生成部は、サブタイトルパケットをランダムアクセス位置に配置する、ようにされてもよい。この場合、多重化ストリームからランダムアクセス位置のビデオパケットを取り出す際にサブタイトルパケットを併せて取り出すことができ、変速再生時におけるサブタイトル表示処理の簡単化が可能となる。
また、本技術の他の概念は、
ペイロードに符号化画像データを持つビデオパケットにより構成されるビデオストリームと、ペイロードにサブタイトル情報を持つと共に、該サブタイトル情報によるサブタイトル表示の優先度情報が挿入されたサブタイトルパケットにより構成されるサブタイトルストリームを含む多重化ストリームに対して変速再生処理を行う変速再生処理部と、
上記変速再生処理部で上記多重化ストリームに対して変速再生処理が行われるとき、各サブタイトルパケットが持つサブタイトル情報によるサブタイトルの表示を、上記優先度情報に基づいて制御するサブタイトル表示制御部を備える
再生装置にある。
本技術において、変速再生処理部により、ビデオストリームとサブタイトルストリームを含む多重化ストリームに対して変速再生処理が行われる。ここで、ビデオストリームは、ペイロードに符号化画像データを持つビデオパケットにより構成されている。また、サブタイトルストリームは、ペイロードにサブタイトル情報を持つと共に、このサブタイトル情報によるサブタイトル表示の優先度情報が挿入されたサブタイトルパケットにより構成されている。
サブタイトル表示制御部により、変速再生処理部で多重化ストリームに対して変速再生処理が行われるとき、各サブタイトルパケットが持つサブタイトル情報によるサブタイトルの表示が優先度情報に基づいて制御される。例えば、表示制御部は、複数のサブタイトル情報によるサブタイトルの表示期間に重複期間が発生するとき、優先度の最も高いサブタイトルのみが表示されるように制御する、ようにされてもよい。
このように本技術においては、多重化ストリームに対して変速再生処理が行われるとき、各サブタイトルパケットが持つサブタイトル情報によるサブタイトルの表示を優先度情報に基づいて制御するものである。そのため、変速再生処理時に複数のサブタイトルの表示期間に重複期間が生じる場合にどのサブタイトルを表示させるかの選択が容易となり、かつ制作側の意図を反映させた良好なサブタイトル表示が可能となる。
本技術によれば、変速再生処理時におけるサブタイトル表示を良好に行い得る。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 放送送出システムのストリーム生成部の構成例を示すブロック図である。 ＴＴＭＬ構造を説明するための図である。 ＴＴＭＬ構造のヘッダ（head）に存在するメタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素の構造例を示す図である。 ＴＴＭＬ構造のボディ（body）の構造例を示す図である。 制御部内のタイミング管理部の構成例を概略的に示す図である。 サブタイトル表示タイミング管理部の詳細構成を説明するための図である。 ＰＥＳパケットの構成例を示す図である。 ＰＥＳエクステンション“PES extension”の構成例（１/３）を示す図である。 ＰＥＳエクステンション“PES extension”の構成例（２/３）を示す図である。 ＰＥＳエクステンション“PES extension”の構成例（３/３）を示す図である。 “PES packet data bytes”の領域に配置されるＰＥＳペイロード（PES_payload）の構成例（１/２）を示す図である。 “PES packet data bytes”の領域に配置されるＰＥＳペイロード（PES_payload）の構成例（２/２）を示す図である。 ＰＥＳエクステンションおよびＰＥＳペイロードの構成例における新規要素の内容を示す図である。 サブタイトル・ラップ・デスクリプタの構造例およびその構造例における主要な情報の内容を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 テレビ受信機の構成例を示す図である。 ＲＡＰ（Random Access Point）位置で読み出されるサブタイトルＰＥＳパケットに対するデコードおよび出力の処理タイミングを概略的に示す図である。 変速再生モードにおけるサブタイトル表示シーケンスの一例を示す図である。 通常再生からＮ倍速への移行時に適用する再生初期における表示サブタイトルの選択例を示す図である。 従来の多重化に関して説明するための図である。 本技術の多重化に関して説明するための図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システムの構成例］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、放送送出システム１００とテレビ受信機２００により構成されている。放送送出システム１００は、多重化ストリームとしてのトランスポートストリームＴＳを、放送波に載せて送信する。トランスポートストリームＴＳは、ビデオストリームとサブタイトルストリームを有している。なお、トランスポートストリームＴＳはオーディオストリームを含む場合もある。ビデオストリームは、ペイロードに画像データを持つビデオＰＥＳパケットにより構成されている。サブタイトルストリームは、ペイロードにサブタイトル（字幕）情報を持つサブタイトルＰＥＳパケットにより構成されている。
サブタイトルＰＥＳパケットのヘッダのタイムスタンプ挿入位置に、ランダムアクセス位置のビデオＰＥＳパケットのヘッダのタイムスタンプ挿入位置に挿入されるタイムスタンプの値と同じか、あるいは近傍の値のタイムスタンプが挿入される。また、サブタイトルＰＥＳパケットのヘッダあるいはペイロードに、サブタイトルの表示時刻を示す独自タイムスタンプが挿入されると共に、サブタイトル情報によるサブタイトル表示の優先度情報が挿入される。
サブタイトルストリームが、ビデオストリームなどと多重化される際、サブタイトルＰＥＳパケットを含むＴＳパケット（以下、単にＰＥＳパケットとする）は、ランダムアクセス位置に配置される。この場合、例えば、上述したように、ヘッダのタイムスタンプ挿入位置に挿入されるタイムスタンプが参照されて、サブタイトルＰＥＳパケットは、ランダムアクセス位置、つまりランダムアクセス位置のビデオＰＥＳパケットの位置に近接した位置に配置される。
トランスポートストリームＴＳには、サブタイトルＰＥＳパケットに、独自タイムスタンプの挿入があること、また、サブタイトル表示の優先度情報の挿入があることを示す識別情報が挿入される。この識別情報は、例えば、プログラム・マップ・テーブルの配下に挿入される。上述したように、サブタイトルＰＥＳパケットには、そのヘッダあるいはペイロードに、独自タイムスタンプが挿入されると共に、サブタイトル情報によるサブタイトル表示の優先度情報が挿入される。この識別情報には、挿入位置を示す情報が付加される。
テレビ受信機２００は、放送送出システム１００から放送波で送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、少なくともビデオストリームとサブタイトルストリームを有している。ビデオストリームは、ペイロードに画像データを持つビデオＰＥＳパケットにより構成されている。
サブタイトルストリームは、ペイロードにサブタイトル情報を持つと共に、サブタイトルの表示時刻を示す独自タイムスタンプが挿入されると共に、サブタイトル情報によるサブタイトル表示の優先度情報が挿入されたサブタイトルＰＥＳパケットにより構成されている。また、トランスポートストリームＴＳの多重化において、サブタイトルＰＥＳパケットは、ランダムアクセス位置に配置されている。
テレビ受信機２００は、トランスポートストリームＴＳからサブタイトルＰＥＳパケットを、ランダムアクセス位置のビデオＰＥＳパケットと共に取り出して、サブタイトル（字幕）の表示処理を行う。例えば、変速再生モードでは、トランスポートストリームＴＳのランダムアクセス位置から取り出されたサブタイトルＰＥＳパケットを直ちに処理してサブタイトルを表示する。
また、この変速再生モードでは、Ｎ倍速（Ｎ＞１）の場合、複数のサブタイトルの表示期間に重複期間が生じる場合がある。複数のサブタイトルの表示期間に重複期間が生じる場合、テレビ受信機２００は、どのサブタイトルを表示させるかの選択をサブタイトル表示の優先度情報に基づいて制御する。例えば、優先度の最も高いサブタイトルのみが表示されるように制御する。この場合、テレビ受信機２００は、トランスポートストリームＴＳに挿入されている識別情報に基づいてサブタイトルＰＥＳパケットからサブタイトル表示の優先度情報を抽出して用いる。
また、例えば、通常再生モードでは、テレビ受信機２００は、トランスポートストリームＴＳのランダムアクセス位置から取り出されたサブタイトルＰＥＳパケットを、サブタイトルの表示時刻を示す独自タイムスタンプに基づいて処理し、表示時刻にサブタイトルを表示する。この場合、テレビ受信機２００は、トランスポートストリームＴＳに挿入されている識別情報に基づいてサブタイトルＰＥＳパケットから独自タイムスタンプを抽出して用いる。
［放送送出システムのストリーム生成部の構成例］
図２は、放送送出システム１００のストリーム生成部１１０の構成例を示している。このストリーム生成部１１０は、制御部１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、テキストフォーマット変換部１１４と、サブタイトルエンコーダ１１５と、ＴＳフォーマッタ（マルチプレクサ）１１６を有している。
制御部１１１は、例えば、ＣＰＵ（Central Processing Unit）を備えた構成とされており、ストリーム生成部１１０の各部の動作を制御する。ビデオエンコーダ１１２は、画像データＤＶを入力し、この画像データＤＶに対して符号化を施し、ペイロードに符号化画像データを持つビデオＰＥＳパケットにより構成されるビデオストリーム（ＰＥＳストリーム）を生成する。オーディオエンコーダ１１３は、音声データＤＡを入力し、この音声データＤＡに対して符号化を施し、符号化音声データを持つオーディオＰＥＳパケットにより構成されるオーディオストリーム（ＰＥＳストリーム）を生成する。
テキストフォーマット変換部１１４は、サブタイトル情報としてのテキストデータ（文字コード）ＤＴを入力し、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報を得る。このテキスト情報として、例えば、ＴＴＭＬあるいはＴＴＭＬの派生フォーマットが考えられるが、この実施の形態においてはＴＴＭＬであるとする。
図３は、ＴＴＭＬ構造を示している。ＴＴＭＬは、ＸＭＬベースで記載される。ヘッダ（head）には、メタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素が存在する。図４（ａ）は、メタデータ（ＴＴＭ：TTML Metadata）の構造例を示している。このメタデータには、メタデータのタイトルの情報と、コピーライトの情報が含まれている。
図４（ｂ）は、スタイリング（ＴＴＳ：TTML Styling）の構造例を示している。このスタイリングには、識別子（id）の他に、カラー（color）、フォント（fontFamily）、サイズ（fontSize）、アラインメント（textAlign）などの情報が含まれている。図４（ｃ）は、レイアウト（region：TTML layout）の構造例を示している。このレイアウトには、サブタイトルを配置するリージョンの識別子（id）の他に、範囲（extent）、オフセット（padding）、バックグラウンドカラー（backgroundColor）、アラインメント（displayAlign）などの情報が含まれている。
図５は、ボディ（body）の構造例を示している。図示の例では、サブタイトル１（subtitle 1）、サブタイトル２（subtitle 2）、サブタイトル３（subtitle 3）の３つのサブタイトルの情報が含まれている。サブタイトル毎に、表示開始タイミングと表示終了タイミングが記載されると共に、テキストデータが記載されている。例えば、サブタイトル１（subtitle 1）に関しては、表示開始タイミングが“０．７６ｓ”で、表示終了タイミングが“３．４５ｓ”であり、テキストデータが「It seems a paradox, dose it not,」とされている。
図２に戻って、サブタイトルエンコーダ１１５は、テキストフォーマット変換部１１４で得られるＴＴＭＬを種々のセグメントに変換し、ペイロードにそれらのセグメント（サブタイトル情報）を配置したサブタイトルＰＥＳパケットにより構成されるサブタイトルストリーム（ＰＥＳストリーム）を生成する。
サブタイトルエンコーダ１１５は、制御部１１１の制御のもと、サブタイトルＰＥＳパケットのヘッダのタイムスタンプ挿入位置に、ランダムアクセス位置のビデオＰＥＳパケット、つまりＲＡＰ（Random Access Point）対象のビデオＰＥＳパケットのヘッダのタイムスタンプ挿入位置に挿入されるタイムスタンプの値と同じか、あるいは近傍の値のタイムスタンプ（第１のタイムスタンプ）を挿入する。
ここで、ＲＡＰ対象のビデオＰＥＳパケットの先頭部分は、例えば、ペイロードにイントラピクチャ（Ｉピクチャ）の符号化画像データを持つビデオＰＥＳパケットの先頭部分であることを意味する。いわゆるＲＡＰ再生では、トランスポートストリームＴＳから当該ＲＡＰ対象のビデオＰＥＳパケットに含まれるイントラピクチャの符号化画像データのみがデコードされて画像表示されていく。また、他の変速再生では、ＲＡＰ対象のビデオＰＥＳパケットを含む倍速スピードに応じた間欠的な一部のビデオＰＥＳパケットに含まれるピクチャの符号化画像データがデコードされて画像表示されていく。
また、サブタイトルエンコーダ１１５は、制御部１１１の制御のもと、サブタイトルＰＥＳパケットのヘッダあるいはペイロードに、サブタイトルの表示時刻（表示開始時刻、表示終了時刻）を示す独自タイムスタンプ（第２のタイムスタンプ）を挿入すると共に、サブタイトル情報によるサブタイトル表示の優先度情報を挿入する。
図６は、制御部１１１内のタイミング管理部１２０の構成例を概略的に示している。このタイミング管理部１２０は、ビデオタイミング管理部１２１と、オーディオタイミング管理部１２２と、ＲＡＰタイミング管理部１２３と、サブタイトル表示タイミング管理部１２４を有している。
ビデオタイミング管理部１２１は、各ビデオＰＥＳパケットのタイムスタンプ挿入位置に挿入すべきタイムスタンプ（ビデオのアクセスユニットのタイムスタンプ）を管理する。ビデオエンコーダ１１２では、このビデオタイミング管理部１２１の管理情報に基づいて、各ビデオＰＥＳパケットのタイムスタンプ挿入位置にタイムスタンプを挿入する。
オーディオタイミング管理部１２２は、各オーディオＰＥＳパケットのタイムスタンプ挿入位置に挿入すべきタイムスタンプ（オーディオのアクセスユニットのタイムスタンプ）を管理する。オーディオエンコーダ１１３では、このオーディオタイミング管理部１２２の管理情報に基づいて、各オーディオＰＥＳパケットのタイムスタンプ挿入位置にタイムスタンプを挿入する。
ＲＡＰタイミング管理部１２３は、ＲＡＰ対象のビデオＰＥＳパケットのタイムスタンプを管理すると共に、オーディオＰＥＳパケットのうち、ＲＡＰ対象とするオーディオＰＥＳパケットが管理される。この場合、ＲＡＰ対象のビデオＰＥＳパケットのタイムスタンプに近いタイムスタンプを持つオーディオＰＥＳパケットがＲＡＰ時の再生対象として扱われる。
このＲＡＰ対象とするオーディオＰＥＳパケットの管理情報に基づいて、ＴＳフォーマッタ１１６では、後述するように、当該ＲＡＰ対象とするオーディオＰＥＳパケットがランダムアクセス位置、つまりＲＡＰ対象のビデオＰＥＳパケットの位置に近接した位置に配置することが行われる。
サブタイトル表示タイミング管理部１２４は、サブタイトルＰＥＳパケットの第１のタイムスタンプ（ヘッダのタイムスタンプ挿入領域に挿入されるタイムスタンプ）および第２のタイムスタンプ（ヘッダまたはペイロードに挿入されるサブタイトルの表示時刻を示す独自タイムスタンプ）を管理する。サブタイトルエンコーダ１１５では、このサブタイトル表示タイミング管理部１２４の管理情報に基づいて、サブタイトルＰＥＳパケットへの第１のタイムスタンプおよび第２のタイムスタンプの挿入が行われる。
図７は、サブタイトル表示タイミング管理部１２４の詳細構成を示している。サブタイトル表示タイミング管理部１２４は、ＲＡＰタイミング管理部１２３からのＲＡＰタイミング情報に基づいて、第１のタイムスタンプ（サブタイトルストリームのタイムスタンプ）を得る。また、サブタイトル表示タイミング管理部１２４は、ＴＴＭＬボディに含まれる相対開始時刻“ｂｅｇｉｎ”および相対終了時刻“ｅｎｄ”に対してタイムスタンプ精度換算を施し、第２のタイムスタンプ（表示開始タイムスタンプ、表示終了タイムスタンプ）を得る。
なお、図５に示すように、複数のリージョン（region）の表示タイミングが異なる場合には、最も早いタイミングのリージョンの相対開始時刻“ｂｅｇｉｎ”および相対終了時刻“ｅｎｄ” 対してタイムスタンプ精度換算を施し、第２のタイムスタンプとしての表示開始タイムスタンプおよび表示終了タイムスタンプを得る。
この場合、受信側では、最も早いリージョンの表示制御に関しては、当該第２のタイムスタンプとしての表示開始タイムスタンプおよび表示終了タイムスタンプが用いられる。また、後続のリージョンの表示制御に関しては、ＴＴＭＬボディで供給される最も早いリージョンの相対時刻との差に基づいてタイムスタンプ精度換算された表示タイムスタンプ（表示開始タイムスタンプ、表示終了タイムスタンプ）が生成されて用いられる。
「第２のタイムスタンプ（サブタイトル独自の表示タイムスタンプ）およびサブタイトル表示の優先度情報の挿入位置」
ここで、第２のタイムスタンプ（サブタイトル独自の表示タイムスタンプ）およびサブタイトル優先度情報の挿入位置の具体例について説明する。図８は、ＰＥＳパケットの構成例（Syntax）を示している。第１のタイムスタンプに関しては、矢印Ｐで示す、ヘッダのタイムスタンプ挿入領域である３３ビット領域に挿入される。このタイムスタンプ挿入領域は、ヘッダを構成する“optional PES HEADER”の下の“optional fields”内に存在する。
第２のタイムスタンプおよびサブタイトル優先度情報に関しては、上述したように、ヘッダあるいはペイロードに挿入される。ヘッダに挿入する場合、例えば、矢印Ｑに示す、“PES extension fields data”の領域に挿入される。この“PES extension fields data”は、“PES extension”の下の“optional fields”内に存在する。なお、 “PES extension”は、ヘッダを構成する“optional PES HEADER”の下の“optional fields”内に存在する。一方、ペイロードに挿入する場合、矢印Ｒに示す、“PES packet data bytes”の領域に挿入される。
図９、図１０、図１１は、ＰＥＳエクステンション“PES extension”の構成例（Syntax）を示している。図１２、図１３は、“PES packet data bytes”の領域に配置されるＰＥＳペイロード（PES_payload）の構成例（Syntax）を示している。図１４は、各構成例における新規要素の内容（Semantics）を示している。
最初に、図９、図１０、図１１に示すＰＥＳエクステンション（PES extension）の構成例について説明する。フラグ情報として、「PES_extension_negflag_new」のフラグ情報が新たに定義される。このフラグ情報は、ＰＥＳヘッダの拡張領域（PES extension）に新定義のデータを配置することを示す。“０”は、ＰＥＳヘッダの拡張領域に新定義のデータを配置することを示す。“１”は、ＰＥＳヘッダの拡張領域に新定義のデータを配置しないことを示す。
「PES_extension_negflag_new」が“０”であるとき、「extension_type」の８ビットフィールドが存在する。このフィールドは、新定義のデータの種類を示す。“１”は、サブタイトルの表示開始・終了を表すタイムスタンプ（サブタイトル独自の表示タイムスタンプ）を配置することを示す。“２”は、サブタイトル表示の優先度情報を配置することを示す。“３”は、サブタイトルの表示開始・終了を表すタイムスタンプと共にサブタイトル表示の優先度情報を配置することを示す。
「extension_type」が“１”であるとき、「subtitle_start_time」の３３ビットフィールドと「subtitle_end_time」の３３ビットフィールドが存在する。「subtitle_start_time」は、サブタイトル表示の開始時刻をシステムのクロック精度で表す値（表示開始タイムスタンプ）を示す。「subtitle_end_time」は、サブタイトル表示の終了時刻をシステムのクロック精度で表す値（表示終了タイムスタンプ）を示す。
「extension_type」が“２”であるとき、「priority」の８ビットフィールドが存在する。「priority」は、サブタイトルの表示優先度を示す。“０”は、字幕表示モードである場合は絶対的に表示することを意味する。“１”は、 “０”以外では最も表示優先度が高い。以下、値が高くなるほど表示優先度は低くなっていく。“２５５”は、最も表示優先度が低い。
「extension_type」が“３”であるとき、「subtitle_start_time」の３３ビットフィールドと「subtitle_end_time」の３３ビットフィールドが存在し、さらに、「priority」の８ビットフィールドが存在する。
次に、図１２、図１３に示すＰＥＳペイロード（PES_payload）の構成例について説明する。サブタイトルＰＥＳパケットは、プライベートＰＥＳパケットとして定義される。プライベートＰＥＳパケットの場合、“PES packet data bytes”を自由に定義できることから、その一部に表示開始・終了を表すタイムスタンプおよびサブタイトル表示の優先度情報が挿入される。
「private_type」の８ビットフィールドは、プライベートＰＥＳパケットの種類を示す。“ＥＣ”は、サブタイトル独自の表示タイムスタンプやサブタイトル表示の優先度情報が付いているサブタイトルストリームであることを示す。「timestamp_insertion_flag」のフラグ情報は、当該パケットペイロードの最初にタイムスタンプが配置されることを示す。“１”は、サブタイトル独自の表示タイムスタンプが配置されることを示す。“０”は、サブタイトル独自の表示タイムスタンプが配置されないことを示す。「timestamp_insertion_flag」が“１”であるとき、「subtitle_start_time」の３３ビットフィールドと、「subtitle_end_time」の３３ビットフィールドが存在する。
「subtitle_priority_insertion_flag」のフラグ情報は、当該パケットペイロードの最初にサブタイトル表示の優先度情報が配置されることを示す。“１”は、サブタイトル表示の優先度情報が配置されることを示す。“０”は、サブタイトル表示の優先度情報が配置されないことを示す。「subtitle_priority_insertion_flag」が“１”であるとき、「priority」の８ビットフィールドが存在する。
図２に戻って、ＴＳフォーマッタ１１６は、ビデオエンコーダ１１２で生成されたビデオストリーム、オーディオエンコーダ１１３で生成されたオーディオストリームおよびサブタイトルエンコーダ１１５で生成されたサブタイトルストリームを、トランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
このように各ストリームを多重化するとき、ＴＳフォーマッタ１１６は、サブタイトルＰＥＳパケットを、第１のタイムスタンプ（ヘッダのタイムスタンプ挿入位置に挿入されているタイムスタンプ）に基づいて、ランダムアクセス位置、つまりＲＡＰ対象のビデオＰＥＳパケットの位置に近接した位置に配置する。また、このとき、ＴＳフォーマッタ１１６は、ＲＡＰ対象とするオーディオＰＥＳパケットの管理情報に基づいて、当該ＲＡＰ対象とするオーディオＰＥＳパケットをランダムアクセス位置、つまりＲＡＰ対象のビデオＰＥＳパケットの位置に近接した位置に配置する。
また、ＴＳフォーマッタ１１６は、トランスポートストリームＴＳに、サブタイトルＰＥＳパケットに、第２のタイムスタンプ（サブタイトル独自の表示タイムスタンプ）およびサブタイトル表示の優先度情報が挿入されていることを示す識別情報を挿入する。この実施の形態において、ＴＳフォーマッタ１１６は、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下のサブタイトルストリームに対応したサブタイトル・エレメンタリストリーム・ループに、サブタイトル・ラップ・デスクリプタ（Subtitle_rap_descriptor）を挿入する。
図１５（ａ）は、サブタイトル・ラップ・デスクリプタの構造例(Syntax)を示している。図１５（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、サブタイトル・ラップ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして以降のバイト数を示す。
「subtitle_presentation_time_flag」のフラグ情報は、サブタイトル独自の表示タイムスタンプがあるかどうかを示す。“０”は、サブタイトル独自の表示タイムスタンプがないことを示す。“１”は、サブタイトル独自の表示タイムスタンプがあることを示す。「priority_information_flag」のフラグ情報は、サブタイトル表示の優先度情報があるかどうかを示す。“０”は、サブタイトル表示の優先度情報がないことを示す。“１”は、サブタイトル表示の優先度情報があることを示す。
「subtitle_presentation_time_flag」が“１”であるとき、あるいは「priority_information_flag」が“１”であるとき、「time_insertion_type」の２ビットフィールドが存在する。このフィールドは、サブタイトル独自の表示タイムスタンプの挿入タイプ、つまり当該タイムスタンプがどこに挿入されているかを示す。“０１”は、ＰＥＳヘッダエクステンション（PES header extension）部に挿入することを示す。“１０”は、ＰＥＳプライベートストリームのペイロード（PES private stream payload）に挿入することを示す。
図１６は、トランスポートストリームＴＳの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケットであるビデオＰＥＳパケット「Video PES」が存在する。また、この構成例では、ＰＩＤ２で識別されるオーディオストリームのＰＥＳパケットであるオーディオＰＥＳパケット「Audio PES」が存在する。また、この構成例では、ＰＩＤ３で識別されるサブタイトルストリームのＰＥＳパケットであるサブタイトルＰＥＳパケット「Subtitle PES」が存在する。
ＰＥＳパケットは、ＰＥＳヘッダ（PES header）とＰＥＳペイロード（PES payload）からなっている。ビデオＰＥＳパケットにおいて、ＰＥＳヘッダにはＤＴＳ/ＰＴＳのタイムスタンプが挿入されており、ＰＥＳペイロードにはビデオ符号化ストリーム（符号化画像データ）が挿入されている。また、オーディオＰＥＳパケットにおいて、ＰＥＳヘッダにはＰＴＳのタイムスタンプが挿入されており、ＰＥＳペイロードにはオーディオ符号化ストリーム（符号化音声データ）が挿入されている。
また、サブタイトルＰＥＳパケットにおいて、ＰＥＳヘッダにはＰＴＳのタイムスタンプ（第１のタイムスタンプ）が挿入されており、ＰＥＳペイロードにはサブタイトル符号化ストリーム（サブタイトル情報としての複数のサブタイトルセグメント）が挿入されている。また、ＰＥＳヘッダまたはＰＥＳペイロードに、第２のタイムスタンプ（サブタイトル独自の表示タイムスタンプ）としての、表示開始タイムスタンプ「subtitle_start_time」および表示終了タイムスタンプ「subtitle_end_time」が存在すると共に、サブタイトル表示の優先度情報「priority」が存在する。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームＴＳに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(Event Information Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオエレメンタリストリーム・ループ（Video ES loop）、オーディオエレメンタリストリーム・ループ（Audio ES loop）、サブタイトルエレメンタリストリーム・ループ（Subtitle ES loop）が存在する。
各ループには、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。サブタイトルエレメンタリストリーム・ループには、デスクリプタの一つとして、上述したサブタイトル・ラップ・デスクリプタ（Subtitle_rap_descriptor）が配置される。このサブタイトル・ラップ・デスクリプタには、サブタイトルＰＥＳパケットに第２のタイムスタンプ（サブタイトル独自の表示タイムスタンプ）およびサブタイトルの優先度情報の挿入があることを示す識別情報が存在する。
図２に示すストリーム生成部１１０の動作を簡単に説明する。画像データＤＶは、ビデオエンコーダ１１２に供給される。ビデオエンコーダ１１２では、この画像データＤＶに対して符号化が施され、ペイロードに符号化画像データを持つビデオＰＥＳパケットからなるビデオストリーム（ＰＥＳストリーム）が生成される。このビデオストリームは、ＴＳフォーマッタ１１６に供給される。
また、音声データＤＡは、オーディオエンコーダ１１３に供給される。オーディオエンコーダ１１３では、音声データＤＡに対して符号化が施され、符号化音声データを持つオーディオＰＥＳパケットからなるオーディオストリーム（ＰＥＳストリーム）が生成される。このオーディオストリームは、ＴＳフォーマッタ１１６に供給される。
また、サブタイトル情報としてのテキストデータ（文字コード）ＤＴは、テキストフォーマット変換部１１４に供給される。このキストフォーマット変換部１１４では、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報、ここではＴＴＭＬが得られる。このＴＴＭＬは、サブタイトルエンコーダ１１５に供給される。
サブタイトルエンコーダ１１５では、ＴＴＭＬが種々のセグメントに変換され、ペイロードにそれらのセグメントを配置したサブタイトルＰＥＳパケットからなるサブタイトルストリームが生成される。このサブタイトルストリームは、ＴＳフォーマッタ１１６に供給される。
サブタイトルエンコーダ１１５では、サブタイトルストリームの生成時に、制御部１１１の制御のもと、サブタイトルＰＥＳパケットのヘッダのタイムスタンプ挿入位置に、ＲＡＰ対象のビデオＰＥＳパケットのヘッダのタイムスタンプ挿入位置に挿入されるタイムスタンプの値と同じか、あるいは近傍の値のタイムスタンプ（第１のタイムスタンプ）を挿入することが行われる。
また、サブタイトルエンコーダ１１５では、サブタイトルストリームの生成時に、制御部１１１の制御のもと、サブタイトルＰＥＳパケットのヘッダあるいはペイロードに、サブタイトルの表示時刻（表示開始時刻、表示終了時刻）を示すサブタイトル独自の表示タイムスタンプ（第２のタイムスタンプ）およびサブタイトル表示の優先度情報を挿入することが行われる（図９〜図１３参照）。
ＴＳフォーマッタ１１６では、ビデオエンコーダ１１２で生成されたビデオストリーム、オーディオエンコーダ１１３で生成されたオーディオストリームおよびサブタイトルエンコーダ１１５で生成されたサブタイトルストリームが、トランスポートパケット化されて多重化され、多重化ストリームとしてのトランスポートストリームＴＳが生成される。
このように各ストリームを多重化されるとき、サブタイトルＰＥＳパケットは、制御部１１１の制御のもと、第１のタイムスタンプ（ヘッダのタイムスタンプ挿入位置に挿入されているタイムスタンプ）に基づいて、ランダムアクセス位置、つまりＲＡＰ対象のビデオＰＥＳパケットの位置に近接した位置に配置される。
また、このとき、制御部１１１の制御のもと、ＲＡＰ対象とするオーディオＰＥＳパケットの管理情報に基づいて、当該ＲＡＰ対象とするオーディオＰＥＳパケットがランダムアクセス位置、つまりＲＡＰ対象のビデオＰＥＳパケットの位置に近接した位置に配置される。
また、ＴＳフォーマッタ１１６では、トランスポートストリームＴＳに、識別情報が挿入される。この識別情報は、サブタイトルＰＥＳパケットに第２のタイムスタンプ（サブタイトル独自の表示タイムスタンプ）およびサブタイトルの優先度情報の挿入があることを示すものである。すなわち、ＴＳフォーマッタ１１６では、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下のサブタイトルストリームに対応したサブタイトル・エレメンタリストリーム・ループに、識別情報が記述されたサブタイトル・ラップ・デスクリプタ（Subtitle_rap_descriptor）（図１５参照）が配置される。
［テレビ受信機の構成例］
図１７は、テレビ受信機２００の構成例を示している。このテレビ受信機２００は、受信部２０１と、ＴＳ解析部（デマルチプレクサ）２０２と、ビデオデコーダ２０３と、ビデオ重畳部２０４と、パネル駆動回路２０５と、表示パネル２０６を有している。また、このテレビ受信機２００は、オーディオデコーダ２０７と、音声出力回路２０８と、スピーカ２０９と、サブタイトルデコーダ２１０を有している。また、このテレビ受信機２００は、ＣＰＵ２２１と、フラッシュＲＯＭ２２２と、ＤＲＡＭ２２３と、内部バス２２４と、リモコン受信部２２５と、リモコン送信機２２６を有している。
ＣＰＵ２２１は、テレビ受信機２００の各部の動作を制御する。フラッシュＲＯＭ２２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２２３は、ＣＰＵ２２１のワークエリアを構成する。ＣＰＵ２２１は、フラッシュＲＯＭ２２２から読み出したソフトウェアやデータをＤＲＡＭ２２３上に展開してソフトウェアを起動させ、テレビ受信機２００の各部を制御する。
リモコン受信部２２５は、リモコン送信機２２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２２１に供給する。ＣＰＵ２２１は、このリモコンコードに基づいて、テレビ受信機２００の各部を制御する。ＣＰＵ２２１、フラッシュＲＯＭ２２２およびＤＲＡＭ２２３は、内部バス２２４に接続されている。
受信部２０１は、放送送出システム１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。ＴＳ解析部２０２は、トランスポートストリームＴＳからビデオ、オーディオ、サブタイトルの各ストリームのＰＥＳパケットを抽出する。
ここで、受信部２０１で受信されたトランスポートストリームＴＳは、蓄積媒体（バッファあるいはストレージ）２０１ａに一旦蓄積され、再生モードに対応した部分が取り出されてＴＳ解析部２０２に送られる。例えば、通常再生モードにあっては、蓄積された全てがＴＳ解析部２０２に送られる。これに対して、変速再生モードにあっては、ＲＡＰ位置（ランダムアクセス位置）の部分を含む倍速スピードに応じた間欠的な一部の部分がＴＳ解析部２０２に送られる。特に、ＲＡＰ再生モードにあっては、ＲＡＰ位置（ランダムアクセス位置）の部分のみがＴＳ解析部２０２に送られる。
また、ＴＳ解析部２０２は、トランスポートストリームＴＳに挿入されている種々の情報を抽出し、ＣＰＵ２２１に送る。この情報には、サブタイトル・ラップ・デスクリプタ（Subtitle_rap_descriptor）の情報も含まれる。ＣＰＵ２２１は、これにより、サブタイトルＰＥＳパケットに第２のタイムスタンプ（サブタイトル独自の表示タイムスタンプ）およびサブタイトル表示の優先度情報の挿入があること、およびその挿入場所を容易に認識でき、サブタイトルデコーダ２１０の制御に効果的に利用できる。
オーディオデコーダ２０７は、ＴＳ解析部２０２で抽出されるオーディオＰＥＳパケットにデコード処理を施し、音声データを得る。音声出力回路２０８は、音声データに対して、Ｄ／Ａ変換や増幅等の必要な処理を施し、スピーカ２０９に供給する。ビデオデコーダ２０３は、ＴＳ解析部２０２で抽出されるビデオＰＥＳパケットにデコード処理を施し、画像データを得る。
オーディオデコーダ２０７およびビデオデコーダ２０３における各ＰＥＳパケットに対するデコードおよび出力の処理は、通常再生モードにおいてはヘッダに挿入されているタイムスタンプで制御されるが、変速再生モードにおいては当該タイムスタンプで制御されず、ＴＳ解析部２０２から供給された後に直ちに行われる。
サブタイトルデコーダ２１０は、ＴＳ解析部２０２で抽出されるサブタイトルＰＥＳパケットにデコード処理を施し、画像データに重畳すべき各リージョンのビットマップデータを得る。サブタイトルデコーダ２１０におけるサブタイトルＰＥＳパケットに対するデコードおよび出力の処理は、通常再生モードにおいてはヘッダまたはペイロードに挿入されている第２のタイムスタンプ（サブタイトル独自の表示タイムスタンプ）で制御されるが、変速再生モードにおいては当該第２のタイムスタンプで制御されず、ＴＳ解析部２０２から供給された後に直ちに行われる。
図１８は、例えば、ＲＡＰ位置で読み出されるサブタイトルＰＥＳパケットに対するデコードおよび出力の処理タイミングを概略的に示している。通常再生モードの場合には、表示開始タイムスタンプで示される時刻までにデコードが完了し、当該時刻からデコード結果としてのビットマップデータの出力が開始され、表示終了タイムスタンプで示される時刻まで継続される。この場合、表示開始タイムスタンプで示される時刻から表示終了タイムスタンプで示される時刻までがサブタイトル表示期間となる。
これに対して、変速再生モードの場合には、蓄積媒体２０１ａからの読み出し後に直ちにデコードが行われ、デコード結果としてのビットマップデータの出力が開始される。この出力継続時間が、サブタイトル表示期間となる。この出力継続時間は、例えば、ＴＴＭＬボディに含まれる相対開始時刻“ｂｅｇｉｎ”から相対終了時刻“ｅｎｄ”までの時間（上述の表示開始タイムスタンプで示される時刻から表示終了タイムスタンプで示される時刻までの時間と同じ）である。
この変速再生モードでは、Ｎ倍速（Ｎ＞１）の場合、複数のサブタイトルの表示期間に重複期間が生じる場合がある。重複期間が生じる確率は倍速スピードが高くなるほど高くなる。ＣＰＵ２２１は、倍速スピードに応じて求められた各サブタイトルの開始時刻の間隔、各サブタイトルの表示期間などの情報に基づいて、各サブタイトルの表示期間に重複期間が生じるか判断する。
そして、ＣＰＵ２２１は、複数のサブタイトルの表示期間に重複期間が生じるとき、どのサブタイトルを表示させるかの選択をサブタイトル表示の優先度情報に基づいて行い、選択されたサブタイトルのデコード結果（ビットマップデータ）のみを出力するように、サブタイトルデコーダ２１０を制御する。
図１９は、変速再生モードにおけるサブタイトル表示シーケンスの一例を示している。図１９（ａ）は、通常再生の場合の例を示している。サブタイトル１，２，３の表示期間は、それぞれ、ＤＵ１，ＤＵ２，ＤＵ３である。サブタイトル１とサブタイトル２の開始時刻の間隔はＤＳ１２であり、サブタイトル１の表示期間ＤＵ１より長い。また、サブタイトル２とサブタイトル３の開始時刻の間隔はＤＳ２３であり、サブタイトル２の表示期間ＤＵ２より長い。この通常再生の場合には、サブタイトル１，２，３の全てが表示される。
図１９（ｂ）は、２倍速再生の場合の例を示している。サブタイトル１とサブタイトル２の開始時刻の間隔はＤＳ１２＊１/２となる。そのため、サブタイトル１，２の表示期間に重複期間ＤＰが生じる。また、サブタイトル２とサブタイトル３の開始時刻の間隔はＤＳ２３＊１/２となる。そのため、サブタイトル２，３の表示期間に重複期間ＤＰが生じる。ここで、サブタイトル１，２，３の表示の優先度ＰＲは、それぞれ、“１”、“３”、“２”であったとする。
この場合、サブタイトル１とサブタイトル２の間では優先度が高いサブタイトル１が表示すべきものとして選択され、さらに、サブタイトル３が表示すべきものとして選択される。つまり、この２倍速再生の場合には、サブタイトル１，３が表示され、サブタイトル２は表示されない。
図１９（ｃ）は、４倍速再生の場合の例を示している。サブタイトル１とサブタイトル２の開始時刻の間隔はＤＳ１２＊１/４となる。また、サブタイトル２とサブタイトル３の開始時刻の間隔はＤＳ２３＊１/４となる。そのため、サブタイトル１，２の表示期間に重複期間ＤＰが生じ、さらにサブタイトル１，３の表示期間にも重複期間ＤＰが生じる。この場合、サブタイトル１，２，３の間では最も優先度が高いサブタイトル１が表示すべきものとして選択される。つまり、この４倍速再生の場合には、サブタイトル１が表示され、サブタイトル２，３は表示されない。
図２０は、通常再生からＮ倍速への移行時に適用する再生初期における表示サブタイトルの選択例を示している。図２０（ａ）は、通常再生の場合の例を示している。サブタイトル１，２，３の表示期間は、それぞれ、ＤＵ１，ＤＵ２，ＤＵ３である。サブタイトル１とサブタイトル２の開始時刻の間隔はＤＳ１２であり、サブタイトル１の表示期間ＤＵ１より長い。また、サブタイトル２とサブタイトル３の開始時刻の間隔はＤＳ２３であり、サブタイトル２の表示期間ＤＵ２より長い。この通常再生の場合には、サブタイトル１，２，３の全てが表示される。
図２０（ｂ）は、通常再生から２倍速再生への移行時の場合の例を示している。サブタイトル１とサブタイトル２の開始時刻の間隔はＤＳ１２＊１/２となる。そのため、サブタイトル１，２の表示期間に重複期間ＤＰが生じる。また、サブタイトル２とサブタイトル３の開始時刻の間隔はＤＳ２３＊１/２となる。そのため、サブタイトル２，３の表示期間に重複期間ＤＰが生じる。ここで、サブタイトル１，２，３の表示の優先度ＰＲは、それぞれ、“３”、“２”、“１”であったとする。
この場合、サブタイトル１とサブタイトル２の間では優先度が高いサブタイトル２ではなく、開始時刻が最初のサブタイトル１が表示すべきものとして選択され、さらに、サブタイトル３が表示すべきものとして選択される。つまり、通常再生から２倍速再生への移行時の場合には、サブタイトル１が表示された後、サブタイトル２は非表示で、サブタイトル３が表示される。なお、サブタイトル３が表示された後は、上述の図１９で示した変速再生モードのサブタイトル表示シーケンスに従って表示すべきサブタイトルが選択される。
図２０（ｃ）は、通常再生から４倍速再生への移行時の場合の例を示している。サブタイトル１とサブタイトル２の開始時刻の間隔はＤＳ１２＊１/４となる。また、サブタイトル２とサブタイトル３の開始時刻の間隔はＤＳ２３＊１/４となる。そのため、サブタイトル１，２の表示期間に重複期間ＤＰが生じ、さらにサブタイトル１，３の表示期間にも重複期間ＤＰが生じる。
この場合、サブタイトル１，２，３の間では最も優先度が高いサブタイトル３ではなく、開始時刻が最初のサブタイトル１が表示すべきものとして選択される。なお、サブタイトル１が表示された後は、上述の図１９で示した変速再生モードのサブタイトル表示シーケンスに従って表示すべきサブタイトルが選択される。
図１７に戻って、ビデオ重畳部２０４は、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から得られる各リージョンのビットマップデータを重畳する。パネル駆動回路２０５は、ビデオ重畳部２０４で得られる表示用の画像データに基づいて、表示パネル２０６を駆動する。表示パネル２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成されている。
図１７に示すテレビ受信機２００の動作を簡単に説明する。受信部２０１では、放送送出システム１００から放送波に載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳには、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。
このトランスポートストリームＴＳは、蓄積媒体２０１ａを通じて、ＴＳ解析部２０２に供給される。この場合、再生モードに対応した部分が取り出されてＴＳ解析部２０２に送られる。例えば、通常再生モードにあっては、蓄積された全てがＴＳ解析部２０２に送られる。これに対して、変速再生モードにあっては、ＲＡＰ位置（ランダムアクセス位置）の部分を含む倍速スピードに応じた間欠的な一部の部分がＴＳ解析部２０２に送られる。特に、ＲＡＰ再生モードにあっては、ＲＡＰ位置（ランダムアクセス位置）の部分のみがＴＳ解析部２０２に送られる。
ＴＳ解析部２０２で抽出されるビデオＰＥＳパケットは、ビデオデコーダ２０３に供給される。ビデオデコーダ２０３では、ＴＳ解析部２０２で抽出されるビデオＰＥＳパケットにデコード処理が施されて、画像データが得られる。各ビデオＰＥＳパケットに対するデコードおよび出力の処理は、通常再生モードにおいてはヘッダに挿入されているタイムスタンプで制御されるが、変速再生モードにおいては当該タイムスタンプで制御されず、ＴＳ解析部２０２から供給された後に直ちに行われる。この画像データは、ビデオ重畳部２０４に供給される。
また、ＴＳ解析部２０２で抽出されるサブタイトルストリーム（ＰＥＳストリーム）は、サブタイトルデコーダ２１０に供給される。サブタイトルデコーダ２１０では、各リージョンのセグメントデータが処理され、画像データに重畳すべき各リージョンのビットマップデータが得られる。各サブタイトルＰＥＳパケットに対するデコードおよび出力の処理は、通常再生モードにおいてはヘッダまたはペイロードに挿入されている第２のタイムスタンプ（独自タイムスタンプ）で制御されるが、変速再生モードにおいては当該第２のタイムスタンプで制御されず、ＴＳ解析部２０２から供給された後に直ちに行われる（図１８参照）。
また、変速再生モードでは、Ｎ倍速（Ｎ＞１）の場合、複数のサブタイトルの表示期間に重複期間が生じる場合がある。ＣＰＵ２２１では、倍速スピードに応じて求められた各サブタイトルの開始時刻の間隔、各サブタイトルの表示期間などの情報に基づいて、各サブタイトルの表示期間に重複期間が生じるか判断される。そして、ＣＰＵ２２１では、複数のサブタイトルの表示期間に重複期間が生じるとき、どのサブタイトルを表示させるかの選択がサブタイトル表示の優先度情報に基づいて行われ、選択されたサブタイトルのデコード結果（ビットマップデータ）のみを出力するようにサブタイトルデコーダ２１０を制御することが行われる（図１９、図２０参照）。
サブタイトルデコーダ２１０から出力される各リージョンのビットマップデータは、ビデオ重畳部２０４に供給される。ビデオ重畳部２０４では、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から出力される各リージョンのビットマップデータが重畳される。
ビデオ重畳部２０４で得られる表示用の画像データは、パネル駆動回路２０５に供給される。パネル駆動回路２０５では、表示用のビデオデータに基づいて、表示パネル２０６を駆動することが行われる。これにより、表示パネル２０６には、サブタイトルの重畳された画像が表示される。この場合、通常再生モードでは通常速度の通常再生画像となり、変速再生モードでは倍速スピードに応じた変速再生画像となる。
また、ＴＳ解析部２０２で抽出されるオーディオＰＥＳパケットは、オーディオデコーダ２０７に供給される。オーディオデコーダ２０７では、オーディオＰＥＳパケットにデコード処理が施されて、音声データが得られる。各オーディオＰＥＳパケットに対するデコードおよび出力の処理は、通常再生モードにおいてはヘッダに挿入されているタイムスタンプで制御されるが、変速再生モードにおいては当該タイムスタンプで制御されず、ＴＳ解析部２０２から供給された後に直ちに行われる。
この音声データは、音声出力回路２０８に供給される。音声出力回路２０８では、音声データに対して、Ｄ／Ａ変換や増幅等の必要な処理が行われる。そして、処理後の音声データはスピーカ２０９に供給される。これにより、スピーカ２０９からは表示パネル２０６の表示画像に対応した音声出力が得られる。
以上説明したように、図１に示す送受信システム１０においては、サブタイトルＰＥＳパケットのヘッダまたはペイロードに、サブタイトル表示の優先度情報が挿入されるものである。そのため、変速再生モード（Ｎ倍速（Ｎ＞１）の場合）で複数のサブタイトルの表示期間に重複期間が生じる場合に、どのサブタイトルを表示させるかの選択が当該優先度情報を参照することで容易となり、かつ制作側の意図を反映させた良好なサブタイトル表示が可能となる。
また、図１に示す送受信システム１０においては、トランスポートストリームＴＳに、サブタイトルＰＥＳパケットにサブタイトル表示の優先度情報の挿入があることを示す識別情報が挿入されるものである。そのため、受信側では、この識別情報に基づいてサブタイトル表示の優先度情報の挿入があることを容易に認識でき、サブタイトル表示の優先度情報の抽出を効率よく行うことができる。
また、図１に示す送受信システム１０においては、送信側で多重化ストリームとしてのトランスポートストリームＴＳを生成するに当たって、サブタイトルＰＥＳパケットがランダムアクセス位置に配置されるものである。そのため、受信側では、多重化ストリームからランダムアクセス位置のビデオＰＥＳパケットを取り出す際にサブタイトルＰＥＳパケットを併せて取り出すことができ、変速再生モードでのサブタイトル表示処理が簡単となる。
例えば、図２１は、従来の多重化に関して示している。図２１（ａ）は、ビデオストリームを構成するビデオＰＥＳパケット列を示している。「V_TS00」、「V_TS10」、「V_TS20」、「V_TS30」、・・・は、ヘッダに挿入されたタイムスタンプを示し、「V0」、「V10」、「V20」、「V30」、・・・は、ペイロードに配置された符号化画像データを示している。
図２１（ｂ）は、オーディオストリームを構成するオーディオＰＥＳパケット列を示している。「A_TS00」、「A_TS10」、「A_TS20」、「A_TS30」、・・・は、ヘッダに挿入されたタイムスタンプを示し、「A0」、「A10」、「A20」、「A30」、・・・は、ペイロードに配置された符号化音声データを示している。
図２１（ｃ）は、サブタイトルストリームを構成するサブタイトルＰＥＳパケット列を示している。「S_TS15」、「S_TS19」、「S_TS35」、「A_TS39」、・・・は、ヘッダに挿入されたタイムスタンプを示し、「S15」、「S19」、「S35」、「S39」、・・・は、ペイロードに配置されたサブタイトル情報を示している。サブタイトルＰＥＳパケットのヘッダには、ビデオＰＥＳパケットやオーディオＰＥＳパケットのヘッダに挿入されるタイムスタンプとは関係なく、タイムスタンプが挿入される。
図２１（ｄ）は、多重化ストリーム（トランスポートストリームＴＳ）における各ＰＥＳパケットの配置の一例を示している。多重化に当たっては、各ＰＥＳパケットのヘッダに挿入されているタイムスタンプが参照されて、各ＰＥＳパケットの配置が決定される。この場合、サブタイトルＰＥＳパケットは、ＲＡＰ位置（ランダムアクセス位置）とは無関係に、表示期間の少し前の位置に配置される。
ＲＡＰ再生では、例えば、図２１（ｅ）の再生方法１に示すように、ＲＡＰ位置毎にある程度の長さでＰＥＳパケットが読み出されてデコード処理が行われて、画像表示や音声出力が行われる。この場合、ＲＡＰ位置にサブタイトルＰＥＳパケットが必ずしも配置されていないので、サブタイトル表示はされない。
なお、このＲＡＰ再生でも、サブタイトル表示を行うためには、図２１（ｆ）の再生方法２に示すように、ＲＡＰ位置の読み出しの他に、サブタイトルＰＥＳパケットの読み出しも行っていくことが考えられる。この場合には、ＲＡＰ位置の読み出しのためのジャンプの他に、サブタイトルＰＥＳパケットを読み出すためのジャンプを繰り返す必要があり、再生処理が複雑となる。また、サブタイトルＰＥＳパケットの読み出しが行われるまで画像表示や音声出力を待つことにもなるので、画像表示や音声出力の遅延が発生する。
図２２は、本技術の多重化に関して示している。図２２（ａ）は、ビデオストリームを構成するビデオＰＥＳパケット列を示している。「V_TS00」、「V_TS10」、「V_TS20」、「V_TS30」、・・・は、ヘッダに挿入されたタイムスタンプを示し、「V0」、「V10」、「V20」、「V30」、・・・は、ペイロードに配置された符号化画像データを示している。
図２２（ｂ）は、オーディオストリームを構成するオーディオＰＥＳパケット列を示している。「A_TS00」、「A_TS10」、「A_TS20」、「A_TS30」、・・・は、ヘッダに挿入されたタイムスタンプを示し、「A0」、「A10」、「A20」、「A30」、・・・は、ペイロードに配置された符号化画像データを示している。
図２２（ｃ）は、サブタイトルストリームを構成するサブタイトルＰＥＳパケット列を示している。「S_TS10」、「S_TS30」、・・・は、ヘッダに挿入されたタイムスタンプを示し、「S10」、「S130」、・・・は、ペイロードに配置されたサブタイトル情報を示している。サブタイトルＰＥＳパケットのヘッダには、ＲＡＰ対象のビデオＰＥＳパケットのヘッダに挿入されるタイムスタンプと同じか、あるいは近傍の値のタイムスタンプ（第１のタイムスタンプ）が挿入される。
図２２（ｄ）は、多重化ストリーム（トランスポートストリームＴＳ）における各ＰＥＳパケットの配置の一例を示している。多重化に当たっては、各ＰＥＳパケットのヘッダに挿入されているタイムスタンプが参照されて、各ＰＥＳパケットの配置が決定される。この場合、サブタイトルＰＥＳパケットは、ＲＡＰ対象のビデオＰＥＳパケットやオーディオＰＥＳパケットと同様に、ＲＡＰ位置（ランダムアクセス位置）に配置される。
ＲＡＰ再生では、例えば、図２２（ｅ）の再生方法３に示すように、ＲＡＰ位置毎にある程度の長さでＰＥＳパケットが読み出されてデコード処理が行われる。この場合、ビデオＰＥＳパケットやオーディオＰＥＳパケットと共に、サブタイトルＰＥＳパケットも読み出されてデコード処理されることから、画像表示や音声出力と共に、サブタイトル表示も良好に行われる。
このように本技術のように多重化が行われることで、図２１（ｆ）に示す再生方法２のような、ＲＡＰ位置の読み出しのためのジャンプの他に、サブタイトルＰＥＳパケットを読み出すためのジャンプを繰り返すということが必要なく、サブタイトル表示を可能とするための受信側における変速再生処理が簡単となる。
また、図１に示す送受信システム１０においては、サブタイトルＰＥＳパケットのヘッダまたはペイロードに、サブタイトルの表示時刻を示す第２のタイムスタンプ（サブタイトル独自の表示タイムスタンプ）が挿入されるものである。そのため、受信側では、このサブタイトル独自の表示タイムスタンプに基づいて、サブタイトルの表示タイミングを容易に制御可能となる。
また、図１に示す送受信システム１０においては、トランスポートストリームＴＳに、サブタイトルＰＥＳパケットにサブタイトル独自の表示タイムスタンプの挿入があることを示す識別情報が挿入されるものである。そのため、受信側では、この識別情報に基づいてサブタイトル独自の表示タイムスタンプの挿入があることを容易に認識でき、サブタイトル独自の表示タイムスタンプの抽出を効率よく行うことができる。
＜２．変形例＞
なお、上述実施の形態においては、送信側で多重化ストリームとしてのトランスポートストリームＴＳを生成するに当たって、サブタイトルＰＥＳパケットがランダムアクセス位置に配置される例を示している。しかし、このようにサブタイトルＰＥＳパケットがランダムアクセス位置に配置されるように構成されない場合にあっても、サブタイトルＰＥＳパケットのヘッダまたはペイロードに、サブタイトル表示の優先度情報を挿入する技術を適用できる。この場合にあっても、変速再生モード（Ｎ倍速（Ｎ＞１）の場合）で複数のサブタイトルの表示期間に重複期間が生じる場合に、どのサブタイトルを表示させるかの選択が当該優先度情報を参照することで容易となり、かつ制作側の意図を反映させた良好なサブタイトル表示が可能となる。
また、上述実施の形態においては、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報としてＴＴＭＬを用いる例を示した。しかし、本技術は、これに限定されず、ＴＴＭＬと同等の情報を持つその他のタイムドテキスト情報を用いることも考えらえる。例えば、ＴＴＭＬの派生フォーマットを用いてもよい。また、本技術は、サブタイトルのフォーマットが従来タイプのビットマップ方式であっても同様に適用できることは当然である。
また、上述実施の形態においては、放送送出システム１００とテレビ受信機２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、テレビ受信機２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は登録商標である。
また、本技術は、以下のような構成を取ることもできる。
（１）ペイロードに符号化画像データを持つビデオパケットにより構成されるビデオストリームを生成するビデオエンコード部と、
ペイロードにサブタイトル情報を持つと共に、該サブタイトル情報によるサブタイトル表示の優先度情報が挿入されたサブタイトルパケットにより構成されるサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む多重化ストリームを生成する多重化ストリーム生成部と、
上記多重化ストリームを送信する送信部を備える
送信装置。
（２）上記サブタイトルエンコード部は、
上記優先度情報を、上記サブタイトルパケットのヘッダまたはペイロードに挿入する
前記（１）に記載の送信装置。
（３）上記多重化ストリーム生成部は、
上記多重化ストリームに、上記サブタイトルパケットに上記優先度情報の挿入があることを示す識別情報を挿入する
前記（１）または（２）に記載の送信装置。
（４）上記識別情報には、挿入位置を示す情報が付加される
前記（３）に記載の送信装置。
（５）上記多重化ストリーム生成部は、
上記サブタイトルパケットをランダムアクセス位置に配置する
前記（１）から（４）のいずれかかに記載の送信装置。
（６）上記ビデオパケットおよび上記サブタイトルパケットはＰＥＳパケットであり、
上記多重化ストリームは、ＭＰＥＧ２トランスポートストリームである
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記サブタイトル情報は、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報である
前記（１）から（６）のいずれかに記載の送信装置。
（８）ペイロードに符号化画像データを持つビデオパケットにより構成されるビデオストリームを生成するビデオエンコードステップと、
ペイロードにサブタイトル情報を持つと共に、該サブタイトル情報によるサブタイトル表示の優先度情報が挿入されたサブタイトルパケットにより構成されるサブタイトルストリームを生成するサブタイトルエンコードステップと、
上記ビデオストリームと上記サブタイトルストリームを含む多重化ストリームを生成する多重化ストリーム生成ステップと、
送信部により、上記多重化ストリームを送信する送信ステップを有する
送信方法。
（９）ペイロードに符号化画像データを持つビデオパケットにより構成されるビデオストリームと、ペイロードにサブタイトル情報を持つと共に、該サブタイトル情報によるサブタイトル表示の優先度情報が挿入されたサブタイトルパケットにより構成されるサブタイトルストリームを含む多重化ストリームに対して変速再生処理を行う変速再生処理部と、
上記変速再生処理部で上記多重化ストリームに対して変速再生処理が行われるとき、各サブタイトルパケットが持つサブタイトル情報によるサブタイトルの表示を、上記優先度情報に基づいて制御するサブタイトル表示制御部を備える
再生装置。
（１０）上記表示制御部は、複数のサブタイトル情報によるサブタイトルの表示期間に重複期間が発生するとき、優先度の最も高いサブタイトルのみが表示されるように制御する
前記（９）に記載の再生装置。
（１１）ペイロードに符号化画像データを持つビデオパケットにより構成されるビデオストリームと、ペイロードにサブタイトル情報を持つと共に、該サブタイトル情報によるサブタイトル表示の優先度情報が挿入されたサブタイトルパケットにより構成されるサブタイトルストリームを含む多重化ストリームに対して変速再生処理を行う変速再生処理ステップと、
表示制御部により、上記サブタイトルストリームに含まれる各サブタイトルパケットがペイロードに持つサブタイトル情報によるサブタイトルの上記変速再生時における表示を、上記優先度情報に基づいて制御するサブタイトル表示制御ステップを有する
再生方法。
本技術の主な特徴は、サブタイトルＰＥＳパケットのヘッダまたはペイロードに、サブタイトル表示の優先度情報を挿入することで、変速再生モード（Ｎ倍速（Ｎ＞１）の場合）で複数のサブタイトルの表示期間に重複期間が生じる場合に、どのサブタイトルを表示させるかの選択が当該優先度情報を参照することで容易となり、かつ制作側の意図を反映させた良好なサブタイトル表示が可能となるようにしたものである（図１９参照）。
１０・・・送受信システム
１００・・・放送送出システム
１１０・・・ストリーム生成部
１１１・・・制御部
１１２・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１４・・・テキストフォーマット変換部
１１５・・・サブタイトルエンコーダ
１１６・・・ＴＳフォーマッタ
１２０・・・タイミング管理部
１２１・・・ビデオタイミング管理部
１２２・・・オーディオタイミング管理部
１２３・・・ＲＡＰタイミング管理部
１２４・・・サブタイトル表示タイミング管理部
２００・・・テレビ受信機
２０１・・・受信部
２０１ａ・・・蓄積媒体
２０２・・・ＴＳ解析部
２０３・・・ビデオデコーダ
２０４・・・ビデオ重畳部
２０５・・・パネル駆動回路
２０６・・・表示パネル
２０７・・・オーディオデコーダ
２０８・・・音声出力回路
２０９・・・スピーカ
２１０・・・サブタイトルデコーダ
２２１・・・ＣＰＵ

Claims (9)

  1. ペイロードに符号化画像データを含むビデオパケットにより構成されるビデオストリームを生成するビデオエンコード部と、
    ペイロードにサブタイトル情報を含むサブタイトルパケットにより構成されるサブタイトルストリームを生成するサブタイトルエンコード部と、
    上記ビデオストリームと上記サブタイトルストリームを含む多重化ストリームを生成する多重化ストリーム生成部と、
    上記多重化ストリームを送信する送信部を備え、
    上記サブタイトルエンコード部は、
    上記サブタイトルパケットのヘッダのタイムスタンプ挿入位置に、ランダムアクセス位置の上記ビデオパケットのヘッダのタイムスタンプ位置に挿入されるタイムスタンプの値と同じまたは近傍の値のタイムスタンプを第１のタイムスタンプとして挿入し、
    上記サブタイトルパケットに、上記サブタイトル情報が有する相対表示タイミング情報を上記第１のタイムスタンプを用いて換算して得られた第２のタイムスタンプを挿入し、
    上記多重化ストリーム生成部は、
    上記サブタイトルパケットをランダムアクセス位置に配置する
    送信装置。
  2. 上記サブタイトルエンコード部は、
    上記第２のタイムスタンプを、上記サブタイトルパケットのヘッダまたはペイロードに挿入する
    請求項１に記載の送信装置。
  3. 上記多重化ストリーム生成部は、
    上記多重化ストリームに、上記サブタイトルパケットに上記第２のタイムスタンプの挿入があることを示す識別情報を挿入する
    請求項１に記載の送信装置。
  4. 上記識別情報には、挿入位置を示す情報が付加される
    請求項３に記載の送信装置。
  5. 上記ビデオパケットおよび上記サブタイトルパケットはＰＥＳパケットであり、
    上記多重化ストリームは、ＭＰＥＧ２トランスポートストリームである
    請求項１に記載の送信装置。
  6. 上記サブタイトル情報は、上記相対表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報である
    請求項１に記載の送信装置。
  7. ペイロードに符号化画像データを含むビデオパケットにより構成されるビデオストリームを生成するビデオエンコードステップと、
    ペイロードにサブタイトル情報を含むサブタイトルパケットにより構成されるサブタイトルストリームを生成するサブタイトルエンコードステップと、
    上記ビデオストリームと上記サブタイトルストリームを含む多重化ストリームを生成する多重化ストリーム生成ステップと、
    送信部により、上記多重化ストリームを送信する送信ステップを有し、
    上記サブタイトルエンコードステップでは、
    上記サブタイトルパケットのヘッダのタイムスタンプ挿入位置にランダムアクセス位置の上記ビデオパケットのヘッダのタイムスタンプ位置に挿入されるタイムスタンプの値と同じまたは近傍の値のタイムスタンプを第１のタイムスタンプとして挿入し、
    上記サブタイトルパケットに、上記サブタイトル情報が有する相対表示タイミング情報を上記第１のタイムスタンプを用いて換算して得られた第２のタイムスタンプを挿入し、
    上記多重化ストリーム生成ステップでは、
    上記サブタイトルパケットをランダムアクセス位置に配置する
    送信方法。
  8. ペイロードに符号化画像データを含むビデオパケットにより構成されるビデオストリームと、ペイロードにサブタイトル情報を含むサブタイトルパケットにより構成されるサブタイトルストリームを含む多重化ストリームに対して再生処理を行う再生処理部を備え、
    上記サブタイトルパケットのヘッダのタイムスタンプ挿入位置にランダムアクセス位置の上記ビデオパケットのヘッダのタイムスタンプ位置に挿入されるタイムスタンプの値と同じまたは近傍の値のタイムスタンプが第１のタイムスタンプとして挿入されており、
    上記サブタイトルパケットに、上記サブタイトル情報が有する相対表示タイミング情報を上記第１のタイムスタンプを用いて換算して得られた第２のタイムスタンプが挿入されており、
    上記多重化ストリームにおいて、上記サブタイトルパケットは、上記ランダムアクセス位置に配置されており、
    上記再生処理部で上記多重化ストリームに対して再生処理が行われるとき、各サブタイトルパケットに含まれるサブタイトル情報によるサブタイトルの表示を制御するサブタイトル表示制御部をさらに備え、
    上記表示制御部は、
    上記再生処理部で通常再生が行われるときは上記サブタイトルの表示タイミングを上記第２のタイムスタンプに基づいて制御し、
    上記再生処理部で上記ランダムアクセス位置を含んで再生していく変速再生が行われるときは上記サブタイトルの表示タイミグを上記サブタイトルパケットの再生タイミングに基づいて制御する
    再生装置。
  9. ペイロードに符号化画像データを含むビデオパケットにより構成されるビデオストリームと、ペイロードにサブタイトル情報を含むサブタイトルパケットにより構成されるサブタイトルストリームを含む多重化ストリームに対して再生処理を行う再生処理ステップを有し、
    上記サブタイトルパケットのヘッダのタイムスタンプ挿入位置にランダムアクセス位置の上記ビデオパケットのヘッダのタイムスタンプ位置に挿入されるタイムスタンプの値と同じまたは近傍の値のタイムスタンプが第１のタイムスタンプとして挿入されており、
    上記サブタイトルパケットに、上記サブタイトル情報が有する相対表示タイミング情報を上記第１のタイムスタンプを用いて換算して得られた第２のタイムスタンプが挿入されており、
    上記多重化ストリームにおいて、上記サブタイトルパケットは、上記ランダムアクセス位置に配置されており、
    表示制御部により、上記再生処理ステップで上記多重化ストリームに対して再生処理が行われるとき、各サブタイトルパケットに含まれるサブタイトル情報によるサブタイトルの表示を制御する表示制御ステップをさらに有し、
    上記表示制御ステップでは、
    上記再生処理ステップで通常再生が行われるときは上記サブタイトルの表示タイミングを上記第２のタイムスタンプに基づいて制御し、
    上記再生処理ステップで上記ランダム再生位置を含んで再生していく変速再生が行われるときは上記サブタイトルの表示タイミグを上記サブタイトルパケットの再生タイミングに基づいて制御する
    再生方法。
JP2017512510A 2015-04-13 2016-04-08 送信装置、送信方法、再生装置および再生方法 Expired - Fee Related JP6825558B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015082099 2015-04-13
JP2015082099 2015-04-13
PCT/JP2016/061481 WO2016167187A1 (ja) 2015-04-13 2016-04-08 送信装置、送信方法、再生装置および再生方法

Publications (2)

Publication Number Publication Date
JPWO2016167187A1 JPWO2016167187A1 (ja) 2018-02-08
JP6825558B2 true JP6825558B2 (ja) 2021-02-03

Family

ID=57126456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017512510A Expired - Fee Related JP6825558B2 (ja) 2015-04-13 2016-04-08 送信装置、送信方法、再生装置および再生方法

Country Status (5)

Country Link
US (1) US10225600B2 (ja)
EP (1) EP3285492B1 (ja)
JP (1) JP6825558B2 (ja)
CN (1) CN107431835B (ja)
WO (1) WO2016167187A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338394B (zh) * 2014-06-19 2018-11-30 阿里巴巴集团控股有限公司 字幕数据的处理方法及系统
EP3404923A4 (en) * 2016-12-27 2019-01-30 Sony Corporation SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
CN108111872B (zh) * 2018-01-09 2021-01-01 武汉斗鱼网络科技有限公司 一种音频直播系统
CN108111896B (zh) * 2018-01-16 2020-05-05 北京三体云联科技有限公司 一种字幕同步方法及装置
JP7434762B2 (ja) * 2019-09-10 2024-02-21 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
CN114339300B (zh) * 2021-12-28 2024-04-19 Oppo广东移动通信有限公司 字幕处理方法、装置、电子设备及计算机可读介质及产品

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3434653B2 (ja) * 1996-12-05 2003-08-11 富士通株式会社 マルチメディアデータ蓄積伝送方法及び装置
JP3844877B2 (ja) * 1998-04-08 2006-11-15 パイオニア株式会社 ストリーム変換装置
JP3651326B2 (ja) * 1999-09-06 2005-05-25 松下電器産業株式会社 データ送信装置およびデータ受信装置
JP3906795B2 (ja) * 2002-12-18 2007-04-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20040152055A1 (en) * 2003-01-30 2004-08-05 Gliessner Michael J.G. Video based language learning system
KR20060022235A (ko) * 2003-04-30 2006-03-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자 프로파일에 기초한 비디오 언어 필터링
KR100532997B1 (ko) * 2003-05-23 2005-12-02 엘지전자 주식회사 디지털 티브이의 클로즈 캡션 운용 장치
EP1728251A1 (en) 2004-03-17 2006-12-06 LG Electronics, Inc. Recording medium, method, and apparatus for reproducing text subtitle streams
KR100782835B1 (ko) * 2005-01-29 2007-12-06 삼성전자주식회사 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치
WO2007034385A2 (en) 2005-09-26 2007-03-29 Koninklijke Philips Electronics N.V. Coding/decoding method and apparatus for improving video error concealment
CN100389606C (zh) * 2006-02-13 2008-05-21 华为技术有限公司 一种控制字幕显示方式的实现方法和装置
US20090116814A1 (en) * 2006-02-27 2009-05-07 Morohashi Takaharu Reproducer, portable telephone, and reproducing method
KR100902329B1 (ko) * 2007-01-30 2009-06-12 주식회사 디엠테크놀로지 시청제한 기능이 포함된 영상기기 및 그 방법
JP4779981B2 (ja) * 2007-02-01 2011-09-28 三菱電機株式会社 デジタル映像情報データ生成装置、デジタル映像情報記録装置、デジタル映像情報再生装置、及びデジタル映像情報データ生成方法
KR20080092097A (ko) * 2007-04-11 2008-10-15 주식회사 대우일렉트로닉스 디지털 텔레비전의 캡션 표시 방법
JP4518194B2 (ja) * 2008-06-10 2010-08-04 ソニー株式会社 生成装置、生成方法、及び、プログラム
JP5132504B2 (ja) 2008-09-25 2013-01-30 株式会社東芝 情報記録再生装置及び情報記録再生方法
WO2010146847A1 (ja) * 2009-06-17 2010-12-23 パナソニック株式会社 ３ｄ映像を再生するための情報記録媒体、及び再生装置
JP5960679B2 (ja) * 2010-04-14 2016-08-02 サムスン エレクトロニクス カンパニー リミテッド ビットストリームの生成方法、生成装置、受信方法及び受信装置
CN102158666A (zh) * 2010-04-21 2011-08-17 青岛海信传媒网络技术有限公司 滚动字幕的显示方法和装置
KR20110138151A (ko) 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
JP5685969B2 (ja) 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
JP2013012265A (ja) * 2011-06-28 2013-01-17 Sony Computer Entertainment Inc 再生装置および再生方法
EP2549482B1 (en) * 2011-07-22 2018-05-23 SanDisk Technologies LLC Apparatus, system and method for determining a configuration parameter for solid-state storage media
EP3261353B1 (en) * 2015-02-20 2021-03-31 Sony Corporation Transmission device, transmission method, reception device, and reception method

Also Published As

Publication number Publication date
EP3285492A4 (en) 2018-08-29
US20180084298A1 (en) 2018-03-22
CN107431835B (zh) 2020-09-11
WO2016167187A1 (ja) 2016-10-20
CN107431835A (zh) 2017-12-01
EP3285492A1 (en) 2018-02-21
EP3285492B1 (en) 2021-06-02
JPWO2016167187A1 (ja) 2018-02-08
US10225600B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
JP6825558B2 (ja) 送信装置、送信方法、再生装置および再生方法
JP6927374B2 (ja) 受信装置および受信方法
JP6760296B2 (ja) 送信装置、送信方法、再生装置および再生方法
RU2701172C2 (ru) Передающее устройство, способ передачи, приемное устройство и способ приема
JP7026621B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7578129B2 (ja) 受信装置
JP6900907B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201228

R151 Written notification of patent or utility model registration

Ref document number: 6825558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees