JP5957770B2 - 映像処理装置、方法、プログラム、記録媒体及び集積回路 - Google Patents

映像処理装置、方法、プログラム、記録媒体及び集積回路 Download PDF

Info

Publication number
JP5957770B2
JP5957770B2 JP2013517849A JP2013517849A JP5957770B2 JP 5957770 B2 JP5957770 B2 JP 5957770B2 JP 2013517849 A JP2013517849 A JP 2013517849A JP 2013517849 A JP2013517849 A JP 2013517849A JP 5957770 B2 JP5957770 B2 JP 5957770B2
Authority
JP
Japan
Prior art keywords
data
auxiliary display
display object
video
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013517849A
Other languages
English (en)
Other versions
JPWO2012164864A1 (ja
Inventor
宗續 敏彦
敏彦 宗續
由佳 小澤
由佳 小澤
川口 透
透 川口
洋 矢羽田
洋 矢羽田
上坂 靖
靖 上坂
智輝 小川
智輝 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2012164864A1 publication Critical patent/JPWO2012164864A1/ja
Application granted granted Critical
Publication of JP5957770B2 publication Critical patent/JP5957770B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、ストリームデータを処理する技術に関し、特に3D映像と共に表示されるべき字幕等のデータの処理技術に関する。
放送や、インターネットなどネットワークでの映像配信において、映画などのデジタル映像コンテンツの字幕は、映像データとは別のデータとして、映像データと関連付けられて配信され、受信装置側でデジタル映像コンテンツと共に表示される。
視聴者が立体的な映像として見ることができる3Dデジタル映像コンテンツ(以下、「3D映像」と呼ぶ。)においても、立体的な映像として見える仕組みを導入していないデジタル映像コンテンツ(以下、「2D映像」と呼ぶ。)において字幕を表示するのと同様に、字幕を3D映像と共に表示する。ところが、2D映像と同じように3D映像に字幕を重ね合わせると、3D映像は画面の手前や奥に広がりがあるので、字幕が3D映像の奥に位置したり、手前に位置したりして見づらくなる。そこで、これを改善するために、3D映像と共に表示する字幕(以下、「3D字幕」と呼ぶ。)を3D空間内に適切に配置して表示するための技術として、1plane+offsetモードと2plane+offsetモードによる処理技術が提案されている(非特許文献1)。なお、デジタル放送において2D映像や3D映像と共に表示するために配信される表示データには、字幕以外にもテロップやデータ放送用の表示データ等があり、これらのデータを3D映像と共に表示する際に、上記の処理技術が応用できる。以下、字幕、テロップ、データ放送用の表示データなどを総称して「字幕等表示データ」と呼ぶこととする。また、1plane+offsetモード、2plane+offsetモードをまとめて3D字幕等表示モードと呼ぶこととする。
Blu−ray Disc Association、″White Paper Blu−ray Disc Read−Only Format″、p.39〜p.42、″6.3 3D graphics with 3D video″、[online]、2010年07月、Blu−ray Disc Association、[2012年4月2日検索]、インターネット〈URL:http://www.blu−raydisc.com/assets/Downloadablefile/BD−ROM_Audio_Visual_Application_Format_Specifications−18780.pdf
しかしながら、3D字幕等表示モードが1plane+offsetモードであるか2plane+offsetモードであるかは、字幕等表示データを含むストリームの内容を解析することにより判別し得るが、字幕等表示データを含むストリームの内容を解析して3D字幕等表示モードを判別するのでは、字幕等表示データを3D映像と共に表示するまでの処理に比較的大きな時間がかかる。このため、映像処理装置において、迅速に3D字幕等表示モードを判別できることが望まれる。そこで、映像配信システムから、新たに3D字幕等表示モードを迅速に識別できる情報を含めたストリームを配信することが考えられている。
しかしながら、映像処理装置は、このような情報を用いた判別処理に対応することができず、このままでは新たな映像配信システムの良さを生かすことができない。このため、新たな映像配信システムに対応する映像処理装置の開発が喫緊の課題となっている。
本発明は、上記課題を解決するためになされたものであり、映像配信システムから配信された3D字幕等表示モードを迅速に識別できる情報を含めたストリームを処理し、迅速に3D字幕等表示モードを判別することのできる映像処理装置を提供することを目的とする。
上記課題を解決するために本発明に係る映像処理装置は、3D映像と共に補助表示物を表示するための映像処理装置であって、前記補助表示物を1プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第1の処理手段と、前記補助表示物を2プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第2の処理手段と、前記補助表示物を1プレーン及び2プレーンのいずれかを用いて表す情報を含む補助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを含んで構成される伝送ストリームを受信する受信手段と、前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理手段及び第2の処理手段のいずれかを選択する選択手段と、前記選択手段による前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理手段及び第2の処理手段のうち当該選択手段により選択された処理手段に対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御手段とを備える。
本発明に係る映像処理装置は、映像配信システムから配信された3D字幕等表示モードを迅速に識別できる情報を含めたストリームを処理し、迅速に3D字幕等表示モードを判別することができる。
PMTのデータ構造を示す図。 記述子arib_3d_offsetmode_infoのデータ構造を示す図。 subtitle_offset_mode及びbml_offset_modeそれぞれの値と3D字幕等表示モードの関係を示す図。 本発明の実施の形態に係る映像処理装置300の機能構成を示すブロック図。 字幕処理手段309の機能ブロック図。 データ放送処理手段310の機能ブロック図。 映像処理装置300の処理を示すフローチャート。 実施の形態1における判定手段304の処理を示すフローチャート。 記述子arib_3d_offsetmode_infoのデータ構造の第1の変形例を示す図。 図9の変形例におけるsubtitle_offset_mode及びbml_offset_modeそれぞれの値と3D字幕等表示モードの関係を示す図。 記述子arib_3d_offsetmode_infoのデータ構造の第2の変形例を示す図。 1plane+offsetモードの概念を示す図。 2plane+offsetモードの概念を示す図。 多重化装置3000の機能構成を示すブロック図。 データ符号化方式記述子のデータ構造を示す図。 data_component_idの値と3D字幕等表示モードの関係を示す図。 実施の形態2における判定手段304の処理を示すフローチャート。 additional_arib_bxml_infoのデータ構造を示す図。 additional_arib_carousel_infoのデータ構造を示す図。 EITのデータ構造を示す図。 データコンテンツ記述子のデータ構造を示す図。 実施の形態5における判定手段304の処理を示すフローチャート。 arib_bxml_infoのデータ構造を示す図。 arib_bxml_infoのarib_carousel_infoに記述されるデータの構成を示す図。 ERIのデータ構造を示す図。 電子映像配信システム2200の概略構成図である。 電子映像配信システム2200の処理のシーケンスを示す図。 (a)3D字幕等表示モードの識別情報を記載するERIにおけるタグ要素の第1の変形例を示す図、(b)同じく第2の変形例を示す図。 ECGメタデータのデータ構造を示す図。 3D字幕等表示モードの識別情報を記載するECGメタデータにおけるタグ要素の変形例を示す図。 (a)映像処理装置が送信するHTTP−GETリクエストの一例を示す図。(b)1plane+offsetモードの場合のHTTPレスポンンスヘッダの応答の一例を示す図。(c)2plane+offsetモードの場合のHTTPレスポンンスヘッダの応答の一例を示す図。 実施の形態9におけるデータ放送用データ提供サーバの概略構成図。
<本発明に係る一形態を得るに至った経緯>
3D映像の視聴者は、平面的な2D映像の視聴時とは異なって、映像が画面の手前方向や奥方向に広がりをもつように感じる。
このような3D映像と共に、字幕等表示データを表示させる場合には、字幕等表示データも、3D映像に合わせて適切に3D空間内に配置して表示しなければ、視聴者にとって見づらい表示となる可能性がある。
3D映像と共に3D空間内に適切に字幕等表示データを表示する方法として、1plane+offsetモードと2plane+offsetモードの方法がある(これら3D字幕等表示モードにそれぞれの処理の詳細については後述する。)が、字幕等表示データがどちらの方式で処理されるデータであるかは、字幕等表示データを含むストリームの内容を解析しなければ、判別できない。
3D字幕等表示モードのそれぞれのモードでは、処理方法が異なり、デコーダの数やメモリ量など処理に必要なリソースが異なる。また、これらのリソースは、映像処理装置の他の処理(例えば、裏番組の録画や、録画済みの番組のダビングなどの処理)と共有で使用され、各処理の実行の際には、リソースの確保のために他の処理と調停を行う必要がある。そのため、解析してからリソースを確保して、データを処理するのでは、3D映像と共に表示されるまでに時間がかかる。
本発明者らは、映像処理装置において、字幕等表示データのストリームを処理する前に参照されるべきデータブロックに着目し、このデータブロックに3D字幕等表示モードを識別するための情報(以下、「モード識別情報」と呼ぶ。)を記述したデータを配信するシステムを想到するに至った。このシステムでは、モード識別情報を3D映像と共に表示する表示データを含むデータの処理に先だって処理されるデータブロックに含ませて配信するので、映像処理装置は、3D映像と共に表示する表示データを解析して処理する前に、このモード識別情報に基づいて、3D字幕等表示モードを識別し、それぞれのモードで必要なリソースの確保を開始することができる。これにより、3D映像と共に表示する字幕等表示データが3D映像と共に表示されるまでの時間を短縮できる。
以下、本発明に係る実施の形態について図を参照しながら説明する。
<実施の形態1>
<1.1 概要>
本発明に係る実施の形態の映像処理装置は、放送やデータ配信で用いられているMPEG2−TS(Transport Stream)形式のデータストリームを受信する。
データストリームの送信側(例えば放送局)は、番組(プログラム)を構成する3D映像データ、音声データ、字幕データ、データ放送用データなどをそれぞれ符号化してES(Elementary Stream)を生成し、多重化したデータストリームを配信する。なお、本実施の形態でいうコンテンツの概念には、このように放送やデータ配信される番組を含むものとする。なお、多重化したデータストリームを生成する多重化装置については後述する。このとき、データストリームの送信側は、従来のMPEG2−TS形式のデータストリームに含まれるSI(Service Information)/PSI(Program Specific Information)にモード識別情報を記載して送信する。
映像処理装置は、受信したデータストリームに含まれるSI/PSIに記載されているモード識別情報を、字幕等表示データを含むストリームを処理する前に、抽出して解析することにより3D字幕等表示モードを判別する。
<1.2 データ>
以下、本実施の形態で用いるデータのデータ構造について説明する。
本実施の形態ではMPEG2−TS規格に規定されているSI/PSI情報を利用する。 SIとは番組に関する情報を映像処理装置が解釈可能な形式で符号化した各種テーブルの総称である。これは、ARIB(The Association of Radio Industries and Businesses)によって規定されており、例えば、NIT(Network Information Table)、EIT(Event Information Table)のテーブルがこれに含まれる。
PSIとはTSに含まれる各ESがどの番組に属しているかを記載した情報を映像処理装置が解釈可能な形式で符号化した各種テーブルの総称である。ISO/IEC13818−1及びARIBが策定した規格に規定されており、例えば、PAT(Program Association Table)やPMT(Program Map Table)のテーブルがこれに含まれる。
本実施の形態1では、モード識別情報を記載するテーブルとしてPMTを用いる。
図1はPMTのデータ構造を示す図である。
PMTは、配信する番組の情報や、番組のES構成及び、それぞれのESに関する情報を格納する。
個々のフィールドについては、ISO/IEC13818−1(MPEG−2)にて規定されているため説明を省略し、本実施の形態に関連する部分のみ説明を行なう。
PMTには、同図のファーストループ400のdescriptor()の箇所と、セカンドループ402のdescriptor()の箇所に記述子を記述することができる。
本実施の形態では、1つの番組の途中では3D字幕等表示モードは変わらないものとする。このため、番組全体で共通な情報に関する記述子を定義する箇所であるPMTのファーストループ400に新たにarib_3d_offsetmode_infoという記述子を記述し、モード識別情報として、subtitle_offset_modeと、bml_offset_modeとをこの記述子に記述して、3D字幕等表示モードの判定に用いる。
図2にarib_3d_offsetmode_info記述子のデータ構造を示す。
arib_3d_oiffsetmode_info記述子の中で、subtitle_offset_modeという1bitのフィールドが字幕に関する3D字幕等表示モードを、bml_offset_modeという1bitのフィールドがデータ放送に関する3D字幕等表示モードをそれぞれ識別するために用いるフィールドである。
図3は、subtitle_offset_mode及びbml_offset_modeそれぞれの値と3D字幕等表示モードの関係を表す。図3では、subtitle_offset_mode及びbml_offset_modeの値が「0」の場合は、1plane+offsetモードを示し、「1」の場合は2plane+offsetモードを示す。
本実施の形態の映像処理装置300は、図2で示したarib_3d_offsetmode_info記述子が、図1で示したファーストループ400のdescriptor()の箇所に記載されたPMTを受信する。
<1.3 構成>
図4は、本発明の実施の形態に係る映像処理装置300の機能ブロック図である。
映像処理装置300は、受信部301、デマルチプレクサ302、解析手段303、判定手段304、ビデオデコード手段305、オフセット取得手段306、左目映像出力手段307、右目映像出力手段308、字幕処理手段309、データ放送処理手段310、及び表示用映像出力手段311を含む構成である。
映像処理装置300は、図示されていないプロセッサ、及びRAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスクを含む構成である。また、映像処理装置300の各機能ブロックは、ハードウェアとして構成されているか、もしくは前記プロセッサが前記ROMや前記ハードディスクに記憶されているプログラムを実行することで実現される。
(受信部301)
受信部301は、チューナーであり、放送局や配信センターから配信されたMPEG2−TS形式のストリームデータを受信する。
(デマルチプレクサ302)
デマルチプレクサ302は、受信部301で受信したMPEG2−TSのストリームデータからPATを抽出し解析手段303へ出力する機能を備える。また、解析手段303でPATを解析して得られるPMTのPIDの情報に従って、PMTのPIDを持つTSパケットを解析手段303へ出力する機能を備える。また、解析手段303でPMTを解析して得られる再生対象の番組(プログラム)に関係するTSパケットの持つPIDを選択する機能を備える。そして、PIDに基づいてTSパケットの種類別に、SI/PSI情報のパケットは解析手段303へ、映像データのパケットはビデオデコード手段305へ、字幕データのパケットは字幕処理手段309へ、データ放送に関するデータのパケットはデータ放送処理手段310へ、それぞれ振り分けて出力する機能を備える。
(解析手段303)
解析手段303は、PAT、PMT、NIT、EIT、BIT(Broadcaster Information Table)などのSI/PSIの内容を解析する機能と、PATの解析の結果得られる再生対象の番組(プログラム)のPMTのPIDをデマルチプレクサ302に出力する機能と、PMTの解析の結果得られる再生対象の番組を構成する映像や音声などのデータそれぞれのPIDをマルチプレクサ302に出力する機能と、PMTの解析の結果から得られるモード識別情報を判定手段304に出力する機能とを備える。
(判定手段304)
判定手段304は、解析手段303から出力されたモード識別情報を基に、字幕処理手段309及びデータ放送処理手段310でのデータの処理に使用する3D字幕等表示モードを選択し、選択結果を字幕処理手段309及びデータ放送処理手段310に出力する機能を備える。また、選択した3D字幕等表示モードでの処理に必要なデコーダとプレーンメモリを確保する機能を備える。
(ビデオデコード手段305)
ビデオデコード手段305は、デマルチプレクサ302で振り分けられて入力された3D映像のデータを含むTSパケットから符号化された3D映像データを抽出して復号し、左目用の映像フレームを左目映像出力手段307に、右目用の映像フレームを右目映像出力手段308に、それぞれ出力する機能を備える。例えば、サイドバイサイド方式による3D映像を復号処理したり、MPEG4−MVC形式の3D映像を復号処理したりする。
(オフセット取得手段306)
オフセット取得手段306は、ビデオデコード手段305で復号する3D映像のデータを含むTSパケットに含まれている、3D映像と共に表示する字幕等のデータを3D表示するための処理に用いるoffset値を取得する機能を備える。また、取得したoffset値は、字幕データがある場合には、字幕処理手段309に出力し、データ放送用の表示データがある場合には、データ放送処理手段310に出力する機能を備える。
(左目映像出力手段307)
左目映像出力手段307は、ビデオデコード手段305が出力した左目用映像フレームを表示用映像出力手段311へ出力する機能を備える。左目用映像フレームは、表示用映像出力手段311に出力される前に、左目用字幕映像や左目用データ放送映像が存在すれば、これらの映像と合成され、左目用映像として表示用映像出力手段311に出力される。
(右目映像出力手段308)
右目映像出力手段308は、ビデオデコード手段305が出力した右目用映像フレームを表示用映像出力手段311へ出力する機能を備える。右目用映像フレームは、表示用映像出力手段311に出力される前に、右目用字幕映像や右目用データ放送映像が存在すれば、これらの映像と合成され、右目用映像として表示用映像出力手段311に出力される。
(字幕処理手段309)
図5は、字幕処理手段309の機能ブロック図である。
字幕処理手段309は、第1の字幕処理手段700、第2の字幕処理手段800、及びスイッチ600を含む構成である。
スイッチ600は、判定手段304の判定結果に従って、デマルチプレクサ302で振り分けられ出力した字幕の表示データを含むパケットを、第1の字幕処理手段700に出力するか、第2の字幕処理手段800に出力するのかを切り替える機能を備える。
第1の字幕処理手段700は、1plane+offsetモードで字幕の表示データを含むパケットを処理するためのものであり、字幕デコード手段701、字幕プレーンメモリ702、左字幕シフト出力手段703、及び右字幕シフト出力手段704を含む構成である。
字幕デコード手段701は、デマルチプレクサ302でMPEG2−TSストリームデータから振り分けられた字幕データを含むパケットを復号して字幕プレーンの映像を生成する。
字幕プレーンメモリ702は、判定手段304が、映像処理装置300の持つRAM等の記憶媒体の一部を割り当てた領域であり、字幕デコード手段701で生成した字幕プレーンの映像を保存する。
左字幕シフト出力手段703は、オフセット取得手段306が取得したoffset値に従って、字幕プレーンメモリ702に保存する字幕プレーンの映像を左目用にシフトして左目用字幕映像を出力する。
右字幕シフト出力手段704は、オフセット取得手段306が取得したoffset値に従って、字幕プレーンメモリ702に保存する字幕プレーンの映像を右目用にシフトして右目用字幕映像を出力する。
第2の字幕処理手段800は、2plane+offsetモードで字幕の表示データを含むパケットを処理するためのものであり、左字幕デコード手段801、左字幕プレーンメモリ802、左字幕シフト出力手段803、右字幕デコード手段804、右字幕プレーンメモリ805、及び右字幕シフト出力手段806を含む構成である。
左字幕デコード手段801は、デマルチプレクサ302でMPEG2−TSストリームデータから振り分けられた左目用の字幕データを含むパケットを復号して左字幕プレーンの映像を生成する。
左字幕プレーンメモリ802は、判定手段304が、映像処理装置300の持つRAM等の記憶媒体の一部を割り当てた領域であり、左字幕デコード手段801で生成した左字幕プレーンの映像を保存する。
左字幕シフト出力手段803は、オフセット取得手段306が取得したoffset値に従って、左字幕プレーンメモリ802に保存する左字幕プレーンの映像を左目用にシフトして左目用字幕映像を出力する。
右字幕デコード手段804は、デマルチプレクサ302でMPEG2−TSストリームデータから振り分けられた右目用の字幕データを含むパケットを復号して右字幕プレーンの映像を生成する。
右字幕プレーンメモリ805は、判定手段304が、映像処理装置300の持つRAM等の記憶媒体の一部を割り当てた領域であり、右字幕デコード手段804で生成した右字幕プレーンの映像を保存する。
右字幕シフト出力手段806は、オフセット取得手段306が取得したoffset値に従って、右字幕プレーンメモリ805に保存している右字幕プレーンの映像を右目用にシフトして右目用字幕映像を出力する。
なお、図5は字幕処理手段309の構成は論理的構成を示したものであり、字幕デコード手段701、左字幕デコード手段801、右字幕デコード手段804の物理的字幕デコーダは、判定手段304が処理のたびに割り当てたものである。したがって、同一の物理的字幕デコーダが、必ずしも字幕デコード手段701、左字幕デコード手段801、右字幕デコード手段804のうちのひとつに毎回割り当られるとは限らず、また、これらのいずれにも使用されることがありうる。また、同様に、字幕プレーンメモリ702、左字幕プレーンメモリ802、右字幕プレーンメモリ805の物理的メモリ領域は、判定手段304が処理のたびに割り当てたものである。したがって、同一の物理的メモリ領域が、必ずしも字幕プレーンメモリ702、左字幕プレーンメモリ802、右字幕プレーンメモリ805のうちのひとつに毎回割り当てられるとは限らず、また、これらのいずれにも使用されることがある。また、左字幕シフト手段703と右字幕シフト手段803は物理的には同一のものであっても良い。また、右字幕シフト手段704と右字幕シフト手段806は物理的には同一のものであっても良い。
(データ放送処理手段310)
図6は、データ放送処理手段310の機能ブロック図である。
データ放送処理手段310は、第1のデータ放送処理手段900、第2のデータ放送処理手段1000、及びスイッチ601を含む構成である。
スイッチ601は、判定手段304の判定結果に従って、デマルチプレクサ302で振り分けられ出力したデータ放送用のデータを含むパケットを、第1のデータ放送処理手段900に出力するか、第2のデータ放送処理手段1000に出力するのかを切り替える機能を備える。
第1のデータ放送処理手段900は、1plane+offsetモードでデータ放送用のデータのパケットを処理するためのものであり、
データ放送デコード手段901、データ放送プレーンメモリ902、左データ放送シフト出力手段903、及び右データ放送シフト出力手段904を含む構成である。
データ放送デコード手段901は、デマルチプレクサ302でMPEG2−TSストリームデータから振り分けられたデータ放送用のデータを含むパケットを復号してデータ放送プレーンの映像を生成する。
データ放送プレーンメモリ902は、判定手段304が、映像処理装置300の持つRAM等の記憶媒体の一部を割り当てた領域であり、データ放送デコード手段901で生成したデータ放送プレーンの映像を保存する。
左データ放送シフト出力手段903は、オフセット取得手段306が取得したoffset値に従って、データ放送プレーンメモリ902に保存するデータ放送プレーンの映像を左目用にシフトして左目用データ放送映像を出力する。
右データ放送シフト出力手段904は、オフセット取得手段306が取得したoffset値に従って、データ放送プレーンメモリ902に保存するデータ放送プレーンの映像を右目用にシフトして右目用データ放送映像を出力する。
第2のデータ放送処理手段1000は、2plane+offsetモードでデータ放送用のデータのパケットを処理するためのものであり、左データ放送デコード手段1001、左データ放送プレーンメモリ1002、左データ放送シフト出力手段1003、右データ放送デコード手段1004、右データ放送プレーンメモリ1005、及び右データ放送シフト出力手段1006を含む構成である。
左データ放送デコード手段1001は、デマルチプレクサ302でMPEG2−TSストリームデータから振り分けられた左目用のデータ放送用のデータを含むパケットを復号して左データ放送プレーンの映像を生成する。
左データ放送プレーンメモリ1002は、判定手段304が、映像処理装置300の持つRAM等の記憶媒体の一部を割り当てた領域であり、左データ放送デコード手段1001で生成した左データ放送プレーンの映像を保存する。
左データ放送シフト出力手段1003は、オフセット取得手段306が取得したoffset値に従って、左データ放送プレーンメモリ1002に保存する左データ放送プレーンの映像を左目用にシフトして左目用データ放送映像を出力する。
右データ放送デコード手段1004は、デマルチプレクサ302でMPEG2−TSストリームデータから振り分けられた右目用のデータ放送用のデータを含むパケットを復号して右データ放送プレーンの映像を生成する。
右データ放送プレーンメモリ1005は、判定手段304が、映像処理装置300の持つRAM等の記憶媒体の一部を割り当てた領域であり、右データ放送デコード手段1004で生成した右データ放送プレーンの映像を保存する。
右データ放送シフト出力手段1006は、オフセット取得手段306が取得したoffset値に従って、右データ放送プレーンメモリ1005に保存している右データ放送プレーンの映像を右目用にシフトして右目用データ放送映像を出力する。
なお、図6はデータ放送処理手段310の構成は論理的構成を示したものであり、データ放送デコード手段901、左データ放送デコード手段1001、右データ放送デコード手段1004の物理的データ放送デコーダは、判定手段304が処理のたびに割り当てたものである。したがって、同一の物理的データ放送デコーダが、必ずしもデータ放送デコード手段901、左データ放送デコード手段1001、右データ放送デコード手段1004のうちのひとつに毎回割り当られるとは限らず、また、これらのいずれにも使用されることがありうる。また、同様に、データ放送プレーンメモリ902、左データ放送プレーンメモリ1002、右データ放送プレーンメモリ1005の物理的メモリ領域は、判定手段304が処理のたびに割り当てたものである。したがって、同一の物理的メモリ領域が、必ずしも字幕プレーンメモリ902、左字幕プレーンメモリ1002、右字幕プレーンメモリ1005のうちのひとつに毎回割り当てられるとは限らず、また、これらのいずれにも使用されることがある。また、左字幕シフト手段1003と右字幕シフト手段1003は物理的には同一のものであっても良い。また、右字幕シフト手段904と右字幕シフト手段1006は物理的には同一のものであっても良い。
(表示用映像出力手段311)
表示用映像出力手段311は、左目映像出力手段307、右目映像出力手段308、字幕処理手段309、及びデータ放送処理手段310のそれぞれから出力された表示データを合成して得られた右目用映像と左目用映像とを外部の表示装置312に出力する機能を備える。
表示装置312は、出力された左目用映像と右目用映像とを用いて3D映像として視聴可能な機能を備える。表示装置312は、例えば3D映像対応テレビである。
<1.4 動作>
以下、放送を受信したときを例に映像処理装置300の処理動作について説明する。
図7は、映像処理装置の処理を示すフローチャートである。
まず、受信部301は、放送を受信し、放送に含まれるMPEG2−TSストリームをデマルチプレクサ302へ出力する(ステップS10)。
デマルチプレクサ302は、MPEG2−TSストリームからPATのTSパケットを抽出し、解析手段303へ出力する(ステップS11)。
解析手段303は、デマルチプレクサ302から入力されたTSパケットからPATを抽出し、その内容を解析し、再生する番組に関するPMTのPIDを取り出し、デマルチプレクサ302に通知する(ステップS12)。
デマルチプレクサ302は、PMTのPIDを持つTSパケットを解析手段303へ出力する(ステップS13)。
解析手段303は、受け取ったTSパケットからPMTを抽出し、その内容を解析する(ステップS14)。
解析手段303は、PMTのファーストループ400にarib_3d_offsetmode_info記述子の記載があるかを調べ、arib_3d_offsetmode_info記述子が記載されていれば、その内容を判定手段304に出力する(ステップS15)。
判定手段304は、arib_3d_offsetmode_infoの内容を解析し、字幕処理手段309及びデータ放送処理手段310で使用する3D字幕等表示モードを判別する(ステップS16)。なお、ステップS16の詳しい処理については後述する。
判定手段304は、判定結果を字幕処理手段309及びデータ放送処理手段310に通知する(ステップS17)。更に、判定手段304は、解析手段303に判定結果通知完了を通知する(ステップS18)。
解析手段303は、判定結果通知完了の通知を受けると、再生する番組の映像、字幕、データ放送用の表示データそれぞれを含むESのPIDをデマルチプレクサ302に通知する(ステップS19)。なお、これらのESのPIDはPMTを解析することによって取得する。
デマルチプレクサ302は、受信したTSパケットのうち、解析手段303から通知されたPIDのTSパケットをPIDに応じて、ビデオデコード手段305、字幕処理手段309、データ放送処理手段310にそれぞれ出力する(ステップS20)。
TSパケットが入力されたビデオデコード手段305、字幕処理手段309、データ放送処理手段310は、それぞれ入力されたTSパケットから映像データ、字幕データ、データ放送用データを抽出し、表示用の映像を生成して出力する(ステップS21)。これらの表示用の映像は、合成され表示用映像出力手段311から出力される。
以下、ステップS16における判定手段304の動作を詳しく説明する。
図8は、判定手段304におけるステップS16の処理の詳細を示すフローチャートである。
判定手段304は、解析手段303から送られたarib_3d_offsetmode_infoの中のsubtitle_offset_modeの値が「0」あるか否かを判定し、「0」である場合(ステップS31:Yes)は、字幕処理手段309での3D字幕等表示モードが1plane+offsetモードであると判定し、字幕処理手段309での処理に必要なデコーダとメモリを確保する(ステップS32)。次に、判定手段304は、判定結果を字幕処理手段309に通知する(ステップS33)。ステップS33の処理が完了したら、ステップS37に進む。
一方、ステップS31でNoの場合は、判定手段304は、arib_3d_offsetmode_infoの中のsubtitle_offset_modeの値が「1」であるか否かを判定し、「1」である場合(ステップS34:Yes)は、字幕処理手段309での3D字幕等表示モードが2plane+offsetモードであると判定し、字幕処理手段309での処理に必要なデコーダとメモリを確保する(ステップS35)。次に、判定手段304は、判定結果を字幕処理手段309に通知する(ステップS36)。ステップS36の処理が完了したら、ステップS37に進む。
一方、ステップS34でNoの場合には、ステップS37に進む。
ステップS33、ステップS36の処理が完了及びステップS34でNoの場合には、判定手段304は、arib_3d_offsetmode_infoの中のbml_offset_modeの値が「0」か否かを判定し、「0」である場合(ステップS37:Yes)は、データ放送処理手段310での3D字幕等表示モードが1plane+offsetモードであると判定し、データ放送処理手段310での処理に必要なデコーダとメモリを確保する(ステップS38)。次に、判定手段304は、判定結果をデータ放送処理手段310に通知する(ステップS39)。
一方、ステップS37でNoの場合には、判定手段304は、arib_3d_offsetmode_infoの中のbml_offset_modeの値が「1」であるか否かを判定し、「1」である場合(ステップS40:Yes)は、データ放送処理手段310での3D字幕等表示モードが2plane+offsetモードであると判定し、データ放送処理手段310での処理に必要なデコーダとメモリを確保する(ステップS41)。次に、判定手段304は、判定結果をデータ放送処理手段310に通知する(ステップS42)。
<1.5 実施の形態1の変形例>
(1)新規に定義する記述子の名称は、arib_3d_offsetmode_infoでなくてもよい。既に規格化されて定義されている記述子の名称と異なり、且つモード識別情報が記載されている記述子であることが認識できる名称であれば、任意の名称を用いてよい。
また同様に、subtitle_offset_mode及びbml_offset_modeの名称も任意の名称を用いてよい。
(2)上記実施の形態においては、字幕及びデータ放送用の3D字幕等表示モードの判別のための情報を、arib_3d_offsetmode_info記述子の中のsubtitle_offset_mode及びbml_offset_modeとして、それぞれ1bitを割り当てたフィールドを用いて表したが、1bitのフィールドで記述することに限らない。字幕等の3D字幕等表示モードを識別することができれば、1bitでなくてもよい。
例えば、図9に示すように、arib_3d_offsetmode_info記述子の中で、subtitle_offset_mode及びbml_offset_modeそれぞれに2bitを割り当て、図10に示す値で表現する構成であっても良い。subtitle_offset_mode及びbml_offset_modeそれぞれが取り得る値として、「00」は、3D用の字幕や3D用のデータ放送用データがないことを意味し、「01」は、1plane+offsetモード、「10」は、2plane+offsetモードであることを意味する、なお、「11」は、使用禁止の値であるので、subtitle_offset_mode及びbml_offset_modeは、この値を使用しないことを意味する。
なお、複数の字幕(例えば、1plane+offset用と2plane+offset用の両方)が用意されている場合には、subtitle_offset_modeの値として「11」を使用して、1plane+offset用と2plane+offset用とのデータがあるということを表すこととしてもよい。この場合、2plane+offsetモードでの字幕等の処理に必要なリソースが確保できない時には、1plane+offsetモードでの処理を行ったり、ユーザにどちらの3D字幕等表示モードで処理するか提示して、ユーザの指定したモードで処理するようにしてよい。また、データ放送用の表示データに対しても、bml_offset_modeについて、subtitle_offset_modeついて上記に示したのと同様の方法で処理を行ってもよい。
(3)arib_3d_offsetmode_info記述子のデータ構造を図2で示すデータ構造としたが、3D字幕等表示モードを識別することができるフィールドを含むデータ構造であればどのようなデータ構造であってもよい。
例えば、図11に示すデータ構造としてもよい。
図11では、subtitle_1plan_offset_flagは1bitのフィールドであり、その値が「0」の場合は3D字幕等表示モードが1plane+offsetモードではなく、「1」の場合には3D字幕等表示モードが1plane+offsetモードであるとする。
同様に、subtitle_2plan_offset_flagは1bitのフィールドであり、その値が「0」の場合は3D字幕等表示モードが2plane+offsetモードではなく、「1」の場合には3D字幕等表示モードが2plane+offsetモードであるとする。
なお、subtitle_1plane_offset_flagとsubtitle_2plane_offset_flagが共に「0」の場合は3D字幕の表示データが付随していないとしてもよい。
(4)さらに、図11に示すデータ構造において、番組に3D字幕が必ずひとつだけ付随する場合には、subtitle_1plane_offset_flagとsubtitle_2plane_offset_flagとは、共に「0」若しくは「1」となることを禁止するという制約を課してもよい。
(5)一方、図11に示すデータ構造において、番組に複数の3D字幕(例えば、英語用と日本語用)が付随する場合には、そのうちのどれか一つでも3D字幕の3D字幕等表示モードが1plane+offsetモードである場合にsubtitle_1plane_offset_flagの値を「1」とし、すべての3D字幕の3D字幕等表示モードが1plane+offsetモードでない場合は、subtitle_1plane_offset_flagの値が「0」としてもよい。また、どれかひとつでも3D字幕の3D字幕等表示モードが2plane+offsetモードである場合にはsubtitle_2plane_offset_flagの値を「1」とし、すべての3D字幕の3D字幕等表示モードが2plane+offsetモードでない場合には、subtitle_2plane_offset_flagの値を「0」として、これらの値を用いて3D字幕等表示モードを判定してもよい。
(6)図11において、bml_1plan_offset_flagとbml_2plane_offset_flagとは、3Dデータ放送用の表示データを3D表示する場合の3D字幕等表示モードを識別するためのものである。bml_1plan_offset_flagは、3D字幕におけるsubtitle_1plane_offset_flagに相当し、bml_2plane_offset_flagは、同じくsubtitle_2plane_offset_flagに相当するので上述したsubtitle_1plane_offset_flag及びsubtitle_2plane_offset_flagと同様の方法を用いて、放送用データの表示データの3D字幕等表示モードの判定を行ってもよい。
(7)本実施の形態においては、PMTのファーストループ400にarib_3d_offsetmode_info記述子を記述するとしたが、PMTのES情報記載箇所401のセカンドループ402にarib_3d_offsetmode_info記述子を記載してもよい。
すなわち、3D字幕等表示モードを識別するための情報が記載されたarib_3d_offsetmode_info記述子の記載箇所は、PMTにおいて記述子が記載できる箇所であればどこに記載されていてもよい。
(8)arib_3d_offsetmode_info記述子を記載する代わりに、PMT内の未使用領域(reserved領域)を利用してもよい。すなわち、PMT内にモード識別情報が記述されていればよい。例えば、PMTのreserved領域のうち2bitを、図3に示すsubtitle_offset_modeとbml_offset_modeとして、モード識別情報の記載に利用してもよい。
また、reserved領域のうちのいずれか4bitを利用してもよい。4bitを利用する場合には、図10に示すsubtitle_offset_modeとbml_offset_modeとして、モード識別情報を記載できる。また、4bitのreserved領域を用いる場合には、1bitずつ図11に示すsubtitle_1plane_offset_flag, subtitle_2plane_offset_flag, bml_1plane_offset_flag, bml_2plane_offset_flagとして、モード識別情報を記載してもよい。reserved領域は、例えば、図1で示すreserved403、reserved404及び、reserved405のいずれかを使用する。
(9)また、PMTのreserved領域を利用して、モード識別情報を記述するとしたが、未使用領域の利用は、PMTのreserved領域に限らない。PMT内に記述される記述子のreserved領域を用いてもよい。
例えば、PMTに記述される既存の記述子中のreserved領域を利用し、上述のPMTのreserved領域を利用した方法と同様な方法でモード識別情報を記載してもよい。
(10)また、上記の記述方法を組み合わせてもよい。
<1.6 補足>
(3D字幕等表示モード)
本実施の形態で判別する3D字幕等表示モードの1plane+offsetモードと2plane+offsetモードとについて、図を参照しながら説明する。
図12は1plane+offsetモードの仕組みを概念的に示す図である。
字幕プレーン画像100は符号化された後、字幕表示用ESとして3D映像のES等の他のデータのES(例えば、音声用ES)と共に多重化されて配信される。
映像処理装置300は、受信した字幕表示用ESから抽出した符号化された字幕データを復号して、字幕プレーン画像100を作成する。
映像処理装置300は、字幕プレーン画像100と、3D映像のESに含まれるoffsetの値とを用いて、3D字幕を表示するための左目用字幕画像と右目用字幕画像を生成する。
offsetの値は、3D映像対して適切に字幕を重畳するためのもので、画素数で表される。映像と同期させる必要があるので、3D映像のESに含めて送信される。offsetの値は、3D映像データがMPEG形式で符号化されている場合はGOP(Group of Pictures)や各画像フレームのuser dataとして埋め込まれる。
映像処理装置300は、3D映像の左目映像と重畳する左目用字幕画像を出力する際には、作成した字幕プレーン画像100をoffsetの値分の画素数だけ右にシフトした左目字幕画像101を出力し、3D映像の右目映像と重畳する右目用字幕画像を出力する際には、作成した字幕プレーン画像100をoffsetの値分の画素数だけ左にシフトした画像を右目字幕画像102として出力する。左目字幕画像101と右目字幕画像102とにより、字幕プレーン103は3D映像の画面よりも手前に位置しているように見える。
なお、offsetの値がマイナスの値である場合は、字幕プレーン画像100の画像を左にシフトしたものを左目字幕画像101とし、右にシフトしたものを右目字幕画像102として出力する。この場合、字幕プレーン103は3D映像の画面よりも奥に位置しているように見える。
このように、シフトするoffsetの値によって字幕プレーン103の奥行きを設定することができる。1plane+offsetでは、ひとつの字幕プレーン用メモリで処理可能なため、本3D字幕等表示モードによる処理は2plane+offsetモードに比べて少ないデコーダとメモリで済むというメリットがある。しかし、平面的な画像を画面より手前に配置、もしくは、画面より奥に配置するというもののため、字幕のテキストなどのオブジェクト自体を立体的に見せることはできないというデメリットがある。
図13は、2plane+offsetモードの仕組みを概念的に示す図である。
2plane+offsetモードでは、字幕は、左目用の字幕データと右目用の字幕データの2つによって構成される。これら2つの字幕データは、それぞれ符号化されたあと、別々のESとして3D映像のES等の他のデータのES(例えば、音声のES)と共に多重化されて配信される。
映像処理装置300は、受信した2つの字幕用ESをそれぞれ復号する。まず、左目用の字幕データは、左目用の字幕データ用に確保されたデコーダで復号して、左字幕プレーン画像200を作成する。一方、右目用の字幕データは、右目用の字幕データ用に確保されたデコーダで復号して右字幕プレーン画像201を作成する。
映像処理装置300は、作成した左字幕プレーン画像200を、3D映像のESに含まれるoffsetの値分の画素数だけ右にシフトした画像を左目字幕画像202として生成し、作成した右字幕プレーン画像201を3D映像のESに含まれるoffsetの値分の画素数だけ左にシフトした画像を右目字幕画像203として生成する。左目字幕画像202は、左目映像と、右目字幕画像203は右目映像と重畳して出力することにより、字幕プレーン204は3D映像の画面より手前に位置しているように見える。なお、offsetの値がマイナスの値である場合は、左目字幕画像202は、左字幕プレーン画像200を左にシフトして生成し、右目字幕画像203は、右字幕プレーン画像201を右にシフトして生成する。この場合、字幕プレーン204は、3D映像の画面よりも奥に位置しているように見える。このように、シフトするoffsetの値によって字幕プレーン204の奥行きを設定することができる。
2plane+offsetモードでは、左目用字幕画像と右目用字幕画像で別々の字幕プレーン画像を用いるので、字幕自体を立体的に見せることが可能である。しかし、字幕用に使用するデコーダや字幕プレーンメモリが2つずつ必要となるので、1plane+offsetモードに比べて映像処理装置300の処理の負荷が大きいというデメリットがある。
なお、ARIB規格では、字幕プレーンに字幕及び文字スーパーをそれぞれ別途表示することができ、文字スーパーについても、字幕と同様の処理で立体視を実現できる。したがって、本実施の形態における字幕の概念には、ARIB規格における文字スーパーも含むものとする。
(多重化装置3000)
次に、本実施の形態の映像処理装置300が受信する多重化したデータストリームを生成する多重化装置について説明する。
図14は、放送や配信に用いられるMPEG2−TSを生成する多重化装置3000の概略構成図である。
多重化装置3000は、多重化手段3001、ビデオデータ蓄積手段3002、ビデオ入力手段3003、オーディオデータ蓄積手段3004、オーディオ入力手段3005、字幕データ蓄積手段3006、字幕入力手段3007、データ放送用データ蓄積手段3008、データ放送用データ入力手段3009、番組情報入力手段3010、及びSI/PSI生成手段3011を含む構成である。
多重化装置3000は、図示しないプロセッサ及びメモリを含んで構成されており、多重化手段3001、ビデオ入力手段3003、オーディオ入力手段3005、字幕入力手段3007、データ放送用データ入力手段3009、番組情報入力手段3010、及びSI/PSI生成手段3011の機能は、このメモリに記憶されているプログラムをこのプロセッサが実行することにより実現される。
多重化手段3001は、ビデオ入力手段3003、オーディオ入力手段3005、字幕入力手段3007、データ放送用データ入力手段3009、及びSI/PSI生成手段3011からそれぞれ出力されたビデオデータ、オーディオデータ、字幕データ、データ放送データ及びSI/PSIからTSストリームを生成する。
ビデオデータ蓄積手段3002は、ハードディスクなどの記憶媒体で構成され、ビデオデータを蓄積する。
ビデオ入力手段3003は、ビデオデータ蓄積手段3002からビデオデータを読み出し、符号化を行い、多重化手段3001に出力する機能と、SI/PSI生成手段3011にSI/PSI構築に必要なビデオデータに関する情報を出力する機能を備える。
オーディオデータ蓄積手段3004は、ハードディスクなどの記憶媒体で構成され、オーディオデータを蓄積する。
オーディオ入力手段3005は、オーディオデータ蓄積手段3004からオーディオデータを読み出し、符号化を行い、多重化手段3001に出力する機能と、SI/PSI生成手段3011にSI/PSI構築に必要なオーディオデータに関する情報を出力する機能を備える。
字幕データ蓄積手段3006は、ハードディスクなどの記憶媒体で構成され、字幕データを蓄積する。
字幕入力手段3007は、字幕データ蓄積手段3006から字幕データを読み出し、符号化を行い、多重化手段3001に出力する機能と、SI/PSI生成手段3011にSI/PSI構築に必要な字幕データに関する情報を出力する機能を備える。このとき、字幕データがどの3D字幕等表示モードで処理するデータであるのかの情報も字幕データと共に字幕データ蓄積手段3006に記憶されており、字幕入力手段3007は、この3D字幕等表示モードに関する情報をSI/PSI生成手段3011に出力する。
データ放送用データ蓄積手段3008は、ハードディスクなどの記憶媒体で構成され、データ放送用データを蓄積する。
データ放送用データ入力手段3009は、データ放送用データ蓄積手段3008から字幕データを読み出し、符号化を行い、多重化手段3001に出力する機能と、SI/PSI生成手段3011にSI/PSI構築に必要なデータ放送用データに関する情報を出力する機能を備える。このとき、データ放送用データがどの3D字幕等表示モードで処理するータであるのかの情報もデータ放送用データと共にデータ放送用データ蓄積手段3008に記憶されており、データ放送用データ入力手段3009は、この3D字幕等表示モードに関する情報をSI/PSI生成手段3011に出力する。
番組情報入力手段3010は、EITの生成に必要な番組構成情報をSI/PSI生成手段3011に出力する。
SI/PSI生成手段3011は、ビデオ入力手段3003、オーディオ入力手段3005、字幕入力手段3007、データ放送用データ入力手段3009、番組情報入力手段3010から入力された情報に基づいて、SI/PSIの情報を生成し、多重化手段3001に生成したSI/PSIの情報を出力する。
SI/PSI生成手段3011は、字幕入力手段3007から得られる3D字幕等表示モードの情報に従って、subtitle_offset_modeに3D字幕等表示モードの値を設定したarib_3d_offsetmode_info記述子をPMTのファーストループ400に記載する。
また、SI/PSI生成手段3011は、データ放送用データ入力手段3009から得られる3D字幕等表示モードの情報に従って、bml_offset_modeに3D字幕等表示モードの値を設定したarib_3d_offsetmode_info記述子をPMTのファーストループ400に記載する。
<1.7 まとめ>
本実施の形態の映像処理装置は、受信したPMTに記載されたモード識別情報から、3D字幕等表示モードを判別する。PMTは、3D映像や字幕等表示データを含むESを処理する前に処理されるべきデータブロックなので、字幕等表示データを処理する前に3D字幕等表示モードを判別してリソースを確保することができる。このため、表示データを3D映像と共に表示するまでの時間を短縮することができる。
<実施の形態2>
<2.1 概要>
実施の形態1では、新たに定義したarib_3d_offsetmode_info記述子を用いるとしたが、本実施の形態では、既に規格化されている記述子であるデータ符号化方式記述子(data_component_descriptor)のフィールドを利用する点が異なる。本実施の形態の映像処理装置は、PMTのファーストループ400ではなく、セカンドループ402に記載されたデータ符号化方式記述子のdata_component_idからモード識別情報を抽出して、3D字幕等表示モードを判別する。
図1で示すように、セカンドループ402は、ES情報記載箇所401に含まれる。ES情報記載箇所は、この番組に係るES毎の情報を記載する箇所である。このため、ES情報記載箇所401のforループは、この番組に係るESの数だけ繰り返される。
同図のelementary_PIDはTSのそれぞれのパケットであるトランスポートパケットを識別するための情報である。同一の映像ES、同一の字幕ES、同一のSI/PSIのテーブルのトランスポートパケットは、それぞれ同じelementary_PIDが付与されて送信される。なお、elementary_PIDは単にPIDとも呼ばれる。
本実施の形態では、字幕に対するモード識別情報は、字幕データを含むESのPIDに対応したdescriptorの記述箇所のデータ符号化方式記述子に記述し、データ放送用の表示データに対するモード識別情報は、データ放送用の表示データを含むESのPIDに対応したdescriptorの記述箇所のデータ符号化方式記述子に記述する。
<2.2 データ>
図15は、データ符号化方式記述子のデータ構造を示す図である。
データ符号化方式記述子の各フィールドについては、ARIBが策定した規格に規定されているため説明を省略し、本実施の形態に関連する部分のみ説明を行なう。
本実施の形態においては、データ符号化方式記述子の中のdata_component_idのフィールドにモード識別情報を記載する。data_component_id1501は、16bitのデータ長を持つ。
ARIBの規格では、従来の字幕を表すdata_component_idの値は0x0008であるが本実施の形態では、data_component_idに図16で示す値を用いる。図16で示すように1plane+offsetモードで処理する3D字幕の場合は、0x0100、2plane+offsetモードで処理する3D字幕の場合は、0x0200、1plane+offsetモードで処理するデータ放送用の表示データの場合は、0x0400、2plane+offsetモードで処理するデータ放送用の表示データの場合は、0x0800の値を用いる。
<2.3 構成>
本実施の形態の映像処理装置の構成で、実施の形態1の映像処理装置300と同じ構成のものは説明を省略し、異なる点を重点的に説明する。なお、本実施の形態で用いる映像処理装置の符号は、説明の都合上、実施の形態1と同じ符号を用いる。
実施の形態1と異なる点は、解析手段303がPMTのファーストループに記載されたarib_3d_offsetmode_infoからモード識別情報を抽出するのではなく、セカンドループ402に記載されるデータ符号化方式記述子内のdata_component_idからモード識別情報を抽出し判定手段304に出力する点と、判定手段304がarib_3d_offsetmode_info記述子に記載したモード識別情報ではなく、データ符号化方式記述子のdata_component_idの値に基づいて3D字幕等表示モードを判別する点である。
<2.4 動作>
本実施の形態における映像処理装置300の動作は、図7のステップS15で、解析手段303がPMTのファーストループ400にあるarib_3d_offsetmode_info記述子の代わりにPMTのセカンドループ402にあるデータ符号化方式記述子を抽出してその内容を判定手段304に出力する点と、ステップS16で判定手段304が、データ符号化方式記述子からdata_component_idの値を抽出し、3D字幕等表示モードを判別する点が実施の形態1と異なる。それ以外のステップは、実施の形態1と同じであるので説明を省略する。
図17は、実施の形態2の映像処理装置300の判定手段304でのステップS16の処理の詳細を示すフローチャートである。
判定手段304は、解析手段303から入力されたデータ符号化方式記述子からdata_component_idを抽出し、data_component_idの値が0x0100に一致するか否かを判定する(ステップS51)。判定手段304は、data_component_idの値が0x0100に一致する場合(ステップS51:Yes)、字幕処理手段309での3D字幕等表示モードが1plane+offsetモードであると判定し、字幕処理手段309での処理に必要なデコーダとメモリを確保する(ステップS52)。次に、判定手段304は、判定結果を字幕処理手段309に通知し(ステップS53)、ステップS16の処理を完了する。
一方、ステップS51でNoの場合には、判定手段304は、data_component_idの値が0x0200に一致するか否かを判定する(ステップS54)。判定手段304は、data_component_idの値が0x0200に一致する場合(ステップS54:Yes)、字幕処理手段309での3D字幕等表示モードが2plane+offsetモードであると判定し、字幕処理手段309での処理に必要なデコーダとメモリを確保する(ステップS55)。次に、判定手段304は、判定結果を字幕処理手段309に通知し(ステップS56)、ステップS16の処理を完了する。
ステップS54でNoの場合には、判定手段304は、data_component_idの値が0x0400に一致するか否かを判定する(ステップS57)。判定手段304は、data_component_idの値が0x0400に一致する場合(ステップS57:Yes)、データ放送処理手段310での3D字幕等表示モードが1plane+offsetモードであると判定し、データ放送処理手段310での処理に必要なデコーダとメモリを確保する(ステップS58)。次に、判定手段304は、判定結果をデータ放送処理手段310に通知し(ステップS59)、ステップS16の処理を完了する。
更に、判定手段304は、ステップS57でNoの場合には、data_component_idの値が0x0800に一致するか否かを判定する(ステップS60)。判定手段304は、data_component_idの値が0x0800に一致する場合(ステップS60:Yes)、データ放送処理手段310での3D字幕等表示モードが2plane+offsetモードであると判定し、データ放送処理手段310での処理に必要なデコーダとメモリを確保する(ステップS61)。次に、判定手段304は、判定結果をデータ放送処理手段310に通知し(ステップS62)、ステップS16の処理を完了する。
なお、本実施の形態では、PMTのセカンドループに記述されるデータ符号化方式記述子に記述されるモード識別情報によって3D字幕等表示モードを判定している。データ符号化方式記述子は、PMT内の番組を構成する各ESに関する情報に含まれるため、判定手段304は、ステップS51の処理を行う前に、字幕データを含むESに関する情報の記載部分のデータ符号化方式記述子であるか、データ放送用の表示データを含むESに関する情報の記載部分のデータ符号化方式記述子であるかを識別し、字幕データを含むESに関する情報である場合には、ステップS51に進み、データ放送の表示データを含むESの場合はステップS57の処理に進むようにしてもよい。
<2.5 実施の形態2の変形例>
(1)data_component_idで用いるモード識別情報の値として図16で示す値を用いたが、モード識別情報で用いる値は、これに限らない。data_component_idに割り当てられたbit長で表現でき、それぞれの処理モードが識別できる値であればどのような値を用いてもよい。
<2.6 補足>
多重化装置3000のSI/PSI生成手段3011は、字幕入力手段3007から出力されたモード識別情報を、PMTのセカンドループ402のうち、字幕を含むESに関する情報を記載した箇所のデータ符号化方式記述子に設定する。また、データ放送用データ入力手段3009から出力されたモード識別情報をPMTのセカンドループ402のうち、データ放送用の表示データを含むESに関する情報を記載した箇所のデータ符号化方式記述子に設定する。
<2.7 まとめ>
本実施の形態の映像処理装置は、既存の記述子のフィールドを利用して、モード識別情報を記述できるので、実施の形態1のように新たに記述子を定義することなく、また既存の記述子のフィールドを拡張することもなく、3D字幕等表示モードを識別することができる。
<実施の形態3>
<3.1 概要>
実施の形態2では、PMTのセカンドループ402に記載される既に規格化されている記述子であるデータ符号化方式記述子(data_component_descriptor)内のdata_component_idにモード識別情報を記述するとしたが、本実施の形態では、データ符号化方式記述子の未使用領域(reserved領域)にモード識別情報を記述する点で異なる。
本実施の形態の映像処理装置は、PMTのファーストループ400ではなく、セカンドループ402に記載されたデータ符号化方式記述子のreserved領域からモード識別情報を抽出して、3D字幕等表示モードを判別する。
<3.2 データ>
本実施の形態で用いるデータのデータ構造について説明する。
本実施の形態では、図15に示すデータ符号化方式記述子にadditional_data_component_infoのひとつとして記載するadditional_arib_bxml_info記述子を用いる。
図18に、additional_arib_bxml_infoのデータ構成を示す。
本実施の形態では、reserved_future_use1801の4bitのうち下位2bitを、図3で示したsubtitle_offset_modeとbml_offset_modeの情報を記述するために用いる。subtitle_offset_modeとbml_offset_modeとが取り得る値については、実施の形態1と同じなので説明を省略する。
<3.3 構成>
本実施の形態の映像処理装置の構成で、実施の形態1の映像処理装置300と同じ構成のものは説明を省略し、異なる点を重点的に説明する。なお、本実施の形態で用いる映像処理装置の符号は、説明の都合上、実施の形態1と同じ符号を用いる。
実施の形態1と異なる点は、解析手段303がPMTのファーストループに記載された
arib_3d_offsetmode_infoからモード識別情報を抽出するのではなく、データ符号化方式記述子内の未使用領域に記載されたモード識別情報を抽出し判定手段304に出力する点と、判定手段304が、このモード識別情報に基づいて3D字幕等表示モードを判別する点である。
<3.4 動作>
本実施の形態における映像処理装置300の動作は、図7のステップS15で、解析手段303がPMTのファーストループ400にarib_3d_offsetmode_info記述子の代わりにPMTのセカンドループ402にあるデータ符号化方式記述子を抽出してその内容を判定手段304に出力する点と、ステップS16で判定手段304が、reserved_future_use1801の下位2bitの値を抽出し、この値に基づいて3D字幕等表示モードを判別する点で実施の形態2と異なる。それ以外のステップは、実施の形態2と同じであるので説明を省略する。
判定手段304は、ステップS16でreserved_future_use1801の下位2bitの値が、「00」の場合は、字幕とデータ放送用の表示データが共に1plane+offsetモードであると判定し、「01」の場合は、字幕が1plane+offsetモードであり、データ放送用の表示データは2plane+offsetモードであると判別する。「10」の場合は、字幕は2plane+offsetモードであり、データ放送用の表示データは1plane+offsetモードであると判定し、「11」の場合は、字幕とデータ放送用の表示データが共に2plane+offsetモードであると判定する。
<3.5 実施の形態3の変形例>
(1)本実施の形態においては、reserved_future_use1801の下位2bitにモード識別情報を記述するとしたが、モード識別情報の記載は、reserved_future_use1801の下位2bitを用いることに限らない。モード識別情報用に2bitが確保できればよい。例えば、reserved_future_use1801の上位2bitに記述してもよい。
(2)また、reserved_future_use1801を用いるとしたが、用いる未使用領域は、reserved_future_use1801に限らない。データ符号化方式記述子内の未使用領域であればどこを用いてもよい。例えば、図18で示すデータ符号化方式記述子内のadditional_arib_bxml_info記述子には、additional_arib_carousel_info記述子が記載されているので、この記述子の未使用領域に記載してもよい。また、図19で示すadditional_arib_carousel_infoのデータ構造のReservedのうちの2bitに記述してもよい。
(3)本実施の形態においては、モード識別情報として図3に示すsubtitle_offset_modeとbml_offset_modeの値を記述するとしたが、モード識別情報は、この値を用いることに限らない。3D字幕等表示モードを識別できる情報であればよい。例えば、reserved_future_use1801の4bitを用いて、図10で示したsubtitle_offset_modeとbml_offset_modeとの値を記述してもよい。
また、reserved_future_use1801の4bitを用いて、図11で示したsubtitle_1plane_offset_flag、 subtitle_2plane_offset_flag、 bml_1plane_offset_flag、bml_2plane_offset_flagの値を記述してもよい。
<3.6 まとめ>
本実施の形態の映像処理装置は、既存の記述子の未使用領域を利用して、モード識別情報を記述できるので、実施の形態1のように新たに記述子を定義することなく、また、記述子のフィールドを拡張することもなく、3D字幕等表示モードを識別することができる。
<実施の形態4>
<4.1 概要>
実施の形態1においては、PSI情報の1つであるPMTにarib_3d_offsetmode_info記述子を記載するとしたが、本実施の形態では、PMTではなく、SI情報のひとつであるEITにarib_3d_offsetmode_info記述子を記載する点が異なる。本実施の形態の映像処理装置は、EITに記載された記述子に含まれるモード識別情報を抽出して判定を行う。
<4.2 データ>
以下、本実施の形態で用いるEITのデータ構造について説明する。
図20は、EITのデータ構造を示す図である。
EITは、番組の名称や放送日時、放送内容など番組に関連する情報を格納する。個々のフィールドについては、ARIBが策定した規格に規定されているため説明を省略し、本実施の形態に関連する部分のみ説明を行なう。
EITにおいては、arib_3d_offsetmode_info記述子は、forループで囲まれたdescriptor1401の箇所に記載する。なお、このdescriptor1401は、このEITに記載されている番組毎に異なる情報が記述された記述子である。
arib_3d_offsetmode_info記述子は、実施の形態1と同じなので説明を省略する。
PMTは各番組を構成するデータとセットで送られるのに対して、EITは、番組の放送に先立って送られ、EPG(Electronic Program Guide)を構築するのに利用される。また、録画や視聴の予約にも利用される。
<4.3 構成>
本実施の形態の映像処理装置の構成で、実施の形態1の映像処理装置300と同じ構成のものは説明を省略し、異なる点を重点的に説明する。なお、本実施の形態で用いる映像処理装置の符号は、説明の都合上、実施の形態1と同じ符号を用いる。
解析手段303が、PMTではなく、EITに含まれるモード識別情報に基づいて3D字幕等表示モードを判別する点が実施の形態1と異なる。
<4.4 動作>
ユーザが、EITに含まれる複数の番組のうちの1つの番組を視聴予約した場合を例に映像処理装置300の動作を説明する。
視聴予約した番組の開始時間になると映像処理装置300は、予約した番組のストリームデータを受信部301で受信する。解析手段303は、図7のステップS15で、前もって受信していたEITに含まれる視聴予約番組に関する情報のうちのarib_3d_offsetmode_info記述子を抽出して、判定手段304に出力する。
以降の処理は、実施の形態1と同じなので説明を省略する。
<4.5 実施の形態4の変形例>
(1)本実施の形態では、番組開始時にEITからモード識別情報を抽出するとしたが、EITからモード識別情報を抽出する処理は、番組開始時に限らない。EITは番組開始より前に受信しているので、番組開始以前に、EITに情報が記載されている各番組の3D字幕等の表示モードを判定し、記憶しておいてもよい。例えば、EITを受信した際に、EITに含まれるarib_3d_offsetmode_info記述子の内容を抽出し、保存しておき、番組開始時に、判定手段304が保存した内容に基づいて3D字幕等表示モードの判定を行うようにしてもよい。また、前もって判定までを行い、その判定結果を保存しておき、番組の開始時にその判定結果を読み出して、以降の処理を行うようにしてもよい。
(2)本実施の形態においては、EITに新たに定義したarib_3d_offsetmode_info記述子を記載するとしたが、新たに記述子を定義しなくてもよい。EITにモード識別情報が記述されていればよい。例えば、arib_3d_offsetmode_info記述子を記載する代わりに、EITの未使用領域(reserved領域)を使用してもよい。
具体的には、EITのreserved領域のうちのいずれか2bitを、図3に示すsubtitle_offset_modeとbml_offset_modeの値を記述することによって、3D字幕等表示モードを判別するようにしてもよい。
(3)なお、未使用領域を利用するのは、2bitに限られない。モード識別情報の記述に必要なbitを割り当ててよい。例えば、未使用領域のうちのいずれか4bitに、図12に示すsubtitle_offset_modeとbml_offset_modeの値を記述することによって、3D字幕等表示モードを判別するようにしてもよい。
(4)また、未使用領域のうちのいずれか4bitを利用する場合には、図11に示すsubtitle_1plane_offset_flag、 subtitle_2plane_offset_flag、 bml_1plane_offset_flag、 bml_2plane_offset_flagの値を記述して、3D字幕等表示モードを判別するようにしてもよい。
(5)また、上記のモード識別情報の記述方法を組み合わせてもよい。
(6)EITは番組の放送や配信前に映像処理装置に配信されるものであるため、緊急放送などにより、実際に放送される内容が、EITで配信された情報と異なるものとなる場合もある。このため、実施の形態1に示したPMTを用いた識別方法と組み合わせて処理してもよい。
<4.6 補足>
多重化装置3000のSI/PSI生成手段3011は、番組情報入力手段3010から入力された番組構成情報に基づいてEITを生成するが、このとき、番組情報入力手段3010は、番組毎の字幕の3D字幕等表示モード、データ放送用の表示データの3D字幕等表示モードをSI/PSI生成手段3011に出力する。SI/PSI生成手段3011は、番組情報入力手段3010から出力された情報に基づき、EITの各番組に関する情報を記述する箇所に、モード識別情報を設定する。
<4.7 まとめ>
本実施の形態の映像処理装置は、受信したEITに記載された番組毎のモード識別情報から、3D字幕等表示モードを判別する。
EITは、番組の放送に先だって送信されるため、番組に係る字幕等表示データを処理する前に3D字幕等表示モードを判別し、リソースを確保することができる。このため、表示データを3D映像と共に表示するまでの時間を短縮することができる。
<実施の形態5>
<5.1 概要>
実施の形態4では、EITの番組に係る情報の記載箇所に、新たに定義した記述子であるarib_3d_offsetmode_info記述子にモード識別情報を記載し、映像処理装置がこのモード識別情報を抽出して3D字幕等表示モードを判別したが、本実施の形態では、規格化されている既存の記述子であるデータコンテンツ記述子(data_content_descriptor)にモード識別情報を記載し、このモード識別情報を抽出することによって3D字幕等表示モードを判別する。
<5.2 データ>
図21は、データコンテンツ記述子のデータ構造を示す図である。
データコンテンツ記述子の各フィールドについては、ARIBが策定した規格に規定されているため説明を省略し、本実施の形態に関連する部分のみ説明を行なう。
本実施の形態では、データコンテンツ記述子中のdata_component_id1701にモード識別情報を記述する。
字幕やデータ放送用の表示データの3D字幕等表示モードを識別するための値として、図16に示すものを使用する。
EITは、番組に係る個々のESの情報ではなく、番組に係るESに共通の情報を記述するものであるため、data_component_id1701で、字幕及びデータ放送用の表示データのそれぞれについて3D字幕等表示モードを識別できるようにする必要がある。data_component_idの各値については、既に説明したので説明を省略する。
字幕とデータ放送用の表示データの両方の3D字幕等表示モードを識別できるようにするために、それぞれの値の和を利用する。具体的には、例えば、字幕が2plane+offsetモードで処理され、データ放送用の表示データが1plane+offsetモードで処理されるべきデータである場合には、0x0200と0x0400の和をとり、0x0600を設定する。また、字幕とデータ放送用の表示データが共に2plane+offsetモードで処理されるべきデータである場合には、0x0200と0x0800の和をとり、0x0A00を設定する。他の組み合わせでも同様に和をとった値を用いる。
<5.3 構成>
本実施の形態の映像処理装置の構成で、実施の形態4の映像処理装置300と同じ構成のものは説明を省略し、異なる点を重点的に説明する。なお、本実施の形態で用いる映像処理装置の符号は、説明の都合上、実施の形態4と同じ符号を用いる。
実施の形態4と異なる点は、解析手段303がEITのarib_3d_offsetmode_infoからモード識別情報を抽出するのではなく、データコンテンツ記述子内のdata_component_idをモード識別情報として抽出し、判定手段304に出力する点と、判定手段304がdata_component_idの値に基づいて3D字幕等表示モードを判別する点である。
<5.4 動作>
本実施の形態における映像処理装置300の動作は、図7のステップS15で、解析手段303が、データコンテンツ記述子を抽出し、判定手段304に出力する点と、ステップS16で判定手段304が、データコンテンツ記述子からdata_component_idの値を抽出し、その値に基づいて3D字幕等表示モードを判別する点で、実施の形態4と異なる。それ以外のステップは、実施の形態4と同じであるので説明を省略する。
以下、本実施の形態でのステップS16の処理の詳細を説明する。
図22は、本実施の形態の映像処理装置300の判定手段304でのステップS16の処理の詳細を示すフローチャートである。
判定手段304は、解析手段303から入力されたデータコンテンツ記述子からdata_component_idを抽出し、data_component_idの値と0x0100の論理積を求め、その結果が「0」であるか否かを判定する(ステップS71)。判定手段304は、論理積の結果が「0」でない場合(ステップS71:Yes)、字幕処理手段309での3D字幕等表示モードが1plane+offsetモードであると判定し、字幕処理手段309での処理に必要なデコーダとメモリを確保する(ステップS72)。次に、判定手段304は、判定結果を字幕処理手段309に通知し(ステップS73)、ステップS77に進む。
一方、ステップS71でNoの場合には、判定手段304は、data_component_idの値と0x0200の論理積を求め、その結果が「0」であるか否かを判定する(ステップS74)。判定手段304は、論理積の結果が「0」でない場合(ステップS74:Yes)、字幕処理手段309での3D字幕等表示モードが2plane+offsetモードであると判定し、字幕処理手段309での処理に必要なデコーダとメモリを確保する(ステップS75)。次に、判定手段304は、判定結果を字幕処理手段309に通知し(ステップS76)、ステップS77に進む。
ステップS74でNoの場合には、判定手段304は、data_component_idの値と0x0400の論理積を求め、その結果が「0」であるか否かを判定する(ステップS77)。判定手段304は、論理積の結果が「0」でない場合(ステップS77:Yes)、データ放送処理手段310での3D字幕等表示モードが1plane+offsetモードであると判定し、データ放送処理手段310での処理に必要なデコーダとメモリを確保する(ステップS78)。次に、判定手段304は、判定結果をデータ放送処理手段310に通知し(ステップS79)、ステップS16の処理を完了する。
更に、判定手段304は、ステップS77でNoの場合には、data_component_idの値と0x0800の論理積を求め、その結果が「0」であるか否かを判定する(ステップS80)。判定手段304は、論理積の結果が「0」でない場合(ステップS80:Yes)、データ放送処理手段310での3D字幕等表示モードが2plane+offsetモードであると判定し、データ放送処理手段310での処理に必要なデコーダとメモリを確保する(ステップS81)。次に、判定手段304は、判定結果をデータ放送処理手段310に通知し(ステップS82)、ステップS16の処理を完了する。
<5.5 実施の形態5の変形例>
(1)data_component_idで用いるモード識別情報の値として図16で示す値を用いたが、モード識別情報で用いる値は、これに限らない。data_component_idに割り当てられたbit長で表現でき、字幕及びデータ放送用の表示データの3D字幕等表示モードがそれぞれ判別できる値であればどのような値を用いてもよい。
<5.6 まとめ>
本実施の形態の映像処理装置は、既存の記述子のフィールドを利用して、モード識別情報を記述できるので、実施の形態4のように新たに記述子を定義することなく、また、記述子のフィールドを拡張することなく、3D字幕等表示モードを識別することができる。<実施の形態6>
<6.1 概要>
実施の形態5では、規格化されている既存の記述子であるデータコンテンツ記述子の
data_component_idにモード識別情報を記載し、このモード識別情報を抽出することによって3D字幕等表示モードを判別するとしたが、本実施の形態では、データコンテンツ記述子の未使用領域(reserved領域)として定義されているフィールドにモード識別情報を記載し、このモード識別情報を抽出することによって3D字幕等表示モードを判別する。
<6.2 データ>
本実施の形態で用いるデータのデータ構造について説明する。
本実施の形態では、図21に示すデータコンテンツ記述子に一連のselector_byteのひとつとして記載されるarib_bxml_info記述子を用いる。
図23は、arib_bxml_info記述子のデータ構造を示す図である。
本実施の形態では、arib_bxml_info記述子のreserved_future_use2001の6bitのうち下位2bitを、図3で示したsubtitle_offset_modeとbml_offset_modeの情報を記述するために用いる。subtitle_offset_modeとbml_offset_modeとが取り得る値については、実施の形態1と同じなので説明を省略する。
<6.3 構成>
本実施の形態の映像処理装置の構成で、実施の形態5の映像処理装置300と同じ構成のものは説明を省略し、異なる点を重点的に説明する。なお、本実施の形態で用いる映像処理装置の符号は、説明の都合上、実施の形態5と同じ符号を用いる。
実施の形態5と異なる点は、データコンテンツ記述子内のdata_component_idからモード識別情報を抽出するのではなく、データコンテンツ記述子内の未使用領域に記載されたモード識別情報を抽出し判定手段304に出力する点と、判定手段304が、このモード識別情報に基づいて3D字幕等表示モードを判別する点である。
<6.4 動作>
本実施の形態における映像処理装置300の動作は、図7のステップS16で判定手段304が、データコンテンツ記述子のからreserved_future_use2001の下位2bitの値を抽出し、その値に基づいて3D字幕等表示モードを判別する点で、実施の形態5と異なる。それ以外のステップは、実施の形態5と同じであるので説明を省略する。
判定手段304は、ステップS16でreserved_future_use2001の下位2bitの値が、「00」の場合は、字幕とデータ放送用の表示データが共に1plane+offsetモードであると判定し、「01」の場合は、字幕が1plane+offsetモードであり、データ放送用の表示データは2plane+offsetモードであると判別する。「10」の場合は、字幕は2plane+offsetモードであり、データ放送用の表示データは2plane+offsetモードであると判定し、「11」の場合は、字幕とデータ放送用の表示データが共に2plane+offsetモードであると判定する。
<6.5 実施の形態6の変形例>
(1)本実施の形態においては、reserved_future_use2001の下位2bitにモード識別情報を記述するとしたが、モード識別情報の記載は、reserved_future_use2001の下位2bitへの記載に限らない。モード識別情報用に2bitが確保できればよい。例えば、reserved_future_use2001の上位2bitに記述してもよい。
(2)また、モード識別情報は、reserved_future_use2001に記載することに限らない。データコンテンツ記述子の未使用領域であれば、どこを用いてもよい。例えば、図23のarib_bxml_info記述子には、arib_carousel_info記述子が含まれており、この記述子の未使用領域に記載してもよい。具体的には、図24で示すarib_carousel_infoのReservedの2bitに記述してもよい。
(3)本実施の形態においては、モード識別情報として図3に示すsubtitle_offset_modeとbml_offset_modeの値を記述するとしたが、モード識別情報は、この値を用いることに限らない。3D字幕等表示モードを識別できる情報であればよい。例えば、reserved_future_use2001の4bitに、図10で示したsubtitle_offset_modeとbml_offset_modeとの値を記述してもよい。
(4)また、reserved_future_use2001の4bitに、図11で示したsubtitle_1plane_offset_flag、 subtitle_2plane_offset_flag、 bml_1plane_offset_flag、bml_2plane_offset_flagの値を記述してもよい。
(5)上記のモード識別情報の記述方法を組み合わせてもよい。
<6.6 まとめ>
本実施の形態の映像処理装置は、既存の記述子の未使用領域を用いてモード識別情報を記述できるので、記述子のフィールドを拡張することなく3D字幕等表示モードを識別することができる。
<実施の形態7>
<7.1 概要>
実施の形態7は、放送ではなく、IP(Internet Protocol)ネットワークを用いた電子映像配信システムでのVOD(Video On Demand)において、配信されるコンテンツの付加情報(メタデータ)にモード識別情報を記述し、映像処理装置はその付加情報を解析して、3D字幕等表示モードを判定する。
<7.2 データ>
本実施の形態に係る電子映像配信システムは、デジタルテレビ情報化研究会の「デジタルテレビ ネットワーク機能仕様 ストリーミング機能仕様書 コーデック編」に定義されている再生制御情報にモード識別情報を記載する。本実施の形態では、一例として、ERI(Entry Resource Information)にモード識別情報を記述する。
以下、本実施の形態で用いるデータを説明する。
図25は、ERIのデータ構造を示す図である。ただし、本実施の形態に必要のない記述に関しては省略している。ERIは、XML(Extensible Markup Language)文書形式で記述される。
ERIには、字幕に関する情報を記述するタグ要素として、ひとつのERIの中に0〜2回記述が可能なcaption_info要素が定義されている。
本実施の形態では、caption_info要素にoffset_mode2501という属性を新たに追加する。offset_mode2501が存在しない、若しくは、offset_mode2501の値が「0」の場合は3D字幕ではなく従来の2D字幕であることを表し、offset_mode2501の値が「1」の場合は1plane+offsetモードを表し、「2」の場合は2plane+offsetモードであると定義する。
<7.3 構成>
本実施の形態の映像処理装置の構成で、実施の形態1の映像処理装置300と同じ構成のものは説明を省略し、異なる点を重点的に説明する。なお、本実施の形態で用いる映像処理装置の符号は、説明の都合上、実施の形態1と同じ符号を用いる。
実施の形態1と異なる点は、受信部301が放送ではなく、IPネットワークから情報を受信する点、前記受信する情報は、MPEG2−TS形式で伝送される映像、音声といった番組を構成するコンテンツデータと、コンテンツ一覧や再生制御情報など付加情報(メタデータ)といったMPEG2−TS以外の形式で伝送されるデータで構成されること、判定手段304は解析手段303からPMTを受け取るのではなく、受信部301から前記受信した再生制御情報としてERIを受け取ること、判定手段304がarib_3d_offsetmode_info記述子ではなく、ERIに定義したタグ要素に記載されたモード識別情報に基づいて3D字幕等表示モードを判別することである。
<7.4 動作>
本実施の形態における映像処理装置300の動作は、まず、図7のステップS18の処理はなく、ステップS16、ステップS17の処理は図7のステップS16,S17,S18以外の処理、すなわちコンテンツデータを受信し、前記コンテンツデータを再生する処理に先立ち、ERIを受信した際に行われるものである。また、ステップS16で判定手段304が、ERIから抽出したcaption_info要素の値に基づいて3D字幕等表示モードの判定を行う点が、実施の形態1と異なる。それ以外のステップは、実施の形態1と同じであるので説明を省略する。
判定手段304は、ステップS16で、offset_mode2501の値が「1」であれば、字幕処理手段309での3D字幕等表示モードが1plane+offsetモードであると判定し、「2」の場合は2plane+offsetモードであると判定する。
<7.5 実施の形態7の変形例>
(1)本実施の形態では、モード識別情報の値として「0」や「1」の値を用いたが、識別のための値はこれに限らない。3D字幕等表示モードが判別できる値であれば何でもよい。例えば、1plane+offsetモードであれば「1plane+offset」、2plane+offsetモードであれば「2plane+offset」の値を用いてもよい。
(2)本実施の形態においては、ERIのcaption_info要素の属性を追加して3D字幕等表示モードを表現したが、caption_info要素にさらに子要素を追加し、この子要素にモード識別情報を記述してもよい。
具体的には、図28(a)に示すようにcaption_info要素に子要素としてoffset_mode要素を追加する。このoffset_mode要素の値が「0」の場合には、従来の2D字幕の表示であることと定義し、「1」の場合には、1plane+offsetモード、「2」の場合には2plane+offsetモードであると定義して、この値により3D字幕等表示モードを判別してもよい。なお、従来の2D字幕の表示である場合には、offset_mode要素の値を「0」とするのではなく、caption_info要素にoffset_mode要素を記述せず、offset_mode要素の記述がない場合に従来の2D字幕の表示であると判断してもよい。
(3)また、図28(b)で示すようにoffset_mode要素は内容を持たない空要素とし、offset_modeの属性としてmodeを定義し、offset_mode要素が存在しないか、mode属性の値が「0」の場合は、3D字幕ではなく従来の2D字幕であることを表し、offset_mode要素のmode属性の値が「1」の場合は1plane+offsetモードを表し、offset_mode要素のmode属性の値が「2」の場合は2plane+offsetモードであると定義してもよい。
(4)本実施の形態においては、ERIのcaption_info要素に追加した属性や、子要素にモード識別情報を記述するとしたが、ERIのcaption_info要素以外の要素を用いてもよい。ERI内の要素であれば、どの要素を用いてもよい。caption_info要素以外の要素を用いる場合でも、caption_info要素で用いた方法を用いてよい。例えば、stereoscopic_info要素を用いてcaption_info要素と同様の方法で定義し、3D字幕等表示モードの判定に用いてもよい。
<7.6 補足>
以下、本実施の形態に係る電子映像配信システム2200について説明する。
<7.6.1 構成>
図26は、本実施の形態に係る電子映像配信システム2200の概略構成図である。
電子映像配信システム2200は、映像処理装置300、ポータルサーバ2201、再生制御情報サーバ2202、ライセンスサーバ2203、及びコンテンツサーバ2204
を含む構成である。これらのサーバや映像処理装置300は、IPネットワーク2205で接続される。
ポータルサーバ2201は、映像処理装置300に配信されるコンテンツの一覧と、コンテンツを再生するために必要なメタデータのURL(Uniform Resource Locator)を提供するサーバである。
再生制御情報サーバ2202は、コンテンツの付加情報を提供するサーバである。ERIはこのサーバから提供される。
ライセンスサーバ2203は、映像処理装置300が受信し再生するコンテンツに関して、映像処理装置300に使用の許可のライセンスを与えるサーバである。
コンテンツサーバ2204は、映像などのコンテンツデータを映像処理装置300に提供するサーバである。
<7.6.2 動作>
図27は、電子映像配信システム2200の処理のシーケンスを示す図である。
まず、映像処理装置300は、ポータルサーバ2201に対して、配信されるコンテンツの一覧とコンテンツを再生するために必要なメタデータのURI(Uniform Resource Identifier)とから構成されるナビゲーション情報の送信を要求する(ステップS101)。
ポータルサーバ2201は、映像処理装置300から要求を受信すると、ナビゲーション情報を映像処理装置300に送信する(ステップS102)。なお、本実施の形態におけるナビゲーション情報は、HTML(HyperText Markup Language)文書形式のデータとして送信され、前記再生制御情報のURIは、HTMLブラウザでボタンがクリックされた場合に選択される参照先として記述されているものとする。
映像処理装置300は、受信したナビゲーション情報を、HTMLブラウザを用いて表示することにより、ユーザにコンテンツ一覧を提示する。ユーザが再生するコンテンツを選択すると、映像処理装置300は、選択されたコンテンツの再生制御情報のURIに基づいて、再生制御情報サーバ2202に、再生制御情報の送信を要求する(ステップS103)。
再生制御情報の送信要求を受信した再生制御情報サーバ2202は、モード識別情報が記載されたERIを含む再生制御情報を映像処理装置300に送信する(ステップS104)。
次に、映像処理装置300は、再生制御情報を参照し、コンテンツの再生のためのライセンスが必要な場合には、ライセンスサーバ2203にライセンス発行の要求を送信する(ステップS105)。
ライセンス発行の要求を受信したライセンスサーバ2203は、ライセンス発行処理を行い、映像処理装置300へライセンス情報を送信する(ステップS106)。
ライセンス情報を受信した映像処理装置300は、再生制御情報に基づいて、コンテンツサーバ2204に、再生要求をしたコンテンツのコンテンツデータの送信要求を行う(ステップS107)。
コンテンツデータの送信要求を受信したコンテンツサーバ2204は、再生要求のコンテンツに係るコンテンツデータを映像処理装置300に送信する(ステップS108)。
映像処理装置300では、コンテンツサーバ2204から逐次受信したコンテンツデータを復号し、再生制御情報に含まれるERIから抽出したモード識別情報に基づいて字幕等の処理を行い、表示用の映像を表示装置312に出力する。なお、コンテンツデータの送信要求の送信や、コンテンツデータの受信は、HTTPやRTP(Real−time Transport Protocol)/RTSP(Real Time Streaming Protocol)といったプロトコルを使用する。
<7.7 まとめ>
本実施の形態の映像処理装置は、IPネットワークを用いた電子映像配信システムで用いられる、コンテンツの付加情報(メタデータ)としての再生制御情報、より具体的な例としてERIに記述したモード識別情報を用いて3D字幕等表示モードを判別する。3D字幕等の表示データを含むストリーミングデータを受信する前に処理されるべき再生制御情報を用いるので、3D字幕等の表示データを含むストリーミングデータを処理する前に、3D字幕等表示モードを識別し、リソースを確保することが可能となる。このため、表示データを3D映像と共に表示するまでの時間を短縮することができる。
<実施の形態8>
<8.1 概要>
本発明に係る実施の形態8では、IPTVでのVOD(Video On Demand)におけるECG(Electronic Content Guide)メタデータにモード識別情報を記述し、映像処理装置はそのECGメタデータから抽出したモード識別情報を解析して、3D字幕等表示モードを判定する。
<8.2 データ>
本実施の形態に係る電子映像配信システムは、IPTV(Internet Protocol Television)フォーラムジャパンの「STD−0006 CDNスコープ サービスアプローチ仕様 1.3版」に定義されているECGメタデータ内にモード識別情報を記述する。
以下、本実施の形態で用いるデータを説明する。
図29は、ECGメタデータのデータ構造を示す図である。ただし、本実施の形態に必要のない記述に関しては省略している。ECGメタデータは、XML文書形式で記述される。
本実施の形態においては、ProgramInformation要素の中の、BasicDescription要素にあるCaptionLanguage要素を使用し、CaptionLanguage要素のdescription属性2901にモード識別情報を記述する。
すなわち、description属性2901の値が ″1plane+offset″であれば、3D字幕等表示モードが1plane+offsetモード、″2plane+offset″であれば、3D字幕等表示モードが2plane+offsetモードであると定義する。
<8.3 構成>
本実施の形態の映像処理装置の構成で、実施の形態7の映像処理装置300と同じ構成のものは説明を省略し、異なる点を重点的に説明する。なお、本実施の形態で用いる映像処理装置の符号は、説明の都合上、実施の形態7と同じ符号を用いる。
実施の形態7と異なる点は、受信部301が受信する付加情報としてECGメタデータが含まれること、判定手段304は受信部301からERIを受け取るのではなくECGメタデータを受け取ること、判定手段304が、ERIに定義したタグ要素に記載されたモード識別情報ではなく、ECGメタデータに定義したタグ要素に記載されたモード識別情報に基づいて3D字幕等表示モードを判別することである。
<8.4 動作>
本実施の形態における映像処理装置300の動作は、まず、図7のステップS18の処理はなく、ステップS16、ステップS17の処理は図7のステップS16,S17,S18以外の処理、すなわちコンテンツデータを受信し、前記コンテンツデータを再生する処理に先立ち、ユーザが再生するコンテンツを選択した際に行われるものである。また、ステップS16で判定手段304が、ECGメタデータから抽出したdescription属性2901の値に基づいて3D字幕等表示モードの判定を行う点が、実施の形態7と異なる。それ以外のステップは、実施の形態7と同じであるので説明を省略する。
判定手段304は、ステップS16で、ECGメタデータのうち、ユーザが選択した再生するコンテンツに対応する部分のdescription属性2901の値が″1plane+offset″であれば、字幕処理手段309での3D字幕等表示モードが1plane+offsetモードであると判定し、″2plane+offset″の場合は2plane+offsetモードであると判定する。
<8.5 実施の形態8の変形例>
(1)本実施の形態では、description属性に記述するモード識別情報の値として″1plane+offset″や″2plane+offset″を用いたが、識別のための値はこれに限らない。3D字幕等表示モードが判別できる値であれば何でもよい。例えば、1plane+offsetモードであれば「1」、2plane+offsetモードであれば「2」としてもよい。
(2)本実施の形態においては、CaptionLanguage要素のdescription属性の値にモード識別情報を記述するとしたが、新たにモード識別情報を記述する属性を定義してもよい。
図30に示すようにCaptionLanguage要素にoffset_mode属性3101を定義し、このoffset_mode属性3101にモード識別情報を記述してもよい。
例えば、offset_mode属性の値が「0」の場合は3D字幕表示ではなく、従来の2D字幕表示であることを表し、offset_mode属性の値が「1」の場合は1plane+offsetモードを表し、offset_mode属性の値が「2」の場合は2plane+offsetモードであると定義してもよい。
(3)また、CaptionLanguage要素に新たに子要素を追加し、この子要素にモード識別情報を記述してもよい。
(4)また、実施の形態7の変形例の(3)で示したのと同様にoffset_mode要素は内容を持たない空要素とし、offset_modeの属性としてmodeを定義して、同様の方法で判別してもよい。
<8.6 補足>
本実施の形態に係る電子映像配信システムの動作は、実施の形態7に係る電子映像配信システム2200とほぼ同じであるが、図27のステップS102の処理で、ポータルサーバ2201が映像処理装置300に送信するナビゲーション情報にとして、モード識別情報を記述したECGメタデータを送信する点で、実施の形態7の電子映像配信システムと異なる。なお、説明の都合上、実施の形態7と同じ符号を用いる。
本実施の形態の映像処理装置300は、ECG処理する機能を備えており、受信したECGメタデータを処理し、コンテンツ選択画面をユーザに提示する。なお、ECG処理を処理する機能は、映像処理装置300が備えるプロセッサが、ECG処理するためのプログラムを実行することにより実現される。
ユーザが再生するコンテンツを選択すると、図27のステップS103の処理において、映像処理装置300は、受信したECGメタデータに記述されているURIに基づいて、再生制御情報サーバ2202に再生制御情報の送信を要求する。
この処理以降の処理は、実施の形態7と同じなので説明を省略する。
<8.7 まとめ>
本実施の形態の映像処理装置は、IPネットワークを用いた電子映像配信システムで用いられるコンテンツの付加情報(メタデータ)であるECGメタデータに記述したモード識別情報を用いて3D字幕等表示モードを判別する。3D字幕等の表示データを含むストリーミングデータを受信する前に、ECGメタデータを処理するので、3D字幕等の表示データを含むストリーミングデータを処理する前に、3D字幕等表示モードを識別し、リソースを確保することができる。このため、表示データを3D映像と共に表示するまでの時間を短縮することができる。
<実施の形態9>
<9.1 概要>
本発明に係る実施の形態9の映像処理装置は、データ放送用の表示データを、放送からではなく、IP放送で行われている擬似データ放送のようなIPネットワークの通信によって受信する。このとき、映像処理装置300は、BITにあるハイパーリンク記述子から、データ放送用データを要求するURIを取得する。BITやハイパーリンク記述子については、IPTVフォーラムジャパンの「STD−0004 IP放送仕様 1.2版」に定義されているので、説明を省略する。
本実施の形態に係る電子映像配信システムは、HTTP又はHTTPS(Hypertext Transfer Protocol over Secure Socket Layer)のレスポンスヘッダにモード識別情報を記述し、映像処理装置は、レスポンスヘッダを解析して3D字幕等表示モードを判定する。
<9.2 データ>
図31は、HTTPのヘッダのデータ構造を示す。ただし、本実施の形態に必要のない記述に関しては省略している。
図31(a)は、映像処理装置300から送信するHTTP−GETリクエストを示す。
図31(b)は、図31(a)のHTTP−GETリクエストを受信したデータ放送用データを提供するサーバから送信する、3D字幕等表示モードが1plane+offsetモードである場合のHTTPレスポンスヘッダを含むHTTPレスポンスである。
図31(c)は、図31(a)のHTTP−GETリクエストを受信したデータ放送用データを提供するサーバから送信する、3D字幕等表示モードが2plane+offsetモードである場合のHTTPレスポンスヘッダを含むHTTPレスポンスである。
本実施の形態においては、HTTPレスポンスヘッダの拡張ヘッダとして、X−Offset−Modeを定義し、この拡張ヘッダにモード識別情報を記述する。すなわち、X−Offset−Modeの値が″1plane+offset″であれば、3D字幕等表示モードが1plane+offsetモード、″2plane+offset″であれば、3D字幕等表示モードが2plane+offsetモードであると定義する。
<9.3 構成>
本実施の形態の映像処理装置の構成で、実施の形態7の映像処理装置300と同じ構成のものは説明を省略し、異なる点を重点的に説明する。なお、本実施の形態で用いる映像処理装置の符号は、説明の都合上、実施の形態7同じ符号を用いる。
実施の形態7と異なる点は、映像処理装置300のプロセッサが受信したHTTPレスポンスヘッダからモード識別情報を抽出し判定手段304に出力する点と、判定手段304が、ERIに定義したタグ要素に記載されたモード識別情報ではなく、HTTPレスポンスヘッダの拡張ヘッダに記載されたモード識別情報に基づいて3D字幕等表示モードを判別する点である。
<9.4 動作>
本実施の形態における映像処理装置300の動作は、まず、図7のステップS18の処理はなく、ステップS16、ステップS17の処理は映像受信装置300がデータ放送用データをHTTPにより受信したときに行われるものである。また、図7のステップS16,S17,S18以外の処理、すなわちコンテンツデータを受信し、前記コンテンツデータを再生する処理は、IP放送受信中は行われているものである。また、ステップS15で、映像処理装置300が備えるプロセッサは、HTTP処理を行うプログラムを実行してデータ放送用データをHTTPで受信し、続いて、HTTPレスポンスヘッダの拡張ヘッダであるX−Offset−Modeからモード識別情報を抽出し判定手段304に出力こと、ステップS16で判定手段304が、X−Offset−Modeの値に基づいて3D字幕等表示モードの判定を行うことが、実施の形態7と異なる。それ以外のステップは、実施の形態7と同じであるので説明を省略する。
以下に、データ放送用データ取得のシーケンスを説明する。
本実施の形態では、データ放送用データの要求先のURLがhttp://www.broadcaster.com/data_broadcast/3Ddataであるとして説明する。
まず、映像処理装置300は、データ放送用データを提供するサーバに対して、図31(a)に示すHTTP−GETリクエストを送信する。このHTTP−GETリクエストは、データ放送用データの要求先のURLとして、http://www.broadcaster.com/data_broadcast/3Ddataを指定したHTTP−GETリクエストである。
図31(a)のリクエストを受信したデータ放送用の表示データを提供するサーバは、要求されたデータ放送用データの要求先にあるデータ放送用表示データの3D字幕等表示モードが1plane+offsetモードの場合は図31(b)のHTTPレスポンスヘッダを返信する。このHTTPレスポンスには、拡張ヘッダとして、X−Offset−Modeが記述されており、この値は″1plane−offset″であるので、判定手段304は、データ放送処理手段310でのデータ放送用の表示データの処理が、1plane+offsetモードによる処理であると判断する。一方、3D字幕等表示モードが2plane+offsetモードの場合は、図31(c)のHTTPレスポンスヘッダを返信する。この場合のX−Offset−Modeの値は″2plane+offset″であるので、判定手段304は、データ放送処理手段310でのデータ放送用の表示データの処理が、2plane−offsetモードによる処理であると判断する。
<9.5 実施の形態9の変形例>
(1)本実施の形態においては、HTTPレスポンスヘッダに、X−Offset−Modeという拡張ヘッダを定義して、このX−Offset−Modeに″1plane−offset″と″2plane−offset″とのいずれかの値を記述し、この値に基づいてデータ放送用の表示データの3D字幕等表示モードを判定するとしたが、X−Offset−Modeに記述する値は、これらの値に限らない。1plane+offsetモードと2plane+offsetモードとが識別できる値であればよい。例えば、X−Offset−Modeの値が「1」であれば、1plane+offsetモードであるとし、「2」であれば2plane+offsetモードであるとしてもよい。 (2)また、拡張ヘッダの名称も、X−Offset−Modeではなくてもよい。モード識別情報が記載されている拡張ヘッダであることがわかれば、どのような名称であってもよい。
<9.6 補足>
以下、本実施の形態に係るデータ放送用データ提供サーバについて説明する。
<9.6.1 構成>
(データ放送用データ提供サーバ3200)
図32は、実施の形態9におけるデータ放送用データを映像処理装置300に提供するデータ放送用データ提供サーバ3200の概略構成図である。
データ放送用データ提供サーバ3200は、送受信部3201、解析部3202、データ取得部3203、レスポンス生成部3204、及び蓄積部3205を含む構成である。
送受信部3201は、映像処理装置300とデータの送受信を行う機能を備える。
解析部3202は、送受信部3201で受信したHTTP−GETリクエストを解析する機能と、映像処理装置300に送信するデータを特定する機能を備える。
データ取得部3203は、解析部3202で特定したデータ放送用のデータと属性情報とを蓄積部3205から読み出す機能を備える。
レスポンス生成部3204は、解析部3202から通知されたHTTP−GETリクエストの情報と、データ取得部3203が蓄積部3205から読み出した、データ放送用データ、及び属性情報に含まれるモード識別情報を受信し、映像処理装置300に返すHTTPレスポンスを生成する機能を備える。
レスポンス生成部3204で生成したレスポンスは送受信部3201へ出力され、送受信部3201から映像処理装置300へ送信される。
データ放送用データ提供サーバ3200は、図示しないプロセッサ及びメモリを含んで構成されており、送受信部3201、解析部3202、データ取得部3203、レスポンス生成部3204の機能は、このメモリに記憶されているプログラムをこのプロセッサが実行することにより実現される。
蓄積部3205は、ハードディスクなどの記録媒体で構成され、データ放送用データや蓄積されているデータ放送用の表示データ、及びその表示データのモード識別情報を含む属性情報を蓄積する。
<9.6.2 動作>
まず、送受信部3201は、コンテンツに係るデータ放送用データの取得要求であるHTTP−GETリクエストを受信し、解析部3202へ出力する。
解析部3202は、HTTP−GETリクエストを解析し、要求のあったコンテンツに係るデータ放送用の表示データを特定する情報を、データ取得部3203に出力する。
データ取得部3203は、解析部3202から通知された情報に基づいて、データ放送用の表示データとその属性情報を蓄積部3205から読み出す。
次に、データ取得部3203は、読み出した属性情報から、データ放送用の表示データの3D字幕等表示モードが1plane+offsetモードであるか2plane+offsetモードであるかの情報を抽出し、レスポンス生成部3204へ出力する。
レスポンス生成部3204は、データ放送用の表示データの3D字幕等表示モードにしたがって、X−Offset−Mode拡張ヘッダを設定する。具体的には、データ取得部3203から受け取ったモード識別情報が1plane+offsetモードの場合には、X−Offset−Modeの値を″1plane+offset″とし、2plane+offsetモードの場合には、X−Offset−Modeの値を″2plane+offset″をHTTPレスポンスヘッダに含むHTTPレスポンスを生成する。
生成したHTTPレスポンスを送受信部3201へ出力し、送受信部3201は、HTTPレスポンスを映像処理装置300へ送信する。
<9.7 まとめ>
本実施の形態の映像処理装置は、IPネットワークを用いた電子映像配信システムで用いられる通信プロトコルであるHTTPのレスポンスヘッダに記述したモード識別情報を用いて3D字幕等表示モードを判別する。これにより、データ放送用の表示データを処理する前に、3D字幕等表示モードを識別し、リソースを確保することができるので表示データを3D映像と共に表示するまでの時間を短縮することができる。
<10.その他の変形例>
以上、本発明に係る映像処理装置を、実施の形態に基づいて説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの映像処理装置に限られないことは勿論である。
(1)実施の形態における映像処理装置は、処理した映像を外部の表示装置(例えば、3D映像対応テレビ)に出力するとしたが、この映像処理装置と表示装置とを一体にした構成(例えば、本発明に係る映像処理装置を備える3D映像対応テレビ)としてもよい。
(2)実施の形態において、判定手段304は、判定結果に基づいて、字幕処理手段309及びデータ放送処理手段310で処理に必要なデコーダやメモリのリソースを確保するとしたが、映像処理装置のデコーダやメモリは映像処理装置の他の処理と共用で用いられるので、他の処理を実行(例えば、裏番組の録画や、録画済みの番組のダビング)している場合、デコーダやメモリのリソースを確保できない可能性がある。このような場合には、字幕等の処理に先だって、他の処理を中断して字幕等の表示のための処理のリソースを確保したり、字幕やデータ放送の表示が不可能であることをユーザに告知するようにしてもよい。告知されたユーザは、実行中の他の処理を中断させるかどうかの判断ができる。映像処理装置は、ユーザが実行中の他の処理の中断等を行うことでリソースが確保できる状態になれば、その時点からリソースを確保し、字幕等の表示データの処理を行うことができる。
このように、リソースが確保できない場合には、字幕等を3D映像と共に表示することはできないが、字幕やデータ放送用のデータの処理に先だって、3D字幕等表示モードを判別することによって、ユーザの利便性に配慮した処理が可能となる。
(3)実施の形態において説明した各構成要素の内、全部又は一部を1チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよい。
また、実施の形態において説明した各構成要素は、映像処理装置が有するプロセッサと協働することにより、その機能を実現する。
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD―ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
また、本発明に係るコンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
(5)上記実施の形態及び上記変形例をそれぞれ適宜組み合わせるとしてもよい。
(6)以下、更に本発明の一実施形態としての映像処理装置の構成及びその変形例と効果について説明する。
(a)本発明の一実施形態に係る映像処理装置は、3D映像と共に補助表示物を表示するための映像処理装置であって、前記補助表示物を1プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第1の処理手段と、前記補助表示物を2プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第2の処理手段と、少なくとも、前記補助表示物を1プレーン及び2プレーンのいずれかを用いて表す情報を含む補助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを受信する受信手段と、前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理手段及び第2の処理手段のいずれかを選択する選択手段と、前記選択手段による前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理手段及び第2の処理手段のうち当該選択手段により選択された処理手段に対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御手段とを備える。
従って、この映像処理装置によれば、3D映像と共に表示する表示データを含むストリームの内容を解析することなく、3D字幕等表示モードを判別することができるので、表示データを3D映像と共に表示するまでの時間を短縮することができる。
(b)また、前記制御手段は、前記第1及び第2の処理手段の処理に先行して、前記選択手段の選択結果に基づいて、第1の処理手段及び第2の処理手段のうち選択された処理手段に必要なプレーン数に応じたメモリ領域を確保する、としてもよい。
従って、この映像処理装置によれば、3D映像と共に表示する表示データを含むストリームの内容を解析する前に、表示データを含むストリームを処理するための画像プレーンメモリを確保することができる。
(c)また、前記受信手段は、前記補助表示物が共に表示される3D映像を含むコンテンツに係るストリームを含むMPEG2−TS形式のデータストリームを受信し、前記データブロックは、前記データストリームに含まれる前記コンテンツに関するPMTであり、前記選択手段は、前記PMTから抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択する、としてもよい。
従って、この映像処理装置によれば、3D映像と共に表示する表示データを含むストリームの内容を解析する前に、解析するPMTに含まれるモード識別情報に基づいて、3D字幕等表示モードを識別することができる。
(d)また、前記PMTには、前記コンテンツに係るストリームを構成する各ESそれぞれに関する情報の記載部分と前記コンテンツに係るストリームに共通する情報の記載部分とがあり、前記識別情報は、前記コンテンツに係るストリームに共通する情報の記載部分に含まれており、前記選択手段は、前記コンテンツに係るストリームに共通する情報の記載部分から抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択する、としてもよい。
従って、この映像処理装置によれば、コンテンツに係るストリームに共通する情報の記載部分に記述したモード識別情報に基づいて、3D字幕等表示モードを識別することができる。
(e)また、前記PMTには、前記コンテンツに係るストリームを構成する各ESそれぞれに関する情報の記載部分と前記コンテンツに係るストリームに共通する情報の記載部分とがあり、前記識別情報は、前記各ESそれぞれに関する情報の記載部分に含まれており、前記選択手段は、前記各ESそれぞれに関する情報の記載部分から抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択する、としてもよい。
従って、この映像処理装置によれば、コンテンツを構成する各ES毎の情報の記載部分に記述したモード識別情報に基づいて、3D字幕等表示モードを識別することができる。
(f)また、前記各ESそれぞれに関する情報の記載部分には、データ符号化方式識別子が含まれており、前記識別情報は、前記データ符号化方式識別子に含まれており、前記選択手段は、前記データ符号化方式識別子から抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択する、としてもよい。
従って、この映像処理装置によれば、コンテンツを構成する各ES毎の情報の内、データ符号化方式識別子に記述したモード識別情報に基づいて、3D字幕等表示モードを識別することができる。
(g)また、前記受信手段は、放送局からのMPEG2−TS形式のデータストリームを受信し、前記データブロックは、前記データストリームに含まれるEITであり、前記EITは、前記補助表示物が共に表示される3D映像に関する情報の記載部分が含まれており、前記識別情報は、前記補助表示物が共に表示される3D映像に関する情報の記載部分に含まれており、前記選択手段は、前記補助表示物が共に表示される3D映像に関する情報の記載部分から抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択する、としてもよい。
従って、この映像処理装置によれば、3D映像と共に表示する表示データを含むストリームが送信される前に、送信されるEITに含まれるモード識別情報に基づいて、3D字幕等表示モードを識別することができる。
(h)また、前記補助表示物が共に表示される3D映像に関する情報には、データコンテンツ記述子が含まれており、前記識別情報は、前記データコンテンツ記述子に含まれており、前記選択手段は、前記データコンテンツ記述子から抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択する、としてもよい。
従って、この映像処理装置によれば、EITに含まれるデータコンテンツ記述子に記述したモード識別情報に基づいて、3D字幕等表示モードを識別することができる。
(i)また、前記受信手段は、少なくともIPネットワークを用いて配信されるストリーミングデータと、前記ストリーミングデータを再生するための情報を含む再生制御情報とを受信し、前記データブロックは、前記再生制御情報に含まれているものであり、前記選択手段は、前記データブロックから抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択する、としてもよい。
従って、この映像処理装置によれば、IPTV用のストリーミングデータを再生するための再生制御情報に記述したモード識別情報に基づいて、3D字幕等表示モードを識別することができる。
(j)また、前記受信手段は、少なくともIPネットワークを用いて配信されるVOD用ナビゲーションデータ、および、前記補助表示物が共に表示される3D映像を含むコンテンツに係るストリームを含むVOD用のストリーミングデータを受信し、前記データブロックは、前記ナビゲーションデータに含まれたものであり、前記選択手段は、前記データブロックから抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択する、としてもよい。
従って、この映像処理装置によれば、VOD用のストリーミングデータを受信する前に処理を行うナビゲーションデータに記述したモード識別情報に基づいて、3D字幕等表示モードを識別することができる。
(k)また、前記受信手段は、前記補助表示物が共に表示される3D映像を含むコンテンツに係るストリームを含むMPEG2−TS形式のデータストリームを受信し、前記データストリームに含まれる前記コンテンツに係るBITに記載されたハイパーリンク記述子の情報に基づいて、前記補助表示物再生用ストリームを、HTTPを用いてIPネットワークから取得する取得手段を更に備え、前記データブロックは、前記取得の要求に対する応答であるHTTPのレスポンスヘッダであり、前記選択手段は、前記レスポンスヘッダから抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択する、としてもよい。
従って、この映像処理装置によれば、HTTPのレスポンスヘッダに記述したモード識別情報に基づいて、3D字幕等表示モードを識別することができる。
(l)本発明の一実施形態に係る映像処理方法は、3D映像と共に補助表示物を表示するための映像処理装置の映像処理方法であって、前記補助表示物を1プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第1の処理ステップと、前記補助表示物を2プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第2の処理ステップと、少なくとも前記補助表示物を1プレーン及び2プレーンのいずれかを用いて表す情報を含む補助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを受信する受信ステップと、前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理ステップ及び第2の処理ステップのいずれかを選択する選択ステップと、前記選択ステップによる前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理ステップ及び第2の処理ステップのうち当該選択ステップにより選択された処理ステップに対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御ステップとを備える。
従って、この映像処方法によれば、3D映像と共に表示する表示データを含むストリームの内容を解析することなく、3D字幕等表示モードを判別することができるので、表示データを3D映像と共に表示するまでの時間を短縮することができる。
(m)本発明の一実施形態に係る映像処理プログラムは、3D映像と共に補助表示物を表示するための映像処理装置の映像処理プログラムであって、前記映像処理装置に、前記補助表示物を1プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第1の処理ステップと、前記補助表示物を2プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第2の処理ステップと、少なくとも前記補助表示物を1プレーン及び2プレーンのいずれかを用いて表す情報を含む補助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを受信する受信ステップと、前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理ステップ及び第2の処理ステップのいずれかを選択する選択ステップと、前記選択ステップによる前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理ステップ及び第2の処理ステップのうち当該選択ステップにより選択された処理ステップに対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御ステップとを備える。
従って、この映像処理プログラムによれば、3D映像と共に表示する表示データを含むストリームの内容を解析することなく、3D字幕等表示モードを判別することができるので、表示データを3D映像と共に表示するまでの時間を短縮することができる。
(n)本発明の一実施形態に係る映像処理プログラムの記録媒体は、3D映像と共に補助表示物を表示するための映像処理装置に実行させる映像処理プログラムを記録した記録媒体であって、前記映像処理装置に、前記補助表示物を1プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第1の処理ステップと、前記補助表示物を2プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第2の処理ステップと、少なくとも前記補助表示物を1プレーン及び2プレーンのいずれかを用いて表す情報を含む補助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを受信する受信ステップと、前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理ステップ及び第2の処理ステップのいずれかを選択する選択ステップと、前記選択ステップによる前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理ステップ及び第2の処理ステップのうち当該選択ステップにより選択された処理ステップに対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御ステップとを映像処理装置に実行させる映像処理プログラムを記録している。
従って、この映像処理プログラムの記録媒体によれば、3D映像と共に表示する表示データを含むストリームの内容を解析することなく、3D字幕等表示モードを判別することができるので、表示データを3D映像と共に表示するまでの時間を短縮することができる。
(o)本発明の一実施形態に係る映像処理装置を構成する集積回路は、3D映像と共に補助表示物を表示するための映像処理装置を構成する集積回路であって、前記補助表示物を1プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第1の処理手段と、前記補助表示物を2プレーンで表す情報に基づいて、前記補助表示物の3D表示のための右目用補助表示物及び左目用補助表示物を作成して出力する機能を有する第2の処理手段と、少なくとも前記補助表示物を1プレーン及び2プレーンのいずれかを用いて表す情報を含む補助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを受信する受信手段と、前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理手段及び第2の処理手段のいずれかを選択する選択手段と、前記選択手段による前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理手段及び第2の処理手段のうち当該選択手段により選択された処理手段に対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御手段とを備える。
従って、この映像処理装置を構成する集積回路によれば、3D映像と共に表示する表示データを含むストリームの内容を解析することなく、3D字幕等表示モードを判別することができるので、表示データを3D映像と共に表示するまでの時間を短縮することができる。
本発明に係る映像処理装置は、字幕やデータ放送用データを3D映像と共に表示する映像処理装置等に有効である。
300 映像処理装置
301 受信部
302 デマルチプレクサ
303 解析手段
304 判定手段
305 ビデオデコード手段
306 オフセット取得手段
307 左目映像出力手段
308 右目映像出力手段
309 字幕処理手段
310 データ放送処理手段
311 表示用映像出力手段
701 字幕デコード手段
702 字幕プレーンメモリ
703 左字幕シフト出力手段
704 右字幕シフト出力手段
801 左字幕デコード手段
802 左字幕プレーンメモリ
803 左字幕シフト出力手段
804 右字幕デコード手段
805 右字幕プレーンメモリ
806 右字幕シフト出力手段

Claims (14)

  1. 3D映像と共に補助表示物を表示するための映像処理装置であって、
    補助表示物用ストリームをデコードすることで、平面的な補助対象物を得て1プレーンに格納し、順次入力されてくるオフセットに従い、1プレーンに格納された補助対象物の座標を左方向及び右方向にシフトすることで、平面形状をなす補助対象物の画面に対する奥行きを変化させる第1処理手段と、
    補助表示物用ストリームをデコードすることで、立体形状をなす補助表示物を規定する左目用補助表示物、右目用補助表示物の組みを得て、左目用補助表示物、右目用補助対象物を2プレーンのそれぞれに格納し、順次入力されてくるオフセットに従い、2プレーンのそれぞれに格納された左目用補助表示物の座標、及び、右目用補助表示物の座標を相反する方向にシフトすることで、立体形状をもった補助表示物の画面に対する奥行きを変化させる第2処理手段と、
    助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを受信する受信手段と、
    前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理手段及び第2の処理手段のいずれかを選択する選択手段と、
    前記選択手段による前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理手段及び第2の処理手段のうち当該選択手段により選択された処理手段に対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御手段と
    を備えることを特徴とする映像処理装置。
  2. 前記制御手段は、前記第1及び第2の処理手段の処理に先行して、前記選択手段の選択結果に基づいて、第1の処理手段及び第2の処理手段のうち選択された処理手段に必要なプレーン数に応じたメモリ領域を確保する
    ことを特徴とする請求項1に記載の映像処理装置。
  3. 前記受信手段は、前記補助表示物が共に表示される3D映像を含むコンテンツに係るストリームを含むMPEG2-TS(Transport Stream)形式のデータストリームを受信し、
    前記データブロックは、前記データストリームに含まれる前記コンテンツに関するPMT(Program Map Table)であり、
    前記選択手段により抽出される識別情報は、前記PMTに格納されることを特徴とする請求項2に記載の映像処理装置。
  4. 前記PMTには、前記コンテンツに係るストリームを構成する各ES(Elementary Stream)それぞれに関する情報の記載部分と前記コンテンツに係るストリームに共通する情報の記載部分とがあり、
    前記選択手段により抽出される識別情報は、前記コンテンツに係るストリームに共通する情報の記載部分に含まれてい
    ことを特徴とする請求項3に記載の映像処理装置。
  5. 前記PMTには、前記コンテンツに係るストリームを構成する各ESそれぞれに関する情報の記載部分と前記コンテンツに係るストリームに共通する情報の記載部分とがあり、
    前記識別情報は、前記各ESそれぞれに関する情報の記載部分に含まれており、
    前記選択手段は、前記各ESそれぞれに関する情報の記載部分から抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択することを特徴とする請求項3に記載の映像処理装置。
  6. 前記各ESそれぞれに関する情報の記載部分には、データ符号化方式識別子が含まれており、
    前記識別情報は、前記データ符号化方式識別子に含まれており、
    前記選択手段は、前記データ符号化方式識別子から抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択することを特徴とする請求項5に記載の映像処理装置。
  7. 前記受信手段は、放送局からのMPEG2-TS形式のデータストリームを受信し、
    前記データブロックは、前記データストリームに含まれるEIT(Event Information Table)であり、
    前記EITは、前記補助表示物が共に表示される3D映像に関する情報の記載部分が含まれており、
    前記識別情報は、前記補助表示物が共に表示される3D映像に関する情報の記載部分に含まれており、
    前記選択手段は、前記補助表示物が共に表示される3D映像に関する情報の記載部分から抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択することを特徴とする請求項2に記載の映像処理装置。
  8. 前記補助表示物が共に表示される3D映像に関する情報には、データコンテンツ記述子が含まれており、
    前記識別情報は、前記データコンテンツ記述子に含まれており、
    前記選択手段は、前記データコンテンツ記述子から抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択することを特徴とする請求項7に記載の映像処理装置。
  9. 前記受信手段は、少なくともIP(Internet Protocol)ネットワークを用いて配信されるストリーミングデータと、前記ストリーミングデータを再生するための情報を含む再生制御情報とを受信し、
    前記データブロックは、前記再生制御情報に含まれているものであり、
    前記選択手段は、前記データブロックから抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択することを特徴とする請求項2に記載の映像処理装置。
  10. 前記受信手段は、少なくとも、IP(Internet Protocol)ネットワークを用いて配信されるVOD(Video ODemand)用のナビゲーションデータ、および、前記補助表示物が共に表示される3D映像を含むコンテンツに係るストリームを含むVOD用のストリーミングデータを受信し、
    前記データブロックは、前記ナビゲーションデータに含まれたものであり、
    前記選択手段は、前記データブロックから抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択することを特徴とする請求項2に記載の映像処理装置。
  11. 前記受信手段は、前記補助表示物が共に表示される3D映像を含むコンテンツに係るストリームを含むMPEG2-TS形式のデータストリームを受信し、
    前記データストリームに含まれる前記コンテンツに係るBIT(Broadcaster Information Table)に記載されたハイパーリンク記述子の情報に基づいて、前記補助表示物再生用ストリームをHTTP(HyperText Transfer Protocol)を用いてIPネットワークから取得を行う取得手段を更に備え、
    前記データブロックは、前記取得の要求に対する応答であるHTTPのレスポンスヘッダであり、
    前記選択手段は、前記レスポンスヘッダから抽出した前記識別情報に基づいて、前記第1の処理手段及び前記第2の処理手段のいずれかを選択することを特徴とする請求項2に記載の映像処理装置。
  12. 3D映像と共に補助表示物を表示するための映像処理装置の映像処理方法であって、
    補助表示物用ストリームをデコードすることで、平面的な補助対象物を得て1プレーンに格納し、順次入力されてくるオフセットに従い、1プレーンに格納された補助対象物の座標を左方向及び右方向にシフトすることで、平面形状をなす補助対象物の画面に対する奥行きを変化させる第1処理ステップと、
    補助表示物用ストリームをデコードすることで、立体形状をなす補助表示物を規定する左目用補助表示物、右目用補助表示物の組みを得て、左目用補助表示物、右目用補助対象物を2プレーンのそれぞれに格納し、順次入力されてくるオフセットに従い、2プレーンのそれぞれに格納された左目用補助表示物の座標、及び、右目用補助表示物の座標を相反する方向にシフトすることで、立体形状をもった補助表示物の画面に対する奥行きを変化させる第2処理ステップと、
    助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを受信する受信ステップと、
    前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理ステップ及び第2の処理ステップのいずれかを選択する選択ステップと、
    前記選択ステップによる前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理ステップ及び第2の処理ステップのうち当該選択ステップにより選択された処理ステップに対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御ステップと
    を備えることを特徴とする映像処理方法。
  13. 3D映像と共に補助表示物を表示するための映像処理装置に実行させる映像処理プログラムであって、
    前記映像処理装置に、補助表示物用ストリームをデコードすることで、平面的な補助対象物を得て1プレーンに格納し、順次入力されてくるオフセットに従い、1プレーンに格納された補助対象物の座標を左方向及び右方向にシフトすることで、平面形状をなす補助対象物の画面に対する奥行きを変化させる第1処理ステップと、
    補助表示物用ストリームをデコードすることで、立体形状をなす補助表示物を規定する左目用補助表示物、右目用補助表示物の組みを得て、左目用補助表示物、右目用補助対象物を2プレーンのそれぞれに格納し、順次入力されてくるオフセットに従い、2プレーンのそれぞれに格納された左目用補助表示物の座標、及び、右目用補助表示物の座標を相反する方向にシフトすることで、立体形状をもった補助表示物の画面に対する奥行きを変化させる第2処理ステップと、
    助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを受信する受信ステップと、
    前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理ステップ及び第2の処理ステップのいずれかを選択する選択ステップと、
    前記選択ステップによる前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理ステップ及び第2の処理ステップのうち当該選択ステップにより選択された処理ステップに対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御ステップとを、
    実行させる映像処理プログラム。
  14. 3D映像と共に補助表示物を表示するための映像処理装置を構成する集積回路であって、
    補助表示物用ストリームをデコードすることで、平面的な補助対象物を得て1プレーンに格納し、順次入力されてくるオフセットに従い、1プレーンに格納された補助対象物の座標を左方向及び右方向にシフトすることで、平面形状をなす補助対象物の画面に対する奥行きを変化させる第1処理手段と、
    補助表示物用ストリームをデコードすることで、立体形状をなす補助表示物を規定する左目用補助表示物、右目用補助表示物の組みを得て、左目用補助表示物、右目用補助対象物を2プレーンのそれぞれに格納し、順次入力されてくるオフセットに従い、2プレーンのそれぞれに格納された左目用補助表示物の座標、及び、右目用補助表示物の座標を相反する方向にシフトすることで、立体形状をもった補助表示物の画面に対する奥行きを変化させる第2処理手段と、
    助表示物再生用ストリームと、前記補助表示物が1プレーン及び2プレーンのいずれで表されているかを示す識別情報を含むデータブロックとを受信する受信手段と、
    前記補助表示物再生用ストリームの内容が参照されることに先行して、データブロック内の識別情報を抽出し、当該識別情報に応じて第1の処理手段及び第2の処理手段のいずれかを選択する選択手段と、
    前記選択手段による前記選択の後に、前記補助表示物再生用ストリームの内容である補助表示物を表す情報を、第1の処理手段及び第2の処理手段のうち当該選択手段により選択された処理手段に対して、逐次供給して右目用補助表示物及び左目用補助表示物の作成及び出力を行わせる制御手段とを備えることを特徴とする集積回路。
JP2013517849A 2011-06-01 2012-05-21 映像処理装置、方法、プログラム、記録媒体及び集積回路 Expired - Fee Related JP5957770B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161492050P 2011-06-01 2011-06-01
US61/492,050 2011-06-01
PCT/JP2012/003312 WO2012164864A1 (ja) 2011-06-01 2012-05-21 映像処理装置、方法、プログラム、記録媒体及び集積回路

Publications (2)

Publication Number Publication Date
JPWO2012164864A1 JPWO2012164864A1 (ja) 2015-02-23
JP5957770B2 true JP5957770B2 (ja) 2016-07-27

Family

ID=47258741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013517849A Expired - Fee Related JP5957770B2 (ja) 2011-06-01 2012-05-21 映像処理装置、方法、プログラム、記録媒体及び集積回路

Country Status (4)

Country Link
US (1) US20120311645A1 (ja)
JP (1) JP5957770B2 (ja)
AR (1) AR086599A1 (ja)
WO (1) WO2012164864A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6211929B2 (ja) * 2012-01-18 2017-10-11 パナソニック株式会社 送信装置、映像表示装置、送信方法、映像処理方法、映像処理プログラム及び集積回路
US11082725B2 (en) * 2017-02-27 2021-08-03 Kddi Corporation Video distribution system, terminal device, and video data distribution device
CN113268813B (zh) * 2021-05-28 2022-11-01 成都威爱新经济技术研究院有限公司 一种基于像素流送技术的车辆展示方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1819166A1 (en) * 2005-01-14 2007-08-15 Matsushita Electric Industrial Co., Ltd. Content detection device in digital broadcast
JP2008109606A (ja) * 2006-09-29 2008-05-08 Sony Corp 情報処理装置および方法、並びにプログラム
JP4995590B2 (ja) * 2007-02-14 2012-08-08 株式会社エヌ・ティ・ティ・ドコモ コンテンツ流通管理装置、通信端末、プログラム及びコンテンツ流通システム
JP4970205B2 (ja) * 2007-09-18 2012-07-04 株式会社東芝 放送コンテンツ配信システムとこのシステムに用いられる配信装置及び放送受信端末装置
US8306387B2 (en) * 2008-07-24 2012-11-06 Panasonic Corporation Play back apparatus, playback method and program for playing back 3D video
JP2010109487A (ja) * 2008-10-28 2010-05-13 Canon Inc デジタル放送受信装置及びデジタル放送受信方法
WO2011036888A1 (ja) * 2009-09-25 2011-03-31 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US20110227911A1 (en) * 2010-03-22 2011-09-22 Lg Electronics Inc. Image display device and method for operating the same

Also Published As

Publication number Publication date
JPWO2012164864A1 (ja) 2015-02-23
US20120311645A1 (en) 2012-12-06
AR086599A1 (es) 2014-01-08
WO2012164864A1 (ja) 2012-12-06

Similar Documents

Publication Publication Date Title
TWI505691B (zh) 提供及處理一三維(3d)視訊信號之方法、3d源裝置、3d處理裝置及電腦程式產品
US7865058B2 (en) Apparatus for receiving a digital information signal comprising a first video signal producing images of a first size, and a second video signal producing images of a second size smaller than the first size
JP5775884B2 (ja) 多視点ビデオストリームに係わるリンク情報を利用するデジタルデータストリーム伝送方法及びその装置、並びにリンク情報を利用するデジタルデータストリーム伝送方法及びその装置
US9456194B2 (en) Reception/reproduction device, transmission device, reception/reproduction method and transmission method
KR101362941B1 (ko) 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
US20090025051A1 (en) Method of transmitting and receiving broadcast signal and apparatus for receiving broadcast signal
CN103168473B (zh) 数字接收机以及用于处理数字接收机中的3d 内容的方法
US9185386B2 (en) Video processing device, transmission device, video processing system, video processing method, transmission method, computer program and integrated circuit
MX2012008816A (es) Metodo y aparato para generar flujo de datos para proporcionar servicio multimedia tridimensional, y metodo y aparato para recibir el flujo de datos.
US9516086B2 (en) Transmitting device, receiving device, and transceiving method thereof
KR20130127423A (ko) 멀티미디어 애플리케이션을 위한 pip 방법
JP5981915B2 (ja) 送信装置、受信再生装置、送信方法及び受信再生方法
KR20150035699A (ko) 송신/수신 장치, 방법, 부호화/복호화 장치
WO2013021655A1 (ja) 受信再生装置、送信装置、受信再生方法、及び送信方法
US20130209063A1 (en) Digital receiver and content processing method in digital receiver
WO2013011696A1 (ja) 送信装置、受信再生装置、送信方法及び受信再生方法
JP5957770B2 (ja) 映像処理装置、方法、プログラム、記録媒体及び集積回路
US9596450B2 (en) Video transmission device, video transmission method, and video playback device
US20120127266A1 (en) Method and apparatus for providing stereoscopic 3d broadcasting service compatible with hd broadcasting service
JP6590479B2 (ja) 受信装置、情報処理方法、及びプログラム
KR101878218B1 (ko) Mpeg-2 ts 기반 방송 서비스 환경에서 전달 시간이 다른 콘텐츠를 연동하여 3d 서비스를 제공하는 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160602

R151 Written notification of patent or utility model registration

Ref document number: 5957770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees