以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[立体画像送受信システムの構成例]
図1は、実施の形態としての立体画像送受信システム10の構成例を示している。この立体画像送受信システム10は、放送局100と、セットトップボックス(STB:Set Top Box)200と、テレビ受信機300を有している。
セットトップボックス200およびテレビ受信機300は、HDMI(High Definition Multimedia Interface)ケーブル400を介して接続されている。セットトップボックス200には、HDMI端子202が設けられている。テレビ受信機300には、HDMI端子302が設けられている。HDMIケーブル400の一端はセットトップボックス200のHDMI端子202に接続され、このHDMIケーブル400の他端はテレビ受信機300のHDMI端子302に接続されている。
[放送局の説明]
放送局100は、ビットストリームデータを、放送波にのせて送信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報(視差ベクトル)などが含まれる。ここで、重畳情報データは、クローズド・キャプションデータ、サブタイトルデータ、グラフィクスデータ、テキストデータなどである。
「送信データ生成部の構成例」
図2は、放送局100において、上述のビットストリームデータを生成する送信データ生成部110の構成例を示している。この構成例は、視差ベクトルを数値情報として送信する例である。この送信データ生成部110は、カメラ111L,111Rと、ビデオフレーミング部112と、ビデオエンコーダ113と、視差ベクトル検出部114と、視差ベクトルエンコーダ115を有している。
また、この送信データ生成部110は、マイクロホン116と、オーディオエンコーダ117と、サブタイトル・グラフィクス発生部118と、サブタイトル・グラフィクスエンコーダ119と、テキスト発生部120と、テキストエンコーダ121と、マルチプレクサ122を有している。なお、この実施の形態において、テキスト発生部120は、クローズド・キャプションデータの発生部を兼ねているものとする。このクローズド・キャプションデータは、クローズド・キャプションの字幕表示をするためのテキストデータである。
カメラ111Lは、左眼画像を撮影して立体画像表示のための左眼画像データを得る。カメラ111Rは、右眼画像を撮影して立体画像表示のための右眼画像データを得る。ビデオフレーミング部112は、カメラ111Lで得られる左眼画像データおよびカメラ111Rで得られる右眼画像データを、伝送方式に応じた状態に加工処理する。
[立体画像データの伝送方式例]
ここでは、立体画像データ(3D画像データ)の伝送方式として、以下の第1〜第3の方式を挙げるが、これら以外の伝送方式であってもよい。ここでは、図3に示すように、左眼(L)および右眼(R)の画像データが、それぞれ、決められた解像度、例えば 1920×1080pのピクセルフォーマットの画像データである場合を例にとって説明する。
第1の伝送方式は、「Top & Bottom」方式で、図4(a)に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが1/2に間引かれることから原信号に対して垂直解像度は半分となる。
第2の伝送方式は、「Side By Side」方式で、図4(b)に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが1/2に間引かれる。現信号に対して、水平解像度は半分となる。
第3の伝送方式は、「Frame Sequential」方式で、図4(c)に示すように、左眼画像データと右眼画像データとをフィールド毎に順次切換えて伝送する方式である。
図2に戻って、ビデオエンコーダ113は、ビデオフレーミング部112で加工処理された立体画像データに対して、MPEG4−AVC、MPEG2、VC−1等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ113は、後段にストリームフォーマッタ113aを備える。このストリームフォーマッタ113aにより、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。
視差ベクトル検出部114は、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルを検出する。ここで、画像内の所定位置は、全ての画素位置、複数画素からなる各領域の代表位置、あるいは、重畳情報、ここではグラフィック情報やテキスト情報を重畳する領域の代表位置等である。
[視差ベクトルの検出]
視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図5に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、(xi,yi)および(xj,yj)の位置における視差ベクトルが検出される。
(xi,yi)の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、(xi,yi)の位置の画素を左上とする、例えば8×8あるいは16×16の画素ブロック(視差検出ブロック)Biが設定される。そして、右眼画像において、画素ブロックBiとマッチングする画素ブロックが探索される。
この場合、右眼画像に、(xi,yi)の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックBiと同様の例えば8×8あるいは16×16の比較ブロックが順次設定されていく。
画素ブロックBiと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図6に示すように、画素ブロックBiの画素値をL(x,y)とし、比較ブロックの画素値をR(x,y)とするとき、画素ブロックBiと、ある比較ブロックとの間における差分絶対値の総和は、Σ|L(x,y)−R(x,y)|で表される。
右眼画像に設定される探索範囲にn個の画素が含まれているとき、最終的にn個の総和S1〜Snが求められ、その中で最小の総和Sminが選択される。そして、この総和Sminが得られた比較ブロックから左上の画素の位置が(xi′,yi′)が得られる。これにより、(xi,yi)の位置における視差ベクトルは、(xi′−xi,yi′−yi)のように検出される。詳細説明は省略するが、(xj,yj)の位置における視差ベクトルについても、左眼画像に、(xj,yj)の位置の画素を左上とする、例えば8×8あるいは16×16の画素ブロックBjが設定されて、同様の処理過程で検出される。
図7(a)は、視差ベクトル検出部114で検出される、画像内の所定位置おける視差ベクトルVVの一例を示している。この場合、図7(b)に示すように、この画像内の所定位置においては、左眼画像(検出画像)を視差ベクトルVVだけずらすと、右眼画像(参照画像)と重なることを意味する。
図2に戻って、視差ベクトルエンコーダ115は、視差ベクトル検出部114で検出された視差ベクトル等を含む視差ベクトルのエレメンタリーストリームを生成する。ここで、視差ベクトルのエレメンタリーストリームには、以下の内容が含まれる。すなわち、ID(ID_Block)、垂直位置情報(Vertical_Position)、水平位置情報(Horizontal_Position)、視差ベクトル(View_Vector)が1セットとされる。そして、この1セットが視差検出ブロックの数であるN個分だけ繰り返される。
図8は、視差ベクトルの伝送内容を示している。視差ベクトルには、垂直方向成分(View_Vector_Vertical)および水平方向成分(View_Vector_Horizontal)が含まれている。 なお、視差検出ブロックの垂直、水平の位置は、画像の左上の原点から、ブロックの左上の画素までの垂直方向、水平方向のオフセット値となる。各視差ベクトルの伝送に、視差検出ブロックのIDを付すのは、画像に重畳表示させるクローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のパターンとのリンクがとれるようにするためである。
例えば、図9(a)に示すように、A〜Fまでの視差検出ブロックが存在するとき、伝送内容には、図9(b)に示すように、その視差検出ブロックA〜FのIDと、垂直、水平の位置情報と、視差ベクトルが含まれる。例えば、図9(b)において、視差検出ブロックAに関しては、ID2は視差検出ブロックAのIDを示し、(Ha,Va)は視差検出ブロックAの垂直、水平の位置情報を示し、視差ベクトルaは視差検出ブロックAの視差ベクトルを示している。
ここで、視差ベクトルを検出して伝送するタイミングについて説明する。このタイミングに関しては、例えば、以下の第1〜第4の例が考えられる。
第1の例においては、図10(a)に示すように、ピクチャの符号化に同期させる。この場合、視差ベクトルは、ピクチャ単位で伝送される。このピクチャ単位は、視差ベクトルを伝送する際のもっとも細かい単位である。第2の例においては、図10(b)に示すように、ビデオのシーンに同期させる。この場合、視差ベクトルは、シーン単位で伝送される。
第3の例においては、図10(c)に示すように、符号化ビデオのIピクチャ(Intra picture)、またはGOP(Group Of Pictures)に同期させる。第4の例においては、図11に示すように、画像に重畳表示されるサブタイトル情報、グラフィクス情報、テキスト情報等の表示開始タイミングに同期させる。
図2に戻って、マイクロホン116は、カメラ111L,111Rで撮影された画像に対応した音声を検出して、音声データを得る。オーディオエンコーダ117は、マイクロホン116で得られた音声データに対して、MPEG−2Audio AAC等の符号化を施し、オーディオのエレメンタリーストリームを生成する。
サブタイトル・グラフィクス発生部118は、画像に重畳するサブタイトル情報やグラフィクス情報のデータ(サブタイトルデータ、グラフィクスデータ)を発生する。サブタイトル情報は、例えば字幕である。また、グラフィクス情報は、例えばロゴなどである。このサブタイトルデータおよびグラフィクスデータは、ビットマップデータである。このサブタイトルデータおよびグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。
このアイドリングオフセット情報は、例えば、画像の左上の原点から、サブタイトル情報やグラフィクス情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、字幕データをビットマップデータとして伝送する規格は、ヨーロッパのデジタル放送規格であるDVBでDVB_Subtitlingとして規格化され、運用されている。
サブタイトル・グラフィクスエンコーダ119は、サブタイトル・グラフィクス発生部118で発生されたサブタイトル情報やグラフィクス情報のデータ(サブタイトルデータ、グラフィクスデータ)を入力する。そして、このサブタイトル・グラフィクスエンコーダ119は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
テキスト発生部120は、画像に重畳するテキスト情報のデータ(テキストデータ)を発生する。テキスト情報は、例えば電子番組表、文字放送内容などである。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。このアイドリングオフセット情報は、例えば、画像の左上の原点から、テキスト情報の重畳位置の左上の画素までの垂直方向、水平方向のオフセット値を示す。なお、テキストデータを伝送する例としては、番組予約として運用されているEPG、アメリカのデジタル地上波規格ATSCのCC_data(Closed Caption)がある。
テキストエンコーダ121は、テキスト発生部120で発生されたテキストデータを入力する。そして、テキストエンコーダ121は、これらのデータをペイロード部に含むエレメンタリーストリームを生成する。
マルチプレクサ122は、エンコーダ113,115,117,119,121から出力されるパケット化されたエレメンタリーストリームを多重化する。そして、このマルチプレクサ122は、伝送データとしてのビットストリームデータ(トランスポートストリーム)BSDを出力する。
図2に示す送信データ生成部110の動作を簡単に説明する。カメラ111Lでは、左眼画像が撮影される。このカメラ111Lで得られる立体画像表示のための左眼画像データはビデオフレーミング部112に供給される。また、カメラ111Rでは、右眼画像が撮影される。このカメラ111Rで得られる立体画像表示のための右眼画像データはビデオフレーミング部112に供給される。ビデオフレーミング部112では、左眼画像データおよび右眼画像データが、伝送方式に応じた状態に加工処理されて、立体画像データが得られる(図4(a)〜(c)参照)。
ビデオフレーミング部112で得られる立体画像データはビデオエンコーダ113に供給される。このビデオエンコーダ113では、立体画像データに対してMPEG4−AVC、MPEG2、VC−1等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ122に供給される。
また、カメラ111L,111Rで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部112を通じて、視差ベクトル検出部114に供給される。この視差ベクトル検出部114では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置において、視差検出ブロックが設定され、左眼画像および右眼画像の一方に対する他方の視差情報である視差ベクトルが検出される。
視差ベクトル検出部114で検出された画像内の所定位置における視差ベクトルは、視差ベクトルエンコーダ115に供給される。この場合、視差検出ブロックのID、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが1セットとして渡される。視差ベクトルエンコーダ115では、視差ベクトルの伝送内容(図8参照)を含む視差ベクトルエレメンタリーストリームが生成される。この視差ベクトルエレメンタリーストリームはマルチプレクサ122に供給される。
また、マイクロホン116では、カメラ111L,111Rで撮影された画像に対応した音声が検出される。このマイクロホン116で得られる音声データはオーディオエンコーダ117に供給される。このオーディオエンコーダ117では、音声データに対して、MPEG−2Audio AAC等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ122に供給される。
また、サブタイトル・グラフィクス発生部118では、画像に重畳するサブタイトル情報やグラフィクス情報のデータ(サブタイトルデータ、グラフィクスデータ)が発生される。このデータ(ビットマップデータ)は、サブタイトル・グラフィクスエンコーダ119に供給される。このサブタイトル・グラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ119では、このグラフィクスデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ122に供給される。
また、テキスト発生部120では、画像に重畳するテキスト情報のデータ(テキストデータ)が発生される。このテキストデータは、テキストエンコーダ121に供給される。このテキストデータには、上述のグラフィクスデータと同様に、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ121では、このテキストデータに対して所定の符号化が施され、符号化データを含むエレメンタリーストリームが生成される。このエレメンタリーストリームはマルチプレクサ122に供給される。
マルチプレクサ122では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ(トランスポートストリーム)BSDが得られる。
図12は、図2に示す送信データ生成部110において多重化される各データのストリーム例を示している。なお、この例は、視差ベクトルが、ビデオのシーン単位で検出されて伝送される場合(図10(b)参照)を示している。なお、各ストリームのパケットには、同期表示用のタイムスタンプが付され、受信側で、画像に対して、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳タイミングを制御することが可能となっている。
「送信データ生成部の他の構成例」
なお、上述の図2に示す送信データ生成部110は、視差ベクトルの伝送内容(図8参照)を独立したエレメンタリーストリームとして受信側に伝送する構成となっている。しかし、視差ベクトルの伝送内容を他のストリームの中に埋め込んで伝送することも考えられる。例えば、視差ベクトルの伝送内容は、ビデオのストリームにユーザデータとして埋め込まれて伝送される。また、例えば、視差ベクトルの伝送内容は、サブタイトル、グラフィクス、あるいはテキストのストリームに埋め込まれて伝送される。
図13は、送信データ生成部110Aの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部110Aは、視差ベクトルの伝送内容を、ビデオのストリームにユーザデータとして埋め込んで伝送する構成となっている。この図13において、図2と対応する部分には同一符号を付し、その詳細説明は省略する。
この送信データ生成部110Aにおいて、視差ベクトル検出114で検出された画像内の所定位置における視差ベクトルは、ビデオエンコーダ113内のストリームフォーマッタ113aに供給される。この場合、視差検出ブロックのID、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが1セットとして渡される。ストリームフォーマッタ113aでは、ビデオのストリームに、視差ベクトルの伝送内容(図8参照)が、ユーザデータとして埋め込まれる。
詳細説明は省略するが、この図13に示す送信データ生成部110Aのその他は、図2に示す送信データ生成部110と同様に構成されている。
図14は、図13に示す送信データ生成部110Aにおいて多重化される画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームの一例を示している。視差ベクトル(視差情報)は、画像データストリームに埋め込まれて伝送される。
「送信データ生成部の他の構成例」
図15は、送信データ生成部110Bの構成例を示している。この例も、視差ベクトルを数値情報として送信する例である。この送信データ生成部110Bは、視差ベクトルの伝送内容を、サブタイトルあるいはグラフィクスのデータストリームに埋め込んで伝送する構成となっている。この図15において、図2と対応する部分には同一符号を付し、その詳細説明は省略する。
この送信データ生成部110Bにおいて、視差ベクトル検出114で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクスエンコーダ119内のストリームフォーマッタ119aに供給される。この場合、視差検出ブロックのID、視差検出ブロックの垂直位置情報、視差検出ブロックの水平位置情報、視差ベクトルが1セットとして渡される。ストリームフォーマッタ119aでは、サブタイトルあるいはグラフィクスのデータストリームに、視差ベクトルの伝送内容(図8参照)が埋め込まれる。
詳細説明は省略するが、この図15に示す送信データ生成部110Bのその他は、図2に示す送信データ生成部110と同様に構成され、同様に動作する。
図16は、図15に示す送信データ生成部110Bにおいて多重化される、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームの一例を示している。視差ベクトル(視差情報)は、サブタイトルあるいはグラフィクスのデータストリームに埋め込まれて伝送される。
「送信データ生成部の他の構成例」
また、上述の図2、図13、図15に示す送信データ生成部110,110A,110Bは、視差ベクトルを数値情報として送信する(図8参照)。しかし、視差ベクトルを数値情報として伝送する代わりに、画像に重畳するための重畳情報(例えば、サブタイトル情報、グラフィクス情報、テキスト情報等)のデータに送信側で視差情報を予め反映させて送信することも考えられる。
例えば、グラフィクス情報のデータに反映させる場合、送信側で、左眼画像に重畳すべき左眼グラフィクス情報と右眼画像に重畳すべき右眼グラフィクス情報の双方に対応したグラフィクスデータが生成される。この場合、左眼グラフィクス情報および右眼グラフィクス情報は同一のグラフィクス情報である。しかし、画像内の表示位置が、例えば、左眼グラフィクス情報に対して、右眼グラフィクス情報は、その表示位置に対応した視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、その重畳位置に対応したものが使用される。また、例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルが使用される。なお、詳細説明は省略するが、サブタイトル情報やグラフィクス情報のデータに視差情報を反映させる場合も同様である。
図17(a)は、伝送方式が上述の第1の伝送方式(「Top & Bottom」方式)である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像IL上に重畳される左眼グラフィクス情報LGIに対して、右眼画像IR上に重畳される右眼グラフィクス情報RGIは、視差ベクトルの水平方向成分VVTだけ水平方向にずれた位置とされている。
各画像IL,IRに対して、図17(a)に示すように、各グラフィクス情報LGI,RGIが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図17(b)に示すように、各画像IL,IRと共に、各グラフィクス情報LGI,RGIを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
例えば、各グラフィクス情報LGI,RGIのグラフィクスデータは、図18(a)に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報LGI,RGI以外の部分のデータは、透明データとして生成されればよい。また、例えば、各グラフィクス情報LGI,RGIのグラフィクスデータは、図18(b)に示すように、別領域のデータとして生成される。
図19(a)は、伝送方式が上述の第2の伝送方式(「Side By Side」方式)である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。これら左眼グラフィクス情報および右眼グラフィクス情報は同一の情報である。ただし、左眼画像IL上に重畳される左眼グラフィクス情報LGIに対して、右眼画像IR上に重畳される右眼グラフィクス情報RGIは、視差ベクトルの水平方向成分VVTだけ水平方向にずれた位置とされている。なお、ITは、アイドリングオフセット値である。
各画像IL,IRに対して、図19(a)に示すように、各グラフィクス情報LGI,RGIが重畳されるように、グラフィクスデータが生成される。これにより、視聴者は、図19(b)に示すように、各画像IL,IRと共に、各グラフィクス情報LGI,RGIを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
例えば、各グラフィクス情報LGI,RGIのグラフィクスデータは、図20に示すように、単一領域のデータとして生成される。この場合、各グラフィクス情報LGI,RGI以外の部分のデータは、透明データとして生成されればよい。
図21は、送信データ生成部110Cの構成例を示している。この送信データ生成部110Cは、クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報等の重畳情報のデータに視差情報を反映させて送信する構成となっている。この図21において、図2と対応する部分には同一符号を付し、その詳細説明は省略する。
この送信データ生成部110Cでは、サブタイトル・グラフィクス発生部118とサブタイトル・グラフィクスエンコーダ119との間に、サブタイトル・グラフィクス処理部124が挿入されている。また、この送信データ生成部110Cでは、テキスト発生部120とテキストエンコーダ121との間に、テキスト処理部125が挿入されている。そして、視差ベクトル検出部114で検出された画像内の所定位置における視差ベクトルは、サブタイトル・グラフィクス処理部124およびテキスト処理部125に供給される。
サブタイトル・グラフィクス処理部124では、左眼画像IL、右眼画像IRに重畳される、左眼、右眼のサブタイトルやグラフィクスの情報LGI,RGIのデータが生成される。この場合、サブタイトル・グラフィクス発生部118で発生されるサブタイトルデータやグラフィクスデータに基づいて発生される。左眼および右眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分VVTだけ、水平方向にずれるようにされる(図17(a)、図19(a)参照)。
このようにサブタイトル・グラフィクス処理部124で生成されたサブタイトルデータやグラフィクスデータは、サブタイトル・グラフィクスエンコーダ119に供給される。なお、このサブタイトルデータやグラフィクスデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。サブタイトル・グラフィクスエンコーダ119では、サブタイトル・グラフィクス処理部124で生成されたサブタイトルデータやグラフィクスデータのエレメンタリーストリームが生成される。
また、テキスト処理部125では、テキスト発生部120で発生されるテキストデータに基づいて、左眼画像上に重畳される左眼テキスト情報のデータおよび右眼画像上に重畳される右眼テキスト情報のデータが生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分VVTだけ、水平方向にずれるようにされる。
このようにテキスト処理部125で生成されたテキストデータは、テキストエンコーダ121に供給される。なお、このテキストデータには、画像上の重畳位置を示すアイドリングオフセット情報が付加されている。テキストエンコーダ121では、テキスト処理部で生成されたテキストスデータのエレメンタリーストリームが生成される。
詳細説明は省略するが、この図21に示す送信データ生成部110Cのその他は、図2に示す送信データ生成部110と同様に構成されている。
「送信データ生成部の他の構成例」
図2、図13、図15に示す送信データ生成部110,110A,110Bにおいて、視差ベクトル検出部114では、左眼画像データおよび右眼画像データに基づき、画像内の所定位置における視差ベクトル(視差情報)が検出される。送信データ生成部110,110A,110Bでは、視差ベクトル検出部114で検出された画像内の所定位置における視差情報をそのまま受信側に送信する構成となっている。
しかし、例えば、視差ベクトル検出部114でピクセル毎(画素毎)の視差ベクトルを検出し、それにダウンサイジング処理を施し、画像領域を階層的に分割して得られた各階層の各領域の視差ベクトルを求めることが考えられる。そして、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットを作成し、この視差情報セットを受信側に送信することが考えられる。
また、データ記録媒体に、送信すべき左眼画像データおよび右眼画像データと共に、ピクセル(画素)毎の視差ベクトル(視差情報)が記録されている場合がある。その場合に、それにダウンサイジング処理を施し、画像領域を階層的に分割して得られた各階層の各領域の視差ベクトルを求めることが考えられる。そして、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルをデータ記録媒体から読み出して階層順に配置した視差情報セットを作成し、この視差情報セットを受信側に送信することが考えられる。
図22は、送信データ生成部110Dの構成例を示している。この送信データ生成部110Dは、選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットを作成し、この視差情報セットを受信側に送信する構成となっている。この図22において、図2と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
この送信データ生成部110Dは、カメラ111L,111Rと、ビデオフレーミング部112と、ビデオエンコーダ113と、視差ベクトル検出部114と、視差ベクトルエンコーダ115を有している。また、この送信データ生成部110Dは、マイクロホン116と、オーディオエンコーダ117と、サブタイトル・グラフィクス発生部118と、サブタイトル・グラフィクスエンコーダ119と、テキスト発生部120と、テキストエンコーダ121と、マルチプレクサ122を有している。また、この送信データ生成部110Dは、データ取り出し部130と、切換スイッチ131〜133、視差情報セット作成部134を有している。
データ取り出し部130には、データ記録媒体130aが、例えば、着脱自在に装着される。このデータ記録媒体130aには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、重畳情報のデータ、視差ベクトルが対応付けて記録されている。データ取り出し部130は、データ記録媒体130aから、立体画像データ、音声データ、重畳情報のデータ、視差ベクトル等を取り出して出力する。
ここで、データ記録媒体130aに記録されている立体画像データは、ビデオフレーミング部112で得られる立体画像データに相当するものである。また、データ記録媒体130aに記録されている重畳情報のデータは、サブタイトルデータ、グラフィクスデータ、テキストデータ等である。また、データ記録媒体130aに記録されている視差ベクトルは、例えば、最下層に位置するピクセル(画素)毎の視差ベクトルである。
視差ベクトル検出部114は、左眼画像データおよび右眼画像データに基づき、例えば、最下層に位置するピクセル毎(画素毎)の視差ベクトルを検出する。切換スイッチ131は、ライブモードではビデオフレーミング部112で得られた立体画像データを取り出し、再生モードではデータ取り出し部130から出力された立体画像データを取り出し、ビデオエンコーダ113に供給する。
切換スイッチ132は、ライブモードでは視差ベクトル検出部114で得られた視差ベクトルを取り出し、再生モードではデータ取り出し部130から出力された視差ベクトルを取り出し、視差情報セット作成部134に供給する。切換スイッチ133は、ライブモードではマイクロホン116で得られた音声データを取り出し、再生モードではデータ取り出し部130から出力された音声データを取り出し、オーディオエンコーダ117に供給する。
視差情報セット作成部134は、切換スイッチ132で取り出された視差ベクトル、すなわち最下層に位置するピクセル(画素)毎の視差ベクトルにダウンサイジング処理を施し、画像(ピクチャ)領域を階層的に分割して得られた各階層の各領域の視差情報を求める。
図23は、各ピクセル(画素)の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。
図24は、ブロック(Block)毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル(画素)の上位層に当たる。このブロックは、画像(ピクチャ)領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル(画素)の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。
図25は、視差情報セット作成部134で行われるダウンサイジング処理の一例を示している。まず、視差情報セット作成部134は、図25(a)に示すように、ピクセル(画素)毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル(画素)の上位層に当たり、画像(ピクチャ)領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル(画素)の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
次に、視差情報セット作成部134は、図25(b)に示すように、ブロック毎の視差ベクトルを用いて、グループ(Group Of Block)毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図25(b)の例では、各グループは、破線枠で括られる4個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
次に、視差情報セット作成部134は、図25(c)に示すように、グループ毎の視差ベクトルを用いて、リージョン(Region)毎の視差ベクトルを求める。リージョンは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図25(c)の例では、各リージョンは、破線枠で括られる2個のグループにより構成されている。そして、各リージョンの視差ベクトルは、例えば、そのリージョン内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。
次に、視差情報セット作成部134は、図25(d)に示すように、リージョン毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体(画像全体)の視差ベクトルを求める。図25(d)の例では、ピクチャ全体には、破線枠で括られる4個のリージョンが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全リージョンの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この場合、ピクチャ全体の視差ベクトルの他に、その視差ベクトルが得られた元々のピクセル(画素)の位置(「+」で図示)の情報を求めて、視差ベクトルの付加情報とすることもできる。これは、上述したブロック、グループ、リージョンの視差ベクトルを求める際も同様である。
このようにして、視差情報セット作成部134は、最下層に位置するピクセル(画素)毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、リージョン、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図25に示すダウンサイジング処理の一例では、最終的に、ピクセル(画素)の階層の他、ブロック、グループ、リージョン、ピクチャ全体の4階層の視差ベクトルを求めているが、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。
また、視差情報セット作成部134は、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットを作成する。
視差情報セット作成部134では、上述のダウンサイジング処理により、例えば、ピクチャ全体、リージョン、グループ、ブロック、ピクセル(画素)の各階層の各領域の視差ベクトルが取得される。視差情報セット作成部134は、各階層の各領域の視差ベクトルを管理する。図26に示すように、各階層の各領域の視差ベクトルには、ブロックID(Block ID)が付加されている。このブロック IDは、対象の視差ベクトルが属する最下層の位置情報を示すものであり、上位層から見た際にも視差と位置を的確に検知することを可能とするものである。図26は、図面の簡単のために、ピクチャ全体(DPall)および各リージョン(DP0〜DP3)の視差ベクトル部分だけを示している。
図26において、ピクチャ全体(DPall)の視差ベクトル(DP_value0)は、ブロックID(ID0)で示される最下層の位置に属する視差ベクトルであることが分かる。また、図26において、各リージョン(DP0〜DP3)の視差ベクトル(DP_value1〜DP_value4)は、それぞれ、ブロックID(ID1〜ID4)で示される最下層の位置に属する視差ベクトルであることが分かる。
なお、ブロック IDの代わりに、あるいはブロックIDと共に、位置そのものを示す情報を用いることができる。この情報は、例えば、画面左上から各領域の左上までのオフセット値であり、画素単位で表される。また、ピクセル(画素)毎の視差ベクトルに関しては、スキャン順(映像画素順)に配置しておくことで位置情報の付加を省略できる。
視差情報セット作成部134は、例えば、送信階層として最上位階層であるピクチャ全体の階層のみを選択する場合、図26に矢印aで範囲を示すように、その視差ベクトル(DP_value0)を含む視差情報セットを作成する。また、視差情報セット作成部134は、例えば、送信階層としてピクチャ全体およびリージョンの階層を選択する場合、図26に矢印bで範囲を示すように、その視差ベクトル(DP_value0,DP_value1〜DP_value4)を含む視差情報セットを作成する。
以下、同様に、視差情報セット作成部134は、送信階層として選択された各階層の各領域の視差ベクトルを含む視差情報セットを作成する。なお、送信階層として、必ずしも、ピクチャ全体の階層が含まれる必要はなく、リージョン階層以下、あるいはいグループ階層以下などが選択されてもよい。また、リージョン等の各階層の各領域の構成そのものに関しても、各階層のピクチャ全体の切り方や領域数などに自由度をもたせることが可能であることは言うまでもない。
視差情報セット作成部134では、視差情報セットに、送信階層として選択された各階層の各領域の視差ベクトルを、階層順、例えば上位階層から順に配置する。図27は、視差情報セットの内容の一例を示している。
この視差情報セットには、N個の視差ベクトルの情報セットが含まれている。各情報セットは、16ビットのブロックID(ID_Block(i))と、16ビットの垂直位置情報(Vertical_Position)と、16ビットの水平位置情報(Horizontal_Position)と、16ビットの水平方向の視差ベクトル(Disparity_Vector_Horizontal)により構成されている。
なお、受信側において、ブロック ID(ID_Block(i))のみで視差ベクトルが属する最下層の位置が分かる場合には、位置情報(Vertical_Position,Horizontal_Position)を不要とできる。また、ピクセル(画素)毎の視差ベクトルを送信する場合にあってスキャン順(映像画素順)に配置する場合には、ブロックIDおよび位置情報のいずれも不要とできる。
ビデオエンコーダ113は、切換スイッチ131から供給された立体画像データに対して、MPEG4−AVC、MPEG2、VC−1等の符号化を施して符号化ビデオデータを得る。また、ビデオエンコーダ113は、ペイロード部に符号化ビデオデータを含むビデオのエレメンタリーストリームを生成する。視差ベクトルエンコーダ115は、視差情報セット作成部134で作成された視差情報セットを含む視差ベクトルのエレメンタリーストリームを生成する。また、オーディオエンコーダ117は、切換スイッチ133から供給された音声データに対して、MPEG−2Audio AAC等の符号化を施し、オーディオのエレメンタリーストリームを生成する。
詳細説明は省略するが、この図22に示す送信データ生成部110Dのその他は、図2に示す送信データ生成部110と同様に構成されている。
図22に示す送信データ生成部110Dの動作を簡単に説明する。最初にライブモードの動作を説明する。このライブモードでは、切換スイッチ131〜133は、いずれも、a側に接続されている。
ビデオフレーミング部112で得られた立体画像データは、切換スイッチ131を介して、ビデオエンコーダ113に供給される。このビデオエンコーダ113では、その立体画像データに対してMPEG4−AVC、MPEG2、VC−1等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリーストリームが生成される。このビデオエレメンタリーストリームはマルチプレクサ122に供給される。
また、カメラ111L,111Rで得られた左眼画像データ、右眼画像データは、ビデオフレーミング部112を通じて、視差ベクトル検出部114に供給される。この視差ベクトル検出部114では、左眼画像データおよび右眼画像データに基づき、例えば、最下層に位置するピクセル毎(画素毎)の視差ベクトルが検出される。この視差ベクトルは、切換スイッチ132を介して、視差情報セット作成部134に供給される。
視差情報セット作成部134では、視差ベクトル、すなわち最下層に位置するピクセル(画素)毎の視差ベクトルにダウンサイジング処理が施され、画像領域を階層的に分割して得られた各階層の各領域の視差情報が求められる。例えば、視差情報セット作成部134では、最下層に位置するピクセル(画素)毎の視差ベクトルにダウンサイジング処理が施されて、ブロック、グループ、リージョン、ピクチャ全体の各階層の各領域の視差ベクトルが求められる。
また、視差情報セット作成部134では、さらに、視差情報セット作成部134では、受信側が要求する視差ベクトルの空間密度、あるいは伝送帯域などに基づいて選択された階層の各領域の視差ベクトルを階層順に配置した視差情報セットが作成される(図27参照)。この視差情報セットは、視差ベクトルエンコーダ115に供給される。視差ベクトルエンコーダ115では、視差情報セットを含む視差ベクトルエレメンタリーストリームが生成される。この視差ベクトルエレメンタリーストリームはマルチプレクサ122に供給される。
また、マイクロホン116で得られた音声データは、切換スイッチ133を介して、オーディオエンコーダ117に供給される。このオーディオエンコーダ117では、音声データに対して、MPEG−2Audio AAC等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリーストリームが生成される。このオーディオエレメンタリーストリームはマルチプレクサ122に供給される。
また、マルチプレクサ122には、サブタイトル・グラフィクスエンコーダ119から、サブタイトルデータあるいはグラフィクスデータの符号化データを含むエレメンタリーストリームが供給される。さらに、このマルチプレクサ122には、テキストエンコーダ121から、テキストデータの符号化データを含むエレメンタリーストリームが供給される。そして、マルチプレクサ122では、各エンコーダから供給されるエレメンタリーストリームのパケットが多重化され、伝送データとしてのビットストリームデータ(トランスポートストリーム)BSDが得られる。
次に、再生モードの動作を説明する。この再生モードでは、切換スイッチ131〜133は、いずれも、b側に接続されている。データ取り出し部130で得られた立体画像データが、切換スイッチ131を介して、ビデオエンコーダ113に供給される。また、データ取り出し部130で得られた視差ベクトル、すなわち最下層に位置するピクセル(画素)毎の視差ベクトルが、切換スイッチ132を介して、視差情報セット作成部134に供給される。また、データ取り出し部130で得られた音声データが、切換スイッチ133を介して、オーディオエンコーダ117に供給される。
詳細説明は省略するが、この再生モードにおいて、その他の動作は、上述したライブモードと同様である。
図22に示す送信データ生成部110Dにおいては、上述したように、視差情報セット作成部134で作成される視差情報セットには、画像(ピクチャ)領域を階層的に分割して得られた各階層のうち、選択された階層の各領域の視差ベクトル(視差情報)が、階層順に配置されている。そのため、受信側においては、この視差情報セットから重畳情報の重畳位置に対応した視差ベクトルを容易に取り出して用いることができる。すなわち、受信側において、重畳情報の重畳位置に対応した視差ベクトルを得るための計算などが不要となり、簡単な構成とすることができる。
なお、図22に示す送信データ生成部110Dの上述の説明では、視差情報セット作成部134で、最下位層のピクセル(画素)毎の視差ベクトルにダウンサイジング処理を施して各階層の各領域の視差ベクトルを求める旨、説明した。しかし、各階層の各領域の視差ベクトルが視差ベクトル検出部114で検出あるいは求められ、視差情報セット作成部134ではそれを利用するようにしてもよい。あるいは、データ記録媒体130aに各階層の各領域の視差ベクトルが記録されており、視差情報セット作成部134ではそれを利用するようにしてもよい。
また、図22に示す送信データ生成部110Dの上述の説明では、視差情報セット作成部134で、最下位層のピクセル(画素)毎の視差ベクトルにダウンサイジング処理が施して各階層の各領域の視差ベクトルを求める旨、説明した。しかし、視差情報セット作成部134では、送信階層として選択された各階層の各領域の視差ベクトルのみを求めることで足りる。
また、図22に示す送信データ生成部110Dは、視差情報セットを含む視差ベクトルエレメンタリーストリームを、マルチプレクサ122で他のストリームと多重化する構成となっている。すなわち、この図22に示す送信データ生成部110Dは、図2に示す送信データ生成部110に対応した構成となっている。しかし、図13、図15に示す送信データ生成部110A,110Bと同様に、画像データストリーム等の他のストリームに視差情報セットを挿入して受信側に送る構成とすることもできる。
[セットトップボックスの説明]
図1に戻って、セットトップボックス200は、放送局100から放送波にのせて送信されてくるビットストリームデータ(トランスポートストリーム)を受信する。このビットストリームデータには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報データ、さらには視差情報(視差ベクトル)が含まれる。ここで、重畳情報データは、例えば、サブタイトルデータ、グラフィクスデータ、テキストデータ(クローズド・キャプションデータを含む)等である。
セットトップボックス200は、ビットストリーム処理部201を有している。このビットストリーム処理部201は、ビットストリームデータから、立体画像データ、音声データ、重畳情報データ、視差ベクトル等を抽出する。このビットストリーム処理部201は、立体画像データ、重畳情報データ(サブタイトルデータ、グラフィクスデータ、テキストデータ)等を用いて、重畳情報が重畳された左眼画像および右眼画像のデータを生成する。
ここで、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳グ情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
図28(a)は、伝送方式が上述の第2の伝送方式(「Side By Side」方式)である場合における、左眼グラフィクス情報および右眼グラフィクス情報の重畳位置を示している。左眼画像IL上に重畳される左眼グラフィクス情報LGIに対して、右眼画像IR上に重畳される右眼グラフィクス情報RGIは、視差ベクトルの水平方向成分VVTだけ水平方向にずれた位置とされている。なお、ITは、アイドリングオフセット値である。
ビットストリーム処理部201では、各画像IL,IRに対して各グラフィクス情報LGI,RGIが図28(a)に示すように重畳されるように、グラフィクスデータが生成される。ビットストリーム処理部201は、ビットストリームデータから抽出された立体画像データ(左眼画像データ、右眼画像データ)に対して、生成された左眼グラフィクスデータ、右眼グラフィクスデータを合成して、処理後の立体画像データを取得する。この立体画像データによれば、視聴者は、図28(b)に示すように、各画像IL,IRと共に、各グラフィクス情報LGI,RGIを、視差をもって観察でき、グラフィクス情報にも、遠近感を認知可能となる。
なお、図29(a)は、各画像IL,IRに対して、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス画像をそのまま重畳した状態を示している。この場合、視聴者は、図29(b)に示すように、左眼画像ILと共にグラフィクス情報の左半分、右眼画像IRと共にグラフィクス情報の右半分を観察する。そのため、グラフィクス情報を正しく認識できなくなる。
図28は、グラフィクス情報の場合を示したが、その他の重畳情報(クローズド・キャプション情報、サブタイトル情報、テキスト情報など)に関しても同様である。すなわち、視差ベクトルが数値情報として送信されてくる場合には、視差ベクトルと重畳情報データデータに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼重畳情報、右眼重畳情報を生成する。この場合、左眼重畳情報および右眼重畳情報は同一の重畳情報である。しかし、画像内の重畳位置が、例えば、左眼重畳情報に対して、右眼重畳情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。
ここで、左眼重畳情報と右眼重畳情報との間に視差を与える視差ベクトルとしては、以下の視差ベクトルを用いることが考えられる。例えば、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することが考えられる。図30(a),(b),(c),(d)は、それぞれ時刻T0,T1,T2,T3における3つのオブジェクト位置の視差ベクトル(View Vector)を示している。
時刻T0では、オブジェクト1に対応した位置(H0,V0)における視差ベクトルVV0-1が最大の視差ベクトルMaxVV(T0)となっている。時刻T1では、オブジェクト1に対応した位置(H1,V1)における視差ベクトルVV1-1が最大の視差ベクトルMaxVV(T1)となっている。時刻T2では、オブジェクト2に対応した位置(H2,V2)における視差ベクトルVV2-2が最大の視差ベクトルMaxVV(T2)となっている。時刻T3では、オブジェクト1に対応した位置(H3,V3)における視差ベクトルVV3-0が最大の視差ベクトルMaxVV(T3)となっている。
このように、視差ベクトルとして、画像内の複数位置で検出された視差ベクトルのうち、遠近感でいうところの最も近く認識される位置の視差ベクトルを使用することで、遠近感でいうところの最も近い画像内の物体よりも手前に、重畳情報を表示できる。
図31(a)は、画像上における字幕(例えば、クローズド・キャプション情報、サブタイトル情報)の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図31(b)は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も近くにあるように認識されることを示している。
図32(a)は、図31(a)と同じ、画像上における字幕(例えば、クローズド・キャプション情報、サブタイトル情報)の表示例を示している。図32(b)は、字幕を表示するための左眼サブタイトル情報LGIと、右眼サブタイトル情報RGIを示している。図32(c)は、字幕が最も近くにあるように認識されるために、各サブタイトル情報LGI,RGIに視差が与えられることを示している。
また、視差ベクトルとしては、画像内の複数位置で検出された視差ベクトル(視差情報セットに含まれる各階層の各領域の視差ベクトルを含む)のうち、その重畳位置に対応したものを使用することが考えられる。図33(a)は、ビットストリームデータから抽出されるグラフィックデータによるグラフィック情報と、ビットストリームデータから抽出されるテキストデータによるテキスト情報を示している。
図33(b)は、左眼画像に、左眼グラフィクス情報LGIおよび左眼テキスト情報LTIが重畳された状態を示している。この場合、左眼グラフィクス情報LGIは、その重畳位置が水平方向にはアイドリングオフセット値(IT-0)で規制されている。また、左眼テキスト情報LTIは、その重畳位置が水平方向にはアイドリングオフセット値(IT-1)で規制されている。
図33(c)は、右眼画像に、右眼グラフィクス情報RGIおよび右眼テキスト情報RTIが重畳された状態を示している。この場合、右眼グラフィクス情報RGIは、その重畳位置が水平方向にはアイドリングオフセット値(IT-0)で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分VVT-0だけ、左眼グラフィクス情報LGIの重畳位置よりずらされている。また、右眼テキスト情報RTIは、その重畳位置が水平方向にはアイドリングオフセット値(IT-1)で規制され、さらにこの重畳位置に対応した視差ベクトルの水平方向成分VVT-1だけ、左眼テキスト情報LTIの重畳位置よりずらされている。
上述では、左眼画像および右眼画像に、ビットストリームデータから抽出されたグラフィクスデータによるグラフィクス情報、あるいはビットストリームデータから抽出されたテキストデータによるテキスト情報を重畳する場合を説明した。この他に、セットトップボックス200内でグラフィクスデータあるいはテキストデータが発生され、それらによる情報を、左眼画像および右眼画像に、重畳する場合も考えられる。
その場合にあっても、ビットストリームデータから抽出された画像内の所定位置の視差ベクトルを利用して、左眼グラフィクス情報と右眼グラフィクス情報との間、あるいは左眼テキスト情報と右眼テキスト情報との間に、視差を持たせることができる。これにより、グラフィクス情報、テキスト情報の表示において、画像内の各物体(オブジェクト)の遠近感との間で遠近感の整合性の維持を図った適切な遠近感を付与できる。
図34(a)は、画像内にA,B,Cの各オブジェクトが存在し、例えば、これら各オブジェクトの近傍位置に、各オブジェクトの注釈を示すテキスト情報を重畳することを示している。図34(b)は、A,B,Cの各オブジェクトの位置と、その位置における視差ベクトルの対応を示す視差ベクトルリストと、それぞれの視差ベクトルを、A,B,Cの各オブジェクの注釈を示すテキスト情報に視差を与える場合に利用することを示している。例えば、Aのオブジェクトの近傍には「Text」のテキスト情報が重畳されるが、その左眼テキスト情報と右眼テキスト情報との間には、Aのオブジェクトの位置(Ha,Va)における視差ベクトルVV-aに対応した視差が与えられる。なお、B,Cのオブジェクトの近傍に重畳されるテキスト情報に関しても同様である。
なお、図33は、重畳情報がグラフィクス情報およびテキスト情報である場合を示している。また、図34は、重畳情報がテキスト情報である場合を示している。詳細説明は省略するが、その他の重畳情報(クローズド・キャプション情報、サブタイトル情報など)の場合も同様である。
次に、視差ベクトルが、重畳情報(クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など)のデータに予め反映されて送信されてくる場合について説明する。この場合、ビットストリームデータから抽出された重畳情報データには、視差ベクトルにより視差が与えられた、左眼重畳情報および右眼重畳情報のデータが含まれている。
そのため、ビットストリーム処理部201は、ビットストリームデータから抽出された立体画像データ(左眼画像データ、右眼画像データ)に対して、ビットストリームデータから抽出された重畳情報データを単に合成して、処理後の立体画像データを取得する。なお、テキストデータ(クローズド・キャプションデータを含む)に関しては、キャラクタコードをビットマップデータに変換する等の処理は必要である。
[セットトップボックスの構成例]
セットトップボックス200の構成例を説明する。図35は、セットトップボックス200の構成例を示している。このセットトップボックス200は、ビットストリーム処理部201と、HDMI端子202と、アンテナ端子203と、デジタルチューナ204と、映像信号処理回路205と、HDMI送信部206と、音声信号処理回路207を有している。また、このセットトップボックス200は、CPU211と、フラッシュROM212と、DRAM213と、内部バス214と、リモコン受信部215と、リモコン送信機216を有している。
アンテナ端子203は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ204は、アンテナ端子203に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ(トランスポートストリーム)を出力する。
ビットストリーム処理部201は、上述したように、ビットストリームデータから立体画像データ(左眼画像データ、右眼画像データ)、音声データ、重畳情報データ、視差情報(視差ベクトル)等を抽出する。重畳情報データは、サブタイトルデータ、グラフィクスデータ、テキストデータ(クローズド・キャプションデータを含む)等である。このビットストリーム処理部201は、上述したように、立体画像データに対し、重畳情報(クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など)のデータを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部201は、音声データを出力する。ビットストリーム処理部201の詳細構成は後述する。
映像信号処理回路205は、ビットストリーム処理部201から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをHDMI送信部206に供給する。音声信号処理回路207は、ビットストリーム処理部201から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをHDMI送信部206に供給する。
HDMI送信部206は、HDMIに準拠した通信により、ベースバンドの画像(映像)と音声のデータを、HDMI端子202から送出する。この場合、HDMIのTMDSチャネルで送信するため、画像および音声のデータがパッキングされて、HDMI送信部206からHDMI端子202に出力される。このHDMI送信部206の詳細は後述する。
CPU211は、セットトップボックス200の各部の動作を制御する。フラッシュROM212は、制御ソフトウェアの格納およびデータの保管を行う。DRAM213は、CPU211のワークエリアを構成する。CPU211は、フラッシュROM212から読み出したソフトウェアやデータをDRAM213上に展開してソフトウェアを起動させ、セットトップボックス200の各部を制御する。
リモコン受信部215は、リモコン送信機216から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU211に供給する。CPU211は、このリモコンコードに基づいて、セットトップボックス200の各部を制御する。CPU211、フラッシュROM212およびDRAM213は内部バス214に接続されている。
セットトップボックス200の動作を簡単に説明する。アンテナ端子203に入力されたテレビ放送信号はデジタルチューナ204に供給される。このデジタルチューナ204では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ(トランスポートストリーム)が出力される。
デジタルチューナ204から出力されるビットストリームデータは、ビットストリーム処理部201に供給される。このビットストリーム処理部201では、ビットストリームデータから立体画像データ(左眼画像データ、右眼画像データ)、音声データ、グラフィクスデータ、テキストデータ、視差ベクトル等が抽出される。また、このビットストリーム処理部201では、立体画像データに対し、重畳情報(クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など)のデータが合成され、表示用立体画像データが生成される。
ビットストリーム処理部201で生成される表示用立体画像データは、映像信号処理回路205で必要に応じて画質調整処理等が行われた後に、HDMI送信部206に供給される。また、ビットストリーム処理部201で得られる音声データは、音声信号処理回路207で必要に応じて音質調整処理等が行われた後に、HDMI送信部206に供給される。HDMI送信部206に供給された立体画像データおよび音声データは、HDMIのTMDSチャネルにより、HDMI端子202からHDMIケーブル400に送出される。
[ビットストリーム処理部の構成例]
図36は、ビットストリーム処理部201の構成例を示している。このビットストリーム処理部201は、上述の図2、図22に示す送信データ生成部110,110Dに対応させた構成となっている。このビットストリーム処理部201は、デマルチプレクサ220と、ビデオデコーダ221と、サブタイトル・グラフィクスデコーダ222と、テキストデコーダ223と、オーディオデコーダ224と、視差ベクトルデコーダ225を有している。また、このビットストリーム処理部201は、立体画像用サブタイトル・グラフィクス発生部226と、立体画像用テキスト発生部227と、ビデオ重畳部228と、マルチチャネルスピーカコントロール部229を有している。
デマルチプレクサ220は、ビットストリームデータBSDから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクスおよびテキストのパケットを抽出し、各デコーダに送る。
ビデオデコーダ221は、上述の送信データ生成部110のビデオエンコーダ113とは逆の処理を行う。すなわち、このビデオデコーダ221は、デマルチプレクサ220で抽出されたビデオのパケットからビデオのエレメンタリーストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第1の伝送方式(「Top & Bottom」方式)、第2の伝送方式は(「Side By Side」方式)、第3の伝送方式(「Frame Sequential」方式)などである(図4(a)〜(c)参照)。
サブタイトル・グラフィクスデコーダ222は、上述の送信データ生成部110のサブタイトル・グラフィクスエンコーダ119とは逆の処理を行う。すなわち、このサブタイトル・グラフィクスデコーダ222は、デマルチプレクサ220で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームを再構成する。そして、このサブタイトル・グラフィクスデコーダ222は、さらに復号化処理を行って、サブタイトルデータやグラフィクスデータを得る。
テキストデコーダ223は、上述の送信データ生成部110のテキストエンコーダ121とは逆の処理を行う。すなわち、このテキストデコーダ223は、デマルチプレクサ220で抽出されたテキストのパケットからテキストのエレメンタリーストリームを再構成し、復号化処理を行って、テキストデータ(クローズド・キャプションデータを含む)を得る。
オーディオデコーダ224は、上述の送信データ生成部110のオーディオエンコーダ117とは逆の処理を行う。すなわち、このオーディオデコーダ224は、デマルチプレクサ220で抽出されたオーディオのパケットからオーディオのエレメンタリーストリームを再構成し、復号化処理を行って、音声データを得る。
視差ベクトルデコーダ225は、上述の送信データ生成部110の視差ベクトルエンコーダ115とは逆の処理を行う。すなわち、この視差ベクトルデコーダ225は、デマルチプレクサ220で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームを再構成し、復号化処理を行って、画像内の所定位置の視差ベクトルを得る。
立体画像用サブタイトル・グラフィクス発生部226は、左眼画像および右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報を生成する。この生成処理は、デコーダ222で得られたサブタイトルデータやグラフィクスデータと、デコーダ225で得られた視差ベクトルに基づいて行われる。この場合、左眼および左眼のサブタイトル情報やグラフィクス情報は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼のサブタイトル情報やグラフィクス情報に対して、右眼のブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用サブタイトル・グラフィクス発生部226は、生成された左眼および左眼のサブタイトル情報やグラフィクス情報のデータ(ビットマップデータ)を出力する。
立体画像用テキスト発生部227は、デコーダ223で得られたテキストスデータと、デコーダ225で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報を生成する。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。そして、この立体画像用テキスト発生部227は、生成された左眼テキスト情報および右眼テキスト情報のデータ(ビットマップデータ)を出力する。
ビデオ重畳部228は、ビデオデコーダ221で得られた立体画像データ(左眼画像データ、右眼画像データ)に対して、発生部226,227で発生されたデータを重畳し、表示用立体画像データVoutを得る。なお、立体画像データ(左眼画像データ、右眼画像データ)への重畳情報データの重畳はシステムレイヤのタイムスタンプにより開始される。
マルチチャネルスピーカコントロール部229は、オーディオデコーダ224で得られる音声データに対して、例えば5.1chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等を施す。また、このマルチチャネルスピーカコントロール部229は、デコーダ225で得られた視差ベクトルに基づいて、マルチチャネルスピーカの出力を制御する。
視差ベクトルの大きさが大きくなる程、立体感が際だつ効果がある。立体の度合いに合わせて、マルチチャネルのスピーカ出力を制御することで、更なる立体体験の提供を実現できる。
図37は、視差ベクトルVV1が、テレビディスプレイに向かって、左側のビデオオブジェクトの方が大きい場合のスピーカ出力制御例を示している。この制御例では、マルチチャネルスピーカのRear Leftのスピーカ音量は大きくされ、Front Leftのスピーカ音量は中程度とされ、さらに、Front Right,Rear Rightのスピーカ音量が小さくされる。このように、ビデオコンテンツ(立体画像データ)の視差ベクトルを、音声データ等の他のメディアデータへ受信側で適用することで、視聴者に、立体感を総合的に体感させることが可能になる。
図36に示すビットストリーム処理部201の動作を簡単に説明する。デジタルチューナ204(図35参照)から出力されるビットストリームデータBSDは、デマルチプレクサ220に供給される。このデマルチプレクサ220では、ビットストリームデータBSDから、ビデオ、オーディオ、視差ベクトル、サブタイトルやグラフィクス、およびテキストのTSパケットが抽出され、各デコーダに供給される。
ビデオデコーダ221では、デマルチプレクサ220で抽出されたビデオのパケットからビデオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部228に供給される。また、視差ベクトルデコーダ225では、デマルチプレクサ220で抽出された視差ベクトルのパケットから視差ベクトルのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、画像内の所定位置の視差ベクトルが得られる(図8、図27参照)。
サブタイトル・グラフィクスデコーダ222では、デマルチプレクサ220で抽出されたサブタイトルやグラフィクスのパケットからサブタイトルやグラフィクスのエレメンタリーストリームが再構成される。サブタイトル・グラフィクスデコーダ222では、さらに、サブタイトルやグラフィクスのエレメンタリーストリームに対して復号化処理が行われて、サブタイトルデータやグラフィクスデータが得られる。このサブタイトルデータやグラフィクスデータは、立体画像用サブタイトル・グラフィクス発生部226に供給される。この立体画像用サブタイトル・グラフィクス発生部226には、視差ベクトルデコーダ225で得られた視差ベクトルも供給される。
この立体画像用サブタイトル・グラフィクス発生部226では、左眼画像、右眼画像にそれぞれ重畳する左眼および右眼のサブタイトル情報やグラフィクス情報のデータが生成される。この生成処理は、デコーダ222で得られたサブタイトルデータやグラフィクスデータと、デコーダ225で得られた視差ベクトルに基づいて行われる。この場合、画像内の重畳位置が、例えば、左眼のサブタイトル情報や左眼グラフィクス情報に対して、右眼のサブタイトル情報やグラフィクス情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用サブタイトル・グラフィクス発生部226からは、生成された左眼および右眼のサブタイトル情報やグラフィクス情報のデータ(ビットマップデータ)が出力される。
また、テキストデコーダ223では、デマルチプレクサ220で抽出されたテキストのTSパケットからテキストのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、テキストデータが得られる。このテキストデータは立体画像用テキスト発生部227に供給される。この立体画像用テキスト発生部227には、視差ベクトルデコーダ225で得られた視差ベクトルも供給される。
この立体画像用テキスト発生部227では、デコーダ223で得られたテキストスデータと、デコーダ225で得られた視差ベクトルに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼テキスト情報、右眼テキスト情報が生成される。この場合、左眼テキスト情報および右眼テキスト情報は同一のテキスト情報であるが、画像内の重畳位置が、例えば、左眼テキスト情報に対して、右眼テキスト情報は、視差ベクトルの水平方向成分だけ、水平方向にずれるようにされる。この立体画像用テキスト発生部227からは、生成された左眼テキスト情報および右眼テキスト情報のデータ(ビットマップデータ)が出力される。
ビデオ重畳部228には、上述したビデオデコーダ221からの立体画像データ(左眼画像データ、右眼画像データ)の他に、サブタイトル・グラフィクス発生部226およびテキスト発生部227から出力されるデータが供給される。このビデオ重畳部228では、立体画像データ(左眼画像データ、右眼画像データ)に対して、サブタイトル・グラフィクス発生部226およびテキスト発生部227で発生されたデータが重畳され、表示用立体画像データVoutが得られる。この表示用立体画像データVoutは、映像信号処理回路205を介して、HDMI送信部206(図35参照)に、送信画像データとして供給される。
また、オーディオデコーダ224では、デマルチプレクサ220で抽出されたオーディオのTSパケットからオーディオのエレメンタリーストリームが再構成され、さらに復号化処理が行われて、音声データが得られる。この音声データは、マルチチャネルスピーカコントロール部229に供給される。このマルチチャネルスピーカコントロール部229では、音声データに対して、例えば5.1chサラウンド等を実現するためのマルチチャネルスピーカの音声データを生成する処理、所定の音場特性を付与する処理等が施される。
このマルチチャネルスピーカコントロール部229には、視差ベクトルデコーダ225で得られた視差ベクトルも供給される。そして、このマルチチャネルスピーカコントロール部229では、視差ベクトルに基づいて、マルチチャネルスピーカの出力が制御される。このマルチチャネルスピーカコントロール部229で得られるマルチチャネル音声データは、音声信号処理回路207を介してHDMI送信部206(図35参照)に、送信音声データとして供給される。
[重畳情報への視差の付与]
ここで、図36に示すビットストリーム処理部201の立体画像用サブタイトル・グラフィクス発生部226および立体画像用テキスト発生部227における重畳情報への視差の付与について、さらに説明する。
放送局100(図1参照)からは、例えば、図38、図39に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームと共に、視差ベクトル(図8、図27参照)を含む視差ベクトルストリームが送られてくる。この場合、符号化ビデオのGOP(Group Of Pictures)、あるいはI(Intra picture)ピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差ベクトルがまとめて送られてくる。所定単位としては、例えば、ピクチャ(フレーム)単位、あるいはピクチャの整数倍の単位等が考えられる。
例えば、立体画像用サブタイトル・グラフィクス発生部226および立体画像用テキスト発生部227では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル(情報情報)による視差が付与される。図38のサブタイトル(グラフィクス)データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
また、例えば、立体画像用サブタイトル・グラフィクス発生部226および立体画像用テキスト発生部227では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、重畳期間分の視差ベクトルから選択された所定の視差ベクトル(視差情報)による視差が付与される。所定の視差ベクトルは、例えば、重畳期間分の視差情報のうち最大の視差を示す視差情報とされる。
図39のサブタイトル(グラフィクス)データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に視差が付与されるタイミングを表している。この場合、重畳期間の最初に重畳情報に対して視差が付与され、以降はその視差が付与された重畳情報が、左眼画像および右眼画像に重畳すべき重畳情報として使用される。このように重畳情報に視差が付与される構成とすることで、画像内容の変化によらずに、重畳情報に、例えば、重畳情報の重畳期間中の最大視差を付与することが可能となる。
「ビットストリーム処理部の他の構成例」
図40に示すビットストリーム処理部201Aは、上述の図13に示す送信データ生成部110Aに対応させた構成となっている。この図40において、図36と対応する部分には同一符号を付し、その詳細説明は省略する。
このビットストリーム処理部201Aは、図36に示すビットストリーム処理部201の視差ベクトルデコーダ225の代わりに、視差ベクトル取り出し部231が設けられる。この視差ベクトル取り出し部231は、ビデオデコーダ221を通じて得られるビデオのストリームから、そのユーザデータ領域に埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部231は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部226、立体画像用テキスト発生部227およびマルチチャネルスピーカコントロール部229に供給する。
詳細説明は省略するが、この図40に示すビットストリーム処理部201Aのその他は、図36に示すビットストリーム処理部201と同様に構成され、同様に動作する。
[重畳情報への視差の付与]
ここで、図40に示すビットストリーム処理部201Aの立体画像用サブタイトル・グラフィクス発生部226および立体画像用テキスト発生部227における重畳情報への視差の付与について、さらに説明する。
放送局100(図1参照)からは、例えば、図41に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームが送られてくる。そして、視差ベクトル(図8、図27参照)は、画像データストリームに埋め込まれて送られてくる。この場合、画像データの所定単位毎、例えば符号化ビデオのピクチャ毎に、その所定単位に対応した視差ベクトルが、画像データストリームに埋め込まれて送られてくる。
立体画像用サブタイトル・グラフィクス発生部226および立体画像用テキスト発生部227では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル(情報情報)による視差が付与される。図41のサブタイトル(グラフィクス)データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
また、放送局100(図1参照)からは、例えば、図42、図43に示すように、画像データストリームと、サブタイトルあるいはグラフィクスのデータストリームと、テキストデータストリームが送られてくる。そして、視差ベクトル(図8、図27参照)は、画像データストリームに埋め込まれて送られてくる。この場合、符号化ビデオのGOP、あるいはIピクチャ、またはシーン等の各一定期間の開始タイミングに合わせて、各一定期間に対応した所定単位毎の視差ベクトルがまとめて送られてくる。所定単位としては、例えば、ピクチャ(フレーム)単位、あるいはピクチャの整数倍の単位等が考えられる。
例えば、立体画像用サブタイトル・グラフィクス発生部226および立体画像用テキスト発生部227では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、対応する視差ベクトル(情報情報)による視差が付与される。図42のサブタイトル(グラフィクス)データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に所定単位毎に視差が付与されるタイミングを表している。このように重畳情報に視差が付与される構成とすることで、重畳情報に付与する視差を、画像内容の変化に連動して動的に変化させることが可能となる。
また、例えば、立体画像用サブタイトル・グラフィクス発生部226および立体画像用テキスト発生部227では、重畳情報の重畳期間において、所定単位毎に、重畳情報に、重畳期間分の視差ベクトルから選択された所定の視差ベクトル(視差情報)による視差が付与される。所定の視差ベクトルは、例えば、所定の視差情報は、重畳期間分の視差情報のうち最大の視差を示す視差情報とされる。
図43のサブタイトル(グラフィクス)データストリームおよびテキストデータストリームの部分に付されている矢印は、重畳情報に視差が付与されるタイミングを表している。この場合、重畳期間の最初に重畳情報に対して視差が付与され、以降はその視差が付与された重畳情報が、左眼画像および右眼画像に重畳すべき重畳情報として使用される。このように重畳情報に視差が付与される構成とすることで、画像内容の変化によらずに、重畳情報に、例えば、重畳情報の重畳期間中の最大視差を付与することが可能となる。
「ビットストリーム処理部の他の構成例」
図44に示すビットストリーム処理部201Bは、上述の図15に示す送信データ生成部110Bに対応させた構成となっている。この図44において、図36と対応する部分には同一符号を付し、その詳細説明は省略する。
このビットストリーム処理部201Bは、図36に示すビットストリーム処理部201の視差ベクトルデコーダ225の代わりに、視差ベクトル取り出し部232が設けられる。この視差ベクトル取り出し部232は、サブタイトル・グラフィクスデコーダ222を通じて得られるサブタイトルあるいはグラフィクスのストリームから、それに埋め込まれている視差ベクトルを取り出す。そして、この視差ベクトル取り出し部232は、取り出した視差ベクトルを、立体画像用サブタイトル・グラフィクス発生部226、立体画像用テキスト発生部227およびマルチチャネルスピーカコントロール部229に供給する。
詳細説明は省略するが、この図44に示すビットストリーム処理部201Bのその他は、図36に示すビットストリーム処理部201と同様に構成され、同様に動作する。なお、この図44のビットストリーム処理部201Bおける重畳情報への視差の付与については、上述した図40のビットストリーム処理部201Aおける重畳情報への視差の付与と同様である(図41〜図43参照)。
「ビットストリーム処理部の他の構成例」
図45に示すビットストリーム処理部201Cは、上述の図21に示す送信データ生成部110Cに対応させた構成となっている。この図45において、図36と対応する部分には同一符号を付し、その詳細説明は省略する。
このビットストリーム処理部201Cは、図36に示すビットストリーム処理部201から、視差ベクトルデコーダ225、立体画像用サブタイトル・グラフィクス発生部226および立体画像用テキスト発生部227が除かれたものである。この場合、視差ベクトルは、サブタイトル情報、グラフィクス情報、テキスト情報のデータに予め反映されている。
送信されてくるサブタイトルデータやグラフィクスデータには、上述したように、左眼画像に重畳される左眼のサブタイトル情報やグラフィクス情報のデータ、および右眼画像に重畳される右眼のサブタイトル情報やグラフィクス情報のデータが含まれている。同様に、送信されてくるテキストデータには、上述したように、左眼画像に重畳される左眼テキスト情報のデータおよび右眼画像に重畳される右眼テキスト情報のデータが含まれている。したがって、視差ベクトルデコーダ225、立体画像用サブタイトル・グラフィクス発生部226および立体画像用テキスト発生部227は不要となる。
なお、テキストデコーダ223で得られるテキストデータはコードデータ(キャラクタコード)であるので、これをビットマップデータに変換する処理は必要である。この処理は、例えば、テキストデコーダ223の最終段で行われるか、あるいはビデオ重畳部228の入力段で行われる。
[テレビ受信機の説明]
図1に戻って、テレビ受信機300は、セットトップボックス200からHDMIケーブル400を介して送られてくる立体画像データを受信する。このテレビ受信機300は、3D信号処理部301を有している。この3D信号処理部301は、立体画像データに対して、伝送方式に対応した処理(デコード処理)を行って、左眼画像データおよび右眼画像データを生成する。すなわち、この3D信号処理部301は、図2、図13、図15、図21、図22に示す送信データ生成部110,110A,110B,110C,110Dにおけるビデオフレーミング部112とは逆の処理を行う。そして、この3D信号処理部301は、立体画像データを構成する左眼画像データおよび右眼画像データを取得する。
[テレビ受信機の構成例]
テレビ受信機300の構成例を説明する。図46は、テレビ受信機300の構成例を示している。このテレビ受信機300は、3D信号処理部301と、HDMI端子302と、HDMI受信部303と、アンテナ端子304と、デジタルチューナ305と、ビットストリーム処理部306を有している。
また、このテレビ受信機300は、映像・グラフィック処理回路307と、パネル駆動回路308と、表示パネル309と、音声信号処理回路310と、音声増幅回路311と、スピーカ312を有している。また、このテレビ受信機300は、CPU321と、フラッシュROM322と、DRAM323と、内部バス324と、リモコン受信部325と、リモコン送信機326を有している。
アンテナ端子304は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ305は、アンテナ端子304に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ(トランスポートストリーム)を出力する。
ビットストリーム処理部306は、図35に示すセットトップボックス200のビットストリーム処理部201と同様の構成とされている。このビットストリーム処理部306は、ビットストリームデータから立体画像データ(左眼画像データ、右眼画像データ)、音声データ、重畳情報データ、視差ベクトル(視差情報)等を抽出する。重畳情報データは、サブタイトルデータ、グラフィクスデータ、テキストデータ(クローズド・キャプションデータを含む)等である。このビットストリーム処理部306は、立体画像データに対し、重畳情報データを合成し、表示用立体画像データを取得する。また、ビットストリーム処理部306は、音声データを出力する。
HDMI受信部303は、HDMIに準拠した通信により、HDMIケーブル400を介してHDMI端子302に供給される非圧縮の画像データおよび音声データを受信する。このHDMI受信部303は、そのバージョンが例えばHDMI1.4とされており、立体画像データの取り扱いが可能な状態にある。このHDMI受信部303の詳細は後述する。
3D信号処理部301は、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、3D信号処理部301は、ビットストリーム処理部306で得られた立体画像データに対しては、その伝送方式(図4参照)に対応したデコード処理を行う。また、3D信号処理部301は、HDMI受信部303で受信された立体画像データに対しては、後述するTMDS伝送データ構造に対応したデコード処理を行う。
映像・グラフィック処理回路307は、3D信号処理部301で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路307は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路307は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路308は、映像・グラフィック処理回路307から出力される画像データに基づいて、表示パネル309を駆動する。表示パネル309は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)等で構成されている。
音声信号処理回路310は、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた音声データに対してD/A変換等の必要な処理を行う。音声増幅回路311は、音声信号処理回路310から出力される音声信号を増幅してスピーカ312に供給する。
CPU321は、テレビ受信機300の各部の動作を制御する。フラッシュROM322は、制御ソフトウェアの格納およびデータの保管を行う。DRAM323は、CPU321のワークエリアを構成する。CPU321は、フラッシュROM322から読み出したソフトウェアやデータをDRAM323上に展開してソフトウェアを起動させ、テレビ受信機300の各部を制御する。
リモコン受信部325は、リモコン送信機326から送信されたリモートコントロール信号(リモコンコード)を受信し、CPU321に供給する。CPU321は、このリモコンコードに基づいて、テレビ受信機300の各部を制御する。CPU321、フラッシュROM322およびDRAM323は、内部バス324に接続されている。
図46に示すテレビ受信機300の動作を簡単に説明する。HDMI受信部303では、HDMI端子302にHDMIケーブル400を介して接続されているセットトップボックス200から送信されてくる、立体画像データおよび音声データが受信される。このHDMI受信部303で受信された立体画像データは、3D信号処理部301に供給される。また、このHDMI受信部303で受信された音声データは音声信号処理回路310に供給される。
アンテナ端子304に入力されたテレビ放送信号はデジタルチューナ305に供給される。このデジタルチューナ305では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ(トランスポートストリーム)が出力される。
デジタルチューナ305から出力されるビットストリームデータは、ビットストリーム処理部306に供給される。このビットストリーム処理部306では、ビットストリームデータから立体画像データ(左眼画像データ、右眼画像データ)、音声データ、重畳情報データ、視差ベクトル(視差情報)等が抽出される。また、このビットストリーム処理部306では、立体画像データに対し、重畳情報(クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報)のデータが合成され、表示用立体画像データが生成される。
ビットストリーム処理部306で生成される表示用立体画像データは、3D信号処理部301に供給される。また、このビットストリーム処理部306で得られる音声データは、音声信号処理回路310に供給される。
3D信号処理部301では、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路307に供給される。この映像・グラフィック処理回路307では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。
この映像・グラフィック処理回路307で得られる画像データはパネル駆動回路308に供給される。そのため、表示パネル309により立体画像が表示される。例えば、表示パネル309に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、表示パネル309の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。
また、音声信号処理回路310では、HDMI受信部303で受信された、あるいはビットストリーム処理部306で得られた音声データに対してD/A変換等の必要な処理が施される。この音声データは、音声増幅回路311で増幅された後に、スピーカ312に供給される。そのため、スピーカ312から表示パネル309の表示画像に対応した音声が出力される。
[HDMI送信部、HDMI受信部の構成例]
図47は、図1の立体画像表示システム10における、セットトップボックス200のHDMI送信部(HDMIソース)206と、テレビ受信機300のHDMI受信部(HDMIシンク)303の構成例を示している。
HDMI送信部206は、有効画像区間(以下、適宜、アクティブビデオ区間ともいう)において、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部303に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、HDMI送信部206は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部303に一方向に送信する。
HDMI送信部206とHDMI受信部303とからなるHDMIシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、HDMI送信部206からHDMI受信部303に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、3つのTMDSチャネル#0乃至#2がある。また、ピクセルクロックを伝送する伝送チャネルとしての、TMDSクロックチャネルがある。
HDMI送信部206は、HDMIトランスミッタ81を有する。トランスミッタ81は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル400を介して接続されているHDMI受信部303に、一方向にシリアル伝送する。
また、トランスミッタ81は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2でHDMI受信部303に、一方向にシリアル伝送する。
さらに、トランスミッタ81は、3つのTMDSチャネル#0,#1,#2で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル400を介して接続されているHDMI受信部303に送信する。ここで、1つのTMDSチャネル#i(i=0,1,2)では、ピクセルクロックの1クロックの間に、10ビットの画素データが送信される。
HDMI受信部303は、アクティブビデオ区間において、複数のチャネルで、HDMI送信部206から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このHDMI受信部303は、水平帰線区間または垂直帰線区間において、複数のチャネルで、HDMI送信部206から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、HDMI受信部303は、HDMIレシーバ82を有する。このHDMIレシーバ82は、TMDSチャネル#0,#1,#2で、HDMI送信部206から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、HDMI送信部206からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
HDMIシステムの伝送チャネルには、上述のTMDSチャネル#0乃至#2およびTMDSクロックチャネルの他に、DDC(Display Data Channel)83やCECライン84と呼ばれる伝送チャネルがある。DDC83は、HDMIケーブル400に含まれる図示しない2本の信号線からなる。DDC83は、HDMI送信部206が、HDMI受信部303から、E−EDID(Enhanced Extended Display Identification Data)を読み出すために使用される。
すなわち、HDMI受信部303は、HDMIレシーバ81の他に、自身の性能(Configuration/capability)に関する性能情報であるE−EDIDを記憶している、EDID ROM(Read Only Memory)85を有している。HDMI送信部206は、例えば、CPU211(図35参照)からの要求に応じて、HDMIケーブル400を介して接続されているHDMI受信部303から、E−EDIDを、DDC83を介して読み出す。
HDMI送信部206は、読み出したE−EDIDをCPU211に送る。CPU211は、このE−EDIDを、フラッシュROM212あるいはDRAM213に格納する。CPU211は、E−EDIDに基づき、HDMI受信部303の性能の設定を認識できる。例えば、CPU211は、HDMI受信部303を有するテレビ受信機300が立体画像データの取り扱いが可能か否か、可能である場合はさらにいかなるTMDS伝送データ構造に対応可能であるか等を認識する。
CECライン84は、HDMIケーブル400に含まれる図示しない1本の信号線からなり、HDMI送信部206とHDMI受信部303との間で、制御用のデータの双方向通信を行うために用いられる。このCECライン84は、制御データラインを構成している。
また、HDMIケーブル400には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン(HPDライン)86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。なお、このHPDライン86は双方向通信路を構成するHEAC−ラインとしても使用される。また、HDMIケーブル400には、ソース機器からシンク機器に電源を供給するために用いられるライン(電源ライン)87が含まれている。さらに、HDMIケーブル400には、ユーティリティライン88が含まれている。このユーティリティライン88は双方向通信路を構成するHEAC+ラインとしても使用される。
図48は、図47のHDMIトランスミッタ81とHDMIレシーバ82の構成例を示している。HDMIトランスミッタ81は、3つのTMDSチャネル#0,#1,#2にそれぞれ対応する3つのエンコーダ/シリアライザ81A,81B,81Cを有する。そして、エンコーダ/シリアライザ81A,81B,81Cのそれぞれは、そこに供給される画像データ、補助データ、制御データをエンコードし、パラレルデータからシリアルデータに変換して、差動信号により送信する。ここで、画像データが、例えばR,G,Bの3成分を有する場合、B成分はエンコーダ/シリアライザ81Aに供給され、G成分はエンコーダ/シリアライザ81Bに供給され、R成分はエンコーダ/シリアライザ81Cに供給される。
また、補助データとしては、例えば、音声データや制御パケットがあり、制御パケットは、例えば、エンコーダ/シリアライザ81Aに供給され、音声データは、エンコーダ/シリアライザ81B,81Cに供給される。さらに、制御データとしては、1ビットの垂直同期信号(VSYNC)、1ビットの水平同期信号(HSYNC)、および、それぞれ1ビットの制御ビットCTL0,CTL1,CTL2,CTL3がある。垂直同期信号および水平同期信号は、エンコーダ/シリアライザ81Aに供給される。制御ビットCTL0,CTL1はエンコーダ/シリアライザ81Bに供給され、制御ビットCTL2,CTL3はエンコーダ/シリアライザ81Cに供給される。
エンコーダ/シリアライザ81Aは、そこに供給される画像データのB成分、垂直同期信号および水平同期信号、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Aは、そこに供給される画像データのB成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Aは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。
また、エンコーダ/シリアライザ81Aは、そこに供給される垂直同期信号および水平同期信号の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。さらに、エンコーダ/シリアライザ81Aは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Aは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#0で送信する。
エンコーダ/シリアライザ81Bは、そこに供給される画像データのG成分、制御ビットCTL0,CTL1、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Bは、そこに供給される画像データのG成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Bは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。
また、エンコーダ/シリアライザ81Bは、そこに供給される制御ビットCTL0,CTL1の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。さらに、エンコーダ/シリアライザ81Bは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Bは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#1で送信する。
エンコーダ/シリアライザ81Cは、そこに供給される画像データのR成分、制御ビットCTL2,CTL3、並びに補助データを、時分割で送信する。すなわち、エンコーダ/シリアライザ81Cは、そこに供給される画像データのR成分を、固定のビット数である8ビット単位のパラレルデータとする。さらに、エンコーダ/シリアライザ81Cは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。
また、エンコーダ/シリアライザ81Cは、そこに供給される制御ビットCTL2,CTL3の2ビットのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。さらに、エンコーダ/シリアライザ81Cは、そこに供給される補助データを4ビット単位のパラレルデータとする。そして、エンコーダ/シリアライザ81Cは、そのパラレルデータをエンコードし、シリアルデータに変換して、TMDSチャネル#2で送信する。
HDMIレシーバ82は、3つのTMDSチャネル#0,#1,#2にそれぞれ対応する3つのリカバリ/デコーダ82A,82B,82Cを有する。そして、リカバリ/デコーダ82A,82B,82Cのそれぞれは、TMDSチャネル#0,#1,#2で差動信号により送信されてくる画像データ、補助データ、制御データを受信する。さらに、リカバリ/デコーダ82A,82B,82Cのそれぞれは、画像データ、補助データ、制御データを、シリアルデータからパラレルデータに変換し、さらにデコードして出力する。
すなわち、リカバリ/デコーダ82Aは、TMDSチャネル#0で差動信号により送信されてくる画像データのB成分、垂直同期信号および水平同期信号、補助データを受信する。そして、リカバリ/デコーダ82Aは、その画像データのB成分、垂直同期信号および水平同期信号、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
リカバリ/デコーダ82Bは、TMDSチャネル#1で差動信号により送信されてくる画像データのG成分、制御ビットCTL0,CTL1、補助データを受信する。そして、リカバリ/デコーダ82Bは、その画像データのG成分、制御ビットCTL0,CTL1、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
リカバリ/デコーダ82Cは、TMDSチャネル#2で差動信号により送信されてくる画像データのR成分、制御ビットCTL2,CTL3、補助データを受信する。そして、リカバリ/デコーダ82Cは、その画像データのR成分、制御ビットCTL2,CTL3、補助データを、シリアルデータからパラレルデータに変換し、デコードして出力する。
図49は、TMDS伝送データの構造例を示している。この図49は、TMDSチャネル#0,#1,#2において、横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
HDMIの3つのTMDSチャネル#0,#1,#2で伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、3種類の区間が存在する。この3種類の区間は、ビデオデータ区間(Video Data period)、データアイランド区間(Data Islandperiod)、およびコントロール区間(Control period)である。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(active edge)から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間(horizontal blanking)、垂直ブランキング期間(verticalblanking)、並びに、アクティブビデオ区間(Active Video)に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の1画面分の画像データを構成する1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)のデータが伝送される。
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ(Auxiliary data)が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
図50は、HDMI端子のピン配列の一例を示している。図50に示すピン配列はタイプA(type-A)と呼ばれている。TMDSチャネル#iの差動信号であるTMDS Data#i+とTMDS Data#i−は差動線である2本のラインにより伝送される。この2本のラインは、TMDS Data#i+が割り当てられているピン(ピン番号が1,4,7のピン)と、TMDS Data#i−が割り当てられているピン(ピン番号が3,6,9のピン)に接続される。
また、制御用のデータであるCEC信号が伝送されるCECライン84は、ピン番号が13であるピンに接続される。また、E−EDID等のSDA(Serial Data)信号が伝送されるラインは、ピン番号が16であるピンに接続される。SDA信号の送受信時の同期に用いられるクロック信号であるSCL(Serial Clock)信号が伝送されるラインは、ピン番号が15であるピンに接続される。上述のDDC83は、SDA信号が伝送されるラインおよびSCL信号が伝送されるラインにより構成される。
また、上述したようにソース機器がシンク機器の接続を検出するためのHPDライン(HEAC−ライン)86は、ピン番号が19であるピンに接続される。また、ユーティリティライン(HEAC+ライン)88は、ピン番号が14であるピンに接続される。また、上述したように電源を供給するためのライン87は、ピン番号が18であるピンに接続される。
[E−EDID構造]
上述したように、HDMI送信部206は、例えば、CPU211(図35参照)からの要求に応じて、HDMIケーブル400を介して接続されているHDMI受信部303から、E−EDIDを、DDC83を介して読み出す。そして、CPU211は、このE−EDIDに基づき、HDMI受信部303の性能の設定、例えば立体画像データの取り扱いが可能か否か等を認識する。
図51は、E−EDIDのデータ構造例を示している。このE−EDIDは、基本ブロックと拡張ブロックとからなっている。基本ブロックには、先頭に、“E-EDID1.3 Basic Structure”で表されるE−EDID1.3の規格で定められたデータが配置されている。基本ブロックには、続いて“Preferred timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。また、基本ブロックには、続いて、“2nd timing”で表される従来のEDIDとの互換性を保つための、“Preferredtiming”とは異なるタイミング情報が配置されている。
また、基本ブロックには、“2nd timing”に続いて、“Monitor NAME”で表される表示装置の名前を示す情報が配置されている。基本ブロックには、続いて、“Monitor Range Limits”で表される、アスペクト比が4:3および16:9である場合についての表示可能な画素数を示す情報が配置されている。
拡張ブロックの先頭には、“Short Video Descriptor”が配置されている。これは、表示可能な画像サイズ(解像度)、フレームレート、インターレースであるかプログレッシブであるかを示す情報である。続いて、“Short Audio Descriptor”が配置されている。これは、再生可能な音声コーデック方式、サンプリング周波数、カットオフ帯域、コーデックビット数などの情報である。続いて、“Speaker Allocation”で表される左右のスピーカに関する情報が配置されている。
また、拡張ブロックには、“Speaker Allocation”に続いて、“Vender Specific”で表されるメーカごとに固有に定義されたデータが配置されている。拡張ブロックには、続いて、“3rd timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。拡張ブロックには、さらに続いて、“4th timing”で表される従来のEDIDとの互換性を保つためのタイミング情報が配置されている。
図52は、Vender Specific領域(HDMI Vendor Specific DataBlock)のデータ構造例を示している。このVender Specific領域には、1バイトのブロックである第0ブロック乃至第Nブロックが設けられている。
第0ブロックには、“Vendor-Specific tag code(=3)”で表されるデータ“VenderSpecific”のデータ領域を示すヘッダが配置される。また、この第0ブロックには、“Length(=N)”で表されるデータ“Vender Specific”の長さを示す情報が配置される。また、第1ブロック乃至第3ブロックには、“24bit IEEE Registration Identifier(0x000C03)LSB first”で表されるHDMI(R)用として登録された番号“0x000C03“を示す情報が配置される。さらに、第4ブロックおよび第5ブロックには、”A“、”B“、”C“、および”D“のそれぞれにより表される、24bitのシンク機器の物理アドレスを示す情報が配置される。
第6ブロックには、“Supports-AI”で表される、シンク機器が対応している機能を示すフラグが配置されている。また、この第6ブロックには、“DC-48bit”、“DC-36bit”、および“DC-30bit”のそれぞれで表される、1ピクセル当たりのビット数を指定する情報のそれぞれが配置されている。また、この第6ブロックには、“DC-Y444”で表される、シンク機器がYCbCr4:4:4の画像の伝送に対応しているかを示すフラグが配置されている。さらに、この第6ブロックには、“DVI-Dual”で表される、シンク機器がデュアルDVI(Digital VisualInterface)に対応しているかを示すフラグが配置されている。
また、第7ブロックには、“Max-TMDS-Clock”で表されるTMDSのピクセルクロックの最大の周波数を示す情報が配置される。また、第8ブロックの第6ビット、第7ビットには、“Latency”で表される映像と音声の遅延情報の有無を示すフラグが配置されている。また、第8ブロックの第5ビットには、“HDMI_Video_present”で表される追加のHDMIビデオフォーマット(3D、4k×2k)の取り扱いが可能か否かを示すフラグが配置されている。
また、第9ブロックには、“Video Latency”で表される、プログレッシブの映像の遅延時間データが配置され、第10ブロックには、“Audio Latency”で表される、プログレッシブの映像に付随する音声の遅延時間データが配置される。また、第11ブロックには、“Interlaced Video Latency”で表されるインターレースの映像の遅延時間データが配置されている。さらに、第12ブロックには、“Interlaced Audio Latency”で表される、インターレースの映像に付随する音声の遅延時間データが配置されている。
また、第13ブロックの第7ビットには、“3D_present”で表される3D画像データの取り扱いが可能か否かを示すフラグが配置されている。また、第14ブロックの第7ビットから第5ビットには、“HDMI_VIC_LEN”で表される、図示しない第15ブロック以降に配置される必須(mandatory)な3Dデータ構造の他に取り扱い可能なデータ構造を示すブロックのサイズ情報が配置されている。また、第14ブロックの第4ビットから第0ビットには、“HDMI_3D_LEN”で表される、図示しない第15ブロック以降に配置される取り扱い可能な4k×2kのビデオフォーマットを示すブロックのサイズ情報が配置されている。
[立体画像データのTMDS伝送データ構造]
図53は、立体画像データのTMDS伝送データ構造の一つであるフレームパッキング(Frame packing)方式の3Dビデオフォーマット(3D Video Format)を示している。この3Dビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼(L)および右眼(R)の画像データを伝送するためのフォーマットである。
この3Dビデオフォーマットでは、左眼(L)および右眼(R)の画像データとして、1920×1080p、1080×720pのピクセルフォーマットの画像データの伝送が行われる。なお、図53には、左眼(L)画像データおよび右眼(R)画像データが、それぞれ、1920ライン×1080ピクセルである例を示している。
この3Dビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間(Hblank)、垂直ブランキング期間(Vblank)およびアクティブビデオ区間(Hactive×Vactive)を含むビデオフィールド区間を単位とする伝送データが生成される。この3Dビデオフォーマットにおいて、アクティブビデオ区間は、2つのアクティブビデオ領域(Active video)と、それらの間に1つのアクティブスペース領域(Activespace)を有している。第1のアクティブビデオ領域に左眼(L)画像データが配され、第2のアクティブビデオ領域に右眼(R)画像データが配される。
図54は、立体画像データのTMDS伝送データ構造の一つであるラインオルタネイティブ(Line alternative)方式の3Dビデオフォーマット(3D VideoFormat)を示している。この3Dビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼(L)および右眼(R)の画像データを伝送するためのフォーマットである。この3Dビデオフォーマットでは、左眼(L)および右眼(R)の画像データとして、1920×1080pのピクセルフォーマットの画像データの伝送が行われる。
この3Dビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間(Hblank)、垂直ブランキング期間(2×Vblank)およびアクティブビデオ区間((Hactive×2Vactive)を含むビデオフィールド区間を単位とする伝送データが生成される。この3Dビデオフォーマットにおいて、アクティブビデオ区間には、左眼画像データの1ライン分と右眼画像データの1ライン分とが交互に配置される。
図55は、立体画像データのTMDS伝送データ構造の一つであるサイド・バイ・サイド(side-bay-side)(Full)方式の3Dビデオフォーマット(3D VideoFormat)を示している。この3Dビデオフォーマットは、立体画像データとして、プログレッシブ方式の左眼(L)および右眼(R)の画像データを伝送するためのフォーマットである。この3Dビデオフォーマットでは、左眼(L)および右眼(R)の画像データとして、1920×1080pのピクセルフォーマットの画像データの伝送が行われる。
この3Dビデオフォーマットにより、垂直同期信号により区切られる、水平ブランキング期間(2×Hblank)、垂直ブランキング期間(Vblank)およびアクティブビデオ区間((2Hactive×Vactive)を含むビデオフィールド区間を単位とする伝送データが生成される。この3Dビデオフォーマットにおいて、アクティブビデオ区間には、水平方向の前半に左眼(L)画像データが配され、水平方向の後半に右眼(R)画像データが配される。
なお、詳細説明は省略するが、HDMI1.4では、上述の図53〜図55に示す3Dビデオフォーマットの他にも、立体画像データのTMDS伝送データ構造としての3Dビデオフォーマットが定義されている。例えば、フレームパッキング(Frame packing for interlaced format)方式、フィールドオルタネイティブ(Field alternative)方式、サイド・バイ・サイド(side-bay-side)(Half)方式等である。
[セットトップボックスとテレビ受信機の他の構成例]
図35に示すセットトップボックス200においては、HDMIインタフェースにより、ベースバンドの立体画像データおよび音声データをテレビ受信機300に送信する構成となっている。しかし、セットトップボックスからテレビ受信機に、ビットストリーム処理部201で使用されている視差ベクトル(図8、図27参照)の全部または一部を視差情報セットとして、HDMIインタフェースにより送信して利用することも考えられる。
図56は、視差情報セットを送信するセットトップボックス200Aの構成例を示している。この図56において、図35と対応する部分には同一符号を付して示し、適宜、その詳細説明を省略する。このセットトップボックス200Aにおいては、ビットストリーム処理部201より視差情報セットがHDMI送信部206に供給される。そして、HDMI送信部206により、立体画像データおよび音声データと共に、この視差情報セットが、HDMI端子202からHDMIケーブル400に送出される。このセットトップボックス200Aのその他については、図35に示すセットトップボックス200と同様に構成され、同様に動作する。
また、図57は、視差情報セットを受信して利用するテレビ受信機300Aの構成例を示している。この図57において、図46と対応する部分には同一符号を付して示し、適宜、その詳細説明を省略する。このテレビ受信機300Aにおいては、HDMI受信部303で受信された視差情報セットが映像・グラフィック処理回路307に供給される。映像・グラフィック処理回路307では、左眼画像および右眼画像に貼り付けるメニュー、番組表などの同一の重畳情報に、視差情報セットに含まれる視差ベクトルに基づいて視差が付与される。
すなわち、このテレビ受信機300Aにおいては、左眼画像および右眼画像に重畳される同一の重畳情報(メニュー、番組表等)として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。このテレビ受信機300Aのその他については、図46に示すテレビ受信機300と同様に構成され、同様に動作する。
図58は、セットトップボックス200Aからテレビ受信機300Aに送信される視差情報セットの内容の一例を示している。この視差情報セットには、N個の視差ベクトルの情報セットが含まれている。各情報セットは、16ビットのブロックID(ID_Block(i))と、16ビットの水平方向の視差ベクトル(Disparity_Vector_Horizontal)により構成されている。
ここで、例えば、図59に示すように、画像(ピクチャ)領域を9分割して得られる各ブロックBK0〜BK8の視差ベクトルが含まれる視差情報セットの場合、最初に最も値の大きな視差ベクトル、この例ではブロックBK4の視差ベクトルが配置され、その後に、残りのブロックの視差ベクトルが順次配置される。
[HDMIでの視差情報セットの送信方法]
視差情報セットをHDMIインタフェースで送信する方法として、例えば、以下の(1)、(2)の方法が考えられる。
(1)HDMI Vendor Specific InfoFrame を利用する方法
(2)フレームパッキング方式等の3Dビデオフォーマット(3D Video Format)のアクティブスペース(Active Space)を利用する方法
最初に、(1)のHDMI Vendor Specific InfoFrame を利用する方法について説明する。この方法では、HDMI Vendor Specific InfoFrame paketにおいて、HDMI_Video_Format=“010”かつ3D_Meta_present=1とされて、Vendor SpecificInfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“010”と定義され、視差情報セット(Disparrity Set)の情報が指定される。
図60は、HDMI Vendor Specific InfoFrame のパケット構造を示している。このHDMI Vendor Specific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。
第4バイト(PB4)の第7ビットから第5ビットに、画像データの種類を示す3ビットの情報「HDMI_Video_Format」が配置されている。画像データが3D画像データである場合、この3ビットの情報は「010」とされる。また、このように画像データが3D画像データである場合、第5バイト(PB5)の第7ビットから第4ビットに、TMDS伝送データ構造を示す4ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式(図53参照)の場合、この4ビットの情報は、「0000」とされる。また、例えば、ラインオルタネイティブ方式(図54参照)の場合、この4ビットの情報は、「0010」とされる。また、例えば、サイド・バイ・サイド(Full)方式(図55参照)の場合、この4ビットの情報は、「0011」とされる。
また、第5バイト(PB5)の第3ビットに、「3D_Meta_present」が配置され、Vendor SpecificInfoFrame extensionを指定する場合、この1ビットは「1」とされる。また、第7バイト(PB7)の第7ビットから第5ビットに、「3D_Metadata_type」が配置されている。視差情報セット(DisparritySet)の情報を指定する場合、この3ビットの情報は、未使用の、例えば、“010”とされる。また、第7バイト(PB7)の第4バイトから第0バイトに、「3D_Metadata_length」が配置されている。この5ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。
視差情報セットを構成する各視差ベクトルの情報セットは、上述の図58に示すように、16ビットのブロックID(ID_Block(i))と、16ビットの水平方向の視差ベクトル(Disparity_Vector_Horizontal)により構成されている。例えば、1920×1080の画像(ピクチャ)領域を16×16画素のブロックで分割すると、ブロック数は8100となり、個々のブロックは13ビットでID表現できる。また、1920×1080の画サイズにおいて、水平方向の視差を画素数で表現する場合、符号付きで11ビットあれば一般には問題ないことがわかる。
そのため、各視差ベクトルの情報セットを配置するために、第1〜第3の3バイトが使用される。第1バイトに「ID_Block(i)」の上位8ビットが配置され、第2のバイトの第7ビットから第3ビットに「ID_Block(i)」の下位5ビットが配置される。また、第2バイトの第2ビットから第0ビットに「Disparity_Vector_Horizontal」の上位3ビットが配置され、第3バイトに「Disparity_Vector_Horizontal」の下位8ビットが配置される。上述の図59に示すように9ブロックの視差ベクトルを送信するためには、3バイト×9=27バイトの領域が使用される。
視差情報セットを上位の階層からいずれの階層までを含むかは、3D_Metadata_lengthによって指定することが可能である。あるいは、3D_Metadata_typeの空きビットに定義を追加し、3D_Metadata_type=“010”では第1階層(画面全体における最大視差)を、3D_Metadata_type=“110”では第2階層(複数リージョンごとのリージョン内最大視差)を挿入するように指定することも可能である。
次に、(2)のアクティブスペース(Active Space)を利用する方法について説明する。この方法では、図61にHDMIVendor Specific InfoFrame のパケット構造を示すように、現状ではReservedbitとなっている第5バイト(PB5)の第2ビットに、「ActiveSpace Enable」が定義され、この1ビットの情報が“1”とされる。その上で、現状ではReservedとされているアクティブスペース領域を用いて、新たに情報エリアが定義され、そこに視差情報セットが配置される。
アクティブスペース領域は、左眼画像データおよび右眼画像データが配置されるアクティブビデオ領域と共に、アクティブビデオ区間を構成している。ここで、アクティブビデオ領域は主映像領域を構成し、アクティブスペース領域は補助映像領域を構成している。アクティブスペース領域は、ビデオの画サイズにより変動するが、1920×1080の画サイズの場合には、1フレームあたり45ライン分(86400バイト)の容量を持つ。
1920×1080の画像(ピクチャ)領域を16×16画素のブロックで分割すると、ブロック数は8100となる。この場合、上述したように、各視差ベクトルの情報セットを配置するために3バイトが使用される。すなわち、「ID_Block(i)」に13ビットが使用され、「Disparity_Vector_Horizontal」に11ビットが使用される。そのため、全てのブロックの視差ベクトルを含む視差情報セットを配置するためには、3バイト×8100=24300バイトの容量があればよい。上述したようにアクティブスペース領域は86400バイトの容量を持っている。そのため、このアクティブスペース領域を利用することで、ビデオのフレーム毎に、全てのブロックの視差ベクトルを含む視差情報セットを送信できる。
なお、ブロックのサイズを小さくしていき、視差ベクトル(視差情報)の空間密度をより高めることも可能である。その場合、1フレームのアクティブスペース領域で伝送可能な容量を越えてしまう場合がある。その場合には、連結情報を用いて、次フレームのアクティブスペース領域と連結されることを明示する。
図62は、アクティブスペース領域に配置される視差情報セットの構造を示している。第0バイトに、3ビットの「Active_space_info_Type」と、3ビットの「Block_Size」と、2ビットの「Connect_Info」の情報が配置される。第1バイトおよび第2バイトに、以降の視差情報セットが配置される領域の長さを示す16ビットの「Data_Length」の上位8ビットおよび下位8ビットが配置される。
各視差ベクトルの情報セットは各3バイトの領域を使用して配置される。第1バイトに「ID_Block(i)」の上位8ビットが配置され、第2のバイトの第7ビットから第3ビットに「ID_Block(i)」の下位5ビットが配置される。また、第2バイトの第2ビットから第0ビットに「Disparity_Vector_Horizontal」の上位3ビットが配置され、第3バイトに「Disparity_Vector_Horizontal」の下位8ビットが配置される。
図63は、図62に示す視差情報セット構造の各情報の内容を示している。「Active_space_info_Type」の情報は、視差情報セットであることを示す識別情報である。「Block_Size」の情報は、視差ベクトル(視差情報)の空間密度を示すブロックサイズを示している。“00”はブロックサイズが1×1画素、つまりピクセル(画素)であることを示す。“01”は、ブロックサイズが16×16画素であることを示す。“10”はブロックサイズが32×32画素であることを示す。
「Connect_Info」の情報は、アクティブスペース領域の連結情報を示している。“00”は、このアクティブスペース領域に配置されている視差情報セットで完結していることを示す。“01”は、このアクティブスペース領域に配置されている視差情報セットが、後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“10”は、このアクティブスペース領域に配置されている視差情報セットが、前のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“11”は、このアクティブスペース領域に配置されている視差情報セットが、前後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。
なお、連結される最後のアクティブスペースが終了するビデオフレームのタイミングは、対象となる画像データを送るフレームよりも少なくとも同時か、それよりも早い時点で送信終了するよう配置することが、シンク側での対応の点で重要である。
図64(a)は、「Block_Size」が“01”、“10”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、上述したように、各視差ベクトルの情報セットは各3バイトの領域を使用して配置される。図64(b)は、「Block_Size」が“00”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、ピクチャの全画素をスキャン順(映像画素順)に羅列することで、「ID_Block(i)」を省略できる。すなわち、この場合、各視差ベクトルの情報セットは各2バイトの領域を使用して配置される。
なお、この場合、符号付き11ビットの「Disparity_Vector_Horizontal」の情報を、符号付き8ビットに正規化することで、図64(c)に示すように、各視差ベクトルの情報セットは各1バイトの領域を使用して配置でき、伝送帯域を半分にできる。
なお、上述では、セットトップボックス200Aからテレビ受信機300Aに送信される視差情報セットとして、所定数の視差ベクトル(視差情報)と、各視差ベクトルが属する画像領域上の位置を示す位置情報(ブロックID)が含まれている、第1の種類を示した。しかし、この視差情報セットとして、画像領域の分割情報と、各分割領域を代表する視差情報とが含まれている、第2の種類も考えられる。
最初に、HDMI Vendor Specific InfoFrame を利用して、第1の種類または第2の種類の視差情報セットを、選択的に送信する方法について説明する。この方法では、HDMI Vendor Specific InfoFrame paketにおいて、HDMI_Video_Format=“010”かつ3D_Meta_present=1とされて、Vendor SpecificInfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“010”と定義され、視差情報セット(Disparrity Set)の情報が指定される。
図65、図66は、HDMI Vendor Specific InfoFrame のパケット構造を示している。このHDMI Vendor Specific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。
第4バイト(PB4)の第7ビットから第5ビットに、画像データの種類を示す3ビットの情報「HDMI_Video_Format」が配置されている。画像データが3D画像データである場合、この3ビットの情報は「010」とされる。また、このように画像データが3D画像データである場合、第5バイト(PB5)の第7ビットから第4ビットに、TMDS伝送データ構造を示す4ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式(図53参照)の場合、この4ビットの情報は、「0000」とされる。また、例えば、ラインオルタネイティブ方式(図54参照)の場合、この4ビットの情報は、「0010」とされる。また、例えば、サイド・バイ・サイド(Full)方式(図55参照)の場合、この4ビットの情報は、「0011」とされる。
また、第5バイト(PB5)の第3ビットに、「3D_Meta_present」が配置され、Vendor SpecificInfoFrame extensionを指定する場合、この1ビットは「1」とされる。また、第7バイト(PB7)の第7ビットから第5ビットに、「3D_Metadata_type」が配置されている。視差情報セット(Disparity Set)の情報を指定する場合、この3ビットの情報は、未使用の、例えば、“010”とされる。また、第7バイト(PB7)の第4バイトから第0バイトに、「3D_Metadata_length」が配置されている。この5ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。
また、第7+1バイト(PB7+1)の第7ビットに、「Disparity_Info_type(1bit)」が配置されている。この情報は、視差情報セットが第1の種類であるか第2の種類であるかを示す。図67に示すように、「Disparity_Info_type」が“1”であるとき、視差情報セットが第1の種類であることを示す。この場合、視差情報セットには、所定数の視差ベクトル(視差情報)と、各視差ベクトルが属する画像領域上の位置を示す位置情報(ブロックID)が含まれている。また、「Disparity_Info_type」が“0”であるとき、視差情報セットが第2の種類であることを示す。この場合、視差情報セットには、画像領域の分割情報と、各分割領域を代表する視差情報とが含まれている。
また、第7+1バイトの第6ビットから第4ビットに、「Dimension(3bits)」が配置されている。この情報は、画像(ピクチャ)領域の分割情報である。図67および図68(a)に示すように、「Dimension」が“000”であるとき、画像(ピクチャ)領域は分割されておらず、この画像(ピクチャ)領域を代表する1つの視差ベクトル(視差情報)が送信されることを示す。
また、図67および図68(b)に示すように、「Dimension」が“001”であるとき、画像(ピクチャ)領域は4分割されており、この各分割領域を代表する4個の視差ベクトル(視差情報)が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される(図68(b)の0〜3の順)。
また、図67および図68(c)に示すように、「Dimension」が“010”であるとき、画像(ピクチャ)領域は9分割されており、この各分割領域を代表する9個の視差ベクトル(視差情報)が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される(図68(c)の0〜8の順)。
また、図67および図68(d)に示すように、「Dimension」が“011”であるとき、画像(ピクチャ)領域は16分割されており、この各分割領域を代表する16個の視差ベクトル(視差情報)が送信されることを示す。この場合、左上の領域の視差ベクトルが最初で、右下の領域の視差ベクトルが最後となるように配置される(図68(d)の0〜15の順)。
また、第7+1バイト(PB7+1)の第3ビットに、「DPstrt(1bit)」が配置されている。この情報は、現在のフレームの視差情報セットの連続情報を示す。図67に示すように、「DPstrt」が“0”であるとき、現在のフレームの視差情報セットは、前のフレームの視差情報セットから連続したものであることを示す。また、図67に示すように、「DPstrt」が“1”であるとき、現在のフレームの視差情報セットは、現在のフレームから始まったものであることを示す。
また、第7+1バイト(PB7+1)の第2ビットに、「ASP(1bit)」が配置されている。この情報は、視差情報セットがアクティブスペース領域を利用して送信されるか否かを示す。「ASP」が“1”であるとき、視差情報セットがアクティブスペース領域を利用して送信されることを示す。なお、ここでは、視差情報セットがHDMI Vendor Specific InfoFrame を利用して送信されるものであり、「ASP」が“0”とされる。
また、第7+1バイト(PB7+1)の第1ビットに、「VB(1bit)」が配置されている。この情報は、視差情報セットが、HDMI VendorSpecific InfoFrame パケット以外を利用して、画像データのブランキング期間で送信されるか否かを示す。「VB」が“1”であるとき、視差情報セットがHDMI Vendor SpecificInfoFrame パケット以外を利用して画像データのブランキング期間で送信されることを示す。なお、ここでは、視差情報セットがHDMI Vendor Specific InfoFrame を利用して送信されるものであり、「VB」が“0”とされる。
第7+2バイト以降に、実際の視差情報セットが配置される。図65は、「Disparity_Info_type」が“0”の場合を示している。視差情報セットとして、第2の種類の視差情報セットが配置されている。各分割領域を代表する水平方向の視差ベクトル(視差情報)が順次配置されている。この場合、各視差ベクトルは8ビットの情報とされる。ここで、「Dimension」が“000”,“001”,“010”,“011”であるとき、それぞれ、1個、4個、9個、16個の視差ベクトル(視差情報)が配置される。
図66は、「Disparity_Info_type」が“1”の場合を示している。視差情報セットとして、第1の種類の視差情報セットが配置されている。位置情報(ブロックID)および視差ベクトルのセットが順次配置されている。例えば、1920×1080の画像(ピクチャ)領域を16×16画素のブロックで分割すると、ブロック数は8100となり、個々のブロックは13ビットでID表現できる。
ここで、各視差ベクトルのセットは、図69(d)に示すように、13ビットのブロックID(ID_Block(i))と、8ビットの水平方向の視差ベクトル(Disparity_Vector_Horizontal)により構成される。そのため、各視差ベクトルのセットを配置するために、第1〜第3の3バイトが使用される。第1バイトに「ID_Block(i)」の上位8ビットが配置され、第2のバイトの第7ビットから第3ビットに「ID_Block(i)」の下位5ビットが配置される。第3バイトに「Disparity_Vector_Horizontal」が配置される。
視差ベクトルのセットの個数は、視差情報セットに、どの階層を含むかによる。例えば、図69(a)に示す階層だけを含む場合には、1セットとなり、そのセットの視差ベクトルは、例えば、図69(d)に示す最下層の各領域(ブロック)で検出された視差ベクトルのうち最大視差を示すものとされる。そして、そのセットのブロックIDは、その最大視差を示す視差ベクトルが属する最下層の領域位置を示すものとされる。
同様に、例えば、図69(b)に示す階層のみを含む場合には各領域に対応した4セットとなり、図69(c)に示す階層のみを含む場合には各領域に対応した24セットとなる。この場合、各セットの視差ベクトルは、各領域内に含まれる最下層の各領域(ブロック)で検出された視差ベクトルのうち最大視差を示すものとされる。そして、その各セットのブロックIDは、その最大視差を示す視差ベクトルが属する最下層の領域位置を示すものとされる。
なお、図65、図66に示すHDMI Vendor Specific InfoFrame のパケット構造は、「Disparity_Info_type」の情報で、このパケットで送信される視差情報セットが第1の種類か第2の種類かを示している。しかし、最初からこのパケットで送信される視差情報セットが第1の種類あるいは第2の種類のみに限られている場合には、この「Disparity_Info_type」の情報は不要となる。
図70は、送信される視差情報セットが第2の種類のみに限られている場合における、HDMI Vendor Specific InfoFrame のパケット構造を示している。この場合、第7+1バイト(PB7+1)の第7ビットは、リザーブ(Reserved(0)とされる。
次に、アクティブスペース(Active Space)を利用して、第1の種類または第2の種類の視差情報セットを、選択的に送信する方法について説明する。この方法では、図71にHDMI Vendor Specific InfoFrame のパケット構造を示すように、現状ではReserved bitとなっている第7+1バイト(PB7+1)の第2ビットに、「ASP(1bit)」が定義され、この1ビットの情報が“1”とされる。その上で、現状ではReservedとされているアクティブスペース領域を用いて、新たに情報エリアが定義され、そこに視差情報セットが配置される。
なお、図71のHDMI Vendor Specific InfoFrame のパケット構造において、第7バイトには、上述した図65、図66に示すHDMI Vendor Specific InfoFrame のパケット構造と同様の情報が配置されている。
図72は、「Disparity_Info_type」が“0”の場合、つまり視差情報セットとして第2の種類の視差情報セットを送信する場合における、アクティブスペース領域に配置される視差情報セットの構造を示している。この場合、視差情報セットとして、各分割領域を代表する水平方向の視差ベクトル(視差情報)が順次配置される。第0バイトに、3ビットの「Active_space_info_Type」と、2ビットの「Connect_Info」の情報が配置される。また、第1バイトおよび第2バイトに、以降の視差情報セットが配置される領域の長さを示す16ビットの「Data_Length」の上位8ビットおよび下位8ビットが配置される。
図73は、「Disparity_Info_type」が“1”の場合、つまり視差情報セットとして第1の種類の視差情報セットを送信する場合における、アクティブスペース領域に配置される視差情報セットの構造を示している。この場合、視差情報セットとして、位置情報(ブロックID)および視差ベクトルのセットが順次配置される。
第0バイトに、3ビットの「Active_space_info_Type」と、3ビットの「Block_Size」と、2ビットの「Connect_Info」の情報が配置される。第1バイトおよび第2バイトに、以降の視差情報セットが配置される領域の長さを示す16ビットの「Data_Length」の上位8ビットおよび下位8ビットが配置される。
各視差ベクトルの情報セットは各3バイトの領域を使用して配置される。第1バイトに「ID_Block(i)」の上位8ビットが配置され、第2のバイトの第7ビットから第3ビットに「ID_Block(i)」の下位5ビットが配置される。第3バイトに「Disparity_Vector_Horizontal」が配置される。
図74は、図72、図73に示す視差情報セット構造の各情報の内容を示している。「Active_space_info_Type」の情報は、視差情報セットであることを示す識別情報である。「Block_Size」の情報は、視差ベクトル(視差情報)の空間密度を示すブロックサイズを示している。“00”はブロックサイズが1×1画素、つまりピクセル(画素)であることを示す。“01”は、ブロックサイズが16×16画素であることを示す。“10”はブロックサイズが32×32画素であることを示す。
「Connect_Info」の情報は、アクティブスペース領域の連結情報を示している。“00”は、現在のアクティブスペース領域に配置されている視差情報セットは、現在のアクティブスペース領域から始まっていることを示す。“01”は、このアクティブスペース領域に配置されている視差情報セットが、後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“10”は、このアクティブスペース領域に配置されている視差情報セットが、前のアクティブスペース領域に配置される視差情報セットと連結されることを示す。“11”は、このアクティブスペース領域に配置されている視差情報セットが、前後のアクティブスペース領域に配置される視差情報セットと連結されることを示す。
なお、連結される最後のアクティブスペースが終了するビデオフレームのタイミングは、対象となる画像データを送るフレームよりも少なくとも同時か、それよりも早い時点で送信終了するよう配置することが、シンク側での対応の点で重要である。
図75(a)は、視差情報セットが第1の種類であって、「Block_Size」が“01”、“10”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、上述したように、各視差ベクトルの情報セットは各3バイトの領域を使用して配置される。図75(b)は、視差情報セットが第1の種類であって、「Block_Size」が“00”の場合の各視差ベクトルの情報セットの配置例を示している。この場合には、ピクチャの全画素をスキャン順(映像画素順)に羅列することで、「ID_Block(i)」を省略できる。すなわち、この場合、各視差ベクトルの情報セットは各2バイトの領域を使用して配置される。
なお、図71に示すHDMI Vendor Specific InfoFrame のパケット構造は、「Disparity_Info_type」の情報で、アクティブスペース領域で送信される視差情報セットが第1の種類か第2の種類かを示している。しかし、最初からアクティブスペース領域で送信される視差情報セットが第1の種類あるいは第2の種類のみに限られている場合には、この「Disparity_Info_type」の情報は不要となる。その場合、図76に示すように、第7+1バイト(PB7+1)の第7ビットは、リザーブ(Reserved(0)とされる。
上述したように、図1に示す立体画像表示システム10においては、左眼画像および右眼画像の一方に対する他方の視差情報に基づいて、左眼画像および右眼画像に重畳する同一の重畳情報(クローズド・キャプション情報、サブタイトル情報、グラフィクス情報、テキスト情報など)に視差が付与される。そのため、左眼画像および右眼画像に重畳される同一の重畳情報として、画像内の各物体(オブジェクト)の遠近感に応じて視差調整が施されたものを用いることができ、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を維持することが可能となる。
<2.変形例>
なお、上述実施の形態においては、立体画像表示システム10が、放送局100、セットトップボックス200およびテレビ受信機300で構成されているものを示した。しかし、テレビ受信機300は、図46に示すように、セットトップボックス200内のビットストリーム処理部201と同等に機能するビットストリーム処理部201を備えている。したがって、図77に示すように、放送局100およびテレビ受信機300で構成される立体画像表示システム10Aも考えられる。
また、上述実施の形態においては、立体画像データを含むデータストリーム(ビットストリームデータ)が放送局100から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できることは勿論である。
また、上述実施の形態においては、セットトップボックス200Aからテレビ受信機300Aに視差情報セットを送信する方法として、HDMI Vendor Specific InfoFrame を利用する方法、アクティブスペース(Active Space)を利用する方法を説明した。その他に、HPDライン86(HEAC−ライン)およびユーティリティライン88(HEAC+ライン)で構成される双方向通信路を通じて送信することも考えられる。
また、上述実施の形態においては、セットトップボックス200,200Aと、テレビ受信機300,300Aとが、HDMIのデジタルインタフェースで接続されるものを示している。しかし、これらが、HDMIのデジタルインタフェースと同様のデジタルインタフェース(有線の他に無線も含む)で接続される場合においても、この発明を適用できることは勿論である。
また、上述実施の形態においては、セットトップボックス200Aからテレビ受信機300Aに、ビットストリーム処理部201で使用されている視差ベクトル(図8、図27参照)の全部または一部を視差情報セットとして、HDMIインタフェースにより送信する例を示した。しかし、このようにHDMIインタフェースを通じて視差情報セットを送信する技術に関しては、その他のソース機器およびシンク機器の組み合わせにも応用できることは勿論である。例えば、ソース機器としてはBDやDVD等のディスクプレーヤ、さらにはゲーム機なども考えられ、シンク機器としてはモニタ装置、プロジェクタ装置なども考えられる。