以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.変形例
<1.第1の実施の形態>
[画像送受信システム]
図1は、第1の実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、放送局100および受信機200により構成されている。放送局100は、第1のビデオストリーム(第1のビデオエレメンタリストリーム)および第2のビデオストリーム(第2のビデオエレメンタリストリーム)を時分割的に含む多重化ストリームとしてのトランスポートストリームTSを、放送波に載せて送信する。
放送局100は、このトランスポートストリームTSを生成する送信データ生成部110を備えている。第1のビデオストリームには、2次元(2D)画像データが挿入されている。また、第2のビデオストリームには、3次元(3D)画像データが挿入されている。ここで、ビデオストリームは、例えば、H.264/AVCビデオストリームあるいはMPEG2ビデオストリームである。
トランスポートストリームTSには、第1のビデオストリームと第2のビデオストリームとの間の切り換えを事前に知らせる先出し情報が挿入されている。この先出し情報には、この先出し情報の挿入タイミングから切り換えのタイミングまでの間隔を示すタイミング情報が付加されている。また、この先出し情報には、第1のビデオストリームへの切り換えか第2のビデオストリームへの切り換えかを示す情報が付加されている。
例えば先出し情報は、トランスポートストリームを構成する、ビデオストリームとは独立したストリームに挿入される。また、例えば、先出し情報は、ビデオストリームのピクチャレイヤ以上のレイヤに挿入される。また、例えば、先出し情報は、ビデオストリームを構成するPESのヘッダ部に挿入される。また、例えば、先出し情報は、多重化ストリームに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)の配下に挿入される。
図2は、送信側の時間管理と、ビデオストリームおよび先出し情報の関係を示している。3次元画像データが含まれる第2のビデオストリームから2次元画像データが含まれる第1のビデオストリームへの切り換えタイミングに対して、所定時間前、例えば2秒前、1秒前などのタイミングで、先出し情報が挿入される。また、同様に、2次元画像データが含まれる第1のビデオストリームから3次元画像データが含まれる第2のビデオストリームへの切り換えタイミングに対して、所定時間前、例えば2秒前、1秒前などのタイミングで、先出し情報が挿入される。
受信機200は、放送局100から放送波に載せて送られてくるトランスポートストリームTSを受信する。受信機200は、受信されたトラスポートストリームTSに含まれるビデオストリームから画像データを取得する。受信部200は、表示パネル(表示部)217を有している。受信部200は、この表示パネル217に、2次元画像表示、または、左眼画像および右眼画像を交互に表示する3次元画像表示を行う。すなわち、ビデオストリームが第1のビデオストリームであって2次元画像データが含まれている場合には、2次元画像表示を行う。一方、ビデオストリームが第2のビデオストリームであって3次元画像データが含まれている場合には、3次元画像表示を行う。
また、受信機200は、受信されたトランスポートストリームTSから、先出し情報を取得する。受信部200は、シャッタメガネ300の動作を制御するシャッタ制御部221を有している。受信機200は、このシャッタ制御部221により、先出し情報に基づいて、シャッタメガネ300に、2次元画像表示と3次元画像表示との間の切り換えタイミングより前に、シャッタモード切り換えコマンドを送信する。
このシャッタモード切り換えコマンドには、シャッタモードを切り換えるまでの時間を示す情報、および2次元画像表示に対応したシャッタモードへの切り換えか3次元画像表示に対応したシャッタモードへの切り換えかを示す情報が付加されている。シャッタメガネ300は、このシャッタモード切り換えコマンドに基づいて、シャッタモードを、2次元画像表示状態および3次元画像表示状態の実際の切り換えタイミングで適切に切り換える。
図3は、受信機200において受信されるトランスポートストリームTS、つまりビットストリームデータに含まれるビデオストリームと、このトランスポートストリームTSから取得される先出し情報との対応関係を示している。また、この図3は、受信機200のシャッタ制御部221からシャッタメガネ300へのシャッタモード切り換えコマンドの送信タイミングを概略的に示している。
トランスポートストリームTSから取得される先出し情報は、送信側において、第2のビデオストリームから第1のビデオストリームへの切り換えタイミングに対して時間Tだけの余裕をもって挿入されている。受信機200のシャッタ制御部221からシャッタメガネ300には、この先出し情報に基づいて、シャッタモード切り換えタイミングより前のタイミングで、シャッタモード切り換えコマンドが送信される。そして、シャッタメガネ300では、このシャッタモード切り換えコマンドに基づいて、3次元画像表示から2次元画像表示への切り換えタイミングに合わせてシャッタモードが切り換えられる。
「送信データ生成部の構成例」
[第1の構成例]
図4に示す送信データ生成部110Aは、放送局100において、上述したトランスポートストリームTSを生成する送信データ生成部110の一例を示している。この送信データ生成部110Aは、先出し情報が、トランスポートストリームTSを構成する、ビデオストリームとは独立したストリームに挿入される例を示している。この送信データ生成部110Aは、データ取り出し部(アーカイブ部)111と、ビデオエンコーダ112と、オーディオエンコーダ113を有している。また、この送信データ生成部110Aは、先出し情報発生部114と、先出し情報エンコーダ115と、マルチプレクサ116を有している。
データ取り出し部111は、データ記録媒体111aから、画像データ、音声データを取り出して出力する。データ記録媒体111aは、例えば、データ取り出し部111に着脱自在に装着されるディスク状記録媒体、半導体メモリ等である。このデータ記録媒体111aには、トランスポートストリームTSで送信する所定番組の画像データと共に、この画像データに対応した音声データが記録されている。例えば、画像データは、番組に応じて、3次元(3D)画像データあるいは2次元(2D)画像データに切り替わる。また、例えば、画像データは、番組内においても、本編やコマーシャルなどの内容に応じて、3次元画像データあるいは2次元画像データに切り替わる。
3次元画像データは、左眼画像データおよび右眼画像データにより構成されている。3次元画像データの伝送方式の一例を説明する。ここでは、以下の第1~第3の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図5に示すように、左眼(L)および右眼(R)の画像データが、それぞれ、決められた解像度、例えば、1920×1080のピクセルフォーマットの画像データである場合を例にとって説明する。
第1の伝送方式は、トップ・アンド・ボトム(Top & Bottom)方式で、図6(a)に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが1/2に間引かれることから原信号に対して垂直解像度は半分となる。
第2の伝送方式は、サイド・バイ・サイド(Side By Side)方式で、図6(b)に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが1/2に間引かれる。原信号に対して、水平解像度は半分となる。
第3の伝送方式は、フレーム・シーケンシャル(Frame Sequential)方式で、図6(c)に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。なお、このフレーム・シーケンシャル方式は、フル・フレーム(Full Frame)方式、あるいはバックワード・コンパチブル(BackwardCompatible)方式と称される場合もある。
ビデオエンコーダ112は、データ取り出し部111から出力される画像データに対して、H.264/AVCあるいはMPEG2の符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ112は、後段に備えるストリームフォーマッタ(図示せず)により、画像データが2次元画像データであるときは、この2次元画像データが挿入されたビデオエレメンタリストリーム(第1のビデオストリーム)を生成する。また、画像データが3次元画像データであるときは、この3次元画像データが挿入されたビデオエレメンタリストリーム(第2のビデオストリーム)を生成する。
オーディオエンコーダ113は、データ取り出し部111から出力される音声データに対して、MPEG-2Audio AAC等の符号化を施し、オーディオのエレメンタリストリームを生成する。
先出し情報発生部114は、2次元画像データが挿入された第1のビデオストリームと3次元画像データが挿入された第2のビデオストリームとの間の切り換えを事前に知らせる先出し情報としてのG_dataを発生する。このG_dataには、先出し情報の挿入タイミングから切り換えのタイミングまでの間隔を示すタイミング情報、第1のビデオストリームへの切り換えか第2のビデオストリームへの切り換えかを示す情報などが含まれている。先出し情報発生部114は、第1のビデオストリームと第2のビデオストリームとの間の切り換えタイミングのそれぞれに対応して、先出し情報の所定数の挿入タイミングで用いる所定数のG_dataを発生する。
先出し情報エンコーダ115は、先出し情報発生部114から出力される所定数のG_dataに対して所定の符号化を施し、先出し情報のエレメンタリストリームを生成する。この場合、G_data毎に、ビデオストリームとの間の同期をとるためにPTS(Presentation Time Stamp)が付される。
マルチプレクサ116は、ビデオエンコーダ112、オーディオエンコーダ113および先出し情報エンコーダ115で生成された各エレメンタリストリームをパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを生成する。
このトランスポートストリームTSは、データ取り出し部111から2次元画像データが出力される所定番組の期間、あるいは番組内の所定期間は、この2次元画像データが挿入された第1のビデオストリームを含むものとなる。また、このトランスポートストリームTSは、データ取り出し部111から3次元画像データが出力される所定番組の期間、あるいは番組内の所定期間は、この3次元画像データが挿入された第2のビデオストリームを含むものとなる。
さらに、このトランスポートストリームTSは、ビデオストリーム(第1のビデオストリーム、第2のビデオストリーム)とは独立した先出し情報ストリームを含むものとなる。図7は、ビデオストリームと先出し情報ストリームとの対応関係を示している。先出し情報ストリームには、第1のビデオストリームと第2のビデオストリームとの間の切り換えタイミングに対して、所定時間前、例えば2秒前、1秒前などのタイミングで、先出し情報(G_data)が挿入されている。
図4に示す送信データ生成部110Aの動作を簡単に説明する。データ取り出し部111から出力される画像データ(3次元画像データあるいは2次元画像データ)は、ビデオエンコーダ112に供給される。このビデオエンコーダ112では、その画像データに対してH.264/AVCあるいはMPEG2の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリーム(ビデオストリーム)が生成される。
この場合、画像データが2次元画像データであるときは、この2次元画像データが挿入されたビデオエレメンタリストリーム(第1のビデオストリーム)が生成される。また、画像データが3次元画像データであるときは、この3次元画像データが挿入されたビデオエレメンタリストリーム(第2のビデオストリーム)が生成される。このようにビデオエンコーダ112で生成されたビデオエレメンタリストリームは、マルチプレクサ116に供給される。
また、データ取り出し部111から画像データが出力されるとき、このデータ取り出し部111からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ113に供給される。このオーディオエンコーダ113では、音声データに対して、MPEG-2Audio AAC等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ116に供給される。
また、先出し情報発生部114では、第1のビデオストリームと第2のビデオストリームとの間の切り換えタイミングのそれぞれに対応して、先出し情報の所定数の挿入タイミングで用いる所定数のG_data(先出し情報)が発生される。このG_dataには、先出し情報の挿入タイミングから切り換えのタイミングまでの間隔を示すタイミング情報、第1のビデオストリームへの切り換えか第2のビデオストリームへの切り換えかを示す情報などが含まれている。
この先出し情報発生部114で発生されるG_dataは、先出し情報エンコーダ115に供給される。先出し情報エンコーダ115では、このG_dataに対して所定の符号化が施され、先出し情報エレメンタリストリームが生成される。この場合、G_data毎に、ビデオストリームとの間の同期をとるためにPTSが付される。この先出し情報エレメンタリストリームはマルチプレクサ116に供給される。
マルチプレクサ116では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームTSが生成される。このトランスポートストリームTSには、データ取り出し部111から2次元画像データが出力される所定番組の期間、あるいは番組内の所定期間、この2次元画像データが挿入された第1のビデオストリームが含まれる。また、このトランスポートストリームTSには、データ取り出し部111から3次元画像データが出力される所定番組の期間、あるいは番組内の所定期間、この3次元画像データが挿入された第2のビデオストリームが含まれる。さらに、このトランスポートストリームTSには、さらに、このトランスポートストリームTSは、ビデオストリームとは独立した先出し情報ストリームが含まれている。
図8は、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、先出し情報エレメンタリストリームを含むトランスポートストリーム(多重化データストリーム)の構成例を示している。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたPESパケットが含まれている。この構成例では、ビデオエレメンタリストリームのPESパケット「Video PES」が含まれている。また、この構成例では、オーディオエレメンタリストリームのPESパケット「Audio PES」および先出し情報エレメンタリストリームのPESパケット「Pre-SwitchingControl PES」が含まれている。先出し情報エレメンタリストリームには、上述したように、先出し情報としてのG_dataが挿入されている。
また、トランスポートストリームには、PSI(Program Specific Information)として、PMT(ProgramMap Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うSI(Serviced Information)としてのEIT(EventInformation Table)が含まれている。
PMTには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ(Program Descriptor)が存在する。また、このPMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループ、プライベートエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子(PID)、ストリームタイプ(Stream_Type)等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
図9は、「G_data」の構造例(Syntax)を示している。図10は、「G_data」および後述する「G_descriptor」の主要なデータ規定内容(semantics)を示している。「switching_bit」の1ビットフィールドは、次のビデオストリーム期間に、第1のビデオストリームから第2のビデオストリームへの切り換え、あるいは第2のビデオストリームから第1のビデオストリームへの切り換えがあるか否かを示す。“1”は切り換えがあることを示し、“0”は切り換えがないことを示す。
「next_sequence_2D」の1ビットフィールドは、切り換え後のビデオストリームが、2次元画像データが挿入された第1のビデオストリームであるか、3次元画像データが挿入された第2のビデオストリームであるか、を示す。“1”は第1のビデオストリームであることを示し、“0”は第2のビデオストリームであることを示す。上述の「switching_bit」の1ビットフィールドが“0”であるとき、この「next_sequence_2D」の1ビットフィールドは読み飛ばされる。
「timing_information」の14ビットフィールドは、先出し情報の挿入タイミングから切り換えのタイミングまでの間隔であるタイミング情報を示す。このタイミング情報は、対象となるビデオフレーム周波数に基づく。「timing_type」の2ビットフィールドは、上述の「timing_information」のデータタイプを示す。“00”は、タイミング情報が、タイムスタンプグリッド(90kHzベース)に基づくSTC(System Time Clock)であることを示す。“01”は、タイミング情報が、ビデオフレームカウントであることを示す。“10”は、タイミング情報が、0.5秒ベースのカウント数であることを示す。“11”は、1秒ベースのカウント数であることを示す。
[第2の構成例]
図11に示す送信データ生成部110Bは、放送局100において、上述したトランスポートストリームTSを生成する送信データ生成部110の一例を示している。この送信データ生成部110Bは、先出し情報が、ビデオストリームのピクチャレイヤ以上のレイヤに挿入される例を示している。この図11において、図4と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。
この送信データ生成部110Bは、データ取り出し部(アーカイブ部)111と、ビデオエンコーダ112Bと、オーディオエンコーダ113と、先出し情報発生部114と、マルチプレクサ116を有している。ビデオエンコーダ112Bは、データ取り出し部111から出力される画像データに対して、H.264/AVCあるいはMPEG2の符号化を施して符号化ビデオデータを得る。
また、このビデオエンコーダ112Bは、後段に備えるストリームフォーマッタ(図示せず)により、画像データが2次元画像データであるときは、この2次元画像データが挿入されたビデオエレメンタリストリーム(第1のビデオストリーム)を生成する。また、画像データが3次元画像データであるときは、この3次元画像データが挿入されたビデオエレメンタリストリーム(第2のビデオストリーム)を生成する。この際、ビデオエンコーダ112は、先出し情報発生部114で発生される先出し情報としてのG_dataを、ビデオストリームのピクチャレイヤ以上のレイヤに挿入する。この場合、ビデオエンコーダ112Bは、先出し情報の所定数の挿入タイミングで用いる所定数のG_dataを、それぞれ、その挿入タイミングに対応したビデオストリーム位置に挿入する。
例えば、ビデオエンコーダ112Bは、H.264/AVC(Advanced Video Coding)の符号化が施されている場合には、アクセスユニットのSEIsの部分に、G_dataを挿入する。また、例えば、ビデオエンコーダ112Bは、MPEG2videoの符号化方式の符号化が施されている場合には、ピクチャヘッダのユーザデータ領域に、G_dataを挿入する。なお、ビデオストリームのPES(Packetized Elementary Stream)のヘッダ部にG_dataを挿入する場合にあっては、マルチプレクサ116において、G_dataの挿入が行われる。すなわち、マルチプレクサ116において、PESレイヤのPES_private_data(128bits固定長)に、G_dataを挿入することが行われる。
図12は、ビデオストリームと、このビデオストリームのピクチャレイヤ以上のレイヤに挿入される先出し情報との対応関係を示している。ビデオストリームのピクチャレイヤ以上のレイヤには、第1のビデオストリームと第2のビデオストリームとの間の切り換えタイミングに対して、所定時間前、例えば2秒前、1秒前などのタイミングで、先出し情報(G_data)が挿入されている。
図13は、G_dataをPESレイヤのPES_private_data(128bits固定長)に挿入する場合におけるPES_private_dataの構造例(Syntax)を示している。「private_data_type」の8ビットフィールドには、G_dataを示す特定値が定義される。「G_data_length」の8ビットフィールドは、それに続くG_dataのサイズを示す。
図14は、ビデオストリームと、PESレイヤのPES_private_dataに挿入される先出し情報との対応関係を示している。PES_private_dataには、第1のビデオストリームと第2のビデオストリームとの間の切り換えタイミングに対して、所定時間前、例えば2秒前、1秒前などのタイミングで、先出し情報(G_data)が挿入されている。
マルチプレクサ116は、ビデオエンコーダ112Bおよびオーディオエンコーダ113で生成された各エレメンタリストリームをパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを生成する。詳細説明は省略するが、この図11に示す送信データ生成部110Bのその他は、図4に示す送信データ生成部110Aと同様に構成される。
図11に示す送信データ生成部110Bの動作を簡単に説明する。データ取り出し部111から出力される画像データ(3次元画像データあるいは2次元画像データ)は、ビデオエンコーダ112Bに供給される。このビデオエンコーダ112Bでは、その画像データに対してH.264/AVCあるいはMPEG2の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリーム(ビデオストリーム)が生成される。
この場合、画像データが2次元画像データであるときは、この2次元画像データが挿入されたビデオエレメンタリストリーム(第1のビデオストリーム)が生成される。また、画像データが3次元画像データであるときは、この3次元画像データが挿入されたビデオエレメンタリストリーム(第2のビデオストリーム)が生成される。このようにビデオエンコーダ112Bで生成されたビデオエレメンタリストリームは、マルチプレクサ116に供給される。
また、データ取り出し部111から画像データが出力されるとき、このデータ取り出し部111からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ113に供給される。このオーディオエンコーダ113では、音声データに対して、MPEG-2Audio AAC等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ116に供給される。
また、先出し情報発生部114では、第1のビデオストリームと第2のビデオストリームとの間の切り換えタイミングのそれぞれに対応して、先出し情報の所定数の挿入タイミングで用いる所定数のG_data(先出し情報)が発生される。このG_dataには、先出し情報の挿入タイミングから切り換えのタイミングまでの間隔を示すタイミング情報、第1のビデオストリームへの切り換えか第2のビデオストリームへの切り換えかを示す情報などが含まれている。
この先出し情報発生部114で発生されるG_dataは、ビデオエンコーダ112Bに供給される。ビデオエンコーダ112Bでは、G_dataが、ビデオストリームのピクチャレイヤ以上のレイヤに挿入される。この場合、ビデオエンコーダ112Bでは、先出し情報の所定数の挿入タイミングで用いる所定数のG_dataが、それぞれ、その挿入タイミングに対応したビデオストリーム位置に挿入される。これにより、この場合、G_data毎に、ビデオストリームとの間の同期がとられる。なお、上述したように、ビデオストリームのPES(Packetized Elementary Stream)のヘッダ部にG_dataを挿入する場合にあっては、先出し情報発生部114で発生されるG_dataはマルチプレクサ116に供給され、このマルチプレクサ116においてG_dataの挿入が行われる。
マルチプレクサ116では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリームTSが生成される。このトランスポートストリームTSには、データ取り出し部111から2次元画像データが出力される所定番組の期間、あるいは番組内の所定期間、この2次元画像データが挿入された第1のビデオストリームが含まれる。このビデオストリームのピクチャレイヤ以上のレイヤには、先出し情報としてのG_dataが挿入されている。
図15は、ビデオエレメンタリストリーム、オーディオエレメンタリストリームを含むトランスポートストリーム(多重化データストリーム)の構成例を示している。この図15において、図8と対応する部分は、適宜、その詳細説明を省略する。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたPESパケットが含まれている。この構成例では、ビデオエレメンタリストリームのPESパケット「Video PES」が含まれている。また、この構成例では、オーディオエレメンタリストリームのPESパケット「Audio PES」が含まれている。ビデオエレメンタリストリームには、上述したように、先出し情報としてのG_dataが挿入されている。
[第3の構成例]
図16に示す送信データ生成部110Cは、放送局100において、上述したトランスポートストリームTSを生成する送信データ生成部110の一例を示している。この送信データ生成部110Cは、先出し情報が、多重化ストリームに含まれるプログラム・マップ・テーブルの配下に挿入される例を示している。この図16において、図4と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。
この送信データ生成部110Cは、データ取り出し部(アーカイブ部)111と、ビデオエンコーダ112と、オーディオエンコーダ113と、先出し情報発生部114と、マルチプレクサ116Cを有している。マルチプレクサ116Cは、ビデオエンコーダ112およびオーディオエンコーダ113で生成された各エレメンタリストリームをパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを生成する。
ここで、マルチプレクサ116Cは、先出し情報発生部114で発生される先出し情報(G_data)を含むデスクリプタとしてのG_descriptorを生成し、このデスクリプタをプログラム・マップ・テーブル(PMT)の配下に挿入する。この場合、マルチプレクサ116Cは、先出し情報の所定数の挿入タイミングで用いる所定数のG_descriptorを、それぞれ、その挿入タイミングに対応して挿入する。
図17は、ビデオストリームと、トランスポートストリームTSのプログラム・マップ・テーブル(PMT)の配下に挿入される先出し情報との対応関係を示している。プログラム・マップ・テーブル(PMT)の配下には、第1のビデオストリームと第2のビデオストリームとの間の切り換えタイミングに対して、所定時間前、例えば2秒前、1秒前などのタイミングで、先出し情報(G_data)を含むデスクリプタが挿入されている。
詳細説明は省略するが、この図16に示す送信データ生成部110Cのその他は、図4に示す送信データ生成部110Aと同様に構成される。
図16に示す送信データ生成部110Cの動作を簡単に説明する。データ取り出し部111から出力される画像データ(3次元画像データあるいは2次元画像データ)は、ビデオエンコーダ112に供給される。このビデオエンコーダ112では、その画像データに対してH.264/AVCあるいはMPEG2の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリーム(ビデオストリーム)が生成される。
この場合、画像データが2次元画像データであるときは、この2次元画像データが挿入されたビデオエレメンタリストリーム(第1のビデオストリーム)が生成される。また、画像データが3次元画像データであるときは、この3次元画像データが挿入されたビデオエレメンタリストリーム(第2のビデオストリーム)が生成される。このようにビデオエンコーダ112で生成されたビデオエレメンタリストリームは、マルチプレクサ116Cに供給される。
また、データ取り出し部111から画像データが出力されるとき、このデータ取り出し部111からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ113に供給される。このオーディオエンコーダ113では、音声データに対して、MPEG-2Audio AAC等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ116Cに供給される。マルチプレクサ116Cでは、ビデオエンコーダ112およびオーディオエンコーダ113で生成された各エレメンタリストリームがパケット化されて多重され、多重化ストリームとしてのトランスポートストリームTSが生成される。
また、先出し情報発生部114では、第1のビデオストリームと第2のビデオストリームとの間の切り換えタイミングのそれぞれに対応して、先出し情報の所定数の挿入タイミングで用いる所定数のG_data(先出し情報)が発生される。このG_dataには、先出し情報の挿入タイミングから切り換えのタイミングまでの間隔を示すタイミング情報、第1のビデオストリームへの切り換えか第2のビデオストリームへの切り換えかを示す情報などが含まれている。
この先出し情報発生部114で発生されるG_dataは、マルチプレクサ116Cに供給される。マルチプレクサ116Cでは、先出し情報発生部114で発生される先出し情報としてのG_dataの内容を含むデスクリプタ(G_descriptor)が作成され、このデスクリプタがプログラム・マップ・テーブル(PMT)の配下に挿入される。この場合、マルチプレクサ116Cは、先出し情報の所定数の挿入タイミングで用いる所定数のG_descriptorが、それぞれ、その挿入タイミングに対応して挿入される。これにより、G_descriptor毎に、ビデオストリームとの間の同期がとられる。
図18は、ビデオエレメンタリストリーム、オーディオエレメンタリストリームを含むトランスポートストリーム(多重化データストリーム)の構成例を示している。この図18において、図8と対応する部分は、適宜、その詳細説明を省略する。このトランスポートストリームには、各エレメンタリストリームをパケット化して得られたPESパケットが含まれている。この構成例では、ビデオエレメンタリストリームのPESパケット「Video PES」が含まれている。また、この構成例では、オーディオエレメンタリストリームのPESパケット「Audio PES」が含まれている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(ProgramMap Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEIT(EventInformation Table)が含まれている。この構成例では、PMTの配下、例えば、ビデオエレメンタリ・ループ(Video ES loop)に、上述したように、先出し情報(G_data)の内容を含む「G_descriptor」が挿入される。
図19は、「G_descriptor」の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、このデスクリプタが「G_descriptor」である、ことを示す。「descriptor_length」の8ビットフィールドは、以降のデータバイト数を示す。なお、「switching_bit」、「next_sequence_2D」、「next_sequence_2D」および「timing_information」の各フィールドに関しては、上述した、「G_data」の構造例で説明したど同様であるので、ここでは、その説明を省略する(図9、図10参照)。
上述したように、図4、図11、図16に示す送信データ生成部110(110A,110B,110C)においては、多重化ストリームとしてのトランスポートストリームTSに、2次元画像データが挿入された第1のビデオストリームと3次元画像データが挿入された第2のビデオストリームとの間の切り換えを事前に知らせる先出し情報が挿入される。そのため、受信側においては、この先出し情報に基づいて制御することで、シャッタメガネのモードの自動切り換えを、2次元画像表示状態および3次元画像表示状態の実際の切り換えタイミングで適切に行わせることができる。
[受信機の構成例]
図20は、受信機200の構成例を示している。この受信機200は、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモコン受信部205と、リモコン送信機206を有している。また、この受信機200は、アンテナ端子211と、デジタルチューナ212と、ビットストリーム処理部213と、3D信号処理部214と、映像信号制御部215を有している。また、この受信機200は、パネル駆動部216と、表示パネル217と、音声信号処理部218と、音声増幅部219と、スピーカ220と、シャッタ制御部221を有している。
CPU201は、受信機200の各部の動作を制御する。フラッシュROM202は、制御ソフトウェアの格納およびデータの保管を行う。DRAM203は、CPU201のワークエリアを構成する。CPU201は、フラッシュROM202から読み出したソフトウェアやデータをDRAM203上に展開してソフトウェアを起動させ、画像表示装置100の各部を制御する。
リモコン受信部205は、リモコン送信機206から送信されたリモートコントロール信号(リモコンコード)を受信し、CPU201に供給する。CPU201は、このリモコンコードに基づいて、受信機200の各部を制御する。CPU201、フラッシュROM202およびDRAM203は、内部バス204により、互いに接続されている。
アンテナ端子211は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ212は、アンテナ端子211に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム(ビットストリームデータ)TSを出力する。ビットストリーム処理部213は、トランスポートストリームTSからコンテンツデータとしての画像データ、音声データ、さらには先出し情報(G_data)などを抽出する。
3D信号処理部214は、ビットストリーム処理部213の出力画像データが3次元画像データであるとき、伝送方式に対応した処理を行って、各フレームの左眼画像データおよび右眼画像データを生成して出力する。なお、3D信号処理部214は、3D信号処理部214の出力画像データが2次元画像データであるとき、この2次元画像データをそのまま出力する。
映像信号制御部215は、3D信号処理部214から各フレームの左眼画像データおよび右眼画像データが出力されるとき、3次元画像表示のための画像データを生成する。すなわち、映像信号制御部215は、表示パネル217に、左眼画像→右眼画像→左眼画像→右眼画像→・・・の順で時分割表示するための画像データを生成する。また、映像信号制御部215は、3D信号処理部214から2次元画像データが出力されるとき、2次元画像表示のための画像データを生成する。
映像信号制御部215は、生成した画像データを、パネル駆動部216に出力する。パネル駆動部216は、映像信号制御部215からの画像データに基づいて、表示パネル217を駆動し、この表示パネル217に、3次元画像表示または2次元画像表示を行う。すなわち、3次元画像表示では、表示パネル217に、左眼画像および右眼画像が時分割的に表示される。また、2次元画像表示では、表示パネル217に、2次元画像が継続して表示される。
音声信号処理部218は、ビットストリーム処理部213で得られた音声データに対してD/A変換等の必要な処理を行う。音声信号増幅部219は、音声信号処理部218から出力される音声信号を増幅してスピーカ220に供給する。
シャッタ制御部221は、ビットストリーム処理部213で取得される先出し情報、映像信号制御部215で信号処理に基づいて生成される所定の信号などに基づいて、シャッタメガネ300のシャッタ動作を制御するシャッタ制御信号を生成する。シャッタ制御部221が備える無線通信部221aは、シャッタメガネ300との間で、例えばIEEE802.15.4に基づく無線通信を行う。この無線通信部221aは、シャッタ制御部221で生成されたシャッタ制御信号をシャッタメガネ300に送信する。
シャッタ制御信号は、例えば、シャッタの開閉周期とそのL/R位相情報、シャッタ開放時間の情報等を含む。シャッタ制御部221は、シャッタ制御信号の1つとして、シャッタモード切り換えコマンドを生成する。このシャッタモード切り換えコマンドは、シャッタメガネ300のシャッタモードを、ノーマルモード(Normal Mode)あるいはオープンモード(Open Mode)に切り換えるための制御信号である。シャッタメガネ300は、ノーマルモードのときは、表示パネル217への左眼画像および右眼画像の表示に対応してそれぞれ左眼シャッタおよび右眼シャッタがオープン状態となる。また、シャッタメガネ300は、オープンモードのときは、左眼シャッタおよび右眼シャッタの双方がオープン状態となる。
このシャッタモード切り換えコマンドには、シャッタモードを切り換えるまでの時間を示す情報、さらには、オープンモードへの切り換えかノーマルモードへの切り換えかを示す情報が付加される。シャッタ制御部221は、先出し情報に基づいて、このシャッタモード切り換えコマンドを生成して、2次元画像表示と3次元画像表示との間の切り換えタイミングより前にシャッタメガネ300に送信する。シャッタ制御部221からシャッタメガネ300へのシャッタモード切り換えコマンドの送信タイミングの一例については後述する。
[シャッタメガネの構成]
シャッタメガネ300について説明する。図21は、シャッタメガネ300の構成例を示している。このシャッタメガネ300は、制御部301と、無線通信部302と、シャッタ駆動部303と、メガネ部304を有している。
制御部301は、シャッタメガネ300の各部の動作を制御する。無線通信部302は、受信機200との間で、例えばIEEE802.15.4に基づく無線通信を行う。この無線通信部302は、受信機200のシャッタ制御部221における無線通信部221aから送信されるシャッタ制御信号を受信する。
シャッタ駆動部303は、無線通信部302で受信されたシャッタ制御信号に基づいて、制御部301の制御のもと、メガネ部304の左眼シャッタ300Lおよび右眼シャッタ300Rを駆動する。上述したように、シャッタ制御信号の1つとして、シャッタモード切り換えコマンドが存在する。このシャッタモード切り換えコマンドには、シャッタモードを切り換えるまでの時間を示す情報、さらには、オープンモードへの切り換えかノーマルモードへの切り換えかを示す情報が付加されている。
シャッタ駆動部303は、このシャッタモード切り替えコマンドに基づいて、シャッタモードを、ノーマルモードからオープンモードに、あるいはオープンモードからノーマルモードに、シャッタ駆動を切り換える。シャッタ駆動部303は、ノーマルモードのときは、受信機200の表示パネル217に左眼画像が表示されるタイミングで、左眼シャッタ300Lを開き、受信機200の表示パネル217に右眼画像が表示されるタイミングで、右眼シャッタ300Rを開く。
また、シャッタ駆動部303は、オープンモードのときは、受信機200の表示パネル217への2次元画像表示に対応して、左眼シャッタ300Lおよび右眼シャッタ300Rの双方を開いたままとする。これにより、電力消費を抑えると共に、視覚健康上の改善にも寄与する。
図20に示す受信機200および図21に示すシャッタメガネ300の動作を説明する。アンテナ端子211に入力されたテレビ放送信号はデジタルチューナ212に供給される。このデジタルチューナ212では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームTSとしてのビットストリームデータが得られる。
デジタルチューナ212から出力されるビットストリームデータは、ビットストリーム処理部213に供給される。このビットストリーム処理部213では、ビットストリームデータから画像データ、音声データ、さらには先出し情報(G_data)などが抽出される。このビットストリーム処理部213で抽出される画像データは、3D信号処理部214に供給される。
3D信号処理部214では、ビットストリーム処理部213の出力画像データが3次元画像データであるとき、伝送方式に対応した処理が行われて、各フレームの左眼画像データおよび右眼画像データが生成されて出力される。また、3D信号処理部214では、ビットストリーム処理部213の出力画像データが2次元画像データであるとき、この2次元画像データがそのまま出力される。この3D信号処理部214から出力される画像データは、映像信号制御部215に供給される。
映像信号制御部215では、3D信号処理部214から各フレームの左眼画像データおよび右眼画像データが出力されるとき、3次元画像表示のための画像データが生成される。すなわち、映像信号制御部215では、表示パネル217に、左眼画像→右眼画像→左眼画像→右眼画像→・・・の順で時分割表示するための画像データが生成される。また、映像信号制御部215では、3D信号処理部214から2次元画像データが出力されるとき、2次元画像表示のための画像データが生成される。
映像信号制御部215で生成される画像データはパネル駆動部216に供給される。パネル駆動部216では、映像信号制御部215からの画像データに基づいて、表示パネル217が駆動され、この表示パネル217に、3次元画像表示または2次元画像表示が行われる。すなわち、3次元画像表示では、表示パネル217に、左眼画像および右眼画像が時分割的に表示される。また、2次元画像表示では、表示パネル217に、2次元画像が継続して表示される。
また、ビットストリーム処理部213で抽出される音声データは、音声信号処理部218に供給される。この音声信号処理部218では、音声データに対してD/A変換等の必要な処理が行われる。この音声データは、音声信号増幅回路219で増幅された後に、スピーカ220に供給される。そのため、スピーカ220から表示パネル217の表示画像に対応した音声が出力される。
また、映像信号制御部215からシャッタ制御部221に、信号処理に基づいて生成される所定の信号が供給される。また、ビットストリーム処理部213で抽出される先出し情報は、シャッタ制御部221に供給される。シャッタ制御部221では、先出し情報などに基づいて、シャッタメガネ300のシャッタ動作を制御する、シャッタモード切り換えコマンドなどのシャッタ制御信号が生成される。
このシャッタ制御信号は、無線通信部221aを通じて、シャッタメガネ300に送信される。この場合、シャッタ制御信号は、シャッタメガネ300における消費電力の抑制などの観点から間欠的に送信される。また、この場合、シャッタモード切り換えコマンドは、2次元画像表示と3次元画像表示との間の切り換えタイミングより前にシャッタメガネ300に送信される。
シャッタメガネ300の無線通信部302では、受信機200のシャッタ制御部221における無線通信部221aから送信されるシャッタ制御信号が受信される。そして、シャッタ駆動部303では、無線通信部302で受信されたシャッタ制御信号に基づいて、制御部301の制御のもと、メガネ部304の左眼シャッタ300Lおよび右眼シャッタ300Rを駆動することが行われる。
この場合、受信機200の表示パネル217に左眼画像および右眼画像が順次表示される3次元画像表示状態への切り換えタイミングで、メガネ部304のシャッタモードはノーマルモードに切り換えられる。一方、受信機200の表示パネル217に2次元画像が表示される2次元画像表示状態への切り換えタイミングで、メガネ部304のシャッタモードはオープンモードに切り換えられる。
ノーマルモードでは、受信機200の表示パネル217に左眼画像が表示されるタイミングで、左眼シャッタ300Lが開かれ、受信機200の表示パネル217に右眼画像が表示されるタイミングで、右眼シャッタ300Rが開かれる。そのため、シャッタメガネ300を装着したユーザは、左眼で左眼画像のみの知覚が可能となり、右眼で右眼画像のみの知覚が可能となり、表示パネル217に表示される左眼画像および右眼画像に基づいて、3次元(3D)画像立体画像を知覚することが可能となる。
一方、オープンモードでは、左眼シャッタ300Lおよび右眼シャッタ300Rの双方が開かれたままとなる。そのため、シャッタメガネ300を装着したユーザは、受信機200の表示パネル217に表示された2次元画像を自然な状態で観察できる。
上述したように、シャッタモード切り換えコマンドは、2次元画像表示と3次元画像表示との間の切り換えタイミングより前に、受信機200のシャッタ制御部221からシャッタメガネ300に送信される。そのため、シャッタメガネ300において、ノーマルモードとオープンモードとの間の切り換えが、3次元画像表示と2次元画像表示との間の切り換えタイミングで、適切に行われる。
図22は、受信機200において受信されるトランスポートストリームTS、つまりビットストリームデータに含まれるビデオストリームと、このビットストリームデータからビットストリーム処理部213で抽出される先出し情報との対応関係を示している。また、この図22は、受信機200のシャッタ制御部221からシャッタメガネ300へのシャッタモード切り換えコマンドの送信タイミングを概略的に示している。この図22は、先出し情報としてのG_dataが、トランスポートストリームTSを構成する、ビデオストリームとは独立した先出し情報ストリームに挿入される例を示している(図7、図8参照)。
受信機200のシャッタ制御部221では、G_dataを受信したタイミングAで、即座に自身のクロックが計測されて記録される。そして、G_dataにPTSが付されている場合には、そのPTSとG_data内に記載されている「timing_information」の値により、G_dataの時刻とシャッタモード切り換え時刻との時間猶予Tが求められる。なお、G_dataがビデオストリーム内に存在する場合には、G_dataの時間的位置とG_data内に記載されている「timing_information」の値により、G_dataの時刻とシャッタモード切り換え時刻との時間猶予Tが求められる。
その後、受信機200のシャッタ制御部221では、上述のタイミングAからの経過時間Uが計測され、以下の(1)式のように、時間猶予TからUだけ減算した値Sが求められる。さらに、(2)式のように、SからRを減算した値T3が求められる。
S=T-U ・・・(1)
T3=S-R ・・・(2)
Rは、受信機200のシャッタ制御部221からシャッタメガネ300へのシャッタ制御信号の送信周期Tpが、Sの期間をよぎるときの時間を示す。T3(S-R)は、送信周期Tpの時間的グリッドで送られるシャッタモード切り換えコマンド(シャッタ制御信号)において、そのコマンド受信時からシャッタモード切り換えが起こるまでの時間Wと同じになる。すなわち、受信機200のシャッタ制御部221から送信周期Tpの時間的グリッドで送信するシャッタモード切り換えコマンドには、シャッタモードを切り換えるまでの時間を示す情報として、T3(S-R)の情報が付加される。
シャッタメガネ300では、受信機200のシャッタ制御部221から送られてくるシャッタモード切り換えコマンドに付加されているパラメータが検知される。すなわち、シャッタメガネ300では、シャッタモードを切り換えるまでの時間を示す情報(切り換えまでの時間情報)、およびノーマルモードへの切り換えかオープンモードへの切り換えかを示す情報(切り換え後モード情報)が検知される。
そして、シャッタメガネ300では、切り換えまでの時間情報に基づいて、シャッタモードの切り換えタイミングが制御される。また、シャッタメガネ300では、切り換え後モード情報に基づいて、切り換え後のシャッタモードが制御される。そのため、シャッタメガネ300においては、ノーマルモードとオープンモードとの間の切り換えが、3次元画像表示と2次元画像表示との間の切り換えタイミングで、適切に行われる。
上述したように、図20に示す受信機200においては、受信されたトランスポートストリームTSに挿入されている先出し情報(G_data)が抽出される。この先出し情報は、2次元画像データが挿入された第1のビデオストリームと3次元画像データが挿入された第2のビデオストリームとの間の切り換えを事前に知らせる情報である。そして、受信機200においては、この先出し情報に基づいて、シャッタメガネ300に、2次元画像表示と3次元画像表示との間の切り換えタイミングより前に、シャッタモード切り換えコマンドを送信できる。そのため、シャッタメガネのモードの自動切り換えを、2次元画像表示状態および3次元画像表示状態の実際の切り換えタイミングで適切に行い得るようにできる。
<2.第2の実施の形態>
[画像送受信システム]
図23は、第2の実施の形態としての画像送受信システム10Aの構成例を示している。この画像送受信システム10Aは、放送局100と、セットトップボックス(STB:Set Top Box)400と、受信機200Aを有している。この図23において、図1と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
セットトップボックス400および受信機200Aは、HDMI(High Definition Multimedia Interface)ケーブル500を介して接続されている。セットトップボックス400には、HDMI端子402が設けられている。受信機200Aには、HDMI端子231が設けられている。HDMIケーブル500の一端はセットトップボックス400のHDMI端子402に接続され、このHDMIケーブル500の他端は受信機200AのHDMI端子231に接続されている。
放送局100は、第1のビデオストリーム(第1のビデオエレメンタリストリーム)および第2のビデオストリーム(第2のビデオエレメンタリストリーム)を時分割的に含む多重化ストリームとしてのトランスポートストリームTSを、放送波に載せて送信する。放送局100は、このトランスポートストリームTSを生成する送信データ生成部110を備えている。第1のビデオストリームには、2次元(2D)画像データが挿入されている。また、第2のビデオストリームには、3次元(3D)画像データが挿入されている。ここで、ビデオストリームは、例えば、H.264/AVCビデオストリームあるいはMPEG2ビデオストリームである。
トランスポートストリームTSには、第1のビデオストリームと第2のビデオストリームとの間の切り換えを事前に知らせる先出し情報が挿入されている。この先出し情報には、この先出し情報の挿入タイミングから切り換えのタイミングまでの間隔を示すタイミング情報が付加されている。また、この先出し情報には、第1のビデオストリームへの切り換えか第2のビデオストリームへの切り換えかを示す情報が付加されている。
例えば先出し情報は、トランスポートストリームを構成する、ビデオストリームとは独立したストリームに挿入される。また、例えば、先出し情報は、ビデオストリームのピクチャレイヤ以上のレイヤに挿入される。この場合、例えば、先出し情報は、ビデオストリームを構成するPESのヘッダ部に挿入される。また、例えば、先出し情報は、多重化ストリームに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)の配下に挿入される。
セットトップボックス400は、放送局100から放送波に載せて送られてくるトランスポートストリームTSを受信する。セットトップボックス400は、受信されたトラスポートストリームTSに含まれるビデオストリームから画像データを取得する。この画像データは、ビデオストリームが第1のビデオストリームであって2次元画像データを含む場合には2次元画像データであり、ビデオストリームが第2のビデオストリームであって3次元画像データを含む場合には3次元画像データである。
また、セットトップボックス400は、受信されたトラスポートストリームTSから先出し情報(G_data)を取得する。そして、セットトップボックス400は、画像データおよび先出し情報を、HDMIデジタルインタフェースにより、つまり、伝送路としてのHDMIケーブル500を通じて、受信機200Aに送信する。
[セットトップボックスの構成例]
図24は、セットトップボックス400の構成例を示している。このセットトップボックス400は、ビットストリーム処理部401と、HDMI端子402と、アンテナ端子403と、デジタルチューナ404と、映像信号処理回路405と、HDMI送信部406と、音声信号処理回路407を有している。また、このセットトップボックス400は、CPU411と、フラッシュROM412と、DRAM413と、内部バス414と、リモコン受信部415と、リモコン送信機416を有している。
アンテナ端子403は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ404は、アンテナ端子403に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム(ビットストリームデータ)TSを出力する。
ビットストリーム処理部201は、上述した図20に示す受信機200におけるビットストリーム処理部213と同様の構成とされており、トランスポートストリームTSからコンテンツデータとしての画像データ、音声データ、さらには先出し情報(G_data)などを抽出する。トランスポートストリームTSに含まれるビデオストリームが第1のビデオストリームであって2次元画像データを含む場合には、画像データとして2次元画像データが抽出される。一方、トランスポートストリームTSに含まれるビデオストリームが第2のビデオストリームであって3次元画像データを含む場合には、画像データとして3次元画像データが抽出される。
映像信号処理回路405は、ビットストリーム処理部401から出力された画像データ(2次元画像データ、3次元画像データ)に対して、必要に応じて、スケーリング処理、画質調整処理など施し、処理後の画像データをHDMI送信部406に供給する。音声信号処理回路407は、ビットストリーム処理部401から出力された音声データに対して必要に応じて音質調整処理等を施し、処理後の音声データをHDMI送信部406に供給する。
HDMI送信部406は、HDMIに準拠した通信により、画像データおよび音声データを、HDMI端子402から送信する。この際、HDMI送信部406は、上述したようにビットストリーム処理部401で抽出された先出し情報(G_data)を画像データに付加して送信する。HDMIのTMDSチャネルで送信するため、画像および音声のデータがパッキングされて、HDMI送信部406からHDMI端子402に出力される。このHDMI送信部406は、そのバージョンが例えばHDMI1.4とされており、3次元画像データの取り扱いが可能な状態にある。このHDMI送信部406の詳細は後述する。
CPU411は、セットトップボックス400の各部の動作を制御する。フラッシュROM412は、制御ソフトウェアの格納およびデータの保管を行う。DRAM413は、CPU411のワークエリアを構成する。CPU411は、フラッシュROM412から読み出したソフトウェアやデータをDRAM413上に展開してソフトウェアを起動させ、セットトップボックス400の各部を制御する。
リモコン受信部415は、リモコン送信機416から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU411に供給する。CPU411は、このリモコンコードに基づいて、セットトップボックス400の各部を制御する。CPU411、フラッシュROM412およびDRAM413は内部バス414に接続されている。
セットトップボックス400の動作を簡単に説明する。アンテナ端子403に入力されたテレビ放送信号はデジタルチューナ404に供給される。このデジタルチューナ404では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリーム(ビットストリームデータ)TSが出力される。
デジタルチューナ404から出力されるトランスポートストリームTSは、ビットストリーム処理部401に供給される。このビットストリーム処理部401では、トランスポートストリームTSから画像データ(2次元画像データ、3次元画像データ)、音声データ、先出し情報(G_data)などが抽出される。
ビットストリーム処理部401で抽出された画像データは、映像信号処理回路405で必要に応じてスケーリング処理、画質調整処理等が行われた後に、HDMI送信部406に供給される。また、ビットストリーム処理部401で抽出された音声データは、音声信号処理回路407で必要に応じて音質調整処理等が行われた後に、HDMI送信部406に供給される。また、ビットストリーム処理部401で抽出された先出し情報(G_data)は、HDMI送信部406に供給される。HDMI送信部406に供給された画像データおよび音声データ、さらには先出し情報(G_data)が、HDMIのTMDSチャネルにより、HDMI端子402からHDMIケーブル500に送出される。
受信機200Aは、セットトップボックス400からHDMIケーブル500を介して送られてくる画像データおよび音声データ、さらには先出し情報(G_data)を受信する。受信機200Aは、表示パネル217を有している。受信機200Aは、画像データ(2次元画像データ、3次元画像データ)に基づいて、表示パネル217に、2次元画像表示、または、左眼画像および右眼画像を交互に表示する3次元画像表示を行う。すなわち、セットトップボックス400から2次元画像データが送られてくる場合には2次元画像表示を行うと共に、セットトップボックス400から3次元画像データが送られてくる場合には3次元画像表示を行う。
また、受信機200Aは、シャッタ制御部221を有している。受信機200Aは、シャッタ制御部221により、先出し情報(G_data)に基づいて、シャッタメガネ300に、2次元画像表示と3次元画像表示との間の切り換えタイミングより前に、シャッタモード切り換えコマンドを送信する。このシャッタモード切り換えコマンドには、シャッタモードを切り換えるまでの時間を示す情報、および2次元画像表示に対応したシャッタモードへの切り換えか3次元画像表示に対応したシャッタモードへの切り換えかを示す情報が付加されている。
シャッタメガネ300は、このシャッタモード切り換えコマンドに基づいて、シャッタモードを、2次元画像表示状態および3次元画像表示状態の実際の切り換えタイミングで適切に切り換える。シャッタメガネ300の構成は、上述したと同様である(図21参照)。
[受信機の構成例]
図25は、受信機200Aの構成例を示している。この図25において、図20と対応する部分には、同一符号を付し、適宜、その詳細説明を省略する。この受信機200Aは、CPU201と、フラッシュROM202と、DRAM203と、内部バス204と、リモコン受信部205と、リモコン送信機206を有している。また、この受信機200は、アンテナ端子211と、デジタルチューナ212と、ビットストリーム処理部213と、3D信号処理部214と、映像信号制御部215を有している。また、この受信機200は、パネル駆動部216と、表示パネル217と、音声信号処理部218と、音声増幅部219と、スピーカ220と、シャッタ制御部220を有している。また、この受信機200は、HDMI端子231と、HDMI受信部232を有している。
HDMI受信部232は、HDMIに準拠した通信により、HDMIケーブル500を介してHDMI端子231に送られてくる画像データおよび音声データ、さらには先出し情報(G_data)を受信する。このHDMI受信部232は、そのバージョンが例えばHDMI1.4とされており、3次元画像データの取り扱いが可能な状態にある。このHDMI受信部232の詳細は後述する。
3D信号処理部214は、HDMI受信部232で受信された、あるいはビットストリーム処理部213で抽出された画像データに対して、選択的に、処理を行う。この3D信号処理部214における処理内容は、図20に示す受信機200の3D信号処理部214と同様である。音声信号処理部218は、HDMI受信部232で受信された、あるいはビットストリーム処理部213で抽出された音声データに対して、選択的に、処理を行う。この音声信号処理部218における処理内容は、図20に示す受信機200の音声信号処理部218と同様である。
シャッタ制御部221は、HDMI受信部232で受信された、あるいはビットストリーム処理部213で抽出された先出し情報(G_data)、映像信号制御部116で信号処理に基づいて生成される所定の信号などに基づいて、シャッタメガネ300のシャッタ動作を制御するシャッタ制御信号を生成する。この場合、表示パネル217にHDMI受信部232で受信された画像データによる画像表示が行われる場合には、HDMI受信部232で受信された先出し情報(G_data)が用いられる。一方、表示パネル217にビットストリーム処理部213で抽出された画像データによる画像表示が行われる場合には、ビットストリーム処理部213で抽出された先出し情報(G_data)が用いられる。このシャッタ制御部221における処理内容は、図20に示す受信機200のシャッタ制御部221と同様である。
詳細説明は省略するが、図25に示す受信機200Aのその他は、図20に示す受信機200と同様である。
図25に示す受信機200Aの動作を簡単に説明する。ビットストリーム処理部213で抽出された画像データ、音声データおよび先出し情報(G_data)を用いる動作は、図20に示す受信機200と同様であるので、省略する。ここでは、HDMI受信部232で受信された画像データ、音声データおよび先出し情報(G_data)を用いる動作についてのみ説明する。
HDMI受信部232では、HDMI端子231にHDMIケーブル500を介して接続されているセットトップボックス400から送信されてくる、画像データおよび音声データ、さらには先出し情報(G_data)が受信される。このHDMI受信部232で受信された画像データ(2次元画像データ、3次元画像データ)は、3D信号処理部214に供給される。また、このHDMI受信部232で受信された音声データは音声信号処理部218に供給される。さらに、このHDMI受信部232で受信された先出し情報(G_data)はシャッタ制御部221に供給される。
3D信号処理部214では、HDMI受信部232で受信された画像データが3次元画像データであるとき、伝送方式に対応した処理が行われて、各フレームの左眼画像データおよび右眼画像データが生成されて出力される。また、3D信号処理部214では、HDMI受信部232で受信された画像データが2次元画像データであるとき、この2次元画像データがそのまま出力される。この3D信号処理部214から出力される画像データは、映像信号制御部215に供給される。
映像信号制御部215では、3D信号処理部214から各フレームの左眼画像データおよび右眼画像データが出力されるとき、立体画像表示のための画像データが生成される。すなわち、映像信号制御部215では、表示パネル217に、左眼画像→右眼画像→左眼画像→右眼画像→・・・の順で時分割表示するための画像データが生成される。また、映像信号制御部215では、3D信号処理部214から2次元画像データが出力されるとき、2次元画像表示のための画像データが生成される。
映像信号制御部215で生成される画像データはパネル駆動部216に供給される。パネル駆動部216では、映像信号制御部215からの画像データに基づいて、表示パネル217が駆動され、この表示パネル217に、3次元画像表示または2次元画像表示が行われる。すなわち、3次元画像表示では、表示パネル217に、左眼画像および右眼画像が時分割的に表示される。また、2次元画像表示では、表示パネル217に、2次元画像が継続して表示される。
また、HDMI受信部232で受信された音声データは、音声信号処理部218に供給される。この音声信号処理部218では、音声データに対してD/A変換等の必要な処理が行われる。この音声データは、音声信号増幅回路219で増幅された後に、スピーカ220に供給される。そのため、スピーカ220から表示パネル217の表示画像に対応した音声が出力される。
また、映像信号制御部215からシャッタ制御部221に、信号処理に基づいて生成される所定の信号が供給される。また、HDMI受信部232で受信された先出し情報(G_data)は、シャッタ制御部221に供給される。シャッタ制御部221では、先出し情報などに基づいて、シャッタメガネ300のシャッタ動作を制御する、シャッタモード切り換えコマンドなどのシャッタ制御信号が生成される。
このシャッタ制御信号は、無線通信部221aを通じて、シャッタメガネ300に送信される。この場合、シャッタ制御信号は、シャッタメガネ300における消費電力の抑制などの観点から間欠的に送信される。また、この場合、シャッタモード切り換えコマンドは、2次元画像表示と3次元画像表示との間の切り換えタイミングより前にシャッタメガネ300に送信される。これにより、シャッタメガネ300では、シャッタメガネ300においては、ノーマルモードとオープンモードとの間の切り換えが、3次元画像表示と2次元画像表示との間の切り換えタイミングで、適切に行われる。
図26は、セットトップボックス400において受信されるトランスポートストリームTSに含まれるビデオストリームと、このビットストリームデータからビットストリーム処理部401で抽出される先出し情報(G_data)との対応関係を示している。また、この図26は、セットトップボックス400から送られてくる先出し情報(G_data)に基づく、受信機200Aのシャッタ制御部221からシャッタメガネ300へのシャッタモード切り換えコマンドの送信タイミングを概略的に示している。この図26は、HDMI送信部406、HDMI受信部232が介在されていることを除き、図22と同様であるので、詳細説明については省略する。
[HDMI送信部、HDMI受信部の構成例]
図27は、図23の画像送受信システム10Aにおける、セットトップボックス400のHDMI送信部(HDMIソース)406と、受信機200AのHDMI受信部(HDMIシンク)232の構成例を示している。
HDMI送信部406は、有効画像区間(以下、適宜、アクティブビデオ区間ともいう)において、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部232に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、HDMI送信部406は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部232に一方向に送信する。
HDMI送信部406とHDMI受信部232とからなるHDMIシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、HDMI送信部406からHDMI受信部232に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、3つのTMDSチャネル#0乃至#2がある。また、ピクセルクロックを伝送する伝送チャネルとしての、TMDSクロックチャネルがある。
HDMI送信部406は、HDMIトランスミッタ81を有する。トランスミッタ81は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル500を介して接続されているHDMI受信部232に、一方向にシリアル伝送する。
また、トランスミッタ81は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2でHDMI受信部232に、一方向にシリアル伝送する。
さらに、トランスミッタ81は、3つのTMDSチャネル#0,#1,#2で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル500を介して接続されているHDMI受信部232に送信する。ここで、1つのTMDSチャネル#i(i=0,1,2)では、ピクセルクロックの1クロックの間に、10ビットの画素データが送信される。
HDMI受信部232は、アクティブビデオ区間において、複数のチャネルで、HDMI送信部406から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このHDMI受信部232は、水平帰線区間または垂直帰線区間において、複数のチャネルで、HDMI送信部406から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、HDMI受信部232は、HDMIレシーバ82を有する。このHDMIレシーバ82は、TMDSチャネル#0,#1,#2で、HDMI送信部406から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、HDMI送信部406からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
HDMIシステムの伝送チャネルには、上述のTMDSチャネル#0乃至#2およびTMDSクロックチャネルの他に、DDC(Display Data Channel)83やCECライン84と呼ばれる伝送チャネルがある。DDC83は、HDMIケーブル500に含まれる図示しない2本の信号線からなる。DDC83は、HDMI送信部406が、HDMI受信部232から、E-EDID(Enhanced Extended Display Identification Data)を読み出すために使用される。
すなわち、HDMI受信部232は、HDMIレシーバ81の他に、自身の性能(Configuration/capability)に関する性能情報であるE-EDIDを記憶している、EDID ROM(Read Only Memory)85を有している。HDMI送信部406は、例えば、CPU411(図24参照)からの要求に応じて、HDMIケーブル500を介して接続されているHDMI受信部232から、E-EDIDを、DDC83を介して読み出す。
HDMI送信部406は、読み出したE-EDIDをCPU411に送る。CPU411は、このE-EDIDを、フラッシュROM412あるいはDRAM413に格納する。CPU411は、E-EDIDに基づき、HDMI受信部232の性能の設定を認識できる。例えば、CPU411は、HDMI受信部232を有する受信機200Aが3次元画像データの取り扱いが可能か否か、可能である場合はさらにいかなるTMDS伝送データ構造に対応可能であるか等を認識する。
CECライン84は、HDMIケーブル500に含まれる図示しない1本の信号線からなり、HDMI送信部406とHDMI受信部232との間で、制御用のデータの双方向通信を行うために用いられる。このCECライン84は、制御データラインを構成している。
また、HDMIケーブル500には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン(HPDライン)86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。なお、このHPDライン86は双方向通信路を構成するHEAC-ラインとしても使用される。また、HDMIケーブル500には、ソース機器からシンク機器に電源を供給するために用いられるライン(電源ライン)87が含まれている。さらに、HDMIケーブル500には、ユーティリティライン88が含まれている。このユーティリティライン88は双方向通信路を構成するHEAC+ラインとしても使用される。
図28は、TMDS伝送データの構造例を示している。この図28は、TMDSチャネル#0,#1,#2において、横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
HDMIの3つのTMDSチャネル#0,#1,#2で伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、3種類の区間が存在する。この3種類の区間は、ビデオデータ区間(Video Data period)、データアイランド区間(Data Islandperiod)、およびコントロール区間(Control period)である。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(active edge)から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間(horizontal blanking)、垂直ブランキング期間(verticalblanking)、並びに、アクティブビデオ区間(Active Video)に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の1画面分の画像データを構成する1920ピクセル(画素)×1080ライン分の有効画素(Active pixel)のデータが伝送される。
データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ(Auxiliary data)が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
[HDMIでの先出し情報(G_data)の送信方法]
先出し情報(G_data)をHDMIインタフェースで送信する方法について説明する。ここでは、HDMI Vendor Specific InfoFrame を利用する方法について説明するが、これに限定されるものではない。この方法では、HDMI Vendor Specific InfoFrame paketにおいて、例えば、3D_Meta_present=1とされて、Vendor Specific InfoFrame extensionが指定される。その場合、3D_Metadata_typeは、未使用の、例えば、“100”と定義され、先出し情報(G_data)が指定される。
図29は、HDMI Vendor Specific InfoFrame のパケット構造を示している。このHDMI Vendor Specific InfoFrameについては、CEA-861-Dに定義されているので、詳細説明は省略する。
第4バイト(PB4)の第7ビットから第5ビットに、画像データの種類を示す3ビットの情報「HDMI_Video_Format」が配置されている。また、第5バイト(PB5)の第3ビットに、「3D_Meta_present」が配置され、Vendor SpecificInfoFrame extensionを指定する場合、この1ビットは「1」とされる。また、第7バイト(PB7)の第7ビットから第5ビットに、「3D_Metadata_type」が配置されている。先出し情報(G_data)を指定する場合、この3ビットの情報は、未使用の、例えば、“100”とされる。
また、第7バイト(PB7)の第4バイトから第0バイトに、「3D_Metadata_length」が配置されている。この5ビットの情報により、以降に配置される3D_Metadata領域の長さが示される。例えば、「3D_Metadata_length=27(0x2)」とされ、直後のバイト位置から2バイトのサイズをもって、先出し情報(G_data)(図9参照)が配置される。
すなわち、第8バイト(PB8)の第7ビットに、「switching_bit」が配置され、その第6ビットに「next_sequence_2D」が配置され、その第5ビットから第4ビットに「timing_type」が配置される。また、第8バイト(PB8)の第3ビットから第0ビットおよび第8+1バイト(PB8+1)の第7ビットから第0ビットに「timing_information」が配置される。
<3.変形例>
なお、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、この発明は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。