JP4879960B2 - 画像データ生成装置および画像データ再生装置 - Google Patents

Description

この発明は、３次元表示するための画像データをファイルに生成する際に画像データに属性情報を付随させる画像データ生成装置、画像データ再生装置に関するものである。

従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左目用画像と右目用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。

図４１は、この２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。

この時分割方式では、図４１のように、左目用画像と右目用画像が垂直１ラインおきに交互にならんだ形に配置し、左目用画像を表示するフィールドと右目用画像を表示するフィールドを交互に切り替えて表示するものである。左目用画像及び右目用画像は通常の２次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左目用画像が表示されている時は左目側が開いて右目側が閉じ、右目用画像が表示されている時は左目側が閉じて右目側が開く。このようにすることにより左目用画像は左目だけで、右目用画像は右目だけで観察されることになり、立体視を行うことができる。

図４２（ａ）および４２（ｂ）は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。

図４２（ａ）は、視差が生じる原理を示す図である。一方、図４２（ｂ）は、パララクスバリア方式で表示される画面を示す図である。

図４２（ｂ）に示すような左目用画像と右目用画像のペアがストライプ状に並んだ画像を、図４２（ａ）に示すように、画像表示パネル９１に表示し、この画像に対応した間隔でスリットを持ついわゆるパララクスバリア９２をその前面に置くことにより、左目用画像は左目９３だけで、右目用画像は右目９４だけで観察することにより立体視を行う。

ところで、特開平１１−４１６２７号公報において、パララクスバリア方式と同様の原理に基づくレンチキュラ方式の３次元表示に用いる記録データ形式の一例が開示されている。

図４３（ａ）〜４３（ｃ）は、このような「レンチキュラ方式」の記録データ形式の一例を示す概念図である。

すなわち、図４３（ａ）に示す左目用画像１０１と図４３（ｂ）に示す右目用画像１０２から、それぞれを間引きして図４３（ｃ）に示す１枚の混合画像１０３を作って記録し、再生時にはこの混合画像１０３を並べ替えることにより図４２（ｂ）に示したような合成画像が作成される。

上記の２眼式の例に限らず、３次元画像を表示するには様々な方法があり、一般的に異なる表示方式間での記録データの互換性はない。

例えば、時分割方式用に記録されたデータをそのままパララクスバリア方式の３次元ディスプレイに表示することはできない。従って、従来の３次元表示システムにおいては、最初から表示方法を固定したデータ記録が行われており、記録データに汎用性を持たせる
ことは考えられていない。例えば、パララクスバリア方式の３次元ディスプレイを使うと決めたら、そのディスプレイに表示するためのデータを記録媒体に記録するのだが、他の方式のディスプレイに表示する可能性などは考えられていないため、記録データがパララクスバリア方式のためのデータだという情報はファイル上に記録されない。

表示方式以外にも視点数や間引き方法など、３次元表示に必要な情報はいろいろあるが、表示形式を１つに固定してしまっているためにそれらの情報もファイルには記録されない。いつも同じ形式を使うなら、あえてその情報を記録する必要がないからだが、このために記録データの汎用性が著しく損なわれている。例えば、パララクスバリア方式（あるいはレンチキュラ方式）用のデータを記録する場合に限っても、左目用画像と右目用画像を別々のシーケンスとして記録することもできるし、図４３（ｃ）のような左目用画像と右目用画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図４２（ｂ）のような左目用画像と右目用画像のペアがストライプ状に並んだ合成画像を記録することもでき、当然記録形式が違えばその後表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。

本発明の目的は、３次元表示のための画像データに汎用性を持たせた画像データ生成装置、そのデータを再生する画像データ再生装置を提供することである。

上記目的を達成するため、本発明のある局面に従う画像データ生成装置は、立体視することが可能な複数視点に係る３次元画像データを表示するためのパラメータを入力する入力手段と、入力されたパラメータに基づいて、外部から受け取った画像データに３次元画像データが含まれる場合、３次元画像データを表示部に対応した所望の形式での立体視を可能とするために変換に必要な３次元画像表示制御情報を生成する３次元画像表示制御情報生成手段と、外部から受け取った３次元画像データと３次元画像表示制御情報との両方、あるいは外部から受け取った２次元画像データを少なくとも含むことが可能なマルチメディア情報ファイルを作成するファイル作成手段とを備える。３次元画像表示制御情報は、３次元画像データの画像周辺に表示する枠画像データを示す第１の情報を含む。

好ましくは、３次元画像表示制御情報は、３次元画像データの画像周辺に、枠画像データを用いて、枠を表示するか否かを示す第２の情報をさらに含む。

好ましくは、枠画像データを立体画像データとすることを特徴とする。
本発明の別の局面に従う画像データ再生装置は、上記の画像データ生成装置が作成したマルチメディア情報ファイルを再生する画像データ再生装置であって、マルチメディア情報ファイルを入力する入力手段と、マルチメディア情報ファイルの構造を解析して３次元画像表示制御情報と３次元画像データもしくは２次元画像データを抽出するファイル構造解析手段と、３次元画像表示制御情報を解析する３次元画像表示制御情報解析手段と、３次元画像データを再生するデータ再生手段と、再生された３次元画像データを変換するデータ変換手段とを備える。データ変換手段は、３次元画像表示制御情報解析手段の解析結果に基づいて、再生された３次元画像データを表示用に変換する。３次元画像表示制御情報解析手段は、入力された３次元画像表示制御情報のうち第１の情報に従って、第１の情報に枠画像データが含まれる場合は、第１の情報に含まれる枠画像データを選択し、第１の情報に枠画像データが含まれない場合は、予め準備されている少なくとも一つ以上の枠画像の中から１つを選択してデータ変換手段に出力する。

好ましくは、３次元画像表示制御情報は、３次元画像データの画像周辺に、枠画像データを用いて、枠を表示するか否かを示す第２の情報をさらに含む。３次元画像表示制御情報解析手段は、第２の情報に従って枠表示の有無に関する情報を解析し、枠表示有りとなっている場合には、さらに入力された３次元画像表示制御情報のうち第１の情報に従って、第１の情報に前記枠画像データが含まれる場合は、第１の情報に含まれる枠画像データを選択し、第１の情報に枠画像データが含まれない場合は、予め準備されている少なくとも一つ以上の枠画像の中から１つを選択してデータ変換手段に出力する。

好ましくは、枠画像データを立体画像データとすることを特徴とする。

以下、本発明の構成、作用および効果を図に従って説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰返さない。

図１（ａ）〜１（ｃ）は、本発明の実施の形態において生成されるマルチメディア情報ファイルの構造を示す図である。

マルチメディア情報ファイルは３次元画像データと２次元画像データのどちらを含んでいてもよいが、以下では３次元画像データを含む場合の例について説明する。

まず、図１（ａ）を参照して、マルチメディア情報ファイルは、ヘッダ制御情報１と、３次元表示制御情報２と、３次元画像データ３との少なくとも３つの構成要素を含んでいる。

３次元画像データ３は、静止画データでも動画データであってもよい。また、マルチメディア情報ファイルには音声データを一緒に記録してもよいが、簡単のためここでは省略する。また、これ以外の付加情報を含んでもよい。

なお、マルチメディア情報ファイルが２次元画像データを含んでいる場合には、３次元表示制御情報は付加されない。

それぞれの構成要素はオブジェクトと呼ばれる。各オブジェクトは、図１（ｂ）に示すよう
な形をしている。すなわち、まずオブジェクトを識別するためのオブジェクトＩＤ４と、オブジェクトサイズ５とが書かれ、その後オブジェクトサイズ５で規定される長さのオブジェクトデータ６が続く。オブジェクトＩＤ４とオブジェクトサイズ５を合わせてオブジェクトヘッダと呼ぶ。このオブジェクトは階層構造をとることが可能である。

なお、図１（ａ）において、ヘッダ制御情報１、３次元表示制御情報２及び３次元画像データ３は、本来、それぞれヘッダ制御情報オブジェクト１、３次元表示制御情報オブジェクト２及び３次元画像データオブジェクト３と呼ぶべきものだが、呼称が長くなるのを避けるため、ここでは「オブジェクト」という表記を省略する。

図１（ｃ）は、３次元画像データ３の構造の一例を示す図である。３次元画像データ３では、オブジェクトＩＤやオブジェクトサイズを含むオブジェクトヘッダ７の後に、複数のパケット８が続く。パケット８はデータを通信する際の最小単位であり、各パケットはパケットヘッダとパケットデータにより構成される。なお、３次元画像データ３は必ずしもパケット化されている必要はなく、一続きのデータ列であってもよい。

なお、以降の説明においてオブジェクトに記述する情報の詳細について説明する場合、以前に説明したものと同一の情報については説明を省略し、異なる部分についてのみ説明するものとする。

図２は、本発明のマルチメディア情報生成装置の一例である画像データ記録装置１００の構成を示すブロック図である。

図２を参照して、画像データ記録装置１００は、３次元表示制御情報生成部１１と、ファイル生成部１２とを備える。

３次元表示制御情報生成部１１は、必要なパラメータを外部から受け取り、３次元表示制御情報を１つのオブジェクトとして生成する。ファイル生成部１２は３次元表示制御情報と３次元画像データとを受け取り、さらにヘッダ制御情報を付け加えることによって、図１（ａ）〜１（ｃ）に示したようなマルチメディア情報ファイルを生成し出力する。ここでの３次元画像データは非圧縮データであってもよいし、圧縮符号化されたデータであってもよい。

なお、生成されたマルチメディア情報ファイルは記録媒体１３に記録してもよいし、直接通信路に送出してもよい。

次に本実施の形態における画像データ再生装置について説明する。
図３は、図１（ａ）に示したような３次元画像データを含むマルチメディア情報ファイルが入力される画像データ再生装置２００の構成を説明するためのブロック図である。

図３を参照して、画像データ再生装置２００は、ファイル構造解析部２１と、ファイルヘッダ解析部２２と、データ再生部２３と、表示部２４と、３次元表示制御情報解析部２５と、データ変換部２６とを備える。マルチメディア情報ファイルは、記録媒体１３から、あるいは通信路から供給される。

入力されたマルチメディア情報ファイルは、ファイル構造解析部２１でヘッダ制御情報、３次元画像データ及び３次元表示制御情報のそれぞれが認識され、ヘッダ制御情報はファイルヘッダ解析部２２へ、３次元画像データはデータ再生部２３へ、３次元表示制御情報は３次元表示制御情報解析部２５へそれぞれ送られる。

ファイルヘッダ解析部２２ではヘッダ制御情報の解析を行い、３次元画像データの再生に必要な情報をデータ再生部２３に渡す。データ再生部２３では、データの逆多重化やパケットからのデータ取り出し、さらにデータが圧縮符号化されている場合にはその復号を行う。３次元表示制御情報解析部２５では３次元表示制御情報を解析し、得られた情報をデータ変換部２６に渡す。データ変換部２６は所望の３次元表示形式に合うように復号された３次元画像データを変換し、表示部２４へ出力する。表示部２４は再生装置から独立した単体の３次元ディスプレイであってもよい。

図４（ａ）〜４（ｃ）は、３次元表示制御情報２に記述する具体的な情報を説明するための概念図である。

図４（ａ）にその一部を示すように、３次元表示制御情報２に記述する具体的な情報には、視点数、各視点位置に対応するストリーム、間引き方向、カメラ配置、視差量シフト限度、枠表示の有無、枠画像データ、視差像切替ピッチ、サンプリングパターン、画像配置、反転の有無などがある。

以下、図４（ａ）に示した３次元表示制御情報について、さらに詳細に説明する。
図４（ａ）における「視点数」とは、文字通り視点すなわち視差像の数であり、上述の２眼式のデータであれば２となる。

カメラを用いた撮影ではカメラが眼の役割をするので、撮影時に使用したカメラの数ということもできる。人間の眼は２つしかないので、視点数が３以上の場合、データとしては冗長であるが、観察者の移動に合わせて観察像が変化するのでより自然な立体視が可能となる。

図４（ａ）において視点数を記述した行の次の２行（視点位置Ｌ、視点位置Ｒ）は、それぞれ左の視点位置と右の視点位置に対応する「ストリーム番号」を示している。

ここで、「ストリーム番号」についてさらに詳しく説明する。
図４（ｂ）に示すように、音声と左目用画像と右目用画像のそれぞれが別のストリームとなっており、それをパケット多重化して記録する場合を考えると、多重化されたデータにおいて各パケットが音声データなのか左目用画像データなのか右目用画像データなのかを識別するために、各ストリームに固有のストリーム番号が付与される。

図４（ｂ）の例では、音声ストリームにはストリーム番号１、左目用画像データにはストリーム番号２、右目用画像データにはストリーム番号３を対応させ、各パケットヘッダにこのストリーム番号を書くことによってデータ種別を明示する。

このストリーム番号を用いることにより、図４（ａ）においては、左目用画像はストリーム番号２、右目用画像はストリーム番号３のデータであることを示している。なお、従来の２次元画像データを取り扱うマルチメディア情報ファイルにおいては、多重化されたストリームに対しては音声と画像の区別しか必要ないため、視点位置との対応を記述したこの情報は３次元画像データを取り扱う場合に特有のものである。

以下、さらに図５（ａ）〜５（ｃ）に示す概念図を用いて、上記「視点数」、「視点位置」について、さらに説明しておく。

図５（ａ）は、２眼式の例を示しており、図５（ｂ）と図５（ｃ）は６眼式の例を示している。図５（ａ）の２眼式の場合は、左と右という指定の仕方で視点位置を特定することができる。

これに対して、６眼式の場合、図５（ｂ）のように、たとえば、左側において、中央から数えて何番目であるかに応じて、「Ｌ１」、「Ｌ２」、「Ｌ３」と表現する。右側も同様である。

あるいは、６眼式の場合、図５（ｃ）のように左からの通し番号で何番目と表現することも可能である。さらには、図５（ｂ）および図５（ｃ）以外の種々の方法が考えられる。

視点位置をどのように表現するかについては、あらかじめ送信側と受信側で規格あるいは決まり事として共有されている必要がある。何の取り決めもなしでは、例えばｃｈ３と書いてあっても左から３番目なのか右から３番目なのかがわからなくなってしまうからである。

図６は、６眼式の場合において、視点位置と対応するストリームの記述の例を示す概念図であり、図４（ａ）と対比される図である。

図６では、音声ストリームはストリーム番号１であって、画像ストリームについては、たとえば、視点位置１〜６にストリーム番号２〜７を対応させている。そして、各パケットヘッダにこのストリーム番号を書くことによってデータ種別を明示する。

一方、図７（ａ）および７（ｂ）は、左目用画像と右目用画像が同じストリームとなっている場合において、視点位置と対応するストリームの記述の例を示す概念図である。

図７（ａ）に示すように、視点位置Ｌと視点位置Ｒには同じストリーム番号（この場合はストリーム番号２）を記述する。この時の多重化データは図７（ｂ）に示すようになり、複数の視差像が１枚の画像に合成されている３次元画像データを記録伝送する場合には、この形態を用いるとよい。

ここで、再び、図４（ａ）に戻って、図４（ａ）における「間引き方向」とは、データを間引いた方向を示すものである。

例えば、上述した「パララクスバリア方式（あるいはレンチキュラ方式）」において、図４２（ｂ）のように左目用画像と右目用画像のペアが縦ストライプ状に並んでいるような画像を作成する場合、左目用画像と右目用画像のそれぞれは通常の２次元画像と比較して水平方向の解像度が半分になっている。この場合は、「間引き方向」には、水平方向に間引きされているという情報を記述する。これは左目用画像と右目用画像がそれぞれ独立した２つのストリームであるか、上述した図４３（ｃ）のような混合画像の形になった１つのストリームであるかには関係しない。

一方、上述した図４１は、垂直方向に間引きが行われている画像を示している。したがって、図４１の様な場合では、「間引き方向」には、垂直方向に間引きされているという情報を記述する。

また、図４３（ａ）、４３（ｂ）のように間引きしていない画像をそのまま伝送し、表示する直前に間引く場合もあり、その場合はファイルに記録された状態では間引きされていないので、間引き方向の情報としては「間引きなし」と記述する。

なお、この間引き方向のようにパラメータを数値で表現することが困難な場合、図４（ｃ）に示すようなテーブルを設定し、そのインデックスを記述するという方法を取ることが望ましい。

例えば、間引き方向が水平方向の場合は、図４（ａ）の間引き方向の欄に「１」と記述すればよい。この際、インデックスとその意味するものを対応づけた図４（ｃ）のようなテーブルは、送信側と受信側で規格あるいは決まり事として共有されている必要がある。このような表現方法は他のパラメータにも適用することができる。

さらに、図４（ａ）における「カメラ配置」とは複数のカメラをどのように並べて撮影したかを示すものであり、平行型（parallel）、集中型（convergent）、発散型（divergent）の３つに大別される。

上述した図５（ａ）〜５（ｃ）は平行型の例であり、各カメラの光軸が平行になるように配置されたものである。

図８（ａ）〜８（ｃ）は、「カメラ配置」の他の構成例を示す概念図である。
図８（ａ）と図８（ｂ）は集中型の例であり、全てのカメラの光軸がある１点に集まるように配置されたものである。

一方、図８（ｃ）は発散型の例であり、全てのカメラの光軸がある１点から出ていくように配置されたものである。

ここで、図８（ａ）は２眼式の、図８（ｂ）、８（ｃ）は６眼式の例を示している。この情報は視点補間や３次元モデル構築の際に活用される。

次に、再び図４（ａ）に戻って、図４（ａ）における「視差量シフト限度」について説明する。

一般的に、図４１や図４２（ａ）、４２（ｂ）を用いて説明したような両眼視差を利用して立体視するような表示においては、視差量を変化させることにより奥行き感を調整することができる。

視差量を変化させるには、具体的には、例えば図４２（ｂ）に示す合成画像において左目用画像はそのままにしておき、右目用画像だけを左右どちらかにずらすことにより実現できる。このように画像を左右にずらすことにより視差量を変化させると、表示画面の幅は限られていることから、ずらした分だけ画面の外にはみ出ることになり、その部分は表示できなくなる。従って、極端なずらし量を許すと画像の作成者が是非見てもらいたいと思っているものが表示されなくなる事態が発生する。このため、それを防ぐためにずらし量に制限を設ける。これが「視差量シフト限度」であり、例えば±１６ピクセルというように範囲指定する。

図４（ａ）における「枠表示の有無」は、３次元画像データの周囲に枠画像を表示するかどうかを指定する情報である。この枠画像は画面に変化を付けたり、面白味を付加するため、あるいは立体視をしやすくするために表示するものである。

図９（ａ）および９（ｂ）は、枠画像の構成を説明するための概念図である。
図９（ａ）は、枠画像を表示しない状態を示し、画面全体が通常の３次元画像表示領域３１であり、ここではその幅をＷとする。

これに対し、図９（ｂ）は、枠画像を表示した状態である。画面全体の大きさは図９（ａ）と変わらないが、画面の外周には幅Δｄの枠画像３３が表示され、その内側が３次元画像表示領域３２となる。したがって、枠画像を表示しない場合と比較して、枠画像を表示した場合には枠の分だけ３次元画像表示領域が狭くなり、３次元画像表示領域３２の幅をＷ１とすると、Ｗ＝Ｗ１＋２・Δｄの関係がある。なお、枠画像３３の四辺の幅は各辺によって異なっていてもよい。また、枠画像３３はそれ自体が立体視できるような３次元的な枠でもよいし、平面的に見える２次元的な枠でもよい。

このとき表示する枠画像データは、再生装置にあらかじめ準備しておいてもよいし、マルチメディア情報ファイルの中に含めて３次元画像データと一緒に送るようにしてもよい。

図１０（ａ）〜１０（ｃ）は、このような枠画像を表示させるために「枠画像データ」を供給する構成を説明するためのブロック図である。

まず、図１０（ａ）は、画像データ再生装置２００に、「枠画像データ」を予め準備しておく場合の一つの構成の例を示す。図１０（ａ）は、図３に示した画像データ再生装置２００における３次元表示制御情報解析部２５の構成の詳細を示したものである。

図１０（ａ）を参照して、３次元表示制御情報解析部２５は、枠画像付加制御部２７と枠画像格納メモリ２８とを備える。枠画像付加制御部２７は、入力された３次元表示制御情報のうち枠表示の有無に関する情報を解析し、枠表示有りとなっている場合には枠画像格納メモリ２８に予め準備されている枠画像をデータ変換部２６へ出力する。データ変換部２６では、３次元画像データにこの枠画像を重畳して表示部２４へと出力する。

図１０（ｂ）は、枠画像データを再生装置に予め準備しておく場合の別の構成の例を示す。すなわち、図１０（ｂ）は、図３に示した画像データ再生装置２００における３次元表示制御情報解析部２５の他の構成の詳細を示したものである。

図１０（ｂ）を参照して、３次元表示制御情報解析部２５は、枠画像付加制御部２７と、枠画像選択部２９と、複数の枠画像格納メモリ２８−１〜２８−３とを備える。

図１０（ｂ）の例では、枠画像付加制御部２７において枠表示有りと判断された場合には、さらに複数準備されている枠画像のうちどの枠画像を使うかを枠画像選択部２９が判定し、適切な枠画像格納メモリから枠画像データを呼び出してデータ変換部へ出力する。どの枠画像を使うかは３次元表示制御情報の中に枠画像データを示す情報として記述する。図１０（ｂ）のような場合は、パターン１、パターン２等と記述することで指定することができる。複数の枠画像としてはテクスチャが異なる枠画像、あるいは飛び出し量が異なる立体的な枠画像を用いることができる。このようにすることにより、３次元画像データに応じて適切な枠画像を表示することができる。

また、デフォルトで使用する枠画像を設定しておき、枠表示有りで枠画像データが指定されていない場合あるいはデフォルトの枠画像が指定された場合にはデフォルト設定されている枠画像を用いるようにしてもよい。枠画像データとして指定された枠画像パターンを再生装置が持っていない場合は、デフォルト設定されている枠画像で代用するものとしてもよい。

なお、図１０（ａ）の場合、準備されている枠画像データが１つしかないため明示的に指定する必要はないが、枠画像データを示す情報として「デフォルト」と記述してもよい。

図１０（ａ）、１０（ｂ）のような形態の場合、枠画像のデータは画像データ再生装置２００内に格納されており、３次元表示制御情報中に記載される情報は、予め用意されている１または複数の枠画像の中からどの枠画像を使用するかを示す選択情報である。

一方、図１０（ｃ）は、枠画像データがマルチメディア情報ファイルの中に含まれて３次元画像データと一緒に送られる場合において、画像データ再生装置２００における３次元表示制御情報解析部２５の構成の例を示す。

図１０（ｃ）を参照して、３次元表示制御情報解析部２５は、枠画像付加制御部２７を備える。枠画像付加制御部２７は枠表示有りと判定した場合には、３次元表示制御情報として含まれている枠画像のデータをデータ変換部２６へ送る。すなわち、この例では枠画像データを示す情報として選択情報を記述するのではなく、枠画像データそのものを記述する。このようにすることにより、マルチメディア情報ファイルの送り手が自由に生成した枠画像を付加することができる。

（３次元表示制御情報の他の構成）
以下では、主に上述した図４２（ａ）および４２（ｂ）に示したパララクスバリア方式あるいはレンチキュラ方式に用いられる３次元画像データをファイル化する際に用いられる３次元表示制御情報の例について説明する。

図４（ａ）における「視差像切替ピッチ」は、図４２（ｂ）のように異なる視差像のストライプを繰り返し配置する際の切替周期を示すものである。

図１１（ａ）〜１１（ｄ）は、パララクスバリア方式で用いる液晶パネルとパララクスバリアのスリットの位置関係を示す概念図である。

図１１（ａ）〜１１（ｄ）には、３次元画像を表示する液晶パネル１０６を示しているが、ここではＲ、Ｇ、Ｂがまとまって１組となった単位（１０５）をピクセル、Ｒ、Ｇ、Ｂの各エレメントをサブピクセルと呼ぶことにする。すなわち、１ピクセル＝３サブピクセルである。

図１１（ａ）は、パララクスバリア方式において視差像切替ピッチが１ピクセルである場合を示している。この場合、２ピクセルに対して１つのスリット１０４が割り当てられる。図１１（ｂ）は、図１１（ａ）を上から見た図である。図１１（ｂ）に示すとおり、液晶パネル１０６に表示する像は右目用画像と左目用画像が１ピクセルごとに交互に配置されている。この場合のパララクスバリア１０７のスリット間隔は２ピクセルとなる。

一方、図１１（ｃ）はパララクスバリア方式において視差像切替ピッチが１サブピクセル（１／３ピクセル）である場合を示している。この場合、２サブピクセルに対して１つのスリット１０４が割り当てられる。図１１（ｄ）は、図１１（ｃ）を上から見た図である。図１１（ｄ）に示すとおり、液晶パネル１０６に表示する像は右目用画像と左目用画像が１サブピクセルごとに交互に配置されている。この場合のパララクスバリア１０８のスリット間隔は２サブピクセルとなる。

図４（ａ）における「サンプリングパターン」は、原画像から水平方向に間引きを行って左目用画像および右目用画像を作る際に、どのような間引き方法を用いたかを示すものである。

このサンプリングパターンには、「色再現性優先方式」と「解像度優先方式」がある。
図１２（ａ）および１２（ｂ）は、サンプリングパターンを説明するための概念図である。

図１２（ａ）は、「色再現性優先方式」を示し、図１２（ｂ）は、「解像度優先方式」を示す。

図１２（ａ）および１２（ｂ）では、画像データをＲ０、Ｇ１などの形式で表現しているが、最初のＲ、Ｇ、Ｂは色成分を、それに続く０、１等の数字はピクセルの水平位置を表している。

図１２（ａ）の色再現性優先方式では、データを半分に間引く際にピクセル単位で間引いている。間引かれて残ったデータは１ピクセルおきにサンプリングされた偶数番号の位置のみのデータとなる。この方式では残ったＲ、Ｇ、Ｂの組は間引き前と変わらないため、色再現性がよい。

一方、図１２（ｂ）の解像度優先方式では、データを半分に間引く際にサブピクセル単位で間引いている。間引き後はピクセル位置０のデータはＲとＢの成分だけがあり、ピクセル位置１のデータはＧの成分だけがある。間引き前のデータと比較するとＲ、Ｇ、Ｂの組が同じピクセルは存在しないが、間引き後のデータには全てのピクセル位置のデータが少なくとも１つの色成分については含まれている。このため、実感できる解像度は高くなる。このため、例えば斜め線のギザギザが目につきにくくなる。

なお、図１２（ｂ）の解像度優先方式は視差像切替ピッチがサブピクセル単位であることを前提としているため、図１１（ａ）に示したような視差像切替ピッチが１ピクセルの場合には、原理的に図１２（ａ）の色再現性優先方式しか選択できない。

３次元表示制御情報としてサンプリングパターンの情報を記録することで、マルチメディア情報ファイルに記録された３次元画像データのサンプリングパターンと、画像データ再生装置の表示デバイスのサンプリングパターンが異なる場合に、誤った表示を回避することが可能である。このようにサンプリングパターンが異なる場合、例えば画像データ再生装置で自動的にサンプリングパターンを変換し、３次元表示を行っても良いし、３次元表示と２次元表示を切り替え可能な場合には、２次元表示に切り替えて表示を行っても良い。あるいは、当該３次元画像データが表示デバイスのサンプリングパターンと異なる旨、又は当該３次元画像データが再生出来ない旨を表示することも可能である。

図４（ａ）における「画像配置」は、図４３（ｃ）に示したように複数の視差像を並べて１枚の画像を構成して伝送記録する際に必要となる情報である。

図１３（ａ）〜１３（ｅ）は、このような１枚の画像を構成するために複数の視差像を並べる画像配置を説明するための概念図である。

水平方向に間引いた左目用画像と右目用画像を横に並べて１枚の画像とする場合、図１３（ａ）に示すように左目用画像を左側に、右目用画像を右側に配置する形態がまず考えられる。これとは別の形態として、図１３（ｂ）に示すように左目用画像を右側に、右目用画像を左側に配置することも可能である。

また、垂直方向に間引いた左目用画像と右目用画像を縦に並べて１枚の画像とする場合、図１３（ｃ）に示すように左目用画像を上に、右目用画像を下に配置することもできるし、図１３（ｄ）に示すように左目用画像を下に、右目用画像を上に配置することもできる。

したがって、複数の視差像が左右に並んでいるのか上下に並んでいるのか、また、左目用画像が左右あるいは上下のどちら側にあるのかを示す情報を記述することによりこれらを区別する。なお、視点数（視差像の数）は２には限定されない。

また、間引き方向と画像を並べる方向とは独立して考えることができる。すなわち、水平方向に間引いた画像であっても図１３（ｅ）に示すように上下に並べることも可能である。逆に、間引き方向と画像を並べる方向を連動させることにすれば、どちらかの情報を省略することが可能になる。

ところで、先に説明した間引き方向の情報は左目用画像、右目用画像それぞれに対して独立に設定してもよい。図１４（ａ）に示した３次元表示制御情報の例では、左目用画像間引き方向として間引きなし、右目用画像間引き方向として水平方向と記述している。このような場合、左目用画像と右目用画像を横に並べた画像は図１４（ｂ）に示すようになり、左目用画像と右目用画像の大きさが異なる。このようにすることにより、２次元画像のみが表示できる表示部を持つ画像データ再生装置と、３次元画像も表示可能な表示部を持つ画像データ再生装置のどちらにおいても良好な画像再生を行うことができる。すなわち、２次元画像のみが表示できる画像データ再生装置では、図１４（ｂ）に示す画像データを受け取った場合、左目用画像のみを表示することにより、間引きされていない高解像度の２次元画像を再生することができる。３次元画像が表示可能な画像データ再生装置では、図１４（ｂ）に示す画像データを受け取った場合、左目用画像を水平方向に間引いて右目用画像と同じ解像度にした後で３次元表示用のデータ変換を行うことにより、図１３（ａ）に示したような画像データを受信した場合と同様の３次元表示を行うことができる。

図４（ａ）における「反転の有無」は、複数の視差像を並べて１枚の画像を構成する際に、各視差像が反転しているかどうかを示すものである。

図１５（ａ）および１５（ｂ）は、このような各視差像を反転する構成を説明するための概念図である。

図１５（ａ）は、左目用画像６１を左側に、右目用画像６２を右側に単に並べた状態である。ここで、右目用画像６２の左右を反転したとすると、図１５（ｂ）に示すようになる。画像を符号化して記録伝送する場合、類似した特徴を持つ領域は固まっていた方が、符号化効率が向上するケースがある。このため、図１５（ａ）の画像を符号化するよりも図１５（ｂ）の画像を符号化した方が符号化効率が高くなることがある。図１５（ｂ）のような配置とした場合、再生装置２００では右目用画像を再反転して元に戻すことが必要である。

２つの視差像を左右に並べた場合に取り得る状態としては、反転なし、左側画像反転、右側画像反転、両画像反転の４つが考えられる。ここで、左側画像とは左右に並べられた２つの画像のうち、左側の画像であるという定義を用いる。したがって、図１３（ａ）の並べ方をした場合、左側画像は左目用画像であるが、図１３（ｂ）の並べ方の場合は左側画像は右目用画像となる。なお、左側画像反転と記述する代わりに左目用画像反転と記述することも可能である。先に説明した画像配置の情報を用いることにより、左目用画像が左右どちらに配置されているかを知ることができるからである。

（撮影条件情報）
マルチメディア情報ファイルには、図１６に示すように、３次元表示制御情報２の他に撮影条件情報４２を付加してもよい。

なお、このような撮影条件に関するデータは、たとえば、図２に示した画像データ記録装置１００の構成において、３次元表示制御情報生成部１１にパラメータの一部として与えられるものとする。このとき、３次元表示制御情報生成部１１は、撮影条件に関するデータがパラメータとして与えられた場合、上述した３次元表示制御情報２に加えて、撮影条件に関するデータを符号化して以下に説明するような撮影条件情報４２を生成し、ファイル生成部１２に与える。ファイル生成部１２は、パラメータとして与えられたデータに含まれる情報に応じて、３次元表示制御情報２の他に、撮影条件情報４２と３次元画像データ３の両方もしくは３次元画像データあるいは２次元画像データの一方を少なくとも含むマルチメディア情報ファイルを作成する。

撮影条件情報４２に記述する具体的な情報の一例を図１７に示す。図１７における視点数とカメラ配置は、図４（ａ）に示した３次元表示制御情報の中にも記述されていたものである。このようにいくつかの情報が３次元表示制御情報と撮影条件情報の間で重複して記述されていてもよいし、どちらか一方にだけ記述されていてもよい。

図１７は視点数が２の場合の例を示している。図５（ａ）に示したようにカメラを２台配置して２つの視点の画像を撮影する場合には、それぞれのカメラ固有の情報（固有パラメータ）を別々に記載する。固有パラメータとしては、レンズの焦点距離、Ｆナンバー、露出時間、シャッタースピード、絞り、ゲイン、ホワイトバランス、フォーカス、ズーム量、ガンマ値などが含まれる。２台のカメラの特性が同じであれば、両方のカメラに共通の情報であるとわかるようにした上で、固有パラメータを１つにまとめることも可能である。例えば、撮影条件情報中に固有パラメータが１セットしか記載されていなければ、その固有パラメータは全ての視点のカメラについて適用されるというルールを設けるとよい。

また、撮影条件情報４２にはカメラ間相互の位置関係を示す外部パラメータも含まれる。具体的には例えば視点位置Ｌのカメラを基準とした場合における視点位置Ｒのカメラの位置を３次元座標形式で表したものや（図１７ではmm単位で記述）、輻輳角などが該当する。カメラの光軸を平行に配置した場合には輻輳角は０度となる。

これらの撮影条件情報は撮影した３次元画像データを後に編集・加工する際に、データの素性を知って適切な処理を行うために用いられる。また、視点補間や３次元モデル構築の際にも有効に利用できる。

一方、２つの視点の画像を得るために、図１８に示したようなカメラアダプタ７１をカメラのレンズの前に装着して撮影することも可能である。図１８においては実線がミラーを（アダプタの内側のみ）、点線が開口部を示す。カメラアダプタ７１の内部はミラーとなっており、異なる視点に入射する光線（図１８では破線で示す）をカメラのレンズ口径内に収める働きをする。すなわち、カメラアダプタ７１を装着することにより、仮想的に２台のカメラを使用しているものとみなすことができる。撮影される画像は左半分が視点位置Ｌの画像、右半分が視点位置Ｒの画像となる。

このようなカメラアダプタを用いて撮影する場合に付加する撮影条件情報４２の例を図１９に示す。カメラアダプタ固有の情報として、アダプタメーカ、アダプタ形式、アダプタ型番等を記述する。アダプタ形式としては例えばミラー型、プリズム型などの種類を記述する。さらに、片方の視点当たりの画角（視野範囲）を記述してもよい。カメラアダプタを用いる場合も、図１７の場合と同様、外部パラメータを記述することができる。図１９では２つの視点位置の相互関係を基線長と輻輳角で表している。

基線長は、図２０における距離Ｂであり、輻輳角はθで表される。ここで図２０における点Ｃは、視点位置Ｌのカメラ光軸と視点位置Ｒのカメラ光軸が交差する点、すなわち輻輳点を表す。図１８のカメラアダプタ７１の場合は左と右の開口部の中心距離、すなわち図１８中に示した距離Ｂが基線長に相当する。

図１９の例ではさらに飛び出し方向と立体強度を記述している。
「飛び出し方向」とは画像中に含まれる被写体が輻輳点よりも前にあるか、後ろにあるかを示す情報で、「飛び出しのみ」、「引っ込みのみ」、「両方」の３種類から選択する。すなわち、全ての被写体が輻輳点よりも手前に存在する場合には「飛び出しのみ」を、全ての被写体が輻輳点よりも奥に存在する場合には「引っ込みのみ」を、被写体が輻輳点の手前と奥の両方に存在する場合には「両方」を選択する。

なお、「飛び出し方向」は必ずしも全ての被写体の配置に基づいて決定する必要はなく、主たる被写体の配置に基づいて決定してもよい。すなわち、主たる被写体の一部が輻輳点よりも手前に飛び出している場合に「飛び出し」、主たる被写体が輻輳点よりも奥に存在する場合に「引っ込み」と記述してもよい。この場合は「飛び出し」と「引っ込み」の２種類の情報から選択する。

「立体強度」とは立体感の大小を示す指標である。３次元画像は視差を有し、観察者は視差によって立体感を感知する。３次元画像の各画素の視差は異なるが、例えば大きな視差を有する画素が多い３次元画像の立体感は大きく、大きな視差を有する画素が少ない３次元画像の立体感は小さい。したがって、立体強度は画素毎の視差の平均値（静止画では画面全体の平均値。動画像の場合は動画像全体の平均値）によって客観的に決めても良いし、主観評価によって決めても良い。あるいは、両者の加重平均によって決定しても良い。客観評価値としては、平均値の代わりに加重平均値、メディアン、最大値などを利用しても良い。動画の場合はフレーム毎の最大値を求め、この最大値の全フレームにわたる平均値、メディアン、最大値などを客観評価値としても良い。「飛び出し方向」や「立体強度」の情報は３次元画像コンテンツの検索時に利用することができる。

図１７及び図１９では視点数が２の場合の例について説明したが、視点数が３以上であっても同様の考え方を用いてカメラ間相互の位置関係を記述することができる。すなわち、図１７のような記述方法においてはどれか１つのカメラを基準とし、それ以外のカメラについては基準カメラに対する相対位置を３次元座標を用いて各カメラごとに記述する。輻輳角は隣接する２つのカメラごとについてそれぞれ記述する。例えば視点数がＮの場合は輻輳角を示す情報を（Ｎ−１）個記述する。図１９のような記述方法における基線長についても、隣接する２つのカメラごとについて記述すればよい。すなわち、この場合も視点数がＮの時、基線長を示す情報を（Ｎ−１）個記述する。

なお、図１９では視点数＝２、カメラ配置＝集中型、基線長＝５０ｍｍ、輻輳角＝３０度と表現することでカメラの配置を記述する例を説明したが、これとは別の方法によってカメラの配置に関する情報を記述することも可能である。この点について以下に説明するが、いわゆる立体視を行う場合はカメラ配置として先述の集中型もしくは平行型を用いるので、ここではこれを前提とする。

２眼式あるいは多眼式（視点数が３以上の場合）の撮影においてカメラを複数配置する場合、カメラの配置形状に着目すると図２１に示すような直線状配置と図２２に示すような円周状配置に大別される。

図２１の例では複数（４台）のカメラが１本の直線上に配置されており、各カメラ間の距離は全てｅで等しくなっている。このような場合の撮影条件情報の例を図２３に示す。カメラ配置形状としては「直線状」や「円周状」などと記述するものとし、図２３の例では直線状、カメラ間距離を７０ｍｍとしている。各カメラの光軸は１点（輻輳点）で交わるように配置され、カメラ群が配置されている直線からこの交差点までの距離Ｄを「輻輳点までの距離」として記述する。図２３の例ではこれを１００ｃｍとしている。なお、輻輳点までの距離Ｄが有限値の場合はカメラ配置が集中型であることに相当し、カメラ配置が平行型である場合は輻輳点までの距離Ｄを無限大と記述することによって表現することが可能である。

図２２の例では複数（４台）のカメラが同一の円周上に配置されており、各カメラ間の距離は全てｅで等しくなっている。各カメラの光軸は円の中心点で交わるものとすると、中心点と輻輳点が一致することになる。円周状配置の場合、円の半径rを輻輳点までの距離として記述する。また、各カメラ間の距離が等しい場合は各カメラ間の中心角θも等しくなるので、カメラ間距離の代わりにカメラ間の角度（輻輳角）を記述してもよい。

複数のカメラを配置する場合、直線状や円周状の配置形状にとらわれず、またカメラ間隔も非等間隔とするように自由に配置することも可能であるが、撮影された画像を実際に利用する立場で考えると直線状あるいは円周状の配置形状を用い、等間隔に配置するのが合理的である。このような場合、カメラ配置形状、輻輳点までの距離、カメラ間距離の３つのパラメータを用いることによってカメラの配置を効率的に記述することができる。

ところで、これまでの例ではカメラを水平方向に並べる例について説明してきたが、図２４に示すように水平、垂直両方向に、すなわち格子状にカメラを配置してもよい。このようにすることにより、水平視差のみならず垂直視差をも記録することができる。このようなカメラ配置は例えばインテグラル・フォトグラフィと呼ばれる３次元技術において用いられる。

図２４は、たとえば、水平方向４列、垂直方向３列、合計１２台のカメラを配置する例を示している。１２台のカメラに対して左上から右下に向かってラスタ順に番号を付けると、図２５に示すように各カメラから合計１２枚の画像が得られる。

図１３（ａ）〜１３（ｅ）では２枚の画像を横に並べたり縦に並べたりする例を示したが、図２４のようにカメラが格子状に配置されている場合には、図２６に示すように画像もやはり格子状に並べることができる。この場合は図４（ａ）に示した画像配置の情報として「格子状配置」と記述すればよい。

図２４のようにカメラを格子状に配置する場合、単に視点数だけを記述したのでは水平方向、垂直方向にそれぞれ何列あるのかがわからないので、このような場合には図２７に示すように、撮影条件情報として水平方向の視点数と垂直方向の視点数を別々に記述するとよい。水平方向視点数に垂直方向視点数を乗じたものが総視点数となる。図２７では撮影条件情報の例を示したが、３次元表示制御情報においても同様である。

また、先にカメラ配置形状については直線状もしくは円周状と説明したが、図２４のようにカメラを垂直方向にも配置する場合、これらはそれぞれ平面状配置と球面状配置に拡張される。この場合もカメラ間距離と輻輳点までの距離は直線状もしくは円周状の場合と同様に定義できる。

以上説明したような「３次元表示制御情報」の各項目は、マルチメディア情報ファイルに対して、全てが必須というわけではなく、必要に応じて省略することが可能である。その場合は、どの項目が記載されているかがわかるように別途定めておけばよい。

（３次元識別情報）
なお、図４（ａ）におけるオブジェクトＩＤは、この位置から情報オブジェクトの単位が始まることを示すとともに、この情報オブジェクトが３次元表示制御情報に関するものであることをも示す。すなわち、このようなオブジェクトＩＤは、マルチメディア情報ファイルが３次元画像制御情報を含む、すなわち３次元画像データを含むことを示す３次元識別情報としても機能する。

一方、図２８に示すように３次元画像制御情報オブジェクトにおけるオブジェクトＩＤとして汎用のＩＤを用いることもできる。この場合は、このＩＤは単にこの位置から情報オブジェクトの単位が始まることだけを示し、その情報オブジェクトに書かれている情報がどのような種類のものかを示す情報はそのオブジェクト内に別途設けられる。

図２８ではこの情報オブジェクトが３次元表示制御情報に関するものであることを示す情報として、３Ｄ−００１という３次元識別情報が書かれている。この３Ｄ−００１はあくまでも一例であり、任意の数字や文字列を３次元識別情報として使用することができる。

上記の例では３次元識別情報は３次元画像データを含むことを示すために用いられているが、異なる３次元表示方式に対して異なる３次元識別情報を与えることにより、それらを区別することができる。例えば、パララクスバリア方式用のデータに対して３Ｄ−００１、液晶シャッター方式用のデータに対して３Ｄ−００２を３次元識別情報として与えてもよい。

さらに、３次元識別情報は図２９に示すように、それだけで１つの情報オブジェクトを構成してもよい。この場合、図３０に示すようにマルチメディア情報ファイルが３次元識別情報４１と３次元表示制御情報２を別オブジェクトとして保持してもよい。

なお、図３０の例では、ヘッダ制御情報１、３次元識別情報４１、３次元表示制御情報２、３次元画像データ３の順で記録されている状態を示しているが、記録順序はこの順序に限定されるものではない。例えば３次元識別情報４１をファイル先頭に記録すれば、当該マルチメディア情報ファイルが３次元画像データを含むか否かを素早く判定することが可能である。また、図３０では３次元識別情報４１、３次元表示制御情報２をヘッダ制御情報１とは別オブジェクトとして設けているが、これらの情報はヘッダ制御情報１内に設けるようにしてもかまわない。

なお、マルチメディア情報ファイルが３次元画像データを含むことを示すために、３次元識別情報の代わりに専用の拡張子を用いることができる。例えば、通常の２次元画像データを含むマルチメディア情報ファイルに対して「ｊｐｇ」という拡張子を用いる時、３次元画像データを含むマルチメディア情報ファイルに対して「３ｄａ」という拡張子を用いるようにすることにより、マルチメディア情報ファイルが３次元画像データを含んでいるかどうかを拡張子によって識別することができる。また、異なる３次元表示方式に対して異なる拡張子を定めることにより、それらを区別することができる。例えば、パララクスバリア方式用のデータを含むマルチメディア情報ファイルに対して「３ｄａ」、液晶シャッター方式用のデータを含むマルチメディア情報ファイルに対して「３ｄｂ」を拡張子として用いる。

拡張子によって３次元識別を行う利点は、ファイルの内部を解析することなく、そのファイルが３次元画像データを含んでいるかどうか、あるいはどのような３次元表示方式のデータを含んでいるかを判定できる点にある。例えば、ハードディスク上に多くのマルチメディア情報ファイルが存在する時、自身の端末で再生可能なファイルがどれであるかを素早く見付けることができる。あるいはサーバ上に複数のマルチメディア情報ファイルが存在する時、２次元画像しか再生できない端末が３次元画像をダウンロードしないようにすることが可能になる。

一方、前述の３次元識別情報によって３次元識別を行う場合には、ファイルの中身を書き換えない限りは３次元識別情報が保存されるので、重要な情報である３次元識別情報が容易に改変されにくいという利点がある。

また、３次元識別情報の記録方法は、ファイル内部あるいは、拡張子のいずれか一方に限定されるものでもない。３次元識別情報は、当該マルチメディア情報ファイルに含まれる画像データが、３次元画像データであるか２次元画像データであるかを示す重要な情報なので、ファイル内部及び拡張子の両方を用いることで情報の信頼性を高めることも可能である。

図３１は、３次元画像ファイルダウンロード処理のフローチャートである。
例えば、サーバ上に複数のマルチメディア情報ファイルが存在し、２次元画像データのファイルと３次元画像データのファイルが混在している場合、図３１に示すような方法でダウンロードするか否かを判定する。

図３１のステップＳ１では、ダウンロードしようとするファイルのファイル名が３次元画像ファイルを示す拡張子であるか否かを判定する。３次元画像ファイルを示す拡張子である場合（Ｙｅｓ）はステップＳ２に進み、３次元画像ファイルを示す拡張子でない場合（Ｎｏ）であればダウンロードを中止して処理を終了する。

ステップＳ２ではファイルのダウンロードを開始し、ステップＳ３ではファイル中の所定の位置に３次元識別情報が含まれるか否かを判定する。３次元識別情報が含まれる場合（Ｙｅｓ）は、ステップＳ４に進んで画像データのダウンロードを続行し、３次元識別情報が含まれない場合（Ｎｏ）であればダウンロードを中止して処理を終了する。

このように、ダウンロードの際に、まず拡張子で３次元画像ファイルであるか否かを判定することで、ダウンロードを開始するか否かを簡単に判断することができる。つぎに、拡張子はファイル名の変更処理などで容易に変更されるため、信頼性を高めるために、ファイル内部の３次元識別情報によって画像データのダウンロードを続行するか否かを判定している。このような手法は、画像のファイルサイズが大きくダウンロードに時間がかかる場合や、通信料金が高価で所望のファイルのみをダウンロードしたい場合などに有効である。

（画像データ再生装置の他の構成１）
ところで、画像を表示する表示部は２次元表示と３次元表示の切り替えが可能なものを使うことができる。すなわち、図３２に示す画像データ再生装置における表示部４４は、２次元表示、３次元表示の表示モード切り替え機能を有しており、これは自動で切り替え可能な表示手段であっても良い。

図３２において、図３の画像データ再生装置と共通の部分については説明を省略する。図３２の画像データ再生装置は、図２８に示すように３次元識別情報が３次元表示制御情報と同じオブジェクトに含まれる場合に対応するものであり、３次元表示制御情報解析部２５が３次元識別情報の有無を解析し、その有無に従って表示部４４の表示モードを切り替える。すなわち、ここでは３次元表示制御情報解析部２５がファイル種別判定をも行っている。入力されたマルチメディア情報ファイルに３次元識別情報が含まれる場合、前記表示部４４では３次元表示モードで表示し、３次元識別情報が含まれない場合は、表示部４４では２次元表示モードで表示する。

あるいは、表示部が３次元表示専用である場合は、３次元識別情報の有無の解析や、拡張子の解析によって、３次元識別情報を持たない２次元画像ファイルあるいは３次元画像ファイルを示す拡張子を持たない２次元画像ファイルは再生しないようにすることが可能である。あるいは２次元画像を３次元表示用に変換して表示することもできる。例えば２次元画像を左目用画像及び右目用画像の両方に用いて表示を行ったり、また表示デバイスと表示する画像の解像度が異なる場合には解像度変換を行った上で表示したり、あるいは何らかの２次元／３次元変換を行った上で表示を行うようにすることが可能である。また逆に表示部が２次元表示専用である場合は、３次元識別情報を持つ３次元画像ファイルあるいは３次元画像ファイルを示す拡張子を持つ３次元画像ファイルは再生しないようにすることが可能である。あるいは３次元画像を２次元表示用に変換して表示することもできる。例えば左目用画像又は右目用画像のどちらか一方を選択して２次元画像として表示したり、左目用右目用両方の画像を合成して２次元画像を作成し表示したり、さらに表示デバイスと表示する画像の解像度が異なる場合には、解像度変換を行った上で表示を行うようにすることも可能である。

（画像データ再生装置の他の構成２）
図３３に示す画像データ再生装置は、図３０に示すように３次元識別情報と３次元表示制御情報が別のオブジェクトとなっている場合に対応するものである。図３３の画像データ再生装置においては、３次元識別情報解析部４５によってマルチメディア情報ファイルに３次元識別情報が含まれているかどうかを解析し、その有無に従って表示部４４の表示モードが切り替わるような構成とする。すなわち、ここでは３次元識別情報解析部４５がファイル種別判定の役割を担っている。

（画像データ再生装置の他の構成３）
前述のように拡張子によって３次元識別を行う場合には、この２次元表示、３次元表示の切り替えは、拡張子を用いて行うことができる。

図３４に示す画像データ再生装置は拡張子によって３次元識別を行う場合の例であり、ファイル種別判定部４６が拡張子を解析した結果により、表示部４４の表示モードおよびデータ変換部２６の変換方法を制御する。

このように、３次元識別情報はマルチメディア情報ファイルが３次元画像データを含むかどうかを判定するために用いられる。画像データの符号化形式は２次元画像であろうと３次元画像であろうと同じ形式を用いることができ、共通の復号器を用いることができるが、その場合、人間であれば復号された画像を見てそれが２次元画像として出力されるべきか３次元画像として出力されるべきかを判断することができるが、再生装置にはその区別がつかない。そのため、再生装置がそれを判定するのに３次元識別情報が必要となるのである。これは２次元画像と３次元画像の区別のみならず、複数ある３次元表示形式のうちのどれが使われているかを判定する場合でも同様である。この判定結果により３次元表示モードと２次元表示モードを自動的に切り替えることが可能になる。

また、図１（ａ）ではマルチメディア情報ファイルの中に３次元表示制御情報が１つだけ含まれているが、３次元画像データが動画像のように複数枚の画像から構成される場合は、各画像データの先頭に１つずつ３次元表示制御情報を付加するような形をとっても良い。或いは、３次元表示制御情報を３次元画像データ中の任意の位置に繰り返し格納するようにしてもよい。

また、動画像を衛星、地上波、インターネットなどの伝送媒体を介し放送するような場合、視聴者が放送の途中から受信、視聴したり、チャンネルの切り替えを行う可能性があるため、３次元表示制御情報を先頭に１つだけ配置するのではなく、図３５に示すように番組配列情報という形で定期的に放送コンテンツの中に挿入することが望ましい。ここで放送コンテンツとは、立体画像データや音声データ、これらの内容に関連したＢＭＬデータなどが多重化された符号化データである。また、番組配列情報の中には画像データや音声データ、ＢＭＬ（Broadcast Markup Language）データなどの互いの関連を示す情報（同期情報）や著作権情報などが含まれ、３次元表示制御情報もここに格納される。なお、３次元表示制御情報は番組配列情報に含めるのではなく、繰り返し３次元画像データ（符号化データ）の中に直接多重化してもよい。このように放送コンテンツ中に３次元表示制御情報あるいは３次元識別情報を繰り返し挿入することにより、番組途中から再生を開始する場合であっても受信データが３次元画像であるかどうか、あるいは３次元画像の場合には３次元表示に必要なパラメータ情報を知ることができる。

（マルチメディア情報の媒体への記録方式）
ところで、図２に示す画像データ記録装置１００において、記録媒体１３としてデジタルビデオテープを用いることが可能である。まず、本実施の形態によって記録されたデジタルビデオテープのトラックフォーマットについて説明する。

一般に普及しているデジタルＶＴＲではヘリカルスキャンと呼ばれる方式が採用されており、この方式ではテープ上の不連続なトラックに対してデータが記録される。この様子を示したものが図３６で、テープ上にはトラック７２が複数存在し、１枚の３次元画像も複数のトラック７２に分割して記録される。テープの走行方向は図３６の右から左方向で、右端のトラックが下から上に向けて走査され、続いてその左隣のトラックの下から上、と走査されていく。

図３７はトラック７２の１つを拡大したものであり、本実施の形態によって記録されたデジタルＶＴＲのトラックフォーマットの１例を示している。トラック７２はアフレコを確実にするためのＩＴＩ(Insert and Track Information)領域７３、音声に関するデータが記録される音声記録領域７４、画像に関するデータが記録される画像記録領域７５、タイムコードなどの付随情報が記録されるサブコード記録領域７６からなる。画像記録領域７５には、３次元画像そのものだけでなく、３次元画像と関わりのある付随情報も記録可能である。同様に、音声記録領域７４には、音声そのものだけでなく、音声とかかわりのある付随情報も記録可能である。また、これら２つとは別に、前述のとおりサブコード記録領域７６にも付随情報が記録可能である。また、各領域の間にはマージンがあり、個別にアフレコが可能になっている。

図３８は、画像記録領域７５を拡大したものである。画像記録領域７５は、同期パターンなどが記録されたプリアンブル７７、画像に関する付随情報が記録されるＶＡＵＸ(Video AUXiliary data)α７８及びＶＡＵＸβ８０、画像符号化データが記録される画像符号化データ記録領域７９、エラー訂正符号８１、マージンを稼ぐための機能を持つポストアンブル８２から構成される。本実施形態では画像に関する付随情報が記録される領域がＶＡＵＸα７８とＶＡＵＸβ８０の２つに分かれているが、以後はこの２つをまとめてＶＡＵＸ領域と呼ぶことにする。

また、図示はしないが音声記録領域７４にも、音声に関する付随情報を記録する領域としてＡＡＵＸ(Audio AUXiliary data)領域が用意されている。

本実施の形態においては、３次元表示制御情報、３次元識別情報、撮影条件情報は、ＶＡＵＸ領域、ＡＡＵＸ領域、サブコード領域のいずれかに記録される。例えば、３次元表示制御情報をＶＡＵＸ領域に記録し、撮影条件情報をサブコード領域に記録するということが可能である。また、３次元表示制御情報をＶＡＵＸ領域とサブコード領域に分けて記録することも可能である。それぞれの領域は個別にアフレコによって上書きすることができるので、編集時に変更する可能性のある情報はアフレコの容易なサブコード領域に記録しておくとよい。

また、全てをまとめてＶＡＵＸ領域に記録するという方法もある。この場合、アフレコの容易性はなくなるが、画像に関する付随情報が一箇所にまとまっていることによって取り扱いが簡易になるという長所がある。例えば、別の記録フォーマットを持つ媒体に複製を作る際に、画像記録領域の複製だけをつくれば画像に関する全ての情報を取得できることになり、サブコード領域を取り扱う必要がなくなる。また、アフレコによる上書きによってこれらの情報が消失するのを避けるために、サブコード領域とＶＡＵＸ領域の両方に同じ情報を記録しておくという方法も可能である。

あるいは、サブコード領域、ＶＡＵＸ領域の格納領域にはサイズ上の制限があることから、これらの領域に格納できなかった場合には３次元画像に関連する情報をＡＡＵＸ領域に記録するということも可能である。

なお、本実施形態の構成は、３次元画像に特有の部分を除けば家庭用に普及しているデジタルＶＴＲの方式にも準拠している。このため、本実施形態が記録する付随情報のうち、３次元画像に特有の付随情報、例えば左右画像の合成方法に関する情報、立体強度に関する情報、しきい値情報などを家庭用デジタルＶＴＲのフォーマットで拡張が許されている拡張領域に記録すれば、平面画像と３次元画像を同一のテープに記録することが可能である。

また、本発明の画像データ記録方法の説明では図２を用い、３次元画像表示制御情報あるいは撮影条件情報を記録媒体１３に記録している。しかしながら、一般に、３次元画像表示制御情報あるいは撮影条件情報を画像処理装置や端末が具備する記憶デバイスの記録領域、あるいはカセットテープに装着されたＩＣメモリの記録領域等に記録することも可能である。この場合、これまでの説明と同様に、当該記録領域が画像記録領域、音声記録領域、サブコード領域などを備え、３次元画像表示制御情報あるいは撮影条件情報をこれらの領域に記録することも可能である。

［マルチメディア情報ファイルの生成方法］
以下では、図２で説明した画像データ記録装置１００の動作により、以上説明したようなマルチメディア情報ファイルを生成する手順について説明する。

なお、図２においては、ファイル生成部１２は３次元表示制御情報と３次元画像データとを受け取るものとしたが、以下の説明では、より一般的に、ファイル生成部１２は、３次元表示制御情報と３次元画像データの他に、２次元画像データも受け取るものとする。

（マルチメディア情報ファイルの生成手順１）
図３９は、図２に示した画像データ記録装置１００の処理のフローを説明するためのフローチャートである。

図３９および図２を参照して、画像データ記録装置１００は、外部から、マルチメディア情報生成のために必要なパラメータ、３次元画像データ、２次元画像データを受け取り（ステップＳ１０２）、３次元表示制御情報生成部１１は、外部から受け取った画像データに３次元画像データが含まれる場合（ステップＳ１０４）、３次元制御情報を生成する（ステップＳ１０６）。ファイル生成部１２は、３次元表示制御情報と３次元画像データおよび２次元画像データとを受け取り、マルチメディア情報ファイルを生成し出力する（ステップＳ１０８）。なお、上記では入力として、３次元画像データおよび２次元画像データの２つの場合を説明したが、入力は最低１つあれば良い。また、逆に２つ以上の入力があっても良い。

（マルチメディア情報ファイルの生成手順２）
さらに、以下では、３次元表示制御情報の他に、撮影条件情報をマルチメディア情報ファイルに付加するための手順について説明する。

図１６において説明したとおり、マルチメディア情報ファイルには、３次元表示制御情報２の他に撮影条件情報４２を付加してもよい。

このような撮影条件に関するデータは、たとえば、図２に示した画像データ記録装置１００の構成において、３次元表示制御情報生成部１１にパラメータの一部として与えられる。以下でも、ファイル生成部１２は、３次元表示制御情報と３次元画像データの他に、２次元画像データも受け取ることが可能なものとする。

図４０は、このような撮影条件情報を付加したマルチメディア情報ファイルの生成手順を説明するためのフローチャートである。

以下、図４０および図２を参照して、画像データ記録装置１００は、外部から、マルチメディア情報生成のために必要なパラメータ、３次元画像データ、２次元画像データを受け取り（ステップＳ２０２）、３次元表示制御情報生成部１１は、外部から受け取った画像データに３次元画像データが含まれる場合（ステップＳ２０４）、３次元制御情報を生成する（ステップＳ２０６）。一方、３次元表示制御情報生成部１１は、外部から受け取った画像データに３次元画像データが含まれない場合は、処理をステップＳ２１２に移行する。

さらに、３次元表示制御情報生成部１１は、画像データに３次元画像データが含まれる場合に、撮影条件に関するデータがパラメータとして与えられたときは（ステップＳ２０８）、上述した３次元表示制御情報２に加えて、撮影条件に関するデータを符号化して、上述したような撮影条件情報４２を生成し、ファイル生成部１２に与える（ステップＳ２１０）。

ファイル生成部１２は、パラメータとして与えられたデータに含まれる情報に応じて、３次元表示制御情報２の他に、撮影条件情報４２と３次元画像データ３の両方もしくは３次元画像データあるいは２次元画像データの一方を少なくとも含むマルチメディア情報ファイルを作成する（ステップＳ２１２）。

このようにマルチメディア情報ファイルを構成することで、２次元画像データと３次元画像データが混在するマルチメディア情報を効率良く蓄積、伝送、管理することが可能となる。

以上説明したとおり、本発明の画像データ生成装置、画像データ再生装置、および画像データ記録媒体によれば、３次元画像データと共に、３次元画像データを撮影した時の条件を示す撮影条件情報をマルチメディア情報ファイルとして記録または構成するので、３次元画像データに汎用性を持たせ、１種類のマルチメディア情報ファイルで様々な編集方式、検索方法に柔軟に対応することが可能となる。

または、本発明によれば、カメラの配置に関する情報を効率的に記述することができる。また、カメラを格子状に配置する場合も、適切に表現することができる。

または、本発明の画像データ生成装置、画像データ記録方式または画像データ記録媒体によれば、３次元画像データと共に、３次元画像データを表示するための３次元画像表示制御情報をマルチメディア情報ファイルとして記録または構成するので、３次元画像データに汎用性を持たせ、１種類のマルチメディア情報ファイルで様々な３次元表示方式に柔軟に対応することが可能となる。

または、本発明の画像データ再生装置によれば、マルチメディア情報ファイル中に含まれる３次元画像表示制御情報を解析することにより、３次元画像データを表示方法に合わせて適切に変換し、正しく表示することが可能となる。

または、本発明によれば、３次元画像表示制御情報に３次元画像データの視点数を示す情報を含めることで、様々な視点数を持つ３次元画像データを、汎用性のあるマルチメディア情報ファイルとして記録、再生または構成することが可能となる。

あるいは、本発明によれば、３次元画像表示制御情報に３次元画像データがどの視点位置のデータであるかを示す情報を含めることで、３次元画像データが複数のストリームとして記録されていても、１つのストリームとして記録されていても適切にデータを変換することが可能となる。

あるいは、本発明によれば、３次元画像表示制御情報に３次元画像データの間引き方向を示す情報を含めることで、表示する際のデータ復元を正しく行うことが可能となる。

あるいは、本発明によれば、３次元画像表示制御情報に３次元画像データを撮影したカメラの配置を示す情報を含めることで、適切な視点補間や３次元モデル構築が可能となる。

あるいは、本発明によれば、３次元画像表示制御情報に３次元画像データの視差をずらす際の最大ずらし量を示す情報を含めることで、画像の作成者が是非見てもらいたいと思っているものが表示されなくなる事態の発生を防ぐことが可能となる。

あるいは、本発明によれば、３次元画像表示制御情報に３次元画像データの画像周辺に枠を表示するか否かを示す情報を含めることで、マルチメディア情報ファイルの作成者が枠画像を表示するか否かを選択することが可能となる。

あるいは、本発明によれば、３次元画像表示制御情報に３次元画像データの画像周辺に表示する枠画像データを示す情報を含めることで、３次元画像データに応じて適切な枠画像を表示することが可能となる。

または、本発明の画像データ生成装置または画像データ記録媒体によれば、以下に列挙する効果のうち、１つまたはそれらを２つ以上組み合わせた効果を奏することができる。

すなわち、１）本発明によれば、３次元画像データと共に、３次元画像データを撮影した時の条件を示す撮影条件情報をマルチメディア情報ファイルとして記録または構成するので、３次元画像データに汎用性を持たせ、１種類のマルチメディア情報ファイルで様々な編集方式、検索方法に柔軟に対応することが可能となる。また、視点補間や３次元モデル構築を適切に行うことが可能となる。

２）本発明によれば、カメラアダプタを用いて複数視点の画像を得る場合であっても、カメラを複数台用いる場合と同様に撮影条件を記述することが可能となる。

３）本発明によれば、３次元画像表示制御情報あるいは撮影条件情報をアフレコの容易なサブコード領域に記録することにより、編集の利便性を高めることが可能となる。

４）本発明によれば、３次元画像表示制御情報あるいは撮影条件情報をまとめて画像記録領域に記録することにより、取り扱いを簡易にすることが可能となる。

５）本発明によれば、３次元画像表示制御情報あるいは撮影条件情報をサブコード領域と画像記録領域の両方に記録しておくことにより、アフレコ時の上書きによるデータ消失を防ぐことが可能となる。

この発明を詳細に説明し示してきたが、これは例示のためのみであって、限定となってはならず、発明の精神と範囲は添付の請求の範囲によってのみ限定されることが明らかに理解されるであろう。

本発明の実施の形態において生成されるマルチメディア情報ファイルの構造を示す図である。図１（ａ）は、マルチメディア情報ファイルの構成を示し、図１（ｂ）は、各オブジェクトの構成を示し、図１（ｃ）は、３次元画像データの構造の一例を示す。 本実施の形態における画像データ記録装置１００の構成を示すブロック図である。 画像データ再生装置２００の構成を説明するためのブロック図である。 ３次元表示制御情報２に記述する具体的な情報を説明するための概念図である。図４（ａ）は、３次元表示制御情報２に記述する具体的な情報を示し、図４（ｂ）は、音声と左目用画像と右目用画像のストリームを示し、図４（ｃ）は、間引き方向に対応するテーブルを示す。 「視点数」および「視点位置」を説明するための概念図である。図５（ａ）は、２眼式の例を示し、図５（ｂ）と図５（ｃ）は６眼式の例を示す。 ６眼式の場合において、視点位置と対応するストリームの記述の例を示す概念図である。 図７（ａ）は、左目用画像と右目用画像が同じストリームとなっている場合において、視点位置と対応するストリームの記述の例を示す概念図であり、図７（ｂ）は、多重化データを示す図である。 「カメラ配置」の他の構成例を示す概念図である。図８（ａ）および図８（ｂ）は、集中型の例を示し、図８（ｃ）は発散型の例を示す。 枠画像の構成を説明するための概念図である。図９（ａ）は、枠画像を表示しない状態を示し、図９（ｂ）は、枠画像を表示した状態を示す。 枠画像を表示させるために「枠画像データ」を供給する構成を説明するためのブロック図である。 パララクスバリア方式で用いる液晶パネルとパララクスバリアのスリットの位置関係を示す概念図である。 サンプリングパターンを説明するための概念図である。 １枚の画像を構成するために複数の視差像を並べる画像配置を説明するための概念図である。 ３次元表示制御情報および左目用画像と右目用画像を横に並べた画像データを示す概念図である。 各視差像を反転する構成を説明するための概念図である。 ３次元表示制御情報２の他に撮影条件情報４２を付加したマルチメディア情報ファイルを示す概念図である。 撮影条件情報４２に記述する具体的な情報の一例を示す図である。 ２つの視点の画像を得るために、カメラのレンズの前に装着するカメラアダプタ７１を示す概念図である。 カメラアダプタを用いて撮影する場合に付加する撮影条件情報４２の例を示す図である。 基線長および輻輳角を説明するための図である。 ２眼式あるいは多眼式の撮影においてカメラを直線状配置する場合のカメラの配置形状を示す概念図である。 ２眼式あるいは多眼式の撮影においてカメラを円周状配置する場合のカメラの配置形状を示す概念図である。 カメラが直線状配置の場合の撮影条件情報の例を示す図である。 格子状にカメラを配置する場合のカメラの配置形状を示す概念図である。 格子状にカメラを配置する場合に各カメラから得られる画像を示す図である。 カメラが格子状に配置されている場合における画像の配置を示す概念図である。 カメラが平面状に配置される場合の撮影条件情報の例を示す図である。 ３次元画像制御情報オブジェクトにおけるオブジェクトＩＤとして汎用のＩＤを用いる場合を示す図である。 ３次元識別情報を示す図である。 マルチメディア情報ファイルの構成を示す図である。 ３次元画像ファイルダウンロード処理のフローチャートである。 画像データ再生装置の第１の変形例を示すブロック図である。 画像データ再生装置の第２の変形例を示すブロック図である。 画像データ再生装置の第３の変形例を示すブロック図である。 番組配列情報という形で定期的に放送コンテンツの中に挿入される３次元識別情報を示す図である。 ヘリカルスキャン方式において、テープ上でデータが記録されるトラックを説明するための図である。 トラック７２の１つを拡大して、そのデータ構成を示す図である。 画像記録領域７５を拡大して、そのデータ構成を示す図である。 画像データ記録装置１００の処理のフローを説明するためのフローチャートである。 撮影条件情報を付加したマルチメディア情報ファイルの生成手順を説明するためのフローチャートである。 ２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。 ２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。 「レンチキュラ方式」の記録データ形式の一例を示す概念図である。

Claims (4)

1. 立体視することが可能な複数視点に係る３次元画像データを表示するためのパラメータを入力する入力手段と、
   入力されたパラメータに基づいて、外部から受け取った画像データに前記３次元画像データが含まれる場合、前記３次元画像データを表示部に対応した所望の形式での立体視を可能とするために変換に必要な３次元画像表示制御情報を生成する３次元画像表示制御情報生成手段と、
   外部から受け取った前記３次元画像データと前記３次元画像表示制御情報との両方、あるいは外部から受け取った２次元画像データを少なくとも含むことが可能なマルチメディア情報ファイルを作成するファイル作成手段とを備え、
   前記３次元画像表示制御情報は、前記３次元画像データの画像周辺に表示する枠画像データを示す第１の情報を含み、
   前記３次元画像表示制御情報は、
   前記３次元画像データの画像周辺に、前記枠画像データを用いて、枠を表示するか否かを示す第２の情報をさらに含む、画像データ生成装置。
2. 前記枠画像データを立体画像データとすることを特徴とする、請求項１に記載の画像データ生成装置。
3. 請求項１に記載の画像データ生成装置が作成した前記マルチメディア情報ファイルを再生する画像データ再生装置であって、
   前記マルチメディア情報ファイルを入力する入力手段と、
   前記マルチメディア情報ファイルの構造を解析して前記３次元画像表示制御情報と前記３次元画像データもしくは前記２次元画像データを抽出するファイル構造解析手段と、
   前記３次元画像表示制御情報を解析する３次元画像表示制御情報解析手段と、
   前記３次元画像データを再生するデータ再生手段と、
   前記再生された３次元画像データを変換するデータ変換手段とを備え、
   前記データ変換手段は、前記３次元画像表示制御情報解析手段の解析結果に基づいて、前記再生された３次元画像データを表示用に変換し、
   前記３次元画像表示制御情報解析手段は、入力された前記３次元画像表示制御情報のうち前記第２の情報に従って枠表示の有無に関する情報を解析し、枠表示有りとなっている場合には、さらに入力された前記３次元画像表示制御情報のうち前記第１の情報に従って、前記第１の情報に前記枠画像データが含まれる場合は、前記第１の情報に含まれる枠画像データを選択し、前記第１の情報に前記枠画像データが含まれない場合は、予め準備されている少なくとも一つ以上の前記枠画像の中から１つを選択して前記データ変換手段に出力する、画像データ再生装置。
4. 前記枠画像データを立体画像データとすることを特徴とする、請求項３に記載の画像データ再生装置。

Images