WO2012060406A1

WO2012060406A1 - 立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法

Info

Publication number: WO2012060406A1
Application number: PCT/JP2011/075289
Authority: WO
Inventors: 北浦　竜二
Original assignee: シャープ株式会社
Priority date: 2010-11-05
Filing date: 2011-11-02
Publication date: 2012-05-10
Also published as: CN103190154A; US20130182078A1; JP2012100211A; EP2637413A1; JP5002047B2

Abstract

　従来の方式では、３次元画像とともに伝送される最大視差と最小視差がそれぞれ１種類しかないため、安全、かつ、自由度の高い立体表示を行うことができなかった。本発明に係る立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法は、複数の視点の各々に対応した複数の画像データと、撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、撮像手段の機構から適切な視差範囲の限界となる撮像手段から最も近い距離の被写体位置における視差を示す第１の最小視差と、立体画像の実際に発生している視差の最大値となる第２の最大視差と、立体画像の実際に発生している視差の最小値となる第２の最小視差を含む３Ｄ情報を多重化して、１つの立体画像データとして取り扱い、前記３Ｄ情報を用いて、視差の調整や、立体での表示の可否等を判定することにより、より安全で快適な立体表示を行うことを特徴としている。

Description

立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法

　本発明は、３次元表示するための画像データを作成する際に、画像データに属性情報を付随させる立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法に関する。

　従来、３次元画像を表示するための様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「２眼式」と呼ばれるものである。この方式は、両眼視差を持った左目用の画像と右目用の画像を用意し、それぞれ独立に左右の目に投影することにより立体視を行うことができる。以下の説明では、前記記載のそれぞれ画像を、左目用画像、右目用画像と称する。また、３Ｄは３次元または立体を、２Ｄは２次元を意味する用語としてそれぞれ用いることとし、立体視用の画像データを３Ｄ画像データ、通常の２次元画像データを２Ｄ画像データと称する。

　尚、非特許文献１には、両眼視差を用いた３Ｄ画像を作成するための安全ガイドラインが記載されている。両眼視差を用いた３Ｄ画像では、立体の飛び出し感、奥行き感は視差の調整で制御できるが、同じ視差でも瞳孔間間隔の狭い人や子供は立体感を強く感じる。また、ディスプレイの後方に表示する場合は、両眼は左右には開かないため、ディスプレイ上で両眼瞳孔間間隔を超える視差がつくことは可能な限り避ける必要がある。このため、安全ガイドラインでは、瞳孔間隔の調査結果より、６歳児の瞳孔間間隔が５ｃｍ程度であり、安全を考慮してこれを子供の代表値としている。

　ここで、２眼式の代表的な方式としてフレームシーケンシャル方式や視差バリア方式等が提案されており、その概念図に基づいて以下詳述する。

　図１９は、フレームシーケンシャル方式を説明するための概念図である。一般的に、フレームシーケンシャル方式は、高速に画像フレームを切り替えて表示するディスプレイと、ディスプレイの表示に同期して、メガネのレンズシャッターを制御し、左右のレンズを交互に開閉することが可能なアクティブ・シャッターメガネから構成されている。図１９において、ディスプレイ上に、左目用画像４００と、右目用画像４０１が時間的に交互に高速で表示される。このタイミングに合わせ、アクティブ・シャッターメガネ４０２は、左目用画像４００が表示される際は、左目用のレンズシャッター４０３が、光が透過するように、右目用のレンズシャッター４０４が、光を遮断するように、それぞれ制御する。逆に、右目用画像４０１が表示される際は、右目用のレンズシャッター４０４が、光が透過するように、左目用のレンズシャッター４０３が、光を遮断するように、それぞれ制御する。こうすることにより、時分割で左右の目に、それぞれの目の視差に合わせた映像を表示することにより、観察者は立体映像を観察することができる。

　また、図２０は、視差バリア方式を説明するための概念図である。図２０（ａ）は、視差が生じる原理を示す図である。一方、図２０（b）は、パララクスバリア方式で表示される画面の例を示す図である。図２０（a）に示す構成では、図２０（b）に示すような左目用画像と右目用画像とが水平方向において１画素おきに交互に並んだ構成で配置された画像を、画像表示パネル４１０に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア４１１を画像表示パネル４１０の前面の視点側に設置することにより、左目用画像は左目４１２のみで、右目用画像は右目４１３のみで観察することができ、立体視することが可能となる。

　更に、特許文献１には、図２１で示すように、撮像装置５０１と撮像装置５０２で撮影された２枚のステレオペアを構成する原画像と共に、撮影時に撮像装置に最も近い位置５０５にある物体５０３の視差である撮像機構の最大視差と、撮影時に撮像装置に最も遠い位置５０６にある物体５０４がもつ撮像機構の最小視差を、視差範囲として送信装置側で記録し、送信装置は、前記原画像と共に視差範囲を受信装置に送信し、受信装置側で、これらの視差を再スケーリングして、立体ディスプレイで表示することにより、送信された３次元画像が立体表示される位置を、視聴者が快適に立体映像を視聴できるような視空間に再マッピングする方法が開示されている。また、送信装置側から、原画像と共に送信される視差範囲は、前記原画像から対応点検索により送信装置側で求めた最大視差値と最小視差値を用いても良いことが開示されている。

特表２００９－５１６４４７号公報

"３ＤＣ安全ガイドライン"、［online］、平成２２年４月２０日、３Ｄコンソーシアム安全ガイドライン部会、［平成２２年９月１５日検索］、インターネット〈URL:http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20100420.pdf〉

　しかしながら、上記特許文献１の方式では、送信装置側から受信装置側に、原画像データと共に視差範囲の最大視差値と最小視差値を一組として送信し、受信装置側では、受信した視差範囲の一組の最大視差値および最小視差値に応じて、再マッピングして表示画像を作成している。このような方式では、送信する最大視差と最小視差の値がそれぞれ１種類のみとなるため、受信装置が対応点検索による最大視差と最小視差のみを受信した場合、もしこれらの値に誤差を含んでいれば、この視差の範囲を元にして視差の調整を行うと、不適切な視差で表示する可能性が生じるという問題があった。

　また、逆に、撮像機構情報のみを受信し、受信した撮像機構情報から算出した最大視差と最小視差を元に視差調整を行った場合、機構的にそれ以上の視差範囲に収まるため、安全ではあるが、調整可能な視差の範囲が少なくなり、立体表示する立体映像の呈示位置の変更に自由度がなくなってしまうという問題があった。

　更に、撮影された立体映像の実際の視差の値によっては、調整を行いたいのとは逆の方向に視差が変わり、意図した視差調整と逆の調整を行ってしまうような可能性も生じてしまうという問題があった。

　本発明は、以上のような問題点を解決するためになされたものであって、その目的は、３次元表示のための画像データに汎用性を持たせるとともに、再生装置側でより安全で快適な視差をもつ立体映像の呈示が可能となる立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法を提供することにある。

　本発明にかかる立体画像データ作成装置は、複数の視点の各々に対応した複数の画像データから、所定のファイル形式の画像データを作成する立体画像データ作成装置において、撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、撮像手段の機構から所定の視差範囲内に収まり、かつ、撮像手段から最も近い距離の位置における視差である第１の最小視差と、立体画像の左目画像と右目画像の視差の最大値となる第２の最大視差と、立体画像の左目画像と右目画像の視差の最小値となる第２の最小視差とを入力とし、入力された前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて３Ｄ情報を作成し出力する３Ｄ情報作成手段と、前記３Ｄ情報と、前記画像データを多重化し、所定のファイル形式の立体画像データを作成する多重化手段とを備えることを特徴とする。

　また、本発明にかかる立体画像データ作成装置は、複数の視点の各々に対応した複数の画像データから、所定のファイル形式の画像データを作成する立体画像データ作成装置において、撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、撮像手段の機構から所定の視差範囲内に収まり、かつ、撮像手段から最も近い距離の位置における視差である第１の最小視差と、立体画像の左目画像と右目画像の視差の最大値となる第２の最大視差と、立体画像の左目画像と右目画像の視差の最小値となる第２の最小視差とを入力とし、入力された前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて３Ｄ情報を作成し出力する３Ｄ情報作成手段と、入力された前記複数の画像データに対して圧縮符号化を行い、圧縮画像データを出力する画像圧縮符号化手段と、前記３Ｄ情報と、前記圧縮画像データを多重化し、所定のファイル形式の立体画像データを作成する多重化手段とを備えることを特徴とする。

　さらには、前記所定のファイル形式の立体画像データには、前記複数の視点として3個以上のｎ個の視点の前記画像データを含むことを特徴とする。

　さらには、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差から３Ｄ情報を作成する場合に、前記３Ｄ情報作成手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差に対する単位を示す視差単位情報を生成し、前記所定のファイル形式の立体画像データは、前記視差単位情報を含むことを特徴とする。

　また、前記視差単位情報は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差の単位が、ピクセル単位、サブピクセル単位、長さ、距離の単位、または、画像全体の横幅に対するパーセンテージのいずれかであることを特徴とする。
　さらには、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差から３Ｄ情報を作成する場合に、前記３Ｄ情報作成手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差が、前記複数の画像データのうち、どの２つの視点画像データの組み合わせによって求められたものかを示す視差対象画像情報を生成し、前記所定のファイル形式の立体画像データは、前記視視差対象画像情報を含むことを特徴とする。

　また、本発明にかかる立体画像データ作成装置は、所定のファイル形式の画像データから、複数の視点の各々に対応した複数の画像データを再生する立体画像データ再生装置において、前記ファイル形式から、撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、立体画像の左目画像と右目画像の視差の最大値となる第２の最大視差と、撮像手段の機構から所定の視差範囲内に収まり、かつ、撮像手段から最も近い距離の位置における視差である第１の最小視差と、立体画像の左目画像と右目画像の視差の最小値となる第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を示す３Ｄ情報と、画像データとを分離する逆多重化手段と、前記３Ｄ情報を解析する３Ｄ情報解析手段と、前記画像データに対して、視差の調整を行う立体強度変換手段を備え、前記３Ｄ情報解析手段は、前記３Ｄ情報を解析し、前記立体強度変換手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて、前記画像データの視差を調整して、再生することを特徴とする。

　また、本発明にかかる立体画像データ再生装置は、所定のファイル形式の画像データから、複数の視点の各々に対応した複数の画像データを再生する立体画像データ再生装置において、前記ファイル形式から、撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、立体画像の左目画像と右目画像の視差の最大値となる第２の最大視差と、撮像手段の機構から所定の視差範囲内に収まり、かつ、撮像手段から最も近い距離の位置における視差である第１の最小視差と、立体画像の左目画像と右目画像の視差の最小値となる第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を示す３Ｄ情報と、圧縮画像データとを分離する逆多重化手段と、前記３Ｄ情報を解析する３Ｄ情報解析手段と、前記圧縮画像データを復号する画像復号手段と、前記圧縮画像データが復号された画像データに対して、視差の調整を行う立体強度変換手段を備え、前記３Ｄ情報解析手段は、前記３Ｄ情報を解析し、前記立体強度変換手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて、前記画像データの視差を調整して、再生することを特徴とする。

　さらには、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差を示す情報を解析する場合に、前記３Ｄ情報解析手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差に対する単位を示す視差単位情報を解析し、解析した前記視差単位情報を用いて、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差を示す情報を解析することを特徴とする。

　また、前記３Ｄ情報には、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差が、前記複数の画像データのうち、どの２つの視点画像データの組み合わせによって求められたものかを示す視差対象画像情報を含み、前記３Ｄ情報解析手段が、前記視差対象画像情報を解析し、前記立体強度変換手段は、前記視差対象画像情報の示す前記画像データに対して、視差の調整を行うことを特徴とする。

　また、前記画像データに対して視差の調整を行う場合に、前記立体強度変換手段は、前記第１の最大視差と、前記第２の最大視差の大きさを比較し、前記第２の最大視差が、前記第１の最大視差よりも大きい場合に、前記第２の最大視差の値が不適切であると判断し、前記第１の最大視差に基づいて、視差の調整を行うことを特徴とする。

　好ましくは、前記画像データに対して視差の調整を行う場合に、前記立体強度変換手段は、前記第１の最小視差と、前記第２の最小視差の大きさを比較し、前記第２の最小視差が、前記第１の最小視差よりも小さい場合に、前記第１の最小視差が、前記第２の最小視差の値になるように視差の調整を行うことを特徴とする。

　好ましくは、前記画像データに対して視差の調整を行う場合に、前記立体強度変換手段は、前記第１の最小視差と、前記第２の最小視差の大きさを比較し、前記第２の最小視差が、前記第１の最小視差よりも小さい場合に、前記第１の最小視差が、前記第２の最小視差の値になるように、前記画像データを縮小表示することを特徴とする。

　好ましくは、前記画像データに対して視差の調整を行う場合に、前記立体強度変換手段は、前記第１の最小視差と、前記第２の最小視差の大きさを比較し、前記第２の最小視差が、前記第１の最小視差よりも小さい場合に、前記第２の最小視差の値が不適切であると判断し、立体表示をやめ、２Ｄで表示する、または、１つの視点の画像データに対して、２Ｄ－３Ｄ変換を行い、３Ｄ表示を行うことを特徴とする。

　好ましくは、前記画像データに対して視差の調整を行う場合に、前記立体強度変換手段は、前記第１の最小視差と、前記第２の最小視差の大きさを比較し、前記第２の最小視差が、前記第１の最小視差よりも小さい場合に、前記第２の最小視差の値が不適切であると判断し、前記画像データのうち、いずれか１つの視点の画像データに対して、２Ｄ－３Ｄ変換を行い、３Ｄ表示を行うことを特徴とする。

　好ましくは、前記画像データに対して視差の調整を行う場合に、前記立体強度変換手段は、前記第１の最大視差と、前記第２の最大視差の大きさを比較し、前記第２の最大視差が、前記第１の最大視差よりも小さい場合に、前記第２の最大視差の値に基づいて、視差の調整を行うことを特徴とする。

　好ましくは、前記画像データに対して視差の調整を行う場合に、前記立体強度変換手段は、前記第１の最小視差と、前記第２の最小視差の大きさを比較し、前記第２の最小視差が、前記第１の最小視差よりも大きい場合に、前記第２の最小視差の値に基づいて、視差の調整を行うことを特徴とする。

　好ましくは、前記３Ｄ情報解析手段は、前記視差対象画像情報を解析し、前記立体強度変換手段は、前記視差対象画像情報の示す前記画像データに対して、視差の調整を行うことを特徴とする。

　本発明にかかる立体画像ファイル管理方法は、立体表示のための属性情報である３Ｄ情報を画像データと共に管理するファイル管理方法であって、前記３Ｄ情報は、視点画像の組み合わせを示す視差対象画像情報と、第１及び第２の最大視差と第１及び第２の最小視差の単位を示す視差単位情報と、第１の最大視差と、第２の最大視差と、第１の最小視差と、第２の最小視差と、前記画像データを立体表示するディスプレイのサイズを示す想定ディスプレイサイズとにより構成されることを特徴とする。

　さらには、前記３Ｄ情報は、第１及び第２の最大視差と第１及び第２の最小視差のそれぞれの視差情報が、前記３Ｄ情報に記録されているかどうかを示す視差記録可否フラグを含むことを特徴とする。

　また、管理される１つのファイルは、ファイルヘッダと、前記３Ｄ情報と、３次元画像と直接関係ない情報の記録に使用する管理情報と、前記画像データとで構成され、前記ファイルヘッダ、前記３Ｄ情報、前記管理情報、前記画像データは、前記ファイルの先頭より、前記ファイルヘッダ、前記３Ｄ情報、前記管理情報、前記画像データの順番で配置されることを特徴とする。

　また、管理される１つのファイルは、前記３Ｄ情報と、３次元画像と直接関係ない情報の記録に使用する管理情報と、ファイルヘッダと、前記画像データとで構成され、前記３Ｄ情報、前記管理情報、前記ファイルヘッダ、前記画像データは、前記ファイルの先頭より、前記３Ｄ情報、前記管理情報、前記ファイルヘッダ、前記画像データの順番で配置されることを特徴とする。

　また、前記画像データは、左目用画像データと右目用画像データとの両方で構成されることを特徴とする。

　好ましくは、管理される第一のファイルの前記画像データは、左目用画像データであって、管理される第二のファイルの前記画像データは、右目用画像データであって、前記第一のファイルと前記第二のファイルは、３Ｄ画像を形成する左目及び右目用の画像データの組であり、同一の専用フォルダにて管理されることを特徴とする。

　好ましくは、管理される第一のファイルの前記画像データは、左目用画像データであって、管理される第二のファイルの前記画像データは、右目用画像データであって、前記第一のファイルと前記第二のファイルは、３Ｄ画像を形成する左目及び右目用の画像データの組であり、他の画像データの組と判別するため、ファイル名に指標を設けて管理されることを特徴とする。

　好ましくは、管理される第一のファイルの前記画像データは、左目用画像データであって、管理される第二のファイルの前記画像データは、右目用画像データであって、管理される第三のファイルは、前記第一のファイルと前記第二のファイルが、３Ｄ画像を形成する左目及び右目用の画像データの組であることを示す３Ｄ管理情報を格納する３Ｄ管理情報ファイルであることを特徴とする。

　好ましくは、前記３Ｄ管理情報ファイルは、メタファイルであり、３Ｄ画像を形成する左目及び右目用の画像データの組を示す前記第一のファイル名と前記第二のファイル名を前記メタファイルに記載し管理することを特徴とする。

　好ましくは、管理される１つのファイルは、第１のファイルヘッダと、第１の３Ｄ情報と、第１の管理情報と、第１の画像データと、第２のファイルヘッダと、第２の３Ｄ情報と、第２の管理情報と、第２の画像データとで構成され、前記第１のファイルヘッダ、前記第１の３Ｄ情報、前記第１の管理情報、前記第１の画像データ、前記第２のファイルヘッダ、前記第２の３Ｄ情報、前記第２の管理情報、前記第２の画像データは、前記ファイルの先頭より、前記第１のファイルヘッダ、前記第１の３Ｄ情報、前記第１の管理情報、前記第１の画像データ、前記第２のファイルヘッダ、前記第２の３Ｄ情報、前記第２の管理情報、前記第２の画像データの順番で配置され、前記第１の画像データと前記第２の画像データは、３Ｄ画像を形成する左目及び右目用の画像データの組であることを特徴とする。

　好ましくは、管理される１つのファイルは、ファイルヘッダと、第１の３Ｄ情報と、第１の管理情報と、第１の画像データと、第２の３Ｄ情報と、第２の管理情報と、第２の画像データとで構成され、前記ファイルヘッダ、前記第１の３Ｄ情報、前記第１の管理情報、前記第１の画像データ、前記第２の３Ｄ情報、前記第２の管理情報、前記第２の画像データは、前記ファイルの先頭より、前記ファイルヘッダ、前記第１の３Ｄ情報、前記第１の管理情報、前記第１の画像データ、前記第２の３Ｄ情報、前記第２の管理情報、前記第２の画像データの順番で配置され、前記第１の画像データと前記第２の画像データは、３Ｄ画像を形成する左目及び右目用の画像データの組であることを特徴とする。

　好ましくは、管理される１つのファイルは、第３の３Ｄ情報と、第３の管理情報と、第１のファイルヘッダと、第１の３Ｄ情報と、第１の管理情報と、第１の画像データと、第２のファイルヘッダと、第２の３Ｄ情報と、第２の管理情報と、第２の画像データとで構成され、前記第３の３Ｄ情報、前記第３の管理情報、前記第１のファイルヘッダ、前記第１の３Ｄ情報、前記第１の管理情報、前記第１の画像データ、前記第２のファイルヘッダ、前記第２の３Ｄ情報、前記第２の管理情報、前記第２の画像データは、前記ファイルの先頭より、前記第３の３Ｄ情報、前記第３の管理情報、前記第１のファイルヘッダ、前記第１の３Ｄ情報、前記第１の管理情報、前記第１の画像データ、前記第２のファイルヘッダ、前記第２の３Ｄ情報、前記第２の管理情報、前記第２の画像データの順番で配置され、前記第１の画像データと前記第２の画像データは、３Ｄ画像を形成する左目及び右目用の画像データの組であり、前記第３の３Ｄ情報は、前記第１及び第２の画像データの共通部分の３Ｄ情報を含み、前記第１の３Ｄ情報は、前記第１の画像データの個別の３Ｄ情報を含み、前記第２の３Ｄ情報は、前記第２の画像データの個別の３Ｄ情報を含むことを特徴とする。

　好ましくは、管理される１つのファイルは、第３の３Ｄ情報と、第３の管理情報と、ファイルヘッダと、第１の３Ｄ情報と、第１の管理情報と、第１の画像データと、第２の３Ｄ情報と、第２の管理情報と、第２の画像データとで構成され、前記第３の３Ｄ情報、前記第３の管理情報、前記ファイルヘッダ、前記第１の３Ｄ情報、前記第１の管理情報、前記第１の画像データ、前記第２の３Ｄ情報、前記第２の管理情報、前記第２の画像データは、前記ファイルの先頭より前記第３の３Ｄ情報、前記第３の管理情報、前記ファイルヘッダ、前記第１の３Ｄ情報、前記第１の管理情報、前記第１の画像データ、前記第２の３Ｄ情報、前記第２の管理情報、前記第２の画像データの順番で配置され、前記第１の画像データと前記第２の画像データは、３Ｄ画像を形成する左目及び右目用の画像データの組であり、前記第３の３Ｄ情報は、前記第１及び第２の画像データの共通部分の３Ｄ情報を含み、前記第１の３Ｄ情報は、前記第１の画像データの個別の３Ｄ情報を含み、前記第２の３Ｄ情報は、前記第２の画像データの個別の３Ｄ情報を含むことを特徴とする。

　好ましくは、管理される１つのファイルは、異なる視点画像データ毎に作成されたファイルヘッダ、３Ｄ情報、管理情報、及び視点画像データとで構成される視点画像情報を複数含み、複数の異なる前記視点画像情報は、前記ファイルの先頭より前記ファイルヘッダ、前記３Ｄ情報、前記管理情報、前記視点画像データの順番で複数繰り返し配置されることを特徴とする。

　好ましくは、管理される１つのファイルは、複数の視点画像データ毎に作成される複数の前記視点画像情報の３Ｄ情報の共通情報と、ファイル全体の管理情報と、複数の視点画像データ毎に作成された複数の前記視点画像情報を格納し、前記３Ｄ情報の共通情報、前記ファイル全体の管理情報、前記複数の視点画像情報は、前記ファイルの先頭より前記３Ｄ情報の共通情報、前記ファイル全体の管理情報、前記複数の視点画像情報の順番で配置され、複数の視点画像データ毎に作成される前記視点画像情報の３Ｄ情報には、各視点画像データ毎に作成された個別の３Ｄ情報を含むことを特徴とする。

　本発明の立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法によれば、表示するディスプレイサイズに合わせた視差調整を、より自由度を高く、かつ、安全で適切に行うことができる。

本発明の第１の実施の形態による立体画像データ作成装置の概略構成を示すブロック図である。立体画像の視差を説明する図である。平行法での立体撮影について説明する図である。平行法での立体撮影画像の一例である。交差法での立体撮影について説明する図である。本発明の第１の実施の形態による立体画像データ作成装置の動作についてのフローチャート図である。本発明の第１の実施の形態による立体画像データ作成装置の視差算出手段の概略構成を示すブロック図である。視差ずらしを行う前の左目用画像データと、右目用画像データの一例である。視差ずらしを行った後の左目用画像データと、右目用画像データの一例である。３Ｄ情報の一例を示す図である。多重化データを記録するファイル形式の一例を示す図である。多重化データを記録する際に、既存のファイル形式を用いた場合の一例を示す図である。多重化データを記録する際に、新規のファイル形式を用いた場合の一例を示す図である。本発明の第１の実施の形態による立体画像データ再生装置の概略構成を示すブロック図である。本発明の第２の実施の形態による立体画像データ作成装置の概略構成を示すブロック図である。本発明の第２の実施の形態による立体画像データ作成装置の視差算出手段の概略構成を示すブロック図である。多重化データを記録するファイル形式の一例を示す図である。本発明の第２の実施の形態による立体画像データ再生装置の概略構成を示すブロック図である。従来のフレームシーケンシャル方式を説明するための概念図である。従来の視差バリア方式を説明するための概念図である。従来の近くの被写体と遠くの被写体とを撮像する撮像機構を例示する図である。

　以下に添付図面を参照して、この発明にかかる立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法の好適な実施の形態を詳細に説明する。また、以下の説明において、異なる図面においても同じ符号を付した構成は同様のものであるとして、その説明を省略することとする。

　第１の実施形態に係る立体画像データ作成装置について、図面を参照し説明する。
　図１は、本発明の第１の実施の形態による立体画像データ作成装置の概略構成を示すブロック図である。図１において、立体画像データ作成装置１は、視差算出手段２と、３Ｄ情報作成手段３と、画像圧縮符号化手段４と、多重化手段５と、を有して構成される。視差算出手段２は、カメラ機構情報と、左目用画像データと、右目用画像データを入力とし、前記カメラ機構情報から幾何学的計算により求める第１の視差情報と、左目用画像データと右目用画像データを用いた対応点検索により求める第２の視差情報と、どの視点の画像から視差を算出したかを示す視差算出視点情報と、左目用画像データと右目用画像データを出力する。３Ｄ情報作成手段３は、視差算出視点情報と、第１の視差情報と、第２の視差情報を入力とし、入力された視差算出視点情報と、第１の視差情報と、第２の視差情報から３Ｄ情報を作成し、出力する。画像圧縮符号化手段４は、左目用画像データと右目用画像データを入力とし、入力された画像データに対して圧縮符号化を行い、圧縮画像データを作成し、出力する。多重化手段５は、３Ｄ情報と圧縮画像データを入力とし、入力された３Ｄ情報と圧縮画像データを多重化し、多重化データを作成し、出力する。ここで、第１の視差情報と第２の視差情報はそれぞれ、最大視差と最小視差から構成されている。次に最大視差と最小視差について説明する。

　図２は、立体画像の視差を説明する図である。図２（ａ）は、左目用画像データ６を示し、立体表示をした際に、最も遠くに見える部分を最遠点７とし、最も近くに見える点を最近点８とする。また、図２（ｂ）は、右目用画像データ９を示し、このうち、立体表示をした際に、最も遠くに見える部分を最遠点１０とし、最も近くに見える点を最近点１１とする。このとき、左目用画像データ６の左端から、最遠点７までの距離をｄｆＬ、最近点８までの距離をｄｎＬ、右目用画像データ９の左端から、最遠点１０までの距離をｄｆＲ、左最近点１１までの距離をｄｎＲとし、左目用画像データ６と、右目用画像データ９を用いて立体表示をした際に、観察者から最も遠くに見える部分における視差を最大視差と定義した場合、その値はｄｆＲ－ｄｆＬとなる。同じく左目用画像データ６と、右目用画像データ９を用いて立体表示をした際に、観察者から最も近くに見える部分における最小視差と定義し、その値をｄｎＲ－ｄｎＬとする。

　次に、前記第１の視差情報について説明する。第１の視差情報は、撮影に使用するカメラの向きや配置、レンズの画角情報等のカメラ機構情報から幾何学的計算により求められ、その値は、カメラの撮影の方法が、平行法であるか交差法であるかという点や、また、交差法の場合にはカメラの画角に依存する。ここで、前記第１の視差情報は、物理的に視差が最大となる背景が無限遠にある場合の背景に対する視差を第１の最大視差とし、また、同じくカメラ機構情報から、物理的にカメラに近づくことができる位置、かつ、快適な立体視が可能な視差の値となるような、カメラ固有の推奨撮影距離に被写体を設置した場合の視差である第１の最小視差から構成されている。

　まず、平行法撮影の場合における第１の視差情報の求め方について説明する。
　図３は、平行法での立体撮影について説明する図である。図３において、光軸が垂直方向と水平方向に平行となるように設置されたカメラ１２とカメラ１３で、近景となる被写体１４と、遠景となる背景１５を撮影する。ここで、カメラ１２とカメラ１３は同一のスペックのカメラとする。カメラ１２の光軸１６とカメラ１３の光軸１７の間の距離であるカメラの基線長をＴとし、カメラ１２とカメラ１３の画角をθとする。また、カメラ１２の撮影範囲を撮影範囲１８とし、カメラ１３の撮影範囲を撮影範囲１９とする。カメラ１２は、撮影画像２０を、カメラ１３は、撮影画像２１をそれぞれ撮影する。ここで、撮影画像２０と、撮影画像２１の背景１５の視差Ｄｆの大きさは、基線長Ｔと同じ大きさとなる。しかし、背景１５の位置がカメラ１２と１３から近似的に無限遠としてよいほど、十分遠くに位置する場合は、カメラの撮影範囲が非常に大きくなるため、視差Ｄｆの大きさは０に近似できる。よって、平行法撮影の場合、第１の視差情報を構成する第１の最大視差は０となる。

　また、平行法撮影の場合の第１の視差情報を構成する第１の最小視差の求め方について説明する。平行法撮影の場合、立体映像として撮影できる被写体のカメラからの位置は、基線長Ｔとカメラ画角θにより規制される。図３に示すようにカメラ画角θは、撮影範囲１８と、撮影範囲１９の範囲に影響を及ぼし、基線長Ｔは、撮影範囲１８と、撮影範囲１９が交わる領域の大きさに影響する。カメラ１２とカメラ１３の基線長の位置から被写体１４までの距離に対する被写体１４の視差の値は、カメラの基線長から被写体までの距離と、カメラの機構である基線長の大きさと、画角θで一意的に決まる。

　例えば、カメラ１２とカメラ１３の基線長から、被写体１４までの距離をＬｎ、背景１５までの距離をＬｆ、撮影画像における被写体１４の視差をＤｎとすると、式（１）の相似関係が得られる。

　（Ｌｆ－Ｌｎ）：　Ｌｎ＝Ｄｎ：Ｔ　・・・（１）
　式（１）より、視差Ｄｎは式（２）で求められる。

　Ｄｎ＝Ｔ×（Ｌｆ－Ｌｎ）／Ｌｎ　　・・・（２）
　図４は、図３の平行法による配置でカメラ１２とカメラ１３で撮影した場合の、撮影画像の一例である。図４（ａ）がカメラ１２で撮影した左目用画像データ２０であり、図４（ｂ）がカメラ１３で撮影した右目用画像データ２１である。ここで、左目用画像データ２０の左端から被写体１４までの距離をｄ２ｎＬ、右目用画像データ２１の左端から被写体１４までの距離をｄ２ｎＲとする場合、このときの最小視差はｄ２ｎＲ－ｄ２ｎＬであり、このｄ２ｎＲ－ｄ２ｎＬの絶対値は、式（２）のＤｎの値と同じ値となる。この視差の絶対値が大きくなると、立体視の際に眼精疲労を生じたり、２重に見えて立体視できなくなったりする。

　また、図３において、例えば、被写体１４を被写体２２の位置まで動かすと、カメラに近くなりすぎて、被写体２２が、撮影範囲１８と、撮影範囲１９からはみ出してしまい、左右の目に提示する画像において対応する点が表示できなくなり、その結果、立体視ができなくなる。これを避けるため、カメラの取扱い説明書等には、カメラ固有の推奨撮影距離が記載されていることが一般的であり、この取扱い説明書等に記載されているカメラ固有の推奨撮影距離に被写体を設置した場合の視差の値を最小視差とする。

　また、立体視可能な視差の大きさには個人差はあるため、ユーザがあらかじめ、自分自身にあった推奨撮影距離を、カメラに入力しておいてもよい。カメラ側ではその値を、ユーザ個別の第１の最小視差としていつでも第１の最小視差として出力できるように、カメラの記憶領域に記憶しておいてもよい。

　続いて、交差法撮影の場合における第１の視差情報の求め方について説明する。
　図５は、交差法での立体撮影について説明する図である。図５のカメラの構成は、図３で説明した構成に対し、カメラ１３を水平に傾けただけの構成である。カメラ１２とカメラ１３は、図３同様、光軸は垂直方向に平行であるが、水平方向は、図３の場合と異なり、光軸１６と光軸１７が交差するように設置されている。光軸１６と光軸１７が交差する点を輻輳点２３とする。次に、特徴点２４における視差の求め方について説明する。ここで、特徴点２４は、光軸１６上に位置し、この特徴点２４を通り、光軸１７と直角に交わる線分を線分２５とし、そのカメラ１３の撮影範囲の長さをＷとする。また、線分２５と光軸１７が交わる点を点２６とする。更に、図５に図示するように、線分２５上における特徴点２４の位置は、点２６からＷｄ０離れた位置とする。ここで、線分２５の長さＷに対するＷｄ０の割合の値は、右目用画像において、右目用画像を表示するディスプレイの水平方向の表示サイズＨに対する、右目用画像の中心点から特徴点２４までの距離Ｈｄの割合の値と等しく、式（３）で表せる。

　Ｗｄ０／Ｗ＝Ｈｄ／Ｈ・・・（３）
　特徴点２４は光軸１６上に位置することから、左目用画像における特徴点２４の位置は、左目用画像の中心位置となる。よって、特徴点２４の視差はＨｄとなる。ここで、カメラ１２から特徴点２４までの距離をＬ、カメラ１２から輻輳点２３までの距離をＬｏ、カメラ１３から線分２５までの距離をＡ、輻輳点２３と点２６までの距離をＡ１、輻輳点２３とカメラ１３までの距離をＡ２とする。また、カメラ１２の中心を点２７、カメラ１３の中心を点２８、線分２５の右端の点を点２９とすると、点２６と、点２８、点２９が形成する三角形に注目して、式（４）の関係が得られる。

　ｔａｎ (θ／２)＝Ｗ／（２×Ａ）・・・（４）
　式（４）より、線分２５の長さＷは、式（５）で求められる。

　Ｗ＝２×Ａ×ｔａｎ (θ／２)・・・（５）
　光軸１６と光軸１７が交差する角度をアルファとすると、輻輳点２３と、特徴点２４、点２６が形成する三角形に注目して、式（６）の関係が得られる。

　Ａ１＝（Ｌ－Ｌｏ）×ｃｏｓα・・・（６）
　Ｗｄ０＝（Ｌ－Ｌｏ）×ｓｉｎα・・・（７）
　また、輻輳点２３と、点２７、点２８が形成する三角形に注目して、式（８）及び式（９）の関係が得られる。

　Ａ２＝Ｔ／ｓｉｎα・・・（８）
　Ｌｏ＝Ｔ／ｔａｎα・・・（９）
　ここで、Ａ＝Ａ１＋Ａ２と式（５）、式（６）、式（８）、式（９）より、線分２５の長さＷは、式（１０）のようになる。

　Ｗ＝２×（（Ｌ－Ｔ／ｔａｎα）×ｃｏｓα＋Ｔ／ｓｉｎα）×ｔａｎ (θ／２)・・・（１０）
　式（３）と式（１０）より、視差Ｈｄは、式（１１）となる。

　Ｈｄ＝Ｈ×（Ｌ－Ｔ／ｔａｎα）×ｓｉｎα／｛Ｌ×ｃｏｓα×２×ｔａｎ (θ／２)｝・・・（１１）
　ここで、交差法において、輻輳点より、特徴点２４は遠ざかれば、遠ざかるほど視差Ｈｄは大きくなるため、Ｌを無限大とすると、視差Ｈｄの最大値Ｈｄｍａｘが求められる。式（１１）より、Ｌを無限大として近似すると、Ｌに比べ、Ｔ／ｔａｎαは無視できるため、Ｈｄｍａｘは、式（１２）となる。

　Ｈｄｍａｘ＝Ｈ×ｔａｎα／｛２×ｔａｎ (θ／２)｝・・・（１２）
　以上より、交差法における視差の最大値は、式(１２)の値として近似することができ、この値は、表示するディスプレイサイズと、カメラの画角と、光軸の交差する角度で決まり、このときの視差の最大値を第１の視差情報における最大視差として出力する。

　また、最大視差と同じく第１の視差情報を構成する最小視差は、平行法と交差法でも同じく、カメラの取扱い説明書等に記載のカメラ固有の推奨撮影距離に被写体を設置した場合の視差の値とする。

　また、平行法の場合と同様に、立体視可能な視差の大きさには個人差はあるため、ユーザがあらかじめ、自分自身にあった推奨撮影距離を、カメラに入力しておいてもよい。カメラ側ではその値を、ユーザ個別の第１の最小視差としていつでも第１の最小視差として出力できるように、カメラの記憶領域に記憶しておいてもよい。

　次に、前記第２の視差情報について説明する。第２の視差情報は、カメラから最も近い位置である最近点における視差である第２の最小視差と、カメラから最も遠い位置である最遠点における視差である第２の最大視差から構成されている。これらの第２の最小視差と最大視差は、ステレオマッチング法を用いて対応点を検索することにより、画面中で、最もカメラの近い位置にある最近点の被写体の視差を第２の最小視差として、最もカメラと離れた位置にある最遠点の被写体の視差を第２の最大視差として、それぞれ求める。

　ここで、ステレオマッチング法とは、左右に配置された２台のカメラで撮影された２枚１組の画像を用いて、左のカメラで撮影された画像が、右のカメラで撮影された画像のどの部分に対応するかを面積相関の計算により求め、その対応関係を使った三角測量により、各点の３次元的位置を推測する方法である。また、ステレオマッチング以外の方法として、ユーザが、画像内で対応点を探し、最近点と最遠点にある被写体の視差を入力してもよい。

　以上のように、撮影に使用するカメラ固有の向きや配置、レンズの画角情報等のカメラ機構情報から幾何学的計算により求められた、物理的な視差範囲である第１の視差情報と、ステレオマッチングやユーザの手入力等により算出された実際の視差範囲である第２の視差情報を算出し、出力し、記録や伝送することにより、大画面で表示を行う際に、ステレオマッチング等で誤差が発生した場合でも、快適で、かつ、安全な視差範囲での表示を行うことができる。

　図６は、本発明の第１の実施の形態による立体画像データ作成装置１の動作についてのフローチャート図であり、これに沿って動作の説明をする。ここで、図１の立体画像データ作成装置１は、その前段に、図示しない撮像手段を備えている。撮像手段の一例として、少なくとも２台以上の複数のカメラ、もしくは、ステレオアダプターや、大口径レンズや、全方位が撮影できる特殊レンズのついた１台のカメラ、もしくは、１台のカメラを水平にスライドさせる方式などがあげられる。

　図６のステップＳ１において、立体画像データ作成装置１の電源がＯＮにされ、ステップＳ２に進む。ステップＳ２において、立体画像データ作成装置１の外部に接続されている図示しないカメラから、視差算出手段２に前記カメラで撮影した左目用画像データと、右目用画像データと、カメラの基線長や、画角、輻輳角の情報を含むカメラ機構情報が入力される。ここで、左目用画像データと、右目用画像データは、連続するフレームから構成される画像データとして、１フレーム毎に視差算出手段２に入力される。

　図７は、本発明の第１の実施の形態による立体画像データ作成装置の視差算出手段の概略構成を示すブロック図である。図７において、視差算出手段２は、入力されたカメラ機構情報から第１の視差情報を作成する機構視差算出手段３０と、入力された左目用画像データと右目用画像データから、第２の視差情報を作成するステレオマッチング手段３１と、画像全体に対して視差ずらしを行った際に、第１の視差情報と、第２の視差情報の視差を視差ずらしした量だけ修正する視差修正手段３２と、視差ずらしした位置で、左目用画像データと右目用画像データをそれぞれ切り出す画像切り出し手段３３から構成されている。ここで、ステレオマッチング手段３１に、外部からユーザの入力を受け付ける図示しないユーザ入力手段を設けても良い。ユーザ入力手段では、例えば、ユーザに左目画像データと、右目用画像データを提示することにより、ユーザが画像内で最近点と最遠点の対応点を探し、そのときの視差を第２の最小視差と第２の最大視差として入力するようにしてもかまわない。

　ステップＳ３では、入力されたカメラ機構情報から、視差算出手段２内部の機構視差算出手段３０により、図３から図５を用いて説明した第１の視差情報の求め方に準じた方法で第１の視差情報を作成する。

　判定ステップＳ４では、視差算出手段２内部のステレオマッチング手段３１にユーザ入力手段により、ユーザから手入力で第２の視差情報が入力されたか否かを判定し、入力された場合は、ステップＳ６へ進み、そうでない場合はステップＳ５に進む。

　ステップＳ５では、ステレオマッチング手段３１に入力された左目用画像データと、右目用画像データを用いて、前記ステレオマッチング法により、第２の視差情報を作成する。

　ステップＳ６では、機構視差算出手段３０から出力された第１の視差情報とステレオマッチング手段３１から出力された第２の視差情報が視差修正手段３２に入力される。

　判定ステップＳ７において、視差修正手段３２に入力された第１の視差情報と、第２の視差情報を参照し、視差ずらしを行うか否かを判定し、視差ずらしを行う場合は、ステップＳ８に進み、そうでない場合はステップＳ１０に進む。

　ここで、視差ずらしについて説明する。立体表示する場合、通常、同じ大きさの左目用画像データと右目用画像データを、フレームシーケンシャル方式の場合であれば同じ位置に表示されるように、視差バリアでは、縦にピクセル単位またはサブピクセル単位で、左右の画像が交互に並ぶように表示する。この際、左右の画像のうち、少なくとも一方をそれぞれ、本来の表示位置に対して、画面全体を左右のどちらか一方向に一様にずらしていくことにより、左右の画像の対応点の視差を変化させることを、視差ずらしという。視差ずらしを行うか否かは、ユーザが選択してもよい。例えば、視差ずらしのない状態で、画像を立体表示させて、ユーザが、好みの視差となるように画像をずらしてもよい。

　また、第１の視差情報の第１の最大視差情報と第１の最小視差情報と、第２の視差情報の第２の最大視差情報と第２の最小視差情報の４つの視差情報のうち、少なくとも１つの視差情報を選択し、選択した視差の情報の絶対値が所定の値よりも大きいと判断した場合に、選択した視差の情報の絶対値が所定の値よりも小さくなるように視差ずらしを行う様にしても良い。

　また、前記４つの視差情報のうち、全ての被写体がディスプレイ面よりも手前に飛び出しているか、または、奥に引っ込んでいるかを判定し、全ての被写体が飛び出しまたは奥に引っ込んでいる場合には、飛び出した被写体と奥に引っ込んでいる被写体の両方を含む画像となるように視差ずらしを行ってもよい。例えば、平行法で撮影した場合は、無限遠にある背景がディスプレイ面に、背景よりも前にあるすべての被写体がディスプレイ面よりも手前に飛び出して表示される。この際、背景よりも前にあるすべての被写体の視差が小さくなる方向に、画面全体を一様にずらしてもよい。

　ステップＳ８では、図７の視差修正手段３２により、入力された第１の視差情報と、第２の視差情報に対して、ずらした分の視差量を、第１の視差情報と、第２の視差情報からそれぞれ引くことにより修正して作成した第１の視差情報と、第２の視差情報を、新たな第１の視差情報と、第２の視差情報として修正し、図１の３Ｄ情報作成手段３に第１の視差情報と第２の視差情報と視点情報を出力し、画像切り出し手段３３に修正された視差量を出力する。

　ステップＳ９では、図７の画像切り出し手段３３により、視差修正手段３２からの修正された視差量を用い、左目用画像データもしくは右目用画像データの位置をずらし、左目用画像データと右目用画像データの左右端それぞれの対応点がなくなった領域を切りとり、画像の切り出しを行っている。このときの視差ずらしの様子を図８と図９を用いて詳細に説明する。

　図８は、視差ずらしを行う前の左目用画像データと、右目用画像データの一例である。図８（ａ）は、左目用画像データの例である。左目用画像データ３４において、立体表示を行った際に、ディスプレイ面よりも最も前に飛び出す被写体３５と、ディスプレイ面より最も奥に引っ込んでみえる被写体３６である。一方、図８（ｂ）は、右目用画像データの例である。右目用画像データ３７において、被写体３５に対応する被写体は被写体３８となり、また、被写体３６に対応する被写体は被写体３９となる。ここで、被写体３５と被写体３８の間の視差をＤｎ１とし、被写体３６と被写体３９の間の視差をＤｆ１とする。

　次に、左目用画像データ、もしくは、右目用画像データのいずれかを画面全体を一様にずらすことにより、視差を変更する方式について説明する。尚、一般的に、右画像用データに対して、左目用画像データの表示位置を左にずらして、立体表示をする場合は、全体として、全ての被写体が視差ずらしを行う前よりも奥に表示され、左目用画像データの表示位置を右にずらして、立体表示をする場合は、全体として、全ての被写体が視差ずらしを行う前よりも手前に表示される。

　図９は、視差ずらしを行った後の左目用画像データと、右目用画像データの一例である。ここで、例えば、左目用画像データ３４の被写体３５の視差を０にするために、左目用画像データ３４を左にＤｎ１だけずらした場合、被写体３５と被写体３８の間の視差Ｄｎ２は０となり、被写体３６と被写体３９の間の視差をＤｆ２は、Ｄｆ１＋Ｄｎ１となり、被写体３５はディスプレイ面に、被写体３６は、視差ずらしを行う前よりもさらに奥に引っ込んだ位置に表示される。

　ここで、左目用画像データをＤｎ１だけ左にずらすことにより、左目用画像データ３４の太枠で囲んだ領域４０と右目用画像データ３７の太枠で囲んだ領域４１とは、それぞれ対応点がない領域が発生する。このとき、それぞれはみ出した領域４０と領域４１の画像は対応点がなくなるため切り取られる。表示の際は、切り取られた分だけ、水平方向の表示領域を狭めて表示する。このようにして視差ずらしを行うことにより、視差調整を行う方法が一般的であるが、視差調整した場合は、第１の視差情報や、第２の視差情報の値が視差ずらしを行った分だけ修正される。

　上記では、切り取った結果左右画像が、立体表示するディスプレイの表示サイズよりも小さくなる場合について説明したが、あらかじめ、カメラのＣＣＤを実際に表示する画像よりも大きめにしておき、視差の調整を行っても、立体表示するディスプレイの表示サイズより小さくならないようにしてもよい。この場合は画面をずらすのではなく、左右画像の位置をそれぞれずらして切り出すことにより、視差ずらしを行っても良い。

　ステップＳ１０では、図７の画像切り出し手段３３により切り出された左目用画像データと右目用画像データを図１の３Ｄ情報作成手段３に向けて出力し、ステップＳ１１に進む。ここで、画像切り出し手段３３は、上記では、左右の目用の画像を個別に出力する場合について述べたが、一般にサイドバイサイド方式と呼ばれる、左右の目用の画像を水平に並べた一枚の画像や、トップアンドボトム方式と呼ばれる、左右の目用の画像を上下に並べた一枚の画像を作成し、出力してもよい。

　ステップＳ１１では、図１の３Ｄ情報作成手段３により、視差算出手段２から出力された第１の視差情報と、第２の視差情報と、視点情報等を用いて、３Ｄ情報を作成する。この３Ｄ情報は、多重化手段５に出力される。ここで、前記３Ｄ情報について説明する。

　図１０は、３Ｄ情報の一例を示す図である。３Ｄ情報は、第１の最大視差と、第２の最大視差と、第１の最小視差と、第２の最小視差を含んでいる。また、３Ｄ情報に含まれる他の情報として、第１の最大視差と、第２の最大視差と、第１の最小視差と、第２の最小視差の対象となる視点画像の組み合わせを示す視差対象画像情報や、第１の最大視差と、第２の最大視差と、第１の最小視差と、第２の最小視差の単位を示す視差単位情報や、立体表示する際に、どのサイズのディスプレイで立体表示を行うかを示す想定ディスプレイサイズなどを含んでもよい。このとき、視差単位情報は、第１の最大視差と、第２の最大視差と、第１の最小視差と、第２の最小視差のそれぞれの視差毎に別々の視差単位情報を用いても良いし、全て同じ単位情報に統一して３Ｄ情報を作成してもよい。

　また、想定ディスプレイサイズは外部から別途３Ｄ情報作成手段３にユーザが入力してもよいし、カメラ機構情報の一部として、カメラから３Ｄ情報作成手段３に入力するようにしてもよい。ここで、視差対象画像情報は、左右の２視点の画像を記録する際は不要だが、３視点以上の画像を取り扱う場合に、必要となる情報である。視差は、２つの視点の画像から求めるため、３視点以上の画像のどの２つの視点画像により算出された視差であるかを指定する必要がある。

　また、ここで、視差単位情報について説明する。視差単位情報とは、第１及び第２の最大視差と、第１及び第２の最小視差の大きさを記録した際に使用した単位を示す情報である。第１及び第２の最大視差と、第１及び第２の最小視差の大きさを、画素単位で取り扱ってもよいし、「ｍｍ」或いは「ｃｍ」などの絶対的な単位で取り扱ってもよいし、画面の水平幅に対するパーセンテージで取り扱っても構わない。例えば、視差単位情報が、０の場合は画素単位であり、１の場合は「ｍｍ」或いは「ｃｍ」などの絶対的な単位であり、２の場合は画面の水平幅に対するパーセンテージとなるようにしてもよい。

　図１０では、視差単位情報と、第１及び第２の最大視差と、第１及び第２の最小視差を１つのセットとして、３Ｄ情報に挿入しているが、これらのセットを複数含んだ３Ｄ情報にしてもよい。

　上記のように複数のセットを含む構成にした場合、使用状況に応じて、視差単位情報のセットの使い分けをすることができる。例えば、画素ピッチが分からない場合や、縮小拡大表示等のドットバイドット表示を行わない場合などは、画面の水平幅に対するパーセンテージで表現された視差情報を使用する。また、表示側で視差ずらしを行うときなど、画素単位で視差を取り扱うのが簡易な場合は、画素単位の視差情報を使用する。また、奥行き方向に立体表示される視差が、人間の両眼瞳孔間間隔の幅を超えていないことを確認する場合などは、絶対値で視差を取り扱う方が望ましい。

　以上のように、３Ｄ情報に視差単位情報が複数セット含む構成にした場合、再生側で視差の単位を変換することなく、望みの単位の視差情報を取得することができるため大変便利である。

　ステップＳ１２では、図１の視差算出手段２から入力された左目用画像データと右目用画像データを用いて、画像圧縮符号化手段４により前記画像の圧縮と符号化を行い、圧縮画像データを作成する。ここで、視差算出手段２から入力される画像は、左右個別であってもよいし、サイドバイサイド方式と呼ばれる、左右の目用の画像を水平に並べた一枚の画像、或いはトップアンドボトム方式と呼ばれる、左右の目用の画像を上下に並べた一枚の画像であっても構わない。また、ここで、画像圧縮符号化方式としては、静止画像に対しては、ＪＰＥＧ、ＪＰＥＧ２０００等の国際標準方式を採用し、動画像に対しては、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４ＡＶＣ等の国際標準方式を用いるものとする。動画像の符号化として、フレーム内符号化のみを用いる場合は、Ｍｏｔｉｏｎ　ＪＰＥＧ等の方式を用いてもよい。画像圧縮符号化方式としては、上記に限らず非標準の方式を用いてもよい。

　ステップＳ１３では、図１の多重化手段５により、多重化データを作成する。多重化手段５では、入力された３Ｄ情報作成手段３により作成された３Ｄ情報と画像圧縮手段４により作成された圧縮画像データとを用い、所定のフォーマットに変換して多重化データを作成し、出力する。尚、図示していないが、音声や音楽を多重化する場合は、それらのデータも多重化手段５にて多重化される。また、ここで、多重化手段５の出力先には、ＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮやモデムなどの通信デバイスが接続される。ここでは、多重化手段５にＩＣメモリが接続されているものとする。

　以下に、ＩＣメモリに多重化データを記録する場合の記録フォーマットについて説明する。一般にＩＣメモリを記録媒体に使用する場合には、ＩＣメモリ上にＦＡＴ（Ｆｉｌｅ　Ａｌｌｏｃａｔｉｏｎ　Ｔａｂｌｅ）などのファイルシステムが構築され、データはファイルとして記録される。ここで使用するファイル形式は、既存の形式を使用してもよいし、新規に定めた独自の形式を使用してもよい。

　図１１は、多重化データを記録するファイル形式を示す図である。図１１では、データは図の上から下に向かう順にファイルに記録されるものとする。図１１（ａ）は既存の形式を使用した場合であり、図１１（ｂ）は新規の形式を用いた場合である。図１１（ａ）の既存の形式を使用する場合、３Ｄ情報は、ファイルヘッダを拡張するために設けられている拡張ヘッダの領域に記録される。既存のファイルヘッダの一部として記録され、この場合には、一般に使用されている拡張子をそのまま使用する。例えば、ＪＰＥＧファイルの場合、一般に．ｊｐｇという拡張子を用いる。こうすることで、３次元画像の表示機能を持たない従来の再生装置でも既存の形式のファイルとして認識し、２次元画像として表示することができる。

　一方、図１１（ｂ）のように新規の形式を使用する場合には、３Ｄ情報をファイルの先頭に記録する。更に、新規の形式のファイルであることがわかるように、既存形式のファイルと区別することのできるユニークな拡張子をつける。尚、図１１（ａ）、（ｂ）に記載されている管理情報は作成日や作成者など、３次元画像と直接関係ない情報の記録に使用するものとする。

　図１２は、多重化データを記録する際に、既存のファイル形式を用いた場合の一例を示す図である。既存のファイル形式として、図１１（ａ）に示す既存形式を使用した場合の、左右画像の格納の仕方について説明する。

　図１２（ａ）には、図１１（ａ）の画像データの領域に、左目用画像データと右目用画像データが１つに結合された画像データとして記録する例を示した。また、図１２（ｂ）には、左右の２つの画像データを別々のファイルとして記録する例を示した。
　更に図１２（ｃ）には、図１２（ｂ）の２つのファイルを１つのファイルとして記録する例を示した。このとき、ファイルヘッダは、左右それぞれで存在している。尚、図１１（ａ）の既存のファイル形式の変形にはなるが、図１２（ｄ）のようにファイルヘッダをひとつに共通化しても良い。

　尚、図１２（ｂ）のように左右の２つの画像データを別々のファイルとして記録する際、これら２つのファイルがひとつの３Ｄ画像を形成する左右の目用の画像データの組であることを示すために、これらのファイル専用のフォルダを作成し、そのフォルダ内に２つのファイルを格納して管理するようにしてもよい。また、これら２つのファイルがひとつの３Ｄ画像を形成する左右の目用の画像データの組であることを示すために、それぞれのファイル名に所定の命名規則を用いてもよい。例えば、ある３Ｄ画像１の左目用と右目用の画像データのファイル名をそれぞれ、“３Ｄ画像１左．ｊｐｇ”、“３Ｄ画像１右．ｊｐｇ”とし、別の３Ｄ画像２の左目用と右目用の画像データのファイル名をそれぞれ、“３Ｄ画像２左．ｊｐｇ”、“３Ｄ画像２右．ｊｐｇ”とすることにより、３Ｄ画像１と３Ｄ画像２用のファイルの組をファイル名により区別するようにしてもよい。更には、これら２つのファイルがひとつの３Ｄ画像を形成する左右の画像データの組であることを示すための管理情報を別ファイルとして作成してもよい。例えば、これら２つのファイル名を記述したファイルを、３Ｄ管理情報ファイルとして作成してもよい。また、この３Ｄ管理情報ファイルは、ＰＣ上で使われている“ＲＡＭ”や“ＡＳＸ”などといったようなメタファイル内に、これら２つのファイル名を記述して作成してもよい。更には、左右の２つのファイルと、上記で説明した共通３Ｄ情報ファイルや、３Ｄ管理情報ファイルのうち少なくともひとつを、これらのファイルの専用のフォルダとして作成したフォルダにおいて扱うようにしてもよい。

　図１３は、多重化データを記録する際に、新規のファイル形式を用いた場合の一例を示す図である。図１２（ｃ）及び図１２（ｄ）のように３Ｄ画像を形成する左右の目用の画像データの組を一つのファイルにする際に、それぞれの画像データの３Ｄ情報を、共通化できる情報と、共通化できない個別の情報に分け、共通化できる部分だけを共通３Ｄ情報の格納領域に格納し、個別の情報は、左右の目用の画像データの３Ｄ情報の格納領域に格納する。図１３（ａ）は、図１２（ｃ）の３Ｄ情報の共通情報と個別情報を別領域に格納する場合のファイルフォーマットである。また、図１３（ｂ）は、図１２（ｄ）の３Ｄ情報の共通情報と個別情報を別領域に格納する場合のファイルフォーマットである。

　また、静止画で記録する場合のファイルフォーマットとして、ＣＩＰＡ規格「CIPA DC-006　デジタルスチルカメラ用ステレオ静止画像フォーマット」や、「CIPA DC-007　マルチピクチャフォーマット」に対して、３Ｄ情報を挿入してもよい。
　尚、左右画像の配置順やファイルへの格納順が固定の場合について説明したが、これらの順番は可変であってもよい。可変の場合には、順番の情報を３Ｄ情報に記録してもよい。

　図６の判定ステップＳ１４では、立体画像データ作成装置１に入力された左目用画像データと右目用画像データが最後のフレームのデータか否かを判定し、最後のフレームであれば、ステップＳ１５に進み、そうでなければステップＳ２に戻る。
　ステップＳ１５において、立体画像データ作成装置１は画像データの入力がないため、処理を終了する。

　以上のようにして、立体画像データ作成装置１は、立体画像データとして、第１の最大視差と、第１の最小視差から成る第１の視差情報と、第２の最大視差と、第２の最小視差から成る第２の視差情報を含む３Ｄ情報と圧縮画像データを含む多重化データを作成することにより、カメラの機構的な情報から求まる限界の最大視差の情報となるような第１の視差情報と、実際に発生している第２の視差情報を含んだ多重化データを作成することができる。

　また、上記では、３Ｄ情報と、画像圧縮符号化手段４で作成した圧縮画像データを多重化する例を示したが、画像圧縮符号化手段４を省略し、入力された左目用画像データと右目用画像データに対して圧縮を行わず、そのまま用いた無圧縮の画像データと、３Ｄ情報を多重化しても構わない。また、上記では、第１の最大視差と、第２の最大視差、第１の最小視差と、第２の最小視差のすべてを記録する場合について説明したが、これらの視差のうち、少なくとも一つ以上の最大視差、または最小視差のみを記録してもよい。

　また、上記では、第１の最大視差と、第２の最大視差、第１の最小視差と、第２の最小視差のそれぞれについて、値が３Ｄ情報内に記録されているか否かを示す視差記録可否フラグを、３Ｄ情報内に記録してもかまわない。このとき、第１の最大視差と、第２の最大視差、第１の最小視差と、第２の最小視差のうち、前記視差記録可否フラグの値により、その値が３Ｄ情報内に記録されていると設定されている視差のみが、３Ｄ情報内に記録される。

　続いて、立体画像データ作成装置１で作成した画像データを３次元画像として立体表示するための再生装置について説明する。

　図１４は、本発明の第１の実施の形態による立体画像データ再生装置の概略構成を示すブロック図である。図１４において、立体画像データ再生装置１００は、多重化データを分離する逆多重化手段１０１、３Ｄ情報を解析する３Ｄ情報解析手段１０２、圧縮符号化された圧縮画像データを復号する画像復号手段１０３、３Ｄ情報解析手段１０２と画像復号手段１０３からの入力データにより３次元映像を生成する立体強度変換手段１０４から構成される。以上のように構成された立体画像データ再生装置１００について、その動作を説明する。

　逆多重化手段１０１は、記録デバイスや通信デバイスから所定のフォーマットに多重化された多重化データを読み込み、圧縮画像データと３Ｄ情報に分離する。図１４には図示していないが、音声や音楽が多重化されている場合は、それらのデータも逆多重化手段１０１にて分離される。ここでは、逆多重化手段１０１にＩＣメモリが接続されているものとする。前述したように、ＩＣメモリには画像ファイルが既存形式あるいは新規形式で記録される。既存形式と新規形式の区別は、ファイルの拡張子によって行うことができるので、再生するファイルが図１１（ａ）に示す既存形式のファイルの場合、ファイルヘッダの拡張領域から３Ｄ情報を読み出す。また図１１（ｂ）に示す新規形式の場合には、ファイルの先頭から３Ｄ情報を読み出す。

　３Ｄ情報解析手段１０２は、３Ｄ情報を解析し、視差対象画像情報や、視差単位情報、第１の最大視差、第２の最大視差、第１の最小視差、第２の最小視差、想定ディスプレイサイズの設定値を抽出し、立体強度変換手段１０４に出力する。

　画像復号手段１０３は、入力された圧縮画像データを復号し、復号された画像データを立体強度変換手段１０４に出力する。

　立体強度変換手段１０４は、視差対象画像情報や、視差単位情報、第１の最大視差、第２の最大視差、第１の最小視差、第２の最小視差、想定ディスプレイサイズと、復号された画像データを入力とし、視差対象画像情報や、視差単位情報、第１の最大視差、第２の最大視差、第１の最小視差、第２の最小視差、想定ディスプレイサイズを用いて、復号された画像データに対して視差の調整を行った３次元映像を作成し、外部の表示装置へ出力する。

　このときの立体強度変換手段１０４における視差の調整について詳細に説明する。

　カメラの機構的な情報から求まる第１の視差情報と、ステレオマッチングなどにより、実際に発生している第２の視差情報を用いて視差の調整を行ってもよい。

　例えば、第１の最大視差と第２の最大視差を比べ、第１の最大視差による立体映像の呈示位置よりも奥となるような第２の最大視差である場合は、第２の最大視差を不適と判断し、第２の最大視差を用いずに第１の最大視差を用いる。この第１の最大視差と、想定ディスプレイサイズと視差単位情報から、第１の最大視差の大きさを求め、この値が人間の目の幅を超えないように、視差を調整する。このときの人間の目の幅は、非特許文献１に記載されているように幼児の目の幅を考慮して５ｃｍとする。

　また、第１の最小視差と第２の最小視差を比べ、第１の最小視差による立体映像の呈示位置よりも手前となるような第２の最小視差である場合は、被写体の位置が、カメラの取扱い説明書等にあるカメラ固有の推奨撮影距離よりも手前にあることを示すため、立体強度変換手段１０４は、この画像を立体視することは不適であると判定し、第２の最小視差が、第１の最小視差よりも大きくなるように、画面全体を左右にずらす視差ずらしによる視差調整を行ってもよいし、立体映像を縮小表示することにより、視差調整を行ってもよいし、立体表示をやめ、２Ｄで表示してもよいし、片目の画像を用いて２Ｄ－３Ｄ変換を行って立体表示してもよい。

　また、前記第１の最大視差と、前記第２の最大視差の大きさを比較し、前記第２の最大視差が、前記第１の最大視差よりも小さい場合に、前記第２の最大視差の値に基づいて、視差の調整を行ってもよい。

　また、前記第１の最小視差と、前記第２の最小視差の大きさを比較し、前記第２の最小視差が、前記第１の最小視差よりも大きい場合に、前記第２の最小視差の値に基づいて、視差の調整を行ってもよい。

　また、上記の視差調整の際、想定ディスプレイサイズで計算したが、表示するディスプレイのサイズが、想定ディスプレイサイズと異なる場合は、ユーザの手入力や、機器間で通信するなどして、表示するディスプレイのサイズを、立体画像データ再生装置１００に外部から入力し、入力された表示するディスプレイのサイズを用いて、視差を求めてもよい。尚、このときの視距離は、想定ディスプレイサイズや、実際に表示するディスプレイのサイズの高さの３倍で見ることを想定する。

　また、上記では、第１の最大視差と、第２の最大視差、第１の最小視差と、第２の最小視差のすべてを用いて、視差の調整を行う場合について説明したが、これらの視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて、視差の調整を行ってもよい。さらにまた、３Ｄ情報内に、第１の最大視差と、第２の最大視差、第１の最小視差と、第２の最小視差のすべてが記録されていない場合は、記録されている視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて、視差の調整を行ってもよい。

　なお、上記において、逆多重化手段１０１に入力された多重化データが、３Ｄ情報と、無圧縮の画像データから構成されている場合、画像復号手段１０３は、特に復号処理を行わず、入力された無圧縮の画像データを、そのまま、復号された画像データの代わりとして出力すればよい。以上のようにして、本発明の第１の実施形態による、立体画像データ作成装置１と、立体画像データ再生装置１００で構成されたシステムにより、第１の視差情報と、第２の視差情報を用いて、適切な視差調整を行うことにより、より安全で快適な立体表示を実現することができる。また、上記の実施の形態では、視点数が２の場合について述べたが、本発明は視点数が３以上のいわゆる多視点の場合についても適用可能である。

　次に、本発明の第２の実施の形態として、立体画像データ作成装置に入力される画像の数がｎ視点以上（ｎは３以上の整数）の場合について説明する。

　図１５は、本発明の第２の実施の形態による立体画像データ作成装置の概略構成を示すブロック図である。図１５において、立体画像データ作成装置２００は、視差算出手段２０１と、３Ｄ情報作成手段３と、画像圧縮符号化手段４と多重化手段２０２とを有して構成される。視差算出手段２０１は、カメラ機構情報と、ｎ視点の画像データを入力とし、前記カメラ機構情報から幾何学的計算により求める第１の視差情報と、ｎ視点の画像データから２視点の画像データを選択し、選択した２視点の画像データを用いて対応点検索を行い、算出した第２の視差情報と、どの視点の画像から視差を算出したかを示す視差算出視点情報と、ｎ視点の画像データを出力する。３Ｄ情報作成手段３は、視差算出視点情報と、第１の視差情報と、第２の視差情報を入力とし、入力された視差算出視点情報と、第１の視差情報と、第２の視差情報から３Ｄ情報を作成し、出力する。画像圧縮符号化手段４は、ｎ視点の画像データを入力とし、入力されたｎ視点の画像データに対して圧縮符号化を行い、圧縮画像データを作成し、出力する。多重化手段２０２は、３Ｄ情報作成手段３で作成された３Ｄ情報と画像圧縮符号化手段４で作成された圧縮画像データを入力とし、入力された３Ｄ情報と圧縮画像データを多重化し、多重化データを作成し、出力する。

　立体画像データ作成装置２００を構成する各手段のうち、３Ｄ情報作成手段３と画像圧縮符号化手段４については、第１の実施の形態と同様であるので、ここでの説明は省略し、視差算出手段２０１と多重化手段２０２の動作についてそれぞれ説明する。

　まず、視差算出手段２０１について説明する。

　図１６は、本発明の第２の実施の形態による立体画像データ作成装置の視差算出手段の概略構成を示すブロック図である。図１６において、視差算出手段２０１は、機構視差算出手段３０と、画像選択手段２０４と、ステレオマッチング手段３１と、視差修正手段３２と、画像切り出し手段２０５を有して構成される。図１６の視差算出手段２０１は、図７の視差算出手段２をｎ視点の画像の入力に拡張した手段である。視差算出手段２０１を構成する各手段のうち、機構視差算出手段３０、ステレオマッチング手段３１、視差修正手段３２については、第１の実施の形態と同様であるので、ここでの説明は省略する。

　まず、ｎ視点の画像データが画像選択手段２０４に入力され、画像選択手段２０４は、入力されたｎ視点の画像データから２視点の画像データを選択して出力する。このとき、選択する２視点の画像データは、カメラ機構情報と整合性のとれる視点の組み合わせとなる画像を選択する。例えば、カメラ機構情報が隣り合う視点のカメラによる情報であれば、その情報に対応した視点のカメラの組み合わせのうち、いずれかより選択するようにしてもよい。このとき、視差算出手段２０１は、選択した視点画像データについての情報を、視差算出視点情報として、３Ｄ作成情報手段３に出力する。また、ここで、画像選択手段２０４は、上記カメラ機構情報と整合性のとれる視点の組みあわせが複数ある場合、複数選択してもよい。その場合、複数の組み合わせそれぞれに対して、ステレオマッチング手段３１は視差を求め、そのうちで、最も大きい視差を出力するようにしてもよい。

　次に画像切り出し手段２０５について説明する。ｎ視点の画像データが画像切り出し手段２０５に入力され、画像切り出し手段２０５は、入力されたｎ視点の画像データに対して、視差修正手段３２の指定する視差量分、視差ずらしを行った後、それぞれ画像を切り出したものを、ｎ視点の画像データとして出力する。このとき、視差ずらしの際、ｎ視点の視点画像データの隣り合う組み合わせのそれぞれで同じだけのずらし量となるように、ｎ視点の視点画像データすべてに対して、同じ量だけ視差が変化するように画像を切り出してもよいし、視差算出視点情報で示す２つの視点画像データの組み合わせでのみ視差ずらしを行うようにしてもよい。

　図１７は、立体画像データ作成装置２００が作成するｎ視点の視点画像データから作成した多重化データを記録するファイル形式の一例を示す図である。ここで、視点画像情報は、１つの視点画像データに関する情報であり、ファイルヘッダと、各視点画像データから抽出した３Ｄ情報と、各視点画像データに関する管理情報と、視点画像データで構成されている。図１７（ａ）には、ｎ個の視点画像情報を１つのファイルとして、ファイルの先頭より連結して格納する例を示した。また、図１７（ｂ）には、ｎ個の視点画像情報毎に持つ、３Ｄ情報から、共通の情報を別途、共通の３Ｄ情報として１つにまとめて、ファイルの先頭に格納し、続いて、ファイル全体の管理情報と、連結したｎ個の視点画像情報を格納する例を示した。

　以上のようにして、立体画像データ作成装置２００は、立体画像データとして、第１の最大視差と、第１の最小視差から成る第１の視差情報と、第２の最大視差と、第２の最小視差から成る第２の視差情報と、視差算出視点情報を含む３Ｄ情報と、ｎ視点の視点画像データを圧縮した圧縮画像データを含む多重化データを作成することにより、カメラの機構的な情報から求まる限界の最大視差の情報となるような第１の視差情報と、実際に発生している第２の視差情報を含んだ、ｎ視点の視点画像データに対応した多重化データを作成することができる。

　続いて、立体画像データ作成装置２００で作成した画像データを３次元画像として立体表示するための立体画像データ再生装置３００について説明する。

　図１８は、本発明の第２の実施の形態による立体画像データ再生装置の概略構成を示すブロック図である。図１８において、立体画像データ再生装置３００は、多重化データを分離する逆多重化手段１０１、３Ｄ情報を解析する３Ｄ情報解析手段１０２、圧縮符号化された圧縮画像データを復号する画像復号手段１０３、３Ｄ情報解析手段１０２と画像復号手段１０３からの入力データにより３次元映像を生成する立体強度変換手段３０１から構成される。図１８の立体画像データ再生装置３００を構成する各手段のうち、逆多重化手段１０１と、３Ｄ情報解析手段１０２、画像復号手段１０３については、第１の実施の形態と同様であるので、ここでの説明は省略し、立体強度変換手段３０１について、その動作を以下に説明する。

　立体強度変換手段３０１には、３Ｄ情報解析手段１０２で解析し、抽出された３Ｄ情報として、視差対象画像情報や、視差単位情報、第１の最大視差、第２の最大視差、第１の最小視差、第２の最小視差、想定ディスプレイサイズと、画像復号手段１０３にて復号されたｎ視点の視点画像データが入力される。立体強度変換手段３０１では、入力されたｎ視点の視点画像から、視差対象画像情報が示す２視点の画像データを選択し、選択した画像データに対して、立体強度変換手段１０４と同様にして、視差単位情報、第１の最大視差、第２の最大視差、第１の最小視差、第２の最小視差、想定ディスプレイサイズを用いて、選択された画像データに対して視差の調整を行った３次元時映像を作成し、出力する。このとき、立体強度変換手段３０１は、上記で選択されなかった、他の隣り合う視点画像に対して、同じ量だけ視差ずらしを行っても構わない。
　以上のようにして、本発明の第２の実施形態による、立体画像データ作成装置２００と、立体画像データ再生装置３００で構成されたシステムにより、第１の視差情報と、第２の視差情報を用いて、適切な視差調整を行うことにより、ｎ視点の画像データを取り扱う場合であっても、２視点の場合と同様にして、より安全な立体表示を実現することができる。

　また、上記の実施の形態では複数の画像入力がある場合について述べたが、本発明は、単眼式の撮像装置に立体撮影用のアダプタを装着した場合にも適用可能である。立体撮影用のアダプタには、左右の目用の画像を１画面に撮影するためのステレオアダプターや、１画面に複数の視点画像が撮影されるアダプタが存在する。その場合、上記視差算出手段２や、視差算出手段２０１では、視差の算出に必要な２枚の画像を分離して視差を算出し、そのまま１枚の画像として出力するか、個別の視点に分離して出力するかを選択して、望みの圧縮画像データのフォーマットに合わせる形で、画像圧縮符号化手段４へ出力する。ここで、上記で述べた、視差算出手段２や、視差算出手段２０１の動作以外は、同じ動作をするため、説明は省略する。

　以上のように、本発明の立体画像データ作成装置、立体画像データ再生装置及びファイル管理方法によれば、前記立体画像データ作成装置が、撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、撮像手段の機構から、所定の視差範囲内に収まり、かつ、撮像手段から最も近い距離の位置における視差である第１の最小視差と、立体画像の視差の最大値となる第２の最大視差と、立体画像の視差の最小値となる第２の最小視差を用いて、３Ｄ情報として作成し、作成した３Ｄ情報と、立体画像データを構成する複数の画像データを多重化した多重化データを作成、送信し、前記多重化データを、前記立体画像データ再生装置が受信、逆多重化し、３Ｄ情報から復号した前記第１の最大視差と、前記第１の最小視差と、前記第２の最大視差と、前記第２の最小視差と、を用いることにより、表示するディスプレイサイズに合わせた視差調整を、より自由度を高く、かつ、安全で適切に行うことができる。

　また、本発明によれば、第１の視差情報と、第２の視差情報を３Ｄ情報として記録し、再生することにより、カメラの機構による視差の限界値と、実際の視差の値を用いて、視差の調整をすることができるようになり、また、第１の最大視差と、第２の最大視差の大きさの比較や、第１の最小視差と、第２の最小視差の大きさの比較により、第２の最大視差や最小視差の値が適正か否かが判断できるという有利な効果が得られる。

　また、本発明によれば、立体画像データを大画面で表示を行うときなどは、カメラの機構による視差の限界値を用いて、視差ずらし等による立体感の強さを調節することにより、より安全な立体感の調整を行うことができるという有利な効果が得られる。

　また、本発明によれば、第１の最大視差と、第２の最大視差と、第１の最小視差と、第２の最小視差をメタデータ化することにより、３次元表示のための画像データに汎用性をもたせることができるという有利な効果が得られる。

　以上、実施例は、全ての点で例示であって、制限的なものではないと考えるべきである。例えば、本実施の形態では、立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法について例示したが、３Ｄの映像信号を作成又は再生できれば良く、立体画像データ作成装置、立体画像データ再生装置に限定されるものではない。本発明は立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法以外にも、３Ｄデジタルカメラ、３Ｄデジタルムービー、３Ｄテレビ、デジタルビデオレコーダー、携帯型ムービープレイヤー、携帯電話、カーナビゲーションシステム、携帯型ＤＶＤプレイヤー、ＰＣ等の３Ｄ映像信号を出力又は表示可能な機器についても広く適用できる。

　本発明にかかる立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法は、立体画像を表示する際に、ディスプレイサイズに合わせた視差調整をカメラ機構による視差の限界値と立体画像の視差の限界値から、より安全で信頼性、及び自由度の高い視差調整を行うことができる立体画像データ作成装置、立体画像データ再生装置、及びファイル管理方法に関するものである。

１，２００…立体画像データ作成装置、２，２０１…視差算出手段、３…３Ｄ情報作成手段、４…画像圧縮符号化手段、５，２０２…多重化手段、６，３４…左目用画像データ、７，１０…最遠点、８，１１…最近点、９，３７…右目用画像データ、１２，１３…カメラ、１４，２２，３５，３６，３８，３９…被写体、１５…背景、１６，１７…光軸、１８，１９…撮影範囲、２０，２１…撮影画像、２３…輻輳点、２４…特徴点、２５…線分、２６，２７，２８，２９…点、３０…機構視差算出手段、３１…ステレオマッチング手段、３２…視差修正手段、３３，２０５…画像切り出し手段、４０，４１…領域、１００，３００…立体画像データ再生装置、１０１…逆多重化手段、１０２…３Ｄ情報解析手段、１０３…画像復号手段、１０４，３０１…立体強度変換手段、２０４…画像選択手段、４００…左目用画像、４０１…右目用画像、４０２…アクティブ・シャッターメガネ、４０３…左目用のレンズシャッター、４０４…右目用のレンズシャッター、４１０…画像表示パネル、４１１…パララクスバリア、４１２…左目、４１３…右目、Ｓ１，Ｓ２，Ｓ３，Ｓ５，Ｓ６，Ｓ８，Ｓ９，Ｓ１０，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１５…ステップ、Ｓ４，Ｓ７，Ｓ１４…判定ステップ

Claims

　複数の視点の各々に対応した複数の画像データから、所定のファイル形式の画像データを作成する立体画像データ作成装置において、
　撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、
　撮像手段の機構から所定の視差範囲内に収まり、かつ、撮像手段から最も近い距離の位置における視差である第１の最小視差と、
　立体画像の左目画像と右目画像の視差の最大値となる第２の最大視差と、
　立体画像の左目画像と右目画像の視差の最小値となる第２の最小視差とを入力とし、
　入力された前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて３Ｄ情報を作成し出力する３Ｄ情報作成手段と、
　前記３Ｄ情報と、前記画像データを多重化し、所定のファイル形式の立体画像データを作成する多重化手段とを備えることを特徴とする立体画像データ作成装置。
　複数の視点の各々に対応した複数の画像データから、所定のファイル形式の画像データを作成する立体画像データ作成装置において、
　撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、
　撮像手段の機構から所定の視差範囲内に収まり、かつ、撮像手段から最も近い距離の位置における視差である第１の最小視差と、
　立体画像の左目画像と右目画像の視差の最大値となる第２の最大視差と、
　立体画像の左目画像と右目画像の視差の最小値となる第２の最小視差とを入力とし、
　入力された前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて３Ｄ情報を作成し出力する３Ｄ情報作成手段と、
　入力された前記複数の画像データに対して圧縮符号化を行い、圧縮画像データを出力する画像圧縮符号化手段と、
　前記３Ｄ情報と、前記圧縮画像データを多重化し、所定のファイル形式の立体画像データを作成する多重化手段とを備えることを特徴とする立体画像データ作成装置。
　請求項１又は請求項２に記載の立体画像データ作成装置において、前記所定のファイル形式の立体画像データには、前記複数の視点として3個以上のｎ個の視点の前記画像データを含むことを特徴とする立体画像データ作成装置。
　請求項１から請求項３に記載の立体画像データ作成装置において、
　前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差から３Ｄ情報を作成する場合に、前記３Ｄ情報作成手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差に対する単位を示す視差単位情報を生成し、前記所定のファイル形式の立体画像データは、前記視差単位情報を含むことを特徴とする立体画像データ作成装置。
　請求項４に記載の前記視差単位情報は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差の単位が、ピクセル単位、サブピクセル単位、長さ、距離の単位、または、画像全体の横幅に対するパーセンテージのいずれかであることを特徴とする立体画像データ作成装置。
　請求項１から請求項３に記載の立体画像データ作成装置において、
　前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差から３Ｄ情報を作成する場合に、前記３Ｄ情報作成手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差が、前記複数の画像データのうち、どの２つの視点画像データの組み合わせによって求められたものかを示す視差対象画像情報を生成し、前記所定のファイル形式の立体画像データは、前記視差対象画像情報を含むことを特徴とする立体画像データ作成装置。
　所定のファイル形式の画像データから、複数の視点の各々に対応した複数の画像データを再生する立体画像データ再生装置において、
　前記ファイル形式から、撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、立体画像の左目画像と右目画像の視差の最大値となる第２の最大視差と、撮像手段の機構から所定の視差範囲内に収まり、かつ、撮像手段から最も近い距離の位置における視差である第１の最小視差と、立体画像の左目画像と右目画像の視差の最小値となる第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を示す３Ｄ情報と、画像データとを分離する逆多重化手段と、
　前記３Ｄ情報を解析する３Ｄ情報解析手段と、
　前記画像データに対して、視差の調整を行う立体強度変換手段を備え、
　前記３Ｄ情報解析手段は、前記３Ｄ情報を解析し、
　前記立体強度変換手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて、前記画像データの視差を調整して、再生することを特徴とする立体画像データ再生装置。
　所定のファイル形式の画像データから、複数の視点の各々に対応した複数の画像データを再生する立体画像データ再生装置において、
　前記ファイル形式から、撮像手段の機構から幾何学的に求められる視差の最大値である第１の最大視差と、立体画像の左目画像と右目画像の視差の最大値となる第２の最大視差と、撮像手段の機構から所定の視差範囲内に収まり、かつ、撮像手段から最も近い距離の位置における視差である第１の最小視差と、立体画像の左目画像と右目画像の視差の最小値となる第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を示す３Ｄ情報と、圧縮画像データとを分離する逆多重化手段と、
　前記３Ｄ情報を解析する３Ｄ情報解析手段と、
　前記圧縮画像データを復号する画像復号手段と、
　前記圧縮画像データが復号された画像データに対して、視差の調整を行う立体強度変換手段を備え、
　前記３Ｄ情報解析手段は、前記３Ｄ情報を解析し、
　前記立体強度変換手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差のうち、少なくとも一つ以上の最大視差、または最小視差を用いて、前記画像データの視差を調整して、再生することを特徴とする立体画像データ再生装置。
　請求項７又は請求項８に記載の立体画像データ再生装置において、
　前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差を示す情報を解析する場合に、前記３Ｄ情報解析手段は、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差に対する単位を示す視差単位情報を解析し、解析した前記視差単位情報を用いて、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差を示す情報を解析することを特徴とする立体画像データ再生装置。
　請求項７又は請求項８に記載の立体画像データ再生装置において、
　前記３Ｄ情報には、前記第１の最大視差と、前記第２の最大視差と、前記第１の最小視差と、前記第２の最小視差が、前記複数の画像データのうち、どの２つの視点画像データの組み合わせによって求められたものかを示す視差対象画像情報を含み、
　前記３Ｄ情報解析手段は、前記視差対象画像情報を解析し、前記立体強度変換手段は、前記視差対象画像情報の示す前記画像データに対して、視差の調整を行うことを特徴とする立体画像データ再生装置。
　請求項７又は請求項８に記載の立体画像データ再生装置において、
　前記画像データに対して視差の調整を行う場合に、前記立体強度変換手段は、前記第１の最大視差と、前記第２の最大視差の大きさを比較し、前記第２の最大視差が、前記第１の最大視差よりも大きい場合に、前記第２の最大視差の値が不適切であると判断し、前記第１の最大視差に基づいて、視差の調整を行うことを特徴とする立体画像データ再生装置。
　立体表示のための属性情報である３Ｄ情報を画像データと共に管理するファイル管理方法であって、
　前記３Ｄ情報は、視点画像の組み合わせを示す視差対象画像情報と、第１及び第２の最大視差と第１及び第２の最小視差の単位を示す視差単位情報と、第１の最大視差と、第２の最大視差と、第１の最小視差と、第２の最小視差と、前記画像データを立体表示するディスプレイのサイズを示す想定ディスプレイサイズとにより構成されることを特徴とするファイル管理方法。
　請求項１２記載のファイル管理方法であって、
　前記３Ｄ情報は、第１及び第２の最大視差と第１及び第２の最小視差のそれぞれの視差情報が、前記３Ｄ情報に記録されているかどうかを示す視差記録可否フラグを含むことを特徴とするファイル管理方法。
　請求項１２又は請求項１３記載のファイル管理方法であって、
　管理される１つのファイルは、ファイルヘッダと、前記３Ｄ情報と、３次元画像と直接関係ない情報の記録に使用する管理情報と、前記画像データとで構成され、
　前記ファイルヘッダ、前記３Ｄ情報、前記管理情報、前記画像データは、前記ファイルの先頭より、前記ファイルヘッダ、前記３Ｄ情報、前記管理情報、前記画像データの順番で配置されることを特徴とするファイル管理方法。
　請求項１２又は請求項１３記載のファイル管理方法であって、
　管理される１つのファイルは、前記３Ｄ情報と、３次元画像と直接関係ない情報の記録に使用する管理情報と、ファイルヘッダと、前記画像データとで構成され、
　前記３Ｄ情報、前記管理情報、前記ファイルヘッダ、前記画像データは、前記ファイルの先頭より、前記３Ｄ情報、前記管理情報、前記ファイルヘッダ、前記画像データの順番で配置されることを特徴とするファイル管理方法。
　請求項１２から請求項１５記載のファイル管理方法であって、
　前記画像データは、左目用画像データと右目用画像データとの両方で構成されることを特徴とするファイル管理方法。