JP4181446B2 - 立体画像表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の視点に対応した複数の画像データに基づいて表示手段に立体画像表示を行う技術に関する。
【０００２】
【従来の技術】
従来から、視差を有する一組の画像を立体感のある画像として見ることができる立体画像表示技術が知られている。例えば、左眼用と右眼用の画像データを交互に表示装置に出力し、観察者は、その表示の切り替えタイミングに同期してシャッターを切り替えることのできる眼鏡を通して画像データを再生することにより、立体画像を観察することができる。
【０００３】
また、特別な眼鏡等を用いずに立体画像を再生する方法としては、パララックスバリア方式と呼ばれる方法がある。左眼用の画像データと右眼用の画像データとのそれぞれを、画像データの垂直走査方向に短冊状に分解し、交互に並べて一枚の画像データとする。その画像データに基づいて画像を表示する表示装置には、画像データを分解した場合と同様の短冊状のスリットがある。短冊状の画像データを、スリットを通して表示装置により観察する。偏光板により短冊状に配置された左眼用の画像データに基づく画像を観察者の左眼で、右眼用の画像データに基づく画像を右眼で視ると、立体感を得ることができる。スリットの代わりにレンチキュラレンズを用いたレンチキュラ方式と呼ばれる方法もある。
【０００４】
観察者が、より良い立体画像を見るために、再生画像の立体感を変更する技術も開示されている。人間が物体を立体的に観察する際には、左右の眼では異なる像を観察しており、それらの像は視差と呼ばれるずれを有する。人間はこの視差によって立体感を認識する。視差の量を視差量といい、視差量を調整することにより立体感を調整する。デジタル放送において立体映像を受信し表示する際に、視差量を調整することにより立体ディスプレイに表示する技術が知られており、この技術により観察者は、その立体映像を視聴する環境などに合わせて、立体画像を観察することができる（例えば特許文献１参照）。
【０００５】
【特許文献１】
特開２０００−７８６１５号公報
【０００６】
【発明が解決しようとする課題】
ところで、視差量の調整を行う際に、例えば、レンチキュラ方式、パララックスバリア方式などの左右の画像データを１ライン毎交互に短冊状に並べて表示する方式では、通常、その短冊状データの組み合わせ位置を変えることにより視差量の調整が可能であるが、調整の精度は短冊幅によって規定されることになる。従って、必ずしも観察者の好みに合わせて立体感を調整できるわけではない。
【０００７】
また、短冊状データの組み合わせ位置を変えると、再生するためのデータが存在しない部分が発生し、その部分は良好な立体視表示ができない。従って、立体画像データに基づく立体画像を良好に表示できる部分（立体画像を観察できる表示領域）が小さくなってしまう。
【０００８】
一方、視差量調整後の画像データにおいて、全ての画像データを表示させようとしても、視差量調整後の短冊状の画像データの幅は、視差量調整分だけ表示領域の幅より広くなり、全て画像データを表示することが出来ない。
本発明の目的は、視差量が調整された立体画像データに基づいて、違和感が少なく良好な立体画像を表示させることである。
【０００９】
【課題を解決するための手段】
本発明の一観点によれば、異なるＮ（Ｎは２以上の自然数）視点に対応するＮ個の画像データのそれぞれの視差量の調整に関する視差量調整情報と、視差量を調整した後の少なくともＭ個（ＭはＮ以下の自然数）の画像データを包含する統合領域から立体表示のために切り出される領域に関する切り出し領域情報と、に基づいて、立体画像の表示位置に関する表示位置情報を生成する表示位置情報生成手段と、前記Ｎ個の画像データと前記表示位置情報とに基づいて立体表示用の画像データ（以下、「立体画像データ」と称する。）を生成する立体画像データ処理手段と、前記立体画像データに基づいて立体画像を表示する表示手段とを備えることを特徴とする立体画像表示装置が提供される。
【００１０】
前記切り出し領域情報は、それぞれの前記視点に応じて選択可能な複数の領域のいずれかを基準にして前記統合領域内に前記画像データを表示させるかに関する情報であるのが好ましい。
【００１１】
上記立体画像表示装置によれば、前記切り出し領域情報を切り替えることにができる。例えば、立体画像データ上の、視差の調整により発生する画素データが存在しなくなる部分の位置を変更することもできる。
また、前記切り出し領域情報は、前記統合領域内で最も右端あるいは最も左端の視点の画像データを示す領域を示す情報を含むことが好ましい。
【００１２】
上記立体画像表示装置によれば、前記切り出し領域情報を切り替えることによって、立体画像データ上の、視差の調整により発生する画素データのない部分の位置を変更することができる。
また、前記切り出し領域情報は、前記統合領域内の中央部近傍に位置する領域を示す情報を含むことが好ましい。
【００１３】
上記立体画像表示装置によれば、前記切り出し領域情報を中央近傍にすることによって、立体画像データ上の、視差の調整により発生する画素データのない部分の位置を左右に分散し表示することにより、目立たなくすることができる。
また、前記切り出し領域情報は、前記統合領域内の周辺部近傍に位置する領域を示す情報を含むことが好ましい。
【００１４】
上記立体画像表示装置によれば、前記切り出し領域情報を切り替えることによって、立体画像データ上の、視差の調整により発生する画素データのない部分の位置を変更することができる。
また、前記表示位置情報は、前記立体画像データに基づく画像を表示する表示領域を基準にして生成されるのが好ましい。
【００１５】
上記立体画像表示装置によれば、前記表示位置情報を、前記立体画像データに基づく立体画像を表示する表示領域を基準にして生成することによって、前記表示位置情報生成手段内で、前記Ｎ個（Ｎは２以上の自然数）の視点の各々に対応したＮ個の画像データに対し、前記表示位置情報に従って画像をずらすだけで、簡易に前記立体画像データを作成することができる。
また、前記切り出し領域情報は、視点の数Ｎに応じて、前記複数の領域の数を変更することが好ましい。
【００１６】
上記立体画像表示装置によれば、視点の数Ｎの値に応じて選択できる前記統合領域内の複数の領域の種類を変更することにより、例えば、視点数が多くなるにつれ観察者の観察位置に含まれる視点の画像データに基づく立体画像を表示領域の中心に近いように表示するように、切り出し領域情報の定義を観察者が切り替えるなどすることによって、視差量の調整を行う際の立体表示の自由度を増やすことができる。
また、前記表示手段は、視差量の調整度合に合わせて前記立体画像データに基づく立体画像を表示する表示領域の大きさを変更することが好ましい。
【００１７】
上記立体画像表示装置によれば、画像データをずらすことにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域を表示しないようにすることにより、その領域に対して正しく補間ができなかった場合でも、観察者は違和感の無い立体画像データに基づく立体画像を観察することができる。
【００１８】
また、前記表示手段は、前記立体画像データを表示する表示領域の大きさを変更するか否かをユーザーが切り替えると共に、前記表示領域の大きさを変更する場合には、視差量の調整度合に合わせて前記表示領域の大きさを変更することが好ましい。
【００１９】
上記立体画像表示装置によれば、画像データをずらすことにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域に対して正しく補間ができなかった場合は、正しく補間ができなかった部分を表示しないように表示領域の大きさを変更するように観察者が指示し、表示する枠を変更するなどして立体表示を行い、正しく補間ができた場合は、表示領域の大きさを変更しないように観察者が指示することによって、観察者はより違和感の無い立体画像データに基づく立体画像を観察することができる。
【００２０】
また、前記Ｎ個の画像データのそれぞれにおいて、視差量を制限することによって、前記立体画像データを表示する表示領域に含まれない領域の割合を制限することが好ましい。
【００２１】
上記立体画像表示装置によれば、前記表示領域に含まれない領域を少なくする、つまり、表示領域中に各視差の画像データ間で対応の取れない領域が少なくすることにより、立体視できる領域が減るのを防ぐことができる。
【００２２】
また、前記Ｎ個の画像データのそれぞれにおいて、視差量の調整の結果、前記立体画像データを表示する表示領域に含まれない領域の割合がある所定の値以上の場合に、観察者にその旨を通知するのが好ましい。
【００２３】
上記立体画像表示装置によれば、前記表示領域に含まれない領域が多くなった、つまり、表示領域中に各視差の画像データ間で対応の取れない領域が多くなったことにより、立体視できる領域が減ったことを観察者に通知することができる。
【００２４】
【発明の実施の形態】
本明細書において、３原色のＲＧＢデータのそれぞれをドットと称し、３原色のＲＧＢデータのまとまりを画素と称する。また、画像データは、動画像データ、静止画像データなどを含む。さらに、画像データ中には、例えばＪＰＥＧやＭＰＥＧ−４などの圧縮技術を用いた圧縮画像データも含まれる。
【００２５】
また、視差量の調整処理の中には、視差量の調整量が“０”である場合も含まれるものとする。画像データとは、表示手段に画像を表示させるためのデータを指し、立体画像とは、画像データにより表示手段に表示される立体画像を指す。
【００２６】
以下に、本発明の実施の形態による立体画像表示技術について、図面を参照して説明する。図１は、本発明の一実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。図１に示すように、本発明の実施の形態による立体画像表示装置１は、入力画像データＤｉｎとして、水平方向にいくつの視点の画像データが入力されているかを示す視点数（以下、「総視点数」と称する。）と切り出し領域情報と視差量調整情報とを入力とし、これらのデータに基づいて、立体視表示が可能な画像データ（以下、「立体画像データ」と称する。）を生成する際に用いる表示位置情報と、視差調整した立体画像データ内に無効な領域（立体画像データを構成する各視点の画像データを表示領域から水平方向にずらすことにより視差を調整する場合、表示領域には画像データが無い領域が発生する。以下では、この領域を「無効領域」と称する。）が発生する場合の無効領域情報とを算出する。立体画像表示装置１は、さらに、表示位置情報を立体画像データ処理手段３に伝送し無効領域情報を画像データ補間手段４に伝送する表示位置生成手段２と、入力画像データＤｉｎと上記表示位置情報を用いて立体画像データを生成するための画像データ処理を行う立体画像データ処理手段３と、上記無効領域情報を用いて無効領域に補間データを生成する画像データ補間手段４と、生成された画像データを表示する表示手段５と、を有している。ここで、表示領域とは、統合領域のうち実際に画像を表示する領域を指す。統合領域については後述する。
【００２７】
まず、総視点数が「２」、つまり、入力画像データＤｉｎとして２つの視点の画像データが入力された場合における立体画像表示装置１の動作について説明する。ここで２つの視点の画像データが、左眼用画像データ及び右眼用画像データであるとすると、立体画像表示装置１に入力された左眼用画像データ及び右眼用画像データは、まず立体画像データ処理手段３において、立体視表示が可能なデータに変換される。例えば、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置であれば、立体画像データ処理手段３は、左眼用画像データと右眼用画像データとが短冊状に交互に並べられた立体画像データを生成する。
【００２８】
図２は、立体画像表示装置１に入力される２つの視点の画像データ（に基づく画像）の例を示す図である。例えば、図２に示すように、視点１の画像データ２０を左眼用画像データとし、視点２の画像データ２１を右眼用画像データとする。これらの左眼用画像データ２０と右眼用画像データ２１とを、例えばドット毎に短冊状に交互に並べて立体画像データを生成する。図３は、２視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データの作成方法の一例を示す図である。ドット毎に短冊状に交互に並べて立体画像データを生成する際に、全ての水平方向のラインに対して同じ方法で生成するため、以下においては説明の簡単化のために、水平方向の１ラインについてのみ説明する。
【００２９】
視点１の画像データ２０と視点２の画像データ２１、及び、それらを用いて生成する立体画像データの水平方向の１ラインあたりの画像データを、それぞれ、視点１の１ラインあたりの画像データ３０、視点２の１ラインあたりの画像データ３１、１ラインあたりの立体画像データ３２と称する。例えば、図３に示すように、それぞれの１ラインが１２ドット（画素単位では４画素）のＲＧＢデータにより構成されていると仮定する。画像データ３０及び３１は、Ｒｌｍ、Ｇｌｍ、Ｂｌｍ（ｌは視点番号を表す整数、ｍは左端からの画素の位置を表す整数とし、それぞれ１≦ｌ≦２、で、０≦ｍ≦３とする）から構成されているものとし、立体画像データ作成データ３２の各ドットをＯｘ（ｘは、０≦ｘ≦１１の整数とする）とする。
【００３０】
図３に示すように、立体画像データ３２は視点１からドット毎に交互に視点の異なる画像データのドットを並べて、Ｒ１０，Ｇ２０，Ｂ１０，Ｒ２１，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１２，Ｒ２３，Ｇ１３，Ｂ２３の順に生成する。このようにして、立体画像データ処理手段３は立体画像データ３２を生成する。また、外部から視差量調整情報と切り出し領域情報とが、図１に示す表示位置生成手段２にそれぞれ入力される。ここで、視差量調整情報は、立体画像データの飛び出し距離そのものを示す。例えば視差量調整情報をｃｍなどの距離の単位によって記録しておいてもよい。飛び出し距離は、例えば視差量を調整しない状態を基準（０）として表される。切り出し領域情報については後述する。
【００３１】
まず、入力された視差量調整情報が０の場合について説明する。この場合、表示位置生成手段２は、上記で生成した立体画像データを画像データ補間手段４に出力するように立体画像データ処理手段３を制御する。これと同時に表示位置生成手段２は、無効領域情報として、無効領域がない、つまり補間を行う領域がないことを示す情報を画像データ補間手段４に送信する。画像データ補間手段４はこの情報により補間を行う領域がないと判断し、表示手段５に入力された立体画像データに基づく立体画像をそのまま出力する。表示手段５は入力された立体画像を表示する。
【００３２】
次いで、表示手段５について説明する。図４は、パララックスバリア方式による表示手段５の一例を示す図である。表示手段５は、スリット４０とディスプレイ面４１とを含んで構成されており、図３において作成された立体画像データ３２がディスプレイ面４１に表示される。図４に示すように、ディスプレイ面の前（観察者側）にスリット４０を配置することにより、観察者の左眼は左眼用の画像データのみを、右眼は右眼用の画像データのみを観察する。これにより、観察者は立体画像データ３２を、立体感を感じた状態で観察することができる。
【００３３】
また、上記の例では、ドット毎に異なる視点の画像データを交差させて、立体画像データを生成する例について説明したが、画素毎に異なる視点の画像データを交差させて、立体画像データを生成しても良い。以上では、入力された視差量調整情報が０の場合における、本発明の実施の形態による立体画像表示装置の動作について説明した。
【００３４】
次に、入力された視差量調整情報が０でない場合について説明する。表示位置生成手段２において、入力された総視点数と視差量調整情報と切り出し領域情報とから表示位置情報を算出し、立体画像データ処理手段３に出力される。ここで、表示位置生成手段２において算出される表示位置情報の算出例について図５から図１３までを参照して説明する。表示位置情報は、シフトベクトル及び切り出し領域情報と、作成される立体画像データに含まれる総視点数から算出される。まず、シフトベクトルについて説明する。
【００３５】
図５（Ａ）から（Ｃ）までは、立体画像データの飛び出し距離ｄとディスプレイ面に表示する画像データとの関係を示す図である。図５（Ａ）に示すように、観察者の左眼と右眼の間の距離をｅとし、観察者とディスプレイとの間の距離をＬとする。図５（Ａ）の状態は、右眼で観察する画素と左眼で観察する画素とが同一のスリット（Ｑ１）で観察される状態である。この時、画素がディスプレイ上において観察される。次に、右眼で観察する画像データを図面の左方向に、例えば１ドット分だけ移動させる。この状態を図５（Ｂ）に示す。Ｑ１に存在した画素はＱ２の位置に移動する。この時、左眼で観察される画素と右眼で観察される画素とは異なるスリットで観察されＳ１の位置に像を結び、立体感が生じる。この時のディスプレイからの距離ｄが飛び出し距離である。
【００３６】
ここで、図５（Ｂ）に示すようにＱ１からＱ２への移動距離をｗとする。ｗは、装置（ディスプレイ）に依存する値である。また、ディスプレイと観察者との距離Ｌも、パララックスバリア方式やレンチキュラ方式の場合、ディスプレイに依存する。従って、飛び出し量を算出するためには、ディスプレイと観察者との距離Ｌと移動距離ｗとを知る必要がある。尚、観察者の左眼と右眼の距離ｅはほぼ一定と考えられる。これらを前提として、飛び出し距離ｄは次の式で求められる。
ｅ：（Ｌ−ｄ）＝ｗ：ｄ （１）
（１）式より（２）式が求められる。
ｄ＝（ｗ×Ｌ）／（ｅ＋ｗ） （２）
【００３７】
ここで、飛び出し距離ｄと移動距離ｗとは正負の値をとる。飛び出し距離ｄが正の値を取る時は、視差量の調整を行う前の状態から飛び出すように見えることを示し、負の値を取る時は、視差量の調整を行う前の状態から奥に見えることを示す。また、移動距離ｗは、右眼で観察する画像データを左に移動させる時は正の値をとり、右眼で観察する画像データを右に移動させるときは負の値をとる。図５（Ｂ）では、ｗ及びｄが共に正の値を取るため、ｄの距離だけ飛び出して見える。これとは逆に、図５（Ａ）から右眼で観察する画像データを右方向に、例えば１ドット分だけ移動させた様子を示す図が、図５（Ｃ）である。Ｑ１に存在した画素がＱ３の位置に移動し、Ｓ２の位置に像を結ぶ。この時、移動距離ｗは負の値を取るため、飛び出し距離ｄは、上記（２）式より負の値となる。また、通常、裸眼式の立体ディスプレイの場合、観察者の左目と右目の距離ｅを越えて画像データを表示させても観察者は、ディスプレイ面に表示された画像データを立体として融合できず、画像データが２重にダブって見えてしまうため、―ｅ≦ｗとする。従って、図５（Ａ）に比べ、図５（Ｃ）では奥に像が見えることになる。また、左眼で観察する画像データを移動させる時は、移動距離ｗの正負の値は、右眼で観察する画像データを移動させる時の逆となる。
（１）式より（３）式が求められる。
ｗ＝（ｄ×ｅ）／（Ｌ−ｄ） （３）
この移動距離ｗを、以降シフトベクトルと称する。上記では画素単位で説明を行ったが、ドット単位であっても同様であり、容易に適用可能である。
【００３８】
本実施の形態では、シフトベクトルを、右眼用画像データを移動させた画素数やドット数（右方向を＋、左方向を−で示す）で表すものとする。また、上記のようにシフトベクトルの単位をドットや画素毎とする場合、実際の飛び出し量ｄ’が入力された飛び出し量ｄに最も近い値となるシフトベクトルの値をシフトベクトルとしてもよいし、（飛び出し量ｄの絶対値）≧（実際の飛び出し量ｄ’）かつ、実際の飛び出し量ｄ’が入力された飛び出し量ｄに最も近い値となるシフトベクトルの値をシフトベクトルとしてもよいし、（飛び出し量ｄの絶対値）≦（実際の飛び出し量ｄ’）かつ、実際の飛び出し量ｄ’が入力された飛び出し量ｄに最も近い値となるシフトベクトルの値をシフトベクトルとしてもよい。
【００３９】
以上、シフトベクトルとは、左眼用画像データに対してどれだけ右眼用画像データを移動させるかを示す値であり、視差量調整情報からその値を求める方法について説明した。
【００４０】
次に、切り出し領域情報について説明する。図６は、視差量調整情報が０でない（＝シフトベクトルｗが０でない）場合において立体画像データを生成するのに必要な各視点の画像データと画像データに基づく画像の表示領域との関係について示す図である。例えば、シフトベクトルを−Ｗ１とする（Ｗ１＞０）。この場合、図６（Ａ）に示すように、左眼用の画像データである視点１の画像データ２０に対して、右眼用の画像データである視点２の画像データ２１を右にＷ１だけずらして、視差量の調整を行う。この際、画像データ２１のシフトを行っても生成する立体画像データに基づく立体画像の幅は変わらないため、画像データ２０と２１の少なくともいずれか一方に無効領域が発生する場合がある。
【００４１】
また、生成する立体画像データに基づく立体画像の幅は表示手段５における表示領域となり、図６の符号６０の幅を有する領域がその表示領域にあたる。図６の（Ａ）、（Ｂ）、（Ｃ）は、それぞれ、この表示領域６０が、中央（画像データ２０と画像データ２１との無効領域が、それぞれ等しいようにする）、左端（画像データ２１にのみ無効領域が発生する）、右端（画像データ２０にのみ無効領域が発生する）にあるとした場合において、立体画像データを生成するのに必要な各視点の画像データを示す。
【００４２】
第１に、図６（Ａ）について説明する。この場合、表示領域６０は中央であり、画像データ２０と画像データ２１とのそれぞれに発生する無効領域６１と無効領域６２とが等しくなるように画像データ２０を左に、画像データ２１を右に、それぞれＷ１／２ずつシフトする。
【００４３】
図２１は、全ての視点の画像データを含んだ領域である統合領域から、その中央を中心にして立体画像データを生成し、その画像データに基づき立体表示させた様子を示す図である。例えば、図２１において、視点１の画像データ２０と視点２の画像データ２１とに対して視差量の調整を行い、全ての視点の画像データを含んだ領域を統合領域２１０とし、統合領域２１０の中央の位置を示す線を２１１とする。この場合、画像データ２０と画像データ２１のシフトする量が等しければ、表示領域６０の中心は、この中央の位置を示す線２１１になる。このようにして、視差量の調整を行った全ての視点の画像データを含む統合領域の中央を中心にして立体画像データを生成する。
【００４４】
次に、図６（Ｂ）について説明する。この場合、表示領域６０は左端（表示領域６０が左端の視点の画像データと同じ位置）となり、画像データ２１のみをＷ１だけ右にシフトする。画像データ２１の左隣にのみ、無効領域６３が発生する。次に、図６（Ｃ）について説明する。この場合、表示領域６０は右端（＝表示領域６０が右端の視点の画像データと同じ位置）となり、画像データ２０のみをＷ１だけ左にシフトする。画像データ２０の右隣にのみ、無効領域６４が発生する。
【００４５】
また、以上で述べた無効領域６１〜６４内の値については、画像データ補間手段４（図１）により補間を行うため、立体画像データ処理手段３（図１）で立体画像データを生成する際には、この無効領域の値は不定であっても構わない。
【００４６】
以上のように、切り出し領域情報は、図６（Ａ）〜（Ｃ）で説明したように、表示領域が、中央に位置するか、左端に位置するか、右端に位置するかのいずれかを示す情報となり、それぞれに対する切り出し領域情報の定義を「中央」、「左端」、「右端」とする。続いて、シフトベクトル及び切り出し領域情報と、作成される立体画像データに含まれる総視点数から算出される表示位置情報と、そのときに生成される立体画像データと、のそれぞれについて説明する。
【００４７】
まず、切り出し領域情報が「中央」の場合について説明する。図７は、総視点数が「２」かつシフトベクトルが「―１ドット」かつ切り出し領域情報が「中央」の場合に生成する立体画像データを示す図である。シフトベクトルが「―１ドット」かつ切り出し領域情報が「中央」であるため、視点１の画像データ３０を左に０．５ドット、視点２の画像データ３１を右に０．５ドットずらした画像データを用いて立体画像データ３２を生成する。
【００４８】
従って、視点１の画像データ３０に対し、視点２の画像データ３１は１ドット右にずれるため、シフトベクトルが「―１ドット」という条件を満たし、また、視点１の画像データ３０と視点２の画像データ３１の無効領域が等しくなるため、切り出し領域情報が「中央」、つまり、表示領域を「中央」とする条件も満たすことになる。しかしながら、実際に生成する立体画像データ３２はドット単位の画像データであるため、実際上、０．５ドット分だけ画像データをずらすことはできない。そこで、画像データ３０又は画像データ３１のうちいずれか一方を１ドットずらす必要がある。これは、シフトベクトルが奇数であり、かつ切り出し領域情報が「中央」の場合に必ず起こる問題であり、ここでは、視点１の画像データのずらし量の絶対値が、視点２の画像データのずらし量の絶対値以下になるようにする。
【００４９】
また上記で述べたドット単位でずらした立体画像データについて説明する。例えばＲＧＢの各色成分の表示位置が水平方向にＲＧＢの順で繰り返し並ぶような一般的なディスプレイにおいてドット単位でずらす場合、各色成分単位で考えてずらす必要がある。図７のように画像データ３１を右に１ドットずらす場合、Ｒ２０はずらしを行う前の位置７０から、同じ色成分の１つ右隣の位置である位置７１に移動させる。つまり、画像データ３１内のＲ成分のみが、画像データ３１内のＲ成分が存在する位置上でずれることになる。実質的には、図７において矢印で示すように、Ｒ２０は、画像データ上の位置で３ドット分動くことになるが、Ｇ成分やＢ成分はずらさない。観察者がＲＧＢのディスプレイを観察する場合、ＲＧＢの３ドットを１画素として観察するのであるが、１画素の内にＲＧＢそれぞれの要素が１つづつ存在していれば良く、ＲＧＢの集まり、ＧＢＲの集まり、ＢＲＧの集まりのいずれであっても１画素として観察者は認識することができる。よって、この場合、観察者は画像データ３１が右に１ドットずれた画像データを観察することになる。
【００５０】
同様に、例えば、右に２ドットずらす場合は、ＲとＧの成分を１つ右隣の同じ色成分のドットがある位置に、右に３ドットずらす場合は、ＲとＧとＢのすべての成分を１つ右隣の同じ色成分のドットがある位置にそれぞれずらす。
【００５１】
以下、上記の手順をまとめると、例えばｋ（ｋは０以上の整数）ドット右にずらす際、ＲＧＢの順でずらすとして、Ｒの成分は、（ｋ／３）のあまりが０の場合、右にｋ／３離れたＲの成分の位置まで、（ｋ／３）のあまりが１の場合、右に（ｋ＋２）／３離れたＲの成分の位置まで、（ｋ／３）のあまりが２の場合、右に（ｋ＋１）／３離れたＲの成分の位置までずらす。
【００５２】
Ｇの成分は、（ｋ／３）のあまりが０の場合、右にｋ／３離れたＧの成分の位置まで、（ｋ／３）のあまりが１の場合、右に（ｋ−１）／３離れたＧの成分の位置まで、（ｋ／３）のあまりが２の場合、右に（ｋ＋１）／３離れたＧの成分の位置までずらす。
【００５３】
Ｂの成分は、（ｋ／３）のあまりが０の場合、右にｋ／３離れたＢの成分の位置まで、（ｋ／３）のあまりが１の場合、右に（ｋ−１）／３離れたＢの成分の位置まで、（ｋ／３）のあまりが２の場合、右に（ｋ−２）／３離れたＢの成分の位置まで、それぞれずらす。
【００５４】
また、例えば、ｋ（ｋは整数）ドット左にずらす際は、右にずらす場合とは逆にＢＧＲの順でずらす。すなわち、Ｂの成分は、（ｋ／３）のあまりが０の場合、左にｋ／３離れたＢの成分の位置まで、（ｋ／３）のあまりが１の場合、左に（ｋ＋２）／３離れたＢの成分の位置まで、（ｋ／３）のあまりが２の場合、左に（ｋ＋１）／３離れたＢの成分の位置までずらす。
【００５５】
Ｇの成分は、（ｋ／３）のあまりが０の場合、左にｋ／３離れたＧの成分の位置まで、（ｋ／３）のあまりが１の場合、左に（ｋ−１）／３離れたＧの成分の位置まで、（ｋ／３）のあまりが２の場合、左に（ｋ＋１）／３離れたＧの成分の位置までずらす。
【００５６】
Ｒの成分は、（ｋ／３）のあまりが０の場合、左にｋ／３離れたＲの成分の位置まで、（ｋ／３）のあまりが１の場合、左に（ｋ−１）／３離れたＲの成分の位置まで、（ｋ／３）のあまりが２の場合、左に（ｋ−２）／３離れたＲの成分の位置まで、それぞれずらす。
【００５７】
以上に、ＲＧＢの各色成分の表示位置が水平方向にＲＧＢの順で繰り返し並ぶような一般的なディスプレイにおいて、ドット単位でずらす場合のずらし方について説明した。
【００５８】
次に表示位置情報について説明する。本明細書において、視差量調整情報から求めたシフトベクトルと切り出し領域情報を考慮して求めた各視点の画像データのずらし量との組を、表示位置情報と定義する。例えば、上記の場合、視点１のずらし量が０ドット、視点２のずらし量が右に１ドットであるため、表示位置情報は（０，１）となる。但し、ここで各視点のずらし量は符号を付した整数とし、右にずらす場合はプラスとし、左にずらす場合はマイナスとする。このように、表示位置情報は、立体画像データに基づく立体画像を表示する表示領域を基準にして生成される。以上のようにして、視差量調整情報と切り出し領域情報とから算出された表示位置情報が、図１に示す表示位置生成手段２から立体画像データ処理手段３に出力される。
【００５９】
立体画像データ処理手段３では、この表示位置情報に基づいて入力画像データをずらし、ずらした入力画像データを１ドット分の画像データ毎に交互に短冊状に並べて立体画像データ３２を生成し、画像データ補間手段４に出力する。作成された立体画像データ３２は、図７に示すように「Ｒ１０，Ｇ２０，Ｂ１０，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１２，Ｒ２２，Ｇ１３，Ｂ２３」となる。これと同時に、表示位置生成手段２は、無効領域情報として、前述の「無効領域」がない旨を、つまり補間を行う必要のある領域がない旨を示す情報を、画像データ補間手段４に送信する。画像データ補間手段４は、この情報により補間を行う領域がないと判断し、表示手段５に入力された立体画像データをそのまま出力する。表示手段５は、入力された立体画像データに基づく立体画像を表示する。
【００６０】
また、上記の手順では、視点１の画像データのずらし量の絶対値が、視点２の画像データのずらし量の絶対値以下になるようにして視差量の調整を行ったが、逆に視点２の画像データのずらし量の絶対値が、視点１の画像データのずらし量の絶対値以下になるようにして視差量の調整を行っても良い。いずれのずらし量の絶対値を小さくするかを、観察者が選択できるようにしておき、観察者の選択に基づいて視差量の調整を行ってもよい。
【００６１】
例えば、表示手段５は、立体表示と通常の２Ｄ表示を切り替え表示することが可能な表示手段であるとすると、２Ｄ表示する場合は、立体画像データに含まれる所定の視点の画像データを用いて２Ｄ表示用の画像データを作成し、２Ｄ表示を行う。この際、２Ｄ表示用の画像データ作成に用いる所定の視点の画像データに対し、そのずらし量の絶対値が全ての視点の画像データ中におけるずらし量の絶対値の中で最も小さくなるようにして視差量の調整を行ってもよい。このようにすれば、画像データをずらすことにより視差量の調整をした立体画像データに基づく立体画像を表示している際、立体表示から２Ｄ表示に切り替える際に必要な表示位置のずれを減らすことができる。
【００６２】
次に、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」かつ切り出し領域情報が「中央」の場合の表示位置生成手段２と立体画像データ処理手段３との動作について説明する。図８は、総視点数が「２」であり、かつ、シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成する立体画像データを示す。シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「中央」であるため、視点１の画像データ３０を左に１ドット、視点２の画像データ３１を右に１ドットずらした画像データを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（―１，１）、で立体画像データ処理手段３により生成される立体画像データ３２は「Ｒ１０，Ｇ２０，Ｂ１１，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１３，Ｒ２２，Ｇ１３，Ｂ２３」となり、図７を参照して説明した場合と同様にして立体表示を行うことができる。
【００６３】
次に、総視点数が「２」であり、かつ、シフトベクトルが「―３ドット」であり、かつ、切り出し領域情報が「中央」である場合における表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図９は、総視点数が「２」であり、かつ、シフトベクトルが「―３ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成される立体画像データを示す。シフトベクトルが「―３ドット」であり、かつ、切り出し領域情報が「中央」であるため、視点１の画像データ３０を左に１ドット、視点２の画像データ３１を右に２ドットずらした画像データを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（―１，２）であり、立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ無（Ｒ無、Ｇ無、Ｂ無は、ＲＧＢそれぞれの成分において、ずらしにより発生した無効領域のドットとし、その値は不定の値とする），Ｂ１１，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２１，Ｂ１３，Ｒ２２，Ｇ１３，Ｂ２３」となる。
【００６４】
上記のように、生成される立体画像データ３２内には、入力画像データをずらしたことにより発生した無効領域にある「不定の値」が存在することになる。この場合、表示位置生成手段２は、その「不定の値」が存在する立体画像データ３２内の位置を示す無効領域情報を、画像データ補間手段４に送信する。これと同時に、立体画像データ処理手段３から生成された立体画像データ３２が画像データ補間手段４に入力される。画像データ補間手段４は、入力された無効領域情報を用いて立体画像データ３２の不定の値に対して補間を行う。
【００６５】
補間の第１の方法は、不定の値である「Ｏ１を含むＲＧＢの組である」Ｏ０、Ｏ１、Ｏ２に、それぞれの色成分毎に所定の値を代入する方法を用いることができる。或いは、補間の第２の方法として、「不定の値であるＯ１を含むＲＧＢの組である」Ｏ０、Ｏ１、Ｏ２及び、「Ｏ１に最も近いＯ１を含まないＲＧＢの組である」Ｏ３、Ｏ４、Ｏ５の全てに対し、Ｏ０とＯ３（Ｒ）にある所定の値、Ｏ１とＯ４（Ｇ）にある所定の値、Ｏ２とＯ５（Ｂ）にある所定の値というように、ＲＧＢのそれぞれの色成分毎に所定の値を代入する方法を用いてもよい。
【００６６】
補間の第３の方法として、不定の値であるＯ１と、「Ｏ１（Ｇ）に最も近い位置にあり、かつ同じ色成分（Ｇ）であり、かつ、隣り合い異なる視点の画像データとして表示されるドットである」Ｏ４とに所定の値を代入する方法を用いてもよい。
【００６７】
補間の第４の方法として、不定の値であるＯ１に対して、「Ｏ１に最も近い位置にあり、かつ同じ色成分であり、かつ隣り合う視点の画像データ（例えば、Ｏ１が右画像データにあるなら、左画像データ）として表示されるドットである」Ｏ４の値を代入する方法を用いてもよい。
【００６８】
補間の第５の方法として、不定の値であるＯ１に、「Ｏ１（Ｇ）に最も近い位置にあり、かつ同じ色成分（Ｇ）であり、かつ同じ視点（Ｒ）の画像データとして表示されるドットである」Ｏ７の値を代入する方法を用いてもよい。
【００６９】
以上に説明した方法のいずれかを用いて補間した立体画像データに基づく立体画像を表示手段５に出力し、表示手段５は立体表示を行う。
以上では、切り出し領域情報が「中央」である場合について、本発明の実施の形態による立体表示装置が立体表示を行う場合について説明を行った。
【００７０】
以下、切り出し領域情報が「左端」と「右端」の場合における本発明の実施の形態による立体画像表示装置１の動作について説明する。尚、画像データ補間手段４と表示手段５の動作は、切り出し領域情報が「中央」である場合と同様に動作するため説明を省略し、表示位置生成手段２で生成される表示位置情報と、立体画像データ処理手段３で生成される立体画像データとに関して説明を行う。
【００７１】
まず、切り出し領域情報が「左端」の場合について説明する。総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「左端」の場合の表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図１０は、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「左端」の場合に生成する立体画像データを示す図である。シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「左端」であるため、視点１の画像データ３０と、視点２の画像データ３１を右に１ドットずらした画像データとを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２により生成される表示位置情報は（０，１）となり、また、立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ２０，Ｂ１０，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１２，Ｒ２２，Ｇ１３，Ｂ２３」となる。
【００７２】
次に、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」の場合の表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図１１は、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」である場合に生成される立体画像データを示す図である。シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」であるため、視点１の画像データ３０と、視点２の画像データ３１を右に２ドットずらした画像データとを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（０，２）となり、また立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ無，Ｂ１０，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２１，Ｂ１２，Ｒ２２，Ｇ１３，Ｂ２３」となる。
【００７３】
次に、切り出し領域情報が「右端」の場合について説明する。まず、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「右端」の場合における表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図１２は、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「右端」である場合に生成される立体画像データを示す図である。シフトベクトルが「−１ドット」であり、かつ、切り出し領域情報が「右端」であるため、視点１の画像データ３０を左に１ドットずらした画像データと、視点２の画像データ３１を用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（−１，０）で、立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ２０，Ｂ１１，Ｒ２１，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１３，Ｒ２３，Ｇ１３，Ｂ２３」となる。
【００７４】
次に、総視点数が「２」であり、かつ、シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」の場合の表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図１３は、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成する立体画像データを示す。シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」であるため、視点１の画像データを左に２ドットずらした画像データと、視点２の画像データ３１とを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（−２，０）であり、立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ２０，Ｂ１１，Ｒ２１，Ｇ１２，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１３，Ｒ２３，Ｇ無，Ｂ２３」となる。
【００７５】
以上のようにして、本実施の形態による立体画像表示装置は、総視点数と、切り出し領域情報と、視差量調整情報と、を用いて表示位置情報を生成し、生成した表示位置情報と、入力された２つの視点の画像データと、を用いて視差調整された立体画像データを違和感のない良好な画像データとして生成することができる。
【００７６】
次に、総視点数が「３」、つまり、入力画像データＤｉｎとして３つの視点の画像データが入力された場合における立体画像表示装置１の動作について説明する。
【００７７】
立体画像表示装置１に入力された３つの視点の画像データは、まず立体画像データ処理手段３において、立体視表示可能なデータに変換される。例えば、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置であれば、立体処理手段３は、各視点の画像データを視点順に短冊状に交互に並べられた立体画像データを生成する。前述した２つの視点の画像データが入力された場合における立体画像表示装置１の表示手段５の説明において、水平方向にＲＧＢを並べて表示を行うタイプを前提として説明を行ったが、表示手段５は垂直方向にＲＧＢを並べて画像データを表示するものであっても構わない。
【００７８】
３以上の視点の画像データをドット毎に短冊状に交互に並べて立体画像データを生成する場合、垂直方向にＲＧＢを並べて画像データに基づく画像を表示する表示手段である方が、ＲＧＢの各色成分毎に同じ配置でバリアやレンチキュラを作成すればよいため、立体画像データの作成及び視差量の調整の説明が簡易になる。
【００７９】
そこで、以下においては、垂直方向にＲＧＢを並べて画像データに基づく画像を表示する表示手段を用いた場合について、ＲＧＢのうちＲの成分のみを説明する。残りのＧとＢの成分に関しては、Ｒの成分と同様に処理を行うため説明を省略する。また、垂直にＲＧＢを並べて画像データに基づく画像を表示する表示手段を用いた場合の１画素とは、縦方向に連続して隣り合うＲＧＢのドットの組み合わせとする。
【００８０】
図１４は、立体画像表示装置１に入力される第３の視点の画像データの例を示す図である。例えば、図２に示すような視点１の画像データ２０と、視点２の画像データ２１と、図１４に示すような視点３の画像データ１４０が立体画像表示装置１に入力される。各視点の画像データを、例えばＲ成分のドット毎で、短冊状に、交互に、かつ視点順に並べて立体画像データを生成する。
【００８１】
図１５は、３視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データにおいて、そのＲ成分の作成方法の一例を示す図である。以下では、立体画像データを生成する際、全ての水平方向のラインに対して同じ方法で生成するため、ここでは説明の簡単化のために水平方向の１ラインについてのみ説明を行う。視点１の画像データ２０と視点２の画像データ２１と視点３の画像データ１４０（図１４）と、これらを用いて生成する立体画像データのＲ成分の水平方向の１ラインあたりの画像データを、それぞれ視点１の１ラインあたりの画像データ１５０、視点２の１ラインあたりの画像データ１５１、視点３の１ラインあたりの画像データ１５２、１ラインあたりの立体画像データ１５３と称する。例えば、図１５のように、Ｒ成分のデータはそれぞれの１ラインが９ドットのデータにより構成されていると仮定する。
【００８２】
Ｒ成分の画像データ１５０、１５１、１５２は、Ｒｌｍ、（ｌは視点番号を表す整数、ｍは左端からのドットの位置を表す整数とし、それぞれ１≦ｌ≦３、で、０≦ｍ≦８とする）から構成されているものとし、立体画像データ１５３のＲ成分のドットをＰｙ（ｙは、０≦ｙ≦１１の整数とする）とする。図１５に示すように、立体画像データ１５３は、視点１、２、３の順でドット毎に視点の異なる画像データのドットを繰り返し並べて、Ｒ１０，Ｒ２１，Ｒ３２，Ｒ１３，Ｒ２４，Ｒ３５，Ｒ１６，Ｒ２７，Ｒ３８の順に生成する。このようにして、立体画像データ処理手段３は立体画像データを生成する。
【００８３】
また、図１において、２視点の場合と同様に、総視点数と視差量調整情報と切り出し領域情報とが、外部から表示位置生成手段２にそれぞれ入力される。まず、入力された視差量調整情報が０の場合について説明する。表示位置生成手段２と画像データ補間手段４との動作は、２視点の際に説明した場合と同様の動作を行い、立体画像データ処理手段３は、図１５に示すように、３視点の立体画像データを生成し、生成された画像データを表示手段５は立体表示する。
【００８４】
図１６は、３視点の画像データから構成された立体画像データを表示する際の、パララックスバリア方式による表示手段５の一例を示す図である。基本構成に関しては図１に示されており、図１を適宜参照する。表示手段５は、スリット１６０とディスプレイ面１６１とを含んで構成されており、図１５において作成された立体画像データ１５３がディスプレイ面１６１に表示される。図１６に示すように、ディスプレイ面の前にスリット１６０を置くことにより、観察位置１における観察者の左眼には視点１の画像データのみが、右眼には視点２の画像データのみが観察される。また同様に、観察位置２における観察者の左眼には視点２の画像データのみが、右眼には視点３の画像データのみが観察される。これにより観察者は、立体画像データ１５３を立体感を持って観察することができる。
【００８５】
次に、入力された視差量調整情報が０でない場合について説明する。表示位置生成手段２において、入力された総視点数と視差量調整情報と切り出し領域情報とから表示位置情報が算出され、立体画像データ処理手段３に出力される。
【００８６】
図１７は、視差量調整情報が０でない（＝シフトベクトルｗが０でない）場合において立体画像データを生成するのに必要な各視点の画像データと、画像データの表示領域との関係を示す図である。例えば、シフトベクトルを−Ｗ１とする（Ｗ１＞０）。この場合、図１７の（Ａ）に示すように、視点１の画像データ２０に対して、視点２と視点３との画像データ２１を右にＷ１ずらし、さらに、視点２の画像データ２０に対して、視点３の画像データを右にＷ１ずらして視差量の調整を行う。このとき、視差量調整情報から求めたシフトベクトルは、各隣り合う視点の画像データの間の全てにおいて、同じ分だけ画像データをずらすことにより視差を調整するものとする。このように画像画像データをずらしても、生成する立体画像データに基づく立体画像の幅は変わらないため、表示領域内にある各視点の画像データ２０と２１と１４０のいずれかに無効領域が発生する。
【００８７】
図１７の（Ａ）、（Ｂ）、（Ｃ）は、それぞれ、切り出し領域情報が、「中央」（画像データ２０と画像データ１４０とに無効領域が発生し、それぞれに発生した無効領域は等しいようにする）、「左端」（画像データ２１と画像データ１４０とに無効領域が発生する）、「右端」（画像データ２０と画像データ１４０とに無効領域が発生する）にあるとした場合において、立体画像データを生成するのに必要な各視点の画像データを示す。
【００８８】
また、切り出し領域情報が「中央」であり、かつ総視点数が「３」というように奇数である場合は、画像データ２０と画像データ１４０との無効領域を等しくするため、中央にある視点の画像データ２１を表示領域とするのが好ましい。このようにすれば、表示領域内における、最も中央にある視点の画像データ２１には無効領域が発生せず、また、画像データ２１の左右の隣り合う視点の画像データ２０と画像データ１４０との無効領域が等しくなる。
【００８９】
まず、図１７（Ａ）を参照して説明を行う。図１７（Ａ）に示すように、切り出し領域情報が「中央」（＝表示領域６０が中央の視点の画像データと同じ位置になる）であり、画像データ２０と画像データ１４０とのそれぞれの隣に発生する無効領域１７０、１７１が、それぞれ等しくなるように画像データ２０を左に、画像データ１４０を右に、それぞれＷ１ずつシフトする。次に、図１７（Ｂ）を参照して説明を行う。この場合は、切り出し領域情報が「左端」（＝表示領域６０が左端の視点の画像データと同じ位置になる）であり、画像データ２１、画像データ１４０をＷ１だけ右にシフトさせ、さらに、画像データ１４０は右にＷ１シフトさせる（トータルで、画像データ１４０は右に２＊Ｗ１シフトする）。この場合、画像データ２１及び画像データ１４０の左隣に、それぞれ無効領域１７２、１７３が発生する。
【００９０】
次に、図１７（Ｃ）を参照して説明を行う。この場合、切り出し領域情報が「右端」（＝表示領域６０が右端の視点の画像データと同じ位置になる）であり、画像データ２０、画像データ２１をＷ１だけ左にシフトさせる。さらに、画像データ２０をＷ１左にシフトさせる（トータルで、画像データ２０は左に２＊Ｗ１シフトする）。この場合、画像データ２０、画像データ２１の右隣に、それぞれ、無効領域１７４、１７５が発生する。
【００９１】
また、以上で述べた無効領域内の値については、画像データ補間手段４により補間するため、立体画像データ処理手段３で立体画像データを生成する際、この無効領域の値は不定であっても良い。
【００９２】
入力が３視点の画像データである場合においても、２視点の場合と同様に、上記で説明したシフトベクトル及び切り出し領域情報と作成される立体画像データに含まれる総視点数から、表示位置情報を算出することができる。
【００９３】
図１８から図２０までを参照して、３視点の場合において算出される表示位置情報と生成される立体画像データについて説明する。まず、切り出し領域情報が「中央」の場合について説明する。
【００９４】
図１８は、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「中央」である場合に生成される立体画像データを示す図である。シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「中央」であるため、中央の視点である視点２の画像データ１５１はずらさず、視点１の画像データ１５０を左に２ドット、視点２の画像データ１５２を右に２ドットずらした画像データを用いて立体画像データ１５３を生成する。
【００９５】
従って、視点１の画像データ１５０に対して視点２の画像データ１５１は２ドット右にずれ、かつ、視点２の画像データ１５１に対して視点３の画像データ１５２は２ドット右にずれることになるため、各隣り合う視点の画像データの間において、シフトベクトルが「―２ドット」という条件を満たすことになる。
【００９６】
また、視点１の画像データ１５０と、視点３の画像データ１５２との無効領域が等しくなり、また、中央の視点である視点２の画像データ１５１に無効領域が発生しないため、表示領域を「中央」とするという条件も満たすことになる。
【００９７】
ここで、２視点の場合と同様に、表示位置情報を各視点の画像データのずらし量の組で表現すると、視点数が３であるので、例えば上記の場合、視点１のずらし量が左に２ドット，視点２のずらし量が右に２ドットであり、表示位置情報は（２，０，−２）となる。以上のようにして、視差量調整情報と切り出し領域情報から算出された表示位置情報が、表示位置生成手段２から立体画像データ処理手段３に出力される。
【００９８】
立体画像データ処理手段３では、この表示位置情報に基づいて入力画像データを水平方向にずらし、ずらした入力画像データを１ドット分の画像データ毎に、交互に、短冊状に、かつ視点順に並べて立体画像データ３２を生成し、画像データ補間手段４に出力する。作成された立体画像データ３２は、図１８に示すように「Ｒ１２，Ｒ２１，Ｒ３０，Ｒ１５，Ｒ２４，Ｒ３３，Ｒ１８，Ｒ２７，Ｒ３６」となる。
【００９９】
これと同時に、表示位置生成手段２は、補間を行う領域がないことを示す情報を画像データ補間手段４に送信する。画像データ補間手段４はこの情報により補間を行う領域がないと判断し、表示手段５に入力された立体画像データをそのまま出力する。表示手段５は入力された立体画像データに基づき立体画像を表示する。
【０１００】
次に、切り出し領域情報が「左端」の場合について説明する。まず、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」である場合の表示位置生成手段２と立体画像データ処理手段３との動作について説明する。図１９は、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」である場合に生成する立体画像データを示す図である。シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」であるため、視点１の画像データ１５０と、視点２の画像データ１５１と、を右に２ドットずらした画像データと、視点３の画像データ１５２を右に４ドットずらした画像データと、を用いて立体画像データ１５３を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（０，２，４）であり、立体画像データ処理手段３で生成される立体画像データ１５３は、「Ｒ１０，Ｒ無，Ｒ無，Ｒ１３，Ｒ２２，Ｒ３１，Ｒ１６，Ｒ２５，Ｒ３４」となる。
【０１０１】
立体画像データ処理手段３は立体画像データ１５３を、表示位置生成手段２は不定の値であるドットの位置を、それぞれ補間手段４に送る。次に、補間手段４における不定の値のドットに対する補間処理について説明する。ここで、全ての視点のドットを１ドットずつ含むドットの組を「視点の組」とする。例えば、「Ｐ０，Ｐ１，Ｐ２」で第１の視点の組、「Ｐ３，Ｐ４，Ｐ５」で第２の視点の組、「Ｐ６，Ｐ７，Ｐ８」で第３の視点の組というように定義する。補間の第１の方法は、不定の値であるＰ１、Ｐ２を含む第１の視点の組であるＰ０、Ｐ１、Ｐ２全てに、ある共通の所定の値を代入する方法であってもよい。例えば、第１の視点の組の部分が黒い画像データとなるように表示する。
【０１０２】
このように補間を行うことにより、３視点の画像データを含む立体画像データにおいて視差量を調整行うことにより発生する画素データが存在しない部分を、観察者がどの位置から見た場合においても観察することができないようにすることができる。
【０１０３】
また、別の第２の補間方法として、同じ視点の組内に不定でない値がある場合、同じ視点の組内の不定でない値のいずれかで、視点の組内にある全ての不定でない値を代入してもよい。例えば、第１の視点の組であるＰ１、Ｐ２に、同じ第１の視点の組であり、かつ不定の値でないＰ０の値を代入する方法を用いてもよい。
【０１０４】
このように補間を行うことにより、３視点の画像データを含む立体画像データにおいて視差量を調整行うことにより発生する画素データが存在しない部分を、観察者がどの位置から見ても２Ｄで観察できるようにすることができる。
【０１０５】
また、別の第３の補間方法として、第１の視点の組であるＰ１に対して、第１の視点の組に最も近い視点の組内であり、かつ、同じ視点の画像データとして表示されるドットであり、かつ、不定の値でないＰ４の値を代入し、かつ、Ｐ２にもこのＰ４の値を代入してもよい。
【０１０６】
これにより、Ｐ１はＰ０に対応することになり、観察者がＰ０を含む第１の視点の画像データとＰ１を含む第２の視点の画像データとを観察する際に、補間した部分であっても立体として観察することができる。
【０１０７】
また、別の第４の補間方法として、第１の視点の組であるＰ１（またはＰ２）に対して、第１の視点の組に最も近い視点の組内であり、かつ、同じ視点の画像データとして表示されるドットであり、かつ、不定の値でないＰ４（またはＰ５）の値を代入してもよい。これによりＰ２はＰ１に対応することになり、観察者がＰ１を含む第２の視点の画像データとＰ２を含む第３の視点の画像データを観察する際、補間した部分であっても立体として観察することができる。画像データ補間手段４は、この補間した立体画像データを、表示手段５に出力する。表示手段５は入力された立体画像データを立体表示する。
【０１０８】
次に、切り出し領域情報が「右端」の場合について説明する。まず、総視点数が「３」であり、かつ、シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」である場合の表示位置生成手段２と立体画像データ処理手段３との動作について説明する。図２０は、総視点数が「３」であり、かつ、シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成する立体画像データを示す。シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」であるため、視点１の画像データ１５０を左に４ドットずらした画像データと、視点２の画像データ１５１を左に２ドットずらした画像データと、視点３の画像データ１５２を用いて立体画像データ１５３と、を生成する。この場合、表示位置生成手段２により生成される表示位置情報は（−４、−２，０）であり、立体画像データ処理手段３で生成される立体画像データ１５３は、「Ｒ１４，Ｒ２３，Ｒ３２，Ｒ１７，Ｒ２６，Ｒ３５，Ｒ無，Ｒ無，Ｒ３８」となる。
【０１０９】
図１９で説明した場合と同様に、立体画像データ処理手段３は立体画像データ１５３を、表示位置生成手段２は不定の値であるドットの位置を、それぞれ補間手段４に送る。補間手段４における不定の値のドットに対する補間処理は図１９と同様にして行い、画像データ補間手段４はこの補間した立体画像データを、表示手段５に出力する。表示手段５は入力された立体画像データに基づく立体画像を表示する。
【０１１０】
このようにして、本実施の形態による立体画像表示装置は、総視点数、切り出し領域情報及び視差量調整情報を用いて表示位置情報を生成し、生成した表示位置情報と、入力された３つの視点の画像データと、を用いて視差調整された立体画像データを、違和感の少ない良好な立体画像データとして生成することができる。
【０１１１】
また、上記では入力画像データが２視点のときと３視点の場合について説明したが、ａ視点（ａは４以上の整数）の場合も、２視点から３視点に拡張したときと同様に拡張することにより、視差調整された立体画像データを、違和感の少ない良好な立体画像データとして生成することができる。
【０１１２】
以上のように、視差量が調整された立体画像データを表示する際に、「左端」、「右端」、「中央」というように、統合領域に対してどの位置を基準にして表示するかを指定して視差量の調整を行うことにより、画素データが存在しなくなることにより立体視が困難になる部分の位置を自由に設定、変更することができる。
【０１１３】
特に、切り出し領域情報を「中央」とした場合は、切り出し領域情報を「左端」や「右端」にした場合に比べ、補間を行わなければならない場所が立体画像データの左右の端に分散するため、正しく補間ができないことで立体視が困難になる部分を観察者が判別しづらくすることにより、違和感が少なく良好な立体画像データとして生成することができる。また、上記では、切り出し領域情報を「中央」、「左端」、「右端」の３種類のみの場合について説明したが、中央、左端、右端のそれぞれの近傍であっても構わない。
【０１１４】
また、切り出し領域情報は上記の３種類に限らず、ｂ種類の近傍であっても構わない（ｂは正の整数）。例えば、視差量の調整を行った全ての視点の画像データを含む統合領域に対し、統合領域の左端からｃ（ｃは正の整数）ドット（または画素）ずらした位置を表示領域の左端にするなど、切り出し領域情報の定義を複数にしてもよい。上記の場合、切り出し領域情報により指定された表示領域の位置を考慮して、上記で説明した場合と同様に視差量の調整を行った立体画像データを生成する。また、このときのｃの値自体を切り出し領域情報としても良い。
【０１１５】
さらに、上記の例では、切り出し領域情報の定義を、統合領域の左端からｃドットとしているが、任意の所定の場所からずらしても良い。例えば、統合領域の中央や右端からｃドットずらすというようにしてもよい。また、総視点数に合わせて、この際の切り出し領域情報の定義を変えてもよい。例えば、２視点の切り出し領域情報は、「左端」、「右端」、「中央」の３つと定義し、１６視点の切り出し領域情報は、統合領域を水平方向に均等に１６分割した位置を表示領域の位置とするように定義するなど、総視点数毎にその定義を切り替えて用いてもよい。
【０１１６】
例えば、視点数が多くなるにつれ観察者の観察位置に含まれる視点の画像データを表示領域の中心に近いように表示するように、切り出し領域情報の定義を、観察者が切り替えるようにしてもよい。このようにして、総視点数毎に切り出し領域情報の定義を切り替えることにより、視差量の調整を行う際の立体表示の自由度を増やすことができる。また、切り出し領域情報の定義として視点の画像データを指定してもよい。この場合、指定した視点の画像データの位置を表示領域として視差量の調整を行う。このため、指定した視点の画像データに無効な領域が発生することは無く、すべて表示することができる。
【０１１７】
また、この際の切り出し領域情報の定義は、水平方向だけでなく垂直方向の指定も含んでもよい。例えば、統合領域の左上から水平方向に１画素右、垂直方向に１画素下の位置を表示領域の位置としてもよい。このようにして、視差量の調整を行う際の立体表示の自由度を増やすことができる。また上記の説明では、視差量の調整を行うことにより発生する無効な領域を補間手段４で補間して、表示手段５で表示を行っていたが、表示手段５に無効領域情報を代入し、例えば枠をつけて立体表示する場合などは、表示領域の大きさを小さくして表示することにより、無効な領域を省いて立体表示してもよい。
【０１１８】
さらに、この無効な領域を省いて立体表示するか否かを、観察者が外部から入力することにより切り替えることができるようにしてもよい。このように無効な領域を表示しないようにすることにより、正しく補間ができなかった場合でも、観察者は違和感の無い立体画像データに基づく画像を観察することができる。また視差量の調整を行う際、視差量の調整後に、表示領域内に存在する各視点画像データにおいて、少なくとも１つの視点の画像データ内における無効な領域（または表示領域に含まれない領域）が、その視点の画像データ全体のＸ（Ｘは０≦Ｘ≦１００）％以上発生した場合は、Ｘ％より小さくなるように変更する視差量の絶対値が小さくなるよう視差量を調整してもよいし、無効な領域（または表示領域に含まれない領域）が全体のＸ％を越えたことを示す通知を観察者に通知してもよい。これにより、視差量の調整によって無効な領域が多くなるために立体視できる領域が減るのを防ぐことができる。
【０１１９】
また上記で説明した、実施形態の立体画像表示装置に入力される総視点数と切り出し領域情報と視差量調整情報は、観察者が入力することができるようにしてもよい。さらに、本実施形態の立体画像表示装置に入力される総視点数と切り出し領域情報と視差量調整情報、及び入力画像データＤinは全て、例えば３Ｄフォーマットデータのような１つのデータに含まれていても構わない。この場合、立体画像表示装置１の前段に、３Ｄフォーマットデータから、総視点数と切り出し領域情報と視差量調整情報、及び入力画像データＤinのそれぞれを分離する分離手段を設けることにより、立体画像表示装置１にこれらのデータを入力するようにしてもよい。
【０１２０】
また、上記３Ｄフォーマットデータ内に、総視点数と切り出し領域情報と視差量調整情報のうちのいずれかに含まれていないデータがある場合に備えて、それぞれの値を端末でデフォルトで設定しておき、それらのデータのうち含まれていないデータがある場合は端末のデフォルト値を代わりに用いてもよい。
【０１２１】
また、切り出し領域情報と視差量調整情報に関しては立体画像表示装置１で用いる際、観察者の入力した値と、３Ｄフォーマットデータの値と、端末でデフォルトとして設定されている値とのうち、どの値を使うようにしても構わず、観察者がどの値を使うかを自由に設定できるようにしてもよい。
【０１２２】
また、上記３Ｄフォーマットデータは、ファイルであっても、放送やストリーミングのデータ、テープメディア上のデータなど、総視点数と切り出し領域情報と視差量調整情報、及び入力画像データＤinなどを含むフォーマットであればいずれの形式のデータであっても構わない。
【０１２３】
図２２は、ファイルにおける３Ｄフォーマットデータの例を示す図である。例えば、図２２に示すように、３Ｄ画像データファイルは、管理情報領域と画像データ領域とから構成されており、画像データ領域には入力画像データＤinが、管理情報領域には総視点数と切り出し領域情報と視差量調整情報とが含まれるような３Ｄフォーマットデータとして、３Ｄ画像データファイルを構成してもよい。
【０１２４】
次に、３Ｄ画像データファイルの管理情報領域について詳細に説明する。
管理情報領域は、「画像データ情報」と、「立体視用画像データのための情報（以下、３Ｄ情報と称する）」と、「各視点画像データ情報」と、により構成されている。「画像データ情報」には、画像データのサイズや動画であればその再生時間などの画像データ全体に関する情報が、「各視点画像データ情報」には各画像データを復号するのに必要な情報（例えば、符号化の技術としてＭＰＥＧ−４技術が用いられているなどの情報）が、「３Ｄ情報」には総視点数と切り出し領域情報と視差量調整情報などの立体画像特有の情報がそれぞれ含まれる。また、３Ｄ画像データファイルを再生する際に、装置が３Ｄ情報を正しく読み取れるように、３Ｄ情報の存在を示すヘッダが必要である。このため、３Ｄ情報の先頭に、立体画像データ（３Ｄ画像）識別情報を記録する領域を設ける。３Ｄ画像識別情報は、３Ｄ情報の存在を示すとともに、後に続く画像データが立体視用画像データである旨を示す。３Ｄ画像識別情報は、固定長或いは可変長の符号で符号化されたフラグでも良いが、識別可能であれば、例えば、特定の記号列や文字列などでも良い。制御情報は、総視点数と切り出し領域情報と視差量調整情報とに関する情報をこの制御情報に含む。このようにして、３Ｄ画像識別情報と、それ以外の情報である制御情報とにより３Ｄ情報を構成する。
【０１２５】
図２３は、放送における３Ｄフォーマットデータの例を示す。例えば、図２３に示すように、３Ｄの放送コンテンツを、コンテンツと番組配列情報とにより構成し、かつ、コンテンツの部分に入力画像データＤｉｎが、番組配列情報の部分に３Ｄ情報が含まれるような３Ｄフォーマットデータとして、３Ｄの放送コンテンツを構成してもよい。
【０１２６】
次に、上記で説明した３Ｄフォーマットデータを作成する画像データ作成装置について説明する。図２４は、３Ｄフォーマットデータを作成する画像データ作成装置の構成例を示すブロック図である。図２４に示すように、画像データ作成装置２４０は、制御部２４１と、多視点（視点数Ｋ、ここでＫは２以上の整数である）の画像データ１〜Ｋを隣接させて結合した画像データを作成する画像結合部２４２と、画像データの結合に関する情報をまとめた画像結合情報、総視点数、切り出し領域情報、視差量調整情報などの情報をフォーマット化して３Ｄ情報を作成する３Ｄ情報作成部２４３と、画像データを符号化する符号化部２４４と、符号化されたデータを多重化する多重化部２４５とを有している。以上のように構成された画像データ作成装置２４０の動作について説明する。
【０１２７】
制御部２４１は、縮小の有無、結合の有無、画像データの配置順などの画像結合情報、水平方向の視点数Ｘ（上述の総視点数）、垂直方向の視点数Ｙ、表示領域データ視差量調整情報などを指定し出力する。画像結合部２４２は、制御部２４１により指定された「結合の有無」が「結合あり」である場合に、入力された画像データ１から画像データＫまでの配置方法を選択する。配置方法としては、各画像データを水平に並べた水平配置と、上下に並べた垂直配置と、水平・垂直の両方向に並べた格子状配置との３通りの配置のうちから選択が可能である。
ここで、画像データの配置方法は、撮像装置の設置方法と一致するようにしてもよいし、一致させなくてもよい。
【０１２８】
まず、画像データの配置方法が撮像装置の設置方法と一致する場合について説明する。図２６は、撮像部の設置方法が水平、かつ、撮像部の設置方法と一致させた場合の画像データの配置例を示す図である。図２６（ａ）は、画像データの配置方法が撮像部の設置方法と水平である場合の撮像部の設置方法を示す図である。図２６（ａ）に示すように、この場合には、１〜ＸまでのＸ台の撮像部２６１〜２６４までを同じ水平面上に並ぶように設置して撮影を行う。
【０１２９】
図２６（ｂ）は、撮像部の設置方法が水平であり、かつ、撮像部の設置方法に一致するように画像データを配置して作成した画像の一例を示す図である。図２６（ｂ）に示すように、撮像部２６１、２６２、２６３、…、２６４によりそれぞれ撮影したＸ個の画像データを、撮像部の設置方法と同様の順番で水平に並べて、一枚の画像を作成する。この場合、作成した画像の視点数は、Ｘ≧２、Ｙ＝１、画像データの配置は水平配置となる。
【０１３０】
上記と同様に、撮像部の設置方法が垂直配置の場合には、作成した画像の視点数は、Ｘ＝１、Ｙ≧２となり、画像データの配置は垂直配置となる。また、撮像部の設置方法が水平配置又は垂直配置以外の場合は、撮像部の設置方法は格子状配置となる。この場合、作成した画像の視点数は、Ｘ≧２、Ｙ≧２となり、画像データの配置は格子状配置となる。
【０１３１】
また、画像データの配置が垂直配置や格子状配置である場合においても、水平配置の場合と同様に一枚の画像を構成する個々の画像データの配置は、それらを撮影した撮像部の設置方法と同じ順番で並べた構成となる。
【０１３２】
次に、画像データの配置方法が撮像装置の設置方法と一致させない場合について説明する。一致させない場合は、Ｘ≧２、Ｙ＝１又はＸ＝１、Ｙ≧２のときには、垂直配置と水平配置のいずれかを選択できるようにしてもよいし、Ｘ≧２、Ｙ≧２のときには、垂直配置と水平配置と格子状配置のいずれかを選択できるようにしてもよい。また、制御部２４１から入力された縮小の有無が「縮小あり」を示す場合には、入力された各視点の画像データを縮小する。
【０１３３】
以上のように、画像結合部２４２が画像データを結合し、結合した画像結合情報を３Ｄ情報作成部２４３に送るとともに、結合した画像データを符号化部２４４に送る。３Ｄ情報作成部２４３は、画像データの結合に関する情報をまとめた画像データ結合情報と、総視点数と、切り出し領域情報と、視差量調整情報と、を含む情報をフォーマット化して３Ｄ情報を作成し、符号化部２４４は画像データを符号化して符号化データを作成する。作成された３Ｄ情報と符号化データのそれぞれのデータが多重化部２４５に送られ、多重化部２４５においてデータの多重化を行い、多重化部２４５は、多重化された多重化データを出力する。このときの多重化データが３Ｄフォーマットデータとなる。
【０１３４】
次に、上記の３Ｄフォーマットデータを再生する画像データ再生装置について説明する。図２５は、３Ｄフォーマットデータを再生する画像データ再生装置２５０の構成例を示すブロック図である。図２５において、図１と同一ブロックに対しては同一符号を付す。図２５に示すように、画像データ再生装置２５０は、分離手段２５１と、３Ｄ情報を解析する３Ｄ情報解析手段２５２と、符号化データを復号する復号手段２５３と、３Ｄ情報内にある切り出し情報や視差量調整情報と、観察者が入力した切り出し情報や視差量調整情報とのうちのいずれか一方を選択し、必要があれば観察者が入力した切り出し情報や視差量調整情報を用いた３Ｄ情報を出力する選択手段２５４と、復号した画像データを各視点の画像データに変換し出力する画像データ変換手段２５５とを含んで構成されている。
【０１３５】
以上のように構成された画像データ再生装置２５０について、その動作を説明する。分離手段２５１は、３Ｄフォーマットデータから３Ｄ情報を含んでいる３Ｄヘッダと、符号化データとに分離する。この符号化データは、例えばＪＰＥＧ（Joint Photographic Expert Group）やＭＰＥＧ（Moving picture expert group）−４などの圧縮技術を用いた圧縮符号化データを含む。
【０１３６】
３Ｄ情報解析手段２５２は、３Ｄヘッダ内の３Ｄ情報を解析し、画像データ結合情報や総視点数、切り出し情報、視差量調整情報などを抽出する。復号手段２５３は、分離手段２５１により分離された符号化データから画像データを復号する。選択手段２５４は、３Ｄ情報内に存在する切り出し情報や視差量調整情報と、観察者が入力した切り出し情報や視差量調整情報のうちのいずれか一方を選択し、必要があれば新たな３Ｄ情報を作成し出力する。例えば、観察者からの入力があれば、入力した切り出し情報や視差量調整情報を用いた３Ｄ情報を出力してもよい。画像データ変換手段２５５は、選択手段２５４により入力された画像結合情報、総視点数に応じて、復号された画像データから各視点の入力画像データＤｉｎを出力する。
【０１３７】
立体画像表示装置１は、図１において説明した装置と同様に動作し、切り出し情報と視差調整量情報と総視点数とを含む３Ｄ情報と、各視点の入力画像データＤｉｎとを用いて立体表示を行う。
【０１３８】
以上説明したように、本実施の形態による立体画像表示装置によれば、視点数Ｎの画像データから構成される視差量が調整された立体画像データを表示する際に、例えば、左端、右端、中央のそれぞれの近傍というように、どの位置を基準にして表示するかを指定して視差量の調整を行うことにより、視差量の調整を行った際に生じる各視点画像データにおける画素データがなくなって立体視が困難になる部分の位置を変更することができる。
【０１３９】
特に、切り出し領域情報を中央近傍とした場合には、切り出し領域情報を左端近傍や右端近傍にした場合よりも、視差量の調整を行った際に左眼用画像データと右眼用画像データとの画素データがなくなり、補間を行わなければならない場所が立体画像データの左右の端に分散するため、正しく補間ができなかったが、上記の変更を行えば、立体視が困難になる部分を観察者が判別しづらくすることができ、違和感が少なく良好な立体画像データとして生成することができる。
【０１４０】
また、立体画像データを表示する表示領域を基準にして表示位置情報を生成することにより、表示位置情報生成手段内で、Ｎ個（Ｎは２以上の自然数）の視点の各々に対応したＮ個の画像データに対し、表示位置情報に従って画像をずらすだけで立体画像データを簡易に作成することができる。また、切り出し領域情報を観察者が切り替えることによって、立体画像データ上の視差の調整により発生する画素データのない部分の位置を自由に変更することができる。
【０１４１】
視点の数Ｎの値に応じて選択できる上記統合領域内における複数の領域の種類を変更することにより、例えば、視点数が多くなるにしたがって観察者の観察位置に含まれる視点の画像データを表示領域の中心近くに表示するように、切り出し領域情報の定義を観察者が切り替えることによって、視差量の調整を行う際の立体表示の自由度を増やすことができる。
【０１４２】
また、上記表示手段が、視差量の調整度合に合わせて上記立体画像データを表示する表示領域の大きさを変更することにより、画像データをずらすことにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域を表示しないようにすることができるため、その領域に対して正しく補間ができなかった場合でも、観察者は違和感の無い立体画像データを観察することができる。
【０１４３】
また、上記表示手段は、上記立体画像データを表示する表示領域の大きさを変更するか否かをユーザーが切り替えるととともに、上記表示領域の大きさを変更する場合には、視差量の調整度合に合わせて上記表示領域の大きさを変更することにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域に対して正しく補間ができなかった場合は、正しく補間ができなかった部分を表示しないように表示領域の大きさを変更するように観察者が指示し、表示する枠を変更するなどして立体表示を行い、正しく補間ができた場合は、表示領域の大きさを変更しないように観察者が指示することができ、その結果、観察者はより違和感の無い立体画像データを観察することができる。
【０１４４】
Ｎ個の画像データのそれぞれにおいて、視差量を制限することによって、上記立体画像データを表示する表示領域に含まれない領域の割合を制限することにより、上記表示領域に含まれない領域を少なくする、つまり、表示領域中に各視差の画像データ間で画素データが存在しないため対応の取れなくなっている領域を少なくすることにより、立体視できる領域が減るのを防ぐことができる。
【０１４５】
また、Ｎ個の画像データのそれぞれにおいて、視差量の調整の結果、上記立体画像データを表示する表示領域に含まれない領域の割合がある所定の値以上の場合に、観察者にその旨を通知することもできる。
【０１４６】
尚、上記立体画像表示装置は、種々の電子機器に適用可能である。特に、コンパクトな構成が要求される携帯電話やＰＤＡなどの携帯端末に用いるのに好適である。
以上、本発明に関して実施の形態に沿って説明を行ったが、本発明はこれらの例に限定されるものではなく、種々の変形が可能であるのは言うまでもない。
【０１４７】
【発明の効果】
以上説明したように、本発明によれば、Ｎ視点の数の画像データから構成される、視差量が調整された立体画像データを表示する際に、どの位置を基準にして表示するかを指定して視差量の調整を行うことにより、視差量の調整を行った際に生じる、各視点画像データにおける画素データがなくなり立体視が困難になる部分の位置を変更することができるという利点がある。
【図面の簡単な説明】
【図１】 本発明の一実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図２】 本発明の実施の形態による立体画像表示装置１に入力される視点１及び視点２の２視点の画像データの例を示す図である。
【図３】 視点１及び視点２の２視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データの作成方法の一例を示す図である。
【図４】 本発明の一実施の形態による立体画像表示装置であって、パララックスバリア方式による表示手段を有する構成例を示す図である。
【図５】 図５（Ａ）から図５（Ｃ）までは、本発明の一実施の形態による立体画像データの飛び出し距離ｄとディスプレイ面に表示する画像データとの関係を示す図である。立体画像表示装置
【図６】 図６（Ａ）から図６（Ｃ）までは、本発明の一実施の形態による立体画像表示装置において、視差量調整のために２視点の画像データを移動させた例を示す図である。
【図７】 本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「中央」である場合に生成される立体画像データの水平方向の１ラインデータの構成例を示す図である。
【図８】 本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「中央」である場合に生成される立体画像データの水平方向の１ラインデータの構成例を示す図である。
【図９】 本発明の一実施の形態による立体画像表示装置において、総視点数が「２」であり、かつ、シフトベクトルが「―３ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１０】 本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「左端」である場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１１】 本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１２】 本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１３】 本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１４】 本発明の一実施の形態による立体画像表示装置に入力される画像データの一例を示す図である。
【図１５】 ３視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データにおいて、そのＲ成分の作成方法の一例を示す図である。
【図１６】 ３視点の画像データから構成された立体画像データを表示する際の、パララックスバリア方式による立体画像表示装置における表示手段の一例を示す図である。
【図１７】 図１７（Ａ）から図１７（Ｃ）までは、本発明の一実施の形態による立体画像表示装置における視差量調整のために、３視点の画像データを移動させた際の例を示す図である。
【図１８】 本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１９】 本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段３において、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図２０】 本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図２１】 本発明の一実施の形態による立体画像表示装置において、切り出し領域情報が「中央」である場合に、全ての視点の画像データを含んだ領域である統合領域の中央を中心にして立体画像データを生成し、その画像データを立体表示する様子を示す図である。
【図２２】 ファイルにおける３Ｄフォーマットデータの構成例を示す図である。
【図２３】 放送における３Ｄフォーマットデータの構成例を示す図である。
【図２４】 ３Ｄフォーマットデータを作成する画像データ作成装置の構成例を示す図である。
【図２５】 ３Ｄフォーマットデータを再生する画像データ再生装置の構成例を示す図である。
【図２６】 撮像部の設置方法が水平であり、かつ、撮像部の設置方法と一致させた場合の画像データの配置例を示す図である。
【符号の説明】
１…立体画像表示装置、２…表示位置生成手段、３…立体画像データ処理手段、４…画像データ補間手段、５…表示手段、２０，２１，３１，３１，３２，１４０，１５０，１５１，１５２，１５３…画像データ、４０，１６０…スリット、４１、１６１…ディスプレイ面、６０…表示領域、６１，６３，６４，１７０，１７１，１７２，１７３，１７４，１７５…無効領域、７０…ずらす前の画像データにおける最も左端のＲ成分の位置、２１０…統合領域、２４０…画像データ作成装置、２４１…制御部、２４２…画像結合部、２４３…３Ｄ情報作成部、２４４…符号化部、２４５…多重化部、２５０…画像データ再生装置、２５１…分離手段、２５２…３Ｄ情報解析手段、２５３…復号手段、２５４…選択手段、２５５…画像データ変換手段、２６１〜２６４…撮像部。

Claims (17)

1. 異なるＮ個（Ｎは２以上の自然数）視点に対応するＮ個の画像データを視差量に応じて水平方向に相互にずらし、垂直方向の短冊状に分解し、交互に並べて立体画像データを生成し、表示する立体画像表示装置であって、
   前記異なるＮ個視点に対応するＮ個の画像データのそれぞれの視差量の調整に関する視差量調整情報と、視差量を調整した後のＮ個の画像データを包含する統合領域から立体画像の表示領域として切り出される領域の位置を特定する切り出し領域情報と、に基づいて、立体画像の表示領域における各画像データのずらし方向及びずらし量を特定する表示位置情報を生成する表示位置情報生成手段と、
   前記表示位置情報にしたがってずらした前記Ｎ個の画像データから立体表示用の画像データ（以下、「立体画像データ」と称する。）を生成する立体画像データ処理手段と、
   前記立体画像データに基づいて立体画像を表示する表示手段と
   を備えることを特徴とする立体画像表示装置。
2. 前記切り出し領域情報は、それぞれの前記視点に応じて選択可能な複数の領域のいずれの位置を基準にして前記統合領域内に前記画像データを表示させるかに関する情報を含むことを特徴とする請求項１に記載の立体画像表示装置。
3. さらに、前記表示位置情報生成手段は、それぞれの視点による前記画像データの視差量を調整した際に前記表示手段上における画像データの欠如に基づいて生じる無効領域に関する無効領域情報を算出することを特徴とする請求項１又は２に記載の立体画像表示装置。
4. さらに、前記無効領域に対して画像データを補間する画像補間手段を備えることを特徴とする請求項３に記載の立体画像表示装置。
5. 前記表示位置情報生成手段は、前記切り出し位置情報を変更することにより前記無効領域の位置を調整する機能を有していることを特徴とする請求項３又は４に記載の立体画像表示装置。
6. 前記表示位置情報生成手段は、前記切り出し領域情報として、前記統合領域内で最も右端又は最も左端の視点の画像データのずらし量がゼロとなるように、視差量を調整した後のＮ個の画像データを包含する統合領域から立体画像の表示領域として切り出される領域の位置を特定することを特徴とする請求項１から５までのいずれか１項に記載の立体画像表示装置。
7. 前記表示位置情報生成手段は、前記切り出し領域情報として、前記統合領域内の中央部近傍に位置する領域のずらし量がゼロとなるように、視差量を調整した後のＮ個の画像データを包含する統合領域から立体画像の表示領域として切り出される領域の位置を特定することを特徴とする請求項１から６までのいずれか１項に記載の立体画像表示装置。
8. 前記表示位置情報生成手段は、前記切り出し領域情報として、前記統合領域内の周辺部近傍に位置する領域のずらし量がゼロとなるように、視差量を調整した後のＮ個の画像データを包含する統合領域から立体画像の表示領域として切り出される領域の位置を特定することを特徴とする請求項１から７までのいずれか１項に記載の立体画像表示装置。
9. 前記表示位置情報生成手段は、前記表示位置情報を、前記立体画像データに基づく立体画像を表示する表示領域を基準にして生成することを特徴とする請求項１から８までのいずれか１項に記載の立体画像表示装置。
10. 前記表示位置情報生成手段は、視点の数Ｎに応じて、前記複数の領域の数を変更した切り出し領域情報を生成する機能を有することを特徴とする請求項１から９までのいずれか１項に記載の立体画像表示装置。
11. 前記表示位置情報生成手段は、視差量の調整度合に合わせて前記立体画像データに基づく立体画像を前記表示手段に表示させる領域の大きさを変更する旨の表示制御情報を前記表示手段に表示させる機能を有することを特徴とする請求項１から１０までのいずれか１項に記載の立体画像表示装置。
12. 前記表示位置情報生成手段は、前記Ｎ個の画像データのそれぞれに関して、視差量の調整を制限する手段を有していることを特徴とする請求項１から１１までのいずれか１項に記載の立体画像表示装置。
13. さらに、前記Ｎ個の画像データのそれぞれにおいて、視差量の調整の結果、前記立体画像データ基づく立体画像を表示する表示領域に含まれない領域の割合がある所定の値以上の場合にその旨を報知する手段を有していることを特徴とする請求項１から１２までのいずれか１項に記載の立体画像表示装置。
14. 異なるＮ個（Ｎは２以上の自然数）視点に対応するＮ個の画像データを視差量に応じて水平方向に相互にずらし、垂直方向の短冊状に分解し、交互に並べて立体画像データを生成し、表示する立体画像表示装置であって、
    前記異なるＮ個視点に対応するＮ個の画像データのそれぞれの視差量の、色成分毎に区別されたドット単位で調整に関する視差量調整情報と、視差量をドット単位で視差量を調整したＮ個の画像データを包含する統合領域から立体画像の表示領域として切り出される領域の位置を特定する切り出し領域情報と、に基づいて立体画像の表示領域における各画像データのずらし方向及びずらし量を特定する表示位置情報を生成する表示位置情報生成手段と、
    前記表示位置情報にしたがってずらした前記Ｎ個の画像データから立体画像データをドット単位で生成する立体画像データ処理手段と、
    前記立体画像データに基づいて立体画像を表示する表示手段と
    を備えることを特徴とする立体画像表示装置。
15. さらに、前記表示位置情報生成手段は、それぞれの視点による画像データの視差量を調整した際に前記表示手段上における画像データのドット単位での欠如に基づいて形成される無効領域に関する無効領域情報を算出し、ドット単位での前記無効領域に対して、画像データを同じ色成分を有する隣接する位置にドット単位で移動させることにより補間を行う画像補間手段を備えることを特徴とする請求項１４に記載の立体画像表示装置。
16. 前記視差量調整情報と前記切り出し領域情報を格納する管理情報領域と、前記Ｎ個の画像データを格納する画像データ領域とを含む３Ｄフォーマットデータを入力とし、前記視差量調整情報と、前記切り出し領域情報と、前記Ｎ個の画像データとをそれぞれ分離する分離手段をさらに備えることを特徴とする請求項１から１５までのいずれか１項に記載の立体画像表示装置。
17. 請求項１から１６までのいずれか１項に記載の立体画像表示装置を備えた携帯端末。

Images