JP4928476B2 - 立体像生成装置、その方法およびそのプログラム - Google Patents

Description

本発明は、３次元形状モデルから、立体表示装置に表示するための立体像データを生成する立体像生成装置、その方法およびそのプログラムに関する。

近年、立体表示装置の研究開発が進み、パララックスバリア方式、レンチキュラ方式等、特殊なメガネを用いなくても観察者に立体像を視認させることが可能な裸眼方式の立体表示装置が開発されている。このパララックスバリア方式は、液晶ディスプレイ等の平面型表示パネルの前面に設置した、垂直方向にスリットを有するパララックスバリアを障壁として、右眼用映像、左眼用映像を垂直方向に分割して表示し、観察者の右眼と左眼とで異なる映像を視認させることで水平視差を再現し立体像を提示するものである。また、レンチキュラ方式は、半円筒型レンズが連なったレンズ板を、平面型表示パネルの前面に設置することで、パララックスバリア方式と同様、観察者の右眼と左眼とで異なる映像を視認させることで立体像を提示するものである。

これに対し、最近では、インテグラルフォトグラフィの原理を応用し、水平視差に加え、垂直視差も再現することが可能な立体表示装置（インテグラル立体表示装置）が開発されている（例えば、特許文献１参照）。この特許文献１に開示されている技術は、複数の要素レンズからなるレンズアレイを通して、超高精細カメラで被写体を撮影し、その撮影された映像を超高精細ディスプレイで表示し、レンズアレイを通して観察者が観視することで、観察者がメガネなしで立体像（インテグラル立体像）を視認することができるものである。

また、一方で、コンピュータグラフィックスにおける３次元形状モデルをインテグラル立体像に変換する技術が存在する（例えば、非特許文献１参照）。この技術によれば、コンピュータグラフィックスの３次元オブジェクトを被写体とし、３次元仮想空間内にレンズアレイ、奥行き制御用のレンズを設置し、光線追跡法により、被写体のインテグラル立体像を生成するものである。

なお、３次元形状モデルを生成するには、静止物体の３次元形状モデルの場合であれば、例えば、レンジファインダ等を用いることで生成することができる。また、人間等の動的な被写体の３次元形状モデルの場合であれば、複数のカメラで被写体を撮影した映像から画像処理により３次元形状モデルを生成することができる（例えば、特許文献２参照）。
特許第３８３６５５０号公報 特許第４０１４１４０号公報 Athineos,Spyros S, :"Physical modeling of a microlens array setup for use in computer generated IP"、Proceedings of the SPIE,Volume 5664,pp.472-479(2005).

前記した特許文献１で開示されている技術によれば、被写体をレンズアレイを通して撮影した映像から、メガネなしで視認可能な立体像を生成することは可能である。しかし、立体撮像装置で撮像した映像からしか立体像を生成することができないため、コンピュータグラフィックス等の３次元形状モデルから立体像を生成する技術が望まれていた。

これに対し、非特許文献１で開示されている技術によれば、３次元形状モデルから立体像を生成することが可能である。しかし、非特許文献１で開示されている技術では、光線追跡法により立体像を生成するため、観察者が立体像を観視する際に、視点位置とレンズアレイのピンホール位置に応じた光線のみが観察者の眼に入射されることになる。これは、視点位置に応じて光線がサンプリングされることと等価であり、サンプリングに起因する折り返し雑音が発生してしまうという問題がある。

本発明は、以上のような課題を解決するためになされたものであり、コンピュータグラフィックス等の３次元形状モデルから、折り返し雑音を抑制した立体像データを生成することが可能な立体像生成装置、その方法およびそのプログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の立体像生成装置は、表示対象の３次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成する立体像生成装置であって、３次元仮想空間設定手段と、単位ベクトル生成手段と、仮想カメラ位置・方向算出手段と、仮想カメラ撮影画像生成手段と、画素値決定手段と、を備える構成とした。

かかる構成において、立体像生成装置は、３次元仮想空間設定手段によって、表示面を構成する要素画像の画素間隔と、要素レンズのレンズ間隔および焦点距離とに基づいて、３次元仮想空間における要素レンズの中心をピンホールとみなしたピンホール位置と要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成する。さらに、立体像生成装置は、３次元仮想空間設定手段によって、３次元形状モデルを３次元仮想空間に対応付ける。これによって、同一の３次元仮想空間（３次元座標）上に、立体表示装置と３次元形状モデルとが仮想的に配置されることになる。このとき、３次元形状モデルは、３次元仮想空間の自由な位置に配置することができるため、表示面の前（手前側）または後（奥側）のいずれにも配置することができる。

そして、立体像生成装置は、単位ベクトル生成手段によって、要素画像の画素位置ごとに、当該画素位置から要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する。これによって、要素画像の画素位置から要素レンズのピンホール位置への方向が特定されることになる。

そして、立体像生成装置は、仮想カメラ位置・方向算出手段によって、単位ベクトル生成手段で生成された単位ベクトルと、３次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する。これによって、ピンホールを通過して、当該画素位置を視認する仮想カメラ、すなわち、立体表示装置で実際に観察者が視認する視点の位置および視線の方向を、特定することができる。

さらに、立体像生成装置は、仮想カメラ撮影画像生成手段によって、仮想カメラの位置および撮影方向を基準として、３次元形状モデルを所定画角の画像平面に投影変換することで、３次元形状モデルを仮想的に撮影した仮想撮影画像を生成する。この仮想撮影画像は、仮想カメラの位置から撮影方向のベクトル上に存在する３次元形状モデルのデータを画像平面に投影することで得ることができる。

そして、立体像生成装置は、画素値決定手段によって、仮想撮影画像の中心画素の画素値を、仮想カメラの位置および撮影方向におけるピンホール位置に対応する画素の画素値として決定する。このとき、画素値決定手段は、仮想撮影画像において、ピンホール位置に対応する画素を中心とした領域であって、隣接する領域とは重なりを持たないように区分した区分領域ごとに画素値を平均化することで、ピンホール位置に対応する画素の画素値を算出することとする。これによって、ピンホールごとにサンプリングされて視認されることになる要素画像の画素値が、周辺画素の画素値によりフィルタリングされることになる。

また、請求項２に記載の立体像生成方法は、表示対象の３次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成する立体像生成方法であって、３次元仮想空間設定ステップと、単位ベクトル生成ステップと、仮想カメラ位置・方向算出ステップと、仮想カメラ撮影画像生成ステップと、画素値決定ステップと、を含む手順とした。

かかる手順において、立体像生成方法は、３次元仮想空間設定ステップで、表示面を構成する要素画像の画素間隔と、要素レンズのレンズ間隔および焦点距離とに基づいて、３次元仮想空間における要素レンズの中心をピンホールとみなしたピンホール位置と要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成する。さらに、立体像生成方法は、３次元仮想空間設定ステップで、３次元形状モデルを３次元仮想空間に対応付ける。

そして、立体像生成方法は、単位ベクトル生成ステップで、要素画像の画素位置ごとに、当該画素位置から要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する。

そして、立体像生成方法は、仮想カメラ位置・方向算出ステップで、単位ベクトル生成手段で生成された単位ベクトルと、３次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する。
さらに、立体像生成方法は、仮想カメラ撮影画像生成ステップで、仮想カメラの位置および撮影方向を基準として、３次元形状モデルを所定画角の画像平面に投影変換することで、３次元形状モデルを仮想的に撮影した仮想撮影画像を生成する。

そして、立体像生成方法は、画素値決定ステップで、仮想撮影画像の中心画素の画素値を、仮想カメラの位置および撮影方向におけるピンホール位置に対応する画素の画素値として決定する。なお、画素値決定ステップでは、仮想撮影画像において、ピンホール位置に対応する画素を中心とした領域であって、隣接する領域とは重なりを持たないように区分した区分領域ごとに画素値を平均化することで、ピンホール位置に対応する画素の画素値を算出することとする。

さらに、請求項３に記載の立体像生成プログラムは、表示対象の３次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成するために、コンピュータを、３次元仮想空間設定手段、単位ベクトル生成手段、仮想カメラ位置・方向算出手段、仮想カメラ撮影画像生成手段、画素値決定手段、として機能させる構成とした。

かかる構成において、立体像生成プログラムは、３次元仮想空間設定手段によって、表示面を構成する要素画像の画素間隔と、要素レンズのレンズ間隔および焦点距離とに基づいて、３次元仮想空間における要素レンズの中心をピンホールとみなしたピンホール位置と要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成する。さらに、立体像生成プログラムは、３次元仮想空間設定手段によって、３次元形状モデルを３次元仮想空間に対応付ける。

そして、立体像生成プログラムは、単位ベクトル生成手段によって、要素画像の画素位置ごとに、当該画素位置から要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する。

そして、立体像生成プログラムは、仮想カメラ位置・方向算出手段によって、単位ベクトル生成手段で生成された単位ベクトルと、３次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する。
さらに、立体像生成プログラムは、仮想カメラ撮影画像生成手段によって、仮想カメラの位置および撮影方向を基準として、３次元形状モデルを所定画角の画像平面に投影変換することで、３次元形状モデルを仮想的に撮影した仮想撮影画像を生成する。

そして、立体像生成プログラムは、画素値決定手段によって、仮想撮影画像の中心画素の画素値を、仮想カメラの位置および撮影方向におけるピンホール位置に対応する画素の画素値として決定する。このとき、画素値決定手段は、仮想撮影画像において、ピンホール位置に対応する画素を中心とした領域であって、隣接する領域とは重なりを持たないように区分した区分領域ごとに画素値を平均化することで、ピンホール位置に対応する画素の画素値を算出することとする。

本発明によれば、３次元形状モデルから立体表示装置で立体像を観察者に視認させることが可能な立体像データを生成することができる。また、本発明によれば、３次元形状モデルを、３次元仮想空間の任意の位置に配置することができるため、立体表示装置の表示面の手前側、あるいは、奥側のいずれにも立体像を視認することが可能な立体像データを生成することができる。さらに、本発明によれば、立体表示装置をピンホールでモデル化した場合であっても、ピンホール位置に対応する画素を近傍画素の画素値でフィルタリングするため、サンプリングに起因する折り返し雑音を抑制した立体像データを生成することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［立体像生成装置の構成］
まず、図１を参照して、本発明の実施の形態に係る立体像生成装置の構成について説明する。図１は、本発明の実施の形態に係る立体像生成装置の全体構成を示すブロック図である。

立体像生成装置１は、表示対象の３次元形状モデルから、表示パネルと当該表示パネルに対面して設けられた複数の要素レンズからなるレンズアレイとを備えた立体表示装置（インテグラル立体表示装置）に表示するための立体像データを生成するものである。ここでは、立体像生成装置１は、３次元仮想空間設定手段１０と、要素画像生成手段２０とを備える。

３次元仮想空間設定手段１０は、立体表示装置をモデル化するためのパラメータと、表示対象の３次元形状モデルのデータとを入力し、立体表示装置および表示対象（３次元形状モデル）を、３次元仮想空間（３次元座標）に対応付けるものである。ここで、立体表示装置をモデル化するためのパラメータは、例えば、表示パネルの表示面を構成する画素の画素間隔、レンズアレイの要素レンズのレンズ間隔および焦点距離等である。

ここで、図２および図３を参照して、立体表示装置のモデル化について説明する。図２は、立体表示装置の構造を模式的に示した図であって、（ａ）は立体像の表示の様子、（ｂ）はレンズアレイと表示面との関係を示している。また、図３は、立体表示装置を３次元仮想空間に対応付けた図であって、（ａ）は立体表示装置を対応付けた３次元仮想空間のＹＺ面、（ｂ）は立体表示装置を対応付けた３次元仮想空間のＸＹ面を示している。

図２に示すように、立体表示装置２は、液晶ディスプレイ等の表示パネルの表示面Ｄに立体撮像装置（図示せず）で撮影した被写体（表示対象）の要素画像Ｇを複数表示する。そして、観察者Ｍは、レンズアレイＬ_Ａの要素レンズＬ_Ｐを通して、それぞれの要素画像Ｇを観視することで、立体像Ｚを視認することができる。

このような立体表示装置２を、図３に示すように、要素レンズＬ_Ｐをピンホールとみなして３次元仮想空間に対応付ける。ここでは、立体表示装置２をモデル化するためのパラメータを以下のように定義することとする。

Ｐ ： 要素画像Ｇの画素間隔（表示面Ｄを構成する画素Ｐ_Ｘの画素間隔）
Ｒ_Ｈ ： 要素レンズＬ_Ｐ（ピンホールＰ_Ｈ）の水平間隔
Ｒ_Ｖ ： 要素レンズＬ_Ｐ（ピンホールＰ_Ｈ）の垂直間隔
Ｆ ： 要素レンズＬ_Ｐの焦点距離（要素レンズＬ_Ｐと要素画像Ｇとの距離）

また、３次元仮想空間の原点Ｏは、レンズアレイＬ_Ａの中央に位置する要素レンズの光学主点に置くこととする。このとき、要素レンズＬ_Ｐは、横一行ごとにＲ_Ｈ／２分オフセットしているため、ｎ列目、ｍ行目の要素レンズのピンホール位置Ｈ（ｎ，ｍ）は、以下の（１）式で表される。

なお、“％”の記号は剰余演算を示している。また、ｎは−Ｎから＋Ｎまでの整数、ｍは−Ｍから＋Ｍまでの整数であり、“２Ｎ＋１”が一行あたりの要素レンズ数、“２Ｍ＋１”が一列あたりの要素レンズ数になる。

ただし、要素レンズＬ_Ｐのピンホール間隔は必ずしも要素画像Ｇの画素間隔の整数倍になっていないため、ここでは、ピンホールＰ_Ｈに最も近い画素位置を要素画像Ｇの中心画素位置とする。この要素画像Ｇの中心画素位置は、以下の（２）式で表される。

なお、“＜ａ＞”の記号は、“ａ”の小数点以下を四捨五入して整数化することを示している。このとき、この（２）式で表された中心画素位置を原点とするローカル座標（ｕ，ｖ）を用いると、ｎ列目、ｍ行目の要素画像Ｇの画素の位置Ｉ_ｎ，ｍ（ｕ，ｖ）は以下の（３）式で表される。

ここで、ｕは−Ｕから＋Ｕまでの整数、ｖは−Ｖから＋Ｖまでの整数であり、“２Ｕ＋１”が要素画像Ｇの水平画素数、“２Ｖ＋１”が要素画像Ｇの垂直画素数になる。
以上説明したように、３次元仮想空間設定手段１０は、３次元仮想空間に立体表示装置２を仮想的に配置することで、表示対象の３次元形状モデルと同一の３次元座標で処理することが可能になる。
図１に戻って、立体像生成装置１の構成について説明を続ける。

要素画像生成手段２０は、要素画像の各画素の画素値を決定し、要素画像ごとの画像データを生成するものである。すなわち、要素画像生成手段２０は、３次元仮想空間設定手段１０で設定されたピンホール位置がＨ（ｎ，ｍ）〔前記（１）式参照〕の要素レンズと対をなす要素画像のＩ_ｎ，ｍ（ｕ，ｖ）〔前記（３）式参照〕の画素値を決定することで、要素画像の画像データを生成するものである。

ここで、要素画像生成手段２０は、単位ベクトル生成手段２１と、仮想カメラ位置・方向算出手段２２と、仮想カメラ撮影手段２３と、画素値決定手段２４とを備える。なお、以下の説明においては、適宜図４を参照することとする。図４は、３次元仮想空間に表示対象となる３次元形状モデルと立体表示装置とを配置した例を示した模式図である。

単位ベクトル生成手段２１は、要素画像Ｇの画素位置Ｉ_ｎ，ｍ（ｕ，ｖ）ごとに、当該画素位置から要素画像Ｇに対応する要素レンズのピンホール位置Ｈ（ｎ，ｍ）に対する単位ベクトルを生成するものである。この単位ベクトルは、当該単位ベクトルの延長線上に当該画素位置Ｉ_ｎ，ｍ（ｕ，ｖ）の画素値が視認される方向を示すことになる。ここでは、単位ベクトル生成手段２１は、単位ベクトルｉ（ｉ_ｘ，ｉ_ｙ，ｉ_ｚ）を以下の（４）式により生成する。

この単位ベクトル生成手段２１で生成された単位ベクトルは、仮想カメラ位置・方向算出手段２２に出力される。

仮想カメラ位置・方向算出手段２２は、単位ベクトル生成手段２１で生成された単位ベクトルと、３次元仮想空間に対応付けられた立体表示装置２から予め定めた距離とに基づいて、仮想カメラＣの位置および撮影方向を算出するものである。この仮想カメラＣは、観察者が立体表示装置２を観視する際の眼の位置を表すことになる。ここでは、仮想カメラＣの立体表示装置２からの距離を、レンズアレイＬ_Ａの原点Ｏからの距離Ｌとする。また、この仮想カメラＣは、原点Ｏから、表示対象の３次元形状モデルよりも離れて配置されるものとする。
このとき、仮想カメラ位置・方向算出手段２２は、仮想カメラＣの位置を、単位ベクトルｉと距離Ｌとに基づいて、以下の（５）式により算出する。

また、仮想カメラ位置・方向算出手段２２は、仮想カメラＣの撮影方向を、単位ベクトルｉの逆方向として算出する。この仮想カメラ位置・方向算出手段２２で算出された仮想カメラの位置および撮影方向は、仮想カメラ撮影手段２３に出力される。

仮想カメラ撮影手段（仮想カメラ撮影画像生成手段）２３は、仮想カメラ位置・方向算出手段２２で算出された仮想カメラの位置および撮影方向から、３次元形状モデルを仮想的に撮影した画像を生成するものである。この仮想カメラ撮影手段２３は、単位ベクトルｉの逆方向に存在するピンホール位置Ｈ（ｎ，ｍ）を中心に、その近傍のピンホールを含んだ画角で、仮想配置された立体表示装置を仮想的に撮影する。

すなわち、仮想カメラ撮影手段２３は、単位ベクトルｉの逆方向に存在するピンホール位置Ｈ（ｎ，ｍ）を仮想撮影画像の中心として、要素画像Ｇの各画素位置と仮想カメラＣの光学主点とを結んだ直線上に存在する３次元形状モデルの表面の色を仮想平面（仮想カメラＣの焦点位置）に投影変換することで仮想撮影画像を生成する。この仮想カメラ撮影手段２３が撮影する画像は、図５に示すように、ピンホール位置Ｈ（ｎ，ｍ）を中心とした画像となる。また、この撮影された画像は画素値決定手段２４に出力される。

なお、仮想カメラ撮影手段２３は、３次元形状モデルを仮想的に撮影した画像を生成する場合、図４に示すように、３次元形状モデルを表示面Ｄよりも手前側に配置（表面Ａ）することとしてもよいし、表示面Ｄよりも奥側に配置（表面Ｂ）することとしてもよい。このように、仮想カメラ撮影手段２３は、仮想カメラＣを視点として、単位ベクトルの逆方向に存在する３次元形状モデルを撮影することになるため、３次元形状モデルを表示面Ｄの位置に関係なく撮影することができる。

画素値決定手段２４は、仮想カメラ撮影手段２３で生成された仮想撮影画像に基づいて、仮想カメラＣの位置および撮影方向で撮影した画像中心のピンホール位置に対応する画素の画素値を決定するものである。

なお、仮想カメラ撮影手段２３で生成された仮想撮影画像の中心の画素の画素値は、ピンホール位置Ｈ（ｎ，ｍ）に対応する画素の画素値である。しかし、実際の立体表示装置では、図５で示した仮想撮影画像でも分かるように、ピンホール位置に対応する画素の光線のみが観察者の眼に入射されることになり、観察者の視点位置に応じて光線がサンプリングされ、折り返し雑音が発生することになる。

そこで、ここでは、画素値決定手段２４は、帯域制限手段２４ａを備え、画像中心のピンホール位置に対応する画素の画素値を、当該ピンホール位置の近傍領域に対して帯域制限フィルタ（２次元フィルタ）処理を施すことにより求めることとする。

帯域制限手段２４ａは、仮想カメラ撮影手段２３で生成された仮想撮影画像の画像中心の近傍領域に対して帯域制限フィルタ処理を施し、画像中心のピンホール位置に対応する画素の画素値を算出するものである。なお、この帯域制限フィルタは、ピンホールごとに重なりを持たないフィルタとすることが望ましい。そこで、ここでは、帯域制限手段２４ａは、図６に示すように、水平方向の大きさが仮想撮影画像内におけるピンホールの水平間隔Ｓ_ｕ、垂直方向の大きさが仮想撮影画像内におけるピンホールの垂直間隔Ｓ_ｖの２倍となるフィルタ（ここでは、ひし形形状の帯域制限フィルタＦ_Ｉ）を用いる。

また、ここでは、要素レンズ（ピンホール位置）を横一行ごとにＲ_Ｈ／２分オフセットを持たせているため（図３参照）、帯域制限フィルタＦ_Ｉをひし形形状としたが、オフセットがなくピンホール位置が碁盤目状に配置される場合は、帯域制限フィルタＦ_Ｉは、水平方向の大きさが水平間隔Ｓ_ｕ、垂直方向の大きさが垂直間隔Ｓ_ｖの矩形形状とする。
なお、帯域制限手段２４ａは、仮想撮影画像内におけるピンホールの水平間隔Ｓ_ｕ、垂直間隔Ｓ_ｖを、以下の（６）式により求めることとする。

この（６）式において、仮想カメラＣが撮影する画像の横縦の大きさをＷ×Ｗ、画素数をＧ×Ｇ、仮想カメラＣの焦点距離をＬ_Ｃとする。また、立体表示装置の大きさに対して距離Ｌが十分大きいものとする。なお、距離Ｌが短い場合は、仮想カメラＣから撮影した仮想撮影画像は、表示面Ｄに対してある角度を有しているため、その角度に応じて水平間隔Ｓ_ｕ、垂直間隔Ｓ_ｖを計算すればよい。

また、帯域制限手段２４ａが用いる帯域制限フィルタＦ_Ｉは、具体的には、例えば、当該フィルタ内の画素値を平均化する平均化フィルタであって、帯域制限手段２４ａは、平均化フィルタ処理により画像中心の画素値をフィルタに対応する画像内の平均値として求めることとする。また、この帯域制限フィルタは、フィルタの中心に重みを設けて平均化を行う加重平均フィルタであってもよい。

そして、画素値決定手段２４は、帯域制限手段２４ａによって帯域制限フィルタが施された画素値を、ピンホール位置Ｈ（ｎ，ｍ）における画素位置Ｉ_ｎ，ｍ（ｕ，ｖ）の座標値とする。

これによって、ピンホール位置Ｈ（ｎ，ｍ）における画素位置Ｉ_ｎ，ｍ（ｕ，ｖ）の１画素分の画素値が求められることになる。そこで、立体像生成装置１は、処理を単位ベクトル生成手段２１に戻し、画素位置Ｉ_ｎ，ｍ（ｕ，ｖ）の画素位置を順次ずらすことで、ピンホール位置、すなわち、要素レンズＬ_Ｐに対応する要素画像Ｇのすべての画素値を求める。さらに、立体像生成装置１は、すべての要素画像Ｇにおいて前記の処理を行い、画像データ（インテグラル立体像データ）として出力する。

以上、立体像生成装置１の構成について説明したが、本発明はこれに限定されるものではない。ここでは、立体像生成装置１がインテグラル立体像を生成する例について説明したが、要素画像の縦方向の画素数を“１”とすることで、パララックスバリア方式、レンチキュラ方式等の水平方向の視差により立体像を視認することが可能な立体像データを生成することができる。

なお、ここでは、要素レンズのピンホール間隔と、要素画像の画素間隔とが整数倍の関係にない場合について説明したが、整数倍の関係にある場合は、前記（２）式、（３）式を簡略化し、四捨五入の整数化処理を省くことができる。

また、立体像生成装置１は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、立体像生成装置１は、コンピュータを、前記した各手段として機能させる立体像生成プログラムによって動作する。また、立体像生成プログラムは、ＯｐｅｎＧＬ等のグラフィックライブラリを用いて実現することが可能である。

［立体像生成装置の動作］
次に、図７および図８を参照（構成については適宜図１参照）して、本発明の実施の形態に係る立体像生成装置の動作について説明する。図７は、本発明の実施の形態に係る立体像生成装置の全体動作を示すフローチャートである。図８は、本発明の実施の形態に係る立体像生成装置の要素画像生成手段における要素画像の生成動作を示すフローチャートである。

（全体動作）
最初に、図７を参照（適宜図１参照）して、立体像生成装置１の全体動作について説明する。

まず、立体像生成装置１は、３次元仮想空間設定手段１０によって、立体表示装置をモデル化するためのパラメータと、表示対象の３次元形状モデルのデータとから、立体表示装置および表示対象（３次元形状モデル）を、３次元仮想空間（３次元座標）に対応付ける（ステップＳ１）。具体的には、３次元仮想空間設定手段１０は、要素レンズをピンホールとしたときの３次元仮想空間におけるピンホール位置Ｈ（ｎ，ｍ）を前記（１）式により算出するとともに、ピンホール位置Ｈ（ｎ，ｍ）に対応する要素画像の画素位置Ｉ_ｎ，ｍ（ｕ，ｖ）を前記（３）式により算出することで立体表示装置をモデル化する。さらに、３次元仮想空間設定手段１０は、３次元形状モデルを立体表示装置の表示位置に対応するように３次元座標に対応付ける。

そして、立体像生成装置１は、要素画像生成手段２０によって、要素画像の各画素の画素値を決定し、要素画像の画像データを生成する（ステップＳ２）。なお、このステップＳ２の動作については、図８を参照して後で説明することとする。
その後、立体像生成装置１は、要素画像生成手段２０において、立体表示装置のすべての要素レンズ分の要素画像を生成したか否かを判定する（ステップＳ３）。

そして、すべての要素レンズ分の要素画像を生成した場合（ステップＳ３でＹｅｓ）、立体像生成装置１は、生成した要素画像のデータ（立体像データ）を出力し（ステップＳ４）、動作を終了する。一方、すべての要素レンズ分の要素画像を生成していない場合（ステップＳ３でＮｏ）、立体像生成装置１は、ステップＳ２に戻って、他の要素レンズに対応する要素画像を順次生成する。
以上の動作によって、立体像生成装置１は、立体表示装置のすべての要素レンズに対応する要素画像を生成することができる。

（要素画像生成動作）
次に、図８を参照（適宜図１および図４参照）して、立体像生成装置１の要素画像生成動作について説明する。この動作は、図７で説明したステップＳ２の動作（要素画像生成手段２０の動作）に相当するものである。

まず、立体像生成装置１は、要素画像生成手段２０の単位ベクトル生成手段２１によって、要素画像の画素位置Ｉ_ｎ，ｍ（ｕ，ｖ）において、当該画素位置から要素画像に対応する要素レンズのピンホール位置Ｈ（ｎ，ｍ）に対する単位ベクトルｉ（ｉ_ｘ，ｉ_ｙ，ｉ_ｚ）を生成する（ステップＳ２１）。ここでは、単位ベクトル生成手段２１が、前記（１）式および（２）式でモデル化された立体表示装置の要素画像の画素位置Ｉ_ｎ，ｍ（ｕ，ｖ）からピンホール位置Ｈ（ｎ，ｍ）に対する単位ベクトルを前記（４）式により算出する。

そして、立体像生成装置１は、仮想カメラ位置・方向算出手段２２によって、ステップＳ２１で生成された単位ベクトルと、３次元仮想空間に対応付けられた立体表示装置２から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する（ステップＳ２２）。ここでは、仮想カメラ位置・方向算出手段２２が、単位ベクトルと立体表示装置からの距離とに基づいて、仮想カメラの位置を前記（５）式により算出するとともに、単位ベクトルの逆方向のベクトルを仮想カメラの撮影方向として算出する。

その後、立体像生成装置１は、仮想カメラ撮影手段２３によって、ステップＳ２２で算出された仮想カメラの位置および撮影方向から、３次元形状モデルを仮想的に撮影した画像を生成する（ステップＳ２３）。ここでは、仮想カメラ撮影手段２３が、ピンホール位置Ｈ（ｎ，ｍ）を仮想撮影画像の中心として、要素画像Ｇの各画素位置と仮想カメラＣの光学主点とを結んだ直線上に存在する３次元形状モデルの表面の色を仮想平面（仮想カメラＣの焦点位置）に対応付けることで図５に示すような仮想撮影画像を生成する。

そして、立体像生成装置１は、画素値決定手段２４の帯域制限手段２４ａによって、ステップＳ２３で生成された仮想撮影画像の画像中心の近傍領域に対して帯域制限フィルタ処理を施すことで、画像中心のピンホール位置に対応する画素の画素値を決定する（ステップＳ２４）。ここでは、帯域制限手段２４ａが、仮想撮影画像内におけるピンホールの水平間隔Ｓ_ｕ、垂直間隔Ｓ_ｖを前記（６）式により算出し、水平間隔Ｓ_ｕ、垂直間隔Ｓ_ｖで特定される帯域制限フィルタＦ_Ｉ（図６参照）の領域内の画素値を平均化することで、画素位置Ｉ_ｎ，ｍ（ｕ，ｖ）の画素値とする。

そして、立体像生成装置１は、画素値決定手段２４において、要素画像内のすべての画素値が決定されたか否かを判定する（ステップＳ２５）。
そして、要素画像内のすべての画素の画素値が決定した場合（ステップＳ２５でＹｅｓ）、立体像生成装置１は、要素画像生成手段２０による動作を終了する。この場合、図７のステップＳ３に動作が移行する。一方、要素画像内のすべての画素の画素値が決定していない場合（ステップＳ２５でＮｏ）、立体像生成装置１は、ステップＳ２１に戻って、要素画像内における他の画素を処理対象として動作を継続する。

以上の動作によって、立体像生成装置１は、個々の要素レンズに対応する要素画像の画像データを生成することができる。
以上、本発明の実施の形態に係る立体像生成装置１の構成および動作について説明したが、立体像生成装置１は、静止物体の３次元形状モデルを対象に立体像を生成するだけでなく、人物等の動的３次元形状モデルを対象に立体像を生成することも可能である。

[動的３次元形状モデルへの応用]
以下、図９を参照して、立体像生成装置１を用いて、動的３次元形状モデルの立体像（インテグラル立体映像）を生成する手法について説明する。図９は、動的３次元形状モデルのインテグラル立体映像を生成する立体映像生成システムの構成を模式的に示す構成図である。

図９に示すように、立体映像生成システムＳは、３次元モデリング装置３と、立体像生成装置１とを備える。
３次元モデリング装置３は、複数のカメラを、被写体を取り囲むように配置し、その複数のカメラ画像から動的な３次元形状モデルを生成するものである。この３次元モデリング装置３は、例えば、特許第４０１４１４０号公報で開示されている３次元モデリング装置を用いることができる。

これによって、立体映像生成システムＳは、３次元モデリング装置３において、複数のカメラ画像から映像フレームごとに動的３次元形状モデルを生成し、立体像生成装置１において、動的３次元形状モデルからインテグラル立体像を生成する。これによって、立体像生成装置１は、映像フレームごとにインテグラル立体像を生成することで、動画像（インテグラル立体映像）を生成することができる。

本発明の実施の形態に係る立体像生成装置の全体構成を示すブロック図である。 立体表示装置の構造を模式的に示した図であって、（ａ）は立体像の表示の様子、（ｂ）はレンズアレイと表示面との関係を示している。 立体表示装置を３次元仮想空間に対応付けた図であって、（ａ）は立体表示装置を対応付けた３次元仮想空間のＹＺ面、（ｂ）は立体表示装置を対応付けた３次元仮想空間のＸＹ面を示している。 ３次元仮想空間に表示対象となる３次元形状モデルと立体表示装置とを配置した例を示した模式図である。 仮想カメラ撮影手段が撮影した仮想撮影画像を示す図である。 帯域制限フィルタを説明するための説明図である。 本発明の実施の形態に係る立体像生成装置の全体動作を示すフローチャートである。 本発明の実施の形態に係る立体像生成装置の要素画像生成手段における要素画像の生成動作を示すフローチャートである。 動的３次元形状モデルのインテグラル立体映像を生成する立体映像生成システムの構成を示す構成図である。

符号の説明

１ 立体像生成装置
１０ ３次元仮想空間設定手段
２０ 要素画像生成手段
２１ 単位ベクトル生成手段
２２ 仮想カメラ位置・方向算出手段
２３ 仮想カメラ撮影手段（仮想カメラ撮影画像生成手段）
２４ 画素値決定手段
２４ａ 帯域制限手段
Ｓ 立体映像生成システム

Claims (3)

1. 表示対象の３次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成する立体像生成装置であって、
   前記表示面を構成する要素画像の画素間隔と、前記要素レンズのレンズ間隔および焦点距離とに基づいて、３次元仮想空間における前記要素レンズの中心であるピンホール位置と前記要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成するとともに、前記３次元形状モデルを前記３次元仮想空間に対応付ける３次元仮想空間設定手段と、
   前記要素画像の画素位置ごとに、当該画素位置から前記要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する単位ベクトル生成手段と、
   この単位ベクトル生成手段で生成された単位ベクトルと、前記３次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する仮想カメラ位置・方向算出手段と、
   この仮想カメラ位置・方向算出手段で算出された仮想カメラの位置および撮影方向を基準として、前記３次元形状モデルを所定画角の画像平面に投影変換することで、前記３次元形状モデルを仮想的に撮影した仮想撮影画像を生成する仮想カメラ撮影画像生成手段と、
   この仮想カメラ撮影画像生成手段で生成された仮想撮影画像の中心画素の画素値を、前記仮想カメラの位置および撮影方向における前記ピンホール位置に対応する画素の画素値とする画素値決定手段と、を備え、
   前記画素値決定手段は、前記仮想撮影画像において、前記ピンホール位置に対応する画素を中心とした領域であって、隣接する領域とは重なりを持たないように区分した区分領域ごとに画素値を平均化することで、前記ピンホール位置に対応する画素の画素値を算出することを特徴とする立体像生成装置。
2. 表示対象の３次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成する立体像生成方法であって、
   ３次元仮想空間設定手段により、前記表示面を構成する要素画像の画素間隔と、前記要素レンズのレンズ間隔および焦点距離とに基づいて、３次元仮想空間における前記要素レンズの中心であるピンホール位置と前記要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成するとともに、前記３次元形状モデルを前記３次元仮想空間に対応付ける３次元仮想空間設定ステップと、
   単位ベクトル生成手段により、前記要素画像の画素位置ごとに、当該画素位置から前記要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する単位ベクトル生成ステップと、
   仮想カメラ位置・方向算出手段により、前記単位ベクトルと、前記３次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する仮想カメラ位置・方向算出ステップと、
   仮想カメラ撮影画像生成手段により、前記仮想カメラの位置および撮影方向を基準として、前記３次元形状モデルを所定画角の画像平面に投影変換することで、前記３次元形状モデルを仮想的に撮影した仮想撮影画像を生成する仮想カメラ撮影画像生成ステップと、
   画素値決定手段により、前記仮想撮影画像の中心画素の画素値を、前記仮想カメラの位置および撮影方向における前記ピンホール位置に対応する画素の画素値とする画素値決定ステップと、を含み、
   前記画素値決定ステップは、前記仮想撮影画像において、前記ピンホール位置に対応する画素を中心とした領域であって、隣接する領域とは重なりを持たないように区分した区分領域ごとに画素値を平均化することで、前記ピンホール位置に対応する画素の画素値を算出することを特徴とする立体像生成方法。
3. 表示対象の３次元形状モデルから、表示面に対向して複数の要素レンズからなるレンズアレイを備えた立体表示装置に前記表示対象を表示するための立体像データを生成するために、コンピュータを、
   前記表示面を構成する要素画像の画素間隔と、前記要素レンズのレンズ間隔および焦点距離とに基づいて、３次元仮想空間における前記要素レンズの中心であるピンホール位置と前記要素画像の画素位置とを、立体像を表示させる立体表示装置のモデル化データとして生成するとともに、前記３次元形状モデルを前記３次元仮想空間に対応付ける３次元仮想空間設定手段、
   前記要素画像の画素位置ごとに、当該画素位置から前記要素画像に対応する要素レンズのピンホール位置に対する単位ベクトルを生成する単位ベクトル生成手段、
   この単位ベクトル生成手段で生成された単位ベクトルと、前記３次元仮想空間に対応付けられた立体表示装置から予め定めた距離とに基づいて、仮想カメラの位置および撮影方向を算出する仮想カメラ位置・方向算出手段、
   この仮想カメラ位置・方向算出手段で算出された仮想カメラの位置および撮影方向を基準として、前記３次元形状モデルを所定画角の画像平面に投影変換することで、前記３次元形状モデルを仮想的に撮影した仮想撮影画像を生成する仮想カメラ撮影画像生成手段、
   この仮想カメラ撮影画像生成手段で生成された仮想撮影画像の中心画素の画素値を、前記仮想カメラの位置および撮影方向における前記ピンホール位置に対応する画素の画素値とする画素値決定手段、として機能させ、
   前記画素値決定手段は、前記仮想撮影画像において、前記ピンホール位置に対応する画素を中心とした領域であって、隣接する領域とは重なりを持たないように区分した区分領域ごとに画素値を平均化することで、前記ピンホール位置に対応する画素の画素値を算出することを特徴とする立体像生成プログラム。

Images