JP4567422B2 - 三次元画像の作成方法 - Google Patents

Description

本発明は視点ベースのＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により表現の自由度の高いインテグラルフォトグラフィ用の三次元画像作成方法及び表示方法に関する。

特殊な光学装置を用いずに、裸眼で立体画像を観察できる方法として、図４に示すようなＮ×Ｍ個の凸レンズで構成する二次元レンズアレイ１１の背面に各凸レンズに対応した平面画像を配して三次元画像を表示するインテグラルフォトグラフィ（以下ＩＰと略す）が知られている。レンズアレイ１１の背面に配する平面画像１２を構成する個々の凸レンズに対応する二次元のｉ×ｊ個の画素は光線探索によるＩＰ独自の方法により算出していた（非特許文献１）。この方法では図４に示すように観察者側の視点Ａ（あるいはＢ）から直線に沿って表示対象物である円柱Ｘ、立方体Ｙへとスキャンし表示対象物と交わる観察者側に最も近い点（図においては矢印が接する点）に関するデータをレンズアレイの背面に配する平面画像の情報としている。すなわち、光線探索による上記交点の決定では表示対象物体をあたかも不透明な物体として扱っており、半透明性、反射などの物体の属性は交点を算出した後に別途計算して画像情報として付加していた。
中島勧、正宗賢：「画像誘導手術のための三次元ディスプレイシステムの開発」、電子情報通信学会論文誌、２０００年、Ｄ，Ｊ８３−Ｄ，ｐ３８７−９５

しかし、上記のように、光線探索法では半透明、反射など物体の属性を別途計算する必要があり、計算すべき画素数が多いので、交点（即ち画素の位置情報）の決定のみの計算に比べ多大な時間がかかるという欠点があった。従って、表現の自由度が制限され、立体表示はされるが満足すべきレベルではなかった。

本発明は、上記の問題点に鑑みてなされたもので、コンピュータの性能の向上と相俟って広く使われるようになった汎用性コンピュータグラフィックス（以下ＣＧと略す）を導入し、自由度の大きい三次元画像を再生可能とするＩＰ用の平面画像を形成することを目的としている。

また、ＩＰによる三次元画像が観察者の動きに応じて動くことを可能とする平面画像を生成することも目的としている。

下記の本発明の構成により、自由度の大きいより現実感のある三次元画像の再生が可能となる。

（１）Ｎ×Ｍ個の凸レンズにより構成する二次元レンズアレイを通してその背面に配置した平面画像を三次元表示する三次元表示装置において、三次元画像を観察する領域内に該二次元アレイからの基準視距離を設定し、該基準視距離の位置に視域及び該視域内にｉ×ｊ個の視点を設定し、前記設定条件に基づいて汎用ＣＧプログラムを用いて仮想物体を生成し、前記ｉ×ｊ個の視点及びＭ×Ｎ個の凸レンズからそれぞれ１個を選択し、該視点と該凸レンズの中心とを結んだ線の延長線と前記平面画像面と交わる点を算出し、該視点から該凸レンズまでを結ぶ直線に沿った前記仮想物体の画像情報を前記算出点上に画素として記録し、同様の操作を繰り返して選択した該凸レンズに対して全ての視点に関する画素を前記平面画像面に記録して単位平面画像を完成し、別の凸レンズを選択し同様の操作を繰り返して全凸レンズに対する前記仮想物体の単位平面画像を完成させる演算において、前記単位平面画像の画素を所定の規則に従って配置を変えることにより、観察者の動きに応じて立体感のある画像が動くように観察されることを特徴とする三次元画像作成方法。

（２）前記各凸レンズに対応する単位平面画像の水平線を中心として互いに対称位置にある画素の入れ替えを全ての凸レンズに対して行い、視点が上下に移動する際、表示される三次元画像が視点とは逆に動くよう観察されることを特徴とする前記（１）記載の三次元画像作成方法。

（３）前記各凸レンズに対応する単位平面画像の水平方向鉛直方向両方の中心を中心として画素をそれぞれ９０度回転させた位置に画素の入れ替える処理を全ての凸レンズに対して行い、視点が左右に移動する際、表示される三次元画像が鉛直方向に回転するように観察され、視点が上下方向に移動する際、表示される三次元画像が水平方向に回転するように観察されることを特徴とする前記（１）記載の三次元画像作成方法。

（４）前記視域の１より大きいα倍の視域を設定し、全ての画素を計算し、元の視域に対応する画素の位置に計算した画素を配置し、表示される三次元画像が視点の移動よりも大きく移動するよう観察されることを特徴とする前記（１）記載の三次元画像作成方法。

（５）Ｎ×Ｍ個のピンホールにより構成する二次元ピンホールアレイを通してその背面に配置した平面画像を三次元表示する三次元表示装置において、三次元画像を観察する領域内に該二次元レンズアレイからの基準視距離を設定し、該基準視距離の位置に視域及び該視域内にｉ×ｊ個の視点を設定し、前記設定条件に基づいて汎用ＣＧプログラムを用いて仮想物体を生成し、前記ｉ×ｊ個の視点及びＭ×Ｎ個のピンホールからそれぞれ１個を選択し、該視点と該ピンホールの中心とを結んだ線の延長線と前記平面画像面と交わる点を算出し、該視点から該ピンホールまでを結ぶ直線に沿った前記仮想物体の画像情報を前記算出点上に画素として記録し、同様の操作を繰り返して選択した該ピンホールに対して全ての視点に関する画素を前記平面画像面に記録して単位平面画像を完成し、別のピンホールを選択し同様の操作を繰り返して全ピンホールに対する前記仮想物体の単位平面画像を完成させる演算において、前記単位平面画像の画素を所定の規則に従って配置を変えることにより、観察者の動きに応じて立体感のある画像が動くように観察されることを特徴とする三次元画像作成方法。

（６）前記各ピンホールに対応する単位平面画像の水平線を中心として互いに対称位置にある画素の入れ替えを全てのピンホールに対して行い、視点が上下に移動する際、表示される三次元画像が視点とは逆に動くよう観察されることを特徴とする前記（５）記載の三次元画像作成方法。

（７）前記各ピンホールに対応する単位平面画像の水平方向鉛直方向両方の中心を中心として画素をそれぞれ９０度回転させた位置に画素の入れ替える処理を全てのピンホールに対して行い、視点が左右に移動する際、表示される三次元画像が鉛直方向に回転するように観察され、視点が上下方向に移動する際、表示される三次元画像が水平方向に回転するように観察されることを特徴とする前記（５）記載の三次元画像作成方法。

（８）前記視域の１より大きいα倍の視域を設定し、全ての画素を計算し、元の視域に対応する画素の位置に計算した画素を配置し、表示される三次元画像が視点の移動よりも大きく移動するよう観察されることを特徴とする前記（５）記載の三次元画像作成方法。

以上述べたように、本発明によれば、従来のように膨大な計算を行わなくても、半透明性、反射など現実に近い属性を伴った物体の三次元表示が可能となる。

また、ＩＰ用の個々のレンズに対応する平面画像の画素を所定の規則に従って配置を変えることにより、観察者の動きに応じて立体感のある表示画像が動くように構成することにより、傍観者の注意を引きつける変化に富んだ三次元表示ができる。

以下、本発明の実施例について図面を用いて説明する。

図１には本発明によるＭ×Ｎ個の凸レンズにより構成するレンズアレイ１の背面の平面画像２の生成法を示す。図中の仮想物体である円柱Ｘ及び立方体Ｙは、視点Ａ、Ｂなどから平面画像２への距離である基準視距離、視点の数（ｉ×ｊ）、視域Ｖを設定して市販のＣＧソフトを用いて生成したものであり、仮想物体Ｘ、Ｙは半透明、反射などの属性を有している。

レンズアレイ１の背面に配置する平面画像２は次のように算出する。先ず視点Ａを選定し、視点Ａとレンズアレイ１の各凸レンズの中心を結ぶ線を決定しその線に沿った仮想物体ＸあるいはＹのデータを該凸レンズに対応する視点Ａの画像情報を平面画像２の面に画素として記録する。図１の各凸レンズに対応して画素Ａ１、Ａ２、Ａ３、Ａ４が平面画像２の面に記録されることになる。視点Ｂも含め視域Ｖ内の全ての視点（ｉ×ｊ個）に同様の操作を繰り返すと平面画像２の全体像が完成する。各々の凸レンズに対応してｉ×ｊ個の画素で構成する単位平面画像が生成され、凸レンズの総数であるＭ×Ｎの単位平面画像で構成する平面画像２が完成する。

上記のように記録された平面画像２はレンズアレイ１を通して観察すると、三次元表示の立体的画像として認識される。観察者の視点が動くと三次元画像の動きが多少は認められるが、動画と言えるほどの動きはない。この三次元表示に更に大きな動きを付与すると傍観者の注意を喚起しディスプレイとしての用途が大きく広がると考える。そのため、視点の動きに応じて表示物体が回転あるいは移動するように、上記のように生成した平面画像に以下に述べる処理を施した。

図２は、図１の各凸レンズに対応した単位平面画像の画素をその単位平面の中心を通る鉛直線に対称に画素を入れ替えた場合に観察される三次元画像を説明するための図である。図１と比較すると図２では視点Ａと視点Ｂの画素が入れ替わっており（例えばＡ１←→Ｂ１、Ａ２←→Ｂ２．．．）視点をＡからＢに移動すると立方体Ｙの後方から円柱Ｘが回転しながら飛び出してくるように見える。

図２の鉛直線の代わりに、水平線に対称に画素を入れ替えると、視点の垂直な動きとは逆方向に物体が回転するように見える。

また、各凸レンズに対応する単位平面画像の水平方向鉛直方向両法の中心を中心として画素をそれぞれ９０度回転させた位置に画素の入れ替える処理を全ての凸レンズに対して行うと、視点が左右に移動する際、三次元画像が鉛直方向に、視点が上下方向に移動する際には、三次元画像が水平方向に回転するように表示される。

更に、図３に示すように、元の視域Ｖの１より大きいα倍の視域Ｖ′を設定し、図１に基づいて説明した方法により計算し、レンズアレイ１の背面の平面画像として算出する。算出して得られた平面画像の画素群を元の視域Ｖの平面画像２へと再配置して、レンズアレイ１を通すと視点の移動に伴う画像の移動が図１の再生に比較してα倍に強調されて観察されるようになる。

以上説明した凸レンズで構成するレンズアレイの代わりに、不透明平板にレンズアレイと同じ配置のピンホールを形成したピンホールアレイを想定して、上記と同じ処理を行えば同様の三次元表示効果が得られる。

上記の方法で生成した画像はレンズアレイで三次元画像として再生すると擬似動画として認識され、従来の表示に比べると、より注目されるので次のような分野などで幅広く利用することが可能である。

（１）医療用三次元ディスプレイ
（２）街頭広告
（３）イベント用ディスプレイ

本発明によるレンズアレイ背面の平面画像算出法の説明図 図１の各凸レンズに対応した単位平面画像の画素をその単位平面の中心を通る鉛直線に対して対称に入れ替えた場合の三次元画像の表示の説明図 図１に示す算出法において視域をα倍にして算出する場合の説明図 従来の方法によるレンズアレイ背面の平面画像算出法の説明図

１、１１ レンズアレイ
２、１２ 平面画像
Ａ、Ｂ、Ａ′、Ｂ′ 視点
Ｖ、Ｖ′ 視域
Ｘ、Ｙ 仮想物体

Claims (8)

1. Ｎ×Ｍ個の凸レンズにより構成する二次元レンズアレイを通してその背面に配置した平面画像を三次元表示する三次元表示装置において、
   三次元画像を観察する領域内に該二次元アレイからの基準視距離を設定し、該基準視距離の位置に視域及び該視域内にｉ×ｊ個の視点を設定し、
   前記設定条件に基づいて汎用ＣＧプログラムを用いて仮想物体を生成し、
   前記ｉ×ｊ個の視点及びＭ×Ｎ個の凸レンズからそれぞれ１個を選択し、該視点と該凸レンズの中心とを結んだ線の延長線と前記平面画像面と交わる点を算出し、
   該視点から該凸レンズまでを結ぶ直線に沿った前記仮想物体の画像情報を前記算出点上に画素として記録し、
   同様の操作を繰り返して選択した該凸レンズに対して全ての視点に関する画素を前記平面画像面に記録して単位平面画像を完成し、
   別の凸レンズを選択し同様の操作を繰り返して全凸レンズに対する前記仮想物体の単位平面画像を完成させる演算において、
   前記単位平面画像の画素を所定の規則に従って配置を変えることにより、観察者の動きに応じて立体感のある画像が動くように観察されることを特徴とする三次元画像作成方法。
2. 前記各凸レンズに対応する単位平面画像の水平線を中心として互いに対称位置にある画素の入れ替えを全ての凸レンズに対して行い、視点が上下に移動する際、表示される三次元画像が視点とは逆に動くよう観察されることを特徴とする請求項１記載の三次元画像作成方法。
3. 前記各凸レンズに対応する単位平面画像の水平方向鉛直方向両方の中心を中心として画素をそれぞれ９０度回転させた位置に画素の入れ替える処理を全ての凸レンズに対して行い、視点が左右に移動する際、表示される三次元画像が鉛直方向に回転するように観察され、視点が上下方向に移動する際、表示される三次元画像が水平方向に回転するように観察されることを特徴とする請求項１記載の三次元画像作成方法。
4. 前記視域の１より大きいα倍の視域を設定し、全ての画素を計算し、元の視域に対応する画素の位置に計算した画素を配置し、表示される三次元画像が視点の移動よりも大きく移動するよう観察されることを特徴とする請求項１記載の三次元画像作成方法。
5. Ｎ×Ｍ個のピンホールにより構成する二次元ピンホールアレイを通してその背面に配置した平面画像を三次元表示する三次元表示装置において、
   三次元画像を観察する領域内に該二次元レンズアレイからの基準視距離を設定し、該基準視距離の位置に視域及び該視域内にｉ×ｊ個の視点を設定し、
   前記設定条件に基づいて汎用ＣＧプログラムを用いて仮想物体を生成し、
   前記ｉ×ｊ個の視点及びＭ×Ｎ個のピンホールからそれぞれ１個を選択し、該視点と該ピンホールの中心とを結んだ線の延長線と前記平面画像面と交わる点を算出し、
   該視点から該ピンホールまでを結ぶ直線に沿った前記仮想物体の画像情報を前記算出点上に画素として記録し、
   同様の操作を繰り返して選択した該ピンホールに対して全ての視点に関する画素を前記平面画像面に記録して単位平面画像を完成し、
   別のピンホールを選択し同様の操作を繰り返して全ピンホールに対する前記仮想物体の単位平面画像を完成させる演算において、
   前記単位平面画像の画素を所定の規則に従って配置を変えることにより、観察者の動きに応じて立体感のある画像が動くように観察されることを特徴とする三次元画像作成方法。
6. 前記各ピンホールに対応する単位平面画像の水平線を中心として互いに対称位置にある画素の入れ替えを全てのピンホールに対して行い、視点が上下に移動する際、表示される三次元画像が視点とは逆に動くよう観察されることを特徴とする請求項５記載の三次元画像作成方法。
7. 前記各ピンホールに対応する単位平面画像の水平方向鉛直方向両方の中心を中心として画素をそれぞれ９０度回転させた位置に画素の入れ替える処理を全てのピンホールに対して行い、視点が左右に移動する際、表示される三次元画像が鉛直方向に回転するように観察され、視点が上下方向に移動する際、表示される三次元画像が水平方向に回転するように観察されることを特徴とする請求項５記載の三次元画像作成方法。
8. 前記視域の１より大きいα倍の視域を設定し、全ての画素を計算し、元の視域に対応する画素の位置に計算した画素を配置し、表示される三次元画像が視点の移動よりも大きく移動するよう観察されることを特徴とする請求項５記載の三次元画像作成方法。