JP3601031B2

JP3601031B2 - 画像データ計測装置及び画像データを用いた対象物体の自由変形を含む任意視点画像作成方法

Info

Publication number: JP3601031B2
Application number: JP2002061078A
Authority: JP
Inventors: 洋川崎; 亮古川
Original assignee: TECHNO DREAM 21 Co Ltd
Current assignee: TECHNO DREAM 21 Co Ltd
Priority date: 2002-03-06
Filing date: 2002-03-06
Publication date: 2004-12-15
Anticipated expiration: 2022-03-06
Also published as: JP2003090715A

Description

【０００１】
【発明の属する技術分野】
本発明は、現存する物体を写実的にコンピュータ等のディスプレイに表示せしめる、イメージベーストレンダリング（IBR）やバーチャルリアリティー（VR）技術において、必要な画像データを得るための画像撮影装置や画像データ計測装置に関する。
【０００２】
また、前記装置により作成された画像データを用いて、任意視点及び任意光源下において画像を作成する方法に関するものである。
【０００３】
【従来の技術】
近年、取り扱えるデータ量の増加に伴い、コンピュータグラフィクス（CG）の技術において、実画像を直接利用するイメージベーストレンダリング（IBR）という手法が注目されている。IBRは、実画像を使用するため、従来のCG技術では難しかった、微細な形状や複雑な表面特性を持った対象を、十分な画像データがあれば写実的に表現出来る。
【０００４】
このようなIBRの例として、文献１（S.E.Chen et al,SIGGRAPH‘95，p29-38）に開示されているQuickTime（登録商標第４１３４３７７号） VRや、文献２（「光線情報による３次元実空間の効率的記述へ向けた光線空間射影法」苗村他、信学技報ＩＥ９５−１１９）に開示されている光線空間法、文献３（Marc Levoy and Pat Hanrahan,“Light Field Rendering”,SIGGRAPH’96，pp. 31-42）で開示されたLight Field Renderingと呼ばれる手法等がある。これらの手法は、対象物体の３次元形状を用いず、膨大な量の画像データから必要となる画像を取り出し、つなぎ合わせることで、新しい視点からの画像を構成する。データの記述は、仮想的な平面を仮定し、この平面を通過する光線をパラメータを用いて定義することで行っている。
【０００５】
上記IBR手法の欠点として、３次元形状を用いていないため、画像を撮影していない方向を含む新たな視点からの画像を合成することが出来ないことや、対象物体を動かしたり変形したりすることが出来ないことなどが挙げられる。そこで、最近では上記IBR手法に形状情報を加えてこれらの欠点を補う手法が提案されており、例として文献４（Daniel Wood et al, "Surface Light Fields for 3D Photography", SIGGRAPH’2000，pp. 287-296）で開示されたSurface Light Field Renderingという手法等がある。Surface Light Field Renderingでは、物体の３次元形状表面から光線が出ていると仮定して、この光線をデータとして計測しておき、合成の際にはこの光線データから必要なデータを抽出し、画像を構成するものである。
【０００６】
この物体表面の光線データは、視点方向の２次元（仰角及び俯角）と光源方向の２次元（仰角及び俯角）を加えた計４次元の双方向反射係数データとして記述出来るが、実際にこの４次元データを計測することは困難であり、これまでの計測対象は例えば文献５（K. Dana et al, "Reflectance and Texture of Real World Surfaces", Proceedings of the CVPR 1997, pp. 151-157）において行われているような２次元の平面状の物体であるか、３次元立体形状の物体に関しては、文献６（「Eigen-Texture法：複合現実感のための３次元モデルに基づく見えの圧縮と合成」西野他、信学会論文誌 D−II pp. 1793-1803 1999、10月）において行われた３次元分の双方向反射係数か、前記文献４で行われた２次元分の双方向反射係数のみを計測するに留まっている。
【０００７】
【発明が解決しようとする課題】
以上の従来技術では、３次元形状の４次元双方向反射係数データを取得し、任意視点下及び任意光源下において、変形を含む対象物体の自由な操作を許容するIBR手法による画像合成を実現した例はなかった。
【０００８】
そこで、本発明は、３次元形状物体の４次元双方向反射係数データを自動的に取得する装置及び４次元双方向反射係数データを用いたIBR手法による写実的な画像合成方法を提案することを目的とする。
【０００９】
【課題を解決するための手段】
前記、３次元形状物体の４次元双方向反射係数データは、視点方向の２次元分と光源方向の２次元分の計４次元の組み合わせで表現されるため、計測する時にも４次元分の自由度が残されており、多くの計測方法が考えられるが、請求項１乃至３のいずれかに記載の発明は、物体の４次元双方向反射係数データを計測する際に、視点の２自由度をそれぞれ物体の水平方向回転と、複数のカメラの垂直円弧上設置に分離し、照明の２自由度をそれぞれ複数の光源の垂直円弧上設置と、この複数光源を設置した円弧を水平に旋回することに分離して実現した点と、これらの制御をコントローラにより自動的に行える点を特徴とする計測装置である。
【００１０】
また、請求項４に記載の発明は、前記計測装置を用いて取得した４次元双方向反射係数データから、任意視点下、任意光源下において、変形を含む自由な操作を行った対象物体を、IBR手法にて写実的に画像合成を実現する方法である。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。以下の説明では、４次元双方向反射係数データを計測する手順と、得られた４次元双方向反射係数データを用いて任意視点画像を作成する手順の実施形態について開示する。
【００１２】
図１及び図３を用いて、本発明の一実施形態に係る４次元双方向反射係数データ計測方法の概略的な処理手順について説明する。
【００１３】
まず、撮影用デジタルカメラを半円弧状のアーム（１−３）に設置する。また、平行光源に近く、長時間にわたり出力が安定するハロゲンランプを光源として、水平方向に旋回する半円弧状のアーム（１−５）に設置する。
【００１４】
続いて、ターンテーブル（１−１）上に被写体となる３次元対象物を設置する。計測を開始すると、複数光源（１−４）のうち、一つの光源がコントローラ（１−６）により自動点灯し（３−３）、照明された対象物体をコントローラ（１−６）の自動制御により複数カメラで同時に撮影する（３−４）。撮影が終了すると、次の照明が点灯し、同様に自動撮影が行われる。
【００１５】
複数光源それぞれ全ての照明下において一通り撮影が終了すると、コントローラから制御信号が発せられ、ターンテーブル（１−１）が自動的に回転し始め、次の撮影位置まで回転し停止する（３−２）。その後はループ処理であるステップ（３―３）及び（３−４）を繰り返す。
【００１６】
ターンテーブル（１−１）が１回転すると、コントローラから制御信号が発せられ、光源を設置した円弧状のアームがステッピングモーターにより回転し、次の照明位置まで自動的に回転し停止する（３−１）。その後はループ処理であるステップ（３−２）、（３−３）及び（３−４）を繰り返す。
【００１７】
光源を設置した円弧状のアームが１回転すると、撮影終了となる（３−５）。
【００１８】
上記の手法により取得した４次元双方向反射係数データを用いて、任意視点画像を作成する方法について、図４を用いて説明する。
【００１９】
各画像を取得したときの視点方向は、物体の水平方向回転と、カメラの垂直円弧上での位置で表され、これらを視点方向を表現する二個のインデックスとして利用する。照明方向は、光源を設置した円弧の水平回転と、光源の垂直円弧上での位置で表され、これらを光源方向を表現する二個のインデックスとして利用する。視点方向、光源方向ともに、角度計測の基準となる方向を設定し、「基準方向」とする。
【００２０】
まず、対象物の表面を表す三次元形状データを取得して三角形ポリゴンに分割する。この際、表面形状データの頂点位置を、前記基準方向に対して固定された座標系で表現する。なお、上記取得された画像データを用いて形状を作成すれば、別途形状を計測する必要がなく、また、位置合わせも最初から完了しているため、都合が良い。
【００２１】
次に、各ポリゴンに対応するテクスチャを上記取得された画像データから取得する。取得されたテクスチャは、ポリゴンを指定するためのインデックスと、視点方向のインデックス、照明方向のインデックスを検索キーとして、データベースに保管し、テクスチャデータベースとする。各ポリゴンにおける視点方向、光源方向のインデックスは、全て前記基準方向からの角度で表現する。
【００２２】
次に、利用者は目的に応じた三次元形状に対象物体を変形し、これを新たな三次元形状データとして入力する（４−１）。
【００２３】
さらに、利用者は新たな視点情報を入力し、この入力データと前述の利用者が入力した変形対象物の三次元形状データとの間で幾何計算を行い、各ポリゴンにおける前記基準方向からの角度のずれを算出し、形状変更後の新たな視点方向とする。物体に変形が無ければ、視点方向は全ポリゴンにおいて同一となる（４−２）。
【００２４】
次に、利用者によって入力された、任意視点画像における照明方向から、各ポリゴンにおける照明方向を算出する。照明方向は、前記基準方向からの角度で表現する。物体に変形が無ければ、照明方向は全ポリゴンにおいて同一となる（４−２）。
【００２５】
次に、上記算出された各ポリゴンにおける視点方向、照明方向に対応するテクスチャを、上記作成されたテクスチャデータベースから作成する。視点方向は二次元の数値で表されるので、全視点方向は平面上の点で表される。この平面をテクスチャデータベースに存在する視点方向を頂点とする三角形の領域に分割し、指定された視点方向を囲む三角形を得る。この三個の頂点に対応する視点方向を、サンプル視点方向として利用する。同様に三個の照明方向を算出し、サンプル照明方向として利用する。サンプル視点方向、サンプル照明方向のこれらの組み合わせから、合計九個のテクスチャをテクスチャデータベースから取り出す（４−３）。
【００２６】
取り出された九個のテクスチャを、サンプル視点方向からの距離及びサンプル照明方向からの距離で重み付け平均することで、指定された視点方向、照明方向に対応するテクスチャを生成する（４−４）。
【００２７】
次に、任意視点画像における対象物の表面形状データに、上記生成されたテクスチャをマッピングして描画することで、任意視点画像を生成する（４−５）。
【００２８】
本発明に係る装置は、上述したように４次元の画像データを計測するための４自由度が独立に設定されているため、実際には前記処理ステップの順序に影響されずにデータを計測することが可能であるが、図３の実施形態による処理ステップでは、光源円弧アームの回転やターンテーブルの回転など、時間のかかる処理を外側のループに配置することで、短時間で４次元データを過不足なく撮影することが出来る。
【００２９】
また、平行光源に近く出力の安定したハロゲンランプを使用しているため、画質に与える複数光源の固体差による影響が少なく、高品質な画像データを計測出来る。
【００３０】
図３の実施形態では、ループ処理を外側から順に、光源円弧アームの回転、ターンテーブルの回転、光源の点灯としているが、他の実施形態では、撮影プロセスにおけるループ処理の順序は任意で良い。
【００３１】
図１の実施形態では、照明を固定する円弧状アームはカメラ円弧の外側に配置しているが、図５のように照明用円弧状アームはカメラ円弧の内側に配置しても良い。また、照明用円弧状アームを回転させる代わりに、球状のドーム上に光源を複数台設置しても良い。
【００３２】
図１の実施形態では、撮影機器はデジタルカメラとしているが、デジタルカメラの代わりにCCDカメラやビデオカメラを用いても良い。また、ビデオカメラの場合にはシャッターなどを制御する必要がないため、計測開始から終了までビデオ撮影し続けるだけで良い。
【００３３】
図１の実施形態では、光源として、ハロゲンランプを用いているが、ストロボ光、タングステン光、蛍光灯、フラットランプなどでも良い。
【００３４】
【発明の効果】
以上説明したように、本発明によれば、４次元双方向反射係数データを撮影する際の計測対象物体の動きが水平方向のみに限定されるため、計測の際には対象物体を特に固定する必要がなく、単にターンテーブル上に置くだけで容易に撮影することが出来る。
【００３５】
また、全てのカメラが固定されているため、カメラに固有なキャリブレーションなどの複雑な処理が一度で済むほか、全てコントローラにより制御されているため、必要な画像データを自動的に過不足なく計測することが出来る。
【００３６】
さらに、４次元双方向反射係数データを用いた、IBR手法に基づく画像生成方法により、これまで再現が難しかった対象物体を写実的に合成することが可能となる。
【図面の簡単な説明】
【図１】本発明による第１実施例としての画像データ計測装置の構成を側面から見た図である。
【図２】本発明による第１実施例としての画像データ計測装置の構成を上部から見た図である。
【図３】本発明に係る画像データの自動計測方法の一実施形態を説明するフローチャートである。
【図４】本発明に係る任意視点画像を描画する方法の一実施形態を説明するフローチャートである。
【図５】本発明による第２実施例としての画像データ計測装置の構成を側面から見た図である。
【符号の説明】
１−１ターンテーブル１−２カメラ１−３カメラ固定アーム
１−４光源１−５光源固定アーム１−６コントローラー
１−７ターンテーブル用モーター１−８光源アーム回転用モーター
２−１ターンテーブル２−２カメラ２−３カメラ固定アーム
２−４光源２−５光源固定アーム
５−１ターンテーブル５−２カメラ５−３カメラ固定アーム
５−４光源５−５光源固定アーム５−６コントローラー
５−７光源アーム回転用モーター５−８ターンテーブル用モーター

Claims

撮影の対象物を載置する水平方向のターンテーブル（１−１）と、ターンテーブル（１−１）上の対象物を撮影する複数台のカメラ（１−２）と、前記対象物を地面に垂直な円の中心とし、前記複数カメラを固定する半円弧状のアーム（１−３）と、前記対象物を照明する複数光源（１−４）と、前記対象物を地面に垂直な円の中心とし、ターンテーブルと同一の回転軸でモーターにより水平方向に旋回する、前記複数光源を固定する半円弧状のアーム（１−５）と、ターンテーブル（１−１）及び光源固定用の半円弧状のアーム（１−５）の回転動作を制御するコントローラ（１−６）と、複数カメラ（１−２）及び複数光源（１−４）の動作を制御するコントローラ（１−６）と、複数カメラ（１−２）により撮影された画像データの保存を行うコントローラ（１−６）とを有し、視点及び光源に関する複数の条件下において対象物を自動的に撮影することを特徴とする画像データ計測装置。
光源が半円弧アーム（１−５）上で、コントローラ（１−６）の制御により、任意に上下可動な、請求項１に記載の画像データ計測装置。
半円弧アーム（１−５）が、コントローラ（１−６）の制御により、半円弧アーム（１−５）の円周に沿って任意に回転する、請求項１に記載の画像データ計測装置。
請求項１乃至３のいずれかに記載の画像データ計測装置を用いて画像データを作成するステップと、前記画像データから対象物の表面の形状データを作成し三角形ポリゴンに分割するステップと、前記取得された各ポリゴンに対応するテクスチャを前記画像データから取得するステップと、前記取得されたテクスチャをポリゴンインデックスと照明位置と視点位置のインデックスとで指定可能なデータベースに格納するステップとを有することを特徴とする、表面形状データ及びテクスチャデータベース作成方法。
請求項４に記載の方法により表面形状データ及びテクスチャデータベースを作成するステップと、対象物に対する視点、光源、変形を指定し、各形状データに対応するテクスチャの照明位置及び視点位置のインデックスを算出するステップと、算出されたインデックスに対応するテクスチャを前記テクスチャデータベースの複数のテクスチャを補間して作成するステップと、前記作成されたテクスチャを形状データにマッピングすることによって描画を行い、任意の光源下において任意の視点から見た対象物体の任意視点画像を作成するステップとを有することを特徴とする、任意視点画像作成方法。