JP4168103B2 - テクスチャ画像の生成・マッピングシステム - Google Patents
テクスチャ画像の生成・マッピングシステム Download PDFInfo
- Publication number
- JP4168103B2 JP4168103B2 JP2002315722A JP2002315722A JP4168103B2 JP 4168103 B2 JP4168103 B2 JP 4168103B2 JP 2002315722 A JP2002315722 A JP 2002315722A JP 2002315722 A JP2002315722 A JP 2002315722A JP 4168103 B2 JP4168103 B2 JP 4168103B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- parallel projection
- polygon
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、任意の視点で撮影された複数枚のカメラ画像に基づいてテクスチャ画像を生成し、それを三次元形状データにマッピングする技術に関する。
【０００２】
【従来の技術】
従来から、非接触型デジタイザを用いた場合のように、回転テーブル上に載せた物体の三次元形状計測と同時にカメラ撮影によって物体表面の連続的な色情報を取得できる場合、一般に物体（回転テーブル）の中心軸の色情報を一定角度毎に格納することで物体を囲む円筒状のテクスチャ画像データを生成する方法が知られている。
【０００３】
また、実在する物体の外部から視認できる三次元形状データと色データを含む三次元画像データを入力することを前提としてテクスチャ画像を生成する方法も開示されている（例えば、特許文献１参照）。
【０００４】
さらに、適切なテクスチャ画像を複数の画像から選択し、テクスチャマッピングを行う方法も提供されている（例えば、特許文献２参照）。
【０００５】
【特許文献１】
特開平１０−２８３４８７号公報
【特許文献２】
特開平０９−１３４４４９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の非接触デジタイザを用いた技術により生成されたテクスチャ画像データは、物体の面の表面積や角度と関係無く全て同じ情報量の色情報を格納するため、テクスチャ画像データに色情報が冗長するエリアが生じる。このことはテクスチャ画像データ全体の情報量を大きくすることになる。また生成されたテクスチャ画像を物体にマッピングする際、回転テーブル上の物体の中心軸を視点として透視投影によってテクスチャ画像座標値を設定するため、凹部分を有する三次元形状データの場合には不具合が生じる。
【０００７】
また、特許文献１に記載の方法によれば、任意の方向から撮影された複数枚の画像からテクスチャ画像を生成することはできない。また情報量は膨大になる。すなわち、任意の方向から撮影された複数枚の画像から高品質且つ情報量の少ないテクスチャ画像を生成する方法は考慮されていない。
【０００８】
特許文献２に記載の方法によれば、複数の画像から適切なテクスチャ画像を選択するのみで、複数の画像から必要な色情報を自動的に取り出し、新たなテクスチャ画像を生成しない。すなわち、情報量の少ないテクスチャ画像を生成する方法は考慮されていない。
【０００９】
すなわち、従来の方法では、任意の視点で撮影された複数枚のカメラ画像を加工して高品質なテクスチャ画像データは得ることはできるが、テクスチャ画像データの情報量を小さくすることはできていない。
【００１０】
本発明は、任意の視点で撮影された複数枚のカメラ画像から高品質かつ情報量の小さいテクスチャ画像を生成し、それを三次元形状データへマッピングする技術を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の一観点によれば、複数の視点で対象物を撮影した複数枚のカメラ画像Ｉｉ（ｉ＝１，２，３、・・・、ｎ）データと、前記対象物の三次元形状データとを準備するステップと、前記対象物の三次元形状データを包む仮想の立体面を画定し、該立体面を形成するぞれぞれの面Ｓｊ（ｊ＝１，２，３，・・・、ｍ）に対応する平行投影画像データＩｓ（Ｓｊ）を作成する第１のステップと、前記平行投影画像データＩｓ（Ｓｊ）を合成してテクスチャ画像データを作成し、該テクスチャ画像データを前記三次元形状データにマッピングする第２ステップとをコンピュータに実行させるためのプログラムが提供される。尚、カメラ画像データＩｉの三次元の位置座標及び姿勢は、カメラの内部変数と外部変数とを用いて取得することができる。
【００１２】
本発明の他の観点によれば、複数の視点で対象物を撮影した複数枚のカメラ画像データＩｉ（ｉ＝１，２，３、・・・、ｎ）と、前記対象物の三次元形状データとを入力する入力部と、該入力部から入力された前記カメラ画像データと、前記対象物の三次元形状データと、を格納する記憶部と、前記対象物の三次元形状データを包む仮想の立体面を画定し、該立体面を形成するぞれぞれの面Ｓｊ（ｊ＝１，２，３，・・・、ｍ）に対応する平行投影画像データＩｓ（Ｓｊ）を作成する平行投影データ生成部と、前記平行投影画像データＩｓ（Ｓｊ）を合成してテクスチャ画像データを作成し、該テクスチャ画像データを前記三次元形状データにマッピングするテクスチャ画像データ生成部と、作成されたテクスチャ画像データを出力する出力部と、を有する処理部とを有する画像処理装置が提供される。
【００１３】
【発明の実施の形態】
本明細書において、カメラ画像とは、実際に撮影した画像の他に、例えばデジタル化された画像データなどをも含む広い概念である。本発明の実施の形態について説明する前に、まず、発明者の行った考察について説明する。発明者は、任意の視点で撮影したカメラ画像は、時間軸上又は座標軸上におけるデータとして考えた場合には断続的であるため、非接触デジタイザのように円筒状に色情報を格納してテクスチャ画像データを生成することは難しいと考えた。また、円筒状に作成されたテクスチャ画像データは情報量が大きくなる傾向にある。
【００１４】
そこで、発明者は、物体を包む仮想の立体面を生成し、物体の外側に無限遠点の視点を設定して立体面に平行投影することにより色情報を格納する技術を考え付いた。この技術によれば、円筒状にテクスチャ画像データを生成する場合より色情報が冗長するエリアが減少し、格納する情報量を小さくすることができる。また、平行投影の画像を利用することによって凹部分を有する複雑な三次元形状データへのテクスチャ画像座標値を適切に設定することが可能になり、良好なマッピング結果を得ることができる。
【００１５】
平行投影によって格納する色情報は、立体面に向かって無限遠点の視点から視線（レイ）を放射して交差するポリゴンの法線ベクトル、カメラ画像の光軸ベクトルなどを利用することにより、必要なカメラ画像を選択、選択された複数のカメラ画像の色情報（画素値）を幾何学的な計算に基づいて合成する。これにより、複数枚のカメラ画像が持っている情報であって、限られた色情報中から最適な情報を選択し利用することによって、高品質な平行投影画像を生成することができるものと考えられる。
【００１６】
上記考察に基づき、本発明の一実施の形態によるテクスチャ画像処理技術について図面を参照しつつ説明を行う。尚、本実施の形態によるテクスチャ画像処理技術は、物体の三次元形状データＤ（ポリゴンデータ）と、任意の視点から物体を撮影した複数枚（ｎ枚）のカメラ画像データＩｉ（i＝１，２，３，・・・, ｎ）と、各カメラ画像のキャリブレーションによりカメラの内部変数及び外部変数と、が得られていることを前提とする。但し、カメラ画像データの枚数ｎは任意である。
【００１７】
本実施の形態によるテクスチャ画像処理技術は、三次元形状データを包む仮想の立体面面Ｓｊ（ｊ＝１，２，３，・・・, ｍ）を用意して各面への平行投影画像データＩｓ（Ｓｊ）を複数枚の画像Ｉｉから生成する第１のステップと、これらｍ枚の平行投影画像Ｉｓ（Ｓｊ）を合成してテクスチャ画像データＴを作成し、三次元形状データの全ポリゴンの頂点にテクスチャ画像座標値を設定する第２のステップを有する。第１のステップ、第２のステップのフローチャートを図１から図３までに示す。
【００１８】
図１は、本実施の形態によるテクスチャ画像処理の大まかな流れを示すフローチャート図である。図２は、図１に示される第１及び第２のステップのうち、第１ステップにおける処理の詳細な流れを示すフローチャート図であり、図３は、第２ステップのフローチャート図である。図４は、三次元形状データＤに基づいて平行投影画像データＩｓを生成する処理を示す模式的な図である。図５は、ポリゴンＤとカメラ画像データＩｉとの関係を示す模式的な図である。図６は、上記第１のステップにより立体面上に作成された平行投影画像データＩｓの画像例を示す図である。図７は、上記第２のステップのうち、切除処理情報Ｘと変換処理情報Ｙとによりテクスチャ画像座標値（ｘｔ，ｙｔ）を求める処理の流れを示すフローチャート図である。図８は、第２のステップにより作成されたテクスチャ画像Ｔの画像例である。
【００１９】
図１に示すように、第１のステップＳ０では、物体の三次元形状データＤを完全に包む仮想の立体面Ｓｊ（ｊ＝１，２，３，・・・, ｍ）を生成し、各面に貼り付ける形で色情報を格納する平行投影画像データＩｓ（Ｓｊ）を作成する。第２のステップＳ２０では、平行投影画像データを合成してテクスチャ画像データを作成し、三次元形状データへのマッピングを行う。以下に、第１及び第２のステップについて詳しく説明する。
【００２０】
第１のステップＳ０を開始（ステップＳ１）する。ステップＳ２において、入力データとして三次元形状データＤと複数枚のカメラ画像データＩｉ（i＝１，２，３，・・・, ｎ）とを入力する。ステップＳ３において、三次元形状データＤを包む（包含する）仮想の立体面Ｓｊ（ｊ＝１，２，３、・・・，ｍ）を生成する。立体面Ｓｊは、例えば立方体を画定する６面の立体面（ｍ＝６）である（図４参照）。次に、ステップＳ４において、立体面Ｓｊの各面において以下の処理をステップＳ５からＳ１０までの処理を繰り返す。ステップＳ５において、立体面Ｓｊの各面に貼り付ける形で色情報を格納する平行投影画像データＩｓ（Ｓｊ）を作成する（全画素の色情報には初期値を設定する）。尚、平行投影画像データＩｓ（Ｓｊ）の縦横の画素数Ｋ×Ｌは任意である。
【００２１】
ステップＳ６において、平行投影画像データＩｓ（Ｓｊ）の各画素（ｘｓ＝１，２，３，・・・, Ｋ、ｙｓ＝１，２，３，・・・,Ｌ）に、ステップ１０までの処理を行う。ステップＳ７において、面に貼り付けた平行投影画像データＩｓ（Ｓｊ）の各１画素の中心に向けて立体面Ｓｊの外側から面に対して垂直に視線ベクトルＥを照射し、交差する三次元形状データＤのポリゴンＧがあるか否かを判定し、交差するポリゴンＧを算出し、交点の座標Ｐを求める（ステップ８）。ステップＳ９において、ポリゴンＧの法線ベクトルＮｇとカメラ画像データＩｉの法線ベクトルＮ（Ｉｉ）との成す角度ａ（Ｉｉ）が鋭角な画像データＩｉを選択する。この選択処理は、ポリゴンＧの表面が物理的に写っていないカメラ画像を次の計算から除外することを意味する。
【００２２】
ステップＳ１０において、上記処理により選択されたｈ枚のカメラ画像データＩｉ（i＝１，２，３，・・・, ｈ）（ｈ＜ｎ）のみを利用して平行投影画像データＩｓ（Ｓｊ）の画素の色情報を計算する。カメラ画像データＩｉの座標（ｘ、ｙ）の画素の色情報をＩｉ（ｘ，ｙ）で表すと、平行投影画像データＩｓ（Ｓｊ）の座標（ｘｓ、ｙｓ）の画素の色情報Ｉｓ（ｘｓ，ｙｓ）は、下記の式（１）〜（４）で表される。
【００２３】
平行投影画像データＩｓ（Ｓｊ）の各画素（ｘｓ＝１，２，３，・・・, Ｋ、ｙｓ＝１，２，３，・・・,Ｌ）について視線ベクトルＥを照射し、色情報を計算することによって、ステップＳ１１に示すように最終的に平行投影画像データＩｓ（Ｓｊ）の全画素に色情報が格納（保存）される。
【００２４】
【数１】
【００２５】
【数２】
【００２６】
【数３】
【００２７】
【数４】
【００２８】
上記式中のＬ（Ｉｉ）は視線ベクトルＥとポリゴンＧとの交点Ｐからカメラ画像データＩｉの点（ｘ、ｙ）までのベクトル、β（Ｉｉ）は法線単位ベクトルＮｇとベクトルＬ（Ｉｉ）とのなす角度を表す。ｗ（Ｉｉ）は各カメラ画像Ｉｉの重み係数を表しており、全てのカメラ画像Ｉｉ（i＝１，２，３，・・・, ｎ）の重み係数の合計Σｗ（Ｉｉ）に対するカメラ画像Ｉｉの重み係数ｗ（Ｉｉ）の比率によって加算する色情報Ｉｉ（ｘ，ｙ）の値を変化させている。重み係数ｗ（Ｉｉ）はcos（β（Ｉｉ））及び１／｜Ｌ（Ｉｉ）｜で構成されている。cos（β（Ｉｉ））は、ポリゴンＧの面とカメラ画像Ｉｉの平行度を表しており、平行度cos（β（Ｉｉ））の値が大きいほど重み係数が大きくなる。
【００２９】
１／｜Ｌ（Ｉｉ）｜は交点Ｐからカメラ画像データＩｉの座標（ｘ、ｙ）までの距離の逆数を表しており、距離の逆数１／｜Ｌ（Ｉｉ）｜の値が大きいほど重み係数が大きくなる。すなわち、色情報Ｉｓ（ｘｓ、ｙｓ）は、カメラ画像データＩｉとポリゴンＧとが平行であるほど、かつ、カメラ画像データＩｉと交点Ｐとの距離が近いほど、その色情報Ｉｉ（ｘ，ｙ）を反映する。カメラ画像の色情報Ｉｉ（ｘ，ｙ）は、交点Ｐ（ｘｐ、ｙｐ、ｚｐ）をカメラの内部変数及び外部変数を用いて画像Ｉｉの座標（ｘ、ｙ）に変換することで取得できる。Ｌ（Ｉｉ）は、カメラ座標（ｘ、ｙ）をカメラの内部変数及び外部変数から世界座標系に変換することで点Ｒ（ｘｒ、ｙｒ、ｚｒ）を算出し、点Ｐから点Ｒへのベクトルによって定義される。Ｌ（Ｉｉ）の大きさ｜Ｌ（Ｉｉ）｜は上記（４）式で表される。視線ベクトルＥと交差するポリゴンＧがない場合は、平行投影画像データＩｓの画素値は初期値のままになる。
【００３０】
平行投影画像データＩｓ（Ｓｊ）の全画素（ｘｓ＝１，２，３，・・・, Ｋ、ｙｓ＝１，２，３，・・・,Ｌ）について、上記のような、平行投影画像データＩｓ（Ｓｊ）の各画素に格納する色情報を計算する方法に基づく処理（ステップＳ６からステップＳ１０まで）を行い、平行投影画像データＩｓ（Ｓｊ）を作成、保存する。以上の処理を、全ての立体面Ｓｊ（ｊ＝１，２，３，・・・, ｍ）について行い（ステップＳ４からＳ１０まで）、ｍ枚の平行投影画像データＩｓ（Ｓｊ）を作成する（図６参照）。図６には、Ｉｓ（Ｓ１）からＩｓ（Ｓ６）までの立体面に対応する６枚の画像が配置されている。
【００３１】
尚、平行投影画像データＩｓ（Ｓｊ）の縦横の画素数Ｋ×Ｌの値が大きいほど高画質な画像データが得られるが、それだけ情報量が大きくなる。
【００３２】
第２のステップは、上記第１のステップで作成されたｍ枚の平行投影画像データＩｓ（Ｓｊ）から必要な部分を合成して、新しくテクスチャ画像データＴを作成するステップである。テクスチャ画像データをマッピングする際に三次元形状データＤの全ポリゴン頂点にテクスチャ画像座標値を設定する必要がある。
【００３３】
ステップＳ２１において第２ステップＳ２０が開始する（ステップＳ２１）。ステップＳ２２において、入力データとして平行投影画像データＩｓ（Ｓｊ）と三次元形状データＤとを準備する。
【００３４】
ステップＳ２２において、平行投影画像データＩｓから有効な領域を切り出し、有効領域画像データＪｓを作成する。作成時の切除処理情報Ｘを保存する。すなわち、合成の第１の処理として、平行投影画像データＩｓ（Ｓｊ）をそれぞれの有効領域（画素の色情報が初期値でない部分を完全に含む長方形）で切り出し、有効領域画像データＪｓ（Ｓｊ）を作成する。このときの切り出し時に用いたパラメータを切除処理情報Ｘとして保存しておく。第２の処置として、ステップＳ２３において、上記処理で作成された有効領域画像データＪｓ（Ｓｊ）の縦横の画素数をもとに、それら全ての画像が最も面積が小さい領域（画素数）で合成されるように配置し、テクスチャ画像データＴを作成する。その場合、有効領域画像データＪｓ（Ｓｊ）は自由に平行移動変換、９０度毎の回転変換を可能である。その際の変換処理情報Ｙを保存する（図７参照）。
【００３５】
次に、三次元形状データの全てのポリゴンについてステップＳ２４からステップＳ２８までの処理を繰り返す。ステップＳ２５において、三次元形状データＤを構成する全てのポリゴンについて、その法線ベクトルＮｇと立体面Ｓｊ（ｊ＝１，２，３，・・・, ｍ）の法線ベクトルＮ（Ｓｊ）とのなす角度γ（Ｓｊ）（ｊ＝１，２，３，・・・，ｍ）が最も小さくなる面Ｓｊを選択し、ステップＳ２６において、ポリゴンの頂点に選択された面Ｓｊに対応する平行投影画像データＩｓ（Ｓｊ）の座標値（ｘｓ、ｙｓ）を設定する。この際、頂点には平行投影画像データＩｓ（Ｓｊ）の座標値と同時に選択された面の番号ｊ（ｊ＝１〜ｍ）も設定する。平行投影画像データＩｓ（Ｓｊ）からテクスチャ画像データを合成する際、既に上記処理により設定されたポリゴン頂点の座標値も同時に変換する必要があるため、合成時の処理情報も保持しておく必要がある。
【００３６】
ステップＳ２７において、ポリゴンＧの頂点に設定された面番号ｊ及び平行投影画像データＩｓ（Ｓｊ）の座標値（ｘｓ、ｙｓ）と、上記ステップＳ２２、Ｓ２３において保存されている切除処理情報Ｘ、変換処理情報Ｙと、に基づいて、テクスチャ画像座標値（ｘｔ、ｙｔ）を算出し（図７）、ポリゴンＧの頂点に設定する。この再設定により、三次元形状データＤのポリゴン表面にテクスチャ画像データＴをマッピングすることが可能となる（図８）。ステップＳ２８において、テクスチャ画像データＴ、テクスチャ座標値データＵを出力する。ステップＳ２９で処理が終了する。
【００３７】
図８に示すように、図６において得られた平行投影画像データのうちの不要な部分（領域）が切除され、さらに、画像データの回転又は平行移動により、コンパクトな（データ量の少ない）テクスチャ画像データが得られる。
【００３８】
後述の図９を参照して説明すると、データ入出力部３１においては、記憶部４０に格納されているテクスチャ画像データＴとテクスチャ座標値データＵを、それぞれテクスチャ画像データ出力部３１ｃ、テクスチャ座標値データ出力部３１ｄより出力する。
【００３９】
以上、本実施の形態によるテクスチャ画像生成技術によれば、任意の視点で撮影された複数枚のカメラ画像から合成されたテクスチャ画像データの情報量を小さくすることができ、また凹部分をもつ三次元形状データの場合も適切にテクスチャマッピングを行うことが可能になる。
【００４０】
次に、本発明の第２の実施の形態によるテクスチャ画像の生成装置（専用ハードウェア）について図面を参照して説明する。尚、本発明の第１の実施の形態によるテクスチャ画像処理技術は、プログラム（ソフトウェア）を用いて画像処理を行う技術である。図９に示すように、本実施の形態によるテクスチャ画像の生成装置は、処理部３０と、記憶部４０と、入出力部５０と、を有している。処理部３０は、データ入出力部３１と、平行投影画像データ生成部３３と、テクスチャ画像データ生成部３５とを有している。データ入出力部３１は、三次元形状データ入力部３１ａと、カメラ画像データ入力部３１ｂとを有している。平行投影画像データ生成部３３は、仮想立体面生成部３３ａと、視線放射部３３ｂと、ポリゴン交差判定交点算出部３３ｃと、カメラ画像選択部３３ｄと、画素値合成部３３ｅと、立体面投影部３３ｆと、を有している。テクスチャ画像データ生成部３５は、有効領域画像データ作成部（切除処理情報）３５ａと、テクスチャ画像データ作成部（変換処理情報）３５ｂと、テクスチャ座標値設定部３５ｃとを有している。
【００４１】
記憶部４０は、三次元形状データ格納部４１と、カメラ画像データ格納部４３と、平行投影画像データ格納部４５と、切除処理・変換処理情報４７と、テクスチャ画像データ格納部４８と、テクスチャ座標値データ格納部４９と、を有している。入出力部５０は、例えば、マウス５１とキーボード５３と、ディスプレイ（表示部）５５、例えばＣＲＴ又は液晶表示装置を有している。
【００４２】
処理部３０においては、記憶部４０に格納されている三次元形状データ４１とカメラ画像データ４３とに基づいて、平行投影画像データ生成部３３により平行投影データを作成し、これを平行投影画像データ格納部４５に格納する。
【００４３】
平行投影画像データ格納部４５に格納されたデータは、平行投影画像データ生成部３３において、画素値（画素データ）として求められる。求められた画素データは、テクスチャ画像データ生成部３５中の有効領域画像データ作成部３５ａにおいて有効領域のみを残して切除処理を行い、この際の切除処理情報Ｘが切除処理・変換情報格納部４７内に格納される。さらに、切除処理・変換処理情報格納部４７に格納されている切除処理情報Ｘは、テクスチャ画像データ作成部３５ｂにおいてテクスチャ画像処理技術の作成処理が行われ、変換処理情報Ｙも、切除処理・変換情報格納部４７内に格納される。この際、合わせて有効領域における画像データも格納される。切除処理・変換情報格納部４７内に格納される有効領域画像データと、切除処理情報Ｘと、変換処理情報Ｙとに基づいて、テクスチャ座標値設定部３５ｃにおいて、テクスチャ座標が再設定され、テクスチャ座標値データ格納部４９が作成される。テクスチャ座標値データ格納部４９に格納された座標値は、テクスチャ座標値再設定部において、対応するポリゴンの頂点に設定される。
【００４４】
以上、本実施の形態による画像処理装置によれば、例えば専用ハードウェアを用いて処理を行う場合に、任意の視点で撮影された複数枚のカメラ画像から合成されたテクスチャ画像データの情報量を小さくすることができ、また凹部分をもつ三次元形状データの場合も適切にテクスチャマッピングを行うことが可能になる。処理の高速化も計れる。
【００４５】
以上、発明の実施の形態に沿って本発明を説明したが、本発明はこれらに制限されるものではない。その他、種々の変更、改良、組み合わせが可能なことは当業者に自明であろう。
【００４６】
【発明の効果】
任意の視点で撮影された複数枚のカメラ画像から合成されたテクスチャ画像データの情報量を小さくすることができ、また凹部分をもつ三次元形状データの場合も適切にテクスチャマッピングを行うことが可能になる。
【００４７】
【図面の簡単な説明】
【図１】本発明の第１の実施の形態によるテクスチャ画像の生成・マッピング処理の全体の流れを示すフローチャート図である。
【図２】図１の第１ステップの詳細な流れを示すフローチャート図である。
【図３】図１の第２ステップの詳細な流れを示すフローチャート図である。
【図４】仮想の立体面に視線ベクトルＥを照射し、平行投影画像データを作成する手順を示す図である。
【図５】第１のステップで立体面上に作成された平行投影画像データの画像例である。
【図６】仮想の立体面に視線ベクトルＥを照射し、平行投影画像データを作成する手順を示す図である。
【図７】切除処理情報Ｘ及び変換処理情報Ｙによりテクスチャ画像座標値（ｘｔ、ｙｔ）を算出さる手順を示す図である。
【図８】第２のステップで作成されたテクスチャ画像データＴのサンプル画像図である、
【図９】 本発明の第２の実施の形態による画像処理システムの構成例を示す機能ブロック図である。
【符号の説明】
Ｎ（Ｓｊ）（ｊ＝１〜ｍ）…法線ベクトル、Ｇ…ポリゴン、Ｉｓ…平行投影画像データ、Ｎｇ…視線ベクトル、Ｄ…三次元形状データ、Ｘ…切除処理情報、Ｙ…変換処理情報、３０…処理部、４０…記憶部、５０…入出力部。
【発明の属する技術分野】
本発明は、任意の視点で撮影された複数枚のカメラ画像に基づいてテクスチャ画像を生成し、それを三次元形状データにマッピングする技術に関する。
【０００２】
【従来の技術】
従来から、非接触型デジタイザを用いた場合のように、回転テーブル上に載せた物体の三次元形状計測と同時にカメラ撮影によって物体表面の連続的な色情報を取得できる場合、一般に物体（回転テーブル）の中心軸の色情報を一定角度毎に格納することで物体を囲む円筒状のテクスチャ画像データを生成する方法が知られている。
【０００３】
また、実在する物体の外部から視認できる三次元形状データと色データを含む三次元画像データを入力することを前提としてテクスチャ画像を生成する方法も開示されている（例えば、特許文献１参照）。
【０００４】
さらに、適切なテクスチャ画像を複数の画像から選択し、テクスチャマッピングを行う方法も提供されている（例えば、特許文献２参照）。
【０００５】
【特許文献１】
特開平１０−２８３４８７号公報
【特許文献２】
特開平０９−１３４４４９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の非接触デジタイザを用いた技術により生成されたテクスチャ画像データは、物体の面の表面積や角度と関係無く全て同じ情報量の色情報を格納するため、テクスチャ画像データに色情報が冗長するエリアが生じる。このことはテクスチャ画像データ全体の情報量を大きくすることになる。また生成されたテクスチャ画像を物体にマッピングする際、回転テーブル上の物体の中心軸を視点として透視投影によってテクスチャ画像座標値を設定するため、凹部分を有する三次元形状データの場合には不具合が生じる。
【０００７】
また、特許文献１に記載の方法によれば、任意の方向から撮影された複数枚の画像からテクスチャ画像を生成することはできない。また情報量は膨大になる。すなわち、任意の方向から撮影された複数枚の画像から高品質且つ情報量の少ないテクスチャ画像を生成する方法は考慮されていない。
【０００８】
特許文献２に記載の方法によれば、複数の画像から適切なテクスチャ画像を選択するのみで、複数の画像から必要な色情報を自動的に取り出し、新たなテクスチャ画像を生成しない。すなわち、情報量の少ないテクスチャ画像を生成する方法は考慮されていない。
【０００９】
すなわち、従来の方法では、任意の視点で撮影された複数枚のカメラ画像を加工して高品質なテクスチャ画像データは得ることはできるが、テクスチャ画像データの情報量を小さくすることはできていない。
【００１０】
本発明は、任意の視点で撮影された複数枚のカメラ画像から高品質かつ情報量の小さいテクスチャ画像を生成し、それを三次元形状データへマッピングする技術を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の一観点によれば、複数の視点で対象物を撮影した複数枚のカメラ画像Ｉｉ（ｉ＝１，２，３、・・・、ｎ）データと、前記対象物の三次元形状データとを準備するステップと、前記対象物の三次元形状データを包む仮想の立体面を画定し、該立体面を形成するぞれぞれの面Ｓｊ（ｊ＝１，２，３，・・・、ｍ）に対応する平行投影画像データＩｓ（Ｓｊ）を作成する第１のステップと、前記平行投影画像データＩｓ（Ｓｊ）を合成してテクスチャ画像データを作成し、該テクスチャ画像データを前記三次元形状データにマッピングする第２ステップとをコンピュータに実行させるためのプログラムが提供される。尚、カメラ画像データＩｉの三次元の位置座標及び姿勢は、カメラの内部変数と外部変数とを用いて取得することができる。
【００１２】
本発明の他の観点によれば、複数の視点で対象物を撮影した複数枚のカメラ画像データＩｉ（ｉ＝１，２，３、・・・、ｎ）と、前記対象物の三次元形状データとを入力する入力部と、該入力部から入力された前記カメラ画像データと、前記対象物の三次元形状データと、を格納する記憶部と、前記対象物の三次元形状データを包む仮想の立体面を画定し、該立体面を形成するぞれぞれの面Ｓｊ（ｊ＝１，２，３，・・・、ｍ）に対応する平行投影画像データＩｓ（Ｓｊ）を作成する平行投影データ生成部と、前記平行投影画像データＩｓ（Ｓｊ）を合成してテクスチャ画像データを作成し、該テクスチャ画像データを前記三次元形状データにマッピングするテクスチャ画像データ生成部と、作成されたテクスチャ画像データを出力する出力部と、を有する処理部とを有する画像処理装置が提供される。
【００１３】
【発明の実施の形態】
本明細書において、カメラ画像とは、実際に撮影した画像の他に、例えばデジタル化された画像データなどをも含む広い概念である。本発明の実施の形態について説明する前に、まず、発明者の行った考察について説明する。発明者は、任意の視点で撮影したカメラ画像は、時間軸上又は座標軸上におけるデータとして考えた場合には断続的であるため、非接触デジタイザのように円筒状に色情報を格納してテクスチャ画像データを生成することは難しいと考えた。また、円筒状に作成されたテクスチャ画像データは情報量が大きくなる傾向にある。
【００１４】
そこで、発明者は、物体を包む仮想の立体面を生成し、物体の外側に無限遠点の視点を設定して立体面に平行投影することにより色情報を格納する技術を考え付いた。この技術によれば、円筒状にテクスチャ画像データを生成する場合より色情報が冗長するエリアが減少し、格納する情報量を小さくすることができる。また、平行投影の画像を利用することによって凹部分を有する複雑な三次元形状データへのテクスチャ画像座標値を適切に設定することが可能になり、良好なマッピング結果を得ることができる。
【００１５】
平行投影によって格納する色情報は、立体面に向かって無限遠点の視点から視線（レイ）を放射して交差するポリゴンの法線ベクトル、カメラ画像の光軸ベクトルなどを利用することにより、必要なカメラ画像を選択、選択された複数のカメラ画像の色情報（画素値）を幾何学的な計算に基づいて合成する。これにより、複数枚のカメラ画像が持っている情報であって、限られた色情報中から最適な情報を選択し利用することによって、高品質な平行投影画像を生成することができるものと考えられる。
【００１６】
上記考察に基づき、本発明の一実施の形態によるテクスチャ画像処理技術について図面を参照しつつ説明を行う。尚、本実施の形態によるテクスチャ画像処理技術は、物体の三次元形状データＤ（ポリゴンデータ）と、任意の視点から物体を撮影した複数枚（ｎ枚）のカメラ画像データＩｉ（i＝１，２，３，・・・, ｎ）と、各カメラ画像のキャリブレーションによりカメラの内部変数及び外部変数と、が得られていることを前提とする。但し、カメラ画像データの枚数ｎは任意である。
【００１７】
本実施の形態によるテクスチャ画像処理技術は、三次元形状データを包む仮想の立体面面Ｓｊ（ｊ＝１，２，３，・・・, ｍ）を用意して各面への平行投影画像データＩｓ（Ｓｊ）を複数枚の画像Ｉｉから生成する第１のステップと、これらｍ枚の平行投影画像Ｉｓ（Ｓｊ）を合成してテクスチャ画像データＴを作成し、三次元形状データの全ポリゴンの頂点にテクスチャ画像座標値を設定する第２のステップを有する。第１のステップ、第２のステップのフローチャートを図１から図３までに示す。
【００１８】
図１は、本実施の形態によるテクスチャ画像処理の大まかな流れを示すフローチャート図である。図２は、図１に示される第１及び第２のステップのうち、第１ステップにおける処理の詳細な流れを示すフローチャート図であり、図３は、第２ステップのフローチャート図である。図４は、三次元形状データＤに基づいて平行投影画像データＩｓを生成する処理を示す模式的な図である。図５は、ポリゴンＤとカメラ画像データＩｉとの関係を示す模式的な図である。図６は、上記第１のステップにより立体面上に作成された平行投影画像データＩｓの画像例を示す図である。図７は、上記第２のステップのうち、切除処理情報Ｘと変換処理情報Ｙとによりテクスチャ画像座標値（ｘｔ，ｙｔ）を求める処理の流れを示すフローチャート図である。図８は、第２のステップにより作成されたテクスチャ画像Ｔの画像例である。
【００１９】
図１に示すように、第１のステップＳ０では、物体の三次元形状データＤを完全に包む仮想の立体面Ｓｊ（ｊ＝１，２，３，・・・, ｍ）を生成し、各面に貼り付ける形で色情報を格納する平行投影画像データＩｓ（Ｓｊ）を作成する。第２のステップＳ２０では、平行投影画像データを合成してテクスチャ画像データを作成し、三次元形状データへのマッピングを行う。以下に、第１及び第２のステップについて詳しく説明する。
【００２０】
第１のステップＳ０を開始（ステップＳ１）する。ステップＳ２において、入力データとして三次元形状データＤと複数枚のカメラ画像データＩｉ（i＝１，２，３，・・・, ｎ）とを入力する。ステップＳ３において、三次元形状データＤを包む（包含する）仮想の立体面Ｓｊ（ｊ＝１，２，３、・・・，ｍ）を生成する。立体面Ｓｊは、例えば立方体を画定する６面の立体面（ｍ＝６）である（図４参照）。次に、ステップＳ４において、立体面Ｓｊの各面において以下の処理をステップＳ５からＳ１０までの処理を繰り返す。ステップＳ５において、立体面Ｓｊの各面に貼り付ける形で色情報を格納する平行投影画像データＩｓ（Ｓｊ）を作成する（全画素の色情報には初期値を設定する）。尚、平行投影画像データＩｓ（Ｓｊ）の縦横の画素数Ｋ×Ｌは任意である。
【００２１】
ステップＳ６において、平行投影画像データＩｓ（Ｓｊ）の各画素（ｘｓ＝１，２，３，・・・, Ｋ、ｙｓ＝１，２，３，・・・,Ｌ）に、ステップ１０までの処理を行う。ステップＳ７において、面に貼り付けた平行投影画像データＩｓ（Ｓｊ）の各１画素の中心に向けて立体面Ｓｊの外側から面に対して垂直に視線ベクトルＥを照射し、交差する三次元形状データＤのポリゴンＧがあるか否かを判定し、交差するポリゴンＧを算出し、交点の座標Ｐを求める（ステップ８）。ステップＳ９において、ポリゴンＧの法線ベクトルＮｇとカメラ画像データＩｉの法線ベクトルＮ（Ｉｉ）との成す角度ａ（Ｉｉ）が鋭角な画像データＩｉを選択する。この選択処理は、ポリゴンＧの表面が物理的に写っていないカメラ画像を次の計算から除外することを意味する。
【００２２】
ステップＳ１０において、上記処理により選択されたｈ枚のカメラ画像データＩｉ（i＝１，２，３，・・・, ｈ）（ｈ＜ｎ）のみを利用して平行投影画像データＩｓ（Ｓｊ）の画素の色情報を計算する。カメラ画像データＩｉの座標（ｘ、ｙ）の画素の色情報をＩｉ（ｘ，ｙ）で表すと、平行投影画像データＩｓ（Ｓｊ）の座標（ｘｓ、ｙｓ）の画素の色情報Ｉｓ（ｘｓ，ｙｓ）は、下記の式（１）〜（４）で表される。
【００２３】
平行投影画像データＩｓ（Ｓｊ）の各画素（ｘｓ＝１，２，３，・・・, Ｋ、ｙｓ＝１，２，３，・・・,Ｌ）について視線ベクトルＥを照射し、色情報を計算することによって、ステップＳ１１に示すように最終的に平行投影画像データＩｓ（Ｓｊ）の全画素に色情報が格納（保存）される。
【００２４】
【数１】
【数２】
【数３】
【数４】
上記式中のＬ（Ｉｉ）は視線ベクトルＥとポリゴンＧとの交点Ｐからカメラ画像データＩｉの点（ｘ、ｙ）までのベクトル、β（Ｉｉ）は法線単位ベクトルＮｇとベクトルＬ（Ｉｉ）とのなす角度を表す。ｗ（Ｉｉ）は各カメラ画像Ｉｉの重み係数を表しており、全てのカメラ画像Ｉｉ（i＝１，２，３，・・・, ｎ）の重み係数の合計Σｗ（Ｉｉ）に対するカメラ画像Ｉｉの重み係数ｗ（Ｉｉ）の比率によって加算する色情報Ｉｉ（ｘ，ｙ）の値を変化させている。重み係数ｗ（Ｉｉ）はcos（β（Ｉｉ））及び１／｜Ｌ（Ｉｉ）｜で構成されている。cos（β（Ｉｉ））は、ポリゴンＧの面とカメラ画像Ｉｉの平行度を表しており、平行度cos（β（Ｉｉ））の値が大きいほど重み係数が大きくなる。
【００２９】
１／｜Ｌ（Ｉｉ）｜は交点Ｐからカメラ画像データＩｉの座標（ｘ、ｙ）までの距離の逆数を表しており、距離の逆数１／｜Ｌ（Ｉｉ）｜の値が大きいほど重み係数が大きくなる。すなわち、色情報Ｉｓ（ｘｓ、ｙｓ）は、カメラ画像データＩｉとポリゴンＧとが平行であるほど、かつ、カメラ画像データＩｉと交点Ｐとの距離が近いほど、その色情報Ｉｉ（ｘ，ｙ）を反映する。カメラ画像の色情報Ｉｉ（ｘ，ｙ）は、交点Ｐ（ｘｐ、ｙｐ、ｚｐ）をカメラの内部変数及び外部変数を用いて画像Ｉｉの座標（ｘ、ｙ）に変換することで取得できる。Ｌ（Ｉｉ）は、カメラ座標（ｘ、ｙ）をカメラの内部変数及び外部変数から世界座標系に変換することで点Ｒ（ｘｒ、ｙｒ、ｚｒ）を算出し、点Ｐから点Ｒへのベクトルによって定義される。Ｌ（Ｉｉ）の大きさ｜Ｌ（Ｉｉ）｜は上記（４）式で表される。視線ベクトルＥと交差するポリゴンＧがない場合は、平行投影画像データＩｓの画素値は初期値のままになる。
【００３０】
平行投影画像データＩｓ（Ｓｊ）の全画素（ｘｓ＝１，２，３，・・・, Ｋ、ｙｓ＝１，２，３，・・・,Ｌ）について、上記のような、平行投影画像データＩｓ（Ｓｊ）の各画素に格納する色情報を計算する方法に基づく処理（ステップＳ６からステップＳ１０まで）を行い、平行投影画像データＩｓ（Ｓｊ）を作成、保存する。以上の処理を、全ての立体面Ｓｊ（ｊ＝１，２，３，・・・, ｍ）について行い（ステップＳ４からＳ１０まで）、ｍ枚の平行投影画像データＩｓ（Ｓｊ）を作成する（図６参照）。図６には、Ｉｓ（Ｓ１）からＩｓ（Ｓ６）までの立体面に対応する６枚の画像が配置されている。
【００３１】
尚、平行投影画像データＩｓ（Ｓｊ）の縦横の画素数Ｋ×Ｌの値が大きいほど高画質な画像データが得られるが、それだけ情報量が大きくなる。
【００３２】
第２のステップは、上記第１のステップで作成されたｍ枚の平行投影画像データＩｓ（Ｓｊ）から必要な部分を合成して、新しくテクスチャ画像データＴを作成するステップである。テクスチャ画像データをマッピングする際に三次元形状データＤの全ポリゴン頂点にテクスチャ画像座標値を設定する必要がある。
【００３３】
ステップＳ２１において第２ステップＳ２０が開始する（ステップＳ２１）。ステップＳ２２において、入力データとして平行投影画像データＩｓ（Ｓｊ）と三次元形状データＤとを準備する。
【００３４】
ステップＳ２２において、平行投影画像データＩｓから有効な領域を切り出し、有効領域画像データＪｓを作成する。作成時の切除処理情報Ｘを保存する。すなわち、合成の第１の処理として、平行投影画像データＩｓ（Ｓｊ）をそれぞれの有効領域（画素の色情報が初期値でない部分を完全に含む長方形）で切り出し、有効領域画像データＪｓ（Ｓｊ）を作成する。このときの切り出し時に用いたパラメータを切除処理情報Ｘとして保存しておく。第２の処置として、ステップＳ２３において、上記処理で作成された有効領域画像データＪｓ（Ｓｊ）の縦横の画素数をもとに、それら全ての画像が最も面積が小さい領域（画素数）で合成されるように配置し、テクスチャ画像データＴを作成する。その場合、有効領域画像データＪｓ（Ｓｊ）は自由に平行移動変換、９０度毎の回転変換を可能である。その際の変換処理情報Ｙを保存する（図７参照）。
【００３５】
次に、三次元形状データの全てのポリゴンについてステップＳ２４からステップＳ２８までの処理を繰り返す。ステップＳ２５において、三次元形状データＤを構成する全てのポリゴンについて、その法線ベクトルＮｇと立体面Ｓｊ（ｊ＝１，２，３，・・・, ｍ）の法線ベクトルＮ（Ｓｊ）とのなす角度γ（Ｓｊ）（ｊ＝１，２，３，・・・，ｍ）が最も小さくなる面Ｓｊを選択し、ステップＳ２６において、ポリゴンの頂点に選択された面Ｓｊに対応する平行投影画像データＩｓ（Ｓｊ）の座標値（ｘｓ、ｙｓ）を設定する。この際、頂点には平行投影画像データＩｓ（Ｓｊ）の座標値と同時に選択された面の番号ｊ（ｊ＝１〜ｍ）も設定する。平行投影画像データＩｓ（Ｓｊ）からテクスチャ画像データを合成する際、既に上記処理により設定されたポリゴン頂点の座標値も同時に変換する必要があるため、合成時の処理情報も保持しておく必要がある。
【００３６】
ステップＳ２７において、ポリゴンＧの頂点に設定された面番号ｊ及び平行投影画像データＩｓ（Ｓｊ）の座標値（ｘｓ、ｙｓ）と、上記ステップＳ２２、Ｓ２３において保存されている切除処理情報Ｘ、変換処理情報Ｙと、に基づいて、テクスチャ画像座標値（ｘｔ、ｙｔ）を算出し（図７）、ポリゴンＧの頂点に設定する。この再設定により、三次元形状データＤのポリゴン表面にテクスチャ画像データＴをマッピングすることが可能となる（図８）。ステップＳ２８において、テクスチャ画像データＴ、テクスチャ座標値データＵを出力する。ステップＳ２９で処理が終了する。
【００３７】
図８に示すように、図６において得られた平行投影画像データのうちの不要な部分（領域）が切除され、さらに、画像データの回転又は平行移動により、コンパクトな（データ量の少ない）テクスチャ画像データが得られる。
【００３８】
後述の図９を参照して説明すると、データ入出力部３１においては、記憶部４０に格納されているテクスチャ画像データＴとテクスチャ座標値データＵを、それぞれテクスチャ画像データ出力部３１ｃ、テクスチャ座標値データ出力部３１ｄより出力する。
【００３９】
以上、本実施の形態によるテクスチャ画像生成技術によれば、任意の視点で撮影された複数枚のカメラ画像から合成されたテクスチャ画像データの情報量を小さくすることができ、また凹部分をもつ三次元形状データの場合も適切にテクスチャマッピングを行うことが可能になる。
【００４０】
次に、本発明の第２の実施の形態によるテクスチャ画像の生成装置（専用ハードウェア）について図面を参照して説明する。尚、本発明の第１の実施の形態によるテクスチャ画像処理技術は、プログラム（ソフトウェア）を用いて画像処理を行う技術である。図９に示すように、本実施の形態によるテクスチャ画像の生成装置は、処理部３０と、記憶部４０と、入出力部５０と、を有している。処理部３０は、データ入出力部３１と、平行投影画像データ生成部３３と、テクスチャ画像データ生成部３５とを有している。データ入出力部３１は、三次元形状データ入力部３１ａと、カメラ画像データ入力部３１ｂとを有している。平行投影画像データ生成部３３は、仮想立体面生成部３３ａと、視線放射部３３ｂと、ポリゴン交差判定交点算出部３３ｃと、カメラ画像選択部３３ｄと、画素値合成部３３ｅと、立体面投影部３３ｆと、を有している。テクスチャ画像データ生成部３５は、有効領域画像データ作成部（切除処理情報）３５ａと、テクスチャ画像データ作成部（変換処理情報）３５ｂと、テクスチャ座標値設定部３５ｃとを有している。
【００４１】
記憶部４０は、三次元形状データ格納部４１と、カメラ画像データ格納部４３と、平行投影画像データ格納部４５と、切除処理・変換処理情報４７と、テクスチャ画像データ格納部４８と、テクスチャ座標値データ格納部４９と、を有している。入出力部５０は、例えば、マウス５１とキーボード５３と、ディスプレイ（表示部）５５、例えばＣＲＴ又は液晶表示装置を有している。
【００４２】
処理部３０においては、記憶部４０に格納されている三次元形状データ４１とカメラ画像データ４３とに基づいて、平行投影画像データ生成部３３により平行投影データを作成し、これを平行投影画像データ格納部４５に格納する。
【００４３】
平行投影画像データ格納部４５に格納されたデータは、平行投影画像データ生成部３３において、画素値（画素データ）として求められる。求められた画素データは、テクスチャ画像データ生成部３５中の有効領域画像データ作成部３５ａにおいて有効領域のみを残して切除処理を行い、この際の切除処理情報Ｘが切除処理・変換情報格納部４７内に格納される。さらに、切除処理・変換処理情報格納部４７に格納されている切除処理情報Ｘは、テクスチャ画像データ作成部３５ｂにおいてテクスチャ画像処理技術の作成処理が行われ、変換処理情報Ｙも、切除処理・変換情報格納部４７内に格納される。この際、合わせて有効領域における画像データも格納される。切除処理・変換情報格納部４７内に格納される有効領域画像データと、切除処理情報Ｘと、変換処理情報Ｙとに基づいて、テクスチャ座標値設定部３５ｃにおいて、テクスチャ座標が再設定され、テクスチャ座標値データ格納部４９が作成される。テクスチャ座標値データ格納部４９に格納された座標値は、テクスチャ座標値再設定部において、対応するポリゴンの頂点に設定される。
【００４４】
以上、本実施の形態による画像処理装置によれば、例えば専用ハードウェアを用いて処理を行う場合に、任意の視点で撮影された複数枚のカメラ画像から合成されたテクスチャ画像データの情報量を小さくすることができ、また凹部分をもつ三次元形状データの場合も適切にテクスチャマッピングを行うことが可能になる。処理の高速化も計れる。
【００４５】
以上、発明の実施の形態に沿って本発明を説明したが、本発明はこれらに制限されるものではない。その他、種々の変更、改良、組み合わせが可能なことは当業者に自明であろう。
【００４６】
【発明の効果】
任意の視点で撮影された複数枚のカメラ画像から合成されたテクスチャ画像データの情報量を小さくすることができ、また凹部分をもつ三次元形状データの場合も適切にテクスチャマッピングを行うことが可能になる。
【００４７】
【図面の簡単な説明】
【図１】本発明の第１の実施の形態によるテクスチャ画像の生成・マッピング処理の全体の流れを示すフローチャート図である。
【図２】図１の第１ステップの詳細な流れを示すフローチャート図である。
【図３】図１の第２ステップの詳細な流れを示すフローチャート図である。
【図４】仮想の立体面に視線ベクトルＥを照射し、平行投影画像データを作成する手順を示す図である。
【図５】第１のステップで立体面上に作成された平行投影画像データの画像例である。
【図６】仮想の立体面に視線ベクトルＥを照射し、平行投影画像データを作成する手順を示す図である。
【図７】切除処理情報Ｘ及び変換処理情報Ｙによりテクスチャ画像座標値（ｘｔ、ｙｔ）を算出さる手順を示す図である。
【図８】第２のステップで作成されたテクスチャ画像データＴのサンプル画像図である、
【図９】 本発明の第２の実施の形態による画像処理システムの構成例を示す機能ブロック図である。
【符号の説明】
Ｎ（Ｓｊ）（ｊ＝１〜ｍ）…法線ベクトル、Ｇ…ポリゴン、Ｉｓ…平行投影画像データ、Ｎｇ…視線ベクトル、Ｄ…三次元形状データ、Ｘ…切除処理情報、Ｙ…変換処理情報、３０…処理部、４０…記憶部、５０…入出力部。
Claims (6)
- 複数の視点で対象物を撮影した複数枚のカメラ画像Ｉｉデータ（ｉ＝１，２，３、・・・、ｎ）と、前記対象物の三次元形状データとを準備するステップと、
前記対象物の三次元形状データを包む仮想の立体面を画定し、該立体面を形成するそれぞれの面Ｓｊ（ｊ＝１，２，３，・・・、ｍ）に対応する平行投影画像データＩｓ（Ｓｊ）を作成する第１のステップと、
前記平行投影画像データＩｓ（Ｓｊ）を合成してテクスチャ画像データを作成し、該テクスチャ画像データを前記三次元形状データにマッピングする第２ステップとをコンピュータに実行させるためのプログラムであって、
前記第１ステップは、画定された前記仮想の立体面に対して垂直方向に視線ベクトルＥを放射することにより前記平行投影画像データＩｓ（Ｓｊ）を構成するそれぞれの画素の色情報を計算するステップを含み、
前記それぞれの画素の色情報を計算するステップは、
前記仮想の立体面に放射した前記視線ベクトルＥが前記三次元形状データのいずれかのポリゴンＧと交差する場合に、交差するポリゴンＧの法線ベクトルＮｇと前記カメラ画像データＩｉの光軸方向ベクトルの逆ベクトルＮ（Ｉｉ）との成す角α（Ｉｉ）が鋭角であるカメラ画像データＩｉのみを選択し、該選択されたカメラ画像のみを用いて前記色情報を計算し、
前記選択されたカメラ画像データの色情報を、前記視線ベクトルＥと交差するポリゴンＧ上の交点Ｐから前記カメラ画像データＩｉまでのベクトルＬ（Ｉｉ）の大きさと、ｃｏｓ（β（Ｉｉ））と、の比に基づいて重み付けした値を加算し、平行投影画像データＩｓ（Ｓｊ）の画素の色情報を決定することを特徴とするプログラム。
但し、β（Ｉｉ）はＬ（Ｉｉ）と法線ベクトルＮｇとの成す角である。 - 前記第１のステップにおいて作成されたｍ枚の平行投影画像データＩｓ（Ｓｊ）（ｊ＝１，２，３，・・・、ｍ）を合成して１枚のテクスチャ画像データＴを作成するステップであって、合成の際に行った切除処理情報Ｘと変換処理情報Ｙとを保持し、該情報Ｘ，Ｙに基づいて、設定されたポリゴン頂点の平行投影画像座標値（ｘｓ，ｙｓ）及び面番号ｊからテクスチャ画像座標値（ｘｔ、ｙｔ）を算出し、ポリゴンの頂点にそれぞれ設定するステップを含む請求項１に記載のプログラム。
- 前記第２ステップは、
三次元形状データを構成する全てのポリゴンについて、その法線ベクトルＮｇと前記仮想の立体面の法線ベクトルＮ（Ｓｊ）（ｊ＝１〜ｍ）との成す角γ（Ｓｊ）（ｊ＝１〜ｍ）が最も小さくなる面Ｓｊを選択し、ポリゴンの頂点を選択された前記面Ｓｊに平行投影したときの面Ｓｊ上の２次元座標値で表される平行投影画像データＩｓ（Ｓｊ）の座標値（ｘｓ，ｙｓ）をポリゴンの頂点に設定するステップを含むことを特徴とする請求項１又は２に記載のプログラム。 - 複数の視点で対象物を撮影した複数枚のカメラ画像Ｉｉデータ（ｉ＝１，２，３、・・・、ｎ）と、前記対象物の三次元形状データとを入力する入力部と、
該入力部から入力された前記カメラ画像データと、前記対象物の三次元形状データと、を格納する記憶部と、
前記対象物の三次元形状データを包む仮想の立体面を画定し、該立体面を形成するそれぞれの面Ｓｊ（ｊ＝１，２，３，・・・、ｍ）に対応する平行投影画像データＩｓ（Ｓｊ）を作成する平行投影データ生成部と、前記平行投影画像データＩｓ（Ｓｊ）を合成してテクスチャ画像データを作成し、該テクスチャ画像データを前記三次元形状データにマッピングするテクスチャ画像データ生成部と、を有する処理部と、
作成されたテクスチャ画像データを出力する出力部と、を有する画像処理装置であって 、
前記平行投影データ生成部は、画定された前記仮想の立体面に対して垂直方向に視線ベクトルＥを放射することにより前記平行投影画像データＩｓ（Ｓｊ）を構成するそれぞれの画素の色情報を計算し、
前記それぞれの画素の色情報の計算は、前記仮想の立体面に放射した前記視線ベクトルＥが前記三次元形状データのいずれかのポリゴンＧと交差する場合に、交差するポリゴンＧの法線ベクトルＮｇと前記カメラ画像データＩｉの光軸方向ベクトルの逆ベクトルＮ（Ｉｉ）との成す角α（Ｉｉ）が鋭角であるカメラ画像データＩｉのみを選択し、該選択されたカメラ画像のみを用いて前記色情報を計算し、
前記選択されたカメラ画像データの色情報を、前記視線ベクトルＥと交差するポリゴンＧ上の交点Ｐから前記カメラ画像データＩｉまでのベクトルＬ（Ｉｉ）の大きさと、ｃｏｓ（β（Ｉｉ））と、の比に基づいて重み付けした値を加算し、平行投影画像データＩｓ（Ｓｊ）の画素の色情報を決定することを特徴とする画像処理装置。
但し、β（Ｉｉ）はＬ（Ｉｉ）と法線ベクトルＮｇとの成す角である。 - 前記平行投影データ生成部において作成されたｍ枚の平行投影画像データＩｓ（Ｓｊ）（ｊ＝１，２，３，・・・、ｍ）を合成して１枚のテクスチャ画像データＴを作成し、合成の際に行った切除処理情報Ｘと変換処理情報Ｙとを保持し、該情報Ｘ，Ｙに基づいて、設定されたポリゴン頂点の平行投影画像座標値（ｘｓ，ｙｓ）及び面番号ｊからテクスチャ画像座標値（ｘｔ、ｙｔ）を算出し、ポリゴンの頂点にそれぞれ設定することを特徴とする請求項４に記載の画像処理装置。
- 前記テクスチャ画像データ生成部は、
三次元形状データを構成する全てのポリゴンについて、その法線ベクトルＮｇと前記仮想の立体面の法線ベクトルＮ（Ｓｊ）（ｊ＝１〜ｍ）との成す角γ（Ｓｊ）（ｊ＝１〜ｍ）が最も小さくなる面Ｓｊを選択し、ポリゴンの頂点を選択された前記面Ｓｊに平行投影したときの面Ｓｊ上の２次元座標値で表される平行投影画像データＩｓ（Ｓｊ）の座標値（ｘｓ，ｙｓ）をポリゴンの頂点に設定することを特徴とする請求項４又は５に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002315722A JP4168103B2 (ja) | 2002-10-30 | 2002-10-30 | テクスチャ画像の生成・マッピングシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002315722A JP4168103B2 (ja) | 2002-10-30 | 2002-10-30 | テクスチャ画像の生成・マッピングシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004151950A JP2004151950A (ja) | 2004-05-27 |
| JP4168103B2 true JP4168103B2 (ja) | 2008-10-22 |
Family
ID=32459637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002315722A Expired - Fee Related JP4168103B2 (ja) | 2002-10-30 | 2002-10-30 | テクスチャ画像の生成・マッピングシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4168103B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5011224B2 (ja) * | 2008-07-09 | 2012-08-29 | 日本放送協会 | 任意視点映像生成装置及び任意視点映像生成プログラム |
| KR101824818B1 (ko) * | 2016-11-28 | 2018-03-14 | 서울과학기술대학교 산학협력단 | 360도 영상 스티칭 방법 및 장치 |
| CN116311325B (zh) * | 2023-02-16 | 2023-10-27 | 江苏艾佳家居用品有限公司 | 一种基于人工智能模型的比例尺自动识别系统 |
-
2002
- 2002-10-30 JP JP2002315722A patent/JP4168103B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004151950A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
| JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| RU2215326C2 (ru) | Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта | |
| EP1424655B1 (en) | A method of creating 3-D facial models starting from facial images | |
| US8537155B2 (en) | Image processing apparatus and method | |
| EP1004988A2 (en) | Method, apparatus and computer program product for generating perspective corrected data from warped information | |
| US7528831B2 (en) | Generation of texture maps for use in 3D computer graphics | |
| JP2004502997A (ja) | ベイジアンフレームワークにおける仮説混合による深度マップの生成 | |
| US7567246B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4463597B2 (ja) | ３次元描画モデル生成方法及びそのプログラム | |
| JPH09330423A (ja) | 三次元形状データ変換装置 | |
| JPH10111953A (ja) | 画像処理方法および装置および記憶媒体 | |
| EP3573018B1 (en) | Image generation device, and image display control device | |
| Petkov et al. | Interactive visibility retargeting in vr using conformal visualization | |
| JP4168103B2 (ja) | テクスチャ画像の生成・マッピングシステム | |
| JPH04289976A (ja) | 三次元形状モデル生成方法およびシステム | |
| JP4229398B2 (ja) | ３次元モデリング・プログラム、３次元モデリング制御プログラム、３次元モデリング・データ伝送プログラム、記録媒体および３次元モデリング方法 | |
| JP2004199301A (ja) | 画像加工装置 | |
| KR20210050365A (ko) | 영상 정합 장치 및 방법 | |
| JP2008204318A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US5821942A (en) | Ray tracing through an ordered array | |
| JPH0997354A (ja) | モデリングシステム | |
| JP4017351B2 (ja) | ３次元モデル生成装置および３次元モデル生成プログラム | |
| JPH07200876A (ja) | 三次元画像生成方法 | |
| JP2000057372A (ja) | 画像処理装置、画像処理方法及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080519 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080627 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |