JP3625624B2 - テクスチャ情報付与方法、テクスチャ情報付与プログラムを記録した媒体およびテクスチャ情報付与装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、実在する物体を撮影して得た画像情報をもとに、計算機内に３次元モデルとして再構成された物体に、テクスチャ情報を付与するためのテクスチャ情報付与方法およびテクスチャ情報付与プログラムを記録した媒体ならびにテクスチャ情報付与装置に関する。
【０００２】
【従来の技術】
コンピュータグラフィックス等の発達により、３次元グラフィックスの実用的なシステムの開発が盛んに行なわれている。しかしながら、このような実用化システムの普及に伴い顕在化した問題の１つに、形状データの入力方法がある。すなわち、自由曲面を有する物体や、自然界に存在する多くの物体等の複雑な３次元形状を計算機等に入力するのは極めて煩雑で困難な作業となっている。
【０００３】
さらに、計算機内等で物体を再構成した場合に、単に物体形状を再構成しただけでは、よりリアルな物体表面の質感等を表現することは困難である。
【０００４】
したがって、現実の物体を撮影することにより得た画像情報をもとに、計算機内で形状情報および色彩／質感情報等を再構成することができれば、３次元画像情報の取扱いを簡易に行なうことが可能となる。
【０００５】
一方、たとえばインターネット等における３次元画像通信においては、情報発信者たる一般ユーザによって３次元画像を生成する機会が増加する。したがって、簡便かつコンパクトな装置構成で、３次元画像を生成することも必要になる。
【０００６】
特開平５−１３５１５５号公報には、普通の照明条件下で、回転テーブルにある対象物体の連続シルエット画像から３次元モデルを構成することができる３次元モデル構成装置が開示されている。
【０００７】
この３次元モデル構成装置は、回転台で回転する対象物体をカメラで連続的に撮像し、画像処理コンピュータによって撮像した画像から対象物体のシルエット画像の抽出を行なう。このシルエット画像において、シルエット画像の輪郭から垂直回転軸までの水平距離を計測し、この水平距離と回転角度とに基づいて３次元モデルが生成される。
【０００８】
すなわち、連続的に撮像されたシルエット画像から、対象物体の輪郭を抽出し、３次元モデルとして表示される。
【０００９】
図２０は、以上のようにして生成された３次元モデルに対して、カメラにより連続的に撮像された画像情報に基づいて、テクスチャ情報を張付ける方法を示す概念図である。
【００１０】
上記特開平５−１３５１５５号公報においては、対象物体を連続的に回転して、対象物体を撮像する、言換えると、人間の３次元モデルに対する形状認識の分解能程度で画像情報を得る場合が説明されている。より具体的には、たとえば回転角が１°ごとに画像を撮像し、対象物体に対して、３６０枚の画像を得る場合が説明されている。
【００１１】
以下では、説明を簡単にするために、より粗い角度ごとに、画像を撮像した場合について説明するが、その本質は同等である。
【００１２】
図２０に示すように、対象物体を、一定の角度ずつ回転させながら、合計ｎ枚の画像を撮像した場合を考える。この場合、各画像情報には、ラベル番号として、１，２，…，ｎが対応しているものとする。
【００１３】
対象物体は、ポリゴン（三角パッチ）を用いた表面モデル３００で表現されているものとする。この場合、この表面モデル３００に対してテクスチャ情報を付与する場合、三角パッチの各々に対して、対象物体を撮像したカメラの方向に応じて、対応するラベル番号の画像情報の色彩情報（テクスチャ情報）を付与する。
【００１４】
より詳しく説明すると、表面モデル３００における回転軸から、注目する三角パッチに向かうベクトルを考えた場合、このベクトルと撮影方向ベクトルとの方向が最も一致するような画像から、この三角パッチに対するテクスチャ情報を獲得するという方法である。あるいは、より直感的に説明すれば、表面モデルに地球儀のような経線を仮定し、０°〜１×３６０／ｎ°の範囲の三角パッチについては１番の画像情報から、１×３６０／ｎ°〜２×３６０／ｎ°の範囲の三角パッチについては２番の画像情報から、というようにテクスチャ情報を獲得するという方法である。以下では、このようなテクスチャ情報の獲得方法を中心投射方式と呼ぶことにする。
【００１５】
【発明が解決しようとする課題】
以上説明したような中心投射方式では、各三角パッチあるいはこれに相当する表面モデルを構成する構成要素（以下、立体形状構成要素と呼ぶ）に対して、１対１に画像情報を対応させることが可能で、かつ、この対応関係の決定が容易であるという利点がある。
【００１６】
しかしながら、中心投射方式では、回転軸から見た場合、同一の回転角範囲内に存在しない立体形状構成要素に対しては、異なる画像情報（ラベル番号の異なる画像情報）からテクスチャ情報が付与されるため、照明等の関係により微妙に色彩情報の光沢や質感が異なる場合そのテクスチャに継ぎ目が目立つという欠点がある。
【００１７】
また、対象物体の形状によっては、ある撮像方向から得た画像情報では、対応する立体形状構成要素が見通せないために、対応する画像情報中に、その立体形状構成要素に対応するテクスチャ情報が全く含まれないという場合が生じる。
【００１８】
図２１は、このような場合を説明するための概念図である。
すなわち、図２１においては、対象物体の回転軸を含む垂直平面における、回転軸、対象物体断面およびカメラ内に射影される物体像の関係を示す。対象物体の形状が、図２１に示すような場合、すなわち、カメラ側から見通すことができない部分を含んでいる場合は、この角度方向から撮像した画像情報には、この見通せない部分のテクスチャ情報が存在しないことになる。ところが、たとえばこの撮像方向と一定の角度を有する別の撮像方向からは、この見通せなかった部分のテクスチャ情報を獲得することが可能である。
【００１９】
この発明は、以上のような問題点を解決するためになされたもので、その目的は、実在する物体を撮像した画像情報に基づいて、計算機内等において３次元モデルとして再構成する場合、対象物体の形状にかかわりなく、３次元モデルを構成する立体形状構成要素の各々にテクスチャ情報を付与することか可能なテクスチャ情報付与方法およびテクスチャ情報付与プログラムを記録した媒体ならびにテクスチャ情報付与装置を提供することである。
【００２０】
この発明の他の目的は、３次元モデルとして再構成された物体に対し、現実に撮像された画像情報に基づいてテクスチャ情報を付与する際に、撮像された画像情報からより現実の物体の有するテクスチャに近いテクスチャ情報を付与することが可能なテクスチャ情報付与方法およびテクスチャ情報付与プログラムを記録した媒体ならびにテクスチャ情報付与装置を提供することである。
【００２１】
この発明のさらに他の目的は、３次元立体モデルとして再構成された物体に対し、現実の物体を撮像して得られた画像情報をもとにテクスチャ情報を付与する際に、３次元立体モデルを構成する立体形状構成要素の各々に付与されるテクスチャの不連続性（継ぎ目）が目立ちにくいテクスチャ情報付与方法およびテクスチャ情報付与プログラムを記録した媒体ならびにテクスチャ情報付与装置を提供することである。
【００２２】
【課題を解決するための手段】
請求項１記載のテクスチャ情報付与方法は、立体モデルに対するテクスチャ情報付与方法であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、前記対象物体を異なる視点から撮影することにより獲得された複数の物体画像情報に基づいて、前記立体モデルに対するテクスチャ情報を前記立体形状構成要素ごとに、前記各物体画像情報の前記立体形状構成要素に対するテクスチャ情報量と前記立体形状構成要素間のテクスチャ連続性との双方に応じて付与するステップとを備える。
【００２３】
請求項２記載のテクスチャ情報付与方法は、請求項１記載の発明において、前記テクスチャ情報を付与するステップにおいては、前記テクスチャ情報量の増加に伴い減少し、かつ、前記立体形状構成要素間のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに対応付けられた前記物体画像情報から、前記立体モデルに対するテクスチャ情報を付与する。
【００２４】
請求項３記載のテクスチャ情報付与方法は、請求項２記載の発明において、前記評価関数においては、前記テクスチャ連続性は、注目する前記立体形状構成要素とそれに隣接する前記立体形状構成要素とにそれぞれ対応する前記物体画像情報の撮影位置および撮影方向の差の関数として表現される。
【００２５】
請求項４記載のテクスチャ情報付与方法は、請求項２記載の発明において、前記評価関数においては、前記テクスチャ連続性は、位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報に位置変化に対応したラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の増加に伴い増加する関数として表現される。
【００２６】
請求項５記載のテクスチャ情報付与方法は、請求項２記載の発明において、前記評価関数においては、前記テクスチャ連続性は、規則的な位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報にラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の増加に伴い増加する関数として表現される。
【００２７】
請求項６記載のテクスチャ情報付与方法は、請求項２記載の発明において、前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各物体画像情報に投影される前記立体形状構成要素の面積の関数として表現される。
【００２８】
請求項７記載のテクスチャ情報付与方法は、請求項２記載の発明において、前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各立体形状構成要素の面法線方向と、前記各物体画像情報を投影した方向との一致の程度の関数として表現される。
【００２９】
請求項８記載のテクスチャ情報付与方法は、請求項２記載の発明において、前記評価関数は、ｉ番目（ｉ：自然数）の前記立体形状要素に割当てられたラベル番号と前記ｉ番目の前記立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の全立体形状構成要素についての総和と、前記ｉ番目の立体形状構成要素に割当てられたラベル番号に対応する前記物体画像情報に投影される、前記ｉ番目の立体形状構成要素の面積の全立体形状構成要素についての総和との線形結合で表現される。
【００３０】
請求項９記載のテクスチャ情報付与方法は、立体モデルに対するテクスチャ情報付与方法であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、位置変化を伴って複数の物体画像情報を投影した場合に前記各物体画像情報に位置変化に対応したラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付けるステップと、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与するステップとを備える。
【００３１】
請求項１０記載のテクスチャ情報付与方法は、立体モデルに対するテクスチャ情報付与方法であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、規則的な位置変化を伴って複数の物体画像情報を投影した場合に前記各物体画像情報にラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付けるステップと、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与するステップとを備える。
【００３２】
請求項１１記載のテクスチャ情報付与方法は、立体モデルに対するテクスチャ情報付与方法であって、対象物体を異なる視点から撮影することにより複数の物体画像情報を獲得するステップと、前記対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、前記立体形状構成要素ごとに、前記複数の物体画像情報のそれぞれに投影された前記立体形状構成要素に対応する面積に応じた、複数の前記物体画像情報についての重み平均処理を行なうことにより得られたテクスチャ情報を付与するステップとを備える。
【００３３】
請求項１２記載のテクスチャ情報付与プログラムを記録した媒体は、コンピュータに立体モデルへのテクスチャ情報の付与をさせるためのプログラムを記録した媒体であって、前記プログラムは、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、前記対象物体を異なる視点から撮影することにより獲得された複数の物体画像情報に基づいて、前記立体モデルに対するテクスチャ情報を前記立体形状構成要素ごとに、前記各物体画像情報の前記立体形状構成要素に対するテクスチャ情報量と前記立体形状構成要素間のテクスチャ連続性との双方に応じて付与するステップとを含む。
【００３４】
請求項１３記載のテクスチャ情報付与プログラムを記録した媒体は、請求項１２記載の発明において、前記テクスチャ情報を付与するステップにおいては、前記テクスチャ情報量の増加に伴い減少し、かつ前記立体形状構成要素間のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに対応付けられた前記物体画像情報から、前記立体モデルに対するテクスチャ情報を付与する。
【００３５】
請求項１４記載のテクスチャ情報付与プログラムを記録した媒体は、請求項１３記載の発明において、前記評価関数においては、前記テクスチャ連続性は、注目する前記立体形状構成要素とそれに隣接する前記立体形状構成要素とにそれぞれ対応する前記物体画像情報の撮影位置および撮影方向の差の関数として表現される。
【００３６】
請求項１５記載のテクスチャ情報付与プログラムを記録した媒体は、請求項１３記載の発明において、前記評価関数においては、前記テクスチャ連続性は、位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報に位置変化に対応したラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号の差の増加に伴い増加する関数として表現される。
【００３７】
請求項１６記載のテクスチャ情報付与プログラムを記録した媒体は、請求項１３記載の発明において、前記評価関数においては、前記テクスチャ連続性は、規則的な位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報にラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号の差の増加に伴い増加する関数として表現される。
【００３８】
請求項１７記載のテクスチャ情報付与プログラムを記録した媒体は、請求項１３記載の発明において、前記評価関数においては、テクスチャ情報量は、前記立体形状構成要素ごとに、前記各物体画像情報に投影される前記立体形状構成要素の面積の関数として表現される。
【００３９】
請求項１８記載のテクスチャ情報付与プログラムを記録した媒体は、請求項１３記載の発明において、前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各立体形状構成要素の面法線方向と、前記各物体画像情報を撮影した方向との一致の程度の関数として表現される。
【００４０】
請求項１９記載のテクスチャ情報付与プログラムを記録した媒体は、請求項１３記載の発明において、前記評価関数は、ｉ番目（ｉ：自然数）の前記立体形状構成要素に割当てられたラベル番号と前記ｉ番目の立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の全立体形状構成要素についての総和と、前記ｉ番目の立体形状構成要素に割当てられたラベル番号に対応する前記物体画像情報に投影される、前記ｉ番目の立体形状構成要素の面積の全立体形状構成要素についての総和との線形結合で表現される。
【００４１】
請求項２０記載のテクスチャ情報付与プログラムを記録した媒体は、コンピュータに立体モデルへのテクスチャ情報の付与をさせるためのプログラムを記録した媒体であって、前記プログラムは、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、位置変化を伴って複数の物体画像情報を撮影した場合に前記各物体画像情報に位置変化に対応したラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付けるステップと、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与するステップとを含む。
【００４２】
請求項２１記載のテクスチャ情報付与プログラムを記録した媒体は、コンピュータに立体モデルへのテクスチャ情報の付与をさせるためのプログラムを記録した媒体であって、前記プログラムは、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、規則的な位置変化を伴って複数の物体画像情報を撮影した場合に前記各物体画像情報にラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付けるステップと、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与するステップとを含む。
【００４３】
請求項２２記載のテクスチャ情報付与プログラムを記録した媒体は、コンピュータに立体モデルへのテクスチャ情報の付与をさせるためのプログラムを記録した媒体であって、前記プログラムは、対象物体を異なる視点から撮影することにより複数の物体画像情報を獲得するステップと、前記対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、前記立体形状構成要素ごとに、前記複数の物体画像情報のそれぞれに投影された前記立体形状構成要素に対応する面積に応じた、複数の前記物体画像情報についての重み平均処理を行なうことにより得られたテクスチャ情報を付与するステップとを含む。
【００４４】
請求項２３記載のテクスチャ情報付与装置は、立体モデルに対するテクスチャ情報付与装置であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述する手段と、前記対象物体を異なる視点から撮影することにより獲得された複数の物体画像情報に基づいて、前記立体モデルに対するテクスチャ情報を前記立体形状構成要素ごとに、前記各物体画像情報の前記立体形状構成要素に対するテクスチャ情報量と前記立体形状構成要素間のテクスチャ連続性との双方に応じて付与する手段とを備える。
【００４５】
請求項２４記載のテクスチャ情報付与装置は、請求項２３記載の発明において、前記テクスチャ情報を付与する手段においては、前記テクスチャ情報量の増加に伴い減少し、かつ、前記立体形状構成要素間のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに対応付けられた前記物体画像情報から、前記立体モデルに対するテクスチャ情報を付与する。
【００４６】
請求項２５記載のテクスチャ情報付与装置は、請求項２４記載の発明において、前記評価関数においては、前記テクスチャ連続性は、注目する前記立体形状構成要素とそれに隣接する前記立体形状構成要素とにそれぞれ対応する前記物体画像情報の撮影位置および撮影方向の差の関数として表現される。
【００４７】
請求項２６記載のテクスチャ情報付与装置は、請求項２４記載の発明において、前記評価関数においては、前記テクスチャ連続性は、位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報に位置変化に対応したラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する前記立体形状構成要素に割当てられたラベル番号との差の増加に伴い増加する関数として表現される。
【００４８】
請求項２７記載のテクスチャ情報付与装置は、請求項２４記載の発明において、前記評価関数においては、前記テクスチャ連続性は、規則的な位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報にラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する前記立体形状構成要素に割当てられたラベル番号との差の増加に伴い増加する関数として表現される。
【００４９】
請求項２８記載のテクスチャ情報付与装置は、請求項２４記載の発明において、前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各物体画像情報に投影される前記立体形状構成要素の面積の関数として表現される。
【００５０】
請求項２９記載のテクスチャ情報付与装置は、請求項２４記載の発明において、前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各立体形状構成要素の面法線方向と、前記各物体画像情報を撮影した方向との一致の程度の関数として表現される。
【００５１】
請求項３０記載のテクスチャ情報付与装置は、請求項２４記載の発明において、前記評価関数は、ｉ番目（ｉ：自然数）の立体形状構成要素に割当てられたラベル番号と前記ｉ番目の前記立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の全立体形状構成要素についての総和と、前記ｉ番目の立体形状構成要素に割当てられたラベル番号に対応する前記物体画像情報に投影される、前記ｉ番目の立体形状構成要素の面積の全立体形状構成要素についての総和との線形結合で表現される。
【００５２】
請求項３１記載のテクスチャ情報付与装置は、立体モデルに対するテクスチャ情報付与装置であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述する手段と、位置変化を伴って複数の物体画像情報を撮影した場合に前記各物体画像情報に位置変化に対応したラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付ける手段と、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与する手段とを備える。
【００５３】
請求項３２記載のテクスチャ情報付与装置は、立体モデルに対するテクスチャ情報付与装置であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述する手段と、規則的な位置変化を伴って複数の物体画像情報を撮影した場合に前記各物体画像情報にラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付ける手段と、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与する手段とを備える。
【００５４】
請求項３３記載のテクスチャ情報付与装置は、立体モデルに対するテクスチャ情報付与装置であって、対象物体を異なる視点から撮影することにより複数の物体画像情報を獲得する手段と、前記対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述する手段と、前記立体形状構成要素ごとに、前記複数の物体画像情報のそれぞれに投影された前記立体形状構成要素に対応する面積に応じた、複数の前記物体画像情報についての重み平均処理を行なうことにより得られたテクスチャ情報を付与する手段とを備える。
【００７９】
【発明の実施の形態】
［実施の形態１］
図１は、この発明の実施の形態１の実在の物体から３次元モデルを再構成するための３次元立体モデル生成装置１０００の構成を示す概略ブロック図である。
【００８０】
図１を参照して、回転台１１０の上に、対象物体１００が載せられる。回転台１１０は、たとえば、コンピュータ１３０からの制御信号に応じて、その回転角度が制御される。カメラ１２０は、回転する対象物体１００を各指定角度ごとに撮影し、得られた画像データをコンピュータ１３０に与える。
【００８１】
一方で、コンピュータ１３０には、回転台１１０の回転ピッチ等の撮影条件のデータが入力装置１４０から与えられる。
【００８２】
コンピュータ１３０は、カメラ１２０から与えられた画像情報に基づいて、各撮影角度に対応する画像情報からシルエット画像を抽出し、３次元立体形状モデルを生成する。
【００８３】
ここで３次元立体形状モデルとしては、たとえばポリゴン（三角パッチの集合）による表面モデルで表現することが可能である。
【００８４】
また、上述した画像情報とは、たとえば、カメラ１２０から出力される各画素に対応した輝度、色彩、あるいは濃淡を表す数値情報を意味する。
【００８５】
ただし、立体モデルの表現方法としては、このような表現方法に限定されることなく、たとえば、異なる形状の表面形状要素の集合として表現することも可能である。したがって、以下では表面モデルを表現するための要素となる形状を立体形状構成要素と総称することにする。
【００８６】
続いて、コンピュータ１３０は、各角度において撮影された画像情報に基づいて、再構成された３次元立体モデルに対してテクスチャ情報を付与する。
【００８７】
ここで、ＣＧ（コンピュータグラフィックス）の分野における色彩情報（テクスチャ情報）とは、物体表面に貼り付けられて、この表面の細かな凸凹や絵柄、模様、材質感を表わすための画像情報のことである。
【００８８】
このようにして再構成された３次元モデルは、表示装置１５０に表示される。
３次元画像情報に対する色彩情報（より一般的には、テクスチャ情報）の付与方法について詳しく説明する前に、まず実在の物体から３次元形状の立体モデルを生成するまでのフローについて簡単に説明する。
【００８９】
図３は、物体画像を作成してから、３次元モデルにテクスチャ情報を付与するまでの処理のフローを示すフローチャートである。
【００９０】
一方、図４は、各フローの過程におけるデータ処理の概要を示す概念図である。
【００９１】
図３および図４を参照して、まず、コンピュータ１３０は、入力装置１４０から与えられた撮影条件データに基づいて、回転台１１０の回転角を制御する。各回転角ごとにカメラ１２０が撮像した画像データの取込みが行なわれる（ステップＳ１０）。
【００９２】
たとえば、角度が１０°ごとにカメラ１２０からの画像データの取込が行なわれるとすると、１回転で３６枚の画像データが取込まれる。
【００９３】
続いて、コンピュータ１３０は、撮影された画像データの各々について、物体像の輪郭の抽出を行ない、各方向から見た物体のシルエット像を生成する（ステップＳ１２）。
【００９４】
ここで得られたシルエット画像は、各方向から見た場合の物体の輪郭を示す。これら各方向から見た物体の輪郭像に基づいて、仮想的なボクセル（Ｖｏｘｅｌ ）に分割された３次元空間に対して、後に説明するようなボーティング処理を行なうことで、このボクセル空間内で物体の３次元形状モデルが生成される（ステップＳ１４）。
【００９５】
続いて、このボクセル空間で表現された物体領域を、ポリゴン（三角パッチ）を用いた表面モデルで表現するように変換が行なわれる（ステップＳ１６）。
【００９６】
ここでは、たとえば表現に必要なポリゴン数を少なく抑え、かつ、表現形状の精度を維持することが要求される。このためには、たとえば以下のような方法でポリゴンの生成を行なうことが可能である。
【００９７】
すなわち、まず、円筒座標系で表されたボクセル空間において、円筒座標系のθ表面での切断面輪郭線を多角形近似し、ポリゴンの頂点を決定する。続いて、各頂点をそれぞれ最近接の３頂点と接続することで三角パッチを生成する。
【００９８】
続いて、生成されたポリゴンの各三角パッチに対して、ステップＳ１０において撮影された画像情報からテクスチャ情報を付与する（ステップＳ１８）。
【００９９】
以上のようなフローにより現実の物体をカメラ１２０で撮影した画像情報をもとに、コンピュータ１３０内で３次元立体モデルが再構成されることになる。
【０１００】
なお、以上の説明では、回転台１１０上に対象物体１００を載せ、カメラ１２０は固定した状態で回転台１１０を回転させ画像を撮影する構成とした。しかしながら、画像情報を獲得する方法はこのような構成に限定されない。
【０１０１】
たとえば、対象物体１００は静止したままで、カメラ１２０を人間が持って移動し、複数の視点から対象物体１００を撮影することで、画像データを得る構成とすることも可能である。この場合でも、各画像の撮影を行なった際のカメラ１２０の位置および撮影を行なう方向がわかれば、これらの情報をもとに以下に述べるのと同様の方法により３次元立体形状モデルの再構成およびテクスチャ情報の付与を行なうことが可能である。
【０１０２】
以下では、さらに、図３に示した各処理ステップについて詳しく説明する。
［画像撮影およびシルエット生成］
上述のとおり、図１に示したような構成で、画像撮影を行なう場合は、対象物体１００を回転テーブル１１０に載せ、テーブルを回転しつつ対象物体画像を複数枚撮像する。これに加えて、次のステップ（ステップＳ１２）のシルエット抽出のため、背景画像の撮影も行なう。
【０１０３】
続いて、対象物体画像と背景画像間の差分処理により、対象物体のみを切出したシルエット画像を生成する。
【０１０４】
このとき、背景画像を単一色とするような特殊な撮影環境を不要とし、かつ、安定したシルエット画像生成を可能とするために、単純な画像間差分ではなく、以下に説明するような領域分割処理を加えた画像差分を行なうことも可能である。
【０１０５】
すなわち、物体画像を領域分割し、続いて領域単位で背景画像との差分処理を行なう。ここで、差分処理とは、撮像された物体画像情報を、画素ごとにその信号強度について差分を算出する処理を意味する。
【０１０６】
さらに、領域単位での差分平均をしきい値処理し物体部分の抽出を行なう。
以上説明したような方法では、画素レベルで背景と同色のものが存在しても、領域レベルにおいて背景と異なる色があれば、一般には、物体部分として検出できるという性質を持っている。
【０１０７】
したがって、生成シルエット画像精度の向上を図ることが可能となる。
［ボーティング処理］
以上のようにして、対象物体１００を、複数の視点から撮影したシルエット画像情報を得ることができる。これら複数のシルエット画像情報から、物体の３次元形状を再構成するために、以下に説明するようなボーティング処理が行なわれる。
【０１０８】
以下では、まず３次元形状を記述するためのボクセルモデルおよびボクセル空間についてまず説明をする。
【０１０９】
ボクセルモデルとは３次元形状を立体的な格子点の有無で記述するモデルであり、ボクセルが定義される空間をボクセル空間と呼ぶ。ボクセル空間は認識物体を包含するような、大きさ・位置で配置される。以下では、対象物体１００を回転させながら画像撮影を行なったことに対応して、より自然に対象物体形状を表現することが可能な円筒座標系でこのボクセル空間を表現することにする。
【０１１０】
したがって、各々のボクセルは、円筒座標の半径方向の座標をｒ、角度方向の座標をθ、軸方向の座標をｚとするとき、各ｒ，θ，ｚを等間隔で分割した場合の体積要素を意味することになる。この体積要素の集合で３次元形状を表現するものがボクセルモデルである。
【０１１１】
次に、シルエット画像からこのボクセルモデルを再構成するための手順について簡単に説明する。
【０１１２】
まず、１つのシルエット画像に基づいて、ボクセル空間内に、対象物体に対する仮定存在領域の算出を行なう。ここで、仮定存在領域とは、図５に示すようにカメラ１２０の投影中心を頂点とし、画像の物体像を断面形状とする錐体状の領域を意味する。すなわち、対象物体は、この領域の内側に必ず存在していることになる。
【０１１３】
ボーティング処理とは、この仮定存在領域内に存在する各々のボクセルに対して、たとえば１つのシルエット画像に対する仮定存在領域に該当する場合に、数値１を割振る（投票する）という処理を意味する。
【０１１４】
図６は、図５に示したｚ軸に垂直な平面Ｐ上のシルエット画像および円筒ボクセル空間の断面を示す図である。
【０１１５】
上述のとおり、カメラ１２０の投影中心とする錐体状の領域が仮定存在領域に該当するため、この領域に存在する円筒ボクセル空間内の各ボクセルに対して数値１が割振られる。
【０１１６】
図７は、複数のシルエット画像に基づいてボーティング処理を行なった場合について、平面Ｐ断面の円筒ボクセル空間を示す断面図である。
【０１１７】
図７においては、５つの視点から撮影されたシルエット画像に基づいて円筒ボクセル空間に対してボーティング処理を行なった場合を示している。この場合、各々のシルエット画像に基づいたボーティング処理は、それぞれのシルエット画像に対する仮定存在領域に対して数値１を割振ることになるため、５つのシルエット画像に基づいて、ボーティング処理を行なった場合、図７中のクロスハッチで示した領域は、すべてのシルエット画像に基づく仮定存在領域が重なっていることになる。言換えると、このクロスハッチされた領域内のボクセルには、それぞれ５つのシルエット画像に基づくボーティング処理の結果、数値５が割振られていることになる。
【０１１８】
したがって、たとえば円筒ボクセル空間内のボクセルのうち、５以上が割当てられているボクセルのみを抽出すれば、対象物体が、この円筒ボクセル空間内で存在する領域を算出することが可能となる。
【０１１９】
より一般的には、撮像された物体画像数に応じて、適当なしきい値を設定することで、ボーティング処理に基づいて円筒ボクセル空間内における対象物体の存在領域を算出することが可能となる。以上の処理により、円筒ボクセル空間内において対象物体の存在する領域を抽出することが可能となる。
【０１２０】
ボクセル空間を用いた３次元形状再構成手法としては、他に特公平７−１０９６２６号公報に開示された錐体相関法があるが、この方法は、生成するシルエット画像の誤差がそのまま再構成される物体形状に影響を与えてしまうという問題があった。これに対して、ボーティング処理による３次元形状再構成は、基礎となるシルエット画像に誤りが含まれている場合でも、適当なしきい値を設定することで、獲得される３次元形状の精度低下を小さく抑えることが可能であるという特徴を有する。
【０１２１】
［ポリゴン生成］
続いて、ボクセル空間で表現された物体領域は、ポリゴン（三角パッチ）を用いた表面モデルで表現するように変換される。
【０１２２】
図８は、このようなポリゴン生成の過程を示す概念図である。
図８を参照して、円筒ボクセル空間で表現された物体領域の円筒座標系θ１平面（円筒座標系でθ＝θ１である平面）での切断面輪郭線を多角形近似する。この多角形近似により得られた輪郭線Ｌθ１の各頂点が、後に説明するようにポリゴンの頂点に相当する。
【０１２３】
同様にして、円筒座標系のθ２平面での切断輪郭線を多角形近似し、Ｌθ２を得る。
【０１２４】
以上の操作を、すべてのボクセルに対応するθ平面に対して行なう。
続いて、これら各輪郭線の各頂点を、それぞれ最近接の３頂点と接続することで三角パッチが生成される。
【０１２５】
このような輪郭線の多角形近似と最近接３頂点の接続という手続で三角パッチを生成することにより、表現に必要なポリゴン数を少なく抑え、かつ、表現形状の精度を維持することが可能となる。
【０１２６】
図９は、対象物体１００をポリゴンを用いた３次元表現モデル３００で表現したものである。
【０１２７】
以上の操作により、対象物体の形状について、計算機内等で再構成を行なうことが可能となる。
【０１２８】
以上、円筒ボクセル空間を仮定して説明したが、直交ボクセル空間を用いても良い。また、ポリゴン生成処理においては、隣接ボクセルを接続することにより、細かいポリゴンを一旦生成した後に、これらを統合してポリゴン数を減らしても良い。
【０１２９】
［テクスチャ情報付与］
続いて、以上のようにして、計算機内等において再構成された物体形状に対しテクスチャ情報を付与して、よりリアルな３次元モデルとするために、撮影した物体画像に含まれるテクスチャ情報を、上記３次元モデルに対して付与する処理を行なう。
【０１３０】
具体的には、各ポリゴンのテクスチャ情報を与える物体画像（以後、参照画像と呼ぶ）を決定した後、ポリゴンを参照画像に投影し、その投影部分のテクスチャ情報を、対応するポリゴンに付与する。
【０１３１】
図１０は、このようなテクスチャ情報の付与処理を説明するための概念図である。
【０１３２】
以下では、説明を簡単とするために、参照画像としては、ラベル番号が１〜８までの８枚の物体画像情報があるものとする。
【０１３３】
すなわち、対象物体を４５°おきの角度から撮影した物体画像が存在している。なお、以下の説明では、対象物体を１つの回転軸のまわりに一定の角度ごとに撮影した参照画像に基づいて、テクスチャ情報を３次元立体モデルに付与する場合について説明するが、本発明はこのような場合に限定されることなく、任意の位置および方向から対象物体を撮影した複数の参照画像に基づいて、３次元立体モデルに対してテクスチャ情報を付与する場合にも適用することが可能である。
【０１３４】
さて、注目するポリゴンに対して、どの参照画像を対応付けるかを決定する場合に、考慮すべき点としては、まず当該ポリゴンに対するテクスチャ情報量の大きい参照画像を選択するという方針が挙げられる。
【０１３５】
したがって、上記方針の下に、各ポリゴンに対して対応する参照画像すなわちラベル番号の割当を行なうことで、ポリゴンで表現された３次元立体モデルに対してテクスチャ情報を付与することが可能となる。
【０１３６】
図１１は、テクスチャ情報を付与するまでの処理の流れを示すフローチャートである。
【０１３７】
一方、図２は、コンピュータ１３０中において、テクスチャ情報付与を行なうための色彩情報付与処理部２００の構成を示す概略ブロック図である。
【０１３８】
色彩情報付与処理部２００は、カメラ１２０により撮影された物体画像情報（参照画像情報）を記憶保持する画像記憶部２２０と、画像記憶部２２０に記憶された参照画像情報に基づいて、対象物体の３次元立体モデルを生成する演算部２１０と、演算部２１０により生成された３次元立体モデルの形状、言換えると各ポリゴンの位置および形状を記憶している形状記憶部２３０と、後に説明するように、画像記憶部２２０に保持された参照画像情報に基づいて、演算部２１０が、各ポリゴンに対して割当てたテクスチャ情報を記憶保持する色彩情報記憶部２４０を備える。
【０１３９】
図１１および図２を参照して、前述したとおり、たとえば、対象物体を一定角度ごとに回転させながら撮影された画像情報を、画像記憶部２２０が記憶する（ステップＳ２０）。
【０１４０】
続いて、撮影された画像情報に基づいて、演算部２１０が、立体モデルを生成し、その形状データを形状記憶部２３０に保持させる（ステップＳ２２）。
【０１４１】
続いて、以下に説明する手順で、立体形状構成要素（たとえばポリゴン）と画像記憶部２２０中に保持された参照画像情報との対応付けを演算部２１０が行なう（ステップＳ２４）。
【０１４２】
演算部２１０は、対応付けられた各ポリゴンごとのテクスチャ情報を色彩情報記憶部２４０に保持させる（ステップＳ２６）。
【０１４３】
次に、上記ステップＳ２４における立体形状構成要素と参照画像情報との対応付けの処理についてさらに詳しく説明する。
【０１４４】
図１２は、ステップＳ２４における立体形状構成要素と参照画像情報との対応付けを行なうためのフローをより詳しく示すフローチャートである。
【０１４５】
以下の処理では、各立体形状構成要素（ポリゴン）の法線ベクトルと参照画像を撮影した方向と平行な画像撮影面の法線ベクトルとの方向の一致性により、テクスチャ情報量の大きさを判断する。すなわち、対応するポリゴンに対して最も正対する参照画像が、当該ポリゴンに対するテクスチャ情報が最も大きいと判断を行なう。
【０１４６】
画面撮影（ステップＳ２０）および立体モデル生成（ステップＳ２２）の各処理が終了した後、演算部２１０は、まず以下の演算処理で用いる変数の初期化を行なう。
【０１４７】
すなわち、立体形状構成要素数を変数Ｅｍａｘに代入し、撮影した画像数を変数Ｉｍａｘに代入する。また、以下の処理において、撮影画像に対応するラベル番号をカウントするための補助変数Ｉｃｎｔを値０に初期化する。
【０１４８】
さらに、ｉ番目（ｉ＝０〜Ｅｍａｘ−１）の立体形状構成要素にそれぞれ対応する１次元配列変数Ｐｒｏｄ［ｉ］の値をすべて値０に初期化し、一方、ｉ番目の立体形状構成要素に対応する参照画像のラベル番号が代入される１次元配列変数Ｉｄ［ｉ］が、すべて値−１に初期化される（ステップＳ２４０２）。
【０１４９】
続いて、ポリゴンの番号をカウントするための補助変数Ｅｃｎｔを値０に初期化する（ステップＳ２４０３）．
【０１５０】
続いて、Ｉｃｎｔ番目の画像撮影面の法線ベクトルとＥｃｎｔ番目の立体形状構成要素の法線ベクトルとの内積の値が計算され、変数Ｖｔｍｐに代入される（ステップＳ２４０４）。
【０１５１】
続いて、演算部２１０は、Ｅｃｎｔ番目の変数Ｐｒｏｄ［Ｅｃｎｔ］の値と上記変数Ｖｔｍｐの値とを比較する。
【０１５２】
変数Ｐｒｏｄ［Ｅｃｎｔ］の値が変数Ｖｔｍｐの値以下であると判断すると（ステップＳ２４０６）、変数Ｐｒｏｄ［Ｅｃｎｔ］に変数Ｖｔｍｐの値が代入され、同時に変数Ｉｄ［Ｅｃｎｔ］にその時点でのカウント変数Ｉｃｎｔの値が代入される（ステップＳ２４０８）。
【０１５３】
一方、変数Ｐｒｏｄ［Ｅｃｎｔ］の値が、変数Ｖｔｍｐの値よりも大きいと判断すると（ステップＳ２４０６）、変数Ｅｃｎｔの値が１だけインクリメントされる（ステップＳ２４１０）。
【０１５４】
続いて、カウント変数Ｅｃｎｔの値が、立体形状構成要素数Ｅｍａｘよりも小さいと判断されると（ステップＳ２４１２）、再びステップＳ２４０４に処理が戻り、同一の処理が、次の立体形状構成要素に対して繰返される。
【０１５５】
一方、変数Ｅｃｎｔの値が立体形状構成要素数Ｅｍａｘ以上と判断されると（ステップＳ２４１２）、カウント変数Ｉｃｎｔの値が１インクリメントされる（ステップＳ２４１４）。
【０１５６】
続いて、カウント変数Ｉｃｎｔの値が撮影画像数Ｉｍａｘ以上であるか否かの判断が行なわれる（ステップＳ２４１６）。
【０１５７】
変数Ｉｃｎｔの値が撮影画像数Ｉｍａｘよりも小さいと判断された場合（ステップＳ２４１６）、次の参照画像について、ステップＳ２４０３からステップＳ２４１２までの処理が繰返されることになる。
【０１５８】
一方、変数Ｉｃｎｔの値が撮影画像数Ｉｍａｘ以上であると判断されると（ステップＳ２４１６）、次に処理が移行する。
【０１５９】
すなわち、ステップＳ２４０２からステップＳ２４１６までの処理により、各参照画像について、当該参照画像の面法線ベクトルとすべての立体形状構成要素の面法線ベクトルとの内積の値が比較される。この処理により、それまでに処理の対象となった参照画像についての内積値よりも大きな内積値を有する参照画像については、その内積値が立体形状構成要素の各々について、１次元配列変数Ｐｒｏｄ［Ｅｃｎｔ］に格納される。一方、その時点における参照画像のラベル番号が１次元配列変数Ｉｄ［Ｅｃｎｔ］に格納される。
【０１６０】
したがって、ステップＳ２４１６の処理から次の処理に移行する時点では、１次元配列変数Ｉｄ［ｉ］には、対応するｉ番目の立体形状構成要素に対して、最大の内積値を有する参照画像情報のラベル番号が格納されていることになる。
【０１６１】
続いて、色彩情報記憶部２４０に対して、演算部２１０は、各立体形状構成要素について、対応する参照画像情報を画像記憶部２２０から読出して、色彩情報記憶部２４０に格納する（ステップＳ２４１８）。
【０１６２】
以上のようにして、３次元立体モデルを構成する各立体形状構成要素（ポリゴン）に最もテクスチャ情報量の多い参照画像情報から得た色彩情報（テクスチャ情報）を付与する構成となっているので、最も現実の物体に近いテクスチャ情報を各立体形状構成要素に付与することが可能となる。
【０１６３】
図１３は、図１２に示したテクスチャ付与方法をコンピュータ１３０に実行させるためのプログラムを記録した記録媒体の構成を示す概念図である。
【０１６４】
記録媒体としては、たとえば磁気ディスクやＣＤ−ＲＯＭなどの光磁気ディスクなどを用いることが可能である。記録媒体２６０中には、図１２に示した処理をコンピュータ１３０に実行させるために、所定のプログラム言語により、各処理ステップが記述されたものが、符号化されて記録されている。
【０１６５】
以上のようにして、記録媒体２６０中に記録されたテクスチャ情報付与プログラムに基づいて、コンピュータ１３０を動作させることで、上述したのと同様な効果、すなわちコンピュータ１３０内で再構成された３次元立体モデルに対して、より現実の物体が有するテクスチャに近いテクスチャ情報を付与することが可能となる。
【０１６６】
［実施の形態２］
実施の形態１では各立体形状構成要素に対して、内積値に基づいて最もテクスチャ情報量の大きいと判断される参照画像を選択して、各立体形状構成要素にテクスチャ情報を付与した。
【０１６７】
しかしながら、図２１において説明したとおり、対象物体の形状によっては、ある方向から撮影した物体画像情報には見通せない部分が存在する場合がある。この場合は、この見通せない部分に相当する立体形状構成要素の面法線ベクトルと最も大きな内積値を有する参照画像には、テクスチャ情報が全くないという場合が存在し得る。
【０１６８】
実施の形態２では、このような場合にも適用することが可能なテクスチャ情報の付与方法およびテクスチャ情報付与装置ならびにテクスチャ情報付与プログラムを記録した媒体を提供する。
【０１６９】
実施の形態２においても、色彩情報付与処理部の構成は、図２に示した色彩情報付与処理部２００の構成と同等である。以下に説明するとおり、演算部２１０の行なう演算処理が、実施の形態１とは異なる。
【０１７０】
すなわち、実施の形態１では、各ポリゴンについて、その法線ベクトルと各参照画面の法線ベクトルとの内積値を比較することで、テクスチャ情報量の大きさを判断した。
【０１７１】
これに対し、実施の形態２では、各ポリゴンについて、参照画像に対する投影面積を算出し、この算出された投影面積に基づいて、各参照画面情報が有するテクスチャ情報量の大きさを評価する。
【０１７２】
図１４は、このような参照画像へのポリゴンの投影面積に基づいて、各ポリゴンごとに対応する参照画像情報のラベル番号を決定する処理のフローを示すフローチャートである。
【０１７３】
図１４に示すフローチャートでは、評価の対象となる値が、参照画像面の法線ベクトルと立体形状構成要素の法線ベクトルとの内積値Ｖｔｍｐの代わりに、参照画像に投影された立体形状構成要素の投影面積Ａｔｍｐとなっている点を除いては、図１２に示したフローチャートと全く同様である。
【０１７４】
したがって、ステップＳ２４２２からステップＳ２４３６までの処理が終了した時点で、１次元配列変数Ｉｄ［ｉ］には、対応するｉ番目の立体形状構成要素が最も大きな投影面積を有する参照画像情報のラベル番号が、１次元配列変数Ａｒｅａ［ｉ］には、対応するｉ番目の立体形状構成要素について、Ｉｄ［ｉ］のラベル番号を有する参照画像情報に対する投影面積が、それぞれ格納されていることになる。
【０１７５】
それに応じて、演算部２１０は、色彩情報記憶部２４０へ、各立体形状構成要素ごとに、対応する参照画像のテクスチャ情報を画像記憶部２２０から読出して格納することになる。
【０１７６】
以上の処理により、比較的複雑な形状を有する対象物体に対しても、計算機内等において再構成された立体形状モデルに対して最もテクスチャ情報量の大きい参照画像情報から各ポリゴンへのテクスチャ情報を付与することが可能となる。
【０１７７】
また、図１４に示したようなステップＳ２４２２からステップＳ２４３８までのプログラムを記録した媒体によりコンピュータ１３０を動作させることで、同様の効果が奏される。
【０１７８】
［実施の形態３］
以上の説明では、対象物体を３次元立体モデルとして再構成した場合に、各ポリゴンに対する参照画像の対応付けは、当該ポリゴンに対するテクスチャ情報量の大きさに基づいて判断された。
【０１７９】
しかしながら、各ポリゴンに対して適切な参照画像を決定する場合において考慮すべき点は、テクスチャ情報量の大きさのみに限られない。たとえば、さらにポリゴン間で付与されたテクスチャ情報に著しい不連続が存在すると、ポリゴン境界線が目立ってしまい、再構成された立体モデルは極めて不自然なものとなる。
【０１８０】
したがって、実施の形態３における各立体形状構成要素への参照画像の割当方法、すなわちテクスチャ情報付与方法としては、第１にテクスチャ情報量の大きい参照画像を選択すること、および第２にポリゴン境界線を隠蔽することを同時に可能とすることを目的とする。
【０１８１】
ここで、実施の形態２において説明したように、テクスチャ情報量の大きい参照画像を選択するためには、対応する参照画像へのポリゴンの投影面積は大きい方が望ましい。
【０１８２】
一方、ポリゴン境界線を隠蔽するためには、隣接するポリゴン間に付与される色彩情報（テクスチャ情報）の連続性が高いことが望ましい。
【０１８３】
実施の形態３では、ポリゴン境界線を隠蔽するために、注目するポリゴンに対して、それに隣接するポリゴンへの参照画像の割当は、同一であるか、異なる場合でもなるべく撮影角度差の小さい参照画像を選択する構成としている。
【０１８４】
より具体的には、上述した２つの条件を最適に満たすポリゴンへの参照画像情報の割付けを可能とするために、以下に説明するように、問題をいわゆるエネルギ最小化問題として取り扱う。
【０１８５】
すなわち、各参照画像は、一定角度ずつ撮影角度を変化させて撮影されているため、順番に参照画像に番号付けをしておき、各ポリゴンと参照画像番号との対応付け（ラベリング）問題を以下の式で表わされるエネルギを局所的に最小化するように反復改善処理で解くというものである。
【０１８６】
なお、各参照画像が一定角度ずつ撮影角度を変化させて撮影されていない場合、すなわち、撮影角度の変化量がそれぞれ異なっている場合、上記番号付けは、撮影角度に対応させれば良い。
【０１８７】
【数１】

【０１８８】
ここで、Ａｒｅａ（ｉ）はポリゴンｉの参照画像への投影面積を表わし、Ｐｅｎａｌｔｙ（ｉ）はポリゴンｉとその隣接ポリゴンとの参照画像番号（ラベル）の差を表わし、ｋはこれらの結合係数である。
【０１８９】
すなわち、エネルギ関数Ｅは、ポリゴンｉに隣接するポリゴンに割当てられた参照画像番号が、ポリゴンｉに割当てられた参照画像番号と異なるほど増加し、ポリゴンｉの参照画像への投影面積、すなわちテクスチャ情報量が増加するほど減少する関数である。
【０１９０】
上述したとおり、ポリゴンｉと隣接するポリゴンに割当てられる参照画像番号の差が小さいほどテクスチャ連続性が高く、ポリゴン境界線が隠蔽されるので、関数Ｅを極小化することは、テクスチャ情報量の大きさ（色彩情報量の大きさ）とテクスチャ連続性の双方を考慮した場合に、各ポリゴンへの最適な参照画像番号の割当に対応することになる。
【０１９１】
なお、上記のエネルギ関数においては、テクスチャ情報量の大きさとして、ポリゴンｉの参照画像への投影面積を用いたが、実施の形態１に示したように、ポリゴンの面法線ベクトルと参照画像の面法線ベクトルとの内積値で評価する構成とすることも可能である。
【０１９２】
ここでエネルギ関数Ｅにおいて、結合定数ｋは定数でも良いし、各ポリゴンの関数（たとえば各ポリゴンの面積の関数）でもよい。
【０１９３】
さらに、エネルギ関数Ｅとしては、上述のような関数Ｐｅｎａｌｔｙ（ｉ）と関数Ａｒｅａ（ｉ）との線形結合以外にも、より一般的に、注目するポリゴンｉとそれに隣接するポリゴンへ割当てられたテクスチャ情報の連続性の向上に伴い減少し、かつ、注目するポリゴンｉへのテクスチャ情報量の増加に伴い減少する関数であれば、上記の構成には限定されない。
【０１９４】
図１５は、上記のようなエネルギ関数Ｅについて、反復改善処理で最適値を求めるための処理を示すフローチャートである。
【０１９５】
まず、生成された立体形状モデルの各ポリゴンに対して、初期設定として参照画像番号の仮の対応付けを行なう（ステップＳ２４４０）。
【０１９６】
次に、演算部２１０は、変数Ｎに立体形状構成要素数を代入し、カウント変数Ｃｎｔを数値０に初期化する。また、フラグ変数Ｆｌｇに“ＯＦＦ”を代入する（ステップＳ２４４２）。
【０１９７】
続いて、変数Ｐｒｅ＿ｌｂｌにＣｎｔ番目の立体形状構成要素に対応する参照画像番号を代入しておく（ステップＳ２４４４）。
【０１９８】
続いて、Ｃｎｔ番目の立体形状構成要素について、対応する参照画像番号を変化させ、エネルギ関数Ｅを極小化する参照画像番号を導出する（ステップＳ２４４６）。
【０１９９】
ここで、ステップＳ２４４６において得られた新しい対応参照画像番号を変数Ｎｅｗ＿ｌｂｌに代入する（ステップＳ２４４８）。
【０２００】
続いて、変数Ｎｅｗ＿ｌｂｌと変数Ｐｒｅ＿ｌｂｌとの値が比較される。両者が等しくない場合は（ステップＳ２４５０）、エネルギ関数Ｅの最小化計算により、ラベルの付け換えが行なわれたと判断され、フラグ変数Ｆｌｇに“ＯＮ”が代入される。続いて、カウント変数Ｃｎｔの値が１だけインクリメントされる（ステップＳ２４５４）。
【０２０１】
一方、変数Ｎｅｗ＿ｌｂｌと変数Ｐｒｅ＿ｌｂｌの値が等しい場合は、フラグ変数は変化されずに、カウント変数Ｃｎｔの値のみが１だけインクリメントされる（ステップＳ２４５４）。
【０２０２】
続いて、カウント変数Ｃｎｔの値が、立体形状構成要素数Ｎよりも小さい場合は、再び処理がステップＳ２４４４に復帰する。一方、カウント変数Ｃｎｔの値が立体形状構成要素数Ｎ以上である場合は次に処理が移行する（ステップＳ２４５６）。
【０２０３】
したがって、ステップＳ２４４４からステップＳ２４５４までの処理が、すべての立体形状構成要素について繰返されることになる。
【０２０４】
続いて、フラグ変数Ｆｌｇと“ＯＦＦ”との比較が行なわれる。フラグ変数Ｆｌｇが“ＯＦＦ”と等しくない場合は（ステップＳ２４５８）、少なくとも１回以上エネルギ関数Ｅの極小化計算によりラベルの付け換えが行なわれた、すなわちまだエネルギ関数Ｅを局所的に極小化するラベル番号の対応付けが完了していないと判断され、処理は再びステップＳ２４４２に復帰する。
【０２０５】
一方、フラグ変数Ｆｌｇが“ＯＦＦ”と等しい場合は、ステップＳ２４４４からステップＳ２４５６までの処理において、エネルギ関数Ｅを極小化する演算を行なっても、ラベルの付け換えが行なわれていないことを意味する。これは、すなわち現状のラベル番号の対応付けがエネルギ関数Ｅを局所的に極小化する対応付けとなっていることを意味するため、最適な対応付けが完了したものとして処理が終了する（ステップＳ２４６０）。
【０２０６】
以上の処理により、複数のポリゴンに対して、参照画像番号の対応付けを行なうにあたり、各ポリゴンに対しテクスチャ情報量の大きい参照画像情報を選択するという条件と、ポリゴン境界線を隠蔽するという条件の２つの条件を同時に最適化するテクスチャ情報の割当が行なわれることになる。
【０２０７】
したがって、割当が完了した後の３次元立体形状モデルは、現実の物体により近い色彩を有し、かつより自然なテクスチャ連続性を有していることになる。
【０２０８】
上述のステップＳ２４４０からステップＳ２４６０までのプログラムを記録した媒体によりコンピュータ１３０を動作させることでも、同様の効果を得ることができる。
【０２０９】
なお、繰り返し改善処理の順序は、改善処理の最終結果に影響を与えるため、適切な処理順序を考慮した方が望ましい。これは、繰り返し改善処理においては、各ポリゴンのラベル番号を改善する際、その隣接ポリゴンのラベル番号を正しい、あるいは信頼性が高いと仮定しているためである。したがって、より信頼性の低いポリゴンから順に改善処理を行なえば、より良好な改善結果が得られる。
【０２１０】
ポリゴンの信頼性を評価する方法の一つとして、ポリゴンの面積や、ポリゴンが参照画面に投影された際の面積などがある。
【０２１１】
これは、上述したステップＳ２２４０中で行なわれる参照画像番号の仮の対応づけ処理の信頼性が、小さい面積のポリゴンほど、あるいはポリゴンが参照画面に投影された際の面積が小さいポリゴンほど低いためである。
【０２１２】
［実施の形態４］
実施の形態３のテクスチャ情報付与方法では、テクスチャ情報量（色彩情報量）と、ポリゴン境界線の隠蔽、すなわちテクスチャ連続性の双方を考慮して、各ポリゴンにテクスチャ情報を付与する方法であった。
【０２１３】
しかしながら、実在の物体から画像情報を撮影する場合には、照明等の関係により、特定方向から撮影した画像情報が、それに近接する方向から撮影した画像情報に対してさえも、光沢等の点で著しく異なっている場合が存在し得る。
【０２１４】
したがって、よりテクスチャ連続性の高く、ポリゴン境界線が目立たないテクスチャ情報を付与するためには、実施の形態３の方法では不十分な場合がある。
【０２１５】
そこで、実施の形態４のテクスチャ情報付与方法では、１つのポリゴンに対して、１つの参照画像情報からテクスチャ情報を付与するのではなく、複数の参照画像情報から、すなわち複数の方向から撮影した画像情報に基づいて、対応するポリゴンにテクスチャ情報を付与する方法を提供する。
【０２１６】
実施の形態４のテクスチャ情報付与方法の説明をする前に、まず色彩情報記憶部２４０へのテクスチャ情報の格納方法についてより詳しく説明しておく。
【０２１７】
図１６は、色彩情報記憶部へのデータの格納方法を示す概念図である。
色彩情報記憶部２４０は、立体形状構成要素の基本形状、およびテクスチャを記憶するものである。ここで、参照画像情報上の立体形状構成要素は、投影された形状となっているため本来の形状とは異なった形となっている。
【０２１８】
このため、形状変換を行なって色彩情報記憶部２４０に色彩を格納する必要がある。
【０２１９】
ここで、たとえば立体形状構成要素が３角形の場合を例にとってその形状変換を説明する。今、基本形状のテクスチャ情報を図１６で示すような２次元離散空間で記憶する場合を考える。基本形状の頂点を（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２）、参照画像情報に対して投影された立体形状構成要素の頂点を（Ｘ０，Ｙ０），（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）とする。これらを、以下に示す変換行列Ａおよび平行移動ベクトルＢにより１次変換することで、投影された三角形形状を本来の形状に変換することが可能となる。
【０２２０】
【数２】

【０２２１】
この場合、基本形状の画素（ｘｎ，ｙｎ）のテクスチャ情報は、以下の式で計算される参照画像情報上の画素（Ｘｎ，Ｙｎ）から獲得すればよいことを意味する。
【０２２２】
【数３】

【０２２３】
すなわち上記のようないわゆるアフィン変換により、投影された三角形形状のポリゴンに対して、本来のポリゴン形状に対するテクスチャ情報を獲得し、色彩情報記憶部２４０に格納する。
【０２２４】
なお、以上の説明では、ポリゴンの形状を三角形としたが、たとえばその形状が四角形や他の形状の場合も同様に計算することが可能である。
【０２２５】
また、座標変換の方法はアフィン変換の他、射影変換を用いてもよい。射影変換は以下の式で計算される。
【０２２６】
【数４】

【０２２７】
以上説明したとおり、色彩情報記憶部２４０には、参照画像情報上に投影されるポリゴンの形状にかかわりなく、本来のポリゴン形状に対応したテクスチャ情報が格納されている。
【０２２８】
そこで、たとえば実施の形態３に示したようなエネルギ関数Ｅに対する反復改善処理により、各ポリゴンｉに対して対応する参照画像情報番号の割当が完了したものとする。
【０２２９】
実施の形態４のテクスチャ情報付与方法では、このラベル番号の割当の完了後に、さらに以下に説明するような重み平均処理を行なうことで、テクスチャ連続性をより向上させるテクスチャ情報の付与方法を実現することを目的とする。
【０２３０】
図１７は、上述したように、各ポリゴンｉに対して、参照画像情報番号の割付が完了した後に行なう重み平均処理のフローを示すフローチャートである。
【０２３１】
したがって、たとえば図１５に示したフローにおけるステップＳ２４６０に続く処理を示している。
【０２３２】
まず、初期設定として、変数Ｅｍａｘに立体形状構成要素数が、変数Ｉｍａｘに撮影された参照画像情報数がそれぞれ代入される。一方、カウント変数Ｅｃｎｔの値が０に初期設定される（ステップＳ２５００）。
【０２３３】
続いて、カウント変数Ｉｃｎｔならびに変数ｗａｃｃの値が０に初期設定される（ステップＳ２５０１）。
【０２３４】
続いて、Ｉｃｎｔ番目の参照画像情報が、Ｅｃｎｔ番目の立体形状構成要素のテクスチャ情報の入力対象であるか否かの判断が行なわれる（ステップＳ２５０２）。
【０２３５】
ここで、Ｉｃｎｔ番目の画像が、テクスチャ情報の入力対象であるとは、既に行なわれた、ポリゴン（立体形状構成要素）に対する参照画像番号の割当により割当てられた画像情報のみならず、それに隣接する所定数、たとえば前後１画面の参照画像情報も入力対象に含めることを意味する。
【０２３６】
次に、変数ｗｇｈｔに対して、Ｉｃｎｔ番目の参照画像情報に投影されたＥｃｎｔ番目の立体形状構成要素の面積の値が代入される（ステップＳ２５０４）。
【０２３７】
続いて、Ｅｃｎｔ番目の立体形状構成要素のテクスチャ情報として、Ｉｃｎｔ番目の参照画像情報の情報を変数ｗｇｈｔだけ重み付けをした後、色彩情報記憶部２４０に格納する（ステップＳ２５０６）。
【０２３８】
変数ｗａｃｃに対して、変数ｗｇｈｔの値を累積し（ステップＳ２５０８）、カウント変数Ｉｃｎｔの値が１だけインクリメントされる（ステップＳ２５０９）。
【０２３９】
続いて、カウント変数Ｉｃｎｔの値が撮影された参照画像数Ｉｍａｘと比較される（ステップＳ２５１０）。
【０２４０】
変数Ｉｃｎｔが、変数Ｉｍａｘよりも小さい場合は、処理が、再びステップＳ２５０２に復帰する。
【０２４１】
一方、ステップＳ２５０２において、Ｉｃｎｔ番目の参照画像情報が、Ｅｃｎｔ番目の立体形状構成要素のテクスチャの入力対象でないと判断された場合は、処理がステップＳ２５０９に移行し、変数Ｉｃｎｔの値が１だけインクリメントされた後（ステップＳ２５０９）、変数Ｉｃｎｔと変数Ｉｍａｘの値の比較が行なわれる。
【０２４２】
したがって、ステップＳ２５００からステップＳ２５１０までの処理が繰返されることで、Ｅｃｎｔ番目の立体形状構成要素に対して、所定数の参照画像情報から重み付けされたテクスチャ情報が獲得され、そのテクスチャ情報が色彩情報記憶部２４０に累積されることになる。
【０２４３】
続いて、色彩情報記憶部２４０に累積されたテクスチャ情報が変数ｗａｃｃの値で割算される（ステップＳ２５１２）。
【０２４４】
ここまでの処理で、Ｅｃｎｔ番目の立体形状構成要素に対するテクスチャ情報が、対応する所定数の参照画像情報からのテクスチャ情報の重み付け平均として色彩情報記憶部２４０に格納されることになる。
【０２４５】
以上の処理を言い換えれば、各ポリゴンについて、それぞれに割り当てられた参照画像番号に対応する参照画像情報、および、これに隣接する所定数の物体画像情報に投影されたポリゴンの面積を求め、これを下記重み平均処理を行なう際の重み係数とする。
【０２４６】
ここで、前記物体画像情報に番号を仮定し、これをＩｃｎｔとしたとき、この物体画像情報に対応する重み係数をｗｇｈｔ（Ｉｃｎｔ）とする。また、これら画像情報の数をＮとする。
【０２４７】
さて、ポリゴンのテクスチャ情報は、複数の画素から構成されており、今、１つのテクスチャ情報の画素に着目する。この画素が上記物体画像情報に投影される部位を求め、その投影部位の画像情報（投影部位の画素値、すなわち色、濃度あるいは輝度）を、上記物体画像情報全てにわたって、すなわちＮ個分について重み平均処理をすることで、いま着目したテクスチャ情報の画素値の値とする。ここで、投影された部位の画像情報がｖ（Ｉｃｎｔ）であったとすると、重み平均処理は、具体的には以下の式で表される計算を行なうことに対応する。
【０２４８】
【数５】

【０２４９】
この処理を、ポリゴンのテクスチャ情報となるすべての画素について行なう。
【０２５０】
続いて、変数Ｅｃｎｔの値が１だけインクリメントされる（ステップＳ２５１４）。
【０２５１】
続いて、カウント変数Ｅｃｎｔの値と立体形状構成要素数Ｅｍａｘとの値が比較される（ステップＳ２５１６）。
【０２５２】
変数Ｅｃｎｔの値が、立体形状構成要素数Ｅｍａｘよりも小さい場合は、処理がステップＳ２５０１に復帰する。したがって、すべての立体形状構成要素について、上述したテクスチャ情報の重み平均処理が行なわれることになる。
【０２５３】
一方、カウント変数Ｅｃｎｔが、立体形状構成要素数Ｅｍａｘ以上である場合は（ステップＳ２５１６）、色彩情報記憶部２４０へのテクスチャ情報の格納処理が終了する（ステップ２５１８）。
【０２５４】
すなわち、実施の形態４のテクスチャ情報の付与方法では、まず、各ポリゴンに対して参照画像情報番号（ラベル番号）の対応付けが行なわれる。続いて、対応付けられた参照画像情報番号を含む所定数（たとえば、対応付けられた参照画像情報番号とその前後１画面分）の参照画像情報番号に対応する参照画像情報について、各参照画像情報に投影される立体形状構成要素の面積に応じた重み平均処理を行なった結果が、その立体形状構成要素のテキスチャ情報として付与される。
【０２５５】
以上説明したような所定数の参照画像情報からのテクスチャ情報の重み平均処理を行なうことにより、対応するポリゴンに対するテクスチャ情報が得られるので、よりテクスチャ連続性の向上したテクスチャ情報を当該ポリゴンに割当てることが可能となる。
【０２５６】
たとえば、現実の対象物体を撮影した場合に、照明等の関係により、特定方向から撮影した参照画像情報における当該ポリゴンに対する色彩情報に含まれる光沢が特異的に高い場合でも、重み平均処理によりその影響を軽減することが可能である。
【０２５７】
図１７に示したようなステップＳ２５００からステップＳ２５１８までのプログラムを記録した媒体により、コンピュータ１３０を動作させることでも、同様の効果を得ることが可能である。
【０２５８】
［実施の形態５］
実施の形態４では、予め、各ポリゴンに対して、テクスチャ情報を獲得する参照画像番号の割当が完了した後に、所定数の隣接する参照画像情報からも対応するポリゴンに対してテクスチャ情報を与える構成について説明した。
【０２５９】
しかしながら、テクスチャ連続性をより重視する考えに立てば、必ずしもエネルギ関数Ｅを極小化するように各ポリゴンに対する参照画像番号の割当を行なう必要はない。
【０２６０】
実施の形態５のテクスチャ情報付与方法では、各ポリゴン（立体形状構成要素）に対して、その立体形状構成要素に対するテクスチャ情報を有する複数の参照画像情報から当該ポリゴンに対してテクスチャ情報を付与する構成としている。
【０２６１】
たとえば、各ポリゴン（立体形状構成要素）に対して、その立体形状構成要素に対するテクスチャ情報を有するすべての参照画像情報から当該ポリゴンに対してテクスチャ情報を付与しても良いし、各ポリゴン（立体形状構成要素）に対して、その立体形状構成要素に対するテクスチャ情報を有する画像情報からランダムに、あるいは規則的に参照画像情報を選択し、これらから当該ポリゴンに対してテクスチャ情報を付与しても良い。
【０２６２】
図１８は、このようなポリゴンへのテクスチャ情報の付与方法を示す概念図であり、立体形状構成要素に対するテクスチャ情報を有するすべての参照画像情報から当該ポリゴンに対してテクスチャ情報を付与する例を示している。
【０２６３】
実施の形態４において説明したとおり、色彩情報記憶部２４０に対しては、各参照画像情報に投影されるポリゴンの形状にかかわりなく、本来のポリゴン形状に対応したテクスチャ情報が格納される。
【０２６４】
したがって、特定のポリゴンｉに注目した場合、このポリゴンが投影される面積が０でないすべての参照画像情報から、その投影面積に応じた重み平均処理を行なうことによりテクスチャ情報を獲得することが可能である。
【０２６５】
図１９は、このようなテクスチャ情報付与方法のフローを示すフローチャートである。
【０２６６】
実在の物体に対する複数の画像撮影（ステップＳ２０および立体モデル生成ステップＳ２２）の後、各立体形状構成要素と、当該立体形状構成要素の投影面積が０でない参照画像情報との対応付けを行なう（ステップＳ３０）。
【０２６７】
続いて、上記対応付けに基づいて、色彩情報記憶部２４０に対して、投影面積に応じた重み平均処理を行なうことにより、各立体形状構成要素ごとに、テクスチャ情報が累積される（ステップＳ３２）。
【０２６８】
つまり、実施の形態５のテクスチャ情報の付与方法では、立体形状構成要素ごとに、複数の参照画像情報のそれぞれに投影された当該立体形状構成要素の面積を重み係数として、複数の参照画像情報についての重み平均処理が行なわれる。この立体形状構成要素ごとに得られた重み平均処理の結果が、テクスチャ情報として各立体形状構成要素に付与される。
【０２６９】
以上のようにして、各立体形状構成要素に対して、テクスチャ情報を有するすべての参照画像情報から、テクスチャ情報を付与する構成とすることで、テクスチャ連続性がさらに向上する。
【０２７０】
つまり、特定方向から撮影した参照画像情報が、たとえば照明の関係等で他の方向から撮影した参照画像情報に比べて光沢が異常に高いような場合でも、すべての関係する参照画像情報からのテクスチャ情報を重み平均することで、この特定方向のテクスチャ情報の影響が抑制される。
【０２７１】
なお、以上説明した実施の形態１〜５では、立体モデルをポリゴンデータに変換してから、テクスチャ情報を付与しているが、本願はこのような構成に限定されるわけではなく、ボクセル表現された立体モデルにおいて、表面の面方向を演算して、テクスチャ情報を付与するようにしてもよい。
【０２７２】
ただし、ポリゴンデータに変換してから、テクスチャ情報を付与するという構成の方が、同一方向に向いている面（ポリゴン）を一括して処理できるため、演算量を著しく減少させることが可能である。
【０２７３】
【発明の効果】
以上説明したとおり、本発明によれば、実在する物体を撮影した画像情報に基づいて、計算機内等において３次元立体モデルを再構成した場合に、当該対象物体を撮影した複数の画像情報のうちから、最も現実の物体が有するテクスチャ情報として最も適切なものをを選択的に立体モデルに付与することが可能である。
【０２７４】
また、本発明によれば、複数の立体形状構成要素の集合として表現された３次元立体モデルに対して、テクスチャ情報（色彩情報）を付与する場合に、各立体形状構成要素間でのテクスチャ情報の不連続性を抑制しつつ、同時に現実の物体の有するテクスチャ情報により近いテクスチャ情報を各立体形状構成要素に選択的に付与することが可能である。
【０２７５】
さらに、複数の立体形状構成要素に対して、現実の対象物体から撮影した物体画像情報に基づいて、テクスチャ情報を付与する処理を、各立体形状構成要素に対するラベリング問題に置換して処理することが可能であるため、コンピュータ処理等に適した手順で各立体形状構成要素へのテクスチャ情報の付与処理を行なうことが可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態１の３次元立体モデル生成装置１０００の構成を示す概略ブロック図である。
【図２】実施の形態１の色彩情報付与処理部２００の構成を示す概略ブロック図である。
【図３】現実の物体から３次元立体モデルを生成する処理のフローを示すフローチャートである。
【図４】現実の物体から３次元立体モデルを生成するまでの処理の過程を示す概念図である。
【図５】ボーティング処理の概念を示す透視図である。
【図６】ボーティング処理における仮定存在領域を示すＰ平面断面図である。
【図７】ボーティング処理の概念を示すＰ平面断面図である。
【図８】ポリゴン生成処理を説明するための概念図である。
【図９】ポリゴンによる３次元立体形状モデル３００を示す図である。
【図１０】テクスチャ情報の付与処理を示す概念図である。
【図１１】各立体形状構成要素へのテクスチャ情報付与の処理の流れを示すフローチャートである。
【図１２】実施の形態１のテクスチャ情報付与方法の処理の流れを示すフローチャートである。
【図１３】実施の形態１のテクスチャ情報付与方法を記録した記録媒体２６０を示す概念図である。
【図１４】実施の形態２のテクスチャ情報付与方法の処理の流れを示すフローチャートである。
【図１５】実施の形態３のテクスチャ情報付与方法の処理の流れを示すフローチャートである。
【図１６】色彩情報記憶部２４０へのテクスチャ情報の記憶方法を示す概念図である。
【図１７】実施の形態４のテクスチャ情報付与方法の処理の流れを示すフローチャートである。
【図１８】実施の形態５のテクスチャ情報付与方法を示す概念図である。
【図１９】実施の形態５のテクスチャ情報付与方法の処理の流れを示すフローチャートである。
【図２０】従来のテクスチャ情報付与方法を示す概念図である。
【図２１】従来のテクスチャ情報付与方法の問題点を示す断面図である。
【符号の説明】
１００ 対象物体
１１０ 回転テーブル
１２０ カメラ
１３０ コンピュータ
１４０ データ入力装置
１５０ ディスプレイ
２００ 色彩情報付与処理部
２１０ 演算部
２２０ 画像記憶部
２３０ 形状記憶部
２４０ 色彩情報記憶部
３００ ３次元立体形状モデル

Claims (33)

1. 立体モデルに対するテクスチャ情報付与方法であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、前記対象物体を異なる視点から撮影することにより獲得された複数の物体画像情報に基づいて、前記立体モデルに対するテクスチャ情報を前記立体形状構成要素ごとに、前記各物体画像情報の前記立体形状構成要素に対するテクスチャ情報量と前記立体形状構成要素間のテクスチャ連続性との双方に応じて付与するステップとを備える、テクスチャ情報付与方法。
2. 前記テクスチャ情報を付与するステップにおいては、前記テクスチャ情報量の増加に伴い減少し、かつ、前記立体形状構成要素間のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに対応付けられた前記物体画像情報から、前記立体モデルに対するテクスチャ情報を付与する、請求項１記載のテクスチャ情報付与方法。
3. 前記評価関数においては、前記テクスチャ連続性は、注目する前記立体形状構成要素とそれに隣接する前記立体形状構成要素とにそれぞれ対応する前記物体画像情報の撮影位置および撮影方向の差の関数として表現される、請求項２記載のテクスチャ情報付与方法。
4. 前記評価関数においては、前記テクスチャ連続性は、位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報に位置変化に対応したラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の増加に伴い増加する関数として表現される、請求項２記載のテクスチャ情報付与方法。
5. 前記評価関数においては、前記テクスチャ連続性は、規則的な位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報にラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の増加に伴い増加する関数として表現される、請求項２記載のテクスチャ情報付与方法。
6. 前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各物体画像情報に投影される前記立体形状構成要素の面積の関数として表現される、請求項２記載のテクスチャ情報付与方法。
7. 前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各立体形状構成要素の面法線方向と、前記各物体画像情報を投影した方向との一致の程度の関数として表現される、請求項２記載のテクスチャ情報付与方法。
8. 前記評価関数は、ｉ番目（ｉ：自然数）の前記立体形状要素に割当てられたラベル番号と前記ｉ番目の前記立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の全立体形状構成要素についての総和と、前記ｉ番目の立体形状構成要素に割当てられたラベル番号に対応する前記物体画像情報に投影される、前記ｉ番目の立体形状構成要素の面積の全立体形状構成要素についての総和との線形結合で表現される、請求項２記載のテクスチャ情報付与方法。
9. 立体モデルに対するテクスチャ情報付与方法であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、位置変化を伴って複数の物体画像情報を投影した場合に前記各物体画像情報に位置変化に対応したラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付けるステップと、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与するステップとを備える、テクスチャ情報付与方法。
10. 立体モデルに対するテクスチャ情報付与方法であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、規則的な位置変化を伴って複数の物体画像情報を投影した場合に前記各物体画像情報にラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付けるステップと、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与するステップとを備える、テクスチャ情報付与方法。
11. 立体モデルに対するテクスチャ情報付与方法であって、対象物体を異なる視点から撮影することにより複数の物体画像情報を獲得するステップと、前記対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、前記立体形状構成要素ごとに、前記複数の物体画像情報のそれぞれに投影された前記立体形状構成要素に対応する面積に応じた、複数の前記物体画像情報についての重み平均処理を行なうことにより得られたテクスチャ情報を付与するステップとを備える、テクスチャ情報付与方法。
12. コンピュータに立体モデルへのテクスチャ情報の付与をさせるためのプログラムを記録した媒体であって、前記プログラムは、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、前記対象物体を異なる視点から撮影することにより獲得された複数の物体画像情報に基づいて、前記立体モデルに対するテクスチャ情報を前記立体形状構成要素ごとに、前記各物体画像情報の前記立体形状構成要素に対するテクスチャ情報量と前記立体形状構成要素間のテクスチャ連続性との双方に応じて付与するステップとを含む、テクスチャ情報付与プログラムを記録した媒体。
13. 前記テクスチャ情報を付与するステップにおいては、前記テクスチャ情報量の増加に伴い減少し、かつ前記立体形状構成要素間のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに対応付けられた前記物体画像情報から、前記立体モデルに対するテクスチャ情報を付与する、請求項１２記載のテクスチャ情報付与プログラムを記録した媒体。
14. 前記評価関数においては、前記テクスチャ連続性は、注目する前記立体形状構成要素とそれに隣接する前記立体形状構成要素とにそれぞれ対応する前記物体画像情報の撮影位置および撮影方向の差の関数として表現される、請求項１３記載のテクスチャ情報付与プログラムを記録した媒体。
15. 前記評価関数においては、前記テクスチャ連続性は、位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報に位置変化に対応したラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号の差の増加に伴い増加する関数として表現される、請求項１３記載のテクスチャ情報付与プログラムを記録した媒体。
16. 前記評価関数においては、前記テクスチャ連続性は、規則的な位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報にラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号の差の増加に伴い増加する関数として表現される、請求項１３記載のテクスチャ情報付与プログラムを記録した媒体。
17. 前記評価関数においては、テクスチャ情報量は、前記立体形状構成要素ごとに、前記各物体画像情報に投影される前記立体形状構成要素の面積の関数として表現される、請求項１３記載のテクスチャ情報付与プログラムを記録した媒体。
18. 前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各立体形状構成要素の面法線方向と、前記各物体画像情報を撮影した方向との一致の程度の関数として表現される、請求項１３記載のテクスチャ情報付与プログラムを記録した媒体。
19. 前記評価関数は、ｉ番目（ｉ：自然数）の前記立体形状構成要素に割当てられたラベル番号と前記ｉ番目の立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の全立体形状構成要素についての総和と、前記ｉ番目の立体形状構成要素に割当てられたラベル番号に対応する前記物体画像情報に投影される、前記ｉ番目の立体形状構成要素の面積の全立体形状構成要素についての総和との線形結合で表現される、請求項１３記載のテクスチャ情報付与プログラムを記録した媒体。
20. コンピュータに立体モデルへのテクスチャ情報の付与をさせるためのプログラムを記録した媒体であって、前記プログラムは、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、位置変化を伴って複数の物体画像情報を撮影した場合に前記各物体画像情報に位置変化に対応したラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付けるステップと、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与するステップとを含む、テクスチャ情報付与プログラムを記録した媒体。
21. コンピュータに立体モデルへのテクスチャ情報の付与をさせるためのプログラムを記録した媒体であって、前記プログラムは、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、規則的な位置変化を伴って複数の物体画像情報を撮影した場合に前記各物体画像情報にラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付けるステップと、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与するステップとを含む、テクスチャ情報付与プログラムを記録した媒体。
22. コンピュータに立体モデルへのテクスチャ情報の付与をさせるためのプログラムを記録した媒体であって、前記プログラムは、対象物体を異なる視点から撮影することにより複数の物体画像情報を獲得するステップと、前記対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述するステップと、前記立体形状構成要素ごとに、前記複数の物体画像情報のそれぞれに投影された前記立体形状構成要素に対応する面積に応じた、複数の前記物体画像情報についての重み平均処理を行なうことにより得られたテクスチャ情報を付与するステップとを含む、テクスチャ情報付与プログラムを記録した媒体。
23. 立体モデルに対するテクスチャ情報付与装置であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述する手段と、前記対象物体を異なる視点から撮影することにより獲得された複数の物体画像情報に基づいて、前記立体モデルに対するテクスチャ情報を前記立体形状構成要素ごとに、前記各物体画像情報の前記立体形状構成要素に対するテクスチャ情報量と前記立体形状構成要素間のテクスチャ連続性との双方に応じて付与する手段とを備える、テクスチャ情報付与装置。
24. 前記テクスチャ情報を付与する手段においては、前記テクスチャ情報量の増加に伴い減少し、かつ、前記立体形状構成要素間のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに対応付けられた前記物体画像情報から、前記立体モデルに対するテクスチャ情報を付与する、請求項２３記載のテクスチャ情報付与装置。
25. 前記評価関数においては、前記テクスチャ連続性は、注目する前記立体形状構成要素とそれに隣接する前記立体形状構成要素とにそれぞれ対応する前記物体画像情報の撮影位置および撮影方向の差の関数として表現される、請求項２４記載のテクスチャ情報付与装置。
26. 前記評価関数においては、前記テクスチャ連続性は、位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報に位置変化に対応したラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する前記立体形状構成要素に割当てられたラベル番号との差の増加に伴い増加する関数として表現される、請求項２４記載のテクスチャ情報付与装置。
27. 前記評価関数においては、前記テクスチャ連続性は、規則的な位置変化を伴って前記物体画像情報を撮影した場合に各物体画像情報にラベル番号を与えたとき、注目する前記立体形状構成要素に割当てられたラベル番号と、前記注目する立体形状構成要素に隣接する前記立体形状構成要素に割当てられたラベル番号との差の増加に伴い増加する関数として表現される、請求項２４記載のテクスチャ情報付与装置。
28. 前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各物体画像情報に投影される前記立体形状構成要素の面積の関数として表現される、請求項２４記載のテクスチャ情報付与装置。
29. 前記評価関数においては、前記テクスチャ情報量は、前記立体形状構成要素ごとに、前記各立体形状構成要素の面法線方向と、前記各物体画像情報を撮影した方向との一致の程度の関数として表現される、請求項２４記載のテクスチャ情報付与装置。
30. 前記評価関数は、ｉ番目（ｉ：自然数）の立体形状構成要素に割当てられたラベル番号と前記ｉ番目の前記立体形状構成要素に隣接する立体形状構成要素に割当てられたラベル番号との差の全立体形状構成要素についての総和と、前記ｉ番目の立体形状構成要素に割当てられたラベル番号に対応する前記物体画像情報に投影される、前記ｉ番目の立体形状構成要素の面積の全立体形状構成要素についての総和との線形結合で表現される、請求項２４記載のテクスチャ情報付与装置。
31. 立体モデルに対するテクスチャ情報付与装置であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述する手段と、位置変化を伴って複数の物体画像情報を撮影した場合に前記各物体画像情報に位置変化に対応したラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付ける手段と、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与する手段とを備える、テクスチャ情報付与装置。
32. 立体モデルに対するテクスチャ情報付与装置であって、対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述する手段と、規則的な位置変化を伴って複数の物体画像情報を撮影した場合に前記各物体画像情報にラベル番号を与えたとき、前記各立体形状構成要素に対するテクスチャ情報量の増加に伴い減少し、かつ、前記各立体形状構成要素とそれに隣接する立体形状構成要素とにそれぞれ割当てられるテクスチャ情報のテクスチャ連続性の向上に伴い減少する評価関数を極小化するように、前記立体形状構成要素ごとに前記ラベル番号を対応付ける手段と、前記対応付けられたラベル番号に対応する物体画像情報と、前記対応付けられたラベル番号を含む所定数のラベル番号に対応する物体画像情報とに基づいて、前記各物体画像情報に投影される前記立体形状構成要素の面積に応じた重み平均処理を行なうことにより、前記立体形状構成要素にテクスチャ情報を付与する手段とを備える、テクスチャ情報付与装置。
33. 立体モデルに対するテクスチャ情報付与装置であって、対象物体を異なる視点から撮影することにより複数の物体画像情報を獲得する手段と、前記対象物体の形状を複数の立体形状構成要素の集合による立体モデルとして記述する手段と、前記立体形状構成要素ごとに、前記複数の物体画像情報のそれぞれに投影された前記立体形状構成要素に対応する面積に応じた、複数の前記物体画像情報についての重み平均処理を行なうことにより得られたテクスチャ情報を付与する手段とを備える、テクスチャ情報付与装置。

Images