JPH11120372A - テクスチャ情報付与方法、テクスチャ情報付与プログラムを記録した媒体およびテクスチャ情報付与装置 - Google Patents

Abstract

(57)【要約】 【課題】 現実の物体を撮影することにより得られた３
次元立体形状モデルに対して、より現実感のあるテクス
チャ情報を付与する方法を提供する。 【解決手段】 現実の物体を、任意の角度ごとに回転さ
せて撮影された複数の物体画像情報に基づいて、３次元
立体形状モデルをポリゴンにより表現する。各ポリゴン
に対しては、当該ポリゴンが最も大きな投影面積を有す
る物体画像情報からテクスチャ情報が付与される。隣接
するポリゴン間の色彩連続性を向上させるために、注目
するポリゴンと隣接するポリゴンとに対応付けられる物
体画像情報は、撮影位置および撮影方向が近接した物体
画像情報となるように選択される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、実在する物体を
撮影して得た画像情報をもとに、計算機内に３次元モデ
ルとして再構成された物体に、テクスチャ情報を付与す
るためのテクスチャ情報付与方法およびテクスチャ情報
付与プログラムを記録した媒体ならびにテクスチャ情報
付与装置に関する。

【０００２】

【従来の技術】コンピュータグラフィックス等の発達に
より、３次元グラフィックスの実用的なシステムの開発
が盛んに行なわれている。しかしながら、このような実
用化システムの普及に伴い顕在化した問題の１つに、形
状データの入力方法がある。すなわち、自由曲面を有す
る物体や、自然界に存在する多くの物体等の複雑な３次
元形状を計算機等に入力するのは極めて煩雑で困難な作
業となっている。

【０００３】さらに、計算機内等で物体を再構成した場
合に、単に物体形状を再構成しただけでは、よりリアル
な物体表面の質感等を表現することは困難である。

【０００４】したがって、現実の物体を撮影することに
より得た画像情報をもとに、計算機内で形状情報および
色彩／質感情報等を再構成することができれば、３次元
画像情報の取扱いを簡易に行なうことが可能となる。

【０００５】一方、たとえばインターネット等における
３次元画像通信においては、情報発信者たる一般ユーザ
によって３次元画像を生成する機会が増加する。したが
って、簡便かつコンパクトな装置構成で、３次元画像を
生成することも必要になる。

【０００６】特開平５−１３５１５５号公報には、普通
の照明条件下で、回転テーブルにある対象物体の連続シ
ルエット画像から３次元モデルを構成することができる
３次元モデル構成装置が開示されている。

【０００７】この３次元モデル構成装置は、回転台で回
転する対象物体をカメラで連続的に撮像し、画像処理コ
ンピュータによって撮像した画像から対象物体のシルエ
ット画像の抽出を行なう。このシルエット画像におい
て、シルエット画像の輪郭から垂直回転軸までの水平距
離を計測し、この水平距離と回転角度とに基づいて３次
元モデルが生成される。

【０００８】すなわち、連続的に撮像されたシルエット
画像から、対象物体の輪郭を抽出し、３次元モデルとし
て表示される。

【０００９】図２０は、以上のようにして生成された３
次元モデルに対して、カメラにより連続的に撮像された
画像情報に基づいて、テクスチャ情報を張付ける方法を
示す概念図である。

【００１０】上記特開平５−１３５１５５号公報におい
ては、対象物体を連続的に回転して、対象物体を撮像す
る、言換えると、人間の３次元モデルに対する形状認識
の分解能程度で画像情報を得る場合が説明されている。
より具体的には、たとえば回転角が１°ごとに画像を撮
像し、対象物体に対して、３６０枚の画像を得る場合が
説明されている。

【００１１】以下では、説明を簡単にするために、より
粗い角度ごとに、画像を撮像した場合について説明する
が、その本質は同等である。

【００１２】図２０に示すように、対象物体を、一定の
角度ずつ回転させながら、合計ｎ枚の画像を撮像した場
合を考える。この場合、各画像情報には、ラベル番号と
して、１，２，…，ｎが対応しているものとする。

【００１３】対象物体は、ポリゴン（三角パッチ）を用
いた表面モデル３００で表現されているものとする。こ
の場合、この表面モデル３００に対してテクスチャ情報
を付与する場合、三角パッチの各々に対して、対象物体
を撮像したカメラの方向に応じて、対応するラベル番号
の画像情報の色彩情報（テクスチャ情報）を付与する。

【００１４】より詳しく説明すると、表面モデル３００
における回転軸から、注目する三角パッチに向かうベク
トルを考えた場合、このベクトルと撮影方向ベクトルと
の方向が最も一致するような画像から、この三角パッチ
に対するテクスチャ情報を獲得するという方法である。
あるいは、より直感的に説明すれば、表面モデルに地球
儀のような経線を仮定し、０°〜１×３６０／ｎ°の範
囲の三角パッチについては１番の画像情報から、１×３
６０／ｎ°〜２×３６０／ｎ°の範囲の三角パッチにつ
いては２番の画像情報から、というようにテクスチャ情
報を獲得するという方法である。以下では、このような
テクスチャ情報の獲得方法を中心投射方式と呼ぶことに
する。

【００１５】

【発明が解決しようとする課題】以上説明したような中
心投射方式では、各三角パッチあるいはこれに相当する
表面モデルを構成する構成要素（以下、立体形状構成要
素と呼ぶ）に対して、１対１に画像情報を対応させるこ
とが可能で、かつ、この対応関係の決定が容易であると
いう利点がある。

【００１６】しかしながら、中心投射方式では、回転軸
から見た場合、同一の回転角範囲内に存在しない立体形
状構成要素に対しては、異なる画像情報（ラベル番号の
異なる画像情報）からテクスチャ情報が付与されるた
め、照明等の関係により微妙に色彩情報の光沢や質感が
異なる場合そのテクスチャに継ぎ目が目立つという欠点
がある。

【００１７】また、対象物体の形状によっては、ある撮
像方向から得た画像情報では、対応する立体形状構成要
素が見通せないために、対応する画像情報中に、その立
体形状構成要素に対応するテクスチャ情報が全く含まれ
ないという場合が生じる。

【００１８】図２１は、このような場合を説明するため
の概念図である。すなわち、図２１においては、対象物
体の回転軸を含む垂直平面における、回転軸、対象物体
断面およびカメラ内に射影される物体像の関係を示す。
対象物体の形状が、図２１に示すような場合、すなわ
ち、カメラ側から見通すことができない部分を含んでい
る場合は、この角度方向から撮像した画像情報には、こ
の見通せない部分のテクスチャ情報が存在しないことに
なる。ところが、たとえばこの撮像方向と一定の角度を
有する別の撮像方向からは、この見通せなかった部分の
テクスチャ情報を獲得することが可能である。

【００１９】この発明は、以上のような問題点を解決す
るためになされたもので、その目的は、実在する物体を
撮像した画像情報に基づいて、計算機内等において３次
元モデルとして再構成する場合、対象物体の形状にかか
わりなく、３次元モデルを構成する立体形状構成要素の
各々にテクスチャ情報を付与することか可能なテクスチ
ャ情報付与方法およびテクスチャ情報付与プログラムを
記録した媒体ならびにテクスチャ情報付与装置を提供す
ることである。

【００２０】この発明の他の目的は、３次元モデルとし
て再構成された物体に対し、現実に撮像された画像情報
に基づいてテクスチャ情報を付与する際に、撮像された
画像情報からより現実の物体の有するテクスチャに近い
テクスチャ情報を付与することが可能なテクスチャ情報
付与方法およびテクスチャ情報付与プログラムを記録し
た媒体ならびにテクスチャ情報付与装置を提供すること
である。

【００２１】この発明のさらに他の目的は、３次元立体
モデルとして再構成された物体に対し、現実の物体を撮
像して得られた画像情報をもとにテクスチャ情報を付与
する際に、３次元立体モデルを構成する立体形状構成要
素の各々に付与されるテクスチャの不連続性（継ぎ目）
が目立ちにくいテクスチャ情報付与方法およびテクスチ
ャ情報付与プログラムを記録した媒体ならびにテクスチ
ャ情報付与装置を提供することである。

【００２２】

【課題を解決するための手段】請求項１記載のテクスチ
ャ情報付与方法は、立体モデルに対するテクスチャ情報
付与方法であって、対象物体の形状を複数の立体形状構
成要素の集合による立体モデルとして記述するステップ
と、対象物体を異なる視点から撮影することにより獲得
された複数の物体画像情報に基づいて、立体モデルに対
するテクスチャ情報を、立体形状構成要素ごとに、各物
体画像情報の立体形状構成要素に対するテクスチャ情報
量に応じて付与するステップとを備える。

【００２３】請求項２記載のテクスチャ情報付与方法
は、請求項１記載のテクスチャ情報付与方法において、
テクスチャ情報量は、立体形状構成要素ごとに、各立体
形状構成要素の面法線方向と、各物体画像情報を撮影し
た方向との一致の程度により表現される。

【００２４】請求項３記載のテクスチャ情報付与方法
は、請求項１記載のテクスチャ情報付与方法において、
テクスチャ情報量は、立体形状構成要素ごとに、各物体
画像情報に投影される立体形状構成要素の面積により表
現される。

【００２５】請求項４記載のテクスチャ情報付与方法
は、立体モデルに対するテクスチャ情報付与方法であっ
て、対象物体の形状を複数の立体形状構成要素の集合に
よる立体モデルとして記述するステップと、対象物体を
異なる視点から撮影することにより獲得された複数の物
体画像情報に基づいて、立体モデルに対するテクスチャ
情報を立体形状構成要素ごとに、各物体画像情報の立体
形状構成要素に対するテクスチャ情報量と立体形状構成
要素間のテクスチャ連続性との双方に応じて付与するス
テップとを備える。

【００２６】請求項５記載のテクスチャ情報付与方法
は、請求項４記載のテクスチャ情報付与方法の構成にお
いて、テクスチャ情報を付与するステップにおいては、
テクスチャ情報量の増加に伴い減少し、かつ、立体形状
構成要素間のテクスチャ連続性の向上に伴い減少する評
価関数を極小化するように、立体形状構成要素ごとに対
応付けられた物体画像情報から、立体モデルに対するテ
クスチャ情報を付与する。

【００２７】請求項６記載のテクスチャ情報付与方法
は、請求項５記載のテクスチャ情報付与方法の構成にお
いて、評価関数においては、テクスチャ連続性は、注目
する立体形状構成要素とそれに隣接する立体形状構成要
素とにそれぞれ対応する物体画像情報の撮影位置および
撮影方向の差の関数として表現される。

【００２８】請求項７記載のテクスチャ情報付与方法
は、請求項５記載のテクスチャ情報付与方法の構成にお
いて、評価関数においては、テクスチャ連続性は、位置
変化を伴って物体画像情報を撮影した場合に各物体画像
情報に位置変化に対応したラベル番号を与えたとき、注
目する立体形状構成要素に割当てられたラベル番号と、
注目する立体形状構成要素に隣接する立体形状構成要素
に割当てられたラベル番号との差の増加に伴い増加する
関数として表現される。

【００２９】請求項８記載のテクスチャ情報付与方法
は、請求項５記載のテクスチャ情報付与方法の構成にお
いて、評価関数においては、テクスチャ連続性は、規則
的な位置変化を伴って物体画像情報を撮影した場合に各
物体画像情報に位置変化に対応したラベル番号を与えた
とき、注目する立体形状構成要素に割当てられたラベル
番号と、注目する立体形状構成要素に隣接する立体形状
構成要素に割当てられたラベル番号との差の増加に伴い
増加する関数として表現される。

【００３０】請求項９記載のテクスチャ情報付与方法
は、請求項５記載のテクスチャ情報付与方法の構成にお
いて、評価関数においては、テクスチャ情報量は、立体
形状構成要素ごとに、各物体画像情報に投影される立体
形状構成要素の面積の関数として表現される。

【００３１】請求項１０記載のテクスチャ情報付与方法
は、請求項５記載のテクスチャ情報付与方法の構成にお
いて、評価関数においては、テクスチャ情報量は、立体
形状構成要素ごとに、各立体形状構成要素の面法線方向
と、各物体画像情報を撮影した方向との一致の程度の関
数として表現される。

【００３２】請求項１１記載のテクスチャ情報付与方法
は、請求項５記載のテクスチャ情報付与方法の構成にお
いて、評価関数は、ｉ番目（ｉ：自然数）の立体形状要
素に割当てられたラベル番号とｉ番目の立体形状構成要
素に隣接する立体形状構成要素に割当てられたラベル番
号との差の全立体形状構成要素についての総和と、ｉ番
目の立体形状構成要素に割当てられたラベル番号に対応
する物体画像情報に投影される、ｉ番目の立体形状構成
要素の面積の全立体形状構成要素についての総和との線
形結合で表現される。

【００３３】請求項１２記載のテクスチャ情報付与方法
は、立体モデルに対するテクスチャ情報付与方法であっ
て、対象物体の形状を複数の立体形状構成要素の集合に
よる立体モデルとして記述するステップと、位置変化を
伴って複数の物体画像情報を投影した場合に各物体画像
情報に位置変化に対応したラベル番号を与えたとき、各
立体形状構成要素に対するテクスチャ情報量の増加に伴
い減少し、かつ、各立体形状構成要素とそれに隣接する
立体形状構成要素とにそれぞれ割当てられるテクスチャ
情報のテクスチャ連続性の向上に伴い減少する評価関数
を極小化するように、立体形状構成要素ごとにラベル番
号を対応付けるステップと、対応付けられたラベル番号
に対応する物体画像情報と、対応付けられたラベル番号
を含む所定数のラベル番号に対応する物体画像情報とに
基づいて、各物体画像情報に投影される立体形状構成要
素の面積に応じた重み平均処理を行なうことにより、立
体形状構成要素にテクスチャ情報を付与するステップと
を備える。

【００３４】上記最後のステップでは、上記立体形状構
成要素について、立体形状構成要素に対応づけられたラ
ベル番号に対応する物体画像情報、および上記対応づけ
られたラベル番号を含む所定数のラベル番号に対応する
物体画像情報に投影された面積を求め、これを下記重み
平均処理を行なう際の重み係数とする。そして、上記立
体形状構成要素のテクスチャ情報として、上記立体形状
構成要素が上記物体画像情報に投影される部位を求め、
この投影部の画像情報（色、濃度あるいは輝度）を重み
平均処理することで上記テクスチャ情報とする。

【００３５】請求項１３記載のテクスチャ情報付与方法
は、立体モデルに対するテクスチャ情報付与方法であっ
て、対象物体の形状を複数の立体形状構成要素の集合に
よる立体モデルとして記述するステップと、規則的な位
置変化を伴って複数の物体画像情報を撮影した場合に各
物体画像情報に位置変化に対応したラベル番号を与えた
とき、各立体形状構成要素に対するテクスチャ情報量の
増加に伴い減少し、かつ、各立体形状構成要素とそれに
隣接する立体形状構成要素とにそれぞれ割当てられるテ
クスチャ情報のテクスチャ連続性の向上に伴い減少する
評価関数を極小化するように、立体形状構成要素ごとに
ラベル番号を対応付けるステップと、対応付けられたラ
ベル番号に対応する物体画像情報と、対応付けられたラ
ベル番号を含む所定数のラベル番号に対応する物体画像
情報とに基づいて、各物体画像情報に投影される立体形
状構成要素の面積に応じた重み平均処理を行なうことに
より、立体形状構成要素にテクスチャ情報を付与するス
テップとを備える。

【００３６】上記最後のステップでは、上記立体形状構
成要素について、立体形状構成要素に対応づけられたラ
ベル番号に対応する物体画像情報、および上記対応づけ
られたラベル番号を含む所定数のラベル番号に対応する
物体画像情報に投影された面積を求め、これを下記重み
平均処理を行なう際の重み係数とする。そして、上記立
体形状構成要素のテクスチャ情報として、上記立体形状
構成要素が上記物体画像情報に投影される部位を求め、
この投影部の画像情報（色、濃度あるいは輝度）を重み
平均処理することで上記テクスチャ情報とする。

【００３７】請求項１４記載のテクスチャ情報付与方法
は、立体モデルに対するテクスチャ情報付与方法であっ
て、対象物体を異なる視点から撮影することにより複数
の物体画像情報を獲得するステップと、対象物体の形状
を複数の立体形状構成要素の集合による立体モデルとし
て記述するステップと、立体形状構成要素ごとに、複数
の物体画像情報のそれぞれに投影された立体形状構成要
素に対応する面積に応じた、すべての物体画像情報につ
いての重み平均処理を行なうことにより得られたテクス
チャ情報を付与するステップとを備える。

【００３８】上記最後のステップでは、上記立体形状構
成要素の各々について、物体画像情報に投影された面積
を求め、これを下記重み平均処理を行なう際の重み係数
とする。そして、上記立体形状構成要素のテクスチャ情
報として、上記立体形状構成要素が上記物体画像情報に
投影される部位を求め、この投影部の画像情報（色、濃
度あるいは輝度）を重み平均処理することで上記テクス
チャ情報とする。

【００３９】請求項１５記載のテクスチャ情報付与プロ
グラムを記録した媒体は、コンピュータに立体モデルへ
のテクスチャ情報の付与をさせるためのプログラムを記
録した媒体であって、プログラムは、対象物体の形状を
複数の立体形状構成要素の集合による立体モデルとして
記述するステップと、対象物体を異なる視点から撮影す
ることにより獲得された複数の物体画像情報に基づい
て、立体モデルに対するテクスチャ情報を、立体形状構
成要素ごとに、各物体画像情報の立体形状構成要素に対
するテクスチャ情報量に応じて付与するステップとを含
む。

【００４０】請求項１６記載のテクスチャ情報付与プロ
グラムを記録した媒体は、請求項１５記載のテクスチャ
情報付与プログラムを記録した媒体において、テクスチ
ャ情報量は、立体形状構成要素ごとに、各立体形状構成
要素の面法線方向と、各物体画像情報を撮影した方向と
の一致の程度により表現される。

【００４１】請求項１７記載のテクスチャ情報付与プロ
グラムを記録した媒体は、請求項１５記載のテクスチャ
情報付与プログラムを記録した媒体において、テクスチ
ャ情報量は、立体形状構成要素ごとに、各物体画像情報
に投影される立体形状構成要素の面積により表現され
る。

【００４２】請求項１８記載のテクスチャ情報付与プロ
グラムを記録した媒体は、コンピュータに立体モデルへ
のテクスチャ情報の付与をさせるためのプログラムを記
録した媒体であって、プログラムは、対象物体の形状を
複数の立体形状構成要素の集合による立体モデルとして
記述するステップと、対象物体を異なる視点から撮影す
ることにより獲得された複数の物体画像情報に基づい
て、立体モデルに対するテクスチャ情報を立体形状構成
要素ごとに、各物体画像情報の立体形状構成要素に対す
るテクスチャ情報量と立体形状構成要素間のテクスチャ
連続性との双方に応じて付与するステップとを含む。

【００４３】請求項１９記載のテクスチャ情報付与プロ
グラムを記録した媒体は、請求項１８記載のテクスチャ
情報付与プログラムを記録した媒体の構成において、テ
クスチャ情報を付与するステップにおいては、テクスチ
ャ情報量の増加に伴い減少し、かつ立体形状構成要素間
のテクスチャ連続性の向上に伴い減少する評価関数を極
小化するように、立体形状構成要素ごとに対応付けられ
た物体画像情報から、立体モデルに対するテクスチャ情
報を付与する。

【００４４】請求項２０記載のテクスチャ情報付与プロ
グラムを記憶した媒体は、請求項１９記載のテクスチャ
情報付与プログラムを記録した媒体の構成において、記
評価関数においては、テクスチャ連続性は、注目する立
体形状構成要素とそれに隣接する立体形状構成要素とに
それぞれ対応する物体画像情報の撮影位置および撮影方
向の差の関数として表現される。

【００４５】請求項２１記載のテクスチャ情報付与プロ
グラムを記録した媒体は、請求項１９記載の情報付与プ
ログラムを記録した媒体の構成において、上記評価関数
においては、上記テクスチャ連続性は、位置変化を伴っ
て上記物体画像情報を撮影した場合に各物体画像情報に
位置変化に対応したラベル番号を与えたとき、注目する
上記立体形状構成要素に割当てられたラベル番号と、上
記注目する立体形状構成要素に隣接する立体形状構成要
素に割当てられたラベル番号の差の増加に伴い増加する
関数として表現される。

【００４６】請求項２２記載のテクスチャ情報付与プロ
グラムを記録した媒体は、請求項１９記載の情報付与プ
ログラムを記録した媒体の構成において、評価関数にお
いては、テクスチャ連続性は、規則的な位置変化を伴っ
て物体画像情報を撮影した場合に各物体画像情報に位置
変化に対応したラベル番号を与えたとき、注目する立体
形状構成要素に割当てられたラベル番号と、注目する立
体形状構成要素に隣接する立体形状構成要素に割当てら
れたラベル番号の差の増加に伴い増加する関数として表
現される。

【００４７】請求項２３記載のテクスチャ情報付与プロ
グラムを記録した媒体は、請求項１９記載のテクスチャ
情報付与プログラムを記録した媒体の構成において、評
価関数においては、テクスチャ情報量は、立体形状構成
要素ごとに、各物体画像情報に投影される立体形状構成
要素の面積の関数として表現される。

【００４８】請求項２４記載のテクスチャ情報付与プロ
グラムを記録した媒体は、請求項１９記載のテクスチャ
情報付与プログラムを記録した媒体の構成において、評
価関数においては、テクスチャ情報量は、立体形状構成
要素ごとに、各立体形状構成要素の面法線方向と、各物
体画像情報を撮影した方向との一致の程度の関数として
表現される。

【００４９】請求項２５記載のテクスチャ情報付与プロ
グラムを記憶した媒体は、請求項１７記載のテクスチャ
情報付与プログラムを記録した媒体の構成において、評
価関数は、ｉ番目（ｉ：自然数）の立体形状構成要素に
割当てられたラベル番号とｉ番目の立体形状構成要素に
隣接する立体形状構成要素に割当てられたラベル番号と
の差の全立体形状構成要素についての総和と、ｉ番目の
立体形状構成要素に割当てられたラベル番号に対応する
物体画像情報に投影される、ｉ番目の立体形状構成要素
の面積の全立体形状構成要素についての総和との線形結
合で表現される。

【００５０】請求項２６記載のテクスチャ情報付与プロ
グラムを記憶した媒体は、コンピュータに立体モデルへ
のテクスチャ情報の付与をさせるためのプログラムを記
録した媒体であって、プログラムは、対象物体の形状を
複数の立体形状構成要素の集合による立体モデルとして
記述するステップと、位置変化を伴って複数の物体画像
情報を撮影した場合に各物体画像情報に位置変化に対応
したラベル番号を与えたとき、各立体形状構成要素に対
するテクスチャ情報量の増加に伴い減少し、かつ、各立
体形状構成要素とそれに隣接する立体形状構成要素とに
それぞれ割当てられるテクスチャ情報のテクスチャ連続
性の向上に伴い減少する評価関数を極小化するように、
立体形状構成要素ごとにラベル番号を対応付けるステッ
プと、対応付けられたラベル番号に対応する物体画像情
報と、対応付けられたラベル番号を含む所定数のラベル
番号に対応する物体画像情報とに基づいて、各物体画像
情報に投影される立体形状構成要素の面積に応じた重み
平均処理を行なうことにより、立体形状構成要素にテク
スチャ情報を付与するステップとを含む。

【００５１】上記最後のステップでは、上記立体形状構
成要素について、立体形状構成要素に対応づけられたラ
ベル番号に対応する物体画像情報、および上記対応づけ
られたラベル番号を含む所定数のラベル番号に対応する
物体画像情報に投影された面積を求め、これを下記重み
平均処理を行なう際の重み係数とする。そして、上記立
体形状構成要素のテクスチャ情報として、上記立体形状
構成要素が上記物体画像情報に投影される部位を求め、
この投影部の画像情報（色、濃度あるいは輝度）を重み
平均処理することで上記テクスチャ情報とする。

【００５２】請求項２７記載のテクスチャ情報付与プロ
グラムを記憶した媒体は、コンピュータに立体モデルへ
のテクスチャ情報の付与をさせるためのプログラムを記
録した媒体であって、プログラムは、対象物体の形状を
複数の立体形状構成要素の集合による立体モデルとして
記述するステップと、規則的な位置変化を伴って複数の
物体画像情報を撮影した場合に各物体画像情報に位置変
化に対応したラベル番号を与えたとき、各立体形状構成
要素に対するテクスチャ情報量の増加に伴い減少し、か
つ、各立体形状構成要素とそれに隣接する立体形状構成
要素とにそれぞれ割当てられるテクスチャ情報のテクス
チャ連続性の向上に伴い減少する評価関数を極小化する
ように、立体形状構成要素ごとにラベル番号を対応付け
るステップと、対応付けられたラベル番号に対応する物
体画像情報と、対応付けられたラベル番号を含む所定数
のラベル番号に対応する物体画像情報とに基づいて、各
物体画像情報に投影される立体形状構成要素の面積に応
じた重み平均処理を行なうことにより、立体形状構成要
素にテクスチャ情報を付与するステップとを含む。

【００５３】上記最後のステップでは、上記立体形状構
成要素について、立体形状構成要素に対応づけられたラ
ベル番号に対応する物体画像情報、および上記対応づけ
られたラベル番号を含む所定数のラベル番号に対応する
物体画像情報に投影された面積を求め、これを下記重み
平均処理を行なう際の重み係数とする。そして、上記立
体形状構成要素のテクスチャ情報として、上記立体形状
構成要素が上記物体画像情報に投影される部位を求め、
この投影部の画像情報（色、濃度あるいは輝度）を重み
平均処理することで上記テクスチャ情報とする。

【００５４】請求項２８記載のテクスチャ情報付与プロ
グラムを記録した媒体は、コンピュータに立体モデルへ
のテクスチャ情報の付与をさせるためのプログラムを記
録した媒体であって、プログラムは、対象物体を異なる
視点から撮影することにより複数の物体画像情報を獲得
するステップと、対象物体の形状を複数の立体形状構成
要素の集合による立体モデルとして記述するステップ
と、立体形状構成要素ごとに、複数の物体画像情報のそ
れぞれに投影された立体形状構成要素に対応する面積に
応じた、すべての物体画像情報についての重み平均処理
を行なうことにより得られたテクスチャ情報を付与する
ステップとを含む。

【００５５】上記最後のステップでは、上記立体形状構
成要素の各々について、物体画像情報に投影された面積
を求め、これを下記重み平均処理を行なう際の重み係数
とする。そして、上記立体形状構成要素のテクスチャ情
報として、上記立体形状構成要素が上記物体画像情報に
投影される部位を求め、この投影部の画像情報（色、濃
度あるいは輝度）を重み平均処理することで上記テクス
チャ情報とする。

【００５６】請求項２９記載のテクスチャ情報付与装置
は、立体モデルに対するテクスチャ情報付与装置であっ
て、対象物体の形状を複数の立体形状構成要素の集合に
よる立体モデルとして記述する手段と、対象物体を異な
る視点から撮影することにより獲得された複数の物体画
像情報に基づいて、立体モデルに対するテクスチャ情報
を、立体形状構成要素ごとに、各物体画像情報の立体形
状構成要素に対するテクスチャ情報量に応じて付与する
手段とを備える。

【００５７】請求項３０記載のテクスチャ情報付与装置
は、請求項２９記載のテクスチャ情報付与装置の構成に
おいて、テクスチャ情報量は、立体形状構成要素ごと
に、各立体形状構成要素の面法線方向と、各物体画像情
報を撮影した方向との一致の程度により表現される。

【００５８】請求項３１記載のテクスチャ情報付与装置
は、請求項２９記載のテクスチャ情報付与装置の構成に
おいて、テクスチャ情報量は、立体形状構成要素ごと
に、各物体画像情報に投影され立体形状構成要素の面積
により表現される。

【００５９】請求項３２記載のテクスチャ情報付与装置
は、立体モデルに対するテクスチャ情報付与装置であっ
て、対象物体の形状を複数の立体形状構成要素の集合に
よる立体モデルとして記述する手段と、対象物体を異な
る視点から撮影することにより獲得された複数の物体画
像情報に基づいて、立体モデルに対するテクスチャ情報
を立体形状構成要素ごとに、各物体画像情報の立体形状
構成要素に対するテクスチャ情報量と立体形状構成要素
間のテクスチャ連続性との双方に応じて付与する手段と
を備える。

【００６０】請求項３３記載のテクスチャ情報付与装置
は、請求項３２記載のテクスチャ情報付与装置の構成に
おいて、テクスチャ情報を付与する手段においては、テ
クスチャ情報量の増加に伴い減少し、かつ、立体形状構
成要素間のテクスチャ連続性の向上に伴い減少する評価
関数を極小化するように、立体形状構成要素ごとに対応
付けられた物体画像情報から、立体モデルに対するテク
スチャ情報を付与する。

【００６１】請求項３４記載のテクスチャ情報付与装置
は、請求項３３記載のテクスチャ情報付与装置の構成に
おいて、評価関数においては、テクスチャ連続性は、注
目する立体形状構成要素とそれに隣接する立体形状構成
要素とにそれぞれ対応する物体画像情報の撮影位置およ
び撮影方向の差の関数として表現される。

【００６２】請求項３５記載のテクスチャ情報付与装置
は、請求項３３記載のテクスチャ情報付与装置の構成に
おいて、評価関数においては、テクスチャ連続性は、位
置変化を伴って物体画像情報を撮影した場合に各物体画
像情報に位置変化に対応したラベル番号を与えたとき、
注目する立体形状構成要素に割当てられたラベル番号
と、注目する立体形状構成要素に隣接する立体形状構成
要素に割当てられたラベル番号との差の増加に伴い増加
する関数として表現される。

【００６３】請求項３６記載のテクスチャ情報付与装置
は、請求項３３記載のテクスチャ情報付与装置の構成に
おいて、評価関数においては、テクスチャ連続性は、規
則的な位置変化を伴って物体画像情報を撮影した場合に
各物体画像情報に位置変化に対応したラベル番号を与え
たとき、注目する立体形状構成要素に割当てられたラベ
ル番号と、注目する立体形状構成要素に隣接する立体形
状構成要素に割当てられたラベル番号との差の増加に伴
い増加する関数として表現される。

【００６４】請求項３７記載のテクスチャ情報付与装置
は、請求項３３記載のテクスチャ情報付与装置の構成に
おいて、評価関数においては、テクスチャ情報量は、立
体形状構成要素ごとに、各物体画像情報に投影される立
体形状構成要素の面積の関数として表現される。

【００６５】請求項３８記載のテクスチャ情報付与装置
は、請求項３３記載のテクスチャ情報付与装置の構成に
おいて、評価関数においては、テクスチャ情報量は、立
体形状構成要素ごとに、各立体形状構成要素の面法線方
向と、各物体画像情報を撮影した方向との一致の程度の
関数として表現される。

【００６６】請求項３９記載のテクスチャ情報付与装置
は、請求項３３記載のテクスチャ情報付与装置の構成に
おいて、評価関数は、ｉ番目（ｉ：自然数）の立体形状
構成要素に割当てられたラベル番号とｉ番目の立体形状
構成要素に隣接する立体形状構成要素に割当てられたラ
ベル番号との差の全立体形状構成要素についての総和
と、ｉ番目の立体形状構成要素に割当てられたラベル番
号に対応する物体画像情報に投影される、ｉ番目の立体
形状構成要素の面積の全立体形状構成要素についての総
和との線形結合で表現される。

【００６７】請求項４０記載のテクスチャ情報付与装置
は、立体モデルに対するテクスチャ情報付与装置であっ
て、対象物体の形状を複数の立体形状構成要素の集合に
よる立体モデルとして記述する手段と、位置変化を伴っ
て複数の物体画像情報を撮影した場合に各物体画像情報
に位置変化に対応したラベル番号を与えたとき、各立体
形状構成要素に対するテクスチャ情報量の増加に伴い減
少し、かつ、各立体形状構成要素とそれに隣接する立体
形状構成要素とにそれぞれ割当てられるテクスチャ情報
のテクスチャ連続性の向上に伴い減少する評価関数を極
小化するように、立体形状構成要素ごとにラベル番号を
対応付ける手段と、対応付けられたラベル番号に対応す
る物体画像情報と、対応付けられたラベル番号を含む所
定数のラベル番号に対応する物体画像情報とに基づい
て、各物体画像情報に投影される立体形状構成要素の面
積に応じた重み平均処理を行なうことにより、立体形状
構成要素にテクスチャ情報を付与する手段とを備える。

【００６８】上記立体形状構成要素にテクスチャ情報を
付与する手段では、上記立体形状構成要素について、立
体形状構成要素に対応づけられたラベル番号に対応する
物体画像情報、および上記対応づけられたラベル番号を
含む所定数のラベル番号に対応する物体画像情報に投影
された面積を求め、これを下記重み平均処理を行なう際
の重み係数とする。そして、上記立体形状構成要素のテ
クスチャ情報として、上記立体形状構成要素が上記物体
画像情報に投影される部位を求め、この投影部の画像情
報（色、濃度あるいは輝度）を重み平均処理することで
上記テクスチャ情報とする。

【００６９】請求項４１記載のテクスチャ情報付与装置
は、立体モデルに対するテクスチャ情報付与装置であっ
て、対象物体の形状を複数の立体形状構成要素の集合に
よる立体モデルとして記述する手段と、規則的な位置変
化を伴って複数の物体画像情報を撮影した場合に各物体
画像情報に位置変化に対応したラベル番号を与えたと
き、各立体形状構成要素に対するテクスチャ情報量の増
加に伴い減少し、かつ、各立体形状構成要素とそれに隣
接する立体形状構成要素とにそれぞれ割当てられるテク
スチャ情報のテクスチャ連続性の向上に伴い減少する評
価関数を極小化するように、立体形状構成要素ごとにラ
ベル番号を対応付ける手段と、対応付けられたラベル番
号に対応する物体画像情報と、対応付けられたラベル番
号を含む所定数のラベル番号に対応する物体画像情報と
に基づいて、各物体画像情報に投影される立体形状構成
要素の面積に応じた重み平均処理を行なうことにより、
立体形状構成要素にテクスチャ情報を付与する手段とを
備える。

【００７０】上記立体形状構成要素にテクスチャ情報を
付与する手段では、上記立体形状構成要素について、立
体形状構成要素に対応づけられたラベル番号に対応する
物体画像情報、および上記対応づけられたラベル番号を
含む所定数のラベル番号に対応する物体画像情報に投影
された面積を求め、これを下記重み平均処理を行なう際
の重み係数とする。そして、上記立体形状構成要素のテ
クスチャ情報として、上記立体形状構成要素が上記物体
画像情報に投影される部位を求め、この投影部の画像情
報（色、濃度あるいは輝度）を重み平均処理することで
上記テクスチャ情報とする。

【００７１】請求項４２記載のテクスチャ情報付与装置
は、立体モデルに対するテクスチャ情報付与装置であっ
て、対象物体を異なる視点から撮影することにより複数
の物体画像情報を獲得する手段と、対象物体の形状を複
数の立体形状構成要素の集合による立体モデルとして記
述する手段と、立体形状構成要素ごとに、複数の物体画
像情報のそれぞれに投影された立体形状構成要素に対応
する面積に応じた、すべての物体画像情報についての重
み平均処理を行なうことにより得られたテクスチャ情報
を付与する手段とを備える。

【００７２】上記立体形状構成要素にテクスチャ情報を
付与する手段では、上記立体形状構成要素の各々につい
て、物体画像情報に投影された面積を求め、これを下記
重み平均処理を行なう際の重み係数とする。そして、上
記立体形状構成要素のテクスチャ情報として、上記立体
形状構成要素が上記物体画像情報に投影される部位を求
め、この投影部の画像情報（色、濃度あるいは輝度）を
重み平均処理することで上記テクスチャ情報とする。

【００７３】請求項４３記載のテクスチャ情報付与方法
は、立体モデルとして記述される対象物体を異なる視点
から撮影することにより獲得された複数の物体画像情報
に基づいて、立体モデルのテキスチャ情報を取得するテ
クスチャ情報付与方法であって、立体モデルの面方向を
検出するステップと、検出された面方向と撮影した視点
の位置とに応じて、複数の物体画像情報からテクスチャ
情報を作成するステップとを備える。

【００７４】請求項４４記載のテクスチャ情報付与方法
は、立体モデルとして記述される対象物体を異なる視点
から撮影することにより獲得された複数の物体画像情報
に基づいて、立体モデルのテキスチャ情報を取得するテ
クスチャ情報付与方法であって、立体モデルは、ポリゴ
ン（多角形平面）の集合により表現され、ポリゴンごと
の面方向を検出するステップと、検出された面方向と撮
影した視点の位置とに応じて、ポリゴンごとに、複数の
物体画像情報からテクスチャ情報を作成するステップと
を備える。

【００７５】請求項４５記載のテクスチャ情報付与プロ
グラムを記録した媒体は、コンピュータに立体モデルへ
のテクスチャ情報の付与をさせるためのプログラムを記
録した媒体であって、プログラムは、対象物体の形状を
立体モデルとして記述するステップと、立体モデルの面
方向を検出するステップと、対象物体を異なる視点から
撮影することにより獲得された複数の物体画像情報に基
づいて、検出された面方向と撮影した視点の位置とに応
じて、複数の物体画像情報から立体モデルのテクスチャ
情報を作成するステップとを含む。

【００７６】請求項４６記載のテクスチャ情報付与プロ
グラムを記録した媒体は、コンピュータに立体モデルへ
のテクスチャ情報の付与をさせるためのプログラムを記
録した媒体であって、プログラムは、対象物体の形状を
ポリゴン（多角形平面）の集合による立体モデルとして
記述するステップと、ポリゴンごとの面方向を検出する
ステップと、対象物体を異なる視点から撮影することに
より獲得された複数の物体画像情報に基づいて、検出さ
れた面方向と撮影した視点の位置とに応じてポリゴンご
とに、複数の物体画像情報から立体モデルのテクスチャ
情報を作成するステップとを含む。

【００７７】請求項４７記載のテクスチャ情報付与装置
は、立体モデルとして記述される対象物体を異なる視点
から撮影することにより獲得された複数の物体画像情報
に基づいて、立体モデルのテキスチャ情報を取得するテ
クスチャ情報付与装置であって、立体モデルの面方向を
検出する手段と、検出された面方向と撮影した視点の位
置とに応じて、複数の物体画像情報からテクスチャ情報
を作成する手段とを備える。

【００７８】請求項４８記載のテクスチャ情報付与装置
は、立体モデルとして記述される対象物体を異なる視点
から撮影することにより獲得された複数の物体画像情報
に基づいて、立体モデルのテキスチャ情報を取得するテ
クスチャ情報付与装置であって、立体モデルをポリゴン
（多角形平面）の集合により表現する手段と、ポリゴン
ごとの面方向を検出する手段と、検出された面方向と撮
影した視点の位置とに応じて、ポリゴンごとに、複数の
物体画像情報からテクスチャ情報を作成する手段とを備
える。

【００７９】

【発明の実施の形態】

［実施の形態１］図１は、この発明の実施の形態１の実
在の物体から３次元モデルを再構成するための３次元立
体モデル生成装置１０００の構成を示す概略ブロック図
である。

【００８０】図１を参照して、回転台１１０の上に、対
象物体１００が載せられる。回転台１１０は、たとえ
ば、コンピュータ１３０からの制御信号に応じて、その
回転角度が制御される。カメラ１２０は、回転する対象
物体１００を各指定角度ごとに撮影し、得られた画像デ
ータをコンピュータ１３０に与える。

【００８１】一方で、コンピュータ１３０には、回転台
１１０の回転ピッチ等の撮影条件のデータが入力装置１
４０から与えられる。

【００８２】コンピュータ１３０は、カメラ１２０から
与えられた画像情報に基づいて、各撮影角度に対応する
画像情報からシルエット画像を抽出し、３次元立体形状
モデルを生成する。

【００８３】ここで３次元立体形状モデルとしては、た
とえばポリゴン（三角パッチの集合）による表面モデル
で表現することが可能である。

【００８４】また、上述した画像情報とは、たとえば、
カメラ１２０から出力される各画素に対応した輝度、色
彩、あるいは濃淡を表す数値情報を意味する。

【００８５】ただし、立体モデルの表現方法としては、
このような表現方法に限定されることなく、たとえば、
異なる形状の表面形状要素の集合として表現することも
可能である。したがって、以下では表面モデルを表現す
るための要素となる形状を立体形状構成要素と総称する
ことにする。

【００８６】続いて、コンピュータ１３０は、各角度に
おいて撮影された画像情報に基づいて、再構成された３
次元立体モデルに対してテクスチャ情報を付与する。

【００８７】ここで、ＣＧ（コンピュータグラフィック
ス）の分野における色彩情報（テクスチャ情報）とは、
物体表面に貼り付けられて、この表面の細かな凸凹や絵
柄、模様、材質感を表わすための画像情報のことであ
る。

【００８８】このようにして再構成された３次元モデル
は、表示装置１５０に表示される。３次元画像情報に対
する色彩情報（より一般的には、テクスチャ情報）の付
与方法について詳しく説明する前に、まず実在の物体か
ら３次元形状の立体モデルを生成するまでのフローにつ
いて簡単に説明する。

【００８９】図３は、物体画像を作成してから、３次元
モデルにテクスチャ情報を付与するまでの処理のフロー
を示すフローチャートである。

【００９０】一方、図４は、各フローの過程におけるデ
ータ処理の概要を示す概念図である。

【００９１】図３および図４を参照して、まず、コンピ
ュータ１３０は、入力装置１４０から与えられた撮影条
件データに基づいて、回転台１１０の回転角を制御す
る。各回転角ごとにカメラ１２０が撮像した画像データ
の取込みが行なわれる（ステップＳ１０）。

【００９２】たとえば、角度が１０°ごとにカメラ１２
０からの画像データの取込が行なわれるとすると、１回
転で３６枚の画像データが取込まれる。

【００９３】続いて、コンピュータ１３０は、撮影され
た画像データの各々について、物体像の輪郭の抽出を行
ない、各方向から見た物体のシルエット像を生成する
（ステップＳ１２）。

【００９４】ここで得られたシルエット画像は、各方向
から見た場合の物体の輪郭を示す。これら各方向から見
た物体の輪郭像に基づいて、仮想的なボクセル（Voxel
）に分割された３次元空間に対して、後に説明するよ
うなボーティング処理を行なうことで、このボクセル空
間内で物体の３次元形状モデルが生成される（ステップ
Ｓ１４）。

【００９５】続いて、このボクセル空間で表現された物
体領域を、ポリゴン（三角パッチ）を用いた表面モデル
で表現するように変換が行なわれる（ステップＳ１
６）。

【００９６】ここでは、たとえば表現に必要なポリゴン
数を少なく抑え、かつ、表現形状の精度を維持すること
が要求される。このためには、たとえば以下のような方
法でポリゴンの生成を行なうことが可能である。

【００９７】すなわち、まず、円筒座標系で表されたボ
クセル空間において、円筒座標系のθ表面での切断面輪
郭線を多角形近似し、ポリゴンの頂点を決定する。続い
て、各頂点をそれぞれ最近接の３頂点と接続することで
三角パッチを生成する。

【００９８】続いて、生成されたポリゴンの各三角パッ
チに対して、ステップＳ１０において撮影された画像情
報からテクスチャ情報を付与する（ステップＳ１８）。

【００９９】以上のようなフローにより現実の物体をカ
メラ１２０で撮影した画像情報をもとに、コンピュータ
１３０内で３次元立体モデルが再構成されることにな
る。

【０１００】なお、以上の説明では、回転台１１０上に
対象物体１００を載せ、カメラ１２０は固定した状態で
回転台１１０を回転させ画像を撮影する構成とした。し
かしながら、画像情報を獲得する方法はこのような構成
に限定されない。

【０１０１】たとえば、対象物体１００は静止したまま
で、カメラ１２０を人間が持って移動し、複数の視点か
ら対象物体１００を撮影することで、画像データを得る
構成とすることも可能である。この場合でも、各画像の
撮影を行なった際のカメラ１２０の位置および撮影を行
なう方向がわかれば、これらの情報をもとに以下に述べ
るのと同様の方法により３次元立体形状モデルの再構成
およびテクスチャ情報の付与を行なうことが可能であ
る。

【０１０２】以下では、さらに、図３に示した各処理ス
テップについて詳しく説明する。 ［画像撮影およびシルエット生成］上述のとおり、図１
に示したような構成で、画像撮影を行なう場合は、対象
物体１００を回転テーブル１１０に載せ、テーブルを回
転しつつ対象物体画像を複数枚撮像する。これに加え
て、次のステップ（ステップＳ１２）のシルエット抽出
のため、背景画像の撮影も行なう。

【０１０３】続いて、対象物体画像と背景画像間の差分
処理により、対象物体のみを切出したシルエット画像を
生成する。

【０１０４】このとき、背景画像を単一色とするような
特殊な撮影環境を不要とし、かつ、安定したシルエット
画像生成を可能とするために、単純な画像間差分ではな
く、以下に説明するような領域分割処理を加えた画像差
分を行なうことも可能である。

【０１０５】すなわち、物体画像を領域分割し、続いて
領域単位で背景画像との差分処理を行なう。ここで、差
分処理とは、撮像された物体画像情報を、画素ごとにそ
の信号強度について差分を算出する処理を意味する。

【０１０６】さらに、領域単位での差分平均をしきい値
処理し物体部分の抽出を行なう。以上説明したような方
法では、画素レベルで背景と同色のものが存在しても、
領域レベルにおいて背景と異なる色があれば、一般に
は、物体部分として検出できるという性質を持ってい
る。

【０１０７】したがって、生成シルエット画像精度の向
上を図ることが可能となる。 ［ボーティング処理］以上のようにして、対象物体１０
０を、複数の視点から撮影したシルエット画像情報を得
ることができる。これら複数のシルエット画像情報か
ら、物体の３次元形状を再構成するために、以下に説明
するようなボーティング処理が行なわれる。

【０１０８】以下では、まず３次元形状を記述するため
のボクセルモデルおよびボクセル空間についてまず説明
をする。

【０１０９】ボクセルモデルとは３次元形状を立体的な
格子点の有無で記述するモデルであり、ボクセルが定義
される空間をボクセル空間と呼ぶ。ボクセル空間は認識
物体を包含するような、大きさ・位置で配置される。以
下では、対象物体１００を回転させながら画像撮影を行
なったことに対応して、より自然に対象物体形状を表現
することが可能な円筒座標系でこのボクセル空間を表現
することにする。

【０１１０】したがって、各々のボクセルは、円筒座標
の半径方向の座標をｒ、角度方向の座標をθ、軸方向の
座標をｚとするとき、各ｒ，θ，ｚを等間隔で分割した
場合の体積要素を意味することになる。この体積要素の
集合で３次元形状を表現するものがボクセルモデルであ
る。

【０１１１】次に、シルエット画像からこのボクセルモ
デルを再構成するための手順について簡単に説明する。

【０１１２】まず、１つのシルエット画像に基づいて、
ボクセル空間内に、対象物体に対する仮定存在領域の算
出を行なう。ここで、仮定存在領域とは、図５に示すよ
うにカメラ１２０の投影中心を頂点とし、画像の物体像
を断面形状とする錐体状の領域を意味する。すなわち、
対象物体は、この領域の内側に必ず存在していることに
なる。

【０１１３】ボーティング処理とは、この仮定存在領域
内に存在する各々のボクセルに対して、たとえば１つの
シルエット画像に対する仮定存在領域に該当する場合
に、数値１を割振る（投票する）という処理を意味す
る。

【０１１４】図６は、図５に示したｚ軸に垂直な平面Ｐ
上のシルエット画像および円筒ボクセル空間の断面を示
す図である。

【０１１５】上述のとおり、カメラ１２０の投影中心と
する錐体状の領域が仮定存在領域に該当するため、この
領域に存在する円筒ボクセル空間内の各ボクセルに対し
て数値１が割振られる。

【０１１６】図７は、複数のシルエット画像に基づいて
ボーティング処理を行なった場合について、平面Ｐ断面
の円筒ボクセル空間を示す断面図である。

【０１１７】図７においては、５つの視点から撮影され
たシルエット画像に基づいて円筒ボクセル空間に対して
ボーティング処理を行なった場合を示している。この場
合、各々のシルエット画像に基づいたボーティング処理
は、それぞれのシルエット画像に対する仮定存在領域に
対して数値１を割振ることになるため、５つのシルエッ
ト画像に基づいて、ボーティング処理を行なった場合、
図７中のクロスハッチで示した領域は、すべてのシルエ
ット画像に基づく仮定存在領域が重なっていることにな
る。言換えると、このクロスハッチされた領域内のボク
セルには、それぞれ５つのシルエット画像に基づくボー
ティング処理の結果、数値５が割振られていることにな
る。

【０１１８】したがって、たとえば円筒ボクセル空間内
のボクセルのうち、５以上が割当てられているボクセル
のみを抽出すれば、対象物体が、この円筒ボクセル空間
内で存在する領域を算出することが可能となる。

【０１１９】より一般的には、撮像された物体画像数に
応じて、適当なしきい値を設定することで、ボーティン
グ処理に基づいて円筒ボクセル空間内における対象物体
の存在領域を算出することが可能となる。以上の処理に
より、円筒ボクセル空間内において対象物体の存在する
領域を抽出することが可能となる。

【０１２０】ボクセル空間を用いた３次元形状再構成手
法としては、他に特公平７−１０９６２６号公報に開示
された錐体相関法があるが、この方法は、生成するシル
エット画像の誤差がそのまま再構成される物体形状に影
響を与えてしまうという問題があった。これに対して、
ボーティング処理による３次元形状再構成は、基礎とな
るシルエット画像に誤りが含まれている場合でも、適当
なしきい値を設定することで、獲得される３次元形状の
精度低下を小さく抑えることが可能であるという特徴を
有する。

【０１２１】［ポリゴン生成］続いて、ボクセル空間で
表現された物体領域は、ポリゴン（三角パッチ）を用い
た表面モデルで表現するように変換される。

【０１２２】図８は、このようなポリゴン生成の過程を
示す概念図である。図８を参照して、円筒ボクセル空間
で表現された物体領域の円筒座標系θ１平面（円筒座標
系でθ＝θ１である平面）での切断面輪郭線を多角形近
似する。この多角形近似により得られた輪郭線Ｌθ１の
各頂点が、後に説明するようにポリゴンの頂点に相当す
る。

【０１２３】同様にして、円筒座標系のθ２平面での切
断輪郭線を多角形近似し、Ｌθ２を得る。

【０１２４】以上の操作を、すべてのボクセルに対応す
るθ平面に対して行なう。続いて、これら各輪郭線の各
頂点を、それぞれ最近接の３頂点と接続することで三角
パッチが生成される。

【０１２５】このような輪郭線の多角形近似と最近接３
頂点の接続という手続で三角パッチを生成することによ
り、表現に必要なポリゴン数を少なく抑え、かつ、表現
形状の精度を維持することが可能となる。

【０１２６】図９は、対象物体１００をポリゴンを用い
た３次元表現モデル３００で表現したものである。

【０１２７】以上の操作により、対象物体の形状につい
て、計算機内等で再構成を行なうことが可能となる。

【０１２８】以上、円筒ボクセル空間を仮定して説明し
たが、直交ボクセル空間を用いても良い。また、ポリゴ
ン生成処理においては、隣接ボクセルを接続することに
より、細かいポリゴンを一旦生成した後に、これらを統
合してポリゴン数を減らしても良い。

【０１２９】［テクスチャ情報付与］続いて、以上のよ
うにして、計算機内等において再構成された物体形状に
対しテクスチャ情報を付与して、よりリアルな３次元モ
デルとするために、撮影した物体画像に含まれるテクス
チャ情報を、上記３次元モデルに対して付与する処理を
行なう。

【０１３０】具体的には、各ポリゴンのテクスチャ情報
を与える物体画像（以後、参照画像と呼ぶ）を決定した
後、ポリゴンを参照画像に投影し、その投影部分のテク
スチャ情報を、対応するポリゴンに付与する。

【０１３１】図１０は、このようなテクスチャ情報の付
与処理を説明するための概念図である。

【０１３２】以下では、説明を簡単とするために、参照
画像としては、ラベル番号が１〜８までの８枚の物体画
像情報があるものとする。

【０１３３】すなわち、対象物体を４５°おきの角度か
ら撮影した物体画像が存在している。なお、以下の説明
では、対象物体を１つの回転軸のまわりに一定の角度ご
とに撮影した参照画像に基づいて、テクスチャ情報を３
次元立体モデルに付与する場合について説明するが、本
発明はこのような場合に限定されることなく、任意の位
置および方向から対象物体を撮影した複数の参照画像に
基づいて、３次元立体モデルに対してテクスチャ情報を
付与する場合にも適用することが可能である。

【０１３４】さて、注目するポリゴンに対して、どの参
照画像を対応付けるかを決定する場合に、考慮すべき点
としては、まず当該ポリゴンに対するテクスチャ情報量
の大きい参照画像を選択するという方針が挙げられる。

【０１３５】したがって、上記方針の下に、各ポリゴン
に対して対応する参照画像すなわちラベル番号の割当を
行なうことで、ポリゴンで表現された３次元立体モデル
に対してテクスチャ情報を付与することが可能となる。

【０１３６】図１１は、テクスチャ情報を付与するまで
の処理の流れを示すフローチャートである。

【０１３７】一方、図２は、コンピュータ１３０中にお
いて、テクスチャ情報付与を行なうための色彩情報付与
処理部２００の構成を示す概略ブロック図である。

【０１３８】色彩情報付与処理部２００は、カメラ１２
０により撮影された物体画像情報（参照画像情報）を記
憶保持する画像記憶部２２０と、画像記憶部２２０に記
憶された参照画像情報に基づいて、対象物体の３次元立
体モデルを生成する演算部２１０と、演算部２１０によ
り生成された３次元立体モデルの形状、言換えると各ポ
リゴンの位置および形状を記憶している形状記憶部２３
０と、後に説明するように、画像記憶部２２０に保持さ
れた参照画像情報に基づいて、演算部２１０が、各ポリ
ゴンに対して割当てたテクスチャ情報を記憶保持する色
彩情報記憶部２４０を備える。

【０１３９】図１１および図２を参照して、前述したと
おり、たとえば、対象物体を一定角度ごとに回転させな
がら撮影された画像情報を、画像記憶部２２０が記憶す
る（ステップＳ２０）。

【０１４０】続いて、撮影された画像情報に基づいて、
演算部２１０が、立体モデルを生成し、その形状データ
を形状記憶部２３０に保持させる（ステップＳ２２）。

【０１４１】続いて、以下に説明する手順で、立体形状
構成要素（たとえばポリゴン）と画像記憶部２２０中に
保持された参照画像情報との対応付けを演算部２１０が
行なう（ステップＳ２４）。

【０１４２】演算部２１０は、対応付けられた各ポリゴ
ンごとのテクスチャ情報を色彩情報記憶部２４０に保持
させる（ステップＳ２６）。

【０１４３】次に、上記ステップＳ２４における立体形
状構成要素と参照画像情報との対応付けの処理について
さらに詳しく説明する。

【０１４４】図１２は、ステップＳ２４における立体形
状構成要素と参照画像情報との対応付けを行なうための
フローをより詳しく示すフローチャートである。

【０１４５】以下の処理では、各立体形状構成要素（ポ
リゴン）の法線ベクトルと参照画像を撮影した方向と平
行な画像撮影面の法線ベクトルとの方向の一致性によ
り、テクスチャ情報量の大きさを判断する。すなわち、
対応するポリゴンに対して最も正対する参照画像が、当
該ポリゴンに対するテクスチャ情報が最も大きいと判断
を行なう。

【０１４６】画面撮影（ステップＳ２０）および立体モ
デル生成（ステップＳ２２）の各処理が終了した後、演
算部２１０は、まず以下の演算処理で用いる変数の初期
化を行なう。

【０１４７】すなわち、立体形状構成要素数を変数Ｅｍ
ａｘに代入し、撮影した画像数を変数Ｉｍａｘに代入す
る。また、以下の処理において、撮影画像に対応するラ
ベル番号をカウントするための補助変数Ｉｃｎｔを値０
に初期化する。

【０１４８】さらに、ｉ番目（ｉ＝０〜Ｅｍａｘ−１）
の立体形状構成要素にそれぞれ対応する１次元配列変数
Ｐｒｏｄ［ｉ］の値をすべて値０に初期化し、一方、ｉ
番目の立体形状構成要素に対応する参照画像のラベル番
号が代入される１次元配列変数Ｉｄ［ｉ］が、すべて値
−１に初期化される（ステップＳ２４０２）。

【０１４９】続いて、ポリゴンの番号をカウントするた
めの補助変数Ｅｃｎｔを値０に初期化する（ステップＳ
２４０３）．

【０１５０】続いて、Ｉｃｎｔ番目の画像撮影面の法線
ベクトルとＥｃｎｔ番目の立体形状構成要素の法線ベク
トルとの内積の値が計算され、変数Ｖｔｍｐに代入され
る（ステップＳ２４０４）。

【０１５１】続いて、演算部２１０は、Ｅｃｎｔ番目の
変数Ｐｒｏｄ［Ｅｃｎｔ］の値と上記変数Ｖｔｍｐの値
とを比較する。

【０１５２】変数Ｐｒｏｄ［Ｅｃｎｔ］の値が変数Ｖｔ
ｍｐの値以下であると判断すると（ステップＳ２４０
６）、変数Ｐｒｏｄ［Ｅｃｎｔ］に変数Ｖｔｍｐの値が
代入され、同時に変数Ｉｄ［Ｅｃｎｔ］にその時点での
カウント変数Ｉｃｎｔの値が代入される（ステップＳ２
４０８）。

【０１５３】一方、変数Ｐｒｏｄ［Ｅｃｎｔ］の値が、
変数Ｖｔｍｐの値よりも大きいと判断すると（ステップ
Ｓ２４０６）、変数Ｅｃｎｔの値が１だけインクリメン
トされる（ステップＳ２４１０）。

【０１５４】続いて、カウント変数Ｅｃｎｔの値が、立
体形状構成要素数Ｅｍａｘよりも小さいと判断されると
（ステップＳ２４１２）、再びステップＳ２４０４に処
理が戻り、同一の処理が、次の立体形状構成要素に対し
て繰返される。

【０１５５】一方、変数Ｅｃｎｔの値が立体形状構成要
素数Ｅｍａｘ以上と判断されると（ステップＳ２４１
２）、カウント変数Ｉｃｎｔの値が１インクリメントさ
れる（ステップＳ２４１４）。

【０１５６】続いて、カウント変数Ｉｃｎｔの値が撮影
画像数Ｉｍａｘ以上であるか否かの判断が行なわれる
（ステップＳ２４１６）。

【０１５７】変数Ｉｃｎｔの値が撮影画像数Ｉｍａｘよ
りも小さいと判断された場合（ステップＳ２４１６）、
次の参照画像について、ステップＳ２４０３からステッ
プＳ２４１２までの処理が繰返されることになる。

【０１５８】一方、変数Ｉｃｎｔの値が撮影画像数Ｉｍ
ａｘ以上であると判断されると（ステップＳ２４１
６）、次に処理が移行する。

【０１５９】すなわち、ステップＳ２４０２からステッ
プＳ２４１６までの処理により、各参照画像について、
当該参照画像の面法線ベクトルとすべての立体形状構成
要素の面法線ベクトルとの内積の値が比較される。この
処理により、それまでに処理の対象となった参照画像に
ついての内積値よりも大きな内積値を有する参照画像に
ついては、その内積値が立体形状構成要素の各々につい
て、１次元配列変数Ｐｒｏｄ［Ｅｃｎｔ］に格納され
る。一方、その時点における参照画像のラベル番号が１
次元配列変数Ｉｄ［Ｅｃｎｔ］に格納される。

【０１６０】したがって、ステップＳ２４１６の処理か
ら次の処理に移行する時点では、１次元配列変数Ｉｄ
［ｉ］には、対応するｉ番目の立体形状構成要素に対し
て、最大の内積値を有する参照画像情報のラベル番号が
格納されていることになる。

【０１６１】続いて、色彩情報記憶部２４０に対して、
演算部２１０は、各立体形状構成要素について、対応す
る参照画像情報を画像記憶部２２０から読出して、色彩
情報記憶部２４０に格納する（ステップＳ２４１８）。

【０１６２】以上のようにして、３次元立体モデルを構
成する各立体形状構成要素（ポリゴン）に最もテクスチ
ャ情報量の多い参照画像情報から得た色彩情報（テクス
チャ情報）を付与する構成となっているので、最も現実
の物体に近いテクスチャ情報を各立体形状構成要素に付
与することが可能となる。

【０１６３】図１３は、図１２に示したテクスチャ付与
方法をコンピュータ１３０に実行させるためのプログラ
ムを記録した記録媒体の構成を示す概念図である。

【０１６４】記録媒体としては、たとえば磁気ディスク
やＣＤ−ＲＯＭなどの光磁気ディスクなどを用いること
が可能である。記録媒体２６０中には、図１２に示した
処理をコンピュータ１３０に実行させるために、所定の
プログラム言語により、各処理ステップが記述されたも
のが、符号化されて記録されている。

【０１６５】以上のようにして、記録媒体２６０中に記
録されたテクスチャ情報付与プログラムに基づいて、コ
ンピュータ１３０を動作させることで、上述したのと同
様な効果、すなわちコンピュータ１３０内で再構成され
た３次元立体モデルに対して、より現実の物体が有する
テクスチャに近いテクスチャ情報を付与することが可能
となる。

【０１６６】［実施の形態２］実施の形態１では各立体
形状構成要素に対して、内積値に基づいて最もテクスチ
ャ情報量の大きいと判断される参照画像を選択して、各
立体形状構成要素にテクスチャ情報を付与した。

【０１６７】しかしながら、図２１において説明したと
おり、対象物体の形状によっては、ある方向から撮影し
た物体画像情報には見通せない部分が存在する場合があ
る。この場合は、この見通せない部分に相当する立体形
状構成要素の面法線ベクトルと最も大きな内積値を有す
る参照画像には、テクスチャ情報が全くないという場合
が存在し得る。

【０１６８】実施の形態２では、このような場合にも適
用することが可能なテクスチャ情報の付与方法およびテ
クスチャ情報付与装置ならびにテクスチャ情報付与プロ
グラムを記録した媒体を提供する。

【０１６９】実施の形態２においても、色彩情報付与処
理部の構成は、図２に示した色彩情報付与処理部２００
の構成と同等である。以下に説明するとおり、演算部２
１０の行なう演算処理が、実施の形態１とは異なる。

【０１７０】すなわち、実施の形態１では、各ポリゴン
について、その法線ベクトルと各参照画面の法線ベクト
ルとの内積値を比較することで、テクスチャ情報量の大
きさを判断した。

【０１７１】これに対し、実施の形態２では、各ポリゴ
ンについて、参照画像に対する投影面積を算出し、この
算出された投影面積に基づいて、各参照画面情報が有す
るテクスチャ情報量の大きさを評価する。

【０１７２】図１４は、このような参照画像へのポリゴ
ンの投影面積に基づいて、各ポリゴンごとに対応する参
照画像情報のラベル番号を決定する処理のフローを示す
フローチャートである。

【０１７３】図１４に示すフローチャートでは、評価の
対象となる値が、参照画像面の法線ベクトルと立体形状
構成要素の法線ベクトルとの内積値Ｖｔｍｐの代わり
に、参照画像に投影された立体形状構成要素の投影面積
Ａｔｍｐとなっている点を除いては、図１２に示したフ
ローチャートと全く同様である。

【０１７４】したがって、ステップＳ２４２２からステ
ップＳ２４３６までの処理が終了した時点で、１次元配
列変数Ｉｄ［ｉ］には、対応するｉ番目の立体形状構成
要素が最も大きな投影面積を有する参照画像情報のラベ
ル番号が、１次元配列変数Ａｒｅａ［ｉ］には、対応す
るｉ番目の立体形状構成要素について、Ｉｄ［ｉ］のラ
ベル番号を有する参照画像情報に対する投影面積が、そ
れぞれ格納されていることになる。

【０１７５】それに応じて、演算部２１０は、色彩情報
記憶部２４０へ、各立体形状構成要素ごとに、対応する
参照画像のテクスチャ情報を画像記憶部２２０から読出
して格納することになる。

【０１７６】以上の処理により、比較的複雑な形状を有
する対象物体に対しても、計算機内等において再構成さ
れた立体形状モデルに対して最もテクスチャ情報量の大
きい参照画像情報から各ポリゴンへのテクスチャ情報を
付与することが可能となる。

【０１７７】また、図１４に示したようなステップＳ２
４２２からステップＳ２４３８までのプログラムを記録
した媒体によりコンピュータ１３０を動作させること
で、同様の効果が奏される。

【０１７８】［実施の形態３］以上の説明では、対象物
体を３次元立体モデルとして再構成した場合に、各ポリ
ゴンに対する参照画像の対応付けは、当該ポリゴンに対
するテクスチャ情報量の大きさに基づいて判断された。

【０１７９】しかしながら、各ポリゴンに対して適切な
参照画像を決定する場合において考慮すべき点は、テク
スチャ情報量の大きさのみに限られない。たとえば、さ
らにポリゴン間で付与されたテクスチャ情報に著しい不
連続が存在すると、ポリゴン境界線が目立ってしまい、
再構成された立体モデルは極めて不自然なものとなる。

【０１８０】したがって、実施の形態３における各立体
形状構成要素への参照画像の割当方法、すなわちテクス
チャ情報付与方法としては、第１にテクスチャ情報量の
大きい参照画像を選択すること、および第２にポリゴン
境界線を隠蔽することを同時に可能とすることを目的と
する。

【０１８１】ここで、実施の形態２において説明したよ
うに、テクスチャ情報量の大きい参照画像を選択するた
めには、対応する参照画像へのポリゴンの投影面積は大
きい方が望ましい。

【０１８２】一方、ポリゴン境界線を隠蔽するために
は、隣接するポリゴン間に付与される色彩情報（テクス
チャ情報）の連続性が高いことが望ましい。

【０１８３】実施の形態３では、ポリゴン境界線を隠蔽
するために、注目するポリゴンに対して、それに隣接す
るポリゴンへの参照画像の割当は、同一であるか、異な
る場合でもなるべく撮影角度差の小さい参照画像を選択
する構成としている。

【０１８４】より具体的には、上述した２つの条件を最
適に満たすポリゴンへの参照画像情報の割付けを可能と
するために、以下に説明するように、問題をいわゆるエ
ネルギ最小化問題として取り扱う。

【０１８５】すなわち、各参照画像は、一定角度ずつ撮
影角度を変化させて撮影されているため、順番に参照画
像に番号付けをしておき、各ポリゴンと参照画像番号と
の対応付け（ラベリング）問題を以下の式で表わされる
エネルギを局所的に最小化するように反復改善処理で解
くというものである。

【０１８６】なお、各参照画像が一定角度ずつ撮影角度
を変化させて撮影されていない場合、すなわち、撮影角
度の変化量がそれぞれ異なっている場合、上記番号付け
は、撮影角度に対応させれば良い。

【０１８７】

【数１】

【０１８８】ここで、Ａｒｅａ（ｉ）はポリゴンｉの参
照画像への投影面積を表わし、Ｐｅｎａｌｔｙ（ｉ）は
ポリゴンｉとその隣接ポリゴンとの参照画像番号（ラベ
ル）の差を表わし、ｋはこれらの結合係数である。

【０１８９】すなわち、エネルギ関数Ｅは、ポリゴンｉ
に隣接するポリゴンに割当てられた参照画像番号が、ポ
リゴンｉに割当てられた参照画像番号と異なるほど増加
し、ポリゴンｉの参照画像への投影面積、すなわちテク
スチャ情報量が増加するほど減少する関数である。

【０１９０】上述したとおり、ポリゴンｉと隣接するポ
リゴンに割当てられる参照画像番号の差が小さいほどテ
クスチャ連続性が高く、ポリゴン境界線が隠蔽されるの
で、関数Ｅを極小化することは、テクスチャ情報量の大
きさ（色彩情報量の大きさ）とテクスチャ連続性の双方
を考慮した場合に、各ポリゴンへの最適な参照画像番号
の割当に対応することになる。

【０１９１】なお、上記のエネルギ関数においては、テ
クスチャ情報量の大きさとして、ポリゴンｉの参照画像
への投影面積を用いたが、実施の形態１に示したよう
に、ポリゴンの面法線ベクトルと参照画像の面法線ベク
トルとの内積値で評価する構成とすることも可能であ
る。

【０１９２】ここでエネルギ関数Ｅにおいて、結合定数
ｋは定数でも良いし、各ポリゴンの関数（たとえば各ポ
リゴンの面積の関数）でもよい。

【０１９３】さらに、エネルギ関数Ｅとしては、上述の
ような関数Ｐｅｎａｌｔｙ（ｉ）と関数Ａｒｅａ（ｉ）
との線形結合以外にも、より一般的に、注目するポリゴ
ンｉとそれに隣接するポリゴンへ割当てられたテクスチ
ャ情報の連続性の向上に伴い減少し、かつ、注目するポ
リゴンｉへのテクスチャ情報量の増加に伴い減少する関
数であれば、上記の構成には限定されない。

【０１９４】図１５は、上記のようなエネルギ関数Ｅに
ついて、反復改善処理で最適値を求めるための処理を示
すフローチャートである。

【０１９５】まず、生成された立体形状モデルの各ポリ
ゴンに対して、初期設定として参照画像番号の仮の対応
付けを行なう（ステップＳ２４４０）。

【０１９６】次に、演算部２１０は、変数Ｎに立体形状
構成要素数を代入し、カウント変数Ｃｎｔを数値０に初
期化する。また、フラグ変数Ｆｌｇに“ＯＦＦ”を代入
する（ステップＳ２４４２）。

【０１９７】続いて、変数Ｐｒｅ＿ｌｂｌにＣｎｔ番目
の立体形状構成要素に対応する参照画像番号を代入して
おく（ステップＳ２４４４）。

【０１９８】続いて、Ｃｎｔ番目の立体形状構成要素に
ついて、対応する参照画像番号を変化させ、エネルギ関
数Ｅを極小化する参照画像番号を導出する（ステップＳ
２４４６）。

【０１９９】ここで、ステップＳ２４４６において得ら
れた新しい対応参照画像番号を変数Ｎｅｗ＿ｌｂｌに代
入する（ステップＳ２４４８）。

【０２００】続いて、変数Ｎｅｗ＿ｌｂｌと変数Ｐｒｅ
＿ｌｂｌとの値が比較される。両者が等しくない場合は
（ステップＳ２４５０）、エネルギ関数Ｅの最小化計算
により、ラベルの付け換えが行なわれたと判断され、フ
ラグ変数Ｆｌｇに“ＯＮ”が代入される。続いて、カウ
ント変数Ｃｎｔの値が１だけインクリメントされる（ス
テップＳ２４５４）。

【０２０１】一方、変数Ｎｅｗ＿ｌｂｌと変数Ｐｒｅ＿
ｌｂｌの値が等しい場合は、フラグ変数は変化されず
に、カウント変数Ｃｎｔの値のみが１だけインクリメン
トされる（ステップＳ２４５４）。

【０２０２】続いて、カウント変数Ｃｎｔの値が、立体
形状構成要素数Ｎよりも小さい場合は、再び処理がステ
ップＳ２４４４に復帰する。一方、カウント変数Ｃｎｔ
の値が立体形状構成要素数Ｎ以上である場合は次に処理
が移行する（ステップＳ２４５６）。

【０２０３】したがって、ステップＳ２４４４からステ
ップＳ２４５４までの処理が、すべての立体形状構成要
素について繰返されることになる。

【０２０４】続いて、フラグ変数Ｆｌｇと“ＯＦＦ”と
の比較が行なわれる。フラグ変数Ｆｌｇが“ＯＦＦ”と
等しくない場合は（ステップＳ２４５８）、少なくとも
１回以上エネルギ関数Ｅの極小化計算によりラベルの付
け換えが行なわれた、すなわちまだエネルギ関数Ｅを局
所的に極小化するラベル番号の対応付けが完了していな
いと判断され、処理は再びステップＳ２４４２に復帰す
る。

【０２０５】一方、フラグ変数Ｆｌｇが“ＯＦＦ”と等
しい場合は、ステップＳ２４４４からステップＳ２４５
６までの処理において、エネルギ関数Ｅを極小化する演
算を行なっても、ラベルの付け換えが行なわれていない
ことを意味する。これは、すなわち現状のラベル番号の
対応付けがエネルギ関数Ｅを局所的に極小化する対応付
けとなっていることを意味するため、最適な対応付けが
完了したものとして処理が終了する（ステップＳ２４６
０）。

【０２０６】以上の処理により、複数のポリゴンに対し
て、参照画像番号の対応付けを行なうにあたり、各ポリ
ゴンに対しテクスチャ情報量の大きい参照画像情報を選
択するという条件と、ポリゴン境界線を隠蔽するという
条件の２つの条件を同時に最適化するテクスチャ情報の
割当が行なわれることになる。

【０２０７】したがって、割当が完了した後の３次元立
体形状モデルは、現実の物体により近い色彩を有し、か
つより自然なテクスチャ連続性を有していることにな
る。

【０２０８】上述のステップＳ２４４０からステップＳ
２４６０までのプログラムを記録した媒体によりコンピ
ュータ１３０を動作させることでも、同様の効果を得る
ことができる。

【０２０９】なお、繰り返し改善処理の順序は、改善処
理の最終結果に影響を与えるため、適切な処理順序を考
慮した方が望ましい。これは、繰り返し改善処理におい
ては、各ポリゴンのラベル番号を改善する際、その隣接
ポリゴンのラベル番号を正しい、あるいは信頼性が高い
と仮定しているためである。したがって、より信頼性の
低いポリゴンから順に改善処理を行なえば、より良好な
改善結果が得られる。

【０２１０】ポリゴンの信頼性を評価する方法の一つと
して、ポリゴンの面積や、ポリゴンが参照画面に投影さ
れた際の面積などがある。

【０２１１】これは、上述したステップＳ２２４０中で
行なわれる参照画像番号の仮の対応づけ処理の信頼性
が、小さい面積のポリゴンほど、あるいはポリゴンが参
照画面に投影された際の面積が小さいポリゴンほど低い
ためである。

【０２１２】［実施の形態４］実施の形態３のテクスチ
ャ情報付与方法では、テクスチャ情報量（色彩情報量）
と、ポリゴン境界線の隠蔽、すなわちテクスチャ連続性
の双方を考慮して、各ポリゴンにテクスチャ情報を付与
する方法であった。

【０２１３】しかしながら、実在の物体から画像情報を
撮影する場合には、照明等の関係により、特定方向から
撮影した画像情報が、それに近接する方向から撮影した
画像情報に対してさえも、光沢等の点で著しく異なって
いる場合が存在し得る。

【０２１４】したがって、よりテクスチャ連続性の高
く、ポリゴン境界線が目立たないテクスチャ情報を付与
するためには、実施の形態３の方法では不十分な場合が
ある。

【０２１５】そこで、実施の形態４のテクスチャ情報付
与方法では、１つのポリゴンに対して、１つの参照画像
情報からテクスチャ情報を付与するのではなく、複数の
参照画像情報から、すなわち複数の方向から撮影した画
像情報に基づいて、対応するポリゴンにテクスチャ情報
を付与する方法を提供する。

【０２１６】実施の形態４のテクスチャ情報付与方法の
説明をする前に、まず色彩情報記憶部２４０へのテクス
チャ情報の格納方法についてより詳しく説明しておく。

【０２１７】図１６は、色彩情報記憶部へのデータの格
納方法を示す概念図である。色彩情報記憶部２４０は、
立体形状構成要素の基本形状、およびテクスチャを記憶
するものである。ここで、参照画像情報上の立体形状構
成要素は、投影された形状となっているため本来の形状
とは異なった形となっている。

【０２１８】このため、形状変換を行なって色彩情報記
憶部２４０に色彩を格納する必要がある。

【０２１９】ここで、たとえば立体形状構成要素が３角
形の場合を例にとってその形状変換を説明する。今、基
本形状のテクスチャ情報を図１６で示すような２次元離
散空間で記憶する場合を考える。基本形状の頂点を（ｘ
０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２）、参照画
像情報に対して投影された立体形状構成要素の頂点を
（Ｘ０，Ｙ０），（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）とす
る。これらを、以下に示す変換行列Ａおよび平行移動ベ
クトルＢにより１次変換することで、投影された三角形
形状を本来の形状に変換することが可能となる。

【０２２０】

【数２】

【０２２１】この場合、基本形状の画素（ｘｎ，ｙｎ）
のテクスチャ情報は、以下の式で計算される参照画像情
報上の画素（Ｘｎ，Ｙｎ）から獲得すればよいことを意
味する。

【０２２２】

【数３】

【０２２３】すなわち上記のようないわゆるアフィン変
換により、投影された三角形形状のポリゴンに対して、
本来のポリゴン形状に対するテクスチャ情報を獲得し、
色彩情報記憶部２４０に格納する。

【０２２４】なお、以上の説明では、ポリゴンの形状を
三角形としたが、たとえばその形状が四角形や他の形状
の場合も同様に計算することが可能である。

【０２２５】また、座標変換の方法はアフィン変換の
他、射影変換を用いてもよい。射影変換は以下の式で計
算される。

【０２２６】

【数４】

【０２２７】以上説明したとおり、色彩情報記憶部２４
０には、参照画像情報上に投影されるポリゴンの形状に
かかわりなく、本来のポリゴン形状に対応したテクスチ
ャ情報が格納されている。

【０２２８】そこで、たとえば実施の形態３に示したよ
うなエネルギ関数Ｅに対する反復改善処理により、各ポ
リゴンｉに対して対応する参照画像情報番号の割当が完
了したものとする。

【０２２９】実施の形態４のテクスチャ情報付与方法で
は、このラベル番号の割当の完了後に、さらに以下に説
明するような重み平均処理を行なうことで、テクスチャ
連続性をより向上させるテクスチャ情報の付与方法を実
現することを目的とする。

【０２３０】図１７は、上述したように、各ポリゴンｉ
に対して、参照画像情報番号の割付が完了した後に行な
う重み平均処理のフローを示すフローチャートである。

【０２３１】したがって、たとえば図１５に示したフロ
ーにおけるステップＳ２４６０に続く処理を示してい
る。

【０２３２】まず、初期設定として、変数Ｅｍａｘに立
体形状構成要素数が、変数Ｉｍａｘに撮影された参照画
像情報数がそれぞれ代入される。一方、カウント変数Ｅ
ｃｎｔの値が０に初期設定される（ステップＳ２５０
０）。

【０２３３】続いて、カウント変数Ｉｃｎｔならびに変
数ｗａｃｃの値が０に初期設定される（ステップＳ２５
０１）。

【０２３４】続いて、Ｉｃｎｔ番目の参照画像情報が、
Ｅｃｎｔ番目の立体形状構成要素のテクスチャ情報の入
力対象であるか否かの判断が行なわれる（ステップＳ２
５０２）。

【０２３５】ここで、Ｉｃｎｔ番目の画像が、テクスチ
ャ情報の入力対象であるとは、既に行なわれた、ポリゴ
ン（立体形状構成要素）に対する参照画像番号の割当に
より割当てられた画像情報のみならず、それに隣接する
所定数、たとえば前後１画面の参照画像情報も入力対象
に含めることを意味する。

【０２３６】次に、変数ｗｇｈｔに対して、Ｉｃｎｔ番
目の参照画像情報に投影されたＥｃｎｔ番目の立体形状
構成要素の面積の値が代入される（ステップＳ２５０
４）。

【０２３７】続いて、Ｅｃｎｔ番目の立体形状構成要素
のテクスチャ情報として、Ｉｃｎｔ番目の参照画像情報
の情報を変数ｗｇｈｔだけ重み付けをした後、色彩情報
記憶部２４０に格納する（ステップＳ２５０６）。

【０２３８】変数ｗａｃｃに対して、変数ｗｇｈｔの値
を累積し（ステップＳ２５０８）、カウント変数Ｉｃｎ
ｔの値が１だけインクリメントされる（ステップＳ２５
０９）。

【０２３９】続いて、カウント変数Ｉｃｎｔの値が撮影
された参照画像数Ｉｍａｘと比較される（ステップＳ２
５１０）。

【０２４０】変数Ｉｃｎｔが、変数Ｉｍａｘよりも小さ
い場合は、処理が、再びステップＳ２５０２に復帰す
る。

【０２４１】一方、ステップＳ２５０２において、Ｉｃ
ｎｔ番目の参照画像情報が、Ｅｃｎｔ番目の立体形状構
成要素のテクスチャの入力対象でないと判断された場合
は、処理がステップＳ２５０９に移行し、変数Ｉｃｎｔ
の値が１だけインクリメントされた後（ステップＳ２５
０９）、変数Ｉｃｎｔと変数Ｉｍａｘの値の比較が行な
われる。

【０２４２】したがって、ステップＳ２５００からステ
ップＳ２５１０までの処理が繰返されることで、Ｅｃｎ
ｔ番目の立体形状構成要素に対して、所定数の参照画像
情報から重み付けされたテクスチャ情報が獲得され、そ
のテクスチャ情報が色彩情報記憶部２４０に累積される
ことになる。

【０２４３】続いて、色彩情報記憶部２４０に累積され
たテクスチャ情報が変数ｗａｃｃの値で割算される（ス
テップＳ２５１２）。

【０２４４】ここまでの処理で、Ｅｃｎｔ番目の立体形
状構成要素に対するテクスチャ情報が、対応する所定数
の参照画像情報からのテクスチャ情報の重み付け平均と
して色彩情報記憶部２４０に格納されることになる。

【０２４５】以上の処理を言い換えれば、各ポリゴンに
ついて、それぞれに割り当てられた参照画像番号に対応
する参照画像情報、および、これに隣接する所定数の物
体画像情報に投影されたポリゴンの面積を求め、これを
下記重み平均処理を行なう際の重み係数とする。

【０２４６】ここで、前記物体画像情報に番号を仮定
し、これをＩｃｎｔとしたとき、この物体画像情報に対
応する重み係数をｗｇｈｔ（Ｉｃｎｔ）とする。また、
これら画像情報の数をＮとする。

【０２４７】さて、ポリゴンのテクスチャ情報は、複数
の画素から構成されており、今、１つのテクスチャ情報
の画素に着目する。この画素が上記物体画像情報に投影
される部位を求め、その投影部位の画像情報（投影部位
の画素値、すなわち色、濃度あるいは輝度）を、上記物
体画像情報全てにわたって、すなわちＮ個分について重
み平均処理をすることで、いま着目したテクスチャ情報
の画素値の値とする。ここで、投影された部位の画像情
報がｖ（Ｉｃｎｔ）であったとすると、重み平均処理
は、具体的には以下の式で表される計算を行なうことに
対応する。

【０２４８】

【数５】

【０２４９】この処理を、ポリゴンのテクスチャ情報と
なるすべての画素について行なう。

【０２５０】続いて、変数Ｅｃｎｔの値が１だけインク
リメントされる（ステップＳ２５１４）。

【０２５１】続いて、カウント変数Ｅｃｎｔの値と立体
形状構成要素数Ｅｍａｘとの値が比較される（ステップ
Ｓ２５１６）。

【０２５２】変数Ｅｃｎｔの値が、立体形状構成要素数
Ｅｍａｘよりも小さい場合は、処理がステップＳ２５０
１に復帰する。したがって、すべての立体形状構成要素
について、上述したテクスチャ情報の重み平均処理が行
なわれることになる。

【０２５３】一方、カウント変数Ｅｃｎｔが、立体形状
構成要素数Ｅｍａｘ以上である場合は（ステップＳ２５
１６）、色彩情報記憶部２４０へのテクスチャ情報の格
納処理が終了する（ステップ２５１８）。

【０２５４】すなわち、実施の形態４のテクスチャ情報
の付与方法では、まず、各ポリゴンに対して参照画像情
報番号（ラベル番号）の対応付けが行なわれる。続い
て、対応付けられた参照画像情報番号を含む所定数（た
とえば、対応付けられた参照画像情報番号とその前後１
画面分）の参照画像情報番号に対応する参照画像情報に
ついて、各参照画像情報に投影される立体形状構成要素
の面積に応じた重み平均処理を行なった結果が、その立
体形状構成要素のテキスチャ情報として付与される。

【０２５５】以上説明したような所定数の参照画像情報
からのテクスチャ情報の重み平均処理を行なうことによ
り、対応するポリゴンに対するテクスチャ情報が得られ
るので、よりテクスチャ連続性の向上したテクスチャ情
報を当該ポリゴンに割当てることが可能となる。

【０２５６】たとえば、現実の対象物体を撮影した場合
に、照明等の関係により、特定方向から撮影した参照画
像情報における当該ポリゴンに対する色彩情報に含まれ
る光沢が特異的に高い場合でも、重み平均処理によりそ
の影響を軽減することが可能である。

【０２５７】図１７に示したようなステップＳ２５００
からステップＳ２５１８までのプログラムを記録した媒
体により、コンピュータ１３０を動作させることでも、
同様の効果を得ることが可能である。

【０２５８】［実施の形態５］実施の形態４では、予
め、各ポリゴンに対して、テクスチャ情報を獲得する参
照画像番号の割当が完了した後に、所定数の隣接する参
照画像情報からも対応するポリゴンに対してテクスチャ
情報を与える構成について説明した。

【０２５９】しかしながら、テクスチャ連続性をより重
視する考えに立てば、必ずしもエネルギ関数Ｅを極小化
するように各ポリゴンに対する参照画像番号の割当を行
なう必要はない。

【０２６０】実施の形態５のテクスチャ情報付与方法で
は、各ポリゴン（立体形状構成要素）に対して、その立
体形状構成要素に対するテクスチャ情報を有する複数の
参照画像情報から当該ポリゴンに対してテクスチャ情報
を付与する構成としている。

【０２６１】たとえば、各ポリゴン（立体形状構成要
素）に対して、その立体形状構成要素に対するテクスチ
ャ情報を有するすべての参照画像情報から当該ポリゴン
に対してテクスチャ情報を付与しても良いし、各ポリゴ
ン（立体形状構成要素）に対して、その立体形状構成要
素に対するテクスチャ情報を有する画像情報からランダ
ムに、あるいは規則的に参照画像情報を選択し、これら
から当該ポリゴンに対してテクスチャ情報を付与しても
良い。

【０２６２】図１８は、このようなポリゴンへのテクス
チャ情報の付与方法を示す概念図であり、立体形状構成
要素に対するテクスチャ情報を有するすべての参照画像
情報から当該ポリゴンに対してテクスチャ情報を付与す
る例を示している。

【０２６３】実施の形態４において説明したとおり、色
彩情報記憶部２４０に対しては、各参照画像情報に投影
されるポリゴンの形状にかかわりなく、本来のポリゴン
形状に対応したテクスチャ情報が格納される。

【０２６４】したがって、特定のポリゴンｉに注目した
場合、このポリゴンが投影される面積が０でないすべて
の参照画像情報から、その投影面積に応じた重み平均処
理を行なうことによりテクスチャ情報を獲得することが
可能である。

【０２６５】図１９は、このようなテクスチャ情報付与
方法のフローを示すフローチャートである。

【０２６６】実在の物体に対する複数の画像撮影（ステ
ップＳ２０および立体モデル生成ステップＳ２２）の
後、各立体形状構成要素と、当該立体形状構成要素の投
影面積が０でない参照画像情報との対応付けを行なう
（ステップＳ３０）。

【０２６７】続いて、上記対応付けに基づいて、色彩情
報記憶部２４０に対して、投影面積に応じた重み平均処
理を行なうことにより、各立体形状構成要素ごとに、テ
クスチャ情報が累積される（ステップＳ３２）。

【０２６８】つまり、実施の形態５のテクスチャ情報の
付与方法では、立体形状構成要素ごとに、複数の参照画
像情報のそれぞれに投影された当該立体形状構成要素の
面積を重み係数として、複数の参照画像情報についての
重み平均処理が行なわれる。この立体形状構成要素ごと
に得られた重み平均処理の結果が、テクスチャ情報とし
て各立体形状構成要素に付与される。

【０２６９】以上のようにして、各立体形状構成要素に
対して、テクスチャ情報を有するすべての参照画像情報
から、テクスチャ情報を付与する構成とすることで、テ
クスチャ連続性がさらに向上する。

【０２７０】つまり、特定方向から撮影した参照画像情
報が、たとえば照明の関係等で他の方向から撮影した参
照画像情報に比べて光沢が異常に高いような場合でも、
すべての関係する参照画像情報からのテクスチャ情報を
重み平均することで、この特定方向のテクスチャ情報の
影響が抑制される。

【０２７１】なお、以上説明した実施の形態１〜５で
は、立体モデルをポリゴンデータに変換してから、テク
スチャ情報を付与しているが、本願はこのような構成に
限定されるわけではなく、ボクセル表現された立体モデ
ルにおいて、表面の面方向を演算して、テクスチャ情報
を付与するようにしてもよい。

【０２７２】ただし、ポリゴンデータに変換してから、
テクスチャ情報を付与するという構成の方が、同一方向
に向いている面（ポリゴン）を一括して処理できるた
め、演算量を著しく減少させることが可能である。

【０２７３】

【発明の効果】以上説明したとおり、本発明によれば、
実在する物体を撮影した画像情報に基づいて、計算機内
等において３次元立体モデルを再構成した場合に、当該
対象物体を撮影した複数の画像情報のうちから、最も現
実の物体が有するテクスチャ情報として最も適切なもの
をを選択的に立体モデルに付与することが可能である。

【０２７４】また、本発明によれば、複数の立体形状構
成要素の集合として表現された３次元立体モデルに対し
て、テクスチャ情報（色彩情報）を付与する場合に、各
立体形状構成要素間でのテクスチャ情報の不連続性を抑
制しつつ、同時に現実の物体の有するテクスチャ情報に
より近いテクスチャ情報を各立体形状構成要素に選択的
に付与することが可能である。

【０２７５】さらに、複数の立体形状構成要素に対し
て、現実の対象物体から撮影した物体画像情報に基づい
て、テクスチャ情報を付与する処理を、各立体形状構成
要素に対するラベリング問題に置換して処理することが
可能であるため、コンピュータ処理等に適した手順で各
立体形状構成要素へのテクスチャ情報の付与処理を行な
うことが可能である。

【図面の簡単な説明】

【図１】本発明の実施の形態１の３次元立体モデル生成
装置１０００の構成を示す概略ブロック図である。

【図２】実施の形態１の色彩情報付与処理部２００の構
成を示す概略ブロック図である。

【図３】現実の物体から３次元立体モデルを生成する処
理のフローを示すフローチャートである。

【図４】現実の物体から３次元立体モデルを生成するま
での処理の過程を示す概念図である。

【図５】ボーティング処理の概念を示す透視図である。

【図６】ボーティング処理における仮定存在領域を示す
Ｐ平面断面図である。

【図７】ボーティング処理の概念を示すＰ平面断面図で
ある。

【図８】ポリゴン生成処理を説明するための概念図であ
る。

【図９】ポリゴンによる３次元立体形状モデル３００を
示す図である。

【図１０】テクスチャ情報の付与処理を示す概念図であ
る。

【図１１】各立体形状構成要素へのテクスチャ情報付与
の処理の流れを示すフローチャートである。

【図１２】実施の形態１のテクスチャ情報付与方法の処
理の流れを示すフローチャートである。

【図１３】実施の形態１のテクスチャ情報付与方法を記
録した記録媒体２６０を示す概念図である。

【図１４】実施の形態２のテクスチャ情報付与方法の処
理の流れを示すフローチャートである。

【図１５】実施の形態３のテクスチャ情報付与方法の処
理の流れを示すフローチャートである。

【図１６】色彩情報記憶部２４０へのテクスチャ情報の
記憶方法を示す概念図である。

【図１７】実施の形態４のテクスチャ情報付与方法の処
理の流れを示すフローチャートである。

【図１８】実施の形態５のテクスチャ情報付与方法を示
す概念図である。

【図１９】実施の形態５のテクスチャ情報付与方法の処
理の流れを示すフローチャートである。

【図２０】従来のテクスチャ情報付与方法を示す概念図
である。

【図２１】従来のテクスチャ情報付与方法の問題点を示
す断面図である。

【符号の説明】

１００ 対象物体 １１０ 回転テーブル １２０ カメラ １３０ コンピュータ １４０ データ入力装置 １５０ ディスプレイ ２００ 色彩情報付与処理部 ２１０ 演算部 ２２０ 画像記憶部 ２３０ 形状記憶部 ２４０ 色彩情報記憶部 ３００ ３次元立体形状モデル

Claims (48)

【特許請求の範囲】
1. 【請求項１】 立体モデルに対するテクスチャ情報付与
   方法であって、 対象物体の形状を複数の立体形状構成要素の集合による
   立体モデルとして記述するステップと、 前記対象物体を異なる視点から撮影することにより獲得
   された複数の物体画像情報に基づいて、前記立体モデル
   に対するテクスチャ情報を、前記立体形状構成要素ごと
   に、前記各物体画像情報の前記立体形状構成要素に対す
   るテクスチャ情報量に応じて付与するステップとを備え
   る、テクスチャ情報付与方法。
2. 【請求項２】 前記テクスチャ情報量は、 前記立体形状構成要素ごとに、前記各立体形状構成要素
   の面法線方向と、前記各物体画像情報を撮影した方向と
   の一致の程度により表現される、請求項１記載のテクス
   チャ情報付与方法。
3. 【請求項３】 前記テクスチャ情報量は、 前記立体形状構成要素ごとに、前記各物体画像情報に投
   影される前記立体形状構成要素の面積により表現され
   る、請求項１記載のテクスチャ情報付与方法。
4. 【請求項４】 立体モデルに対するテクスチャ情報付与
   方法であって、 対象物体の形状を複数の立体形状構成要素の集合による
   立体モデルとして記述するステップと、 前記対象物体を異なる視点から撮影することにより獲得
   された複数の物体画像情報に基づいて、前記立体モデル
   に対するテクスチャ情報を前記立体形状構成要素ごと
   に、前記各物体画像情報の前記立体形状構成要素に対す
   るテクスチャ情報量と前記立体形状構成要素間のテクス
   チャ連続性との双方に応じて付与するステップとを備え
   る、テクスチャ情報付与方法。
5. 【請求項５】 前記テクスチャ情報を付与するステップ
   においては、 前記テクスチャ情報量の増加に伴い減少し、かつ、前記
   立体形状構成要素間のテクスチャ連続性の向上に伴い減
   少する評価関数を極小化するように、前記立体形状構成
   要素ごとに対応付けられた前記物体画像情報から、前記
   立体モデルに対するテクスチャ情報を付与する、請求項
   ４記載のテクスチャ情報付与方法。
6. 【請求項６】 前記評価関数においては、 前記テクスチャ連続性は、注目する前記立体形状構成要
   素とそれに隣接する前記立体形状構成要素とにそれぞれ
   対応する前記物体画像情報の撮影位置および撮影方向の
   差の関数として表現される、請求項５記載のテクスチャ
   情報付与方法。
7. 【請求項７】 前記評価関数においては、 前記テクスチャ連続性は、位置変化を伴って前記物体画
   像情報を撮影した場合に各物体画像情報に位置変化に対
   応したラベル番号を与えたとき、注目する前記立体形状
   構成要素に割当てられたラベル番号と、前記注目する立
   体形状構成要素に隣接する立体形状構成要素に割当てら
   れたラベル番号との差の増加に伴い増加する関数として
   表現される、請求項５記載のテクスチャ情報付与方法。
8. 【請求項８】 前記評価関数においては、 前記テクスチャ連続性は、規則的な位置変化を伴って前
   記物体画像情報を撮影した場合に各物体画像情報にラベ
   ル番号を与えたとき、注目する前記立体形状構成要素に
   割当てられたラベル番号と、前記注目する立体形状構成
   要素に隣接する立体形状構成要素に割当てられたラベル
   番号との差の増加に伴い増加する関数として表現され
   る、請求項５記載のテクスチャ情報付与方法。
9. 【請求項９】 前記評価関数においては、 前記テクスチャ情報量は、前記立体形状構成要素ごと
   に、前記各物体画像情報に投影される前記立体形状構成
   要素の面積の関数として表現される、請求項５記載のテ
   クスチャ情報付与方法。
10. 【請求項１０】 前記評価関数においては、 前記テクスチャ情報量は、前記立体形状構成要素ごと
    に、前記各立体形状構成要素の面法線方向と、前記各物
    体画像情報を投影した方向との一致の程度の関数として
    表現される、請求項５記載のテクスチャ情報付与方法。
11. 【請求項１１】 前記評価関数は、 ｉ番目（ｉ：自然数）の前記立体形状要素に割当てられ
    たラベル番号と前記ｉ番目の前記立体形状構成要素に隣
    接する立体形状構成要素に割当てられたラベル番号との
    差の全立体形状構成要素についての総和と、前記ｉ番目
    の立体形状構成要素に割当てられたラベル番号に対応す
    る前記物体画像情報に投影される、前記ｉ番目の立体形
    状構成要素の面積の全立体形状構成要素についての総和
    との線形結合で表現される、請求項５記載のテクスチャ
    情報付与方法。
12. 【請求項１２】 立体モデルに対するテクスチャ情報付
    与方法であって、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述するステップと、 位置変化を伴って複数の物体画像情報を投影した場合に
    前記各物体画像情報に位置変化に対応したラベル番号を
    与えたとき、前記各立体形状構成要素に対するテクスチ
    ャ情報量の増加に伴い減少し、かつ、前記各立体形状構
    成要素とそれに隣接する立体形状構成要素とにそれぞれ
    割当てられるテクスチャ情報のテクスチャ連続性の向上
    に伴い減少する評価関数を極小化するように、前記立体
    形状構成要素ごとに前記ラベル番号を対応付けるステッ
    プと、 前記対応付けられたラベル番号に対応する物体画像情報
    と、前記対応付けられたラベル番号を含む所定数のラベ
    ル番号に対応する物体画像情報とに基づいて、前記各物
    体画像情報に投影される前記立体形状構成要素の面積に
    応じた重み平均処理を行なうことにより、前記立体形状
    構成要素にテクスチャ情報を付与するステップとを備え
    る、テクスチャ情報付与方法。
13. 【請求項１３】 立体モデルに対するテクスチャ情報付
    与方法であって、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述するステップと、 規則的な位置変化を伴って複数の物体画像情報を投影し
    た場合に前記各物体画像情報にラベル番号を与えたと
    き、前記各立体形状構成要素に対するテクスチャ情報量
    の増加に伴い減少し、かつ、前記各立体形状構成要素と
    それに隣接する立体形状構成要素とにそれぞれ割当てら
    れるテクスチャ情報のテクスチャ連続性の向上に伴い減
    少する評価関数を極小化するように、前記立体形状構成
    要素ごとに前記ラベル番号を対応付けるステップと、 前記対応付けられたラベル番号に対応する物体画像情報
    と、前記対応付けられたラベル番号を含む所定数のラベ
    ル番号に対応する物体画像情報とに基づいて、前記各物
    体画像情報に投影される前記立体形状構成要素の面積に
    応じた重み平均処理を行なうことにより、前記立体形状
    構成要素にテクスチャ情報を付与するステップとを備え
    る、テクスチャ情報付与方法。
14. 【請求項１４】 立体モデルに対するテクスチャ情報付
    与方法であって、 対象物体を異なる視点から撮影することにより複数の物
    体画像情報を獲得するステップと、 前記対象物体の形状を複数の立体形状構成要素の集合に
    よる立体モデルとして記述するステップと、 前記立体形状構成要素ごとに、前記複数の物体画像情報
    のそれぞれに投影された前記立体形状構成要素に対応す
    る面積に応じた、複数の前記物体画像情報についての重
    み平均処理を行なうことにより得られたテクスチャ情報
    を付与するステップとを備える、テクスチャ情報付与方
    法。
15. 【請求項１５】 コンピュータに立体モデルへのテクス
    チャ情報の付与をさせるためのプログラムを記録した媒
    体であって、 前記プログラムは、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述するステップと、 前記対象物体を異なる視点から撮影することにより獲得
    された複数の物体画像情報に基づいて、前記立体モデル
    に対するテクスチャ情報を、前記立体形状構成要素ごと
    に、前記各物体画像情報の前記立体形状構成要素に対す
    るテクスチャ情報量に応じて付与するステップとを含
    む、テクスチャ情報付与プログラムを記録した媒体。
16. 【請求項１６】 前記テクスチャ情報量は、 前記立体形状構成要素ごとに、前記各立体形状構成要素
    の面法線方向と、前記各物体画像情報を撮影した方向と
    の一致の程度により表現される、請求項１５記載のテク
    スチャ情報付与プログラムを記録した媒体。
17. 【請求項１７】 前記テクスチャ情報量は、 前記立体形状構成要素ごとに、前記各物体画像情報に投
    影される前記立体形状構成要素の面積により表現され
    る、請求項１５記載のテクスチャ情報付与プログラムを
    記録した媒体。
18. 【請求項１８】 コンピュータに立体モデルへのテクス
    チャ情報の付与をさせるためのプログラムを記録した媒
    体であって、 前記プログラムは、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述するステップと、 前記対象物体を異なる視点から撮影することにより獲得
    された複数の物体画像情報に基づいて、前記立体モデル
    に対するテクスチャ情報を前記立体形状構成要素ごと
    に、前記各物体画像情報の前記立体形状構成要素に対す
    るテクスチャ情報量と前記立体形状構成要素間のテクス
    チャ連続性との双方に応じて付与するステップとを含
    む、テクスチャ情報付与プログラムを記録した媒体。
19. 【請求項１９】 前記テクスチャ情報を付与するステッ
    プにおいては、 前記テクスチャ情報量の増加に伴い減少し、かつ前記立
    体形状構成要素間のテクスチャ連続性の向上に伴い減少
    する評価関数を極小化するように、前記立体形状構成要
    素ごとに対応付けられた前記物体画像情報から、前記立
    体モデルに対するテクスチャ情報を付与する、請求項１
    ８記載のテクスチャ情報付与プログラムを記録した媒
    体。
20. 【請求項２０】 前記評価関数においては、 前記テクスチャ連続性は、注目する前記立体形状構成要
    素とそれに隣接する前記立体形状構成要素とにそれぞれ
    対応する前記物体画像情報の撮影位置および撮影方向の
    差の関数として表現される、請求項１９記載のテクスチ
    ャ情報付与プログラムを記録した媒体。
21. 【請求項２１】 前記評価関数においては、 前記テクスチャ連続性は、位置変化を伴って前記物体画
    像情報を撮影した場合に各物体画像情報に位置変化に対
    応したラベル番号を与えたとき、注目する前記立体形状
    構成要素に割当てられたラベル番号と、前記注目する立
    体形状構成要素に隣接する立体形状構成要素に割当てら
    れたラベル番号の差の増加に伴い増加する関数として表
    現される、請求項１９記載のテクスチャ情報付与プログ
    ラムを記録した媒体。
22. 【請求項２２】 前記評価関数においては、 前記テクスチャ連続性は、規則的な位置変化を伴って前
    記物体画像情報を撮影した場合に各物体画像情報にラベ
    ル番号を与えたとき、注目する前記立体形状構成要素に
    割当てられたラベル番号と、前記注目する立体形状構成
    要素に隣接する立体形状構成要素に割当てられたラベル
    番号の差の増加に伴い増加する関数として表現される、
    請求項１９記載のテクスチャ情報付与プログラムを記録
    した媒体。
23. 【請求項２３】 前記評価関数においては、 テクスチャ情報量は、前記立体形状構成要素ごとに、前
    記各物体画像情報に投影される前記立体形状構成要素の
    面積の関数として表現される、請求項１９記載のテクス
    チャ情報付与プログラムを記録した媒体。
24. 【請求項２４】 前記評価関数においては、 前記テクスチャ情報量は、 前記立体形状構成要素ごとに、前記各立体形状構成要素
    の面法線方向と、前記各物体画像情報を撮影した方向と
    の一致の程度の関数として表現される、請求項１９記載
    のテクスチャ情報付与プログラムを記録した媒体。
25. 【請求項２５】 前記評価関数は、 ｉ番目（ｉ：自然数）の前記立体形状構成要素に割当て
    られたラベル番号と前記ｉ番目の立体形状構成要素に隣
    接する立体形状構成要素に割当てられたラベル番号との
    差の全立体形状構成要素についての総和と、前記ｉ番目
    の立体形状構成要素に割当てられたラベル番号に対応す
    る前記物体画像情報に投影される、前記ｉ番目の立体形
    状構成要素の面積の全立体形状構成要素についての総和
    との線形結合で表現される、請求項１９記載のテクスチ
    ャ情報付与プログラムを記録した媒体。
26. 【請求項２６】 コンピュータに立体モデルへのテクス
    チャ情報の付与をさせるためのプログラムを記録した媒
    体であって、 前記プログラムは、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述するステップと、 位置変化を伴って複数の物体画像情報を撮影した場合に
    前記各物体画像情報に位置変化に対応したラベル番号を
    与えたとき、前記各立体形状構成要素に対するテクスチ
    ャ情報量の増加に伴い減少し、かつ、前記各立体形状構
    成要素とそれに隣接する立体形状構成要素とにそれぞれ
    割当てられるテクスチャ情報のテクスチャ連続性の向上
    に伴い減少する評価関数を極小化するように、前記立体
    形状構成要素ごとに前記ラベル番号を対応付けるステッ
    プと、 前記対応付けられたラベル番号に対応する物体画像情報
    と、前記対応付けられたラベル番号を含む所定数のラベ
    ル番号に対応する物体画像情報とに基づいて、前記各物
    体画像情報に投影される前記立体形状構成要素の面積に
    応じた重み平均処理を行なうことにより、前記立体形状
    構成要素にテクスチャ情報を付与するステップとを含
    む、テクスチャ情報付与プログラムを記録した媒体。
27. 【請求項２７】 コンピュータに立体モデルへのテクス
    チャ情報の付与をさせるためのプログラムを記録した媒
    体であって、 前記プログラムは、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述するステップと、 規則的な位置変化を伴って複数の物体画像情報を撮影し
    た場合に前記各物体画像情報にラベル番号を与えたと
    き、前記各立体形状構成要素に対するテクスチャ情報量
    の増加に伴い減少し、かつ、前記各立体形状構成要素と
    それに隣接する立体形状構成要素とにそれぞれ割当てら
    れるテクスチャ情報のテクスチャ連続性の向上に伴い減
    少する評価関数を極小化するように、前記立体形状構成
    要素ごとに前記ラベル番号を対応付けるステップと、 前記対応付けられたラベル番号に対応する物体画像情報
    と、前記対応付けられたラベル番号を含む所定数のラベ
    ル番号に対応する物体画像情報とに基づいて、前記各物
    体画像情報に投影される前記立体形状構成要素の面積に
    応じた重み平均処理を行なうことにより、前記立体形状
    構成要素にテクスチャ情報を付与するステップとを含
    む、テクスチャ情報付与プログラムを記録した媒体。
28. 【請求項２８】 コンピュータに立体モデルへのテクス
    チャ情報の付与をさせるためのプログラムを記録した媒
    体であって、 前記プログラムは、 対象物体を異なる視点から撮影することにより複数の物
    体画像情報を獲得するステップと、 前記対象物体の形状を複数の立体形状構成要素の集合に
    よる立体モデルとして記述するステップと、 前記立体形状構成要素ごとに、前記複数の物体画像情報
    のそれぞれに投影された前記立体形状構成要素に対応す
    る面積に応じた、複数の前記物体画像情報についての重
    み平均処理を行なうことにより得られたテクスチャ情報
    を付与するステップとを含む、テクスチャ情報付与プロ
    グラムを記録した媒体。
29. 【請求項２９】 立体モデルに対するテクスチャ情報付
    与装置であって、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述する手段と、 前記対象物体を異なる視点から撮影することにより獲得
    された複数の物体画像情報に基づいて、前記立体モデル
    に対するテクスチャ情報を、前記立体形状構成要素ごと
    に、前記各物体画像情報の前記立体形状構成要素に対す
    るテクスチャ情報量に応じて付与する手段とを備える、
    テクスチャ情報付与装置。
30. 【請求項３０】 前記テクスチャ情報量は、 前記立体形状構成要素ごとに、前記各立体形状構成要素
    の面法線方向と、前記各物体画像情報を撮影した方向と
    の一致の程度により表現される、請求項２９記載のテク
    スチャ情報付与装置。
31. 【請求項３１】 前記テクスチャ情報量は、 前記立体形状構成要素ごとに、前記各物体画像情報に投
    影される前記立体形状構成要素の面積により表現され
    る、請求項２９記載のテクスチャ情報付与装置。
32. 【請求項３２】 立体モデルに対するテクスチャ情報付
    与装置であって、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述する手段と、 前記対象物体を異なる視点から撮影することにより獲得
    された複数の物体画像情報に基づいて、前記立体モデル
    に対するテクスチャ情報を前記立体形状構成要素ごと
    に、前記各物体画像情報の前記立体形状構成要素に対す
    るテクスチャ情報量と前記立体形状構成要素間のテクス
    チャ連続性との双方に応じて付与する手段とを備える、
    テクスチャ情報付与装置。
33. 【請求項３３】 前記テクスチャ情報を付与する手段に
    おいては、 前記テクスチャ情報量の増加に伴い減少し、かつ、前記
    立体形状構成要素間のテクスチャ連続性の向上に伴い減
    少する評価関数を極小化するように、前記立体形状構成
    要素ごとに対応付けられた前記物体画像情報から、前記
    立体モデルに対するテクスチャ情報を付与する、請求項
    ３２記載のテクスチャ情報付与装置。
34. 【請求項３４】 前記評価関数においては、 前記テクスチャ連続性は、注目する前記立体形状構成要
    素とそれに隣接する前記立体形状構成要素とにそれぞれ
    対応する前記物体画像情報の撮影位置および撮影方向の
    差の関数として表現される、請求項３３記載のテクスチ
    ャ情報付与装置。
35. 【請求項３５】 前記評価関数においては、 前記テクスチャ連続性は、位置変化を伴って前記物体画
    像情報を撮影した場合に各物体画像情報に位置変化に対
    応したラベル番号を与えたとき、注目する前記立体形状
    構成要素に割当てられたラベル番号と、前記注目する立
    体形状構成要素に隣接する前記立体形状構成要素に割当
    てられたラベル番号との差の増加に伴い増加する関数と
    して表現される、請求項３３記載のテクスチャ情報付与
    装置。
36. 【請求項３６】 前記評価関数においては、 前記テクスチャ連続性は、規則的な位置変化を伴って前
    記物体画像情報を撮影した場合に各物体画像情報にラベ
    ル番号を与えたとき、注目する前記立体形状構成要素に
    割当てられたラベル番号と、前記注目する立体形状構成
    要素に隣接する前記立体形状構成要素に割当てられたラ
    ベル番号との差の増加に伴い増加する関数として表現さ
    れる、請求項３３記載のテクスチャ情報付与装置。
37. 【請求項３７】 前記評価関数においては、 前記テクスチャ情報量は、前記立体形状構成要素ごと
    に、前記各物体画像情報に投影される前記立体形状構成
    要素の面積の関数として表現される、請求項３３記載の
    テクスチャ情報付与装置。
38. 【請求項３８】 前記評価関数においては、 前記テクスチャ情報量は、前記立体形状構成要素ごと
    に、前記各立体形状構成要素の面法線方向と、前記各物
    体画像情報を撮影した方向との一致の程度の関数として
    表現される、請求項３３記載のテクスチャ情報付与装
    置。
39. 【請求項３９】 前記評価関数は、 ｉ番目（ｉ：自然数）の立体形状構成要素に割当てられ
    たラベル番号と前記ｉ番目の前記立体形状構成要素に隣
    接する立体形状構成要素に割当てられたラベル番号との
    差の全立体形状構成要素についての総和と、前記ｉ番目
    の立体形状構成要素に割当てられたラベル番号に対応す
    る前記物体画像情報に投影される、前記ｉ番目の立体形
    状構成要素の面積の全立体形状構成要素についての総和
    との線形結合で表現される、請求項３３記載のテクスチ
    ャ情報付与装置。
40. 【請求項４０】 立体モデルに対するテクスチャ情報付
    与装置であって、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述する手段と、 位置変化を伴って複数の物体画像情報を撮影した場合に
    前記各物体画像情報に位置変化に対応したラベル番号を
    与えたとき、前記各立体形状構成要素に対するテクスチ
    ャ情報量の増加に伴い減少し、かつ、前記各立体形状構
    成要素とそれに隣接する立体形状構成要素とにそれぞれ
    割当てられるテクスチャ情報のテクスチャ連続性の向上
    に伴い減少する評価関数を極小化するように、前記立体
    形状構成要素ごとに前記ラベル番号を対応付ける手段
    と、 前記対応付けられたラベル番号に対応する物体画像情報
    と、前記対応付けられたラベル番号を含む所定数のラベ
    ル番号に対応する物体画像情報とに基づいて、前記各物
    体画像情報に投影される前記立体形状構成要素の面積に
    応じた重み平均処理を行なうことにより、前記立体形状
    構成要素にテクスチャ情報を付与する手段とを備える、
    テクスチャ情報付与装置。
41. 【請求項４１】 立体モデルに対するテクスチャ情報付
    与装置であって、 対象物体の形状を複数の立体形状構成要素の集合による
    立体モデルとして記述する手段と、 規則的な位置変化を伴って複数の物体画像情報を撮影し
    た場合に前記各物体画像情報にラベル番号を与えたと
    き、前記各立体形状構成要素に対するテクスチャ情報量
    の増加に伴い減少し、かつ、前記各立体形状構成要素と
    それに隣接する立体形状構成要素とにそれぞれ割当てら
    れるテクスチャ情報のテクスチャ連続性の向上に伴い減
    少する評価関数を極小化するように、前記立体形状構成
    要素ごとに前記ラベル番号を対応付ける手段と、 前記対応付けられたラベル番号に対応する物体画像情報
    と、前記対応付けられたラベル番号を含む所定数のラベ
    ル番号に対応する物体画像情報とに基づいて、前記各物
    体画像情報に投影される前記立体形状構成要素の面積に
    応じた重み平均処理を行なうことにより、前記立体形状
    構成要素にテクスチャ情報を付与する手段とを備える、
    テクスチャ情報付与装置。
42. 【請求項４２】 立体モデルに対するテクスチャ情報付
    与装置であって、 対象物体を異なる視点から撮影することにより複数の物
    体画像情報を獲得する手段と、 前記対象物体の形状を複数の立体形状構成要素の集合に
    よる立体モデルとして記述する手段と、 前記立体形状構成要素ごとに、前記複数の物体画像情報
    のそれぞれに投影された前記立体形状構成要素に対応す
    る面積に応じた、複数の前記物体画像情報についての重
    み平均処理を行なうことにより得られたテクスチャ情報
    を付与する手段とを備える、テクスチャ情報付与装置。
43. 【請求項４３】 立体モデルとして記述される対象物体
    を異なる視点から撮影することにより獲得された複数の
    物体画像情報に基づいて、前記立体モデルのテキスチャ
    情報を取得するテクスチャ情報付与方法であって、 前記立体モデルの面方向を検出するステップと、 前記検出された面方向と前記撮影した視点の位置とに応
    じて、前記複数の物体画像情報からテクスチャ情報を作
    成するステップとを備える、テクスチャ情報付与方法。
44. 【請求項４４】 立体モデルとして記述される対象物体
    を異なる視点から撮影することにより獲得された複数の
    物体画像情報に基づいて、前記立体モデルのテキスチャ
    情報を取得するテクスチャ情報付与方法であって、 前記立体モデルは、ポリゴン（多角形平面）の集合によ
    り表現され、 前記ポリゴンごとの面方向を検出するステップと、 前記検出された面方向と前記撮影した視点の位置とに応
    じて、前記ポリゴンごとに、前記複数の物体画像情報か
    らテクスチャ情報を作成するステップとを備える、テク
    スチャ情報付与方法。
45. 【請求項４５】 コンピュータに立体モデルへのテクス
    チャ情報の付与をさせるためのプログラムを記録した媒
    体であって、 前記プログラムは、 対象物体の形状を立体モデルとして記述するステップ
    と、 前記立体モデルの面方向を検出するステップと、 前記対象物体を異なる視点から撮影することにより獲得
    された複数の物体画像情報に基づいて、前記検出された
    面方向と前記撮影した視点の位置とに応じて、前記複数
    の物体画像情報から前記立体モデルのテクスチャ情報を
    作成するステップとを含む、テクスチャ情報付与プログ
    ラムを記録した媒体。
46. 【請求項４６】 コンピュータに立体モデルへのテクス
    チャ情報の付与をさせるためのプログラムを記録した媒
    体であって、 前記プログラムは、 対象物体の形状をポリゴン（多角形平面）の集合による
    立体モデルとして記述するステップと、 前記ポリゴンごとの面方向を検出するステップと、 前記対象物体を異なる視点から撮影することにより獲得
    された複数の物体画像情報に基づいて、前記検出された
    面方向と前記撮影した視点の位置とに応じて前記ポリゴ
    ンごとに、前記複数の物体画像情報から前記立体モデル
    のテクスチャ情報を作成するステップとを含む、テクス
    チャ情報付与プログラムを記録した媒体。
47. 【請求項４７】 立体モデルとして記述される対象物体
    を異なる視点から撮影することにより獲得された複数の
    物体画像情報に基づいて、前記立体モデルのテキスチャ
    情報を取得するテクスチャ情報付与装置であって、 前記立体モデルの面方向を検出する手段と、 前記検出された面方向と前記撮影した視点の位置とに応
    じて、前記複数の物体画像情報からテクスチャ情報を作
    成する手段とを備える、テクスチャ情報付与装置。
48. 【請求項４８】 立体モデルとして記述される対象物体
    を異なる視点から撮影することにより獲得された複数の
    物体画像情報に基づいて、前記立体モデルのテキスチャ
    情報を取得するテクスチャ情報付与装置であって、 前記立体モデルをポリゴン（多角形平面）の集合により
    表現する手段と、 前記ポリゴンごとの面方向を検出する手段と、 前記検出された面方向と前記撮影した視点の位置とに応
    じて、前記ポリゴンごとに、前記複数の物体画像情報か
    らテクスチャ情報を作成する手段とを備える、テクスチ
    ャ情報付与装置。