JP3292368B2 - テクスチャマッピング方法及び装置ならびに記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、３次元仮想空間の
構築技術に関し、特に、３次元構造モデルに対して実写
画像をテクスチャマッピングする方法及び装置ならびに
テクスチャマッピング方法の処理手順をコンピュータが
実行可能なプログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】近年、実写画像を用いて３次元仮想環境
を生成する研究が盛んである。我々は都市景観の３次元
再現を目指し研究を行っている。都市景観を再現する場
合、複雑で数多くの建造物を広範囲にわたり再現する必
要があり、これらを効率的に精度良く再現しなければな
らない。

【０００３】従来は、対象とする構造物をカメラで撮影
し、コンピュータ・グラフイック・エディタを用いて３
次元構造モデルの各ポリゴンに対して、撮影画像から切
り取ったテクスチャを熟練者が１枚づつ貼り付けてい
た。さらに、必要に応じて撮影画像をデジタル化した
り、撮影画像の整形、修正、編集を熟練者が実施してい
た。

【０００４】

【発明が解決しようとする課題】テクスチャ点の実写画
像をカメラで撮影する作業、撮影画像の中から最適なテ
クスチャが映っている画像を選択する作業、この選択し
た画像からテクスチャを切り取り、編集し、３次元構造
モデルの各ポリゴンに貼り付ける作業は、いずれも熟練
を要すると共に膨大な時間を必要とする問題があった。

【０００５】また、１枚１枚カメラで撮影するため、あ
らゆるカメラの向き、位置から実写画像を取得すること
は非常に困難な作業であり、取得できないテクスチャも
少なくないという問題があった。

【０００６】本発明の目的は、３次元構造モデルの各ポ
リゴンに最適なテクスチャを自動的にマッピングするこ
とが可能な技術を提供することにある。

【０００７】本発明の他の目的は、従来のテクスチャ点
の実写画像をカメラで撮影する作業、撮影画像の中から
最適なテクスチャが映っている画像を選択する作業、こ
の選択した画像からテクスチャを切り取り、編集し、３
次元構造モデルの各ポリゴンに貼り付ける作業量、及び
作業時間を大幅に削減して短縮することが可能な技術を
提供することにある。

【０００８】本発明の他の目的は、大量の画像の中から
一意に最適なテクスチャを容易に取得することが可能な
技術を提供することにある。本発明の前記ならびにその
他の目的と新規な特徴は、本明細書の記述及び添付図面
によって明らかになるであろう。

【０００９】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。即ち、本発明は、位置情報を有する
３次元構造モデルに対して、カメラで撮影した実写画像
を自動的にテクスチャマッピングするテクスチャマッピ
ッング方法であって、一定間隔で格納されている実写撮
影時のビデオカメラのカメラ位置・姿勢データを順次読
み込む手順１と、前記手順１で読み込んだカメラ位置・
姿勢データ間に存在するビデオカメラの画像のフレーム
数を算出し、該当するフレームに対応するビデオ画像を
撮影したビデオカメラの位置・姿勢情報（Ｘ、Ｙ、Ｚ、
κ、φ、ω）を計算する手順２と、前記手順２で計算さ
れた結果の値をビデオ画像に格納する手順３と、前記３
次元構造モデルから対象ポリゴンを選択する手順４と、
前記手順４で選択された対象ポリゴンとビデオカメラと
の相対位置関係から探索するビデオ画像の範囲を絞り込
む手順５と、前記手順５で絞り込んだビデオ画像を順次
読み込み、テクスチャ面の面積、および、テクスチャ面
の重心と主点との距離を計算する手順６と、前記手順６
で計算したテクスチャ面の面積、および、テクスチャ面
の重心と主点との距離とを比較し、当該面積が最大であ
るビデオ画像、または当該面積が最大であるビデオ画像
が複数ある場合は前記距離が最小のビデオ画像を一意に
選択する手順７と、前記手順７で選択されたビデオ画像
からテクスチャを切り取り、この切り取ったテクスチャ
を対応するポリゴンに自動的に貼り付ける手順８とを有
することを特徴とするテクスチャマッピッング方法。

【００１０】本発明の好ましい実施の形態では、前記手
順３は、ビデオカメラの位置・姿勢データを格納したビ
デオ画像からデータを１つ読み込む手順１１と、選択さ
れた対象ポリゴンの１つの頂点を選択する手順１２と、
前記手順１２で選択された頂点と撮影点との距離を計算
して、該頂点に対応するテクスチャ面の頂点座標を計算
し、テクスチャ情報として画像番号、頂点番号、座標、
撮影点との距離を格納する手順１３と、前記手順１２と
前記手順１３とを全ての頂点に対して行い、ビデオ画像
内にテクスチャの全部が映っている可能性のある画像と
テクスチャの全部もしくは一部しか映っていない画像と
を区別する手順１４と、テクスチャの全部もしくは一部
しか映っていない画像をテクスチャ情報から削除する手
順１５と、ビデオ画像内にテクスチャの全部が映ってい
る可能性のある画像に対して、対象ポリゴンの重心から
一定距離内に含まれる１つのポリゴンを選出する手順１
６と、前記手順１６で選出されたポリゴン内の１つの頂
点を選出し、この選出された頂点に対応するビデオ画像
面上の点の座標を計算し、当該対応点が対象としている
テクスチャ面内に含まれているか否かを調ベる手順１７
と、前記手順１７で調べた結果、対応点がテクスチャ面
内にある場合、前記選出した頂点と撮影点との距離Ｌ１
と、対象ポリゴンの重心と撮影点との距離Ｌ２を計算す
る手順１８と、前記手順１８で計算された距離Ｌ１と、
距離Ｌ２とを比較し、前記距離Ｌ１が短い場合には、現
在、対象としているビデオ画像に関する情報をテクスチ
ャ情報の中から削除する手順１９と、前記手順１７ない
し手順１９を、前記手順１６で選出されたポリゴンの頂
点の全てに対して行う手順２０と、前記手順１６ないし
手順２０を、対象ポリゴンの重心から一定距離内の全て
のポリゴンに対して行う手順２１と、前記手順１１ない
し手順２１を、ビデオカメラの位置・姿勢データを格納
したビデオ画像の全てに対して行う手順２２とを有する
ことを特徴とする。

【００１１】また、本発明は、前述のテクスチャマッピ
ングするテクスチャマッピング方法を、コンピュータに
実行させるためのプログラムを記録した記録媒体であ
る。

【００１２】また、本発明は、３次元構造モデルに対し
て、ビデオカメラで撮影した実写画像を自動的にテクス
チャマッピングするテクスチャマッピング装置であっ
て、ビデオカメラで撮影した実写画像、および一定間隔
毎のビデオカメラのカメラ位置・姿勢データを格納する
外部記憶装置と、前記外部記憶装置から、一定間隔で格
納されているビデオカメラで撮影した実写画像のカメラ
位置・姿勢データを順次読み出す位置・姿勢データ読み
出し手段と、実写撮影時のビデオカメラの位置及び姿勢
を推定する位置・姿勢推定手段と、３次元構造モデルと
ビデオカメラとの相対位置関係から探索ビデオ画像の範
囲を絞り込む探索ビデオ画像範囲絞り込み手段と、前記
探索ビデオ画像範囲絞り込み手段により絞り込んだビデ
オ画像の中から最適なテクスチャが映っているビデオ画
像を選択するビデオ画像選択手段と、前記ビデオ画像選
択手段により選択されたビデオ画像からテクスチャを切
り取るテクスチャ切り取り手段と、前記テクスチャ切り
取り手段により切り取ったテクスチャを対応するポリゴ
ンに自動的に貼り付ける貼り付け手段とを具備し、前記
位置・姿勢推定手段は、前記位置・姿勢データ読み出し
手段で順次読み出されたカメラ位置・姿勢データ間に存
在するビデオカメラの画像のフレーム数を算出し、該当
するフレームに対応するビデオ画像を撮影したビデオカ
メラの位置・姿勢情報（Ｘ、Ｙ、Ｚ、κ、φ、ω）を計
算する第１の手段と、前記第１の手段で計算された結果
の値をビデオ画像に格納する第２の手段とを有し、前記
ビデオ画像選択手段は、前記探索ビデオ画像範囲絞り込
み手段で絞り込んだビデオ画像を順次読み込み、テクス
チャ面の面積、および、テクスチャ面の重心と主点との
距離を計算する第１の手段と、前記第１の手段で計算し
たテクスチャ面の面積、および、テクスチャ面の重心と
主点との距離とを比較し、当該面積が最大であるビデオ
画像、または当該面積が最大であるビデオ画像が複数あ
る場合は前記距離が最小のビデオ画像を一意に選択する
第２の手段とを有することを特徴とする。

【００１３】本発明の好ましい実施の形態では、前記探
索ビデオ画像範囲絞り込み手段は、前記位置・姿勢推定
手段によりビデオカメラの位置・姿勢データが格納され
たビデオ画像を順次読み込む第１の手段と、前記第１の
手段で読み込まれたビデオ画像毎に、前記選択された対
象ポリゴンの全ての頂点について、各頂点毎に、頂点と
撮影点との距離を計算して、該頂点に対応するテクスチ
ャ面の頂点座標を計算し、テクスチャ情報として画像番
号、頂点番号、座標、撮影点との距離を格納する第２の
手段と、前記第２の手段での計算結果に基づき、ビデオ
画像内にテクスチャの全部が映っている可能性のある画
像とテクスチャの全部もしくは一部しか映っていない画
像とを区別する第３の手段と、テクスチャの全部もしく
は一部しか映っていない画像をテクスチャ情報から削除
する第４の手段と、ビデオ画像内にテクスチャの全部が
映っている可能性のある画像に対して、対象ポリゴンの
重心から一定距離内の全てのポリゴンを選択する第５の
手段と、前記第５の手段で選出された各ポリゴン毎に、
ポリゴンの全ての頂点について、各頂点毎に頂点に対応
するビデオ画像面上の点の座標を計算し、当該対応点が
対象としているテクスチャ面内に含まれているか否かを
調ベる第６の手段と、前記第６手段での結果に基づき、
対応点がテクスチャ面内にある場合、前記選出した頂点
と撮影点との距離Ｌ１と、対象ポリゴンの重心と撮影点
との距離Ｌ２を計算する第７の手段と、前記第７の手段
で計算された距離Ｌ１と、距離Ｌ２とを比較し、前記距
離Ｌ１が短い場合には、現在、対象としているビデオ画
像に関する情報をテクスチャ情報の中から削除する第８
手段とを有することを特徴とする。

【００１４】本発明の好ましい実施の形態では、前記外
部記憶装置に格納される実写画像は、ビデオカメラで撮
影した実写画像であり、前記外部記憶装置に格納される
ビデオカメラの位置・姿勢データは、前記ビデオカメラ
に併設される高解像度カメラで撮影された高解像度画像
から取得されるデータであることを持徴とする。

【００１５】本発明の好ましい実施の形態では、前記ビ
デオカメラ、および前記ビデオカメラに併設される高解
像度カメラを、自動車もしくはヘリコプターに搭載され
ることを持徴とする。

【００１６】

【００１７】以下、本発明について、図面を参照して実
施の形態（実施例）とともに詳細に説明する。なお、実
施例を説明するための全図において、同一機能を有する
ものは同一符号を付け、その繰り返しの説明は省略す
る。

【００１８】

【発明の実施の形態】（実施例１）図１は、本発明によ
る実施例１のテクスチャマッピング装置の概略構成を示
すブロック構成図である。本実施例１のテクスチャマッ
ピング装置は、位置情報を有する３次元構造モデルに対
して、ビデオカメラで撮影した実写画像を自動的にテク
スチャマッピングする装置であり、図１に示すように、
外部記憶装置１、中央演算処理装置（ＣＰＵ）２、及び
一時記憶領域を有する内部記憶装置３から構成されてい
る。

【００１９】前記外郭記憶装置１は、カメラ位置・姿勢
データ格納領域１０１、３次元構造モデル格納領域１０
２、ビデオ映像格納領域１０３、及びテクスチャ付３次
元構造モデル格納領域１０４を有する。

【００２０】前記中央演算処理装置２は、前述の領域１
０１、１０２、１０３に格納されている各種データを外
部記憶装置１から読み出すデータ読み出し手段２０１、
カメラ位置・姿勢データ格納領域１０１から読み出した
カメラ位置・姿勢データに基づいてビデオカメラ撮影時
の位置、姿勢を推定するビデオカメラ位置・姿勢推定手
段２０２、３次元構造モデル格納領域１０２から読み出
した３次元構造モデルと、前記ビデオカメラ位置・姿勢
推定手段２０２で推定したビデオカメラ位置・姿勢デー
タとを用いてテクスチャ探索を行うビデオ画像の範囲を
絞り込む探索画像絞り込み手段２０３、この絞り込む探
索画像絞り込み手段２０３により絞り込んたビデオ画象
の中から最適なテクスチャを選択するテクスチャ選択手
投２０４、ビデオ画像格納領域１０３から読み出したビ
デオ映像から当該テクスチャを切り取るテクスチャ切取
り手段２０５、３次元構造モデル格納領域１０２から読
み出した３次元構造モデルの各ポリゴンに当該切り取っ
たテクスチャを貼り付けるテクスチャマッピング手段２
０６、及び当該テクスチャを貼り付けた３次元構造モデ
ルを外部記憶装置１のテクスチャ付３次元構造モデル格
納領域１０４に格納するデータ書き込み手段２０７を有
する。

【００２１】前記内部記憶装置３は、ビデオカメラ位置
・姿勢推定手段２０２から得られるデータを格納するビ
デオカメラ位置姿勢データ格納領域３０１、探索画像絞
り込み手段２０３から得られるデータを格納するテクス
チャ情報格納領域３０２を有する。

【００２２】図２は、本実施例１のビデオカメラの位置
・姿勢推定手段２０２における推定方法の原理を説明す
るための図である。図２において、Ａ及びＢは推定に用
いるカメラ位置・姿勢データである。このＡデータ及び
Ｂデータは、ビデオカメラ位置・姿勢データのサンプリ
ングデータとみなすことができ、本発明では当該データ
に基づいてビデオカメラ位置・姿勢を推定する。具体的
にはＡデータとＢデータとの間でビデオカメラが線形移
動すると仮定し、両者の差分量をフレーム数Ｎで割った
値を変化量として各ビデオカメラの位置及び姿勢を推定
する。

【００２３】前記Ａデータ（Ａフレーム）とＢデータ
（Ｂフレーム」の間のＫ（Ｋ＝１，２，３，・・・Ｎ）
番目のフレームの位置・姿勢情報は数１の式のようにな
る。

【００２４】

【数１】

【００２５】図３は、本実施例１の探索画像絞り込み手
段２０３におけるビデオ画像の読み込み方法の原理を説
明するための図である。本発明では、目的とするテクス
チャの全部もしくは一部しか映っていないビデオ画像
（図３（a））、目的とするテクスチャが他のテクスチ
ャに隠れているビデオ画像（図３（c））を、テクスチ
ャ取得のためのビデオ映像から除外することにより、最
適テクスチャの探索範囲を絞り込む。

【００２６】図４は、本実施例１のテクスチャ選択手投
２０４におけるビデオ画像の選択方法の原理を説明する
ための図である。５１はビデオカメラの投影中心すなわ
ら撮影点、５２はビデオカメラに映る画像面であるビデ
オ画像面、５３は撮影点５１から３次元構造モデルを撮
ったビデオ画像面５２に映っている面であるテクスチャ
面、５４はテクスチャ面５３の重心、５５は撮影点５１
からの垂線とビデオ画像面５２との交点である主点、５
６は３次元構造モデル内の面である対象ポリゴン、５７
は３次元構造モデルである。さらに、対象ポリゴン５６
の各頂点に対応するテクスチャ面５３の各頂点を対応点
と呼ぶ。

【００２７】本実施例１では、テクスチャ面５３の面積
が最大となる画像を最適なテクスチャを有するビデオ画
像とする。さらに、当該面積が等しいテクスチャ面５３
が複数のビデオ画像にある場合は、当該テクスチャ面５
３の面積５４と主点５５との距離が最小になるビデオ画
像が最適なテクスチャを有するビデオ画像とする。これ
は、対象ポリゴン５６の重心と主点５５とが一致する向
きで、テクスチャ面５３の面積が最大になる撮影点５１
から撮影した画像が最適なテクスチャを有することを意
味している。

【００２８】図５は、本実施例１のテクスチャマッピン
グ装置全体の動作を説明するためのフローチャートであ
る。本実施例１のテクスチャマッピング装置は、図５に
示すように、位置・姿勢データの基となるカメラ位置・
姿勢データを読み込み（Ｓ０１）、この読み込まれたカ
メラ位置・姿勢データからビデオカメラの位置・姿勢を
推定する（Ｓ０２）。次に、３次元構造モデルを読み込
み（Ｓ０３）、この読み込まれた３次元構造モデルの中
から１つの対象ポリゴンを選出する（Ｓ０４）。さら
に、この選出された対象ポリゴンに対応するテクスチャ
が映っていないビデオ画像、一部しか映っていないビデ
オ画像、他のテクスチャに隠れて全てのテクスチャが映
っていないビデオ画像を探索画像から除外することによ
り探索画像を絞り込み（Ｓ０５）、この絞り込まれた探
索画像の中から最適なテクスチャを有するビデオ画像を
選択し（Ｓ０６）、この選択されたビデオ画像を読み込
み（Ｓ０７）、この読み込まれたビデオ画像から対応ポ
リゴンに対応するテクスチャを切り取り（Ｓ０８）、こ
の切り取られたテクスチャを対象ポリゴンに貼り付ける
（Ｓ０９）。

【００２９】前記ステップＳ０１〜Ｓ０９までの処理を
３次元構造モデル内の全てのポリゴンに対して行い（Ｓ
１０）、前記処理により作成されたテクスチャ付３次元
構造モデルを格納する（Ｓ１１）。

【００３０】図６は、本実施例１のビデオカメラ位置・
姿勢推定の処理手順を示すフローチャートである。本実
施例１のビデオカメラ位置・姿勢推定の処理手順は、図
６に示すように、連続するビデオ画像に対してシーケン
シャルに振り付けた画像番号と、当該ビデオ画像を撮影
したビデオカメラの位置情報（Ｘ、Ｙ、Ｚ）及び姿勢情
報（κ、φ、ω）とを格納する一時記憶領域であるビデ
オ画像情報を初期化し（Ｓ０２０１）、ある一定間隔で
推定した高精度のカメラ位置・姿勢データを読み込み
（Ｓ０２０２）、この読み込まれたカメラ位置・姿勢デ
ータ間に存在するビデオカメラの画像のフレーム数Ｎを
算出する（Ｓ０２０３）。

【００３１】次に、この算出されたフレーム数分のカウ
ントを行うためにカウンターを初期化し（Ｓ０２０
４）、該当するフレームに対応するビデオ画像を撮影し
たビデオカメラの位置・姿勢情報（Ｘ、Ｙ、Ｚ、κ、
φ、ω）を計算し（Ｓ０２０５）、この計算された結果
の値をビデオ画像情報に格納する（Ｓ０２０６）。前記
ステップＳ０２０５及びＳ０２０６の処理をカウンター
により数えＮ回繰り返す（Ｓ０２０７）。さらに、一定
間隔で推定したカメラ位置・姿勢データの全てに対して
前記ステップＳ０２０２〜Ｓ０２０７の処理が終了する
まで繰り返す。

【００３２】図７及び図８は、本実施例１の探索画像絞
り込み処理の手順を示すフローチャートである。本実施
例１の探索画像絞り込み処理は、図７に示すように、連
続するビデオ画像に対してシーケンシャルに振り付けた
画像番号、該画像番号のビデオ画像に映っているテクス
チャの各頂点を区別する頂点番号、該各頂点番号に対応
する頂点のビデオ画像面上の座標、及び当該各頂点と撮
影点との距離とを格納する一時記憶領域に格納してある
テクスチャ情報を初期化し（Ｓ０５０１）、ビデオカメ
ラの位置・姿勢データを格納したビデオ画像情報からデ
ータを１つ読み込み（Ｓ０５０２）、図５のステップＳ
０４で選出した対象ポリゴンの１つの頂点を選択する
（Ｓ０５０３）。

【００３３】次に、前記選択された頂点と撮影点との距
離を計算し（Ｓ０５０４）、当該頂点に対応するテクス
チャ面の頂点座標を計算し（Ｓ０５０５）、テクスチャ
情報として画像番号、頂点番号、座標、撮影点との距離
を格納する（Ｓ０５０６）。前記ステップＳ０５０３〜
Ｓ０５０６の処理を全ての頂点に対して行い（Ｓ０５０
７）、その結果、全ての対応点の座標がビデオ画像面内
にある場合は、図８のＢへ進み、1つでもビデオ画像面
内に含まれなかった場合には、図８のＣへ進む（Ｓ０５
０８）。この処理により、ビデオ画像内にテクスチャの
全部が映っている可能性のある画像とテクスチャの全部
もしくは一部しか映っていない画像とが区別される。

【００３４】さらに、ビデオ画像内にテクスチャの全部
が映っている可能性のある画像に対して、対象ポリゴン
の重心から一定距離内に含まれる１つのポリゴンを選出
し（Ｓ０５０９）、この選出されたポリゴン内の１つの
頂点を選出し（Ｓ０５１０）、この選出された頂点に対
応するビデオ画像面上の点の座標を計算し（Ｓ０５１
１）、当該対応点が対象としているテクスチャ面内に含
まれているか否かを調ベる（Ｓ０５１２）。当該対応点
がテクスチャ面内にある場合、対象とするテクスチャに
隠れている可能性があるため、ステップＳ０５１０にて
選出した頂点と撮影点との距離Ｌ１を計算し（Ｓ０５１
３）、対象ポリゴンの重心と撮影点との距離Ｌ２を計算
し（Ｓ０５１４）、当該両者を比較し（Ｓ０５１５）、
Ｌ１が短い場合には、現在、対象としているポリゴンに
関する情報をテクスチャ情報の中から削除する（Ｓ０５
１７）。前記ステップＳ０５１０〜Ｓ０５１５の処理を
全ての頂点に対して処理し（Ｓ０５１６）、前記ステッ
プＳ０５０９〜Ｓ０５１６の処理を対象ポリゴンの重心
から一定距離内の全てのポリゴンに対して処理し（Ｓ０
５１８）、前記ステップＳ０５０２〜Ｓ０５１８の処理
をビデオ画像情報の全てのデータに対して処理する（Ｓ
０５１９）。

【００３５】図９は、本実施例１のテクスチャ選択処理
手順を示すフローチャートである。前記テクスチャ選択
処理手順は、図９に示すように、テクスチャ面の面積の
最大値とテクスチャ面内の重心と主点との距離の最小値
を格納する変数を初期化し（Ｓ０６０１）、テクスチャ
情報から１つのデータを読み込み（Ｓ０６０２）、テク
スチャ面の面積を計算し（Ｓ０６０３）、テクスチャ面
の重心と主点との距離を計算する（Ｓ０６０４）。

【００３６】前記計算されたテクスチャ面の面積及びテ
クスチャ面の重心と主点との距離とを比較し（Ｓ０６０
５〜Ｓ０６０７）、当該面積が最大の場合、当該面積が
最大に等しく、かつ当該距離が最小の時に、当該面積、
当該距離、及びそのときの画像番号を格納する（Ｓ０６
０８）。前記ステップＳ０６０２〜Ｓ０６０８の処理を
全てのデータに対して行う（Ｓ０６０９）。

【００３７】図１０に、一時記憶領域であるビデオカメ
ラ情報の格納項目を示す。本発明において使用するビデ
オカメラ情報には連続するビデオ画像にシーケンシャル
に割り振った画像番号に対して、ビデオカメラ位置情報
ｂｘ、ｂｙ、ｂｚ、ビデオカメラ姿勢情報κ、ψ、ωを
格納する。

【００３８】図１１に、一時記憶領域であるテクスチャ
情報の格納項目を示す。本発明において使用するテクス
チャ情報には、図１０に示したビデオカメラ情報の画像
番号に対応する画像番号、当該ビデオ画像内のテクスチ
ャ面の各頂点を示す頂点番号、当該頂点の座標、各頂点
と撮影点との距離を格納する。

【００３９】以上説明したように、本実施例１によれ
ば、位置情報を有する３次元構造モデルと実写撮影時の
ビデオカメラの位置情報・姿勢情報とを利用するので、
３次元構造モデルの各ポリゴンに最適なテクスチャを自
動的にマッピングすることができる。

【００４０】また、テクスチャ取得用にビデオ映像を利
用するので、従来のカメラ撮影と比較して作業量及び作
業時間を大幅に削減、短縮することができる。

【００４１】また、大量の画像が取得できるので、従
来、少量の画像からでは取得されなかったテクスチャを
容易に取得することができる。

【００４２】また、最適なテクスチャが映っている画像
を自動的に選択することができる。また、対応するポリ
ゴンに自動的に貼り付けることができる。これらによ
り、従来のテクスチャマッピング作業と比較して作業量
を大幅に削減することができる。

【００４３】（実施例２）図１２は、本発明による実施
例２のカメラ位置・姿勢データ及びビデオ映像を同時に
取得するためのビデオカメラ装置の概略構成を示す図で
ある。

【００４４】図１２に示すように、高解像度カメラ６１
とＧＰＳ（Ｇlobal ＰositioningＳystem）からのＧＰ
Ｓ信号６３を利用して本発明に必要なカメラ位置・姿勢
情報を取得（詳細は特願平１０−２５５３３８号参照）
し、当該取得したカメラ位置・姿勢を利用してビデオカ
メラ位置・姿勢情報を推定するために高解像度のカメラ
６１にビデオカメラ６２を図１２のように併設する。こ
れにより、高解像度のカメラ６１を利用して高精度のカ
メラ位置・姿勢情報を取得することができ、ビデオカメ
ラ６２より当該情報を付加したヒデオ映像を取得するこ
とが可能となる。

【００４５】（実施例３）図１３は、本発明による実施
例３のテクスチャマッピング装置の概略構成を示すブロ
ック構成図であり、６３はＧＰＳからのＧＰＳ信号であ
る。１０１Ａは高解像度カメラ６１のカメラ位置・姿勢
データ格納領域である。

【００４６】本実施例３は、図１２に示すビデオカメラ
装置を、例えば、ヘリコプター、自動車等に搭載し、Ｇ
ＰＳ信号６３と高解像度カメラ６１からの高解像度画像
を利用して高精度のカメラ６１のカメラ位置・姿勢デー
タを推定する（詳細は特願平１０−２５５３３８号参
照）。当該推定データおよび位置情報を有する３次元都
市構造モデル、空撮ビデオ映像等を外部記憶装置に格納
し、当該各データを用いて本実施例３のテクスチャマッ
ピング装置によりテクスチャ付きの３次元都市構築モデ
ルの作成ができる。

【００４７】特に、本発明では、空撮ビデオデータを使
用する必要はなく、自動車に図１２に示すビデオカメラ
装置を搭載し、自動車搭載のビデオ映像を使用しても同
様のテクスチャ付き３次元構造モデルの作成が可能であ
る。さらに、ビデオカメラ６２やＧＰＳ信号６３の高性
能化／小型化／軽量化が進むと、人が持ち運びできる図
１２に示すようなビデオカメラ装置により、位置情報を
有する３次元構造モデルにテクスチャの貼り付けが可能
になる。

【００４８】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。

【００４９】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。 （１）位置情報を有する３次元構造モデルと実写撮影時
のビデオカメラの位置情報・姿勢情報とを利用するの
で、３次元構造モデルの各ポリゴンに最適なテクスチャ
を自動的にマッピングすることができる。 （２）テクスチャ取得用にビデオ映像を利用するので、
従来のカメラ撮影と比較して作業量及び作業時間を大幅
に削減、短縮することができる。 （３）大量の画像が取得できるので、従来、少量の画像
からでは取得されなかったテクスチャを容易に取得する
ことができる。 （４）最適なテクスチャが映っている画像を自動的に選
択することができ、かつ対応するポリゴンに自動的に貼
り付けることができるので、従来のテクスチャマッピン
グ作業と比較して作業量を大幅に削減することができ
る。

【図面の簡単な説明】

【図１】本発明による実施例１のテクスチャマッピング
装置の概略構成を示すブロック構成図である。

【図２】本実施例１におけるビデオカメラの位置・姿勢
の推定方法の原理を説明するための図である。

【図３】本実施例１におけるビデオ画像の読み込み方法
の原理を説明するための図である。

【図４】本実施例１におけるビデオ画像の選択方法の原
理を説明するための図である。

【図５】本実施例１のテクスチャマッピング装置の全体
の処理動作を説明するためフローチャートである。

【図６】本実施例１のビデオカメラ位置・姿勢推定の処
理手順を示すフローチャートである。

【図７】本実施例１の探索画像絞り込み処理の手順を示
すフローチャートである。

【図８】本実施例１の探索画像絞り込み処理の手順を示
すフローチャートである。

【図９】本実施例１のテクスチャ選択処理手順を示すフ
ローチャートである。

【図１０】本実施例１の一時記憶領域であるビデオカメ
ラ情報の格納項目を示す図である。

【図１１】本実施例１の一時記憶領域であるテクスチャ
情報の格納項目を示す。

【図１２】本発明による実施例２のカメラ位置・姿勢デ
ータ及びビデオ映像を同時に取得するためのビデオカメ
ラ装置の概略構成を示す図である。

【図１３】本発明による実施例３のテクスチャマッピン
グ装置の概略構成を示すブロック構成図である。

【符号の説明】

１…外部記憶装置、２…中央演算処理装置（ＣＰＵ）、
３…内部記憶装置、１０１、１０１Ａ…カメラ位置・姿
勢データ格納領域、１０２…３次元構造モデル格納領
域、１０３…ビデオ映像格納領域、１０４…テクスチャ
付３次元構造モデル格納領域１０４、２０１…データ読
み出し手段、２０２…ビデオカメラ位置・姿勢推定手
段、２０３…探索画像絞り込み手段、２０４…テクスチ
ャ選択手段、２０５…テクスチャ切取り手段、２０６…
テクスチャマッピング手段、２０７…データ書き込み手
段、３０１…ビデオカメラ位置姿勢データ格納領域、３
０２…テクスチャ情報格納領域、５１…ビデオカメラの
投影中心（撮影点）、５２…ビデオ画像面、５３…テク
スチャ面、５４…テクスチャ面の重心、５５…主点、５
６…対象ポリゴン、５７…３次元構造モデル、６１…高
解像度のカメラ、６２…ビデオカメラ、６３…ＧＰＳ信
号。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 宮川 勲 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (72)発明者 杉村 利明 東京都新宿区西新宿三丁目19番２号 日 本電信電話株式会社内 (56)参考文献 特開 平10−255053（ＪＰ，Ａ) 特開2000−90269（ＪＰ，Ａ) 特開 平９−97354（ＪＰ，Ａ) 長井茂，映像とＧＰＳ信号によるカメ ラ運動の推定，情報処理学会第57回（平 成10年後期）全国大会，日本，情報処理 学会，1998年10月 ５日，Ｖｏｌ. 1998，Ｎｏ．２，183−184 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/00 G06T 17/00 H04N 7/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 位置情報を有する３次元構造モデルに対
   して、カメラで撮影した実写画像を自動的にテクスチャ
   マッピングするテクスチャマッピッング方法であって、 一定間隔で格納されている 実写撮影時のビデオカメラの
   カメラ位置・姿勢データを順次読み込む手順１と、 前記手順１で読み込んだカメラ位置・姿勢データ間に存
   在するビデオカメラの画像のフレーム数を算出し、該当
   するフレームに対応するビデオ画像を撮影したビデオカ
   メラの位置・姿勢情報（Ｘ、Ｙ、Ｚ、κ、φ、ω）を計
   算する手順２と、 前記手順２で計算された結果の値をビデオ画像に格納す
   る手順３と、 前記３次元構造モデルから対象ポリゴンを選択する手順
   ４と、 前記手順４で 選択された対象ポリゴンとビデオカメラと
   の相対位置関係から探索するビデオ画像の範囲を絞り込
   む手順５と、 前記手順５で絞り込んだビデオ画像を順次読み込み、テ
   クスチャ面の面積、および、テクスチャ面の重心と主点
   との距離を計算する手順６と、 前記手順６で計算したテクスチャ面の面積、および、テ
   クスチャ面の重心と主点との距離とを比較し、当該面積
   が最大であるビデオ画像、または当該面積が最大である
   ビデオ画像が複数ある場合は前記距離が最小のビデオ画
   像を一意に選択する手順７と、 前記手順７で選択された ビデオ画像からテクスチャを切
   り取り、この切り取ったテクスチャを対応するポリゴン
   に自動的に貼り付ける手順８とを有することを特徴とす
   るテクスチャマッピッング方法。
2. 【請求項２】 前記手順３は、ビデオカメラの位置・姿
   勢データを格納したビデオ画像からデータを１つ読み込
   む手順１１と、 選択された対象ポリゴンの１つの頂点を選択する手順１
   ２と、 前記手順１２で選択された頂点と撮影点との距離を計算
   して、該頂点に対応するテクスチャ面の頂点座標を計算
   し、テクスチャ情報として画像番号、頂点番号、座標、
   撮影点との距離を格納する手順１３と、 前記手順１２と前記手順１３とを全ての頂点に対して行
   い、ビデオ画像内にテクスチャの全部が映っている可能
   性のある画像とテクスチャの全部もしくは一部しか映っ
   ていない画像とを区別する手順１４と、 テクスチャの全部もしくは一部しか映っていない画像を
   テクスチャ情報から削除する手順１５と、 ビデオ画像内にテクスチャの全部が映っている可能性の
   ある画像に対して、対象ポリゴンの重心から一定距離内
   に含まれる１つのポリゴンを選出する手順１６と、 前記手順１６で選出されたポリゴン内の１つの頂点を選
   出し、この選出された頂点に対応するビデオ画像面上の
   点の座標を計算し、当該対応点が対象としているテクス
   チャ面内に含まれているか否かを調ベる手順１７と、 前記手順１７で調べた結果、対応点がテクスチャ面内に
   ある場合、前記選出した頂点と撮影点との距離Ｌ１と、
   対象ポリゴンの重心と撮影点との距離Ｌ２を計算する手
   順１８と、 前記手順１８で計算された距離Ｌ１と、距離Ｌ２とを比
   較し、前記距離Ｌ１が短い場合には、現在、対象として
   いるビデオ画像に関する情報をテクスチャ情報の中から
   削除する手順１９と、 前記手順１７ないし手順１９を、前記手順１６で選出さ
   れたポリゴンの頂点の全てに対して行う手順２０と、 前記手順１６ないし手順２０を、対象ポリゴンの重心か
   ら一定距離内の全てのポリゴンに対して行う手順２１
   と、 前記手順１１ないし手順２１を、ビデオカメラの位置・
   姿勢データを格納したビデオ画像の全てに対して行う手
   順２２とを有することを特徴とする請求項１に記載の テ
   クスチャマッピング方法。
3. 【請求項３】 位置情報を有する３次元構造モデルに対
   して、カメラで撮影した実写画像を自動的にテクスチャ
   マッピングするテクスチャマッピング方法を、コンピュ
   ータに実行させるためのプログラムを記録した記録媒体
   において、 前記プログラムは、コンピュータに、外部記憶装置か
   ら、一定間隔で格納されている実写撮影時のビデオカメ
   ラのカメラ位置・姿勢データを順次読み込ませる 手順１
   と、 前記手順１で読み込ませたカメラ位置・姿勢データ間に
   存在するビデオカメラの画像のフレーム数を算出させ、
   該当するフレームに対応するビデオ画像を撮影したビデ
   オカメラの位置・姿勢情報（Ｘ、Ｙ、Ｚ、κ、φ、ω）
   を計算させる手順２と、 前記手順２で計算させた結果の値をビデオ画像に格納さ
   せる手順３と、 前記３次元構造モデルから対象ポリゴンを選択させる手
   順４と、 前記手順４で選択させた対象ポリゴンとビデオカメラと
   の相対位置関係から探索するビデオ画像の範囲を絞り込
   ませる手順５と、 前記手順５で絞り込ませたビデオ画像を順次読み込ま
   せ、テクスチャ面の面積、および、テクスチャ面の重心
   と主点との距離を計算させる手順６と、 前記手順６で計算させたテクスチャ面の面積、および、
   テクスチャ面の重心と主点との距離とを比較し、当該面
   積が最大であるビデオ画像、または当該面積が最大であ
   るビデオ画像が複数ある場合は前記距離が最小のビデオ
   画像を一意に選択させる手順７と、 前記手順７で選択されたビデオ画像からテクスチャを切
   り取り、この切り取ったテクスチャを対応するポリゴン
   に自動的に貼り付ける手順８とを実行させることを特徴
   とするテクスチャマッピング方法をコンピュータに実行
   させるためのプログラムを記録した記録媒体。
4. 【請求項４】 前記手順３は、ビデオカメラの位置・姿
   勢データを格納したビデオ画像からデータを１つ読み込
   ませる手順１１と、 前記選択させた対象ポリゴンの１つの頂点を選択させる
   手順１２と、 前記手順１２で選択させた頂点と撮影点との距離を計算
   させて、該頂点に対応するテクスチャ面の頂点座標を計
   算させ、テクスチャ情報として画像番号、頂点番号、座
   標、撮影点との距離を格納させる手順１３と、 前記手順１２と前記手順１３とを全ての頂点に対して行
   わせ、ビデオ画像内にテクスチャの全部が映っている可
   能性のある画像とテクスチャの全部もしくは一部しか映
   っていない画像とを区別させる手順１４と、 テクスチャの全部もしくは一部しか映っていない画像を
   テクスチャ情報から削 除させる手順１５と、 ビデオ画像内にテクスチャの全部が映っている可能性の
   ある画像に対して、対象ポリゴンの重心から一定距離内
   に含まれる１つのポリゴンを選出させる手順１６と、 前記手順１６で選出させたポリゴン内の１つの頂点を選
   出させ、この選出させた頂点に対応するビデオ画像面上
   の点の座標を計算させ、当該対応点が対象としているテ
   クスチャ面内に含まれているか否かを調ベさせる手順１
   ７と、 前記手順１７で調べさせた結果、対応点がテクスチャ面
   内にある場合、前記選出させた頂点と撮影点との距離Ｌ
   １と、対象ポリゴンの重心と撮影点との距離Ｌ２を計算
   させる手順１８と、 前記手順１８で計算させた距離Ｌ１と、距離Ｌ２とを比
   較し、前記距離Ｌ１が短い場合には、現在、対象として
   いるビデオ画像に関する情報をテクスチャ情報の中から
   削除させる手順１９と、 前記手順１７ないし手順１９を、前記手順１６で選出さ
   れたポリゴンの頂点の全てに対して行わせる手順２０
   と、 前記手順１６ないし手順２０を、対象ポリゴンの重心か
   ら一定距離内の全てのポリゴンに対して行わせる手順２
   １と、 前記手順１１ないし手順２１を、ビデオカメラの位置・
   姿勢データを格納したビデオ画像の全てに対して行わせ
   る手順２２であることを特徴とする請求項３に記載のプ
   ログラムを記録した記録媒体。
5. 【請求項５】 ３次元構造モデルに対して、ビデオカメ
   ラで撮影した実写画像を自動的にテクスチャマッピング
   するテクスチャマッピング装置であって、 ビデオカメラで撮影した実写画像、および一定間隔毎の
   ビデオカメラのカメラ位置・姿勢データを格納する外部
   記憶装置と、 前記外部記憶装置から、一定間隔で格納されているビデ
   オカメラで撮影した実写画像のカメラ位置・姿勢データ
   を順次読み出す位置・姿勢データ読み出し手段と、 実写撮影時のビデオカメラの位置及び姿勢を推定する位
   置・姿勢推定手段と、 ３次元構造モデルとビデオカメラとの相対位置関係から
   探索ビデオ画像の範囲 を絞り込む探索ビデオ画像範囲絞
   り込み手段と 、前記探索ビデオ画像範囲絞り込み手段により絞り込んだ
   ビデオ画像の中から最適なテクスチャが映っているビデ
   オ画像を選択するビデオ画像選択手段と、 前記ビデオ画像選択手段により選択されたビデオ画像か
   らテクスチャを切り取るテクスチャ切り取り手段と、 前記テクスチャ切り取り手段により切り取ったテクスチ
   ャを対応するポリゴンに自動的に貼り付ける貼り付け手
   段とを具備し 、前記位置・姿勢推定手段は、前記位置・姿勢データ読み
   出し手段で順次読み出されたカメラ位置・姿勢データ間
   に存在するビデオカメラの画像のフレーム数を算出し、
   該当するフレームに対応するビデオ画像を撮影したビデ
   オカメラの位置・姿勢情報（Ｘ、Ｙ、Ｚ、κ、φ、ω）
   を計算する第１の手段と、 前記第１の手段で計算された結果の値をビデオ画像に格
   納する第２の手段とを有し、 前記ビデオ画像選択手段は、前記探索ビデオ画像範囲絞
   り込み手段で絞り込んだビデオ画像を順次読み込み、テ
   クスチャ面の面積、および、テクスチャ面の重心と主点
   との距離を計算する第１の手段と、 前記第１の手段で計算したテクスチャ面の面積、およ
   び、テクスチャ面の重心と主点との距離とを比較し、当
   該面積が最大であるビデオ画像、または当該面積が最大
   であるビデオ画像が複数ある場合は前記距離が最小のビ
   デオ画像を一意に選択する第２の手段とを有することを
   特徴とするテクスチャマッピング装置。
6. 【請求項６】 前記探索ビデオ画像範囲絞り込み手段
   は、前記位置・姿勢推定手段によりビデオカメラの位置
   ・姿勢データが格納されたビデオ画像を順次読み込む第
   １の手段と、 前記第１の手段で読み込まれたビデオ画像毎に、前記選
   択された対象ポリゴンの全ての頂点について、各頂点毎
   に、頂点と撮影点との距離を計算して、該頂点に対応す
   るテクスチャ面の頂点座標を計算し、テクスチャ情報と
   して画像番号、頂点番号、座標、撮影点との距離を格納
   する第２の手段と、 前記第２の手段での計算結果に基づき、ビデオ画像内に
   テクスチャの全部が映っている可能性のある画像とテク
   スチャの全部もしくは一部しか映っていない画 像とを区
   別する第３の手段と、 テクスチャの全部もしくは一部しか映っていない画像を
   テクスチャ情報から削除する第４の手段と、 ビデオ画像内にテクスチャの全部が映っている可能性の
   ある画像に対して、対象ポリゴンの重心から一定距離内
   の全てのポリゴンを選択する第５の手段と、 前記第５の手段で選出された各ポリゴン毎に、ポリゴン
   の全ての頂点について、各頂点毎に頂点に対応するビデ
   オ画像面上の点の座標を計算し、当該対応点が対象とし
   ているテクスチャ面内に含まれているか否かを調ベる第
   ６の手段と、 前記第６手段での結果に基づき、対応点がテクスチャ面
   内にある場合、前記選出した頂点と撮影点との距離Ｌ１
   と、対象ポリゴンの重心と撮影点との距離Ｌ２を計算す
   る第７の手段と、 前記第７の手段で計算された距離Ｌ１と、距離Ｌ２とを
   比較し、前記距離Ｌ１が短い場合には、現在、対象とし
   ているビデオ画像に関する情報をテクスチャ情報の中か
   ら削除する第８手段とを有することを特徴とするテクス
   チャマッピング装置。
7. 【請求項７】 前記外部記憶装置に格納される実写画像
   は、ビデオカメラで撮影した実写画像であり、 前記外部記憶装置に格納されるビデオカメラの位置・姿
   勢データは、前記ビデオカメラに併設される高解像度カ
   メラで撮影された高解像度画像から取得されるデータで
   あることを持徴とする請求項５または請求項６に記載の
   テクスチャマッピング装置。
8. 【請求項８】 前記ビデオカメラ、および前記ビデオカ
   メラに併設される高解像度カメラを、自動車もしくはヘ
   リコプターに搭載されることを持徴とする請求項７に記
   載のテクスチャマッピング装置。