JP3352454B2 - 画像処理装置及びその方法並びに記憶媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、現実空間内に仮想
的に配置された仮想物体を撮像した参照画像と、注目視
点位置から撮像した前記現実空間の画像とを用いて、当
該注目視点位置から見た前記仮想物体の画像を生成する
画像処理装置及びその方法並びに記憶媒体に関するもの
である。

【０００２】

【従来の技術】現実空間と仮想空間を違和感なく自然に
結合する複合現実感に関する研究が盛んに行われてい
る。その中でも正しい形状で仮想物体像を現実空間の画
像に合成し、現実空間において正しい位置に（位置ずれ
を起こさないように）重畳するということは複合現実感
の実現において重要な課題である。仮想物体像を合成す
る方法の枠組みには大まかに分類すると以下の２つの方
法がある。

【０００３】一つ目は仮想物体の２種類の見え方を記録
した２枚の画像から新しい見え方を合成するイメージベ
ーストレンダリング（ＩＢＲ）方式で、二つ目は仮想物
体の三次元形状モデルを射影して仮想物体像を合成する
モデルベーストレンダリング（ＭＢＲ）方式である。Ｉ
ＢＲ方式は合成した仮想物体の幾何的整合性を保ちやす
く、一般的にＭＢＲ方式と比較して高速に処理すること
ができるという特徴を持つ。

【０００４】また、複数方向から同一物体像を撮影し、
任意の新たな視点からの物体像を生成する手法が提案さ
れている。例えば従来では物体のポリゴンの各頂点につ
いて、観測している参照画像を組み合せることで対象物
体の三次元座標を算出せずに物体像を生成する手法が述
べられている。しかし、この手法では計算コストが高
く、物体像の合成に時間がかかるという点で改良が求め
られていた。

【０００５】ここでＩＢＲによって２枚の参照画像、１
枚の対象画像から物体像を合成する手法について説明す
る。ＩＢＲによって物体像を合成し、実空間像のしかる
べき位置に重畳するためには、以下の設定が満たされて
いる必要がある。

【０００６】１） 仮想化する剛体の実物体を２箇所の
視点から撮影した参照画像があること。

【０００７】２） 第３の視点から実空間像を撮影した
対象画像があること。

【０００８】３） ２枚の参照画像に写っている物体像
は、互いに物体像を構成するポリゴンの頂点（特徴点と
呼ぶ）が対応づけられ、特徴点を頂点として形成された
ポリゴンも互いに対応していること。

【０００９】４） 剛体仮定を満たす最低４点のランド
マークが対象画像と２枚の参照画像の中に共通に写って
いること（画像上でのランドマークを基準点と呼ぶ）。

【００１０】これらの関係を図１Ａ，１Ｂに示す。基準
点Ｐ１〜Ｐ４は３つの視点（Ｃ１，Ｃ２，Ｃ３）間（正
確には３視点から撮影した画像間）の関係を求めるのに
必要である。図１Ａに示す２枚の参照画像Ｒ１，Ｒ２
は、基準点Ｐ１〜Ｐ４と登録物体Ｏの特徴点との間の関
係を表現している。参照画像Ｒ１，Ｒ２と図１Ｂに示す
対象画像Ｔ１に写っている基準点Ｐ１〜Ｐ４は、剛体仮
定が満たされていればよく、三次元配置は既知である必
要はない。また、参照画像Ｒ１，Ｒ２の視点の基準点Ｐ
１〜Ｐ４に対する三次元配置も既知である必要はない。

【００１１】なお図１Ｂにおいて対象画像Ｔ１に表示さ
れている物体１００の画像は後述する方法で参照画像Ｒ
１，Ｒ２を用いて生成される画像であり、視点Ｃ３から
は直接は見えないものである。

【００１２】対象画像Ｔ１内の物体像１００の合成と位
置合わせは、対象画像Ｔ１と２枚の参照画像Ｒ１，Ｒ２
の計３枚の画像中に写っている基準点Ｐ１〜Ｐ４を手が
かりとして、以下の手順で行う。

【００１３】１） ３枚の画像中の基準点の対応関係を
用いて、３画像間の拘束、すなわち物体Ｏを３視点から
撮影した場合の３画像上の特徴点座標の関係を表す拘束
式を求める。

【００１４】２） １）で求めた拘束式に３画像上の基
準点を代入することで、２つの参照画像上での見え方の
みが与えられている物体像の対象画像上での見え方を決
定するパラメータを求める。

【００１５】３） １）で求めた拘束式に、２）で求め
たパラメータ及び２枚の参照画像Ｒ１，Ｒ２上の特徴点
座標を代入することによって対象画像Ｔ１上にあるべき
特徴点の座標を算出する。

【００１６】４） 対象画像Ｔ１上の特徴点座標を頂点
としてポリゴンを形成し、参照画像Ｒ１，Ｒ２の対応す
るポリゴンのテクスチャをマッピングする。

【００１７】この方法による物体像の合成は、２枚の物
体像から物体のアフィン形状を復元し、アフィンカメラ
によって対象画像上に射影することに相当しており、２
次元的な変形のみを行うモーフィングとは本質的に異な
るものである。従って、２枚の参照画像を撮影した２視
点間の補間だけでなく、対象画像の視点位置の自由度は
大きい。

【００１８】次に、物体像が撮影されている１枚の参照
画像と、物体像が撮影されていない１枚の対象画像か
ら、対象画像上での見え方の物体像を生成するための原
理について説明する。

【００１９】３枚の画像をそれぞれＩ，Ｉ’，Ｉ”とす
る。三次元空間中のある１点について、これをアフィン
カメラによりＩに射影する２×３の行列をＭ_２×３（Ｍ
_{ａ× ｂ}はａ行ｂ列の行列Ｍであることを示す）,ｘ
^〜（ｘ^〜はｘのベクトル表記）がＩに射影される点をｕ
^〜＝（ｕ，ｖ）^Ｔとするとこれらの関係は

【００２０】

【数１】 と表される。但し、このｕ^〜は画像上の１つの基準点か
らの相対位置を表しているものとする。Ｉ’，Ｉ”につ
いても同様に

【００２１】

【数２】 と表される。式（１）（２）をまとめると、

【００２２】

【数３】 となる。ここでλは非零の実数である。Ｍ_ｕ、Ｍ_ｖはＭ
の各行を表している。式（３）の右項に関して（Ｘ^〜、
λ）^Ｔ≠０であり、左項の係数行列のランクは高々３で
あるので、左項の係数行列に関して６つの行から任意の
４行を組み合わせて作る４×４の行列はすべて特異でな
ければならない。つまり任意の４×４小行列の行列式は
０である。例えば式（３）から１，２，３，４行目を取
ると

【００２３】

【数４】 となる。式（４）はｕ，ｖ，ｕ’，ｖ’の線形結合が０
に等しいことを示している。ｕ，ｖとｕ’，ｖ’は点Ｘ
^〜のＩ，Ｉ’上の像であるので、この式は２画像Ｉ，
Ｉ’間の拘束を表現していることになる。

【００２４】式（３）の左辺の係数行列から４行を組み
合わせ、小行列を構成する組み合わせは１５（＝
Ｃ^４ _６）通り存在する。各小行列について行列式を０と
する式を立てるとそれぞれｕ，ｖ，ｕ’，ｖ’，ｕ”，
ｖ”の線形結合を０とする式が得られる。このときの線
形結合係数ｔ_ｉは余因子であり、６行から３行を選択し
て得られるので合計２０（＝Ｃ^３ _６）通り存在すること
となる。係数行列から４行を取り出す組み合わせは以下
のように分類することができる。

【００２５】２画像間の拘束：２行を１枚の画像、残り
２行も１枚の画像から取り出す。

【００２６】３画像間の拘束：２行を１枚の画像、残り
２行をそれぞれ別の画像から１行ずつ取り出す。

【００２７】２画像間の拘束は以下の３つが得られる。

【００２８】

【数５】 ３画像間の拘束は以下の４つが得られる。

【００２９】

【数６】 式（６）に示した３画像間の拘束式を用いて、３画像で
対応づけられた基準点座標からｔ_ｉを求めることによ
り、２参照画像上での見え方のみが与えられている物体
像の対象画像上での見え方を推定することができる。

【００３０】３枚の画像上で共通して観測されている基
準点の座標（ｕ_ｆ，ｖ_ｆ），（ｕ’ _ｆ，ｖ’_ｆ），
（ｕ”_ｆ，ｖ”_ｆ）を式（６）に代入し、ｔ_ｉを未知数
として解く。３画像間での基準点が４つ以上あれば、ｔ
_ｉを解くことができる。このｔ_ｉを用いて、２枚の参照
画像上でのみ観測されている特徴点の対象画像上での座
標を求めることができる。

【００３１】対象画像に表示されるべき物体像の特徴点
座標を（ｕ”_ｐ，ｖ”_ｐ）とし、それに対応する２枚の
参照画像上での物体像の特徴点座標をそれぞれ（ｕ_ｐ，
ｖ_ｐ），（ｕ’_ｐ，ｖ’_ｐ）とする。これらは式（６）
を満たすので、既に得られたｔ_ｉと（ｕ_ｐ，ｖ_ｐ），
（ｕ’_ｐ，ｖ’_ｐ）から今度は（ｕ”_ｐ，ｖ”_ｐ）を未
知数とした連立方程式を得ることができる。

【００３２】

【数７】 式（７）を解くことによって、対象画像上での物体のす
べての特徴点座標を算出することができる。この方法を
３画像方式による物体像合成方法と呼ぶ。

【００３３】これまでに述べた手法では、物体上の特徴
点が両方の参照画像上で見えている必要があり、対象画
像の視点位置もこれに制約される。すなわち、物体の横
や裏に回り込む視点からの対象画像に整合する物体像は
合成できない。対象画像の視点位置の制約をなくすため
には、物体を取り囲むように多数の視点を設定し、それ
らの視点から物体を観測した参照画像を用意し、それら
を組み合わせることにより物体像の合成を行う。その組
み合わせ方について、以下で説明する。

【００３４】物体を構成するポリゴンの各頂点につい
て、物体を観測した画像である参照画像を組み合わせる
ことで、対象画像上での特徴点座標を算出する。この手
法では、対象画像上の物体を構成するすべての特徴点座
標を求める。またテクスチャマッピングを適用する段階
で、陰面消去を行う。この手法を以下「特徴点を基準と
した手法」と呼び、手順を以下に示す。

【００３５】１） 物体のポリゴンの各頂点に対して、
この頂点を観測している参照画像同士を対応づけ、リス
トを作成する。

【００３６】２） １）で作成したリストから２枚の参
照画像を選択し、その組み合わせすべてについて、対象
画像上での物体像の特徴点座標を算出する。

【００３７】３） ２）で求めた特徴点座標から適切な
ものを１つ選択する。

【００３８】４） ２），３）を、物体を構成するすべ
ての特徴点について算出する。

【００３９】この手順に従った処理の流れを図２Ａ，２
Ｂのフローチャートによって示す。まず、合成処理を実
施する前に、あらかじめ前処理として図２Ａのステップ
Ｓ２〜Ｓ４の手順を完了しておく。つまり物体を構成す
るすべての特徴点ついて（ステップＳ２）、物体の特徴
点を観測している参照画像のリストを生成する（ステッ
プＳ４）。

【００４０】前処理が完了した後に図２Ｂに示すステッ
プＳ６〜Ｓ１４の合成処理を行う。すべての特徴点につ
いて、次の処理を行う（ステップＳ６）。次に処理対象
の特徴点を観測している参照画像を２枚選択して組み合
わせを作り（ステップＳ８）、ステップＳ８のすべての
組み合わせについて（ステップＳ１０）３画像方式によ
る物体像合成方法を用いて対象画像上での特徴点を算出
する（ステップＳ１２）。ステップＳ１２で求めた複数
の特徴点から最適な１つを求める（ステップＳ１４）。
そしてすべての特徴点についてステップＳ６〜Ｓ１４を
繰り返す。

【００４１】ここでステップＳ１４における複数の特徴
点から最適な１点を求める方法は、本実施形態では複数
の特徴点の座標値のヒストグラムを作成し、その中で最
大要素となる値（モード値）を上述の最適な１点として
用いる。なおその他にもこれに限定することなく、複数
の特徴点の平均値を求め、この平均値を上述の最適な１
点として用いても良いし、上述の最大要素と併用して用
いても良い。

【００４２】この手法の概要を図３で例を用いて示す。
同図において家Ｈが対象物体であるとする。家Ｈを構成
する頂点について、Ｖ１は参照画像を撮影したカメラ
Ａ，Ｂ，Ｃ，Ｄ，Ｅから観測されている。カメラＦから
は頂点Ｖ１は見えない。同様にＶ３はカメラＡ，Ｂ，Ｃ
から、Ｖ４はカメラＢ，Ｃ，Ｄ，Ｅから、Ｖ５はカメラ
Ｃ，Ｄ，Ｅ，Ｆから観測されている。

【００４３】対象画像上でＶ１を算出する場合、Ｖ１は
５つの参照画像から観測されている。そのうち２つの参
照画像を用いることで特徴点を算出できるが、精度を上
げるためにＡとＢ、ＡとＣ、ＡとＤ、ＡとＥ、ＢとＣな
どのように、２つの参照画像を選ぶ組み合わせすべてに
ついて、対象画像上におけるＶ１の位置を算出する。本
来、このように求めたＶ１はすべて同一の座標を持つ点
とならなければならないが、実際には誤差などの影響に
より同一の座標としては求まらない。そのため、組み合
わせの数だけ求めたＶ１の中から、最適なものを一つ算
出する。以上の処理をＶ３，Ｖ４，Ｖ５と、すべての頂
点について行う。

【００４４】

【発明が解決しようとする課題】しかし上述の特徴点を
基準とした手法では、特徴点数、参照画像を撮影する方
向、枚数を十分に取れば、正しい形状で自然な見え方の
物体像を合成することが可能である。しかし上記２）で
は物体の全特徴点に対して、それを観測しているすべて
の参照画像を組み合わせるため、特徴点数や参照画像数
を増やすと、飛躍的に計算コストが高くなり、ＩＢＲの
高速性を損なってしまっていた。

【００４５】本発明は以上の問題に鑑みてなされたもの
であり、注目視点位置からの仮想物体の画像を高精度、
且つ高速に生成することを目的とする。

【００４６】

【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の画像処理装置は以下の構成を備
える。すなわち、現実空間内に仮想的に配置された仮想
物体を複数の方向から撮像した参照画像群と、注目視点
位置から撮像した前記現実空間の対象画像とを用いて、
当該注目視点位置から見た前記仮想物体の画像を生成す
る画像処理装置であって、前記注目視点位置から最も近
い視点から撮像された参照画像を選択する第１の参照画
像選択手段と、前記第１の参照画像選択手段により選択
された参照画像内の仮想物体を構成する面と同じ面の構
成を有する参照画像を前記参照画像群から選択する第２
の参照画像選択手段と、前記第２の参照画像選択手段に
より選択された参照画像、及び前記対象画像を用いて当
該参照画像における面の構成を有する前記注目視点位置
からの仮想物体の画像を生成すると共に、前記対象画像
に当該仮想物体の画像を合成する画像合成手段と、前記
画像合成手段により合成された画像を出力する出力手段
とを備える。

【００４７】更に、前記仮想物体を構成する面を三角形
パッチに分割する分割手段を備え、前記仮想物体を構成
する面を前記分割手段による三角形パッチで表現する。

【００４８】更に、前記参照画像群において撮像された
仮想物体の面の構成が同じ参照画像を同じグループとし
たリストを生成する生成手段と、前記生成手段により生
成された前記リストを格納するリスト格納手段とを備
え、前記第２の参照画像選択手段は前記リスト格納手段
に格納された前記リストを用いて参照画像の選択を行
う。

【００４９】

【発明の実施の形態】以下添付図面に従って、本発明を
好適な実施形態に従って詳細に説明する。

【００５０】［第１の実施形態］本実施形態の画像処理
装置の概略構成を図４に示す。同図における画像処理装
置は、装置の使用者（以下観察者と呼ぶ）がカメラを取
り付けた表示装置を通して見ることによって、本来そこ
には存在しないはずの仮想物体像を観察者の視点に応じ
た見え方で合成して、観察者に提示する機能を有する。
以下、この機能について図４を用いて説明する。

【００５１】観察者視点カメラ２からは観察者の視点か
らの画像を取得する。観察者はあらかじめ決められたラ
ンドマーク（予め現実空間に配置されている指標）を観
測している必要がある。観察者視点カメラ２からの画像
はランドマークの画像上の座標の抽出（表示装置１８が
ビデオカメラで撮像した画像を現実空間の画像として表
示するビデオシースルー型である場合には更に観察者に
提示する画像の生成）のために用いる。また表示装置１
８が光学的に透過して現実空間を観察する光学シースル
ー型である場合には、観察者の視点からの画像はランド
マークの抽出だけが実現できればよく、通常のカラーＣ
ＣＤカメラの替わりに赤外光に反応するランドマークと
赤外カメラを用いてもよい。

【００５２】ランドマーク抽出部４では、観察者視点カ
メラ２によって取得された画像から、観測されているラ
ンドマークの画像を抽出する。なおランドマークの画像
上での二次元座標のみが必要であり、三次元座標は得ら
れなくても構わない。また、ランドマークは同一平面に
乗らない最低４つの独立した点であって、点同士の三次
元的位置関係が不変であればよく、カメラで観測できれ
ばその形状、材質、大きさは問わない。またランドマー
ク抽出部４において、画像からランドマークを抽出する
方法については、画像処理のみに限らず、三次元位置が
既知であるランドマークを用い、観察者の視点位置から
推定することも可能である。

【００５３】参照画像／画像データベース１０には登録
した仮想物体、およびランドマークが同時に観測される
ように複数方向から撮影した参照画像が蓄積されてい
る。また参照画像から抽出されたランドマーク、仮想物
体像上の特徴点がそれぞれ対応づけられている。登録さ
れる仮想物体は剛体でなければならない。すべての参照
画像を撮影する間、物体の形状やランドマークとの三次
元的位置関係は不変である必要がある。参照画像／画像
データベース１０に登録される参照画像は、物体の形状
やランドマークとの三次元的位置関係が不変であれば、
参照画像は動画像であってもよい。また、参照画像／画
像データベース１０に登録される参照画像は、あらかじ
め録画した画像を蓄積するだけでなく、現在撮影されて
いる画像をリアルタイムで入力することも可能である。
遠隔地において撮影された画像を通信回線を経由させて
計算機に入力し、計算機を介してデータベース１０に入
力してもよい。

【００５４】観察者視点位置推定部６では、画像上のラ
ンドマークの情報から、三次元空間中での観察者の視点
位置を推定する。観察者視点位置推定部６において、画
像上のランドマークの情報を用いずに、位置・方位セン
サを利用して観察者の視点位置を獲得することも可能で
ある。

【００５５】仮想物体形状算出部１２では、ランドマー
ク抽出部４により抽出されたランドマークの座標、観察
者視点位置、参照画像における仮想物体の特徴点とラン
ドマークの座標から、後述する方法を用いて、対象画像
上での仮想物体像の特徴点を算出する。

【００５６】仮想物体像形状算出部１２において仮想物
体像を合成するために、前述の特徴点を基準とした手法
単独でも適切な見え方の物体像を合成することは可能で
あるが、計算コストが高く実時間処理が困難となるた
め、本実施形態では後述する面を基準とした手法と特徴
点を基準とした手法とを組み合わせることによって、高
速化、高精度化を実現している。

【００５７】以下、面を基準とした合成手法について述
べる。この手法では、参照画像および対象画像を撮影し
たカメラの位置が既知であるものと仮定する。対象画像
のカメラ位置に最も近い参照画像を探し出し、物体を構
成するポリゴンのうち、その参照画像で観測されている
面についてのみ合成を行う。手順の流れは以下のように
なる。

【００５８】１） 物体のポリゴンを三角形パッチに分
割し、各パッチにラベルを付与する。

【００５９】２） すべての参照画像について、１）で
分割した各三角形パッチについて、観測しているパッチ
のラベルを並べ、リストを作る。このリストは参照画像
において観測されている物体の面の構成を意味する。

【００６０】３） 各参照画像について、２）で生成し
たパッチのラベルリストが同一であるものを対応づけ
る。

【００６１】４） 対象画像を撮影したカメラの位置に
最も近い参照画像を選び出す。

【００６２】５） 選び出された参照画像に対応づけら
れている（観測している物体の面の構成が同一である）
他の参照画像をすべて選ぶ。

【００６３】６） ５）で選ばれた参照画像から２枚を
選ぶすべての組み合わせで、３画像方式による物体像合
成方法を用いて対象画像上での物体の特徴点座標を求
め、この点群を候補とする。

【００６４】７） ６）で候補となった点群のうち、適
切な１点を選ぶ。

【００６５】面を基準とした手法の処理の流れを図５
Ａ，５Ｂのフローチャートによって示す。まず、本手法
を実施する前に、あらかじめ前処理として図５Ａに示す
ステップＳ２０〜Ｓ２６の手順を完了しておく。

【００６６】同図においてまず物体を構成するポリゴン
を複数の三角形パッチに分割する（ステップＳ２０）。
次に物体を観測するすべての参照画像について（ステッ
プＳ２２）、参照画像に含まれているステップＳ２０の
三角形パッチのラベルをリスト化して記憶しておき（ス
テップＳ２４）、三角形パッチのラベルが同じ参照画像
をグループ化する（ステップＳ２６）。同図に示す前処
理が完了した後に図５Ｂに示すステップＳ２８〜Ｓ３６
の合成処理を行う。

【００６７】同図において観察者視点のカメラ位置に最
も近い参照画像を選び出し（ステップＳ２８）、選び出
された参照画像と同じグループに属する参照画像から２
枚を選ぶ組み合わせを作る（ステップＳ３０）。

【００６８】ステップＳ３０におけるすべての組み合わ
せについて（ステップＳ３２）、対象画像上ですべての
特徴点（三角形パッチの頂点）を算出する（ステップＳ
３４）。ステップＳ３４で求めた複数の特徴点から最適
な１つを求め（ステップＳ３６）、すべての参照画像の
組み合わせについてステップＳ３２〜Ｓ３６を繰り返
す。

【００６９】この手法の概要を図６を用いて示す。同図
において、家Ｈが対象物体であるとし、家Ｈを構成する
各ポリゴンを〜のように三角形のパッチ分割したと
する。参照画像を撮影したカメラＣ１とＣ２からは三角
形パッチ〜が観測されており、カメラＣ３からは三
角形パッチ〜、カメラＣ４とＣ５からは三角形パッ
チ〜が観測されているとする。このとき、カメラＣ
１とＣ２、カメラＣ４とＣ５は観測しているパッチのラ
ベルが同一なのでグループ化される。観察者Ｐに最も近
いカメラがＣ１であるとすると、カメラＣ１と同一グル
ープに属するカメラＣ１とＣ２により観察される画像
（参照画像）を用いて対象画像上の特徴点を算出する。

【００７０】この手法においては、対象画像で合成され
るべき物体像が含むポリゴンは、選択される参照画像で
の物体像が含むポリゴンと同一であるという仮定に基づ
くものである。物体を構成するポリゴンのうち対象画像
において観測されていると予測される面のみを合成す
る。そのため、従来の手法と比較して、計算量が少なく
高速である。その反面、仮想物体のポリゴンの見え隠れ
が変化する近傍に対象画像の視点が配置されると、この
仮定が成り立たず一部の面が欠落した物体像が生成され
る場合がある。

【００７１】次に、特徴点を基準とした手法と面を基準
とした手法を組み合わせた手法について説明する。

【００７２】まず、対象画像において観測されていると
予測される面については面を基準とした合成手法を適用
し、合成されなかった面については従来の手法である特
徴点を基準とした手法で合成する。従来の手法である特
徴点を基準とした手法単独でも適切な見え方の物体像を
合成することは可能であるが、計算コストが高く、実時
間処理が困難となる。面を基準とした手法では、高速な
処理が可能であるが、合成結果が不自然な見え方となる
ことがある。高速性を維持したまま、正しい形状で自然
な見え方の物体像を合成するため、両手法を併用して物
体像の合成を行う。以下に上述の組み合わせた方法によ
る仮想物体像合成のための手法の手順について示す。

【００７３】１） 観察者視点位置の情報をもとに、面
を基準とした手法を用いて物体像の特徴点を算出する。

【００７４】２） １）によって算出されなかった特徴
点について、従来の手法である特徴点を基準とした合成
手法を用いて算出する。ただし、これらの特徴点に関し
ては、観察者から観測されていない可能性が高いため、
すべての組み合わせを解くことはせず、組み合わせる参
照画像数を削減し、計算コストの増大を防ぐ。

【００７５】この手法を実行する際の図４に示す画像処
理装置において、仮想物体形状算出部１２で行う処理の
流れを同処理を示す図７のフローチャートを用いて説明
する。まず面を基準とした手法を用いて高速に対象画像
上の特徴点座標を算出し（ステップＳ４０）、ステップ
Ｓ４０で算出されなかった特徴点については、特徴点を
基準とした手法で算出する（ステップＳ４２）。

【００７６】この方法の概要を図８を用いて説明する。
まず最初に面を基準とした手法によって、特徴点座標を
算出する。同図において家Ｈが対象物体であるとし、家
Ｈを構成する各ポリゴンを〜のように三角形パッチ
に分割したとする。参照画像を撮影したカメラＡとＢか
らは三角形パッチ〜が、カメラＣからは三角形パッ
チ〜が、カメラＤ〜Ｆからは三角形パッチ〜が
観測されているとする。このとき、カメラＡとＢ、カメ
ラＤとＥとＦがグループ化される。観察者Ｐに最も近い
カメラをカメラＤとすると、カメラＤと同一グループに
属するカメラＤ，Ｅ，Ｆを用いて対象画像上の特徴点を
算出する。面を基準とした手法では、家Ｈの特徴点のう
ち算出されるのは〜のパッチを構成する特徴点のみ
であり、図中では灰色の星印で示している。残りの特徴
点については、特徴点を基準とした手法によって算出す
る。

【００７７】家を構成する頂点Ｖ１はカメラＡ〜Ｆから
観測されている。同様に頂点Ｖ２，Ｖ３はカメラＡ〜Ｃ
から、頂点Ｖ４はカメラＢ〜Ｆから、Ｖ５はカメラＣ〜
Ｆから観測されている。ただしこの例の場合では頂点Ｖ
４とＶ５についてはすでに得られているので、算出する
必要はない。例えば頂点Ｖ１はカメラＡ〜Ｆから観測さ
れているので、この中から２枚の参照画像を選ぶ組み合
わせのすべてについて対象画像上での頂点Ｖ１を算出す
る。頂点Ｖ２、Ｖ３についても同様である。このように
して図中で白い星印で示される点を求め、家Ｈを構成す
るすべての特徴点座標を算出できる。

【００７８】なお仮想物体形状算出部１２において、２
枚の参照画像から物体像を生成する方法については、３
画像方式による物体像合成方法を用いなくても構わな
い。参照画像２枚と対象画像１枚に撮影された基準点の
座標をもとに物体像の特徴点を求める方法であればどの
ような方法でも適用することが可能である。

【００７９】図４においてテクスチャマッピング部１４
では、仮想物体形状算出部１２で得られた対象画像上で
の特徴点から三角形パッチを構成して、各パッチに対し
テクスチャマッピングを適用し、自然な見え方の仮想物
体像を生成する。

【００８０】出力画像合成部１６では、観察者視点位置
の画像に、テクスチャマッピング部で生成した仮想物体
像を重畳して、表示装置１８に提示する最終結果の画像
を生成する。このモジュールはビデオシースルー型の複
合現実感装置にのみ必要であり、光学シースルー型の場
合には、この処理は不要である。表示装置１８はＨＭＤ
だけに限らず、据え置き型や手持ち型のＣＲＴなどを用
いてもよい。

【００８１】図９に本実施形態における画像処理装置の
ハードウェア構成を示す。図中、ディスク２８には多数
の参照画像と各参照画像ごとに基準点、特徴点が記録さ
れており、参照画像データベース（図４において参照画
像／画像データベース１０に相当）を構成している。こ
れらのデータは起動時にＣＰＵ２２によりディスク２８
から読み出され、メインメモリ３０に格納される。メイ
ンメモリ３０上に格納することにより、以後の処理を高
速にできる。ＨＭＤ２６に取り付けられた小型カラーＣ
ＣＤカメラ２４より、観察者視点での画像を随時取り込
む。この画像は画像処理装置２２によって処理され、ラ
ンドマークの座標が抽出される。

【００８２】参照画像データベース中の基準点座標、特
徴点座標、及び画像処理装置２２により抽出されたラン
ドマークの座標、並びに観察者視点位置を用いて、最初
は面を基準とした手法により対象画像における仮想物体
像の特徴点座標の算出を行う。

【００８３】次に、先の手法で算出されなかった特徴点
座標について、特徴点を基準とした手法を用いて算出す
る。この特徴点については、観察者から見えていない可
能性が高いため、すべての組み合わせについて解く必要
はなく、計算量を削減しても問題にはならない。本実施
形態では、すべての組み合わせを列挙したリストを作成
し、乱数によってリストから計算すべき組み合わせを選
ぶ。この方法を用いると、乱数制御のためのパラメータ
（例えば乱数の幅など）を変えることで、計算速度と算
出座標の精度を必要に応じて調整することが可能であ
る。なお生成したリストはメインメモリ３０上に格納す
る。

【００８４】算出した対象画像上の仮想物体の特徴点を
結び、三角形パッチを構成する。この三角形パッチに対
して、参照画像の対応する部分からテクスチャを切り出
し、三角形パッチにマッピングする。本実施形態では、
観察者視点位置情報を用い、観察者視点位置に最も近い
参照画像からテクスチャを得ている。

【００８５】最後に、ＣＣＤカメラ２４から得た画像に
合成した仮想物体像を画像処理装置２０において重畳し
て、観察者が装着しているＨＭＤ２６に表示する。本実
施形態ではＨＭＤ２６はビデオシースルー型のＨＭＤを
用いたが、光学シースルー型のＨＭＤを用いることも可
能である。この場合は、ＣＣＤカメラ２４の画像は必要
なく、ＨＭＤ２６上には合成した仮想物体像のみを表示
すればよい。

【００８６】図１０に本実施形態におけるメインの処理
のフローチャートを示す。なお本フローチャートに従っ
たプログラムコードはディスク２８内に格納され、ＣＰ
Ｕ２２によりメインメモリ３０上に読み出され、ＣＰＵ
２２により実行される。

【００８７】同図において、まず参照画像の登録を行う
（ステップＳ５０）。この登録は実行時に行ってもよい
が、本実施形態ではプログラムの実行前にあらかじめ登
録しておき、ディスク２８に記録したデータをメインメ
モリ３０上に読み出している。ステップＳ５０は参照画
像、特徴点座標、基準点座標の対応づけの処理と共に、
図２Ａ，図５Ａに示したフローチャートに従った処理を
含む。

【００８８】次に観察者視点から撮影された画像を取得
し（ステップＳ５２）、ステップＳ５２で取得された画
像からランドマークを抽出し（ステップＳ５４）、観察
者視点位置を検出し（ステップＳ５６）、仮想物体の形
状となる特徴点を算出する（ステップＳ５８）。ステッ
プＳ５８での具体的な処理は図７で示したフローチャー
トに従った処理である。ステップＳ５６で算出した仮想
物体の特徴点をもとにパッチを構成してテクスチャをマ
ッピングし（ステップＳ６０）、観察者視点の画像に重
畳して観察者に提示する（ステップＳ６２）。なお、光
学シースルー型のＨＭＤ２６を用いる場合には、ステッ
プＳ６２は仮想物体像を表示するだけの処理となる。ス
テップＳ５２〜Ｓ６２の処理は毎フレーム処理され、本
フローチャートに従った処理が終了するまで繰り返す
（ステップＳ６４）。

【００８９】［他の実施形態］本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。

【００９０】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００９１】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には先に説明した（図２Ａ、及び／又は図２
Ｂ、及び／又は図５Ａ、及び又は図５Ｂ、及び／又は図
７、及び／又は図１０に示す）フローチャートに対応す
るプログラムコードが格納されることになる。

【００９２】

【発明の効果】以上説明したように本発明によれば、注
目視点位置からの仮想物体の画像を高精度、且つ高速に
生成することができる。

【図面の簡単な説明】

【図１Ａ】参照画像と対象画像、基準点の配置を説明す
る図。

【図１Ｂ】参照画像と対象画像、基準点の配置を説明す
る図。

【図２Ａ】特徴点を基準とした合成手法において、前処
理の手順を説明するフローチャート。

【図２Ｂ】特徴点を基準とした合成手法において、合成
処理の手順を説明するフローチャート。

【図３】特徴点を基準とした合成手法を説明する図。

【図４】本発明の第１の実施形態における画像処理装置
の概略構成を示すブロック図。

【図５Ａ】面を基準とした合成手法において、前処理の
手順を説明するフローチャート。

【図５Ｂ】面を基準とした合成手法において、合成処理
の手順を説明するフローチャート。

【図６】面を基準とした合成手法を説明する図。

【図７】本発明の第１の実施形態における合成手法の手
順を説明するフローチャート。

【図８】本発明の第１の実施形態における合成手法を説
明する図。

【図９】図１に示した画像処理装置のハードウェア構成
を示すブロック図。

【図１０】本発明の第１の実施形態におけるメインの処
理のフローチャート。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開2000−137815（ＪＰ，Ａ) 特開2001−291116（ＪＰ，Ａ) 特開2001−243497（ＪＰ，Ａ) 特開2001−22936（ＪＰ，Ａ) 特開2000−276613（ＪＰ，Ａ) 小林俊広，大田友一ほか，参照画像の 適応的選択による自由視点からの仮想物 体像生成と実世界像との融合，電子情報 通信学会技術研究報告，日本，電子情報 通信学会，2000年 １月20日，Ｖｏｌ. 99，Ｎｏ．574，25−32 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/00 G06T 17/40 G06T 1/00 G06T 3/00 G06T 7/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (17)

(57)【特許請求の範囲】
1. 【請求項１】 現実空間内に仮想的に配置された仮想物
   体を複数の方向から撮像した参照画像群と、注目視点位
   置から撮像した前記現実空間の対象画像とを用いて、当
   該注目視点位置から見た前記仮想物体の画像を生成する
   画像処理装置であって、 前記注目視点位置から最も近い視点から撮像された参照
   画像を選択する第１の参照画像選択手段と、 前記第１の参照画像選択手段により選択された参照画像
   内の仮想物体を構成する面と同じ面の構成を有する参照
   画像を前記参照画像群から選択する第２の参照画像選択
   手段と、 前記第２の参照画像選択手段により選択された参照画
   像、及び前記対象画像を用いて当該参照画像における面
   の構成を有する前記注目視点位置からの仮想物体の画像
   を生成すると共に、前記対象画像に当該仮想物体の画像
   を合成する画像合成手段と、 前記画像合成手段により合成された画像を出力する出力
   手段とを備えることを特徴とする画像処理装置。
2. 【請求項２】 前記現実空間には複数の基準点が配置さ
   れ、前記注目視点位置から撮像した前記現実空間の対象
   画像には前記基準点が含まれていることを特徴とする請
   求項１に記載の画像処理装置。
3. 【請求項３】 更に、前記仮想物体を構成する面を三角
   形パッチに分割する分割手段を備え、 前記仮想物体を構成する面を前記分割手段による三角形
   パッチで表現することを特徴とする請求項１又は２に記
   載の画像処理装置。
4. 【請求項４】 更に、前記参照画像群において撮像され
   た仮想物体の面の構成が同じ参照画像を同じグループと
   したリストを生成する生成手段と、 前記生成手段により生成された前記リストを格納するリ
   スト格納手段とを備え、 前記第２の参照画像選択手段は前記リスト格納手段に格
   納された前記リストを用いて参照画像の選択を行うこと
   を特徴とする請求項１乃至３のいずれか１項に記載の画
   像処理装置。
5. 【請求項５】 前記画像合成手段は前記仮想物体の画像
   を生成する際にテクスチャマッピングを行うテクスチャ
   マッピング手段を更に有することを特徴とする請求項１
   乃至４のいずれか１項に記載の画像処理装置。
6. 【請求項６】 前記画像合成手段は前記第２の参照画像
   選択手段により選択される参照画像内の仮想物体におい
   て、撮像されている面以外の面を構成する各頂点の前記
   対象画像内における位置の算出に、前記参照画像を用い
   てイメージベースドレンダリングを行い、前記撮像され
   ている面以外の面を生成することを特徴とする請求項１
   乃至５のいずれか１項に記載の画像処理装置。
7. 【請求項７】 前記イメージベースドレンダリングに用
   いる参照画像は乱数により選択されることを特徴とする
   請求項６に記載の画像処理装置。
8. 【請求項８】 前記参照画像内、及び前記対象画像内に
   撮像される基準点の数は少なくとも４つ以上であること
   を特徴とする請求項２に記載の画像処理装置。
9. 【請求項９】 前記出力手段はヘッドマウントディスプ
   レイを含むことを特徴とする請求項１又は２に記載の画
   像処理装置。
10. 【請求項１０】 現実空間内に仮想的に配置された仮想
    物体を複数の方向から撮像した参照画像群と、注目視点
    位置から撮像した前記現実空間の対象画像とを用いて、
    当該注目視点位置から見た前記仮想物体の画像を生成す
    る画像処理方法であって、 前記注目視点位置から最も近い視点から撮像された参照
    画像を選択する第１の参照画像選択工程と、 前記第１の参照画像選択工程で選択された参照画像内の
    仮想物体を構成する面と同じ面の構成を有する参照画像
    を前記参照画像群から選択する第２の参照画像選択工程
    と、 前記第２の参照画像選択工程で選択された参照画像、及
    び前記対象画像を用いて当該参照画像における面の構成
    を有する前記注目視点位置からの仮想物体の画像を生成
    すると共に、前記対象画像に当該仮想物体の画像を合成
    する画像合成工程と、 前記画像合成工程で合成された画像を出力する出力工程
    とを備えることを特徴とする画像処理方法。
11. 【請求項１１】 前記現実空間には複数の基準点が配置
    され、前記注目視点位置から撮像した前記現実空間の対
    象画像には前記基準点が含まれていることを特徴とする
    請求項１０に記載の画像処理方法。
12. 【請求項１２】 更に、前記仮想物体を構成する面を三
    角形パッチに分割する分割工程を備え、 前記仮想物体を構成する面を前記分割工程による三角形
    パッチで表現することを特徴とする請求項１０又は１１
    に記載の画像処理方法。
13. 【請求項１３】 更に、前記参照画像群において撮像さ
    れた仮想物体の面の構成が同じ参照画像を同じグループ
    としたリストを生成する生成工程を備え、 前記第２の参照画像選択工程は前記生成工程により生成
    された前記リストを格納する所定のリスト格納手段に格
    納された前記リストを用いて参照画像の選択を行うこと
    を特徴とする請求項１０乃至１２のいずれか１項に記載
    の画像処理方法。
14. 【請求項１４】 現実空間内に仮想的に配置された仮想
    物体を複数の方向から撮像した参照画像群と、注目視点
    位置から撮像した前記現実空間の対象画像とを用いて、
    当該注目視点位置から見た前記仮想物体の画像を生成す
    る画像処理のプログラムコードを格納するコンピュータ
    が読み取り可能な記憶媒体であって、 前記注目視点位置から最も近い視点から撮像された参照
    画像を選択する第１の参照画像選択工程のプログラムコ
    ードと、 前記第１の参照画像選択工程で選択された参照画像内の
    仮想物体を構成する面と同じ面の構成を有する参照画像
    を前記参照画像群から選択する第２の参照画像選択工程
    のプログラムコードと、 前記第２の参照画像選択工程で選択された参照画像、及
    び前記対象画像を用いて当該参照画像における面の構成
    を有する前記注目視点位置からの仮想物体の画像を生成
    すると共に、前記対象画像に当該仮想物体の画像を合成
    する画像合成工程のプログラムコードと、 前記画像合成工程で合成された画像を出力する出力工程
    のプログラムコードとを備えることを特徴とする記憶媒
    体。
15. 【請求項１５】 前記現実空間には複数の基準点が配置
    され、前記注目視点位置から撮像した前記現実空間の対
    象画像には前記基準点が含まれていることを特徴とする
    請求項１４に記載の記憶媒体。
16. 【請求項１６】 更に、前記仮想物体を構成する面を三
    角形パッチに分割する分割工程のプログラムコードを備
    え、 前記仮想物体を構成する面を前記分割工程による三角形
    パッチで表現することを特徴とする請求項１４又は１５
    に記載の記憶媒体。
17. 【請求項１７】 更に、前記参照画像群において撮像さ
    れた仮想物体の面の構成が同じ参照画像を同じグループ
    としたリストを生成する生成工程のプログラムコードを
    備え、 前記第２の参照画像選択工程は前記生成工程により生成
    された前記リストを格納する所定のリスト格納手段に格
    納された前記リストを用いて参照画像の選択を行うこと
    を特徴とする請求項１４乃至１６のいずれか１項に記載
    の記憶媒体。