JP6362401B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

本発明は画像処理装置及び画像処理装置の制御方法に関し、特に、仮想物体と現実の空間に配置されている物体との遮蔽関係を正しく表示させるために用いて好適な技術に関する。

近年、現実空間に仮想物体（３Ｄモデリングソフトによって作成された３Ｄモデルなど）をリアルタイムに重ね合わせて観察者に提示する複合現実感(Mixed Reality：ＭＲ)技術に関する研究及び開発が盛んに行なわれている（例えば、特許文献１）。ＭＲ技術とは、現実空間とコンピュータによって作られる３Ｄモデルをシームレスに融合するための技術であり、現実空間には存在しない仮想の映像をあたかもその場にあるかのように提示できる。

例えば、カメラで撮影した現実空間の実写映像上にリアルタイムで３Ｄモデルを合成してユーザーに提示することで、現物やモックアップ（mock-up）がその場に存在しなくても外観の評価等が実施できる。

ただし、合成映像を生成する際に、単純に実写映像の上に３Ｄモデルを上書きして合成する手法では、実物体と３Ｄモデルの遮蔽関係を正しく表示をすることができない場合がある。

特開２０１３−１１３８０５号公報

Canny, J.: A computational approach to edge detection, Pattern Analysis and Machine Intelligence, IEEE Transactions on, １９８６ D.H.Ballard:Generalizing the Hough transform to detect arbitrary shapes,

実物体と３Ｄモデルの遮蔽関係を正しく表示するために、実物体と形状及び位置姿勢の配置が同一となるマスクモデルを作成する必要がある。従来、実物体を計測して作成したモデル形状の再現精度の検証は、実際に実写映像上にマスクモデルをワイヤフレームなどで合成表示して主観的に検証していた。しかし、背景となる壁や床が白色で、実物体も白色の場合など、実物体と背景の色が近似していると実物体の輪郭線が、作業者に知覚されにくい。

また、別の再現精度の検証事例では、実物体上に任意に定めた表面点の複数の２点間の距離と計測したモデルにおける同位置の複数の２点間の距離を比較することにより実施していた。しかし、視覚的に比較することが難しく、複雑な形状の計測モデルの細部までを比較検証するためには、多くの時間を要する。

例えば、机をモデリングして３Ｄモデルを作成する際に、現実の机と３Ｄモデルの形状を比較する。最初に、机上に計測点となる目印を複数付け、各目印間の距離をメジャー等で測定する。同じように３Ｄモデル上にも同じ位置に目印を付け、各目印間の距離を仮想的に測定する。

２点間の距離の比較は短時間で簡単にできるが、３Ｄモデルが実物体と比べてどの部位にどのような差異があるのかを調べるには複数地点の測定結果を比較する必要がある。そのため、実物体と３Ｄモデルの差異を調べるために多くの時間を要する問題点があった。
本発明は前述の問題点に鑑み、実物体とマスクモデルの配置及び形状の差をより正確に作業者に提示できるようにすることを目的とする。

本発明の画像処理装置は、撮像手段によって撮像された現実空間の画像を取得する画像取得手段と、仮想物体を入力する仮想物体入力手段と、前記撮像手段の位置及び姿勢情報を推定する撮像部位置姿勢推定手段と、前記撮像部位置姿勢推定手段から得られた位置及び姿勢情報によって前記仮想物体を現実空間上の３次元位置に配置する仮想物体配置手段と、前記取得した現実空間の画像の中で輝度値が不連続に変化している画素を抽出し、抽出した画素を強調して現実強調画像を生成する現実画像強調手段と、前記仮想物体配置手段によって現実空間上の３次元位置に配置された仮想物体を強調して仮想強調画像を生成する仮想物体強調手段と、前記現実画像強調手段によって生成された現実強調画像と、前記仮想物体強調手段によって生成された仮想強調画像とを合成する画像合成手段と、前記画像合成手段によって得られた画像を表示手段に表示させる表示制御手段とを備えることを特徴とする。

本発明によれば、実物体を計測したマスクモデルの形状調整や配置調整をする作業者に、仮想物体と実物体との差分を映像で強調表示して提示することが可能となり、形状調整や配置調整の作業効率を向上させることができる。

実物体と３Ｄモデルとの遮蔽関係を示す図である。 第１の実施形態における画像処理装置の構成例を示すブロック図である。 第１の実施形態における画像処理装置の構成例を説明する模式図である。 現実空間中の基準となる座標系における仮想物体の頂点座標を表した図である。 第１の実施形態における処理の手順を示すフローチャートである。 図５のＳ５０６における詳細な処理の手順を示すフローチャートである。 図５のＳ５０８における詳細な処理の手順を示すフローチャートである。 第１の実施形態の第１の変形例におけるＳ５０７の詳細な処理の手順を示すフローチャートである。 第１の実施形態における表示部から出力される映像の例を示す図である。 第１の実施形態における表示部から出力される映像の例を示す図である。 第１の実施形態の第１の変形例におけるディプス値の差が大きな箇所を黒塗りした図である。 第１の実施形態の第１の変形例における表示部から出力される映像の例を示す図である。 第１の実施形態の第２の変形例における表示部から出力される映像の例を示す図である。 第２の実施形態における画像処理装置の構成例を示すブロック図である。 第２の実施形態における処理の手順を示すフローチャートである。 図１５のＳ１５０１における詳細な処理の手順を示すフローチャートである。 図１５のＳ１５０２における詳細な処理の手順を示すフローチャートである。 第２の実施形態における表示部から出力される映像の例を示す図である。 画像処理装置に適用可能なコンピュータのハードウェア構成を示すブロック図である。

以下、添付図面を参照して、本発明を適用した画像処理装置の好適な実施形態を詳細に説明する。
実物体と３Ｄモデルの遮蔽関係を正しく表示するために、実物体と形状及び配置を近似させたマスクモデルを作成する必要がある。
しかし、実写映像において、（１）背景と実物体の色が似ている場合、（２）実物体がすべて同色の色で構成されている場合、など、実物体の輪郭や形状が視覚的に把握しづらい場面がある。形状や輪郭が視覚的に把握しづらいと、マスクモデルの表示／非表示を切り替えながら、実物体とマスクモデルの輪郭や形状を確認する必要があるため、調整に時間を要する。

以下の実施形態においては、本発明を適用することで、実物体とマスクモデルの形状及び位置姿勢の差をより明確に作業者に提示し、マスクモデルの形状及び配置の修正の作業効率を向上する画像処理装置及び画像処理方法について述べる。

先ず、図１を参照しながら、実物体と３Ｄモデルとの遮蔽関係を説明する。
図１（Ａ）に示す視点から、床に配置されたコピー機の仮想の３Ｄモデル（以下、３Ｄモデルとする）１００を観察する場合を想定する。単純に３Ｄモデルを実写映像に上書きすると、図１（Ａ）のように、３Ｄモデル１００の手前に実物体のキャビネット１０１が配置されているにも関わらず、仮想モデルの裏に隠れてしまう。

そこで、実物体と３Ｄモデルの遮蔽関係を正しくユーザーに提示するためには、実物体のキャビネット１０１の３次元形状を計測し、仮想空間における実物体の擬似形状の３次元モデル１０２の位置を配置調整して定義する。その結果、図１（Ｂ）に示すように、キャビネット１０１と３Ｄモデル１００との遮蔽関係を正しく提示することができる。この実物体の形状を擬似的に表現する３次元物体１０２を「マスクモデル」と呼ぶ。

すなわち、３Ｄモデル１００を描画するときに、マスクモデル１０２との前後判定を行うことにより、３Ｄモデル１００が手前なのか、マスクモデル１０２が手前なのかが明確になる。さらに、３Ｄモデル１００を描画する際に、マスクモデル１０２を透過率１００％で描画することにより、マスクモデル１０２が手前にある領域には３Ｄモデル１００が描画されない。

これにより、３Ｄモデル１００が描画されない領域には、背景として実写映像が描画されるため、あたかも背景となっている実物体１０１の画像が３Ｄモデル１００の手前にあるかのように表現できる。すなわち、適正な遮蔽関係を提示することが可能となる。

＜画像処理装置の構成＞
図２及び図３を用いて、本実施形態における画像処理装置の構成を示す。
ＨＭＤ(Head Mounted Display)２００には、撮像部２０１、表示部２０２が取り付けられ互いに固定されている。ユーザー及び作業者はこのＨＭＤ２００を頭部に装着することで、表示部２０２に映る実写映像に仮想物体入力部２０７から入力した仮想物体１０２を重畳した複合現実空間画像（以下、ＭＲ画像とする）を見ることができる。
撮像画像の取得部２０３は、撮像部２０１において撮像された撮像画像を画像データとして取得する画像取得処理を行い、取得した画像データを保持する。

撮像部位置姿勢推定部２０４では、撮像画像の取得部２０３に保持されている画像中から、３次元空間中での位置が既知である特徴点を用いて撮像部位置姿勢を求める。例えば、撮像装置の位置姿勢については例えば、以下のように正方形マーカーを用いた位置合わせの方法で実現すればよい。

すなわち、空間の３次元位置が既知の正方形マーカーの４頂点と検出された画像における正方形の４頂点とを対応付けることにより、空間における撮像装置の位置姿勢を求める。なお、本発明は位置姿勢の推定方法に画像中から特徴点を抽出する方法に限定されるものではなく、位置姿勢センサーを用いる方法や、正方形のマーカーを用いる方法でも適用可能である。

仮想物体入力部２０７は、ワークステーション３００の中で実物体１０１の形状を計測した仮想物体（例えば、Autodesk社の３DMaxで作成した３Ｄマスクモデル）１０２のデータを仮想物体配置形状記憶部２０６に入力する。

仮想物体配置形状記憶部２０６は、マスクモデル１０２のデータを格納する。マスクモデル１０２のデータは、頂点３次元位置情報、頂点間の接続情報、座標変換用の４×４行列（座標変換行列と呼ぶ）から構成される。
配置調整入力部２１０は、仮想物体配置形状記憶部２０６に格納されている座標変換行列の値を入力する。この値の入力は本実施形態では、キーボード１９０４（図１９を参照）による入力を用いる。

図４を用いて、現実空間上の座標系の説明をする。例えば、本実施形態では、予め動作が決まっているキーで現実空間上の基準となる座標系４０１（以降、世界座標系と呼ぶ）における仮想物体１０２の座標系４０３（以降、モデル座標系と呼ぶ）の相対位置姿勢を操作可能とする。

相対位置姿勢の操作とは、すなわち、世界座標系４０３におけるモデル座標系の水平方向、垂直方向の移動、各座標軸周りの回転をすることができるものとする。本発明においては、配置調整の入力にキーボード１９０４を用いることに限るものではなく、ゲーム用のコントローラ等、移動、回転方向を入力できる入力デバイスであれば適応可能である。

仮想物体投影領域決定部２０５は、撮像部位置姿勢推定部２０４から得られる撮像部の世界座標系４０１での位置姿勢情報および仮想物体配置形状記憶部２０６から得られる仮想物体１０２の形状、世界座標系４０１での位置姿勢情報を取得する。さらに、予めキャリブレーションによって求めたカメラ内部パラメータである３×４の透視投影変換行列を用いて仮想物体頂点４０２を撮像部２０１の投影面へ透視投影変換する。

次に、仮想物体投影領域決定部２０５は、透視投影変換した仮想物体頂点４０２と仮想物体配置形状記憶部２０６に格納された頂点間の接続情報からワイヤフレームが投影される画像座標値のリストを生成する。生成した画像座標値のリストは、現実画像強調部２０８に出力する。

現実画像強調部２０８は、仮想物体投影領域決定部２０５からワイヤフレームの投影画像座標値リストを受け、画像座標値リストが表わすワイヤフレーム投影線を予め定めた回数でディレーション処理することで線分領域を膨張させる。ディレーション処理とは、画像中のある注目画素に隣接する画素を注目画素に置き換える処理のことである。本実施形態では、ワイヤフレーム投影線を表す画像座標を注目画素とし、隣接する画素をワイヤフレーム投影線の画素に置き換えている。

例えば、図９（Ｂ）のワイヤフレーム投影線（仮想強調画像と呼ぶ）９０３に対してディレーション処理された領域は、図９（Ｂ）の黒塗りの範囲９０１（強調範囲と呼ぶ）となる。ディレーション処理により、ワイヤフレーム投影線を膨張させることにより、ワイヤフレーム周辺の撮像画像のエッジ部分に限定して強調表示することができる。

さらに、現実画像強調部２０８は、算出した強調範囲９０１における撮像画像の画素の輝度値が不連続に変化している箇所（以降エッジと呼ぶ）を検出する。マスクモデル１０２のワイヤフレームの周辺領域のみを画像処理することで、画像処理の計算時間を短縮し、形状確認および配置確認時のシステム全体の処理負荷の低下を抑えることができる。

さらに、画像全体をエッジ処理することにより、色の情報や輝度差の低い稜線が消えてしまうことで、作業者が撮像画像の全体を把握しづらくなるという課題に対しても、部分的にエッジ処理することで対処できる。エッジを検出するアルゴリズムは周知の技術（非特許文献１）であるので係る技術についての説明は省略する。

以上により、撮像画像の中の強調範囲９０１において強調処理を行った画像（以降、現実強調画像９０２と呼ぶ）を作成する。本発明においては、強調する範囲を指定する方法はワイヤフレームのディレーション処理に限定するものではない。他にも、マスクモデル１０２の周辺のみに実物体１０１の輪郭を表示する方法であれば適用可能である。

仮想物体強調部２０９は、撮像部位置姿勢推定部２０４で推定した撮像部位置姿勢と、仮想物体配置形状記憶部２０６のマスクモデル１０２の情報とに基づいて、撮像部２０１の投影面に透視投影変換してマスクモデルの投影画像を生成する。なお、仮想物体強調部２０９でのマスクモデルのレンダリングでは、実写映像における実物体１０１の輪郭などの特徴と比較しやすくするためワイヤフレームでレンダリングする。

画像合成部２１１は、現実画像強調部２０８で取得した現実強調画像９０２の上に仮想物体強調部２０９から取得した仮想強調画像９０３を重畳する。例えば、仮想強調画像９０３のワイヤフレーム以外の領域を透明に設定し、現実強調画像９０２の画像に上書きする単純なオーバーレイ処理をすればよい。

終了判定部２１３は、終了信号入力部２１４から終了信号が入力された場合、画像処理装置２１２の動作を終了させる。
終了信号入力部２１４は、画像処理装置２１２内の入力装置（例えばキーボード１９０４）から予め定められた終了信号を終了判定部２１３に入力する。
ＨＭＤ２００内にある表示部２０２では、画像合成部２１１で合成した画像が表示制御される。表示部２０２には、作業者の視点位置に対応した画像が表示される。

表示される画像の例を図９に示す。
図９の（Ａ）は、撮像画像の取得部２０３で取得した画像で、図９の（Ｂ）は表示部２０２に表示されている本実施形態における処理後の画像を表わしている。

図９（Ｂ）で用いている現実強調画像９０２における強調範囲９０１は黒の背景で、エッジ９０４を白色で描画しているが、図１０のように背景を透過してエッジのみを背景と区別できる色で描画してもよい。また、仮想物体強調部２０９のワイヤフレームの色は、現実画像強調部２０８が強調範囲９０１の領域を黒く描画する場合は、明るい色で描画するなど、強調範囲９０１の色と区別できる方が好ましい。また、ワイヤフレームは、現実画像強調部２０８が描画する強調範囲９０１の領域のエッジの色とも異なる色で描画し、区別できる方が好ましい。

＜処理の手順＞
本実施形態における処理の手順を図５のフローチャートを参照して説明する。
Ｓ５０１においては、仮想物体入力部２０７は、仮想物体配置形状記憶部２０６に仮想物体１０２の形状および位置姿勢情報を入力する。
Ｓ５０２においては、撮像部２０１は撮像された画像を撮像画像の取得部２０３に入力する。

Ｓ５０３においては、撮像画像の取得部２０３が撮像画像を撮像部位置姿勢推定部２０４に入力し、撮像部位置姿勢推定部２０４は撮像部の位置姿勢を推定する。
Ｓ５０４においては、作業者入力部である配置調整入力部２１０において作業者からの入力があるかどうかを判定する。作業者入力があれば、マスクモデル１０２の配置を変更するための座標変換行列に値を入力し、更新するためＳ５０５へ処理を移す。作業者の入力が無い場合、座標変換行列を更新せずにＳ５０６へ処理を移す。

Ｓ５０５では、仮想物体配置形状記憶部２０６は配置調整入力部２１０から入力された値を、マスクモデル１０２の配置を変更するための座標変換行列に入力する。
Ｓ５０６では、仮想物体投影領域決定部２０５は、仮想物体配置形状記憶部２０６から得られるマスクモデル１０２の３次元位置と、撮像部位置姿勢推定部２０４から得られる撮像部の位置姿勢情報から、マスクモデルを撮像部２０１の投影面に透視投影変換する。

ここで、図６のフローチャートを用いて、図５のＳ５０６で行われる処理の流れについて説明する。
Ｓ６０１では、仮想物体投影領域決定部２０５は、仮想物体配置形状記憶部２０６からマスクモデル１０２の頂点３次元位置情報、頂点間の接続情報、座標変換行列を取得する。
Ｓ６０２では、仮想物体投影領域決定部２０５は、取得したモデル座標系における頂点座標に対して座標変換行列を用いて世界座標系における頂点座標を得る。
Ｓ６０３では、仮想物体投影領域決定部２０５は、撮像部２０１の位置姿勢情報を用いて、世界座標系における頂点座標をカメラ座標系に変換する。

Ｓ６０４では、仮想物体投影領域決定部２０５は、Ｓ６０３で変換したカメラ座標系における頂点座標を予めキャリブレーションによって求めたカメラ内部パラメータである３×４の透視投影変換行列を用いて撮像部２０１の投影面に透視投影変換する。
Ｓ６０５では、仮想物体投影領域決定部２０５は、透視投影変換した頂点座標を取得した頂点間の接続情報を用いて投影した頂点間を補間し、投影面におけるワイヤフレームの画像座標リスト（図９（Ｂ）の９０３の線）を生成する。生成したリストは、現実画像強調部２０８に出力して記録する。

図５のフローチャートの説明に戻る。
Ｓ５０７では、仮想物体強調部２０９は、仮想物体配置形状記憶部２０６からマスクモデル１０２の頂点３次元位置情報、頂点間の接続情報、座標変換行列を取得する。そして、Ｓ６０２〜Ｓ６０５と同様の処理で仮想強調画像９０３としてワイヤフレームをレンダリングする。
Ｓ５０８では、現実画像強調部２０８は、撮像画像の取得部２０３から入力された撮像画像と強調範囲９０１から撮像画像のエッジを抽出して表示する、指定領域のエッジ処理を行う。

ここで、図７を用いて、図５のＳ５０８に示す指定領域のエッジ処理の流れについて説明する。
Ｓ７０１では、現実画像強調部２０８は、Ｓ６０５で生成した画像座標値リストを仮想物体投影領域決定部２０５から読み出す。
Ｓ７０２では、現実画像強調部２０８は、仮想物体投影領域決定部２０５から読み出した画像座標値リストに入っている画素と入っていない画素とで二値化し、二値化画像を生成する。

Ｓ７０３では、現実画像強調部２０８は、画像座標値リストに入っている画素に対して予め定めた回数でディレーション処理を行い、ワイヤフレームの線を膨張させた領域を強調範囲９０１として決定する。そして、決定した強調範囲９０１における撮像画像の画素を黒色に置き換える。

Ｓ７０４では、現実画像強調部２０８は、Ｓ７０３で決定した強調範囲９０１における撮像画像のエッジを抽出する。
Ｓ７０５では、現実画像強調部２０８は、Ｓ７０４でエッジを抽出した撮像画像の画素を白で描画する。

図５のフローチャートの説明に戻る。
Ｓ５０９では、画像合成部２１１は、現実画像強調部２０８で得られた現実強調画像９０２と仮想物体強調部２０９で得られた仮想強調画像９０３を入力し、現実強調画像９０２に仮想強調画像９０３を重畳する。

Ｓ５１０では、表示部２０２は、Ｓ５０９で配置の調整が行われたＭＲ画像を表示する。
Ｓ５１１では、終了判定部２１３は処理を終了するためのフラグを確認する。フラグがＹＥＳになっていたら処理を終了し、ＮＯになっていたらＳ５０２まで戻り処理を続ける。

以上のように、本実施形態に係る画像処理装置では、作業者に対して表示部２０２の画像を通して、実物体１０１とマスクモデル１０２の形状及び位置の差を強調して提示することで、マスクモデル１０２の配置や形状の調整時間を短縮することができる。
さらに、撮像画像の実物体を強調するときに、撮像画像全体をエッジ強調するのではなく、マスクモデルのワイヤフレーム周辺のみをエッジ強調することで、撮像画像の全体像の把握が容易になり、画像のエッジ処理速度も短縮することが可能となる。

［第１の変形例］
第１の実施形態では、実物体１０１が単純な形をしていて、仮想物体１０２の頂点が少なく、マスクモデルのワイヤフレームがシンプルな例を示した。しかし、３次元レーザースキャナ装置で物体を計測する場合のように、マスクモデルが多数の頂点から構成され、ワイヤフレームが画面上で細かく表示される形状では、効率的に配置調整することが難しい。

本変形例は、マスクモデル１０２が多くの頂点で構成され、ワイヤフレーム表示時にも頂点を結ぶ直線が多く表示される場合にも、強調表示方法を変更することで適応可能であることを示す。以下では、第１の実施形態の構成との相違点のみを述べる。

図１１（Ａ）は、自動車のボンネット１１０１を３次元レーザースキャナで計測し、取得した密なサンプリング点をポリゴン化して表示した例である。本実施形態では、このボンネット１１０１を計測したポリゴン形状をマスクモデル１０２として扱う事例について説明する。

仮想物体強調部２０９は、Ｓ５０６において、仮想物体１０２の頂点３次元位置情報、頂点間の接続情報、座標変換行列と、撮像部２０１の位置姿勢情報、カメラ内部パラメータである透視投影変換行列から、仮想物体頂点４０２を透視投影変換する。仮想物体１０２の頂点３次元位置情報、頂点間の接続情報、座標変換行列は、仮想物体配置形状記憶部２０６に記憶されている。撮像部２０１の位置姿勢情報、カメラ内部パラメータである透視投影変換行列は、撮像部位置姿勢推定部２０４から得られる。その後、Ｓ５０７で、仮想物体強調部２０９は、透視投影変換した頂点情報を用いてポリゴンをレンダリングし、デプスバッファを生成する。

ここで、図８のフローチャートを用いて、図５のＳ５０７で行われる処理の流れについて説明する。
Ｓ８０１では、仮想物体強調部２０９は、仮想物体配置形状記憶部２０６からマスクモデル１０２の頂点３次元位置情報、頂点間の接続情報、座標変換行列を取得する。そして、Ｓ６０２〜Ｓ６０５と同様の処理で仮想強調画像９０３としてワイヤフレームをレンダリングする。

Ｓ８０２では、仮想物体強調部２０９は、レンダリングしたポリゴンの辺すべてにおいて、デプスバッファを参照し、隣接画素のデプスバッファの差分が予め定めている閾値以上かどうかを判定する。予め定めている閾値以上でない場合はＳ８０３に進み、そうでない場合はＳ８０４に進む。
Ｓ８０３では、隣接画素のデプスバッファの差分が閾値以内であり、仮想物体における稜線を表す辺ではないと判定してワイヤフレームの描画色を強調しない灰色に設定する。

Ｓ８０４では、隣接画素のデプスバッファの差分が閾値以上であり、仮想物体の稜線を表す辺と判定して、ワイヤフレームの描画色を強調する黒色に設定する。
Ｓ８０５では、仮想物体強調部２０９は、Ｓ８０３およびＳ８０４で設定した色でワイヤフレームを描画する。

図５のフローチャートの説明に戻る。
Ｓ５０９では、画像合成部２１１は、仮想物体強調部２０９で生成された２色で描画されたワイヤフレームを重畳して仮想強調画像９０３とする。本実施形態においては、作業者が強調する箇所が知覚できる色であれば黒以外の色でも適応可能である。重畳した結果が図１１（Ｂ）となる。

なお、本変形例では、マスクモデルのワイヤフレーム周辺領域における撮像画像をエッジ処理する。しかし、処理時間を短縮するために、仮想物体強調部２０９で検出したディプス値が閾値を超えている稜線の画素をディレーション処理により強調範囲９０１を決定し、当該領域の撮像画像の画素のみをエッジ処理してもよい。
現実強調画像９０２に仮想強調画像９０３を画像合成部２１１で重畳させたのが図１２である。

［第２の変形例］
第１の実施形態では、仮想物体１０２をワイヤフレーム表示させた仮想強調画像９０３と、強調範囲９０１のエッジを抽出した現実強調画像９０２を用いて形状及び位置の差を作業者に対して知覚させやすくしていた。そして、第１の実施形態では、実物体とマスクモデルを比較する上で重要な稜線部分の領域に限定してエッジを抽出し、現実強調画像９０２を表示した。

しかし、本発明は、第１の実施形態のように、マスクモデルのワイヤフレーム周辺領域の撮像画像をエッジ処理して強調表示することに限定されるものではない。例えば、実物体の形状における突起形状の領域を推定し、強調させる方法でも適用可能である。以下では、マスクモデルの突起形状の領域の撮像画像をエッジ処理することにより、作業者に実物体とマスクモデルの配置や形状を調整する効率を向上させる画像処理装置について説明する。以下では、第１の実施形態の構成との相違点のみを述べる。

本実施形態においては、図５のＳ５０７でエッジの表示領域を指定する際に、仮想物体１０２の形状に着目する。
仮想物体強調部２０９は、Ｓ５０７において、マスクモデル１０２の三角形ポリゴンメッシュ形状の中から突起形状を判別し、突起形状部分を抽出する。例えば、第１の実施形態における実物体１０１の突起形状は、図１３の１３０１Ａ〜Ｇに示す部分である。

突起形状を抽出する手法は例えば以下の手法を用いればよい。
すなわち、マスクポリゴン上で、注目するサンプリング点におけるポリゴンの法線ベクトルと周囲のサンプリング点の法線ベクトルを用いて注目するサンプリング点の曲率を求める。次に、求めた曲率が予め定めた閾値以上である場合は、そのサンプリング点を突起形状と判定すればよい。ただし、本発明においては、サンプリング点の曲率を求めることに限定されるものではなく、マスクモデルの形状の中から突起部分を判別する方法であれば適応可能である。

次に、仮想物体強調部２０９は、突起形状部分の周辺における既定の半径の突起形状周辺領域１３０２におけるワイヤフレームの色を黒色で描画する。さらに、突起形状周辺領域１３０２以外の領域は、灰色でワイヤフレームを描画する。

さらに、Ｓ５０８において、現実画像強調部２０８は、Ｓ５０７で算出した突起形状周辺領域１３０２の領域において、撮像画像のエッジ抽出を実施する。
図１３では、第１の実施形態における実物体とマスクモデルに対して、本変形例の処理を適用することで強調表示される映像を示している。図１３に示すように、突起形状周辺領域１３０２におけるマスクモデルのワイヤフレーム１３０１と、撮像画像における実物体１０１の突起物のエッジが強調表示される。

以上のように、本変形例では、マスクモデルにおける突起形状部分に着目して、突起形状周辺領域のみを強調表示して作業者に提示する方法を示した。突起部分は中心形状と比較して形状や位置の差が表れやすい箇所であるため、作業者が合わせやすい部位を強調することが本変形例の特徴である。

［第２の実施形態］
第１の実施形態では、実物体１０１とマスクモデル１０２の形状及び位置の差を作業者に知覚させるために、実物体１０１のエッジを強調した現実強調画像９０２に仮想強調画像９０３を重畳して表示した。しかし、画像に映り込む実物体１０１及びマスクモデル１０２が比較的小さい場合、図１８（Ａ）のようにエッジを表示させただけでは形状及び位置の差を作業者に知覚させにくい。

すなわち、マスクモデルのワイヤフレームと実物体のエッジの微小な傾きの差が、画面上における表示領域が小さいことが理由で正確に配置の調整や形状の調整に時間を要することが原因である。本実施形態では、実物体１０１の直線部分とマスクモデル１０２の直線部分を延長した補助線を生成して強調表示することで、微小な傾きの違いでも作業者に形状及び位置の差を知覚させることを特徴とする。以下では、第１の実施形態の構成との相違点のみを述べる。

図１４は、本実施形態における画像処理装置の構成例を示すブロック図である。第１の実施形態における仮想物体投影領域決定部２０５を削除した点が第１の実施形態とは異なる。
図１５は、本実施形態における画像処理装置の処理の詳細を示すフローチャートである。図１５のフローチャートにおいて、Ｓ１５０１及びＳ１５０２以外の処理は、図５のフローチャートの処理と同様であるので、同じステップ番号を付して説明を省略する。

Ｓ１５０１は、仮想物体強調部２０９が、仮想物体１０２をワイヤフレームでレンダリングした画像から直線部分を検出し、延長線を描画して補助線を生成する。エッジ画像から直線を検出するアルゴリズムは、例えば、非特許文献２に記載のハフ変換で実現することができる。

ここで、図１６を用いてＳ１５０１で行われる処理の流れを説明する。
Ｓ１６０１では、仮想物体強調部２０９は、撮像部位置姿勢推定部２０４で推定した撮像部位置姿勢と、仮想物体配置形状記憶部２０６のマスクモデル１０２の情報とに基づいてワイヤフレームを描画する。そして、撮像部２０１の投影面におけるマスクモデルのワイヤフレーム投影画像を生成する。

Ｓ１６０２では、仮想物体強調部２０９は、ハフ変換により、ワイヤフレーム投影画像における複数の直線１８０２Ａ〜Ｅ（図１８（Ｂ））を検出する。仮想物体強調部２０９は、検出した夫々の直線において、直線の位置及び傾きを記録する。
Ｓ１６０３では、仮想物体強調部２０９は、ワイヤフレーム投影画像にＳ１６０２で検出した直線の位置及び傾きを参照して、ワイヤフレームの直線に沿って画像全体へ延長する延長線１８０２Ａ〜Ｅを描画することで仮想強調画像９０３を生成する。

図１５のフローチャートの説明に戻る。
Ｓ１５０２では、現実画像強調部２０８は、撮像画像に映る実物体１０１の直線部分を検出し、延長線を描画して補助線１８０１Ａ〜Ｅを生成する。本ステップでは、撮像画像全体の中でエッジを抽出して、抽出したエッジの中に直線が含まれているか否かを検出し、延長線１８０２Ａ〜Ｅを描画して補助線を生成する。

図１７を用いてＳ１５０２で行われる処理の流れを説明する。
Ｓ１７０１では、現実画像強調部２０８は、撮像画像の取得部２０３から取得した撮像画像のエッジを抽出する。
Ｓ１７０２では、現実画像強調部２０８は、抽出したエッジの中から直線部分を検出する。
Ｓ１７０３では、現実画像強調部２０８は、撮像画像に検出した直線を画像全体へ延長する延長線を重畳し現実強調画像９０２を作成する。

なお、本実施形態では、仮想物体投影領域決定部２０５を削除して、実物体１０１を含む撮像画像全体に対してエッジ抽出処理を行っている。しかし、エッジ抽出処理時間を短縮するために、延長線１８０２Ａ〜Ｅにディレーション処理を行い、延長線の周辺領域のみをエッジ抽出処理してもよい。その場合は、第１の実施形態と同じ構成において、現実画像強調部２０８が、仮想物体強調部２０９で算出した延長線１８０２Ａ〜Ｅの領域に基づいてエッジ抽出処理をすればよい。

本実施形態における処理を、図１８の（Ａ）の撮像画像における実物体１０１及びマスクモデル１０２に適用した図を、図１８（Ｂ）に示す。図１８（Ｂ）に示すように、画像上における実物体１０１およびマスクモデル１０２が小さい場合であっても、直線を延長するような補助線を提示することにより、作業者に配置や形状の調整を効率的に実行させることができる。

［第３の実施形態］
本発明においては、第１の実施形態（第１の変形例、第２の変形例を含む）および第２の実施形態に係る強調表示を独自に提示することに限定されるものではなく、各実施形態における強調表示を組み合わせて実施してもよい。
すなわち、第１の実施形態のマスクモデル１０２のワイヤフレームと、ワイヤフレーム近辺の撮像画像のエッジを強調して表示する。同時に、第２の実施形態である撮像画像から抽出したエッジから直線部分を検出して補助線１８０１を重畳し、マスクモデル１０２のワイヤフレームから直線を検出して延長線１８０２を描画し、補助線として重畳してもよい。

図１９に、画像処理装置に適用可能なコンピュータ（ＰＣ）のハードウェア構成を示すブロック図を示す。
ＰＣ１９００は、ＣＰＵ１９０１、ＲＡＭ１９０２、ＲＯＭ１９０３、キーボード１９０４、マウス１９０５、表示装置１９０６、外部記憶装置１９０７、記憶媒体ドライブ１９０８、Ｉ／Ｆ１９０９、システムバス１９１０を備えている。

ＰＣ１９００は、ＲＯＭ１９０３に記憶されたデバイス制御ソフトウェアをＲＡＭ１９０２に展開して実行し、システムバス１９１０に接続される各デバイスを総括的に制御することにより、前述した実施形態の各機能手段が構成される。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２００ ＨＭＤ
２０１ 撮像部
２０２ 表示部
２０３ 撮像画像の取得部
２０４ 撮像部位置姿勢推定部
２０５ 仮想物体投影領域決定部
２０６ 仮想物体配置部
２０７ 仮想物体入力部
２０８ 現実画像強調部
２０９ 仮想物体強調部
２１０ 配置調整入力部
２１１ 画像合成部
２１２ 画像処理装置

Claims (10)

1. 撮像手段によって撮像された現実空間の画像を取得する画像取得手段と、
   仮想物体を入力する仮想物体入力手段と、
   前記撮像手段の位置及び姿勢情報を推定する撮像部位置姿勢推定手段と、
   前記撮像部位置姿勢推定手段から得られた位置及び姿勢情報によって前記仮想物体を現実空間上の３次元位置に配置する仮想物体配置手段と、
   前記取得した現実空間の画像の中で輝度値が不連続に変化している画素を抽出し、抽出した画素を強調して現実強調画像を生成する現実画像強調手段と、
   前記仮想物体配置手段によって現実空間上の３次元位置に配置された仮想物体を強調して仮想強調画像を生成する仮想物体強調手段と、
   前記現実画像強調手段によって生成された現実強調画像と、前記仮想物体強調手段によって生成された仮想強調画像とを合成する画像合成手段と、
   前記画像合成手段によって得られた画像を表示手段に表示させる表示制御手段とを備えることを特徴とする画像処理装置。
2. 前記現実空間上の３次元位置に配置された前記仮想物体の位置姿勢情報を作業者が入力する配置調整入力手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記現実画像強調手段は、二値化画像の中で画素が直線に並んでいる箇所を抽出し、直線の延長線を補助線として強調して提示することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記仮想物体強調手段は、仮想物体をワイヤフレーム表示にすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記仮想物体強調手段は、仮想物体の突起形状部分を検出し、突起形状部分のワイヤフレーム表示の色を変更して強調することを特徴とする請求項４に記載の画像処理装置。
6. 前記仮想物体強調手段は、仮想物体を描画したときの隣接画素のデプスバッファの差分を検出し、差分が閾値を超える画素のワイヤフレーム表示の色を変更して強調することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記仮想物体強調手段は、仮想物体のワイヤフレームの直線を延長し、補助線として強調して提示することを特徴とする請求項４〜６の何れか１項に記載の画像処理装置。
8. 撮像手段によって撮像された現実空間の画像を取得する画像取得工程と、
   仮想物体を入力する仮想物体入力工程と、
   前記撮像手段の位置及び姿勢情報を推定する撮像部位置姿勢推定工程と、
   前記撮像部位置姿勢推定工程から得られた位置及び姿勢情報によって前記仮想物体を現実空間上の３次元位置に配置する仮想物体配置工程と、
   前記取得した現実空間の画像の中で輝度値が不連続に変化している画素を抽出し、抽出した画素を強調して現実強調画像を生成する現実画像強調工程と、
   前記仮想物体配置工程において現実空間上の３次元位置に配置された仮想物体を強調して仮想強調画像を生成する仮想物体強調工程と、
   前記現実画像強調工程において生成された現実強調画像と、前記仮想物体強調工程において生成された仮想強調画像とを合成する画像合成工程と、
   前記画像合成工程において得られた画像を表示手段に表示させる表示制御工程とを備えることを特徴とする画像処理装置の制御方法。
9. 撮像手段によって撮像された現実空間の画像を取得する画像取得工程と、
   仮想物体を入力する仮想物体入力工程と、
   前記撮像手段の位置及び姿勢情報を推定する撮像部位置姿勢推定工程と、
   前記撮像部位置姿勢推定工程から得られた位置及び姿勢情報によって前記仮想物体を現実空間上の３次元位置に配置する仮想物体配置工程と、
   前記取得した現実空間の画像の中で輝度値が不連続に変化している画素を抽出し、抽出した画素を強調して現実強調画像を生成する現実画像強調工程と、
   前記仮想物体配置工程において現実空間上の３次元位置に配置された仮想物体を強調して仮想強調画像を生成する仮想物体強調工程と、
   前記現実画像強調工程において生成された現実強調画像と、前記仮想物体強調工程において生成された仮想強調画像とを合成する画像合成工程と、
   前記画像合成工程において得られた画像を表示手段に表示させる表示制御工程とをコンピュータに実行させることを特徴とするプログラム。
10. 請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images