JP2024077802A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】体験者によるＣＧモデルを用いた作業が可能な位置へのＣＧモデルの再配置をより効率よく行うことができるようにする。
【解決手段】推奨領域決定部２５０は、記憶部２１０が保持するマップデータに格納されている各キーフレームにおいて、それぞれ１枚の撮影画像に映る特徴点の数、分散値およびマーカー数に基づいた信頼度を算出し、最も信頼度の高いキーフレームを特定する。そして、レイアウト補正部２６０は、ＣＧモデルの形状に基づいてバウンディングボックスを設定し、選択されたキーフレームの画像中心にＣＧモデルの重心位置が投影されるように配置情報を更新する。
【選択図】図１

Description

本発明は、特に、初期に配置されたＣＧモデルを適切な場所へ配置するために用いて好適な画像処理装置、画像処理方法およびプログラムに関する。

従来、表示デバイスの動きに応じてＣＧモデルを描画する仮想現実感や複合現実感を提示するシステムが知られている。このようなシステムでは、ＣＧモデルを作成した際に決定されたＣＧモデル独自の座標系の設定値のまま、基準座標系上にＣＧモデルが初期表示される。ただし、ＣＧモデル作成時の独自の座標系（以下、ローカル座標系と呼称する）での配置位置は、ＣＧモデル作成時の都合で決定されるため、仮想現実感または複合現実感で提示するのに適した場所とは異なる場所にＣＧモデルが配置されることが多い。したがって、ＣＧモデルが初期に配置される位置によっては、ＣＧモデルの再配置に多くの手間がかかってしまう場合がある。

そこで、ＣＧモデルを再配置する手間という課題に対し、従来は、特定の瞬間の表示デバイスの視野内にＣＧモデル全体が表示されるように、ＣＧモデルの位置姿勢とスケールを調整する機能が提供されている。また、特許文献１には、現実空間を観測して得られた環境マップから平面または曲面を有する物体の位置を決定し、その位置にＣＧモデルを設定して表示する方法が開示されている。

特開２０１１－２０３８２４号公報

しかしながら、特許文献１に記載の方法では、平面または曲線上の所定の場所にＣＧモデルを配置することはできるが、その場所がカメラの位置姿勢を推定するのに適した場所ではない場合がある。そのような場合にはＣＧモデルを配置した後に位置姿勢の推定誤差に起因してＣＧモデルが揺れるような現象が発生する。この現象が起こると、体験者はＣＧモデルを用いた作業検証を行うことができないため、ＣＧモデルを再配置するなど、体験者が安定してＣＧモデルを観察またはＣＧモデルを用いた作業検証ができるようにするまで多くの手間がかかってしまう。

本発明は前述の問題点に鑑み、体験者によるＣＧモデルを用いた作業が可能な位置へのＣＧモデルの再配置をより効率よく行うことができるようにすることを目的としている。

本発明に係る画像処理装置は、撮像手段が撮像する現実空間に配置して表示させるためのＣＧモデルの配置情報を管理する管理手段と、前記撮像手段の位置姿勢を推定するために用いられる指標が所定の条件を満たす領域を特定する特定手段と、前記特定手段によって特定された領域でＣＧモデルが表示されるように前記管理手段によって管理されている前記ＣＧモデルの配置情報を補正する補正手段と、を備えることを特徴とする。

本発明によれば、体験者によるＣＧモデルを用いた作業が可能な位置へのＣＧモデルの再配置をより効率よく行うことができる。

第１の実施形態の画像処理装置の機能構成例を示すブロック図である。 第１の実施形態における画像処理装置のハードウェア構成例を示すブロック図である。 ＣＧモデルを重畳した画像を表示する処理手順の一例を示すフローチャートである。 ＣＧモデルを配置する位置を補正する詳細な処理手順の一例を示すフローチャートである。 体験者とＣＧモデルとの関係を示す模式図である。 マーカーおよびパターンが配置された部屋の例を示す図である。 マーカーおよびパターンが配置された部屋から特徴点が抽出された状態を説明するための図である。 カメラを移動させた軌跡を説明するための図である。 信頼度の高いキーフレームの位置を説明するための図である。 キーフレームごとの分散度、特徴点数およびマーカー数を説明するための図である。 ＣＧモデルのレイアウトを補正した結果の例を示す図である。 カメラとＣＧモデルとの間の距離を算出する様子を説明するための図である。 ＨＭＤの表示部に表示される確認画面の一例を示す図である。 第２の実施形態の画像処理装置の機能構成例を示すブロック図である。 接触痕が中心になるようにＣＧモデルのレイアウトを補正した結果の例を示す図である。 ＣＧモデルが初期に設置される位置を説明するための図である。 第３の実施形態におけるＣＧモデルの配置の補正方法を説明するための模式図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。本実施形態では、撮像部から入力された画像に基づいて撮像部の位置姿勢を推定し、得られたマップ情報からＣＧモデルの配置を適正化する画像処理装置について詳細に説明する。

図２は、本実施形態における画像処理装置１００のハードウェア構成例を示すブロック図である。
図２において、ＣＰＵ９０１は、ＲＯＭ９０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ９０７は、ＣＰＵ９０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。外部記憶装置９０６は、各種データや各種プログラム等を記憶する。また、記憶媒体Ｉ／Ｆ９０５は、ＳＤカードなど着脱可能な記憶媒体と接続するためのインターフェースである。操作部９０８は、ユーザーによる各種操作を受け付ける。

通信Ｉ／Ｆ９０３は、有線または無線により外部装置と通信処理を行うためのインターフェースである。ＨＭＤ（Head Mounted Display）１８０は、撮影画像とＣＧモデルとを合成した合成画像を、ＨＭＤ１８０に内蔵されている表示部に表示する。撮像部１０３はＨＭＤ１８０と一体に構成されており、撮影画像を取得する。バス９１０はこれらの構成を接続するためのバスである。

なお、後述する画像処理装置１００の機能や処理は、ＣＰＵ９０１がＲＯＭ９０２又は外部記憶装置９０６に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ９０１は、ＲＯＭ９０２等に替えて、ＳＤカード等の記憶媒体に格納されているプログラムを読み出してもよい。

図１は、本実施形態の画像処理装置１００の機能構成例を示すブロック図である。以下、図５に示すように、体験者５９０がＨＭＤ１８０に内蔵されている表示部を通して、撮像部１０３の撮影画像上に投影されたドア部ＣＧモデル５００と工具ＣＧモデル５１０との合成映像を見る例について説明する。

図１（ａ）において、撮像部１０３は、例えば、シーンを撮影するカメラであり、カラーカメラでもよく、モノクロカメラでもよい。また、撮像部１０３には、ＨＭＤ１８０にステレオ映像を提示するためのステレオカメラを用いてもよい。撮像部１０３は、撮像部１０３で撮影した撮影画像を画像取得部１０５に出力する。画像取得部１０５は、撮像部１０３が撮影した撮影画像を取得し、ＲＡＭ９０７に保持するとともに、取得した撮影画像をＨＭＤデータ管理部１３０に出力する。

ＨＭＤデータ管理部１３０は、ＨＭＤ１８０から取得した情報、およびＨＭＤ１８０に提示するべき情報を管理するモジュールである。ここで、ＨＭＤデータ管理部１３０が保持する情報は、撮像部１０３から取得した撮影画像、撮像部１０３のカメラ位置姿勢、焦点距離や主点などの撮像部１０３の内部パラメータが含まれる。また、ＨＭＤデータ管理部１３０は、位置姿勢の推定に必要なマップデータや、シーンに配置されたマーカーの配置情報も管理している。さらにＨＭＤデータ管理部１３０は、手持ち物体の位置姿勢、ＣＧモデルの幾何情報（３次元ポリゴンの頂点、エッジ情報、テクスチャ画像を含む）、ＣＧモデルの配置情報（基準座標系におけるＣＧモデルごとの位置姿勢を含む）といった情報も管理している。なお、撮像部１０３がステレオカメラの場合は、ステレオカメラに関する情報を各カメラ個別の情報として保持すればよい。

ここで、位置姿勢の推定に必要なマップデータについて説明する。マップデータには、例えば、過去の撮影画像に基づくデータ（以下、キーフレームと呼称する）に関する情報が含まれている。具体的には、キーフレームのＩＤ、キーフレームに対応付けられたカメラ位置姿勢、およびキーフレームに対応付けられた撮影画像の情報が含まれる。さらに、マップデータには、キーフレームの撮影画像に関する情報として、キーフレームの撮影画像から抽出した特徴点の数およびその座標、キーフレームの撮影画像の特徴点の画像上の分散値といった情報も含まれている。なお、特徴点の画像上の分散値には、例えば、キーフレームの撮影画像を１０×１０の画像ブロックに分割し、画像ブロック内に特徴点がある領域の数を全体の数で割った値に１００を掛けた数値を用いればよい。

また、マップデータには、キーフレームに映るマーカー数や、キーフレームの信頼度といった情報も含まれている。なお、マーカーの検出には、ＡｒＵｃｏなどの識別ＩＤを持つ矩形のマーカー検出処理を利用すればよい。すなわち、画像から矩形領域を検出し、矩形領域内に配置されているビットパターンをホモグラフィ変換して識別してＩＤと矩形の４頂点の画像座標を出力する方法である。また、キーフレームの信頼度は、特徴点数、分散値、マーカー数から求める位置合わせ誤差の可能性を表す指標として用いられる。キーフレームの信頼度の詳細については後述する。

さらに、マップデータには、抽出した特徴点を複数のキーフレームの撮影画像間で対応付けを行ってユニークに付与した特徴点ＩＤが含まれている。また、対応付けを行った同一のＩＤ同士の特徴点を、各キーフレームのカメラ位置姿勢に基づいて三角測量して求めた特徴点の３次元座標（Ｘ，Ｙ，Ｚ）、シーンに配置されたマーカーの配置情報もマップデータに含まれている。

ＨＭＤデータ管理部１３０は、撮像部１０３から連続して出力された撮影画像において、推定した位置情報に基づいて所定の距離間隔で特徴点を抽出して保存し、マップデータとして蓄積する。例えば、図６に示すように、部屋の床にマーカー６３０、６３５が配置され、位置合わせに使用するパターン６１０が壁に配置され、部屋の奥に什器６２０が配置されるシーンでは、図７に示すような特徴点６００が撮影画像から抽出されるものとする。このとき、特徴点の抽出は、例えばShi-Tomasi法を用いる。すなわち、画像の所定のブロック内の縦と横の輝度変分が大きくなる交点を探索して特徴点を抽出する。

また、キーフレームの信頼度は、同じキーフレームの特徴点数、分散値、マーカー数に基づく、後述する位置姿勢推定部１４０で推定するカメラ位置姿勢の推定値の誤差の小ささを表す指標である。例えば、１枚の撮影画像に映る特徴点の数が２００点を適正とすると、キーフレームの特徴点数から２００を割った値を特徴点の信頼度とする。同様に分散値も閾値（例えば７０）を設定し、キーフレームの分散値から閾値を割った値を分散値の信頼度とする。マーカー数に関しても、同様にキーフレームのマーカー数から閾値（例えば１個）を割った値をマーカーの信頼度とする。そして、キーフレームの信頼度は、特徴点、分散値、マーカー数の個別の信頼度を足し合わせた数値を使用する。

位置姿勢推定部１４０は、ＨＭＤデータ管理部１３０に格納されたマップデータと、取得した撮影画像、マーカーの配置情報に基づいて、現在の撮像部１０３のカメラ位置姿勢を推定する。カメラ位置姿勢を推定する方法としては、位置姿勢推定部１４０は、例えば、自己位置姿勢推定方法の一つであるＯＲＢＳＬＡＭを用いればよい。具体的には、まず、入力された現在の撮影画像に含まれる画像特徴のブロックの特徴を一番多く含む過去の撮影画像（参照画像）を決定する。続いて、参照画像の特徴点と現在の撮影画像の特徴点との対応付けを行い、参照画像のカメラ位置姿勢の３次元特徴点と現在の撮影画像の特徴点との対応から、現在のカメラ位置姿勢を推定する。

なお、カメラ位置姿勢を推定する方法はＯＲＢＳＬＡＭに限定するものではなく、マップデータを作成・参照してカメラ位置姿勢を推定する方法であれば、どのような方法を適用してもよい。

ここで、撮影画像内の特徴点が少なかったり、一部のみに特徴点が偏っていたりする状況では、位置姿勢の推定に誤差が生じる、または、カメラの位置姿勢が推定できない状況に陥る可能性がある。カメラ位置姿勢の推定に誤差が生じたり、カメラ位置姿勢自体を推定できなかったりする場合は、ＣＧ描画部１７０でドア部ＣＧモデル５００を描画する位置にずれが生じたりドア部ＣＧモデル５００を描画できなかったりする状態となる。そのため、体験者５９０は検証したい作業ができない状況となる。そこで、位置姿勢推定部１４０は、マーカーを検出する機能を備えている。これにより、特徴点が少ない状況や特徴点に偏りがある場面でも、マーカーから推定したカメラ位置姿勢の推定情報と統合することで、カメラ位置姿勢の誤差を低減することができる。

ＣＧ描画部１７０は、ＨＭＤデータ管理部１３０で管理されている項目に基づいて、撮影画像を背景にＣＧモデルをレンダリングした画像を生成する。具体的には、撮影画像、カメラ位置姿勢、撮像部１０３の内部パラメータ、ＣＧモデルの幾何情報、およびＣＧモデルの配置情報に基づいて撮影画像にＣＧモデルを合成した画像を生成し、合成した画像をＨＭＤ１８０に出力する表示制御を行う。なお、ＨＭＤ１８０の表示部がステレオディスプレイの場合は、左右の画像を個別に生成し、対応するディスプレイに表示すればよい。

ＨＭＤ１８０は、ＣＧ描画部１７０で生成した映像を体験者５９０に提示するディスプレイである。本実施形態では、体験者５９０の頭部に装着するＨＭＤを例示しているが、ＨＭＤに表示することに限定されるものではなく、カメラ付きのスマートフォンや、カメラ付きのタブレット・ノートパソコンなどのディスプレイにも適用可能である。

データ管理部１９５は、ＨＭＤデータ管理部１３０で管理されているＣＧモデルの配置情報、ＣＧモデルの幾何情報、手持ち物体の位置姿勢、およびマップデータを参照し、ＣＧモデルに関するレイアウト補正と接触判定を行う。なお、データ管理部１９５は、ＣＧモデルの変形や表示・消去などの制御など、他の操作を取り扱うようにしてもよい。

続いて、データ管理部１９５の詳細な構成について説明する。図１（ｂ）は、データ管理部１９５の詳細な機能構成例を示すブロック図である。
記憶部２１０は、ＨＭＤデータ管理部１３０が管理するＣＧモデルの配置情報、ＣＧモデルの幾何情報、手持ち物体の位置姿勢、およびマップデータを保持し、ＨＭＤデータ管理部１３０で更新された情報を逐次同期する。

接触判定部２３０は、記憶部２１０が保持するＣＧモデルの幾何情報、ＣＧモデルの配置情報、手持ち物体の位置姿勢に基づいて、体験者５９０の持つ工具ＣＧモデル５１０がドア部ＣＧモデル５００に接触するか否かを判定する。そして、接触が起こった場合は、接触判定部２３０が、体験者５９０に接触したことを通知するため、図５に示すような接触痕５２０を新たなＣＧモデルとして生成し、記憶部２１０が保持するＣＧモデルの配置情報、ＣＧモデルの幾何情報を更新する。記憶部２１０で更新されたデータは、ＨＭＤデータ管理部１３０に逐次送信され、更新された情報に基づいて、ＨＭＤ１８０に接触痕５２０が表示される。なお、本実施形態では、接触判定を行う例について説明したが、体験者５９０がドア部ＣＧモデル５００を視認して検証を行う作業であれば、それ以外の判定を行ってもよい。

レイアウト監査部２４０は、記憶部２１０が保持するマップデータ、ＣＧモデルの配置情報、ＣＧモデルの幾何情報を用いて、ドア部ＣＧモデル５００が体験者５９０に対して適正な位置に配置されているか否かを判定する。例えば、図１６に示すように、複合現実感を体験するシーンにおいて、体験者５９０が期待する場所にドア部ＣＧモデル５００が表示されず、体験者５９０が想定していない什器６２０の近傍に配置されてしまう状況が考えられる。このような場合、まず、ドア部ＣＧモデル５００が配置された場所が体験者５９０の視野に入らず、探すための手間が発生する。続いて、ドア部ＣＧモデル５００を視認して作業するために、図１６に示す位置に配置されたドア部ＣＧモデル５００に近づくと、図１０（ａ）に示すような特徴点が少ない撮影画像が入力される。このため、位置姿勢推定部１４０で出力されるカメラ位置姿勢の誤差が増加する。さらに、ドア部ＣＧモデル５００と体験者５９０の持つ工具ＣＧモデル５１０との接触判定を検証しようとしても、什器６２０に体験者５９０の手が衝突して正しく検証できない。

これらの課題を解決するために、レイアウト監査部２４０では、レイアウトを補正する条件を設定し、レイアウト補正が必要か否かを判定する。ここで、ドア部ＣＧモデル５００の読み出しが完了した後に１分間、体験者５９０の視野にドア部ＣＧモデル５００が映らない場合は、レイアウトを補正する条件に該当する。また、レイアウト監査部２４０は、記憶部２１０が保持するマップデータが持つ過去の画像ごとの位置姿勢と撮像部１０３の内部パラメータとからドア部ＣＧモデル５００が映りこむキーフレームを特定する。そして、キーフレーム信頼度が２．００を超えない場合はレイアウトを補正する条件に該当するものとする。さらに、ドア部ＣＧモデル５００が映りこむキーフレームを特定し、ドア部ＣＧモデル５００よりもカメラ視点の手前に３次元特徴点が一定数以上存在する場合も、レイアウトを補正する条件に該当する。

なお、レイアウト監査部２４０は、個別に条件を設定して補正の要否を決定してもよく、上記の３つの判定条件の組み合わせによって補正の要否を決定してもよい。また、上記の３つの判定条件以外に、体験者５９０の作業を妨げる要因を検知する他の判定方法を適用して補正の要否を決定してもよい。レイアウト監査部２４０は、レイアウトの補正が必要だと判定した場合は、推奨領域決定部２５０でドア部ＣＧモデル５００を配置するべき場所を特定する。

推奨領域決定部２５０は、記憶部２１０が保持するマップデータから、位置合わせの信頼度を計算し、現時点で一番信頼度が高いキーフレームを選択し、レイアウト補正部２６０にキーフレーム情報を送付する。ここで、図６に示すようなシーンにおいて、図８に示すように、撮像部１０３を移動させた場合の処理を説明する。図８は、図６のシーンの上面から見た場合の概要を示す模式図である。図８において、軌跡８５０は、撮像部１０３の移動の軌跡を示している。また、撮像部１０３の軌跡８５０上にある位置８１１、８１３、８１５、８１７、８１９はキーフレームの位置を表している。

推奨領域決定部２５０は、マップデータ内の各キーフレームの信頼度を算出する。ここで、図８の位置８１５、８１７、８１９でのキーフレームの信頼度を算出する例について説明する。図１０（ａ）～図１０（ｃ）は、それぞれ位置８１５、８１７、８１９で撮影した画像を示しており、各キーフレームにおける撮影画像の上に特徴点を重ね合わせた図を示している。

前述したように、１枚の撮影画像に映る特徴点の数は２００点を適正とし、分散値の閾値を７０に設定し、マーカー数に関する閾値を１に設定する。この場合、例えば、位置８１５におけるキーフレームの場合、分散値の信頼度は３０／７０＝０．４２で、特徴点の信頼度は２１／２００＝０．１１で、検出マーカー数の信頼度は１／１＝１．００となる。したがって、位置８１５のキーフレームの信頼度は、０．４２＋０．１１＋１．００＝１．５３と算出される。同様の計算方法により、位置８１７のキーフレームの信頼度は１．５９（１．１４＋０．４５＋０）、位置８１９のキーフレームの信頼度は２．３３（０．９３＋０．４０＋１．００）となる。この場合、図９に示すように、位置８１９のキーフレームが位置合わせに適正なキーフレームであると判定される。

推奨領域決定部２５０は、以上の手順によって最も信頼度の高いキーフレームを選択し、レイアウト補正部２６０に適正なキーフレームの情報を送付する。なお、キーフレームの信頼度の計算方法については特に限定されるものではなく、ドア部ＣＧモデル５００の位置合わせの誤差を表す尺度として算出されるものであれば、どのように信頼度を計算してもよい。また、本実施形態では、特徴点の数や分散値が大きいほど信頼度が高くなる傾向にあるため、特徴点が明らかに少ないキーフレームの情報はマップデータから削除するようにしてもよい。

レイアウト補正部２６０は、ドア部ＣＧモデル５００の代表点（例えば、３次元モデルの３次元頂点の平均位置を表す重心位置）が画像の中心と重なるように配置する。例えば、推奨領域決定部２５０により最も信頼度の高いキーフレームとして位置８１９のキーフレームが選択された場合、レイアウト補正部２６０は、図１０（ｃ）に示す画像にドア部ＣＧモデル５００を配置する。このとき、レイアウト補正部２６０は、図１１に示すように、ドア部ＣＧモデル５００の代表点が画像中心１１００と重なるように配置する。

ただし、この段階では、画像中心１１００はキーフレームに対する距離情報がないため、３次元位置での配置場所は確定できない。そこで、３次元位置を確定するために、レイアウト補正部２６０は、適正なキーフレームの画像の中心位置とキーフレームのカメラ原点を結ぶベクトルを算出する。図１２は、位置８１９に関するマップ点とドア部ＣＧモデル５００の形状情報とからドア部ＣＧモデル５００の配置の補正方法を説明するための模式図である。図１２（ａ）は、位置８１９を上面から見た図を示し、図１２（ｂ）は、位置８１９を左側面から見た図を示す。

レイアウト補正部２６０は、まず、位置８１９から３０ｃｍの距離を初期値として、ドア部ＣＧモデル５００を配置する。そして、３０ｃｍ離れた位置で、位置８１９の３次元特徴点とドア部ＣＧモデル５００の領域とが交差しないか否かを判定する。ドア部ＣＧモデル５００の領域は、例えば図１２（ａ）及び図１２（ｂ）に示すようなドア部ＣＧモデル５００を囲むバウンディングボックス１２２０で定義する。交差しない場合は、位置８１９からの距離を１ｃｍ間隔で段階的に遠くに設定し、ドア部ＣＧモデル５００の領域が３次元特徴点と交差するか否かの検証を繰り返す。ドア部ＣＧモデル５００が３次元特徴点と交差した場合は、そのひとつ前の距離を適正な距離１２１０として決定し、ドア部ＣＧモデル５００の３次元位置の補正後の位置を決定する。レイアウト補正部２６０は、ドア部ＣＧモデル５００の補正後の位置について、記憶部２１０が保持するドア部ＣＧモデル５００の配置情報を更新し、ＨＭＤデータ管理部１３０に同期させる。

次に、図３のフローチャートを参照しながら本実施形態の処理の詳細について説明する。図３は、本実施形態において、ＣＧモデルを重畳した画像を表示する処理手順の一例を示すフローチャートである。以下、図５に示すように、体験者５９０が撮像部１０３の撮影画像上に投影されたドア部ＣＧモデル５００と工具ＣＧモデル５１０との合成映像を見る例について説明する。

まず、ステップＳ３００において、ＨＭＤデータ管理部１３０は、記憶部２１０からドア部ＣＧモデル５００および工具ＣＧモデル５１０の幾何情報を読み出し、ＨＭＤデータ管理部１３０内に保持する。
続いてステップＳ３２０において、画像取得部１０５は、撮像部１０３から撮影画像を受信し、ＨＭＤデータ管理部１３０は、撮影画像として保持する。

次に、ステップＳ３３０において、位置姿勢推定部１４０は、マップデータと入力された撮影画像とを用いて、撮像部１０３のカメラ位置姿勢を推定する。
ステップＳ３４０において、ＣＧ描画部１７０は、ＨＭＤデータ管理部１３０に保持されているデータに基づいてドア部ＣＧモデル５００および工具ＣＧモデル５１０を描画する。

ステップＳ３５０において、ＣＧ描画部１７０は、ＨＭＤデータ管理部１３０に保持されているデータに基づいて、入力された撮影画像とステップＳ３４０で描画したドア部ＣＧモデル５００および工具ＣＧモデル５１０とを合成する。そして、ＣＧ描画部１７０は、合成した画像をＨＭＤ１８０に出力する。

ステップＳ３６０において、ＨＭＤデータ管理部１３０は、位置姿勢推定部１４０が推定したカメラ位置がマップデータに格納されたキーフレームのカメラ位置から一定距離以上離れているか否かを判定する。そして、一定距離以上離れている場合に、マップデータに新たなキーフレームとして情報を追加し、記録する。また、データ管理部１９５は、マップデータの更新に伴い、記憶部２１０に保持されている情報を更新する。

ステップＳ３６５において、データ管理部１９５の接触判定部２３０は、記憶部２１０が保持するデータに基づいて、ドア部ＣＧモデル５００と工具ＣＧモデル５１０との間で接触判定を行う。

ステップＳ３７０において、データ管理部１９５は、記憶部２１０の情報に基づいてドア部ＣＧモデル５００のレイアウト補正の有無を検知し、必要に応じてドア部ＣＧモデル５００のレイアウトを補正する処理を行う。処理の詳細は後述する。
ステップＳ３８０において、ＨＭＤデータ管理部１３０が、体験者５９０からの終了指示があるか否かを判定する。終了指示があった場合は処理を終了する。終了指示がなかった場合は、ステップＳ３２０に処理を移し、新たな撮影画像を用いて処理を継続する。

図４は、ステップＳ３７０の詳細な処理手順の一例を示すフローチャートである。
ステップＳ４１０において、レイアウト監査部２４０は、記憶部２１０が保持するマップデータから、ドア部ＣＧモデル５００が映りこむキーフレームを特定する。

ステップＳ４１５では、レイアウト監査部２４０は、ドア部ＣＧモデル５００が体験者５９０に対して適正な位置に配置されているか否かを判定する。この処理では、前述したように、ドア部ＣＧモデル５００が映りこむキーフレームの信頼度が２．００を超えない場合は、ドア部ＣＧモデル５００が適正な位置に配置されていないと判定する。また、ドア部ＣＧモデル５００よりもカメラ視点の手前に３次元特徴点が一定数以上存在する場合も同様に、ドア部ＣＧモデル５００が適正な位置に配置されていないと判定する。この判定の結果、ドア部ＣＧモデル５００が適正な位置に配置されている場合は、レイアウトの補正は不要であるため、処理を終了する。一方、ドア部ＣＧモデル５００が適正な位置に配置されていない場合は、レイアウトの補正が必要であるため、ステップＳ４２０に処理を移す。

ステップＳ４２０においては、推奨領域決定部２５０は、記憶部２１０が保持するマップデータに格納されている各キーフレームからキーフレームごとの信頼度を算出する。
ステップＳ４３０では、推奨領域決定部２５０は、ステップＳ４２０で算出したキーフレームの信頼度が一番高いキーフレームを選択する。

ステップＳ４４０では、レイアウト補正部２６０は、ドア部ＣＧモデル５００の形状に基づいてバウンディングボックス１２２０を設定し、選択されたキーフレームの画像中心１１００にドア部ＣＧモデル５００の重心位置が投影されるように配置を調整する。
ステップＳ４５０では、レイアウト補正部２６０は、選択されたキーフレームのカメラ位置からドア部ＣＧモデル５００までの距離を決定する。そして、レイアウト補正部２６０は、補正後のドア部ＣＧモデル５００の位置で記憶部２１０が保持するドア部ＣＧモデル５００の配置情報を更新し、ＨＭＤデータ管理部１３０に同期させる。

以上のように本実施形態によれば、位置姿勢の推定に適した信頼度の高いキーフレームに基づいて、ＣＧモデルのレイアウトを補正するようにした。このように、位置姿勢の推定に適した場所にＣＧモデルが配置されるため、従来よりも短時間でＣＧモデルのレイアウト作業を完了させることができる。これにより、知識の少ない体験者でも、検証作業も位置合わせ精度のよいエリアで実施することができ、システム構築にかかる時間を低減できる。

なお、本実施形態では、レイアウト補正部２６０は、キーフレームの画像中心にドア部ＣＧモデル５００の重心位置が重なるようにドア部ＣＧモデル５００配置を補正したが、配置する位置は重心位置に限定されない。体験者５９０の作業性に応じてドア部ＣＧモデル５００を配置する位置を変更してもよい。例えば、接触判定部２３０で生成される接触痕５２０が発生する位置は、ドア部ＣＧモデル５００の位置姿勢を推定する際に誤差が少ない状態で工具ＣＧモデル５１０と接触する方が望ましい。また、ドア部ＣＧモデル５００よりもサイズの大きいＣＧモデルを扱う場合も、検証したい位置が重心位置から大きくずれる場合もある。これらの理由により、位置合わせの誤差が少ない場所で体験者が作業できるように、状況に応じてＣＧモデルの位置を変更してもよい。例えば、図１５に示すように、接触判定を実施したときの接触痕５２０が、キーフレームの画像中心に配置されるようにレイアウトを補正するようにしてもよい。

また、本実施形態では、レイアウト補正部２６０が補正した結果に基づいて、ＨＭＤデータ管理部１３０は、ＣＧモデルの配置情報を即座に同期し、補正された３次元位置でＣＧ描画部１７０がドア部ＣＧモデル５００を描画するようになる。一方で、体験者５９０がドア部ＣＧモデル５００に対して検証作業を行っている間にドア部ＣＧモデル５００の配置が補正されると、作業の中断が余儀なくされる場合がある。そこで、ＨＭＤデータ管理部１３０は、ＣＧモデルの配置情報を即座に同期せず、ＣＧ描画部１７０は、ドア部ＣＧモデル５００の配置を補正するタイミングを体験者に提示するようにしてもよい。

図１３は、ＨＭＤ１８０の表示部に表示される確認画面の一例を示す図である。図１３の例では、補正前のドア部ＣＧモデル５００の位置と補正後の位置を表す第二のＣＧモデル１３１０の位置とが示されている。また、図１３の例では、選択されたキーフレームの撮影画像上に補正後のドア部ＣＧモデル５００を合成したサムネイル画像１３２０も提示されている。なお、サムネイル画像１３２０は、選択されたキーフレームのカメラ位置姿勢を参照して３次元空間に配置する。

さらに、画面下部には、体験者５９０に対して、補正をするか否かを選択する選択肢を提示するメッセージウィンドウ１３３０を表示する。メッセージウィンドウ１３３０には、現在表示されている補正候補の位置で補正するか否かを問い合わせる選択肢を併せて表示する。そして、体験者５９０により操作部９０８から「はい」の選択肢が選択された場合に、ＨＭＤデータ管理部１３０はＣＧモデルの配置情報を同期し、補正された３次元位置でＣＧ描画部１７０がドア部ＣＧモデル５００を描画できるようにする。

また、図１３のメッセージウィンドウ１３３０に示すように、他の補正候補があることを示す選択肢「次の候補を表示」を提示してもよい。この場合、ステップＳ４３０で、推奨領域決定部２５０は、ステップＳ４２０で算出したキーフレームの信頼度の高い順に複数のキーフレームを選択する。そして、ステップＳ４４０及びＳ４５０で、レイアウト補正部２６０は、それぞれのキーフレームに対し、ドア部ＣＧモデル５００の配置を調整し、記憶部２１０はそれぞれのＣＧモデルの配置情報を保持するようにする。体験者５９０により操作部９０８から「次の候補を表示」の選択肢が選択された場合は、ＣＧモデルの配置位置が異なる画面に切り替えるようにする。

（第２の実施形態）
第１の実施形態では、物理的に１つの画像処理装置１００内にデータ管理部１９５を有する構成としていたが、物理的に１つの装置に集約しなくてもよい。例えば、物理的に異なる２つのシステム上にＣＧモデルを表示する機能とＣＧモデルのレイアウトを補正する機能とを分割してもよい。この場合、ＣＧモデルのレイアウトを補正する機能は、体験者が複数人の場合に共有することができ、有効である。

本実施形態では、ＣＧモデルを表示するシステムと、ＣＧモデルのレイアウト補正するための計算を行うシステムとを別々に構築し、ネットワークで接続して、レイアウトの補正計算処理を、複数の表示デバイスで共有する場合の例を示す。図１４は、本実施形態における機能構成例を示すブロック図である。なお、図１と番号が同じブロックについては同一の機能を持つものとして説明を省略する。また、図１４に示す例では、ＣＧモデル配置処理部１９７およびクライアント送受信部１５０はそれぞれ１つであるが、これらが複数存在する場合にも適用できる。

図１４において、クライアント送受信部１５０は、ＨＭＤデータ管理部１３０が管理するデータを統合管理部１９０に送信したり、統合管理部１９０からデータをＣＧモデル配置処理部１９７に受信したりするためのブロックである。また、クライアント送受信部１５０には、統合管理部１９０のＩＰアドレスおよびポート番号が格納されており、クライアント送受信部１５０は、逐次更新されたデータを送信するために、接続制御部１９３と通信する。

接続制御部１９３は、クライアント送受信部１５０から送信されたデータを、データ管理部１９５に反映するデータとして問題ないかどうかを検査する。例えば過去３０分以内に接続履歴がある場合は、接続処理を省略してデータ管理部１９５の記憶部２１０を更新するが、該当しない場合は、再度接続を確立するための処理を体験者５９０に指示してもよい。さらにデータ管理部１９５では、記憶部２１０内に複数のクライアント送受信部１５０から送付された異なるデータを同時に処理しないように排他制御し、制御キューに登録された順番に基づいて処理を行うようにしてもよい。

また、図１４に示す例では、ＣＧモデル配置処理部１９７およびクライアント送受信部１５０は、図５に示す画像処理装置１００と同様に体験者５９０が所持する装置内の構成とするが、クライアント送受信部１５０は別の装置であってもよい。一方で、統合管理部１９０は、例えば、一般的なパーソナルコンピュータ（ＰＣ）内の構成とすることができる。

このように本実施形態によれば、複数の体験者の接続を制御することにより、統合管理部１９０では、複数の体験者に提示するＣＧモデルの配置の補正情報を一元管理することができる。このようにＣＧモデルの配置の補正情報を一元管理することで、体験者側の装置の処理負荷を低減することができる。すなわち、処理負荷の軽減により、ＣＧ描画部１７０で複雑なＣＧモデルを描画しても、フレームレートの低下を抑えることができる。

（第３の実施形態）
第１の実施形態では、体験者５９０が装着するＨＭＤ１８０に固定された撮像部１０３で撮影された画像からマップデータを生成し、マップデータと空間に配置されたマーカー情報からＣＧモデルの配置を補正する方法を例示した。一方で、位置姿勢の推定精度が高い領域を特定する方法があれば、他の方法を適用してもよい。そこで本実施形態では、光学式センサーを用いた位置合わせ方法を用いて、ＣＧモデルの配置を補正する方法について説明する。なお、本実施形態における画像処理装置１００の構成等は基本的に第１の実施形態と同様であり、以下、第１の実施形態と異なる点について説明する。

図１７は、本実施形態におけるＣＧモデルの配置の補正方法を説明するための模式図である。図１７に示すように、部屋１７３０の壁付近には、光学式センサーを備えた複数のカメラデバイスが固定配置されており、これらのカメラデバイスは、不図示のコントローラー装置に接続されている。そして、これらの複数のカメラデバイスで球マーカー１７２０を同時に撮影して球マーカー１７２０の３次元位置を推定することができる。さらに、３個以上の球マーカー１７２０が固定された物体の位置姿勢を推定することができる。本実施形態では、ドア部ＣＧモデル５００を撮影画像上に合成するための撮像部１０３に球マーカー１７２０を３個固定し、光学式センサーを用いて撮像部１０３のカメラ位置姿勢を推定する。

本実施形態では、位置姿勢推定部１４０は、カメラ位置姿勢を推定する方法として、光学式センサー（複数のカメラデバイス１７１０）から得られる撮像部１０３のカメラ位置姿勢の結果を受信する。また、推奨領域決定部２５０は、図１７に示す複数のカメラデバイス１７１０の視野領域が重なる領域１７８０を位置姿勢の推定精度が高い領域として設定する。さらに、レイアウト補正部２６０は、領域１７８０の重心位置とドア部ＣＧモデル５００の重心位置１７６０とが重なるように、ドア部ＣＧモデル５００を配置するようにする。

（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成、方法およびプログラムを含む。

（構成１）
撮像手段が撮像する現実空間に配置して表示させるためのＣＧモデルの配置情報を管理する管理手段と、
前記撮像手段の位置姿勢を推定するために用いられる指標が所定の条件を満たす領域を特定する特定手段と、
前記特定手段によって特定された領域でＣＧモデルが表示されるように前記管理手段によって管理されている前記ＣＧモデルの配置情報を補正する補正手段と、
を備えることを特徴とする画像処理装置。
（構成２）
前記撮像手段の位置姿勢を推定する推定手段と、
前記推定手段によって推定された位置姿勢で得られた前記現実空間のマップデータを記録する記録手段と、
を備え、
前記特定手段は、前記記録手段によって記録されたマップデータに基づく指標が前記所定の条件を満たす領域を特定することを特徴とする構成１に記載の画像処理装置。

（構成３）
前記マップデータは、前記撮像手段の位置姿勢が異なる２つ以上の撮影画像に基づくデータを含むことを特徴とする構成２に記載の画像処理装置。
（構成４）
前記マップデータは、前記撮像手段の複数の位置姿勢から算出された特徴点の３次元座標を含むことを特徴とする構成２または３に記載の画像処理装置。
（構成５）
前記推定手段は、前記現実空間に配置されたマーカーの情報を組み合わせて位置姿勢を推定することを特徴とする構成２～４の何れかに記載の画像処理装置。

（構成６）
前記指標は、過去に前記撮像手段で撮影された撮影画像における特徴点の数、特徴点の分散値、および前記現実空間に配置されたマーカーの数に基づく指標であることを特徴とする構成１～５の何れかに記載の画像処理装置。
（構成７）
前記特定手段は、過去に前記撮像手段で撮影された撮影画像における特徴点の数、特徴点の分散値、および前記現実空間に配置されたマーカーの数に応じた信頼度が最も高くなる過去の撮影画像に含まれる領域を特定することを特徴とする構成６に記載の画像処理装置。
（構成８）
前記補正手段は、前記信頼度が最も高くなる撮影画像の中心に前記ＣＧモデルの重心が重なるように前記ＣＧモデルの配置情報を補正することを特徴とする構成７に記載の画像処理装置。
（構成９）
前記補正手段は、さらに前記ＣＧモデルの領域と特徴点とが重ならないように前記ＣＧモデルの配置情報を補正することを特徴とする構成１～８の何れかに記載の画像処理装置。

（構成１０）
前記補正手段によって配置情報が補正されたＣＧモデルを前記撮像手段の撮影画像に合成した映像を表示手段に表示させる表示制御手段をさらに備えることを特徴とする構成１～９の何れかに記載の画像処理装置。
（構成１１）
前記表示制御手段は、前記補正手段により前記ＣＧモデルの配置情報を変更する旨の確認画面を前記表示手段に表示させることを特徴とする特徴とする構成１０に記載の画像処理装置。
（構成１２）
前記特定手段は、前記現実空間に固定された複数のカメラの撮影画像の視野領域が重なる領域を前記所定の条件を満たす領域として特定することを特徴とする構成１または２に記載の画像処理装置。

（方法）
撮像手段が撮像する現実空間に配置して表示させるためのＣＧモデルの配置情報を管理する管理工程と、
前記撮像手段の位置姿勢を推定するために用いられる指標が所定の条件を満たす領域を特定する特定工程と、
前記特定工程において特定された領域でＣＧモデルが表示されるように前記管理工程において管理されている前記ＣＧモデルの配置情報を補正する補正工程と、
を備えることを特徴とする画像処理方法。

（プログラム）
撮像手段が撮像する現実空間に配置して表示させるためのＣＧモデルの配置情報を管理する管理工程と、
前記撮像手段の位置姿勢を推定するために用いられる指標が所定の条件を満たす領域を特定する特定工程と、
前記特定工程において特定された領域でＣＧモデルが表示されるように前記管理工程において管理されている前記ＣＧモデルの配置情報を補正する補正工程と、
をコンピュータに実行させるためのプログラム。

１９５ データ管理部、２５０ 推奨領域決定部、２６０ レイアウト補正部

Claims (14)

1. 撮像手段が撮像する現実空間に配置して表示させるためのＣＧモデルの配置情報を管理する管理手段と、
   前記撮像手段の位置姿勢を推定するために用いられる指標が所定の条件を満たす領域を特定する特定手段と、
   前記特定手段によって特定された領域でＣＧモデルが表示されるように前記管理手段によって管理されている前記ＣＧモデルの配置情報を補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記撮像手段の位置姿勢を推定する推定手段と、
   前記推定手段によって推定された位置姿勢で得られた前記現実空間のマップデータを記録する記録手段と、
   を備え、
   前記特定手段は、前記記録手段によって記録されたマップデータに基づく指標が前記所定の条件を満たす領域を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記マップデータは、前記撮像手段の位置姿勢が異なる２つ以上の撮影画像に基づくデータを含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記マップデータは、前記撮像手段の複数の位置姿勢から算出された特徴点の３次元座標を含むことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記推定手段は、前記現実空間に配置されたマーカーの情報を組み合わせて位置姿勢を推定することを特徴とする請求項２に記載の画像処理装置。
6. 前記指標は、過去に前記撮像手段で撮影された撮影画像における特徴点の数、特徴点の分散値、および前記現実空間に配置されたマーカーの数に基づく指標であることを特徴とする請求項１または２に記載の画像処理装置。
7. 前記特定手段は、過去に前記撮像手段で撮影された撮影画像における特徴点の数、特徴点の分散値、および前記現実空間に配置されたマーカーの数に応じた信頼度が最も高くなる過去の撮影画像に含まれる領域を特定することを特徴とする請求項６に記載の画像処理装置。
8. 前記補正手段は、前記信頼度が最も高くなる撮影画像の中心に前記ＣＧモデルの重心が重なるように前記ＣＧモデルの配置情報を補正することを特徴とする請求項７に記載の画像処理装置。
9. 前記補正手段は、さらに前記ＣＧモデルの領域と特徴点とが重ならないように前記ＣＧモデルの配置情報を補正することを特徴とする請求項１または２に記載の画像処理装置。
10. 前記補正手段によって配置情報が補正されたＣＧモデルを前記撮像手段の撮影画像に合成した映像を表示手段に表示させる表示制御手段をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
11. 前記表示制御手段は、前記補正手段により前記ＣＧモデルの配置情報を変更する旨の確認画面を前記表示手段に表示させることを特徴とする特徴とする請求項１０に記載の画像処理装置。
12. 前記特定手段は、前記現実空間に固定された複数のカメラの撮影画像の視野領域が重なる領域を前記所定の条件を満たす領域として特定することを特徴とする請求項１に記載の画像処理装置。
13. 撮像手段が撮像する現実空間に配置して表示させるためのＣＧモデルの配置情報を管理する管理工程と、
    前記撮像手段の位置姿勢を推定するために用いられる指標が所定の条件を満たす領域を特定する特定工程と、
    前記特定工程において特定された領域でＣＧモデルが表示されるように前記管理工程において管理されている前記ＣＧモデルの配置情報を補正する補正工程と、
    を備えることを特徴とする画像処理方法。
14. 撮像手段が撮像する現実空間に配置して表示させるためのＣＧモデルの配置情報を管理する管理工程と、
    前記撮像手段の位置姿勢を推定するために用いられる指標が所定の条件を満たす領域を特定する特定工程と、
    前記特定工程において特定された領域でＣＧモデルが表示されるように前記管理工程において管理されている前記ＣＧモデルの配置情報を補正する補正工程と、
    をコンピュータに実行させるためのプログラム。

Images