JP6293386B2 - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents

Description

本発明は、画像処理技術に関する。

ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示システムは、被写体の３Ｄ（３ ｄｉｍｅｎｓｉｏｎａｌ）形状データとテクスチャデータから被写体展開画像を生成し、被写体展開画像の画像特徴点を照査して、被写体を追跡する。

特許文献１には、画像入力部、展開図特徴表現部、データベース、データベース特徴表現部、照合部及び表示部で構成されるＡＲ表示システムが開示されている。
画像入力部は、カメラ等で撮影して得られたＲＧＢ画像を入力する。
展開図特徴表現部は、画像入力部を介して入力した被写体の３Ｄモデルとテクスチャから展開画像を生成して画像特徴点を抽出して画像特徴量を算出する。
データベースは、予めさまざまな物体に対して任意の位置（座標、向き）から撮影した画像を蓄積する。
データベース特徴表現部は、データベースから画像を読み出して画像特徴点を抽出して局所記述子を算出する。
照合部は、展開図特徴表現部とデータベース特徴表現部で算出した画像特徴点の局所記述子を比較して最も類似するデータベース内の画像を特定し、撮影したときの物体に対するカメラの位置を求める。
表示部は、例えば、表示装置である。

特開２０１４−１０２７４６号公報

特許文献１のＡＲ表示システムでは、事前にデータ量の大きい画像をデータベースに大量に蓄積する必要があるという課題がある。また、特許文献１のＡＲ表示システムでは、３Ｄモデルとテクスチャから展開画像を高速に生成しなければならないという課題がある。

本発明は、上記のような課題を解決することを主な目的とし、事前に画像をデータベースに蓄積することなく、また、展開画像を生成することなく、ＡＲ表示を高速化することを主な目的とする。

本発明に係るデータ処理装置は、
物体の三次元形状が表される、それぞれに三次元座標が設定されている複数の点で構成される点群データを取得する点群データ取得部と、
前記点群データの前記複数の点の中から、前記物体の撮影画像に含まれる画像特徴点に相当する点を抽出し、抽出した点に設定されている三次元座標を前記画像特徴点に対応付ける対応付け部とを有する。

本発明では、撮影画像内の画像特徴点に相当する点の三次元座標を画像特徴点に対応付ける。このため、本発明によれば、画像特徴点の三次元座標のみを保持することで、データ量を著しく減らすことが出来る。
また、本発明では、保持する点群データのデータ量が少ないので、検索を高速に行うことができる。更に、本発明では、点群データで物体の三次元形状を扱うので、展開画像を生成する必要も事前にＲＧＢ画像をデータベースに蓄積する必要もなく、ＡＲ表示を高速化することができる。

実施の形態１に係るＡＲ表示装置の機能構成例を示す図。 実施の形態１に係るＡＲ表示装置の動作例を示すフローチャート図。 実施の形態２に係るＡＲ表示装置の機能構成例を示す図。 実施の形態２に係るＡＲ表示装置の動作例を示すフローチャート図。 実施の形態３に係るＡＲ表示装置の機能構成例を示す図。 実施の形態３に係るＡＲ表示装置の動作例を示すフローチャート図。 実施の形態１〜３に係るＡＲ表示装置のハードウェア構成例を示す図。 実施の形態１に係る画像の例を示す図。 実施の形態１に係る画像にアノテーション画像を重畳した例を示す図。 実施の形態２に係る画像特徴点の例を示す図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係るＡＲ表示装置１の機能構成例を示す。
また、図７は、本実施の形態に係るＡＲ表示装置１のハードウェア構成例を示す。
なお、ＡＲ表示装置１は、データ処理装置の例である。また、ＡＲ表示装置１により行われる処理は、データ処理方法及びデータ処理プログラムの例に相当する。
まず、本実施の形態に係るＡＲ表示装置１の概要を説明する。

本実施の形態に係るＡＲ表示装置１は、点群データとアノテーション画像を取得する。
点群データは、被写体である物体の三次元形状が表されるデータである。点群データは、複数の点で構成される。点群データは、通常、数万の点の集合体である。点群データの各点には、三次元座標（以下、３Ｄ座標ともいう）が設定されている。
アノテーション画像は、物体の撮影画像に重畳される画像である。
図９は、図８に示す道路の撮影画像に、仮想的に地下の配管のアノテーション画像を重畳して得られるＡＲ画像を示す。
図９に示す、配管の形状を示すグラフィックス５０（図形）と、配管の属性（図９では、配管の寸法）を示すテキスト５１がアノテーション画像である。
ＡＲ表示装置１は、例えば、マンホールを表す円柱のグラフィックス５０を取得し、この円柱のグラフィックス５０を画像中のマンホールの位置に表示する。また、ＡＲ表示装置１は、配管の寸法を表すテキスト５１を取得し、取得したテキスト５１を画像中の適切な位置に表示する。
このように、アノテーション画像のグラフィックス５０及びテキスト５１を表示するにあたって、ＡＲ表示装置１は、点群データの複数の点の中からいずれかの点を選択し、選択した点の三次元座標をアノテーション画像のグラフィックス５０又はテキスト５１に対応付ける。

次に、図７を参照して、ＡＲ表示装置１のハードウェア構成例について説明する。

図７に示すように、ＡＲ表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１、メモリ２３、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２５、フレームメモリ２６、ＲＡＤＡＣ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ Ｄｉｇｉｔａｌ−ｔｏ−Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）２７を備えるコンピュータである。
ＣＰＵ２１は、図１に示すアノテーション画像編集部６、ワールド座標設定部７及び透視投影部８を実現するプログラムを実行する。つまり、アノテーション画像編集部６、ワールド座標設定部７及び透視投影部８は、プログラムで実現される。
また、ＧＰＵ２５は、ＡＲ重畳部９を実現するプログラムを実行する。つまり、ＡＲ重畳部９はプログラムで実現される。ＧＰＵ２５は、ＡＲ重畳部９はプログラムとしての動作を行う際に、ＲＡＭＤＡＣ２７を使用する。
アノテーション画像編集部６、ワールド座標設定部７及び透視投影部８を実現するプログラムと、ＡＲ重畳部９を実現するプログラムは、メモリ２３に格納されている。ＣＰＵ２１が、メモリ２３からアノテーション画像編集部６、ワールド座標設定部７及び透視投影部８を実現するプログラムを読み込んで、このプログラムを実行する。また、ＧＰＵ２５が、ＡＲ重畳部９を実現するプログラムを読み込んで、このプログラムを実行する。
フレームメモリ２６は、アノテーション画像を格納する。

また、ＡＲ表示装置１は、３Ｄセンサ２２、キーボード／マウス２９、モニタ２８に接続されている。
３Ｄセンサ２２は、図１に示す画像入力部２、ＲＧＢ画像生成部３及び点群データ生成部４を実現する。
キーボード／マウス２９は、図１に示すアノテーション画像入力部５を実現する。
モニタ２８は、表示部１０を実現する。

次に、図１を参照して、ＡＲ表示装置１の機能構成例を説明する。

ＡＲ表示装置１は、アノテーション画像編集部６、ワールド座標設定部７、透視投影部８及びＡＲ重畳部９で構成される。
アノテーション画像編集部６は、アノテーション画像入力部５からテキストや図形等のアノテーション画像を取得し、取得したアノテーション画像を編集する。

ワールド座標設定部７は、アノテーション画像の三次元座標を点群データ内の任意の点に設定する。
より具体的には、ワールド座標設定部７は、被写体の三次元形状が表される点群データを取得する。
また、ワールド座標設定部７は、点群データの複数の点の中からいずれかの点を選択し、選択した点に設定されている三次元画像をアノテーション画像に対応付ける。ワールド座標設定部７が選択する点（点群データの点）により、アノテーション画像の重畳位置が定義される。例えば、図９のテキスト５１の矩形の左上の頂点のＲＧＢ画像（撮影画像ともいう）での位置と右上の頂点のＲＧＢ画像での位置を指定することで、テキスト５１のＲＧＢ画像との重畳位置が定義される。ワールド座標設定部７は、ＡＲ表示装置１のオペレータからの指示に従い、点群データの複数の点の中から、テキスト５１の矩形の左上の頂点のＲＧＢ画像での位置に対応する点と、テキスト５１の矩形の右下の頂点のＲＧＢ画像での位置に対応する点とを選択する。
ワールド座標設定部７は、点群データ取得部及び対応付け部の例である。また、ワールド座標設定部７で行われる動作は、点群データ取得処理及び対応付け処理の例である。

透視投影部８は、３Ｄ座標上のアノテーション画像を二次元座標（以下、２Ｄ座標ともいう）に投射する。

ＡＲ重畳部９は、透視投影部８により２Ｄ座標に投射されたアノテーション画像をＲＧＢ画像に重畳する。

また、図１において、画像入力部２は、被写体の色合いと距離を同時に計測する。
ＲＧＢ画像生成部３は、被写体の色合いからＲＧＢ画像を生成する。
点群データ生成部４は、被写体までの距離から点群データを生成する。
ＲＧＢ画像と点群データでは、同じ被写体が同じ位置、同じ角度から捕捉されている。つまり、３Ｄセンサ２２は、同じ被写体に対して並行してＲＧＢ画像の生成と点群データの生成を行う。
アノテーション画像入力部５は、キーボードやマウス等でテキストや図形等のアノテーション画像を入力する。
表示部１０は、ＡＲ重畳部９の重畳結果を表示する。
前述したように、画像入力部２、ＲＧＢ画像生成部３及び点群データ生成部４は、図７に示す３Ｄセンサ２２で実現される。
また、アノテーション画像入力部５は、図７に示すキーボード／マウス２９で実現される。
また、表示部１０は、図７に示すモニタ２８で実現される。

＊＊＊動作の説明＊＊＊
次に、図１に基づき、本実施の形態に係るＡＲ表示装置１の動作を説明する。

画像入力部２は、被写体の色合いと距離の計測結果をＲＧＢ画像生成部３と点群データ生成部４に入力する。
ＲＧＢ画像生成部３は、ＲＧＢ画像を生成し、生成したＲＧＢ画像をＡＲ重畳部９に入力する。
点群データ生成部４は、被写体の外形の３Ｄ座標の点群データを生成し、生成した点群データをワールド座標設定部７に入力する。
アノテーション画像入力部５は、テキストや図形等のアノテーション画像を生成し、生成したアノテーション画像をアノテーション画像編集部６に入力する。
アノテーション画像編集部６は、テキストや図形等のアノテーション画像を編集し、編集後のアノテーション画像をワールド座標設定部７に入力する。
ワールド座標設定部７は、アノテーション画像と点群データを取得する。そして、ワールド座標設定部７は、点群データの複数の点の中から任意の点を選択し、選択した点に設定されている３Ｄ座標をアノテーション画像に対応付けて３Ｄ座標のアノテーション画像を得る。更に、ワールド座標設定部７は、３Ｄ座標のアノテーション画像を透視投影部８に入力する。
透視投影部８は、３Ｄ座標のアノテーション画像を取得し、３Ｄ座標のアノテーション画像を２Ｄ座標に投射する。更に、透視投影部８は、２Ｄ座標に投射されたアノテーション画像をＡＲ重畳部９に入力する。
ＡＲ重畳部９は、２Ｄ座標に投射されたアノテーション画像を取得し、２Ｄ座標に投射されたアノテーション画像をＲＧＢ画像に重畳する。更に、ＡＲ重畳部９は、重畳結果を表示部１０に入力する。
表示部１０は、ＡＲ重畳部９の重畳結果を、被写体に対するＡＲ表示として表示する。

次に、本実施の形態に係るＡＲ表示装置１の動作例を図２のフローチャートを参照して説明する。

画像入力（ステップＳ２）では、画像入力部２が被写体を撮影する。より具体的には、画像入力（ステップＳ２）では、３Ｄセンサ２２が被写体を撮影する。

ＲＧＢ画像生成（ステップＳ３）では、ＲＧＢ画像生成部３が、ＲＧＢ画像を生成する。より具体的には、ＲＧＢ画像生成（ステップＳ３）では、被写体を３Ｄセンサ２２内のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、あるいは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等で、赤、緑、青といった色情報を持つＲＧＢ画像を生成する。

点群データ生成（ステップＳ４）では、点群データ生成部４が、点群データを生成する。より具体的には、点群データ生成（ステップＳ４）では、３Ｄセンサ２２内の赤外線出力器から射出された赤外線が被写体で反射して赤外線受光器まで戻ってくる時間に基づき、３Ｄセンサを原点とした被写体の外形の３Ｄ座標の点の集合である点群データを生成する。

アノテーション画像入力（ステップＳ５）では、アノテーション画像入力部５が、アノテーション画像をアノテーション画像編集部６に入力する。
より具体的には、アノテーション画像入力（ステップＳ５）では、ＡＲ表示装置１のオペレータが、キーボードやマウス等の操作によりアノテーション画像をＡＲ表示装置１に入力する。

アノテーション画像編集（ステップＳ６）では、アノテーション画像編集部６が、アノテーション画像内のテキスト及びグラフィックスの編集を行う。

ワールド座標設定（ステップＳ７）では、アノテーション画像に被写体の点群データの任意の点の３Ｄ座標を与える。
より具体的には、ワールド座標設定部７は、ＡＲ表示装置１のオペレータの指示に従って、点群データの複数の点のうちのいずれかの点を選択し、選択した点の３Ｄ座標を、アノテーション画像に対応付ける。

透視投影（ステップＳ８）では、透視投影部８が、３Ｄ座標のアノテーション画像を２Ｄ座標に投射する。
より具体的には、透視投影部８は、例えば、下記の式１に示す射影変換により、アノテーション画像の三次元座標である（Ｘ，Ｙ，Ｚ）を、投影像の座標（ｕ，ｖ）に変換する。式１において、［Ｒ｜ｔ］は、３Ｄセンサ２２の位置である。また、「Ｒ」は３Ｄセンサ２２の向き等を表す回転行列であり、「ｔ」は３Ｄセンサ２２の座標を表す並進ベクトルである。また、式１の「Ａ」は３Ｄセンサ２２の内部パラメータの固定値である。

ＡＲ重畳（ステップＳ９）では、ＡＲ重畳部９が、ＲＧＢ画像にアノテーション画像の投影像を重畳する。

表示（ステップＳ１０）では、表示部１０が、ＡＲ重畳（ステップＳ９）の重畳結果を表示する。

＊＊＊実施の形態の効果の説明＊＊＊
以上のように、本実施の形態によれば、被写体の３Ｄ座標である点群データにアノテーション画像をマッピングすることで、任意の３Ｄセンサの位置に追随したアノテーションの投影像をＲＧＢ画像に重畳したＡＲを実現できる。

実施の形態２．
＊＊＊構成の説明＊＊＊
図３は、本実施の形態に係るＡＲ編集装置１５の機能構成例を示す。
本実施の形態に係るＡＲ編集装置１５も、データ処理装置の例である。また、本実施の形態に係るＡＲ編集装置１５により行われる処理も、データ処理方法及びデータ処理プログラムの例に相当する。
なお、ＡＲ編集装置１５のハードウェア構成例は、実施の形態１に係るＡＲ表示装置１と同様に、図７に示す通りである。

図３のＡＲ編集装置１５では、図１のＡＲ表示装置１の構成から透視投影部８、ＡＲ重畳部９及び表示部１０を削除している。
一方、図３のＡＲ編集装置１５では、図１のＡＲ表示装置１の構成に、画像特徴点抽出部１１、ＡＲ用データ出力部１２及びＡＲ用データ１３が追加されている。
画像特徴点抽出部１１、ＡＲ用データ出力部１２は、プログラムにより実現され、このプログラムは、図７のＣＰＵ２１により実行される。

画像特徴点抽出部１１は、ＲＧＢ画像を解析して、ＲＧＢ画像の画像特徴点を抽出する。画像特徴点は、ＲＧＢ画像の主に不連続点に存在する。図１０の各点は、画像特徴点を示す。画像特徴点抽出部１１は、例えば、Ｈａｒｒｉｓ法、ＫＴＫ法、Ｃａｎｎｙ法、ゼロ交差点法、弛緩法、Ｈｏｕｇｈ変換、動的輪郭法、レベルセット法等により画像特徴点を抽出する。
ＡＲ用データ１３は、画像特徴点のワールド座標系の３Ｄ座標が記録されたデータである。
ＡＲ用データ出力部１２は、ＡＲ用データ１３をＡＲ編集装置１５の外部に出力する。
図３において、画像入力部２、ＲＧＢ画像生成部３、点群データ生成部４、アノテーション画像入力部５、アノテーション画像編集部６は、実施の形態１と同様であるため、説明を省略する。
本実施の形態では、ワールド座標設定部７は、実施の形態１と同様に、点群データの複数の点の中からいずれかの点を選択し、選択した点に設定されている三次元座標をアノテーション画像に対応付ける。更に、ワールド座標設定部７は、点群データの複数の点の中から画像特徴点に相当する点を抽出し、抽出した点に設定されている三次元座標を画像特徴点に対応付ける。

以下では、主に実施の形態１との違いを説明する。以下で説明していない事項は、実施の形態１と同じである。

＊＊＊動作の説明＊＊＊
次に、図３に基づき、本実施の形態に係るＡＲ編集装置１５の動作を説明する。
なお、図３の画像入力部２、ＲＧＢ画像生成部３、点群データ生成部４、アノテーション画像入力部５、アノテーション画像編集部６の動作は図１と同じであるため、説明を省略する。

画像特徴点抽出部１１は、ＲＧＢ画像の画像特徴点を抽出し、抽出した画像特徴点をワールド座標設定部７に入力する。

ワールド座標設定部７は、実施の形態１と同様に、アノテーション画像編集部６からアノテーション画像を取得し、点群データ生成部４から点群データを取得する。そして、ワールド座標設定部７は、実施の形態１と同様に、点群データの複数の点の中からいずれかの点を選択し、選択した点に設定されている三次元座標をアノテーション画像に対応付ける。以下では、アノテーション画像に対応付けられた三次元座標を第１の三次元座標という。更に、ワールド座標設定部７は、画像特徴点抽出部１１から画像特徴点を取得し、点群データの複数の点の中から、取得した画像特徴点に相当する点を抽出し、抽出した点に設定されている三次元座標を画像特徴点に対応付ける。以下では、画像特徴点に対応付けられた三次元座標を第２の三次元座標という。ワールド座標設定部７は、第１の三次元座標と第２の三次元座標をＡＲ用データ１３としてＡＲ用データ出力部１２に入力する。

ＡＲ用データ出力部１２は、ＡＲ用データ１３をＡＲ編集装置１５の外部に出力する。

次に、本実施の形態に係るＡＲ編集装置１５の動作例を図４のフローチャートを参照して説明する。

図４の画像入力（ステップＳ２）、ＲＧＢ画像生成（ステップＳ３）、点群データ生成（ステップＳ４）、アノテーション画像入力（ステップＳ５）、アノテーション画像編集（ステップＳ６）は、図２に示したものと同じであるため、説明を省略する。

画像特徴点抽出（ステップＳ１１）では、画像特徴点抽出部１１がＲＧＢ画像から画像特徴点を抽出する。なお、画像特徴量は各画像特徴点の周辺画素の輝度（明るさ）の勾配により記述する。

ワールド座標設定（ステップＳ７）では、ワールド座標設定部７が、アノテーション画像と画像特徴点のワールド座標系の３Ｄ座標（第１の三次元座標と第２の三次元座標）を記録したＡＲ用データ１３を生成する。

ＡＲ用データ出力（ステップＳ１２）では、ＡＲ用データ出力部１２が、ＡＲ用データをＡＲ編集装置１５の外部に出力する。

＊＊＊実施の形態の効果の説明＊＊＊
以上のように、本実施の形態によれば、被写体のＲＧＢ画像から抽出した画像特徴点を３Ｄ座標である点群データにマッピングしたＡＲ用データを、事前に画像をデータベースに蓄積することなく、また、展開画像を生成することなく、高速に生成することができる。

実施の形態３．
図５は、本実施の形態に係るＡＲ表示装置１００の機能構成例を示す。
本実施の形態に係るＡＲ表示装置１００も、データ処理装置の例である。また、本実施の形態に係るＡＲ表示装置１００により行われる処理も、データ処理方法及びデータ処理プログラムの例に相当する。
なお、本実施の形態に係るＡＲ表示装置１００のハードウェア構成例は、実施の形態１に係るＡＲ表示装置１と同様に、図７に示す通りである。

図５のＡＲ表示装置１００では、図１のＡＲ表示装置１の構成から点群データ生成部４、アノテーション画像入力部５、アノテーション画像編集部６、ワールド座標設定部７が削除されている。
一方、図５のＡＲ表示装置１００では、図１のＡＲ表示装置１の構成に、画像特徴点抽出部１１、位置推定部１４及びＡＲ用データ入力部１６が追加されている。
画像特徴点抽出部１１、位置推定部１４は、プログラムにより実現され、このプログラムは、図７のＣＰＵ２１により実行される。
また、ＡＲ用データ入力部１６は、図７のキーボード／マウス２９により実現される。

画像特徴点抽出部１１は、図３に示したものと同様であり、ＲＧＢ画像を解析して、ＲＧＢ画像の画像特徴点を抽出する。なお、画像特徴点抽出部１１により行われる動作は、画像特徴点抽出処理の例である。
ＡＲ用データ入力部１６は、ＡＲ用データ１３を取得する。ＡＲ用データ１３は、実施の形態２で説明したものと同じである。
位置推定部１４は、画像特徴点のワールド座標系上の３Ｄ座標とＲＧＢ画像内の２Ｄ座標（画像特徴点の３Ｄ座標の射影変換により得られる画像特徴点の２Ｄ座標）から撮影装置である３Ｄセンサ２２の位置を推定する。つまり、位置推定部１４は、画像特徴点の３Ｄ座標と、画像特徴点のＲＧＢ画像での２Ｄ座標とに基づき、３Ｄセンサ２２がＲＧＢ画像を撮影した際の位置を推定する。なお、位置推定部１４により行われる動作は、位置推定処理の例である。

以下では、主に実施の形態１との違いを説明する。以下で説明していない事項は、実施の形態１と同じである。

＊＊＊動作の説明＊＊＊
次に、図５に基づき、本実施の形態に係るＡＲ表示装置１００の動作を説明する。
なお、図５の画像入力部２、ＲＧＢ画像生成部３、透視投影部８、ＡＲ重畳部９、表示部１０の動作は図１と同じであるため、説明を省略する。また、画像特徴点抽出部１１の動作は図３と同じであるため、説明を省略する。

ＡＲ用データ入力部１６は、ＡＲ用データ１３を透視投影部８と位置推定部１４に入力する。
位置推定部１４は、画像特徴点のワールド座標系上の３Ｄ座標とＲＧＢ画像内の２Ｄ座標から３Ｄセンサ２２の位置を推定し、推定した３Ｄセンサ２２位置を透視投影部８に入力する。

次に、本実施の形態に係るＡＲ表示装置１の動作例を図６のフローチャートを参照して説明する。

図６の画像入力（ステップＳ２）、ＲＧＢ画像生成（ステップＳ３）、透視投影（ステップＳ８）、ＡＲ重畳（ステップＳ９）、表示（ステップＳ１０）は、図２に示したものと同じであるため、説明を省略する。
また、画像特徴点抽出（ステップＳ１１）の処理は図４と同じであるため、説明を省略する。

ＡＲ用データ入力（ステップＳ１６）では、ＡＲ用データ入力部１６が、ＡＲ用データ１３を透視投影部８に入力する。

位置推定（ステップＳ１４）では、位置推定部１４が、ＲＧＢ画像における３Ｄセンサ２２の位置を推定する。
具体的には、位置推定部１４は、三次元座標（Ｘ，Ｙ，Ｚ）の画像特徴点に該当するＲＧＢ画像上の座標ｘを画像特徴量のマッチングで検出する。画像特徴点の三次元座標（Ｘ，Ｙ，Ｚ）を式１でＲＧＢ画像に再投影した座標をｘ＾とすれば、再投影の誤差Ｅはｘとｘ＾のユークリッド距離ｄ（ｘ、ｘ＾）となる（なお、ｘの右斜め上に「＾」がある表記は、式２のｘの真上に「＾」がある表記と同じである）。再投影の誤差Ｅは、式２を用いて求めることができる。位置推定部１４は、ｉ個の画像特徴点で誤差Ｅを最小にする３Ｄセンサ２２の位置、つまり、式１の［Ｒ｜ｔ］を推定し、推定した［Ｒ｜ｔ］の値を現在の３Ｄセンサ２２の位置とする．

また、位置推定部１４は、推定した３Ｄセンサ２２の位置を透視投影部８に入力する。

＊＊＊実施の形態の効果の説明＊＊＊
以上のように、本実施の形態によれば、３Ｄセンサの位置の推定に被写体のＲＧＢ画像から抽出した画像特徴点を３Ｄ座標データである点群データにマッピングしたＡＲ用データを用いているため、３Ｄセンサの位置の推定に３Ｄモデルの展開画像と、事前にデータベースに蓄積した３Ｄセンサの各位置のＲＧＢ画像をマッチングするする必要が無いので両画像が不要である。

以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
＊＊＊ハードウェア構成の説明＊＊＊
最後に、ハードウェア構成の補足説明を行う。
図７に示すＣＰＵ２１及びＧＰＵ２５は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
図７に示すメモリ２３及びフレームメモリ２６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
また、メモリ２３には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がＣＰＵ２１により実行される。
ＣＰＵ２１はＯＳの少なくとも一部を実行しながら、アノテーション画像編集部６、ワールド座標設定部７、透視投影部８、画像特徴点抽出部１１、ＡＲ用データ出力部１２、位置推定部１４の機能を実現するプログラムを実行する。
ＣＰＵ２１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、アノテーション画像編集部６、ワールド座標設定部７、透視投影部８、画像特徴点抽出部１１、ＡＲ用データ出力部１２、位置推定部１４の処理の結果を示す情報やデータや信号値や変数値が、メモリ２３、又は、ＣＰＵ２１内のレジスタ又はキャッシュメモリに記憶される。
また、アノテーション画像編集部６、ワールド座標設定部７、透視投影部８、画像特徴点抽出部１１、ＡＲ用データ出力部１２、位置推定部１４及びＡＲ重畳部９の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記憶媒体に記憶されてもよい。

また、アノテーション画像編集部６、ワールド座標設定部７、透視投影部８、画像特徴点抽出部１１、ＡＲ用データ出力部１２、位置推定部１４及びＡＲ重畳部９の「部」を、「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
また、ＡＲ表示装置１、ＡＲ編集装置１５及びＡＲ表示装置１００は、それぞれ、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった電子回路により実現されてもよい。
なお、プロセッサ及び上記の電子回路を総称してプロセッシングサーキットリーともいう。

１ ＡＲ表示装置、２ 画像入力部、３ ＲＧＢ画像生成部、４ 点群データ生成部、５ アノテーション画像入力部、６ アノテーション画像編集部、７ ワールド座標設定部、８ 透視投影部、９ ＡＲ重畳部、１０ 表示部、１１ 画像特徴点抽出部、１２ ＡＲ用データ出力部、１３ ＡＲ用データ、１４ 位置推定部、１５ ＡＲ編集装置、１６ ＡＲ用データ入力部、２１ ＣＰＵ、２２ ３Ｄセンサ、２３ メモリ、２５ ＧＰＵ、２６ フレームメモリ、２７ ＲＡＭＤＡＣ、２８ モニタ、２９ キーボード／マウス、５０ グラフィックス、５１ テキスト、１００ ＡＲ表示装置。

Claims (8)

1. 物体の三次元形状が表される、それぞれに三次元座標が設定されている複数の点で構成される点群データを取得する点群データ取得部と、
   前記点群データの前記複数の点の中からいずれかの点を選択し、選択した点に設定されている三次元座標を、前記物体の撮影画像に重畳されるアノテーション画像に対応付ける対応付け部とを有するデータ処理装置。
2. 前記対応付け部は、
   前記点群データの前記複数の点の中から、前記物体の撮影画像に含まれる画像特徴点に相当する点を抽出し、抽出した点に設定されている三次元座標を前記画像特徴点に対応付ける請求項１に記載のデータ処理装置。
3. 前記データ処理装置は、更に、
   物体の撮影画像を解析して、前記物体の撮影画像に含まれる画像特徴点を抽出する画像特徴点抽出部と、
   前記画像特徴点の三次元座標と、前記画像特徴点の前記撮影画像での二次元座標とに基づき、前記撮影画像を撮影した撮影装置の前記撮影画像を撮影した際の位置を推定する位置推定部とを有する請求項１に記載のデータ処理装置。
4. 前記位置推定部は、
   前記画像特徴点の三次元座標と、前記画像特徴点の三次元座標の射影変換により得られる、前記画像特徴点の前記撮影画像での二次元座標とに基づき、前記撮影装置の前記撮影画像を撮影した際の位置を推定する請求項３に記載のデータ処理装置。
5. コンピュータが、物体の三次元形状が表される、それぞれに三次元座標が設定されている複数の点で構成される点群データを取得し、
   前記コンピュータが、前記点群データの前記複数の点の中からいずれかの点を選択し、選択した点に設定されている三次元座標を、前記物体の撮影画像に重畳されるアノテーション画像に対応付けるデータ処理方法。
6. 前記コンピュータが、更に、物体の撮影画像を解析して、前記物体の撮影画像に含まれる画像特徴点を抽出し、
   前記コンピュータが、更に、前記画像特徴点の三次元座標と、前記画像特徴点の前記撮影画像での二次元座標とに基づき、前記撮影画像を撮影した撮影装置の前記撮影画像を撮影した際の位置を推定する請求項５に記載のデータ処理方法。
7. 物体の三次元形状が表される、それぞれに三次元座標が設定されている複数の点で構成される点群データを取得する点群データ取得処理と、
   前記点群データの前記複数の点の中からいずれかの点を選択し、選択した点に設定されている三次元座標を、前記物体の撮影画像に重畳されるアノテーション画像に対応付ける対応付け処理とをコンピュータに実行させるデータ処理プログラム。
8. 前記データ処理プログラムは、更に、
   物体の撮影画像を解析して、前記物体の撮影画像に含まれる画像特徴点を抽出する画像特徴点抽出処理と、
   前記画像特徴点の三次元座標と、前記画像特徴点の前記撮影画像での二次元座標とに基づき、前記撮影画像を撮影した撮影装置の前記撮影画像を撮影した際の位置を推定する位置推定処理とをコンピュータに実行させる請求項７に記載のデータ処理プログラム。

Images