JP7379065B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、撮像された画像と物体との位置合わせを行う情報処理技術に関する。

近年、設計・製造分野において、プロトタイプを用いた評価の期間短縮、費用削減が求められている。例えば、ＣＡＤ（コンピュータ支援設計）システムで作成した設計（形状・デザイン）データを用いて、組み立てやすさやメンテナンス性の評価をするための複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムが導入されている。

ＭＲシステムの画像表示装置には、ビデオシースルー方式と光学シースルー方式とがある。ビデオシースルー方式の画像表示装置は、撮像装置によって撮影された現実空間の画像に、該撮像装置の位置及び姿勢に応じて生成された仮想空間（コンピュータグラフィクスにより描画された仮想物体や文字情報等）の画像を重畳描画した合成画像を表示する。光学シースルー方式の画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成された仮想空間の画像を表示する。

ＭＲ技術において最も重要な課題の一つは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来から、多くの取り組みが行われている。ＭＲにおける位置合わせの問題には、シーンを撮影するカメラの位置及び姿勢を求める問題と、ＣＧモデルを重畳表示したい対象物（追跡対象物）の位置及び姿勢を求める問題とが含まれる。

例えば、機械のメンテナンス性を評価するためのＭＲシステムでは、メンテナンス対象のＣＧモデルを空間中の固定された位置に表示するとともに、ユーザーが手に持つ実物体の工具にも工具ＣＧモデルを配置するというケースがある。これを実現するためには、シーン中に規定された基準座標系に対するカメラ座標系の位置姿勢と、カメラ座標系に対する工具座標系の位置姿勢とをリアルタイムに求める必要がある。また、実物体の工具に対して工具ＣＧモデルがずれないようにするために、実物体の工具と工具座標系の位置関係は、予め決められた位置関係が再現されなければならない。

カメラの位置及び姿勢を求める問題を解決する方法の一つとして、現実空間のマップを構築し、そのマップに基づいて計測対象物の位置及び姿勢を求める方法がある。その一例として、Ｖｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と呼ばれる手法がある（非特許文献１参照）。Ｖｉｓｕａｌ ＳＬＡＭは、カメラで撮影された画像から現実空間におけるカメラの位置姿勢を求めると同時に、必要に応じてその画像からキーフレームの情報を抽出し、その情報を蓄積したマップを構築する手法である。キーフレームの情報には、画像と、その画像を撮影したカメラの位置姿勢、およびその画像から抽出された特徴点の３次元情報が含まれる。

またシーン中に規定された基準座標系に対するカメラ座標系の位置姿勢を正確に推定するためには、シーンに固定された（すなわち３次元座標が変わらない）特徴点に基づくことが望ましい。そのため、ユーザーが手に持つ工具のように、シーン中を動く物体から検出された特徴点の情報は除去することが一般的であり、動く物体である追跡対象物の位置及び姿勢を求める問題へ応用するには、別の方法が必要となる。

一方、ＣＧモデルを重畳表示したい対象物（追跡対象物）の位置及び姿勢を求める問題を解決する方法の一つとして、モデルベーストラッキングと呼ばれる手法がある（非特許文献２参照）。モデルベーストラッキングは、事前に作成した追跡対象物の３次元モデルを用いて、カメラで撮影した画像中の追跡対象物の位置姿勢を求める手法である。その具体的方法の一つとして、カメラで撮影した画像からエッジ情報を抽出し、ＣＡＤや３Ｄスキャナーを用いて予め作成した追跡対象物の形状モデルのエッジ情報をあてはめることで、追跡対象物の位置姿勢を推定する方法がある。エッジ情報以外にも、オプティカルフロー情報やテクスチャ情報を用いる方法などがあるが、いずれにおいても、ＣＡＤや３Ｄスキャナーを用いて予め追跡対象物のモデルを作成する必要がある。

カメラの位置姿勢と追跡対象物の位置姿勢とを、同じプロセスによって求められる方法として、マーカーを使った位置合わせがある（非特許文献３参照）。この手法では、シーン中の動かない場所に固定したマーカーからカメラの位置及び姿勢を求めることができ、追跡対象物に固定したマーカーから追跡対象物の位置及び姿勢を求めることができる。また、それぞれのマーカーは、マーカーに埋め込まれたＩＤによって識別することができる。

Ｇ．Ｋｌｅｉｎ ａｎｄ Ｄ．Ｍｕｒｒａｙ："Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ ｆｏｒ Ｓｍａｌｌ ＡＲ Ｗｏｒｋｓｐａｃｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｓｉｘｔｈ ＩＥＥＥ ａｎｄ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，２００７． Ｊ．Ｌｉｍａ ａｎｄ Ｆ．Ｓｉｍｏｅｓ ａｎｄ Ｌ．Ｆｉｇｕｅｉｒｅｄｏ ａｎｄ Ｊ．Ｋｅｌｎｅｒ："Ｍｏｄｅｌ Ｂａｓｅｄ Ｍａｒｋｅｒｌｅｓｓ ３Ｄ Ｔｒａｃｋｉｎｇ ａｐｐｌｉｅｄ ｔｏ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ"，ＳＢＣ Ｊｏｕｒｎａｌ ｏｎ ３Ｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｓｙｓｔｅｍｓ，ｖｏｌｕｍｅ １，２０１０． Ｈ．Ｋａｔｏ ａｎｄ Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ："Ｍａｒｋｅｒ Ｔｒａｃｋｉｎｇ ａｎｄ ｈｍｄ ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ ａ ｖｉｄｅｏ－ｂａｓｅｄ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｃｏｎｆｅｒｅｎｃｉｎｇ ｓｙｓｔｅｍ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２ｎｄ ＩＥＥＥ ａｎｄ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，１９９９．

しかし、前述した方法では、マーカーがカメラの視野外に出た場合には位置姿勢を求めることができず、またＣＡＤや３Ｄスキャナーなどを用いた事前準備が必要となり、どのような状況でもカメラ及び追跡物体の位置姿勢を高精度に取得できるとは言い難い。

そこで本発明は、カメラ及び追跡物体の位置および姿勢を高精度に取得可能にすることを目的とする。

本発明は、追跡対象物を含む現実空間を撮影した画像から複数の特徴情報を抽出する特徴抽出手段と、前記現実空間を撮影した画像から前記追跡対象物に付されている指標を検出し、該指標の位置姿勢を推定する指標推定手段と、前記指標の位置姿勢と追跡対象モデルとに基づいて、前記追跡対象物の位置姿勢を推定する対象物推定手段と、前記現実空間を前記撮影したカメラの位置姿勢および、前記追跡対象物の位置姿勢に基づいて、前記複数の特徴情報を分類する分類手段と、前記分類手段が前記追跡対象物に属していると判定した特徴情報を、前記追跡対象モデルに追加するモデル構築手段と、を有することを特徴とする。

本発明によれば、カメラ及び追跡物体の位置および姿勢を高精度に取得可能となる。

実施形態に係る情報処理装置の機能構成例を示すブロック図である。 情報処理装置のハードウェア構成例を示す図である。 カメラで撮影する現実空間の例を示す模式図である。 情報処理装置が利用するデータ構造を示す模式図である。 特徴分類処理の流れを示すフローチャートである。 情報処理装置における情報処理の流れを示すフローチャートである。 第２の実施形態に係る特徴分類処理の説明に用いる模式図である。

以下、実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は本発明を必ずしも限定するものではない。
＜第１の実施形態＞
図１は第１の実施形態に係る情報処理装置の機能構成例を示すブロック図である。
本実施形態の情報処理装置１００は、画像入力部１０１、特徴抽出部１０２、指標推定部１０３、カメラ推定部１０４、対象物推定部１０５、特徴分類部１０６、モデル構築部１０７、モデル保持部１０８、および画像生成部１０９を有する。本実施形態では、シーンを撮影するカメラ１１０および表示装置１１１を備えたビデオシースルー型のＭＲ（複合現実感）システムを例に挙げている。なお、本実施形態に係るＭＲシステムは、光学シースルー型のシステムや、ユーザーの視線に応じた表示画像を生成するアイトラッキング型のＭＲシステムであってもよい。

本実施形態では、マーカーとカメラ１１０にて撮影されるシーンの画像の特徴を用いて、当該シーンを撮影するカメラ１１０の位置及び姿勢と、ＣＧ（コンピュータグラフィクス）モデルを重畳表示したい対象物（追跡対象物）の位置及び姿勢とを求める。特に、本実施形態では、マーカーがカメラ１１０の視野外となる状況でも位置及び姿勢を求めることを可能とし、ＣＡＤ（コンピュータ支援設計）や３Ｄ（３次元）スキャナーを用いて事前に追跡対象物のモデルを作成する必要のない方法を実現可能とする。

本実施形態において、カメラ１１０は、左目用と右目用を有するステレオカメラ構成として説明するが、画素の奥行きを計測可能なカメラであればよく、例えばデプスカメラでもよい。また本実施形態のシステムは、例えば１台の可視光カメラを構成した上で、機械学習された学習モデルによる奥行推定を行う構成であってもよい。また本実施形態の情報処理装置１００は、カメラ１１０と表示装置１１１をユーザーの目の付近に配置した頭部装着型として説明するが、各部の物理的な配置はこれに限定されるものではなく、タブレットやスマートフォン等のハンドヘルド型であってもよい。

また実施形態の情報処理装置１００は、画像からカメラ１１０の位置および姿勢の推定と空間モデル（マップ）の作成とを行うものとして説明する。ただし、カメラ１１０の位置姿勢推定と空間モデル（マップ）作成はこれに限定されるものではなく、加速度センサ、角速度センサ、超音波センサ、磁気センサ、奥行画像センサ、レーザー距離センサなどの情報を用いて行われてもよい。

図２は、情報処理装置１００のハードウェア構成例を示した図である。
図２において、ＣＰＵ２０１は、装置全体を制御する。ＲＡＭ２０２は、ＣＰＵ２０１が各部を制御しながら処理を行う時に作業領域として用いられる。ＲＯＭ２０３は、本実施形態に係る情報処理プログラム、各種アプリケーションプログラム、およびデータなどを記憶する。ＣＰＵ２０１は、ＲＯＭ２０３に記憶されている情報処理プログラムをＲＡＭ２０２に展開して実行する。これにより、ＣＰＵ２０１は、図１の画像入力部１０１、特徴抽出部１０２、指標推定部１０３、カメラ推定部１０４、対象物推定部１０５、特徴分類部１０６、モデル構築部１０７、画像生成部１０９、およびモデル保持部１０８等の各機能を実現する。また、入力Ｉ／Ｆ２０４は、カメラ１１０により撮影された画像信号を、情報処理装置１００で処理可能な形式の信号として入力するインターフェイス部である。出力Ｉ／Ｆ２０５は、外部装置に対して、当該外部装置が処理可能な形式の信号を出力するインターフェイス部である。例えば、外部装置が表示装置１１１である場合、出力Ｉ／Ｆ２０５は、画像生成部１０９にて生成されたＭＲ画像信号を、表示装置１１１で表示可能な信号にして出力する。

上述したように、図１に示す情報処理装置１００の各部の機能は、ＣＰＵ２０１が本実施形態に係る情報処理プログラムを実行することで実現することができる。ただし、図１に示す情報処理装置１００の各部のうち、少なくとも一部は不図示の専用のハードウェアやＧＰＵによって実行されるようになされてもよい。この場合、専用のハードウェアやＧＰＵは、ＣＰＵ２０１の制御に基づいて動作する。

以下、情報処理装置１００の各部について説明する。
画像入力部１０１は、カメラ１１０で撮影した現実空間の画像を取得する。カメラ１１０は動画像を撮像および記録可能な撮像装置であり、画像入力部１０１は、カメラ１１０から動画像のフレーム毎に画像を取得する。カメラ１１０がステレオカメラなど、複数の撮像装置からなるカメラである場合、画像入力部１０１が複数の撮像装置から取得する複数の画像のフレームは同期している（撮影時刻が一致している）ものとする。

本実施形態の場合、図３に示すように、現実空間にはＣＧモデルを重畳表示したい対象物（追跡対象物３０２）が存在しており、この追跡対象物３０２には、予め１つ以上の追跡対象マーカー３０１が設置されているものとする。本実施形態では、追跡対象物が１つであるとして説明するが、追跡対象物は複数あってもよく、その場合、それぞれに対して少なくとも１つの追跡対象マーカーが設置される。以下の説明では、それぞれの追跡対象マーカーに対して設定された３次元座標系を追跡対象座標系と呼ぶ。

また本実施形態では、現実空間の基準となる３次元座標系（すなわち世界座標系）を定義するための１つ以上の世界座標系マーカー３００が配置されているものとする。ただし、現実空間の基準となる３次元座標系を定義する方法は、これに限らず、カメラの初期位置姿勢を基準にする方法や、モーションキャプチャー装置を用いた方法などでもよい。

特徴抽出部１０２は、画像入力部１０１より入力された画像から、画像中の特徴情報を抽出する。特徴抽出部１０２にて抽出される特徴情報は、図４（ａ）に示すように、特徴の識別子、特徴の画像座標（２次元座標）、特徴のカメラ座標系における３次元座標を含む。また、特徴情報には、後述する特徴分類処理によって求められる分類情報も含まれる。なお、特徴情報はこの例に限定されるものではなく、特徴周辺の画像情報や、ＳＩＦＴなどに代表される特徴記述子、エッジ情報などが含められてもよい。特徴抽出部１０２は、画像から抽出した特徴情報を、カメラ推定部１０４および対象物推定部１０５へ送出する。

ここで、特徴情報を抽出する具体的な方法の一例として、Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ法（ＫＬＴ法）と呼ばれる特徴点の検出と、検出した特徴点をフレーム間で追跡する手法がある。ＫＬＴ法を用いた場合、特徴抽出部１０２は、図３に示すように、まず画像から局所的に見てコーナー点と判定される点を特徴点３０３として検出する。このとき特徴抽出部１０２は、１つの画像から特徴点３０３を複数検出する。次に特徴抽出部１０２は、続くフレームについて、特徴点３０３の座標周辺の局所領域の見た目に基づく探索によって、新しい画像における座標を算出する。ＫＬＴ法は、このようにして特徴点を追跡する方法である。

また本実施形態の場合、カメラ１１０は画素の奥行きを計測可能なカメラであるため、特徴抽出部１０２は、特徴点の座標に対する奥行きを計測して、カメラ座標系における３次元座標に変換する。その際に必要となるカメラ１１０のパラメータなどは、予めキャリブレーションされているものとする。

指標推定部１０３は、画像入力部１０１より入力された画像から、既知の指標を検出して、指標の位置及び姿勢を推定する。本実施形態の場合、指標推定部１０３は、視覚マーカーと画像処理を用いた指標の位置姿勢推定を行う。なお、指標推定部１０３は、視覚マーカーではなく、追跡対象物３０２の一部をモデル化した情報や、環境設置型の光学センサ、超音波センサ、磁気センサ、加速度センサ、角速度センサなどの検出信号を指標としてその位置姿勢を計測しても良い。

ここで、視覚マーカーは、画像中に写るマーカーの見え方から、マーカーのＩＤの特定と、マーカーの位置姿勢の推定を可能にするものである。本実施形態の場合、図３に示す世界座標系マーカー３００および追跡対象マーカー３０１が、既知の指標として予め登録されているものとする。

指標推定部１０３は、入力された画像から、それぞれのマーカーに対し、マーカーのＩＤ、そのマーカーを検出したか否か、マーカーの位置姿勢の情報を算出する。そして、指標推定部１０３は、世界座標系マーカー３００に関する情報をカメラ推定部１０４へ送出し、追跡対象マーカー３０１に関する情報を対象物推定部１０５へ送出する。なお、追跡対象マーカーが複数ある場合、指標推定部１０３は、それぞれの情報を対象物推定部１０５へ送出する。

カメラ推定部１０４は、特徴抽出部１０２から送出された情報と、指標推定部１０３から送出された世界座標系マーカー３００の情報とを用いて、画像入力部１０１より入力された画像におけるカメラ１１０の位置および姿勢を推定する。本実施形態の場合、カメラ推定部１０４が、視覚マーカーの情報とＶｉｓｕａｌ ＳＬＡＭを併用したカメラの位置姿勢推定アルゴリズムを用いる例を説明する。なお、カメラの位置姿勢推定方法はこれに限らず、その他のアルゴリズムや外部のセンサを用いた方法でもよい。

以下、カメラ推定部１０４が用いる、カメラの位置姿勢推定アルゴリズムの具体的手順の例を説明する。
まず、カメラ推定部１０４は、視覚マーカーを用いてカメラの位置姿勢を推定する。指標推定部１０３にて世界座標系マーカー３００が検出されている場合、カメラ推定部１０４は、その世界座標系マーカー３００を基に、世界座標系におけるカメラの位置姿勢を取得する。

次に、カメラ推定部１０４は、特徴抽出部１０２から送出された特徴情報を用いて、特徴情報の世界座標系における３次元座標を推定する。ここで、モデル保持部１０８に特徴情報に対応する空間モデル（マップ）の情報が保持されている場合、カメラ推定部１０４は、その情報を参照する。それ以外の場合、カメラ推定部１０４は、特徴情報に含まれるカメラ座標系における３次元座標と、世界座標系マーカー３００によって求めたカメラの位置姿勢の情報から、特徴情報の世界座標系における３次元座標を求める。

ここでカメラ推定部１０４は、世界座標系における特徴点３０３の３次元座標と、特徴点３０３の画像座標との対応から、ＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）問題と呼ばれる連立方程式を解くことで、カメラの位置と姿勢を６自由度で求める。なお、ＰｎＰ問題を解くために必要な、カメラの内部パラメータは予め求めているものとする。そして、カメラ推定部１０４は、ＰｎＰ法によって解が得られた場合には、カメラの位置姿勢を更新する。

対象物推定部１０５は、特徴抽出部１０２から送出された情報と、指標推定部１０３から送出された追跡対象マーカー３０１の情報とを用いて、画像入力部１０１より入力された画像における追跡対象物３０２の位置および姿勢を推定する。その際、対象物推定部１０５は、後述するモデル構築部１０７における処理によって追跡対象物３０２に属する情報が保持されていれば、それを参照する。

本実施形態において、追跡対象物３０２の位置姿勢は、追跡対象マーカー３０１の位置姿勢によって表されるものとする。すなわち追跡対象物３０２の位置姿勢を求める問題は、世界座標系における追跡対象座標系の位置姿勢を求める問題に帰結する。本実施形態の場合、カメラ推定部１０４によって世界座標系におけるカメラ座標系の位置姿勢が既知であるため、カメラ座標系に対する追跡対象座標系の位置姿勢を求める問題として説明する。

以下、カメラ座標系に対する追跡対象座標系の位置姿勢を求める処理の手順について説明する。
まず、指標推定部１０３にて追跡対象マーカー３０１が検出された場合、カメラ座標系に対する追跡対象座標系の位置姿勢が得られる（これを初期位置姿勢と呼ぶ）。そして、モデル構築部１０７に特徴情報が保持されていない場合、対象物推定部１０５は、初期位置姿勢を追跡対象座標系の位置姿勢として、対象物の位置姿勢推定処理を終了する。

一方、モデル構築部１０７に特徴情報が保持されている場合、対象物推定部１０５は、その特徴情報を用いて、追跡対象物の、より安定した位置姿勢を求める。具体的には、対象物推定部１０５は、まずモデル構築部１０７に保持されている特徴情報（以下、保持された特徴情報と呼ぶ）と、特徴抽出部１０２で抽出された特徴情報（以下、現フレームの特徴情報）とを対応付ける。

ここで、特徴情報を対応付ける方法として、例えば、保持された特徴情報の投影座標を用いる方法がある。この方法を用いる場合、対象物推定部１０５は、まず、保持された特徴情報の追跡対象座標系における３次元座標を、初期位置姿勢を用いて現フレームの画像上に投影して投影座標を得る。そして、対象物推定部１０５は、現フレームの特徴情報のうち、該投影座標との距離が最も小さい画像座標を持つ特徴情報を対応付ける。

また、追跡対象マーカー３０１が検出されず、初期位置姿勢が得られない場合、対象物推定部１０５は、過去の動きから予測した現フレームにおける追跡対象座標系の位置姿勢を初期位置姿勢としてもよい。また、対象物推定部１０５は、保持された特徴情報と過去のフレームの特徴情報との対応付けを基に、ＫＬＴ法など、画像情報を用いて特徴情報のフレーム間対応を得る方法によって現フレームの特徴情報を対応付けてもよい。ただし、特徴情報の対応を得る方法はこれらに限らない。例えば、特徴周辺および投影座標周辺の画像情報や、特徴記述子の類似度によって対応付けが行われてもよいし、特徴情報付近のエッジ情報を使って対応付けが行われてもよい。

対象物推定部１０５は、前述の方法により保持された特徴情報と現フレームの特徴情報の対応付けを得た後は、対応付けが得られた現フレームの特徴情報のみを用いて、追跡対象座標系の位置姿勢を求める。これは、保持された特徴情報の追跡対象座標系における３次元座標と、現フレームの特徴情報の画像座標を用いたＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）問題を解くことで求めることができる。ただし、追跡対象座標系の位置姿勢を求める方法はこれに限らない。例えば、保持された特徴情報の追跡対象座標系における３次元座標の点群と、現フレームの特徴情報の世界座標系における３次元座標の点群から、点同士の距離の総和を最小化するように、追跡対象座標系の位置姿勢が求められてもよい。

特徴分類部１０６は、カメラ推定部１０４から送出された情報と、対象物推定部１０５から送出された情報とを用いて、特徴抽出部１０２で抽出された特徴情報を図４（ｂ）に示すように分類する。

特徴分類部１０６は、まず、特徴情報に含まれるカメラ座標系における３次元座標を世界座標系に投影する。そして、特徴分類部１０６は、複数のフレームにおいて、その世界座標系における３次元座標が一定であった場合、その特徴情報は空間に属すると分類する。なお、それ以外の場合、特徴分類部１０６は、特徴情報に含まれるカメラ座標系における３次元座標を追跡対象座標系に投影する。そして、特徴分類部１０６は、複数のフレームにおいて、その追跡対象座標系における３次元座標が一定であった場合、その特徴情報は、その追跡対象座標系を有する追跡対象物３０２に属すると分類する。

特徴情報が追跡対象物３０２に属すると分類した場合、特徴分類部１０６は、その特徴情報をモデル構築部１０７に送出する。一方、特徴情報が空間に属すると分類した場合、特徴分類部１０６は、その特徴情報をモデル保持部１０８に送出する。

図５は、特徴分類部１０６における分類の具体的な方法の一例を示すフローチャートである。
まずステップＳ５０１において、特徴分類部１０６は、判定対象となる特徴点について、Ｎフレーム分の特徴情報が得られているかどうかを判定する（Ｎは２以上の整数）。そして、特徴分類部１０６は、Ｎフレーム分の特徴情報が得られていると判定した場合にはステップＳ５０２に処理を進める。一方、特徴情報がＮフレームに満たないと判定した場合、特徴分類部１０６は、ステップＳ５０８に進んで特徴点は未分類と判定して分類処理を終了する。

ステップＳ５０２に進むと、特徴分類部１０６は、分類の対象となる特徴情報から、世界座標系における特徴点の３次元座標を取得する。この時の特徴分類部１０６は、特徴情報に含まれるカメラ座標系における３次元座標を、カメラ推定部１０４で推定したカメラの位置姿勢を用いて、世界座標系における３次元座標に変換して取得する。

次にステップＳ５０３において、特徴分類部１０６は、ステップＳ５０２で取得した世界座標系における特徴点の３次元座標がＮフレームに渡って一定であるか否かを判定する。具体的には、特徴分類部１０６は、Ｎフレーム分の３次元座標の平均座標を求め、その平均座標と各フレームにおける座標との距離が一定値以内であるか否かによって判定する。ただし、判定の方法はこれに限らない。そして、特徴分類部１０６は、世界座標系における特徴点の３次元座標がＮフレームに渡って一定であると判定した場合には、ステップＳ５０４に進んで特徴点は空間に属すると判定して分類処理を終了する。それ以外の場合、特徴分類部１０６は、ステップＳ５０５へ処理を進める。

ステップＳ５０５に進むと、特徴分類部１０６は、分類の対象となる特徴情報から、追跡対象座標系における３次元座標を取得する。この時の特徴分類部１０６は、特徴情報に含まれるカメラ座標系における３次元座標を、対象物推定部１０５で推定したカメラ座標系に対する追跡対象座標系の位置姿勢を用いて、追跡対象座標系における３次元座標に変換して取得する。

次にステップＳ５０６において、特徴分類部１０６は、ステップＳ５０５で取得した追跡対象座標系における特徴点の３次元座標がＮフレームに渡って一定であるか否かを判定する。具体的な判定方法は、ステップＳ５０３と同等である。特徴分類部１０６は、追跡対象座標系における特徴点の３次元座標がＮフレームに渡って一定であると判定した場合、ステップＳ５０７に進んで、特徴点はその追跡対象物に属すると判定して分類処理を終了する。それ以外の場合、特徴分類部１０６は、ステップＳ５０８に進んで、特徴点は未分類と判定して分類処理を終了する。ただし、追跡対象物が複数ある場合、特徴分類部１０６は、それぞれの追跡対象物に対してステップＳ５０５、ステップＳ５０６の処理を実行する。

モデル構築部１０７は、特徴分類部１０６で追跡対象に属すると判定された特徴情報に基づく情報を、追跡対象物ごとに蓄積することで追跡対象モデルを構築する。図４（ｃ）は、モデル構築部１０７が保持する情報の一例である。すなわち、モデル構築部１０７は、図４（ｃ）に示すように、特徴分類部１０６で追跡対象物３０２に属すると判定された特徴の識別子を記録する。また、モデル構築部１０７は、その特徴のカメラ座標系における３次元座標を、追跡対象物３０２の追跡対象座標系における３次元座標に変換し、記録する。ここで、ある特徴に対し、複数のフレームに渡って追跡対象座標系における３次元座標が得られている場合、モデル構築部１０７は、それらの結果を統合して記録してもよいが、その統合の方法については限定しない。

モデル保持部１０８は、特徴分類部１０６で空間に属すると判定された特徴情報に対し、世界座標系における３次元座標を計算して保持する。その際、モデル保持部１０８は、カメラ推定部１０４で求められた情報を用いる。図４（ｄ）は、モデル保持部１０８が保持する情報の一例である。すなわち、モデル保持部１０８は、図４（ｄ）に示すように、特徴の識別子、および世界座標系における３次元座標の各情報を保持する。なお、世界座標系における特徴の３次元座標を高精度に求める問題は、非特許文献１を含む様々なＶｉｓｕａｌ－ＳＬＡＭ技術にて取り組まれている問題であり、本発明においてはその方法は限定しない。

画像生成部１０９は、カメラ推定部１０４で推定されたカメラの位置姿勢と、対象物推定部１０５で推定された追跡対象物３０２の位置姿勢とを用いて、仮想画像を生成する。そして、画像生成部１０９は、生成した仮想画像を、画像入力部１０１から入力された画像と合成することで複合現実画像を生成し、表示装置１１１に表示可能な信号として出力する。

ここでは、作業対象の機械のＣＧモデルを現実空間中の固定された位置に重畳表示するとともに、ユーザーが手に持つ実物体の工具（追跡対象物）にも工具のＣＧモデルを重畳表示するような、作業シミュレーションシステムを例として説明する。

画像生成部１０９は、まず、カメラ推定部１０４で推定された世界座標系に対するカメラ座標系の位置姿勢を仮想カメラに反映することで、現実空間の固定された位置に作業対象の機械のＣＧモデルが存在するかのような仮想画像を生成する。さらに、画像生成部１０９は、対象物推定部１０５で推定された世界座標系に対する追跡対象座標系の位置姿勢をＣＧモデルの位置姿勢に反映することで、ユーザーが手に持つ工具（追跡対象物）上に工具のＣＧモデルが存在するかのような仮想画像を生成する。

ここで、ユーザーが手に持つ工具（追跡対象物）は、先端が尖っているなどの都合により、視覚マーカーのような指標を設置することが難しく、例えば持ち手付近などに視覚マーカーが設置されることがある。また、視覚マーカーのみを用いて追跡対象物の位置姿勢を求めた場合、ユーザーが工具の先端をよく見ようとして近づくと、視覚マーカーがカメラの観察領域外となり、追跡対象物の位置姿勢を求めることができなくなる。これにより、工具のＣＧモデルが正しい位置に表示されず、作業シミュレーションの実施が阻害される可能性がある。

これに対し、本実施形態における方式を用いると、視覚マーカーと工具の先端とがカメラ１１０の観察領域内にある際に、工具の先端の特徴情報がモデル構築部１０７に保持される。したがって、その後に、視覚マーカーが検出できなくなった場合でも、工具の先端の特徴情報を基に、追跡対象物の位置姿勢を求めることができる。これにより、本実施形態では、工具の先端付近に近づいて観察しながら作業が行える作業シミュレーションシステムを実現できる。

図６は、本実施形態の情報処理装置１００が複合現実画像を生成するために行う処理の流れを示したフローチャートである。
まずステップＳ６０１において、画像入力部１０１は画像を取得する。すなわち画像入力部１０１は、カメラ１１０で撮影された現実空間の画像を、入力Ｉ／Ｆ２０４を通して取り込む。

次にステップＳ６０２において、特徴抽出部１０２は、ステップＳ６０１で画像入力部１０１が取得した画像から、特徴情報を抽出する。
次にステップＳ６０３において、指標推定部１０３は、ステップＳ６０１で画像入力部１０１が取得した現実空間の画像から指標を検出し、各指標の位置姿勢を推定する。

次にステップＳ６０４において、カメラ推定部１０４は、カメラ１１０の位置姿勢を推定する。すなわちカメラ推定部１０４は、ステップＳ６０１で取得された現実空間の画像と、ステップＳ６０２で抽出された特徴情報と、ステップＳ６０３で推定された指標の位置姿勢とを基に、カメラ１１０の位置姿勢を推定する。

次にステップＳ６０５において、対象物推定部１０５は、追跡対象物の位置姿勢を推定する。すなわち対象物推定部１０５は、ステップＳ６０１で取得された現実空間の画像と、ステップＳ６０２で抽出された特徴情報と、ステップＳ６０３で推定された指標の位置姿勢とを基に、追跡対象物３０２の位置姿勢を推定する。

次にステップＳ６０６において、特徴分類部１０６は、図５で説明したようにして特徴情報の分類処理を行う。すなわち特徴分類部１０６は、ステップＳ６０２で抽出された特徴情報と、ステップＳ６０４で推定されたカメラの位置姿勢と、ステップＳ６０５で推定された追跡対象物の位置姿勢とを基に、特徴情報を分類する。

次にステップＳ６０７において、モデル構築部１０７は、特徴情報の３次元座標を、追跡対象座標系上の座標に変換して保持することで、追跡対象のモデルを構築する。
そして、ステップＳ６０８において、画像生成部１０９は複合現実画像を生成する。その後、図６のフローチャートの処理は終了する。

＜第１の変形例＞
第１の実施形態における特徴分類部１０６では、複数のフレームにおいて特徴点３０３の追跡対象座標系における３次元座標が一定であることを分類の基準として説明した。しかし、画像から計測できる特徴点の３次元座標は、画像の奥行方向の誤差が生じる場合がある。そこで、特徴分類部１０６は、奥行方向の誤差が影響しにくい判定方法として、追跡対象座標系における３次元座標を、追跡対象座標系におけるカメラの位置姿勢を用いて画像上に投影し、特徴点の検出座標との誤差（再投影誤差）を用いる。

具体的には、ステップＳ５０６において、特徴分類部１０６は、追跡対象座標系における再投影誤差がＮフレームに渡って予め定めた閾値以内である場合に、特徴点はその追跡対象に属すると判定してステップＳ５０７に進んで分類処理を終了する。
同様に、ステップＳ５０３において、特徴分類部１０６は、世界座標系における再投影誤差がＮフレームに渡って予め定めた閾値以内である場合に、特徴点はその空間に属すると判定してステップＳ５０４に進んで分類処理を終了する。

＜第２の実施形態＞
第１の実施形態の場合、カメラ１１０は、画素の奥行きを計測可能なカメラであるとして説明した。また第１の実施形態において、画素の奥行きの情報は、カメラ座標系における特徴点の３次元座標を計算するために用いられている。また第１の実施形態において、特徴点の３次元座標の情報は、カメラ推定部１０４、対象物推定部１０５、および特徴分類部１０６にて用いられている。ここで、カメラ推定部１０４における処理は、第１の実施形態で説明した方法に限るものではなく、単眼カメラによるＶｉｓｕａｌ ＳＬＡＭの技術などで代替してよい。第２の実施形態では、カメラ１１０が、単眼カメラのように、１フレームの画像からでは画素の奥行を求められないカメラである場合の例について説明する。なお、第２の実施形態における情報処理装置１００の構成は前述した図１、図２と同様であるため、それらの図示と説明は省略する。以下、第２の実施形態において第１の実施形態とは異なる構成および動作について説明する。

第２の実施形態において、対象物推定部１０５は、モデル構築部１０７に保持されている特徴点のみ、特徴点の３次元座標を必要とする。そのため、本実施形態における対象物推定部１０５における処理は、第１の実施形態と同じでよい。

ここで、第２の実施形態のように、単眼のカメラを用いて、特徴点の画像座標からその３次元座標を求める方法として、モーションステレオ法がある。モーションステレオ法は、カメラで撮影された複数のフレームにおいて空間中のある点Ｘの画像座標が得られており、ある座標系Ｃに対する各フレームのカメラの位置姿勢が求まっている場合に、点Ｘの３次元座標を求める方法である。

図７（ａ）および図７（ｂ）を用いてその具体例について説明する。図７（ａ）および図７（ｂ）中の三角印７０２は、異なる時刻（フレーム）における、追跡対象マーカー３０１に対するカメラの位置姿勢を表している。
図７（ａ）に示すように、追跡対象物３０２上の点が特徴点７０１として検出された場合、特徴点７０１は追跡対象座標系において一定の位置にある。そのため、各フレームにおける特徴点７０１のレイ（カメラの光学中心から、特徴点の画像座標を通る３次元空間における光線）は１点で交差し、当該交点の座標が特徴点７０１の追跡対象座標系における３次元座標となる。

一方、図７（ｂ）に示すように、追跡対象座標系において一定の位置にない特徴点７０３の場合、各フレームにおける特徴点７０３のレイは１点で交差しない。そのことから特徴点７０３が追跡対象物とは違う物体上の点であると判定できる。
第２の実施形態の場合、この性質を利用することにより、特徴分類部１０６における図５に示したフローチャートの処理は以下のようになる。

第２の実施形態の場合、ステップＳ５０５において、特徴分類部１０６は、追跡対象座標系におけるカメラの位置姿勢と特徴点の画像座標から、追跡対象座標系におけるレイを計算する。

次にステップＳ５０６において、特徴分類部１０６は、Ｎフレームのレイが交差するかどうかを判定する。そして、特徴分類部１０６は、交差していると判定した場合には、ステップＳ５０７に進み、特徴点はその追跡対象に属すると判定して分類処理を終了する。一方、それ以外の場合、特徴分類部１０６は、ステップＳ５０８に進み、特徴点は未分類と判定して分類処理を終了する。ただし、追跡対象物が複数ある場合、特徴分類部１０６は、それぞれの追跡対象物に対してステップＳ５０５、ステップＳ５０６を実行する。

第２の実施形態の場合、特徴分類部１０６は、世界座標系におけるカメラ位置姿勢を用いて同様の方法を用いることで、特徴点が空間に属するか否かを分類することができる。ステップＳ５０２において、特徴分類部１０６は、世界座標系におけるカメラの位置姿勢と特徴点の画像座標とを基に、世界座標系におけるレイを計算する。そして、ステップＳ５０３において、特徴分類部１０６は、Ｎフレームのレイが交差するかどうかを判定し、交差している場合にはステップＳ５０４に進んで、特徴点は空間に属すると判定して分類処理を終了する。一方、それ以外の場合、特徴分類部１０６は、ステップＳ５０５へ移行する。

＜第２の変形例＞
第１の実施形態や第２の実施形態において、ＣＧモデルを重畳表示したい対象物（追跡対象物３０２）は、人が手で掴んで動かされる場合がある。その場合、人の手の動きが追跡対象物３０２と一致するため、人の手に対して検出された特徴情報が、特徴分類部１０６にて、追跡対象に属する特徴情報として分類される可能性がある。これを回避するために、特徴分類部１０６は、画像入力部１０１より入力される画像のうち、人体など、追跡対象物ではないと判定される領域をマスク領域として推定し、そのマスク領域内の特徴情報は空間にも追跡対象にも属しない点と判定してもよい。なお、マスク領域の推定の具体的な方法として、各画素の色が予め登録された肌色情報と一致している場合、マスク領域とする方法がある。マスク領域の推定方法はこの例に限定されるものではない。

＜第３の変形例＞
第１の実施形態や第２の実施形態における前述した図４（ａ）および図４（ｂ）に示した特徴情報には、分類の確からしさの項目が加えられてもよい。ある特徴情報に対し、特徴分類部１０６にて同じ判定が繰り返されるにつれて、その分類の確からしさは上がっていくと考えられる。そのため、特徴分類部１０６は、その繰り返し数に基づく値を計算し、それを分類の確からしさの項目に記録する。

具体例を説明すると、第１の実施形態や第２の実施形態において、特徴分類部１０６は、Ｎフレームに渡って、３次元座標もしくは投影誤差もしくはレイの交差を確認することで分類を行っている。ここで、Ｎの数（つまり画像数）が小さい場合、特徴情報の抽出誤差や、位置姿勢の検出誤差などの影響による誤判定の影響が生じやすくなる。一方、Ｎの数（画像数）が大きいほど、分類の確からしさは向上するが、Ｎフレーム分のデータが得られるまで判定できないため、特徴情報の分類に時間を要する。

そこで、特徴分類部１０６は、３次元座標が一定である、もしくは投影誤差が閾値以内、もしくはレイが同じ点で交差する画像数をカウントし、この画像数に準じた分類の確からしさを特徴情報に記録する。これにより、フレーム数が少ない時には暫定的な分類結果が得られ、かつ、時間経過に応じてより精度の高い分類結果を得ることができる。

以上説明したように、各実施形態の情報処理装置１００によれば、マーカーを設置する以外の事前準備を必要とせず、カメラおよび追跡物体の位置姿勢を高い精度で推定することが可能なＭＲシステムを実現することができる。

以上、本発明の各実施形態について説明したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の各実施形態の一部を適宜組み合わせることも可能である。

前述した実施形態の図１に示した構成において、例えば画像入力部１０１やモデル保持部１０８を除く各構成部では、人工知能（ＡＩ：artificial intelligence）を適用した処理が行われてもよい。例えば、それらの各部の代わりとして、機械学習された学習済みモデルを用いてもよい。その場合には、それら各部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。この学習済みモデルは、例えばニューラルネットワークモデルで構成できる。そして、それらの学習済みモデルは、前述の各部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前述した各部の処理を行う。また、前述の学習済みモデルは、必要に応じて一定のデータを処理する毎に更新する等も可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、１１０：カメラ、１０１：画像入力部、１０２：特徴抽出部、１０３：指標推定部、１０４：カメラ推定部、１０５：対象物推定部、１０６：特徴分類部、１０７：モデル構築部、１０８：モデル保持部、１０９：画像生成部

Claims (12)

1. 追跡対象物を含む現実空間を撮影した画像から複数の特徴情報を抽出する特徴抽出手段と、
   前記現実空間を撮影した画像から前記追跡対象物に付されている指標を検出し、該指標の位置姿勢を推定する指標推定手段と、
   前記指標の位置姿勢と追跡対象モデルとに基づいて、前記追跡対象物の位置姿勢を推定する対象物推定手段と、
   前記現実空間を前記撮影したカメラの位置姿勢および、前記追跡対象物の位置姿勢に基づいて、前記複数の特徴情報を分類する分類手段と、
   前記分類手段が前記追跡対象物に属していると判定した特徴情報を、前記追跡対象モデルに追加するモデル構築手段と、
   を有することを特徴とする情報処理装置。
2. 前記現実空間を撮影した前記画像は、奥行きの情報を含む画像であり、
   前記複数の特徴情報は、前記現実空間の画像中の複数の特徴に関して、前記カメラの座標系で表される第一の３次元座標を含み、
   前記分類手段は、
   前記複数の特徴情報のうちで前記判定の対象となる特徴情報に対し、前記第一の３次元座標を、前記指標の位置姿勢を基準とする３次元座標系に投影した第二の３次元座標を算出し、
   さらに、異なる時刻に撮影された１つ以上の前記現実空間の画像において前記第二の３次元座標が一定であった場合、前記判定の対象となる特徴情報は前記追跡対象物に属していると判定することを特徴とする請求項１に記載の情報処理装置。
3. 前記奥行きの情報は、ステレオカメラまたはデプスカメラによる計測、もしくは、１台の可視光カメラを構成した上で機械学習された学習モデルによる奥行き推定により求められることを特徴とする請求項２に記載の情報処理装置。
4. 前記複数の特徴情報は、前記現実空間の画像中の複数の特徴に関する画像座標および、前記カメラの座標系で表される第一の３次元座標を含み、
   前記分類手段は、
   前記複数の特徴情報のうちで前記判定の対象となる特徴情報に対し、前記第一の３次元座標を前記現実空間の画像上に投影した座標と前記画像座標との誤差である再投影誤差を算出し、
   さらに、異なる時刻に撮影された１つ以上の前記現実空間の画像において前記再投影誤差が閾値以内であった場合、前記判定の対象となる特徴情報は前記追跡対象物に属していると判定することを特徴とする請求項１に記載の情報処理装置。
5. 前記複数の特徴情報は、前記現実空間の画像中の複数の特徴に関する第一の光線を含み、
   前記第一の光線は、前記現実空間を前記撮影したカメラの光学中心から、前記現実空間の特徴の画像座標を通る前記カメラの座標系における光線であり、
   前記分類手段は、
   前記複数の特徴情報のうちで前記判定の対象となる特徴情報に対し、前記第一の光線を前記指標の位置姿勢を基準とする３次元座標系に投影した第二の光線を算出し、
   さらに、異なる時刻に撮影された１つ以上の前記現実空間の画像において前記第二の光線が交差した場合、前記判定の対象となる特徴情報は前記追跡対象物に属していると判定し、
   前記モデル構築手段は、前記交差した点の３次元座標を前記追跡対象モデルに蓄積することを特徴とする請求項１に記載の情報処理装置。
6. 前記分類手段は、前記現実空間の画像のうち、前記追跡対象物ではないと判定される領域をマスク領域として算出し、前記複数の特徴情報のうちで前記マスク領域の内の特徴は前記追跡対象物に属していると判定しないことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記分類手段は、異なる時刻に撮影された１つ以上の前記現実空間の画像において、前記第二の３次元座標が一定であると判定された画像数に基づいて、前記特徴が前記追跡対象物に属している確からしさを算出して、前記特徴情報に含めることを特徴とする請求項２または３に記載の情報処理装置。
8. 前記分類手段は、異なる時刻に撮影された１つ以上の前記現実空間の画像において、前記再投影誤差が閾値以内であった画像数に基づいて、前記特徴が前記追跡対象物に属している確からしさを算出して、該確からしさに基づいて前記特徴情報に含めることを特徴とする請求項４に記載の情報処理装置。
9. 前記分類手段は、異なる時刻に撮影された１つ以上の前記現実空間の画像において、前記第二の光線が同じ点で交差した画像数に基づいて、前記特徴が前記追跡対象物に属している確からしさを算出して、該確からしさに基づいて前記特徴情報に含めることを特徴とする請求項５に記載の情報処理装置。
10. 前記指標推定手段は、前記追跡対象物の一部をモデル化した情報を、前記追跡対象物に設けられている前記指標として用いることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 情報処理装置が実行する情報処理方法であって、
    追跡対象物を含む現実空間を撮影した画像から複数の特徴情報を抽出する特徴抽出工程と、
    前記現実空間を撮影した画像から前記追跡対象物に付されている指標を検出し、該指標の位置姿勢を推定する指標推定工程と、
    前記指標の位置姿勢と追跡対象モデルとに基づいて、前記追跡対象物の位置姿勢を推定する対象物推定工程と、
    前記現実空間を前記撮影したカメラの位置姿勢および、前記追跡対象物の位置姿勢に基づいて、前記複数の特徴情報を分類する分類工程と、
    前記分類工程で前記追跡対象物に属していると判定した特徴情報を、前記追跡対象モデルに追加するモデル構築工程と、
    を有することを特徴とする情報処理方法。
12. コンピュータを請求項１から１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images