JP5838747B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、現実の画像に付加的な情報を重畳してユーザに呈示する、拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、アノテーションとも呼ばれ、例えばテキスト、アイコンまたはアニメーションなど、さまざまな形態の仮想オブジェクトとして可視化される。このようなＡＲ技術の例として、特許文献１には、家具などの現実の物体を模倣した仮想物体の画像を現実の画像に重畳して表示し、家具などの配置の試行を容易にする技術が記載されている。

上記のようなＡＲ技術は、例えば、ユーザが把持する装置を用いて現実の画像を撮像し、その画像に映った物体を認識する。そして認識された物体に関連する仮想オブジェクトを撮像した画像に重畳して表示させることで実現される。

特開２００３−２５６８７６号公報

このとき、仮想オブジェクトは、認識された物体の位置に基づいて決定される座標空間上に表示される。認識される物体の位置には、様々な要因によりノイズが含まれる。認識される物体の位置にノイズが含まれる場合には、仮想オブジェクトが表示される位置にブレが生じる。このブレは、ユーザに不快感を与えることがある。このような場合に、基準点から遠くに表示される仮想オブジェクトほど、ノイズの影響を受けやすい。

そこで、本開示では、基準点からの距離に応じて仮想オブジェクトを適切に表示することにより基準点のノイズの影響を軽減することのできる、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、入力画像に映る実オブジェクトを認識する認識部と、前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、上記仮想オブジェクトの表示を変化させる表示制御部と、を有する情報処理装置が提供される。

また、本開示によれば、入力画像に映る実オブジェクトを認識することと、前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて、前記実オブジェクトと前記仮想オブジェクトとの間の距離を算出することと、上記距離に基づいて、上記仮想オブジェクトの表示を変化させることと、を含む情報処理方法が提供される。

また、本開示によれば、コンピュータを、入力画像に映る実オブジェクトを認識する認識部と、前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、上記仮想オブジェクトの表示を変化させる表示制御部と、を有する情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、基準点からの距離に応じて仮想オブジェクトを適切に表示することにより基準点のノイズの影響を軽減することができる。

本開示の一実施形態に係る情報処理装置の機能の概要を示す説明図である。 同実施形態に係る情報処理装置が表示する画面の一例を示す説明図である。 同実施形態に係る情報処理装置が表示する画面の表示方法を説明するための説明図である。 同実施形態に係る情報処理装置において生じる表示位置のブレについて説明するための説明図である。 同実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 本開示の第１の実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係る情報処理装置が認識する物体の状態を示す指標について示す説明図である。 同実施形態に係る情報処理装置のノイズ推定について示す説明図である。 同実施形態に係る情報処理装置において複数の仮想オブジェクトの代表点を用いる例を示す説明図である。 同実施形態に係る情報処理装置の動作例を示すフローチャートである。 本開示の第２の実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係る情報処理装置の実現する視覚効果を示す説明図である。 同実施形態に係る情報処理装置の動作例を示すフローチャートである。 本開示の第３の実施形態に係る情報処理装置の機能構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．ハードウェア構成例
３．第１の実施形態（位置を補正する例）
３−１．機能構成
３−２．動作
４．第２の実施形態（視覚効果を加えた表示の例）
４−１．機能構成
４−２．動作
５．第３の実施形態（位置の補正＋視覚効果）

＜１．概要＞
まず、図１〜図４を参照しながら、本開示の一実施形態に係る情報処理装置の概要について説明する。図１は、本開示の一実施形態に係る情報処理装置の機能の概要を示す説明図である。図２は、同実施形態に係る情報処理装置が表示する画面の一例を示す説明図である。図３は、同実施形態に係る情報処理装置が表示する画面の表示方法を説明するための説明図である。図４は、同実施形態に係る情報処理装置において生じる表示位置のブレについて説明するための説明図である。

なお、本開示において、“一実施形態に係る情報処理装置”という場合には、以下に説明される複数の実施形態に共通する事項が説明される。

情報処理装置１００は、ＡＲアプリケーションをユーザに提供する装置である。情報処理装置１００は、例えば、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）、携帯用ゲーム機器、携帯用音楽再生機器などの端末装置であってよい。また情報処理装置１００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）又はワークステーションなどの情報処理装置であってもよい。

本開示において、ユーザは、情報処理装置１００の特定のＡＲアプリケーションを起動した後、例えば実空間に配置される物体である実オブジェクトobj_rが情報処理装置１００の表示画面内に表示されるように情報処理装置１００をかざす（図１）。すると、情報処理装置１００の表示画面では、撮影した実オブジェクトobj_r近傍の空間に仮想オブジェクトobj_vが表示される（図２）。ここでは仮想オブジェクトobj_vは、複数のカードである。

このとき情報処理装置１００は、撮影した画像中で実オブジェクトobj_rを認識する。そして、情報処理装置１００は、認識された実オブジェクトobj_rに基づいて仮定される座標空間上の位置に仮想オブジェクトobj_vを表示させる（図３）。ここで座標空間は、例えば認識される物体の基準点ＲＰを原点としてよい。物体の基準点ＲＰは、例えば物体の重心とすることができる。また座標軸の方向は、認識される実オブジェクトobj_rの姿勢に基づいて決定されてよい。

ここで決定される座標空間には、様々な要因によりノイズが含まれ得る。例えば座標空間は、実オブジェクトobj_rの基準点ＲＰ位置、大きさ、姿勢を認識することにより、決定される。この基準点ＲＰ位置、大きさ、姿勢の認識にノイズが含まれると、これらに基づいて決定される仮想オブジェクトobj_vの位置にもノイズの影響が含まれる。

例えば図４を参照すると、座標空間上の２つの仮想オブジェクトobj_v（第１の仮想オブジェクトobj_v1、第２の仮想オブジェクトobj_v2）の位置が示される。ここで、ノイズを含まない場合の座標空間上の第１の仮想オブジェクトobj_v1a及び第２の仮想オブジェクトobj_v2aと、ノイズを含む場合の座標空間上の第１の仮想オブジェクトobj_v1b及び第２の仮想オブジェクトobj_v2bとが示される。

ここでは、例えば実オブジェクトobj_r位置の回転成分にノイズが含まれる場合が示される。このとき、第１の仮想オブジェクトobj_v1と基準点ＲＰとの間の距離ｄ１は、第２の仮想オブジェクトobj_v2と基準点ＲＰとの間の距離ｄ２よりも短い。この場合において、第１の仮想オブジェクトobj_v1に対するノイズの影響による表示位置の差異Ｄ１よりも第２の仮想オブジェクトobj_v2に対するノイズの影響による表示位置の差異Ｄ２の方が大きい。そこで本開示では、この距離Ｄに応じて適切に仮想オブジェクトobj_vの表示を変化させることにより、ユーザに対するノイズの影響を軽減することを提案する。仮想オブジェクトの表示の変化の一例として、以下表示位置を補正する例と、視覚効果を加えた表示を行う例とを挙げて詳細が説明される。なお、ここではノイズにより生じるブレがユーザに与える不快感を軽減するための視覚効果の一例として残像効果を加える例が示される。

＜２．ハードウェア構成例＞
ここで、図５を参照しながら、本開示の一実施形態に係る情報処理装置のハードウェア構成の一例について説明する。図５は、同実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

なお、ここで示すハードウェア構成は、以下に説明する本開示の各実施形態に係る情報処理装置の機能を実現するための一例である。本技術はかかる例に限定されるものではなく、ここで説明される構成要素の一部を省略することが可能である。またここで説明される構成要素に加えて、他の構成要素がさらに含まれてもよい。また、ここで説明される構成要素を、同等の機能を有する他の構成要素に代えることもできる。

情報処理装置１００は、撮像部１０２と、センサ部１０４と、入力部１０６と、記憶部１０８と、表示部１１０と、通信部１１２と、制御部１１４と、バス１１６とを有する。

（撮像部１０２）
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部１０２により生成される撮像画像は、映像入力の各フレームを構成する。

（センサ部１０４）
センサ部１０４は、撮像部１０２の動きを計測する動きセンサ群を含む。動きセンサは、例えば、撮像部１０２の加速度を測定する加速度センサ、傾き角を測定するジャイロセンサ、又は撮像部１０２の向けられた方位を測定する地磁気センサなどであってよい。また、センサ部１０４は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。

（入力部１０６）
入力部１０６は、ユーザが情報処理装置１００を操作し又は情報処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、典型的には、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含む。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイス、画像に映るユーザのジェスチャを認識するジェスチャ認識モジュール、又はＨＭＤ（Head Mounted Display）を装着したユーザの視線方向を検出する視線検出モジュールを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。

（記憶部１０８）
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、情報処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータには、例えば、撮像部１０２により生成される画像データ及びセンサ部１０４により生成されるセンサデータが含まれ得る。また、記憶部１０８により記憶されるデータには、例えば、情報処理装置１００による物体認識の際に用いられるモデルデータ及び仮想オブジェクトobj_vを定義するオブジェクトデータなども含まれ得る。

（表示部１１０）
表示部１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。表示部１１０は、例えば、撮像部１０２により撮像される画像、又は制御部１１４により実現されるＡＲアプリケーションの画像を画面上に表示する。表示部１１０は、ユーザにより把持される情報処理装置１００の画面であってもよく、又はユーザにより装着されるシースルー型若しくは非シースルー型のＨＭＤであってもよい。

（通信部１１２）
通信部１１２は、情報処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。

（制御部１１４）
制御部１１４は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１１４は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する情報処理装置１００の様々な機能を動作させる。

（バス１１６）
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２及び制御部１１４を相互に接続する。

以上、本開示の一実施形態に係る情報処理装置１００のハードウェア構成の一例を示した。情報処理装置１００は、上記の制御部１１４が以下に説明する各実施形態に係る情報処理装置１００の機能を実現する処理手順を記述した制御プログラムを実行することによって本技術の機能を実現することができる。なお、以下に説明する情報処理装置１００の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、フラッシュメモリなどである。また、上述のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜３．第１の実施形態（位置を補正する例）＞
まず、基準点と仮想オブジェクトobj_vの間の距離に応じて位置を補正する機能を有する、本開示の第１の実施形態に係る情報処理装置について説明する。

〔３−１．機能構成〕
ここで図６〜図９を参照しながら、本開示の第１の実施形態に係る情報処理装置１００の制御部１１４ａにより実現される機能構成の一例を説明する。図６は、本開示の第１の実施形態に係る情報処理装置の機能構成を示すブロック図である。図７は、同実施形態に係る情報処理装置が認識する物体の状態を示す指標について示す説明図である。図８は、同実施形態に係る情報処理装置のノイズ推定について示す説明図である。図９は、同実施形態に係る情報処理装置において複数の仮想オブジェクトobj_vの代表点を用いる例を示す説明図である。

図６を参照すると制御部１１４ａは、画像取得部１２０と、画像認識部１２５と、オブジェクトデータ取得部１３０と、位置姿勢算出部１３５と、認識ノイズ推定部１４０と、補正部１４５と、表示制御部１５０ａと、を主に有する。

（画像取得部１２０）
画像取得部１２０は、撮像部１０２（又は他の撮像装置）を用いて撮像された実空間を映す入力画像を取得する。入力画像は、仮想オブジェクトobj_vが配置される実空間内の場所又は物体が映された画像である。画像取得部１２０は、取得した入力画像を、画像認識部１２５及び表示制御部１５０ａへ供給する。例えば、撮像部１０２（又は他の撮像装置）が実空間を連続的に撮像している場合には、画像取得部１２０は、連続的に入力画像を取得することができる。

（画像認識部１２５）
画像認識部１２５は、画像取得部１２０から供給される入力画像に映る物体を認識することができる。画像認識部１２５は、例えば記憶部１０８に記憶されるモデルデータ、又は通信部１１２を介して接続される外部装置に記憶されるモデルデータを用いて、物体認識を行うことができる。モデルデータは、情報処理装置１００が認識の対象とする物体の形状又は外観に関する情報である。本実施形態において、情報処理装置１００による認識の対象は、例えば図１に例示した実オブジェクトobj_rなど、実空間に存在する任意の物体であってよい。モデルデータは、各物体の形状を定義するデータ、各物体に付される所定のシンボルマーク又はテキストラベルなどの画像データ、又は各物体についての既知の画像から抽出された特徴量セットのデータなどを含みうる。

画像認識部１２５は、画像取得部１２０から供給される入力画像にどの物体が映っているか、及び入力画像に映っている物体の状態を認識する。画像認識部１２５により認識される物体の状態は、物体の位置及び姿勢の少なくとも一方を含む。本実施形態では、画像認識部１２５は、画像内での物体の位置、姿勢、及び大きさを認識するものとする。画像認識部１２５は、例えば入力画像から抽出される特徴点のセットをモデルデータにより定義され得る物体の形状と照合してもよい。また、画像認識部１２５は、モデルデータにより定義され得るシンボルマーク又はテキストラベルなどの画像データを入力画像と照合してもよい。また、画像認識部１２５は、モデルデータにより定義され得る既知の物体の画像の特徴量を入力画像から抽出される特徴量と照合してもよい。いずれの場合にも、画像認識部１２５は、所定の閾値よりも良好な照合スコアを示す物体が、当該照合スコアに対応する位置、姿勢、及び大きさで入力画像に映っていると認識することができる。

図７は、同実施形態において画像認識部１２５により認識される物体の状態量について説明するための説明図である。図７を参照すると、入力画像を撮像した撮像装置の光軸方向と直交する平面上のｘ軸及びｙ軸、並びに当該光軸方向に沿ったｚ軸により形成されるグローバル座標系が示されている。画像認識部１２５により認識される実オブジェクトobj_rの位置Ｐは、このようなグローバル座標系での当該物体の基準点の位置座標として与えられる。また、実オブジェクトobj_rの姿勢Ｗは、各軸周りの回転角として与えられる。また、実オブジェクトobj_rの大きさＳｃは、各軸方向への倍率として与えられる。なお、本明細書では、説明の簡明さのために、各実オブジェクトobj_rの位置Ｐ、姿勢Ｗ及び大きさＳｃを別個の変量（状態量）として説明する。しかしながら、各実オブジェクトobj_rの位置Ｐ、姿勢Ｗ及び大きさＳｃは、グローバル座標系と各実オブジェクトobj_rのモデル座標系との間の変換を表す４行４列の１つの同次変換行列によって統合的に表現されてもよい。その場合には、各状態量（即ち、位置Ｐ、姿勢Ｗ及び大きさＳｃの各々）は、１つの同次変換行列から必要に応じて抽出され、用いられる。なお、グローバル座標系は、撮像装置の位置を原点とする相対的な座標を表す座標系であってもよい。その代わりに、グローバル座標系は、実空間内で固定的に定義される絶対的な座標を表す座標系であってもよい。画像認識部１２５は、このような入力画像に映る各実オブジェクトobj_rの識別子、位置Ｐ、姿勢Ｗ及び大きさＳｃを出力することができる。

（オブジェクトデータ取得部１３０）
オブジェクトデータ取得部１３０は、表示制御部１５０により入力画像に重畳される仮想オブジェクトobj_vに関するデータを取得する機能を有する。オブジェクトデータ取得部１３０により取得されるデータは、仮想オブジェクトobj_vを定義するオブジェクトデータを含む。オブジェクトデータは、例えば、仮想オブジェクトobj_vの種類、関連づけられる物体の識別子、仮想的な座標空間（以下、仮想空間とも言う）上の仮想オブジェクトobj_vの位置情報、及び情報コンテンツの内容などを定義するデータであってよい。オブジェクトデータ取得部１３０は、画像認識部１２５により認識された実オブジェクトobj_rの識別子に基づいて抽出されたオブジェクトデータを取得することができる。オブジェクトデータ取得部１３０は、取得した情報を位置姿勢算出部１３５に供給することができる。

（位置姿勢算出部１３５）
位置姿勢算出部１３５は、オブジェクトデータ取得部１３０から供給される仮想オブジェクトobj_vに関するデータと、入力画像とに基づいて、仮想オブジェクトobj_vの位置及び姿勢を算出することができる。なお、ここで用いられる実オブジェクトobj_rの基準点ＲＰは、例えば実オブジェクトobj_rの重心とすることができる。また、基準点ＲＰは、入力画像を解析することによって得られる、位置変動の小さい点とすることもできる。位置姿勢算出部１３５は、例えば入力画像から認識される実オブジェクトobj_rの位置及び姿勢に基づいて、仮想空間の原点位置及び座標軸方向を定義することにより、実空間上に仮想空間を対応づけることができる。また位置姿勢算出部１３５は、実オブジェクトobj_rと、仮想オブジェクトobj_vとの間の距離を算出する距離算出部として機能することもできる。例えば上述の通り、仮想オブジェクトの配置が定義された仮想空間と、実空間とが対応づけられるが、仮想空間の原点位置と基準点RPとが一致する場合には、位置姿勢算出部１３５は、仮想空間上の仮想オブジェクトの位置情報に基づいて、上記距離を算出することができる。また、仮想空間の原点位置と基準点RPとが一致しない場合には、位置姿勢算出部１３５は、仮想空間の原点位置からの仮想オブジェクトの位置情報と、原点と基準点RPとの位置関係とに基づいて、上記距離を算出することができる。

（認識ノイズ推定部１４０）
認識ノイズ推定部１４０は、画像認識部１２５による認識結果に含まれるノイズを推定する機能を有する。認識ノイズ推定部１４０は、例えば認識結果にノイズが含まれるか否か、物体の状態を示す情報のうち、どの成分にノイズが含まれるかを推定することができる。例えば認識ノイズ推定部１４０は、認識された実オブジェクトobj_rの状態量Ｘの値の時間推移を解析することによって、ノイズが含まれているか否か、またノイズの大きさを推定することができる。ここで状態量Ｘは、位置Ｐ、姿勢Ｗ、大きさＳｃ、又はＰ，Ｗ，Ｓｃの組合わせであってよい。

図８に状態量Ｘの変化の一例が示される。図８の横軸は時間ｔ、縦軸は状態量X及びその一次微分（ｄＸ／ｄｔ）である。図８の例では、時刻Ｔ０から時刻Ｔ１までの期間において、状態量Ｘは緩やかに変化している。この場合、例えばフーリエ変換によって状態量Ｘの周波数成分を抽出すると、状態量Ｘの高周波成分は小さくなる。また、状態量Ｘの一次微分の絶対値は、ある所定のレベル（撮像装置に対して物体が相対的に動く現実的な限界に相当するレベル）を超えることがない。状態量Ｘの二次微分についても同様である。また、状態量Ｘの変化が緩やかであることから、状態量Ｘの過去ｍサンプルの履歴に対して状態量Ｘの現在値が大きく異なることもない。状態量Ｘの履歴とは、過去ｍサンプルの単純な平均値であってもよく、又は過去ｍサンプルの重み付け平均値（より直近のサンプルの重みがより大きく設定され得る）であってもよい。

これに対し、時刻Ｔ１からＴ２までの期間において、状態量Ｘは激しく変化している。この場合、状態量Ｘの周波数成分を抽出すると、状態量Ｘの高周波成分はより大きくなる。また、状態量Ｘの一次微分はゼロの周りで振動している。一次微分の絶対値は、上述した所定のレベルを上回る。また、状態量Ｘの過去ｍサンプルの履歴に対して、状態量Ｘの現在値が大きく変化し得る。

従って、認識ノイズ推定部１４０は、物体の状態量の高周波成分の大きさ、状態量の一次微分（若しくは二次微分）の絶対値（若しくはその積算値）又は状態量の履歴と状態量の現在値との比較を通じて当該状態量の時間的変化を評価することができる。そして、認識ノイズ推定部１４０は、評価した時間的変化がより激しいほど認識の安定度が低く、ノイズが大きいと推定することができる。図８の例では、期間Ｔ０〜Ｔ１のノイズは「小」、期間Ｔ１〜Ｔ２のノイズは「大」、期間Ｔ２〜Ｔ３のノイズは「中」、期間Ｔ３〜Ｔ４のノイズは「大」と推定されている。

また、認識ノイズ推定部１４０は、状態量Ｘの種類毎、すなわち認識された物体の状態を示す指標のうちのいずれの成分にノイズが含まれるかを推定することができる。図８に示されるように、認識ノイズ推定部１４０は、状態量Ｘの高周波成分の大きさ、状態量の一次微分（若しくは二次微分）の絶対値（若しくはその積算値）又は状態量の履歴と状態量の現在値との比較を通じて当該状態量の時間的変化を評価する。例えば認識ノイズ推定部１４０が姿勢Ｗを状態量Ｘとして上記評価を行い、ノイズが大きいと評価されたとすると、認識ノイズ推定部１４０は、実オブジェクトobj_rの回転成分にノイズが含まれると推定することができる。

（補正部１４５）
補正部１４５は、仮想オブジェクトobj_vのオブジェクトデータと認識された実オブジェクトobj_rに基づいて算出される仮想オブジェクトobj_vの位置又は姿勢を補正することができる。補正部１４５は、実オブジェクトobj_rと、仮想オブジェクトobj_vとの間の距離に基づいて仮想オブジェクトobj_vの位置又は姿勢を補正することができる。補正部１４５は、基準点から遠い仮想オブジェクトobj_vほど実オブジェクトobj_rへの追従のペースが遅くなるように位置又は姿勢を補正してもよい。補正部１４５は、例えば認識ノイズ推定部１４０の推定結果に基づいて、ノイズが含まれると推定された成分のみを補正してもよい。或いは補正部１４５は、回転成分のみを補正してもよい。

仮想オブジェクトobj_vは、実オブジェクトobj_rの位置又は姿勢に追従するように実空間上の位置に対応づけられる。そして表示制御部１５０は、対応づけられた位置に仮想オブジェクトobj_vが存在するように入力画像に仮想オブジェクトobj_vを重畳して表示させる。従ってここで仮想オブジェクトobj_vの位置とは、実空間上に対応づけられた位置を指す。

また、図９に示されるように複数の仮想オブジェクトobj_vが違いに位相状態を保持している場合には、複数の仮想オブジェクトobj_vをグループとして取り扱うことができる。このとき補正部１４５は、複数の仮想オブジェクトobj_vの代表点を決定し、この代表点と基準点との距離を算出することができる。図９に示される複数の仮想オブジェクトobj_vは、複数の仮想オブジェクトobj_vが集まって１つの意味をなす表示状態を形成することができる。例えば仮想オブジェクトobj_v11、仮想オブジェクトobj_v12、仮想オブジェクトobj_v13、及び仮想オブジェクトobj_v14は、互いの相対位置を保持することにより意味をなす形状を形成する。従ってこのような場合には、それぞれの仮想オブジェクトobj_vに対してそれぞれ表示が変化されると複数の仮想オブジェクトobj_vの相対位置が崩れてしまうため、複数の仮想オブジェクトobj_vをグループとして取り扱い、複数の仮想オブジェクトobj_vに対して同じように表示を変化させることが望ましい。

補正する方法の一例としては、認識された実オブジェクトobj_rの基準点からの距離ｄに応じたフィルタリングを行う方法が挙げられる。例えば、認識されたマトリクスとモデルデータにより決定される次の時刻ｔ＋１における描画要素の位置・姿勢をＭ’（ｔ＋１）とし、時刻ｔにおける描画要素の位置・姿勢をＭ（ｔ）とすると、時刻ｔ＋１における描画要素の補正位置Ｍ（ｔ＋１）は、以下の数式（１）により示される。このときａは距離ｄに応じた係数である。

Ｍ（ｔ＋１）＝ａ＊Ｍ’（ｔ＋１）＋（１．０−ａ）＊Ｍ（ｔ）・・・数式（１）

この係数ａは、ｄが大きいほど、即ち基準点から遠い描画要素ほど０に近づく。また係数ａは、ｄが小さいほど１に近づく。

なお、上述の図９の例のように、複数の仮想オブジェクトobj_vをグループとして取り扱う場合には、代表点と基準点との間の距離に基づいて、複数の仮想オブジェクトobj_vに対して共通のフィルタ係数が用いられることが望ましい。かかる構成により、複数の仮想オブジェクトobj_vの相対位置を保つことができる。

（表示制御部１５０ａ）
表示制御部１５０ａは、表示装置の表示を制御する機能を有する。表示制御部１５０ａは、仮想オブジェクトobj_vを入力画像に重畳して表示させることができる。このとき表示制御部１５０ａは、実オブジェクトobj_rの位置又は姿勢の少なくともいずれかに仮想オブジェクトobj_vが追従するように仮想オブジェクトobj_vを表示させることができる。このとき表示制御部１５０ａは、仮想オブジェクトobj_vと基準点との間の距離に基づいて、仮想オブジェクトobj_vの表示を変化させることができる。表示制御部１５０ａは、補正部１４５により補正された位置の情報に基づいて仮想オブジェクトobj_vを表示させることにより仮想オブジェクトobj_vの表示を変化させることができる。

〔３−２．動作〕
次に図１０を参照しながら、本開示の第１の実施形態に係る情報処理装置の動作例について説明する。図１０は、同実施形態に係る情報処理装置の動作例を示すフローチャートである。

情報処理装置１００は、ＡＲアプリケーションの処理が終了したか否かを判断する（Ｓ１００）。ステップＳ１００においてＡＲアプリケーションの処理が終了下と判断された場合には、ＡＲアプリケーション動作は終了される。一方ステップＳ１００においてＡＲアプリケーションの処理が終了されていないと判断された場合には、画像取得部１２０は、画像を取得する（Ｓ１０５）。そして、画像認識部１２５は、画像取得部１２０により取得された画像中の実オブジェクトobj_rを認識する（Ｓ１１０）。ここで、画像認識部１２５が実オブジェクトobj_rの認識に用いる画像は、撮像装置が撮像した画像そのものであってもよいし、撮像された画像に何らかの処理が施された後の画像であってもよい。画像認識部１２５は、実オブジェクトobj_rの位置又は姿勢を認識することができる。

次に画像認識部１２５は、この認識によりマーカ（仮想オブジェクトobj_vが関連づけられた実オブジェクトobj_r）が検出されたか否かを判断する（Ｓ１１５）。ステップＳ１１５の判断において、マーカが検出されたと判断された場合には、オブジェクトデータ取得部１３０は、このマーカに対応づけられたオブジェクトデータを取得する（Ｓ１２０）。

次に位置姿勢算出部１４５は、仮想オブジェクトobj_vの位置又は姿勢を算出する（Ｓ１２５）。そして認識ノイズ推定部１４０は、マーカ位置に含まれるノイズを推定する（Ｓ１３０）。このとき認識ノイズ推定部１４０は、マーカ位置のノイズの性質を推定することができる。

そして、認識ノイズ推定部１４０は、マーカ位置にノイズが含まれるか否かを判断する（Ｓ１３５）。ステップＳ１３５の判断において、ノイズが含まれると判断された場合には、補正部１４５は、仮想オブジェクトobj_vとマーカの基準点との間の距離を算出する（Ｓ１４０）。そして、補正部１４５は、ノイズ及び距離に応じて仮想オブジェクトobj_vの位置、又は姿勢を補正する（Ｓ１４５）。そして表示制御部１５０ａは、仮想オブジェクトobj_vを画像に重畳して表示させる（Ｓ１５０）。このとき表示制御部１５０ａは、補正部１４５により補正が行われた場合には、補正後の位置、姿勢を用いて仮想オブジェクトobj_vを画像に重畳することができる。

＜４．第２の実施形態（視覚効果を加えた表示の例）＞
次に、基準点と仮想オブジェクトobj_vとの間の距離に応じて視覚効果を施す本開示の第２の実施形態に係る情報処理装置について説明する。

〔４−１．機能構成〕
ここで図１１及び図１２を参照しながら、本開示の第２の実施形態に係る情報処理装置１００の制御部１１４ｂにより実現される機能構成の一例を説明する。図１１は、本開示の第２の実施形態に係る情報処理装置の機能構成を示すブロック図である。図１２は、同実施形態に係る情報処理装置の実現する視覚効果を示す説明図である。

図１１を参照すると、制御部１１４ｂは、画像取得部１２０と、画像認識部１２５と、オブジェクトデータ取得部１３０と、位置姿勢算出部１３５と、認識ノイズ推定部１４０と、視覚効果情報生成部１４７と、表示制御部１５０ｂとを主に有する。

（視覚効果情報生成部１４７）
視覚効果情報生成部１４７は、実オブジェクトobj_rの基準点ＲＰと仮想オブジェクトobj_vobj_vとの間の距離に応じた視覚効果情報を生成する機能を有する。例えばこの視覚効果は、動きによる物体のぶれを表現するモーションブラー効果であってよい。モーションブラー効果は、例えば仮想オブジェクトobj_vの残像を重ねて表示させることにより表現されてよい。視覚効果情報生成部１４７は、例えば仮想オブジェクトobj_vの残像を表示させる視覚効果を加えるための視覚効果情報を生成することができる。視覚効果情報生成部１４７は、上記距離が遠いほど多くの残像が表示される視覚効果情報を生成することができる。

また視覚効果情報生成部１４７は、上述の図９の例のように、複数の仮想オブジェクトobj_vをグループとして取り扱う場合には、代表点と基準点との間の距離に基づいて、複数の仮想オブジェクトobj_vに対して共通の視覚効果情報を生成することができる。かかる構成により、複数の仮想オブジェクトobj_vの相対位置が保たれる。

（表示制御部１５０ｂ）
表示制御部１５０ｂは、表示装置の表示を制御する機能を有する。表示制御部１５０ｂは、仮想オブジェクトobj_vを入力画像に重畳して表示させることができる。このとき表示制御部１５０ｂは、実オブジェクトobj_rの位置又は姿勢の少なくともいずれかに仮想オブジェクトobj_vが追従するように仮想オブジェクトobj_vを表示させることができる。このとき表示制御部１５０ｂは、仮想オブジェクトobj_vと基準点との間の距離に基づいて、仮想オブジェクトobj_vの表示を変化させることができる。表示制御部１５０ｂは、視覚効果情報生成部１４７の生成する視覚効果情報に従って仮想オブジェクトobj_vを表示させることにより仮想オブジェクトobj_vの表示を変化させることができる。視覚効果情報が、仮想オブジェクトobj_vの残像の度合いを示す情報である場合の表示例が図１２に示される。視覚効果情報が仮想オブジェクトobj_vと基準点RPとの間の距離に基づいて生成されるとき、実オブジェクトobj_rの基準点からの距離が遠い仮想オブジェクトobj_vほど多くの残像が表示される。

〔４−２．動作〕
次に図１３を参照しながら、本開示の第２の実施形態に係る情報処理装置の動作例について説明する。図１３は、同実施形態に係る情報処理装置の動作例を示すフローチャートである。

情報処理装置１００は、ＡＲアプリケーションの処理が終了したか否かを判断する（Ｓ２００）。ステップＳ１００においてＡＲアプリケーションの処理が終了下と判断された場合には、ＡＲアプリケーション動作は終了される。一方ステップＳ１００においてＡＲアプリケーションの処理が終了されていないと判断された場合には、画像取得部１２０は、画像を取得する（Ｓ２０５）。そして、画像認識部１２５は、画像取得部１２０により取得された画像中の実オブジェクトobj_rを認識する（Ｓ２１０）。ここで、画像認識部１２５が実オブジェクトobj_rの認識に用いる画像は、撮像装置が撮像した画像そのものであってもよいし、撮像された画像に何らかの処理が施された後の画像であってもよい。画像認識部１２５は、実オブジェクトobj_rの位置又は姿勢を認識することができる。

次に画像認識部１２５は、この認識によりマーカ（仮想オブジェクトobj_vが関連づけられた実オブジェクトobj_r）が検出されたか否かを判断する（Ｓ２１５）。ステップＳ２１５の判断において、マーカが検出されたと判断された場合には、オブジェクトデータ取得部１３０は、このマーカに対応づけられたオブジェクトデータを取得する（Ｓ２２０）。

次に位置姿勢算出部１４５は、仮想オブジェクトobj_vの位置又は姿勢を算出する（Ｓ２２５）。そして認識ノイズ推定部１４０は、マーカ位置に含まれるノイズを推定する（Ｓ２３０）。このとき認識ノイズ推定部１４０は、マーカ位置のノイズの性質を推定することができる。

そして、認識ノイズ推定部１４０は、マーカ位置にノイズが含まれるか否かを判断する（Ｓ２３５）。ステップＳ２３５の判断において、ノイズが含まれると判断された場合には、補正部１４５は、仮想オブジェクトobj_vとマーカの基準点との間の距離を算出する（Ｓ２４０）。そして、視覚効果情報生成部１４７は、ノイズ及び距離に応じて仮想オブジェクトobj_vの視覚効果情報を生成する（Ｓ２４５）。そして表示制御部１５０ｂは、仮想オブジェクトobj_vを画像に重畳して表示させる（Ｓ２５０）。このとき表示制御部１５０ｂは、視覚効果情報生成部１４７により視覚効果情報が生成された場合には、生成された視覚効果情報に従って仮想オブジェクトobj_vを画像に重畳することができる。

＜５．第３の実施形態（位置の補正＋視覚効果）＞
次に、基準点と仮想オブジェクトobj_vとの間の距離に応じて仮想オブジェクトobj_vの位置を補正する機能又は視覚効果を施す機能の少なくともいずれかを有する、本開示の第３の実施形態に係る情報処理装置について説明する。

まず図１４を参照して、本開示の第３の実施形態に係る情報処理装置１００の制御部１１４ｃにより実現される機能構成の一例を説明する。図１４は、本開示の第３の実施形態に係る情報処理装置の機能構成を示すブロック図である。

図１４を参照すると、制御部１１４ｃは、画像取得部１２０と、画像認識部１２５と、オブジェクトデータ取得部１３０と、位置姿勢算出部１３５と、認識ノイズ推定部１４０と、補正部１４５と、視覚効果情報生成部１４７と、表示制御部１５０ｃと、を主に有する。

（表示制御部１５０ｃ）
表示制御部１５０ｃは、補正部１４５により仮想オブジェクトobj_vの位置が補正された場合には、補正後の位置に仮想オブジェクトobj_vを表示させることができる。また表示制御部１５０ｃは、視覚効果情報生成部１４７により視覚効果情報が生成された場合には、生成された視覚効果情報に従って仮想オブジェクトobj_vを表示させることができる。従ってこの場合、基準点ＲＰからの距離が遠い仮想オブジェクトobj_vほど実オブジェクトobj_rへの追従が遅くなり、さらに基準点ＲＰからの距離が遠い仮想オブジェクトobj_vほど多くの残像が表示される。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、画像認識部が認識に用いる画像と、表示制御部が表示させる画像とは同じ画像であることとしたが、本技術はかかる例に限定されない。例えば、画像認識部は、画像取得部が取得した画像に所定の処理、例えば画像サイズの縮小処理などを施した画像を用いてもよい。

また、上記実施形態では、主に情報処理装置１００の表示部１１０の画面上に画像が表示される例について説明した。しかしながら、上記実施形態の情報処理装置１００の制御部１１４により実現される機能を有する装置と表示部を有する装置とは別体の装置であってもよい。このような場合には、仮想オブジェクトobj_vを重畳した画像が表示部を有する装置に送信された後、表示部上に表示される。

また、上記実施形態では、情報処理装置１００の機能が１つの装置上で実装される例について説明した。しかし、本技術はかかる例に限定されない。例えば、上記にて説明された機能が複数の情報処理装置上において分散処理される場合も本開示の技術的範囲に含まれる。

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
入力画像に映る実オブジェクトを認識する認識部と、
前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、前記仮想オブジェクトの表示を変化させる表示制御部と、
を備える、情報処理装置。
（２）
前記情報は、仮想空間上の前記仮想オブジェクトの配置を定義する情報であり、
前記表示制御部は、前記実オブジェクトの位置及び姿勢に基づき、前記仮想空間を前記実オブジェクトが存在する実空間に対応づけて前記仮想オブジェクトを表示させる、
前記（１）に記載の情報処理装置。
（３）
前記距離は、前記実オブジェクトの基準点と前記仮想オブジェクトとの間の距離である、
前記（２）に記載の情報処理装置。
（４）
前記仮想オブジェクトの位置又は姿勢を、前記距離に基づいて補正する補正部、
をさらに備え、
前記表示制御部は、補正後の前記位置又は前記姿勢に基づいて前記仮想オブジェクトを表示させることにより、前記仮想オブジェクトの表示を変化させる、
前記（１）〜（３）のいずれかに記載の情報処理装置。
（５）
前記表示制御部は、前記実オブジェクトの位置又は姿勢に前記仮想オブジェクトの表示が追従するように前記仮想オブジェクトを表示させ、
前記補正部は、前記距離に基づいて、前記仮想オブジェクトの前記実オブジェクトへの追従のペースが変化するように前記位置又は前記姿勢を補正する、
前記（４）に記載の情報処理装置。
（６）
前記補正部は、前記距離が遠いほど前記追従のペースを遅くする、
前記（５）に記載の情報処理装置。
（７）
前記表示制御部は、前記距離に基づいて、前記仮想オブジェクトの残像を表示させる、
前記（１）〜（６）のいずれかに記載の情報処理装置。
（８）
前記表示制御部は、前記距離が遠いほど多くの前記残像を表示させる、
前記（７）に記載の情報処理装置。
（９）
前記補正部は、前記仮想オブジェクトの回転成分を補正する、
前記（４）〜（６）のいずれかに記載の情報処理装置。
（１０）
前記基準点の位置情報に含まれるノイズの性質を推定する推定部、
をさらに備え、
前記表示制御部は、推定された前記性質に基づいて、前記仮想オブジェクトの表示を変化させる、
前記（３）に記載の情報処理装置。
（１１）
前記表示制御部は、複数の前記仮想オブジェクトに対する前記実空間上の代表点と前記基準点との間の前記距離に応じて、複数の前記仮想オブジェクトの表示を変化させる、
前記（３）に記載の情報処理装置。
（１２）
前記表示制御部は、複数の前記仮想オブジェクトに位相関係が設定されているとき、前記代表点を用いる、
前記（１１）に記載の情報処理装置。
（１３）
前記基準点は、前記実オブジェクトの重心とする、
前記（３）に記載の情報処理装置。
（１４）
前記基準点は、前記入力画像に基づいて判定される、位置変動の小さい点とする、
前記（３）に記載の情報処理装置。
（１５）
前記推定部は、前記入力画像を解析することにより前記ノイズの性質を推定する、
前記（１０）に記載の情報処理装置。
（１６）
前記推定部は、前記入力画像の周波数成分を解析することにより、前記ノイズの性質を推定する、
前記（１５）に記載の情報処理装置。
（１７）
入力画像に映る実オブジェクトを認識することと、
前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて、前記実オブジェクトと前記仮想オブジェクトとの間の距離を算出することと、
前記距離に基づき、前記仮想オブジェクトの表示を変化させることと、
を含む、情報処理方法。
（１８）
コンピュータを、
入力画像に映る実オブジェクトを認識する認識部と、
前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、前記仮想オブジェクトの表示を変化させる表示制御部と、
を備える、情報処理装置として機能させるためのプログラム。

１００ 情報処理装置
１０２ 撮像部
１０４ センサ部
１０６ 入力部
１０８ 記憶部
１１０ 表示部
１１２ 通信部
１１４ 制御部
１２０ 画像取得部
１２５ 画像認識部
１３０ オブジェクトデータ取得部
１３５ 姿勢位置算出部
１４０ 認識ノイズ推定部
１４５ 補正部
１４７ 視覚効果情報生成部
１５０ 表示制御部

Claims (17)

1. 入力画像に映る実オブジェクトを認識する認識部と、
   前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、前記仮想オブジェクトの表示を変化させる表示制御部と、
   前記仮想オブジェクトの位置又は姿勢を、前記距離に基づいて補正する補正部と、
   を備え、前記表示制御部は、補正後の前記位置又は前記姿勢に基づいて前記仮想オブジェクトを表示させることにより、前記仮想オブジェクトの表示を変化させる、情報処理装置。
2. 前記情報は、仮想空間上の前記仮想オブジェクトの配置を定義する情報であり、
   前記表示制御部は、前記実オブジェクトの位置及び姿勢に基づき、前記仮想空間を前記実オブジェクトが存在する実空間に対応づけて前記仮想オブジェクトを表示させる、
   請求項１に記載の情報処理装置。
3. 前記距離は、前記実オブジェクトの基準点と前記仮想オブジェクトとの間の距離である、
   請求項２に記載の情報処理装置。
4. 前記表示制御部は、前記実オブジェクトの位置又は姿勢に前記仮想オブジェクトの表示が追従するように前記仮想オブジェクトを表示させ、
   前記補正部は、前記距離に基づいて、前記仮想オブジェクトの前記実オブジェクトへの追従のペースが変化するように前記位置又は前記姿勢を補正する、
   請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記補正部は、前記距離が遠いほど前記追従のペースを遅くする、
   請求項４に記載の情報処理装置。
6. 前記表示制御部は、前記距離に基づいて、前記仮想オブジェクトの残像を表示させる、
   請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記表示制御部は、前記距離が遠いほど多くの前記残像を表示させる、
   請求項６に記載の情報処理装置。
8. 前記補正部は、前記仮想オブジェクトの回転成分を補正する、
   請求項１〜７のいずれか一項に記載の情報処理装置。
9. 前記基準点の位置情報に含まれるノイズの性質を推定する推定部、
   をさらに備え、
   前記表示制御部は、推定された前記性質に基づいて、前記仮想オブジェクトの表示を変化させる、
   請求項３に記載の情報処理装置。
10. 前記表示制御部は、複数の前記仮想オブジェクトに対する前記実空間上の代表点と前記基準点との間の前記距離に応じて、複数の前記仮想オブジェクトの表示を変化させる、
    請求項３に記載の情報処理装置。
11. 前記表示制御部は、複数の前記仮想オブジェクトに位相関係が設定されているとき、前記代表点を用いる、
    請求項１０に記載の情報処理装置。
12. 前記基準点は、前記実オブジェクトの重心とする、
    請求項３に記載の情報処理装置。
13. 前記基準点は、前記入力画像に基づいて判定される、位置変動の小さい点とする、
    請求項３に記載の情報処理装置。
14. 前記推定部は、前記入力画像を解析することにより前記ノイズの性質を推定する、
    請求項９に記載の情報処理装置。
15. 前記推定部は、前記入力画像の周波数成分を解析することにより、前記ノイズの性質を推定する、
    請求項１４に記載の情報処理装置。
16. 入力画像に映る実オブジェクトを認識することと、
    前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて、前記実オブジェクトと前記仮想オブジェクトとの間の距離を算出することと、
    前記仮想オブジェクトの位置又は姿勢を、前記距離に基づいて補正することと、
    補正後の前記位置又は前記姿勢に基づいて前記仮想オブジェクトを表示させることにより、前記仮想オブジェクトの表示を変化させることと、
    を含む、情報処理方法。
17. コンピュータを、
    入力画像に映る実オブジェクトを認識する認識部と、
    前記実オブジェクトと関連づけられる仮想オブジェクト及び前記実オブジェクトの位置関係を定義する情報に基づいて算出される、前記実オブジェクトと前記仮想オブジェクトとの間の距離に基づき、前記仮想オブジェクトの表示を変化させる表示制御部と、
    前記仮想オブジェクトの位置又は姿勢を、前記距離に基づいて補正する補正部と、
    を備え、前記表示制御部は、補正後の前記位置又は前記姿勢に基づいて前記仮想オブジェクトを表示させることにより、前記仮想オブジェクトの表示を変化させる、情報処理装置として機能させるためのプログラム。

Images