JP6501501B2 - 情報処理装置、情報処理方法、情報処理システム及びプログラム - Google Patents

Description

本発明は、現実の空間の画像に対して仮想オブジェクトを表示させる技術に関する。

カメラ付きスマートフォンや透過型ディスプレイを搭載したウェアラブル端末等が登場し、現実の空間を捉えた画像中にコンピュータグラフィックスによって何らかの情報を仮想オブジェクトとして重畳して表示する技術の開発が盛んに行われている。このような技術は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）と呼ばれている。

特許文献１には、現実空間を捉えた画像から仮想オブジェクトの重畳を禁止するオブジェクト（重畳禁止実オブジェクト）を検出し、この重畳禁止実オブジェクトが隠れないように仮想オブジェクトの表示位置を制御する技術が開示されている。

特開２０１１−２４２９３４号公報

Ｐ．Ｋｒａｈｅｎｂｕｈｌ，"Ｅｆｆｉｃｉｅｎｔ Ｉｎｆｅｒｅｎｃｅ ｉｎ Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ＣＲＦｓ ｗｉｔｈ Ｇａｕｓｓｉａｎ Ｅｄｇｅ Ｐｏｔｅｎｔｉａｌｓ"，Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２０１１．

しかしながら、特許文献１の方法では、重畳禁止実オブジェクトに基づいて仮想オブジェクトの表示位置を制御しているため、仮想オブジェクトの表示を適切に行えない場合があった。例えば、表示すべき仮想オブジェクトが重畳禁止実オブジェクトに囲まれていた場合、仮想オブジェクトが本来の表示されるはずの位置から離れたところに表示されてしまうという問題があった。

上記課題を解決するために、本発明によれば、情報処理装置に、取得した現実空間の画像における実オブジェクトを認識する認識手段と、前記認識した実オブジェクトそれぞれに対する仮想オブジェクトの重畳を許容する程度を示した情報に基づいて、前記現実空間の画像の各座標に対して前記情報を数値として表現した第１のマップを作成する第１のマップ作成手段と、仮想オブジェクトを対応づけて表示する実オブジェクトからの距離に基づいて、前記現実空間の画像の各座標に対して前記距離を数値として表現した第２のマップを作成する第２のマップ作成手段と、前記第１及び第２のマップに基づいて、前記現実空間の画像に対する前記仮想オブジェクトの表示条件を決定する決定手段と、前記表示条件に基づいて、前記現実空間の画像に前記仮想オブジェクトを重畳して表示画像を作成する画像作成手段とを有することを特徴とする。

以上の構成によれば、本発明は、仮想オブジェクトをより適切に表示することが可能となる。

第１の実施形態に関わる情報処理システムの構成を示すブロック図。 第１の実施形態に関わる情報処理方法を示すフローチャート。 第１の実施形態に関わる情報処理方法による一連の処理を説明する図。 第１の実施形態に関わる実オブジェクトの重要度情報を示す図。 第１、第３の実施形態に関わる仮想オブジェクトに関する情報の一覧を示す図。 第１の実施形態に関わるスコア総和リストを示す図。 第２の実施形態に関わる情報処理システムの構成を示すブロック図。 第２の実施形態に関わる情報処理方法を示すフローチャート。 第２の実施形態に関わる情報処理方法による一連の処理を説明する図。 第３の実施形態に関わる情報処理装置のソフト構成を示すブロック図。 第３の実施形態に関わる情報処理方法を示すフローチャート。 第３の実施形態に関わる情報処理方法による一連の処理を説明する図。

［第１の実施形態］
本実施形態において、仮想オブジェクトとは、現実空間のオブジェクト（実オブジェクト）に対応するように現実空間の画像に重畳表示される文章、画像、映像等の種々の情報形態を指す。本実施形態では、仮想オブジェクトとして、実オブジェクトの名前を吹き出しの形式で表示する構成について説明する。

以下、図面を参照して本発明の第１の実施形態を詳細に説明する。

図１は、本実施形態の情報処理システムの構成を示すブロック図である。図１（ａ）は、オブジェクト表示システムのハードウェア構成を図示している。同図において、入力装置１０１はユーザーからの様々な入力を受け付けるための装置であり、具体的にはマウス、キーボード、タッチインターフェース等で構成される。入力装置１０１は、例えば、仮想オブジェクトを表示するモードに変更する際のコマンド入力や、仮想オブジェクトの表示を終了する際のコマンド入力を受付ける。

撮影装置１０２は、現実空間の画像を２次元的な画像として撮影するカメラであり、撮影した画像を後述の情報処理装置に出力する。表示装置１０３はディスプレイであり、撮影装置１０２によって撮影された画像やユーザーに提供する情報（仮想オブジェクト）等を表示する。

情報処理装置１０４は、情報処理装置１０４全体を制御し、また前述の各装置をコントロールし、各装置間で必要なデータの転送の制御を司るプロセッサ、本実施形態に係る各機能部（後述）を機能させるためのプログラム等を格納するためのメモリ等で構成される。図１（ｂ）に、情報処理装置１０４のハードウェア構成を示すブロック図を示す。ＣＰＵ４０１が、ＲＯＭ４０３やＨＤ４０４等に格納されたプログラムを実行することにより、後述する情報処理装置１０４の機能構成及び情報処理装置１０４に係るフローチャートの処理が実現される。ＲＡＭ４０２は、ＣＰＵ４０１がプログラムを展開して実行するワークエリアとして機能する記憶領域である。ＲＯＭ４０３は、ＣＰＵ４０１が実行するプログラム等を格納する記憶領域である。ＨＤ４０４は、ＣＰＵ４０１が処理を実行する際に要する各種のプログラムや撮影装置１０２により撮影された画像を格納する記憶領域である。ネットワークＩ／Ｆ４０５は、情報処理装置１０４と外部の機器とを接続する。

なお、前述した各装置間は、電子回路を介して接続されていても、ネットワークを介して接続されていてもよい。このネットワークには、例えば、携帯電話回線網やインターネットが適用できる。なお、上記説明では、各装置が別体として構成された情報処理システムの構成を示したが、各装置が一体に構成されていても構わない。すなわち、情報処理装置自体に、撮影装置、表示装置等のハードウェア機構を備えるようにすることも可能である。

図１（ｃ）は、情報処理装置１０４のソフトウェア構成を説明する機能ブロック図である。データベース１０６はＨＤ４０４上にあり、表示装置１０３に表示される画像において仮想オブジェクトの表示位置を決定するのに必要な種々の情報を格納している。具体的には、本実施形態では、後述するように、仮想オブジェクトの表示対象実オブジェクトのクラス情報、実オブジェクトの重要度情報、仮想オブジェクトに関する情報一覧を保持している。仮想オブジェクトの情報としては、仮想実オブジェクトの形状、仮想オブジェクトの外接矩形サイズ、対応する実オブジェクト、仮想オブジェクトの内容（表示する情報）から構成されている。

認識部１０７は、撮影装置１０２により撮影された画像から現実空間におけるオブジェクト（実オブジェクト）の位置と領域を認識し、実オブジェクトの種類、位置および形状を出力する。抽出部１０８は、認識部１０７によって出力された実オブジェクトに関する情報に基づいて、仮想オブジェクトを対応付けて表示する実オブジェクトを抽出し、表示対象実オブジェクトリストを出力する。

決定部１０９は、撮影された画像上のどの位置に仮想オブジェクトを表示するかを決定し、仮想オブジェクト表示位置情報を出力する。決定部１０９は、後述するように、実オブジェクトそれぞれの重要度（重要度マップ）と、実オブジェクトからの距離に対応したスコア（位置マップ）とに基づいて、表示位置を決定する。表示部１１０は、仮想オブジェクト表示位置情報に基づいて撮影画像に仮想オブジェクトを重畳し、仮想オブジェクト重畳画像を出力する。

図２は、本実施形態において、情報処理装置により実行されるオブジェクト表示に係る情報処理方法のフローチャートである。まず、ステップＳ２０１において、認識部１０７は、撮影装置１０２から入力される画像を取得し、この画像に対して意味的領域分割を行い、画像中の各領域にクラス情報を割り当てることにより、画像中のオブジェクトを認識する。

意味的領域分割とは、撮影された画像を複数の領域に分割して、分割した領域毎に、被写体（オブジェクト）の分類に関するクラスを識別する手法のことである。本実施形態では、意味的領域分割の手法として非特許文献１に記載の方法を用いる。この方法の詳細な説明は省略するが、簡単に説明すると、各領域から抽出される特徴量に基づいて、各領域のクラスを識別する。非特許文献１の方法では、ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ−Ｒａｎｄｏｍ−Ｆｉｅｌｄ：条件付き確率場）を用いて、画素毎に領域分割及びクラス識別を同時に行う。この非特許文献１の方法は、各画素から抽出される特徴量に基づくだけでなく、隣接する画素間のクラス共起も考慮した上で各画素のクラスを識別するようにしている。

ここで、図３は、本実施形態の情報処理表示方法による一連の処理を説明するための図である。本実施形態では、撮影装置１０２から入力される入力画像は、図３（ａ）に示すように、「空」を背景として、ビルが３つ並んでおり、それぞれ左から「ビルＡ」、「ビルＢ」、「ビルＣ」である。

図３（ｂ）は本実施形態における意味的領域分割結果の例を示しており、ステップＳ２０１において認識部１０７が入力画像に対して意味的領域分割を行うことで、図３（ｂ）のような結果が得られる。この例では、まず空領域とビルの領域に分けられ、さらにビルはそれぞれの特徴から「ビルＡ」、「ビルＢ」、「ビルＣ」と認識される。その結果、各領域に、「空」「ビルＡ」「ビルＢ」「ビルＣ」というクラス情報が割り当てられる。

図２に戻り、ステップＳ２０２において、認識部１０７は重要度マップを作成する。具体的には、認識部１０７は、データベース１０６に記録されている実オブジェクトの重要度情報を参照して、ステップＳ２０１で分割された各領域に対して重要度を割り当て、入力画像と同サイズの重要度マップを作成する。

図４は、データベース１０６にテーブルとして記録されている実オブジェクトの重要度情報を示す。本実施形態では、実オブジェクトの重要度として、「空」に０．１、「ビルＡ」に０．８、「ビルＢ」に０．７、「ビルＣ」に０．７の各値が設定されている。この重要度は、そのオブジェクトに対する仮想オブジェクトの重畳を許容する程度を示す指標であり、各オブジェクトに対して０〜１の値で表現される。この重要度は、その数値が高くなるほど、実オブジェクトに仮想オブジェクトを重畳して表示するのにコストがかかる（重畳して表示するには不適である）ことを表している。

認識部１０７は、図４に示される重要度情報に基づいて、重要度マップ中の各領域内の各画素（ｘ_ｉ，ｙ_ｉ）の値ｖ_ｉに実オブジェクトの重要度を割り当てる。図３（ｃ）は、このようにして重要度が各画素に割り当てられた重要度マップを示している。図３（ｃ）では、濃い色の領域ほど重要度が高いことを示している。

次に、ステップＳ２０３において、抽出部１０８は、ステップＳ２０１において分割された各領域の中から、仮想オブジェクトを対応付けて表示する実オブジェクトを抽出する。前述したように、データベース１０６には、仮想オブジェクトの表示対象となる実オブジェクトのクラス情報が保持されており、本実施形態では、仮想オブジェクトを表示する表示対象実オブジェクトとして「ビルＡ」および「ビルＢ」が設定されている。そのため、抽出部１０８は、「ビルＡ」および「ビルＢ」に該当する実オブジェクトを抽出する。この抽出処理は、入力画像で分割された各領域のクラス情報と、データベース１０６に保持されている仮想オブジェクトの表示対象実オブジェクトの名前とを比較することにより行われる。仮想オブジェクトを表示する実オブジェクトの抽出が完了したら、抽出部１０８は、仮想オブジェクトを表示する実オブジェクト名を表示対象実オブジェクトリストに追加し、これを出力する。表示対象実オブジェクトリストは、データベース１０６内に保存される。

次に、ステップＳ２０４において、決定部１０９は、仮想オブジェクトを対応付けて表示する実オブジェクトごとに、入力画像と同等サイズの位置マップを作成する。位置マップは、仮想オブジェクトを表示する実オブジェクトからの距離に対応するスコアを２次元的に表わしたものであり、各位置に仮想オブジェクトをどの程度配置してよいかを示す。この位置マップでは、各座標に対して０〜１の値が設定され、その数値が高くなるほど仮想オブジェクトを配置するのにコストがかかる（配置するには不適である）ことを表す。

以下、「ビルＡ」に対応する位置マップについて説明すると、まず決定部１０９は、「ビルＡ」の重心（ｘ_ｃ，ｙ_ｃ）を、以下の数１式より求める。

ここで、ｘ_ｉ、ｙ_ｉはそれぞれ、「ビルＡ」を構成する画像中の画素のｘ座標、ｙ座標である。次に、決定部１０９は、位置マップ上の各点（ｘ_ｉ，ｙ_ｉ）の値ｐ_ｉを、以下の数２式より求める。

ここで、αは定数であり、例えばα＝２５６とすれば、重心から２５６画素離れたところまでは値が０から１へ直線的に増加し、２５６画素よりも離れたところでは値が１となる。図３（ｄ）は、「ビルＡ」に対応する位置マップを示す。同図では、濃い色の領域ほど値が高いことを示しており、「ビルＡ」の重心から離れるにつれて色が濃くなり、値が高くなっていることが表わされている。

次に、ステップＳ２０５において、決定部１０９は、ステップＳ２０２で作成された重要度マップと、ステップＳ２０４で作成された位置マップとを合成して、仮想オブジェクトを表示する実オブジェクトごとに表示優先度スコアマップを作成する。表示優先度スコアマップは、位置マップと同じく各位置に仮想オブジェクトをどの程度配置してよいかを示す。表示優先度スコアマップにおいても、各座標に対して０〜１の値が設定され、その数値が高くなるほど仮想オブジェクトを配置するのにコストがかかる（配置するには不適である）ことを表す。重要度マップと位置マップとの合成により求められる表示優先度スコアマップの各画素（ｘ_ｉ，ｙ_ｉ）のスコアｓ_ｉは、以下の数３式より求められる。
Ｓ_ｉ＝ｍｉｎ（ｖ_ｉ＋ｐ_ｉ，１）
図３（ｅ）は、「ビルＡ」に対応する表示優先度スコアマップであり、濃い色の領域ほど値が高いことを示している。なお、ここでは、表示優先度スコアマップの各座標のスコアを重要度マップの数値と位置マップの数値の加算で求めるようにしているが、重み付けする等の種々の演算を適用できる。

続いて、ステップＳ２０６において、決定部１０９は、表示優先度スコアマップ上の各点において、仮想オブジェクト内に存在する画素のスコアの総和を計算する。具体的には、決定部１０９は、まずデータベース１０６から仮想オブジェクトの外接矩形サイズを取得する。図５は、データベース１０６に保存されている仮想オブジェクトに関する情報の一覧を示す図であり、仮想オブジェクト番号ごとに、仮想実オブジェクトの形状、外接矩形サイズ、対応する実オブジェクト、表示させる内容が対応付けられている。図５（ａ）には、「ビルＡ」および「ビルＢ」に対応する仮想オブジェクトに関する情報を図示している。決定部１０９は、データベース１０６を参照して、例えば、「ビルＡ」に対応する仮想オブジェクトの外接矩形サイズとして、５０×３０画素という情報を取得する。

次に、決定部１０９は、表示優先度スコアマップ上の全ての５０×３０画素の領域に対し、領域内に存在する画素のスコアの総和を計算する。このとき、決定部１０９は、図３（ｆ）に示すように外接矩形の左上の座標をキーとしてスコアの総和を計算し、結果をスコア総和リストに保存する。図６は、スコア総和リストに保存された、各座標における外接矩形領域内のスコアの総和の一例を示す。図６（ａ）は「ビルＡ」のスコア総和リストであり、同図（ｂ）が「ビルＢ」のスコア総和リストである。決定部１０９は、表示優先度スコアマップ上の全ての画素においてスコアの総和を計算すると、その仮想オブジェクトについて計算完了のフラグを立てる。

ステップＳ２０７において、決定部１０９は、データベース１０６に保存されている表示対象実オブジェクトリスト中にある全ての実オブジェクトについて、スコア総和リストが生成されているかをフラグに基づき判定する。表示対象実オブジェクトリストの全ての実オブジェクトについてスコア総和リストが生成されていると判定されれば、処理はステップＳ２０８へ移行する。全ての実オブジェクトについてスコア総和リストが生成されていなければ、処理はステップＳ２０５に戻り、全てのスコア総和リストが作成されるまで処理を続ける。

続いて、ステップＳ２０８において、決定部１０９は、ステップＳ２０６で作成されたスコア総和リストに基づいて、表示すべき仮想オブジェクトの表示位置を決定する。

まず、決定部１０９は、「ビルＡ」のスコア総和リストから座標を１つ選択し、「ビルＡ」に対応する仮想オブジェクトの位置を仮決定する。ここでは、例えば座標（０，０）を選択したものとする。次に、決定部１０９は、「ビルＢ」のスコア総和リストから座標を１つ選択する。このとき、「ビルＡ」の仮想オブジェクトの表示位置は座標（０，０）に仮決定されているので、「ビルＡ」の仮想オブジェクトの表示領域に含まれる座標は無効とし、「ビルＢ」のスコア総和リストからは、これ以外の座標から１つを選択する。「ビルＡ」に対応する仮想オブジェクトの表示位置が座標（０，０）に仮決定されている場合、仮想オブジェクトの外接矩形サイズは５０×３０画素であるので、「ビルＢ」のスコア総和リストにおける座標（０，０）〜（４９，２９）は無効となる。ここでは、例えば、「ビルＢ」のスコア総和リストから座標（５０，０）を選択したとする。そして、決定部１０９は、選択された各座標におけるスコアの総和を合算する。図６（ａ）に示されるように、「ビルＡ」のスコア総和リストにおいて座標（０，０）のスコアの総和は１０４．５である。また、図６（ｂ）に示されるように、「ビルＢ」のスコア総和リストにおいて座標（５０，０）のスコアの総和は８６３．９であるので、これらを合算すると９６８．４となる。

同様にして、「ビルＡ」のスコア総和リストに含まれる座標と「ビルＢ」のスコア総和リストに含まれる座標との組合せのうち、取り得る全ての組合せについて合算値を算出し、この合算値が最小の値となる座標の組合せを仮想オブジェクトの表示位置として決定する。本実施形態では、「ビルＡ」の仮想オブジェクトの表示位置は座標（８１，５９）、「ビルＢ」の仮想オブジェクトの表示位置は座標（１６１，５１）と決定される。決定された仮想オブジェクトの表示位置の情報は、データベース１０６に保存される。

ステップＳ２０９において、表示部１１０は、ステップＳ２０８で決定された仮想オブジェクト表示位置情報に基づいて、撮影装置１０２により撮影された画像に仮想オブジェクトを重畳し、仮想オブジェクト重畳画像出力する。ここでは、実オブジェクト「ビルＡ」に対応する仮想オブジェクトを、仮想オブジェクト表示位置情報に記載された（８１，５９）を左上座標として画像に重畳する。さらに、実オブジェクト「ビルＢ」の仮想オブジェクトを、仮想オブジェクト表示位置情報に記載された位置（１６１，５１）を左上座標として画像に重畳する。

図３（ｇ）は、本実施形態において、実オブジェクト「ビルＡ」、「ビルＢ」に対応する各仮想オブジェクトが画像に重畳して表示される様子を示す。このようにして作成された重畳画像は表示装置１０３へと出力され、表示装置１０３はその重畳画像をユーザーに対して提示する。

一方、図３（ｈ）は、従来の特許文献１に記載の方法により仮想オブジェクトを画像に重畳して表示する様子を示す。特許文献１の方法では仮想オブジェクトは重畳を禁止される実オブジェクトを避けるように表示される。そのため、図３（ｈ）のように、「ビルＡ」に対応する仮想オブジェクトは、本来の位置から離れたところに表示されてしまう。

本実施形態では、オブジェクトそれぞれに対する仮想オブジェクトの重畳の許容を表わす情報としての重要度として０〜１の値を設定した上で、オブジェクトからの距離に対応したスコア（位置マップ）とに基づいて、仮想オブジェクトを表示する位置を決定する。これによって、本実施形態では、実オブジェクトに対応付けて表示する仮想オブジェクトをより適切な位置に表示できるようになる。

ステップＳ２１０において、情報処理装置１０４のプロセッサは入力装置１０１から仮想オブジェクト表示終了コマンドが入力されているかを判定する。仮想オブジェクト表示終了コマンドが入力されていなければ、処理をステップＳ２０１へ移し、処理を続行する。仮想オブジェクト表示終了コマンドが入力されていれば、処理を終了する。

本実施形態では、オブジェクトそれぞれに対する仮想オブジェクトの重畳の許容を表わす情報としての重要度（重要度マップ）と、オブジェクトからの距離に対応したスコア（位置マップ）とに基づいて、仮想オブジェクトを表示する位置を決定する。より具体的には、重要度マップと位置マップとを合成し、表示優先度スコアマップを作成した上で、この表示優先度マップに基づいて、仮想オブジェクトを表示する位置を決定する。以上の構成によって、本実施形態では、仮想オブジェクトをより適切に表示することが可能となる。

なお、本実施形態では、表示優先度スコアマップに基づいて、仮想オブジェクトを表示する位置を決定するようにしたが、仮想オブジェクトの位置は実オブジェクトに対して固定で、代わりに、他の表示条件を変更、決定するようにしてもよい。その表示条件としては、例えば、仮想オブジェクトの形状や大きさ、仮想オブジェクトの透明度、仮想オブジェクトの情報量等を挙げることができる。

例えば、仮想オブジェクトの形状、大きさの場合、表示優先度スコアマップのスコアが低い領域の形状に合わせて仮想オブジェクトの形状を変更したり、スコアが低い領域に合わせて仮想オブジェクトの大きさを変更したりすることができる。また、仮想オブジェクトが吹き出しであれば、その形状を変えるようにしてもよい。また、仮想オブジェクトの透明度の場合、優先度スコアマップのスコアと透明度を関連付けて、スコアが低いほど仮想オブジェクトの透明度を低くすることができる。さらに、仮想オブジェクトの情報量の場合、優先度スコアマップのスコアが一定以下の領域の面積を計算し、その面積に入る程度の情報を表示するよう構成すればよい。

さらには、表示優先度マップに基づいて、仮想オブジェクトの表示位置、仮想オブジェクトの形状や大きさ、仮想オブジェクトの透明度、仮想オブジェクトの情報量の中から複数の表示条件を変更、決定するようにしてもよい。

なお、本実施形態では、意味的領域分割の技術を用いて画像の認識を行うようにしたが、仮想オブジェクトを表示する物体と、それ以外の物体、領域とを区別して認識できる技術であれば、他の手法を用いることも可能である。例えば、テンプレートマッチングを使用した物体の検出手法などを用いるようにしてもよい。

また、本実施形態では、仮想オブジェクトを対応付けて表示する対象を実オブジェクトとして指定するようにしているが、実オブジェクト以外にも、実オブジェクトの集合やユーザーが指定する任意の領域等を対象とすることも可能である。

また、本実施形態では、実オブジェクトに対する重要度は予め決められて、その情報はデータベース１０６に保存されているようになっていたが、重要度の設定の手法はこれに限られない。例えば、入力画像中でピントの合っている領域とそうでない領域を検出し、ピントの合っている領域の重要度を高く、ピントの合っていない領域の重要度を低くするようにしてもよい。

また、本実施形態では、実オブジェクトの重要度をそれぞれ定義したが、特定の実オブジェクトは常に１という重要度を持つようにしてもよい。このようにすることで、特定の実オブジェクトに重畳しないように仮想オブジェクトの表示位置を決定できる。

また、本実施形態では、仮想オブジェクトの外接矩形サイズはデータベースに保存されているものとしたが、動的に生成しても良い。例えば仮想オブジェクト表示対象実オブジェクトの大きさに比例するようにしても良い。

また、本実施形態で示したスコア総和の計算方法は一例であり、様々な計算方法が考えられる。例えば、仮想オブジェクトの外接矩形ではなく、仮想オブジェクトの形状そのものに含まれる座標のスコアの総和を計算するようにしてもよい。また、本実施形態で説明したように、仮想オブジェクトが吹き出しの場合には、情報を表示する矩形部分に含まれる座標のスコアの総和を計算するようにしてもよい。いずれにしても、仮想オブジェクトに対応する領域に対して、その領域に含まれる座標のスコアの総和を計算するようにすればよい。

また、本実施形態で示した表示位置の決定方法は一例であり、様々な方法が考えられる。例えば、各仮想オブジェクトのスコア総和リストからスコアの総和が小さいものだけを集めて、合算値を計算することにより、組み合わせ数を削減することができる。さらに、第１の実施形態では仮想オブジェクト同士の重畳を許さなかったが、重畳を許すようにしてもよい。仮想オブジェクト同士の重畳を許す場合にも、例えば、スコア合算時に仮想オブジェクトの領域は重み付けをすることで、仮想オブジェクト同士が極力重畳しないように構成することもできる。

さらに、本実施形態では、仮想オブジェクトを２次元空間に配置したが、３次元空間に配置することも可能である。例えば、距離計測装置により各物体までの距離計測を行い、奥行き方向も考慮した重要度マップ及び位置マップから３次元の表示優先度スコアマップを作成することにより実現できる。

また、本実施形態において、例えば、ＧＰＳ情報等を用いることにより、位置（場所）に応じて仮想オブジェクトを表示する実オブジェクトを変更するようにしてもよい。このようにすることで、ＧＰＳによりユーザーの位置を検出し、ユーザーの位置に応じて表示対象オブジェクトを決めることもできる。

［第２の実施形態］
次に、本発明の第２の実施形態として、ユーザーが注目している領域も考慮して、仮想オブジェクトの表示位置を決定する形態について説明する。なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。

図７は、本実施形態の情報処理システムの構成を示すブロック図である。図７（ａ）は、本実施形態の情報処理システムのハード構成を図示している。同図において、視線検出装置１１１は、情報処理システムを使用しているユーザーの視線方向を検出し、その視線方向を出力する装置である。視線検出装置１１１は、ユーザーの目を撮影するカメラによって構成され、ユーザーの目の瞳孔位置とカメラとの位置関係からユーザーの視線方向を検出する。カメラによりユーザーの視線方向を検出する技術については周知の技術であるため、その詳細な処理については説明を省略する。

図７（ｂ）は、本実施形態の情報処理装置１０４のソフトウェア構成を示すブロック図である。検出部１１２は、視線検出装置１１１から出力されたユーザーの視線方向に関する情報と、認識部１０７によって出力された実オブジェクトに関する情報（実オブジェクトの種類、位置および形状）とに基づいて、ユーザーが注目している実オブジェクトを検出する。なお、データベース１０６には想オブジェクトを表示する表示対象実オブジェクトに関する情報が保存されており、本実施形態では、表示対象実オブジェクトとして「ビルＡ」が設定されている。

図８は、本実施形態において、情報処理装置１０４が実行する情報処理方法のフローチャートである。ステップＳ８０１およびステップＳ８０２の処理は、第１の実施形態におけるステップＳ２０１およびＳ２０２の処理と同様であるため、説明を省略する。なお、本実施形態においても、撮影装置１０２から入力される入力画像は、図９（ａ）に示すように、「空」を背景として、ビルが３つ並んでおり、それぞれ左から「ビルＡ」、「ビルＢ」、「ビルＣ」である。そのため、意味的領域分割の結果、重要度マップ作成の結果は第１の実施形態と同様である。すなわち、ステップＳ２０１における意味的領域分割により、図９（ｂ）に示すように、各領域に、「空」「ビルＡ」「ビルＢ」「ビルＣ」というクラス情報が割り当てられる。また、ステップＳ８０２により作成される重要度マップは、図９（ｃ）に示すように、第１の実施形態と同様のマップが得られる。

図８に戻り、ステップＳ８０３において、検出部１１２が注目領域を検出する。具体的には、検出部１１２は、視線検出装置１１１により検出された視線方向に基づいて、その視線方向に存在する実オブジェクトを注目領域と決定する。例えば、ユーザーの視線方向が表示装置１０３の表示画面上のある点（ｓ，ｔ）であるとき、その点（ｓ，ｔ）がステップＳ８０１で意味的領域分割されたどの領域に属するかを判定する。判定の結果、点（ｓ，ｔ）を含む領域が注目領域として決定され、出力される。本実施形態では、「ビルＢ」が注目領域として決定されたとして、以下の説明を行う。

次に、ステップＳ８０４において、検出部１１２は、重要度マップの注目領域内の重要度を更新する。具体的には、ステップＳ８０２で作成された重要度マップの注目領域（「ビルＢ」）内の各画素ｖｉに重要度１を割り当てる。図９（ｄ）には、ステップＳ８０４により更新された重要度マップを示す。同図において、注目領域（「ビルＢ」）の重要度を１に更新したため、「ビルＢ」に相当する領域が濃い色で表されている。なお、本実施形態では、注目領域内の重要度を１に更新したが、比較的大きな値であれば、１以外の値に更新するようにすることもできる。

次のステップＳ８０５、Ｓ８０６およびＳ８０７は、第１の実施形態におけるステップＳ２０３、Ｓ２０４およびＳ２０５の処理と同様である。図９（ｅ）は、ステップ８０６において、決定部１０９が作成した「ビルＡ」に関する位置マップである。また、図９（ｆ）は、ステップＳ８０７において、「ビルＡ」に関する重要度マップと位置マップとを合成して作成された優先度スコアマップを示す。本実施形態では、ステップＳ８０４において重要度マップ内の注目領域（「ビルＢ」）の重要度を１に更新したため、図９（ｆ）の優先度スコアマップにおいても、その「ビルＢ」に相当する領域の重要度が高くなっている。

また、ステップＳ８０８およびＳ８０９は、第１の実施形態におけるステップＳ２０６およびＳ２０７の処理と同様である。以上のステップによって、本実施形態においても、表示対象実オブジェクトリスト中にある全ての実オブジェクトについて、スコア総和リストが生成される。本実施形態では、表示対象実オブジェクトは「ビルＡ」であるので、実オブジェクト「ビルＡ」についてスコア総和リストが生成される。

続いて、ステップＳ８１０において、第１の実施形態と同様にして、決定部１０９が、表示すべき仮想オブジェクトの表示位置を決定する。本実施形態では、表示すべき仮想オブジェクトの数が１つであるため、スコア総和リストの合算値を算出する処理は必要なく、スコアの総和が最小の座標を実オブジェクト「ビルＡ」に対応する仮想オブジェクトの表示位置と決定する。なお、表示すべき仮想オブジェクトが複数ある場合には、第１の実施形態と同じく、取り得る座標の組合せについてスコア総和の合算値を算出することにより、各仮想オブジェクトの表示位置を決定する。

ステップＳ８１１およびＳ８１２の処理は、第１の実施形態におけるステップＳ２０９およびＳ２１０の処理と同様である。ステップＳ８１１において、表示部１１０は重畳画像を作成して表示装置１０３へと出力し、表示装置１０３はその重畳画像をユーザーに対して提示する。そして、ステップＳ８１２では、情報処理装置１０４のプロセッサが入力装置１０１から仮想オブジェクト表示終了コマンドが入力されているかを判定して、処理を続行するかを決定する。

以上のように、本実施形態では、ユーザーが注目する注目領域を検出し、重要度（重要度マップ）およびオブジェクトからの距離（位置マップ）に加えて、検出した注目領域にも基づいて仮想オブジェクトの表示位置を決定する。具体的には、検出手段は、検出した注目領域に対応する実オブジェクトの重要度を更新する。そして、更新された重要度（重要度マップ）と、位置マップとに基づいて、仮想オブジェクトの表示位置を決定する。以上の構成により、本実施形態では、ユーザーの注目する領域も考慮して、仮想オブジェクトをより適切に表示することが可能となる。

なお、本実施形態では、注目領域を検出する方法として、ユーザーの視線に基づき検出する方法を用いたが、これ以外の方法によって注目領域を検出するようにしてもよい。例えば、従来から画像中の主要被写体を検出する技術や、画像中で異常のある領域を検出する技術等が知られており、これらの技術を用いて注目領域を検出して良い。

また、本実施形態では、注目領域の重要度を固定の値としていたが、その値を変動させるようにしてもよい。例えば、ユーザーがその領域を注目している時間に応じて重要度を変えることもできる。

［第３の実施形態］
次に、本発明の第３の実施形態として、実オブジェクトの時間的変化も考慮して仮想オブジェクトの表示位置を決定する形態について説明する。なお、第１、第２の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。

本実施形態の情報処理システムの構成は、第１の実施形態における情報処理システムと同じである。図１０に、本実施時形態の情報処理装置１０４のソフトウェア構成のブロック図を示す。本実施形態では、予測部１１３を更に有し、予測部１１３が、異なる時間に撮影された複数の画像から実オブジェクトそれぞれのオプティカルフローを求める。そして、実オブジェクトそれぞれのオプティカルフローの情報に基づき、重要度マップおよび位置マップを更新する。なお、データベース１０６には想オブジェクトを表示する表示対象実オブジェクトに関する情報が保存されており、本実施形態では、表示対象実オブジェクトとして「車Ｆ」が設定されている。

図１１は、本実施形態において、情報処理装置１０４が実行する情報処理方法のフローチャートである。ステップＳ１１０１の処理は、第１の実施形態におけるステップＳ１１０１の処理と同様であるため、説明を省略する。なお、本実施形態では、撮影装置１０２から入力される入力画像は、図１２（ａ）に示すように、「地面」を背景として、左から右に進む車３台と、右から左に進む車３台の、計６台の車が走っている画像である。そして、ステップＳ１１０１において、入力画像に対して意味的領域分割を行うことにより、図１２（ｂ）に示すように、各領域に「地面」「車Ａ」「車Ｂ」「車Ｃ」「車Ｄ」「車Ｅ」「車Ｆ」というクラス情報が割り当てられる。左から右に進む３台の車にはそれぞれ左から「車Ａ」、「車Ｂ」、「車Ｃ」が割り当てられ、右から左に進む３台の車にはそれぞれ右から「車Ｄ」、「車Ｅ」、「車Ｆ」が割り当てられる。

次に、ステップＳ１１０２において、予測部１１３は、情報処理装置１０４内のメモリに保存されている直前のフレームの入力画像及びその意味的領域分割結果と、現在のフレームの入力画像とに基づいて、実オブジェクトそれぞれのオプティカルフローを算出する。オプティカルフローとは、異なる時間に撮影された画像間でオブジェクトの対応付けを行い、その移動量をベクトルで表現したものであり、これにより、次の移動を予測することができる。オプティカルフローを求める方法としては多くの方法が知られているが、本実施形態では、実オブジェクトそれぞれの認識結果をテンプレートとするブロックマッチング法を使用する。この方法は周知の技術であるため、詳細な説明は省略するが、まず予測部１１３は、直前のフレームに存在する実オブジェクトの領域をテンプレートとして、現在のフレーム上でテンプレートと同じ位置の近傍を調べる。そして、テンプレートと最もよくマッチングする位置の中心点を求めて、元のテンプレートの中心位置（ｃｘ_ｔ−１，ｃｙ_ｔ−１）から、マッチングした位置の中心位置（ｃｘ_ｔ，ｃｙ_ｔ）を差し引くことで、オプティカルフローを得る。予測部１１３は、この処理を実オブジェクトについて行い、実オブジェクトそれぞれについてオプティカルフローを求める。図１２（ｃ）は、「車Ａ」「車Ｂ」「車Ｃ」「車Ｄ」「車Ｅ」「車Ｆ」に対して求められたオプティカルフローを示す。

次に、ステップＳ１１０３において、認識部１０７は、ステップＳ１１０２で求められたオプティカルフローに基づき、重要度マップを作成する。このステップでは、認識部１０７が、テンプレート重要度マップをオプティカルフローの方向に沿って少しずつ移動させながら重要度マップに加算していく。ここで、テンプレート重要度マップとは、実オブジェクトと同じ形状を有する領域に対して重要度が設定されたマップである。

ここで、「車Ａ」を例にして、テンプレート重要度マップについて説明する。なお、本実施形態では、「地面」の重要度は０であり、「車」の重要度は全て１である。また、現在のフレーム上において「車Ａ」の重心位置は（５０，５０）であり、オプティカルフローは、図１２（ｃ）に示すように、（５０，０）である。このとき、「車Ａ」のテンプレート重要度マップの重要度ｖは、以下の数４式に従って算出される。

ここで、Ｖは予め設定されている「車Ａ」の重要度、ｏｘは「車Ａ」のｘ方向のオプティカルフロー、ｏｙは「車Ａ」のｙ方向のオプティカルフローである。上記値を用いて計算すると、ｖ＝０．０１という結果が得られる。すなわち、「車Ａ」のテンプレート重要度マップでは、「車Ａ」の形状をした、画素値０．０１の領域が得られることになる。

そして、ステップＳ１１０３では、認識部１０７が、このテンプレート重要度マップをオプティカルフローの方向に沿って重要度マップに加算していく。ここでは、認識部１０７は、重心位置（５０，５０）から、オプティカルフローの２倍の長さ、すなわち（１５０，５０）の位置まで、１画素ずつずらしながら、テンプレート重要度マップを重要度マップに加算していく。オプティカルフローの２倍の長さＬは、以下の数５式により算出される値である。

認識部１０７は、この処理を全ての実オブジェクトに対して行う。図１２（ｄ）は、上記処理によって得られた重要度マップを示す。

ステップＳ１１０４は、第１の実施形態におけるステップＳ２０３と同様である。前述したように、本実施形態では、表示対象実オブジェクトとして「車Ｆ」が設定されているため、このステップでは「車Ｆ」が抽出され、表示対象実オブジェクトリストに「車Ｆ」が出力される。

続いて、ステップＳ１１０５において、決定部１０９は、まずテンプレート位置マップを作成し、その後、テンプレート位置マップを用いて位置マップを作成する。ここで、テンプレート位置マップは、その仮想オブジェクトを表示する実オブジェクトからの距離に対応するスコアを２次元的に表わしたマップであり、第１の実施形態における位置マップ作成と同様の手順により作成される。図１２（ｅ）は、作成されたテンプレート位置マップを示しており、本実施形態では、表示対象実オブジェクトが「車Ｆ」であるので、「車Ｆ」の重心から離れるにつれて色が濃くなり、値が高くなっていることが表わされている。

次に、決定部１０９は、このテンプレート位置マップを用いて位置マップを作成する。具体的には、ステップＳ１１０３と同様にして、テンプレート位置マップをオプティカルフローの方向に沿って少しずつ移動させながら位置マップに加算していく。そのために、決定部１０９は、所定時間経過後の実オブジェクトの位置を基準として仮想オブジェクトが表示できるよう、まずテンプレート位置マップの各画素ｐ_ｉの値を調整してｐ′_ｉとする。調整後の各画素ｐ′_ｉの値は、下記の数６式に従って算出される。

決定部１０９は、ステップＳ１１０３と同様にして、オプティカルフローの方向に沿って、テンプレート位置マップを位置マップに加算していく。ここでは、オプティカルフローの方向に２倍の長さの距離だけ１画素ずつずらしながら、テンプレート位置マップを位置マップに加算していく。図１２（ｃ）に示すように、「車Ｆ」のオプティカルフローは（−５０，０）であるので、オプティカルフローの２倍の長さは、数５式と同様に計算をして、１００となる。そこで、決定部１０９は、１画素ずつ左方向にテンプレート位置マップを移動して位置マップに加算し、移動量が１００になるまでこれを繰り返す。図１２（ｆ）は、本ステップＳ１１０５により得られる位置マップを示す。

次に、ステップＳ１１０６で、決定部１０９は、第１の実施形態のステップＳ２０５と同様にして、仮想オブジェクトを表示する実オブジェクトごとに表示優先度スコアマップを作成する。本実施形態では、表示対象実オブジェクトとして「車Ｆ」が設定されているため、「車Ｆ」に対応した表示優先度スコアマップが作成される。図１２（ｇ）は、本実施形態における「車Ｆ」に対応した表示優先度スコアマップを示す。

続くステップＳ１１０７、Ｓ１１０８及びＳ１１０９における処理は、第１の実施形態のステップＳ２０６、Ｓ２０７及びＳ２０８の処理と同様である。ステップＳ１１０７では、決定部１０９が、まずデータベース１０６を参照して、表示対象実オブジェクト「車Ｆ」に対応する仮想オブジェクトの外接矩形サイズ情報を取得する。図５（ｂ）には、本実施形態において、「車Ｆ」に対応する仮想オブジェクトに関する情報を図示している。その後、決定部１０９は、第１の実施形態のステップＳ２０６と同様にして、作成された表示優先度スコアマップ上において、表示する仮想オブジェクトの外接矩形領域内に存在する画素のスコアの総和を計算する。また、ステップＳ１１０８では、決定部１０９が、仮想オブジェクトを表示する対象の実オブジェクト「車Ｆ」についてスコア総和リストを作成する。そして、ステップＳ１１０９において、「車Ｆ」のスコア総和リストから、スコアの総和が最小となる座標を実オブジェクト「車Ｆ」に対応する仮想オブジェクトの表示位置と決定する。

ステップＳ１１１０は、第１の実施形態におけるステップＳ２０９の処理と同様であり、表示部１１０は重畳画像を作成して表示装置１０３へと出力し、表示装置１０３はその重畳画像をユーザーに対して提示する。

ステップＳ１１１１において、情報処理装置１０４のプロセッサは、現在のフレームの入力画像（図１２（ａ））および意味的領域分割結果（図１２（ｂ））を装置内のメモリに保存する。保存したデータは、次フレームにおける処理に供されることになる。

最後に、ステップＳ１１１２では、情報処理装置１０４のプロセッサが入力装置１０１から仮想オブジェクト表示終了コマンドが入力されているかを判定して、処理を続行するかを決定する。

以上、本実施形態では、オブジェクトの時間的変化を算出し、重要度（重要度マップ）およびオブジェクトからの距離（位置マップ）に加えて、算出した時間変化にも基づいて仮想オブジェクトの表示位置を決定する。具体的には、算出したオブジェクトの時間変化に基づいて重要度マップと位置マップとを作成する。そして、オブジェクトの時間変化に基づき作成された重要度マップと、位置マップとに基づいて、仮想オブジェクトの表示位置を決定する。以上の構成により、本実施形態では、実オブジェクトの時間変化も考慮して、仮想オブジェクトをより適切に表示することが可能となる。

なお、本実施形態に関して、オプティカルフローの抽出方法は、ブロックマッチング法に限らず、勾配法によりオプティカルフローを抽出するようにしてもよいし、画面上のオブジェクトの動きを予測できるものであれば、他の方法を使用することも可能である。例えば、機械学習によりある実オブジェクトの動きが事前に予測できるのであれば、その予測結果を利用してよいし、過去の履歴を用いるなどしてもよい。

また、本実施形態において示した重要度マップ、位置マップ、表示優先度スコアマップの作成方法は一例であり、例えば、テンプレート重要度マップ、テンプレート位置マップをそれぞれ重要度マップ、位置マップに加算していく際、重み付けをしてもよい。

また、前述の実施形態で示した情報処理装置は、実空間の画像に仮想オブジェクトを重畳表示できるデバイスに広く適用可能であり、例えば、ウェアラブル端末、スマートフォン等に適用することができる。

また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０４ 情報処理装置
１０７ 認識部
１０８ 抽出部
１０９ 決定部
１１０ 表示部

Claims (11)

1. 取得した現実空間の画像における実オブジェクトを認識する認識手段と、
   前記認識した実オブジェクトそれぞれに対する仮想オブジェクトの重畳を許容する程度を示した情報に基づいて、前記現実空間の画像の各座標に対して前記情報を数値として表現した第１のマップを作成する第１のマップ作成手段と、
   仮想オブジェクトを対応づけて表示する実オブジェクトからの距離に基づいて、前記現実空間の画像の各座標に対して前記距離を数値として表現した第２のマップを作成する第２のマップ作成手段と、
   前記第１及び第２のマップに基づいて、前記現実空間の画像に対する前記仮想オブジェクトの表示条件を決定する決定手段と、
   前記表示条件に基づいて、前記現実空間の画像に前記仮想オブジェクトを重畳して表示画像を作成する画像作成手段とを有することを特徴とする情報処理装置。
2. 前記表示条件は、前記仮想オブジェクトを表示する位置、前記仮想オブジェクトの形状、前記仮想オブジェクトの大きさ、前記仮想オブジェクトの透明度、前記仮想オブジェクトの情報量の少なくとも１つを含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記現実空間の画像の各座標に対して前記第１のマップの数値と前記第２のマップの数値とを演算することにより、第３のマップを作成することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第３のマップの各座標に対して前記表示する仮想オブジェクトに対応する領域に含まれる座標の数値を合算し、当該合算した値に基づいて前記表示条件を決定することを特徴とする請求項３に記載の情報処理装置。
5. 前記現実空間の画像に複数の前記仮想オブジェクトを重畳させる場合、前記決定手段は、前記複数の仮想オブジェクトが互いに重ならないように前記表示条件を決定することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記認識手段は、前記現実空間の画像を分割してなる複数の領域ごとの特徴量に基づいて前記実オブジェクトを認識することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記現実空間の画像におけるユーザーの注目領域を検出する検出手段を更に有し、
   前記決定手段は、前記情報および前記距離と、前記検出した注目領域とに基づいて、前記表示条件を決定することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記認識した実オブジェクトそれぞれの時間変化を予測する予測手段を更に有し、
   前記決定手段は、前記情報および前記距離と、前記予測した時間変化とに基づいて、前記表示条件を決定することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 取得した現実空間の画像における実オブジェクトを認識するステップと、
   前記認識した実オブジェクトそれぞれに対する仮想オブジェクトの重畳を許容する程度を示した情報に基づいて、前記現実空間の画像の各座標に対して前記情報を数値として表現した第１のマップを作成するステップと、
   仮想オブジェクトを対応づけて表示する実オブジェクトからの距離に基づいて、前記現実空間の画像の各座標に対して前記距離を数値として表現した第２のマップを作成するステップと、
   前記第１及び第２のマップに基づいて、前記現実空間の画像に対する前記仮想オブジェクトの表示条件を決定するステップと、
   前記表示条件に基づいて、前記現実空間の画像に前記仮想オブジェクトを重畳して表示画像を作成するステップとを有することを特徴とする情報処理方法。
10. 請求項１から８のいずれか１項に記載の情報処理装置と、
    前記現実空間の画像を撮影するための撮影装置と、
    前記情報処理装置により作成され、前記仮想オブジェクトが重畳された現実空間の画像を表示するための表示装置と、
    を有することを特徴とする情報処理システム。
11. コンピュータを、請求項１から８のいずれか１項に記載の情報処理装置として機能させ
    るためのプログラム。