JP5446700B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像に対して何らかの付加情報を重畳することが行われている。例えば、撮像画像に重畳された文字情報等の仮想的な情報をオーバレイしてユーザに提示し、クリック等により仮想的な情報を選択して、さらに詳細な情報を容易に取得する技術が開示されている（例えば、特許文献１）。これにより、ユーザは、撮像装置により撮像された実画像に関連する情報を、簡易かつ迅速に入手することができる。

特開２００５−３１９１６号公報

しかし、風景画像等を撮像する際に、手ぶれ等により表示画像内の対象物の移動とともに、仮想的な情報の表示位置も移動してしまい、仮想的な情報を判別し難くなるという問題があった。また、上記特許文献１のように、仮想的な情報をクリック等により選択する場合にも、仮想的な情報の表示位置が動いてしまい詳細な情報を取得することが困難となるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、実空間画像の実物体に付加される付加情報を適切な位置に表示させることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像内の実物体の特徴を示す特徴情報と、該実物体に付加される付加情報とを関連付けて記憶している記憶部と、実空間画像を取得する画像取得部と、特徴情報をもとに、実空間画像内の実物体と該実物体の実空間画像内での表示位置を検出する検出部と、検出部により検出された実空間画像内の実物体に付加する付加情報の表示範囲を決定する決定部と、付加情報を実空間画像内の実物体に付加して表示する表示制御部と、を備え、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報が決定部により決定された付加情報の表示範囲内である場合に付加情報の表示位置を維持する、情報処理装置が提供される。

また、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報が決定部により決定された付加情報の表示範囲内ではない場合に、付加情報の表示位置を表示範囲内に移動させてもよい。

また、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報が決定部により決定された付加情報の表示範囲内ではない場合に、付加情報の表示位置を実物体に追随させて表示範囲内に移動させてもよい。

また、記憶部には、さらに、実物体に該付加情報を付加する付加領域を示す付加領域情報が関連付けて記憶されており、決定部は、付加領域に基づいて、実空間画像内の実物体に付加する付加情報の表示範囲を決定してもよい。

また、付加領域は、実物体の表示領域を基準とした所定の領域であってもよい。

また、記憶部には、さらに、付加情報が付加領域に対して適切な位置に表示されているか否かを判定するための接続判定領域情報が関連付けて記憶されており、決定部は、接続判定領域情報をもとに、実空間画像内の接続判定領域を決定し、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、接続判定領域と付加領域とが接触している場合に、付加情報の表示位置を維持してもよい。

また、接続判定領域は、付加情報の表示領域を基準とした所定の領域であってもよい。

また、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報の接続判定領域と付加情報の表示範囲とが接触している場合に、接触の度合いに応じて付加情報の表示範囲の大きさを変更してもよい。

また、表示制御部は、付加情報の表示位置を維持するか移動するか否かについて、所定の間隔で判定してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、実空間画像を取得するステップと、特徴情報をもとに、実空間画像内の実物体と該実物体の実空間画像内での表示位置を検出するステップと、検出された実空間画像内の実物体に付加する付加情報の表示範囲を決定するステップと、実空間画像内での実物体の表示位置が移動したことが検出され、表示している付加情報が決定された付加情報の表示範囲内である場合に付加情報の表示位置を維持するステップと、を含む情報処理方法が提供される。

さらに、上記情報処理方法は実空間画像内での実物体の表示位置が移動したことが検出され、表示している付加情報が決定された付加情報の表示範囲内ではない場合に、付加情報の表示位置を表示範囲内に移動させるステップを含んでもよい。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像内の実物体の特徴を示す特徴情報と、該実物体に付加される付加情報とを関連付けて記憶している記憶部と、実空間画像を取得する画像取得部と、特徴情報をもとに、実空間画像内の実物体と該実物体の実空間画像内での表示位置を検出する検出部と、検出部により検出された実空間画像内の実物体に付加する付加情報の表示範囲を決定する決定部と、付加情報を実空間画像内の実物体に付加して表示する表示制御部と、を備え、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報が決定部により決定された付加情報の表示範囲内である場合に付加情報の表示位置を維持する、情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、実空間画像の実物体に付加される付加情報を適切な位置に表示させることができる。

本発明の実施形態にかかる情報処理装置の概要を説明する説明図である。 同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 本発明の第１の実施形態にかかる情報処理装置の機能構成を示すブロック図である。 同実施形態にかかる付加領域情報の内容を説明する説明図である。 同実施形態にかかる接続判定領域情報の内容を説明する説明図である。 同実施形態にかかる実物体の付加領域について説明する説明図である。 同実施形態にかかる付加情報の接続判定領域について説明する説明図である。 同実施形態にかかる付加情報の表示方法について説明する説明図である。 同実施形態にかかる付加情報の表示方法について説明する説明図である。 同実施形態にかかる付加情報の表示方法について説明する説明図である。 同実施形態にかかる情報処理装置の全体動作を示すフローチャートである。 同実施形態にかかる付加情報表示位置の更新処理を示すフローチャートである。 本発明の第２の実施形態にかかる実物体の付加領域について説明する説明図である。 同実施形態にかかる付加情報の接続判定領域について説明する説明図である。 同実施形態にかかる付加情報の表示方法について説明する説明図である。 同実施形態にかかる付加情報の表示方法について説明する説明図である。 同実施形態にかかる付加情報の表示方法について説明する説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕情報処理装置の概要
〔３〕情報処理装置のハードウェア構成
〔４〕第１実施形態
〔４−１〕情報処理装置の機能構成
〔４−２〕情報処理装置の動作の詳細
〔５〕第２実施形態
〔５−１〕情報処理装置の機能構成
〔５−２〕情報処理装置の動作の詳細

〔１〕本実施形態の目的
まず、本実施形態の目的について説明する。最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像に対して何らかの付加情報を重畳することが行われている。例えば、撮像画像に重畳された文字情報等の仮想的な情報をオーバレイしてユーザに提示し、クリック等により仮想的な情報を選択して、さらに詳細な情報を容易に取得する技術が開示されている。当該技術により、ユーザは、撮像装置により撮像された実画像に関連する情報を、簡易かつ迅速に入手することができる。

しかし、風景画像等を撮像する際に、手ぶれ等により表示画像内の対象物の移動とともに、仮想的な情報の表示位置も移動してしまい、仮想的な情報を判別し難くなるという問題があった。また、上記技術のように、仮想的な情報をクリック等により選択する場合にも、仮想的な情報の表示位置が動いてしまい詳細な情報を取得することが困難となるという問題があった。

そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置１０が創作されるに至った。本実施形態にかかる情報処理装置１０によれば、実空間画像の実物体に付加される付加情報を適切な位置に表示させることが可能となる。

〔２〕情報処理装置の概要
次に、図１を参照して、情報処理装置１０の概要について説明する。図１は、情報処理装置１０の概要を説明する説明図である。情報処理装置１０は、例えば、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や小型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、表示装置を備える情報処理端末を例示することができる。情報処理装置１０には、実画像に付加される仮想的な情報が登録されている。仮想的な情報は、ビルや店舗の実物体の画像と、該実物体に付加される付加情報が対応付けられた情報である。

図１に示したように、画像５００は、情報処理装置１０の表示部に表示される画像である。画像５００は、情報処理装置１０に備わる撮像装置等により撮像された風景画像等である。画像５００には、風景画像に含まれる実物体の画像に付加情報「○○ホテル」が付加して表示されている。情報処理装置１０は、画像５００に含まれる複数の実物体と、情報処理装置１０に記憶されている実物体の画像の類似度を算出する。そして、複数の実物体のうち、情報処理装置１０に記憶されている実物体の画像に類似している実物体を認識した場合には、該実物体に関連付けられている付加情報を風景画像の実物体の画像に付加して表示する。

通常、画像５００に含まれる「○○ホテル」の実物体の画像が表示画面内で移動した場合には、「○○ホテル」の実物体の画像に付加される付加情報も一緒に動いてしまう。しかし、手ぶれ等により僅かだが頻繁に「○○ホテル」の実物体の画像が動く場合に、実物体の画像の動きとともに付加情報が動くと、該付加情報を判別し難くなってしまう。そこで、本実施形態１０では、画像５００に含まれる実物体の画像が手ぶれ等により表示画面内で移動する場合にも、その移動範囲が所定の範囲内であった場合には付加情報の表示位置を変更しないようにする。これにより、実物体の画像に付加される付加情報を適切な位置に表示させて情報の視認性を向上させることができる。

画像５０１に示したように、例えば、「○○ホテル」の実物体の画像が、画像５００の表示位置から矢印方向（左方向）に移動した場合に、「○○ホテル」の付加情報は実物体の画像とともに移動せずに画像５００の表示位置と同位置に表示されている。同様に、画像５０２では、「○○ホテル」の実物体の画像が、画像５００の表示位置から矢印方向（左斜め上方向）に移動した場合に、「○○ホテル」の付加情報は実物体の画像とともに移動せずに画像５００の表示位置と同位置に表示されている。

画像５０１および画像５０２に示したように、実物体の画像の移動が僅かである場合に、実物体の画像に付加される付加情報の位置を変更させないようにする。これにより、手ぶれ等により表示画面に表示される画像がぶれても、付加情報を定位置に表示させることができる。

〔３〕情報処理装置のハードウェア構成
以上、情報処理装置１０の概要について説明した。次に、図２を参照して、情報処理装置１０のハードウェア構成について説明する。図２は、情報処理装置１０のハードウェア構成を示すブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インタフェース１０７と、入力装置１０８と、出力装置１１０と、ストレージ装置（ＨＤＤ）１１１と、ドライブ１１２と、通信装置１１５とを備える。

ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。

ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１０９、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置１０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。

ストレージ装置１１０は、本実施形態にかかる情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。また、このストレージ装置１１０には、後述の、アイテム、識別番号などを記憶する。

ドライブ１１１は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ１０３に出力する。

通信装置１１２は、例えば、通信網５０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

〔４〕第１実施形態
以上、情報処理装置１０のハードウェア構成例を、図２を参照して説明した。次に図３を参照して、第１実施形態にかかる情報処理装置１０の機能構成について説明する。図３は、本実施形態にかかる情報処理装置１０の機能構成を示すブロック図である。

〔４−１〕情報処理装置の機能構成
図３に示したように、情報処理装置１０は、画像取得部２０２、検出部２０４、決定部２０６、表示制御部２０８、記憶部２１０などを備える。

画像取得部２０２は、実空間画像を取得する機能を有する。実空間画像とは、撮像装置（図示せず）により撮像された情報処理装置１０の風景などの画像である。撮像装置は、情報処理装置１０と一体として構成されていてもよいし、別体の装置として構成されていてもよい。例えば、情報処理装置１０とは別体の撮像装置により撮像された画像をメモリカード等の記憶装置に記憶させて、画像取得部２０２により取り込むようにしてもよい。画像取得部２０２は、取得した実空間画像を検出部２０４および表示制御部２０８に提供する。

検出部２０４は、画像取得部２０２により提供された実空間画像内の実物体と、該実物体の実空間画像内での表示位置を検出する機能を有する。検出部２０４は、画像取得部２０２から提供された風景画像等の画像データから、付加情報を付加する対象となる実物体を抽出して、該実物体の種別と表示画面上の位置情報を検出する。実空間画像内の実物体の抽出処理は、例えば、特表２００４−０９５３７４号公報に開示されている技術を利用することができる。検出部２０４は、検出した実物体の種別と表示画面上の位置情報を決定部２０６に提供する。

決定部２０６は、検出部２０４により検出された実空間画像内の実物体に付加する付加情報の表示範囲を決定する機能を有する。決定部２０６は、後述する記憶部２１０に記憶されている、実物体に付加情報を付加する付加領域を示す付加領域情報をもとに、付加情報の表示範囲を決定する。実物体に付加情報を付加するとは、実空間画像内の実物体の描画領域に付加情報を付加したり、実空間画像内の実物体の描画領域に接するように付加情報を表示したりすることである。また、実物体の描画領域に重畳したり、接したりしていなくとも、実物体に関する情報であることが認識できるように付加情報を表示させることをいう。

また、記憶部２１０に付加情報が付加領域に対して適切な位置に表示されているか否かを判定するための接続判定領域情報が記憶されている場合には、決定部２０６は、接続判定領域情報をもとに、実空間画像内の接続判定領域を決定する。

ここで、図４〜図７を参照して、付加情報の付加領域および接続判定領域について説明する。図４は、記憶部２１０に記憶されている付加領域情報の内容を説明する説明図である。図５は、記憶部２１０に記憶されている接続判定領域情報の内容を説明する説明図である。図６は、表示画面に表示されている実物体の付加領域について説明する説明図である。図７は、表示画面に表示されている付加情報の接続判定領域について説明する説明図である。

図４に示したように、付加領域情報３０１として、実物体種別３０１１と、付加情報付加領域３０１２と、プロパティ３０１３とが関連付けられている。実物体種別３０１１は、例えば、「Ａビル」、「レストランＢ」、「Ｃ駅」など実物体の種別を表す。付加情報付加領域形状３０１２は、付加情報を実物体に付与する領域の形状を示し、例えば、「実物体領域と同じ」形状や、「円」や「点」などの形状を表す。プロパティ３０１３は、付加領域を設定する基準となる情報を示し、例えば、「重心：実物体領域の重心、倍率２倍」などと設定できる。例えば、実空間画像内にＡビルが含まれている場合、決定部２０６は実空間画像内のＡビルの表示領域の重心を中心として２倍の大きさで、実物体領域と同じ形状の領域を付加情報の表示範囲として決定する。

また、図５に示したように、接続判定領域情報３０２として、付加情報種別３０２１と、接続判定領域形状３０２２と、プロパティ３０２４とが関連付けられている。付加情報種別３０２１は、例えば、「Ａビルアノテーション」、「レストランＢアノテーション」、「Ｃ駅アノテーション」など付加情報の種別を表す。接続判定領域形状３０２２は、例えば、「付加情報描画領域と同じ」形状や、「円」や「点」などの形状を表す。プロパティ３０２３は、付加情報が付加領域に対して適切な位置に表示されているか否かを判定するための接続判定領域を設定する基準となる情報を示し、例えば、「重心：付加情報描画領域の重心、倍率２倍」などと設定できる。例えば、実空間画像内にＡビルが含まれている場合、Ａビルの付加情報の描画領域の重心を中心として２倍の大きさで、付加情報描画領域と同じ形状の領域を接続判定領域として決定する。

次に、図６を参照して、図４に示した付加領域情報３０１をもとに決定される付加情報付加領域について説明する。図６に示したように、実物体領域３１０は、付加情報を付与する対象となる実物体の実空間画像内での描画領域である。付加情報の付加領域は、実物体に対して付加情報を重畳する際の実物体側の付加情報の描画位置の基準であり、実物体描画領域を基準として任意の領域となる。図６では、実物体領域３１０の中心を基準として、実物体領域の２倍の領域が実物体領域を含めて付加情報の付加領域３１１となっている。

なお、付加情報の付加領域３１１は、図６に示した例に限定されず、実物体領域３１０を基準として任意の領域を設定することができる。例えば、付加情報の付加領域３１１の中心を実物体領域３１０の任意の頂点としてもよい。また、図６では、付加情報の付加領域３１１の大きさを実物体領域３１０の２倍の大きさとしているが、かかる例に限定されず、実物体領域と同じサイズとしてもよい。また、実物体領域より小さいサイズでもよいし、実物体領域３１０を基準とした相対値であってもよい。

また、図６では、付加情報の付加領域３１１の形状は実物体領域３１０と同じ形状としているが、かかる例に限定されず、円形や四角形等実物体領域３１０と異なる任意の形状であってもよいし、点であってもよい。さらに、実物体領域３１０の任意の頂点からの相対的な位置と、当該位置における領域の形状を規定してもよい。このように規定した領域を、実物体領域３１０の看板描画位置などの特定の領域として設定してもよい。

次に、図７を参照して、接続判定領域情報をもとに決定される接続判定領域について説明する。図７に示したように、付加情報の描画領域３２０は、付加情報の表示画面上の描画領域である。接続判定領域３２１は、付加情報を実物体に重畳する際の、付加情報側の描画位置の基準であり、付加情報描画領域を基準とした任意の領域として定義される。図７では、付加情報の描画領域３２０の中心を基準として、当該領域の２倍の領域が接続判定領域３２１となっている。

なお、接続判定領域３２１は、図７に示した例に限定されず、付加情報の描画領域３２０を基準として任意の領域を設定することができる。例えば、接続判定領域３２１の中心を付加情報の描画領域３２０の任意の頂点としてもよい。また、図７では、接続判定領域３２１の大きさを付加情報の描画領域３２０の２倍の大きさとしているが、かかる例に限定されず、付加情報の描画領域３２０と同じサイズとしてもよい。また、付加情報の描画領域３２０より小さいサイズでもよいし、画面サイズに対する相対値であってもよい。また、接続判定領域３２１の形状は、付加情報の描画領域の形状と異なる円形などであってもよいし、点であってもよい。

さらに、接続判定領域３２１を付加情報の表示画面上の描画領域の任意の頂点からの相対的な位置としてもよい。例えば、付加情報が吹き出しとして表示される場合に、吹き出しの先端を接続判定領域としてもよい。

以上、付加領域および接続判定領域について説明した。図３に戻り、情報処理装置１０の機能の説明を続ける。表示制御部２０８は、付加情報を実空間画像内の実物体に付加して表示する機能を有する。上記したように、表示制御部２０８により、実空間画像内の実物体に関する情報が認識できるように、実物体の描画領域に重畳されたり、接したりして付加情報が表示される。

表示制御部２０８は、実空間画像内での実物体の表示位置が移動したことが検出部２０４により検出され、表示している付加情報が決定部２０６により決定された付加情報の表示範囲内である場合に、付加情報の表示位置を維持する。付加情報の表示範囲内とは、上記した付加情報の付加領域を例示できる。

また、表示制御部２０８は、実空間画像内での実物体の表示位置が移動したことが検出部２０４により検出され、表示している付加情報が決定部２０６により決定された付加情報の表示範囲内ではない場合に、付加情報の表示位置を表示範囲内に移動させる。すなわち、実空間画像内での実物体の表示位置の移動に伴い付加情報の付加領域が移動して、付加情報の表示位置が該付加情報の付加領域の範囲内ではなくなった場合に、付加情報の表示位置を付加情報の付加領域の範囲内に移動させる。このとき、実物体の表示位置の移動後に適切な位置にジャンプするように付加情報を移動させてもよいし、移動する実物体に追随するように付加情報を移動させてもよい。

また、決定部２０６により、接続判定領域情報をもとに、実空間画像内の接続判定領域が決定された場合に、表示制御部２０８は、実空間画像内での実物体の表示位置が移動したことが検出部２０４により検出され、接続判定領域と付加領域とが接触している場合に、付加情報の表示位置を維持する。上記したように、接続判定領域情報は、付加情報の表示領域（描画領域）を基準とした任意の領域であり、付加情報が付加領域に対して適切な位置に表示しているか否かを判定するための領域の情報である。

ここで、図８〜図１０を参照して、表示制御部２０８による付加情報の表示方法について説明する。図８〜図１０は、表示制御部２０８による付加情報の表示方法について説明する説明図である。図８に示したように、表示制御部２０８は、決定部２０６により決定された実物体の付加情報の表示範囲（付加情報の付加領域）３３１の領域内に実物体に関する付加情報である「Ａビル」を表示させる。図８では、付加情報の付加領域３３１の領域内に、「Ａビル」の接続判定領域も包含されている。

図９に示したように、例えば、実物体が移動して、付加情報の付加領域３４１の領域内に「Ａビル」の表示も、接続判定領域３４２も包含されなくなってしまったとする。この場合、接続判定領域３４２が付加情報の付加領域３４１に包含されるか、接続判定領域３４２と付加情報付加領域３４１が接するように付加情報の表示位置を変更する必要がある。

例えば、表示制御部２０８は、図９に示した付加情報の付加領域３４１と接続判定領域３４２の位置関係を、図１０に示した位置関係に変更する。すなわち、表示制御部２０８は、接続判定領域３５２が付加情報表示領域３５１に包含され、かつ、図９に示した付加情報「Ａビル」の表示位置から最も近い位置を新たな付加情報の表示位置に設定する。

表示制御部２０８は、接続判定領域３５２が付加情報付加領域３４１に完全に包含される場合に付加情報の表示位置の変更を不要としてもよいし、接続判定領域３５２の一部が付加情報付加領域に含まれる場合に付加情報の表示位置の変更を不要としてもよい。

また、上記では、表示制御部２０８は、付加情報の表示位置を元の付加情報の表示位置から最も近い位置に移動させることとしたが、かかる例に限定されず、付加情報の表示位置の変更が不要な位置に移動させればよい。例えば、上記したように、付加情報の表示領域が元の付加情報の表示位置の中心と実物体の表示位置の中心を結ぶ線上に移動させるようにしてもよい。

そして、表示制御部２０８は、実物体に付加情報がオーバレイされた画像を生成して表示画面に出力する。また、表示画面上に複数の付加情報が表示され、付加情報の表示領域が重なり合う場合には、重なり合わないようにいくつかの付加情報の表示位置を変更するようにしてもよい。以上、情報処理装置１０の機能構成について説明した。

〔４−２〕情報処理装置の動作の詳細
次に、図１１および図１２を参照して、情報処理装置１０の動作の詳細について説明する。図１１は、情報処理装置１０の全体動作を示すフローチャートである。まず、画像取得部２０２は、撮像装置を解して情報処理装置１０の周辺の風景などの画像を取得する（Ｓ１０２）。次に、検出部２０４は、ステップＳ１０２において取得した画像のデータから、付加情報をオーバレイする対象となる実物体を認識する（Ｓ１０４）。

そして、決定部２０６により決定された付加情報の表示範囲に基づいて、表示制御部２０８は付加情報の表示位置を更新するか否かを決定する（Ｓ１０６）。ステップＳ１０６における付加情報の表示位置の更新処理については後で詳細に説明する。

そして、表示制御部２０８は、ステップＳ１０２において取得した画像に付加情報がオーバレイされた画像を生成して（Ｓ１０８）、表示画面に当該画像を出力させる（Ｓ１１０）。

なお、ステップＳ１０４およびステップＳ１０６の処理は、所定の間隔で実行してもよい。例えば、３０ｆｐｓで、３フレームに一回だけ実物体の任意気と付加情報の表示位置の更新を行うような、間引き処理でもよい。また、ステップＳ１０８およびステップＳ１１０の処理における画像の生成や画像出力において、付加情報の元の表示位置を始点として、付加情報の最終的な表示位置を終点としたアニメーション処理を行ってもよい。また、付加情報の表示位置を変更する際の移動速度や移動の軌跡を任意に設定してもよい。例えば、付加情報の表示位置の始点と終点の間を一直線に移動してもよいし、慣性の動きをつけて移動するようにしてもよい。

以上、情報処理装置１０の全体動作について説明した。次に、図１２を参照して、付加情報表示位置の更新処理の詳細について説明する。図１２は、付加情報表示位置の更新処理を示すフローチャートである。図１２に示したように、まず、決定部２０６は、実空間画像内の実物体の描画領域を基準に、付加情報付加領域を特定する（Ｓ２０２）。ステップＳ２０２において、決定部２０６は、上記した付加領域情報に基づいて、実物体の描画領域を基準とした範囲を付加情報の表示範囲に決定する。

次に、決定部２０６は、表示画面に表示された画像上の付加情報の描画領域を基準に、接続判定領域を特定する（Ｓ２０４）。ステップＳ２０４において、決定部２０６は、上記した接続判定領域情報に基づいて、付加情報の描画領域を基準とした範囲を接続判定領域に決定する。

そして、現在の付加情報付加領域と、接続判定領域の包含関係から、付加情報の表示位置の変更が必要か否かを判定する（Ｓ２０６）。ステップＳ２０６においては、上記したように、接続判定領域が付加情報付加領域に包含されていなかったり、接続領域と付加情報付加領域が接していなかったりする場合には、付加情報の表示位置の変更が必要であると判定する。また、ステップＳ２０６において、接続判定領域が付加情報付加領域に包含されていても、他の付加情報や他の実物体との位置関係により、付加情報が適切に表示されていない場合には、付加情報の表示位置の変更が必要であると判定してもよい。

ステップＳ２０６において、付加情報の表示位置の変更が必要であると判定された場合には、付加情報の表示位置を、変更が不要な表示位置に決定する（Ｓ２０８）。ステップＳ２０８において、付加情報の表示位置の変更が不要な表示位置とは、実物体に対して適切に付加情報が表示されている位置である。例えば、上記したように、接続判定領域が付加情報付加領域に包含される位置や、接続判定領域と付加情報付加領域とが接する位置などを例示できる。

ステップＳ２０６において、付加情報表示位置の変更が必要ではないと判定された場合には、付加情報の表示位置を変更せずに処理を終了する。例えば、実空間画像内の実物体の表示位置が変更した場合でも、該実物体の付加情報の付加領域に付加情報の表示領域や該付加情報の接続判定領域が包含されている場合には、付加情報の表示位置をそのまま維持する。

例えば、実空間画像内の実物体が移動して、該実物体に関する付加情報も実物体と同じように移動すると文字等の付加情報が視認し難くなってしまう。しかし、本実施形態によれば、実空間画像内の実物体が移動しても、該実物体の付加情報の付加領域と付加情報の表示領域や接続判定領域との位置関係から、付加情報を常に移動させることなく適切な位置に表示させておくことが可能となる。すなわち、実物体の移動が微少なものである場合には、付加情報を定位置に表示されて付加情報の視認性を向上させることができる。

〔５〕第２実施形態
以上、第１実施形態について説明した。次に、第２実施形態について説明する。本実施形態における情報処理装置１０′は、第１実施形態にかかる情報処理装置１０とほぼ同様の構成を有するため、第１実施形態と異なる機能について特に詳細に説明する。本実施形態では、撮像装置により撮像された実空間画像を３次元で認識し、３次元空間上で付加情報を配置して２次元投影画像を表示画面上に表示する点で第一実施形態と異なっている。

〔５−１〕情報処理装置の機能構成
本実施形態では、第１実施形態と同様に図３に示した構成を有し、情報処理装置１０′は、画像取得部２０２、検出部２０４、決定部２０６、表示制御部２０８、記憶部２１０などを備える。以下、第１実施形態と異なる機能について特に詳細に説明する。

検出部２０４は、画像取得部２０２により提供された実空間画像から、空間の３次元認識を行い、当該空間座標系における実物体の位置情報を検出する。検出部２０４は、検出した３次元での実物体の位置情報を決定部２０６に提供する。

記憶部２１０に記憶されている付加情報を付加する付加領域の情報としては、第１実施形態における付加領域情報に奥行きの方向の情報が加えられる。したがって、決定部２０６は、検出部２０４により提供された３次元での実物体の位置情報から、３次元での付加情報付加領域を決定する。また、付加情報が付加領域に対して適切な位置に表示されているか否かを判定するための接続判定領域の情報としては、第１実施形態における接続判定領域情報に奥行き方向の情報が加えられる。したがって、決定部２０６は、奥行き方向の情報が加えられた接続判定領域情報をもとに、３次元で認識された実空間画像内の接続判定領域を決定する。

ここで、図１３および図１４を参照して、本実施形態において決定される付加情報の付加領域および接続判定領域について説明する。図１３には、付加情報を付与する対象となる実物体の３次元の描画領域４０１と付加情報の付加領域４０２を示している。付加情報の付加領域４０２は、実物体に対して付加情報をオーバレイする際の、実物体側の付加情報の描画領域の基準であり、実物体領域を基準とした任意の領域である。図１３では、実物体領域４０１の中心を基準として、実物体領域の２倍の領域が実物体領域を含む付加情報の付加領域４０２となっている。

なお、付加情報の付加領域は、実物体領域を基準として任意の領域を設定することができる。例えば、３次元空間における実空間画像内実物体の領域を３次元空間の原点とし、付加情報の付加領域を実物体領域の鉛直上向き方向の高さ１ｍに設定して地面の上１ｍの空中を付加情報の付加領域としてもよい。

また、図１４には、付加情報の描画領域４１１と付加情報１に関連付けられた接続判定領域４１２を示している。本実施形態において、付加情報の描画領域４１１は、付加情報の３次元空間における領域である。接続判定領域４１２は、付加情報を実物体にオーバレイする際の付加情報側の描画位置基準であり、付加情報の描画領域４１１を基準とした任意の領域として設定される。図１４では、付加情報の描画領域４１１の中心を基準として、当該領域の２倍の領域を接続判定領域４１２としている。なお、接続判定領域４１２は、付加情報の描画領域を基準として、任意の領域を設定することができる。

以上、付加情報の付加領域および接続判定領域について説明した。次に、表示制御部２０８の機能について説明する。表示制御部２０８は、決定部２０６により決定された奥行き方向の情報を持った付加情報付加領域と、接続判定領域をもとに、付加情報の位置を変更する必要があるか否かを判定する。例えば、接続判定領域が付加情報付加領域に包含されている場合には、付加情報の位置の変更は不要であると判定する。また、３次元で示された接続判定領域の任意の辺と付加情報付加領域の任意の辺とが接している場合に付加情報の位置の変更は不要であると判定するようにしてもよい。一方、表示制御部２０８は、上記判定により付加情報の位置の変更が必要であると判定した場合には、付加情報の付加領域と接続判定領域をもとに付加情報の新たな位置を決定する。

そして、表示制御部２０８は、３次元空間上に配置された付加情報を、２次元の表示画面に投影して、風景画像等の実空間画像に付加情報をオーバレイした画像を表示画面に出力する。

ここで、図１５〜図１７を参照して、表示制御部２０８による付加情報の表示方法について説明する、図１５〜図１７は、表示制御部２０８による付加情報の表示方法について説明する説明図である。図１５に示したように、表示制御部２０８は、決定部２０６により決定された実物体の付加情報の表示範囲（付加情報の付加領域）４２２の領域内に実物体に関する付加情報である「Ａビル」を表示させる。本実施形態では、実物体の描画領域４２１および付加情報の描画領域４２２が３次元空間上で決定され、付加情報の描画領域４２３および接続判定領域４２４も３次元空間上で決定されている。そして、付加情報の付加領域４２２と接続判定領域４２２との位置関係についても、領域４２５に示すように、３次元的に示される。

また、図１６に示したように、例えば実物体が移動して、付加情報の付加領域４３２の領域内に「Ａビル」の接続判定領域４３３が包含されなくなってしまったとする。この場合、接続判定領域４３４が付加情報の付加領域４３２に包含されるか、接続判定領域４３４と付加情報の付加領域４３２とが接するように付加情報の表示位置を変更する必要がある。

例えば、図１７に示したように、接続判定領域４４４と、付加情報の付加領域４４２とが３次元空間上で接するように付加情報４４３の表示位置を変更するようにしてもよい。図１７に示したように、本実施形態では、接続判定領域４４４と付加情報の付加領域４４２との接する領域４４５を３次元的に示すことができる。このように、本実施形態では、３次元空間上で示される接続判定領域と付加情報の付加領域とが接しているか、包含関係にあるかについて、線や点だけでなく、面や空間で捉えることが可能となる。

〔５−２〕情報処理装置の動作の詳細
以上、情報処理装置１０′の機能構成について説明した。本実施形態にかかる情報処理装置１０′の動作の詳細は、第１実施形態とほぼ同様のため、詳細な説明は省略する。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

また、本明細書の情報処理装置１０、１０′の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、情報処理装置１０、１０′の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。

また、情報処理装置１０、１０′などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０、１０′の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１０、１０′ 情報処理装置
２０２ 画像取得部
２０４ 検出部
２０６ 決定部
２０８ 表示制御部
２１０ 記憶部

Claims (8)

1. 実空間画像を取得する画像取得部と、
   前記実空間画像内の実物体の特徴を示す特徴情報と、該実物体に付加される付加情報とを関連付けて記憶し、前記実物体と前記実物体の表示領域を基準とした所定の領域である付加領域を示す付加領域情報とを関連付けて記憶し、前記付加情報と前記付加情報の表示領域を基準とした所定の領域である接続判定領域を示す接続判定領域情報とを関連付けて記憶している記憶部と、
   前記特徴情報をもとに、前記実空間画像内の実物体と該実物体の前記実空間画像内での表示位置を検出する検出部と、
   前記付加領域情報をもとに、前記付加領域を決定し、前記検出部により検出された前記実空間画像内の前記実物体に付加する前記付加情報の表示範囲を前記付加領域に基づいて決定し、前記接続判定領域情報をもとに、前記実空間画像内の接続判定領域を決定する決定部と、
   前記付加情報を前記実空間画像内の前記実物体に付加して表示する表示制御部と、
   を備え、
   前記表示制御部は、前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記接続判定領域の少なくとも一部と前記付加領域とが重なっている又は接している場合に前記付加情報の表示位置を維持する、情報処理装置。
2. 前記表示制御部は、
   前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記接続判定領域の少なくとも一部と前記付加領域とが重なっておらず、かつ接していない場合に、前記付加情報の表示位置を前記付加領域の範囲内に移動させる、請求項１に記載の情報処理装置。
3. 前記表示制御部は、
   前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記接続判定領域の少なくとも一部と前記付加領域とが重なっておらず、かつ接していない場合に、前記付加情報の表示位置を前記実物体に追随させて前記付加領域の範囲内に移動させる、請求項１に記載の情報処理装置。
4. 前記表示制御部は、前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記表示している前記付加情報の前記接続判定領域の少なくとも一部と前記付加情報の表示範囲とが重なっている場合には重なりの度合いに応じて、接している場合には前記付加情報の表示領域に基づいて、前記付加情報の表示範囲の大きさを変更する、請求項１に記載の情報処理装置。
5. 前記表示制御部は、前記付加情報の表示位置を維持するか移動するか否かについて、所定の間隔で判定する、請求項１に記載の情報処理装置。
6. 実空間画像を取得するステップと、
   前記実空間画像内の実物体の特徴を示す特徴情報と、該実物体に付加される付加情報とを関連付けて記憶し、前記実物体と前記実物体の表示領域を基準とした所定の領域である付加領域を示す付加領域情報とを関連付けて記憶し、前記付加情報と前記付加情報の表示領域を基準とした所定の領域である接続判定領域を示す接続判定領域情報とを関連付けて記憶するステップと、
   前記特徴情報をもとに、前記実空間画像内の実物体と該実物体の前記実空間画像内での表示位置を検出するステップと、
   前記付加領域情報をもとに、前記付加領域を決定し、前記検出された前記実空間画像内の前記実物体に付加する前記付加情報の表示範囲を前記付加領域に基づいて決定し、前記接続判定領域情報をもとに、前記実空間画像内の接続判定領域を決定するステップと、
   前記実空間画像内での前記実物体の表示位置が移動したことが検出され、前記接続判定領域の少なくとも一部と前記付加領域とが重なっている又は接している場合に前記付加情報の表示位置を維持するステップと、
   を含む情報処理方法。
7. さらに、前記実空間画像内での前記実物体の表示位置が移動したことが検出され、前記接続判定領域の少なくとも一部と前記付加領域とが重なっておらず、かつ接していない場合に、前記付加情報の表示位置を前記付加領域の範囲内に移動させるステップを含む、請求項６に記載の情報処理方法。
8. コンピュータを、
   実空間画像を取得する画像取得部と、
   前記実空間画像内の実物体の特徴を示す特徴情報と、該実物体に付加される付加情報とを関連付けて記憶し、前記実物体と前記実物体の表示領域を基準とした所定の領域である付加領域を示す付加領域情報とを関連付けて記憶し、前記付加情報と前記付加情報の表示領域を基準とした所定の領域である接続判定領域を示す接続判定領域情報とを関連付けて記憶している記憶部と、
   前記特徴情報をもとに、前記実空間画像内の実物体と該実物体の前記実空間画像内での表示位置を検出する検出部と、
   前記付加領域情報をもとに、前記付加領域を決定し、前記検出部により検出された前記実空間画像内の前記実物体に付加する前記付加情報の表示範囲を前記付加領域に基づいて決定し、前記接続判定領域情報をもとに、前記実空間画像内の接続判定領域を決定する決定部と、
   前記付加情報を前記実空間画像内の前記実物体に付加して表示する表示制御部と、
   を備え、
   前記表示制御部は、前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記接続判定領域の少なくとも一部と前記付加領域とが重なっている又は接している場合に前記付加情報の表示位置を維持する、情報処理装置として機能させるためのプログラム。

Images