JP6296056B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

従来、何らかの目的地へユーザを誘導する様々なナビゲーションサービスが実用化されている。ナビゲーションは、通常、目的地の位置に関する知識とユーザの現在位置とに基づいて行われる。多くのナビゲーションサービスは、ユーザの現在位置を取得するために、ユーザが保持する端末に搭載される、ＧＰＳ（Global Positioning System）モジュール又はＰｌａｃｅＥｎｇｉｎｅ（登録商標）などの測位モジュールを利用する。

特許文献１は、端末の画面上で目的とする場所（建物又は施設など）をユーザが容易に見つけ出すことができるように、目的とする場所に対応する指定オブジェクトを画像内で強調的に表示することを提案している。特許文献１においても、ユーザの現在位置は、ＧＰＳモジュールを通じて取得される。

特開２０１２−０７９１２９号公報

しかしながら、全ての端末が測位モジュールを搭載しているわけではない。また、測位モジュールを搭載している端末であっても、測位用の無線信号を受信できない環境下では、測位モジュールを通じて現在位置を取得することは難しい。

従って、測位モジュールを通じて現在位置を取得することが難しい状況において、目的地に向けてのナビゲーションをユーザに提供することのできる仕組みが実現されることが望ましい。

本開示によれば、視覚的な認識対象を有する実オブジェクトを映す画像を取得する画像取得部と、前記認識対象について画像認識を実行することにより、前記画像を撮像した端末の前記実オブジェクトとの間の相対的配置を認識する認識部と、前記認識部により認識される前記端末の前記相対的配置に基づいて、ユーザの目的地に向かう方向を示す表示オブジェクトを前記端末の画面に表示させる制御部と、を備える画像処理装置が提供される。

また、本開示によれば、画像処理装置により実行される画像処理方法であって、視覚的な認識対象を有する実オブジェクトを映す画像を取得することと、前記認識対象について画像認識を実行することにより、前記画像を撮像した端末の前記実オブジェクトとの間の相対的配置を認識することと、認識された前記端末の前記相対的配置に基づいて、ユーザの目的地に向かう方向を示す表示オブジェクトを前記端末の画面に表示させることと、を含む画像処理方法が提供される。

また、本開示によれば、画像処理装置を制御するコンピュータを、視覚的な認識対象を有する実オブジェクトを映す画像を取得する画像取得部と、前記認識対象について画像認識を実行することにより、前記画像を撮像した端末の前記実オブジェクトとの間の相対的配置を認識する認識部と、前記認識部により認識される前記端末の前記相対的配置に基づいて、ユーザの目的地に向かう方向を示す表示オブジェクトを前記端末の画面に表示させる制御部と、として機能させるためのプログラムが提供される。

本開示に係る技術によれば、測位モジュールを通じて現在位置を取得することが難しい状況において、目的地に向けてのナビゲーションをユーザに提供することができる。

一実施形態に係る装置の概要について説明するための説明図である。 認識対象を有する実オブジェクトの一例を示す説明図である。 一実施形態におけるナビゲーションの原理について説明するための説明図である。 一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 認識辞書データの構成の第１の例を示す説明図である。 認識辞書データの構成の第２の例を示す説明図である。 図６Ｂに例示した追加コード配置データについて説明するための説明図である。 オブジェクト配置データの構成の第１の例を示す説明図である。 オブジェクト配置データの構成の第２の例を示す説明図である。 端末の姿勢の変化に伴う出力画像の変化の一例を示す説明図である。 図９に例示した出力画像のユーザの視点からの見え方を示す説明図である。 端末の移動に伴う端末の配置の追跡の一例について説明するための説明図である。 目的地をユーザに選択させるためのウィンドウの第１の例を示す説明図である。 目的地をユーザに選択させるためのウィンドウの第２の例を示す説明図である。 目的地をユーザに選択させるためのウィンドウの第３の例を示す説明図である。 一実施形態において表示され得る表示オブジェクトのいくつかの例を示す第１の説明図である。 一実施形態において表示され得る表示オブジェクトのいくつかの例を示す第２の説明図である。 一実施形態において表示され得る表示オブジェクトのいくつかの例を示す第３の説明図である。 一実施形態において表示され得る表示オブジェクトのいくつかの例を示す第４の説明図である。 一実施形態に係る画像処理の流れの一例を示すフローチャートである。 図１４に示した端末配置判定処理の詳細な流れの第１の例を示すフローチャートである。 図１４に示した端末配置判定処理の詳細な流れの第２の例を示すフローチャートである。 図１４に示した端末配置判定処理の詳細な流れの第３の例を示すフローチャートである。 図１４に示した目的地方向判定処理の詳細な流れの第１の例を示すフローチャートである。 図１４に示した目的地方向判定処理の詳細な流れの第２の例を示すフローチャートである。 スタンプラリーの応用例において表示され得る表示オブジェクトのいくつかの例を示す説明図である。 画像処理装置の一変形例について説明するための説明図である。 図１８の変形例において表示され得る表示オブジェクトのいくつかの例を示す説明図である。 複数の装置の連携について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
２．画像処理装置の構成例
２−１．ハードウェア構成
２−２．機能構成
２−３．処理の流れ
３．応用例
３−１．スタンプラリー
３−２．ＨＭＤの利用
３−３．複数の装置の連携
４．まとめ

＜１．概要＞
まず、図１〜図３を用いて、本開示に係る装置の概要を説明する。

図１は、一実施形態に係る装置の概要について説明するための説明図である。図１を参照すると、ユーザＵａが有する画像処理装置１００が示されている。画像処理装置１００は、実空間１を撮像するカメラ１０２と、ディスプレイ１１０とを備える。図１の例において、実空間１には、実オブジェクト１０が存在している。画像処理装置１００のカメラ１０２は、実オブジェクト１０を撮像することにより、実オブジェクト１０を映す映像を構成する一連の画像を生成する。そして、画像処理装置１００は、カメラ１０２により生成される撮像画像を入力画像として画像処理を行い、出力画像を生成する。本実施形態において、典型的には、出力画像は、入力画像にナビゲーション用の表示オブジェクトを重畳することにより生成される。画像処理装置１００のディスプレイ１１０は、生成された出力画像を順次表示する。なお、図１に示した実空間１は、一例に過ぎない。画像処理装置１００は、いかなる実オブジェクトを映した画像を処理してもよい。

図１では、画像処理装置１００の一例としてスマートフォンを示している。しかしながら、画像処理装置１００は、かかる例に限定されない。画像処理装置１００は、例えば、タブレットＰＣ（Personal Computer）、ノートＰＣ、携帯型ゲーム端末、ＰＮＤ（Portable Navigation Device）若しくはデジタルカメラなどのモバイルデバイスであってもい。また、画像処理装置１００は、ＨＭＤ（Head Mounted Display）端末などのウェアラブルデバイスであってもよい。

本開示に係る技術では、実オブジェクトの視覚的な認識対象を映す画像が、入力画像として取得される。ここでの認識対象とは、実オブジェクトの外見に現れる既知の図形、記号、文字列若しくは絵柄、又はそれらの任意の組合せなどであってよい。認識対象は、何らかの情報が符号化される視覚的なコード（例えば、バーコード、又はサイバーコード（登録商標）など）を含んでもよい。画像処理装置１００は、認識対象についての特徴データを予め記憶し、入力画像に映る認識対象の配置（撮像面からの相対的配置）を、当該特徴データを用いて認識する。本明細書において、「配置（arrangement）」との用語は、２次元又は３次元の座標系における、位置（並行移動）、姿勢（回転）及びサイズ（スケーリング）のうち少なくとも１つを含むものとする。特徴データは、例えば、認識対象の既知画像から抽出される特徴点のセットについてのデータを含んでもよい。また、特徴データは、既知の図形的パターンの形状及びサイズについてのデータを含んでもよい。

図２は、認識対象を有する実オブジェクトの一例を示す説明図である。図２の例において、実オブジェクト１０は、駅などの公共施設に設置される案内板である。案内板１０は、その表面に印刷され又は貼付され得る認識対象１１を有する。認識対象１１は、アルファベット“ｉ”を模した図形と、当該図形を囲む白黒の枠とを含む。画像処理装置１００は、例えば、入力画像から抽出される複数の特徴点を認識対象１１について予め記憶される特徴点セットと照合することにより、入力画像に認識対象１１がどのような配置で映っているかを認識することができる。

また、案内板１０は、その表面上に目的地リスト１５を有する。ユーザは、目的地リスト１５を見ることにより、案内板１０が設置された場所の周辺に存在する主要なスポットを知ることができる。しかし、個々のスポットがどの方向に存在するかを目的地リスト１５は示さない。仮に案内板１０が地図を有していて、その地図上で各スポットの位置が示されていたとしても、２次元的な（しかもほとんどの場合垂直に掲示される）地図の上では、目的地に向かう方向を直感的に表現することは難しい。そのため、ユーザは、地図上の方向と実空間における方向とのマッピングを自身の頭の中で行うことを強いられる。いくつかのナビゲーションサービスは、そうした不便さを解消するために、端末に搭載されるＧＰＳモジュールなどの測位モジュールを通じて端末の現在位置を取得し、またセンサを通じて端末の姿勢を取得した上で、目的地までユーザを誘導する。しかしながら、全ての端末が測位モジュールを搭載しているわけではない。また、測位モジュールを搭載している端末であっても、測位用の無線信号を受信できない環境下（例えば、屋内、地下又はトンネル内など）では、測位モジュールを通じて現在位置を取得することは難しい。一方、本実施形態では、認識対象１１について実行される上述した画像認識に基づいて端末の配置が判定され、その判定結果に従って目的地へユーザを誘導するためのナビゲーションが提供される。それにより、測位モジュールを頼る必要性が回避される。

図３は、一実施形態におけるナビゲーションの原理について説明するための説明図である。図３を参照すると、認識対象を有する実オブジェクト１０、選択された目的地５０、及び実オブジェクト１０を撮像する画像処理装置１００が示されている。実オブジェクト１０及び目的地５０は地理的に固定されているため、目的地５０の実オブジェクト１０との間の相対的位置ＲＡ_ｓｄは、既知である。なお、目的地５０の姿勢及びサイズはナビゲーションに影響を与えないため、ここでは「配置」ではなく「位置」との語が使用される。画像処理装置１００の実オブジェクト１０との間の相対的配置ＲＡ_ｓｕは、実オブジェクトが有する認識対象についての画像認識に基づいて判定される。そして、未知であった、目的地５０の画像処理装置１００との間の相対的位置ＲＡ_ｕｄは、画像処理装置１００の実オブジェクト１０との間の相対的配置ＲＡ_ｓｕ、及び目的地５０の実オブジェクト１０との間の相対的位置ＲＡ_ｓｄを用いて導出される。画像処理装置１００は、例えば、この相対的位置ＲＡ_ｕｄに対応するナビゲーション用の表示オブジェクトを、画面に表示させ得る。

なお、図２及び図３の例に限定されず、実空間に存在するいかなる実オブジェクトが認識対象を有していてもよい。例えば、商業施設のフロアマップ、広告看板若しくはイベント用のポスターなどに認識対象が印刷され若しくは貼付されてもよく、又はデジタルサイネージにより認識対象が電子的に表示されてもよい。次節では、上述した仕組みを実現する画像処理装置１００の具体的な構成の例を説明する。

＜２．画像処理装置の構成例＞
［２−１．ハードウェア構成］
図４は、一実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図４を参照すると、画像処理装置１００は、カメラ１０２、測位モジュール１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、センサモジュール１１４、バス１１６及びプロセッサ１１８を備える。

（１）カメラ
カメラ１０２は、画像を撮像する撮像モジュールである。カメラ１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実オブジェクトを撮像し、撮像画像を生成する。カメラ１０２により生成される一連の撮像画像は、映像を構成する。

（２）測位モジュール
測位モジュール１０４は、ＧＰＳ（Global Positioning System）モジュール又はＰｌａｃｅＥｎｇｉｎｅ（登録商標）などであってよい。測位モジュール１０４は、測位用の無線信号を受信し得る環境下において、当該無線信号を受信することにより、画像処理装置１００の地理的位置を取得する。そして、測位モジュール１０４は、取得した地理的位置を示す測位データを生成する。本明細書において、地理的位置とは、グローバル座標系における絶対的な位置をいう。なお、測位モジュール１０４は、画像処理装置１００の構成から省略されてもよい。

（３）入力インタフェース
入力インタフェース１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力インタフェース１０６は、例えば、ディスプレイ１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。また、入力インタフェース１０６は、キーボード、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０６は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。

（４）メモリ
メモリ１０８は、半導体メモリ又はハードディスクなどの記憶媒体である。メモリ１０８は、画像処理装置１００による処理のためのプログラム及びデータを記憶する。メモリ１０８により記憶されるデータは、例えば、撮像画像データ、測位データ、センサデータ及び後に説明する様々なデータベース（ＤＢ）内のデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、メモリ１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

（５）ディスプレイ
ディスプレイ１１０は、画像を表示する画面を有する表示モジュールである。ディスプレイ１１０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などであってよい。ディスプレイ１１０は、例えば、画像処理装置１００により生成される、ナビゲーション用の表示オブジェクトの重畳された出力画像を表示する。

（６）通信インタフェース
通信インタフェース１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信インタフェース１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。

（７）センサモジュール
センサモジュール１１４は、ジャイロセンサ、地磁気センサ及び加速度センサなどのセンサ群を含み得る。センサモジュール１１４は、例えば、画像処理装置１００の姿勢を測定する。また、センサモジュール１１４は、画像処理装置１００の動きを測定する。そして、センサモジュール１１４は、測定した姿勢及び動きを示すセンサデータを生成する。センサモジュール１１４により生成されるセンサデータは、画像処理装置１００の配置の変化を追跡するために使用され得る。なお、センサモジュール１１４は、画像処理装置１００の構成から省略されてもよい。

（８）バス
バス１１６は、カメラ１０２、測位モジュール１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、センサモジュール１１４及びプロセッサ１１８を相互に接続する。

（９）プロセッサ
プロセッサ１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。プロセッサ１１８は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。

［２−２．機能構成］
図５は、図４に示した画像処理装置１００のメモリ１０８及びプロセッサ１１８により実現される論理的機能の構成の一例を示すブロック図である。図５を参照すると、画像処理装置１００は、画像取得部１４０、認識データベース（ＤＢ）１５０、認識部１６０、オブジェクト配置ＤＢ１７０及び制御部１８０を備える。

（１）画像取得部
画像取得部１４０は、カメラ１０２により撮像される画像を入力画像として取得する。入力画像は、典型的には、動画を構成する一連のフレームの各々である。本実施形態において、入力画像は、視覚的な認識対象を有する実オブジェクトを映す画像である。そして、画像取得部１４０は、取得した入力画像を認識部１６０及び制御部１８０へ出力する。

（２）認識ＤＢ
認識ＤＢ１５０は、後に説明する認識部１６０により使用される認識辞書データを記憶するデータベースである。認識辞書データは、１つ以上の認識対象の各々についての、当該認識対象の特徴を定義する特徴データを含む。ある例において、認識辞書データは、実オブジェクトが追加的に有する追加コードの配置を定義する追加コード配置データを含み得る。

図６Ａは、認識ＤＢ１５０により記憶され得る認識辞書データの構成の第１の例を示す説明図である。図６Ａを参照すると、認識辞書データ１５１ａは、コードＩＤ１５２及び特徴データ１５３を含む。コードＩＤ１５２は、認識対象を一意に識別するための識別子である。特徴データ１５３は、認識対象の各々についての既知の特徴を定義する。特徴データ１５３は、認識対象についての既知画像から予め抽出される特徴量セットを定義してもよい。一例として、特徴量セットは、複数の特徴点の各々についての、実オブジェクトのローカル座標系における位置座標と、当該特徴点の輝度とを含んでよい。また、特徴データ１５３は、既知のパターンの形状及びサイズを定義してもよい。

図６Ｂは、認識ＤＢ１５０により記憶され得る認識辞書データの構成の第２の例を示す説明図である。図６Ｂを参照すると、認識辞書データ１５１ｂは、コードＩＤ１５２、特徴データ１５３及び追加コード配置データ１５４を含む。追加コード配置データ１５４は、コードタイプ１５５、位置オフセット１５６、回転１５７及びサイズ１５８を含む。コードタイプ１５５は、追加コードのタイプ（例えば、バーコード、サイバーコード（登録商標）など）を定義する。位置オフセット１５６は、認識対象の基準位置（例えば、ローカル座標系の原点）からの追加コードの基準位置のオフセットを定義する。回転１５７は、基準位置を中心とした追加コードの回転量（例えば、実オブジェクトの表面上での回転量）を定義する。サイズ１５８は、追加コードのサイズを定義する。

図７は、図６Ｂに例示した追加コード配置データ１５４について説明するための説明図である。図７において、星印は、ローカル座標系Ｃ_{Ｌｏｃａｌ}における、特徴点ＦＰ１を含む認識対象１１の複数の特徴点の位置を示す。位置座標ＯＦ１は、位置オフセット１５６により定義されるベクトル値であり、追加コードを囲むバウンディングボックスの左上の頂点のローカル座標系Ｃ_{Ｌｏｃａｌ}における座標に等しい。図７の例では、追加コードは回転されないため、回転１５７は回転量ゼロを定義し得る。追加コードを囲むバウンディングボックスの幅Ｗ及び高さＨは、サイズ１５８により定義され得る。

（３）認識部
認識部１６０は、認識対象について画像認識を実行することにより、入力画像を撮像した端末の、当該認識対象を有する実オブジェクトとの間の相対的配置を認識する。本実施形態において、入力画像を撮像した端末とは、画像処理装置１００である。認識部１６０は、例えば、入力画像から抽出される画像特徴量を認識ＤＢ１５０により記憶される既知の特徴量セットと照合することにより、入力画像に映る認識対象を認識してもよい。また、認識部１６０は、入力画像に含まれるパターンを認識ＤＢ１５０により記憶される既知のパターンと照合することにより、入力画像に映る認識対象を認識してもよい。さらに、認識部１６０は、検出した複数の特徴点の間の位置関係、又は検出したパターンの形状及びサイズから、入力画像に認識対象がどのような配置で映っているかを認識する。

認識部１６０は、画像認識の結果として、撮像面からの認識対象の相対的配置を表現するパラメータを生成する。一例として、認識部１６０により生成されるパラメータは、撮像面及びその奥行きに対応する３次元のスクリーン座標系における同次変換行列であってもよい。この同次変換行列は、画像処理装置１００の実オブジェクトとの間の相対的配置を実質的に表現する。認識部１６０は、認識した認識対象の識別子（コードＩＤ）と対応するパラメータ（例えば、同次変換行列）とを、制御部１８０へ出力する。

認識部１６０は、さらに、検出された認識対象又は当該認識対象に関連付けて実オブジェクトの表面に付加される追加コードにより情報が符号化されている場合に、当該認識対象又は当該追加コードから、符号化されている情報を復号してもよい。認識部１６０により復号される情報は、データサーバへの問合せのために使用され得る認識対象（又は実オブジェクト）の識別情報を含んでもよい。また、認識部１６０により復号される情報は、後述するような、実オブジェクトの地理的配置及び目的地の位置の少なくとも一方を示すオブジェクト配置データを含んでもよい。情報が追加コードにより符号化される場合には、認識部１６０は、図６Ｂに例示した追加コード配置データ１５４に従って、追加コードが存在する領域を特定する。そして、認識部１６０は、特定した領域の部分画像について追加コードのコードタイプに応じた認識処理（例えば、バーコードの読み取りなど）を実行する。その結果、追加コードにより符号化された情報が復号され得る。なお、オブジェクト配置データは、認識対象又は追加コードから復号される代わりに、実オブジェクトの識別情報を用いて外部のデータサーバから取得されてもよい。

（４）オブジェクト配置ＤＢ
オブジェクト配置ＤＢ１７０は、オブジェクト配置データを記憶するデータベースである。オブジェクト配置データは、後に説明する制御部１８０により、目的地に向かう方向を決定するために使用され得る。

図８Ａは、オブジェクト配置データの構成の第１の例を示す説明図である。図８Ａを参照すると、オブジェクト配置データ１７１ａは、オブジェクトＩＤ１７２ａ、種別１７３、名称１７４、地理的位置１７５及び姿勢１７６を含む。オブジェクトＩＤ１７２ａは、認識対象を有する実オブジェクト及び目的地の候補の各々を識別するための識別子である。種別１７３は、各オブジェクトがどういった種類のオブジェクトであるのか（例えば、案内板又は目的地の候補）を識別する。名称１７４は、各オブジェクトの表示上の名称を定義する。地理的位置１７５は、グローバル座標系における各オブジェクトの位置（例えば、緯度、経度及び高度）を定義する。姿勢１７６は、グローバル座標系における各オブジェクトの姿勢を定義する。なお、目的地の候補について、姿勢１７６の値は省略されてよい。

図８Ｂは、オブジェクト配置データの構成の第２の例を示す説明図である。図８Ｂを参照すると、オブジェクト配置データ１７１ｂは、コードＩＤ１７２ｂ、名称１７４、目的地ＩＤ１７７、目的地名１７８及び相対的配置１７９を含む。コードＩＤ１７２ｂは、認識対象を有する実オブジェクト（又は認識対象）の各々を識別するための識別子である。目的地ＩＤ１７７は、目的地の候補の各々を識別するための識別子である。図８Ｂの例では、１つの認識対象に１つ以上の目的地の候補が関連付けられている。目的地名１７８は、目的地の各候補の表示上の名称を定義する。相対的配置１７９は、目的地の各候補の、関連付けられる実オブジェクトとの間の相対的配置を定義する。相対的配置１７９は、座標値を用いて厳密に定義されてもよく、又は、東、南、西、北、上及び下などの簡略的な区分値を用いて粗く定義されてもよい。

上述したオブジェクト配置データは、オブジェクト配置ＤＢ１７０により予め記憶されてもよい。また、オブジェクト配置データの一部又は全部は、外部のデータサーバから動的に取得されてもよい。また、上述したように、オブジェクト配置データの一部又は全部は、認識対象又は認識対象に関連付けられる追加コードから認識部１６０により復号されてもよい。

（５）制御部
制御部１８０は、認識部１６０により認識される画像処理装置１００の実オブジェクトからの相対的配置に基づいて、ユーザの目的地に向かう方向を示す表示オブジェクトをディスプレイ１１０の画面に表示させる。

制御部１８０は、例えば、目的地に向かう方向を、認識部１６０により認識される端末の相対的配置、並びにオブジェクト配置データにより示される実オブジェクトの地理的配置及び目的地の地理的位置から判定してもよい。より具体的には、例えば、制御部１８０は、実オブジェクトの地理的配置（例えば、緯度、経度、高度及び向き）及び当該実オブジェクトに対する端末の相対的配置から、端末の地理的配置を判定する。さらに、目的地の地理的位置が得られれば、制御部１８０は、目的地に向かう方向に対応するベクトルを、端末のスクリーン座標系において決定することができる。

その代わりに、制御部１８０は、目的地に向かう方向を、認識部１６０により認識される端末の相対的配置、及びオブジェクト配置データにより示される目的地の実オブジェクトとの間の相対的位置から判定してもよい。より具体的には、例えば、制御部１８０は、端末に対する実オブジェクトの相対的配置に、実オブジェクトに対する目的地の相対的位置を加算することにより、目的地に向かう方向に対応するベクトルを、端末のスクリーン座標系において決定することができる。

このように画像認識に基づいて目的地に向かう方向を動的に判定することにより、目的地に向かう方向を、表示オブジェクトを用いて画面上でユーザに直感的に提示することができる。

図９は、端末の姿勢の変化に伴う出力画像の変化の一例を示す説明図である。図９の上段左には、ある時点における案内板１０と画像処理装置１００との位置関係が示されており、画像処理装置１００の撮像面は案内板１０に正対している。認識部１６０は、案内板１０の表面上の認識対象についての画像認識を実行し、画像処理装置１００の案内板１０との間の相対的配置を表現するパラメータＲＡ_ＳＵを生成する。図９の下段左には、一例としての出力画像Ｉｍ０１が示されている。出力画像Ｉｍ０１には、目的地に向かう方向を示すナビゲーション用の表示オブジェクトＮ０１が重畳されている。制御部１８０は、表示オブジェクトＮ０１の向きＲＡ_ｕｄを、パラメータＲＡ_ＳＵに応じて決定する。表示オブジェクトＨ０１は、表示オブジェクトＮ０１の３次元的な向きをユーザが把握することを支援するための水平面を表現する。図９の上段右には、後続する時点における案内板１０と画像処理装置１００との位置関係が示されており、画像処理装置１００は、撮像面がより水平に近づくように倒されている。パラメータＲＡ_ＳＵ´は、この時点における画像処理装置１００の案内板１０との間の相対的配置を表現する。図９の下段右には、一例としての出力画像Ｉｍ０２が示されている。出力画像Ｉｍ０２には、パラメータＲＡ_ＳＵ´に応じて決定された向きＲＡ_ｕｄ´を有する表示オブジェクトＮ０２が重畳されている。表示オブジェクトＨ０２は、水平面を表現する。

図１０は、図９に例示した出力画像のユーザの視点からの見え方を示す説明図である。図１０の左において、出力画像Ｉｍ０１に重畳された表示オブジェクトＮ０１は、ユーザの視点から見て左前方を示している。図１０の右において、出力画像Ｉｍ０２に重畳された表示オブジェクトＮ０２は、端末の姿勢の変化にも関わらず、やはりユーザの視点から見て左前方を示している。従って、ユーザは、端末を動かしたとしても、実空間において目的地が存在する方向を直感的に知ることができる。

制御部１８０は、一度認識された認識対象が画角から外れた後に、センサモジュール１１４からのセンサデータを用いて端末の相対的配置を追跡することにより、ナビゲーション用の表示オブジェクトを継続的に画面に表示させてもよい。例えば、制御部１８０は、加速度センサにより測定される端末の加速度を積算することにより、端末の位置の変化を追跡し得る。また、制御部１８０は、ジャイロセンサにより測定される端末の回転をを積算することにより、端末の姿勢の変化を追跡し得る。また、制御部１８０は、地磁気センサからのセンサデータを用いて、端末の姿勢を追跡し得る。また、制御部１８０は、測位モジュール１０４が利用可能である場合には、追跡される端末の配置を、当該測位モジュールからの測位データを用いて補正してもよい。

図１１は、端末の移動に伴う端末の配置の追跡の一例について説明するための説明図である。図１１を参照すると、画像処理装置１００を持ってユーザＵａが移動している様子が、時刻ｔ＝Ｔ１１、Ｔ１２、Ｔ１３及びＴ１４のそれぞれについて示されている。時刻Ｔ１１において、画像処理装置１００の画角Ｇ１１内には案内板１０が存在するため、制御部１８０は、認識部１６０により実行される画像認識の結果に基づいて画像処理装置１００の配置を判定することができる。時刻Ｔ１２において、ユーザＵａは移動しているものの、画像処理装置１００の画角Ｇ１２内に案内板１０が存在するため、制御部１８０は、依然として画像認識の結果に基づいて画像処理装置１００の配置を判定することができる。時刻Ｔ１３において、ユーザＵａがさらに移動した結果、画像処理装置１００の画角Ｇ１３内に認識対象が存在しない。この場合、制御部１８０は、センサデータを用いて画像処理装置１００の配置を追跡することにより、ナビゲーション用の表示オブジェクトを継続的に画面に表示し、ユーザにナビゲーションサービスを提供することができる。但し、センサデータを用いた追跡の精度は、その継続時間が長くなるほど低下し得る。時刻Ｔ１４において、ユーザＵａが屋内から屋外に出た結果、測位モジュール１０４が利用可能になり得る。そこで、制御部１８０は、測位モジュール１０４を通じて画像処理装置１００の地理的位置を取得することにより、追跡中の画像処理装置１００の配置を補正する。画像処理装置１００の姿勢もまたセンサデータを用いて補正されてよい。このような追跡及び補正によって、継続的なナビゲーションサービスの提供が可能となり、ユーザの利便性を強化することができる。

制御部１８０は、ナビゲーションの対象となる目的地を、認識された実オブジェクトに関連付けられる目的地候補のリスト又はマップを画面に表示させることにより、ユーザに選択させてもよい。その代わりに、制御部１８０は、ナビゲーションの対象となる目的地を、予めユーザにより選択させてもよい。また、制御部１８０は、単一の目的地がユーザにより選択されていない場合に、認識された実オブジェクトに関連付けられる複数の目的地候補に向かう方向をそれぞれ示す複数の表示オブジェクトを、画面に表示させてもよい。

図１２Ａ〜図１２Ｃは、目的地をユーザに選択させるためのウィンドウの例をそれぞれ示している。図１２Ａに示した第１の例において、目的地選択ウィンドウＷ１は、チェックボックスＣＢ１１及びボタンＢ１２を含む。チェックボックスＣＢ１１は、認識部１６０により認識された実オブジェクトに関連付けられる（例えば、案内板が設置された場所の周辺に存在する）目的地候補のリストを示す。ユーザは、チェックボックスＣＢ１１においていずれかの候補をチェックし、ボタンＢ１２をタップする。それにより、ナビゲーションの対象となる目的地が選択される。

図１２Ｂに示した第２の例において、目的地選択ウィンドウＷ２は、チェックボックスＣＢ１３、ボタンＢ１４及びボタンＢ１５を含む。チェックボックスＣＢ１３は、全ての目的地候補のリストのうちのいくつかを示す。ユーザは、チェックボックスＣＢ１３においていずれかの候補をチェックした上でボタンＢ１４をタップすることにより、所望の目的地を選択してもよい。その代わりに、ユーザは、ボタンＢ１５をタップすることにより、次のページに遷移し、目的地候補のリストのうちの他のいくつかを目的地選択ウィンドウＷ２に表示させてもよい。なお、目的地選択ウィンドウＷ２において、目的地候補が例えば最寄り駅ごとにグルーピングされ、リストアップされる目的地候補が最寄り駅の選択に応じてフィルタリングされてもよい。

図１２Ｃに示した第３の例において、目的地選択ウィンドウＷ３は、認識部１６０により認識された実オブジェクトの地理的位置の周辺のマップと、マップ上にプロットされる複数のアイコンとを含む。アイコンＩＣ１６は、現在地（即ち、認識された実オブジェクトの地理的位置）を示す。アイコンＩＣ１７は、目的地候補の１つの位置を示す。ユーザは、所望の目的地に対応するアイコンをタップすることにより、ナビゲーションの対象となる目的地を選択し得る。

ナビゲーションのための出力画像は、ユーザビリティを向上させるための様々な表示オブジェクトを含み得る。図１３Ａ〜図１３Ｄは、一実施形態において表示され得る表示オブジェクトのいくつかの例を示している。

図１３Ａの第１の例において、出力画像Ｉｍ１１には、表示オブジェクトＮ１１及びＨ１１、並びに補助表示オブジェクトＪ１１、Ｊ１２、Ｊ１３、Ｊ１４及びＪ１５が重畳されている。表示オブジェクトＮ１１は、現在地から目的地に向かう方向を示す。表示オブジェクトＨ１１は、水平面を表現するオブジェクトである。補助表示オブジェクトＪ１１は、画像認識の照準を表現するオブジェクトである。補助表示オブジェクトＪ１２は、現在地を表現するアイコンである。補助表示オブジェクトＪ１３は、目的地を表現するアイコンである。補助表示オブジェクトＪ１４は、現在地、目的地及びその他の場所の表示のための縮尺をユーザが変更するためのスライダである。補助表示オブジェクトＪ１５は、目的地以外のスポット（例えば、案内板、又は選択されなかった目的地候補など）を表現するアイコンである。

図１３Ｂの第２の例において、出力画像Ｉｍ１２には、表示オブジェクトＮ１２、並びに補助表示オブジェクトＪ１２、Ｊ１３、及びＪ１６が重畳されている。表示オブジェクトＮ１２は、現在地から目的地に向かう方向を示す。但し、表示オブジェクトＮ１２は、図１３Ａに例示した表示オブジェクトＮ１１が目的地に向かう直線的な方向を示すのとは対照的に、目的地に向かう非直線的な経路（例えば、ユーザが通行可能な道）に沿った方向を示す。補助表示オブジェクトＪ１６は、入力画像内の認識対象１１の検出位置を示す。ユーザは、補助表示オブジェクトＪ１６を視認することにより、認識対象の認識が成功したこと、及び画像内のどの部分を撮像することが精度の高いナビゲーションのために有益であるかを知ることができる。

図１３Ｃの第３の例は、センサデータを用いた追跡が継続されている最中に表示され得る出力画像Ｉｍ１３を示している。出力画像Ｉｍ１３には、表示オブジェクトＮ１３、補助表示オブジェクトＪ１３、Ｊ１７、及びＪ１８、並びにメッセージＭ１１が重畳されている。表示オブジェクトＮ１３は、現在地から目的地に向かう方向を示す。但し、表示オブジェクトＮ１３の輪郭線は細くなっており、これは追跡の精度が低下している可能性があることをユーザに示す。補助表示オブジェクトＪ１７及びＪ１８は、推定される現在地の近傍に存在する案内板（認識対象を有する実オブジェクト）の位置を表現するアイコンである。メッセージＭ１１は、近傍の案内板にカメラをかざすことをユーザに提案している。

図１３Ｄの第４の例は、複数の目的地についてナビゲーションが行われる場合の出力画像Ｉｍ１４を示している。出力画像Ｉｍ１４には、表示オブジェクトＮ１１ａ、Ｎ１１ｂ及びＮ１１ｃ、並びに補助表示オブジェクトＪ１３ａ、Ｊ１３ｂ及びＪ１３ｃが重畳されている。表示オブジェクトＮ１１ａは、現在地から第１の目的地に向かう方向を示す。補助表示オブジェクトＪ１３ａは、第１の目的地を表現するアイコンである。表示オブジェクトＮ１１ｂは、現在地から第２の目的地に向かう方向を示す。補助表示オブジェクトＪ１３ｂは、第２の目的地を表現するアイコンである。表示オブジェクトＮ１１ｃは、現在地から第３の目的地に向かう方向を示す。補助表示オブジェクトＪ１３ｃは、第３の目的地を表現するアイコンである。

図１３Ａ〜図１３Ｄに例示した様々な表示オブジェクトは、どのように組み合わされて画面に表示されてもよい。

［２−３．処理の流れ］
（１）全体的な流れ
図１４は、本実施形態に係る画像処理装置１００により実行される画像処理の流れの一例を示すフローチャートである。図１４に示した処理は、カメラ１０２により撮像される一連の入力画像の各々について繰り返される。

図１４を参照すると、まず、画像取得部１４０は、視覚的な認識対象を有する実オブジェクトを映す入力画像を、カメラ１０２から取得する（ステップＳ１００）。そして、画像取得部１４０は、取得した入力画像を認識部１６０及び制御部１８０へ出力する。

次に、認識部１６０は、認識ＤＢ１５０により記憶される認識辞書データを用いて、認識対象についての画像認識を実行する（ステップＳ１０２）。そして、認識部１６０は、入力画像内で認識対象が検出されたか否かを判定する（ステップＳ１０４）。認識対象が検出された場合には、処理はステップＳ１１０へ進む。一方、認識対象が検出されなかった場合には、処理はステップＳ１３０へ進む。

認識対象が検出された場合、認識部１６０は、端末配置判定処理を実行することにより、その時点の端末の位置及び姿勢を認識する（ステップＳ１１０）。ここで実行される端末配置判定処理の詳細な流れのいくつかの例について、後にさらに説明する。

認識対象が検出されなかった場合、制御部１８０は、測位モジュール１０４が利用可能であるかを判定する（ステップＳ１３０）。測位モジュール１０４が利用可能である場合、制御部１８０は、測位モジュール１０４を通じて画像処理装置１００の地理的位置を取得する（ステップＳ１３２）。また、制御部１８０は、センサモジュール１１４から、画像処理装置１００の姿勢を示すセンサデータを取得する（ステップＳ１３４）。

測位モジュール１０４が利用可能でない場合、制御部１８０は、画像処理装置１００の配置の追跡を継続するか否かを判定する（ステップＳ１３６）。配置の追跡は、例えば、ユーザからの明示的な指示、認識対象が前回検出された時点からの所定の時間の経過、閾値を上回る動きの検出、又は目的地への到着などの様々な事象に応じて終了され得る。配置の追跡を継続しないと判定された場合には、処理はステップＳ１００へ戻り、次の入力画像について上述した処理が繰り返される。配置の追跡を継続すると判定された場合、制御部１８０は、センサモジュール１１４からのセンサデータを用いて、認識対象が前回検出された時点からの画像処理装置１００の配置の変化を積算することにより、画像処理装置１００の配置を追跡する（ステップＳ１３８）。

ステップＳ１１０、ステップＳ１３４又はステップＳ１３８において画像処理装置１００のその時点の配置が判定されると、制御部１８０は、目的地方向判定処理を実行することにより、画像処理装置１００のスクリーン座標系における目的地に向かう方向を決定する（ステップＳ１４０）。ここで実行される目的地方向判定処理の詳細な流れのいくつかの例について、後にさらに説明する。

次に、制御部１８０は、決定した方向を示すナビゲーション用の表示オブジェクトを生成する（ステップＳ１６２）。制御部１８０は、さらに、水平面、現在地、目的地又は認識の照準などを表現し得る１つ以上の補助的な表示オブジェクトを生成してもよい。そして、制御部１８０は、生成した表示オブジェクトの画像を入力画像に重畳することにより出力画像を生成し、生成した出力画像をディスプレイ１１０の画面に表示させる（ステップＳ１６４）。その後、処理はステップＳ１００へ戻り、次の入力画像について上述した処理が繰り返される。

（２−１）端末配置判定処理−第１の例
図１５Ａは、図１４に示した端末配置判定処理の詳細な流れの第１の例を示すフローチャートである。第１の例において、オブジェクト配置データは、外部のデータサーバから取得される。

図１５Ａを参照すると、まず、認識部１６０は、入力画像から抽出される画像特徴量又は入力画像に含まれるパターンと認識辞書データに含まれる特徴データとの照合の結果に基づいて、認識した実オブジェクトとの間の画像処理装置１００の相対的配置を計算する（ステップＳ１１２）。

次に、認識部１６０は、認識した実オブジェクトの識別情報を用いて外部のデータサーバへデータ要求を送信することにより、当該実オブジェクトの地理的配置を示すオブジェクト配置データをデータサーバから取得する（ステップＳ１１６）。そして、認識部１６０は、取得したオブジェクト配置データをオブジェクト配置ＤＢ１７０へ格納する。

次に、認識部１６０は、取得したオブジェクト配置データにより示される実オブジェクトの地理的配置と、実オブジェクトとの間の画像処理装置１００の相対的配置とから、画像処理装置１００の地理的配置を判定する（ステップＳ１２２）。

なお、画像処理装置１００の地理的配置、即ちグローバル座標系における端末の絶対的な位置及び姿勢がナビゲーションのために必要とされない場合には、ステップＳ１２２の処理は省略されてもよい。

（２−２）端末配置判定処理−第２の例
図１５Ｂは、図１４に示した端末配置判定処理の詳細な流れの第２の例を示すフローチャートである。第２の例において、オブジェクト配置データは、検出された認識対象から復号される。

図１５Ｂを参照すると、まず、認識部１６０は、入力画像から抽出される画像特徴量又は入力画像に含まれるパターンと認識辞書データに含まれる特徴データとの照合の結果に基づいて、認識した実オブジェクトとの間の画像処理装置１００の相対的配置を計算する（ステップＳ１１２）。

次に、認識部１６０は、認識対象に符号化されているオブジェクト配置データを復号することにより、当該認識対象を有する実オブジェクトの地理的配置を示すオブジェクト配置データを取得する（ステップＳ１１８）。そして、認識部１６０は、取得したオブジェクト配置データをオブジェクト配置ＤＢ１７０へ格納する。

次に、認識部１６０は、取得したオブジェクト配置データにより示される実オブジェクトの地理的配置と、実オブジェクトとの間の画像処理装置１００の相対的配置とから、画像処理装置１００の地理的配置を判定する（ステップＳ１２２）。

（２−３）端末配置判定処理−第３の例
図１５Ｃは、図１４に示した端末配置判定処理の詳細な流れの第３の例を示すフローチャートである。第３の例において、オブジェクト配置データは、検出された認識対象に関連付けて実オブジェクトの表面に付加される追加コードから復号される。

図１５Ｃを参照すると、まず、認識部１６０は、入力画像から抽出される画像特徴量又は入力画像に含まれるパターンと認識辞書データに含まれる特徴データとの照合の結果に基づいて、認識した実オブジェクトとの間の画像処理装置１００の相対的配置を計算する（ステップＳ１１２）。

次に、認識部１６０は、認識辞書データに含まれる追加コード配置データを用いて、入力画像内の追加コードの配置を判定する（ステップＳ１１４）。

次に、認識部１６０は、追加コードに符号化されているオブジェクト配置データを復号することにより、実オブジェクトの地理的配置を示すオブジェクト配置データを取得する（ステップＳ１２０）。認識部１６０は、例えば、追加コードが付加されている面が入力画像に正対するように入力画像を変形させた上で、追加コードを読み取るための認識処理を追加コードを含む部分画像に適用してもよい。そして、認識部１６０は、取得したオブジェクト配置データをオブジェクト配置ＤＢ１７０へ格納する。

次に、認識部１６０は、取得したオブジェクト配置データにより示される実オブジェクトの地理的配置と、実オブジェクトとの間の画像処理装置１００の相対的配置とから、画像処理装置１００の地理的配置を判定する（ステップＳ１２２）。

（３−１）目的地方向判定処理−第１の例
図１６Ａは、図１４に示した目的地方向判定処理の詳細な流れの第１の例を示すフローチャートである。第１の例において、目的地に向かう方向は、目的地の地理的位置及び端末の地理的配置から判定される。

図１６Ａを参照すると、まず、制御部１８０は、ナビゲーションの対象とする１つ以上の目的地を決定する（ステップＳ１４２）。制御部１８０は、例えば、図１２Ａ〜図１２Ｃに例示したようなユーザインタフェースを介してユーザにより選択された目的地を、ナビゲーションの対象として決定してもよい。その代わりに、制御部１８０は、周辺に存在する１つ以上のスポット、ナビゲーションの順路に従って選択されるスポット、又は広告の目的で選択されるスポットなどを、ナビゲーションの対象として自動的に決定してもよい。

次に、制御部１８０は、決定した目的地の地理的位置を、オブジェクト配置ＤＢ１７０に格納されているオブジェクト配置データから取得する（ステップＳ１４４）。

次に、制御部１８０は、取得した目的地の地理的位置、及び画像処理装置１００の地理的配置から、画像処理装置１００のスクリーン座標系における目的地に向かう方向を計算する（ステップＳ１４８）。

（３−２）目的地方向判定処理−第２の例
図１６Ｂは、図１４に示した目的地方向判定処理の詳細な流れの第２の例を示すフローチャートである。第２の例において、目的地に向かう方向は、実オブジェクトを基準とする目的地の相対的位置及び端末の相対的配置から判定される。

図１６Ｂを参照すると、まず、制御部１８０は、第１の例と同様に、ナビゲーションの対象とする１つ以上の目的地を決定する（ステップＳ１４２）。

次に、制御部１８０は、決定した目的地の実オブジェクトからの相対的位置を、オブジェクト配置ＤＢ１７０に格納されているオブジェクト配置データから取得する（ステップＳ１４６）。

次に、制御部１８０は、取得した目的地の相対的位置及び画像処理装置１００の相対的配置から、画像処理装置１００のスクリーン座標系における目的地に向かう方向を計算する（ステップＳ１５０）。

＜３．応用例＞
［３−１．スタンプラリー］
本開示に係る技術は、様々な用途に適用可能である。一例として、スタンプラリーの用途についてここで説明する。スタンプラリーは、一般的には、何らかのテーマを共有する複数のスポットをユーザが順に訪問し、各スポットに置かれたスタンプをスタンプカードに押印することにより、スタンプの収集を楽しみ又は収集結果に応じた特典を獲得しようとするイベントである。スタンプをスタンプカードに押印する代わりに、各スポットをユーザが訪問した証拠として、各スポットに置かれる目印をユーザが撮像する手法もある。

このようなスタンプラリーにおいて、本開示に係る技術は、次に訪問すべきスポットへユーザを誘導するために使用され得る。図１７は、スタンプラリーの応用例において表示され得る表示オブジェクトのいくつかの例を示す説明図である。図１７の左に示した出力画像Ｉｍ２１には、表示オブジェクトＮ２１及び補助表示オブジェクトＪ２１が重畳されている。表示オブジェクトＮ２１は、現在地からスタンプラリーにおける次のスポットに向かう方向を示す。補助表示オブジェクトＪ２１は、目的地としての当該次のスポットを表現するアイコンである。

図１７の右に示した出力画像Ｉｍ２２には、実オブジェクト４０が映っている。実オブジェクト４０は、スタンプラリーのスポットに掲示されるポスターである。即ち、ユーザは、この時点で１つのスポットに到達しており、その後次のスポットを目指すことになる。ポスター４０の印刷面には、認識対象４１が印刷されている。画像処理装置１００の認識部１６０は、認識対象４１について画像認識を実行することにより、ポスター４０との間の画像処理装置１００の相対的配置を認識する。そして、制御部１８０は、画像処理装置１００の相対的配置と、ポスター４０に関連して取得されるオブジェクト配置データとを用いて、次のスポットへ向かう方向を判定する。出力画像Ｉｍ２２には、表示オブジェクトＮ２２及び補助表示オブジェクトＪ２１が重畳されている。補助表示オブジェクトＪ２１は、ポスター４０が掲示されたスポットにユーザが到達したことを通知するように、強調的に表示されている。表示オブジェクトＮ２２は、画像認識に基づいて判定された次のスポットへ向かう方向を示している。

スタンプラリーの用途において、複数のスポットで共通的な認識対象と、個々のスポットを識別するための追加コードとが用意されてもよい。その代わりに、複数のスポットで互いに異なる認識対象が用意されてもよい。

［３−２．ＨＭＤの利用］
上述したように、本開示に係る技術は、ＨＭＤ端末を用いて実現されてもよい。図１８は、画像処理装置の一変形例について説明するための説明図である。図１８の例において、画像処理装置２００は、ユーザの頭部に装着される眼鏡型のＨＭＤ端末である。画像処理装置２００は、筐体２０１、カメラ２０２、接触面２０６並びに一対の画面２１０ａ及び２１０ｂを備える。筐体２０１は、画面２１０ａ及び２１０ｂを支持するフレームと、ユーザの側頭部に位置するいわゆるテンプルとを含む。テンプルの内部には、画像処理のためのメモリ及びプロセッサを含むいくつかのモジュールが格納される。それらモジュールは、図５に示した画像処理装置１００の様々な論理的機能と同等の機能を有する。カメラ２０２は、そのレンズの光軸がユーザの視線と略平行になるように配置され、画像を撮像するために用いられる。接触面２０６は、ユーザによるタッチを検出する面であり、画像処理装置２００がユーザ入力を受け付けるために用いられる。画面２１０ａ及び２１０ｂは、ユーザの左目及び右目の前方にそれぞれ配置される、シースルー型の又は非シースルー型の画面である。

図１９は、図１８の変形例において表示され得る表示オブジェクトのいくつかの例を示す説明図である。図１９を参照すると、画像処理装置２００の画面に、表示オブジェクトＮ３１、表示オブジェクトＨ３１及び補助表示オブジェクトＪ３１が表示されている。表示オブジェクトＮ３１は、現在地から目的地に向かう方向を示すナビゲーション用のオブジェクトである。表示オブジェクトＨ３１は、水平面を表現するオブジェクトである。補助表示オブジェクトＪ３１は、入力画像内の認識対象の検出位置を示すオブジェクトである。補助表示オブジェクトＪ３１は、静的なアイコンであってもよく、又はアニメーションであってもよい。図１９の例では、実オブジェクト１０の認識対象１１が検出されている。

ＨＭＤの用途においては、図１９の例のようにナビゲーション用の表示オブジェクトを画面の端部に表示させることにより、ユーザの視界を妨げることなく、ナビゲーションサービスを安全に提供することができる。目的地の選択などのためのユーザインタフェースは、画面２１０ａ及び２１０ｂに表示されてもよく、又は画像処理装置２００と連携する他の装置（例えば、ユーザが保持するスマートフォン）の画面に表示されてもよい。

［３−３．複数の装置の連携］
本開示に係る技術は、複数の装置が互いに連携することにより実現されてもよい。例えば、上述した認識部１６０及び制御部１８０の機能の一部は、画像処理装置１００又は２００とは物理的に異なる装置により実行されてもよい。

図２０は、複数の装置の連携について説明するための説明図である。図２０を参照すると、画像処理装置１００、及び画像処理装置１００と通信するサーバ装置３００が示されている。サーバ装置３００は、ユーザの近傍に構築されるパーソナルネットワーク若しくはホームネットワーク上に配置されてもよく、又はインターネットなどの遠隔的なネットワーク上に配置されてもよい。画像処理装置１００は、例えば入力画像をサーバ装置３００へ送信する（ＳＩＧ１）。サーバ装置３００は、図５に示した認識部１６０及び制御部１８０の機能を有する装置である。サーバ装置３００は、画像処理装置１００から受信される入力画像について画像認識を実行し、認識対象を有する実オブジェクトを認識する。そして、サーバ装置３００は、画像認識の結果に応じた情報を画像処理装置１００へ送信する（ＳＩＧ２）。サーバ装置３００から画像処理装置１００へ送信される情報は、実オブジェクトとの間の画像処理装置１００の相対的配置を示すパラメータ、ユーザの目的地に向かう方向を示すパラメータ、又は目的地に向かう方向を示す表示オブジェクトのグラフィックデータなどであってよい。画像処理装置１００は、サーバ装置３００から受信される情報を用いて、目的地に向かう方向を示す表示オブジェクトの重畳された出力画像を画面に表示させる。かかる構成によれば、画像処理装置１００が少ない処理リソースしか有しない場合であっても、ユーザにナビゲーションサービスを提供することができる。

＜４．まとめ＞
ここまで、図１〜図２０を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、実オブジェクトが有する視覚的な認識対象について画像認識を実行することにより、画像を撮像した端末の実オブジェクトとの間の相対的配置が認識され、認識された当該相対的配置に基づいて、目的地に向かう方向を示す表示オブジェクトが端末の画面に表示される。従って、測位モジュールに頼ることなく、目的地に向けてのナビゲーションをユーザに提供することができる。

一例として、目的地は、撮像された実オブジェクトに関連付けられる目的地候補のリスト又はマップを表示する画面を介してユーザにより選択されてもよい。かかる構成によれば、認識対象を有する実オブジェクトの周辺に存在する主要なスポットを、ユーザが容易に目的地として選択することが可能となる。また、広告の対象商品の画像が印刷されたポスターをユーザが撮像した場合に、当該対象商品を販売する近隣の店舗をユーザに選択させて、ユーザを店舗へ誘導するような応用も可能である。その代わりに、目的地は、予めユーザにより選択されてもよい。また、１つ以上の目的地が自動的に選択されてもよい。

また、一例として、目的地に向かう方向は、端末の相対的配置、実オブジェクトの地理的配置、及び目的地の地理的位置から判定され得る。通常、実オブジェクトの地理的配置及び目的地の地理的位置は変動しないため、かかる構成によれば、動的に認識される端末の配置と予め定義されるデータとを用いて、目的地に向かう方向を適切に判定することができる。他の例として、目的地に向かう方向は、端末の相対的配置及び目的地の実オブジェクトとの間の相対的位置から判定され得る。この場合にも、動的に認識される端末の配置と予め定義されるデータとを用いて、目的地に向かう方向を適切に判定することができる。

実オブジェクトの配置又は目的地の位置を定義するデータがデータサーバから動的に取得される場合には、予めデータを各端末に配布する必要性が無いため、上述した仕組みの導入が容易となる。一方、実オブジェクトの配置又は目的地の位置を定義するデータが実オブジェクトの表面上で視覚的に符号化される場合には、やはり予めデータを各端末に配布する必要性はなく、さらに各端末がデータサーバと通信する必要性も回避される。従って、測位モジュールも無線通信モジュールも利用可能でない状況においても、ユーザにナビゲーションサービスを提供することができる。

また、上述した実施形態によれば、端末が有するセンサからのセンサデータを用いて端末の配置が追跡され、目的地に向かう方向を示す表示オブジェクトが継続的に画面に表示される。それにより、ユーザが動いている間にも、ユーザに中断なくナビゲーションサービスを提供することが可能となる。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
視覚的な認識対象を有する実オブジェクトを映す画像を取得する画像取得部と、
前記認識対象について画像認識を実行することにより、前記画像を撮像した端末の前記実オブジェクトとの間の相対的配置を認識する認識部と、
前記認識部により認識される前記端末の前記相対的配置に基づいて、ユーザの目的地に向かう方向を示す表示オブジェクトを前記端末の画面に表示させる制御部と、
を備える画像処理装置。
（２）
前記制御部は、前記実オブジェクトに関連付けられる目的地候補のリスト又はマップを前記画面に表示させることにより、前記目的地を前記ユーザに選択させる、前記（１）に記載の画像処理装置。
（３）
前記目的地は、予め前記ユーザにより選択される、前記（１）に記載の画像処理装置。
（４）
前記制御部は、単一の目的地が前記ユーザにより選択されていない場合に、前記実オブジェクトに関連付けられる複数の目的地候補に向かう方向をそれぞれ示す複数の表示オブジェクトを前記画面に表示させる、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記制御部は、前記画像内の前記認識対象の検出位置を示す補助表示オブジェクトを前記画面に表示させる、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記表示オブジェクトは、前記目的地に向かう直線的な方向又は非直線的な経路に沿った前記方向を示す、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記制御部は、前記端末の前記相対的配置、前記実オブジェクトの地理的配置、及び前記目的地の地理的位置から、前記表示オブジェクトが示すべき前記方向を判定する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記制御部は、前記端末の前記相対的配置及び前記目的地の前記実オブジェクトとの間の相対的位置から、前記表示オブジェクトが示すべき前記方向を判定する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（９）
前記制御部は、前記端末が有するセンサからのセンサデータを用いて前記端末の配置を追跡することにより、前記表示オブジェクトを継続的に前記画面に表示させる、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記制御部は、前記端末の地理的位置を測定する測位モジュールが利用可能である場合に、追跡される前記端末の配置を、当該測位モジュールからの測位データを用いて補正する、前記（９）に記載の画像処理装置。
（１１）
前記実オブジェクトの前記地理的配置は、データサーバから取得される配置データにより示される、前記（７）に記載の画像処理装置。
（１２）
前記実オブジェクトの前記地理的配置は、前記認識対象又は前記認識対象に関連付けられる前記実オブジェクトの表面上の追加コードから復号される、前記（７）に記載の画像処理装置。
（１３）
前記目的地の前記相対的位置は、データサーバから取得される配置データにより示される、前記（８）に記載の画像処理装置。
（１４）
前記目的地の前記相対的位置は、前記認識対象又は前記認識対象に関連付けられる前記実オブジェクトの表面上の追加コードから復号される、前記（８）に記載の画像処理装置。
（１５）
前記画像処理装置は、前記端末である、前記（１）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
前記画像処理装置は、前記端末と通信するサーバ装置である、前記（１）〜（１４）のいずれか１項に記載の画像処理装置。
（１７）
画像処理装置により実行される画像処理方法であって、
視覚的な認識対象を有する実オブジェクトを映す画像を取得することと、
前記認識対象について画像認識を実行することにより、前記画像を撮像した端末の前記実オブジェクトとの間の相対的配置を認識することと、
認識された前記端末の前記相対的配置に基づいて、ユーザの目的地に向かう方向を示す表示オブジェクトを前記端末の画面に表示させることと、
を含む画像処理方法。
（１８）
画像処理装置を制御するコンピュータを、
視覚的な認識対象を有する実オブジェクトを映す画像を取得する画像取得部と、
前記認識対象について画像認識を実行することにより、前記画像を撮像した端末の前記実オブジェクトとの間の相対的配置を認識する認識部と、
前記認識部により認識される前記端末の前記相対的配置に基づいて、ユーザの目的地に向かう方向を示す表示オブジェクトを前記端末の画面に表示させる制御部と、
として機能させるためのプログラム。

１０ 実オブジェクト
１１ 認識対象
１００，２００ 画像処理装置
１４０ 画像取得部
１６０ 認識部
１８０ 制御部
１７１ａ，ｂ オブジェクト配置データ

Claims (18)

1. 実空間に配置され各々が視覚的な認識対象を有する複数の実オブジェクトのうちの１つを映す画像を取得する画像取得部と、
   前記画像に映る実オブジェクトの前記認識対象について画像認識を実行することにより、前記画像を撮像した端末の前記実オブジェクトとの間の相対的配置を認識する認識部と、
   前記画像認識の結果に関連して取得される前記複数の実オブジェクトのうちの他の実オブジェクトの地理的配置、及び前記認識部により認識される前記端末の前記相対的配置に基づいて、ユーザの次の目的地としての前記他の実オブジェクトに向かう方向を示す表示オブジェクトを前記端末の画面に表示させる制御部と、
   を備える画像処理装置。
2. 前記制御部は、前記ユーザが前記画像に映る実オブジェクトの場所に到達したことを強調的に示す補助表示オブジェクトを前記画面にさらに表示させる、請求項１に記載の画像処理装置。
3. 前記認識対象は、前記複数の実オブジェクトに共通的な部分と個々の実オブジェクトを識別するための追加的な部分とを含む、請求項１又は請求項２に記載の画像処理装置。
4. 前記複数の実オブジェクトは、スタンプラリーにおいて前記ユーザが訪問すべきスポットに配置される、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記制御部は、前記画像内の前記認識対象の検出位置を示す補助表示オブジェクトを前記画面に表示させる、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記表示オブジェクトは、前記目的地に向かう直線的な方向又は非直線的な経路に沿った前記方向を示す、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記制御部は、前記端末の前記相対的配置、前記実オブジェクトの地理的配置、及び前記目的地の地理的位置から、前記表示オブジェクトが示すべき前記方向を判定する、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記制御部は、前記端末の前記相対的配置及び前記目的地の前記実オブジェクトとの間の相対的位置から、前記表示オブジェクトが示すべき前記方向を判定する、請求項１〜６のいずれか１項に記載の画像処理装置。
9. 前記制御部は、前記端末が有するセンサからのセンサデータを用いて前記端末の配置を追跡することにより、前記表示オブジェクトを継続的に前記画面に表示させる、請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記制御部は、前記端末の地理的位置を測定する測位モジュールが利用可能である場合に、追跡される前記端末の配置を、当該測位モジュールからの測位データを用いて補正する、請求項９に記載の画像処理装置。
11. 前記他の実オブジェクトの前記地理的配置は、データサーバから取得される配置データにより示される、請求項１に記載の画像処理装置。
12. 前記他の実オブジェクトの前記地理的配置は、前記認識対象又は前記認識対象に関連付けられる前記実オブジェクトの表面上の追加コードから復号される、請求項１に記載の画像処理装置。
13. 前記目的地の前記相対的位置は、データサーバから取得される配置データにより示される、請求項８に記載の画像処理装置。
14. 前記目的地の前記相対的位置は、前記認識対象又は前記認識対象に関連付けられる前記実オブジェクトの表面上の追加コードから復号される、請求項８に記載の画像処理装置。
15. 前記画像処理装置は、前記端末である、請求項１〜１４のいずれか１項に記載の画像処理装置。
16. 前記画像処理装置は、前記端末と通信するサーバ装置である、請求項１〜１４のいずれか１項に記載の画像処理装置。
17. 画像処理装置により実行される画像処理方法であって、
    実空間に配置され各々が視覚的な認識対象を有する複数の実オブジェクトのうちの１つを映す画像を取得することと、
    前記画像に映る実オブジェクトの前記認識対象について画像認識を実行することにより、前記画像を撮像した端末の前記実オブジェクトとの間の相対的配置を認識することと、
    前記画像認識の結果に関連して取得される前記複数の実オブジェクトのうちの他の実オブジェクトの地理的配置、及び認識された前記端末の前記相対的配置に基づいて、ユーザの次の目的地としての前記他の実オブジェクトに向かう方向を示す表示オブジェクトを前記端末の画面に表示させることと、
    を含む画像処理方法。
18. 画像処理装置を制御するコンピュータを、
    実空間に配置され各々が視覚的な認識対象を有する複数の実オブジェクトのうちの１つを映す画像を取得する画像取得部と、
    前記画像に映る実オブジェクトの前記認識対象について画像認識を実行することにより、前記画像を撮像した端末の前記実オブジェクトとの間の相対的配置を認識する認識部と、
    前記画像認識の結果に関連して取得される前記複数の実オブジェクトのうちの他の実オブジェクトの地理的配置、及び前記認識部により認識される前記端末の前記相対的配置に基づいて、ユーザの次の目的地としての前記他の実オブジェクトに向かう方向を示す表示オブジェクトを前記端末の画面に表示させる制御部と、
    として機能させるためのプログラム。

Images