JP5741160B2 - 表示制御装置、表示制御方法、およびプログラム - Google Patents

Description

本発明は、表示制御装置、表示制御方法、およびプログラムに関する。

近年、画像認識技術が高度化しており、撮像装置からの入力画像に含まれる実オブジェクト（例えば、看板やビルなどの物体）の位置や姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）アプリケーションが知られている。ＡＲアプリケーションによれば、実空間画像に含まれる実オブジェクトに、実オブジェクトに対応付けられた仮想オブジェクト（例えば、広告情報、ナビゲーション情報、またはゲームのための情報）を付加することができる。なお、このようなＡＲアプリケーションについては例えば特許文献１に開示されている。

特開２０１０−４９１５８号公報

しかし、仮想オブジェクトは、実オブジェクトに対して一律的な姿勢で実オブジェクトに付加される傾向にある。このため、実オブジェクトの姿勢によっては、仮想オブジェクトの視認性が損なわれる場合がある。

そこで、本開示では仮想オブジェクトの視認性を向上することが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。

本開示によれば、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置が提供される。

また、本開示によれば、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの姿勢を、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対して相対的に変化させる、表示制御方法が提供される。

また、本開示によれば、コンピュータを、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部であって、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる制御部、として機能させるためのプログラムが提供される。

以上説明したように本開示に係る表示制御装置、表示制御方法、およびプログラムによれば、仮想オブジェクトの視認性を向上することが可能である。

本開示によるＡＲシステムの構成を示した説明図である。 仮想オブジェクトが付加された実空間画像の具体例を示した説明図である。 本開示の比較例を示した説明図である。 携帯端末のハードウェア構成を示した説明図である。 第１の実施形態による携帯端末の構成を示した機能ブロック図である。 実オブジェクトの正対状態を示した説明図である。 実オブジェクトの面がｙ軸回りに回転した状態を示した説明図である。 第１の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。 第１の実施形態による実空間画像へのラベルグラフィックの他の付加例を示した説明図である。 複数の実オブジェクトが存在する場合のラベルグラフィックの付加を示した説明図である。 実オブジェクトの面がｘ軸回りに回転した状態を示した説明図である。 第１の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。 第１の実施形態による携帯端末の動作を示したフローチャートである。 本開示の第２の実施形態によるＡＲシステムの構成例を示した説明図である。 本開示の第２の実施形態による携帯端末の構成を示した機能ブロック図である。 第２の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。 第２の実施形態による他の実空間画像へのラベルグラフィックの付加例を示した説明図である。 第２の実施形態の変形例による実空間画像へのラベルグラフィックの付加例を示した説明図である。 第３の実施形態によるＡＲシステムを示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．ＡＲシステムの概要
２．各実施形態の説明
２−１．第１の実施形態
２−２．第２の実施形態
２−３．第３の実施形態
３．むすび

＜＜１．ＡＲシステムの概要＞＞
本開示によるＡＲシステムは、一例として「２−１．第１の実施形態」〜「２−３．第３の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態によるＡＲシステムを構成する表示制御装置（携帯端末２０、ＡＲサーバ３０）は、
Ａ．実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部（２４１、２４２）を備え、
Ｂ．制御部は、実空間画像における実オブジェクトの姿勢に応じ、実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる。

以下では、まず、このような各実施形態において共通するＡＲシステムの基本構成について図１および図２を参照して説明する。

図１は、本開示によるＡＲシステムの構成を示した説明図である。図１に示したように、本開示によるＡＲシステムは、撮像機能を有する携帯端末２０を含む。この携帯端末２０は、実空間画像を撮像し、実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトを実空間画像に付加してディスプレイ２６に表示することができる。

例えば、携帯端末２０により撮像された実オブジェクトが図１に示したような電車の発着時刻を示す駅時刻表４０Ａである場合、携帯端末２０は、駅時刻表４０Ａに対応する仮想オブジェクトが付加された実空間画像をディスプレイ２６に表示することが可能である。以下、図２を参照し、仮想オブジェクトが付加された実空間画像についてより具体的に説明する。

図２は、仮想オブジェクトが付加された実空間画像の具体例を示した説明図である。図２に示したように、実空間画像Ｐは、実オブジェクトである駅時刻表４０Ａ、及び駅時刻表４０Ａに付加された仮想オブジェクトであるラベルグラフィック５０Ａを含む。図２に示したように、ラベルグラフィック５０Ａは例えば駅時刻表４０Ａと同一平面に付加される。ユーザは、このような仮想オブジェクトが付加された実空間画像を視認することにより、実空間から直接には得られない情報（図２の場合、例えば実オブジェクトが時刻表であること。）を把握することができる。

さらに、ユーザは、表示画面において所定の操作を行うことにより、実空間画像に含まれる仮想オブジェクトの表示を変化させることが可能である。例えば、１の実オブジェクトに複数の仮想オブジェクトが関連付けられている場合、携帯端末２０は、ユーザ操作に応じて複数の仮想オブジェクトのうちで表示する仮想オブジェクトを切り替えてもよい。より具体的に説明すると、駅時刻表４０Ａにラベルグラフィック５０Ａおよび周辺マップを示す仮想オブジェクトが関連付けられている場合、携帯端末２０は、ユーザ操作に応じて駅時刻表４０Ａの表示上に周辺マップを示す仮想オブジェクトを重畳してもよい。

なお、上記のように１の実オブジェクトに複数の仮想オブジェクトが関連付けられている場合、携帯端末２０は、関連付けられている仮想オブジェクトを識別するタブグラフィックを実オブジェクトに付加してもよい。例えば、携帯端末２０は、ラベルグラフィック５０Ａに加え、「周辺マップ」というテキスト情報からなるタブグラフィックを時刻表４０Ａに付加してもよい。

以上、壁に配置された駅時刻表４０Ａを実オブジェクトの一例として説明したが、図１に示した床に配置される出口案内４０Ｂも実オブジェクトとして同様に扱うことが可能である。さらに、実オブジェクトは、看板、ビル、乗り物、食品、または玩具などの物体や、ＱＲコードやＡＲマーカーのような識別パターンであってもよい。

また、図１においては、携帯端末２０の一例としてスマートフォンを示したが、携帯端末２０はスマートフォンに限定されない。例えば、携帯端末２０は、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器であってもよい。さらに、携帯端末２０は表示制御装置の一例に過ぎず、表示制御装置はネットワーク側に設けられるサーバであってもよい。

ところで、上述したラベルグラフィック５０を一律的に実オブジェクト４０と同一平面に付加すると、ラベルグラフィック５０の視認性や操作性が損なわれる場合がある。例えば、図３に示したように、駅時刻表４０Ａを構成する平面と実空間画像の撮像光軸の成す角度が浅い場合にラベルグラフィック５０Ａ’を駅時刻表４０Ａと同一平面に付加すると、傾きの大きさによりラベルグラフィック５０Ａ’の表示が小さくなるので、視認性が下がる。さらに、ラベルグラフィック５０Ａ’がユーザにより操作可能な領域である場合、ラベルグラフィック５０Ａ’の表示が小さいと操作判定領域も極端に小さくなってしまう。

そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、仮想オブジェクトの視認性および操作性を向上することが可能である。以下、図４を参照してこのような携帯端末２０のハードウェア構成を説明した後、本開示の各実施形態について順次詳細に説明する。

（携帯端末のハードウェア構成）
図４は、携帯端末２０のハードウェア構成を示した説明図である。図３に示したように、携帯端末２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０８と、出力装置２１０と、ストレージ装置２１１と、ドライブ２１２と、撮像装置２１３と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って無線通信装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。携帯端末２０のユーザは、該入力装置２０８を操作することにより、携帯端末２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかる携帯端末２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置２１１は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、携帯端末２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

撮像装置２１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。

通信装置２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

なお、ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

＜＜２．各実施形態の説明＞＞
以上、図１〜図４を参照し、本開示によるＡＲシステムの基本構成を説明した。以下、図５〜図１９を参照し、本開示による第１の実施形態〜第３の実施形態について詳細に説明する。

＜２−１．第１の実施形態＞
−−−携帯端末の構成−−−
図５は、第１の実施形態による携帯端末２０−１の構成を示した機能ブロック図である。図５に示したように、第１の実施形態による携帯端末２０−１は、ディスプレイ２６と、タッチパネル２７と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、仮想オブジェクトＤＢ２２８と、仮想オブジェクト取得部２３２と、制御部２４１と、を備える。

ディスプレイ２６は、ＬＣＤまたはＯＬＥＤなどにより構成される表示モジュールである。ディスプレイ２６は、制御部２４１による制御に従って多様な画面を表示する。例えば、ディスプレイ２６は、撮像装置２１３により撮像中の実空間画像および実オブジェクトに付加される仮想オブジェクトを表示する。

なお、図５においてはディスプレイ２６が携帯端末２０−１の一部として実装される例を示したが、ディスプレイ２６は、携帯端末２０−１とは別体に構成されてもよい。また、ディスプレイ２６は、ユーザの頭部に装着されるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってもよい。

タッチパネル２７は、ディスプレイ２６に積層される操作検出部である。タッチパネル２７は、ユーザの指やタッチペンなどの操作体の近接または接触を検出することができる。なお、タッチパネル２７は操作検出部の一例に過ぎず、携帯端末２０−１は、キーボードおよびボタンなどの他の操作用の構成を含んでもよい。

撮像装置２１３は、図４を参照して説明したように、撮像光学系および信号変換素子を備え、制御部２４１による制御に従って実空間画像（動画または静止画）を撮像する。なお、撮像装置２１３は、動画撮像用の構成と、静止画撮像用の構成を別個に備えてもよい。

特徴量ＤＢ２２０は、実オブジェクトの画像の特徴量データを記憶するデータベースである。具体的には、特徴量ＤＢ２２０においては、各実オブジェクトを識別するための識別情報と、各実オブジェクトの特徴量データが関連付けられる。特徴量データは、例えば、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。

画像認識部２２４は、撮像装置２１３により撮像された実空間画像に含まれる実オブジェクト、および当該実オブジェクトの実空間画像における位置および姿勢を認識する。例えば、画像認識部２２４は、実空間画像から決定される特徴量をデータベース２２０に記憶されている各実オブジェクトの特徴量と照合することにより、実空間画像に含まれる実オブジェクトを認識する。より具体的には、画像認識部２２４は、ＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの特徴量決定法に従って実空間画像内の実オブジェクトの特徴量を決定し、決定した特徴量をデータベース２２０に記憶されている各実オブジェクトの特徴量と照合する。そして、画像認識部２２４は、実空間画像内の実オブジェクトの特徴量と最も適合する特徴量と関連付けられている実オブジェクトの識別情報、実空間画像における位置および姿勢を認識する。

なお、画像認識部２２４は、既知の図形若しくは記号、人工マーカ（例えば、バーコード若しくはＱＲコード）又は自然マーカなどの実オブジェクトを認識し、当該実オブジェクトの実空間画像におけるサイズおよび形状から当該実オブジェクトの位置及び姿勢を認識してもよい。

また、上記では、実空間画像に含まれる実オブジェクトを画像処理により認識する例を説明したが、実オブジェクトの認識方法は画像処理に限定されない。例えば、撮像装置２１３が向けられている方向、および携帯端末２０−１の現在位置を検出し、検出結果に基づいて実空間画像に含まれている実オブジェクト、実空間画像における当該実オブジェクトの位置および姿勢を推定することも可能である。

仮想オブジェクトＤＢ２２８は、実オブジェクトに付加するための仮想オブジェクトを記憶するデータベースである。具体的には、仮想オブジェクトＤＢ２２８においては、仮想オブジェクトの識別情報、実オブジェクトの識別情報、実オブジェクトからの相対的な表示位置を示す設定情報、およびユーザに呈示される仮想オブジェクトが関連付けられる。仮想オブジェクトには、例えば図２を参照して説明したようなラベルグラフィック５０が該当するが、ラベルグラフィック５０は仮想オブジェクトの一例に過ぎない。仮想オブジェクトは、テキスト形式であってもよいし、イメージ形式であってもよい。

仮想オブジェクト取得部２３２は、画像認識部２２４により認識された実オブジェクトに対応する仮想オブジェクトおよび設定情報を取得する。例えば、仮想オブジェクト取得部２３２は、画像認識部２２４により認識された実オブジェクトの識別情報に関連付けられている仮想オブジェクトおよび設定情報を仮想オブジェクトＤＢ２２８から取得する。

制御部２４１は、携帯端末２０−１の動作全般を制御する。例えば、制御部２４１は、仮想オブジェクト取得部２３２により取得された仮想オブジェクトを実空間画像に付加し、仮想オブジェクトが付加された実空間画像をディスプレイ２６に表示させる。

ここで、制御部２４１は、実空間画像における実オブジェクトの姿勢に応じ、実オブジェクトに対する仮想オブジェクトの相対的な姿勢を変化させる。例えば、制御部２４１は、実オブジェクトの面の、実空間画像の撮像光軸と交差する軸回りの回転角に応じ、実オブジェクトの面と同一の面（、平面および曲面を含む。面という語に関し、以下同様である。）、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面などに前記仮想オブジェクトを付加する。

具体例として、制御部２４１は、実オブジェクトの正対状態を基準とする上記軸回りの回転角が所定値未満である場合には実オブジェクトの面と同一または平行な面上に仮想オブジェクトを付加してもよい。一方、制御部２４１は、正対状態を基準とする上記軸回りの回転角が所定値以上である場合には実オブジェクトの面と異なる面上に仮想オブジェクトを付加してもよい。以下、このような制御部２４１の機能をより詳細に説明する。

（正対状態）
まず、図６を参照し、実オブジェクトの正対状態について説明する。図６は、実オブジェクトの正対状態を示した説明図である。なお、本明細書で用いるｚ軸は実空間画像の撮像光軸であり、ｘ軸は実空間画像の水平方向に沿う軸であり、ｙ軸は実空間画像の鉛直方向に沿う軸であり、ｘ軸、ｙ軸およびｚ軸は各々直交する。

図６に示したように、正対状態は、実オブジェクト４０の面が撮像光軸であるｚ軸と直交する状態である。なお、図６に示した実オブジェクト４０の面は、実オブジェクト４０の実際の面と異なってもよく、実オブジェクト４０に関して事前に定義されている面であってもよい。以下では、この正対状態を基準とする実オブジェクト４０の面の回転角を議論する。ただし、回転角の基準となる状態は正対状態に限られず、実オブジェクトの他の姿勢を基準状態として扱ってもよい。

（ｙ軸回りの回転角α）
図７は、実オブジェクト４０の面がｙ軸回りに回転した状態を示した説明図である。本明細書においては、図７に示したように、正対状態を基準とするｙ軸回りの実オブジェクト４０の面の回転角をαと称する。

（回転角αに基づく表示制御）
制御部２４１は、回転角αが所定値未満である場合、実オブジェクトの面と同一または平行な平面上に仮想オブジェクトであるラベルグラフィックを付加してもよい。一方、制御部２４１は、回転角αが所定値以上である場合、実オブジェクトの面と異なる平面上にラベルグラフィックを付加してもよい。以下、この点について図８〜図１０を参照して具体的に説明する。

図８は、第１の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。図８に示したように、駅時刻表４０Ａの回転角αが所定値以上である場合、制御部２４１は、駅時刻表４０Ａと直交する平面上（ｘ−ｚ平面において駅時刻表４０Ａと９０度または２７０度を形成する平面上）にラベルグラフィック５０Ａを付加してもよい。かかる構成により、ラベルグラフィック５０Ａの表示面積の拡大しつつ、正対状態を基準とする傾きを低減できるので、ラベルグラフィック５０Ａの視認性を向上することが可能となる。

さらに、ラベルグラフィック５０Ａのような仮想オブジェクトを図８に示したように実オブジェクトと重ならない領域に付加することにより、実オブジェクトの視認性を確保することができる。

なお、制御部２４１は、実オブジェクトの回転角αが所定値より大きくなったことによりラベルグラフィック５０Ａの相対的な姿勢を変化させる場合、ユーザが変化を認識できるように、姿勢変化の過程をアニメーションで表現してもよい。

図９は、第１の実施形態による実空間画像へのラベルグラフィックの他の付加例を示した説明図である。図９に示したように、駅時刻表４０Ａの回転角αが所定値以上である場合、制御部２４１は、撮像光軸であるｚ軸と直交する平面上（すなわち、ｘ−ｙ平面上）にラベルグラフィック５０Ａを付加してもよい。かかる構成により、上記同様にラベルグラフィック５０Ａの視認性を確保することが可能となる。

なお、制御部２４１は、図１０に示したように実空間画像に複数の実オブジェクト４０Ｌ、４０Ｍ、４０Ｎが含まれる場合、各実オブジェクト４０の各々に対応するラベルグラフィック５０Ｌ、５０Ｍおよび５０Ｎが重ならないように各ラベルグラフィック５０を付加してもよい。かかる構成により、各ラベルグラフィック５０の視認性を確保することが可能である。

以上、図７〜図１０を参照して実オブジェクト４０の面がｙ軸回りに回転した場合の表示制御について説明したが、以下に説明するように、実オブジェクト４０の面がｘ軸回りに回転した場合にも同様の表示制御を実現可能である。

（ｘ軸回りの回転角β）
図１１は、実オブジェクト４０の面がｘ軸回りに回転した状態を示した説明図である。本明細書においては、図１１に示したように、正対状態を基準とするｘ軸回りの実オブジェクト４０の面の回転角をβと称する。

（回転角βに基づく表示制御）
制御部２４１は、回転角βが所定値（回転角αに関する所定値と同一であってもよいし、異なってもよい。）未満である場合、実オブジェクトの面と同一または平行な平面上にラベルグラフィックを付加してもよい。一方、制御部２４１は、回転角βが所定値以上である場合、実オブジェクトの面と異なる平面上にラベルグラフィックを付加してもよい。以下、この点について図１２を参照して具体的に説明する。

図１２は、第１の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。図１２に示したように、出口案内４０Ｂの回転角βが所定値以上である場合、制御部２４１は、撮像光軸であるｚ軸と直交する平面上（すなわち、ｘ−ｙ平面上）にラベルグラフィック５０Ｂを付加してもよい。かかる構成により、ラベルグラフィック５０Ｂの表示面積の拡大しつつ、ラベルグラフィック５０Ｂを正対状態で表示できるので、ラベルグラフィック５０Ｂの視認性を向上することが可能となる。

なお、出口案内４０Ｂの回転角βが所定値以上である場合、制御部２４１は、出口案内４０Ｂと直交する平面上（ｙ−ｚ平面において出口案内４０Ｂと９０度または２７０度を形成する平面上）にラベルグラフィック５０Ａを付加してもよい。かかる構成によっても、上記同様にラベルグラフィック５０Ｂの視認性を向上することが可能である。

（補足）
・認識できていた実オブジェクトが認識できなくなった場合
実空間画像において認識できていた実オブジェクトが携帯端末２０−１との位置関係の変化により認識できなくなる場合がある。例えば、図８に示した実オブジェクト４０Ａの面がさらにｙ軸回りに反時計方向に回転した場合、実空間画像に実オブジェクト４０Ａの面が含まれなくなるので、画像認識部２２４は実オブジェクト４０Ａを認識できなくなる。その結果、ラベルグラフィックも画面から消え得る。

しかし、実空間画像上に映っている実オブジェクトの認識が難しい場合にほど、その実オブジェクトに関する情報をユーザに伝える意義が高いと考えられる。そこで、制御部２４１は、認識できていた実オブジェクトが認識できなくなった場合、以前の認識結果に基づき、当該実オブジェクトに対応するラベルグラフィックを維持してもよい。例えば、制御部２４１は、実オブジェクトを認識できなくなる直前の実オブジェクトの位置、姿勢に応じた位置、姿勢で、所定期間にわたってラベルグラフィックを維持してもよい。かかる構成により、実空間画像からは視認が困難である実オブジェクトに関する情報をユーザに伝えることが可能となる。

・制御部が着目する回転角
上記では、ｙ軸回りの回転角α、またはｘ軸回りの回転角βのいずれかが所定値以上である場合に制御部２４１がラベルグラフィックの実オブジェクトに対する相対的な姿勢を変化させる例を説明したが、本技術はかかる例に限定されない。より詳細に説明すると、ラベルグラフィックが付加される位置や向きによっては、ある座標軸回りの回転角が大きくても、ラベルグラフィックの視認性や操作性に与える影響が少ない場合がある。例えば、図２に示したように、ラベルグラフィック５０Ａが実オブジェクト４０Ａのｙ軸方向に沿う辺上に付加される場合、実オブジェクト４０Ａのｘ軸回りの回転角がラベルグラフィック５０Ａの視認性に与える影響は比較的少ない。

そこで、制御部２４１は、実オブジェクトの面が正対状態である場合にラベルグラフィックを付加する辺の方向に沿う座標軸に着目し、この座標軸回りの回転角が所定値以上であるか否かに応じてラベルグラフィックの姿勢を制御してもよい。例えば、図１２に示したラベルグラフィック５０Ｂは出口案内４０Ｂの面が正対状態である場合にｘ軸方向の辺に付加されるので、制御部２４１は、ラベルグラフィック５０Ｂの姿勢制御に関してはｘ軸回りの回転角のみに着目してもよい。なお、実オブジェクト４０Ａの姿勢は、ｘ軸回りの回転角、ｙ軸回りの回転角、およびｚ軸回りの回転角などの成分ごとに表現することが可能である。

−−−携帯端末の動作−−−
以上、図５〜図１２を参照して第１の実施形態による携帯端末２０−１の構成を説明した。続いて、図１３を参照し、第１の実施形態による携帯端末２０−１の動作を説明する。

図１３は、第１の実施形態による携帯端末２０−１の動作を示したフローチャートである。図１３に示したように、撮像装置２１３により実空間画像が撮像されると、画像認識部２２４が、実空間画像に含まれる実オブジェクトの識別、および実オブジェクトの位置、姿勢、およびスケールなどを認識する（Ｓ３１０）。

続いて、仮想オブジェクト取得部２３２が、画像認識部２２４による認識結果に基づいて実オブジェクトに対応する仮想オブジェクトを取得する（Ｓ３２０）。

その後、制御部２４１は、画像認識部２２４により認識された実オブジェクトの正対状態を基準とする回転角が所定値以上であるか否かを判断する（Ｓ３３０）。回転角が所定値未満である場合（Ｓ３３０／ｎｏ）、制御部２４１は仮想オブジェクトを実オブジェクトの面と同一または並行する平面上に付加する（Ｓ３４０）。

一方、制御部２４１は、回転角が所定値以上である場合（Ｓ３３０／ｙｅｓ）、仮想オブジェクトを実オブジェクトと異なる平面に付加する（Ｓ３５０）。例えば、制御部２４１は、回転角が所定値以上である場合（Ｓ３３０／ｙｅｓ）、仮想オブジェクトを撮像光軸であるｚ軸と直交する平面上に付加してもよい。かかる構成により、仮想オブジェクトを正対状態で表示できるので、ラベルグラフィック５０Ｂの視認性を向上することが可能となる。

＜２−２．第２の実施形態＞
以上、図５〜図１３を参照して本開示の第１の実施形態を説明した。続いて、図１４〜図１８を参照し、本開示の第２の実施形態を説明する。本開示の第２の実施形態では、実オブジェクトが複数の面を有する場合の仮想オブジェクトの表示方法を提案する。

（第２の実施形態によるＡＲシステム）
図１４は、本開示の第２の実施形態によるＡＲシステムの構成例を示した説明図である。第２の実施形態によるＡＲシステムは、図１４に示したように携帯端末２０−２を含み、この携帯端末２０−２が牛乳パック４０Ｃのような複数の面を有する実オブジェクトを撮像する場合に適用される。図１４に示した牛乳パック４０Ｃは、複数の面として、商品名が印刷された第１の面４２、および、原材料名が印刷された第２の面４４を有する。

（第２の実施形態による携帯端末の構成）
図１５は、本開示の第２の実施形態による携帯端末２０−２の構成を示した機能ブロック図である。図１５に示したように、第２の実施形態による携帯端末２０−２は、ディスプレイ２６と、タッチパネル２７と、撮像装置２１３と、特徴量ＤＢ２２０と、画像認識部２２４と、仮想オブジェクトＤＢ２２８と、仮想オブジェクト取得部２３２と、制御部２４２と、を備える。ディスプレイ２６、タッチパネル２７、撮像装置２１３、特徴量ＤＢ２２０、画像認識部２２４、仮想オブジェクトＤＢ２２８、および仮想オブジェクト取得部２３２の機能は第１の実施形態で説明した通りであるので、以下では、第１の実施形態と異なる構成について主に説明する。

制御部２４２は、第１の実施形態による制御部２４１の機能の全部または一部に加え、主面判断部２５０の機能、および主面判断部２５０による判断結果に応じた姿勢で仮想オブジェクトを付加する機能を有する。

主面判断部２５０は、実空間画像に含まれる実オブジェクトが複数の面を有する場合、複数の面のうちの主面を判断する。例えば、主面判断部２５０は、複数の面のうちで、画像認識部２２４による認識面積が最も広い面を主面として判断してもよい。または、主面判断部２５０は、複数の面のうちで、撮像光軸であるｚ軸との直交性が最も高い面（正対状態に最も近い面）を主面として判断してもよい。さらに、主面は、実オブジェクトごとに事前に定義されていてもよい。

制御部２４２は、主面判断部２５０により判断された主面に対し、実オブジェクトに対応するラベルグラフィック（仮想オブジェクト）を付加する。以下、図１６を参照し、より具体的に説明する。

図１６は、第２の実施形態による実空間画像へのラベルグラフィックの付加例を示した説明図である。図１６に示した実空間画像においては、牛乳パック４０Ｃの第１の面４２の方が、第２の面よりも認識面積が広く、かつ、正対状態に近い。このため、主面判断部２５０は、牛乳パック４０Ｃの第１の面４２および第２の面４４のうちで、第１の面４２を主面と判断する。

このため、制御部２４２は、主面判断部２５０により主面と判断された第１の面４２に対してラベルグラフィック５０Ｃを付加する。なお、図１６においては、ラベルグラフィック５０Ｃが値段表示である例を示しているが、ラベルグラフィック５０Ｃは値段表示に限定されない。ラベルグラフィック５０Ｃは、例えば、賞味期限情報、クーポン情報、および公告情報など、牛乳パック４０Ｃに関連付けられたどのような情報であってもよい。

図１７は、第２の実施形態による他の実空間画像へのラベルグラフィックの付加例を示した説明図である。図１７に示した実空間画像においては、牛乳パック４０Ｃの第２の面４４の方が、第１の面よりも認識面積が広く、かつ、正対状態に近い。このため、主面判断部２５０は、牛乳パック４０Ｃの第１の面４２および第２の面４４のうちで、第２の面４４を主面と判断する。

このため、制御部２４２は、主面判断部２５０により主面と判断された第２の面４４に対してラベルグラフィック５０Ｃを付加する。なお、図１６および図１７に示したように、ラベルグラフィック５０Ｃを付加する面に応じ、ラベルグラフィック５０Ｃの牛乳パック４０Ｃに対する相対的な姿勢も変化する。

（補足）
上記では、いずれの面が主面である場合にも同一のラベルグラフィックを付加する例を説明したが、本実施形態はかかる例に限定されない。他の例として、仮想オブジェクトＤＢ２２８には、実オブジェクトの面の各々にラベルグラフィックが対応付けられていてもよく、この場合、制御部２４２は、図１８に示すように、主面に応じて異なるラベルグラフィックを付加してもよい。

図１８は、第２の実施形態の変形例による実空間画像へのラベルグラフィックの付加例を示した説明図である。図１８に示したように、制御部２４２は、第２の面４４が主面である場合、第１の面４２が主面である場合のラベルグラフィック５０Ｃと異なる、賞味期限を示すラベルグラフィック５０Ｃ’を第２の面４４に付加してもよい。かかる構成により、実オブジェクトを撮像する角度に応じて多様な情報をユーザに呈示することが可能となる。

同様の趣旨により、制御部２４２は、複数の面の全てに、各面に対応するラベルグラフィックを付加してもよい。さらに、制御部２４２は、第１の実施形態において説明したように、ラベルグラフィック５０Ｃを付加する面の回転角に応じ、ラベルグラフィック５０Ｃの牛乳パック４０Ｃに対する相対的な姿勢を変化させてもよい。

＜２−３．第３の実施形態＞
以上、本開示の第２の実施形態を説明した。続いて、本開示の第３の実施形態を説明する。第１および第２の実施形態では携帯端末が単独でＡＲを実現する例を説明したが、本開示の第３の実施形態のように、携帯端末とネットワーク側に配置されたサーバとが共同してＡＲを実現することも可能である。

図１９は、第３の実施形態によるＡＲシステムを示した説明図である。図１９に示したように、第３の実施形態によるＡＲシステムは、携帯端末２０−３と、ネットワーク１２と、ＡＲサーバ３０と、を含む。

このような第３の実施形態によれば、ＡＲのための機能の一部をＡＲサーバ３０に実装することによりクラウドコンピューティングを実現することができる。例えば、仮想オブジェクトＤＢ、および仮想オブジェクト取得部の機能をＡＲサーバ３０に実装してもよい。この場合、携帯端末２０−３は、実オブジェクトの認識結果を仮想オブジェクトの取得要求としてＡＲサーバ３０に送信することにより、実オブジェクトに対応する仮想オブジェクトをＡＲサーバ３０から受信することが可能である。

また、画像認識部および特徴量ＤＢの機能もＡＲサーバ３０に実装してもよい。この場合、携帯端末２０−３は、撮像装置２１３により撮像された画像をＡＲサーバ３０に送信し、ＡＲサーバ３０が、実オブジェクトの認識および仮想オブジェクトの取得を行い、仮想オブジェクトを携帯端末２０−４に送信してもよい。

さらに、仮想オブジェクトの実空間画像への付加機能をＡＲサーバ３０に実装してもよい。この場合、携帯端末２０−３は、撮像装置２１３により撮像された実空間画像をＡＲサーバ３０に送信し、ＡＲサーバ３０が、実オブジェクトの認識、仮想オブジェクトの取得、および仮想オブジェクトの付加を行い、仮想オブジェクトが付加された実空間画像を携帯端末２０−３に送信してもよい。このように仮想オブジェクトの実空間画像への付加機能をＡＲサーバ３０に実装する場合、ＡＲサーバ３０が表示制御装置として機能することとなる。

＜＜３．むすび＞＞
以上説明したように、本開示による携帯端末２０は、実空間画像における実オブジェクトの姿勢に応じ、ラベルグラフィックを実オブジェクトと同一面、または、実オブジェクトと異なる面に付加する。かかる構成により、ラベルグラフィックの視認性および操作性を向上することが可能である。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本明細書の携帯端末２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、携帯端末２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、携帯端末２０またはＡＲサーバ３０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した携帯端末２０またはＡＲサーバ３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

また、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる、表示制御装置。
（２）
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、（１）に記載の表示制御装置。
（３）
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、（１）または（２）に記載の表示制御装置。
（４）
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、（３）に記載の表示制御装置。
（５）
前記制御部は、前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には、前記実オブジェクトの面と直交する面上、または、前記撮像装置の光軸と直交する面上に前記仮想オブジェクトを付加する、（４）に記載の表示制御装置。
（６）
前記仮想オブジェクトは、前記実オブジェクトの面を構成するいずれかの辺に対応するように付加され、
前記交差軸は、前記実オブジェクトの面が前記正対状態である場合に前記仮想オブジェクトが付加される辺の方向に沿う軸である、（３）〜（５）のいずれか一項に記載の表示制御装置。
（７）
前記制御部は、前記仮想オブジェクトを、前記実オブジェクトと重ならない位置に付加する、（１）〜（６）のいずれか一項に記載の表示制御装置。
（８）
前記制御部は、実空間画像に複数の実オブジェクトが含まれる場合、前記複数の実オブジェクトの各々に対応する仮想オブジェクトが重ならないように各仮想オブジェクトを付加する、（１）〜（７）のいずれか一項に記載の表示制御装置。
（９）
前記制御部は、前記仮想オブジェクトの相対的な姿勢を変化させる場合、変化の過程を表示装置に表示させる、（１）〜（８）のいずれか一項に記載の表示制御装置。
（１０）
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、（１）〜（９）のいずれか一項に記載の表示制御装置。
（１１）
前記制御部は、前記主面に該当する面に応じ、異なる仮想オブジェクトを前記主面に付加する、（１０）に記載の表示制御装置。
（１２）
前記主面は、前記複数の面のうちで、前記撮像光軸との直交性が最も高い面である、（１０）に記載の表示制御装置。
（１３）
前記主面は、前記複数の面のうちで、前記実空間画像における認識面積が最も広い面である、（１０）に記載の表示制御装置。
（１４）
前記主面は、前記複数の面のうちで事前に定義されている面である、（１０）に記載の表示制御装置。
（１５）
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの姿勢を、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対して相対的に変化させる、表示制御方法。
（１６）
コンピュータを、
実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部であって、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトに対する前記仮想オブジェクトの相対的な姿勢を変化させる制御部、として機能させるための、プログラム。
（１７）
前記制御部は、前記実空間画像における前記実オブジェクトの姿勢に応じ、前記実オブジェクトの面と同一の面、前記実オブジェクトの面と平行な面、前記実オブジェクトの面と所定の関係にある面、または前記実オブジェクトの面と異なる面に前記仮想オブジェクトを付加する、（１６）に記載のプログラム。
（１８）
前記制御部は、前記実オブジェクトの面の、前記実空間画像の撮像光軸と交差する交差軸回りの回転角に応じた相対的な姿勢で、前記実オブジェクトの面に前記仮想オブジェクトを付加する、（１６）または（１７）に記載のプログラム。
（１９）
前記制御部は、
前記実オブジェクトの面が前記撮像光軸に直交する正対状態を基準とする前記交差軸回りの回転角が所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、（１８）に記載のプログラム。
（２０）
前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、（１６）〜（１９）のいずれか一項に記載のプログラム。

２０ 携帯端末
２６ ディスプレイ
２７ タッチパネル
３０ ＡＲサーバ
２１３ 撮像装置
２２０ 特徴量ＤＢ
２２４ 画像認識部
２２８、３２８ 仮想オブジェクトＤＢ
２３２、３３２ 仮想オブジェクト取得部
２４１、２４２ 制御部
２５０ 主面判断部

Claims (14)

1. 実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、
   前記制御部は、
   前記実オブジェクトの面の、前記実空間画像の撮像光軸に直交する正対状態を基準とする、前記撮像光軸と交差する交差軸回りの回転角が、所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
   前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、表示制御装置。
2. 前記制御部は、前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には、前記実オブジェクトの面と直交する面上、または、前記撮像光軸と直交する面上に前記仮想オブジェクトを付加する、請求項１に記載の表示制御装置。
3. 前記仮想オブジェクトは、前記実オブジェクトの面を構成するいずれかの辺に対応するように付加され、
   前記交差軸は、前記実オブジェクトの面が前記正対状態である場合に前記仮想オブジェクトが付加される辺の方向に沿う軸である、請求項１に記載の表示制御装置。
4. 前記制御部は、前記仮想オブジェクトを、前記実オブジェクトと重ならない位置に付加する、請求項１に記載の表示制御装置。
5. 前記制御部は、実空間画像に複数の実オブジェクトが含まれる場合、前記複数の実オブジェクトの各々に対応する仮想オブジェクトが重ならないように各仮想オブジェクトを付加する、請求項１に記載の表示制御装置。
6. 前記制御部は、前記仮想オブジェクトの相対的な姿勢を変化させる場合、変化の過程を表示装置に表示させる、請求項１に記載の表示制御装置。
7. 前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、請求項１に記載の表示制御装置。
8. 前記制御部は、前記主面に該当する面に応じ、異なる仮想オブジェクトを前記主面に付加する、請求項７に記載の表示制御装置。
9. 前記主面は、前記複数の面のうちで、前記撮像光軸との直交性が最も高い面である、請求項７に記載の表示制御装置。
10. 前記主面は、前記複数の面のうちで、前記実空間画像における認識面積が最も広い面である、請求項７に記載の表示制御装置。
11. 前記主面は、前記複数の面のうちで事前に定義されている面である、請求項７に記載の表示制御装置。
12. 実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する表示制御方法であって、
    前記実オブジェクトの面の、前記実空間画像の撮像光軸に直交する正対状態を基準とする、前記撮像光軸と交差する交差軸回りの回転角が、所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
    前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、表示制御方法。
13. コンピュータを、
    実空間画像に含まれる実オブジェクトに対応する仮想オブジェクトの表示を制御する制御部を備え、
    前記制御部は、
    前記実オブジェクトの面の、前記実空間画像の撮像光軸に直交する正対状態を基準とする、前記撮像光軸と交差する交差軸回りの回転角が、所定値未満である場合には前記実オブジェクトの面と同一または平行な面上に前記仮想オブジェクトを付加し、
    前記正対状態を基準とする前記交差軸回りの回転角が所定値以上である場合には前記実オブジェクトの面と異なる面上に前記仮想オブジェクトを付加する、表示制御装置、として機能させるための、プログラム。
14. 前記制御部は、前記実オブジェクトから複数の面が検出された場合、複数の面のうちの主面に対して前記仮想オブジェクトを付加する、請求項１３に記載のプログラム。

Images