JP6135783B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、画像認識技術の進歩によって、例えば実空間を撮像した画像に含まれる様々なオブジェクトを、その位置や姿勢とともに認識することが可能になった。かかるオブジェクト認識の技術は、例えば、実空間の画像に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術などに利用されている。ＡＲ技術の例として、特許文献１には、家具などの現実のオブジェクトを模倣した仮想オブジェクトの画像を実空間の画像に重畳して表示し、家具などの配置の試行を容易にする技術が記載されている。

特開２００３−２５６８７６号公報

上記のようなＡＲ技術を利用すれば、実空間を撮像した画像に含まれる他の装置の画像を操作するといったことも可能である。しかしながら、画像に含まれる他の装置の画像を認識する処理は、例えば端末装置で実行するには負荷が高い。この負荷を軽減する技術については、まだ十分に提案されているとはいい難い。

そこで、本開示では、画像内に表示される他の装置の画像を認識する処理の負荷を軽減することを可能にする、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、撮像画像に対応する撮像画像情報を取得する撮像画像情報取得部と、表示画面に表示される第１の画像に対応する表示画像情報を取得する表示画像情報取得部と、上記表示画像情報および上記撮像画像情報を用いて、上記撮像画像の中での上記第１の画像の位置および姿勢を検出するオブジェクト認識部とを含む情報処理装置が提供される。

また、本開示によれば、撮像画像に対応する撮像画像情報を取得することと、表示画面に表示される第１の画像に対応する表示画像情報を取得することと、上記表示画像情報および上記撮像画像情報を用いて、上記撮像画像の中での上記第１の画像の位置および姿勢を検出することとを含む情報処理方法が提供される。

また、本開示によれば、撮像画像に対応する撮像画像情報を取得する機能と、表示画面に表示される第１の画像に対応する表示画像情報を取得する機能と、上記表示画像情報および上記撮像画像情報を用いて、上記撮像画像の中での上記第１の画像の位置および姿勢を検出する機能とをコンピュータに実現させるためのプログラムが提供される。

上記の構成によれば、撮像画像の中の表示画面に表示される第１の画像の位置および姿勢が、当該第１の画像に対応する情報を用いて検出される。つまり、第１の画像を含む撮像画像についてのオブジェクト認識を、予め第１の画像に対応する情報を得た上で実行することができる。それゆえ、オブジェクト処理の処理負荷を軽減することができる。

以上説明したように本開示によれば、画像内に表示される他の装置の画像を認識する処理の負荷を軽減することができる。

本開示の第１の実施形態の概要について説明するための図である。 本開示の第１の実施形態の装置構成について説明するための図である。 本開示の第１の実施形態に係るシステムの機能構成を示す概略的なブロック図である。 本開示の第１の実施形態における処理を示すデータフロー図である。 本開示の第１の実施形態における画像情報取得のタイミングについて説明するための図である。 本開示の第２の実施形態の装置構成について説明するための図である。 本開示の第２の実施形態の装置構成について説明するための図である。 本開示の第２の実施形態に係るシステムの機能構成を示す概略的なブロック図である。 本開示の第２の実施形態における処理を示すデータフロー図である。 本開示の第３の実施形態の装置構成について説明するための図である。 本開示の第３の実施形態の装置構成について説明するための図である。 本開示の第３の実施形態の装置構成について説明するための図である。 本開示の第３の実施形態に係るシステムの機能構成を示す概略的なブロック図である。 本開示の第３の実施形態における処理を示すデータフロー図である。 情報処理装置のハードウェア構成を説明するためのブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．概要
１−２．装置構成
１−３．処理フロー
１−４．画像情報取得のタイミング
２．第２の実施形態
２−１．装置構成
２−２．処理フロー
３．第３の実施形態
３−１．装置構成
３−２．処理フロー
４．補足

（１．第１の実施形態）
（１−１．概要）
まず、図１を参照して、本開示の第１の実施形態の概要について説明する。なお、この概要は、本開示の他の実施形態についても同様である。

図１は、本実施形態の概要について説明するための図である。図１を参照すると、本実施形態は、端末装置１００と、表示装置２００とに関係する。端末装置１００は、表示装置２００を含む実空間の撮像画像を取得し、撮像画像に基づいて表示部１５０に画像１５１を表示させる。端末装置１００は、後述するように撮像画像に含まれるオブジェクトを認識する機能を有し、画像１５１の表示にあたって撮像画像のオブジェクト認識の結果を利用しうる。

一方、表示装置２００は、表示画面２５０を有し、表示画面２５０には画像２５１が表示される。端末装置１００が取得する撮像画像には、表示装置２００が含まれるため、表示画面２５０に表示される画像２５１も撮像画像に含まれる。端末装置１００は、撮像画像から画像２５１を認識し、画像１５１の中に画像２５１に対応する仮想画像１５３を表示させる。なお、仮想画像１５３は、撮像画像に含まれる画像２５１がそのまま描画されたものであってもよいし、撮像画像のオブジェクト認識の結果を利用して再描画されたものであってもよい。

ここで、端末装置１００は、例えば携帯電話（スマートフォン）、タブレット型のＰＣ（Personal Computer）、携帯型のゲーム機やメディアプレーヤなど、主にユーザが把持して操作する装置である。また、表示装置２００は、例えばテレビジョン受像機、デスクトップ型やノート型のＰＣ、ＰＣモニタなど、主に据置きの装置である。しかし、本開示の実施形態はこれらの例には限られるものではない。他の例として、端末装置１００と表示装置２００とは、いずれもスマートフォンであってもよい。

上記のように、端末装置１００は、撮像画像に含まれるオブジェクトを認識する機能を有する。また、図示された例において、端末装置１００は、撮像画像に含まれる画像２５１を認識している。それゆえ、例えば、端末装置１００は、画像１５１の中の仮想画像１５３に対する操作を取得し、現実の画像２５１に対して同様の操作がされた場合と同じように仮想画像１５３を変化させることが可能である。

例えば、端末装置１００は、表示部１５０上の座標を表示画面２５０上の座標に変換することによって、仮想画像１５３に含まれるＧＵＩ（Graphical User Interface）コンポーネント（ボタン、リンク、スクロールバーなど）に、画像２５１のＧＵＩコンポーネントと同様の機能を割り当てることが可能である。この場合、ユーザが表示部１５０上に設けられたタッチパネルを介して、仮想画像１５３に含まれるＧＵＩコンポーネントに対して押下、タップ、ドラッグ、フリックなどの操作を実行すると、仮想画像１５３は、画像２５１のＧＵＩコンポーネントに対して同様の操作を実行した場合と同じように変化する。

しかしながら、撮像画像に含まれる画像２５１の位置および姿勢を検出する処理は、負荷が比較的高い処理である。画像２５１は、例えば表示装置２００の操作状態やコンテンツの再生状態などによって変化するため、予め用意された静的なデータによって認識することが容易ではない。そのため、例えばネットワーク上の膨大なデータを用いて画像２５１を検索する必要が生じる場合がある。このような処理の実行による負荷は、例えば端末装置１００のパフォーマンスの観点から、望ましいものではない。そこで、本開示の実施形態では、端末装置１００の撮像画像から画像２５１を認識する処理の負荷を軽減する手法を提案する。

（１−２．装置構成）
次に、図２および図３を参照して、本開示の第１の実施形態の装置構成について説明する。図２は、本実施形態の装置構成について説明するための図である。図３は、本実施形態に係るシステムの機能構成を示す概略的なブロック図である。なお、図３では、簡単のため、図２に示される複数の表示装置２００ａ〜２００ｃが、単一の表示装置２００によって代表されている。

図２を参照すると、本実施形態の装置構成は、端末装置１００と、表示装置２００ａ〜２００ｃと、サーバ装置３００（情報処理装置の一例）とを含む。表示装置２００の数は、図示された例のように３でなくてよく、１でも、２でも、４以上でもよい。上記で図１を参照して説明したように、表示装置２００が１つであっても、撮像画像に含まれる画像２５１を認識する処理の負荷は比較的高い。図示された例のように、表示装置２００が複数存在する場合、画像２５１を認識する処理の負荷はさらに高くなりうる。

また、サーバ装置３００は、必ずしも単一の装置によって実現されなくてもよい。例えば、複数の装置が有するリソースがネットワークを介して協働することによってサーバ装置の機能が実現されてもよい。

図示された例において、端末装置１００は、撮像画像に対応する撮像画像情報１５５を、サーバ装置３００に送信する。ここで、撮像画像情報１５５は、撮像画像の画像データそのものであってもよいが、これには限られない。撮像画像情報１５５は、後述するサーバ装置３００でのオブジェクト認識の処理に用いられるように適合されたものであればよく、例えば画像を圧縮したデータ、またはオブジェクト認識に用いられる特徴点のデータ配列などであってもよい。

一方、表示装置２００ａ〜２００ｃは、それぞれの表示画面２５０に表示している画像２５１に対応する表示画像情報２５３ａ〜２５３ｃを、サーバ装置３００に送信する。ここで、表示画像情報２５３ａ〜２５３ｃは、画像２５１の画像データそのものであってもよいが、これには限られない。表示画像情報２５３ａ〜２５３ｃは、後述するサーバ装置３００でのオブジェクト認識の処理に用いられるように適合されたものであればよく、例えば画像を圧縮したデータ、またはオブジェクト認識に用いられる特徴点のデータ配列などであってもよい。

なお、表示画像情報２５３ａ〜２５３ｃは、必ずしも撮像画像情報１５５と同じ種類の情報でなくてもよい。例えば、撮像画像情報１５５が撮像画像の画像データそのものであり、表示画像情報２５３ａ〜２５３ｃが特徴点のデータ配列であってもよい。また、表示装置２００ａ〜２００ｃは、必ずしも同じ種類の表示画像情報２５３ａ〜２５３ｃを送信しなくてもよい。例えば、表示画像情報２５３ａが画像２５１ａの画像データそのものであり、表示画像情報２５３ｂ，２５３ｃが特徴点のデータ配列であってもよい。この場合、サーバ装置３００は、表示画像情報２５３ａを、表示画像情報２５３ｂ，２５３ｃと同様の特徴点のデータ配列に変換して用いてもよい。

サーバ装置３００は、端末装置１００から取得される撮像画像情報１５５と、表示装置２００ａ〜２００ｃから取得される表示画像情報２５３ａ〜２５３ｃとを用いて、オブジェクト認識の処理を実行する。この処理によって、端末装置１００の撮像画像に表示装置２００ａ〜２００ｃのいずれかに表示される画像２５１が含まれるかが判定される。また、撮像画像に画像２５１が含まれる場合、その位置および姿勢も検出される。サーバ装置３００は、検出された画像２５１の位置および姿勢を示す情報を含む認識結果情報１５７を、端末装置１００に送信する。端末装置１００は、認識結果情報１５７を用いて、画像１５１の中に仮想画像１５３を表示させる。

（端末装置の機能構成）
図３を参照して、端末装置１００の構成について、さらに説明する。端末装置１００は、撮像部１１０と、表示制御部１２０と、表示部１５０とを含む。

撮像部１１０は、例えば端末装置１００に内蔵または接続される撮像装置によって実現され、撮像画像を取得する。撮像部１１０は、撮像画像を動画像として出力してもよいし、静止画像として出力してもよい。上述のように、撮像画像には、表示装置２００の表示画面２５０に表示される画像２５１が含まれる。撮像部１１０は、生成した撮像画像を表示制御部１２０に提供するとともに、撮像画像に対応する撮像画像情報１５５をサーバ装置３００に送信する。

なお、図示されていないが、端末装置１００は、撮像画像の画像データから撮像画像情報１５５を生成するのに用いられる処理回路、および撮像画像情報１５５を送信するための通信装置などをさらに含みうる。

表示制御部１２０は、例えば端末装置１００のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、およびＲＯＭ（Read Only Memory）がストレージ装置またはリムーバブル記憶媒体に格納されたプログラムに従って動作することによって実現される。表示制御部１２０は、撮像部１１０から提供された撮像画像の画像データに基づいて、表示部１５０に画像１５１を表示させる。上述のように、画像１５１には、撮像画像から認識された画像２５１に対応する仮想画像１５３が含まれる。表示制御部１２０は、通信装置（図示せず）を介してサーバ装置３００から認識結果情報１５７を受信する。認識結果情報１５７には、画像２５１の位置および姿勢の情報が含まれうる。また、認識結果情報１５７には、画像２５１の内容に関する情報が含まれていてもよい。表示制御部１２０は、認識結果情報１５７を利用して、仮想画像１５３を表示しうる。

表示部１５０は、例えば端末装置１００が出力装置として有する、あるいは端末装置１００に外部接続機器として接続される、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-luminescence）ディスプレイなどによって実現される。表示部１５０は、必ずしも平面のディスプレイには限られず、例えばＨＭＤ（Head Mount Display）であってもよい。表示部１５０は、表示制御部１２０の制御に従って、画像１５１を表示する。

（表示装置の機能構成）
引き続き図３を参照して、表示装置２００の構成について、さらに説明する。表示装置２００は、表示制御部２１０と、表示画面２５０とを含む。

表示制御部２１０は、例えば表示装置２００のＣＰＵ、ＲＡＭ、およびＲＯＭがプログラムに従って動作することによって実現される。表示制御部２１０は、表示装置２００のストレージに格納された画像や、表示装置２００が通信装置（図示せず）を用いて受信した画像を、画像２５１として表示画面２５０に表示させる。また、表示制御部２１０は、画像２５１に対応する表示画像情報２５３をサーバ装置３００に送信する。

なお、図示されていないが、表示装置２００は、表示画像の画像データから表示画像情報２５３を生成するのに用いられる処理回路、および表示画像情報２５３を送信するための通信装置などをさらに含みうる。

表示画面２５０は、例えば表示装置２００が出力装置として有するＬＣＤや有機ＥＬディスプレイなどのディスプレイによって実現される。表示画面２５０は、表示制御部２１０の制御に従って、画像２５１を表示する。

（サーバ装置の機能構成）
引き続き図３を参照して、サーバ装置３００の構成について、さらに説明する。サーバ装置３００は、撮像画像情報取得部３１０と、表示画像情報取得部３２０と、オブジェクト認識部３３０とを含む。これらはいずれも、例えばサーバ装置３００のＣＰＵ、ＲＡＭ、およびＲＯＭがプログラムに従って動作することによって実現される。

撮像画像情報取得部３１０は、通信装置（図示せず）を介して、端末装置１００から送信された撮像画像情報１５５を取得する。上述のように、撮像画像情報１５５は、端末装置１００が取得する撮像画像に対応する。撮像画像情報１５５は、例えば、撮像画像の画像データそのもの、画像を圧縮したデータ、またはオブジェクト認識に用いられる特徴点のデータ配列などでありうる。撮像画像情報取得部３１０は、取得した撮像画像情報１５５を、オブジェクト認識部３３０に提供する。

表示画像情報取得部３２０は、通信装置（図示せず）を介して、表示装置２００から送信された表示画像情報２５３を取得する。上述のように、表示画像情報２５３は、表示装置２００が表示する画像２５１に対応する。表示画像情報２５３は、例えば、表示画像の画像データそのもの、画像を圧縮したデータ、またはオブジェクト認識に用いられる特徴点のデータ配列などでありうる。表示画像情報取得部３２０は、取得した表示画像情報２５３を、オブジェクト認識部３３０に提供する。

オブジェクト認識部３３０は、撮像画像情報取得部３１０から提供された撮像画像情報１５５を用いて、撮像画像に含まれるオブジェクトを認識する。例えば、オブジェクト認識部３３０は、撮像画像から抽出される特徴点のセットを、モデルデータによって定義されるオブジェクトの形状と照合する。また、オブジェクト認識部３３０は、モデルデータによって定義されるシンボルマークまたはテキストラベルなどの画像データを、撮像画像と照合してもよい。さらにまた、オブジェクト認識部３３０は、モデルデータによって定義される既知のオブジェクトの画像の特徴量を、撮像画像から抽出される特徴量と照合してもよい。

なお、モデルデータは、各オブジェクトの形状を定義するデータ、各オブジェクトに付される所定のシンボルマークもしくはテキストラベルなどの画像データ、または各オブジェクトについて既知の画像から抽出された特徴量セットのデータなどを含む。モデルデータは、例えばストレージ装置に格納されるモデルＤＢから取得される。あるいは、モデルデータは、通信装置（図示せず）を介してネットワーク上から取得されてもよい。

上述のように、オブジェクト認識部３３０は、撮像画像に含まれる画像２５１を認識する。画像２５１の認識は、例えば画像２５１の内容を検索することによって実行されうる。例えば、画像２５１がブラウザに表示されたＷｅｂページである場合、オブジェクト認識部３３０は、当該ＷｅｂページのＵＲＬ（Uniform Resource Locator）と、その操作状態を示すＵＲＩ（Uniform Resource Identifier）とを取得する。仮に、表示装置２００から何も情報が提供されないとすると、オブジェクト認識部３３０は、上記のような情報を、撮像画像の内容だけを手がかりにして認識しなければならない。その場合、認識の処理負荷は膨大になり、また認識の精度も低下する。

それゆえ、本実施形態において、オブジェクト認識部３３０は、表示画像情報取得部３２０から提供された表示画像情報２５３を用いて、上記のような画像２５１の内容に関する情報を取得する。表示画像情報２５３は、画像２５１を表示する表示装置２００自身から提供された情報である表示画像情報２５３を用いることによって、オブジェクト認識部３３０は、画像２５１の内容に関する情報を容易に入手することが可能である。従って、オブジェクト認識部３３０は、より少ない処理負荷で、またより高い精度で、画像２５１を認識することが可能である。

オブジェクト認識部３３０は、上記のようなオブジェクト認識の結果を、認識結果情報１５７として、通信装置（図示せず）を介して端末装置１００に送信する。認識結果情報１５７は、例えば、撮像画像にどのようなオブジェクトが映っているか（含まれるか）と、それらのオブジェクトが撮像画像にどのような位置および姿勢で映っているかを示す情報とを含む。それゆえ、撮像画像に画像２５１が映っている場合、認識結果情報１５７は、画像２５１の位置および姿勢を示す情報を含む。認識結果情報１５７は、さらに、画像２５１の内容に関する情報を含んでもよい。

（オブジェクト認識の処理について）
ここで、本実施形態におけるオブジェクト認識の処理について、さらに説明する。オブジェクト認識部３３０で実行されるオブジェクト認識の処理には、例えば以下の２つの処理が含まれる。第１には、撮像画像にどのオブジェクトが映っているか（含まれるか）を判定する処理である。第２には、撮像画像に含まれるオブジェクトが、撮像画像の中のどの位置に、どのような姿勢（傾き、回転など）で映っているかを検出する処理である。

また、撮像画像が動画像である場合、オブジェクト認識部３３０で実行されるオブジェクト認識の処理には、例えば以下の２つの種類がある。第１は、探索の処理である。探索の処理は、例えば、撮像画像に映っているオブジェクトに関する情報がまだ取得されていない場合に実行される。この場合、どのオブジェクトについても、撮像画像に映っている可能性がある。また、オブジェクトが撮像画像に映っている場合、撮像画像の中のあらゆる位置について、そのオブジェクトが映っている可能性がある。また、オブジェクトは、どのような姿勢で映っている可能性もある。

一方、第２は、トラッキングの処理である。トラッキングの処理は、例えば、撮像画像の以前のフレームに映っていたオブジェクトに関する情報が既に取得されている場合に実行される。この場合、以前のフレームに映っていたオブジェクトについては、現在のフレームに映っている可能性が高い。それゆえ、これらのオブジェクトについて、優先して認識処理を実行することが可能である。また、オブジェクトは、現在のフレームでも、以前のフレームで映っていた位置に近い位置に映っている可能性が高い。それゆえ、これらのオブジェクトについて、認識処理を実行する領域をある程度絞り込むことが可能である。従って、トラッキングの処理は、探索の処理よりも低い処理負荷で実行することが可能である。

上記のような定義に従い、本明細書では、例えば「オブジェクトの位置および姿勢を検出する」処理が実行されるという場合、「オブジェクトが含まれるかを判定する」処理も当然に実行され、オブジェクトが含まれると判定された場合に位置および姿勢が検出されるものとする。また、以下の説明では、オブジェクト認識の処理について、「探索」と「トラッキング」とを区別して説明する場合がある。「探索」の処理において、所定のオブジェクトが撮像画像に映っていると判定されることは、そのオブジェクトが「発見」された、とも表現される。

（１−３．処理フロー）
次に、図４を参照して、本開示の第１の実施形態の処理フローについて説明する。図４は、本実施形態における処理を示すデータフロー図である。なお、図４では、簡単のため、図２に示される複数の表示装置２００ａ〜２００ｃのうちの２つが表示装置２００ａ，２００ｂとして示されている。

図４を参照すると、まず、ステップＳ１０１において、端末装置１００が、サーバ装置３００に、撮像画像情報１５５を送信する。また、表示装置２００ａ，２００ｂは、それぞれ、サーバ装置３００に、表示画像情報２５３ａ，２５３ｂを送信する。

次に、ステップＳ１０３において、サーバ装置３００では、オブジェクト認識部３３０が、撮像画像情報１５５と表示画像情報２５３ａ，２５３ｂとを用いて、表示装置２００ａ，２００ｂのそれぞれに表示される画像２５１（以下、画像Ａ，Ｂともいう）を探索する。図示された例では、ここで、画像Ａが発見される。そこで、サーバ装置３００は、端末装置１００に、撮像画像における画像Ａの位置および姿勢を示す認識結果情報１５７を送信する。端末装置１００は、受信した認識結果情報１５７を用いて、画像１５１に、画像Ａに対応する仮想画像１５３を表示させる。

次に、ステップＳ１０５において、端末装置１００は、サーバ装置３００に、撮像画像情報１５５を送信する。上述のように、本実施形態では撮像画像が動画像である。ここで送信される撮像画像情報１５５は、上記のステップＳ１０１で送信された撮像画像情報１５５に対応するフレームよりも後のフレームに対応する。なお、撮像画像情報１５５は、必ずしも撮像画像のすべてのフレームについて送信されなくてもよい。従って、ステップＳ１０５で送信される撮像画像情報１５５は、例えば、ステップＳ１０１で送信された撮像画像情報１５５に対応するフレームの数フレーム後のフレームに対応していてもよい。

一方、同じくステップＳ１０５において、表示装置２００ｂは、サーバ装置３００に、表示画像情報２５３ｂを送信する。なお、このとき、表示装置２００ａは、表示画像情報２５３ａを送信しなくてもよい。画像Ａは、上記のステップＳ１０３において既に発見されており、以下のステップでは、このときの検出結果を用いて、撮像画像に含まれる画像Ａをトラッキングすることが可能なためである。

次に、ステップＳ１０７において、サーバ装置３００では、オブジェクト認識部３３０が、既に発見されている画像Ａをトラッキングするとともに、撮像画像情報１５５と表示画像情報２５３ｂとを用いて画像Ｂを探索する。図示された例では、ここでも、表示画面Ｂは発見されない。従って、サーバ装置３００は、端末装置１００に、トラッキングによって検出された画像Ａの位置および姿勢を示す認識結果情報１５７を送信する。端末装置１００は、受信した認識結果情報１５７を用いて、画像Ａに対応する仮想画像１５３を更新してもよい。

次に、ステップＳ１０９において、端末装置１００は、サーバ装置３００に、撮像画像情報１５５を送信する。上記のステップＳ１０５で説明したのと同様に、ここで送信される撮像画像情報１５５は、ステップＳ１０５よりもさらに後のフレームに対応する。

一方、同じくステップＳ１０９において、表示装置２００ａ，２００ｂは、サーバ装置３００に、表示画像情報２５３ａ，２５３ｂを送信する。ここで、表示装置２００ａでは、ステップＳ１０５とステップＳ１０９との間で、表示画面２５０に表示される画像２５１（画像Ａ）が変化している。そこで、ステップＳ１０９では、表示装置２００ａも、サーバ装置３００に表示画像情報２５３ａを送信する。画像Ａが変化した場合、オブジェクト認識部３３０における画像Ａのトラッキングが失敗する可能性が高いためである。

次に、ステップＳ１１１において、サーバ装置３００では、オブジェクト認識部３３０が、撮像画像情報１５５と表示画像情報２５３ａ，２５３ｂとを用いて、画像Ａ，Ｂを探索する。なお、画像Ａの探索は、オブジェクト認識部３３０による画像Ａのトラッキングが実際に失敗してから実行されてもよい。図示された例では、ここで、画像Ａ，Ｂの両方が発見される。そこで、サーバ装置３００は、端末装置１００に、撮像画像における画像Ａ，Ｂの位置および姿勢を示す認識結果情報１５７を送信する。端末装置１００は、受信した認識結果情報１５７を用いて、画像１５１に、画像Ａおよび画像Ｂに対応する２つの仮想画像１５３を表示させる。

（１−４．画像情報取得のタイミング）
次に、図５を参照して、本実施形態における画像情報取得のタイミングについて説明する。図５は、本実施形態における画像情報取得のタイミングについて説明するための図である。

図５では、６フレーム分の撮像画像情報１５５（これらは必ずしも動画像の連続したフレームを構成するとは限らない）と、これらの撮像画像情報１５５とともに表示画面２５０の認識に用いられる表示画像情報２５３−１〜２５３−３とが、時間軸上で対応付けて示されている。

図示された例において、撮像画像情報１５５は、ほぼ一定の間隔で周期的に取得される。一方、表示画像情報２５３−１〜２５３−３は、撮像画像情報１５５とは異なるタイミングで取得される。例えば、表示画像情報２５３−１〜２５３−３は、例えば、図４の例で示されるように、画像２５１が変化した場合に取得されてもよい。

ここで、表示画像情報２５３は、撮像画像情報１５５よりも長い間隔で取得されることが望ましい。オブジェクト認識は、通常は撮像画像情報１５５ごとに実行される。それゆえ、撮像画像情報１５５よりも高い頻度で表示画像情報２５３が取得されても、結果的に表示画像情報２５３が無駄になってしまう可能性がある。

図示された例では、６フレーム分の撮像画像情報１５５に対して、最初の１フレームでは表示画像情報２５３−１が、続く３フレームでは表示画像情報２５３−２が、さらに続く２フレームでは表示画像情報２５３−３が用いられる。このように、撮像画像情報１５５が取得される一方で、表示画像情報２５３が取得されない場合、オブジェクト認識部３３０は、以前に取得された表示画像情報２５３を引き続き用いてもよい。

上記のように、撮像画像情報取得部３１０および表示画像情報取得部３２０がそれぞれ時系列で情報を取得する場合、どの撮像画像情報１５５にどの表示画像情報２５３をマッチングさせるかは、例えば、撮像画像情報１５５および表示画像情報２５３の少なくとも一方に含まれる同期情報に基づいて決定されうる。同期情報は、例えば、それぞれの情報が生成された時刻情報を含む。

上記の例において、例えば端末装置１００と表示装置２００との間で時刻のずれが少ないなどの理由によって、正確な同期情報が取得される場合、オブジェクト認識部３３０は、同期情報をそのまま用いて表示画像情報２５３と撮像画像情報１５５とを同期させてもよい。

あるいは、オブジェクト認識部３３０は、撮像画像情報１５５と表示画像情報２５３との間の遅延に応じて、撮像画像情報１５５とともに用いる表示画像情報２５３を選択してもよい。遅延は、例えば、各装置間の時刻のずれ、各装置間の通信による遅延、または各装置の内部で処理遅延などによって発生しうる。

例えば、オブジェクト認識部３３０は、表示画像情報２５３によって画像２５１の変化が示されるタイミングと、撮像画像から認識される画像２５１の内容が変化したタイミングとを比較することで遅延を検出してもよい。遅延が検出された場合、オブジェクト認識部３３０は、例えば撮像画像情報１５５および表示画像情報２５３の同期情報のいずれかの同期情報にオフセットを加えることによって、撮像画像情報１５５に対して適切な表示画像情報２５３を用いうる。

（実施形態のまとめ）
以上で説明した本開示の第１の実施形態では、端末装置の撮像画像に含まれる可能性がある画像の情報が、当該画像を表示する表示装置自身から提供される。また、撮像画像に含まれる表示画像の認識の処理が、サーバ装置によって実行され、その結果が端末装置に送信される。これによって、例えば、端末装置における処理負荷を最小限に抑えつつ、撮像画像に含まれる他の装置の表示画像を認識した結果を活用することができる。

（２．第２の実施形態）
（２−１．装置構成）
次に、図６Ａ、図６Ｂ、および図７を参照して、本開示の第２の実施形態の装置構成について説明する。図６Ａおよび図６Ｂは、本実施形態の装置構成について説明するための図である。図７は、本実施形態に係るシステムの機能構成を示す概略的なブロック図である。なお、図７では、簡単のため、図６Ａおよび図６Ｂに示される複数の表示装置４００ａ〜４００ｃが、単一の表示装置４００によって代表されている。

図６Ａを参照すると、本実施形態は、端末装置１００と、表示装置４００ａ〜４００ｃ（情報処理装置の一例）とに関する。表示装置４００の数は、図示された例のように３でなくてよく、１でも、２でも、４以上でもよい。

図示された例において、端末装置１００は、撮像画像に対応する撮像画像情報１５５を、表示装置４００ａ〜４００ｃのそれぞれに送信する。撮像画像情報１５５の内容は、上記の第１の実施形態の場合と同様である。

一方、表示装置４００ａ〜４００ｃは、表示画面２５０に表示している画像２５１ａ〜２５１ｃに対応する表示画像情報２５３ａ〜２５３ｃを、それぞれ内部的に取得する。つまり、表示装置４００ａは表示画像情報２５３ａを内部的に取得し、表示装置４００ｂは表示画像情報２５３ｂを内部的に取得し、表示装置４００ｃは表示画像情報２５３ｃを内部的に取得する。ここで、表示画像情報２５３の内容は、上記の第１の実施形態の場合と同様である。

さらに、表示装置４００ａ〜４００ｃは、端末装置１００から取得される撮像画像情報１５５と、それぞれが内部的に取得した表示画像情報２５３ａ〜２５３ｃとを用いて、オブジェクト認識の処理を実行する。この処理によって、端末装置１００の撮像画像に画像２５１ａ〜２５１ｃのいずれかが含まれるかが判定される。また、撮像画像に画像２５１ａ〜２５１ｃのいずれかが含まれる場合、その位置および姿勢も検出される。

図示された例では、表示装置４００ａが、撮像画像に含まれる画像２５１ａを検出し、画像２５１ａの位置および姿勢を示す情報を含む認識結果情報１５７ａを端末装置１００に送信する。また、表示装置４００ｃが、撮像画像に含まれる画像２５１ｃを検出し、画像２５１ｃの位置および姿勢を示す情報を含む認識結果情報１５７ｃを端末装置１００に送信する。端末装置１００は、認識結果情報１５７ａ，１５７ｃを用いて、画像１５１の中に、画像２５１ａおよび画像２５１ｃに対応する２つの仮想画像１５３を表示させる。

図６Ｂは、図６Ａの状態において、表示装置４００ａが、撮像画像に含まれる画像２５１ａをロストした（認識しなかった）状態を示す。このとき、表示装置４００ａは、撮像画像に含まれる画像２５１ａを探索して検出した後、引き続いて画像２５１ａをトラッキングしている。このトラッキングが失敗した場合、表示装置４００ａは、その旨を端末装置１００に通知し、画像２５１ａについての処理を、トラッキングから探索に切り替える。端末装置１００は、上記の通知を受けて、画像１５１で画像２５１ａに対応する仮想画像１５３の表示を終了させてもよい。

一方、図６Ｂの状態で、表示装置４００ｃは、引き続き撮像画像に含まれる画像２５１ｃのトラッキングに成功している。従って、表示装置４００ｃは、トラッキングの結果に応じて更新された認識結果情報１５７ｃを、引き続き端末装置１００に送信する。端末装置１００は、受信した認識結果情報１５７ｃを用いて、画像１５１で画像５２１ｃに対応する仮想画像１５３の表示を更新してもよい。

（機能構成）
図７を参照すると、端末装置１００は、撮像部１１０と、表示制御部１２０と、表示部１５０とを含む。また、表示装置４００は、表示制御部２１０と、表示画面２５０と、撮像画像情報取得部３１０と、表示画像情報取得部３２０と、オブジェクト認識部４３０とを含む。

上記の各部は、第１の実施形態で図３を参照して説明したのと同様の構成要素である。つまり、本実施形態の機能構成は、第１の実施形態でサーバ装置３００によって実現された機能が、表示装置４００によって代替的に実現される構成であるといえる。

ただし、本実施形態において表示装置４００に含まれるオブジェクト認識部４３０は、主に自らが表示する画像２５１（表示装置４００ａでは画像２５１ａ、表示装置４００ｂでは画像２５１ｂ、表示装置４００ｃでは画像２５１ｃ）についてオブジェクト認識の処理を実行する点で、第１の実施形態におけるサーバ装置３００のオブジェクト認識部３３０とは異なる。

（２−２．処理フロー）
次に、図８を参照して、本開示の第２の実施形態の処理フローについて説明する。図８は、本実施形態における処理を示すデータフロー図である。

図８を参照すると、まず、ステップＳ２０１において、端末装置１００が、表示装置４００ａ〜４００ｃのそれぞれに撮像画像情報１５５を送信する。

次に、ステップＳ２０３において、表示装置４００ａでは、オブジェクト認識部４３０が、撮像画像情報１５５と内部的に取得された表示画像情報２５３ａとを用いて、画像２５１ａ（以下、画像Ａともいう）を探索する。図示された例では、ここで、画像Ａが発見される。表示装置４００ａは、端末装置１００に、撮像画像における画像Ａの位置および姿勢を示す認識結果情報１５７ａを送信する。端末装置１００は、受信した認識結果情報１５７ａを用いて、画像１５１に、画像Ａに対応する仮想画像１５３を表示させる。

同じくステップＳ２０３において、表示装置４００ｂでは、オブジェクト認識部４３０が、撮像画像情報１５５と内部的に取得された表示画像情報２５３ｂとを用いて、画像２５１ｂ（以下、画像Ｂともいう）を探索する。図示された例では、画像Ｂは発見されない。

一方、表示装置４００ｃでは、オブジェクト認識部４３０が、撮像画像情報１５５と内部的に取得された表示画像情報２５３ｃとを用いて、画像２５１ｃ（以下、画像Ｃともいう）を探索する。図示された例では、ここで、画像Ｃが発見される。そこで、表示装置４００ｃは、端末装置１００に、画像Ｃの位置および姿勢を示す認識結果情報１５７ｃを送信する。端末装置１００は、受信した認識結果情報１５７ｃを用いて、画像１５１に、画像Ｃに対応する仮想画像１５３を表示させる。

次に、ステップＳ２０５において、端末装置１００は、表示装置４００ａ〜４００ｃのそれぞれに、撮像画像情報１５５を送信する。本実施形態では撮像画像が動画像であるため、ここで送信される撮像画像情報１５５は、上記のステップＳ２０１で送信された撮像画像情報１５５に対応するフレームよりも後のフレームに対応する。

次に、ステップＳ２０７において、表示装置４００ａでは、オブジェクト認識部４３０が、既に発見されている画像Ａをトラッキングする。図示された例では、画像Ａのトラッキングは成功する。そこで、表示装置４００ａは、端末装置１００に、トラッキングの結果に応じて更新された画像Ａの位置および姿勢を示す認識結果情報１５７ａを送信する。端末装置１００は、受信した認識結果情報１５７ａを用いて、画像１５１に含まれる仮想画像１５３の表示を更新する。

同じくステップＳ２０７において、表示装置４００ｂは、上記のステップＳ２０３と同様に画像Ｂを探索するが、発見されない。一方、表示装置４００ｃは、表示装置４００ａと同様に画像Ｃをトラッキングし、端末装置１００に認識結果情報１５７ｃを送信する。端末装置１００は、受信した認識結果情報１５７ｃを用いて、画像１５１に含まれる仮想画像１５３の表示を更新する。

次に、ステップＳ２０９において、端末装置１００は、表示装置４００ａ〜４００ｃのそれぞれに、撮像画像情報１５５を送信する。上記のステップＳ２０５で説明したのと同様に、ここで送信される撮像画像情報１５５は、ステップＳ２０５よりもさらに後のフレームに対応する。

次に、ステップＳ２１１において、表示装置４００ａでは、オブジェクト認識部４３０が、引き続き画像Ａをトラッキングする。図示された例では、ここで、画像Ａのトラッキングが失敗する、つまり表示装置４００ａは画像Ａをロストする。そこで、表示装置４００ａは、画像Ａをロストしたことの通知を端末装置１００に送信する。この通知を受信した端末装置１００は、画像１５１で画像Ａに対応する仮想画像１５３の表示を終了する。一方、表示装置４００ａは、ステップＳ２０９で受信した撮像画像情報１５５と、内部的に取得された表示画像情報２５３ａとを用いて、改めて画像Ａを探索する。

同じくステップＳ２１１において、表示装置４００ｂは、上記のステップＳ２０３と同様に画像Ｂを探索するが、発見されない。一方、表示装置４００ｃは、上記のステップＳ２０７と同様に画像Ｃをトラッキングし、端末装置１００に認識結果情報１５７ｃを送信する。端末装置１００は、受信した認識結果情報１５７ｃを用いて、画像１５１に含まれる仮想画像１５３の表示を更新する。

（実施形態のまとめ）
以上で説明した本開示の第２の実施形態では、撮像画像に含まれる画像の探索およびトラッキングの処理が、当該画像を表示する表示装置自身によって実行され、その結果が端末装置に送信される。これによって、例えば、表示装置が有する計算リソースを有効に活用して、端末装置における処理負荷を抑制することができる。また、例えば、表示画像情報を装置間で伝送しなくて済むことによって、通信リソースを節約することができる。

（３．第３の実施形態）
（３−１．装置構成）
次に、図９Ａ〜図９Ｃ、および図１０を参照して、本開示の第３の実施形態の装置構成について説明する。図９Ａ〜図９Ｃは、本実施形態の装置構成について説明するための図である。図１０は、本実施形態に係るシステムの機能構成を示す概略的なブロック図である。なお、図１０では、簡単のため、図９Ａ〜図９Ｃに示される複数の表示装置６００ａ〜６００ｃが、単一の表示装置６００によって代表されている。

図９Ａを参照すると、本実施形態は、端末装置５００と、表示装置６００ａ〜６００ｃ（情報処理装置の一例）とに関する。表示装置６００の数は、図示された例のように３でなくてよく、１でも、２でも、４以上でもよい。

図示された例において、端末装置５００は、撮像画像に対応する撮像画像情報１５５を、表示装置６００ａ〜６００ｃのそれぞれに送信する。撮像画像情報１５５の内容は、上記の第１の実施形態の場合と同様である。

一方、表示装置６００ａ〜６００ｃは、表示画面２５０に表示している画像２５１ａ〜２５１ｃに対応する表示画像情報２５３ａ〜２５３ｃを、それぞれ内部的に取得する。つまり、表示装置６００ａは表示画像情報２５３ａを内部的に取得し、表示装置６００ｂは表示画像情報２５３ｂを内部的に取得し、表示装置６００ｃは表示画像情報２５３ｃを内部的に取得する。ここで、表示画像情報２５３の内容は、上記の第１の実施形態の場合と同様である。

さらに、表示装置６００ａ〜６００ｃは、端末装置５００から取得される撮像画像情報１５５と、それぞれが内部的に取得した表示画像情報２５３ａ〜２５３ｃとを用いて、オブジェクト認識の処理を実行する。この処理によって、端末装置１００の撮像画像に画像２５１ａ〜２５１ｃのいずれかが含まれるかが判定される。また、撮像画像に画像２５１ａ〜２５１ｃのいずれかが含まれる場合、その位置および姿勢も検出される。

図示された例では、表示装置６００ａが、撮像画像に含まれる画像２５１ａを発見する。そこで、表示装置６００ａは、画像２５１ａのトラッキングに利用可能なトラッキング用情報６５３ａを、端末装置５００に送信する。トラッキング用情報６５３ａには、例えば、撮像画像の中の画像２５１ａの位置および姿勢、ならびに画像２５１ａの内容に関する情報が含まれうる。端末装置１００は、トラッキング用情報６５３ａを用いて画像２５１ａをトラッキングし、画像１５１に画像２５１ａに対応する仮想画像１５３を表示させる。

図９Ｂは、図９Ａで画像２５１ａが検出された後の状態を示す。撮像画像に含まれる画像２５１ａの位置および姿勢が検出（探索）された後、表示装置６００ａは、端末装置に画像２５１ａの位置および姿勢の検出（トラッキング）を委任する。つまり、端末装置５００は、表示装置６００ａに撮像画像情報１５５を送信しない。また、表示装置６００ａも、端末装置にトラッキング用情報６５３ａを送信しない。端末装置５００は、以前に受信したトラッキング用情報６５３ａを引き続き用いて、撮像画像に含まれる画像２５１ａをトラッキングし、トラッキングの結果を用いて画像１５１における仮想画像１５３の表示を更新する。

一方、端末装置５００は、表示装置６００ｂ，６００ｃに対しては、引き続き撮像画像情報１５５を送信する。また、表示装置６００ｂ，６００ｃは、それぞれ、図９Ａの状態と同様に、それぞれ画像２５１ｂ，２５１ｃを探索する。

図９Ｃは、図９Ｂの状態において、表示装置４００ａに表示される画像２５１ａが変化した、または、端末装置５００で画像２５１ａのトラッキングが失敗した状態を示す。このとき、表示装置４００ａは、再び画像２５１ａの位置および姿勢を検出（探索）し、新たなトラッキング用情報６５３ａを端末装置５００に送信する。端末装置５００は、新たに受信したトラッキング用情報６５３ａを用いて画像２５１ａをトラッキングし、画像１５１における仮想画像１５３の表示を更新する。

（機能構成）
図１０を参照すると、端末装置５００は、撮像部１１０と、表示制御部１２０と、表示部１５０と、オブジェクト認識部５３０とを含む。また、表示装置６００は、表示制御部２１０と、表示画面２５０と、撮像画像情報取得部３１０と、表示画像情報取得部３２０と、オブジェクト認識部４３０とを含む。

上記の各部は、第２の実施形態で図７を参照して説明したのと同様の構成要素である。本実施形態では、オブジェクト認識部が、端末装置５００および表示装置６００の両方に含まれる。

表示装置６００のオブジェクト認識部４３０は、主に、自らが表示する画像２５１について、探索の処理を実行する。上記で図９Ａ〜図９Ｃを参照して説明したように、撮像画像の中に画像２５１が発見されるまでは、表示装置６００のオブジェクト認識部４３０が、画像２５１を探索する処理を実行する。画像２５１が発見されると、オブジェクト認識部４３０は、例えば画像２５１の位置および姿勢、ならびに画像２５１の内容に関する情報を含むトラッキング用情報６５３を端末装置５００のオブジェクト認識部５３０に向けて送信する。その後、端末装置５００で画像２５１のトラッキングが失敗するか、画像２５１の内容が変更されるまで、オブジェクト認識部４３０は画像２５１の認識の処理を休止してもよい。

一方、端末装置５００のオブジェクト認識部５３０は、撮像画像の中に画像２５１が発見された場合に、画像２５１をトラッキングする処理を実行する。トラッキングの処理に用いられる、以前に発見された画像２５１の位置および姿勢、ならびに画像２５１の内容に関する情報は、表示装置６００のオブジェクト認識部４３０が送信するトラッキング用情報６５３から取得されうる。従って、オブジェクト認識部５３０は、比較的処理負荷が高い探索の処理を実行しなくても、比較的処理負荷が低いトラッキングの処理を開始することが可能である。

なお、画像２５１以外のオブジェクトの認識の処理については、上記のオブジェクト認識部４３０およびオブジェクト認識部５３０のどちらで実行されてもよい。同様に、上記の第１および第２の実施形態でも、端末装置１００に、画像２５１以外のオブジェクトの認識の処理を実行するオブジェクト認識部が含まれてもよい。

（３−２．処理フロー）
次に、図１１を参照して、本開示の第３の実施形態の処理フローについて説明する。図１１は、本実施形態における処理を示すデータフロー図である。

図１１を参照すると、まず、ステップＳ３０１において、端末装置５００が、表示装置６００ａ〜６００ｃのそれぞれに撮像画像情報１５５を送信する。

次に、ステップＳ３０３において、表示装置６００ａでは、オブジェクト認識部４３０が、撮像画像情報１５５と、内部的に取得された表示画像情報２５３ａとを用いて、画像２５１ａ（以下、画像Ａともいう）を探索する。図示された例では、ここで、画像Ａが発見される。表示装置６００ａは、端末装置５００に、画像２５１ａのトラッキングに利用可能なトラッキング用情報６５３ａを送信する。端末装置１００のオブジェクト認識部５３０は、受信したトラッキング用情報６５３ａを用いて画像Ａをトラッキングし、画像１５１に、画像Ａに対応する仮想画像１５３を表示させる。一方、表示装置６００ｂ，６００ｃでは、オブジェクト認識部４３０が画像２５１ｂ（以下、画像Ｂともいう）、画像２５１ｃ（以下、画像Ｃともいう）を探索するが、発見されない。

次に、ステップＳ３０５において、端末装置５００は、表示装置６００ｂ，６００ｃのそれぞれに、撮像画像情報１５５を送信する。本実施形態では撮像画像が動画像であるため、ここで送信される撮像画像情報１５５は、上記のステップＳ３０１で送信された撮像画像情報１５５に対応するフレームよりも後のフレームに対応する。なお、上述のように、端末装置５００は、この時点で画像Ａを認識しているため、表示装置６００ａには撮像画像情報１５５を送信しない。

次に、ステップＳ３０７において、端末装置５００では、オブジェクト認識部５３０が、画像Ａをトラッキングする。一方、表示装置６００ｂ，６００ｃでは、オブジェクト認識部４３０が画像Ｂ、画像Ｃを探索するが、発見されない。

次に、ステップＳ３０９において、端末装置５００は、上記のステップＳ３０５と同様に、表示装置６００ｂ，６００ｃのそれぞれに、撮像画像情報１５５を送信する。

次に、ステップＳ３１１において、表示装置６００ａは、画像２５１ａの変化を検知する。そこで、表示装置６００ａは、変化後の画像２５１ａに対応するトラッキング用情報６５３ａを、端末装置５００に送信する。端末装置５００では、オブジェクト認識部５３０が、新たに受信したトラッキング用情報６５３ａを用いて画像２５１ａをトラッキングし、その結果を用いて画像１５１における仮想画像１５３の表示を更新する。

（実施形態のまとめ）
以上で説明した本開示の第３の実施形態では、撮像画像に含まれる画像の探索が当該画像を表示する表示装置自身によって実行される一方で、探索によって表示画像が発見された後のトラッキングは、撮像画像を取得している端末装置で実行される。つまり、最も処理負荷の高い探索の処理負荷を端末装置から分散させつつ、処理負荷が比較的低いトラッキングの処理は端末装置で実行される。これによって、例えば、表示装置の計算リソースを不必要に消費することが防止される。また、例えば、撮像画像情報をすべての表示装置に送信することを不要として、通信リソースを節約することができる。

（４．補足）
上記の説明では、主に情報処理装置に係る本開示の実施形態を紹介したが、例えばこれらの情報処理装置において実行される方法、情報処理装置に機能を実現されるためのプログラム、およびかかるプログラムを記録した記録媒体も、本開示の実施形態として実現されうる。

また、上記の説明では、サーバ装置または表示装置が情報処理装置として機能する例について説明したが、例えば端末装置が情報処理装置として機能してもよい。この場合であっても、表示装置が表示する画像に対応する情報が提供されることによって、端末装置でのオブジェクト認識の処理負荷は軽減される。

（ハードウェア構成）
最後に、図１２を参照して、本開示の実施形態に係る端末装置１００，５００、表示装置２００，４００，６００、およびサーバ装置３００を実現しうる情報処理装置９００のハードウェア構成について説明する。図１２は、情報処理装置のハードウェア構成を説明するためのブロック図である。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。さらに、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、および通信装置９２５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）などの処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）撮像画像に対応する撮像画像情報を取得する撮像画像情報取得部と、
表示画面に表示される第１の画像に対応する表示画像情報を取得する表示画像情報取得部と、
前記表示画像情報および前記撮像画像情報を用いて、前記撮像画像の中での前記第１の画像の位置および姿勢を検出するオブジェクト認識部と
を備える情報処理装置。
（２）前記表示画像情報取得部は、前記撮像画像情報とは異なるタイミングで前記表示画像情報を取得する、前記（１）に記載の情報処理装置。
（３）前記表示画像情報取得部は、前記第１の画像が変化した場合に前記表示画像情報を取得する、前記（２）に記載の情報処理装置。
（４）前記表示画像情報取得部は、前記撮像画像情報よりも長い間隔で前記表示画像情報を取得する、前記（２）または（３）に記載の情報処理装置。
（５）前記オブジェクト認識部は、前記撮像画像情報が取得されて前記表示画像情報が取得されない場合に、以前に取得された前記表示画像情報を用いて前記第１の画像の位置および姿勢を検出する、前記（４）に記載の情報処理装置。
（６）前記表示画像情報取得部は、前記第１の画像の位置および姿勢が検出されない場合に前記表示画像情報を取得する、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）前記撮像画像情報取得部および前記表示画像情報取得部は、それぞれ時系列で前記撮像画像情報および前記表示画像情報を取得し、
前記撮像画像情報および前記表示画像情報取得部のうちの少なくとも一方には、互いの情報を同期させるための同期情報が含まれる、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）前記撮像画像情報取得部および前記表示画像情報取得部は、それぞれ時系列で前記撮像画像情報および前記表示画像情報を取得し、
前記オブジェクト認識部は、前記撮像画像情報と前記表示画像情報との間の遅延に応じて、前記撮像画像情報とともに用いる前記表示画像情報を選択する、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）前記オブジェクト認識部は、前記第１の画像の位置および姿勢を示す情報を、前記撮像画像を撮像した撮像装置に送信する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）前記オブジェクト認識部は、前記第１の画像の位置および姿勢が検出された場合に、以後の前記第１の画像の位置および姿勢の検出を前記撮像装置に委任する、前記（９）に記載の情報処理装置。
（１１）前記オブジェクト認識部は、前記撮像装置で前記第１の画像の位置および姿勢が検出されなかった場合に、再び前記第１の画像の位置および姿勢を検出する、前記（１０）に記載の情報処理装置。
（１２）前記オブジェクト認識部は、前記第１の画像が変化した場合に、再び前記第１の画像の位置および姿勢を検出する、前記（１０）または（１１）に記載の情報処理装置。
（１３）前記表示画面をさらに備える表示装置である、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）撮像画像に対応する撮像画像情報を取得することと、
表示画面に表示される第１の画像に対応する表示画像情報を取得することと、
前記表示画像情報および前記撮像画像情報を用いて、前記撮像画像の中での前記第１の画像の位置および姿勢を検出することと
を含む情報処理方法。
（１５）撮像画像に対応する撮像画像情報を取得する機能と、
表示画面に表示される第１の画像に対応する表示画像情報を取得する機能と、
前記表示画像情報および前記撮像画像情報を用いて、前記撮像画像の中での前記第１の画像の位置および姿勢を検出する機能と
をコンピュータに実現させるためのプログラム。

１００，５００ 端末装置
１１０ 撮像部
１２０ 表示制御部
１５０ 表示部
１５５ 撮像画像情報
１５７ 認識結果情報
２００，４００，６００ 表示装置
２１０ 表示制御部
２５０ 表示画面
２５１ 画像（第１の画像）
２５３ 表示画像情報
３００ サーバ装置
３１０ 撮像画像情報取得部
３２０ 表示画像情報取得部
３３０，４３０，５３０ オブジェクト認識部
６５３ トラッキング用情報

Claims (12)

1. 端末装置の撮像部の撮像により生成される撮像画像に対応する撮像画像情報を取得する撮像画像情報取得部と、
   第１の表示画面に含まれる第１の画像に対応する表示画像情報を取得する表示画像情報取得部と、
   前記表示画像情報および前記撮像画像情報に基づいて、前記撮像画像の中での前記第１の画像を認識する認識部と、
   を備え、
   前記表示画像情報取得部は、前記第１の画像が変化した場合に、前記表示画像情報を取得し、または、前記第１の画像が認識されない場合に、前記表示画像情報を取得し、
   前記認識部は、前記第１の画像の認識の結果を前記端末装置に送信する、
   情報処理装置。
2. 前記第１の画像の認識は、前記撮像画像の中での前記第１の画像の存在の認識を含む、
   請求項１に記載の情報処理装置。
3. 前記第１の画像の認識は、前記撮像画像の中での前記第１の画像の位置または姿勢の認識を含む、
   請求項１または２に記載の情報処理装置。
4. 前記撮像画像情報取得部が前記撮像画像情報を取得する頻度は、前記表示画像情報取得部が前記表示画像情報を取得する頻度よりも高い、
   請求項１に記載の情報処理装置。
5. 前記認識部は、前記撮像画像情報および前記表示画像情報の少なくとも一方に関連付けられる同期情報に基づいて、前記撮像画像の中での前記第１の画像を認識する、
   請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記同期情報は、時刻情報を含む、
   請求項５に記載の情報処理装置。
7. 前記認識部は、前記撮像画像情報に関連付けられる第１の時刻情報と、前記表示画像情報に関連付けられる第２の時刻情報と、に基づいて、前記撮像画像の中での前記第１の画像を認識する、
   請求項６に記載の情報処理装置。
8. 前記表示画像情報取得部は、前記第１の表示画面とは異なる第２の表示画面に含まれる第２の画像に対応する第２の表示画像情報を取得する、
   請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記認識部が、前記表示画像情報および前記撮像画像情報に基づいて、前記撮像画像の中での前記第１の画像を認識しなかった場合に、前記第１の画像が認識されなかった旨を、前記端末装置へ通知する通知部をさらに備える、
   請求項１に記載の情報処理装置。
10. 前記第１の画像は、さらに前記第１の画像の内容に関する情報に基づいて認識される、
    請求項１〜９のいずれか１項に記載の情報処理装置。
11. 端末装置の撮像部の撮像により生成される撮像画像に対応する撮像画像情報を取得することと、
    第１の表示画面に含まれる第１の画像に対応する表示画像情報を取得することと、
    前記表示画像情報および前記撮像画像情報に基づいて、前記撮像画像の中での前記第１の画像を認識することと、
    前記第１の画像の認識の結果を前記端末装置に送信することと、
    前記第１の画像が変化した場合に、前記表示画像情報を取得し、または、前記第１の画像が認識されない場合に、前記表示画像情報を取得することと、
    を含む情報処理方法。
12. 端末装置の撮像部の撮像により生成される撮像画像に対応する撮像画像情報を取得する撮像画像情報取得機能と、
    第１の表示画面に含まれる第１の画像に対応する表示画像情報を取得する表示画像情報取得機能と、
    前記表示画像情報および前記撮像画像情報に基づいて、前記撮像画像の中での前記第１の画像を認識する認識機能と、
    前記第１の画像が変化した場合に、前記表示画像情報を取得し、または、前記第１の画像が認識されない場合に、前記表示画像情報を取得する機能と、
    前記第１の画像の認識の結果を前記端末装置に送信する機能と、
    をコンピュータに実現させるためのプログラム。

Images