JP5854714B2 - 表示制御装置、表示制御装置の制御方法、プログラム - Google Patents

Description

本発明は、撮像画像中の被写体の情報を表示させる表示制御装置に関する。

近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を合成して表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術がある。例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報に基づいて、撮像画像中の物体の属性情報を合成して表示する。
また、被写体人物が有する携帯端末から取得した識別に用いる特徴情報に基づいて、撮影画像中の被写体人物を特定し、特定した人物の属性情報をサーバから取得して、撮像画像中の特定した被写体の近傍に情報を表示する技術が提案されている（特許文献１）。また、撮像位置／方向に基づいて、撮像範囲と思われる被写体の情報を取得して、撮影画像中に該情報を表示するといった技術も提案されている（特許文献２）。

特開２００２−３０５７１７ 特開２０１０−１１８０１９

上述のように、従来のＡＲ技術としては、撮像画像中の被写体の属性情報を表示している。しかしながら、ユーザの所望の情報を属性情報としている被写体が周辺にいるとしても、該被写体を撮像範囲に捉え、特定されない限り、ユーザの所望の情報が表示されないという問題がある。また、撮像範囲に捉えていない被写体の属性情報も撮像画像に合成したとしても、情報とオブジェクトの対応関係が分からなくなってしまう。また、リッチなユーザインターフェースがない端末装置などの限られた表示範囲に無作為に情報を表示させると、ユーザにとって使い勝手が悪い。
本発明は上述の課題を鑑みてなされた発明であり、他の装置の識別子に関連付けられた情報のうち、ユーザの所望の情報を表示させることを目的とする。

上記課題を解決するための手段として、他の装置の識別子を取得する識別子取得手段と、前記識別子取得手段により取得された前記識別子に関連付けられた情報を取得する情報取得手段と、前記識別子取得手段により取得された前記識別子に対応するオブジェクトを画像から検出する検出手段と、前記検出手段により前記オブジェクトが検出された場合、前記情報取得手段により取得された前記情報を表示部に表示させる第１の表示制御手段と、前記検出手段により前記オブジェクトが検出されず、かつ、前記情報取得手段により取得された前記情報とユーザにより入力されたクエリとが関連する場合、前記情報取得手段により取得された前記情報を前記表示部に表示させる第２の表示制御手段と、を有する表示制御装置を提供する。

他の装置の識別子に関連付けられた情報のうち、ユーザが所望とする情報を表示することができる。

本実施例におけるシステムの構成を示す図である。 実施例１におけるデータベースの概念図を示す図である。 デジタルカメラの構成を示す図である。 携帯電話の構成を示す図である。 撮影処理におけるシステムのシーケンスを示す図である。 デジタルカメラの処理を示すフローチャートである。 撮像画像の表示画面の一例を示す図である。 被写体と関連付けて属性情報を表示する際の表示画面の一例を示す図である。 被写体と関連付けて属性情報を表示する際の表示画面の他の一例を示す図である クエリを表示する際の表示画面の一例を示す図である。 撮像画像に含まれないオブジェクトに対応する属性情報を表示する際の表示画面の一例を示す図である。 実施例２における位置情報登録処理の示すシーケンス図である。 実施例２におけるデータベースの概念図を示す図である。 実施形態２における撮影処理におけるシステムのシーケンスを示す図である。 クエリに対応する属性情報を表示する際の表示画面の一例を示す図である。

［実施例１］
以下に、添付図面を参照して本発明に係る各実施例を説明する。図１は本実施例におけるシステム構成を示す図である。デジタルカメラ１０１は、他の端末装置から受信した該端末装置を一意に識別可能な識別情報に関連付けられた属性情報をサーバ１１１から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる表示制御装置である。また、デジタルカメラ１０１は、撮像した画像中のオブジェクトの属性情報と該撮像した画像上のオブジェクトとを関連付けて表示部に合成して表示させる。したがって、デジタルカメラ１０１の表示画面に重畳して例えば端末装置の所有者に関する情報を表示するので、ユーザは容易に撮像画像のオブジェクトに関する情報を取得することが可能となる。また、撮像画像中のオブジェクトに関連付けて情報を表示するので、どのオブジェクトがどのような情報を発しているかを容易に識別することが可能となる。また、デジタルカメラ１０１は、撮像した画像に含まれないオブジェクトに関する属性情報であっても、ユーザ所望の情報であれば、撮像した画像と該属性情報を合成して表示部に表示させる。

携帯電話１０３、１０５、１０７、１０９は、定期的あるいは他端末の要求に応じて端末を一意に識別可能な識別子を識別情報として発信する端末装置である。なお、識別情報として、端末装置のユーザを一意に識別するための情報であってもよい。サーバ１１１はネットワーク１１０を介して、デジタルカメラ１０１から端末装置の識別情報を含んだ問い合わせを受信すると、データベースに保持する受信した識別情報に対応付けられた属性情報をデジタルカメラ１０１に送信する。また、サーバ１１１は、受信した識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための特徴情報をデータベースにから取得し、デジタルカメラ１０１に送信する。サーバ１１１が管理するデータベースに保持される情報の一例を図２に示す。データベースには、端末装置を一意に識別するための識別子として識別情報２０１、端末装置の所有者の名前２０２、コメント２０３、端末装置の特徴情報２０４とを夫々関連付けているテーブルデータが保持されている。図２は、図１に示す人物１０２、１０４、１０６、１０８が保持する携帯電話１０３、１０５、１０７、１０９に関するテーブルデータである。識別情報２０１は、端末装置を一意に識別可能な識別子として、例えば、ＭＡＣアドレスや端末装置の所有者のユーザＩＤとする。名前２０２、コメント２０３は、識別情報に関連付けられた属性情報の一例であり、デジタルカメラ１０１において撮像された画像と重畳して表示される情報である。なお、属性情報としては名前、コメントに限られず、ＵＲＬなどで外部のサイトへのリンクでもよいし、趣味や生年月日など複数の項目を有していてもよい。特徴情報２０４は、識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための情報である。本実施例においては、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。本実施例では、特徴情報として人物１０２、１０４，１０６、１０８の顔画像がデータベースに格納されているとする。

続いて、表示制御装置であるデジタルカメラ１０１の構成を図３を用いて説明する。なお、デジタルカメラ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。後述する各構成は、ＣＰＵが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。無線通信制御部３０１は、外部装置との間で無線信号の送受信により通信を行うためにアンテナや回路を制御する。なお、無線通信制御部３０１はＩＥＥＥ８０２．１１に則った通信処理を制御するものとする。シャッターボタン３０２は撮影を開始するためのボタンで、ユーザのシャッターボタン３０２の押下を検出し、撮像部３０３において撮影処理の開始を制御する。撮像部３０３はレンズ、撮像素子、Ａ／Ｄ変換により構成され、レンズを介して取得した被写体光を撮像し、撮像した被写体光を画像データとして生成する。表示部３０４は、ディスプレイに撮像画像や各種情報を表示させる表示制御を行う。取得部３１４は、識別情報取得部３０５、特徴情報取得部３０６、属性情報取得部３０７から構成され、無線通信制御部３０１を制御することで各種情報を取得し、保持する。識別情報取得部３０５は、無線通信制御部３０１により受信した通信可能な範囲に存在する端末装置の識別情報を取得する。特徴情報取得部３０６は、識別情報取得部３０５により取得した識別情報をもとにしてサーバ１１１に問い合わせを行い、識別情報に関連付けられた特徴情報をサーバ１１１から取得する。属性情報取得部３０７は、識別情報取得部３０５が取得した識別情報をもとにしてサーバ１１１に問い合わせを行い、識別情報に関連付けられた属性情報をサーバ１１１から取得する。

特定部３０８は、取得部３１４で得られた特徴情報をもとに撮像部３０３により撮像された画像データ上から、所定のオブジェクトを特定するためのハードウェア乃至はプログラムである。なお、本実施例においては、特定部３０８は公知の顔認識処理を行い、取得部３１４が取得した特徴情報に対応するオブジェクトを検出する。合成部３０９は、画像データと該画像データ上の特定部３０８により特定されたオブジェクトの近傍または任意の場所に、対応する属性情報とオブジェクトとを関連付けて合成し、合成画像データを作成する。入力部３１０は、ユーザがクエリを入力するためのタッチパネルや操作ボタン等の入力装置から構成される。入力部３１０は、入力装置を制御し、入力された情報を保持する。ここで、クエリとは、属性情報がユーザの所望の情報かを判定するための情報である。

判定部３１１は、デジタルカメラ１０１と通信可能範囲に存在する端末装置の識別子に対応する属性情報と、入力部３１０が取得したクエリとの比較を行い、それらの関連を判定する。即ち、判定部３１１は、取得部３１４が取得した属性情報がユーザ所望の情報であるかを判定する。位置情報取得部３１２は、デジタルカメラ１０１の緯度、経度、方位、高度などの位置情報を取得するＧＰＳおよび電子コンパスから構成される。記憶部３１３はＲＯＭやＲＡＭから構成され、デジタルカメラ１０１を制御するためのプログラムや各種データを格納する。

続いて、携帯電話１０３、１０５、１０７、１０９の構成を図４を用いて説明する。携帯電話１０３、１０５、１０７、１０９は、ＩＥＥＥ８０２．１１に準拠した無線ＬＡＮ機能を有する携帯電話である。ここで、携帯電話１０３、１０５、１０７、１０９の所有者は人物１０２、１０４、１０６、１０８である。また、各携帯電話は各携帯第電話を一意に識別可能な識別情報である識別子を夫々保持している。また、各携帯電話はＣＰＵを有し、後述する各構成は、ＣＰＵが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。図４に示す無線通信制御部４０１は無線ＬＡＮで他の無線装置との間で無線信号の送受信を行うためのアンテナや回路を制御する。識別情報発信部４０２は無線通信制御部４０１を制御することで、保持する識別情報（識別子）を定期的、もしくは他の装置からの要求に応じて報知する。識別情報発信部４０２は、識別情報（識別子）をＩＥＥＥ８０２．１１に則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与し、送信する。携帯電話制御部４０３は、携帯電話として動作するためのアンテナや回路を制御することで携帯電話通信網と接続し、他の装置と通信を行う。位置情報取得部４０４は、端末の位置を特定するための緯度、経度、方位、高度などの情報を取得するＧＰＳおよび電子コンパスから構成される。

上述の構成を有するシステムの本実施例における動作を説明する。なお、上述した図１を用いてシステムの動作例を説明する。図１において、デジタルカメラ１０１の撮影範囲には人物１０２、１０４が存在し、人物１０６、１０８はデジタルカメラ１０１の撮影範囲には存在しないとする。ここで、デジタルカメラ１０１が撮影処理を行い、撮像画像に通信可能な範囲に存在する端末装置に対応する属性情報を表示する際のシーケンスを図５に示す。まず、デジタルカメラ１０１は、シャッターボタン３０２の操作の検出により、撮影処理を開始する（Ｓ５０１）。次に、デジタルカメラ１０１の取得部３１４は、通信可能な範囲に存在する端末に対して識別情報を要求する。具体的には、取得部３１４は無線通信制御部３０１を制御し、ＩＥＥＥ８０２．１１に則ったプローブ・リクエスト・フレームをブロードキャストで送信する（Ｓ５０２）。プローブ・リクエスト・フレームを受信した携帯電話１０３、１０５、１０７、１０９は、位置情報取得部４０４により自身の位置情報を取得する（Ｓ５０３、Ｓ５０４、Ｓ５０５、Ｓ５０６）。

そして、携帯電話１０３、１０５、１０７、１０９は夫々の装置に対応する識別情報と位置情報を付与したプローブ・レスポンス・フレームでそれぞれ応答する（Ｓ５０７）。デジタルカメラ１０１がプローブ・レスポンス・フレームを受信すると、取得部３１４は、該プローブ・レスポンス・フレームから携帯電話１０３、１０５、１０７、１０９夫々の識別情報と位置情報を取得する。

デジタルカメラ１０１は識別情報を得ると、該識別情報に対応する特徴情報および属性情報を取得するためサーバ１１１に問い合わせを行う（Ｓ５０８）。すなわち、デジタルカメラ１０１は携帯電話１０３、１０５、１０７、１０９から夫々取得した識別情報に基づいて、夫々の識別情報に対応する特徴情報および属性情報をサーバ１１１に要求する。サーバ１１１は、デジタルカメラ１０１からの問い合わせを受信すると、問い合わせに含まれる識別情報をもとにデータベースから該識別情報に関連付けられた属性情報と特徴情報とを検索する（Ｓ５０９）。サーバ１１１は取得した携帯電話１０３、１０５、１０７、１０９夫々の識別情報に関連付けられた属性情報（名前、コメント）と特徴情報をデジタルカメラ１０１に送信する（Ｓ５１０）。デジタルカメラ１０１は、サーバ１１１から受信した属性情報と特徴情報に基づいて、撮像画像と属性情報とを合成し、該合成画像を表示部３０４に表示する（Ｓ５１１）。

続いて、上述したデジタルカメラ１０１が撮影する際の処理を図６のフローチャートを用いて説明する。ここでは、図１に示す人物１０２、１０４が撮影範囲内にいて、人物１０６、１０８が撮影範囲外にいるものとして説明を行う。まず、デジタルカメラ１０１にクエリが入力されなかった場合、即ち撮像画像上で検出されたオブジェクト対応する属性情報のみを表示する例について説明する。まず、デジタルカメラ１０１のシャッターボタン３０２を操作することで撮影処理が開始される（Ｓ６０１）。なお、ここでシャッターボタン３０２の操作とは、シャッターボタン３０２の半押し等の所定の操作により開始される自動焦点制御の指示も含む。このときに表示部３０４に表示される画面を図７に示す。画像７０１は撮像部３０３によって生成された画像である。画像７０１中には被写体７０２と被写体７０３が表示されている。被写体７０２と被写体７０３は、それぞれ人物１０２と人物１０４が撮影された画像に相当する。

７０４は、ユーザ入力表示部であり、入力部３１０が取得したユーザが入力したクエリを表示する。ここでは、クエリが入力されていない場合なので、何も表示されていない。
続いて、撮影処理が開始されると、デジタルカメラ１０１は通信可能な範囲に存在する端末装置から識別情報（識別子）および端末装置の位置情報を取得する（Ｓ６０２）。これは図５において説明したＳ５０２〜５０７に示す処理により、携帯電話１０３、１０５、１０７、１０９夫々から識別情報（識別子）および各装置の位置情報を取得する。

デジタルカメラ１０１は、通信可能な範囲に存在する端末装置の識別情報を取得すると、取得した識別情報を含む要求を行い、サーバ１１１から識別情報に関連付けられた属性情報および特徴情報を取得する（Ｓ６０３）。これはＳ５０８〜５１０に示す処理により、識別情報に関連付けられた属性情報および特徴情報を取得する。取得した情報は図２で表わされるような各識別情報に関連付けられた名前、コメント、特徴情報である。次に、取得した全ての識別子に対して、それぞれ順にＳ６０４以降のフローチャートの処理を行う。これは、Ｓ５１１の合成画像生成の処理に相当する。まず、デジタルカメラ１０１の特定部３０８は、取得した特徴情報を用いて撮像画像上に特徴情報に対応するオブジェクトの検出を試みる（Ｓ６０５）。ここで、取得した携帯電話１０３に対応する識別情報「００：００：８５：００：００：０１」に関する特定処理について説明する。

特定部３０８は、識別情報２０１「００：００：８５：００：００：０１」に対応する特徴情報２０４（Ｔａｒｏ．ｊｐｇ）を用いて図７における画像７０１上から人物１０２の検出処理を行う。Ｓ６０５の結果、画像７０１から識別情報に対応するオブジェトを検出し、被写体７０２が人物１０２であると特定される。すると、合成部３０９は、検出された被写体７０２と関連付けてその近傍に属性情報（名前とコメント）を合成し、表示部３０４は該合成画像を表示する（Ｓ６０６）。このときの合成結果の例を図８に示す。ふきだし８０１は、被写体７０２に関連付けてその近傍に合成された属性情報である。デジタルカメラ１０１のユーザは、このふきだし８０１を見ることにより、人物１０２に関連する情報を得ることができ、かつ、該情報が人物１０２に関連付けられた情報であることが容易に知ることができる。

次に、携帯電話１０５に対応する識別情報２０１「００：００：８５：００：００：０２」に関する特定処理を行う場合について述べる。この場合も同様に、画像７０１中から人物１０４に相当するオブジェクト検出を行い、人物１０４の特定を行う（Ｓ６０５）。被写体７０３が人物１０４であると特定出来ると、その近傍に取得した人物１０４に関連付けられた属性情報を合成し、表示部３０４は該合成画像を表示する（Ｓ６０６）。このときの合成結果の例を図９に示す。ふきだし９０１は、被写体７０３近傍に関連付けて合成された属性情報である。

次に、携帯電話１０７に対応する識別情報２０１「００：００：８５：００：００：０３」、携帯電話１０９に対応する識別情報「００：００：８５：００：００：０４」に関する特定処理を行う場合について述べる。なお、夫々の識別情報は独立して処理されるが同様の処理であるため、一度に説明を行う。特定部３０８により、画像７０１中から識別情報に関連付けられた特徴情報（Ｓａｂｕｒｏ．ｊｐｇ、Ｓｈｉｒｏ．ｊｐｇ）を用いて、人物１０６、人物１０８の検出処理を実行する（Ｓ６０５）。画像７０１上には人物１０６、人物１０８が存在しないため、人物１０６、人物１０８は検出さない。続いて、デジタルカメラ１０１は、入力部３１０により、ユーザが入力したクエリの取得を試みる（Ｓ６０７）。つまり、デジタルカメラ１０１は、ユーザが撮像画像に含まれないオブジェクトの属性情報のうちユーザの所望の情報の表示を希望するかを判定する。ここでユーザはクエリを入力していないので、識別情報「００：００：８５：００：００：０３」、識別情報「００：００：８５：００：００：０４」に対しての処理を終える。そのため、識別情報「００：００：８５：００：００：０３」、識別情報「００：００：８５：００：００：０４」に関連付けられた属性情報は表示部３０４には表示しない。このように取得した全ての識別情報に対して処理を行った結果、ユーザは図９の表示画面を得ることができる。これにより、ユーザは撮影した被写体の情報を得ることができる。このように、ユーザは撮像範囲のオブジェクトに関する付加情報のみを取得したい場合はクエリを入力しなければよい。

次に、ユーザがクエリを入力した場合、即ちユーザが撮像画像に含まれないオブジェクトの属性情報のうちユーザの所望の情報の表示を希望する場合について説明する。ユーザにとって、特定のオブジェクトの情報が欲しい場合ではなく、特定の情報を欲している場合にクエリを入力することが有効でると考えられる。ユーザは、このように所望の情報を表示させたい場合、属性情報がユーザの所望の情報かを判定するためのクエリを上述の撮影処理を開始する前に入力部３１０により入力する。入力されたクエリは、表示部３０４に表示される。図１０にユーザがクエリとして「ラーメン」と入力したときの画面を示す。ユーザ入力表示部１００１には、ユーザが入力した「ラーメン」という文字列が表示される。

ユーザがクエリを入力したときのデジタルカメラ１０１の撮影処理について図６より述べる。上述のクエリを入力していない場合の処理と比べてクエリを入力した場合は、Ｓ６０７からの処理が異なる。したがって、上述のクエリが入力されていない場合の処理と比べて携帯電話１０７（人物１０６）の識別情報「００：００：８５：００：００：０３」、携帯電話１０９（人物１０８）の識別情報「００：００：８５：００：００：０４」に対しての処理が異なる。以降では、識別情報「００：００：８５：００：００：０３」、識別情報「００：００：８５：００：００：０４」、に対してのＳ６０７以降の処理をそれぞれ詳細に述べる。

まず、デジタルカメラ１０１は、携帯電話１０７の識別情報「００：００：８５：００：００：０３」に対して、上述したＳ６０１〜Ｓ６０５までの処理を実行する。Ｓ６０５において、識別情報「００：００：８５：００：００：０３」に対応する人物１０６を画像７０１において特定できず、Ｓ６０７へ処理を進める。Ｓ６０７において、デジタルカメラ１０１はクエリの取得を試みると、「ラーメン」というクエリを取得することが出来る。クエリの取得に成功すると、取得したクエリと識別情報「００：００：８５：００：００：０３」に関連付けられた属性情報とを比較し、関連性があるかを判定する（Ｓ６０８）。ここでは、取得したクエリである「ラーメン」という文字列が、識別情報「００：００：８５：００：００：０３」に関連付けられた属性情報と関連するかを判定する。つまり、判定部３１１は、属性情報がユーザの所望の情報であるかを判定する。ここで、判定部３１１は、属性情報であるコメント「××ラーメン店はおいしいよ！」に、クエリである「ラーメン」という文字列が含まれているため、関連性があると判断する。なお、Ｓ６０８の処理は、公知の自然言語処理等を用いてクエリと属性情報とが関連性があるかを判定するように構成してよい。即ち、属性情報にクエリであるキーワードと同一の文字列を含むことを判定するのみでなく、クエリと関連するキーワードや類義語を含めて属性情報と関連があるかを判定してよい。Ｓ６０８において関連性があると判断された場合、位置情報取得部３１２によりデジタルカメラ１０１の位置情報を取得する（Ｓ６０９）。合成部３０９は、取得したデジタルカメラ１０１の位置情報と、識別情報と共に取得した携帯電話１０７の位置情報に基づいて、識別情報に関連付けられた属性情報（名前とコメント）と画像７０１とを合成する。そして、表示部３０４は該合成画像を表示する（Ｓ６１０）。

Ｓ６１０において合成した画像の表示例を図１１に示す。ふきだし１１０１は、合成された携帯電話１０７（識別情報「００：００：８５：００：００：０３」）の属性情報である。ふきだし１１０１は、デジタルカメラ１０１と携帯電話１０７の位置関係が判断され、携帯電話１０７を所持する人物１０６がデジタルカメラ１０１から見て右側に存在するため、その位置関係に基づいて、画像７０１中の右側に表示される。また、表示部３０４は、ふきだし１１０１のふきだし元も画像の外側を指すように表示する。表示部３０４は、一見して撮像画像中にふきだし１１０１に対応するオブジェクトが存在しないことを認識可能に表示させる。

次に、携帯電話１０９に対応する識別情報「００：００：８５：００：００：０４」に対応する処理を述べる。携帯電話１０７の識別情報に対する処理と同様に、Ｓ６０７にまで処理を進め、Ｓ６０７において「ラーメン」というクエリを取得する。次に、デジタルカメラ１０１は判定部３１１により、取得したクエリと識別情報「００：００：８５：００：００：０４」に関連付けられた属性情報とを比較し、関連性があるかを判断する（Ｓ６０８）。ここで、判定部３１１は、属性情報である名前「史郎」とコメント「おいしいうどん屋探しています」という文字列には、クエリである「ラーメン」という文字列は含まれていないため、関連性がないと判断する。つまり、該属性情報はユーザ所望の情報ではないと判定される。関連性がない（ユーザの所望の情報ではない）と判断されると、識別情報「００：００：８５：００：００：０４」に関連付けられた属性情報を表示部３０４は表示しない。

以上により、本実施例において、撮像画像中から所定のオブジェクトを特定できなかった場合にも、撮像範囲には存在しないが通信可能な範囲にいる所定のオブジェクトに対応する属性情報がユーザの所望とする情報である場合は該属性情報を表示する。したがって、ユーザは、わざわざ所定のオブジェクトを撮像範囲に捉えないでも所望とする情報を得ることが出来る。また、従来技術では撮像範囲に所望とする情報を属性情報とするオブジェクトを捉えたとしても、Ｓ６０５の特定処理が成功しない場合は該属性情報は表示されない。しかしながら、本実施例においては、Ｓ６０５の特定処理が成功しない場合であっても、ユーザ所望の情報であれば表示されるため、ユーザの情報取得の機会を増加することが出来る。また、表示制御装置と属性情報とに対応付けられたオブジェクトのおおよその位置を知ることができるように属性情報を表示するため、ユーザは該オブジェクトを見つけやすいという効果がある。また、撮像範囲外のオブジェクトに対応付けられた属性情報のうちユーザが所望とする情報のみを表示するので、ユーザにとって利便性が高い。例えば、図１１では画像７０１中の右側に人物１０６の属性情報が表示されている。そのため。デジタルカメラ１０１のユーザはデジタルカメラ１０１を画面右側に向けて再度、撮影を行うことにより、該属性情報を有する人物１０６を特定しやすくなる。

［実施例２］
本実施例２と実施例１との差異は、デジタルカメラ１０１が携帯電話１０３、１０５、１０７、１０９の位置情報を取得する方法が異なる。システムの構成、およびデジタルカメラ１０１、および携帯電話１０３、１０５、１０７、１０９は、実施例１と同様である。実施例１と同様である点に関しては、ここでは説明を省略する。図１２、図１３、図１４より本実施例について実施例１と異なる点について詳細に説明する。

図１２は携帯電話１０３が自身の位置情報をサーバ１１１に送信する際のシーケンス図を示したものである。携帯電話１０５、１０７、１０９も同様のシーケンスに従って位置情報をサーバに通達する。携帯電話１０３は、まず位置情報取得部４０４により、自身の位置情報を取得する（１２０１）。そして、取得した位置情報に自身の識別子を付与して、携帯電話制御部４０３により、サーバ１１１に送信する（Ｓ１２０２）。サーバ１１１は携帯電話１０３の位置情報を受信すると、データベースに登録を行う（Ｓ１２０３）。携帯電話１０３、１０５、１０７、１０９は、定期的に図１２で示される位置情報の登録処理を実施する。これによって、携帯電話１０３、１０５、１０７、１０９の位置が移動されても、定期的にサーバ１１１に最新の位置情報を登録することができる。

本実施例におけるサーバ１１１が管理するデータベースに保持される情報の一例を図１３に示す。図２に示す識別情報、名前、コメント、特徴情報に加えて、図１２の手順で登録された位置情報が関連付けられて構成されている。位置置情報は、バイナリデータ、あるいは緯度、経度、方位、高度を表した数値情報などで登録されている。

図１４は、デジタルカメラ１０１が撮影をする際の携帯電話１０３、１０５、１０７、１０９およびサーバ１１１とのシーケンス図である。まず、デジタルカメラ１０１のシャッターボタン３０２を押すことで撮影が開始される（Ｓ１４０１）。次に、デジタルカメラ１０１の取得部３１４は、識別情報を通信可能な範囲に存在する端末に対して要求する。該処理は実施例１と同様である。携帯電話１０３、１０５、１０７、１０９は、識別情報要求を受けると、それぞれの識別情報をデジタルカメラ１０１に送信する（Ｓ１４０３）。取得される識別情報は、図１３に示される４つの識別情報である。識別情報を受信するとデジタルカメラ１０１は、実施例１と同様に識別情報に関連付けられた属性情報と特徴情報とをサーバ１１１に問い合わせる（Ｓ１４０５）。サーバ１１１は、受信した識別情報をもとにデータベースから該識別情報に関連付けられた属性情報、特徴情報、位置情報を検索する（Ｓ１４０５）。サーバ１１１は検索を完了すると、その結果をデジタルカメラ１０１に送信する（１４０６）。

デジタルカメラ１０１は、検索結果を受信すると実施例１と同様に、得られた検索結果１と同様に合成画像を生成する（Ｓ１４０７）。本処理は実施例１と同様に、Ｓ６０４以降の処理として表わされるので、ここでは省略する。実施例１と位置情報を取得するための方法が異なるだけなので、実施例１０１と同様の合成画像結果が得られる。すなわち、デジタルカメラ１０１のユーザがクエリを入力しなかった場合は、図９のような画像が得られ、クエリを入力した場合には図１１のような画像が結果として得られる。

以上により、本実施例において、撮像画像中から所定のオブジェクトを特定できなかった場合にも、撮像範囲には存在しないが通信可能な範囲にいる所定のオブジェクトに対応する属性情報がユーザが所望とする情報である場合は該属性情報を表示する。したがって、ユーザは、わざわざ所定のオブジェクトを撮像範囲に捉えないでも所望とする情報を得ることができる。また、表示制御装置と属性情報と関連するオブジェクトのおおよその位置を知ることができるように属性情報を表示するため、ユーザは該オブジェクトを見つけやすいという効果がある。また、撮像範囲外のオブジェクトに関連する属性情報のうちユーザが所望とする情報のみを表示するので、ユーザにとって利便性が高い。例えば、図１１では画像７０１中の右側に人物１０６の属性情報が表示されている。そのため。デジタルカメラ１０１のユーザはデジタルカメラ１０１を画面右側に向けて再度、撮影を行うことにより、該属性情報を有する人物１０６を特定しやすくなる。

（その他の実施形態）
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで実現してもよい。また、識別情報の発信や取得などに関わる通信は、ＩＥＥＥ８０２．１１に則った無線ＬＡＮの通信に限らず、Ｂｌｕｅｔｏｏｔｈやパッシブ／アクティブ型のＲＦＩＤなどでよい。無線ＬＡＮとパッシブ型ＲＦＩＤなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、ミリ波などの指向性のある無線方式を利用して識別情報の発信、取得をしてもよい。

位置情報取得部３１２はＧＰＳによる位置情報の取得ではなく、アダプティブアレイアンテナのように指向性のあるアンテナを用いて、電波の入射角などに基づいてオブジェクトのおおよその位置を特定してもよい。実施例１、２では各識別情報に対応する属性情報は人物に紐づけられていたが、人物である必要はなく、お店などの建築物やある特定の物体などに紐づけられていてもよい。

また、ユーザが入力するクエリは文字列に限らない。例えば、デジタルカメラ１０１の画面上でレストランモードや、スポーツモードなど複数のモードを選択することができ、その複数のモードの中からユーザが特定のモードを選択することでクエリとして見なしてもよい。つまり、クエリと属性情報を予め所定の種別に分類し、それらのマッチングによりＳ６０８の処理を行ってもよい。また、クエリは、ユーザ自身の属性情報であってもよい。例えば、人物１０２が本発明を適用できる表示装置のユーザであったとして、クエリとして人物１０２に関連づけられている「太郎」、「今日は暑い」といった属性情報をクエリのひとつとして利用してもよい。

また、上述した実施例においてクエリが入力された場合であっても、撮像画像中のオブジェクトが識別された場合は、該オブジェクトに対応する属性情報は、入力したクエリに関連するか否かに関わらず表示する構成とした。しかしながら、撮像画像中のオブジェクトが識別された場合であっても、該オブジェクトに対応する属性情報と入力したクエリに関連がない場合は、表示しない構成としても良い。例えば、図１５に示すようにクエリとして「ラーメン」が入力された場合、「ラーメン」と関連がない被写体７０２に対応する属性情報であるふきだし８０１は表示しない。このように構成することでユーザが必要な情報のみを表示できるので、ユーザは所望の情報を容易に取得することが可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは情報処理装置に供給し、そのシステム或いは情報処理装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ デジタルカメラ
１０２、１０４、１０６、１０８ 人物
１０３、１０５、１０７、１０９ 携帯電話
１１０ ネットワーク
１１１ サーバ

Claims (12)

1. 表示制御装置であって、
   他の装置の識別子を取得する識別子取得手段と、
   前記識別子取得手段により取得された前記識別子に関連付けられた情報を取得する情報取得手段と、
   前記識別子取得手段により取得された前記識別子に対応するオブジェクトを画像から検出する検出手段と、
   前記検出手段により前記オブジェクトが検出された場合、前記情報取得手段により取得された前記情報を表示部に表示させる第１の表示制御手段と、
   前記検出手段により前記オブジェクトが検出されず、かつ、前記情報取得手段により取得された前記情報とユーザにより入力されたクエリとが関連する場合、前記情報取得手段により取得された前記情報を前記表示部に表示させる第２の表示制御手段と、
   を有することを特徴とする表示制御装置。
2. 前記第１の表示制御手段は、前記検出手段により検出された前記オブジェクトと前記情報取得手段により取得された前記情報とを対応付けて前記表示部に表示させることを特徴とする請求項１に記載の表示制御装置。
3. 前記他の装置の位置を取得する位置取得手段を有し、
   前記第２の表示制御手段は、前記表示部における前記情報取得手段により取得された前記情報を表示する位置を、前記位置取得手段により取得された位置に基づいて制御することを特徴とする請求項１または２の何れか１項に記載の表示制御装置。
4. 前記第２の表示制御手段は、前記情報取得手段により取得された前記情報を表示する前記表示部における位置を前記位置取得手段により取得された位置と対応させることを特徴とする請求項３記載の表示制御装置。
5. 前記第２の表示制御手段は、前記情報取得手段により取得された前記情報が前記画像に含まれないオブジェクトに対応する情報であることを前記表示部に表示させることを特徴とした請求項１乃至４の何れか１項に記載の表示制御装置。
6. 前記第２の表示制御手段は、前記情報取得手段により取得された前記情報に前記クエリとして入力されたキーワードが含まれる場合に、当該情報を前記表示部に表示させることを特徴とする請求項１乃至５の何れか１項に記載の表示制御装置。
7. 前記情報取得手段により取得された前記情報と前記クエリとが関連するか否かを判定する判定手段とを更に有し、
   前記第２の表示制御手段は、前記判定手段により前記情報と前記クエリと関連すると判定された場合、前記表示部に前記情報を表示させることを特徴とする請求項１乃至６の何れか１項に記載の表示制御装置。
8. 前記クエリの入力がない場合、前記第２の表示制御手段による制御を行わないことを特徴とする請求項１乃至７の何れか１項に記載の表示制御装置。
9. 前記識別子取得手段は、前記他の装置と直接通信することにより、前記識別子を取得することを特徴とする請求項１乃至８の何れか１項に記載の表示制御装置。
10. 前記画像は、前記表示制御装置が撮像した画像であることを特徴とする請求項１乃至９の何れか１項に記載の表示制御装置。
11. 表示制御装置の制御方法であって、
    他の装置の識別子を取得する識別子取得工程と
    前記識別子取得工程において取得された前記識別子に関連付けられた情報を取得する情報取得工程と、
    前記識別子取得工程において取得された前記識別子に対応するオブジェクトを画像から検出する検出工程と、
    前記検出工程において前記オブジェクトが検出された場合、前記情報取得工程において取得された前記情報を表示部に表示させる第１の表示制御工程と、
    前記検出工程において前記オブジェクトが検出されず、かつ、前記情報取得工程において取得された前記情報とユーザにより入力されたクエリとが関連する場合、前記情報取得工程において取得された前記情報を前記表示部に表示させる第２の表示制御工程と
    を有することを特徴とする表示制御装置の制御方法。
12. 請求項１１に記載の制御方法をコンピュータに実行させるためのプログラム。

Images