JP6016322B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができるようにした情報処理装置、情報処理方法、およびプログラムに関する。

広告を見ている人に、広告に関連する音を聞かせようとする場合に、広告の裏や側面にスピーカを配置して、そのスピーカから音を出力する技術がある（特許文献１）。

また、広告が貼られている壁にカメラなどのセンサを取り付け、広告の前に人がいることを検出して、関連する音を出力する技術がある（特許文献２）。

特開２００４−７７６５４号公報 特開２００１−１４２４２０号公報

上記技術によれば、ポスターなどに印刷されている広告を見ている人の近くに、広告を見ていない人がいる場合、広告を見ている人以外の人にも音が聞こえてしまうといった不具合がある。

また、複数枚の異なる広告のポスターが貼られている場合、それぞれの広告の音が混ざることによって音が聞きづらくなるといった不具合がある。

上記技術は、通常、特定の人にのみ音を聞かせることによって広告効果を向上させるという効果を期待して採用されるものであるが、これらの不具合は、その効果を低減させてしまうことにもなる。

本発明はこのような状況に鑑みてなされたものであり、ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができるようにするものである。

本発明の一側面の情報処理装置は、位置を検出する測位部と、認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、前記測位部により検出された位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードする通信部と、前記通信部によりダウンロードされた前記特徴量のデータと前記音データとを記憶する記憶部と、カメラにより撮影された、認識対象の前記物体の画像を取得する取得部と、前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識する認識部と、前記認識部により認識された前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる再生部とを備える。

本発明の一側面の情報処理方法は、位置を検出し、認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードし、ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、カメラにより撮影された、認識対象の前記物体の画像を取得し、前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、認識した前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させるステップを含む。

本発明の一側面のプログラムは、位置を検出し、認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードし、ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、カメラにより撮影された、認識対象の前記物体の画像を取得し、前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、認識した前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させるステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、位置が検出され、認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信が行われ、検出された位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとがダウンロードされ、記憶部に記憶される。また、カメラにより撮影された、認識対象の物体の前記画像が取得され、前記画像に含まれる前記物体が、前記記憶部に記憶されている前記特徴量のデータに基づいて認識される。また、認識された前記物体に関連付けられた、前記記憶部に記憶されている前記音データが再生され、ユーザが装着する出力装置から再生音が出力される。

本発明によれば、ある物体を見ている人にのみ、その物体に関連付けられて用意されている音データの再生音を聞かせることができる。

本発明の一実施形態に係る情報処理装置を用いたARシステムの外観例を示す図である。 図１のユーザの外観の例を示す図である。 ARシステムの他の外観例を示す図である。 情報処理装置のハードウェアの構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 物体の認識について説明する図である。 情報処理装置の音再生処理について説明するフローチャートである。 情報処理装置の他の機能構成例を示すブロック図である。 図８に示す構成を有する情報処理装置のダウンロード処理について説明するフローチャートである。 ポスターに設定された部分の例を示す図である。 ポスターの部分と対応させて記憶されているモデルデータと音データの例を示す図である。 情報処理装置の設置の例を示す図である。

［AR(Augmented Reality)システム］
図１は、本発明の一実施形態に係る情報処理装置を用いたARシステムの外観例を示す図である。

図１の例においては、壁面ＷにポスターＰ１乃至Ｐ４が並べて貼られている。ポスターＰ１乃至Ｐ４には、例えば、商品やサービスなどの広告が印刷されている。

また、図１の例においては、壁面Ｗの前方にユーザＵ１乃至Ｕ３が立っている。ユーザＵ１は壁面Ｗに貼られたポスターＰ１を見ており、ユーザＵ３はポスターＰ４を見ている。ユーザＵ２は、壁面Ｗに貼られたポスターＰ１乃至Ｐ４のうちのどのポスターも見ていない。図１の破線矢印＃１乃至＃３は、それぞれ、ユーザＵ１乃至Ｕ３の視線を表している。

この場合、各ユーザの近傍の吹き出しに示すように、ポスターＰ１を見ているユーザＵ１にのみ聞こえるように、ポスターＰ１に関連付けられた音が出力される。また、ポスターＰ４を見ているユーザＵ３にのみ聞こえるように、ポスターＰ４に関連付けられた音が出力される。ポスターＰ１やＰ４に関連付けられた音は、ポスターを見ていないユーザＵ２には聞こえない。

それぞれのユーザが携帯している情報処理装置においては、それを携帯しているユーザがポスターを見ていることが検出された場合、そのポスターに関連付けられた音データの再生が行われ、ユーザにのみ聞こえるように再生音が出力される。ポスターに関連付けられた音データは、例えば、ポスターに印刷されている商品やサービスを紹介する音声や音楽のデータである。

図２は、図１のユーザＵ１の外観の例を示す図である。

図２に示すように、ユーザＵ１は、携帯型のコンピュータである情報処理装置１を携帯している。また、ユーザＵ１は、ヘッドマウントディスプレイ（HMD(Head Mounted Display)）２を装着している。情報処理装置１とHMD２は、有線または無線で通信を行うことが可能になっている。

HMD２には、カメラ１１、ヘッドホン１２、およびディスプレイ１３が設けられる。

カメラ１１は、HMD２を装着したユーザＵ１の前方を撮影可能な位置に取り付けられる。カメラ１１の撮影範囲にはユーザの視線が含まれる。カメラ１１により撮影された画像は情報処理装置１に送信される。所定のフレームレートで画像（動画）の撮影がカメラ１１により続けられることにより、情報処理装置１には、ユーザが見ている風景の画像が提供されることになる。

ヘッドホン１２は、HMD２を装着したユーザＵ１の左右の耳の位置にくるように取り付けられる。ヘッドホン１２は、情報処理装置１から送信されてきた再生音を出力する。

ディスプレイ１３は、HMD２を装着したユーザＵ１の目の前方に表示部がくるように取り付けられる。ディスプレイ１３は透過性のある部材により構成され、情報処理装置１から送信されてきたデータに基づいて画像やテキストなどの情報を表示する。ユーザは、風景をディスプレイ１３越しに見ることもできるし、ディスプレイ１３に表示された情報を見ることもできる。

図１のユーザＵ２，Ｕ３も、ユーザＵ１と同様に、情報処理装置１を携帯し、HMD２を装着している。

例えばユーザＵ１が携帯する情報処理装置１においては、カメラ１１により撮影された画像に基づいて、ユーザＵ１がどのポスターを見ているかが物体認識により認識される。情報処理装置１には、どのポスターを見ているかを認識するための、ポスターＰ１乃至Ｐ４の認識用のデータが記憶されている。

また、情報処理装置１においては、ポスターＰ１乃至Ｐ４のうちのいずれかのポスターをユーザＵ１が見ていることが検出された場合、ユーザＵ１が見ているポスターに関連付けられた音データが再生され、再生音がヘッドホン１２から出力される。情報処理装置１には、ポスターＰ１乃至Ｐ４のそれぞれと関連付けて音データが記憶されている。

これにより、ポスターに関連付けられた音を、そのポスターを見ているユーザにのみ聞かせることが可能になる。

すなわち、再生音がヘッドホン１２から出力されるから、ポスターを見ている人以外の人に音が聞こえてしまうといった不具合はない。また、ポスターＰ１乃至Ｐ４のうちのいずれかのポスターに関連付けられた音データの再生が行われるから、それぞれの広告の音が混ざってしまうことによって音が聞きづらくなるといった不具合もない。

ポスターに関連付けられた音データの再生は、ユーザがそのポスターを見ている間だけ行われる。

例えば、図３に示すように、ユーザＵ１が位置ｐ１で破線矢印＃１１の先に示すようにポスターＰ３を見ている場合、ポスターＰ３に関連付けられた音データの再生が行われる。ユーザＵ１は、ポスターＰ３に関連付けられた音データの再生音を聞くことができる。

また、実線矢印＃１２で示すように位置ｐ２に移動したことによって、破線矢印＃１３の先に示すようにユーザＵ１がポスターＰ３を見ていない状態になった場合、ポスターＰ３に関連付けられた音データの再生は停止される。ユーザＵ１は、ポスターＰ３に関連付けられた音データの再生音を聞くことができない。

以上のようにして音データの再生を制御する情報処理装置１の一連の処理については後述する。

［情報処理装置の構成］
図４は、情報処理装置１のハードウェア構成例を示すブロック図である。

CPU(Central Processing Unit)３１、ROM(Read Only Memory)３２、RAM(Random Access Memory)３３は、バス３４により相互に接続されている。

バス３４には、さらに、入出力インタフェース３５が接続されている。入出力インタフェース３５には、入力部３６、出力部３７、記憶部３８、通信部３９、およびドライブ４０が接続される。

入力部３６は、HMD２と通信を行い、HMD２のカメラ１１により撮影された画像を受信する。

出力部３７は、HMD２と通信を行い、音データの再生音をヘッドホン１２から出力させる。また、出力部３７は、表示データをHMD２に送信し、画像やテキストなどの情報をディスプレイ１３に表示させる。

記憶部３８は、ハードディスクや不揮発性のメモリなどよりなり、ポスターの認識用のデータや、それぞれのポスターに関連付けられた音データを記憶する。

通信部３９は、無線LAN(Local Area Network)モジュールなどのネットワークインタフェースなどよりなり、ネットワークを介して接続されるサーバと通信を行う。記憶部３８に記憶されている、ポスターの認識用のデータや音データは、例えばサーバからダウンロードされることによって情報処理装置１に提供される。

ドライブ４０は、装着されたリムーバブルメディア４１に記憶されているデータを読み出したり、リムーバブルメディア４１にデータを書き込んだりする。

図５は、情報処理装置１の機能構成例を示すブロック図である。

図５に示すように、情報処理装置１においては、画像取得部５１、認識部５２、音再生制御部５３、モデルデータ記憶部５４、音データ記憶部５５、および通信制御部５６が実現される。これらの構成のうちの少なくとも一部は、図４のCPU３１により所定のプログラムが実行されることによって実現される。モデルデータ記憶部５４と音データ記憶部５５は例えば記憶部３８に形成される。

画像取得部５１は、入力部３６において受信された、カメラ１１により撮影された画像を取得する。画像取得部５１は、取得した画像を認識部５２に出力する。

認識部５２は、画像取得部５１から供給された画像をクエリ画像として、クエリ画像に含まれる物体を、モデルデータ記憶部５４に記憶されているモデルデータに基づいて認識する。モデルデータ記憶部５４には、ポスターを含む画像から抽出された、ポスターの特徴を表すデータが記憶されている。認識部５２による物体認識については後述する。

認識部５２は、例えば、認識した物体（ポスター）のIDと、認識したポスターとカメラ１１（ユーザ）の相対的な位置関係を表す姿勢情報とを認識結果として音再生制御部５３に出力する。姿勢情報により、例えば認識されたポスターの位置を基準として、ユーザの位置までの距離、ユーザのいる方向が特定される。

音再生制御部５３は、認識部５２から供給されたIDに関連付けられている音データを音データ記憶部５５から読み出して再生する。音再生制御部５３は、再生して得られた再生音のデータを、図４の出力部３７を制御してHMD２に送信し、ヘッドホン１２から出力させる。音データ記憶部５５には、ポスターのIDと音データが関連付けて記憶されている。

通信制御部５６は、通信部３９を制御してサーバ６１と通信を行い、ポスターの特徴を表す認識用のデータであるモデルデータと、ポスターに関連付けられた音データをダウンロードする。サーバ６１はモデルデータと音データのデータベースを有している。通信制御部５６は、ダウンロードしたモデルデータをモデルデータ記憶部５４に記憶させ、音データを音データ記憶部５５に記憶させる。

図６は、物体（ポスター）の認識について説明する図である。

認識部５２による物体認識のアルゴリズムとしては、例えば、RandomizedFernやSIFT(Scale Invariant Feature Transform)がある。RandomizedFernについては、”Fast Keypoint Recognition using Random Ferns Mustafa Ozuysal, Michael Calonder, Vincent Lepetit and Pascal FuaEcole Polytechnique Federale de Lausanne (EPFL) Computer Vision Laboratory, &C Faculty CH-1015 Lausanne, Switzerland”に開示されている。SIFTについては、” Distinctive Image Features from Scale-Invariant Keypoints David G. Lowe January 5, 2004”に開示されている。

図６に示すように、学習装置であるサーバ６１においては、画像処理部７１、特徴点検出部７２、特徴量抽出部７３、および合成部７４が実現される。図６に示す各構成は、サーバ６１のCPUにより所定のプログラムが実行されることによって実現される。サーバ６１も図４に示すようなコンピュータにより構成される。

画像処理部７１は、モデル画像にアフィン変換などの処理を施し、処理を施すことによって得られたモデル画像を特徴点検出部７２に出力する。画像処理部７１に対しては、ポスターＰ１乃至Ｐ４のそれぞれの画像が、モデル画像として順次入力される。モデル画像は特徴量抽出部７３にも入力される。

特徴点検出部７２は、画像処理部７１から供給されたモデル画像上の各点をモデル特徴点として決定し、モデル特徴点の位置を表す情報を特徴量抽出部７３に出力する。

特徴量抽出部７３は、モデル画像を構成する画素のうち、モデル特徴点の位置に対応する画素の情報をモデル特徴量として抽出する。特徴量抽出部７３により抽出されたモデル特徴量のデータは、特徴量の抽出元になったモデル画像に含まれるポスターのIDと対応付けてモデル辞書Ｄ１に登録される。モデル辞書Ｄ１は、ポスターのIDと、ポスターを含む画像から抽出された各モデル特徴点のモデル特徴量のデータとを対応付けたデータとして構成される。

また、特徴量抽出部７３は、抽出したモデル特徴量のデータを合成部７４に出力する。

合成部７４は、入力された３Ｄモデルデータと、特徴量抽出部７３から供給されたモデル特徴量のデータを合成する。合成部７４に対しては、ポスターＰ１乃至Ｐ４のそれぞれの三次元形状を表すデータが３Ｄモデルデータとして入力される。

例えば、合成部７４は、３Ｄモデルデータに基づいて、ポスターを様々な角度から見たときのそれぞれのモデル特徴点の３Ｄモデル上の位置を計算する。合成部７４は、計算したそれぞれのモデル特徴点の位置にモデル特徴量のデータを割り当てることによって、３Ｄモデルデータとモデル特徴量のデータを合成し、３ＤモデルデータＤ２を生成する。

モデル辞書Ｄ１と、合成部７４により生成された３ＤモデルデータＤ２は情報処理装置１に提供され、モデルデータ記憶部５４に記憶される。

図６に示すように、認識部５２は、画像処理部８１、特徴点検出部８２、特徴量抽出部８３、マッチング部８４、および姿勢推定部８５から構成される。画像処理部８１に対しては、カメラ１１により撮影され、画像取得部５１により取得された画像がクエリ画像として入力される。クエリ画像は特徴量抽出部８３にも供給される。

画像処理部８１は、画像処理部７１と同様にして、クエリ画像にアフィン変換などの処理を施し、処理を施すことによって得られたクエリ画像を特徴点検出部８２に出力する。

特徴点検出部８２は、画像処理部８１から供給されたクエリ画像上の各点をクエリ特徴点として決定し、クエリ特徴点の位置を表す情報を特徴量抽出部８３に出力する。

特徴量抽出部８３は、クエリ画像を構成する画素のうち、クエリ特徴点の位置に対応する画素の情報をクエリ特徴量として抽出し、抽出したクエリ特徴量のデータをマッチング部８４に出力する。

マッチング部８４は、モデル辞書Ｄ１に含まれる特徴量のデータに基づいてK-NNなどの最近傍探索を行い、それぞれのクエリ特徴点の最近傍となるモデル特徴点を決定する。マッチング部８４は、クエリ特徴点の最近傍となるモデル特徴点の数に基づいて、例えば最近傍となるモデル特徴点が最も多いポスターを選択する。マッチング部８４は、選択したポスターのIDを認識結果として出力する。

マッチング部８４から出力されたポスターのIDは、図５の音再生制御部５３に供給されるとともに、姿勢推定部８５に供給される。姿勢推定部８５に対しては、各クエリ特徴点の位置を表す情報なども供給される。

姿勢推定部８５は、マッチング部８４により認識されたポスターの３ＤモデルデータＤ２をモデルデータ記憶部５４から読み出し、３ＤモデルデータＤ２に基づいて、それぞれのクエリ特徴点の最近傍であるモデル特徴点の３Ｄモデル上の位置を特定する。また、姿勢推定部８５は、ポスターとユーザの位置関係を表す姿勢情報を出力する。

カメラ１１により撮影されたクエリ画像から検出されたクエリ特徴点の最近傍であるモデル特徴点の３Ｄモデル上の位置を特定することができれば、クエリ画像がポスターをどの位置から撮影したものであるのか、すなわち、ユーザがどの位置にいるのかを特定することが可能である。また、画像に含まれるポスターの大きさと距離が予め対応付けられていれば、カメラ１１により撮影されたクエリ画像に含まれるポスターの大きさから、ポスターの位置からユーザの位置までの距離を特定することが可能である。カメラ１１のレンズは、例えば、ズーム機能がない単焦点のレンズである。

ユーザが見ているポスターと、ポスターとユーザの相対的な位置関係は以上のようにして認識される。

［情報処理装置の動作］
ここで、図７のフローチャートを参照して、情報処理装置１の音再生処理について説明する。図７の処理は、例えば、カメラ１１により撮影が行われている間、繰り返し行われる。

ステップＳ１において、画像取得部５１は、カメラ１１により撮影された画像を取得する。

ステップＳ２において、認識部５２は、画像取得部５１により取得された画像を対象として物体認識を行う。

ステップＳ３において、認識部５２は、認識した物体のIDと一致するIDが、ポスターのIDとしてモデルデータ記憶部５４に記憶されているか否か、すなわちユーザがポスターを見ているか否かを判定する。

ユーザがポスターを見ていないとステップＳ３において判定された場合、ステップＳ４において、音再生制御部５３は、音データの再生中であるか否かを判定する。

音データの再生中であるとステップＳ４において判定した場合、音再生制御部５３は、ステップＳ５において、音データの再生を停止する。ステップＳ５において音データの再生が停止された場合、または、音データの再生中ではないとステップＳ４において判定された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。

一方、ユーザがポスターを見ているとステップＳ３において判定された場合、ステップＳ６において、音再生制御部５３は、ユーザが見ているポスターに関連付けられた音データが音データ記憶部５５に記憶されているか否かを判定する。

ユーザが見ているポスターに関連付けられた音データが記憶されていないとステップＳ６において判定された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。

ユーザが見ているポスターに関連付けられた音データが記憶されているとステップＳ６において判定された場合、ステップＳ７において、音再生制御部５３は、ユーザが見ているポスターに関連付けられた音データ以外の音データの再生中であるか否かを判定する。

ユーザが見ているポスターに関連付けられた音データ以外の音データの再生中であるとステップＳ７において判定した場合、ステップＳ８において、音再生制御部５３は、音データの再生を停止する。ステップＳ８において音データの再生が停止された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。

一方、ユーザが見ているポスターに関連付けられた音データ以外の音データの再生中ではないとステップＳ７において判定した場合、ステップＳ９において、音再生制御部５３は、ユーザが見ているポスターに関連付けられた音データの再生中であるか否かを判定する。

ユーザが見ているポスターに関連付けられた音データの再生中であるとステップＳ９において判定された場合、ステップＳ１に戻り、それ以降の処理が行われる。この場合、ユーザが見ているポスターに関連付けられた音データの再生が続けられることになる。

ユーザが見ているポスターに関連付けられた音データの再生中ではないとステップＳ９において判定された場合、ステップＳ１０において、音再生制御部５３は、ユーザが見ているポスターに関連付けられた音データを音データ記憶部５５から読み出し、再生を開始する。その後、ステップＳ１以降の処理が繰り返される。

以上の処理により、ポスターを見ている人にのみ、そのポスターに関連付けられた音データの再生音を聞かせることが可能になる。

カメラ１１により撮影された画像に複数のポスターが含まれていると認識された場合、画像の中央に最も近い位置に含まれるポスターが、ユーザが見ているポスターとして認識されるようにしてもよい。

ユーザが見ているとして認識されたポスターの貼り付け位置を音源位置とし、姿勢情報により表されるユーザの位置において再生音が定位するように、ヘッドホン１２の左右のスピーカから出力される音の音量や出力タイミングが調整されるようにしてもよい。これにより、ポスターから音が出力されているような印象をユーザに与えることが可能になる。

［変形例］
情報処理装置１のモデルデータ記憶部５４に記憶されるモデルデータと、音データ記憶部５５に記憶されている音データが、ユーザの位置に応じて更新されるようにしてもよい。

図８は、情報処理装置１の他の機能構成例を示すブロック図である。

測位部５７が追加されている点を除いて、図８に示す構成は図５に示す構成と同じである。重複する説明については省略する。

測位部５７は、情報処理装置１内に設けられるGPS(Global Positioning System)センサ（図示せず）の出力に基づいて情報処理装置１の位置、すなわち、情報処理装置１を携帯するユーザの位置を検出する。測位部５７は、現在位置を表す位置情報を通信制御部５６に出力する。

通信制御部５６は、位置情報をサーバ６１に送信し、現在位置を含むエリア内に貼られているポスターのモデルデータと、ポスターに関連付けられた音データをダウンロードする。

サーバ６１においては、ポスターのモデルデータと音データが、ポスターが貼られているエリア毎に分けて管理されている。モデルデータと音データのダウンロードは、例えば１つのエリア内に貼られているポスターに関するモデルデータと音データの単位で行われる。

通信制御部５６は、ダウンロードしたモデルデータをモデルデータ記憶部５４に記憶させ、音データを音データ記憶部５５に記憶させる。

図９のフローチャートを参照して、図８に示す構成を有する情報処理装置１のダウンロード処理について説明する。

ステップＳ２１において、測位部５７は、現在位置を検出し、位置情報を通信制御部５６に出力する。

ステップＳ２２において、通信制御部５６は、位置情報をサーバ６１に送信する。

ステップＳ２３において、通信制御部５６は、現在位置を含むエリアに貼られているポスターのモデルデータと、ポスターに関連付けられた音データをダウンロードする。

ステップＳ２４において、通信制御部５６は、ダウンロードしたモデルデータをモデルデータ記憶部５４に記憶させ、音データを音データ記憶部５５に記憶させる。その後、処理は終了される。

新たにダウンロードされたモデルデータと音データが記憶された後、直前のユーザの位置を含むエリア内に貼られているポスターのモデルデータと音データが、モデルデータ記憶部５４と音データ記憶部５５から消去されるようにしてもよい。これにより、モデルデータと音データのデータ量を減らすことが可能になる。

以上においては、ポスター単位で、ユーザがどのポスターを見ているかが認識され、ポスターに関連付けられた音データが再生されるものとしたが、１枚のポスターの部分単位で処理が行われるようにしてもよい。この場合、ユーザがどのポスターのどの部分を見ているかが認識され、認識されたポスターの部分に関連付けられた音データが再生される。

図１０は、ポスターＰ１に設定された部分（領域）の例を示す図である。

図１０の例においては、ポスターＰ１には、部分１−１，１−２，１−３がそれぞれ設定されている。商品の写真が異なるといったように、部分１−１，１−２，１−３には、それぞれ異なる内容の情報が印刷されている。

情報処理装置１には、図１１に示すように、ポスターの部分と対応させて、モデルデータと音データが記憶される。

図１１の例においては、ポスターＰ１の部分１−１に対応させて、モデルデータ１−１と音データ１−１が記憶されており、部分１−２に対応させて、モデルデータ１−２と音データ１−２が記憶されている。また、部分１−３に対応させて、モデルデータ１−３と音データ１−３が記憶されている。

ポスターＰ２乃至Ｐ４についても同様に、ポスター内の各部分に対応させて、モデルデータと音データが記憶されている。

情報処理装置１においては、カメラ１１により撮影された画像と、部分毎のモデルデータに基づいて、ユーザがポスターＰ１の部分１−１を見ていると判定された場合、音データ１−１の再生が開始される。

これにより、ユーザが見ているポスターの部分に応じて、ユーザに聞かせる音データを切り替えることが可能になる。

また、以上においては、情報処理装置１はユーザが携帯するものとしたが、他の場所に設置されるようにしてもよい。

図１２は、情報処理装置１の設置の例を示す図である。

図１２の例においては、ポスターＰ１乃至Ｐ４が貼られている壁面Ｗに、情報処理装置１が設置されている。情報処理装置１と、ユーザが装着するHMD２の間では通信が行われ、カメラ１１により撮影された画像や、情報処理装置１により再生された音データの送受信が行われる。

以上においては、認識対象の物体がポスターである場合について説明したが、ディスプレイに表示される画像が認識され、認識された画像に関連付けられた音データが再生されるようにしてもよい。

また、以上においては、情報処理装置１と通信を行う機器がHMD２である場合について説明したが、情報処理装置１と通信を行う機器は、カメラ機能を有する携帯音楽プレーヤなどの、ユーザが携帯する他の機器であってもよい。ユーザは、携帯音楽プレーヤによってポスターを撮影することによって、ポスターに関連付けられた音を、携帯音楽プレーヤのイヤホンを用いて聞くことができる。

再生する音データの種類をユーザが選択することができるようにしてもよい。例えば、同じポスターに関連付けて、大人用の音声、子供用の音声といったように、対象の異なる複数の音声が情報処理装置１に用意されている場合、ユーザにより選択された音声が再生される。

この場合、ユーザは、大人用の音声を再生するのか、子供用の音声を再生するのかを予め選択し、選択の内容を表す情報を情報処理装置１に記憶させておくことになる。あるポスターをユーザが見ていることが検出された場合、情報処理装置１においては、そのポスターに関連付けられている音データのうち、記憶されている情報により表される種類の音データの再生が開始される。これにより、ユーザは、同じポスターを見た場合であっても、自分の好みの音声を聞くことが可能になる。

また、日本語の音声、外国語の音声といったように、言語の異なる音声の中から、再生させる音声の言語をユーザが選択できるようにしてもよい。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図４に示されるリムーバブルメディア４１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３２や記憶部３８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 情報処理装置， ２ HMD， １１ カメラ， １２ ヘッドホン， １３ ディスプレイ， ５１ 画像取得部， ５２ 認識部， ５３ 音再生制御部， ５４ モデルデータ記憶部， ５５ 音データ記憶部， ５６ 通信制御部

Claims (6)

1. 位置を検出する測位部と、
   認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、前記測位部により検出された位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードする通信部と、
   前記通信部によりダウンロードされた前記特徴量のデータと前記音データとを記憶する記憶部と、
   カメラにより撮影された、認識対象の前記物体の画像を取得する取得部と、
   前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識する認識部と、
   前記認識部により認識された前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる再生部と
   を備える情報処理装置。
2. 位置を検出し、
   認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードし、
   ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、
   カメラにより撮影された、認識対象の前記物体の画像を取得し、
   前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、
   認識した前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる
   ステップを含む情報処理方法。
3. 位置を検出し、
   認識対象の物体の特徴量のデータと前記物体と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体の前記特徴量のデータと、前記物体と関連付けられた前記音データとをダウンロードし、
   ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、
   カメラにより撮影された、認識対象の前記物体の画像を取得し、
   前記画像に含まれる前記物体を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、
   認識した前記物体に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる
   ステップを含む処理をコンピュータに実行させるプログラム。
4. 位置を検出する測位部と、
   認識対象の物体に設定された部分の特徴量のデータと前記物体に設定された部分と関連付けられた音データとのデータベースを有するサーバと通信を行い、前記測位部により検出された位置を含むエリアに設置されている前記物体に設定された部分の前記特徴量のデータと、前記物体に設定された部分と関連付けられた前記音データとをダウンロードする通信部と、
   前記通信部によりダウンロードされた前記特徴量のデータと前記音データとを記憶する記憶部と、
   カメラにより撮影された、認識対象の前記物体に設定された部分の画像を取得する取得部と、
   前記画像に含まれる前記物体に設定された部分を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識する認識部と、
   前記認識部により認識された前記物体に設定された部分に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる再生部と
   を備える情報処理装置。
5. 位置を検出し、
   認識対象の物体に設定された部分の特徴量のデータと前記物体に設定された部分と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体に設定された部分の前記特徴量のデータと、前記物体に設定された部分と関連付けられた前記音データとをダウンロードし、
   ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、
   カメラにより撮影された、認識対象の前記物体に設定された部分の画像を取得し、
   前記画像に含まれる前記物体に設定された部分を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、
   認識した前記物体に設定された部分に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる
   ステップを含む情報処理方法。
6. 位置を検出し、
   認識対象の物体に設定された部分の特徴量のデータと前記物体に設定された部分と関連付けられた音データとのデータベースを有するサーバと通信を行い、検出した位置を含むエリアに設置されている前記物体に設定された部分の前記特徴量のデータと、前記物体に設定された部分と関連付けられた前記音データとをダウンロードし、
   ダウンロードした前記特徴量のデータと前記音データとを記憶部に記憶し、
   カメラにより撮影された、認識対象の前記物体に設定された部分の画像を取得し、
   前記画像に含まれる前記物体に設定された部分を、前記記憶部に記憶されている前記特徴量のデータに基づいて認識し、
   認識した前記物体に設定された部分に関連付けられた、前記記憶部に記憶されている前記音データを再生してユーザが装着する出力装置から再生音を出力させる
   ステップを含む処理をコンピュータに実行させるプログラム。

Images