JPWO2017179543A1 - 情報処理装置、情報処理方法及びプログラム記録媒体 - Google Patents

Abstract

物体が認識されない状況においても、物体に対応付けられた情報を当該物体の位置に応じた表示態様で表示できるように記録する。情報処理装置１００は、画像を取得する取得部１１０と、取得部１１０により取得された画像から物体を認識する認識部１２０と、認識部１２０により前記物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する記録部１３０とを含む。

Description

本開示は、情報処理装置等に関する。

物体を認識し、認識した物体に応じた情報を表示する技術が知られている。例えば、特許文献１は、マーカを認識すると、マーカに対応した画像を表示する技術を開示している。また、特許文献２は、１つのマーカに複数のＡＲ（Augmented Reality）コンテンツを対応付ける技術を開示している。

特開２０１５−１９４９５４号公報 特開２０１５−０２２７３７号公報

この種の情報の表示に際して、マーカが必ず認識できるとは限らない。例えば、特許文献１、２に開示された技術において、マーカが他の遮蔽物によって隠れてしまったり、あるいはマーカが剥離したりして本来の位置に存在しなくなった場合には、所期の情報を表示することができない。

本開示の例示的な目的は、物体が認識されない状況においても、物体に対応付けられた情報を当該物体の位置に応じた表示態様で表示できるように記録することにある。

一の態様において、画像を取得する取得手段と、前記取得手段により取得された画像から物体を認識する認識手段と、前記認識手段により物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する記録手段とを含む情報処理装置が提供される。

別の態様において、画像を取得し、前記取得された画像から物体を認識し、前記物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する情報処理方法が提供される。

さらに別の態様において、コンピュータに、画像を取得する処理と、前記取得された画像から物体を認識する処理と、前記物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する処理とを実行させるためのプログラムを記録したコンピュータ読取可能なプログラム記録媒体が提供される。

本開示によれば、物体が認識されない状況においても、物体に対応付けられた情報を当該物体の位置に応じた表示態様で表示できるように記録することが可能である。

図１は、情報処理装置の構成の一例を示すブロック図である。 図２は、情報処理装置が実行する処理の一例を示すフローチャートである。 図３は、情報処理装置の構成の別の例を示すブロック図である。 図４は、制御盤の一例を示す図である。 図５は、付箋紙の貼付の一例を示す図である。 図６は、登録処理の一例を示すフローチャートである。 図７は、座標情報の一例を示す図である。 図８は、表示処理の一例を示すフローチャートである。 図９は、コンテンツの表示の一例を示す図である。 図１０は、情報処理システムの構成の一例を示すブロック図である。 図１１は、付箋紙の一例を示す図である。 図１２は、付箋紙の貼付の一例を示す図である。 図１３は、登録処理の別の例を示すフローチャートである。 図１４は、座標の計算方法の一例を示す図である。 図１５は、座標情報の一例を示す図である。 図１６は、コンテンツの表示の別の例を示す図である。 図１７は、情報処理装置の構成のさらに別の例を示すブロック図である。 図１８は、コンテンツに所定の処理を割り当てる場合の付箋紙を例示する図である。 図１９は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。

［第１実施形態］
図１は、一実施形態に係る情報処理装置１００の構成を示すブロック図である。画像処理装置１００は、取得部１１０と、認識部１２０と、記録部１３０とを含んで構成される。情報処理装置１００は、他の構成要素を必要に応じて含んでもよい。情報処理装置１００の構成の一部または全部は、ソフトウェアによって実装されてもよい。

取得部１１０は、画像を取得する。取得部１１０は、例えば、他の装置（デジタルカメラ、記憶装置など）から画像データの入力を受け付けることによって画像を取得する。取得部１１０により取得される画像は、特定のサイズや色深度に必ずしも限定されない。取得部１１０により取得される画像は、モノクロ画像とカラー画像のいずれであってもよい。取得部１１０は、画像を複数取得することが可能である。

認識部１２０は、画像から所定の物体を認識する。認識部１２０は、取得部１１０により取得された画像から、周知の物体認識技術を用いて物体を認識することができる。ここでいう物体認識技術は、一般物体認識と特定物体認識のいずれであってもよい。例えば、認識部１２０は、所定の特徴量に基づいて画像特徴を抽出することで物体を認識してもよい。

いくつかの態様において、認識部１２０は、特定の物品や標識を認識するように構成される。例えば、認識部１２０は、２次元コード（２次元バーコードともいう。）や、ＡＲシステムにおいて用いられるＡＲマーカを認識することが可能である。認識部１２０は、画像において色又は形状が一定の特徴を有する部分を所定の物体として認識してもよい。

記録部１３０は、画像から認識された物体に関する情報を記録する。記録部１３０は、情報処理装置１００の内部又は外部の所定の記憶媒体に情報を記録するように構成される。記録部１３０は、認識部１２０により物体が認識された場合に、当該認識された物体に関する情報を記録する。記録部１３０は、認識部１２０により複数の物体が認識された場合に、当該複数の物体に関する情報を関連付けて記録する。

記録部１３０は、認識部１２０により物体が認識された場合に、当該物体に対応する情報（以下「第１の情報」ともいう。）を、当該物体の位置に関する情報（以下「第２の情報」ともいう。）とともに記録する。第１の情報は、例えば、認識部１２０により認識された物体を識別する情報や、当該物体から抽出される情報である。例えば、認識部１２０により認識された物体の表面に文字又は画像が含まれている場合、第１の情報は、その文字又は画像に基づいて記録される。第１の情報は、認識部１２０により認識された物体そのものを表す画像データであってもよい。第２の情報は、例えば、認識部１２０により認識された物体の位置（すなわち座標）を所定の座標系を用いて記述した情報である。第１の情報及び第２の情報は、物体に関する情報の一例に相当する。

また、記録部１３０は、認識部１２０により複数の物体が認識された場合に、当該複数の物体の位置関係に応じた情報を第２の情報として記録してもよい。この場合の第２の情報は、例えば、認識部１２０により認識された複数の物体の位置を共通の座標系を用いて記述した情報である。第２の情報は、これら複数の物体の間の距離を示すデータや、複数の物体の一方を基準とした場合の他方の方向を示すデータを含んでもよい。

図２は、情報処理装置１００が実行する処理を示すフローチャートである。ステップＳ１１１において、取得部１１０は、画像を取得する。ステップＳ１１２において、認識部１２０は、取得部１１０により取得された画像から物体を認識する。ここでいう物体は、画像の全体ではなく一部に含まれるものとする。

なお、ステップＳ１１２において、認識部１２０は、画像から物体を常に認識するとは限らない。例えば、認識部１２０は、認識可能な物体が画像に含まれていない場合には、物体の認識に失敗する。したがって、ステップＳ１１２の処理は、物体の認識を試みる処理であるともいえる。ステップＳ１１２において物体が認識できなかった場合、情報処理装置１００は、ステップＳ１１３以降の処理を実行せずに処理を終える。

ステップＳ１１２において物体が認識された場合、記録部１３０は、ステップＳ１１３において当該物体に関する情報を記録する。特に、ステップＳ１１２において複数の物体が認識された場合、記録部１３０は、当該複数の物体について、第１の情報と第２の情報とを記録する。

以上に説明されたように、本実施形態の情報処理装置１００は、物体が認識された場合に第１の情報を第２の情報とともに記録する構成を有する。この構成は、認識された物体の位置に関する情報、すなわち第２の情報を第１の情報とともに読み出すことを可能にする。したがって、情報処理装置１００によれば、物体が認識されない状況においても、物体に対応付けられた第１の情報を当該物体の位置に応じた表示態様で表示できるように記録することが可能である。

また、本実施形態の情報処理装置１００は、複数の物体が認識された場合に第１の情報を第２の情報とともに記録する構成を有する。この構成は、認識された複数の物体の位置関係に応じた第２の情報を第１の情報とともに読み出すことを可能にする。したがって、情報処理装置１００によれば、複数の物体の少なくとも一部が認識されない状況においても、物体に対応付けられた第１の情報を当該複数の物体の位置関係に応じた表示態様で表示できるように記録することが可能である。

［第２実施形態］
図３は、別の実施形態に係る情報処理装置２００の構成を示すブロック図である。情報処理装置２００は、制御部２１０と、記憶部２２０と、撮影部２３０と、画像処理部２４０と、表示部２５０とを含んで構成される。情報処理装置２００は、他の構成要素（例えば、入力装置）を含んでもよい。

情報処理装置２００は、例えば、スマートフォンやタブレット端末のような携帯可能な電子機器である。あるいは、情報処理装置２００は、ＨＭＤ（Head Mounted Display）のようなウェアラブルデバイスであってもよい。ただし、情報処理装置２００の具体的な形状やサイズは、特に限定されない。

なお、本実施形態以降において、第１実施形態に記載された用語と同一の用語は、特に定義又は説明がある場合を除き、第１実施形態と同様の意味で用いられる。

制御部２１０は、情報処理装置２００の動作を制御する。制御部２１０は、ＣＰＵ（Central Processing Unit）等の１又は複数の演算処理装置とメモリとを有し、プログラムを実行することによって情報処理装置２００の動作を制御する。制御部２１０は、第１実施形態の記録部１３０の一例に相当する。

記憶部２２０は、データを記憶する。記憶部２２０は、ハードディスク、フラッシュメモリ等の記憶媒体を含んで構成される。記憶部２２０は、メモリカード等の着脱可能な記憶媒体とデータを授受する構成を含み得る。記憶部２２０は、プログラムや画像データをはじめとする情報処理装置２００の動作に必要なデータを記憶することができる。制御部２１０は、データを記憶部２２０に書き込み、記憶部２２０に記憶されたデータを読み出すことができる。

撮影部２３０は、画像を撮影する。撮影部２３０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の光検出器を含んで構成される。撮影部２３０は、撮影された画像を表す画像データを生成する。以下においては、撮影により生成された画像データが表す画像のことを「撮影画像」ともいう。撮影部２３０は、第１実施形態の取得部１１０の一例に相当する。

画像処理部２４０は、所定の画像処理を実行する。画像処理部２４０は、例えば、１又は複数の画像処理プロセッサを含んで構成される。画像処理部２４０は、独立した構成要素としてではなく、制御部２１０の一部として構成されてもよい。

画像処理部２４０は、より詳細には、物体認識部２４１と抽出部２４２とを含んで構成される。物体認識部２４１は、画像から物体を認識する。物体認識部２４１は、第１実施形態の認識部１２０の一例に相当する。抽出部２４２は、物体認識部２４１により認識された物体から情報を抽出する。以下においては、抽出部２４２により抽出された情報のことを「付加情報」ともいう。付加情報は、例えば、物体認識部２４１により認識された物体の表面から光学的に読み取ることができる情報を含む。

表示部２５０は、情報を表示する。表示部２５０は、液晶ディスプレイ、プロジェクタ等の表示装置を含んで構成される。表示部２５０は、撮影部２３０により撮影された撮影画像を表示することが可能である。また、表示部２５０は、記憶部２２０に記憶されたデータに応じた画像を表示することも可能である。

情報処理装置２００の構成は、以上のとおりである。この構成のもと、情報処理装置２００は、撮影画像から物体を認識し、認識された物体に応じた情報を記録することが可能である。また、情報処理装置２００は、記録された情報を表示することが可能である。

本実施形態において、情報処理装置２００は、制御盤を認識するように構成される。ここでいう制御盤は、計器、表示器又は操作子（スイッチ、ツマミなど）を含む物体である。制御盤は、製品の製造、施設の保守又はメンテナンスなどにおいて用いられる。制御盤に類似する物体としては、表示盤、操作盤、警報盤などがある。

図４は、制御盤の一例を示す図である。この例において、制御盤１０は、計器１１、１２、１３と、ダイヤル１４と、スイッチ１５とを有する。計器１１、１２、１３は、それぞれ、計測される所定の数量（重量、圧力、温度、速度など）を表示する。ダイヤル１４及びスイッチ１５は、入力装置の一例である。ダイヤル１４は、数値を入力するための入力するための入力装置である。スイッチ１５は、オン・オフを切り替えるための入力装置である。

制御盤１０は、点検作業において、作業者に目視で確認される。しかし、この点検作業における作業者は、常に同じ人物であるとは限らない。本実施形態において、作業者は、点検作業における作業手順や確認事項を確認するために、情報処理装置２００を用いる。

本実施形態において、情報処理装置２００は、作業者にとって必要な情報を表示する。作業者は、情報処理装置２００による表示を可能にするために、情報を登録する作業を事前に実行する。本実施形態において、作業者は、所定の付箋紙を制御盤１０に貼付することによって情報の登録作業を実行することができる。

図５は、本実施形態における付箋紙の貼付の一例を示す図である。この例において、制御盤１０には付箋紙２１、２２が貼付されている。付箋紙２１には、ダイヤル１４を最初に確認すべき旨の手書き文字が記入されている。付箋紙２２には、ダイヤル１４の次に計器１２を確認すべき旨の手書き文字が記入されている。

本実施形態において、付箋紙２１、２２は、色及び形状の少なくともいずれかがあらかじめ決められているなど、他の物体と識別可能な特徴を有している。例えば、作業者は、特定の色であり、かつ特定の形状である付箋紙を登録作業に用いる。

作業者は、付箋紙をこのように貼付したら、情報処理装置２００を用いて制御盤１０を撮影する。本実施形態において、作業者は、このとき制御盤１０の全体を正面から撮影する。情報処理装置２００は、後述される登録処理によって撮影画像から制御盤１０及び付箋紙２１、２２を認識する。なお、作業者は、情報処理装置２００による一連の処理が終了したら、付箋紙２１、２２を剥がしてよい。つまり、付箋紙２１、２２は、永続的に貼付されている必要がない。

図６は、情報処理装置２００が実行する登録処理を示すフローチャートである。ステップＳ２１１において、撮影部２３０は、画像を撮影する。ステップＳ２１２において、撮影部２３０は、撮影画像を表す画像データを生成する。撮影部２３０は、所定の時間間隔で撮影を繰り返し、画像データを複数生成してもよい。

ステップＳ２１３において、物体認識部２４１は、ステップＳ２１２において生成された画像データに基づいて物体を認識する。物体認識部２４１は、所定の条件を満たす２種類の物体を認識する。以下においては、これらの物体をそれぞれ「第１の物体」と「第２の物体」という。

本実施形態において、第１の物体及び第２の物体は、その外観（形状、色など）に一定の傾向（すなわち特徴）を有するものとする。第１の物体は、本実施形態においては制御盤１０である。第２の物体は、本実施形態においては付箋紙２１、２２である。いくつかの態様において、第１の物体及び第２の物体は、その画像（又は画像特徴）があらかじめデータベース等に記録されている。物体認識部２４１は、このデータベースを参照することによって第１の物体及び第２の物体を認識することができる。

ステップＳ２１４において、物体認識部２４１は、第１の物体が認識されたか判断する。また、ステップＳ２１５において、物体認識部２４１は、第２の物体が認識されたか判断する。なお、ステップＳ２１４、Ｓ２１５の処理順序は、逆であってもよい。

第１の物体及び第２の物体が認識された場合（Ｓ２１４：ＹＥＳかつＳ２１５：ＹＥＳ）、抽出部２４２は、ステップＳ２１６において、第２の物体から付加情報を抽出する。例えば、本実施形態の付加情報は、付箋紙２１、２２に記入された手書き文字を表す画像データである。なお、物体認識部２４１は、ＯＣＲ（Optical Character Recognition）技術によって手書き文字をテキストデータ（すなわち文字コード）に変換してもよい。この場合、付加情報は、テキストデータを含んでもよい。

ステップＳ２１７において、制御部２１０は、第１の情報及び第２の情報を記憶部２２０に記録する。本実施形態の第１の情報は、ステップＳ２１６において抽出された付加情報である。また、本実施形態の第２の情報は、以下のように算出される座標情報である。

図７は、座標情報の一例を示す図である。制御部２１０は、撮影画像の適当な位置（図７では制御盤１０の左下端）を原点とする直交座標系を定義する。制御部２１０は、制御盤１０の座標情報として、座標３１、３２、３３、３４を記録する。また、制御部２１０は、付箋紙２１、２２の座標情報として、付箋紙２１、２２の所定の位置（図７では左下端）を示す座標３５、３６を記録する。

制御部２１０は、これらの座標情報及び付加情報を第１の物体、すなわち制御盤１０に関連付けて記録する。例えば、制御部２１０は、制御盤１０に所定の識別情報を割り当て、座標情報及び付加情報をこの識別情報に関連付けて記憶部２２０に記録する。

なお、第１の物体及び第２の物体のいずれかが認識されない場合（Ｓ２１４：ＮＯ又はＳ２１５：ＮＯ）、制御部２１０は、ステップＳ２１６、Ｓ２１７の処理を実行せずに、ステップＳ２１８において所定のエラー処理を実行する。エラー処理は、例えば、物体の認識に失敗したことをユーザに通知し、再度の撮影を促す処理である。

作業者が登録作業を実行することで、情報処理装置２００は登録処理を実行する。その結果、記憶部２２０には、制御盤１０に関連付けられた座標情報及び付加情報が記録される。座標情報及び付加情報が記録された状態で、作業者は、情報処理装置２００を用いて点検作業を実行する。点検作業に際し、作業者は、登録作業の場合と同様に制御盤１０を撮影する。このとき、情報処理装置２００は、以下の表示処理を実行する。

図８は、情報処理装置２００が実行する表示処理を示すフローチャートである。ステップＳ２２１において、撮影部２３０は、画像を撮影する。ステップＳ２２２において、撮影部２３０は、撮影画像を表す画像データを生成する。ステップＳ２２１、Ｓ２２２の処理は、登録処理におけるステップＳ２１１、Ｓ２１２の処理と同様の処理であるが、登録処理が既に実行された後に実行されている点において異なる。

ステップＳ２２３において、物体認識部２４１は、ステップＳ２２２において生成された画像データに基づいて物体を認識する。ステップＳ２２３の処理も、登録処理におけるステップＳ２１３の処理と同様の処理である。ただし、ステップＳ２２３においては、物体認識部２４１は、第１の物体を認識すれば足り、第２の物体を認識する必要がない。

ステップＳ２２４において、物体認識部２４１は、第１の物体が認識されたか判断する。具体的には、物体認識部２４１は、このとき、登録処理のステップＳ２１７において第１の情報及び第２の情報が記録された物体と同一とみなせる物体が認識されたか判断する。第１の物体が認識されない場合（Ｓ２２４：ＮＯ）、制御部２１０は、画像を再度撮影し、ステップＳ２２１以降の処理を再度実行する。

なお、ステップＳ２２４において認識される第１の物体は、ステップＳ２１４において認識された第１の物体と同一の物体である必要はない。すなわち、ステップＳ２２４において認識される第１の物体は、ステップＳ２１４において認識された第１の物体と同一の物体であると物体認識部２４１に認識され得る物体であれば足りる。例えば、ステップＳ２２４において認識される制御盤は、付箋紙２１、２２が貼付された制御盤１０とは別の場所に設置され、外観が制御盤１０と同様である別の制御盤であってもよい。

第１の物体が認識された場合（Ｓ２２４：ＹＥＳ）、制御部２１０は、ステップＳ２２５の処理を実行する。具体的には、制御部２１０は、ステップＳ２１７において記録された第１の情報（付加情報）及び第２の情報（座標情報）を記憶部２２０から読み出す。ステップＳ２２６において、制御部２１０は、ステップＳ２２５において記憶部２２０から読み出された付加情報に応じたコンテンツを生成する。

ステップＳ２２７において、制御部２１０は、ステップＳ２２６において生成されたコンテンツを表示部２５０に表示させる。換言すれば、表示部２５０は、ステップＳ２２６において生成されたコンテンツを表示する。このとき、表示部２５０は、コンテンツを撮影画像に重ねて表示してもよい。

図９は、コンテンツの表示の一例を示す図である。表示部２５０は、撮影画像４０と、コンテンツ４１、４２とを表示する。コンテンツ４１は、付箋紙２１に対応するコンテンツの一例である。また、コンテンツ４２は、付箋紙２２に対応するコンテンツの一例である。

制御部２１０は、ステップＳ２１７において記録された座標情報に基づいてコンテンツ４１、４２の表示位置を決定する。図９の例において、制御部２１０は、コンテンツ４１、４２の外枠を構成する吹き出しの先端と座標情報が示す位置とが一致するようにコンテンツ４１、４２の表示位置を決定する。なお、コンテンツ４１、４２の外枠の形状は、付箋紙２１、２２の形状と一致しなくてもよい。ただし、制御部２１０は、付箋紙２１、２２の形状に類似するようにコンテンツ４１、４２の外枠の形状を決定してもよい。また、制御部２１０は、付箋紙２１、２２が表示されていた位置と同一の位置にコンテンツ４１、４２を表示してもよい。

なお、制御部２１０は、コンテンツ４１、４２を所定の順序で表示させてもよい。例えば、制御部２１０は、付箋紙２１、２２から認識された序数（付箋紙２１の「１」及び付箋紙２２の「２」）に基づいて、コンテンツ４１を先に表示させ、その所定時間後にコンテンツ４２を表示させてもよい。コンテンツの表示順序は、付箋紙から認識可能な他の情報（色、形状など）に基づいて決定されてもよい。

以上に説明されたように、本実施形態の情報処理装置２００は、第１実施形態の情報処理装置１００の取得部１１０、認識部１２０及び記録部１３０に相当する構成を有することにより、情報処理装置１００と同様の作用効果を奏することが可能である。また、情報処理装置２００によれば、第２の物体（付箋紙）に関する情報を第１の物体（制御盤）と関連付けて記録する構成を有する。この構成によれば、第２の物体が認識されない状況においても、第２の物体に対応するコンテンツを第１の物体と第２の物体の位置関係に応じた表示態様で表示することが可能である。

また、情報処理装置２００は、登録処理と表示処理の双方を実行可能な構成を有する。この構成によれば、ある撮影画像に基づいて第２の物体に関する情報を登録した後に、別の撮影画像に基づいて当該情報に応じたコンテンツを表示することが可能である。

［第３実施形態］
図１０は、さらに別の実施形態に係る情報処理システム３００の構成を示すブロック図である。情報処理システム３００は、撮影装置３１０と、表示装置３２０とを含んで構成される。

撮影装置３１０は、画像を撮影する。撮影装置３１０は、例えば、デジタルカメラやウェアラブルデバイスである。撮影装置３１０は、撮影部３１１と、通信部３１２とを含んで構成される。撮影部３１１は、第２実施形態の撮影部２３０と同様の構成を有する。撮影部３１１は、撮影画像を表す画像データを生成する。通信部３１２は、有線又は無線により表示装置３２０に画像データを送信する。

なお、撮影装置３１０は、メモリカード等の着脱可能な記憶媒体に画像データを記録してもよい。この場合、表示装置３２０は、通信部２３０に相当する構成を必要としない。このような場合、表示装置３２０は、画像データが記録された記憶媒体から画像データを読み出すように構成されてもよい。

また、撮影部３１１は、動画を撮影する機能を有してもよい。すなわち、ここでいう撮影画像は、動画を含み得る。また、撮影部３１１は、動画を撮影する機能に代えて静止画を複数枚撮影する機能を有してもよい。

表示装置３２０は、制御部３２１と、記憶部３２２と、通信部３２３と、画像処理部３２４と、表示部３２５とを含んで構成される。表示装置３２０は、撮影部２３０に代えて通信部３２３を有するほかは、第２実施形態の情報処理装置２００と同様の構成を有する。ただし、画像処理部３２４が実行する画像処理は、画像処理部２４０が実行する画像処理と異なる部分がある。

情報処理システム３００の構成は、以上のとおりである。この構成のもと、撮影装置３１０は、画像を撮影し、画像データを送信する。また、表示装置３２０は、画像データから物体を認識し、認識された物体に応じた情報を記録する。また、表示装置３２０は、記録された情報に応じたコンテンツを表示する。

本実施形態において認識対象とされる物体は、ホワイトボードに貼付された付箋紙である。ユーザは、例えば、ブレインストーミング等の会議において、ホワイトボードに文字や図形を記入したり、付箋紙を貼付したりする。ユーザは、撮影装置３１０を用いてホワイトボードを撮影することにより、撮影画像に応じた情報を表示装置３２０に記録することができる。また、ユーザは、表示装置３２０を用いて、表示装置３２０に記録された情報に対応するコンテンツを閲覧することができる。

本実施形態の付箋紙は、所定のフォーマットを有する。具体的には、本実施形態の付箋紙は、個々の付箋紙を識別し、撮影部３１１からみた位置及び姿勢を特定することを可能にする図形を含んで構成される。この図形は、例えば、２次元コードやＡＲマーカである。

図１１は、本実施形態の付箋紙を例示する図である。この例において、付箋紙は、マーカ領域Ａ１と情報記入領域Ａ２とを含む。マーカ領域Ａ１は、所定のサイズの枠線と、ドット状のコード情報とがプリンタ等によってあらかじめ印字された領域である。マーカ領域Ａ１の枠線の形状は、本実施形態においては正方形である。また、コード情報は、ドットの位置が付箋紙毎に異なることにより、各々の付箋紙を識別可能にする。マーカ領域Ａ１に形成されたこれらの図形のことを、以下においては「マーカ」ともいう。情報記入領域Ａ２は、ユーザが文字又は図形を記入する領域である。

表示装置３２０は、撮影画像における枠線のサイズによって付箋紙と撮影装置３１０との間の距離を特定することができる。また、表示装置３２０は、撮影画像における枠線の歪み、すなわち正方形からの変形の程度によって撮影装置３１０からみた付箋紙の奥行き方向の傾きを特定してもよい。

なお、付箋紙の一部は、ホワイトボードの位置を特定するために用いられてもよい。この場合、ユーザは、ホワイトボードの所定の位置に付箋紙を貼付する。例えば、ユーザは、ホワイトボードの隅に付箋紙を貼付する。このようにすれば、情報処理システム３００によるホワイトボードの位置、サイズ、境界などの認識を容易にすることができる。

図１２は、本実施形態における付箋紙の貼付の一例を示す図である。この例において、付箋紙３１、３２は、ホワイトボード３０の隣り合わない２つの隅（左上と右下）に貼付されている。付箋紙３１、３２は、情報処理システム３００がホワイトボード３０の位置を認識するために貼付される。そのため、ユーザは、付箋紙３１、３２の情報記入領域Ａ２に文字や図形を記入しなくてもよい。一方、付箋紙３３、３４、３５、３６、３７、３８は、ユーザによって任意の位置に貼付される。

ユーザは、付箋紙を貼付した後、撮影装置３１０によってホワイトボードを撮影する。ユーザは、１回又は複数回の撮影によりホワイトボード全体を撮影する。例えば、ユーザは、付箋紙に記入された文字等が撮影画像から認識できないような場合には、よりホワイトボードに接近して撮影を実行すればよい。

図１３は、表示装置３２０が実行する登録処理を示すフローチャートである。ステップＳ３１１において、通信部３２３は、撮影装置３１０において生成された画像データを受信する。ステップＳ３１２において、画像処理部３２４は、ステップＳ３１１において受信された画像データから物体を認識する。本実施形態において、画像処理部３２４は、付箋紙を認識する。

ステップＳ３１３において、制御部３２１は、１枚の撮影画像に２以上の付箋紙が含まれているか判断する。制御部３２１は、１枚の撮影画像に２以上の付箋紙が含まれている場合（Ｓ３１３：ＹＥＳ）、ステップＳ３１４において、これらの付箋紙の相対的な位置関係を特定する。具体的には、制御部３２１は、撮影画像に含まれる付箋紙のうちいずれかの位置を基準とし、他の付箋紙の座標を計算する。

一方、１枚の撮影画像に２以上の付箋紙が含まれていない場合（Ｓ３１３：ＮＯ）、制御部３２１は、ステップＳ３１４の処理をスキップする。すなわち、制御部３２１は、この場合、座標の計算を実行しない。換言すれば、２以上の付箋紙が含まれない撮影画像を表す画像データは、ステップＳ３１４の処理対象から除外されるということである。

図１４は、ステップＳ３１４における座標の計算方法を例示する図である。この例において、撮影画像ＩＭ１、ＩＭ２は、いずれも複数個のマーカ（すなわち付箋紙）を含んでいる。具体的には、撮影画像ＩＭ１は、マーカＭ０１、Ｍ０２、Ｍ０３を含んでいる。また、撮影画像ＩＭ２は、マーカＭ０３、Ｍ０４、Ｍ０５を含んでいる。

この場合、制御部３２１は、マーカＭ０１とＭ０２、マーカＭ０１とＭ０３、マーカＭ０２とＭ０３の相対的な位置関係を撮影画像ＩＭ１から特定する。また、制御部３２１は、マーカＭ０３とＭ０４、マーカＭ０３とＭ０５、マーカＭ０４とＭ０５の相対的な位置関係を撮影画像ＩＭ２から特定する。

図１５は、制御部３２１により計算される座標情報を例示する図である。この例において、座標情報は、ホワイトボードの水平方向（横方向）をｘ軸、垂直方向（縦方向）をｙ軸、奥行き方向をｚ軸とする直交座標系を用いて記述されている。また、説明の便宜上、この例においては、奥行き方向に傾いておらず、マーカに歪みが生じていないものとする。したがって、この例においては、座標情報のｚ成分がいずれも「０」である。

図１５の表において、第１行には、マーカＭ０１の位置を原点とした場合のマーカＭ０２、Ｍ０３の座標が記述されている。マーカＭ０１の位置を原点とした場合のマーカＭ０２の座標は、（ｘ，ｙ，ｚ）＝（１２，−２５，０）である。なお、この座標は、例示にすぎず、図１４に記載されたマーカの配置と必ずしも一致しない。同様に、第２行には、マーカＭ０２の位置を原点とした場合のマーカＭ０３の座標が記述されている。また、第３行には、マーカＭ０３の位置を原点とした場合のマーカＭ０４、Ｍ０５の座標が記述されている。また、第４行には、マーカＭ０４の位置を原点とした場合のマーカＭ０５の座標が記述されている。

なお、制御部３２１は、１枚の撮影画像に含まれないマーカのペアの座標を算出しなくてもよい。この例の場合、制御部３２１は、例えばマーカＭ０１とマーカＭ０４のペアや、マーカＭ０１とマーカＭ０５のペアについては、座標の計算を省略することができる。

また、制御部３２１は、同一のペアが複数の撮影画像に含まれる場合には、それぞれの撮影画像に基づいて座標情報を計算し、算出された座標情報を平均することで座標情報を決定してもよい。この場合、制御部３２１は、いわゆる外れ値に相当する座標情報をノイズとみなし、これを除外してから平均値を計算してもよい。例えば、制御部３２１は、同一の付箋紙に相当する複数の座標情報の平均値（μ）及び標準偏差（σ）を算出し、平均値から所定の範囲（例えばμ±２σの範囲）に含まれない座標情報をノイズとして除外してから平均値を再度計算してもよい。

ステップＳ３１５において、制御部３２１は、全部の付箋紙が認識されたか判断する。いくつかの態様において、付箋紙の総数は、あらかじめ決められている。あるいは、特定の付箋紙（例えば付箋紙３１又は３２）が最後に読み取られるべき付箋紙としてあらかじめ決められていてもよい。この場合、制御部３２１は、この特定の付箋紙が認識されたことをもって全部の付箋紙が認識されたと判断すればよい。さらには、全部の付箋紙が認識された時点でユーザが所定の操作を実行してもよい。この場合、制御部３２１は、所定の操作を受け付けたことをもって全部の付箋紙が認識されたと判断すればよい。

全部の付箋紙が認識されていない場合（Ｓ３１５：ＮＯ）、表示装置３２０は、撮影装置３１０から受信した画像データのそれぞれについてステップＳ３１１〜Ｓ３１４の処理を実行し、これらの処理が終わる毎にＳ３１５の判断を実行する。制御部３２１は、全部の付箋紙が認識されるまで、ステップＳ３１１〜Ｓ３１５の処理を繰り返す。

全部の付箋紙が認識された場合（Ｓ３１５：ＹＥＳ）、制御部３２１は、ステップＳ３１６の処理を実行する。ここで、制御部３２１は、ステップＳ３１４において計算された座標に対して座標変換を実行する。ステップＳ３１４において計算された座標は、基準となる位置がマーカ毎に異なり得る。換言すれば、ステップＳ３１４において計算された座標は、原点がそれぞれ異なり得る。ステップＳ３１６の処理は、このように撮影画像毎に独立に定義された座標系を統一するための処理である。

例えば、制御部３２１は、特定のマーカの位置が原点になるように座標情報を変換する。ここで、マーカＭ０１の位置を原点とすると、制御部３２１は、マーカＭ０１を基準としたマーカＭ０４の座標情報を、マーカＭ０１とマーカＭ０３のペアの座標情報とマーカＭ０３とマーカＭ０４のペアの座標情報とに基づいて算出することができる。具体的には、制御部３２１は、座標情報の成分毎に加算又は減算を実行する。

なお、座標変換後、同一（又は実質的に同一）の座標に複数のマーカが対応付けられた場合、すなわち複数のマーカが同一の座標に重なる場合には、制御部３２１は、所定の処理を実行してもよい。例えば、制御部３２１は、この複数のマーカのそれぞれの認識された回数をカウントし、認識回数がより多いマーカの座標情報を正しい座標情報として選択してもよい。ここでいう認識回数は、ノイズとして除外された座標情報に対応する撮影画像を除外してカウントされてもよい。

全てのマーカの座標変換が終了したら、画像処理部３２４は、ステップＳ３１７において、情報記入領域Ａ２の画像の歪みを補正する。画像処理部３２４は、マーカ領域Ａ１の歪みにより特定されるマーカの傾きに応じた補正量で情報記入領域Ａ２の画像の歪みを補正する。ただし、ステップＳ３１７の処理は、必須の処理ではない。例えば、ステップＳ３１７の処理は、各マーカがほぼ正面から撮影されており、撮影画像における歪みが少ない場合であれば省略可能である。

ステップＳ３１８において、制御部３２１は、第１の情報及び第２の情報を記憶部３２２に記録する。本実施形態の第１の情報は、各付箋紙の情報記入領域Ａ２を表す画像データである。この画像データは、付加情報の一例に相当する。また、第１の情報は、付箋紙の色や形状を示す情報を含んでもよい。また、本実施形態の第２の情報は、座標変換後の各マーカの座標情報である。

制御部３２１は、同一の付箋紙について情報記入領域Ａ２を表す画像データが複数得られた場合、いずれかの１つの画像データのみを付加情報として記録してもよい。例えば、制御部３２１は、複数の画像データのうち、解像度が最も高いものを記録してもよいし、歪みが最も少ないものを記録してもよい。このようにすれば、付加情報の抽出に適した画像データを選択的に記録しておくことが可能である。

制御部３２１は、撮影されたホワイトボードを表す画像データを第１の情報及び第２の情報と関連付けて記憶部３２２に記録してもよい。制御部３２１は、ホワイトボード全体が複数回の撮影によって撮影された場合には、それぞれの撮影画像を合成することによってホワイトボード全体を表す画像データを生成してもよい。

表示装置３２０は、このように情報を記録した後、所定のプログラムを実行することにより、ステップＳ３１８において記録された情報に応じたコンテンツを表示することができる。本実施形態において、表示装置３２０は、第２実施形態の情報処理装置２００と異なり、コンテンツの表示時にホワイトボードを撮影することを必要としない。例えば、ここでいう所定のプログラムは、文書作成ソフトウェアやプレゼンテーションソフトウェアであってもよい。

図１６は、表示装置３２０によるコンテンツの表示の一例を示す図である。図１６に示されるコンテンツは、図１２に例示された付箋紙に対応するコンテンツの一例である。コンテンツ４１、４２、４３、４４、４５、４６は、それぞれ、図１２の付箋紙３３、３４、３５、３６、３７、３８に対応するコンテンツである。例えば、コンテンツ４１は、付箋紙３３に対応する。

コンテンツ４１〜４６の配置は、座標変換後の座標情報に基づいて決定される。したがって、コンテンツ４１〜４６は、付箋紙３３〜３８の相対的な位置関係に応じて表示される。なお、付箋紙３１、３２は、ホワイトボードの位置を認識するために貼付される付箋紙であるため、コンテンツとして表示されなくてもよい。

コンテンツを表示するとき、制御部３２１は、第１の情報に基づいて色や形状を決定してもよい。例えば、制御部３２１は、付箋紙の色に応じてコンテンツの形状を異ならせてもよい。あるいは、制御部３２１は、付箋紙の形状に応じてコンテンツの色を異ならせてもよい。

制御部３２１は、ホワイトボードに記入された文字等を表す画像をコンテンツとともに表示部３２５に表示させてもよい。例えば、制御部３２１は、コンテンツをホワイトボードに記入された文字等を表す画像の上に重ねて表示させてもよい。このようにすれば、ユーザは、ホワイトボードに貼付された付箋紙に応じたコンテンツだけでなく、ホワイトボードに記入された文字等も閲覧することが可能になる。また、制御部３２１は、この場合、付箋紙に関する座標情報や付加情報をホワイトボードの画像を示す画像データに関連付けて記録してもよい。

以上に説明されたように、本実施形態の情報処理システム３００は、複数の物体（付箋紙）を認識し、認識された複数の物体の位置関係に応じた情報を記録する構成を有する。この構成により、情報処理システム３００は、認識された複数の物体の位置関係に応じたコンテンツを表示することが可能である。例えば、情報処理システム３００は、複数の物体の位置関係を再現するようにコンテンツを表示することが可能である。ユーザは、ホワイトボードに記載された内容を書き写したり、文書作成ソフトウェアによって入力し直したりしなくても、ホワイトボードの内容を再現することができる。

［変形例］
本開示は、上述された実施形態に限定されない。本開示は、当業者が把握し得る変形又は応用を適用した実施の形態を含み得る。例えば、本開示は、以下に記載される変形例に従った形態を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。

（変形例１）
第２実施形態の制御部２１０は、画像処理部２４０が実行する処理の一部又は全部を実行するように構成されてもよい。また、このような変形は、第３実施形態の制御部３２１にも適用可能である。

図１７は、制御部２１０の変形例を示すブロック図である。この例において、制御部２１０は、取得部２１１と、物体認識部２１２と、抽出部２１３と、記録部２１４とを含んで構成される。取得部２１１は、撮影部２３０により生成された画像データや、記憶部２２０に記憶されたデータを取得する。物体認識部２１２、抽出部２１３は、それぞれ、画像処理部２４０の物体認識部２４１と、抽出部２４２に相当する。記録部２１４は、物体認識部２１２により認識された物体に関する情報を記録する。

（変形例２）
第２実施形態において表示されるコンテンツには、所定の処理が割り当てられてもよい。情報処理装置２００は、表示されているコンテンツに対してユーザが所定の操作を行った場合に、当該コンテンツに割り当てられた処理を実行する。ここでいう所定の操作は、例えば、コンテンツを指で触れたり、コンテンツをレーザーポインターで指し示したりする行為である。情報処理装置２００は、このような操作を撮影画像に基づいて検出することができる。

図１８は、コンテンツに所定の処理を割り当てる場合の付箋紙を例示する図である。この付箋紙は、図１１に例示された情報記入領域Ａ２に代えて、第１の領域Ａ２１と第２の領域Ａ２２とを含む。第１の領域Ａ２１には、情報記入領域Ａ２と同様に、コンテンツに対応する文字又は図形が記入される。第２の領域には、処理に対応する文字又は図形が記入される。第２の領域Ａ２２には、それぞれの処理に対応するシールが貼付されてもよい。

文字又は図形と処理の対応付けは、例えば、文字「Ａ」に対しては第１の処理、文字「Ｂ」に対しては第２の処理、というように行われる。ここでいう処理は、例えば、特定のコンテンツを消去したり、特定のコンテンツの表示態様を変化させたりする処理である。あるいは、ここでいう処理は、特定のデータを入力する処理であってもよい。

抽出部２４２は、第１の領域Ａ２１と第２の領域Ａ２２のそれぞれから付加情報を抽出する。説明の便宜上、以下においては、第１の領域Ａ２１から抽出される付加情報を「第１の付加情報」といい、第２の領域Ａ２２から抽出される付加情報を「第２の付加情報」という。

制御部２１０は、第１の付加情報に応じたコンテンツを表示部２５０に表示させる。制御部２１０は、コンテンツの表示後、いずれかのコンテンツに対する所定の操作を検出すると、当該コンテンツに対応する第２の付加情報に応じた処理を実行する。これにより、コンテンツは、入力インタフェースとして機能することができる。

（変形例３）
第２実施形態において、制御盤を認識するための手法として第３実施形態の手法を用いてもよい。すなわち、ユーザは、制御盤を認識するための付箋紙を制御盤の特定の位置（例えば隅）に貼付してもよい。制御盤を認識するための付箋紙は、図１２に示される付箋紙３１、３２に相当する。

情報処理装置２００は、このような付箋紙を用いて制御盤を事前に学習してもよい。すなわち、情報処理装置２００は、制御盤を認識するための付箋紙が貼付された状態で制御盤を撮影することにより、制御盤を認識対象であると認識することができる。

（変形例４）
第２実施形態の付箋紙は、手書き文字以外の情報を含んでもよい。例えば、いわゆるピクトグラムや、マーカ以外の所定の図形（２次元コード、バーコードなど）が付箋紙の表面に形成されてもよい。この場合、抽出部２４２は、２次元コード等の図形から付加情報を抽出してもよい。

（変形例５）
認識対象となる物体は、各実施形態に例示された物体に限定されない。認識対象となる物体は、他の物体と識別可能な一定の特徴を有していればよい。例えば、第３実施形態におけるホワイトボードは、壁面、紙、ノートなどに置き換えてもよい。また、第２実施形態又は第３実施形態における付箋紙は、ステッカーやマグネットであってもよい。

（変形例６）
物体の認識には、３Ｄ（３次元）モデルが用いられてもよい。すなわち、認識対象となる物体は、あらかじめ３Ｄモデルが生成されたものであってもよい。

（変形例７）
認識対象となる物体の位置検出には、他のセンサが用いられてもよい。例えば、３Ｄカメラ（距離画像センサ）によって物体の位置（距離を含む。）が検出されてもよい。あるいは、磁気センサによって物体の位置が検出されてもよい。

（変形例８）
本開示に係る各装置（情報処理装置１００、２００、撮影装置３１０及び表示装置３２０）の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、各装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。

図１９は、各装置を実現するコンピュータ装置４００のハードウェア構成の一例を示すブロック図である。コンピュータ装置４００は、ＣＰＵ４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、記憶装置４０４と、ドライブ装置４０５と、通信インタフェース４０６と、入出力インタフェース４０７とを備える。本開示に係る各装置は、図１９に示される構成（又はその一部）によって実現され得る。

ＣＰＵ４０１は、ＲＡＭ４０３を用いてプログラム４０８を実行する。プログラム４０８は、ＲＯＭ４０２に記憶されていてもよい。また、プログラム４０８は、メモリカード等の記録媒体４０９に記録され、ドライブ装置４０５によって読み出されてもよいし、外部装置からネットワーク４１０を介して送信されてもよい。通信インタフェース４０６は、ネットワーク４１０を介して外部装置とデータをやり取りする。入出力インタフェース４０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース４０６及び入出力インタフェース４０７は、データを取得又は出力する手段として機能することができる。

なお、各装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。

上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、情報処理装置１００、２００は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。

以上、上述した実施形態及び変形例を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態及び変形例には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

［付記］
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
画像を取得する取得手段と、
前記取得手段により取得された画像から物体を認識する認識手段と、
前記認識手段により物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する記録手段と
を備える情報処理装置。
（付記２）
前記記録手段は、前記認識手段により複数の物体が認識された場合に、前記第２の情報として当該複数の物体の位置関係に応じた情報を記録する
付記１に記載の情報処理装置。
（付記３）
前記記録手段は、前記取得手段により取得された第１の画像から前記認識手段により第１の物体と第２の物体とが認識された場合に、前記第１の情報と、当該第２の物体の位置に関する前記第２の情報とを当該第１の物体に関連付けて記録する
付記２に記載の情報処理装置。
（付記４）
表示手段をさらに備え、
前記表示手段は、前記取得手段により第２の画像が取得され、前記認識手段により当該第２の画像から前記第１の物体が認識された場合に、当該第１の物体に関連付けられた前記第１の情報に応じたコンテンツを前記第２の情報に応じた位置に表示する
付記３に記載の情報処理装置。
（付記５）
前記表示手段は、前記コンテンツを前記第１の物体とともに表示する
付記４に記載の情報処理装置。
（付記６）
前記表示手段は、前記コンテンツを前記第１の物体に対して所定の位置に表示する
付記５に記載の情報処理装置。
（付記７）
前記認識手段により認識された物体から付加情報を抽出する抽出手段をさらに備え、
前記記録手段は、前記抽出手段により抽出された付加情報を前記第１の情報として記録する
付記１から付記６までのいずれかに記載の情報処理装置。
（付記８）
前記付加情報は、表示されるコンテンツに対応する第１の付加情報と、当該コンテンツに割り当てられる処理に対応する第２の付加情報とを含む
付記７に記載の情報処理装置。
（付記９）
前記取得手段は、複数の画像を取得し、
前記認識手段は、前記複数の画像のそれぞれから複数の物体を認識し、
前記記録手段は、前記複数の物体の位置関係を表す座標情報を前記複数の画像毎に算出し、当該座標情報の座標系を統一する座標変換により変換された座標情報を前記第２の情報として記録する
付記１から付記８までのいずれかに記載の情報処理装置。
（付記１０）
前記認識手段は、前記複数の画像から同一の物体を認識し、
前記記録手段は、前記複数の画像から認識された同一の物体の座標情報の平均値を当該物体の座標情報とする
付記９に記載の情報処理装置。
（付記１１）
前記記録手段は、前記平均値から所定の範囲に含まれない座標情報を除外して平均値を再度計算する
付記１０に記載の情報処理装置。
（付記１２）
前記記録手段は、同一の座標に２つの異なる物体が対応付けられた場合に、前記認識手段により認識された回数に基づいていずれかの物体を選択する
付記９に記載の情報処理装置。
（付記１３）
画像を取得し、
前記取得された画像から物体を認識し、
前記物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する
情報処理方法。
（付記１４）
コンピュータに、
画像を取得する処理と、
前記取得された画像から物体を認識する処理と、
前記物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する処理と
を実行させるためのプログラムを記録したコンピュータ読取可能なプログラム記録媒体。

この出願は、２０１６年４月１４日に出願された日本出願特願２０１６−０８１００７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００、２００ 情報処理装置
１１０ 取得部
１２０ 認識部
１３０ 記録部
２１０ 制御部
２２０ 記憶部
２３０ 撮影部
２４０ 画像処理部
２４１ 物体認識部
２４２ 抽出部
２５０ 表示部
３００ 情報処理システム
３１０ 撮影装置
３１１ 撮影部
３１２ 通信部
３２０ 表示装置
３２１ 制御部
３２２ 記憶部
３２３ 通信部
３２４ 画像処理部
３２５ 表示部
４００ コンピュータ装置

Claims (14)

1. 画像を取得する取得手段と、
   前記取得手段により取得された画像から物体を認識する認識手段と、
   前記認識手段により物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する記録手段と
   を備える情報処理装置。
2. 前記記録手段は、前記認識手段により複数の物体が認識された場合に、前記第２の情報として当該複数の物体の位置関係に応じた情報を記録する
   請求項１に記載の情報処理装置。
3. 前記記録手段は、前記取得手段により取得された第１の画像から前記認識手段により第１の物体と第２の物体とが認識された場合に、前記第１の情報と、当該第２の物体の位置に関する前記第２の情報とを当該第１の物体に関連付けて記録する
   請求項２に記載の情報処理装置。
4. 表示手段をさらに備え、
   前記表示手段は、前記取得手段により第２の画像が取得され、前記認識手段により当該第２の画像から前記第１の物体が認識された場合に、当該第１の物体に関連付けられた前記第１の情報に応じたコンテンツを前記第２の情報に応じた位置に表示する
   請求項３に記載の情報処理装置。
5. 前記表示手段は、前記コンテンツを前記第１の物体とともに表示する
   請求項４に記載の情報処理装置。
6. 前記表示手段は、前記コンテンツを前記第１の物体に対して所定の位置に表示する
   請求項５に記載の情報処理装置。
7. 前記認識手段により認識された物体から付加情報を抽出する抽出手段をさらに備え、
   前記記録手段は、前記抽出手段により抽出された付加情報を前記第１の情報として記録する
   請求項１から請求項６までのいずれか１項に記載の情報処理装置。
8. 前記付加情報は、表示されるコンテンツに対応する第１の付加情報と、当該コンテンツに割り当てられる処理に対応する第２の付加情報とを含む
   請求項７に記載の情報処理装置。
9. 前記取得手段は、複数の画像を取得し、
   前記認識手段は、前記複数の画像のそれぞれから複数の物体を認識し、
   前記記録手段は、前記複数の物体の位置関係を表す座標情報を前記複数の画像毎に算出し、当該座標情報の座標系を統一する座標変換により変換された座標情報を前記第２の情報として記録する
   請求項１から請求項８までのいずれか１項に記載の情報処理装置。
10. 前記認識手段は、前記複数の画像から同一の物体を認識し、
    前記記録手段は、前記複数の画像から認識された同一の物体の座標情報の平均値を当該物体の座標情報とする
    請求項９に記載の情報処理装置。
11. 前記記録手段は、前記平均値から所定の範囲に含まれない座標情報を除外して平均値を再度計算する
    請求項１０に記載の情報処理装置。
12. 前記記録手段は、同一の座標に２つの異なる物体が対応付けられた場合に、前記認識手段により認識された回数に基づいていずれかの物体を選択する
    請求項９に記載の情報処理装置。
13. 画像を取得し、
    前記取得された画像から物体を認識し、
    前記物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する
    情報処理方法。
14. コンピュータに、
    画像を取得する処理と、
    前記取得された画像から物体を認識する処理と、
    前記物体が認識された場合に、当該物体に対応する第１の情報を、当該物体の位置に関する第２の情報とともに記録する処理と
    を実行させるためのプログラムを記録したコンピュータ読取可能なプログラム記録媒体。

Images