JP6883195B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明は、情報処理装置およびプログラムに関する。

特許文献１には、ＣＣＤカメラ等を介して取得された、物、操作者の行動、動作、周囲の状況等を含むイベント情報を取得し、そのイベント情報を認識して、その認識内容に対応する関連情報を提供・配信する情報配信装置が開示されている。

特許文献２には、ユーザの嗜好に応じたコンテンツの再生リストを作成する情報処理システムが開示されている。

特許文献３には、カメラにより撮影された画像データから抽出された特徴点と、位置情報に基づいて決定された物体モデルデータベースに記述されている各物体における特徴とを照合し、特徴点が最も近似する物体の名称等のその物体に関する情報を表示するようにした物体認識装置が開示されている。

特開２００３−２９６３５２号公報 特開２０１１−１５０６４９号公報 特開２０１１−２４２８６１号公報

本発明の目的は、対象物を撮像して、その対象物に関する関連情報を表示させる際に、どの利用者に対しても同じ関連情報を表示する場合と比較して、その利用者が知りたい関連情報が優先して表示されるようにすることが可能な情報処理装置およびプログラムを提供することである。

［情報処理装置］
請求項１に係る本発明は、実空間の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から、対象物の画像を抽出する抽出手段と、
前記抽出手段により画像が抽出された対象物に関連する複数の関連情報を、前記撮像手段により撮像された画像中に重ねて表示する表示手段と、
前記表示手段により表示された複数の関連情報に対する選択および削除指示を受付ける受付手段と、
前記受付手段により受付けた選択および削除指示の履歴情報に基づいて、前記抽出手段により抽出された対象物と同一の対象物が過去に抽出されている場合、当該対象物の画像に対して重ねて表示した複数の関連情報のうち前記受付手段により削除指示が受付けられた関連情報は表示されないよう前記表示手段を制御し、過去において選択された頻度の高い関連情報と同内容の関連情報を優先して前記表示手段に表示させる表示制御手段とを備えた情報処理装置である。

請求項２に係る本発明は、前記表示手段が、複数の関連情報を奥行があるように表示し、対象物との関連性が高い関連情報ほど手前側となるとなるように表示する請求項１記載の情報処理装置である。

請求項３に係る本発明は、前記表示手段が、複数の関連情報を関連内容に基づいて階層構造状に表示する請求項１記載の情報処理装置である。

請求項４に係る本発明は、前記撮像手段により撮像された画像中に複数の対象物の画像が含まれる場合、前記表示手段は、各対象物の関連情報を当該対象物の周囲に表示するとともに、前記撮像手段からの物理的距離が近い対象物ほど階層数が多くなるように表示する請求項３記載の情報処理装置である。

請求項５に係る本発明は、前記対象物が紙文書であり、
前記抽出手段により抽出された紙文書の画像中の文字情報を認識して、認識された文字情報を用いて当該紙文書に関連する関連情報を検索する検索手段をさらに備え、
前記表示手段は、前記検索手段により検索された複数の関連情報を表示する請求項１から４のいずれか記載の情報処理装置である。

請求項６に係る本発明は、前記検索手段が、前記紙文書の種類に応じて、関連情報を検索する検索先の順序を変更する請求項５記載の情報処理装置である。

請求項７に係る本発明は、前記検索手段により当該紙文書の更新前の情報が検索された場合、前記表示手段は、更新内容が分かるように関連情報を表示する請求項５又は６記載の情報処理装置である。

［プログラム］
請求項８に係る本発明は、実空間を撮像した画像から、対象物の画像を抽出する抽出ステップと、
前記抽出ステップにより画像が抽出された対象物に関連する複数の関連情報を、撮像された画像中に重ねて表示する表示ステップと、
前記表示ステップにおいて表示された複数の関連情報に対する選択および削除指示を受付ける受付ステップと、
前記受付ステップにおいて受付けた選択および削除指示の履歴情報に基づいて、前記抽出ステップにおいて抽出された対象物と同一の対象物が過去に抽出されている場合、当該対象物の画像に対して重ねて表示した複数の関連情報のうち前記受付ステップにおいて削除指示が受付けられた関連情報は前記表示ステップにおいて表示されないよう制御し、過去において選択された頻度の高い関連情報と同内容の関連情報を優先して前記表示ステップにおいて表示させる表示制御ステップとをコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、対象物を撮像して、その対象物に関する関連情報を表示させる際に、どの利用者に対しても同じ関連情報を表示する場合と比較して、その利用者が知りたい関連情報が優先して表示されるようにすることが可能な情報処理装置を提供することができる。
また、請求項１に係る本発明によれば、同一の対象物を再度撮像した場合に、利用者が不要な関連情報を削除する手間を省くことが可能な情報処理装置を提供することができる。

請求項２に係る本発明によれば、利用者が知りたい関連情報が手前側に表示される確率を向上させることが可能な情報処理装置を提供することができる。

請求項３に係る本発明によれば、利用者が複数の関連情報間の関係性を視覚的に把握することが可能な情報処理装置を提供することができる。

請求項４に係る本発明によれば、利用者が注目的している対象物ほど、より多くの関連情報を表示させることが可能な情報処理装置を提供することができる。

請求項５に係る本発明によれば、紙文書を撮像して、その紙文書に関する関連情報を検索して表示させる際に、どの利用者に対しても同じ関連情報を表示する場合と比較して、その利用者が知りたい関連情報が優先して表示されるようにすることが可能な情報処理装置を提供することができる。

請求項６に係る本発明によれば、紙文書を撮像して、その紙文書に関する関連情報を検索して表示させる際に、紙文書の種類に関わらず決められた検索順序で検索する場合と比較して、関連性が高い関連情報が検索されるまでの時間を短縮することが可能な情報処理装置を提供することができる。

請求項７に係る本発明によれば、紙文書を撮像して、その紙文書に関する関連情報を検索して表示させる際に、更新前の紙文書を単に表示する場合と比較して、紙文書の更新内容を容易に把握することが可能な情報処理装置を提供することができる。

請求項８に係る本発明によれば、物体を撮像して、その物体に関する関連情報を表示させる際に、どの利用者に対しても同じ関連情報を表示する場合と比較して、その利用者が知りたい関連情報が優先して表示されるようにすることが可能なプログラムを提供することができる。
また、請求項８に係る本発明によれば、同一の対象物を再度撮像した場合に、利用者が不要な関連情報を削除する手間を省くことが可能なプログラムを提供することができる。

本発明の一実施形態の関連情報表示システムのシステム構成を示す図である。 本発明の一実施形態における携帯端末装置１０のハードウェア構成を示すブロック図である。 本発明の一実施形態における携帯端末装置１０の機能構成を示すブロック図である。 本発明の一実施形態の携帯端末装置１０の動作を示すフローチャートである。 図４のフローチャートにおける、紙文書の画像から文字情報を抽出する処理（ステップＳ１０２）の詳細について説明するためのフローチャートである。 図４のフローチャートにおける、関連情報の検索処理（ステップＳ１０３）の詳細について説明するためのフローチャートである。 テーブル上に置かれた紙文書を携帯端末装置１０の撮像部３１により撮像した場合に表示される画像例を示す図である。 図７に示すように表示されている関連情報の１つに対してユーザがタップ操作した場合の様子を示す図である。 表示されている関連情報に対して削除したり収集したりする操作を行う場合の一例を説明するための図である。 関連情報まで伸ばした手で物を掴むような操作を行うことによりドラッグ操作とする場合の例を示す図である。 掴んでいた関連情報を離すような操作を行うことによりドロップ操作とする場合の例を示す図である。 指に装着するウェアラブル装置７０の一例を説明するための図である。 図１２に示したような指に装着するウェアラブル装置７０により関連情報に対する操作を行う場合の例を説明するための図である。 携帯端末装置１０のタッチパネル上においてユーザのタッチ操作を認識して関連情報に対する操作として受付ける場合の様子を説明するための図である。 収集した関連情報の詳細を表示させた場合の画面例を示す図である。 関連情報として紙文書の過去のバージョン（版）の電子データが検索された場合に、この紙文書の過去のバージョンの情報を紙文書とともに表示した場合の画面例を示す図である。 関連情報を用いて業務関係図を作成して表示した場合の表示画面例を示す図である。 複数の紙文書を同時に撮像した場合の表示画面例を示す図である。 ウェアラブル端末装置の一例であるＨＭＤ９０の外観を示す図である。 ＨＭＤ９０を装着した場合の様子を説明するための図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は本発明の一実施形態の関連情報表示システムのシステム構成を示す図である。

本発明の一実施形態の関連情報表示システムは、図１に示されるように、ネットワーク４０により相互に接続された文書管理サーバ２１、メールサーバ２２、検索サーバ２３および無線ＬＡＮターミナル３０と、スマートフォン、タブレット端末等の携帯端末装置１０とから構成されている。

文書管理サーバ２１は、各種の紙文書に対応する文書ファイルデータを格納して管理している。メールサーバ２２は、送受信される電子メールのメールデータを格納して管理している。検索サーバ２３は、指示された検索ワード（単語）に基づいてインターネット５０内のＷｅｂサーバを検索することにより、指示された検索ワードに関連する情報を検索する。

そして、携帯端末装置１０は、無線ＬＡＮターミナル３０との間で無線回線により接続されることにより、ネットワーク４０上の文書管理サーバ２１、メールサーバ２２、検索サーバ２３にアクセスすることが可能な構成となっている。

本実施形態の関連情報表示システムでは、携帯端末装置１０のカメラにより紙文書等の対象物を撮像することで、その対象物に関連する関連情報を文書管理サーバ２１、メールサーバ２２、検索サーバ２３から検索して、検索された関連情報を撮像された画像内の対象物の周辺に自動的に表示する。

例えば、会議室や自分の机上にある紙資料を携帯端末装置１０のカメラにより撮像するだけで、何のプロジェクトに関連する資料なのか、誰が作成した資料なのか、何時作成された資料なのか等の情報を把握することが可能になる。また、紙資料のタイトルに含まれる単語により検索された関連情報が自動的に表示されることにより、わざわざインターネット等を使って自ら検索しなくてもその単語に関する情報を把握することが可能となる。

表示される関連情報としては、その紙文書の内容の要約やレビュー結果、紙文書中のキーワードの検索結果、その紙文書の保管場所、作成者、承認者、作成日、更新履歴等のプロパティ情報等の情報が対象となる。また、これらの情報以外にも、その紙文書の過去のバージョン（版）の情報、紙文書中の注目されている単語、記載箇所等の情報も関連情報に含まれる。

具体的には、紙文書に対応する電子データが文書管理サーバ２１内に保管されていて、その電子データを検索することができたような場合、その電子データのプロパティ情報を取得することにより、その紙文書の作成者、承認者、作成日、更新履歴等の情報を取得することができる。

また、紙文書が電子メールを印刷したものであるような場合には、メールサーバ２２内に格納されているその電子メールのメールデータを検索することにより、電子メールの題名、送信者、受信者、送信日等の情報を関連情報として取得することが可能となる。

そして、携帯端末装置１０のディスプレイでは、これらの関連情報が実空間内の対象物の周囲に存在するかのように、撮像された画像中に重畳されて表示される。そして、ユーザ（利用者）が、自分の指や手によりそれらの関連情報を触るような動作をすると、ユーザの指や手がカメラにより撮像されて関連情報に対する操作として受付けることにより、あたかもその関連情報に対して指や手により操作しているかのような処理が実現される。

次に、本実施形態の関連情報表示システムにおける携帯端末装置１０のハードウェア構成を図２に示す。

携帯端末装置１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、記憶装置１３、無線ＬＡＮターミナル３０との間で無線回線を介してデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル等のユーザインタフェース（ＵＩ）装置１５、カメラ１６、液晶ディスプレイ等の表示装置１７を有する。これらの構成要素は、制御バス１８を介して互いに接続されている。

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、携帯端末装置１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＳＤカード等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。

図３は、上記の制御プログラムが実行されることにより実現される携帯端末装置１０の機能構成を示すブロック図である。

本実施形態の携帯端末装置１０は、図３に示されるように、撮像部３１と、制御部３２と、通信部３３と、表示部３４と、操作受付部３５とを備えている。

撮像部３１は、実空間の画像を撮像する撮像手段として機能する。

制御部３２は、撮像部３１により撮像された画像から、書類、書籍等の紙文書の画像を抽出する。そして、制御部３２は、抽出した紙文書の画像中の文字情報をＯＣＲ（Optical Character Reading）処理等を行うことにより認識して、認識した文字情報を用いて関連情報を検索するための検索ワード（検索用単語）を作成する。そして、制御部３２は、作成した検索ワードを、通信部３３を介して文書管理サーバ２１、メールサーバ２２、検索サーバ２３に送信して、検索ワードを用いた文書管理サーバ２１、メールサーバ２２、検索サーバ２３等に対する検索処理を実行することによって、この紙文書に関連する関連情報を検索する。

具体的には、制御部３２は、先ず撮像部３１により撮像された画像から抽出された紙文書の画像に対して台形補正を行って、紙文書を正面から見た画像に変換する。そして、制御部３２は、得られた紙文書の画像に対して、ＯＣＲ処理を行って表題や文書内容をそれぞれ読取って検索ワードを作成する。

その際に、制御部３２は、ＯＣＲ処理によっても読み取れない文字については前後の文字から予測を行う。また、制御部３２は、文字の濃さ、マーク等の有無により、検索ワードとして作成するための単語を決める優先順位を決定する。

なお、制御部３２は、ＯＣＲ処理によって取得された文字情報において、カタカナ、英単語を抽出して検索ワードとして抽出したり、他の文字とは色、太さ、書式が異なる文字を抽出して検索ワードとするような方法を用いても良い。

表示部３４は、制御部３２により画像が抽出された紙文書に関連する複数の関連情報を、撮像部３１により撮像された画像中に重ねて表示する。

具体的には、表示部３４は、制御部３２により検索された複数の関連情報を、撮像部３１により撮像された画像中の紙文書の周囲に存在するかのように重畳させて表示する。

その際に、表示部３４は、複数の関連情報を奥行があるように表示し、紙文書との関連性が高い関連情報ほど手前側となるとなるように表示する。

また、表示部３４は、複数の関連情報を関連内容に基づいて階層構造状に表示する。例えば、表示部３４は、関連情報を、木の実や葉として表示したようなツリー構造のように表示する。

さらに、表示部３４は、撮像部３１により撮像された画像中に複数の紙文書の画像が含まれる場合、各紙文書の関連情報をその紙文書の周囲に表示するとともに、撮像部３１からの物理的距離が近い紙文書ほど階層数が多くなるように表示する。

通信部３３は、文書管理サーバ２１、メールサーバ２２、検索サーバ２３との間で通信を行い、制御部３２により生成された検索ワードを送信したり、送信されてきた関連情報を受信する。

操作受付部３５は、表示部３４により画像中に表示された複数の関連情報に対する選択および削除指示を受付ける。なお、操作受付部３５は、タッチパネル上のユーザによるタッチ操作により関連情報の選択や削除指示を受付けるだけでなく、撮像部３１において撮像されたユーザの指や手の画像を用いたジェスチャ認識を行うことにより、関連情報の選択や削除指示を受け付けるようにしても良い。

つまり、操作受付部３５は、表示部３４に撮像された画像中において紙文書の周囲に存在するかのように表示された関連情報に対して、ユーザが指や手により操作を行った動作を認識して、関連情報に対する操作として受付ける。

そして、制御部３２は、操作受付部３５により受付けた選択および削除指示の履歴情報に基づいて、表示部３４に表示させる関連情報の優先順位を制御する表示制御を行う。

例えば、制御部３２は、今回抽出した紙文書と同一の紙文書の画像が過去に抽出されている場合、その紙文書の画像に対して重ねて表示した複数の関連情報のうち操作受付部３５により削除指示が受付けられた関連情報は表示されないよう表示部３４を制御する。

また、利用者の関連情報の取捨選択操作の傾向を人口知能により機械学習することにより、その利用者の関心が高い関連情報の傾向を把握するようにしても良い。このようにすることにより、過去に関連情報の表示を行った紙文書と類似する紙文書が撮像された場合には、その利用者の関心度が高いと思われる関連情報を優先して表示するようなことを実現することができる。

例えば、ある紙文書の作成者に関する関連情報を選択する頻度の高い利用者に対しては、別の紙文書が撮像された場合でも、作成者に関する関連情報を表示する優先順位を高くするような処理を実現することができる。また、例えば、その紙文書を閲覧した閲覧者についての関連情報を選択する頻度の高い利用者に対しては、閲覧者に関する関連情報を表示する優先順位を高くするような処理を実現することができる。

なお、利用者の過去の関連情報の取捨選択操作の履歴情報を利用するためには利用者の特定が必要となる。そのため、携帯端末装置１０の利用時にユーザ認証を行うことにより、現在の利用者を特定するようにすれば良い。例えば、仮想キーボードを表示パネル上に表示させて、利用者による仮想キーボードによる認証パスワードの入力を画像により読取って、読取られた認証パスワードと予め設定された認証パスワードが一致した場合にその利用者を特定するような方法を用いることができる。

なお、制御部３２により検索された検索結果を関連情報として表示部３４において表示する際に、検索結果を異なるカテゴリーごとに関連情報を１つずつ表示するようにしても良い。その際に、ある関連情報を削除するような操作が行われると、そのカテゴリー内の２番目の情報が代わりに表示されるようにしても良い。なお、関連情報のカテゴリーによっては紙文書の画像の周囲ではなく、紙文書上に重ねて表示するようにしても良い。

例えば、制御部３２は、ある紙文書の更新前のファイルデータが検索された場合、その更新前のファイルデータをその紙文書の画像上に重ねて表示して、さらに更新箇所の色等を変更することにより更新内容が分かるように関連情報を表示部３４に表示する。

また、制御部３２紙文書が回覧文書のように複数のユーザ間で転送されるもののような場合には、複数のユーザにより注目されている箇所を強調表示して表示部３４に表示するようにしても良い。

なお、制御部３２は、関連情報を表示部３４に表示させている際に、撮像部３１により撮像された画像から紙文書の画像が無くなった場合には、表示されていた関連文書も表示されなくなるように表示部３４を制御する。

なお、制御部３２は、撮像部３１により撮像された画像から対象物である紙文書の画像を抽出する際に、その紙文書が（１）純粋な手書き文書であるのか、（２）印刷した文書に手書きで文字を書込んだ文書であるのか、（３）印刷しただけの文書（書籍等も含む）であるのかという紙文書の種類を判定する。

そして、制御部３２は、判定した紙文書の種類に応じて、関連情報を検索する検索先の順序を変更する。

（１）具体的には、抽出した紙文書が純粋な手書き文書である場合、検索サーバ２３によるＷｅｂ検索、メールサーバ２２に対する検索、文書管理サーバ２１に対する検索という優先順で検索処理を実行する。

（２）抽出した紙文書が印刷した文書に手書きで文字を書込んだ文書である場合、文書管理サーバ２１に対する検索、検索サーバ２３によるＷｅｂ検索、メールサーバ２２に対する検索という優先順で検索処理を実行する。

（３）抽出した紙文書が印刷しただけの文書である場合、文書管理サーバ２１に対する検索、メールサーバ２２に対する検索、検索サーバ２３によるＷｅｂ検索という優先順で検索処理を実行する。

上記のように検索処理の優先順を紙文書の種類に応じて変更するのは、完全な手書き文書の場合には、その紙文書が電子データとして文書管理サーバ２１内に保管されている可能性や、メールサーバ２２内にメールデータとして保管されている可能性は低いと考えられるからである。

また、印刷された紙文書であれば電子データが文書管理サーバ２１内に保管されている可能性や、メールデータとしてメールサーバ２２内に保管されている可能性が高いと考えらえるからである。また、メールデータを印刷した紙文書に手書きで文字を書込む可能性が低いと考えられるからである。

次に、本実施形態の関連情報表示システムの動作を図面を参照して詳細に説明する。

先ず、本実施形態の関連情報表示システムにおける携帯端末装置１０の全体動作を図４のフローチャートを参照して説明する。

携帯端末装置１０では、撮像部３１により実空間の画像が撮像されると、制御部３２は、撮像部３１により撮像された画像中に、対象物である紙文書の画像が含まれるか否かを判定する（ステップＳ１０１）。

そして、撮像部３１により撮像された画像中に紙文書の画像が含まれる場合（ステップＳ１０１においてｙｅｓ）、制御部３２は、紙文書の画像から文字情報を抽出する（ステップＳ１０２）。そして、制御部３２は、抽出した文字情報に基づいて紙文書についての関連情報を検索する（ステップＳ１０３）。

最後に、制御部３２は、検索された関連情報を検索結果として、撮像部３１により撮像された画像上に重畳して、表示部３４に表示させる（ステップＳ１０４）。

なお、制御部３２は、検索された検索結果を関連情報として直ぐに表示部３４に表示するのではなく、紙文書の画像から抽出された文字情報を一旦表示部３４により表示して、利用者による何等かの操作を受付けた後に検索処理を実行して検索結果を得て表示部３４に表示させるようにしても良い。

そして、紙文書の画像が撮像された画像中に含まれなくなると（ステップＳ１０５においてｎｏ）、制御部３２は、表示部３４に対して関連情報として表示させていた検索結果を消去する（ステップＳ１０６）。

そして、紙文書の画像が撮像された画像中に含まれている状態で（ステップＳ１０５においてｙｅｓ）、表示している検索結果（関連情報）に対する操作を操作受付部３５が受付けた場合（ステップＳ１０７においてｙｅｓ）、制御部３２は、受付けた操作内容に基づいて表示する検索結果を変更する（ステップＳ１０８）。例えば、ある検索結果の情報が削除されると、次に表示されていた検索結果の情報を繰り上げて表示する等の制御が行われる。

次に、図４のフローチャートにおける、紙文書の画像から文字情報を抽出する処理（ステップＳ１０２）の詳細について、図５のフローチャートを参照して説明する。

制御部３２は、撮像部３１により撮像された画像中の紙文書の画像を台形補正して、紙文書を正面から見た場合の画像に変換して、その画像から文字画像を取得する（ステップＳ２０１）。

そして、制御部３２は、取得した文字画像に対してＯＣＲ処理を実行して文字情報に変換する（ステップＳ２０２）。

次に、制御部３２は、ＯＣＲ処理後の文字情報に対して言語分析を実行して、その文字情報を単語、文章等に分ける（ステップＳ２０３）。

最後に、制御部３２は、単語、文章に優先順位を付けて、検索するための単語（検索ワード）を決定する（ステップＳ２０４）。

次に、図４のフローチャートにおける、関連情報の検索処理（ステップＳ１０３）の詳細について、図６のフローチャートを参照して説明する。

先ず、制御部３２は、対象物である紙文書は手書き文書であるであるか否かを判定する（ステップＳ３０１）。そして、紙文書が手書き文書である場合（ステップＳ３０１においてｙｅｓ）、制御部３２は、検索サーバ２３によるＷｅｂ検索、メールサーバ２２に対する検索、文書管理サーバ２１に対する検索の順番で検索処理を実行する（ステップＳ３０２）。

そして、紙文書が手書き文書でない場合（ステップＳ３０１においてｎｏ）、制御部３２は、対象物である紙文書は書き込みのある印刷文書であるであるか否かを判定する（ステップＳ３０３）。そして、紙文書が書き込みのある印刷文書である場合（ステップＳ３０３においてｙｅｓ）、制御部３２は、文書管理サーバ２１に対する検索、検索サーバ２３によるＷｅｂ検索、メールサーバ２２に対する検索の順番で検索処理を実行する（ステップＳ３０４）。

そして、紙文書が書き込みのある印刷文書でない場合（ステップＳ３０３においてｎｏ）、つまり紙文書が書込みの無い印刷文書である場合、制御部３２は、文書管理サーバ２１に対する検索、メールサーバ２２に対する検索、検索サーバ２３によるＷｅｂ検索の順番で検索処理を実行する（ステップＳ３０５）。

次に、上記のような制御が行われることにより携帯端末装置１０において表示される画像例を図面を参照して説明する。

例えば、図７に示すように、テーブル上に置かれた紙文書を携帯端末装置１０の撮像部３１により撮像した場合、携帯端末装置１０の表示部３４である液晶ディスプレイ上には、テーブル上に置かれた紙文書の画像とともに、この紙文書の画像から抽出された検索ワードによる検索結果が関連情報として表示される。

図７に示した例では、紙文書のタイトルが「明日の天気について」となっていることにより、この紙文書の作成日、作成者、更新日の情報とともに、気象情報や天気という関連情報が表示されている。

そして、このように表示されている関連情報の１つに対してユーザがタップ操作した場合の様子を図８に示す。図８では、「作成日」という関連情報をユーザがタップしたことにより、さらにこの作成日に関する詳細な情報が示されているのが分かる。

そして、このように表示されている関連情報に対して削除したり収集したりする操作を行う場合の一例を図９を参照して説明する。図９では、関連情報に対して実空間内で操作を行った場合が示されている。

ユーザは、携帯端末装置１０上で表示される画像を見ながら自らの指を伸ばして、紙文書の周囲に表示されている関連情報のうち操作を行いたい関連情報に触れるような操作を行う。

ここでは、ドラッグ＆ドロップ操作やフリック操作を行うことにより、それぞれの関連情報のうち詳細を見たい情報については収集し、詳細を見たく無い情報については削除する処理を実行する場合について説明する。

図９では、表示画面内に関連情報を削除するためのごみ箱５１の画像と、関連情報を収集するためのバスケット５２の画像が表示されている。そして、ユーザは、後から詳細を見たい関連情報についてはバスケット５２の画像に入れるような操作を行い、詳細を見たく無い関連情報についてはごみ箱５１の画像に入れるような操作を順次行う。

なお、図１０に示すように、関連情報まで伸ばした手で物を掴むような操作を行うことによりドラッグ操作とし、図１１に示したように掴んでいた関連情報を離すような操作を行うことによりドロップ操作とするようにしても良い。図１０、図１１では、「作成日」の関連情報をごみ箱５１まで移動させる際の動作例が示されている。

なお、このようにユーザの指や手の動作を携帯端末装置１０の撮像部３１により撮像して、ジェスチャ認識を行うことにより関連情報に対する操作を受付けるのではなく、図１２に示すような指に装着するウェアラブル装置７０を用いて関連情報に対する操作を受付けるようにしても良い。

この図１２に示したウェアラブル装置７０は３次元の加速度センサを備えていることにより、ユーザの指の動作を検出するような構成となっている。

そして、例えば、図１３に示すように、ユーザの指が横方向に動いた場合には、関連情報の選択指示を受付け、ユーザの指が円弧を描くような動作を行った場合には、関連情報を確定するような操作として受付けるようにすることができる。

また、図１４に示すように、携帯端末装置１０の表示パネルがタッチパネルとなっているため、このタッチパネル上においてユーザのタッチ操作を認識して関連情報に対する操作として受付けるようにすることも可能である。

次に、上述したような操作により収集した関連情報の詳細を表示させた場合の画面例を図１５に示す。

図１５では、関連情報の収集、削除操作後にバスケット５２の画像をタップすることにより、収集された関連情報の詳細が表示された場合が示されている。

このようにして、携帯端末装置１０により紙文書を撮像することにより表示された複数の関連情報の中から、ユーザは、詳細を見たい関連情報のみを選択して、後から一覧情報として見ることができるようになっている。

次に、関連情報として紙文書の過去のバージョン（版）の電子データが検索された場合に、この紙文書の過去のバージョンの情報を紙文書とともに表示した場合の画面例を図１６に示す。

図１６では、撮像された紙文書の過去のバージョン７５の画像が、紙文書上に表示され、更新内容が分かるように更新箇所が強調された状態で表示されているのが分かる。

さらに、このような関連情報を用いて業務関係図を作成して表示した場合の表示画面例を図１７に示す。

図１７に示した表示画面例では、携帯端末装置１０上において、撮像した紙文書の作成者、関係する業務、閲覧者だけでなく、この作成者が作成した他の文書、作成者の業務、閲覧者が閲覧した他の文書、その文書の作成者および閲覧者や関係業務との関連性を示す図が表示されている。

このような業務関係図に対してもユーザによるジェスチャ等により操作が行われると、その作成者の詳細情報や、他の文書の内容等の詳細情報を表示させることが可能となっている。

このような業務関係図を生成して表示することにより、単に紙文書の関連情報だけでなく、文書と人と仕事のつながりを視覚的に把握することが可能となり、新たな気づきを提供することが可能となる。

なお、この業務関係図において、対象である紙文書からの関連性の大きさを丸の大きさや接続線の太さにより表示することができる。

また、複数の紙文書を同時に撮像した場合の表示画面例を図１８に示す。図１８では、紙文書８１〜８３という３つの紙文書が同時に撮像された場合が示されている。そして、紙文書８１は、撮像部３１からの物理的距離が最も短く、次に紙文書８２が撮像部３１からの物理的距離が短く、紙文書８３は撮像部３１からの物理的距離が最も長くなっている。

そのため、紙文書８１については複数の関連文書が３層構造により表示されているのに対して、紙文書８２について複数の関連文書が２層構造により表示され、紙文書８３については関連情報が１層のみ表示されている。

なお、本実施形態の関連情報表示システムでは、スマートフォン等の携帯端末装置１０を用いて対象物の関連情報を表示する場合を用いて説明した。しかし、本発明はこのような構成に限定されるものではなく、ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）と略す。）等のウェアラブル端末装置を用いて撮像された対象物の周囲に関連情報を表示するような場合でも同様に適用することができる。

このようなウェアラブル端末装置の一例であるＨＭＤ９０の外観を図１９に示す。ＨＭＤ９０は、図１９に示されるように、装着した利用者が外部の様子を視認可能な透明な表示部９２を備えている。そして、ＨＭＤ９０の一部には、外部の様子を撮像するためのカメラ９１が設けられており、利用者が透過型の表示部９２を介して視認している外部の様子の画像を撮像することができるような構成となっている。

このようなＨＭＤ９０を頭部に装着した場合の様子を図２０に示す。図２０を参照すると、ＨＭＤ９０を装着した利用者は、目が表示部９２により覆われているが、この表示部９２が透過型であるため外部の様子を視認することができるようになっているのが分かる。

そして、カメラ９１により紙文書等の対象物が撮像されると、撮像された対象物の関連情報が表示部９２上に例えばホログラフィー技術を用いて表示される。

そのため、このＨＭＤ９０を装着した利用者には、表示部９２を介して見ている対象物の周囲に関連情報が存在するような視覚が得られることになる。

[変形例]
また、上記実施形態では、紙文書を対象物として、撮像された画像内の紙文書に関する関連情報を表示する場合を用いて説明したが、本発明はこれに限定されるものではなく、紙文書以外の物体を対象物として関連情報を表示する場合でも同様に本発明を適用することができるものである。例えば、ペットボトルを対象物として、撮像された画像内のペットボトル内の飲料等の成分、容量、価格等を関連情報として表示するような場合でも本発明を同様に適用可能である。

１０ 携帯端末装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ カメラ
１７ 表示装置
１８ 制御バス
２１ 文書管理サーバ
２２ メールサーバ
２３ 検索サーバ
３０ 無線ＬＡＮターミナル
３１ 撮像部
３２ 制御部
３３ 通信部
３４ 表示部
３５ 操作受付部
４０ ネットワーク
５０ インターネット
５１ ごみ箱
５２ バスケット
７５ 紙文書の過去のバージョン
８１〜８３ 紙文書
９０ ヘッドマウントディスプレイ（ＨＭＤ）
９１ カメラ
９２ 表示部

Claims (8)

1. 実空間の画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像から、対象物の画像を抽出する抽出手段と、
   前記抽出手段により画像が抽出された対象物に関連する複数の関連情報を、前記撮像手段により撮像された画像中に重ねて表示する表示手段と、
   前記表示手段により表示された複数の関連情報に対する選択および削除指示を受付ける受付手段と、
   前記受付手段により受付けた選択および削除指示の履歴情報に基づいて、前記抽出手段により抽出された対象物と同一の対象物が過去に抽出されている場合、当該対象物の画像に対して重ねて表示した複数の関連情報のうち前記受付手段により削除指示が受付けられた関連情報は表示されないよう前記表示手段を制御し、過去において選択された頻度の高い関連情報と同内容の関連情報を優先して前記表示手段に表示させる表示制御手段と、
   を備えた情報処理装置。
2. 前記表示手段は、複数の関連情報を奥行があるように表示し、対象物との関連性が高い関連情報ほど手前側となるとなるように表示する請求項１記載の情報処理装置。
3. 前記表示手段は、複数の関連情報を関連内容に基づいて階層構造状に表示する請求項１記載の情報処理装置。
4. 前記撮像手段により撮像された画像中に複数の対象物の画像が含まれる場合、前記表示手段は、各対象物の関連情報を当該対象物の周囲に表示するとともに、前記撮像手段からの物理的距離が近い対象物ほど階層数が多くなるように表示する請求項３記載の情報処理装置。
5. 前記対象物が紙文書であり、
   前記抽出手段により抽出された紙文書の画像中の文字情報を認識して、認識された文字情報を用いて当該紙文書に関連する関連情報を検索する検索手段をさらに備え、
   前記表示手段は、前記検索手段により検索された複数の関連情報を表示する請求項１から４のいずれか記載の情報処理装置。
6. 前記検索手段は、前記紙文書の種類に応じて、関連情報を検索する検索先の順序を変更する請求項５記載の情報処理装置。
7. 前記検索手段により当該紙文書の更新前の情報が検索された場合、前記表示手段は、更新内容が分かるように関連情報を表示する請求項５又は６記載の情報処理装置。
8. 実空間を撮像した画像から、対象物の画像を抽出する抽出ステップと、
   前記抽出ステップにより画像が抽出された対象物に関連する複数の関連情報を、撮像された画像中に重ねて表示する表示ステップと、
   前記表示ステップにおいて表示された複数の関連情報に対する選択および削除指示を受付ける受付ステップと、
   前記受付ステップにおいて受付けた選択および削除指示の履歴情報に基づいて、前記抽出ステップにおいて抽出された対象物と同一の対象物が過去に抽出されている場合、当該対象物の画像に対して重ねて表示した複数の関連情報のうち前記受付ステップにおいて削除指示が受付けられた関連情報は前記表示ステップにおいて表示されないよう制御し、過去において選択された頻度の高い関連情報と同内容の関連情報を優先して前記表示ステップにおいて表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。

Images