JP5557861B2 - 有用情報提示システム及び有用情報提示システムの制御方法 - Google Patents

Description

本発明は、有用情報提示システム及び有用情報提示システムの制御方法に関する。

従来、リアルタイム映像から有用情報を抽出して提示するサービスにおいて、スマートフォン等の利用者端末が、リアルタイム映像を構成する一つ以上の画像または音声を認識し（以下、認識する対象を被写体という）、抽出すべき有用情報との照合をしていた（例えば非特許文献１）。また従来、二次元バーコードやＱＲコード（登録商標）、ＡＲマーカ、ＬＬＴマーカ、電子透かしなどの特定の書式を持つ図形等から有用情報を抽出する方法や、外国語で書かれた看板やメニュを母国語に翻訳して表示する方法があった（例えば非特許文献２）。また、顔写真から被写体のSNS上の情報を取得し、ランドマークの画像から被写体又は利用者端末の位置を特定又は推定する方法があった（例えば非特許文献３）。

さらに従来、利用者が注視していない被写体を利用者端末が自律的に認識して接近する危険物の注意喚起等を行うシステムが提案されている（例えば非特許文献４）。また、無線タグなど電力を消費する端末装置を環境に埋め込み、利用者の周辺環境に関連する情報を広範に提示して案内・誘導するシステムが提案されている（例えば非特許文献５）。

Bruji、"BarcodeScanner"、［online］、［２０１２年１月１７日検索］、インターネット＜http://www.bruji.com/cocoa/barcode.html＞ Apple、"Word Lens"、［online］、［２０１２年１月１７日検索］、インターネット＜http://itunes.apple.com/app/word-lens/id383463868?ign-mpt=uo%3D5＞ remenbAR、"remenbAR"、［online］、［２０１２年１月１７日検索］、インターネット＜http://remembar.me/ja.html＞ 岡安光博、"スマート電子白杖の開発と商品化"、［ｏｎｌｉｎｅ］、［２０１２年１月１７日検索］、インターネット＜http://www.rehab.go.jp/ri/event/at_cafe2010/report/cafe2_okyasu_slide.pdf＞ 東京都、"第８回 東京都ＩＣタグ実証実験 実行委員会資料"、［ｏｎｌｉｎｅ］、［２０１２年１月１７日検索］、インターネット＜http://www.tokyo-ubinavi.jp/pdf/tokyo_ictag08.pdf＞

しかしながら、従来の技術はいずれも、利用者端末により照合処理を行っているため、抽出される有用情報の種類や数量は、利用者端末の処理能力により制限されてしまっていた。

また従来は、サービスを利用するために、所定の被写体の所在を予め利用者が注視し意識していなければならなかった。或いは所定の被写体の所在を予め利用者が注視しないでもよい単純な照合のみに限定されてしまっていた。また、無線タグなど電力を消費する端末装置を周辺環境に埋め込んだ場合には、費用や環境負荷の面で問題があった。

また、従来は、情報提示のタイミングが、提示される情報自体を生成したタイミング、あるいは、利用者が予め定義された状態へ遷移したタイミング（例えば、所定の時刻／位置に到達したタイミング）であり、利用態様が限られてしまっていた。例えば利用者の状態遷移のタイミングに情報提示をする場合、提示される情報は、予定表や地図情報などと対応付けて管理可能なものに限定されてしまっていた。

従って、上記のような問題点に鑑みてなされた本発明の目的は、利用者端末の処理能力に依存せず、所定の被写体の所在を予め利用者に意識させること無く、利用者端末が撮影したリアルタイム映像から抽出した広範な有用情報を提示することができ、また、有用情報を他の利用者と共有することができる有用情報提示システム及び有用情報提示システムの制御方法を提供することにある。

上記課題を解決するために本発明に係る有用情報提示システムは、
複数の利用者端末と、サーバと、知識管理装置とを備える有用情報提示システムであって、
前記複数の利用者端末は、リアルタイム映像を撮影して該リアルタイム映像を前記サーバに送信し、
前記サーバは、前記リアルタイム映像と照合用情報とを照合して有用情報を抽出して前記有用情報を前記知識管理装置に送信し、
前記知識管理装置は、前記サーバから受信した前記有用情報を蓄積し、
前記サーバは、前記知識管理装置に蓄積された前記有用情報を、前記複数の利用者端末に送信することを特徴とする。

また、本発明に係る有用情報提示システムの制御方法は、
複数の利用者端末と、サーバと、知識管理装置とを備える有用情報提示システムの制御方法であって、
前記複数の利用者端末が、リアルタイム映像を撮影して該リアルタイム映像を前記サーバに送信するステップと、
前記サーバが、前記リアルタイム映像と照合用情報とを照合して有用情報を抽出して前記有用情報を前記知識管理装置に送信するステップと、
前記知識管理装置が、前記サーバから受信した前記有用情報を蓄積するステップと、
前記サーバが、前記知識管理装置に蓄積された前記有用情報を、前記複数の利用者端末に送信するステップと、
を含むことを特徴とする。

本発明における有用情報提示システム及び有用情報提示システムの制御方法によれば、利用者端末の処理能力に依存せず、所定の被写体の所在を予め利用者に意識させること無く、利用者端末が撮影したリアルタイム映像から抽出した広範な有用情報を提示することができ、また、有用情報を他の利用者と共有することができる。

実施の形態１に係る有用情報提示システムの全体の概要構成を示すブロック図である。 実施の形態１に係る利用者端末のブロック図である。 実施の形態１に係る映像分配装置のブロック図である。 実施の形態１に係る映像照合装置のブロック図である。 実施の形態１に係る情報提示制御装置のブロック図である。 実施の形態１に係る有用情報提示システムの動作を示すフローチャートである。 実施の形態１に係る有用情報提示システムの変形例の動作を示すフローチャートである。 実施の形態１に係る有用情報提示システムの動作事例を表す概念図である。 実施の形態２に係る有用情報提示システムの全体の概要構成を示すブロック図である。 実施の形態２に係る有用情報提示システムの動作を示すフローチャートである。

以下、本発明の実施の形態について説明する。

（実施の形態１）
図１は本発明の実施の形態１に係る有用情報提示システムの全体の概要構成を示すブロック図である。本発明の実施の形態１に係る有用情報提示システムは、利用者端末１と、映像分配装置２と、映像照合装置（３１〜３３）と、構成管理装置４と、情報提示制御装置５と、知識管理装置６とを備える。利用者端末１と、映像分配装置２又は情報提示制御装置５とは、通信網を介して通信する。

利用者端末１は、リアルタイム映像を撮影し、該リアルタイム映像を映像分配装置２に送信する。また、利用者端末１は、利用者属性情報及び／又は状況情報を含むコンテキスト情報を映像分配装置２に送信する。ここで利用者属性情報とは、利用者又は利用者端末１の静的な属性に関する情報であり、例えば利用者の年齢、性別、出身地、住所、職業、趣味、障がい種別、利用者端末１の識別子、後述する利用者端末１の制御部１５の識別子である。また、状況情報とは、動的に変化する状況に関する情報であり、時刻、現在地、移動速度、騒音、照度、端末処理能力、利用者端末状態、自動車等運転中、電車内等である。

映像分配装置２は、利用者端末１から受信したリアルタイム映像及びコンテキスト情報を、映像照合装置（３１〜３３）に分配する。また映像分配装置２は、情報提示制御装置５に、制御情報としてコンテキスト情報を送信する。

各映像照合装置（３１〜３３）は、映像分配装置２から受信したリアルタイム映像と、照合用情報とを照合して有用情報を並列処理により抽出する。そして各映像照合装置（３１〜３３）は、該有用情報を含む照合の結果に係る情報（以下、照合結果という。）を、情報提示制御装置５に送信する。

ここで照合用情報とは、リアルタイム映像に写る可能性がある所定の被写体を照合するための情報である。また照合用情報毎に、利用者属性情報及び／又は状況情報に応じた緊急度、重要度、又は関連度が定義される。例えば、工事現場など危険の所在を表す看板に係る照合用情報について、障がい者には高い緊急度が定義される。また、交通バリアフリー設備の所在を示すピクトサインに係る照合用情報について、高齢者には高い重要度又は関連度が定義される。

各映像照合装置（３１〜３３）は、リアルタイム映像を構成する一つ以上の画像（各フレームあるいは連続するフレームの被写体の特徴）を認識する。また各映像照合装置（３１〜３３）は、音声（被写体の音階、氏名を含む単語、話者など音素の特徴）を認識する。そして各映像照合装置（３１〜３３）は、認識結果と照合用情報とを照合し、有用情報を抽出する。

構成管理装置４は照合用情報を蓄積している。当該照合用情報は、適宜更新及び削除される。例えば照合用情報である道路標識等が変更等された場合、構成管理装置４は、該照合用情報を変更して蓄積する。各映像照合装置（３１〜３３）は構成管理装置４と通信し、自己が保有する照合用情報を更新する。

情報提示制御装置５は、各映像照合装置（３１〜３３）から受信した照合結果に含まれる有用情報を、映像分配装置２から受信した制御情報（すなわちコンテキスト情報）により取捨選択し、利用者端末１に送信する。また情報提示制御装置５は、知識管理装置６を参照し、有用情報に対応する具体的内容を取得する。具体的内容とは、有用情報自体、有用情報の詳細情報、又は有用情報に関連する情報を意味する。そして情報提示制御装置５は、利用者端末１から有用情報に係る具体的内容の取得要求があった場合、該具体的内容を利用者端末１に提示（送信）する。

次に、本発明の実施の形態１に係る有用情報提示システムの各部の詳細構成を図２〜図５により説明する。図２は、実施の形態１に係る利用者端末１のブロック図を示す。利用者端末１は、セッション制御部１１と、操作部１２と、コンテキスト情報生成部１３と、リアルタイム映像生成部１４と、制御部１５と、出力部１６とを備える。

セッション制御部１１は、映像分配装置２とのセッションの開始及び終了に係る制御をする。セッション制御の実現手段は、例えばSIPを用いた呼接続、WebSocketなどによるPUSH、XMLHttpRequestやCometなどによる疑似PUSH、HTTPなどによるPULL等による。当該セッションにより、利用者端末１は、映像分配装置２とリアルタイム通信を行う。操作部１２は、好適にはタッチパネル、キーボード等により構成され、利用者による操作を受け付け、制御部１５に当該操作に係る情報を渡す。

コンテキスト情報生成部１３は、利用者属性情報及び／又は状況情報を含むコンテキスト情報を生成する。なお利用者属性情報は、利用者又はオペレータ等により予め登録された情報であり、コンテキスト情報生成部１３は、当該情報をメモリ（不図示）から取得する。またコンテキスト情報生成部１３は、各種センサ（不図示）を備え、動的に状況情報を生成する。

リアルタイム映像生成部１４は、好適にはカメラ及びマイク（不図示）を備え、カメラにより被写体を撮影し、またマイクにより音声を取得してリアルタイム映像を生成する。リアルタイム映像生成部１４は、生成したリアルタイム映像を、映像分配装置２に連続的に送信する。

制御部１５は、利用者端末１に係る各種制御を行う。具体的には、制御部１５は、操作部１２への利用者の操作に基づき、セッション制御部１１によるセッションを開始させる。また制御部１５は、情報提示制御装置５から有用情報の抽出完了通知を受信し、該抽出完了通知を出力部１６に出力させる。また制御部１５は、操作部１２への利用者の操作に基づき、情報提示制御装置５に、有用情報に係る具体的内容の取得要求を送信する。また制御部１５は、情報提示制御装置５から具体的内容を受信すると、該具体的内容を、出力部１６に出力させる。

出力部１６は、ディスプレイ、スピーカ、バイブレータ等により構成され、制御部１５の制御に基づき、抽出完了通知、有用情報の具体的内容を映像、音声、振動等により出力（再生）する。例えば出力部１６は、抽出完了通知をチャイムにより出力し、具体的内容を音声アナウンスで出力する。

図３は、実施の形態１に係る映像分配装置２のブロック図を示す。映像分配装置２は、セッション制御部２１と、メディア分配部２２とを備える。

セッション制御部２１は、利用者端末１とのセッションの開始及び終了に係る制御をする。当該セッションにより、映像分配装置２は、利用者端末１とリアルタイム通信を行う。

メディア分配部２２は、利用者端末１から受信したリアルタイム映像を、映像照合装置（３１〜３３）に分配する。またメディア分配部２２は、コンテキスト情報を映像照合装置（３１〜３３）に送信する。またメディア分配部２２は、利用者端末１から受信したコンテキスト情報を制御情報として、情報提示制御装置５に送信する。またメディア分配部２２は、情報提示制御装置５から制御情報を受信した場合、その時点におけるリアルタイム映像を、映像照合装置（３１〜３３）に分配する。

またメディア分配部２２は、コンテキスト情報、情報提示制御装置５から受信した制御情報、及びリアルタイム映像のメディア形式や種類の少なくとも１つに基づき、適宜分配する先の映像照合装置（３１〜３３）を増減する。例えば、利用者が高速で移動中の状況では取得要求が無い限り、看板内の図形を照合する映像照合装置（例えば映像照合装置３１）のみを用いて、過大な処理を必要とする、看板に表記された文字を認識する映像照合装置（例えば映像照合装置３２）は用いない。このようにメディア分配部２２は、分配する先の映像照合装置（３１〜３３）を増減することで、システム全体の処理量及び処理速度を増減し、システム全体の効率を上げる。

図４は、実施の形態１に係る映像照合装置３１のブロック図を示す。映像照合装置３１は、メディア認識部３１１と、リファレンス管理部３１２と、メディア照合部３１３とを備える。映像照合装置３２及び３３は、映像照合装置３１と同一構成であるため説明は省略する。なお好適には、各映像照合装置（３１〜３３）は、それぞれ照合するメディアの種類を分担する。例えば映像照合装置３１は、図形に係る照合処理を行い、映像照合装置３２は、文字に係る照合処理を行い、映像照合装置３３は、音声に係る照合処理を行う等、照合処理を分担してもよい。

メディア認識部３１１は、映像分配装置２から受信したリアルタイム映像を構成する画像や音声の特徴を認識する。そしてメディア認識部３１１は、認識した特徴に係る情報をメディア照合部３１３に渡す。

リファレンス管理部３１２は、抽出すべき有用情報を照合用情報として記憶する。またリファレンス管理部３１２は、構成管理装置４と通信し、自己が記憶している照合用情報を更新する。

メディア照合部３１３は、メディア認識部３１１が認識した特徴に係る情報と、リファレンス管理部３１２が記憶している照合用情報とを照合する。メディア照合部３１３は、当該照合に基づき照合用情報に一致する情報、すなわち有用情報を抽出する。そしてメディア照合部３１３は、照合結果を生成する。照合結果は、リアルタイム映像を生成した利用者端末１の識別子、利用者端末１の制御部１５の識別子、映像照合装置（３１〜３３）の識別子、合致した照合用情報の識別子（すなわち、抽出された有用情報の識別子）、当該情報が抽出された映像内の位置情報（例えば、画像内の看板・標識のピクセル位置）、当該情報に対応する被写体の位置情報（例えば、利用者端末１を原点とする看板・標識の3軸の位置座標と3軸の回転角度）を含む。そしてメディア照合部３１３は、照合結果を、情報提示制御装置５に送信する。

図５は、実施の形態１に係る情報提示制御装置５のブロック図を示す。情報提示制御装置５は、フィルタリング部５１と、制御部５２と、メディア変換部５３と、リフレッシュ部５４とを備える。

フィルタリング部５１は、映像照合装置（３１〜３３）から受信した照合結果に含まれる一つ以上の有用情報を、当該有用情報の識別子と、映像分配装置２から受信した制御情報とにより定まる各情報の緊急度、鮮度、重要度及び関連度のうち少なくとも１つに基づいて、フィルタリング（取捨選択）する。例えばフィルタリング部５１は、過去に利用者端末１に提示した有用情報を関連度が低い情報と判断してこれを除外し、重複して同一の情報を提示することを回避する。また例えば、フィルタリング部５１は、駅前に到着した利用者に対して、当該利用者が階段の上り下りに適さない属性を持つ場合（例えば、肢体障がい者、怪我人、妊産婦、高齢者である場合）はエスカレータやエレベータの所在に関する情報を重要度・関連度が高いとして選択する。

制御部５２は、情報提示制御装置５に係る各種制御を行う。具体的には制御部５２は、取捨選択された一つ以上の有用情報の識別子に係る抽出結果の具体的内容を生成する。制御部５２は、該具体的内容を生成する際に知識管理装置６を参照する。知識管理装置６は、有用情報に関係する情報を蓄積している。例えば知識管理装置６は位置及び時刻と対応付けて利用者周辺のイベントや設備の情報を予め蓄積している。例えば利用者端末１が駅入口の看板のリアルタイム映像を送信した場合、情報提示制御装置５の制御部５２は、照合結果に含まれる被写体の位置情報に基づき、当該駅構内の情報（例えば、エスカレータやエレベータの運行情報）を知識管理装置６から取得する。このようにして制御部５２は、単に当該駅・当該入口の看板が視野内にあることだけでなく、構内設備の所在・状態を含めた具体的内容を生成し、利用者端末１に提示する。

そして制御部５２は、当該具体的内容の生成が完了した場合、抽出完了通知を利用者端末１に送信する。また制御部５２は、利用者端末１から取得要求を受信した場合、生成した具体的内容を、利用者端末１に提示する。また制御部５２は、有用情報の具体的内容を適宜リフレッシュ部５４により更新する。

メディア変換部５３は、制御部５２の制御により、映像分配装置２から受信した制御情報に基づき、利用者端末１に送信するデータを、利用者属性情報に応じた最適なメディア形式に変換する。例えば、メディア変換部５３は、利用者属性情報に画面表示の確認に適さないものが含まれる場合（例えば、利用者属性情報に“視覚障がい者”が含まれる場合）は文字列を読み上げるアナウンスの形式に変換する。同様に、メディア変換部５３は、利用者属性情報に“外国人”が含まれる場合、利用者端末１に送信するデータを、当該外国人の母国語に翻訳したデータに変換する。

リフレッシュ部５４は、制御部５２の制御により、抽出された有用情報の具体的内容を当該有用情報の緊急度、鮮度、重要度、及び関連度のうち、少なくとも１つに基づいて適応的に更新する。リフレッシュ部５４は、具体的内容を更新する場合、取得要求に基づく制御情報を映像分配装置２に送信する。例えばリフレッシュ部５４は、抽出完了通知を送信してから取得要求を受けるまでに所定の期間以上の時間が経過した場合、具体的内容の鮮度が低いと判断し、具体的内容を更新する。またリフレッシュ部５４は、被写体がデジタルサイネージなどの内容が時々刻々と変化するものである場合は、抽出完了通知を送信した時点での具体的内容は鮮度が低いと判断して取得要求を受信した時点のものに更新する。

例えば、有用情報が自動販売機であり、具体的内容が、“右前方に自動販売機が設置されています”であるとする。情報提示制御装置５が、当該有用情報の抽出完了通知を利用者端末１に送信してから所定時間経過後、利用者端末１の位置が変化し、自動販売機が右後方に設置されているような位置関係になったとする。このような場合、リフレッシュ部５４は、一定時間が経過しているため、有用情報の具体的内容を更新する。このようにして、情報提示制御装置５は、利用者端末１に、更新された具体的内容である“右後方に自動販売機が設置されています”を提示できる。

次に、本発明に係る有用情報提示システムについて、図６に示すフローチャートによりその動作を説明する。

はじめに利用者端末１のセッション制御部１１は、利用者の操作部１２の操作に基づき、映像分配装置２のセッション制御部２１とのセッションの開始に係る制御をする（ステップＳ１）。当該セッションにより、利用者端末１は、映像分配装置２とリアルタイム通信を行う。

続いて利用者端末１のコンテキスト情報生成部１３は、利用者属性情報及び／又は状況情報を含むコンテキスト情報を生成する。そしてコンテキスト情報生成部１３は、当該コンテキスト情報を映像分配装置２に送信する（ステップＳ２）。

続いて利用者端末１のリアルタイム映像生成部１４は、リアルタイム映像を生成する。そしてリアルタイム映像生成部１４は、生成したリアルタイム映像を、映像分配装置２に送信する（ステップＳ３）。なお図６においては、簡便のためリアルタイム映像の初回の送信のみ図示しているが、リアルタイム映像生成部１４は、リアルタイム映像を、映像分配装置２に連続的に送信する。

続いて映像分配装置２のメディア分配部２２は、利用者端末１から受信したリアルタイム映像を、映像照合装置（３１〜３３）に分配する（ステップＳ４）。またメディア分配部２２は、好適にはコンテキスト情報を映像照合装置（３１〜３３）に送信する。なお図６においては簡便のため、映像照合装置３１のみを図示しているが、メディア分配部２２は、映像照合装置３２及び映像照合装置３３にもリアルタイム映像を分配し、また好適にはコンテキスト情報を送信する。続いてメディア分配部２２は、利用者端末１から受信したコンテキスト情報を制御情報として、情報提示制御装置５に送信する（ステップＳ５）。

続いて映像照合装置３１は、受信したリアルタイム映像の映像照合を行う（ステップＳ６）。具体的には映像照合装置３１のメディア認識部３１１は、映像分配装置２から受信したリアルタイム映像を構成する画像や音声の特徴を認識する。そしてメディア認識部３１１は、認識した特徴に係る情報をメディア照合部３１３に渡す。そしてメディア照合部３１３は、メディア認識部３１１が認識した特徴に係る情報と、リファレンス管理部３１２が記憶している照合用情報とを照合する。メディア照合部３１３は、当該照合に基づき有用情報を抽出し、照合結果を生成する。続いてメディア照合部３１３は、生成した照合結果を、情報提示制御装置５に送信する（ステップＳ７）。

続いて情報提示制御装置５は、照合結果に係る処理を行う（ステップＳ８）。具体的には情報提示制御装置５のフィルタリング部５１は、映像照合装置（３１〜３３）から受信した照合結果に含まれる一つ以上の有用情報を、当該有用情報の識別子と、映像分配装置２から受信した制御情報とにより定まる各情報の緊急度、鮮度、重要度及び関連度のうち少なくとも１つに基づいて、フィルタリング（取捨選択）する。そして制御部５２は、取捨選択された一つ以上の有用情報の識別子に係る抽出結果の具体的内容を生成する。制御部５２は、該具体的内容を生成する際に、有用情報に関係した情報を蓄積する知識管理装置６を参照する。

続いて情報提示制御装置５のメディア変換部５３は、制御部５２の制御により、映像分配装置２から受信した制御情報に基づき、利用者端末１に送信するデータ、すなわち抽出完了通知及び具体的内容を、利用者属性情報に応じた最適なメディア形式に変換する（ステップＳ９）。続いて制御部５２は、抽出完了通知を利用者端末１に送信する（ステップＳ１０）。

続いて利用者端末１の制御部１５は、情報提示制御装置５から有用情報の抽出完了通知を受信すると、該抽出完了通知を出力部１６に出力させる（ステップＳ１１）。例えば出力部１６は、抽出完了通知をチャイムにより出力する。

続いて利用者端末１の制御部１５は、操作部１２に係る利用者の操作に基づき、情報提示制御装置５に、有用情報に係る具体的内容の取得要求を送信する（ステップＳ１２）。

続いて情報提示制御装置５の制御部５２は、利用者端末１から具体的内容の取得要求があった場合、該具体的内容を、利用者端末１に提示（送信）する（ステップＳ１３）。

続いて利用者端末１の出力部１６は、具体的内容を映像、音声、振動等により出力（再生）する（ステップＳ１４）。例えば出力部１６は、具体的内容を音声アナウンスにより出力する。そして処理が終了する。

次に、本発明に係る有用情報提示システムについて、図７に示すフローチャートにより変形例の動作を説明する。図６に示すフローチャートと同一の動作については同一の符号を付し、説明は省略する。

図７では、利用者端末１が抽出完了通知を出力後（ステップＳ１１）、利用者端末１の制御部１５は、操作部１２に係る利用者の操作に基づき、情報提示制御装置５に、有用情報に係る具体的内容の取得要求を送信する（ステップＳ２１）。また、利用者端末１のリアルタイム映像生成部１４は、生成したリアルタイム映像を、映像分配装置２に送信する（ステップＳ２２）。

続いて、情報提示制御装置５の制御部５２は、有用情報の具体的内容を当該情報の緊急度、鮮度、重要度、及び関連度のうち少なくとも１つに基づいて、リフレッシュ部５４に具体的内容を更新させる。リフレッシュ部５４は、取得要求に基づく制御情報を映像分配装置２に送信する（ステップＳ２３）。

続いて映像分配装置２のメディア分配部２２は、利用者端末１から受信したリアルタイム映像を、映像照合装置（３１〜３３）に分配する（ステップＳ２４）。なお図７においては簡便のため、映像照合装置３１のみを図示しているが、メディア分配部２２は、映像照合装置３２及び映像照合装置３３にもリアルタイム映像を分配する。

続いて映像照合装置３１は、受信したリアルタイム映像の映像照合を行う（ステップＳ２５）。具体的には映像照合装置３１のメディア認識部３１１は、映像分配装置２から受信したリアルタイム映像を構成する画像や音声の特徴を認識する。そしてメディア認識部３１１は、認識した特徴に係る情報をメディア照合部３１３に渡す。そしてメディア照合部３１３は、メディア認識部３１１が認識した特徴に係る情報と、リファレンス管理部３１２が記憶している照合用情報とを照合する。メディア照合部３１３は、当該照合に基づき有用情報を抽出し、照合結果を生成する。

続いてメディア照合部３１３は、生成した照合結果を、情報提示制御装置５に送信する（ステップＳ２６）。

続いて情報提示制御装置５の制御部５２は、照合結果に基づき具体的内容を更新する。制御部５２は好適には、該具体的内容を生成する際に、知識管理装置６を参照する。そして制御部５２は、更新された具体的内容を、利用者端末１に提示（送信）する（ステップＳ２７）。

続いて利用者端末１の出力部１６は、具体的内容を映像、音声、振動等により出力（再生）する（ステップＳ２８）。そして処理が終了する。

なお、情報提示制御装置５の制御部５２は、有用情報を抽出した際に、当該有用情報を知識管理装置６に蓄積してもよい。そして制御部５２は、当該蓄積した有用情報を複数の利用者端末に提示してもよい。好適には当該有用情報を、抽出元のリアルタイム映像に係るコンテキスト情報と対応付けて蓄積する。そして制御部５２は、当該蓄積した情報を、複数の利用者端末に提示（送信）できるようにしてもよい。好適には制御部５２は、該コンテキスト情報を有する複数の利用者端末に提示（送信）できるようにしてもよい。

図８は、本発明の実施の形態１に係る有用情報提示システムの動作事例を表す概念図である。図８（ａ）は、利用者として、外国人旅行者及び視覚障がい者を例示している。この場合、利用者端末１が映像分配装置２に送信するコンテキスト情報には、それぞれ利用者属性情報“外国人”及び“視覚障がい者”が含まれる。例えば、外国人旅行者の有する利用者端末１は、リアルタイム映像として工事現場の映像を映像分配装置２に送信する。そうすると、映像照合装置３１は、工事現場の映像から看板情報を取得する。情報提示制御装置５は、利用者属性情報“外国人”に基づき、送信するデータ（“右に迂回路があります”）を翻訳し、“Ｄｅｔｏｕｒ：Ｔｕｒｎ Ｒｉｇｈｔ”という有用情報を利用者端末１に提示する。

同様に、視覚障がい者の利用者端末１から当該リアルタイム映像を受信した場合には、情報提示制御装置５は、利用者属性情報“視覚障がい者”に基づき、送信するデータを音声データに変換し、“右に迂回路があります”という有用情報を利用者端末１に提示する。

図８（ｂ）は、利用者として、“高齢者”、“妊産婦”、“怪我人”及び“肢体障がい者”を例示している。この場合、利用者端末１が映像分配装置２に送信するコンテキスト情報には、それぞれ利用者属性情報“高齢者”、“妊産婦”、“怪我人”、及び“肢体障がい者”が含まれる。例えば高齢者の有する利用者端末１は、リアルタイム映像として、駅前の映像を映像分配装置２に送信する。そうすると、映像照合装置３１は、駅前の映像から看板情報を取得する。情報提示制御装置５は、“いつものエスカレータは工事中です。１１時の方向にエレベータがあります”という有用情報を利用者端末１に送信する。

このように本発明によれば、利用者端末１がリアルタイム情報を映像分配装置２に送信し、映像照合装置（３１〜３３）を用いてリアルタイム映像から有用情報を抽出するため、利用者端末１の処理能力に依存せず、所定の被写体の所在を予め利用者に意識させること無く、利用者端末１が撮影したリアルタイム映像から抽出した広範な有用情報を提示することができる。

また本発明によれば、情報提示制御装置５が、まず有用情報の抽出完了通知のみを送信し、利用者端末１から具体的内容の取得要求を受信した場合に具体的内容を提示するため、有用情報の聞き漏らしや見落としを防ぎ、また、所定の被写体の所在を意識していないような注意散漫な状態の利用者に対しても案内を着実に提示することができる。

また本発明によれば、有用情報を抽出した際に、当該有用情報を知識管理装置６に蓄積し、当該蓄積した有用情報を複数の利用者端末に提示するように構成されるため、有用情報を他の利用者と共有すること、および、知識管理装置６に格納される情報と実世界の実態との乖離を縮小することができる。

また本発明によれば、構成管理装置４が照合用情報を蓄積し、当該照合用情報を用いて映像照合装置（３１〜３３）が照合を行うため、利用者端末１が管理可能な予定表や地図情報に限定されない広範な照合ができるとともに、利用者端末１の構成を変更すること無く本システムを動作させることができる。

また本発明によれば、利用者端末１と映像分配装置２との間にセッションが確立され、利用者端末１が継続的にリアルタイム映像を送信するため、有用情報に係る所定の被写体が周囲に存在する事実を把握しておらず、またそれらの所在を利用者が意識していない状態でも、被写体がリアルタイム映像の視野内に写り込むだけで有用情報を案内することができる。

また本発明によれば、知識管理装置６を参照して有用情報を生成することで、被写体そのものの情報を案内するのみならず、被写体に関係する他の関連情報を案内することができる。

また本発明によれば、情報提示制御装置５のフィルタリング部５１が、有用情報の識別子と、制御情報とにより定まる各情報の緊急度等とに基づいて、有用情報をフィルタリングするため、利用者にとって真に有用な情報を提示することができる。

また本発明によれば、情報提示制御装置５のメディア変換部５３が、利用者端末１に送信するデータを、利用者属性情報に応じた最適なメディア形式に変換するため、多様な利用者に適した情報形式にて有用情報を提示することができる。

また本発明によれば、情報提示制御装置５のリフレッシュ部５４が有用情報の具体的内容を当該情報の緊急度、鮮度、重要度、及び関連度のうち少なくとも１つに基づいて更新するため、例えば具体的内容の取得要求を一定時間以上経過した後に受信した場合においても、真に有用な情報を提示することができる。

なお、利用者端末１のコンテキスト情報生成部１３は、利用者による操作（例えば、ドライブモード／マナーモードの設定）、利用者端末１が備えるセンサ（例えば、カメラ、マイク、GPS、照度センサ、磁気センサ、加速度センサ）からの入力に基づく状態推定、利用者端末１のOSが管理する情報（例えば、起動中のアプリ種別、バッテリ残量）あるいは通信網を介した外部（例えば、Webサービス）からの入力に基づいてコンテキスト情報を生成してもよい。

なお、利用者端末１のリアルタイム映像生成部１４は、映像及び音声から構成されるリアルタイム映像を生成し送信する例を示したがこれに限られず、映像又は音声の一方のみにより構成されるマルチメディア情報を生成し、送信してもよい。

なお、利用者端末１から映像分配装置２へのリアルタイム映像の送信は、HTTPなどによるファイル送受信であってもRTPなどによるストリーミングであってもよい。コンテキスト情報の送信とリアルタイム映像の送信は同期且つ継続的に行われても、或いは非同期且つ間欠的に行われてもよい。例えば、コンテキスト情報の送信は、利用者端末１の起動以降にセンサ値が規定以上に変化する度に行われ、リアルタイム映像の送信はセッション開始後に周期的に、間欠的に行われてもよい。また、コンテキスト情報をリアルタイム映像のメタデータとして重畳して送信してもよい。同様に利用者端末１の制御部１５は、取得要求をリアルタイム映像のメタデータとして重畳して送信してもよい。また、利用者端末１がカメラを複数備え、複数のリアルタイム映像を映像分配装置２に送信してもよい。

同様に、映像分配装置２から映像照合装置３１へのリアルタイム映像の送信（分配）は、ファイル形式であってもストリーミング形式であっても良い。さらに、ストリーミングの形式で利用者端末１から受信したメディアをファイル形式に変換して分配してもよい。ストリーミングのプロトコル（RTSP／MMS／RTMPなど）やファイルの書式（例えば、画像ファイルのGIF／JPEG／PNG／BITMAPや音声ファイルのWAV／AAC／MP3や動画ファイルのMPEG2／MPEG4／MP4／AVIなど）を変換した上で分配してもよい。

なお、映像分配装置２は、取得要求を受信した後に照合を並列処理する映像照合装置（３１〜３３）の種類又は台数が、取得要求を受信する前に照合を並列処理する際の種類又は台数よりも多くするように映像を分配してもよい。このようにすることで、定常的には映像照合装置（３１〜３３）のうち処理に用いる種類又は台数を少なくし、定常時のシステム全体の負荷を抑えることができる。一方で、利用者端末１から取得要求を受信した後には、定常時よりも用いる種類又は台数を増やし、より多い台数で照合処理を行うため、システム全体の処理効率を向上し、処理遅延時間を短縮することができる。

なお、映像照合装置（３１〜３３）は、情報提示制御装置５からの取得要求に基づく制御情報を、映像分配装置２を介して受信し、当該制御情報に基づき用いる照合用情報を増減してもよい。具体的には映像照合装置（３１〜３３）は、取得要求を受信する前にリアルタイム映像と照合する際の照合用情報の集合が、取得要求を受信した後にリアルタイム映像と照合する際の照合用情報の部分集合であるようにしてもよい。すなわち、取得要求を受信する前に用いる照合用情報は、取得要求を受信した後に用いる照合用情報の一部であるようにする。このようにすることで、取得要求前の照合に係る、定常時の演算処理の負荷を低減し、システム全体の負荷を削減することができる。また、取得要求後の照合に係る照合処理は照合用情報の集合を定常時より増やすことで、より詳細な照合をすることができ、システム全体の処理効率を向上し、処理遅延時間を短縮することができる。すなわち本システムは、制御情報等に基づき、照合用情報及び映像照合装置（３１〜３３）の種類又は台数を適応的に増減し、システム全体の処理効率を向上させることができる。

なお映像照合装置（３１〜３３）は、映像分配装置２から受信したコンテキスト情報に基づき、照合に用いる照合用情報を、該コンテキスト情報による関連度、重要度等に応じて、一部の照合用情報に限定してもよい。例えば、映像照合装置（３１〜３３）が道路標識を照合する場合、運転中は運転手に掲示される標識のみを照合用情報に含めて歩行者に掲示される標識を含めないようにしてもよい。このようにすることで、映像照合装置（３１〜３３）の照合処理の負荷を低減することができる。

なお、映像照合装置３１のメディア認識部３１１は、リアルタイム映像を構成する画像や音声の一部分（例えば、画像の一部領域や音声の一部周波数）に限定してメディア認識を行ってもよく、一部分を加工（例えば、画像に写る看板・標識の部分を切り出して3軸の回転操作を施して看板・標識と正対した状態の画像を再現）してもよい。またメディア認識部３１１は、対象限定・加工のための前処理をメディア照合部３１３と連携して行ってもよい。例えば、ＱＲコード（登録商標）やＡＲマーカなど特定の書式を持つ図形の照合は3軸の回転角度がある程度ついた状態で撮影されていても照合可能であり、照合結果に被写体の3軸の回転角度を含めてもよい。ここで文字の認識では一般的に正対した状態で撮影されている必要がある。そのため、ＡＲマーカを貼付した看板・標識の上に書かれた文字を認識する際、ＡＲマーカの照合結果から被写体の３軸の回転角度を把握することで、文字認識のための前処理として上記の加工（正対した状態の再現）をすることができる。

なお、照合用情報として、所定の被写体、すなわち抽出すべき有用情報を置換し、映像照合装置（３１〜３３）の照合処理を効率化してもよい。例えば、銀行など企業のロゴマークが変更された場合、新しいロゴマークを被写体として登録する。このようにすることで映像照合装置（３１〜３３）の照合処理の効率化を図ることができる。

なお、照合用情報の緊急度、重要度、又は関連度に関して、利用者属性及び状況情報の組合せに基づいて定義してもよい。例えば、“エレベータを探している利用者群”という利用者属性及び状況情報の組合せに基づき照合用情報の緊急度・重要度・関連度を定義してもよい。例えば図８（ｂ）における利用者属性情報“高齢者”、“妊産婦”、“怪我人”及び“肢体障がい者”は、“エレベータを探している利用者群”として、照合用情報の緊急度・重要度・関連度を定義してもよい。

例えば図８（ｂ）において、各利用者は、利用者属性情報“高齢者”、“妊産婦”、“怪我人”及び“肢体障がい者”を有している。そしてこれらの利用者属性情報は“エレベータを探している利用者群”として共通している。このような場合に、情報提示制御装置５は、“いつものエスカレータは工事中です。１１時の方向にエレベータがあります”という有用情報を、これらの複数の利用者端末に提示してもよい。

なお、情報提示制御装置５の制御部５２は、緊急度が高い有用情報を利用者端末１に提示する場合（例えば、接近する車両などの危険物について注意喚起を行う場合）は、抽出完了通知及び具体的内容を、同時に利用者端末１に送信してもよい。この場合、利用者端末1の制御部１５は、具体的内容を出力部１６により即時に出力する。

なお、情報提示制御装置５の制御部５２は、緊急度が高い有用情報を利用者端末１に提示する場合、通常とは異なる抽出完了通知を送出してもよい。例えば、抽出完了通知を、緊急時で無い場合にはチャイムとするのに対して、緊急時は大音量サイレンとする。このようにすることで、利用者に迅速な要求操作を促すことができる。さらに、制御部５２は、重要度又は関連度が高い情報を案内する場合、それぞれ異なる抽出完了通知を利用者端末１に送信し、利用者に確実な要求操作を促してもよい。例えば、利用者種別毎（例えば、エレベータを探す利用者群とスロープを探す利用者群）に専用の抽出完了通知を送信してもよい。すなわち情報提示制御装置５の制御部５２は、抽出完了通知を複数種類備え、有用情報の緊急度、重要度、関連度等に基づき、該複数種類の抽出完了通知を適応的に用いてもよい。さらに、利用者端末１の制御部１５は、緊急度が高い抽出完了通知を受信すると自動的に取得要求を送信してもよい。

なお、情報提示制御装置５のリフレッシュ部５４は、利用者端末１から、明示的に具体的内容を更新する要求を受信し、当該要求に基づき具体的内容を更新してもよい。好適には利用者端末１は、具体的内容の取得要求と同時に、具体的内容の更新要求を送信する。さらに、利用者端末１の制御部１５は、抽出完了通知を受信していなくとも、明示的な具体的内容を更新する要求を送信してもよい。

なお、実施の形態１に係る有用情報提示システムは、図１において３台の映像照合装置（３１〜３３）を備える構成を例示したがこれに限られず、２台以下であってもよく、又は４台以上であってもよい。

なお、実施の形態１において有用情報提示システムは、映像分配装置２、映像照合装置（３１〜３３）、構成管理装置４、情報提示制御装置５及び知識管理装置６は、各々個別のハードウェアとして構成した例を示しているがこれに限られず、各装置の機能を全て搭載した１台のサーバにより構成してもよく、また２台以上のサーバにより構成してもよい。

なお、利用者端末１における各機能ブロック（セッション制御部１１、操作部１２、コンテキスト情報生成部１３、リアルタイム映像生成部１４、制御部１５、及び出力部１６）は、複数の端末が分散して備えてもよい。例えば利用者が、リアルタイム映像生成部１４を有するウェアラブルカメラと出力部１６を有するスマートフォンを携行する構成が考え得る。また例えば、視覚障がい者などスマートフォンのタッチパネル操作に適さない属性を有する利用者が、スマートフォンを遠隔操作するための操作部１２を備えたリモコン（例えば、通信機能付きの電子白状）を携行する構成が考え得る。

なお、本有用情報提示システムにおいて、被写体が映像の視野に入り易くなるよう、図形などの所定の被写体を特定の範囲の地上高（例えば、150cmから250cmの範囲）に設置し、撮影時の仰角が被写体を設置した地上高が視野に入るようにしてもよい。あるいは、利用者端末１が音や振動で警告を出力することで利用者が仰角を自ら調整するよう促すようにしてもよい。

（実施の形態２）
以下に、本発明の実施の形態２について説明をする。図９は本発明の実施の形態２の有用情報提示システムの全体の構成を示すブロック図である。実施の形態１と同一の構成については同一の符号を付し、説明は省略する。実施の形態２に係る有用情報提示システムは、実施の形態１にかかる構成と比較して、利用者管理端末７を備える点が相違する。

実施の形態２に係る利用者端末１は、コンテキスト情報を利用者管理端末７に送信する。また利用者端末１は、有用情報の具体的内容の取得要求を利用者管理端末７に送信する。

利用者管理端末７は、利用者端末１から受信したコンテキスト情報を映像分配装置２及び情報提示制御装置５に送信（転送）する。また利用者管理端末７は、利用者端末１から具体的内容の取得要求を受信すると、情報提示制御装置５に、当該取得要求を送信（転送）する。

次に、本発明の実施の形態２に係る有用情報提示システムについて、図９に示すフローチャートによりその動作を説明する。実施の形態１における対応する動作のフローチャート（図７）と同一の動作については同一の符号を付し、説明は省略する。

ステップＳ１においてセッションが開始されると、利用者端末１のコンテキスト情報生成部１３は、生成したコンテキスト情報を利用者管理端末７に送信する（ステップＳ２ａ）。利用者管理端末７は、受信したコンテキスト情報を、映像分配装置２に転送する（ステップＳ２ｂ）。

また、利用者端末１の制御部１５は、操作部１２に係る利用者の操作に基づき、有用情報の取得要求を、利用者管理端末７に送信する（ステップＳ１２ａ）。続いて利用者管理端末７は、受信した取得要求を、情報提示制御装置５に転送する（ステップＳ１２ｂ）。

このように実施の形態２にかかる有用情報提示システムによれば、利用者管理端末７が、利用者端末１からコンテキスト情報及び取得要求を受信するため、利用者端末１が送信する先を利用者管理端末７に統一してシステムの一元管理することができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１ 利用者端末
２ 映像分配装置
３１〜３３ 映像照合装置
４ 構成管理装置
５ 情報提示制御装置
６ 知識管理装置
１１ セッション制御部
１２ 操作部
１３ コンテキスト情報生成部
１４ リアルタイム映像生成部
１５ 制御部
１６ 出力部
２１ セッション制御部
２２ メディア分配部
３１１ メディア認識部
３１２ リファレンス管理部
３１３ メディア照合部
５１ フィルタリング部
５２ 制御部
５３ メディア変換部
５４ リフレッシュ部
７ 利用者管理端末

Claims (4)

1. 複数の利用者端末と、サーバと、知識管理装置とを備える有用情報提示システムであって、
   前記複数の利用者端末は、リアルタイム映像を撮影して該リアルタイム映像を前記サーバに送信し、
   前記サーバは、前記リアルタイム映像と照合用情報とを照合して有用情報を抽出して前記有用情報を前記知識管理装置に送信し、
   前記知識管理装置は、前記サーバから受信した前記有用情報を蓄積し、
   前記サーバは、前記知識管理装置に蓄積された前記有用情報を、前記複数の利用者端末に送信することを特徴とする有用情報提示システム。
2. 前記複数の利用者端末はさらに、利用者属性情報及び／又は状況情報を含むコンテキスト情報を前記サーバに送信し、
   前記サーバは、前記リアルタイム映像と照合用情報とを照合して有用情報を抽出し、前記有用情報と、前記リアルタイム映像に対応するコンテキスト情報とを前記知識管理装置に送信し、
   前記知識管理装置は、前記有用情報と、前記コンテキスト情報とを対応付けて蓄積し、
   前記サーバは、前記コンテキスト情報に基づき前記知識管理装置に蓄積された前記有用情報を前記複数の利用者端末に送信することを特徴とする、請求項１に記載の有用情報提示システム。
3. 複数の利用者端末と、サーバと、知識管理装置とを備える有用情報提示システムの制御方法であって、
   前記複数の利用者端末が、リアルタイム映像を撮影して該リアルタイム映像を前記サーバに送信するステップと、
   前記サーバが、前記リアルタイム映像と照合用情報とを照合して有用情報を抽出して前記有用情報を前記知識管理装置に送信するステップと、
   前記知識管理装置が、前記サーバから受信した前記有用情報を蓄積するステップと、
   前記サーバが、前記知識管理装置に蓄積された前記有用情報を、前記複数の利用者端末に送信するステップと、
   を含む有用情報提示システムの制御方法。
4. 前記複数の利用者端末がさらに、利用者属性情報及び／又は状況情報を含むコンテキスト情報を前記サーバに送信するステップと、
   前記サーバが、前記リアルタイム映像と照合用情報とを照合して有用情報を抽出し、前記有用情報と、前記リアルタイム映像に対応するコンテキスト情報とを前記知識管理装置に送信するステップと、
   前記知識管理装置が、前記有用情報と、前記コンテキスト情報とを対応付けて蓄積するステップと、
   前記サーバが、前記コンテキスト情報に基づき前記知識管理装置に蓄積された前記有用情報を前記複数の利用者端末に送信するステップと、
   を含むことを特徴とする、請求項３に記載の有用情報提示システムの制御方法。