JP5868881B2 - 有用情報提示システム及び有用情報提示システムの制御方法 - Google Patents

Description

本発明は、有用情報提示システム及び有用情報提示システムの制御方法に関する。

従来、利用者が興味のある情報を身の回りから探索する探索サービスには、スマートフォン等の移動通信端末を用いて、GPSやWi-Fi等から取得した利用者の位置情報に基づいて情報を取得・提供するものがある（例えば、非特許文献１及び２参照）。このような位置情報に基づくサービスにおいては、取得できる情報が位置情報に紐付いている必要があるため、時々刻々と位置が変化する人や車等の対象に関する情報を取得することはできなかった。

また従来、移動通信端末等による映像中から特定の被写体を認識し、被写体の情報を取得・提供する探索サービスがある（例えば、非特許文献３及び４参照）。

Facebook、"Facebook Nearby"、[online]、[平成25年1月9日検索]、インターネット〈URL：http://newsroom.fb.com/News/555/Discover-New-Places-with-Nearby〉 Google play、"Field Trip"、[online]、[平成25年1月9日検索]、インターネット〈URL：https://play.google.com/store/apps/details?id=com.nianticproject.scout&hl=ja〉 Google mobile、"Google Goggles"、[online]、[平成25年1月9日検索]、インターネット〈URL：http://www.google.com/mobile/goggles/〉 日本リアルタイム、"SightFinder"、[online]、[平成25年1月9日検索]、インターネット〈URL：http://jp.wsj.com/japanrealtime/blog/archives/10743/〉

映像認識による探索サービスにおいて利用者が興味のある対象を探索するためには、利用者が「グルメ」や「甘い」といった興味のあるカテゴリ、概念等を予め設定し、被写体がその範囲内に該当するか否かを判断して探索を行う必要がある。しかしながら、従来の映像認識による探索サービスにおいては、利用者自らが探索対象を定義することができず探索可能な対象は固定的であったため、利用者が興味のある対象を探索できなかった。

従って、上記のような課題に鑑みてなされた本発明の目的は、利用者の周囲の映像中から利用者の興味のある対象を継続的に探索し、該対象に関する有用情報を利用者に提示することを可能にする有用情報提示システム及び有用情報提示システムの制御方法を提供することにある。

上記課題を解決するために本発明に係る情報提示システムは、
利用者端末と、サーバとを備える有用情報提示システムにおいて、
前記利用者端末は、リアルタイム映像を撮影して該リアルタイム映像を前記サーバに送信し、
前記サーバは、
前記リアルタイム映像と照合用情報とを照合して、前記リアルタイム映像から認識された情報のうち、該照合用情報に一致する特定情報を抽出し、
前記特定情報と分類照合用情報とを照合して前記特定情報に係る分類情報を作成して、該分類情報を前記特定情報に付加し、
所定の条件に応じて次に行う動作を定める照合判定ルール情報と前記特定情報とを照合して処理を継続するか否かを判断し、
処理を継続する場合、前記特定情報に係る関連情報を取得して該関連情報を前記特定情報に付加し、
前記特定情報に係る具体的内容を前記利用者端末に送信する、
ことを特徴とする。

また、本発明に係る情報提示システムの制御方法は、
利用者端末と、サーバとを備える有用情報提示システムにおいて、
前記利用者端末が、リアルタイム映像を撮影して該リアルタイム映像を前記サーバに送信するステップと、
前記サーバが、
前記リアルタイム映像と照合用情報とを照合して、前記リアルタイム映像から認識された情報のうち、該照合用情報に一致する特定情報を抽出するステップと、
前記特定情報と分類用情報とを照合して前記特定情報に係るカテゴリ情報を作成して、該カテゴリ情報を前記特定情報に付加するステップと、
所定の条件に応じて次に行う動作を定める照合判定ルール情報と前記特定情報とを照合して処理を継続するか否かを判断するステップと、
処理を継続する場合、前記特定情報に係る関連情報を取得して該関連情報を前記特定情報に付加するステップと、
前記特定情報に係る具体的内容を前記利用者端末に送信するステップと、を含むことを特徴とする。

本発明における有用情報提示システム及び有用情報提示システムの制御方法によれば、利用者の周囲の映像中から利用者の興味のある対象を継続的に探索し、該対象に関する有用情報を利用者に提示することができる。

本発明の一実施形態に係る有用情報提示システムの全体の概要構成を示すブロック図である。 本発明の一実施形態に係る利用者端末のブロック図である。 本発明の一実施形態に係る映像分配装置のブロック図である。 本発明の一実施形態に係る映像照合装置のブロック図である。 本発明の一実施形態に係る照合判定装置のブロック図である。 本発明の一実施形態に係る照合判定ルールデータベースの内容を示す図である。 本発明の一実施形態に係る選択要求を受信した場合の利用者端末を示す図である。 本発明の一実施形態に係る知識処理装置のブロック図である。 本発明の一実施形態に係る知識処理判定装置のブロック図である。 本発明の一実施形態に係る知識処理判定ルールデータベースの内容を示す図である。 本発明の一実施形態に係る情報提示制御装置のブロック図である。 本発明の一実施形態に係る履歴管理装置のブロック図である。 本発明の一実施形態に係るサルベージルールデータベースの内容を示す図である。 本発明の一実施形態に係る有用情報提示システムの動作を示すフローチャートである。 本発明の実施の形態の変形例に係る利用者端末１のブロック図である。

以下、本発明の実施の形態について説明する。

（実施の形態）
図１は本発明の一実施形態に係る有用情報提示システムの前提の概要構成を示すブロック図である。有用情報提示システムは、利用者端末１と、映像分配装置２と、映像照合装置（３１、３２）と、構成管理装置４と、照合判定装置５と、知識処理装置（６１、６２）と、知識処理判定装置７と、情報提示制御装置８と、履歴管理装置９と、コンテキスト管理装置１０と、知識管理装置１００とを備える。利用者端末１と、映像分配装置２、照合判定装置５、知識処理判定装置７、情報提示制御装置８及び履歴管理装置９とは、通信網を介して通信する。

利用者端末１は、リアルタイム映像を撮影し、該リアルタイム映像を映像分配装置２に送信する。また、利用者端末１は、利用者属性情報及び／又は状況情報を含むコンテキスト情報をコンテキスト管理装置１０に送信する。ここで利用者属性情報とは、利用者又は利用者端末１の静的な属性に関する情報であり、例えば利用者の年齢、性別、出身地、住所、職業、趣味、障がい種別、利用者端末１の識別子、後述する利用者端末１の制御部１５の識別子である。また、状況情報とは、動的に変化する状況に関する情報であり、時刻、現在地、移動速度、騒音、照度、端末処理能力、利用者端末状態、自動車等運転中、電車内等である。

映像分配装置２は、利用者端末１から受信したリアルタイム映像及びコンテキスト管理装置１０から受信したコンテキスト情報を、映像照合装置（３１、３２）に分配する。

各映像照合装置（３１、３２）は、映像分配装置２から受信したリアルタイム映像と、照合用情報とを照合して有用情報を並列処理により抽出する。そして各映像照合装置（３１、３２）は、該有用情報を含む照合の結果に係る情報（以下、認識結果という。）を、照合判定装置５に送信する。

ここで照合用情報とは、リアルタイム映像に写る可能性がある所定の被写体を照合するための情報である。また照合用情報毎に、利用者属性情報及び／又は状況情報に応じた緊急度、重要度、又は関連度が定義される。例えば、工事現場など危険の所在を表す看板に係る照合用情報について、障がい者には高い緊急度が定義される。また、交通バリアフリー設備の所在を示すピクトサインに係る照合用情報について、高齢者には高い重要度又は関連度が定義される。

各映像照合装置（３１、３２）は、リアルタイム映像を構成する一つ以上の画像（各フレームあるいは連続するフレームの被写体の特徴）を認識する。また各映像照合装置（３１、３２）は、音声（被写体の音階、氏名を含む単語、話者など音素の特徴）を認識する。そして各映像照合装置（３１、３２）は、認識結果と照合用情報とを照合し、有用情報を抽出する。

構成管理装置４は照合用情報を蓄積している。当該照合用情報は、適宜更新及び削除される。例えば照合用情報である道路標識等が変更等された場合、構成管理装置４は、該照合用情報を変更して蓄積する。各映像照合装置（３１、３２）は構成管理装置４と通信し、自己が保有する照合用情報を更新する。なお図１においては簡便のため、映像照合装置３２と構成管理装置４との通信のみ図示しているが、構成管理装置４は映像照合装置３１とも通信する。

照合判定装置５は、各映像照合装置（３１、３２）から受信した認識結果に含まれる認識対象名と分類照合用情報とを照合して認識対象の属するカテゴリや概念を示す分類情報を作成し、認識結果に分類情報を付加した情報（以下、前処理情報という。）を作成する。また照合判定装置５は、照合結果に係る認識対象を過去に認識した回数を前処理情報に付加する。そして照合判定装置５は、前処理情報と照合判定ルール情報とを照合して、次に行う動作を決定する。照合判定装置５は、処理を継続する場合、前処理情報を含む判定の結果に係る情報（以下、認識判定結果という。）を、知識処理装置（６１、６２）に送信する。

ここで分類照合用情報とは、任意の対象物名と該対象物の属するカテゴリや概念とを対応させた情報である。例えば、対象物名「ハンバーグ」と「料理」及び「グルメ」のカテゴリとが対応し、対象物名「ケーキ」と「甘い」の概念とが対応している。分類照合用情報は、例えば、予め照合判定装置５に格納してもよく、又はインターネットを通じてシステムの外部から取得してもよい。また分類照合用情報は、例えば、表形式としてもよく、又はLinked Open Dataとしてもよい。

ここで図６を参照して照合判定ルールデータベース５３について説明する。照合判定ルールデータベース５３に蓄積される照合判定ルール情報とは、前処理情報に含まれる可能性がある所定の情報（トリガー）と照合判定装置５が次に行う動作（アクション）とを対応させた情報である。アクションは、例えば、前処理情報に重要度を示す情報を付加する動作や、認識判定結果を知識処理装置（６１、６２）に送信する（処理を継続する）動作、前処理情報を廃棄する（処理を中止する）動作等を含む。このようにして、照合判定装置５は自動的に処理の継続に関する判断を行うことができる。好適には、アクションは、認識対象の関連情報を取得するか否かを利用者に選択させる選択要求を利用者端末１に送信し、利用者端末１から取得要求を受信した場合、処理を継続する動作を含む。この場合利用者は、何れの知識処理装置（６１、６２）を用いて関連情報の取得を行うか選択して取得要求を送信してもよい。このようにして、照合判定装置５は利用者からの要求を待って（PULLで）処理の継続に関する判断を行うことができる。トリガーは、認識通し番号、映像照合装置名、認識対象名、重要度、画像中の認識対象の位置情報、認識回数、分類情報、選択可能な知識処理装置（６１、６２）の一覧、時間、場所、コンテキスト等を含む。また照合判定ルール情報は、例えば、xmlにより記述する。

また照合判定ルール情報は、利用者端末１を介して利用者により生成、更新、削除される。具体的には、利用者は利用者端末１を操作し、トリガーとして認識対象名や分類情報、認識回数等を入力し、対応するアクションを選択して照合判定装置５に送信し、照合判定装置５は受信した照合判定ルール情報を蓄積して格納する。このようにして、例えば、認識対象が事前に登録した商品であれば処理を継続させることや、「グルメ」に分類される認識対象であって過去に認識したことがある（認識回数が１回以上である）対象名であったら処理を中止させること、「甘い」の概念に分類される認識対象であったら選択要求を送信させること等、認識対象に応じて利用者が所望の動作を設定することができる。好適には、照合判定ルール情報は、利用者に加えて利用者以外の第三者又は外部アプリケーション等により生成、更新、削除される。

図１の説明に戻る。知識処理装置（６１、６２）は、照合判定装置５から認識判定結果を受信すると、認識判定結果に含まれる認識対象に係る関連情報を取得し、認識判定結果に関連情報を付加した情報（以下、知識処理結果という。）を、知識処理判定装置７に送信する。

ここで関連情報とは、例えば、認識対象に関する詳細な情報や、認識対象のクチコミ情報、認識対象を他のものに例えた情報等である。関連情報は、例えば、インターネットを通じてシステムの外部から認識対象を検索して取得する。なお好適には、各知識処理装置（６１、６２）は、それぞれ取得する関連情報の種類を分担する。例えば知識処理装置６１は、認識対象に関する詳細情報を取得し、知識処理装置６２は、認識対象に関するクチコミ情報を取得する等、関連情報の取得処理を分担してもよい。

知識処理判定装置７は、各知識処理装置（６１、６２）から受信した知識処理結果に含まれる情報と知識処理判定ルール情報とを照合して、次に行う動作を決定する。知識処理判定装置７は、処理を継続する場合、知識処理結果に係る情報を含む判定の結果に係る情報（以下、知識処理判定結果という。）を、情報提示制御装置８に送信する。

ここで図１０を参照して知識処理判定ルールデータベース７２について説明する。知識処理判定ルールデータベース７２に蓄積される知識処理判定ルール情報とは、知識処理結果に含まれる可能性がある所定の情報（トリガー）と知識処理判定装置７が次に行う動作（アクション）とを対応させた情報である。アクションは、例えば、知識処理判定結果を情報提示制御装置８に送信する（処理を継続する）動作、知識処理結果を廃棄する（処理を中止する）動作等を含む。このようにして、知識処理判定装置７は自動的に処理の継続に関する判断を行うことができる。好適には、アクションは、知識処理判定結果に係る情報を取得するか否かを利用者に選択させる選択要求を利用者端末１に送信し、利用者端末１から取得要求を受信した場合、処理を継続する動作を含む。このようにして、知識処理判定装置７は利用者からの要求を待って（PULLで）処理の継続に関する判断を行うことができる。トリガーは、認識通し番号、映像照合装置名、認識対象名、重要度、画像中の認識対象の位置情報、認識回数、分類情報、知識処理装置選択フラグ、知識処理通し番号、知識処理装置（６１、６２）にて生成した認識対象の関連情報、時間、場所、コンテキスト等を含む。また知識処理判定ルール情報は、例えば、xmlにより記述する。

また知識処理判定ルール情報は、利用者端末１を介して利用者により生成、更新、削除される。具体的には、利用者は利用者端末１を操作し、トリガーとして重要度等を入力し、対応するアクションを選択して知識処理判定装置７に送信し、知識処理判定装置７は受信した照合判定ルール情報を蓄積して格納する。このようにして、例えば、重要度が高い情報については選択要求を送信させるようにし、有用情報の聞き漏らしや見落としを防ぎ、また所定の被写体の所在を意識していないような注意散漫な状態の利用者に対しても案内を着実に提示することができる。好適には、照合判定ルール情報は、利用者に加えて利用者以外の第三者又は外部アプリケーション等により生成、更新、削除される。

図１の説明に戻る。情報提示制御装置８は、知識処理判定装置７から知識処理判定結果を受信した場合、知識処理判定結果に含まれる有用情報を、利用者端末１に送信する。また情報提示制御装置８は、好適には知識処理判定結果を履歴情報として履歴管理装置９に格納する。また情報提示制御装置８は、知識管理装置１００を参照し、有用情報に対応する具体的内容を取得する。具体的内容とは、有用情報自体、有用情報の詳細情報、又は有用情報に関連する情報を意味する。そして情報提示制御装置８は、履歴管理装置９から履歴情報の提示があった場合、当該履歴情報を具体的内容に含めて利用者端末１に提示（送信）する。

次に、本発明の一実施形態に係る有用情報提示システムの各部の詳細構成を図２〜図１３により説明する。図２は、一実施形態に係る利用者端末１のブロック図を示す。利用者端末１は、セッション制御部１１と、操作部１２と、コンテキスト情報生成部１３と、リアルタイム映像生成部１４と、制御部１５と、出力部１６とを備える。

セッション制御部１１は、映像分配装置２、照合判定装置５、知識処理判定装置７、又はコンテキスト管理装置１０とのセッションの開始及び終了に係る制御をする。セッション制御の実現手段は、例えばSIPを用いた呼接続、WebSocketなどによるPUSH、XMLHttpRequestやCometなどによる疑似PUSH、HTTPなどによるPULL等による。当該セッションにより、利用者端末１は、映像分配装置２とリアルタイム通信を行う。操作部１２は、好適にはタッチパネル、キーボード等により構成され、利用者による操作を受け付け、制御部１５に当該操作に係る情報を渡す。

コンテキスト情報生成部１３は、利用者属性情報及び／又は状況情報を含むコンテキスト情報を生成する。なお利用者属性情報は、利用者又はオペレータ等により予め登録された情報であり、コンテキスト情報生成部１３は、当該情報をメモリ（不図示）から取得する。またコンテキスト情報生成部１３は、各種センサ（不図示）を備え、動的に状況情報を生成する。

リアルタイム映像生成部１４は、好適にはカメラ及びマイク（不図示）を備え、カメラにより被写体を撮影し、またマイクにより音声を取得してリアルタイム映像を生成する。リアルタイム映像生成部１４は、生成したリアルタイム映像を、映像分配装置２に連続的に送信する。

制御部１５は、利用者端末１に係る各種制御を行う。具体的には、制御部１５は、操作部１２への利用者の操作に基づき、セッション制御部１１によるセッションを開始させる。

ここで図７を参照して、利用者端末１が照合判定装置５又は知識処理判定装置７から選択要求を受信した場合について説明する。制御部１５は、照合判定装置５又は知識処理判定装置７から選択要求を受信し、該選択要求を出力部１６に出力させる。この出力は、例えば、画像上にアイコンを重畳させる、音声にて選択させる等である。また制御部１５は、操作部１２への利用者の操作に基づき、照合判定装置５及び知識処理判定装置７に、有用情報に関する情報の取得要求を送信する。なお図７においては簡便のため、制御部１５及び出力部１６以外の構成要素は図示していない。

図２の説明に戻る。また制御部１５は、情報提示制御装置８から具体的内容を受信すると、該具体的内容を、出力部１６に出力させる。また制御部１５は、好適には操作部１２への利用者の操作に基づき、履歴管理装置９に、履歴情報の取得要求を送信する。

出力部１６は、ディスプレイ、スピーカ、バイブレータ等により構成され、制御部１５の制御に基づき、抽出完了通知、有用情報の具体的内容を映像、音声、振動等により出力（再生）する。例えば出力部１６は、抽出完了通知をチャイムにより出力し、具体的内容を音声アナウンスで出力する。

図３は、一実施形態に係る映像分配装置２のブロック図を示す。映像分配装置２は、セッション制御部２１と、メディア分配部２２とを備える。

セッション制御部２１は、利用者端末１とのセッションの開始及び終了に係る制御をする。当該セッションにより、映像分配装置２は、利用者端末１とリアルタイム通信を行う。

メディア分配部２２は、利用者端末１から受信したリアルタイム映像を、映像照合装置（３１、３２）に分配する。またメディア分配部２２は、コンテキスト管理装置１０から制御情報としてコンテキスト情報を受信した場合、その時点におけるリアルタイム映像を、映像照合装置（３１、３２）に分配する。

またメディア分配部２２は、コンテキスト管理装置１０から受信したコンテキスト情報、及びリアルタイム映像のメディア形式や種類の少なくとも１つに基づき、適宜分配する先の映像照合装置（３１、３２）を増減する。例えば、利用者が高速で移動中の状況では取得要求が無い限り、看板内の図形を照合する映像照合装置（例えば映像照合装置３１）のみを用いて、過大な処理を必要とする、看板に表記された文字を認識する映像照合装置（例えば映像照合装置３２）は用いない。このようにメディア分配部２２は、分配する先の映像照合装置（３１、３２）を増減することで、システム全体の処理量及び処理速度を増減し、システム全体の効率を上げる。

図４は、一実施形態に係る映像照合装置３１のブロック図を示す。映像照合装置３１は、メディア認識部３１１と、リファレンス管理部３１２と、メディア照合部３１３とを備える。映像照合装置３２は、映像照合装置３１と同一構成であるため説明は省略する。なお各映像照合装置（３１、３２）は、好適にはそれぞれ照合するメディアの種類を分担する。例えば映像照合装置３１は、図形に係る照合処理を行い、映像照合装置３２は、音声に係る照合処理を行う等、照合処理を分担してもよい。

メディア認識部３１１は、映像分配装置２から受信したリアルタイム映像を構成する画像や音声の特徴を認識する。そしてメディア認識部３１１は、認識した特徴に係る情報をメディア照合部３１３に渡す。

リファレンス管理部３１２は、抽出すべき有用情報を照合用情報として記憶する。またリファレンス管理部３１２は、構成管理装置４と通信し、自己が記憶している照合用情報を更新する。

メディア照合部３１３は、メディア認識部３１１が認識した特徴に係る情報と、リファレンス管理部３１２が記憶している照合用情報とを照合する。メディア照合部３１３は、当該照合に基づき照合用情報に一致する情報、すなわち有用情報を抽出する。そしてメディア照合部３１３は、認識結果を生成する。認識結果は、リアルタイム映像を生成した利用者端末１の識別子、利用者端末１の制御部１５の識別子、映像照合装置（３１、３２）の識別子、合致した照合用情報の識別子（すなわち、抽出された有用情報の識別子）、当該情報が抽出された映像内の位置情報（例えば、画像内の看板・標識のピクセル位置）、当該情報に対応する被写体の位置情報（例えば、利用者端末１を原点とする看板・標識の3軸の位置座標と3軸の回転角度）を含む。そしてメディア照合部３１３は、認識結果を、照合判定装置５に送信する。

図５は、一実施形態に係る照合判定装置５のブロック図を示す。照合判定装置５は、前処理部５１と、照合判定部５２と、照合判定ルールデータベース５３とを備える。

前処理部５１は、過去の認識結果を記録しておくことで、認識結果が通算で何度目の認識であるかを判定する。また前処理部５１は、認識結果に含まれている認識対象名と分類照合用情報とを照合して認識対象の属するカテゴリや概念を示す分類情報を作成する。そして前処理部５１は、認識結果に分類情報を付加した情報（以下、前処理情報という。）を照合判定部５２に渡す。

照合判定部５２は、照合判定ルールデータベース５３に蓄積される照合判定ルール情報に基づいて、前処理情報に係る次の動作を決定する。また照合判定部５２は、利用者端末１に選択要求を送信する場合、利用者端末１から受信した取得要求に基づいて処理を継続する。また照合判定部５２は、照合判定ルール情報又は利用者端末１からの取得要求に基づいて、照合判定結果を知識処理装置（６１、６２）に分配する。

図８は、一実施形態に係る知識処理装置６１のブロック図を示す。知識処理装置６１は、関連情報取得部６１１と、関連情報選択部６１２とを備える。

関連情報取得部６１１は、認識判定結果を受信した場合、認識判定結果に係る認識対象の関連情報を取得して関連情報選択部６１２に渡す。

関連情報選択部６１２は、取得した関連情報を認識判定結果に付加した情報（以下、知識処理結果という。）を、知識処理判定装置７に送信する。なお知識処理装置６１は上述の構成に限られず、認識判定結果を入力し、出力として認識対象の情報が含まれていればよい。

図９は、一実施形態に係る知識処理判定装置７のブロック図を示す。知識処理判定装置７は、知識処理判定部７１と、知識処理判定ルールデータベース７２とを備える。

知識処理判定部７１は、知識処理判定ルールデータベース７２に蓄積される知識処理判定ルール情報に基づいて、知識処理結果に係る次の動作を決定する。また知識処理判定部７１は、利用者端末１に選択要求を送信する場合、利用者端末１から受信した取得要求に基づいて処理を継続する。
図１１は、一実施形態に係る情報提示制御装置８のブロック図を示す。情報提示制御装置８は、制御部８１と、メディア変換部８２とを備える。

制御部８１は、情報提示制御装置８に係る各種制御を行う。具体的には制御部８１は、取捨選択された一つ以上の有用情報の識別子に係る抽出結果の具体的内容を生成する。制御部８１は、該具体的内容を生成する際に知識管理装置１００を参照する。知識管理装置１００は、有用情報に関係する情報を蓄積している。例えば知識管理装置１００は位置及び時刻と対応付けて利用者周辺のイベントや設備の情報を予め蓄積している。例えば利用者端末１が駅入口の看板のリアルタイム映像を送信した場合、情報提示制御装置８の制御部８１は、知識処理判定結果に含まれる被写体の位置情報に基づき、当該駅構内の情報（例えば、エスカレータやエレベータの運行情報）を知識管理装置１００から取得する。このようにして制御部８１は、単に当該駅・当該入口の看板が視野内にあることだけでなく、構内設備の所在・状態を含めた具体的内容を生成し、利用者端末１に情報をPUSHする。

そして制御部８１は、当該具体的内容の生成が完了した場合、具体的内容に係る有用情報を履歴情報として履歴管理装置９に格納する。また制御部８１は、履歴管理装置９から履歴提示があった場合、提示された履歴情報を具体的内容に付加する。また制御部８１は、生成した具体的内容を、利用者端末１に提示する。

メディア変換部８２は、制御部８１の制御により、知識処理判定結果に含まれるコンテキスト情報に基づき、利用者端末１に送信するデータを、利用者属性情報に応じた最適なメディア形式に変換する。例えば、メディア変換部８２は、利用者属性情報に画面表示の確認に適さないものが含まれる場合（例えば、利用者属性情報に“視覚障がい者”が含まれる場合）は文字列を読み上げるアナウンスの形式に変換する。同様に、メディア変換部８２は、利用者属性情報に“外国人”が含まれる場合、利用者端末１に送信するデータを、当該外国人の母国語に翻訳したデータに変換する。

図１２は、一実施形態に係る履歴管理装置９のブロック図を示す。履歴管理装置９は、管理部９１と、履歴データベース９２と、サルベージルールデータベース９３とを備える。

管理部９１は、情報提示制御装置８から知識処理判定結果を受信すると、履歴情報として履歴データベース９２に蓄積して格納する。履歴情報は、例えば、認識通し番号、映像照合装置名、認識対象名、重要度、画像中の認識対象の位置情報、認識回数、分類情報、知識処理装置選択フラグ、知識処理通し番号、認識対象の関連情報、格納した時刻等を含む。また管理部９１は、利用者端末１から履歴取得要求を受信した場合、履歴データベース９２から履歴取得要求に係る履歴情報を読み出して情報提示制御装置８に提示（送信）する。また管理部９１は、情報提示制御装置８から受信した知識処理判定結果とサルベージルールデータベース９３に格納されているサルベージルール情報とを照合して、照合により定まる履歴情報を履歴データベース９２から読み出す。そして管理部９１は、読み出した履歴情報を情報提示制御装置８に送信する。

図１３を参照して、サルベージルールデータベース９３について説明する。サルベージルールデータベース９３に蓄積されるサルベージルール情報とは、情報提示制御装置８から受信した知識処理判定結果に含まれる可能性がある所定の情報（トリガー）と履歴管理装置９が次に行う動作（アクション）とを対応させた情報である。アクションは、例えば、指定した履歴情報を履歴データベース９２から読み出して情報提示制御装置８に送信する動作を含む。トリガーは、認識通し番号、映像照合装置名、認識対象名、重要度、画像中の認識対象の位置情報、認識回数、分類情報、知識処理装置選択フラグ、知識処理通し番号、知識処理装置（６１、６２）にて生成した認識対象の関連情報、時間、場所、コンテキスト等を含む。また照合判定ルール情報は、例えば、xmlにより記述する。

次に、本発明に係る有用情報提示システムについて、図１４に示すフローチャートによりその動作を説明する。

はじめに利用者端末１のセッション制御部１１は、利用者の操作部１２の操作に基づき、映像分配装置２のセッション制御部２１とのセッションの開始に係る制御をする（ステップＳ０１）。当該セッションにより、利用者端末１は、映像分配装置２とリアルタイム通信を行う。

続いて利用者端末１のコンテキスト情報生成部１３は、利用者属性情報及び／又は状況情報を含むコンテキスト情報を生成する。そしてコンテキスト情報生成部１３は、当該コンテキスト情報をコンテキスト管理装置１０に送信する（ステップＳ０２）。

続いてコンテキスト管理装置１０は、好適にはコンテキスト情報を映像分配装置２、照合判定装置５、及び知識処理判定装置７に送信する。続いてコンテキスト管理装置１０は、利用者端末１から受信したコンテキスト情報を制御情報として、映像分配装置２、照合判定装置５、及び知識処理判定装置７に送信する（ステップＳ０３）。

続いて利用者端末１のリアルタイム映像生成部１４は、リアルタイム映像を生成する。そしてリアルタイム映像生成部１４は、生成したリアルタイム映像を、映像分配装置２に送信する（ステップＳ０４）。なお図１４においては簡便のため、リアルタイム映像の初回の送信のみ図示しているが、リアルタイム映像生成部１４は、リアルタイム映像を映像分配装置２に連続的に送信する。

続いて映像分配装置２のメディア分配部２２は、利用者端末１から受信したリアルタイム映像を、映像照合装置（３１、３２）に分配する（ステップＳ０５）。なお図１４においては簡便のため、映像照合装置３１のみを図示しているが、メディア分配部２２は、映像照合装置３２にもリアルタイム映像を分配してもよい。

続いて映像照合装置３１は、受信したリアルタイム映像の映像照合を行う。具体的には映像照合装置３１のメディア認識部３１１は、映像分配装置２から受信したリアルタイム映像を構成する画像や音声の特徴を認識する。そしてメディア認識部３１１は、認識した特徴に係る情報をメディア照合部３１３に渡す。そしてメディア照合部３１３は、メディア認識部３１１が認識した特徴に係る情報と、リファレンス管理部３１２が記憶している照合用情報とを照合する。メディア照合部３１３は、当該照合に基づき有用情報を抽出し、照合結果を生成する。続いてメディア照合部３１３は、生成した認識結果を、照合判定装置５に送信する（ステップＳ０６）。

続いて照合判定装置５は、認識結果に含まれる認識対象名と分類照合用情報とを照合して前処理情報を作成する（ステップＳ０７）。そして照合判定装置５は、前処理情報と照合判定ルール情報とを照合して次に行う動作を決定する。なお図１４において示す動作例では、照合判定装置５は、認識対象の関連情報を取得するか否かを利用者に選択させる選択要求を利用者端末１に送信する（ステップＳ０８）。

続いて利用者端末１は、利用者の操作部１２を介する選択に基づき、認識対象に係る関連情報を取得する取得要求を送信する（ステップＳ０９）。

続いて照合判定装置５は、認識判定結果を知識処理装置６１に送信する（ステップＳ１０）。なお図１４においては簡便のため、知識処理装置６１のみを図示しているが、照合判定装置５は、知識処理装置６２にも認識判定結果を送信してもよい。

続いて知識処理装置６１は、認識判定結果に含まれる認識対象に係る関連情報を取得する（ステップＳ１１）。続いて知識処理装置６１は、知識処理結果を知識処理判定装置７に送信する（ステップＳ１２）。

続いて知識処理判定装置７は、知識処理結果と知識処理判定ルール情報とを照合して次に行う動作を決定する。なお図１４において示す動作例では、知識処理判定装置７は、知識処理判定結果に係る情報を取得するか否かを利用者に選択させる選択要求を利用者端末１に送信する（ステップＳ１３）。

続いて利用者端末１は、利用者の操作部１２を介する選択に基づき、知識処理判定結果に係る情報を取得する取得要求を送信する（ステップＳ１４）。

続いて知識処理判定装置７は、知識処理判定結果を情報提示制御装置８に送信する（ステップＳ１５）。

続いて情報提示制御装置８は、受信した知識処理判定結果を履歴情報として履歴管理装置９に送信して格納する（ステップＳ１６）。続いて情報提示制御装置８は、知識管理装置１００を参照して生成した具体的内容を、利用者端末１に情報をPUSHする（ステップＳ１７）。

また利用者端末１は、好適には利用者の操作部１２を介する選択に基づき、履歴情報取得要求を履歴管理装置９に送信する（ステップＳ１８）。

続いて履歴管理装置９は、受信した履歴情報取得要求に基づいて履歴データベース９２から履歴情報を読み出す。そして履歴管理装置９は、履歴情報を情報提示制御装置８に提示（送信）する（ステップＳ１９）。

続いて情報提示制御装置８は、受信した履歴情報を含めた具体的内容を、利用者端末１に提示（送信）する（ステップＳ２０）。

続いて利用者端末１の出力部１６は、具体的内容を映像、音声、振動等により出力（再
生）する（ステップＳ２１）。例えば出力部１６は、具体的内容を音声アナウンスにより
出力する。そして処理が終了する。

このように本発明によれば、利用者端末１がリアルタイム情報を映像分配装置２に送信し、映像照合装置（３１、３２）を用いてリアルタイム映像から有意な対象を認識し、照合判定装置５を用いて利用者が興味のある対象・概念に一致する認識対象を選択して処理を継続することで、利用者の周囲の映像中から利用者の興味のある対象を継続的に探索し、該対象に関する有用情報をPUSHで利用者に提示することができる。

また本発明によれば、知識処理判定装置７を用いて利用者が興味のある対象・概念に一致する認識対象を更に選択して処理を継続することで、利用者の興味のある対象に関する有用情報をより選択的に利用者に提示することができる。

また本発明によれば、照合判定装置５及び知識処理判定装置７が、認識対象に係る情報の取得要求を利用者端末１に送信し、利用者は、利用者端末１を介して取得したい有用情報を選択して取得要求を送信するため、利用者は取得する有用情報を自ら選択すること（PULL）ができる。

また本発明によれば、履歴管理装置９を用いて有用情報を履歴として蓄積することで、例えばある商品を認識したら過去の同じ商品を認識した際の履歴を提示することや、現在いる場所でセールが始まったら、過去のセール対象品を認識した際の履歴を提示すること、知らない人を認識したら、過去に認識した人の中から同じ所属の人の履歴を提示すること等が可能となる。

（変形例）
以下に、本発明による実施の形態の変形例について説明をする。図１５は、実施の形態の変形例に係る利用者端末１のブロック図を示す。図２に示すブロック図と同一の構成については同一の符号を付し、説明は省略する。変形例に係る利用者端末１は、上述の一実施形態にかかる構成と比較して、映像認識システム１７を備える点が相違する。

変形例に係る利用者端末１は、制御部１５が、コンテキスト情報に基づいてリアルタイム映像の送信先を映像分配装置２又は端末内の映像認識システムの何れかに切り替える。例えば、コンテキスト情報に含まれる利用者端末１の位置情報に基づいて、外出中は映像分配装置２を使用し、家庭内では端末内の映像認識システム１７を使用する。なおリアルタイム映像の送信先は、利用者が操作部１２を操作して切り替えてもよい。

このように実施の形態の変形例にかかる有用情報提示システムによれば、例えば自宅等のプライベートな空間や、映画館や図書館等リアルタイム映像をネットワーク上に送信することがはばかられる場面において、利用者が意識することなく又は利用者の判断により、映像をネットワークに送信することを防ぐことができる。

本発明を諸図面に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。具体的には、映像分配装置２、照合判定装置５、知識処理判定装置７等の各機能を重畳させて１つの装置とすることも可能である。

なお、本発明による有用情報提示システムは、図１において２台の映像照合装置（３１、３２）を備える構成を例示したがこれに限られず、１台であってもよく、又は３台以上であってもよい。

なお、本発明による有用情報提示システムの構成要素は、各々個別のハードウェアとして構成した例を示しているがこれに限られず、各装置の機能を全て搭載した１台のサーバにより構成してもよく、また２台以上のサーバにより構成してもよい。

１ 利用者端末
２ 映像分配装置
３１、３２ 映像照合装置
４ 構成管理装置
５ 照合判定装置
６１、６２ 知識処理装置
７ 知識処理判定装置
８ 情報提示制御装置
９ 履歴管理装置
１０ コンテキスト管理装置
１００ 知識管理装置
１１ セッション制御部
１２ 操作部
１３ コンテキスト情報生成部
１４ リアルタイム映像生成部
１５ 制御部
１６ 出力部
１７ 映像認識システム
２１ セッション制御部
２２ メディア分配部
３１１ メディア認識部
３１２ リファレンス管理部
３１３ メディア照合部
５１ 前処理部
５２ 照合判定部
５３ 照合判定ルールデータベース（ＤＢ）
６１１ 関連情報取得部
６１２ 関連情報選択部
７１ 知識処理判定部
７２ 知識処理判定ルールデータベース（ＤＢ）
８１ 制御部
８２ メディア変換部
９１ 管理部
９２ 履歴データベース（ＤＢ）
９３ サルベージルールデータベース（ＤＢ）

Claims (8)

1. 利用者端末と、サーバとを備える情報提示システムにおいて、
   前記利用者端末は、リアルタイム映像を撮影して該リアルタイム映像を前記サーバに送信し、
   前記サーバは、
   前記リアルタイム映像と照合用情報とを照合して、前記リアルタイム映像から認識された情報のうち、該照合用情報に一致する特定情報を抽出し、
   前記特定情報と分類照合用情報とを照合して前記特定情報に係る分類情報を作成して、該分類情報を前記特定情報に付加し、
   所定の条件に応じて次に行う動作を定める照合判定ルール情報と前記特定情報とを照合して処理を継続するか否かを判断し、
   処理を継続する場合、前記特定情報に係る関連情報を取得して該関連情報を前記特定情報に付加し、
   前記特定情報に係る具体的内容を前記利用者端末に送信する、
   ことを特徴とする、情報提示システム。
2. 前記サーバは、所定の条件に応じて次に行う動作を定める知識処理判定ルール情報と前記関連情報を付加した前記特定情報とを照合して処理を継続するか否かを判断し、処理を継続する場合、前記特定情報に係る具体的内容を前記利用者端末に送信することを特徴とする、請求項１に記載の情報提示システム。
3. 前記照合判定ルール情報と前記特定情報との照合に基づいて処理を継続するか否かの判断は、前記サーバが自動的に判断すること、及び、前記サーバが選択要求を前記利用者端末に送信して前記利用者端末から取得要求を受信した場合、処理を継続すると判断することを含み、
   前記知識処理判定ルール情報と前記特定情報との照合に基づいて処理を継続するか否かの判断は、前記サーバが自動的に判断すること、及び、前記サーバが選択要求を前記利用者端末に送信して前記利用者端末から取得要求を受信した場合、処理を継続すると判断することを含む、
   ことを特徴とする、請求項２に記載の情報提示システム。
4. 前記サーバは、前記関連情報を付加した前記特定情報を履歴情報として蓄積し、
   前記具体的内容は、前記特定情報とサルベージルール情報とを照合して定まる前記履歴情報を含む、
   ことを特徴とする、請求項１〜３の何れか一項に記載の情報提示システム。
5. 利用者端末と、サーバとを備える情報提示システムにおいて、
   前記利用者端末が、リアルタイム映像を撮影して該リアルタイム映像を前記サーバに送信するステップと、
   前記サーバが、
   前記リアルタイム映像と照合用情報とを照合して、前記リアルタイム映像から認識された情報のうち、該照合用情報に一致する特定情報を抽出するステップと、
   前記特定情報と分類用情報とを照合して前記特定情報に係るカテゴリ情報を作成して、該カテゴリ情報を前記特定情報に付加するステップと、
   所定の条件に応じて次に行う動作を定める照合判定ルール情報と前記特定情報とを照合して処理を継続するか否かを判断するステップと、
   処理を継続する場合、前記特定情報に係る関連情報を取得して該関連情報を前記特定情報に付加するステップと、
   前記特定情報に係る具体的内容を前記利用者端末に送信するステップと、
   を含むことを特徴とする、情報提示システムの制御方法。
6. 前記サーバが、所定の条件に応じて次に行う動作を定める知識処理判定ルール情報と前記関連情報を付加した前記特定情報とを照合して処理を継続するか否かを判断し、処理を継続する場合、前記特定情報に係る具体的内容を前記利用者端末に送信することを特徴とする、請求項５に記載の制御方法。
7. 前記照合判定ルール情報と前記特定情報とを照合して処理を継続するか否かを判断するステップは、前記サーバが自動的に判断すること、及び、前記サーバが選択要求を前記利用者端末に送信して前記利用者端末から取得要求を受信した場合、処理を継続すると判断することを含み、
   前記知識処理判定ルール情報と前記特定情報とを照合して処理を継続するか否かを判断するステップは、前記サーバが自動的に判断すること、及び、前記サーバが選択要求を前記利用者端末に送信して前記利用者端末から取得要求を受信した場合、処理を継続すると判断することを含む、
   ことを特徴とする、請求項６に記載の制御方法。
8. 前記サーバが、前記関連情報を付加した前記特定情報を履歴情報として蓄積するステップを更に含み、
   前記具体的内容は、前記特定情報とサルベージルール情報とを照合して定まる前記履歴情報を含む、
   ことを特徴とする、請求項５〜７の何れか一項に記載の制御方法。

Images