JP6145812B2 - 情報提示装置及び情報提示方法 - Google Patents

Description

本発明は、ユーザの行動を元に情報提示を行う情報提示装置及び情報提示方法に関する。

従来の、ユーザの行動を元に情報提示を行う情報提示装置として、行動認識と物体認識とを組み合わせ、状況に応じて情報提示を行う情報提示装置が知られている（例えば、特許文献１参照）。

特開２００３−２８１２９７号公報

このような情報提示装置には、より適切な情報の提示を行うことが求められている。

本発明は、より適切な情報の提示を行える情報提示装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る情報提示装置は、センサからの情報を用いて、ユーザと、前記ユーザの行動と、前記行動の対象物体とを認識し、認識結果を示すイベント情報を生成するイベント認識部と、前記イベント情報を蓄積するイベント蓄積部と、新たに前記イベント認識部により生成されたイベント情報と、前記イベント蓄積部に蓄積されている過去のイベント情報とを用いてユーザに提示するための提示情報を生成する提示情報生成部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明は、より適切な情報の提示を行える情報提示装置を提供できる。

本発明の比較例に係る情報提示装置のブロック図である。 本発明の実施の形態に係る情報提示装置のブロック図である。 本発明の実施の形態に係る情報提示方法のフローチャートである。 本発明の実施の形態に係るイベント蓄積部の構成を示す図である。 本発明の実施の形態に係る情報提示方法の変形例のフローチャートである。 本発明の実施の形態に係る応用例１のフローチャートである。 本発明の実施の形態に係る応用例２のフローチャートである。 本発明の実施の形態に係る応用例３のフローチャートである。

（本発明の基礎となった知見）
本発明者は、従来の技術において、以下の問題が生じることを見出した。

以下、本発明の比較例に係る情報提示装置２００の構成を説明する。

図１は、本比較例に係る情報提示装置２００の構成を示すブロック図である。図１に示す情報提示装置２００は、センサ２１０からのセンサ情報を取得する。センサ２１０は、例えば、カメラ又はセンサデバイス等である。この情報提示装置２００は、行動認識部２０５と物体認識部２０６と提示情報生成部２０３とを備える。

行動認識部２０５は、センサ情報を用いて、ユーザの行動を認識する。物体認識部２０６は、センサ情報を用いて、ユーザが関わりあっている物体を認識する。

提示情報生成部２０３は、行動認識部２０５の行動認識結果と、物体認識部２０６の物体認識結果とを用いて、ユーザの状況を推定する。そして、提示情報生成部２０３、推定結果に基づきユーザに提示すべき提示情報を生成し、当該提示情報を情報提示部２２０に出力することで、映像又は音声により提示情報をユーザに提示する。

しかしながら、この構成は、ユーザを識別する手段を有しないため、同じ行動であっても、その行動の主体であるユーザに応じて提示すべき情報が異なる場合に対応できないという課題があることを本発明者は見出した。

さらに、この構成では、ユーザの過去の行動履歴が記録されないため、同じ行動であっても、これまでの行動履歴によって提示すべき情報が異なる場合に対応できないという課題があることを本発明者は見出した。

このような問題を解決するために、本発明の一態様に係る情報提示装置は、センサからの情報を用いて、ユーザと、前記ユーザの行動と、前記行動の対象物体とを認識し、認識結果を示すイベント情報を生成するイベント認識部と、前記イベント情報を蓄積するイベント蓄積部と、新たに前記イベント認識部により生成されたイベント情報と、前記イベント蓄積部に蓄積されている過去のイベント情報とを用いてユーザに提示するための提示情報を生成する提示情報生成部とを備える。

この構成によれば、当該情報提示装置は、ユーザの個人を特定することで、ユーザの各々に応じた、より適切な情報の提示を行える。

例えば、前記イベント蓄積部は、前記イベント情報を前記対象物体ごとに対応付けて蓄積してもよい。

この構成によれば、当該情報提示装置は、ある物体に関するイベント情報を高速に探索することができる。

例えば、前記提示情報生成部は、前記過去のイベント情報を用いて、予め定められた物体の所有者を識別し、前記現在のイベント情報において、前記所有者と異なるユーザが前記物体に予め定められた動作を行うことが示される場合、前記ユーザに警告を提示する提示情報を生成してもよい。

この構成によれば、当該情報提示装置は、特定の物体を、例えば、所有者以外の人物が閲覧することを防止できるので、特定の物体のセキュリティ保護、又は、プライバシー保護を実現できる。

例えば、前記提示情報生成部は、前記現在のイベント情報において、ユーザが書籍を廃棄しようとしていることが示される場合、前記過去のイベント情報を用いて、予め定められた１以上の読者の全てが前記書籍を既読であるか否かを判定し、前記１以上の読者の全てが前記書籍を既読でない場合、前記ユーザに警告を提示する提示情報を生成してもよい。

この構成によれば、当該情報提示装置は、例えば、特定の書籍が、家族全員が読み終わる前に廃棄されてしまうことを防止できる。

例えば、前記提示情報生成部は、前記現在のイベント情報において、ユーザが、所定の物体に対する情報の提示を当該情報提示装置に要求しており、かつ、所有者が異なる複数の前記所定の物体が存在する場合、前記現在のイベント情報を用いて、前記ユーザを特定し、前記過去のイベント情報を用いて、前記複数の所定の物体のうち、特定した前記ユーザが所有する所定の物体を特定し、前記ユーザが所有する前記所定の物体に関する前記過去のイベント情報を用いて、前記要求された情報を示す前記提示情報を生成してもよい。

この構成によれば、当該情報提示装置は、例えば、複数の人物が各々所持するような物品に対して、ユーザが情報の提示を求めた場合に、当該ユーザが所持する物品の情報を適切に当該ユーザに提示できる。

例えば、前記イベント認識部は、前記センサからの情報である画像情報又は音声情報を用いて前記ユーザを認識してもよい。

例えば、前記イベント認識部は、前記センサからの情報である画像情報を用いて前記行動を認識してもよい。

例えば、前記イベント認識部は、前記画像情報と、前記センサからの情報である、前記画像情報における被写体の奥行き情報とを用いて前記行動を認識してもよい。

例えば、前記イベント認識部は、前記センサからの情報である画像情報を用いて前記物体を認識してもよい。

例えば、前記イベント認識部は、前記画像情報と、前記センサからの情報である、前記画像情報における被写体の奥行き情報とを用いて前記物体を認識してもよい。

例えば、前記提示情報生成部は、前記提示情報として音声情報を生成してもよい。

例えば、前記提示情報生成部は、前記提示情報として画像情報を生成してもよい。

また、本発明の一態様に係る情報提示方法は、センサからの情報を用いて、ユーザと、前記ユーザの行動と、前記行動の対象物体とを認識し、認識結果を示すイベント情報を生成するイベント認識ステップと、前記イベント情報を蓄積するイベント蓄積ステップと、新たに前記イベント認識ステップで生成されたイベント情報と、前記イベント蓄積部に蓄積されている過去のイベント情報とを用いてユーザに提示するための提示情報を生成する提示情報生成ステップとを含む。

これによれば、当該情報提示方法は、ユーザの個人を特定することで、ユーザの各々に応じた、より適切な情報の提示を行える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下本発明の実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
本実施の形態に係る情報提示装置は、ユーザの動作、当該動作の対象物体に加え、ユーザの個人を識別する。これにより、当該情報提示装置は、ユーザの各々に応じた、より適切な情報の提示を行える。

まず、本実施の形態に係る情報提示装置の構成、及びその概略動作を説明し、その後で、具体的なユースケースを説明する。

図２は、本実施の形態に係る情報提示装置１００の構成を示すブロック図である。

図２に示す情報提示装置１００は、例えば、ユーザの作業及び生活を支援するエージェント装置に搭載される。この情報提示装置１００は、センサ１１０からのセンサ情報１６０を取得し、センサ情報１６０を用いて、提示情報１６３を生成し、提示情報１６３を情報提示部１２０へ出力する。

例えば、センサ１１０は、カメラ及びマイクであり、センサ情報１６０は、画像情報又は音声情報である。なお、この画像情報は、可視画像のみならず、赤外画像、又は、画像情報における被写体の奥行き情報を示す距離画像であってもよい。さらに、センサ情報１６０は、加速度センサ、角速度センサ、方位センサ、温度センサ、照度センサ等の各種センサデバイスから得られる情報であってもよい。また、センサ情報１６０は、このような情報のうちのいずれか１つであってもよいし、複数の情報を含んでもよい。また、カメラ、マイク及び各種センサは、それぞれ複数であってもよい。

情報提示装置１００は、イベント認識部１０１と、イベント蓄積部１０２と、提示情報生成部１０３とを備える。

イベント認識部１０１は、センサ１１０からのセンサ情報１６０を用いて、ユーザと、当該ユーザの行動と、当該行動の対象物体とを認識し、認識結果を示すイベント情報１６１を生成する。例えば、イベント認識部１０１は、イベントが発生する毎、又は、予め定められた時間間隔で、イベント情報１６１を生成する。このイベント認識部１０１は、個人認識部１０４と、行動認識部１０５と、物体認識部１０６とを備える。

個人認識部１０４は、センサ情報１６０を用いて、個人認識を行い、ユーザが誰であるかを特定する。例えば、個人認識部１０４は、画像情報を用いて顔認識を行うことでユーザを識別する。なお、個人認識部１０４は、音声情報を用いて声紋認証を行うことでユーザを識別してもよい。

行動認識部１０５は、センサ情報１６０を用いて、行動認識を行い、ユーザが何をしているかを特定する。例えば、行動認識部１０５は、画像情報を用いて行動認証を行う。具体的には、行動認識部１０５は、画像情報を用いて、周波数分析、輪郭抽出、及びパターンマッチング等を行うことにより行動認識を行う。なお、行動認識部１０５は、画像情報に加え、距離画像等の他の情報を用いて行動認証を行ってもよい。

物体認識部１０６は、センサ情報１６０を用いて、物体認証を行い、ユーザの行動対象の物体が何であるかを特定する。例えば、物体認識部１０６は、画像情報を用いて行動認証を行う。具体的には、物体認識部１０５は、画像情報を用いて、周波数分析、輪郭抽出、及びパターンマッチング等を行うことにより物体認識を行う。なお、行動認識部１０５は、画像情報に加え、距離画像等の他の情報を用いて行動認証を行ってもよい。

イベント認識部１０１は、個人認識部１０４、行動認識部１０５及び物体認識部１０６の認識結果を用いて、誰が何をどうしたかを示すイベント情報１６１を生成する。

また、イベント認識部１０１は、所謂音声入力インターフェース機能を有してもよい。つまり、イベント認識部１０１は、ユーザによる音声入力を受け付け、当該音声入力で示されるユーザの指示内容と、当該ユーザとを示すイベント情報１６１を生成してもよい。なお、情報提示装置１００は、イベント認識部１０１から独立した音声入力インターフェース部を有してもよい。この場合、イベント情報１６１は、当該音声入力インターフェース部を介して入力された音声入力の情報を含まなくてもよい。言い換えると、イベント情報１６１は、情報提示装置１００が配置された空間におけるユーザの動作が検出された結果を示し、各種のユーザインターフェース（音声入力、キーボード又はタッチパネル等）を介して、ユーザが情報提示装置１００に対して行った指示を含まなくてもよい。

イベント蓄積部１０２は、イベント認識部１０１で生成されたイベント情報１６１をイベント情報１６２として蓄積する。つまり、イベント蓄積部１０２は、発生したイベントの履歴を蓄積する。例えば、イベント蓄積部１０２は、イベント情報１６１を当該イベントが発生した時刻情報と共に保持する。なお、イベント蓄積部１０２は、当該イベント情報１６１に対応するイベントが発生した順序を示す情報を保持してもよい。

提示情報生成部１０３は、イベント認識部１０１で生成された現在のイベント情報１６１と、イベント蓄積部１０２に蓄積されている過去のイベント情報１６２との双方を用いて、ユーザに提示すべき提示情報１６３を生成する。また、提示情報生成部１０３は、生成された提示情報１６３を、情報提示部１２０に出力することで、提示情報１６３をユーザに提示する。例えば、提示情報１６３は、音声情報であり、情報提示部１２０はスピーカである。なお、提示情報１６３は、画像情報（静止画又は動画像）であり、情報提示部１２０は、ディスプレイであってもよい。また、これらを組み合わせてもよい。

次に、情報提示装置１００による情報提示処理の流れを説明する。

図３は、本実施の形態に係る情報提示処理のフローチャートである。

まず、イベント認識部１０１は、センサ１１０からセンサ情報１６０を取得する（Ｓ１０１）。次に、イベント認識部１０１は、センサ情報１６０を用いて、個人認識、動作認識及び物体認識を行う（Ｓ１０２）。次に、イベント認識部１０１は、これらの認識結果を用いてイベント情報１６１を生成する（Ｓ１０３）。

次に、イベント蓄積部１０２は、生成されたイベント情報１６１をイベント情報１６２として蓄積する（Ｓ１０４）。

また、このステップＳ１０１〜Ｓ１０４の処理は、イベントが発生する毎に行われる。これにより、発生した複数のイベントに対応する複数のイベント情報１６２が、イベント蓄積部１０２に蓄積される。

また、ここでは、情報提示装置１００は、全てのイベント情報１６１を蓄積しているが、予め定められた条件を満たすイベント情報１６１のみを蓄積してもよい。ここで、予め定められた条件とは、例えば、個人、動作及び物体のうちいずれか一つ、２つの組、又は全てが、予め定められた個人、動作又は物体であることである。

次に、提示情報生成部１０３は、現在のイベント情報１６１で示される現在のイベントが、予め定められたイベントであるか否かを判定する（Ｓ１０５）。ここで、予め定められたイベントとは、例えば、個人、動作及び物体のうちいずれか一つ、２つの組、又は全てが、予め定められた個人、動作又は物体であることである。

現在のイベントが、予め定められたイベントでない場合（Ｓ１０５でＮｏ）、情報提示装置１００は、処理を終了する。

一方、現在のイベントが、予め定められたイベントである場合（Ｓ１０５でＹｅｓ）、提示情報生成部１０３は、イベント蓄積部１０２から、現在のイベントに関連する過去のイベント情報１６２をイベント蓄積部１０２から読み出す（Ｓ１０６）。次に、提示情報生成部１０３は、現在のイベント情報１６１と、読み出した過去のイベント情報１６２とを用いて提示情報１６３を生成する（Ｓ１０７）。

最後に、提示情報生成部１０３は、生成された提示情報１６３を情報提示部１２０へ出力することで、提示情報１６３をユーザに提示する（Ｓ１０８）。

なお、ここでは、予め定められた所定のイベントが発生した際に、提示情報生成部１０３は、現在のイベント情報１６１及び過去のイベント情報１６２を用いて提示情報１６３を生成しているが、予め過去のイベント情報１６２を用いて中間情報を生成しておき、予め定められた所定のイベントが発生した際に、現在のイベント情報１６１及び中間情報を用いて提示情報１６３を生成してもよい。

また、図３では、イベント情報１６１の蓄積（Ｓ１０４）は、ステップＳ１０５の前に行われているが、ステップＳ１０３以降であれば、任意の位置で行われてよい。

以上により、情報提示装置１００は、ユーザの動作、当該動作の対象物体に加え、ユーザの個人を識別する。これにより、情報提示装置１００は、ユーザの各々に応じた、より適切な情報の提示を行える。

なお、イベント蓄積部１０２の構成として以下の構成を用いてもよい。

図４は、イベント蓄積部１０２の構成を示す図である。

イベント蓄積部１０２は、イベント情報１６２を対象物体ごとに対応付けて蓄積する。図４に示す例では、イベント蓄積部１０２は、複数の蓄積部１３１〜１３３と、物体選択部１３４と備える。蓄積部１３１〜１３３は、それぞれ、物体Ａ〜Ｃに対して発生したイベント情報１６２を蓄積する。なお、蓄積部の数は３以外の任意の数であってもよい。

物体選択部１３４は、入力されたイベント情報１６１を元に、当該イベント情報１６１がどの物体に関するかを判定し、対応する蓄積部１３１〜１３３にイベント情報１６１を格納する。また、物体選択部１３４は、イベント情報１６２の読み出し時にも同様に、提示情報生成部１０３からの指示に従い、対象の物体を特定し、特定した物体に対応する蓄積部１３１〜１３３からイベント情報１６２を読み出す。

図５は、この場合の情報提示装置１００による情報提示処理のフローチャートである。図５に示す処理は、図３に示す処理に対して、ステップＳ１０４の代わりにステップＳ１０４Ａ及びＳ１０４Ｂを含み、ステップＳ１０６の代わりにステップＳ１０６Ａを含む。

イベント認識部１０１によりイベント情報１６１が生成（Ｓ１０３）された後、物体選択部１３４は、当該イベント情報１６１の対象物体を判定する（Ｓ１０４Ａ）。そして、物体選択部１３１４は、当該イベント情報１６１を、対象物体に対応する蓄積部１３１、１３２又は１３３に蓄積する（Ｓ１０４Ｂ）。

また、予め定められたイベントが発生した場合（Ｓ１０５でＹｅｓ）、提示情報生成部１０３は、物体選択部１３４に、現在のイベントに関連する過去のイベント情報１６２の読み出しを指示する。物体選択部１３４は、提示情報生成部１０３からの指示に従い、現在のイベントの対象物体に対応する蓄積部１３１〜１３３からイベント情報１６２を読み出す（Ｓ１０６Ａ）。

以上により、ある物体に関するイベント情報１６２を読み出す際に、蓄積されたイベント情報１６２全体から対象となるイベント情報を探し出す手間が省ける効果がある。

なお、ここでは、イベント蓄積部１０２は、物体に対応付けてイベント情報１６２を蓄積しているが、ユーザに対応付けてイベント情報１６２を蓄積してもよいし、動作に対応付けてイベント情報１６２を蓄積してもよい。

以下、本実施の形態の具体的な応用例を説明する。

（応用例１）
応用例１では、情報提示装置１００は、Ａさんの日記を他のユーザが閲覧しようとした場合に、当該他のユーザに警告を発する。これにより、情報提示装置１００は、セキュリティ及びプライバシー保護を実現できる。

図６は、本応用例における情報提示処理のフローチャートである。

まず、イベント認識部１０１は、「Ａさんが日記を置く」ことを認識し、認識結果を示すイベント情報１６２をイベント蓄積部１０２に蓄積する（Ｓ１２１）。

次に、提示情報生成部１０３は、イベント認識部１０１により、新たにイベント情報１６１が生成される毎に、当該イベント情報１６１で示されるイベントが「日記」に対する特定の動作であるか否かを判定する（Ｓ１２２）。ここで特定の動作とは、例えば、「日記を持つ」又は「日記を読もうとする」等である。

現在のイベント情報１６１で示されるイベントが「日記」に対する動作である場合（Ｓ１２２でＹｅｓ）、次に、提示情報生成部１０３は、過去のイベント情報１６２を用いて、「日記」を置いた人物が「Ａさん」であることを識別する。そして、提示情報生成部１０３は、当該イベントの行動者が、「日記」を置いた「Ａさん」であるか否かを判定する（Ｓ１２３）。行動者が「Ａさん」でない場合（Ｓ１２３でＮｏ）、提示情報生成部１０３は、行動者に対して警告を提示する提示情報１６３を生成する（Ｓ１２４）。

以上の動作により、情報提示装置１００は、Ａさんの日記を他のユーザが閲覧しようとした場合に、当該他のユーザに警告を発することができる。

なお、対象とする物体は、日記以外であってもよい。例えば、携帯電話、手帳等、プライバシー保護等が必要な物体に対して、本応用例を適用できる。

また、図６では、情報提示装置１００は、行動者がＡさんの場合（ステップＳ１２３でＹｅｓ）、及び警告を発した後（Ｓ１２４の後）、処理を終了しているが、再度、ステップＳ１２２以降の処理を行ってもよい。

以上のように、提示情報生成部１０３は、過去のイベント情報１６２を用いて、予め定められた物体の所有者を識別する。また、提示情報生成部１０３は、現在のイベント情報１６１において、上記所有者と異なるユーザが上記物体に予め定められた動作を行うことが示される場合、当該ユーザに警告を提示する提示情報１６３を生成する。

また、対象とする物体は、プライバシー保護が必要な物体に限らず、任意の物体でもよい。例えば、上記処理を応用することにより、持ち物の持ち去り検出を行うことができる。これは、個人に応じた情報提示を行うことができる例である。以下に一例を示す。

まず、Ａさんがカバンをテーブルの上に置く。この時、イベント情報１６２が対象物体（カバン）に対応付けて記録される。つまり「カバン」に対して「Ａさんが置いた」というイベント情報１６２が記録される。

次に、Ｂさんがカバンを持つ。この時、提示情報生成部１０３は、対象物体である「カバン」に対して記録されている過去のイベント情報１６２から、「Ａさんが置いた」という情報を得る。また、提示情報生成部１０３は、現在のイベント情報１６１で示される行動者である「Ｂさん」と、過去のイベント情報１６２で示される、カバンを置いた人物である「Ａさん」とが異なるため、Ａさんと異なるユーザがカバンを持っていることを認識する。そして、提示情報生成部１０３は、Ｂさんに対し、警告音声を発する。

このように、上記処理を応用することにより、持ち物の持ち去り検出を行うことができる。

（応用例２）
本応用例では、情報提示装置１００は、まだ新聞を読んでいないユーザがいるにもかかわらず、他のユーザが当該新聞を捨てようとした場合に、当該他のユーザに警告を発する。

図７は、本応用例における情報提示処理のフローチャートである。

まず、「新聞」に対して複数の読者が予め設定される（Ｓ１３１）。ここでは、Ａさん、及びＢさんが「新聞」の読者に設定される。

次に、提示情報生成部１０３は、イベント認識部１０１により、新たにイベント情報１６１が生成される毎に、当該イベント情報１６１で示されるイベントが「新聞」に対する動作であるか否かを判定する（Ｓ１３２）。

当該イベントが「新聞」に対する動作である場合（Ｓ１３２でＹｅｓ）、次に、提示情報生成部１０３は、当該イベントが「新聞を読む」であるか否かを判定する（Ｓ１３３）。当該イベントが「新聞を読む」である場合、提示情報生成部１０３は、当該イベント情報をイベント蓄積部１０２に蓄積することで、当該イベントの行動者を、新聞を読み終わった既読者として記憶する（Ｓ１３４）。

また、提示情報生成部１０３は、当該イベントが「新聞を捨てる」であるか否かを判定する（Ｓ１３５）。当該イベントが「新聞を捨てる」である場合（Ｓ１３５でＹｅｓ）、提示情報生成部１０３は、ステップＳ１３１で設定された複数の読者の全てが新聞を既読であるか否かを判定する（Ｓ１３６）。例えば、提示情報生成部１０３は、過去のイベント情報１６２を用いて、複数の読者の全てが新聞を既読であるか否かを判定する。

複数の読者の全てが新聞を既読でない場合（Ｓ１３６でＮｏ）、提示情報生成部１０３は、当該ユーザに警告を提示する提示情報１６３を生成する。例えば、提示情報生成部１０３は、まだ新聞を読んでいないユーザがいることを、ユーザに通知するとともに、新聞を捨てることをやめるように当該ユーザに指示する提示情報１６３を生成する。

以下、具体的な動作例を説明する。

まず、読者として設定されているＡさん及びＢさんが共に新聞を読んだ後に、Ａさんが新聞を捨てようとする場合の動作を説明する。

まず、Ａさんが新聞を読む。これにより、「Ａさんが新聞を読んだ」ことを示すイベント情報１６２が対象物体「新聞」に対応付けて記録される。つまり「新聞」に対して「Ａさんが読んだ」というイベント情報１６２が記録される（Ｓ１３４）。

次に、Ｂさんが新聞を読む。これにより、「Ｂさんが新聞を読んだ」ことを示すイベント情報１６２が対象物体「新聞」に対応付けて記録される。つまり「新聞」に対して「Ｂさんが読んだ」というイベント情報１６２が記録される（Ｓ１３４）。

その後、Ａさんが新聞を捨てようとする。この時、提示情報生成部１０３は、対象物体である「新聞」に対して記録されている過去のイベント情報１６２から、「Ａさんが読んだ」と「Ｂさんが読んだ」という情報を得る。ＡさんもＢさんも新聞を読んでいるので、提示情報生成部１０３は、新聞は捨てて良いと判断し（Ｓ１３６でＹｅｓ）、Ｂさんの行動に対して警告音声を発しない。

次に、別の例として、Ａさんのみが新聞を読み終わり、Ｂさんが新聞を読んでいない状態において、Ａさんが新聞を捨てようとする場合の動作を説明する。

まず、Ａさんが新聞を読む。これにより、「Ａさんが新聞を読んだ」ことを示すイベント情報１６２が対象物体「新聞」に対応付けて記録される。つまり「新聞」に対して「Ａさんが読んだ」というイベント情報１６２が記録される（Ｓ１３４）。

その後、Ａさんが新聞を捨てようとする。この時、提示情報生成部１０３は、対象物体である「新聞」に対して記録されている過去のイベント情報１６２から、「Ａさんが読んだ」という情報を得る。つまり、過去のイベント情報１６２には、Ｂさんが新聞を読んだという情報が含まれないため、提示情報生成部１０３は、新聞は捨てない方が良いと判断し（Ｓ１３６でＮｏ）、Ｂさんの行動に対して警告音声を発する（Ｓ１３７）。

以上の動作により、情報提示装置１００は、複数のユーザのうち新聞を読んでいないユーザがいる場合において、あるユーザが当該新聞を捨てようとした場合に、当該ユーザに警告を発することができる。

なお、対象とする物体は、新聞以外であってもよい。例えば、対象とする物体は、雑誌等の他の書籍であってもよい。

また、図７では、情報提示装置１００は、警告を発した後（Ｓ１３７の後）、処理を終了しているが、再度、ステップＳ１３２以降の処理を行ってもよい。

以上のように、提示情報生成部１０３は、現在のイベント情報１６１において、ユーザが書籍を廃棄しようとしていることが示される場合、過去のイベント情報１６２を用いて、予め定められた1以上の読者の全てが当該書籍を既読であるか否かを判定する。当該1以上の読者の全てが書籍を既読でない場合、提示情報生成部１０３は、ユーザに警告を提示する提示情報１６３を生成する。

（応用例３）
本応用例では、情報提示装置１００は、ユーザからの探し物の問い合わせに対して、当該探し物がある場所を回答する。ここで、情報提示装置１００は、ユーザの動作、当該動作の対象物体に加え、ユーザの個人を識別する。これにより、情報提示装置１００は、同一の呼称が用いられるが異なる物（例えば、複数のユーザがそれぞれ所有している物）を識別することができる。

図８は、本応用例における情報提示処理のフローチャートである。

まず、イベント認識部１０１が「Ａさんがソファの上に財布１を置く」ことを認識し、そのことを示すイベント情報１６２がイベント蓄積部１０２に記憶される（Ｓ１４１）。

次に、イベント認識部１０１が「Ｂさんがテーブルの上に財布２を置く」ことを認識し、そのことを示すイベント情報１６２がイベント蓄積部１０２に記憶される（Ｓ１４２）。

次に、イベント認識部１０１は、ユーザから、「財布」がどこにあるかの問い合わせを受け付ける（Ｓ１４３）。

この時、提示情報生成部１０３は、現在のイベント情報１６１から、問い合わせを行った人物を特定する（Ｓ１４４）。問い合わせを行った人物が「Ａさん」の場合（Ｓ１４４でＡさん）、提示情報生成部１０３は、過去のイベント情報１６２から、Ａさんが財布を置いた場所を特定する。そして、提示情報生成部１０３は、財布が存在する場所として、財布１の場所である「ソファ」を提示する提示情報１６３を生成する（Ｓ１４５）。

一方、問い合わせを行った人物が「Ｂさん」の場合（Ｓ１４４でＢさん）、提示情報生成部１０３は、過去のイベント情報１６２から、Ｂさんが財布を置いた場所を特定する。そして、提示情報生成部１０３は、財布が存在する場所として、財布２の場所である「テーブル」を提示する提示情報１６３を生成する（Ｓ１４６）。

以上により、情報提示装置１００は、ユーザの動作、当該動作の対象物体に加え、ユーザの個人を識別することにより、ユーザが問い合わせを行っている対象物を正しく認識することができる。

なお、対象とする物体は、財布以外の任意の物体でよい。

以上のように、提示情報生成部１０３は、現在のイベント情報１６１において、ユーザが、所定の物体に対する情報の提示を当該情報提示装置１００に要求しており、かつ、所有者が異なる複数の所定の物体が存在する場合、現在のイベント情報１６２を用いて、問い合わせを行っているユーザを特定する。また、提示情報生成部１０３は、過去のイベント情報１６２を用いて、複数の所定の物体のうち、特定したユーザが所有する所定の物体を特定し、当該ユーザが所有する所定の物体に関する過去のイベント情報１６２を用いて、要求された情報を示す提示情報１６３を生成する。

以上、本発明の実施の形態に係る情報提示装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、上記情報提示装置１００の機能は、単一の機器で実現されてもよいし、ネットワーク等を介して接続された複数の機器で実現されてもよい。例えば、図２に示す構成要素のうち、イベント蓄積部１０２のみが他の機器に搭載されてもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報提示装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、センサからの情報を用いて、ユーザと、前記ユーザの行動と、前記行動の対象物体とを認識し、認識結果を示すイベント情報を生成するイベント情報生成ステップと、前記イベント情報を蓄積するイベント蓄積ステップと、新たに前記イベント認識部により生成されたイベント情報と、前記イベント蓄積部に蓄積されている過去のイベント情報とを用いてユーザに提示するための提示情報を生成する提示情報生成ステップとを実行させる。

また、上記実施の形態に係る情報提示装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係る情報提示装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、情報提示装置に適用でき、例えば、ユーザの作業や生活を支援するエージェント装置として有用である。

１００、２００ 情報提示装置
１０１ イベント認識部
１０２ イベント蓄積部
１０３、２０３ 提示情報生成部
１０４ 個人認識部
１０５、２０５ 行動認識部
１０６、２０６ 物体認識部
１１０、２１０ センサ
１２０、２２０ 情報提示部
１３１、１３２、１３３ 蓄積部
１３４ 物体選択部
１６０ センサ情報
１６１、１６２ イベント情報
１６３ 提示情報

Claims (13)

1. センサからの情報を用いて、ユーザと、前記ユーザの行動と、前記行動の対象物体とを認識し、認識結果を示すイベント情報を生成するイベント認識部と、
   前記イベント情報を蓄積するイベント蓄積部と、
   新たに前記イベント認識部により生成されたイベント情報と、前記イベント蓄積部に蓄積されている過去のイベント情報とを用いてユーザに提示するための提示情報を生成する提示情報生成部とを備え、
   前記提示情報生成部は、
   前記過去のイベント情報を用いて、予め定められた物体の所有者を識別し、
   前記現在のイベント情報において、前記所有者と異なるユーザが前記物体に予め定められた動作を行うことが示される場合、前記ユーザに警告を提示する提示情報を生成する
   情報提示装置。
2. センサからの情報を用いて、ユーザと、前記ユーザの行動と、前記行動の対象物体とを認識し、認識結果を示すイベント情報を生成するイベント認識部と、
   前記イベント情報を蓄積するイベント蓄積部と、
   新たに前記イベント認識部により生成されたイベント情報と、前記イベント蓄積部に蓄積されている過去のイベント情報とを用いてユーザに提示するための提示情報を生成する提示情報生成部とを備え、
   前記提示情報生成部は、
   前記現在のイベント情報において、ユーザが書籍を廃棄しようとしていることが示される場合、前記過去のイベント情報を用いて、予め定められた１以上の読者の全てが前記書籍を既読であるか否かを判定し、
   前記１以上の読者の全てが前記書籍を既読でない場合、前記ユーザに警告を提示する提示情報を生成する
   情報提示装置。
3. センサからの情報を用いて、ユーザと、前記ユーザの行動と、前記行動の対象物体とを認識し、認識結果を示すイベント情報を生成するイベント認識部と、
   前記イベント情報を蓄積するイベント蓄積部と、
   新たに前記イベント認識部により生成されたイベント情報と、前記イベント蓄積部に蓄積されている過去のイベント情報とを用いてユーザに提示するための提示情報を生成する提示情報生成部とを備え、
   前記提示情報生成部は、
   前記現在のイベント情報において、ユーザが、所定の物体に対する情報の提示を当該情報提示装置に要求しており、かつ、所有者が異なる複数の前記所定の物体が存在する場合、
   前記現在のイベント情報を用いて、前記ユーザを特定し、
   前記過去のイベント情報を用いて、前記複数の所定の物体のうち、特定した前記ユーザが所有する所定の物体を特定し、
   前記ユーザが所有する前記所定の物体に関する前記過去のイベント情報を用いて、前記要求された情報を示す前記提示情報を生成する
   情報提示装置。
4. 前記イベント蓄積部は、前記イベント情報を前記対象物体ごとに対応付けて蓄積する
   請求項１〜３のいずれか１項に記載の情報提示装置。
5. 前記イベント認識部は、前記センサからの情報である画像情報又は音声情報を用いて前記ユーザを認識する
   請求項１〜４のいずれか１項に記載の情報提示装置。
6. 前記イベント認識部は、前記センサからの情報である画像情報を用いて前記行動を認識する
   請求項１〜４のいずれか１項に記載の情報提示装置。
7. 前記イベント認識部は、前記画像情報と、前記センサからの情報である、前記画像情報における被写体の奥行き情報とを用いて前記行動を認識する
   請求項６記載の情報提示装置。
8. 前記イベント認識部は、前記センサからの情報である画像情報を用いて前記物体を認識する
   請求項１〜４のいずれか１項に記載の情報提示装置。
9. 前記イベント認識部は、前記画像情報と、前記センサからの情報である、前記画像情報における被写体の奥行き情報とを用いて前記物体を認識する
   請求項８記載の情報提示装置。
10. 前記提示情報生成部は、前記提示情報として音声情報を生成する
    請求項１〜９のいずれか１項に記載の情報提示装置。
11. 前記提示情報生成部は、前記提示情報として画像情報を生成する
    請求項１〜９のいずれか１項に記載の情報提示装置。
12. センサからの情報を用いて、ユーザと、前記ユーザの行動と、前記行動の対象物体とを認識し、認識結果を示すイベント情報を生成するイベント認識ステップと、
    前記イベント情報を蓄積するイベント蓄積ステップと、
    新たに前記イベント認識ステップで生成されたイベント情報と、前記イベント蓄積部に蓄積されている過去のイベント情報とを用いてユーザに提示するための提示情報を生成する提示情報生成ステップとを含み、
    前記提示情報生成ステップでは、
    前記過去のイベント情報を用いて、予め定められた物体の所有者を識別し、
    前記現在のイベント情報において、前記所有者と異なるユーザが前記物体に予め定められた動作を行うことが示される場合、前記ユーザに警告を提示する提示情報を生成する
    情報提示方法。
13. 請求項１２記載の情報提示方法をコンピュータに実行させるための
    プログラム。

Images