JP5617193B2

JP5617193B2 - ヒト活動計算方法及びシステム

Info

Publication number: JP5617193B2
Application number: JP2009150033A
Authority: JP
Inventors: 剣文向
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-06-24
Filing date: 2009-06-24
Publication date: 2014-11-05
Anticipated expiration: 2029-06-24
Also published as: JP2011008417A

Description

本発明は、ヒトの活動(human activities)を計算する方法及びシステムに関し、特に、ユビキタス(ubiquitous)コンピュータ環境においてヒトの意図を推論する目的指向型のヒト活動計算方法及びシステムに関する。

関連技術において、ヒトの意図を推論するためのシステムが提案されている。例えば特開平８−１５２９０６号公報（特許文献１）には、表示装置に表示された画面上でのユーザの操作を意図を自動的に読み取り、意図している動作を実行する情報処理装置が開示されている。この情報処理装置は、各種のプラントにおける制御実行プログラムを自動生成する際の制御仕様の設計作業を支援するものであって、制御対象の機器や加工材料に関するオントロジーと知識ベースとを用いることによって、対象が表示された画面へのユーザの操作からユーザの意図を推論するものである。

また特開２００５−２４２７５９号公報（特許文献２）には、室内の人間をカメラによって撮像し、撮像された映像に基づいて室内におけるその人間の２次元、３次元での位置や方向を特定し、知識ベースを用いてその人間のジェスチャーを特定し、ベイズ分類を用いてその人間の行動・意図を推定する行動・意図推定システムが開示されている。

さらに、センサネットワークなどが設けられたユビキタス環境において、その環境下におけるヒトの活動を認識して予測するシステムも提案されている。

特開２００７−１０９１１０号公報（特許文献３）には、各種の電気製品や照明などのスイッチや、携帯電話機や財布などのユーザが触れる複数のオブジェクトのそれぞれにＲＦＩＤ(Radio Frequency IDentification)タグを設け、ユーザにはＲＦＩＤリーダを携帯させ、ユーザが移動したときにユーザがＲＦＩＤリーダによってＲＦＩＤタグの情報を読み取ることでユーザが触れたり使用したオブジェクトをユーザの行動の記録として蓄積し、蓄積された行動の記録と予め作成された行動パターンとを比較することがユーザの意図を推測する意図推測システムが開示されている。

非特許文献１には、ユビキタスセンサネットワークを用いてヒトや対象物の位置を取得し、それらの位置の時間変化に基づいて決定木を用いることによりそのヒトの状態を識別し、その識別された状態をタスクモデルにあてはめることのよって、そのヒトの行動を識別するシステムが開示されている。

非特許文献２には、部屋に組み込まれた多種多様なセンサからの検出結果を用い、学習アルゴリズムを用いてヒトの行動の意図を検出するシステムが開示されている。

さらに非特許文献３には、ユビキタス環境でのヒトの日常活動（例えば、パスタを調理するとかビデオを視聴するなど）を認識し予測するシステムの例として、インターネット上のウェブサイトなどから収集されるデータでのマイニング(mining)を利用してヒトの活動のモデルを生成するようにしたヒト活動認識・予測システムが示されている。非特許文献３に示されるヒト活動認識・予測システムは、図９に示すように、ヒトの物理的な活動（動き）などを検出するセンサネットワーク９１と、インターネット上のウェブサイトなどからウェブデータやテキスト文書を取得しデータマイニングの手法によってヒトの活動のモデルを生成するマイニングエンジン９２と、センサネットワーク９１からの指示値とマイニングエンジン９２で生成したモデルとに基づいて推論を行う推論エンジン９３と、推論エンジン９３の出力側に設けられ、デバッグなどのために、現在のヒトの活動やセンサ指示値、推論結果を可視化して表示する表示器（ビジュアライザ；visualizer）９４とを備えている。

図９に示したシステムは、以下のように動作する。

ヒトの活動を認識して予測するためには、あらかじめ、ぞれそれある確率を有する一連の個々のアクション（動作）として、ヒト活動のモデルを定義しなければならない。これらのモデルはマイニングエンジン９２によって生成される。マイニングエンジン９２は、ウェブサイト上から入手可能な説明書のようなテキスト文書から、これらのモデルを自動的に抽出する。

一方、その活動の認識及び予測の対象となるヒトであるエンドユーザが活動(activity)を行うと、センサネットワーク９１内の各センサがその活動を検出し、センサ指示値が生成される。このシステムにおける鍵となる構成要素は推論エンジン９３であり、推論エンジン９３は、マイニングエンジン９２から活動に関するモデルが与えられ、センサネットワーク９１から一連のセンサ指示値（すなわち一連のユーザのアクション）が与えられたとして、エンドユーザの現在の活動が何であるかを推論して、その活動についての尤度（もっともらしさ）を返す。

しかしながら非特許文献３に記載されるような確率に基づくシステムにおける主要な問題点は、それが、明示的にあらかじめ定められている活動モデルのみを取り扱い、ヒトの個々のアクション間の意味的（セマンティック(semantic)）な関係（すなわち目的(goal)）を捕捉しないことにある。

上述の非特許文献１，２に記載された方法は、確率に基づくものであるとともに、モデルの学習のためにパターン認識に依存するものであって、一般的にパターン認識に関する多くの仕事を必要とする高度に特化した方法である。したがって、非特許文献１、２に記載された方法は、確率的な活動モデルを発展させることに関する他の問題点を有する。

特開平８−１５２９０６号公報特開２００５−２４２７５９号公報特開２００７−１０９１１０号公報

Yoshinori Isoda, Shoji Kurakake, and Hirotaka Nakano, "Ubiquitous sensors based human behavior modeling and recognition using a spatio-temporal representation of user states," Proc. of the 18th International Conference on Advanced Information Networking and Application (AINA '04), pages 1-6. IEEE Computer Society, 2004. Yasushi Nakauchi, Katsunori Noguchi, Pongsak Somwong, and Takshi Matsubara, "Human intention detection and activity support system for ubiquitous sensor room," Journal of Robotics and Mechatronics, 16(5):545-551, 2004. Mike Perkowitz, Matthai Philipose, Donald J. Patterson, and Kenneth Fishkin, "Mining models of human activities from the web," Proc. of WWW 2004, New York, NY USA, May 2004, ACM, pp. 573-582.

上述したように、関連技術においては、ヒトの日常活動についての計算は、ヒトでの個々のアクション間の意味論的関係を捕捉せずに、あらかじめ定められている確率的活動モデルのみを取り扱っている。これは、関連技術における解決法が典型的にはある種のトップダウン方法であって、そこでは異なるアクション間の確率リンクが主に注目され、その一方で個々のヒト活動の目的が一般的には見過ごされてしまうからである。

本発明の目的は、ユビキタスコンピュータ環境に代表される環境において、アクションの目的に関してヒトの意図（将来の活動）を推論できる目的指向型のヒト活動計算方法及びシステムを提供することにある。

本発明のヒト活動計算方法は、アクションに基づいてヒトの意図を推論するヒト活動計算方法であって、センサネットワークによりアクションの発生を検出することと、個々のアクションとプロセスの間の意味論的関係を表した活動オントロジーを生成して保存することと、予め用意された推論規則の組を用い、発生したアクションと、活動オントロジーとに基づいて、ヒトの意図を推論することと、を有する。

本発明のヒト活動計算システムは、アクションに基づいてヒトの意図を推論するヒト活動計算システムであって、アクションの発生を検出するセンサネットワークと、個々のアクションとプロセスの間の意味論的関係を表した活動オントロジーを保存する活動オントロジー格納手段と、推論規則を格納する推論規則格納手段と、推論規則格納手段に格納された推論規則の組を用い、アクションの発生と、活動オントロジー格納手段に格納される活動オントロジーとに基づいて、ヒトの意図を推論する推論手段と、を有する。

本発明によれば、異なるアクション間の意味論的な関係をその目的に関して活動オントロジーによって捕捉でき、それによって、ユーザによってなされたアクションの全体としての目的に基づいて将来の活動を推定できるようになるので、いかなるあらかじめ定められた確率的な活動モデルを用いることなく、アクションの目的の解析に基づいて、ユーザの将来の活動を予測できるようになる、という効果が得られる。

本発明の第１の例示実施形態のヒト活動計算システムの構成を示すブロック図である。第１の例示実施形態のヒト活動計算システムでの動作を示すフローチャートである。本発明の第２の例示実施形態のヒト活動計算システムの構成を示すブロック図である。引き違い戸に対する磁気センサの取り付け例を示す図である。活動オントロジーの一例を示す図である。オントロジーに基づいて導出されるアクション間のサポートの例を示す図である。サポート関係の定義の一例を示す図である。推論規則の一例を示す図である。関連技術におけるヒト活動認識・予測システムの構成の一例を示すブロック図である。

次に、発明を実施するための形態について、図面を参照して説明する。

図１に示す本発明の第１の例示実施形態のシステムは、ユビキタスコンピュータ環境を前提として、ユーザであるヒトのアクション（動作）を検出し、そのアクションの目的に関してそのユーザの意図すなわち将来の活動を推論できる、目的指向型のヒト活動計算システムである。このヒト活動計算システムは、このようにして推論されたヒトの意図に基づいて、外部の機器を制御し、あるいは推論された意図をユビキタスコンピュータシステム内の他の装置に伝達するために用いることができるものである。

本例示実施形態のヒト活動計算システムは、アクションの発生を検出するセンサネットワーク１１０と、検出されたアクションや推論された意図の履歴を情報として格納する活動履歴格納部１２０と、オントロジーを格納する活動オントロジー格納部１３０と、ヒトの意図を推論する推論エンジン１４０と、推論された意図を、対応する制御または通信信号に変換して出力する出力部１５０と、出力部１５０において変換された信号に基づいて、他の機器を制御し、あるいは、他の装置またはヒトに対して通信を行う外部装置制御部１６０と、を備えている。活動履歴格納部１２０、活動オントロジー格納部１３０、推論エンジン１４０、推論規則格納部１４５、出力部１５０及び外部装置制御部１６０は、それぞれ、活動履歴格納手段、活動オントロジー格納手段、推論手段、推論規則格納手段、出力手段及び外部制御手段として機能するものである。

ここでセンサネットワーク１１０は、ユビキタスコンピュータ環境におけるユビキタスセンサネットワークとして構成されるものであって、後述するように多種多様のセンサを含み、オブジェクトの状態遷移に関するアクションの発生を観測し、観測結果を出力するものである。活動履歴格納部１２０は、センサネットワーク１１０で観測されたアクションの履歴を記録し格納するアクション格納部１２１と、ヒト（ユーザ）の現在の意図を表す情報を格納する意図格納部１２２とを備えている。意図格納部１２２では、推論エンジン１４０からの推論された結果に基づいて、ヒトの現在の意図が更新される。ここで「意図」とは、そのヒトに関して将来の起こり得る一連のアクション、すなわち起こり得る将来の活動として定義される。

活動オントロジー格納部１３０では、個々のアクション及びプロセスのオントロジーが活動オントロジーとして保存される。ここでは、アクションとプロセスとの間の意味論的な関係が、アクションが直接的または間接的に他のアクションをサポートすることができるかどうか、あるいは、アクションがプロセスを満足させあるいは停止させることができるかどうか、などのような活動オントロジーで表現されている。

推論エンジン１４０には、推論規則の組を格納する推論規則格納部１４５が付属している。推論エンジン１４０は、活動オントロジー格納部１３０に格納された活動オントロジーから導出される、アクションとプロセスとの間の意味論的関係に加え、活動履歴格納部１２０に記録されているアクションの履歴とユーザの現在の意図とに基づいて、推論規則格納部１４５に格納された推論規則の組を使用して、将来の活動を推論する。

出力部１５０は、推論エンジン１４０によって推論されたユーザの将来の活動が、対応する制御及び／または通信信号に変換されるようにする。また外部装置制御部１６０は、機器を制御し、あるいは出力部１５０によって生成された変換後の信号に関して、他の装置またはヒトに対して通信を実行する。

このような第１の例示実施形態のヒト活動計算システムは、活動オントロジー格納部１３０と推論エンジン１４０とを含んでおり、異なるアクションとプロセスとの間の意味論的関係（リンク）が、その目的に関して活動オントロジーによって表現されている。意味論的関係とは、第１のアクションの事後条件(post-condition)が第２のアクションの事前条件(pre-condition)のいくつかを含む場合に第１のアクションが第２のアクションをサポートするような、異なるアクション及びプロセス間で活動オントロジーによって定義された論理的な特性（プロパティ）である。推論エンジン１４０は、推論規則格納部１４５に格納されている推論規則を用いて活動オントロジーの観点からヒトの活動を推論するために用いられている。このような構成を有することにより、この例示実施形態によれは、ヒトの将来の活動を推測できる。

次に、図２のフローチャートを参照して、第１の例示実施形態のヒト活動計算システムの動作について説明する。

最初に、アクションの発生がセンサネットワーク１１０によって検出される（ステップＡ１）。検出されたアクションは、履歴としてアクション格納部１２１に格納される。

次に推論エンジン１４０は、その検出されたアクションすなわち最新のアクションが、意図格納部１２２に格納されている現在の意図の中にあるかどうか、すなわち、以前に推論された将来のアクションの一つがこのアクションであるかどうかを確認する（ステップＡ２）。アクションがもし現在の意図中にあれば、それはすでに実行されているので、意図格納部１２２に格納されている意図からこのアクションを取り除くことにより、可能性のある将来の活動を更新する（ステップＡ３）。もしアクションが現在の意図の中にないときは、推論エンジン１４０は、アクション格納部１２２に格納されているアクション履歴から、定義されて推論規則格納部１４５に格納されている推論規則と定義されて活動オントロジー格納部１４０に格納されている活動オントロジーとに基づいて、最も新しいアクションに関連する、起こり得る将来のアクションを推論することを試みる（ステップＡ４）。なお、最も新しいアクションは、それ自体は現在の意図に含まれているとしても、現在の意図ではカバーされない新たな目的を提起する可能性があるので、ステップＡ４は、ステップＡ３において最も新しいアクションを現在の意図から削除した場合であっても、ステップＡ３に引き続いても実行される。そして、推論エンジン１４０が新規の将来のアクションを推論できたかどうかを判断する（ステップＡ５）。ステップＡ５において新規の将来のアクションではない場合には、後述するステップＡ１０に移行する。

新規の将来のアクションが推論されたとステップＡ５で判定された場合、次に、すべての推論されたアクションに対し、それらのアクションは現在の状況において実行可能かどうか（すなわち、それらの事前条件が既に満たされているかどうか）がチェックされる（ステップＡ６）。アクションが実行可能であれば、それを次のアクションとして分類する（ステップＡ７）。すなわち、将来のアクションが次のステップにおいて実行されるであろう。一方、実行可能でないとステップＡ６において判定した場合には、そのアクションを、非即時の将来のアクションとして分類する（ステップＡ８）。

ステップＡ７またはＡ８ののち、分類された将来のアクションのすべてとそれらの間のリンクとを新しい意図として追加し、意図格納部１２２に追加する（ステップＡ９）。その後、ステップＡ４に戻り、将来のアクションが新たには導出されなくなるまで、推論エンジン１４０は、更新された意図に基づいて将来のアクションを再推論する。

将来のアクションが新たに導出されなくなると、ステップＡ５からステップＡ１０へ移行するので、最後に、ステップＡ１０において、出力部１５０によって、推論されたヒトの意図を対応する制御及び／または通信信号に変換する。そして、変換された信号は、機器を制御しまたはその信号を他の装置あるいはヒトに伝えるために、ステップＡ１１において、外部装置制御部１６０に送られる。外部装置制御部１６０は、受信した信号に基づいて、他の機器を制御し、あるいはその信号を他の装置あるいはヒトに伝えることができる。

このように第１の例示実施形態は、アクションの発生の検出と、最も新しいアクションについての関連するアクションの導出と、関連するアクションの分類と、ユーザの意図の更新とを含んでいる。これにより、本例示実施形態によれば、ヒトの将来の活動を推論することができる。

第１の例示実施形態のヒト活動計算システムは、パーソナルコンピュータやワークステーションなどのコンピュータであって各種のセンサを含んだセンサネットワーク１１０が接続されたコンピュータに、上述した推論エンジン１４０、出力部１５０及び外部装置制御部１６０の機能を実現するためのコンピュータプログラムを読み込ませ、そのプログラムを実行させることによっても実現することができる。そのようなコンピュータは、一般に、中央処理ユニット（ＣＰＵ）と、プログラムやデータを格納するためのハードディスク装置と、主メモリと、キーボードやマウスなどの入力装置と、液晶ディスプレイなどの表示装置と、ＣＤ−ＲＯＭ等の記録媒体を読み取る読み取り装置と、外部ネットワークとの接続に用いられるインタフェースなどを備えている。複数のセンサを含むセンサネットワーク１１０や推論されたヒトの意図によって制御される外部機器は、インタフェースに接続されている。また、外部ネットワークからコンピュータプログラムをダウンロードする場合などには、このコンピュータは、インタフェースを介してその外部ネットワークに接続されることになる。活動履歴格納部１２０、活動オントロジー格納部１３０及び推論規則格納部１４５は、ハードディスク装置内にそれらの格納部のための記憶領域を確保することによって構成できる。

推論エンジン１４０、出力部１５０及び外部装置制御部１６０の機能を実現するためのコンピュータプログラムは、ＣＤ−ＲＯＭなどの記録媒体を読み込むことにより、あるいは、外部ネットワークからのダウンロードにより、そのコンピュータのハードディスク装置内に格納される。その後、そのプログラムをハードディスク装置から主メモリ上に展開してＣＰＵがそのプログラムを実行することにより、ヒト活動計算システムをコンピュータによって実現することができる。

上述した第１の例示実施形態では、センサネットワーク１１０によりアクションを検出したときにその検出されたアクションが既に推論された意図に含まれる場合には、そのアクションを現在の意図から削除している。しかしながら本発明においては、そのような処理を行わず、センサネットワーク１１０によって検出されたアクションからただちにユーザの意図の推論を行い、推論された意図を蓄積することなく外部に出力する構成とすることも可能である。図３は、そのような構成を有する本発明の第２の例示実施形態のヒト活動計算システムを示している。

図３に示す本発明の第２の例示実施形態のシステムは、図１に示したシステムから活動履歴格納部１２０、出力部１５０及び外部装置制御部１６０を取り除いた構成のものであり、センサネットワーク１１０でのセンサ指示値が推論エンジン１４０に直接入力している。この構成では推論エンジン１４０は、センサネットワーク１１０からセンサ指示値が入力すると、活動オントロジー格納部１３０に格納された活動オントロジーと推論規則格納部１４５に格納された推論規則とに基づいて、入力したセンサ指示値からユーザであるヒトの将来のアクションすなわち意図を推論し、推論結果を外部に出力する。

次に、具体的な実施例を用いて、本発明をさらに詳しく説明する。ここでは、スマートハウス（smart house：設備がコンピュータによって管理される家屋）においてユーザがそのスマートハウスから外出しようとする活動を行う場合を例に挙げて、図１に示した第１の例示実施形態のヒト活動計算システムの動作について説明するものとする。

トム(Tom)が居住するスマートハウスがあるものとする。スマートハウスでは、センサネットワーク１１０が適切に構成されており、各ドアの開閉状態、各ドアの施錠／解錠状態、玄関ドアを介した（誰かの）そのスマートハウスからの外出、（誰かが）靴を脱いだり履いたりしたことなどの種々のアクションをセンサネットワーク１１０が検出することができると仮定する。例えば、ドアを開けることと閉めることは、ドアに取り付けられた磁気センサによって検出することができる。

図４は、上述の非特許文献２に示された、引き違い戸の開閉を検出するためのシステムの一例を示している。

ここで引き違い戸の２枚の戸板のうちの図示手前のものに注目すると、この戸板は上下の２本のレール部材に保持されて図示左右方向に移動できるようになっている。戸が閉まっている状態で相互に近接するように、上側のレール部材と戸板の上部とに一対の磁気センサ４１が設けられている。この磁気センサ４１はオン(on)タイプのものであって、戸が完全に閉められているときに「オン」でありそれ以外のときに「オフ」のセンサ指示値を出力する。また、戸が完全に開けられた状態で相互に近接するように、上側のレール部材と戸板の上部とに一対の磁気センサ４２が設けられている。こちらの磁気センサ４２はオフ(off)タイプのものであって、戸が完全に開けられているときに「オフ」でありそれ以外のときに「オン」のセンサ指示値を出力する。また、この引き違い戸に近接して、ＲＦＩＤタグ４３，４４が設けられている。このような各種のセンサによって取得された情報は、RF Code Inc.によって開発されたSpiderシステムなどの何らかのＲＦＩＤシステムによって、送信することができよう（非特許文献２参照）。

活動オントロジーの直感的な理解を与えるために、図５は、代数的形式仕様言語の１つＭａｕｄｅ言語(Maude system)でされた、ドア（戸）を開けるという動作のオントロジーの例を示している。このように例示されたオントロジーは、図１に示すシステムにおいては、活動オントロジー格納部１３０内に格納されるものである。

例示のオントロジーはopen-door（ドアを開ける）というアクションを記述するものであって、アクションopen-doorは、入力パラメータ、すなわちドア(Door)を必要とし、ドアは空間コネクタの一種であるので、アクションは、OpenConnectorのサブアクション(sub-action)である。図５に示す例では、パラメータDoorをDで略記している。open-doorアクションは、ドアは施錠されていない(Unlocked(D))ことを要求する制約条件と、ドアは閉められていること(Closed(D))を要求する特性条件(property condition)と、ドアは開けられていること(Opened(D))ことを記述する結果と、を有する。制約条件及び特性条件の両方は、アクションの事前条件であり、結果は、アクションの事後条件である。図５において、制約条件、特性条件及び結果は、それぞれ、Constraints、PropertyCons、Resultsに始まる行で記述されている。制約条件と特性条件との違いについて説明すると、制約条件の変更は、ドアの解錠(unlock-door)のアクションのような何らかの他のアクションによって予測することができるが、対応するアクション自体の中だけでは予測することができない。これに対し特性条件は、その変化が対応するアクション自体の中で予測することが可能なステートメントである。例えば、open-doorの結果は、述語Closed(D)（ドアＤは閉められている）の値を偽(FALSE)に変化させるであろう。unlock-door、walk-out（外出する）、wear-shoes（靴を履く）などの他のアクションは、同様に直感的なやり方で定義される。

上述したアクションのオントロジーの構造に基づき、それらの間の簡単な例示の関係、すなわち１つのアクションが他の１つのアクションをサポートするという関係を、wear-shoesがwalk-outをサポートし、unlock-doorがopen-doorをサポートし、open-doorもwalk-outをサポートするというように、導き出すことができる（図６参照）。図７は、アクションA1, A2の間のサポート関係の定義Support(A1, A2)の例を示している。

以下では、説明を明確にするために、現時点の活動履歴には過去におけるヒトの意図が含まれていない、と仮定する。言いかえれば、現時点はシステムがちょうど初期化された時である、と仮定する。現在の状況は、トムが玄関スペースｐにいて、まさに外出用の靴の一つｓを履いたところである、というものである。玄関ドア（入り口ドア）ｄは、現在は施錠された状態にあって、玄関ドアｄの外側のスペースは外ｏであるとする。また推論規則格納部１４５には、図８に示した推論１(Inf. 1)及び推論２(Inf. 2)が推論規則として格納されているものとする。センサネットワーク１１０は、図２に示すステップＡ１において、このようなアクションの発生を検出したものとする。

センサネットワーク１１０によって検出された上記の情報と活動オントロジー内で定義された知識とに基づきトムの将来のアクションを推論するために、推論エンジン１４０は、まずステップＡ２において、最も新しいアクションwear-shoes(Tom, s)が現在の意図に含まれているかどうかを調べる。システムはちょうど初期化されたばかりであると仮定したので、活動履歴格納部１２０内の意図格納部１２２には意図は格納されていないはずであり、したがって、最も新しいアクションwear-shoes(Tom, s)は現在の意図には含まれていない。

次に推論エンジン１４０は、ステップＡ４において、推論規則格納部１４５に格納されている推論規則のうちInf. 1を適用し、アクションwalk-out(Tom, s, d, p, o)（「トムは外出用の靴ｓを履いて玄関スペースｐから外ｏへドアｄを通って外ｏへ外出する」と読む）は、最も新しいアクションwear-shoes(Tom, s)の将来のアクションである、と推論する。アクションwalk-out(Tom, s, d, p, o)は、ステップＡ８において非即時の将来のアクションであると分類される。その理由は、その特性条件の１つである「ドアは開かれていなければならない」が現在の状態では満たされておらず、図２のステップＡ６での判定において、実行可能ではないと判定されるからである。ドアは施錠されていることを仮定しており、そのことは、ドアは開かれていないことを含んでいることを想起されたい。

次に、推論エンジン１４０は、ステップＡ９において、意図格納部１２２にこのアクションを格納することにより、このアクションを現在の意図に加える。そして推論エンジン１４０は、今やアクションwalk-out(Tom, s, d, p, o)を含んでいる更新された意図に基づいて、ステップＡ４を再び実行することにより、将来のアクションの再推論を行う。この段階では、推論規則としてInf. 2を適用することができ、アクションopen-door(d)が非即時の将来のアクションとして、意図に追加される。Inf. 2を適用してこの処理を再度実行することにより、推論エンジン１４０は、「アクションunlock-door(d)は外出するというアクションに向けた次のアクションである」と導き出す。

さらに導くことができる将来のアクションがなくなったとすると、先にセンサネットワーク１１０によって検出されたアクションwear-shoes(Tom, s)に関して、unlock-door(d)からopen-door(d)を経てwalk-out(Tom, s, d, p, o)までの一連のアクションがトムの意図として、意図格納部１２２に追加されることになる。上述の図６は、この例での将来の活動の推論の処理及び結果を示している。

最後に、推論されたヒトの意図は、ステップＡ１０において、対応する制御または通信信号に変換することができ、そしてこれらの信号は、ステップＡ１１において、（自動的にドアを解錠し開扉してドアの将来の活動、すなわち外出を支援するような）機器の制御、あるいは、他の装置またはヒトへの通信に用いることができる。

個々のアクションとプロセスとの間の意味論的関係をとらえる活動オントロジー手段とヒトの意図を推論する推論手段とを実装することにより、本発明は、ヒトの活動を推測するために使用することができる。

１１０センサネットワーク
１２０活動履歴格納部
１２１アクション格納部
１２２意図格納部
１３０活動オントロジー格納部
１４０推論エンジン
１４５推論規則格納部
１５０出力部
１６０外部装置制御部

Claims

アクションに基づいて、将来の意図される一連のアクションであるヒトの意図を推論するヒト活動計算システムであって、
アクションの発生を検出するセンサネットワークと、
個々のアクションとプロセスの間の意味論的関係を表した活動オントロジーを保存する活動オントロジー格納手段と、
推論規則を格納する推論規則格納手段と、
前記推論規則格納手段に格納された推論規則の組を用い、前記アクションの発生と、前記活動オントロジー格納手段に格納される活動オントロジーとに基づいて、前記ヒトの意図を推論する推論手段と、
前記アクションの履歴を保存するアクション格納部と前記推論手段により更新された前記ヒトの意図の履歴を保存する意図格納部とを有する活動履歴格納手段と、
を有し、
前記活動オントロジーは、前記アクション及び前記プロセスの事前条件及び事後条件を指定し、前記事前条件及び前記事後条件によって定義された前記アクションと前記プロセスとの間の依存関係を含む前記アクションと前記プロセスとの関係とを指定するものであり、
前記推論手段は、発生が検出されたアクションが前記意図格納部に格納されている意図に対応するときは当該意図を前記意図格納部から取り除いた上で、前記推論規則の組を用い、前記アクション格納部に保存されたアクションと、前記意図格納部に格納された意図と、前記依存関係を含む前記アクションと前記プロセスとの関係とに基づいて、前記ヒトの意図を推論する、ヒト活動計算システム。
前記推論されたヒトの意図を対応する制御または通信信号に変換する出力手段をさらに有する、請求項１に記載のヒト活動計算システム。
前記変換された制御または通信信号に基づいて、機器を制御しあるいは他の装置またはヒトに対して通信する外部制御手段をさらに有する、請求項２に記載のヒト活動計算システム。
アクションに基づいて、将来の意図される一連のアクションであるヒトの意図を推論するヒト活動計算方法であって、
センサネットワークがアクションの発生を検出することと、
個々のアクションとプロセスの間の意味論的関係を表した活動オントロジーを生成して活動オントロジー格納手段に保存することと、
推論手段が、予め用意されて推論規則格納手段に格納された推論規則の組を用い、前記センサネットワークにより検出されたアクションと、前記活動オントロジー格納手段に保存された前記活動オントロジーとに基づいて、前記ヒトの意図を推論することと、
前記アクションの履歴をアクション格納部に保存し、前記推論により更新された前記ヒトの意図の履歴を意図格納部に保存することと、
を有し、
前記活動オントロジーは、前記アクション及び前記プロセスの事前条件及び事後条件を指定し、前記事前条件及び前記事後条件によって定義された前記アクションと前記プロセスとの間の依存関係を含む前記アクションと前記プロセスとの関係とを指定するものであり、
前記推論手段によって、発生が検出されたアクションが前記意図格納部に格納されている意図に対応するときは当該意図を前記意図格納部から取り除いた上で、前記推論規則の組を用い、前記アクション格納部に保存されたアクションと、前記意図格納部に格納された意図と、前記依存関係を含む前記アクションと前記プロセスとの関係とに基づいて、前記ヒトの意図を推論する、ヒト活動計算方法。
出力手段が、前記推論されたヒトの意図を対応する制御または通信信号に変換することをさらに有する、請求項４に記載のヒト活動計算方法。
外部制御手段が、前記変換された制御または通信信号に基づいて、機器を制御しあるいは他の装置またはヒトに対して通信することをさらに有する、請求項５に記載のヒト活動計算方法。
アクションの発生を検出するセンサネットワークが接続されたコンピュータを、
個々のアクションとプロセスの間の意味論的関係を表した活動オントロジーを保存する活動オントロジー格納手段、
推論規則を格納する推論規則格納手段、
前記推論規則格納手段に格納された推論規則の組を用い、前記アクションの発生と、前記活動オントロジー格納手段に格納される活動オントロジーとに基づいて、将来の意図される一連のアクションであるヒトの意図を推論する推論手段、
前記アクションの履歴を保存するアクション格納部と前記推論手段により更新された前記ヒトの意図の履歴を保存する意図格納部とを有する活動履歴格納手段、
として機能させ、
前記活動オントロジーは、前記アクション及び前記プロセスの事前条件及び事後条件を指定し、前記事前条件及び前記事後条件によって定義された前記アクションと前記プロセスとの間の依存関係を含む前記アクションと前記プロセスとの関係とを指定するものであり、
前記推論手段が、発生が検出されたアクションが前記意図格納部に格納されている意図に対応するときは当該意図を前記意図格納部から取り除いた上で、前記推論規則の組を用い、前記アクション格納部に保存されたアクションと、前記意図格納部に格納された意図と、前記依存関係を含む前記アクションと前記プロセスとの関係とに基づいて、前記ヒトの意図を推論するようにする、プログラム。