JP4631501B2

JP4631501B2 - 宅内システム

Info

Publication number: JP4631501B2
Application number: JP2005093147A
Authority: JP
Inventors: 高史西山; 清隆竹原; 吉彦徳永; 健治奥野; 朗馬場; 賢二中北; 新平日比谷; はるか天沼; 正也花園
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2005-03-28
Filing date: 2005-03-28
Publication date: 2011-02-16
Anticipated expiration: 2025-03-28
Also published as: JP2006276283A

Description

本発明は、住人の生活支援を行うための宅内システムに関するものである。

従来、独居老人や単身赴任者などの自立的生活を支援する在宅支援システムが提供されている（例えば特許文献１）。

この在宅支援システムは、人の所作を検知するセンサと、このセンサの検知によって合成音声や記録音声により所作に対して応答することで、独居老人や単身赴任者の孤独感を紛らわすだけでなく、前向きの行動意欲を喚起させ、在宅での自立的生活を支える環境を整備するものである。
特開平７−１４０７６号公報（段落番号００１８）

上述の特許文献１に記載されたものは、住人の所作として住人が存在する宅内の場所を検知して、その場所に応じた応答を行うものであって、検知した時点での所作に応答するものであるため、応答パターンが単調となり、生活支援の効果が低いという課題があった。

本発明は、上述の課題に鑑みて為されたもので、その目的とするところは住人の日々の生活行動の情報の蓄積から住人にとって生活に関わる意味のある生活支援情報を提示することで、生活支援効果を高めることができる宅内システムを提供することにある。

上述の目的を達成するために、請求項１の発明では、住空間に設けられ、前記住空間に存在する住人の行動によって発生する生活情報を収集するとともに、前記住人の生活を支援するための生活支援情報を前記住人へ提供する空間インタフェースと、住空間から収集される前記生活情報を管理するサーバと、を備え、前記空間インタフェースと前記サーバとが宅内に設けられたネットワークを介して情報通信を行う宅内システムにおいて、前記空間インタフェースは、前記生活情報を検知するセンサ手段と、住人に生活支援情報を提示する提示手段とを備え、前記センサ手段は、各住空間に配置されている電気設備の電源のオン／オフを前記生活情報として検知する設備電源オン／オフセンサと、前記電気設備の前の人の存否を前記生活情報として検知する人感センサとを含み、前記空間インタフェースは、前記センサ手段から取得した生活情報を宅内ネットワークを介して前記サーバに送信し、前記サーバは、該センサ手段から送信された生活情報を蓄積する記憶手段と、該センサ手段から送信されてきた生活情報に応じて該記憶手段に蓄積した生活情報を参照し、前記人感センサの反応パターンに基づく前記住人が存在する住空間及び前記電気設備オン／オフセンサの反応パターンに基づく前記住人による電気設備の操作内容との組み合わせから推定した前記住人の行動を意味情報として抽出する意味情報抽出手段と、前記意味情報抽出手段により抽出された意味情報に応じて前記提示手段へ提示する生活支援情報を生成する制御手段とを備え、該生活支援情報を宅内ネットワークを介して前記空間インタフェースの前記提示手段へ送信することを特徴とする。

請求項１の発明によれば、住人の日々の生活行動の情報の蓄積から住人にとって生活に関わる意味のある生活支援情報を提示することで、生活支援効果を高めることができる。

請求項２の発明では、請求項１の発明において、前記センサ手段として、前記住空間に設けられた音声取得手段を備え、前記サーバは、該音声取得手段の取得した音声を認識する音声認識手段を備え、前記音声認識手段は予め収録された住空間から生じるノイズ音を記憶するノイズ音記憶部と、該ノイズ音記憶部で記憶したノイズ音を重畳した音響モデルを生成する音響生成部とを備えていることを特徴とする。

請求項２の発明によれば、住人の発話を生活情報として捉える場合において、住空間のノイズの影響を受けずに発話内容を確実に認識することができる。

請求項３の発明では、請求項１の発明において、前記センサ手段として、前記住空間に設けられた音声取得手段を備え、前記サーバは、取得された音声に重畳するノイズ成分を除去してノイズ成分を除去した音声を認識する音声認識手段を備えていることを特徴する
請求項３の発明によれば、住人の発話を生活情報として捉える場合において、住空間のノイズの影響を受けずに発話内容を確実に認識することができる。

請求項４の発明では、請求項３の発明において、前記音声認識手段は、予め収納された住空間から生じるノイズ音を記憶するノイズ音記憶部と、取得された音声から該ノイズ音記憶部で記憶したノイズ音成分を除去した音響モデルを生成する音響生成部とを備えたことを特徴とする。

請求項４の発明によれば、住人の発話を生活情報として捉える場合において、住空間のノイズの影響を受けずに発話内容を一層確実に認識することができる。

請求項５の発明では、請求項１乃至４の何れかの発明において、前記センサ手段として、各住空間に人の存否を検知するための検知手段を備え、前記サーバーの前記制御手段は、前記人検知手段の検知信号の有無に基づいて住人が存在する住空間を認識するとともに、当該認識した住空間に応じて前記提示手段で提示する生活支援情報を制御することを特徴とする。

請求項５の発明によれば、住人が存在する住空間を認識してその住空間に適した生活支援情報を住人に提示することができる。

請求項６の発明では、請求項５の発明において、前記センサ手段として、各住空間に音声取得手段と、前記検知手段としての第２の人感センサとを備え、前記サーバは、該音声取得手段の取得した音声を認識する音声認識手段とを備えるとともに、前記制御手段として音声認識結果に基づいたテキストデータにより対話制御を行う対話制御手段と対話制御に応動して応答音声を生成する音声合成手段とを備え、前記対話制御手段は、前記第２の人感センサの人体検知信号の有無に基づいて住人が存在する住空間を認識するとともに、当該認識した住空間に応じた対話内容に制御することを特徴とする。

請求項６の発明によれば、住空間にいる住人との間で認識された住空間に対応した対話を交わすことができる。

請求項７の発明では、請求項５の発明において、前記センサ手段として、住空間に設けられた音声取得手段を備え、前記サーバは、該音声取得手段の取得した音声を認識する音声認識手段とを備えるとともに、前記制御手段として音声認識結果に基づいたテキストデータにより対話制御を行う対話制御手段と対話制御に応動して応答音声を生成する音声合成手段とを備え、前記対話制御手段は、前記設備電源オン／オフセンサの検知信号に基づいて住人が存在する住空間を認識するとともに、当該認識した住空間に応じた対話内容に制御することを特徴とする。

請求項７の発明によれば、住空間に存在する電気設備の電源のオン／オフ状態から住空間にいる住人の行動を推定し、この行動と認識した住空間に対応した対話を住人との間で交わすことができる。

請求項８の発明では、請求項１乃至７の何れかの発明において、前記住空間内の人物を特定する個人認識手段を備え、前記記憶手段は、個人毎の生活情報の履歴を記憶し、前記制御手段は、前記個人認識手段の個人認識結果に基づいて前記提示手段へ提示する生活支援情報を制御することを特徴とする。

請求項８の発明によれば、住空間内に住人を特定することで、住人固有の意味を持たせた生活支援情報を提示することができる。

請求項９の発明では、請求項８の発明において、前記センサ手段として、前記住空間に設けられた音声取得手段を備え、前記サーバは、該音声取得手段の取得した音声を認識する音声認識手段を備えるとともに、前記制御手段として音声認識手段の認識結果のテキストデータに基づく対話制御を行う対話制御手段と対話制御に応動して応答音声を生成する音声合成手段とを備え、前記個人認識手段は、前記音声認識手段が予め前記記憶部に記憶された住人の音声と、該音声取得手段の取得した音声とを比較して、現在発話している住人を特定認識し、前記対話制御手段は、特定認識された住人に適合した対話内容に制御することを特徴とする。

請求項９の発明によれば、住空間内に住人を特定することで、住人固有に対応した対話を交わすことができる。

請求項１０の発明では、請求項１乃至９の何れかの発明において、前記センサ手段と、前記提示手段は住空間の周囲の壁や設備に埋設されていることを特徴とする。

請求項１０の発明によれば、住空間に空間インタフェースのための設置スペースを必要とせず、住空間に一体化させることができる。

本発明は、住人の日々の生活行動の情報の蓄積から住人にとって生活に関わる意味のある生活支援情報を提示することで、生活支援効果を高めることができるという効果がある。

図１（ａ），（ｂ）は本発明の宅内システムの基本的なシステム構成を示しており、住空間（部屋）ＲＭの例えば、天井Ｘに住人Ｍの行動を検知するセンサ手段１０を、また周壁Ｗに住人Ｍに生活支援情報を提示する提示手段１１を設けて、これらセンサ手段１０，提示手段１１とで生活情報を収集する空間インタフェース１を構成している。

これらのセンサ手段１０及び提示手段１１は宅内ネットワークＮＴを介してホームサーバ２との間で情報の授受を行うための通信機能を備えており、センサ手段１０は検知情報をホームサーバ２へ送り、提示手段１１はホームサーバ２から生活支援情報を受け取って提示するようなっている。

ホームサーバ２は空間インタフェース１で収集した生活情報を管理するためコンピュータシステムから構成され、宅内ネットワークＮＴを介してセンサ手段１０からの生活情報である検知データを取り込み、時間的、空間的に拡がりのある検知データを生活行動の観点から解釈して所定の生活情報に変換収集する機能を備えた生活情報収集手段２１と、この生活収集手段２１で変換された生活情報を時系列的に一時蓄積する生活情報記憶手段２２と、生活情報記憶手段２２内にある生活情報を参照し、より上位概念である意味情報を抽出する意味情報抽出手段２３と、抽出される意味情報を時系列的に一時蓄積する意味情報蓄積手段２４と、この意味情報蓄積情報２４で蓄積された時間的、空間的に多様な意味情報の中から、現時点、現空間で住人に意味のある情報を抽出して生活支援情報として住人Ｍに分かり易く提示手段１１に提示する制御を司る意味情報提示制御手段２５とで構成される。

而して空間インタフェース１のセンサ手段１０で検知された住人Ｍの行動は、ホームサーバ２によって生活行動の観点から見た生活情報に変換され、更にこの生活情報から意味情報抽出手段２３から更に現時点、現空間で住人Ｍに意味のある情報を抽出され、この意味のある情報を生活支援情報として空間インタフェース１の提示手段１１に分かり易くする提示させることで、住人Ｍが生活を送る上での支援を行うことができるようになっている。

次に本発明の宅内システムを更に実施形態により具体的に説明する。
（実施形態１）
本実施形態は図２に示すように空間インタフェース１のセンサ手段としては、住人Ｍが発する音声による生活情報を取得する音声取得手段たるマイク１０ａを用い、また提示手段として音声を再生するためのスピーカ１１ａを用い、一方ホームサーバ２の生活情報収集手段２１としてマイク１０ａで捉えた音声からなる生活情報を認識する音声認識手段２１ａを、生活情報記憶手段としては音声認識手段２１ａが音声認識結果として出力するテキストデータを生活情報として蓄積するテキストデータ記憶手段２２ａを備えている。そして、意味情報抽出手段２３はテキストデータから意味情報を抽出し、この抽出した意味情報を意味情報記憶手段２４で蓄積するようになっている。一方意味情報提示手段２５として、意味情報記憶手段２４が蓄積した意味情報から現時点、現空間で住人に意味のある情報を抽出し、その抽出した情報を音声によって提示するために応答音声を音声合成信号により生成する音声合成機能とマイク１０ａで捉えた音声（生活情報）から住人Ｍが存在する住空間ＲＭを認識し、音声合成機能で合成された応答音声による対応の内容を制御する対話制御機能とを備えた対話制御・音声合成手段２５ａを意味情報提示制御手段として備えている。

而して本実施形態では、住空間ＲＭに存在する住人Ｍｎからの音声によって発せられた生活情報に対する返答としての生活支援情報の提示を、合成された音声による発話によって行うことで、住人Ｍは生活支援の情報を音声によって確実に知ることができることになる。
（実施形態２）
実施形態１のホームサーバ２は、音声認識手段２１ａにより住人Ｍが音声により発する生活情報を取得するものであったが、本実施形態では、住空間ＲＭで発生し得るノイズの影響で誤認識する恐れがあるため、各住空間ＲＭで発生し得るノイズを予め収録するとともに音声認識の対象となる住人Ｍの音声を多数収録してノイズ音と住人音声を記憶する記憶部及び、両者の音声を重畳させた音声から音響モデル（ノイズ重畳音響モデル）を学習させて生成する音声認識エンジンとを組み込んだ音声認識手段２１ａを用いた点で実施形態１と相違している。尚実施形態１とは音声認識手段２１ａの内部構成が異なるだけであるので、図２を参照する。

つまり本実施形態では、ノイズが含まれる住人Ｍの音声が宅内ネットワークＮＴを介して空間インタフェース１のマイク１０ａからホームサーバ２の音声認識手段２１ａ’に送られてくると、音声認識手段２１ａは前述のノイズ重畳音響モデルとマッチングをとって音声の認識を行い、ノイズの影響を受けずに音声による生活情報を正しきテキストデータとして出力することができることになる。

また音声認識手段２１ａに、予め収納された住空間ＲＭから生じるノイズ音を記憶するノイズ音記憶部と、取得された住人Ｍの音声から該ノイズ音記憶部で記憶したノイズ音成分を除去した音響モデルを生成する音響生成部とを備え、取得した住人Ｍの音声と音響もモデルの音声から音声の認識を行うことで、ノイズの影響を受けずに音声による生活情報を正しきテキストデータとして出力することができるもできる。

更に取得する音声から人の音声周波数域のみを通過させる帯域フィルタを用いて音声に含むノイズ成分を除去し、そのノイズ除去後の音声を用いて音声認識を行うようにしても良い。
（実施形態３）
本実施形態は、図３に示すように空間インタフェース１のマイク１０ａが集める住人Ｍの音声から話者特徴の情報を抽出して予め記録してある住人Ｍ毎の音声の話者特徴とを比較して話者である住人Ｍが誰であるかを特定認識する個人認識手段２６をホームサーバ２内に設けた点で特徴がある。

而して本実施形態では、マイク１０ａからの音声が宅内ネットワークＮＴを通じてホームサーバ２に送られてくると、ホームサーバ２内の個人認識手段２６がマイク１０ａで捉えた音声の話者がどの住人Ｍであるかを特定する。そして意味情報抽出手段２３では特定した住人Ｍに固有の意味情報をテキストデータ記憶手段２２ａのテキストデータから抽出して意味情報記憶手段２４に蓄積する。

これによって対話制御.・音声合成手段２５ａが当該住人Ｍに対して発話するときに、その住人Ｍにあった情報内容を提示することができる。

尚その他の動作、構成は実施形態１（又は実施形態２）と同じであるので、説明は省略する。
（実施形態４）
本実施形態は空間インタフェース１の各住空間ＲＭに各別に設けるセンサ手段１０として、図４に示すように実施形態１〜３と同様にマイク１０ａを設けるとともに、当該住空間ＲＭに人が存在するか存在しないかを検知する人体検知手段たる人感センサ１０ｂと、当該住空間ＲＭに設置されている設備の電源のオン／オフを検知する設備電源オン／オフセンサ１０ｃと、必要に応じて住人の行動を検知できる他のセンサ１０ｄとを設け、また提示手段１１としては実施形態１〜３と同様にスピーカ１１ａを設けるとともに必要に応じて他の提示手段１１ｂを設けてある。

一方ホームサーバ２には生活情報収集手段２１としてマイク１０ａに対応する音声認識手段２１ａの他に、人感センサ１０ｂに対応し、人感センサ１０ｂの人体検知信号に基づいて当該人感センサ１０ｂの検知領域、つまり当該住空間ＲＭ内に或る時間間隔において住人Ｍが存在するか存在しないかを示す検知データからなる生活情報を所定形式の生活情報に変換する変換手段２１ｂと、電源オン／オフ検知センサ１０ｃに対応し、電源オン／オフ検知センサ１０ｃの検知信号の時系列データから対象設備が或る時間間隔において使用されているか否かを示す使用／不使用データからなる生活情報に変換する変換手段２１ｃと、他のセンサ１０ｄが設けられる場合には当該センサ１０ｄの検知信号を所定の生活情報に変換する変換手段２１ｄを備え、これら変換手段２１ｂ〜２１ｄに対応した生活情報を一時的に夫々蓄積するデータ記憶手段２２ｂ〜２２ｄを設けてある。

そして意味情報抽出手段２３は各データ記憶手段２２ｂ〜２２ｄで蓄積記憶されている生活情報により当該住空間ＲＭ内に住人Ｍがいて、当該住空間ＲＭ内に設置している設備の電源がオン、すなわち当該設備が使用中であれば、住人Ｍがその設備を使った行動を行っているといった文脈を推定し、これにより住人Ｍの音声に対する認識結果であるテキストデータ記憶手段２２ａに記憶されているテキストデータに対して解釈を行い、先の文脈に沿ってテキストデータを抽出し、この抽出データを意味情報として意味情報記憶手段２４に蓄積する。この蓄積された意味情報に対応した音声合成信号を対話制御・音声合成手段２５ａから出力させて、住空間ＲＭに設けたスピーカ１１ａから住人Ｍに発話音声による生活支援情報を提示することになる。

尚他の提示手段１１ｂを住空間ＲＭに設けてある場合には、この提示手段１１ｂに対応する情報提示取得手段２５ｂにより意味情報記憶手段２４から読み出した意味情報に基づいて所定形式の提示データに変換し、この提示データを住空間ＲＭの提示手段１１ｂに送り住人Ｍに生活支援情報として提示する。
（実施形態５）
本実施形態は実施形態４の構成を基本的な構成とし、図５及び図６に示すように台所を構成する住空間ＲＭに設置されるものであって、空間インタフェース１のセンサ手段としては、台所に立つ人の音声を取り込むマイク１０ａ、キッチンディスプレイ装置１００の前、流し台１０９の前、ＩＨクッキングヒータ等の調理コンロ１０１の前に立つ人を夫々各別に検知する人感センサ１０ｂ_１〜１０ｂ_３と、キッチンディスプレイ装置１００、台所に設置される照明器具１０２、ＩＨクッキングヒータ等の電気使用の調理コンロ１０１の電源のオン／オフを夫々検知する設備電源オン／オフセンサ１０ｃ_１〜１０ｃ_３と、実施形態４のその他のセンサ手段に相当するものとして調理コンロ１０１上から調理の状況を撮像する撮像カメラ１０ｄを設けてある。

また空間インタフェース１の提示手段としては音声発話によって生活支援情報を提示するためのキッチンディスプレイ装置１００のスピーカ１１ａを用いるとともに、実施形態４のその他の提示手段に相当するものとして、キッチンディスプレイ装置１００の映像提示部１１ｂを利用している。

一方ホームサーバ２側には撮像カメラ１０ｄの撮像データから住人Ｍが発話したときのタイミングの画像データを抽出するキー画像抽出手段たる変換手段２１ｄを設けるとともに、この変換手段２１ｄで抽出される画像データを蓄積記憶するデータ記憶手段２２ｄを設けている。また各人感センサ１０ｂ_１〜１０ｂ_３に対応して変換手段２１ｂ_１〜２１ｂ_３と、データ記憶手段２２ｂ_１〜２２ｂ_３とを備えている。更に設備電源オン／オフセンサ１０ｃ_１〜１０ｃ_３に対応して変換手段２１ｃ_１〜２１ｃ_３と、データ記憶手段２２ｃ_１〜２２ｃ_３とを備えている。

また実施形態４の他の情報提示制御部に相当するものとしてとして表示機能１１ｂに対応する映像生成制御部２５ｂを設けてある。

ここで本実施形態における各人感センサ１０ｂ_１〜１０ｂ_３の反応パターンと設備電源オン／オフセンサ１０ｃ_１〜１０ｃ_３の反応パターンの組み合わせからなるパターン（１）〜（４）と意味情報抽出手段２３で推定される住人行動との関係を表１に示す。

而して、キッチンディスプレイ装置１００の人感センサ１０ｂ_１がオン（検知）、流し台１０９の前の人感センサ１０ｂ_２がオフ（非検知）、調理コンロ１０１の人感センサ１０ｂ_３がオフで且つキッチンディスプレイ装置１００がオン、調理コンロ１０１がオフ、照明器具１０２がオン又はオフの場合であるパターン（１）の状態が発生すると、変換手段２１ｂ_１〜２１ｂ_３から出力される或る時間間隔の在／不在の蓄積データと変換手段２１ｃ_１〜２１ｃ_３から出力される或る時間間隔の使用／不使用の蓄積データに基づいて意味情報抽出手段２３は、住人Ｍがキッチンディスプレイ装置１００の前に立って献立を検討中であると推定し、この意味情報を意味情報記憶手段２４に記憶させる。対話制御・音声合成手段２５ａはこの記憶される意味情報から献立支援の文脈を参照して住人Ｍと対話する音声合成信号を生成し、宅内ネットワークＮＴを通じて台所である住空間ＲＭに設けたスピーカ１１ａより発話させる。これ以降住人Ｍとの間でマイク１０ａとスピーカ１１ａとを用いた対話が対話制御・音声合成手段２５ａの制御の下で為されることになる。

ここで例えば住人Ｍが「昨日作ったものは何？」と問いかける生活情報をマイク１０ａに入力した場合には、ホームサーバ２では音声認識手段２１ａにより入力音声をテキストデータに変換し、テキストデータ記憶手段２２ａに記憶させる。意味情報検出手段２３は、このテキストデータ記憶手段２２ａに記憶されたテキストデータから意味情報を抽出して、抽出した意味情報からデータ記憶手段２２ｄに記憶されている昨晩の画像データ、つまり調理料理が撮像されている画像データから献立メニューを更に抽出し、この抽出した献立メニューを意味情報記憶手段２４に蓄積記憶させる。そして対話制御・音声合成手段２５ａは献立メニューから、例えば「トンカツでしたよ」という応答の音声合成信号を生成し、宅内ネットワークＮＴを通じて台所である住空間ＲＭに設けたスピーカ１１ａより発話させる。

また料理レシピ検索に関する住人Ｍからの問い合わせにも上述の対話と同様な手順により返答する。例えば、住人Ｍが「材料が鶏肉の料理を出して」と問いかける生活情報をマイク１０ａに入力した場合には、ホームサーバ２では音声認識手段２１ａにより入力音声をテキストデータに変換し、テキストデータ記憶手段２２ａに記憶させる。意味情報検出手段２３は、このテキストデータ記憶手段２２ａに記憶されたテキストデータから意味情報を抽出し、この意味抽出に基づいて料理レシピ検索機能部（図示せず）を働かして料理レシピのデータベースから鶏肉料理の代表的なメニューを検索させ、この検索結果として映像生成制御部２５ｂを通じて献立メニューの映像データを住空間ＲＭのキッチンディスプレイ装置１００に宅内ネットワークＮＴを通じて送り、映像提示部１１ｂにより映像からなる生活支援情報として提示する。

次にキッチンディスプレイ装置１００の人感センサ１０ｂ_１がオン、流し台１０９の前の人感センサ１０ｂ_２がオフ、調理コンロ１０１の人感センサ１０ｂ_３がオンで且つキッチンディスプレイ装置１００がオン、調理コンロ１０１がオン、照明器具１０２がオン又はオフの場合であるパターン（２）の状態が発生すると、変換手段２１ｂ_１〜２１ｂ_３から出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１〜２１ｃ_３から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人Ｍが調理コンロ１０１の火（誘導加熱）を用いて調理中であると推定し、この意味情報を意味情報記憶手段２４に記憶させる。このパターン（２）では調理の手順を登録・記録するものとしてシステムが動作することになり、住人Ｍが発話してマイク１０ａを通じてその音声が生活情報として入力されると、音声認識手段２１ａの音声認識開始の信号をトリガとしてその入力段階の調理コンロ１０１上を撮像した画像データを変換手段２１ｄより抽出して記憶手段２２ｄで時系列的に蓄積させる。例えば「湯を沸かします」の発話があって、マイク１０ａでその音声が生活情報として取り込まれてくると、音声認識手段２１ａの音声認識開始の信号をトリガとしてその段階の画像データをデータ記憶手段２２ｄに記憶させ、更に「湯が沸き立ったらスパゲッティをぱらぱらと入れます」と住人Ｍの発話があって、マイク１０ａでその音声が生活情報として取り込まれてくると、上述のようにその段階の画像データをデータ記憶手段２２ｄに記憶させ、次に「湯が溢れそうになったので差し水をします」と住人Ｍの発話があると、上述と同様にその段階の画像データをデータ記憶手段２２ｄに記憶させる。このようにして住人Ｍが料理過程の要所要所で発話するタイミングに合わせて、その段階の調理コンロ１０１上を撮像した画像データを時系列的に蓄積記録することで、住人Ｍ独自の料理レシピを記録することができることになり、この料理レシピが料理レシピ検索時にキッチンディスプレイ装置１００の映像提示部１１ｂから生活支援情報として出力される。

本実施形態では撮像カメラ１０ｄの連続的撮像画像データから発話タイミングの画像フレームのみを抽出して記録させるようになっているが、ホームサーバ２側で例えば音声認識開始検知されると、宅内ネットワークＮＴを通じて撮像カメラ１０を撮像動作させてその画像データをホームサーバ２へ送らせ、データ記憶手段２２ｄで記憶させるようにしても良いし、空間インタフェース１にマイク２ａに音声入力があると、撮像カメラ１０ｄを撮像動作させてその画像データをホームサーバ２へ送らせ、データ記憶手段２２ｄで記録すさせるようにしても良い。

またキッチンディスプレイ装置１００の人感センサ１０ｂ_１がオフ、流し台１０９の前の人感センサ１０ｂ_２がオフ、調理コンロ１０１の人感センサ１０ｂ_３がオフで且つキッチンディスプレイ装置１００がオン、調理コンロ１０１がオン、照明器具１０２がオン又はオフの場合であるパターン（３）の状態が発生すると、変換手段２１ｂ_１〜２１ｂ_３から出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１〜２１ｃ_３から出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃから出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、調理コンロ１０１の使用中（火が点いている）であるのに、台所に住人Ｍがいないので異常と推定し、この意味情報を意味情報記憶手段２４に記憶させる。このパターン（３）では危険発生と判断されるパターンで、対話制御・音声合成手段２５ａは意味情報から、例えば「コンロの火を点けっぱなしですよ」と警告するための音声合成信号を生成し、宅内ネットワークＮＴを通じて住空間ＲＭに設けたスピーカ１１ａより警告を音声によって発生提示させる。つまりこの警告音声が生活支援情報となる。

更にキッチンディスプレイ装置１００の人感センサ１０ｂ_１がオフ、流し台１０９の前の人感センサ１０ｂ_２がオン、調理コンロ１０１の人感センサ１０ｂ_３がオフで且つキッチンディスプレイ装置１００がオン又はオフ、調理コンロ１０１がオフ、照明器具１０２がオンの場合であるパターン（４）の状態が発生すると、変換手段２１ｂ_１〜２１ｂ_３から出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１〜２１ｃ_３から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は流し台１０９の前で住人Ｍが片付け（洗い物）中であると推定し、この意味情報を意味情報記憶手段２４に記憶させる。この記憶された意味情報から住人Ｍからシステムへの問いかけは無いものとして、音声認識手段２１ａに音声入力が無いように制御する。

尚またディスプレイ装置１００には料理レシピの検索機能が備わっている。つまりディスプレイ装置１００の表示面に設けたタッチパネル装置（図示せず）を利用した検索操作を行うと、操作入力データが宅内ネットワークＮＴを通じてホームサーバ２側に設けた料理レシピ機能部（図示せず）に送られ、その操作入力データに基づいて料理レシピ機能部がデータベース（図示せず）から料理レシピを検索し、その検索結果を映像生成制御部２５ｂから映像信号として受け取って、映像提示部１１ｂに表示させることができるようになっている。
（実施形態６）
本実施形態は、住空間ＲＭが寝室の場合に適用させたもので、実施形態４の構成から他のセンサ手段１０ｄや他の提示手段１１ｂに相当する構成及びそれ対応したホームサーバ２側の構成を除いたものであって、図７，図８に示すように空間インタフェース１のセンサ手段としてベッドＢＤの枕元側に内蔵したマイク１０ａと、同様にベッドＢＤの枕元側に内蔵し、ベッドＢＤ上に人が存在するか存在しないかを検知する人感センサ１０ｂと、照明器具１０２の電源のオン／オフを検知する設備電源オン／オフセンサ１０ｃとを設け、提示手段１１としてベッドＢＤの枕元側に内蔵したスピーカ１１ａとを備えて空間インタフェース１とを設けてある。ホームサーバ２側にはマイク１０ａに対応する音声認識手段２１ａ及びテキストデータ記憶手段２２ａ、人感センサ１０ｂに対応する変換手段２１ｂ及びデータ記憶手段２２ｂ、設備電源オン／オフセンサ１０ｃに対応する変換手段２１ｃ及びデータ記憶手段２２ｃを備えるとともに、意味情報抽出手段２３，意味情報記憶手段２４、対話制御・音声合成手段２５ａを備えている。

ここで本実施形態における人感センサ１０ｂの反応パターンと設備電源オン／オフセンサ１０ｃの反応パターンの組み合わせからなるパターン（１）〜（４）と意味情報抽出手段２３で推定される住人行動との関係を表２に示す。

而して、人感センサ１０ｂがオン（検知）、照明器具１０２がオン場合であるパターン（１）の状態が発生すると、変換手段２１ｂから出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃから出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人ＭがベッドＢＤに入って眠る前と推定し、この意味情報を意味情報記憶手段２４に記憶させる。対話制御・音声合成手段２５ａはこの蓄積される意味情報から入眠前の文脈を参照して住人Ｍと対話する音声合成信号を生成し、宅内ネットワークＮＴを通じて寝室である住空間ＲＭに設けたスピーカ１１ａより発話させる。これ以降住人Ｍとの間でマイク１０ａとスピーカ１１ａとを用いた対話が為されることになる。

ここで例えば住人Ｍが「明日の朝は６時にセットして」と発話して、生活情報としてマイク１０ａを通じて入力された場合には、ホームサーバ２では音声認識手段２１ａにより入力音声をテキストデータに変換し、テキストデータ記憶手段２２ａに記憶させる。意味情報検出手段２３は、このテキストデータ記憶手段２２ａに記憶されたテキストデータから目覚ましのセットであると認識して、その意味情報を意味情報記憶手段２４に記憶させる。そして対話制御・音声合成手段２５ａは記憶された意味情報から「朝６時に目覚ましをセットするのですね」などという生活支援情報となる返答を示す音声合成信号を生成し、宅内ネットワークＮＴを通じて寝室である住空間ＲＭに設けたスピーカ１１ａより発話させる。またホームサーバ２に備わっている目覚まし時計機能（図示せず）に対して目覚まし時刻をセットする制御処理を行う。

次に人感センサ１０ｂがオン、照明器具１０２がオフの場合であるパターン（２）の状態が発生すると、変換手段２１ｂから出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃから出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人ＭがベッドＢＤで睡眠中であると推定し、この意味情報を意味情報記憶手段２４に記憶させる。対話制御・音声合成手段２５ａはホームサーバ２内の目覚まし時計機能からの時刻情報に基づいて目覚ましのセット時刻に近づくと、住人Ｍを起こすようなメッセージを音声合成信号により生成する。例えば６時５分前になると、「５分前ですよ」、６時丁度になると「朝６時ですよ、おはようございます」、６時を過ぎてもベッドＢＤから離床しない場合、つまり人感センサ１０ｂが人の存在を検知し続けている場合には「６時を過ぎましたよ、おきましょう」など言うメッセージを音声合成信号により順次生成し、宅内ネットワークＮＴを通じて寝室である住空間ＲＭに設けたスピーカ１１ａより発話させる。従って、これらのメッセージが住人Ｍを目覚ませるための生活支援情報となる。

更に人感センサ１０ｂがオフ、照明器具１０２がオンの場合であるパターン（３）の状態が発生すると、変換手段２１ｂから出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃから出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人ＭがベッドＢＤから離床しているが照明は点けたままと推定し、この意味情報を意味情報記憶手段２４に記憶させる。ここで住人Ｍが予めシステム設定としてパターン（３）の場合住人Ｍにメッセージを通知（提示）するように設定しておれば、この設定に対応して対話制御・音声合成手段２５ａは、例えば「ベッドの照明を点けたままですよ」と言うようなメッセージを音声合成信号により生成し、宅内ネットワークＮＴを通じて寝室である住空間ＲＭに設けたスピーカ１１ａより発話させる。つまりこのメッセージが住人Ｍに注意を与える生活支援情報となる。

尚ホームサーバ２には対話制御・音声合成手段２５ａによるメッセージ通知の動作を上述のように設定する機能を有するものとする。

更にまた人感センサ１０ｂがオフ、照明器具１０２がオフの場合であるパターン（４）の状態が発生すると、変換手段２１ｂから出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃから出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人ＭがベッドＢＤから離床中であると推定する。この場合にはホームサーバ２から住人Ｍに生活支援情報を提示する動作は特に行わない。

（実施形態７）
本実施形態はリビングのような住空間ＲＭに対応させたもので、図９，図１０に示すようにこの住空間ＲＭには壁埋め込みのディスプレイ装置１０４が設置されるとともに、このディスプレイ装置１０４の前に運動器具１０５が設置されている。一方、空間インタフェース１のセンサ手段１０として、ディスプレイ装置１０４に組み込まれたマイク１０ａと、ディスプレイ装置１０４に内蔵され、ディスプレイ装置１０４の前に人が存在しているか存在していないかを検知する人感センサ１０ｂ_１と、運動器具１０５に内蔵され、運動器具１０５上に人が存在しているか存在していないかを検知する人感センサ１０ｂ_２と、照明器具１０２の電源のオン／オフを検知する設備電源オン／オフセンサ１０ｃ_１と運動機器１０５の電源のオン／オフを検知する設備電源オン／オフセンサ１０ｃ_２とを設け、また提示手段１１としてディスプレイ装置１０４に備わったスピーカ１１ａと、ディスプレイ装置１０４の映像提示部１１ｂとを用いている。尚ディスプレイ装置１０４はＴＶ放送の受像も可能となっている。

つまりセンサ手段の人感センサ１０ｂの数と設備電源オン／オフセンサ１０ｃの数がそれぞれ１つずつ少なくなっている以外は実施形態７の空間インタフェース１のハードウェア構成と基本的には同じとなっている。またこれに対応してホームサーバ２側に設けられる人感センサ１０ｂに対応する変換手段２１ｂ及びデータ記憶手段２２ｂと、設備電源オン／オフセンサ１０ｃに対応する変換手段２１ｃ及び記憶手段２２ｃとの数を夫々のセンサ数に対応させいる以外は実施形態７のハードウェア構成と基本的には同じである。

尚基本的な構成以外に本実施形態特有の構成として、運動器具１０５には運動者の運動データ（消費カロリー、運動時間、運動強さ等）を測定するセンサ手段とその運動データをホームサーバ２に宅内ネットワークＮＴを通じて送る運動データ測定部１０ｅを備え、一方ホームサーバ２には送られてくる運動データを生活情報として変換する変換手段２１ｅ及びデータ記憶手段２２ｅを備えている。

ここで本実施形態における各人感センサ１０ｂ_１，１０ｂ_２の反応パターンと設備電源オン／オフセンサ１０ｃ_１，１０ｃ_３の反応パターンの組み合わせからなるパターン（１）〜（４）と意味情報抽出手段２３で推定される住人行動との関係を表３に示す。

而して、ディスプレイ装置１０４の人感センサ１０ｂ_１がオン（検知）、運動器具１０５の人感センサ１０ｂ_２がオフ（非検知）で、且つ照明器具１０４がオン、運動器具１０５がオン、ディスプレイ装置１０４がオンの場合であるパターン（１）の状態が発生すると、変換手段２１ｂ_１、２１ｂ_２から出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１，２１ｃ_２から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人Ｍがディスプレイ装置１０４の前の運動器具１０５に跨り、ディスプレイ装置１０４の映像を見ながら運動中であると推定し、この意味情報を意味情報記憶手段２４に記憶させる。

一方運動中の住人Ｍが例えば「すっきりした」と言った場合、マイク１０ａを通じて生活情報としてホームサーバ２側に宅内ネットワークＮＴを通じて音声認識手段２１ａに送られ、音声認識手段２１ａでテキストデータに変換され、テキストデータ記憶手段２２ａに時系列的に記憶される。そして意味情報抽出手段２３は記憶されたテキストデータから運動に関するコメントであると上述の推定に基づいて判断し、意味情報記憶手段２４に時系列的に記憶する。一方運動器具１０５から運動中に送られてくる運動データは変換手段２１ｅで生活情報として変換してデータ記憶手段２１ｅに記憶される。このデータ記憶手段２０ｅで記憶される生活情報から運動状況を推定し、その推定内容を意味情報として意味情報記憶手段２４に記憶させる。

ここで映像生成制御部２５ｂは意味記憶情報記憶手段２４で記憶された意味情報から例えば運動中のアドバイスなどのコメントを生活支援情報として表示する映像を生成し、この映像信号をディスプレイ装置１０４に宅内ネットワークＮＴを通じて送り、映像提示部１１ｂに映像として提示する処理を行うようにしても良い。

次に、ディスプレイ装置１０４の人感センサ１０ｂ_１がオン、運動器具１０５の人感センサ１０ｂ_２がオフで、且つ照明器具１０４がオン、運動器具１０５がオフ、ディスプレイ装置１０４がオンの場合であるパターン（２）の状態が発生すると、変換手段２１ｂ_１、２１ｂ_２から出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１，２１ｃ_２から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人Ｍがディスプレイ装置１０４の前で映像を見っていると推定し、この意味情報を意味情報記憶手段２４に記憶させる。この記憶された意味情報に対しては対話制御・音声合成手段２５ａ及び映像生成制御部２５ｂによる生活支援情報の提示動作を行わない。

またディスプレイ装置１０４の人感センサ１０ｂ_１がオフ、運動器具１０５の人感センサ１０ｂ_２がオフで、且つ照明器具１０４がオフ、運動器具１０５がオン、ディスプレイ装置１０４がオフの場合であるパターン（３）の状態が発生すると、変換手段２１ｂ_１、２０ｂ_２から出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１，２１ｃ_２から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人Ｍが運動器具１０５に跨って運動中であるがディスプレイ装置１０４の映像を見ていないと推定し、この意味情報を意味情報記憶手段２４に記憶させる。

一方運動中の住人Ｍが例えば「すっきりした」と言った場合、マイク１０ａを通じて生活情報としてホームサーバ２側に宅内ネットワークＮＴを通じて音声認識手段２１ａに送られ、音声認識手段２１ａでテキストデータに変換され、テキストデータ記憶手段２２ａに時系列的に記憶される。そして意味情報抽出手段２３は記憶されたテキストデータから運動に関するコメントであると上述の推定に基づいて判断し、意味情報記憶手段２４に時系列的に記憶する。一方運動器具１０５の運動データ測定部１０ｅから運動中に送られてくる運動データは変換手段２１ｅで生活情報として変換され、データ記憶手段２２ｅに記憶される。このデータ記憶手段２２ｅで記憶される生活情報から運動状況を推定し、その推定内容を意味情報として意味情報記憶手段２４に記憶させる。

ここでは、生活支援情報の提示は行われないが、勿論映像生成制御手段２５ｂが意味記憶情報記憶手段２４で記憶された意味情報から例えば運動中のアドバイスなどのコメントを生活支援情報として表示する映像を生成し、この映像信号をディスプレイ装置１０４に宅内ネットワークＮＴを通じて送り、映像提示部１１ｂに映像として提示する処理を行うようにしても良い。

また更にディスプレイ装置１０４の人感センサ１０ｂ_１がオフ、運動器具１０５の人感センサ１０ｂ_２がオフで、且つ照明器具１０４がオフ、運動器具１０５がオフ、ディスプレイ装置１０４がオフの場合であるパターン（４）の状態が発生すると、変換手段２１ｂ_１、２１ｂ_２から出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１，２１ｃ_２から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人Ｍがディスプレイ装置１０４の前に存在せず、また運動器具１０５にも跨っていないと推定し、この意味情報を意味情報記憶手段２４に記憶させる。この記憶された意味情報がディスプレイ装置１０４及び運動器具１０５が使用されていないことを示すため対話制御・音声合成手段２５ａ及び映像生成制御部２５ｂによる生支援情報の提示動作を行わない。
（実施形態８）
本実施形態も実施形態４の構成を基本的な構成とし、図１１，図１２に示すように洗面所を構成する住空間ＲＭに設置されるものであって、空間インタフェース１のセンサ手段としては、洗面化粧台１０６に埋設されたディスプレイ装置１０７に内蔵され、洗面化粧台１０６の前に立つ人の音声を取り込むマイク１０ａ、洗面化粧台１０６に内蔵され、洗面化粧台１０６の前に人が存在しているか存在していないかを検知する人感センサ１０ｂと、洗面化粧台１０６に装着された照明器具１０２の電源のオン／オフを検知する設備電源オン／オフセンサ１０ｃ_１及び洗面化粧台１０６の電源コンセントに接続されるヘヤードライヤー１０８の電源のオン／オフを検知する設備電源オン／オフセンサ１０ｃ_２と、洗面化粧台１０６に埋設され、洗面化粧台１０６の前に立つ人を撮像する撮像カメラ１０ｄとを備え、また提示手段としては洗面化粧台１０６に埋設されたディスプレイ装置１０７に内蔵されたスピーカ１１ａを用いるとともに、実施形態４のその他の提示手段に相当するものとして、ディスプレイ装置１０７の映像提示部１１ｂを利用している。

一方ホームサーバ２側には撮像カメラ１０ｄの撮像データから住人Ｍが発話したときのタイミングの画像データを抽出するキー画像抽出手段をその他の変換手段２１ｄとして備えるとともに、この変換手段２１ｄで抽出される画像データを時系列的に蓄積記憶する変データ記憶手段２２ｄとを備えている。また人感センサ１０ｂに対応して変換手段２１ｂと、データ記憶手段２２ｂとを、また設備電源オン／オフセンサ１０ｃ_１，１０ｃ_２に対応して変換手段２１ｃ_１，２１ｃ_２と、データ記憶手段２２ｃ_１，２２ｃ_２とを備えている。その他の構成は実施形態４に準ずるものとする。

つまりハードウェア構成は基本的には台所に適用させた実施形態５とほぼ同じ構成となっている。

ここで本実施形態における人感センサ１０ｂの反応パターンと設備電源オン／オフセンサ１０ｃ_１，１０ｃ_２の反応パターンの組み合わせからなるパターン（１）〜（４）と意味情報抽出手段２３で推定される住人行動との関係を表１に示す。

而して、洗面化粧台１０６内蔵の人感センサ１０ｂがオンで且つ照明器具１０２がオン、ヘヤードライヤー１０８がオンの場合であるパターン（１）の状態が発生すると、変換手段２１ｂから出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１，２１ｃ_２から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人Ｍが洗面化粧台１０６の前に立ち、ヘヤードライヤー１０８を使用中であると推定し、この意味情報を意味情報記憶手段２４に記憶させる。

そしてこの記憶された意味情報は、ヘヤードライヤー１０８の運転音が大きく、住人Ｍとの音声対話には不向きであるため対話制御・音声合成手段２５ａは音声による生活支援情報の提示のための処理は行わない。

次に、洗面化粧台１０６内蔵の人感センサ１０ｂがオンで且つ照明器具１０２がオン又はオフで、ヘヤードライヤー１０８がオフの場合であるパターン（２）の状態が発生すると、変換手段２１ｂから出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１，２１ｃ_２から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人Ｍが洗面化粧台１０６の前に立っていると推定し、この意味情報を意味情報記憶手段２４に記憶させる。

そしてこの記憶された意味情報に基づいて、対話制御・音声合成手段２５ａは洗面所固有の文脈、例えば髪型チェック等を示す生活支援情報となる音声合成信号を生成し、宅内ネットワークＮＴを通じてディスプレイ装置１０７のスピーカ１１ａへ送って発話させる。この発話をきっかけとして住人Ｍと宅内システムとの間でマイク１０ａとスピーカ１１ａとを介して対話が開始され、この対話において住人Ｍが例えば「髪型がきまったわ」と発話すると、マイク１０ａでその音声が生活情報として取り込まれてホームサーバ２へ宅内ネットワークＮＴに送られると、ホームサーバ２では音声認識手段２１ａにより入力音声をテキストデータに変換し、テキストデータ記憶手段２２ａに記憶させる。意味情報検出手段２３は、このテキストデータ記憶手段２２ａに記憶されたテキストデータから意味情報を抽出し、この意味情報を意味情報記憶手段２４に記憶させる。一方この意味情報をトリガとして撮像カメラ１０ｄにより住人Ｍを撮像した画像データを変換手段２１ｄが抽出してデータ記憶手段２２ｄに記憶させる。一方の撮像した画像データから映像生成制御部２５ｂは、ディスプレイ装置１０７の映像提示部１１ｂで提示する生活支援情報である映像信号を生成し、宅内ネットワークＮＴを通じてディスプレイ装置１０７へ送り、ディスプレイ装置１０７の映像提示部１１ｂにて映し出させる。

また、洗面化粧台１０６内蔵の人感センサ１０ｂがオフで且つ照明器具１０２がオン、ヘヤードライヤー１０８がオンの場合であるパターン（３）の状態が発生すると、変換手段２１ｂから出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１，２１ｃ_２から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人Ｍが洗面化粧台１０６の前にいないが、照明器具１０２が点灯し、ヘヤードライヤー１０８に電源が入っていると推定し、この意味情報を意味情報記憶手段２４に記憶させる。そしてこの記憶された意味情報に基づいて、対話制御・音声合成手段２５ａは「ヘヤードライヤーのスイッチが入ったままですよ」というメッセージに対応した音声合成信号を生成し、宅内ネットワークＮＴを通じてディスプレイ装置１０７のスピーカ１１ａへ送って発話させる。つまり、住人Ｍに注意を喚起する生活支援情報を提示する。

次に、洗面化粧台１０６内蔵の人感センサ１０ｂがオフで且つ照明器具１０２がオン、ヘヤードライヤー１０８がオフの場合であるパターン（４）の状態が発生すると、変換手段２１ｂから出力される或る時間間隔の在／不在の記憶データと変換手段２１ｃ_１，２１ｃ_２から出力される或る時間間隔の使用／不使用の記憶データに基づいて意味情報抽出手段２３は、住人Ｍが洗面化粧台１０６の前にいないが、照明器具１０２が点灯し、ヘヤードライヤー１０８は使用されていないと推定し、この意味情報を意味情報記憶手段２４に記憶させる。そしてこの記憶された意味情報に基づいて、対話制御・音声合成手段２５ａ及び映像生成制御部２５ｂは動作処理は行わない。勿論住人Ｍがホームサーバ２にパターン（４）の場合には、住人Ｍにこの状態を知らせるようにするように予め設定していれば、対話制御・音声合成手段２５ａは所定のメッセージに対応する音声合成信号を生成して通知するようにすることもできる。

また本実施形態では撮像カメラ１０ｄの連続的撮像画像データから発話タイミングの画像フレームのみを抽出して記録させるようになっているが、ホームサーバ２側で例えば音声認識開始検知されると、宅内ネットワークＮＴを通じて撮像カメラ１０ｄを撮像動作させてその画像データをホームサーバ２へ送らせ、データ記憶手段２２ｄで記憶させるようにしても良い。

また上述のメッセージを音声発話のみでなく、ディスプレイ装置１０７の映像提示部１１ｂによって映像表示するようにしても良い。

ところで、実施形態１〜７のホームサーバ２の構成は各別の住空間Ｈに対応させた形で示しているが、実際には一戸の住宅にホームサーバ２が設けられて対象とする住空間Ｈに必要な構成を備え、各住空間Ｈに対して共用できる構成は一つとするものである。

（ａ）は本発明の基本となる全体構成図、（ｂ）は本発明の空間インタフェースとホームサーバの基本構成図である。実施形態１の空間インタフェースとホームサーバの構成図である。実施形態３の空間インタフェースとホームサーバの構成図である。実施形態４の空間インタフェースとホームサーバの構成図である。実施形態５の概略全体構成図である。実施形態５の空間インタフェースとホームサーバの構成図である。実施形態６の概略全体構成図である。実施形態６の空間インタフェースとホームサーバの構成図である。実施形態７の概略全体構成図である。実施形態７の空間インタフェースとホームサーバの構成図である。実施形態８の概略全体構成図である。実施形態８の空間インタフェースとホームサーバの構成図である。

符号の説明

１空間インタフェース
１０センサ手段
１１提示手段
２ホームサーバ
２１生活情報収集手段
２２意味情報提示制御手段
２２生活情報記憶手段
２３意味情報抽出手段
２４意味情報記憶手段
Ｍ住人
ＲＭ住空間
ＮＴ宅内ネットワーク
Ｘ天井

Claims

住空間に設けられ、前記住空間に存在する住人の行動によって発生する生活情報を収集するとともに、前記住人の生活を支援するための生活支援情報を前記住人へ提供する空間インタフェースと、住空間から収集される前記生活情報を管理するサーバと、を備え、前記空間インタフェースと前記サーバとが宅内に設けられたネットワークを介して情報通信を行う宅内システムにおいて、
前記空間インタフェースは、前記生活情報を検知するセンサ手段と、住人に生活支援情報を提示する提示手段とを備え、前記センサ手段は、各住空間に配置されている電気設備の電源のオン／オフを前記生活情報として検知する設備電源オン／オフセンサと、前記電気設備の前の人の存否を前記生活情報として検知する人感センサとを含み、前記空間インタフェースは、前記センサ手段から取得した生活情報を宅内ネットワークを介して前記サーバに送信し、
前記サーバは、該センサ手段から送信された生活情報を蓄積する記憶手段と、該センサ手段から送信されてきた生活情報に応じて該記憶手段に蓄積した生活情報を参照し、前記人感センサの反応パターンに基づく前記住人が存在する住空間及び前記電気設備オン／オフセンサの反応パターンに基づく前記住人による電気設備の操作内容との組み合わせから推定した前記住人の行動を意味情報として抽出する意味情報抽出手段と、前記意味情報抽出手段により抽出された意味情報に応じて前記提示手段へ提示する生活支援情報を生成する制御手段とを備え、該生活支援情報を宅内ネットワークを介して前記空間インタフェースの前記提示手段へ送信することを特徴とする宅内システム。
前記センサ手段として、前記住空間に設けられた音声取得手段を備え、前記サーバは、該音声取得手段の取得した音声を認識する音声認識手段を備え、
前記音声認識手段は予め収録された住空間から生じるノイズ音を記憶するノイズ音記憶部と、該ノイズ音記憶部で記憶したノイズ音を重畳した音響モデルを生成する音響生成部とを備えていることを特徴とする請求項１記載の宅内システム。
前記センサ手段として、前記住空間に設けられた音声取得手段を備え、前記サーバは、取得された音声に重畳するノイズ成分を除去してノイズ成分を除去した音声を認識する音声認識手段を備えていることを特徴する請求項１記載の宅内システム。
前記音声認識手段は、予め収納された住空間から生じるノイズ音を記憶するノイズ音記憶部と、取得された音声から該ノイズ音記憶部で記憶したノイズ音成分を除去した音響モデルを生成する音響生成部とを備えたことを特徴とする請求項３記載の宅内システム。
前記センサ手段として、各住空間に人の存否を検知するための検知手段を備え、
前記サーバーの前記制御手段は、前記人検知手段の検知信号の有無に基づいて住人が存在する住空間を認識するとともに、当該認識した住空間に応じて前記提示手段で提示する生活支援情報を制御することを特徴とする請求項１乃至４の何れか記載の宅内システム。
前記センサ手段として、各住空間に音声取得手段と、前記検知手段としての第２の人感センサとを備え、
前記サーバは、該音声取得手段の取得した音声を認識する音声認識手段とを備えるとともに、前記制御手段として音声認識結果に基づいたテキストデータにより対話制御を行う対話制御手段と対話制御に応動して応答音声を生成する音声合成手段とを備え、
前記対話制御手段は、前記第２の人感センサの人体検知信号の有無に基づいて住人が存在する住空間を認識するとともに、当該認識した住空間に応じた対話内容に制御することを特徴とする請求項５記載の宅内システム。
前記センサ手段として、住空間に設けられた音声取得手段を備え、
前記サーバは、該音声取得手段の取得した音声を認識する音声認識手段とを備えるとともに、前記制御手段として音声認識結果に基づいたテキストデータにより対話制御を行う対話制御手段と対話制御に応動して応答音声を生成する音声合成手段とを備え、
前記対話制御手段は、前記設備電源オン／オフセンサの検知信号に基づいて住人が存在する住空間を認識するとともに、当該認識した住空間に応じた対話内容に制御することを特徴とする請求項５記載の宅内システム。
前記住空間内の人物を特定する個人認識手段を備え、前記記憶手段は、個人毎の生活情報の履歴を記憶し、前記制御手段は、前記個人認識手段の個人認識結果に基づいて前記提示手段へ提示する生活支援情報を制御することを特徴とする請求項１乃至７の何れか記載の宅内システム。
前記センサ手段として、前記住空間に設けられた音声取得手段を備え、
前記サーバは、該音声取得手段の取得した音声を認識する音声認識手段を備えるとともに、前記制御手段として音声認識手段の認識結果のテキストデータに基づく対話制御を行う対話制御手段と対話制御に応動して応答音声を生成する音声合成手段とを備え、
前記個人認識手段は、前記音声認識手段が予め前記記憶部に記憶された住人の音声と、該音声取得手段の取得した音声とを比較して、現在発話している住人を特定認識し、
前記対話制御手段は、特定認識された住人に適合した対話内容に制御することを特徴とする請求項８記載の宅内システム。
前記センサ手段と、前記提示手段は住空間の周囲の壁や設備に埋設されていることを特徴とする請求項１乃至９の何れか記載の宅内システム。