以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。
図1は、第1実施形態による住宅管理システム10の概略図であり、図2は、図1に示された住宅管理システム10に含まれる家30の在宅状況の模式図である。また、図2(A)は、家30の1階31における在宅状況の模式図であり、図2(B)は、家30の2階32における在宅状況の模式図である。
家30の住人の家族構成は、例えば父親である第1住人61と、例えば母親である第2住人63と、例えば第1住人61および第2住人63の子供である第3住人65との3人家族である。第3住人65は、例えば中学生未満の未成年者である。また、本実施形態では、第1住人61、第2住人63および第3住人65は何れも、自ら通常の生活を送ることができる健常な者とする。
住宅管理システム10は、家30の他に、図2に示される住宅管理装置100と、家30の屋内に設置されているルータ50と、ルータ50および通信ネットワーク40を介して住宅管理装置100と無線通信する第1通信端末71および第2通信端末73とを含む。図1に示される通り、第1通信端末71は第1住人61によって所持され、第2通信端末73は第2住人63によって所持される。本実施形態では、第3住人65は通信端末を所持していないが、任意の通信端末、例えば第1住人61および第2住人63のみと連絡が取れるよう第1通信端末71および第2通信端末73と通信可能な通信端末を所持していてもよい。
本実施形態における住宅管理装置100は、1階31の表口81に設置されている装置本体101と、1階31の裏口83に設置されている裏口センサ93と、1階31の小寝室35の小寝室窓85に設置されている小寝室センサ95と、1階31の大寝室37の大寝室窓87に設置されている大寝室センサ97とを備える。住宅管理装置100は更に、2階32の居間39の居間窓89に設置されている居間センサ99を備える。なお、小寝室35は主に第3住人65によって使用され、大寝室37は主に第1住人61および第2住人63によって使用され、居間39は全住人に使用される。また、表口81、裏口83、小寝室窓85、大寝室窓87および居間窓89は、出入口の一例である。
裏口センサ93は、例えば一対の赤外線センサであって、裏口83の近くにおける、屋内の壁面に一方が設置され、屋外の壁面に他方が設置され、検知対象物が裏口83を通過することを検知する。裏口センサ93は、このような例示的な構成を有することにより、裏口83から屋外への退出、および、裏口83から屋内への進入を識別して検知する。なお、裏口センサ93が一対の赤外線センサである場合には、例えば図2に示す設置個所に赤外線を発光する発光部を配置し、発光部によって発射される赤外線を受光する受光部を追加で配置してもよい。また、裏口83のドア枠の内側の仮想平面をスキャニングしてもよい。
小寝室センサ95、大寝室センサ97および居間センサ99は何れも、裏口センサ93の上記構成と同様の構成を有する。よって、それぞれは、小寝室窓85、大寝室窓87および居間窓89での出入りを識別可能に検知する。
また、装置本体101は、被写体を撮像する撮像部105を備える。撮像部105は、表口81のドアの屋内側に設置されて、例えば表口81から屋外に退出しようとする人の顔が視野内に含まれるよう玄関内を撮像する屋内カメラと、表口81のドアの屋外側に設置されて、例えば表口81から屋内に進入しようとする人の顔が視野内に含まれるよう玄関外を撮像する屋外カメラとを含む。なお、上述した撮像部105、裏口センサ93、小寝室センサ95、大寝室センサ97および居間センサ99は、屋内と屋外との間の単数または複数の出入口での出入りを検知する検知部の一例である。以降の説明において、撮像部105、裏口センサ93、小寝室センサ95、大寝室センサ97および居間センサ99の一部又は全部を総称して、検知部102と呼ぶ場合がある。
住宅管理装置100は更に、家30の屋内において、表口81に近い玄関の壁面に設置されている表口操作盤21と、小寝室35の壁面に設置されている小寝室操作盤25と、大寝室37の壁面に設置されている大寝室操作盤27と、居間39の壁面に設置されている居間操作盤29とを備える。これらの何れの操作盤も、家30の在宅者が、表口81のドアに設置されている装置本体101を直接操作することなく、表口81を施解錠する操作をしたり、表口81の自動施錠モードをオンおよびオフにする操作をしたり、出入口での警戒を設定および解除する操作をしたりすることができるように、タッチパネルや押しボタンなどの入力部を有する。
装置本体101には、人工知能(AI)が組み込まれており、人工知能は、家30の複数の出入口での出入りと屋内の在宅状況との関係を学習し、学習結果に基づいて、上記の検知部で検知した出入りから在宅状況を推定する。在宅状況の一例は、在宅者の有無、在宅者の人数、例えば健常な大人がいる、子供や老人しかいない、といった在宅者の人員構成、在宅者が誰であるか、出入口から屋外に退出しようとする在宅者の外出時間の長短、などである。また、在宅者とは、家30の住人であって家30に在宅している者の他に、家30への来訪者であって家30に在宅している者も含む。なお、上記の検知部で出入りを検知する対象として、人間の他にペットなどの他の動物を含めてもよい。
装置本体101は更に、推定された在宅状況に基づいて、互いに異なる複数の処理の中から、特定の処理を実行する。
このような住宅管理システム10によれば、人工知能を利用することで、互いに処理内容が異なる特定の処理の切り替え及び実行を自動化し、ユーザによる手動操作を不要とすることができる。
図3は、住宅管理装置100のブロック図である。住宅管理装置100は、上述の通り、装置本体101の他に、裏口センサ93、小寝室センサ95、大寝室センサ97および居間センサ99と、表口操作盤21、小寝室操作盤25、大寝室操作盤27および居間操作盤29の操作盤群とを含む。装置本体101は、撮像部105の他に、表口81から出ようとする在宅者が表口81を施解錠するための鍵を所持しているか否かを検知する鍵所持検知部107を備える。上述した検知部102は、鍵所持検知部107を含む。
装置本体101は更に、表口81のドアハンドルの操作を検知して撮像部105に出力するハンドル操作検知部110を備える。上述の撮像部105は、ハンドル操作検知部110からの入力をトリガとして、表口81の屋内側および屋外側の撮像を開始する。撮像部105は、撮像を開始してから予め定められた時間が経過すると、撮像を終了する。なお、装置本体101はハンドル操作検知部110を備えなくてもよく、この場合、撮像部105は、常時撮像していてもよく、他のセンサ、例えば表口81の開閉扉を検知する開閉扉センサからの入力をトリガとして撮像を開始してもよい。
装置本体101は更に、上述の人工知能を有する推定部113と、外部からの音声入力やタッチ入力を受け付けて入力された情報を推定部113に出力する入力部115と、裏口センサ93等と有線又は無線により通信する通信部111とを備える。装置本体101は更に、推定部113からの入力により特定の音声を出力する音声出力部116と、多種多様な情報、例えば上述の特定の音声のデータを格納する格納部117とを備える。
入力部115は表口81の屋内側に配されており、音声出力部116は表口81の屋内側および屋外側のそれぞれに配されている。通信部111は、裏口センサ93等で検知した各出入口での出入りの情報を受信すると、推定部113に出力する。推定部113はまた、上述した撮像部105から、表口81の屋内側および屋外側で撮像した画像を入力される。
推定部113は、検知部102からの入力情報に示される複数の出入口での出入りと家30の屋内の在宅状況との関係を学習する。推定部113は更に、当該学習結果に基づき、検知部102からの入力情報に示される複数の出入口での出入りから在宅状況を推定する。ここで、図4を用いて当該学習のフローの一例を説明する。
図4は、第1実施形態による、学習のフロー図である。図4のフローの説明は、家30の任意の住人が、住宅管理装置100による学習を開始するための合図、例えば入力部115への入力により開始する。
表口81のドアハンドルの操作、例えばハンドルが引かれるまで、すなわち撮像部105にハンドル操作検知部110からの入力があるまで待機する(S101:NO)。当該入力がある場合は(S101:YES)、撮像部105は、表口81の屋内側および屋外側の撮像を開始する(S103)。当該撮像は、一定間隔ごとの連続する静止画であってもよく、動画であってもよい。
ステップS103に続けて、推定部113は、撮像部105から撮像された画像のデータを入力されると、格納部117を参照することにより、情報入力の要求メッセージを音声出力部116から発声させる(S105)。推定部113は、住人が当該メッセージに応じて入力部115に住人情報及び進退情報を入力したか否かを判断し(S107)、入力されていない場合には(S107:NO)、ステップS105に戻る。
ここで言う住人情報とは、第1住人61、第2住人63および第3住人65のうちの誰であるかを示す情報である。また、進退情報とは、表口81から屋外に退出しようとしているのか屋内に進入しようとしているのかを示す情報である。なお、音声出力部116および入力部115が表口81の屋内側のみに配されている場合、表口81から屋内に進入しようとしている住人による住人情報及び進退情報の入力は、住人が屋内に進入した後に行われるため、この場合の進退情報は表口81から屋内に進入したことを示す情報となる。
ステップS107において住人情報及び進退情報が入力されている場合には(S107:YES)、続けて、学習を開始してから1週間が経過したか否かを判断し(S109)、経過していない場合は(S109:NO)、ステップS101に戻り、経過している場合は(S109:YES)、当該フローは終了する。
上記の学習フローによって、推定部113は、学習を開始してからの1週間に、第1住人61、第2住人63および第3住人65のそれぞれについて、表口81を出入りするときの様々な画像を進退情報付きで、すなわちラベル付きの訓練データで、表口81での出入りと家30の屋内の在宅状況との関係について、教師あり学習を行う。学習には、例えば深層学習、機械学習および統計処理といった手法を用いる。
上記の学習手法として、例えば、サポートベクターマシン(SVM)、リカレントニューラルネットワーク(RNN)およびベイジアンネットワーク(BN)などの手法が考えられる。SVMは、比較的少数のサンプルの学習から、未知のサンプルに対しても誤差が少ない判別ができる。ただし、学習結果についてはある程度理解できるが、人間には理解しにくく、判別の因果関係についてはわかりにくい。RNNは、多くの学習サンプルが必要で、学習に多くの時間がかかる。時系列など、前後(文脈)関係に左右される対象に有効であるが、学習結果についての理解は難しい。BNは、多くの学習サンプルが必要で、学習に時間がかかる。学習結果は、条件付き確率モデルを接続したネットワークの形で表現されるので、因果関係がわかりやすい。学習されたネットワークは、確率伝搬により、既知ノード、未知ノードは自由な組み合わせで使える。
学習において、推定部113は、画像の特徴量を、コンボリューションニューラルネットワーク(CNN)を用いて抽出する。CNNとは、ディープラーニングニューラルネットワーク(DLNN)の一種であり、DLNNは、3層構成のニューラルネットワーク(NN)を4層以上に広げたものであり、近年のデータが大量に蓄積できるようになってきたことやコンピュータの高機能化により、NN以後に出てきた新しい計算手法よりも高性能化したことが知られている。その中でも、CNNは、脳の視覚野(V1)をモデルにしていて、事前に画像認識の精度が高くなるように学習したものを用いると、脳の視覚野と類似した画像処理結果が得られるので、画像の特徴量を抽出するのに適した手法である。なお、NN自体は、1980年代頃から盛んに研究され始めたものであり、複数のノードを結合させて、各ノードで非線形な処理を行うことで、一見無意味なデータの配列(パターン)に意味のあるシンボルを割り当てることができるという計算手法(及びそのためのデータ構造)である。
本実施形態では、訓練データを画像や、裏口センサ93等によるセンシング情報などに絞って説明するが、訓練データは、音声や、電子キーのID情報を含んでもよい。音声に示される特徴量には、例えば声紋、発話内容などが含まれてもよく、発話内容には、例えば「いってきます」、「いってらっしゃい」、「ただいま」、「おかえり」などが含まれてもよい。このような他の訓練データを含む場合、訓練データの種類毎に脳の情報処理に近い変換方法として、CNN以外の深層学習、機械学習または統計処理といった手法を用いてもよい。例えば、音声に示される特徴量の抽出に適した自己組織化マップ(SOM)、時系列データの特徴量抽出に適したリカレントニューラルネットワーク(RNN)、およびRNNと同じような使い方ができるディープニューラルネットワーク(DNN)などの手法を用いてもよい。ただし、SOMを用いて音声を扱う場合は、SOM単体では時系列を扱うのが難しいので、別の手法と組み合わせる必要がある。また、RNNを用いて音声を扱う場合は、別途選んだ前処理と組み合わせて音声に示される特徴量を抽出することが可能である。DNNは、RNNと異なり、前処理自体を学習させることができる。
推定部113は、上記の学習フローで取得したラベル付きの様々な画像に示される人の特徴量について教師あり学習を行った後は、表口81を出入りするときの様々な画像を、住人情報及び進退情報なしで、すなわちラベル付きではない訓練データを取得し続け、画像に示される人の特徴量を自動的に取得していき、繰り返し、表口81での出入りと家30の屋内の在宅状況との関係について、教師なし学習を行う。画像に示される人の特徴量には、例えば顔、表情、体型、動き、歩き方、ジェスチャ、服装、装飾品、メガネ、持ち物、視線などの特徴量が含まれる。
教師なし学習では、推定結果の適否について、住人からのフィードバックが必要となる。例えば、推定部113は、在宅状況を推定する度に、推定結果を第1通信端末71および第2通信端末73の一方または両方に送信し、第1住人61および第2住人63の一方また両方は、推定結果を確認し、推定結果が誤っている場合に推定失敗を示す情報を返信することでフィードバックを取得してもよい。また、よりいっそう住人の手間を省くべく、例えば住宅管理装置100は推定結果に基づいて実際に警戒処理を実行し、家30に在宅者がいるにも拘わらず在宅者がいない場合と同じ警戒の設定を誤って行い、任意の操作盤から当該在宅者による警戒解除入力を受けることでフィードバックを取得してもよい。
推定部113は、これらの学習結果に基づき、検知部102からの入力情報に示される単数または複数の出入口での出入りから在宅状況を推定する。在宅状況を推定するときも、上記の学習での手法と同じ手法を用いる。以降の学習と推定においても、同様とする。
なお、推定部113が学習する上述の「関係」は、当技術分野において「学習モデル」とも呼ばれ、推定部113が、出入口での出入りの情報と屋内の在宅状況を示す情報とから抽出した、これらのデータ間の規則性、パターンなどを含む。また、当該「関係」は、入力データとしての出入口での出入りの情報と、出力データとしての屋内の在宅状況を示す情報との対応関係であるとも言える。
再び図3を参照すると、装置本体101は更に、格納部117に格納されている処理情報を参照し、様々な処理を実行する処理部119と、表口81を施解錠する施解錠部121とを備える。処理部119は、推定部113から推定結果を入力される。処理部119は、当該推定結果に示される在宅状況に基づいて、上述した特定の処理を実行する。特定の処理の一例は、警戒処理である。警戒処理は、例えば表口81の施解、表口81の閉扉、各出入口の警戒モードのオン、全出入口を一括して警戒状態にする外出モードのオン、全出入口の一部または全部を一括して警戒状態にする在宅モードのオン、第1通信端末71や第2通信端末73などへの通知や発報といった、互いに異なる処理内容を含む。また、特定の処理の他の一例は、推定された在宅状況に応じて出入口の施錠および解錠の何れか一方を実行することである。また、特定の処理の他の一例は、特定の在宅状況になったと推定された場合に予め定められた通知端末に通知することである。
例えば、推定部113が、検知部102で検知した出入口での屋外への退出から、在宅状況として屋内に在宅者がいないと推定した場合に、処理部119は全出入口の警戒処理を実行してもよい。警戒処理に含まれる、特定の出入口の警戒モードのオンとは、当該特定の出入口に設けられた検知部102からセンシングデータまたは画像データを入力されたら警告や発報をするよう設定することを含む。この場合に、警戒モードの出入口から在宅者が屋外に退出したり、家30に帰宅した住人が電子キーにより出入口を解錠して屋内に進入したり、在宅者が任意の操作盤を使用して解錠した出入口から誰かが屋内に進入したりする場合には、警告や発報をしないよう構成してもよい。なお、代替的に、検知部102のそれぞれに警報機を設けて、警報機のオンおよびオフの設定としてもよい。
また例えば、推定部113が、検知部102で検知した出入口での屋内への進入から、在宅状況として屋内に予め定められた特定の人物、例えば第3住人65以外は在宅していないと推定した場合に、処理部119は一部または全ての出入口の警戒処理を解除するとともに、予め定められた通知端末、例えば第1通信端末71および第2通信端末73に第3住人65が在宅している旨を通知してもよい。この場合、推定部113が、検知部102で検知した出入口での屋内への進入から、在宅状況として、屋内に第3住人65以外は在宅していない状況から、第3住人65以外の人物、例えば図2に示される第3住人65の知人66も在宅している状況になったと推定した場合に、第1通信端末71および第2通信端末73に知人66も在宅している旨を通知してもよい。
また例えば、推定部113が推定した在宅状況に応じて、処理部119は複数の出入口に対して互いに異なる警戒処理を実行してもよい。この場合、推定部113は、在宅状況と、複数の出入口のうち在宅状況で用いられる出入口との関係を予め学習しておいてもよい。更に、処理部119は、複数の出入口のうち、推定部113が推定した、在宅状況で用いられる出入口の警戒処理を解除し、複数の出入口のうち、推定部113が推定した、在宅状況で用いられる出入口以外の出入口の警戒処理を実行してもよい。
在宅状況と、複数の出入口のうち在宅状況で用いられる出入口との関係の学習として、例えば、在宅状況として誰が在宅しているのかという情報と、当該在宅状況において、すなわちその在宅者が在宅している間にどの出入口で出入りが検知されたのかという情報との関係を学習してもよい。この例示的な学習において、在宅者の在宅中にどの出入口で出入りが検知されたのかという情報に代えて、在宅者が、装置本体101と通信可能なウェアラブルデバイスを着用し、装置本体101がウェアラブルデバイスの位置情報を取得するように構成し、特定の在宅者が在宅中にどの部屋に滞在しているのかという位置情報を用いてもよい。また、同じく代替的に、家30の各部屋などに臭いセンサや人感センサなどを設置し、装置本体101がこれらのセンサによるセンシングデータを取得するように構成し、特定の在宅者が在宅中にどの部屋のセンサからセンシングデータが得られたのかという情報を用いてもよい。
処理部119は、特定の出入口の警戒モードをオンにしている間に、当該特定の出入口で検知された出入りの情報を入力されると、格納部117を参照することにより、特定の警告メッセージを音声出力部116に発声させ、更に、通信部111を介して、第1通信端末71および第2通信端末73に発報する。この場合、処理部119は更に、通信部111を介して、警備会社や警察などの情報端末に発報してもよい。
処理部119はまた、通信部111を介して、警戒処理内容を操作盤群に送信し、操作盤群のディスプレイに表示させる。処理部119はまた、通信部111を介して、操作盤群からの操作情報、例えば施解錠の設定情報や警戒状態の設定情報などを受信する。
装置本体101は更に、表口81のドアに組み込まれているシリンダおよびサムターンを含む施解錠操作部123と、表口81を施解錠するための鍵としての電子キーのIDを近距離通信により読み出す読出部125とを備える。読出部125は、施錠および解錠を選択するための操作部を含む。本実施形態において、上述の第1通信端末71および第2通信端末73は、電子キーを内蔵しているものとする、すなわち、第1住人61および第2住人63は、単体の電子キーを所持することに代えて、電子キーを内蔵した通信端末を所持している。第3住人65は、単体の電子キーを所持しているものとする。
装置本体101は更に、格納部117に格納されている登録IDと読出部125から入力されるIDとを照合し、一致した場合に認証する認証部127とを備える。認証部127は、認証すると、認証済の情報と、読出部125から入力される施錠および解錠を選択した選択情報とを施解錠部121に出力する。施解錠部121は、施解錠操作部123および認証部127のそれぞれからの入力に基づいて、表口81を施解錠する。すなわち、本実施形態では、装置本体101は表口81を自動的に施解錠しない。
上述した処理部119は、表口81の警戒モードをオンにしている間に、施解錠部121から認証済の情報を含む解錠情報を入力されると、表口81の警戒モードをオフに切り替える。なお、処理部119は、表口81の警戒モードをオンにしている間に、施解錠部121から認証済の情報を含まない解錠情報を入力されると、すなわち認証部127で認証が行われずに施解錠操作部123での操作によって施解錠部121が解錠した場合、格納部117を参照することにより、特定の警告メッセージを音声出力部116に発声させ、更に、通信部111を介して、第1通信端末71、第2通信端末73、警備会社および警察の通信端末に発報してもよい。
図5は、第1実施形態による、学習結果に基づいて特定の処理を実行するまでのフロー図である。図5のフローの説明は、図4を用いて説明した教師あり学習の期間が終了することにより開始する。
推定部113は、検知部102が出入口での出入りを検知するまで、すなわち検知部102からセンシングデータまたは画像データの入力があるまで待機する(S111:NO)。入力がある場合は(S111:YES)、推定部113は、学習結果に基づき、入力されたセンシングデータまたは画像データから在宅状況を推定する(S113)。
推定部113は推定結果を処理部119に出力し、処理部119は格納部117を参照することにより特定の処理を実行して(S115)、当該フローは終了する。以上、図5の処理フローは住宅管理装置100が動作している間は繰り返し実行される。
図6は、第1実施形態による、格納部117に格納される処理テーブルの一例である。当該テーブルにおいて、第1住人61、第2住人63、第3住人65および知人66の各々が在宅か不在かと、互いに異なる6種類の警戒処理の各々とが対応付けて格納されている。テーブルには、各人の在宅と不在との組み合わせの数に合わせて8行設けられている。
テーブルの1行目には、第1住人61、第2住人63および第3住人65の全員が在宅であって知人66が不在である在宅状況においては警戒処理をAとすることが示されている。テーブルの2行目には、1行目の在宅状況と異なる点として第2住人63が不在であるが警戒処理は同じAとすることが示されている。
テーブルの3行目には、1行目の在宅状況と異なる点として第3住人65が不在であって第2住人63が在宅または不在であり、当該在宅状況においては警戒処理をBとすることが示されている。テーブルの4行目には、1行目の在宅状況と異なる点として第1住人61が不在であり、当該在宅状況においては警戒処理をCとすることが示されている。
テーブルの5行目には、1行目の在宅状況と異なる点として第1住人61および第3住人65が不在であり、当該在宅状況においては警戒処理をDとすることが示されている。テーブルの6行目には、1行目の在宅状況と異なる点として第1住人61および第2住人63が不在であり、当該在宅状況においては警戒処理をEとすることが示されている。テーブルの7行目には、6行目の在宅状況と異なる点として知人66が在宅であり、当該在宅状況においても警戒処理をEとすることが示されている。
テーブルの8行目には、1行目の在宅状況と異なる点として第1住人61、第2住人63および第3住人65の全員が不在であり、当該在宅状況においては警戒処理をFとすることが示されている。
上記の警戒処理がAの場合、警戒処理を解除する、すなわち全出入口の警戒モードをオフにする。警戒処理がBの場合、小寝室窓85の警戒モードのみをオンにする。また、警戒処理がCの場合、表口81および裏口83の警戒モードをオンにし、警戒処理がDの場合はCの場合に加えて小寝室窓85の警戒モードもオンにする。
警戒処理がEの場合、小寝室窓85の警戒モードをオフにして他の出入口の警戒モードを全てオンにし、更に、第1通信端末71および第2通信端末73へ通知する。警戒処理がFの場合、全出入口の警戒モードをオンにする。
第1住人61、第2住人63および第3住人65は、上述の通り、例えば父親、母親および子供であって、この順に自己防衛力が高く、すなわち、例えば子供である第3住人65が最も自己防衛力が低い。そのため、例えば第3住人65だけが在宅している在宅状況においては、誰も在宅していない在宅状況を除いて、最も厳戒な警戒状態を必要とし、上記のような警戒処理内容とする。なお、第3住人65は、子供と同様に自己防衛力が低い老人であってもよい。
住宅管理装置100は、このような処理テーブルを用いることで、出入口での出入りから推定した在宅状況に示される在宅者に応じて、警戒モードのセキュリティレベルを自動で異ならせることができる。
ここで再び図2を参照すると、住宅管理装置100は、第3住人65が在宅中、すなわち上記の警戒処理Eを実行した後に、知人66が表口81から家30の屋内に進入したことから、在宅状況として、第3住人65および知人66が在宅していると推定し、上記の警戒処理Eを再び実行した、すなわち各警戒モードは継続して第1通信端末71および第2通信端末73に再通知した状態が示されている。
なお、第3住人65のみが在宅中には警戒処理Eが実行されているので、表口81の警戒モードがオンになっている。そこで、知人66は、家30の屋内に進入する前に、家30の室外のインターホンを鳴らし、第3住人65がインターホンの呼び出しに応じて、例えば小寝室操作盤25から警戒解除の操作をする。
なお、この場合に、たとえ知人66であっても、第1住人61および第2住人63が家30の屋内への進入を承認しない場合が考えられる。そこで、知人66がインターホンを鳴らすと、インターホンのカメラで知人66の顔を撮像し、第1通信端末71および第2通信端末73の少なくとも何れかに知人66の顔画像を送信し、第1住人61および第2住人63の何れかが遠隔で承認の入力を行わないと、表口81を解錠できないようにしてもよい。
なお、上記の警戒処理A~Dを実行した後に警戒処理Eを実行する場合、すなわち、第1住人61および第2住人63の少なくとも何れかが在宅の状態から第3住人65のみが在宅の状態になる場合には、第1通信端末71および第2通信端末73に通知しなくてもよい。
以上、本実施形態の住宅管理システム10によれば、人工知能を利用することで、互いに処理内容が異なる特定の処理の切り替え及び実行を自動化し、ユーザによる手動操作を不要とすることができる。例えば図6に示される処理テーブルを用いることで、出入口での出入りから推定した在宅状況に示される在宅者に応じて、警戒モードのセキュリティレベルを自動で異ならせることができる。
なお、本実施形態においては、図2に示される通り、家30の間取りの都合上、第1住人61および第2住人63は一緒に大寝室37を利用するものとして説明した。寝室の数がより多い場合には別の寝室を利用してもよく、この場合の警戒処理内容は、図6の処理テーブルよりも更に細分化されていてもよい。
なお、本実施形態における撮像部105は、表口81の屋内側および屋外側に配される構成として説明したが、表口81の屋内側のみに配されてもよい。この場合、図4を用いて説明した学習フローでは、推定部113は、撮像部105がハンドル操作検知部110からの入力により撮像開始した直後に、撮像部105の視野内において装置本体101から予め定められた距離範囲内の住人が撮像されているか否か、すなわち表口81の室内側の近くに住人がいるか否かを判断することによって、住人が屋内に進入しようとしているのか屋外に退出しようとしているのかを判断してもよい。
なお、本実施形態において、第3住人65を徘徊老人とし、住宅管理システム10を利用して、第1住人61および第2住人63の他、介護センタによる徘徊老人の見守りを行ってもよい。この場合、第3住人65が利用する小寝室35のベッドに荷重センサを設けたり、第3住人65が行き来する1階31のトイレなどに人感センサを設けたりすることで、第1住人61および第2住人63が不在の間に第3住人65がちゃんと生活できているかを見守ることができる。
また、上記の見守りの場合において、第3住人65のみが在宅となる場合の警戒処理Eに、上述した室内の各種センサの起動と、各種センサによる検知が予め定められた条件を満たした場合に第1通信端末71などに通知するシステムの起動とを含めてもよい。
また、上記の見守りの場合において、室内に更に、音センサを設けて第3住人65の叫び声や何らかの大きな音を検知したり、浴室に人感センサおよびタイマを設けて第3住人65の入浴時間が予め定められた時間よりも長いことを検知したりしてもよい。更に、第3住人65が出入口から家30の屋外に出ようとしていること又は出たことを検知したり、部屋の温度が予め定められた温度よりも高い又は低いことを検知したりしてもよい。
処理部119は、これらの追加のセンサからセンシングデータを取得した場合に、通信部111を介して、第1通信端末71、第2通信端末73、介護センタや警備会社や警察の通信端末などに発報してもよい。
また、センシングデータから、見守り中に第3住人65に何らかの緊急事態が生じていると推定した場合、追加的に、隣の家の住人への通知や、救急への通報や、音声出力部116から家30の屋外に向けて「屋内の老人が危険な状態と予想されます。どなたか屋内に入って老人の安否を確認して下さい。」などの音声を発してもよい。表口81が自動施錠の場合には、追加で自動施錠をオフにしてもよい。また、家30の近くに居なくても直ぐに駆け寄れる人がいる場合が想定されるので、SNS上で情報拡散して、第3住人65の緊急事態を不特定多数の人に知らせてもよい。
なお、本実施形態においては、表口81を自動施錠しない構成として説明したが、例えば第1住人61が不在で第2住人63および第3住人65の両方または片方のみが在宅している状況において、表口81の外側の予め定められた距離範囲内において、第2住人63および第3住人65よりも体格が良い人物が撮像された場合には、表口81を自動施錠するように構成してもよい。
なお、本実施形態において、推定部113は一定期間の教師あり学習の後に、教師なし学習を継続するものとして説明した。当該教師なし学習においては、教師あり学習期間に取得したラベル付きの訓練データである住人の画像を、随時更新していくことが好ましい。これにより、推定部113は、住人の容姿が歳を重ねるに連れて変化しても、同一人物であることを識別できる。
なお、本実施形態においては、図6に示される処理テーブルのように、警戒処理内容が細分化されるものとして説明した。これに代えて、住宅管理装置100は、例えば、在宅状況として家30の住人全員が外出したことを推定し、家30の表口81を除く出入口の警戒モードをオンにして、その状態で表口81を通らずに家30の屋内に進入したら発報してもよい。
また、家30に誰もいない状態から住人が誰かしら帰宅した状態になったと推定した場合には、住人が誰であるかに拘わらず、全出入口の警戒モードをオフにしたり、特定の出入口の警戒モードのみをオンのままで他をオフとする在宅モードにしたりしてもよい。また、子供だけが帰宅した場合にも、同様に全出入口の警戒モードをオフにしたり在宅モードにしたりして、追加的に親に通知してもよい。また、親が外出して子供だけが残った場合、全出入口の警戒モードをオンにしたり在宅モードにしたりしてもよい。また、子供が帰宅するときに同伴者がいる場合や、子供が表口81を手動で開扉して誰かを招き入れた場合などにも、親に通知してもよい。
図7は、第2実施形態による、格納部117に格納される処理テーブルの一例である。本実施形態では、図6を用いて例示的に説明した処理テーブルと異なる処理テーブルを用いる点を除いては、第1実施形態と同じであるため、重複する説明を省略する。以降の実施形態においても、先に説明した実施形態と異なる点を説明し、重複する説明は省略する。本実施形態では、第3住人65は寝たきりの老人であり、知人66は例えば介護センタから家30に訪問する介護士である。
当該テーブルにおいて、第1住人61、第2住人63、第3住人65および知人66の各々が在宅か不在かと、互いに異なる4種類の警戒処理の各々とが対応付けて格納されている。テーブルには、各人の在宅と不在との組み合わせの数に合わせて5行設けられている。
テーブルの1行目には、第1住人61、第2住人63および第3住人65の全員が在宅であって知人66が不在である在宅状況においては警戒処理をBとすることが示されている。テーブルの2行目には、1行目の在宅状況と異なる点として第2住人63が不在であるが警戒処理は同じBとすることが示されている。
テーブルの3行目には、1行目の在宅状況と異なる点として第1住人61が不在であり、当該在宅状況においては警戒処理をDとすることが示されている。テーブルの4行目には、1行目の在宅状況と異なる点として第1住人61および第2住人63が不在であり、当該在宅状況においては警戒処理をFとすることが示されている。テーブルの5行目には、4行目の在宅状況と異なる点として知人66が在宅であり、当該在宅状況においては警戒処理をEとすることが示されている。
これら警戒処理B、D、EおよびFの内容は、図6を用いて説明した第1実施形態における警戒処理B、D、EおよびFと同じである。寝たきりの老人は、自らの意思で動くことができず、子供や健常な老人や徘徊老人などに比べて、より自己防衛力が低い。そのため、例えば寝たきりの老人だけが在宅している在宅状況においては、誰も在宅していない在宅状況と同じ、最も厳戒な警戒状態にすることが好ましく、上記のような警戒処理内容とする。
以上、本実施形態によっても、第1実施形態の上記の効果と同様の効果を奏する。また、寝たきりの老人のみが在宅している在宅状況において、当該老人と同居する第1住人61および第2住人63は、住宅管理装置100が上記の警戒処理Eを実行することにより、介護士が家30に訪問介護しに来てくれたことを遠隔で知ることができる。
図8は、第3実施形態による家30の在宅状況の模式図であり、図9は、当該実施形態による格納部117に格納される処理テーブルの一例であり、図10は、当該実施形態による学習のフロー図である。また、図8(A)は、家30の1階31における在宅状況の模式図であり、図8(B)は、家30の2階32における在宅状況の模式図である。
本実施形態では、第1実施形態と異なる点として、施解錠部121は表口81を自動施錠するように構成されており、具体的には、認証部127および施解錠操作部123の一方からの入力により表口81を解錠した後、予め定められた時間が経過すると、自動的に表口81を施錠する。更なる異なる点として、処理部119は、第1住人61が在宅しているか否かに拘わらず、表口81の警戒モードを常時オンにする。
また、更なる異なる点として、検知部102における裏口センサ93等は、撮像部105と同様にカメラを含み、出入口から屋外への退出を検知して、当該退出を示す画像データを出力する。
また、更なる異なる点として、推定部113は、検知部102で検知した上記の退出から、出入口から屋外に退出する者の状況である退出者状況を特定する。退出者状況の一例は、出入口からの退出者が、例えば、ゴミ袋を所持している、出勤用靴、ゴミ出し用のサンダル等を履いている、赤ちゃんや子供と一緒である、パジャマを着ている、無精髭が伸びている、髪形が乱れている、出勤用カバン、出張用スーツケース、旅行用カバン等を所持している、玄関周りの掃除用具を所持している、庭での散水用具を所持している、印鑑を所持している、屋外の物置の鍵を所持している、回覧板を所持している、またはこれらの組み合わせ等である。推定部113は、特定した退出者状況に基づいて、短時間不在であるか長時間不在であるかを判断する。
より具体的には、推定部113は、検知部102から入力される画像データを処理して画像内の特徴量を抽出し、如何なる退出者状況であるかを区別して学習する。推定部113は更に、家30の屋内にいる在宅者が、表口81から、例えばゴミ出しなどのちょっとした外出をするのか、例えば出勤などの長時間に亘る外出をするのかを区別して学習する。以降、このようなちょっとした外出を短時間不在と呼び、長時間に亘る外出を長時間不在と呼ぶ。推定部113は更に、退出者状況と短時間不在および長時間不在との関係を学習する。推定部113は更に、当該学習結果に基づき、上記のように特定した退出者状況から短時間不在および長時間不在の何れか一方であると推定する。なお、推定部113は判断部の一例である。
上記の関係は、例えば、出入口での画像データに示されている退出者が、ゴミ袋、玄関周りの掃除用具、庭での散水用具、印鑑、屋外の物置の鍵、回覧板などを所持していること、ゴミ出し用のサンダルを履いていること、パジャマを着ていること、無精髭が伸びていること、髪形が乱れていること、またはこれらの組み合わせ等と、短時間不在との組み合わせを含んでもよい。一方で、例えば、出入口での画像データに示されている退出者が、出勤用靴を履いていること、赤ちゃんや子供と一緒であること、髭や髪が整っていること、出勤用カバン、出張用スーツケース、旅行用カバン等を所持していること、またはこれらの組み合わせ等と、長時間不在との組み合わせを含んでもよい。
また、更なる異なる点として、処理部119は、推定部113が推定した在宅状況が短時間不在であるか長時間不在であるかに応じて、互いに異なる処理を実行する。
例えば、処理部119は、推定部113が退出者状況から長時間不在であると推定したときに出入口の警戒処理を継続し、推定部113が退出者状況から短時間不在であると推定したときに出入口の警戒処理を解除してもよい。
また例えば、処理部119は、推定部113が退出者状況から長時間不在であると推定したときに出入口の自動施錠モードを継続し、推定部113が退出者状況から短時間不在であると推定したときに出入口の自動施錠モードを解除してもよい。
なお、上述した互いに異なる処理に関して、処理部119が特定の条件下で表口81の警戒モードをオフにする場合、処理部119は、推定部113が長時間不在であると推定したときに出入口の警戒処理を実行してもよく、一方で、推定部113が短時間不在であると推定したときに出入口の警戒処理を解除したままにしてもよい。
また、施解錠部121が表口81を自動施錠しない場合、処理部119は、推定部113が長時間不在であると推定し、且つ、当該推定後に施解錠部121に何ら入力が無いときに格納部117を参照して施錠忘れを伝える警告メッセージを音声出力部116から発声させてもよく、一方で、推定部113が短時間不在であると推定したときに当該警告メッセージを発声させなくてもよい。
図10は、図4の動作におけるステップS107YESからステップS109までの間における、サブルーチンとしての動作の学習フローを示す。図4のステップS107において住人情報及び進退情報が入力されている場合には(S107:YES)、続けて、推定部113は、進退情報が家30の屋外への退出を示しているか否かを判断し(S301)、退出を示していない場合は(S301:NO)、図4のステップS109に進む。
ステップS301において退出を示している場合には(S301:YES)、推定部113は、格納部117を参照することにより、短時間不在又は長時間不在の選択を要求するメッセージを音声出力部116に発声させる(S303)。推定部113は、住人が当該メッセージに応じて入力部115に短時間不在又は長時間不在の選択を入力したか否かを判断し(S305)、入力されていない場合には(S305:NO)、ステップS303に戻り、入力されている場合には(S305:YES)、図4のステップS109に進む。
上記のサブルーチンを含む学習フローによって、推定部113は、学習を開始してからの1週間に、第1住人61、第2住人63および第3住人65のそれぞれについて、表口81を出入りするときの様々な画像を進退情報付きで、進退情報が退出を示す場合には短時間不在および長時間不在の選択情報付きで、表口81での退出者状況と短時間不在および長時間不在との関係について、教師あり学習を行う。推定部113は、検知部102からの入力情報に示される単数または複数の出入口での屋外への退出から退出者状況を特定すると、これらの学習結果に基づき、特定した退出者状況から短時間不在であるか長時間不在であるかを推定する。
本実施形態でも第1実施形態と同様の効果を奏する。さらに、図8に示されるように、表口81から退出しようとする在宅者がゴミ出しなどの短時間不在となる場合には、表口81での自動施錠および警戒モードを自動で解除およびオフにすることができる。よって、例えば、在宅者が電子キーを携帯せずにゴミ出しに出た場合に屋外に締め出されることを防止できたり、在宅者が電子キーを携帯してゴミ出しに出たとしても、警戒モードを解除するために装置本体101の読出部125に電子キーを近接させて認証させる手間を省略できたりする。
なお、本実施形態における推定部113は、第1実施形態における学習内容に追加して、家30の出入口から屋外に退出する者の退出者状況と、短時間不在および長時間不在との関係を学習するものとして説明したが、第1実施形態における学習内容に代えて、当該関係を学習してもよい。すなわち、本実施形態における推定部113は、家30の複数の出入口での出入りと屋内の在宅状況との関係を学習しなくてもよい。
なお、本実施形態において、検知部102は、カメラに代えて又は追加して、臭気センサを含み、出入口からの退出として、退出者からの香水の匂いを検知してもよい。また追加的に又は代替的に、検知部102は、出入口に設置された鍵掛けに配されて鍵の有無を検知する磁気センサ、荷重センサ、近接センサ、光センサ、押圧スイッチなどを含み、出入口からの退出として、退出者が鍵掛けから鍵を取ったことを検知してもよい。
また追加的に又は代替的に、検知部102は、電子キーから周期的に発信される電波、電波強度などを検知するセンサを含み、出入口からの退出として、退出者が電子キーを所持していることを検知してもよい。また追加的に又は代替的に、検知部102は、任意の部屋に置かれているベビーベッドに設置された荷重センサを含み、出入口からの退出として、ベビーベッドの荷重センサで予め定められた重さ以上の荷重がなくなったことを検知してもよい。
また追加的に又は代替的に、検知部102は、家30の特定の電気機器の電源状態を検知するセンサを含み、出入口からの退出として、特定の電気機器の電源がオフになったことを検知してもよい。また追加的に又は代替的に、検知部102は、家30での電力使用量、ガス使用量、水道使用量などを検知するセンサを含み、出入口からの退出として、予め定められた電気使用量、ガス使用量、水道使用量などを下回ったことを検知してもよい。
なお、本実施形態において、装置本体101には、人工知能(AI)が組み込まれていなくてもよく、具体的には、装置本体101は、推定部113を備えていなくてもよい。この場合、格納部117は、複数の出入口での退出者状況に基づいて短時間不在であるか長時間不在であるかを判断するための条件を格納してもよい。更に、装置本体101は、推定部113に代えて判断部を備えてもよく、当該判断部は、格納部117を参照し、格納部117に格納されている上記の条件と、検知部102からの入力情報から特定した退出者状況とに基づいて、短時間不在であるか長時間不在であるかを判断してもよい。
検知部102により検知される出入口から屋外への退出が画像データである場合、格納部117には、例えば特定の所持品の画像の特徴量が格納されており、判断部は、検知部102から入力される画像データを処理して、格納部117に格納されている特定の所持品の特徴量と比較することで、退出者が当該特定の所持品を所持していることを決定してもよい。また、格納部117に格納されている上記の条件は、例えば、上述した様々な退出者状況と短時間不在および長時間不在の何れか一方とが対応付けられているテーブルを含んでもよい。上記の条件は、図4および図10を用いて説明した教師あり学習の学習フローと同様にして、住宅管理システム10による上記の処理の開始前の特定の期間内に、格納部117に格納されていってもよい。
図11は、第4実施形態による家30の在宅状況の模式図であり、図12は、当該実施形態による、学習結果に基づいて特定の処理を実行するまでのフロー図である。また、図11(A)は、家30の1階31における在宅状況の模式図であり、図11(B)は、家30の2階32における在宅状況の模式図である。
本実施形態では、第3実施形態と異なる点として、処理部119は、在宅者が誰であるかに拘わらず、誰かが在宅中は表口81の警戒モードを常時オフにする。更に異なる点として、処理部119は、推定部113で推定された在宅状況に応じて、出入口の施錠および解錠の何れか一方を実行する。より具体的には、処理部119は、推定部113が、検知部102で検知した出入口での屋外への退出から、在宅状況として屋内に在宅者がいると推定した場合には出入口を施錠する。更に異なる点として、推定部113が、検知部102で検知した、在宅者による出入口での屋外への退出から、在宅状況として屋内に他の在宅者がいないと推定した場合、検知部102で在宅者による退出と共に鍵の所持が検知されているか否かに応じて、処理部119は互いに異なる処理を実行する。
例えば、処理部119は、検知部102で在宅者による退出と共に鍵の所持が検知されている場合に出入口を施錠する。また、処理部119は、図11における、最後の在宅者である第2住人63が第2通信端末73を室内に置き忘れて表口81から外出した在宅状況のように、検知部102で在宅者による退出と共に鍵の所持が検知されていない場合には出入口を施錠せず、格納部117を参照することにより鍵の置き忘れを伝える警告メッセージを音声出力部116から表口81の屋外側へと発声させる。
図12のフローの説明は、図4を用いて説明した教師あり学習の期間が終了することにより開始する。ステップS411からS413は、図4におけるステップS111からS113と同じであるため、説明を省略する。
ステップS413に続けて、処理部119は、検知部102の鍵所持検知部107により、最後の在宅者の鍵の所持を検知していたか否か、すなわち鍵所持検知部107からセンシングデータの入力があったか否かを判断し(S415)、入力があった場合は(S415:YES)、施解錠部121に表口81を施錠させ(S421)、当該フローは終了する。
ステップS415において入力がなかった場合は(S415:NO)、処理部119は、音声出力部116から上記の警告メッセージの発声を開始させる(S417)。処理部119は、外出した最後の在宅者が当該警告に応じて家30に引き返し、屋内へと進入したことを検知するまで、すなわち表口81の撮像部105から屋内への進入を示す画像データの入力があるまで待機する(S419:No)。入力がある場合は(S419:YES)、処理部119は警告メッセージの発声を停止させ(S421)、ステップS411に戻る。以上、図12の処理フローは住宅管理装置100が動作している間は繰り返し実行される。
本実施形態でも第1実施形態と同様の効果を奏する。さらに、最後の在宅者が鍵を所持して外出した場合に自動施錠するだけでなく、図11に示されるように、最後の在宅者が鍵を所持せずに外出した場合には自動施錠せずに鍵の置忘れを警告することで、鍵の屋内への閉じ込めを防止し、最後の在宅者が例えば警備会社に問い合わせて表口81の施錠を解除してもらう手間を省くことができる。
なお、本実施形態において、最後の在宅者が在宅中は表口81の警戒モードをオフにしておき、最後の在宅者が外出するときに自動で警戒モードをオンにするように構成してもよく、この場合において、第3実施形態のように、最後の在宅者が長時間不在であるか短時間不在であるかを推定し、短時間不在の場合には当該警戒モードをオフのままとしてもよい。
図13は、第5実施形態による家30の在宅状況の模式図であり、図14は、当該実施形態による警戒処理のフロー図である。また、図13(A)は、家30の1階31における在宅状況の模式図であり、図13(B)は、家30の2階32における在宅状況の模式図である。本実施形態では、第1実施形態と異なる点として、処理部119は、在宅者が誰であるかに拘わらず、誰かが在宅中は表口81の警戒モードを常時オフにする。また、図13に示される在宅状況において、家30の住人は、表口81の施錠を行っていないものとする。また、図13には、表口81の外側に不審者67が接近してきている状態が示されている。
また、更なる異なる点として、処理部119は、推定部113によって格納部117に格納されている家30の住人の画像を参照することにより、家30の住人が表口81の屋外側から接近してきたら警戒モードをオフのままとするが、家30の住人以外の者が接近してきたら警戒モードをオンに切り替え、更に、施解錠部121に表口81を施錠させる。この場合に、処理部119は更に、第1通信端末71および第2通信端末73に発報する。なお、この場合に、処理部119は、施解錠部121に対して解錠を不能にしたり、装置本体101が追加的に、ピッキング防止用にシリンダを有さない予備錠を備える場合には、当該予備錠を自動施錠したりしてもよい。また、この場合に、処理部119は更に、例えば当該住人以外の者が表口81の外側の一定範囲内で何もせずに滞在し続けていることを条件として、音声出力部116から警告メッセージを発声させてもよい。
図14のフローの説明は、在宅者が家30に在宅中であることにより開始する。処理部119は、撮像部105により、表口81の外側に接近してくる人、例えば不審者67を検知するまで、すなわち撮像部105から人の屋外からの接近を示す画像データの入力があるまで待機する(S521:NO)。
ステップS521において入力がある場合(S521:YES)、処理部119は、画像データに示される人が、屋内への進入がOKな人、例えば第3住人65であるか否かを判断し(S523)、OKな人である場合は(S523:YES)、当該フローは終了する。
ステップS523においてOKな人でない場合は(S523:NO)、処理部119は、表口81の施錠および警戒をオンにする(S525)。S525に続けて、処理部119は、表口81の屋外側にいた人が立ち去るまで、すなわち撮像部105から表口81の前に人が映っていないことを示す画像データの入力があるまで待機する(S527:NO)。
ステップS527において入力がある場合(S527:YES)、処理部119は、表口81の施錠および警戒をオフにし(S529)、当該フローは終了する。
本実施形態でも第1実施形態と同様の効果を奏する。さらに、図13に示されるように、表口81に接近してくる不審者67がいる場合には、表口81での自動施錠および警戒モードを自動で設定およびオンにして、住人に通知することができる。よって、例えば、住人が家30の2階32でくつろいでいる間に不審者67が未施錠の表口81から屋内に進入して1階31で盗みを働くことを防止できる。また、通知を受けた住人は、例えば家30の表口81の屋外側を見渡せる窓から不審者67の姿を確認することができ、これにより、不審者67が実際はOKな人であるかどうかを住人自身の目で判断することができる。
なお、本実施形態と似た状況として、家30の屋内にいる在宅者は、各出入口での警戒モードを常にオンのままにしておきたいが、発報をしたくない場合がある。また、在宅者が在宅中に在宅モードに設定していても、一部の処理を一時的に停止させたい場合もある。例えば、OKな人が家30に帰宅した場合である。この場合、OKな人を予め学習しておき、OKな人が出入口を解錠したり開扉したりしても発報しないように構成すればよい。また、OKな人が開扉した後に、OKな人以外の人が屋内に進入したら発報してもよい。これにより、状況に応じてモードの切り替えなどを住人が手動で操作する必要がないので、住人の手間を省略できる。
以上の第1実施形態から第5実施形態で説明した住宅管理装置100では、検知部102が、屋内と屋外との間の単数または複数の出入口での出入りを検知し、推定部113が、出入口での出入りと屋内の在宅状況との関係を学習するものとして説明した。当該屋内の在宅状況は、屋内の状況の一例である。また、当該住宅管理装置100では、検知部102が、屋内と屋外との間の単数または複数の出入口から屋外への退出を検知し、推定部113が、検知部102で検知した上記の退出から、出入口から屋外に退出する者の状況である退出者状況を特定するものとして説明した。ここで、以上の第1実施形態から第5実施形態で説明した住宅管理装置100の構成とは異なる構成を備える、第6実施形態による住宅管理装置を説明する。本実施形態の住宅管理装置の構成のうち、上記の住宅管理装置100の構成と同じ点は、重複する説明を省略する。
本実施形態による住宅管理装置は、検知部102の一部または全ての構成に代えて、若しくは、検知部102に追加して、家30における特定の領域での出入り、例えば居間39での出入りを検知する検知部を備える。当該検知部は、例えば、居間39の空間内を撮像する単数または複数の室内カメラや、当該空間内での何らかの動きを検知する単数または複数のセンサなどであってもよい。また、当該検知部は、家30における特定の領域からの退出を検知してもよい。なお、家30における特定の領域は、家30内だけでなく、例えば戸建やマンションの外門より内側や、戸建の垣根より内側など、家30の住人が専有する敷地内における特定の領域を含んでもよい。
また、本実施形態による住宅管理装置は、推定部113に代えて又は加えて、上記の検知部からの入力情報に示される、家30の特定の領域での出入りと、屋内の状況との関係を学習する推定部を備える。当該屋内の状況の一例は、上述した屋内の在宅状況に代えて、家30の住人が当該特定の領域に進入してきたときの住人の状態である。家30の住人が当該特定の領域に進入してきたときの住人の状態とは、例えば、住人が誰かに脅されながら、家30に訪ねてきたセールスマンに何かを無理強いされながら、または、誰かと楽しげに会話しながら、当該領域に進入してきている、等である。
また、当該屋内の状況の他の例は、家30の住人が家30への来訪者として想定していない人、換言すると、家30の住人が家30の屋内への進入を許可していないNGな人が、家30の屋内に存在している状況または屋内で行動している状況である。NGな人が家30の屋内に存在している状況とは、例えば、何者かが家30へと空き巣に入っている状況であり、NGな人が家30の屋内で行動している状況とは、例えば、何者かが屋内を荒らしている状況である。上記の推定部は更に、上記の学習の結果に基づいて、検知部からの入力情報に示される、家30の特定の領域での出入りから、屋内の状況を推定する。また、上記の推定部は更に、検知部で検知した上記の退出から、特定の領域から退出する者の状況である退出者状況を特定してもよい。
本実施形態でも第1実施形態から第5実施形態と同様の効果を奏する。なお、以上の複数の実施形態における各構成は、考え得る限りにおいて、相互に組み合わせて用いられてもよい。
なお、上記の複数の実施形態において、OKな人には、例えば家30の家族と一緒に家30に何回か来たことがある人や、ヘルパーやメイドとして過去に家族が許可している人や、過去に家30に来て家族が正しく応対したことがある宅配業者などが含まれてもよい。
以上のいずれの実施形態においても、各寝室には就寝を検知するセンサが追加的に設置されてもよい。当該センサは、例えばカメラであって、寝室にいる住人の瞼が予め定められた時間以上閉じていることを検知したり、寝室にいる住人が布団を掛けたことを検知したりすることで、就寝を検知してもよい。また、当該センサは、例えば照度センサであって、寝室の照度が予め定められた閾値以下になったことを検知することで、就寝を検知してもよく、例えば、部屋の照明スイッチに電気的に接続された電圧センサであって、照明スイッチの電圧がグランドになったことを検知することで、就寝を検知してもよい。処理部119は、誰かが在宅中は出入口の警戒モードをオフにしておき、全在宅者の就寝が検知されたら、警戒モードをオンにしてもよい。また、何れかの在宅者が起床したことを検知されたら、処理部119は警戒モードをオフにしてもよい。また、子供のみが起床した場合には、小寝室窓85の警戒モードのみをオフにしてもよい。
以上のいずれの実施形態においても、浴室には、浴室への出入りを検知するセンサが追加的に設置されてもよい。当該センサは、例えばカメラや赤外線センサや人感センサであってもよい。処理部119は、誰かが在宅中は出入口の警戒モードをオフにしておき、最後の在宅者が浴室に入ったことを検知されたり、寝たきりの老人と一緒に在宅している在宅者が浴室に入ったことを検知されたりしたら、警戒モードをオンにしてもよい。また、入浴していた在宅者が浴室から出たことを検知されたら、処理部119は警戒モードをオフにしてもよい。また、在宅者が入浴中に他の住人が帰宅したら、処理部119は警戒モードをオフにしてもよい。
上記いずれの実施形態においても、検知部は更に、家30の屋内にある1つ又は複数の電気機器の電源がオンになったことを検知し、推定部は、出入口での出入りと、電気機器の電源がオンになることと、在宅状況との関係を学習してもよい。この場合、推定部は、当該学習結果に基づき、検知部で検知した出入口での出入りから、在宅状況を推定し、在宅状況から特定の電気機器の電源がオンをなることを推定してもよい。更に処理部119は、推定部で推定した特定の電気機器の電源がオンをなることに基づいて、当該特定の電気機器の電源をオンにしてもよい。例えば、住宅管理装置100は、家30に帰宅した父親が、帰宅後直ぐにオンにした電気機器を記憶し、オンにした頻度が高い電気機器がどれであるかを学習し、以降、父親の帰宅時には、上記の頻度が高い電気機器の電源を自動的にオンにする。なお、この場合において、推定部は、装置本体101とは異なる電気機器制御装置の構成の一部であってもよい。
上記いずれの実施形態においても、推定部は、施錠を忘れ易い住人が誰であるかを学習し、その人の外出時に警告してもよい。また、推定部は、住人の生活パターンやタイムスケジュールを学習してもよい。例えば特定の住人が日曜日の20時頃ゴミ出しのために短時間不在とすることや、特定の住人が平日の8時頃出勤のために長時間不在とすることを学習してもよい。この場合、推定部は更に、特定の住人の生活パターンから、特定の時間帯に予め出入口を自動解錠しておいたり警戒モードをオフにしておいたりしてもよい。
上記いずれの実施形態においても、処理部119は、特定の処理として、表口81の撮像部105の屋内カメラにより、両手がカバンやゴミで塞がっている在宅者を検知したら、表口81の解錠や開扉をアシストしてもよい。また、推定部が、特定の人物によるゴミ出しや通勤など、特定の人物が特定の時間帯に表口81を出入りすることを学習しておくことで、処理部119は、その時間帯よりも前に予め表口81を自動解錠しておいてもよい。また、施解錠部121が表口81を通常は自動施錠しない場合であって、推定部により特定の人物が通勤などで長時間不在となることを推定された場合には、処理部119は特定の人物が外出したあとの表口81を自動施錠してもよい。また、推定部が住人を学習しておくことで、表口81の撮像部105の屋外カメラにより、特定の住人が帰宅したことが検知された場合や、特定の住人が両手の塞がった状態で帰宅したことが検知された場合に、処理部119は、表口81の解錠や開扉をアシストしてもよい。
なお、第3実施形態および第4実施形態のように、施解錠部121が表口81を自動施錠する場合において、非常時や災害時には表口81の自動解錠および自動開扉を行ってもよい。
上記いずれの実施形態においても、推定部は追加的に、出入口での出入りと屋内の在宅状況との関係の学習や、出入口からの退出状況と短時間不在および長時間不在との関係の学習と同様に、上記の特定の処理を学習してもよい。
上記いずれの実施形態においても、住宅管理装置100は追加的に、検知部が設置されていないところから家30の屋内に進入した者、例えば不審者67を検知する手段を備えてもよい。当該手段は例えば、室内の任意の箇所に設けられた人感センサであってもよい。この場合、住宅管理装置100は、家30に在宅者がいないと推定した場合、全出入口の警戒モードをオンにすると共に、室内の人感センサを全てオンにしてもよい。また、住宅管理装置100は、家30に特定の在宅者のみが在宅していると推定した場合、当該特定の在宅者に関係する出入口以外の出入口の警戒モードをオンにすると共に、当該特定の在宅者に関係する部屋以外の部屋に設けられた人感センサをオンにしてもよい。何れの場合においても、住宅管理装置100は、警戒モードにある何れかの出入口からの進入が検知されたときだけでなく、人感センサのみが屋内で人を検知したときにも、発報するように構成されてもよい。
上記いずれの実施形態においても、住宅管理装置100における人工知能を有する推定部は、住宅管理装置100が家30に設置されてから各学習を開始するものとして説明した。追加的に、住宅管理装置100の推定部は、住宅管理装置100が家30に設置される前の異なる場所で、例えば住宅管理装置100の製造段階に、予め、ある程度の学習を済ませておいてもよい。これにより、上記の実施形態で説明した、住宅管理装置100が家30に設置されてからの学習の量および期間を減らしてもよい。この場合の学習手法は、住宅管理装置100が家30に設置されてから各学習を継続する点を考慮すると、上記の実施形態において説明したものと同様の手法であることが好ましい。
本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図15は、本発明の複数の態様が全体的又は部分的に具現化されうるコンピュータ1200の例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の1又は複数の「部」として機能させ、又は当該オペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。このようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、グラフィックコントローラ1216、及びディスプレイデバイス1218を含み、これらはホストコントローラ1210によって相互に接続される。コンピュータ1200はまた、通信インターフェース1222、ハードディスクドライブ1224、DVD-ROMドライブ1226、及びICカードドライブのような入出力ユニットを含み、これらは入出力コントローラ1220を介してホストコントローラ1210に接続される。コンピュータはまた、ROM1230及びキーボード1242のようなレガシの入出力ユニットを含み、これらは入出力チップ1240を介して入出力コントローラ1220に接続される。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、これにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又は当該グラフィックコントローラ1216自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示させる。
通信インターフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVD-ROMドライブ1226は、プログラム又はデータをDVD-ROM1201から読み取り、ハードディスクドライブ1224にRAM1214を介してプログラム又はデータを提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230は、内部に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムが、DVD-ROM1201又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース1222に対し、通信処理を命令してよい。通信インターフェース1222は、CPU1212の制御の下、RAM1214、ハードディスクドライブ1224、DVD-ROM1201、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、ハードディスクドライブ1224、DVD-ROMドライブ1226(DVD-ROM1201)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような、様々なタイプの情報が、情報処理されるべく、記録媒体に格納されてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、これにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
以上の説明によるプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、これにより、プログラムをコンピュータ1200にネットワークを介して提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。また、各構成要素は、名称が同一で、参照符号が異なる他の構成要素と同様の特徴を有してもよい。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。