WO2019102525A1 - 異常検知装置及び異常検知方法 - Google Patents

Abstract

第１候補判定部（４）は、取得されたセンサ情報が正常範囲にあるか判定する。第２候補判定（５）は、正常状態のときのセンサ情報と機器情報の組合せを記憶した学習データベース（１）に、取得されたセンサ情報と機器情報の組合せと一致するものがあるか判定する。リセット判定部（６）は、正常状態のときのセンサ情報又は機器情報を記憶した行動パターンデータベース（２）に、取得されたセンサ情報又は機器情報と一致するものがあるか判定する。確定部（７）は、第１候補判定部（４）がないと判定した場合、第２候補判定部（５）がありとすれば正常状態、第２候補判定部（５）とリセット判定部（６）がなしとすれば異常状態を確定する。更新部（８）は、第１候補判定部（４）がないと判定した場合、第２候補判定部（５）がなしかつリセット判定部（６）がありとすれば、取得されたセンサ情報と機器情報の組合せを学習データベース（１）に登録する。

Description

異常検知装置及び異常検知方法

　この発明は、異常状態の発生を検知する異常検知装置に関するものである。

　異常状態の発生を検知して、警報等を鳴らす装置が知られている。このような装置は、人が突然意識を失った場合、又は、不審者が侵入した場合等に、異常状態が発生したと検知するよう構成されている。このような装置の具体例としては、例えば、ドライバモニタリングシステム（以下「ＤＭＳ」という。）が挙げられる。ＤＭＳは、運転手の体調不良等に起因する交通事故を防ぐために、運転手の状態をセンシングするものであり、近年開発が急速に進んでいる。ＤＭＳに関しては、運転手が急病又は居眠り等により意識を失い、運転不能に陥ったような異常状態の発生を検知して、警報の出力又は自動運転での安全な停止等を行うといった機能に対する期待が高まっている。

　例えば特許文献１には、シートベルトの引き出し量を検出するシートベルトセンサ、運転席の圧力分布を検出する座面センサ、及び、運転席を撮影するドライバカメラを利用して、運転手の運転不能状態を検出する運転不能状態検出装置が記載されている。特許文献１の運転不能状態検出装置は、運転手の頭部位置に基づき運転不能状態を検出する。また、特許文献１の運転不能状態検出装置は、運転手が運転不能状態であることを誤検出した場合、そのときにおける運転手の姿勢を学習する。そして、特許文献１の運転不能状態検出装置は、学習した姿勢については運転不能状態と判定しないようにする。

特開２０１６―９２５５号公報

　異常状態の発生を検知する異常検知装置においては、異常状態と正常状態とを精度良く判別することが求められる。
　上記特許文献１の運転不能状態検出装置は、誤検出した場合の運転手の姿勢を学習するものなので、覗き込み運転又は頬杖をついての運転等における運転手の姿勢が、正常状態として学習される。しかし、覗き込み運転又は頬杖をついての運転等における運転手の姿勢は、運転手が意識を失うなどして倒れ込んだ場合の姿勢と似ており、紛らわしい。したがって、運転手が意識を失うなどして本当に倒れ込んだ場合にも、上記特許文献１の運転不能状態検出装置は、学習済みの姿勢であるとして正常状態との判定を行ってしまうことになる。
　このように、学習した姿勢を正常状態として扱うようにした従来の装置は、異常状態と正常状態との判別精度が低いものであった。

　この発明は、上記のような課題を解決するためになされたもので、異常状態と正常状態との判別精度を向上できる異常検知装置を得ることを目的とする。

　この発明に係る異常検知装置は、人物の状態を示すセンサ情報と機器の状態を示す機器情報を取得する取得部と、取得されたセンサ情報が正常範囲にあるか判定する第１候補判定部と、正常状態のときのセンサ情報と機器情報の組合せを記憶した学習データベースに、取得されたセンサ情報と機器情報の組合せと一致するものがあるか判定する第２候補判定部と、正常状態のときのセンサ情報又は機器情報を記憶した行動パターンデータベースに、取得されたセンサ情報又は機器情報と一致するものがあるか判定するリセット判定部と、第１候補判定部によりセンサ情報が正常範囲にないと判定された場合、第２候補判定部により一致するものがあると判定されれば正常状態であると確定し、第２候補判定部及びリセット判定部により一致するものがないと判定されれば異常状態であると確定する確定部と、第１候補判定部によりセンサ情報が正常範囲にないと判定された場合、第２候補判定部により一致するものがなくかつリセット判定部により一致するものがあると判定されれば、取得されたセンサ情報と機器情報の組合せを学習データベースに登録する更新部とを備えるものである。

　この発明によれば、取得部により取得されたセンサ情報と機器情報の組合せが、第１候補判定部、第２候補判定部及びリセット判定部による判定に応じて学習データベースに登録され、異常状態を判別するのに使われるので、異常状態と正常状態との判別精度が向上する。

実施の形態１に係る異常検知装置の構成を示す図である。 図２Ａ及び図２Ｂは、実施の形態１に係る異常検知装置のハードウェア構成例を示す図である。 実施の形態１に係る異常検知装置による処理の一例を示すフローチャートである。 図４Ａは、正常範囲となる運転手の顔の位置の一例を示す図であり、図４Ｂは、正常範囲となる運転手の顔の位置及び前のめりになった運転手の顔の位置の一例を示す図である。 図５Ａは、走行開始時点での学習データベースの一例を示す表であり、図５Ｂは、走行開始から１分後の学習データベースの一例を示す表であり、図５Ｃは、図５Ｂが更新されたときの学習データベースの一例を示す表である。 行動パターンデータベースの条件の一例を示す表である。 図７Ａは、図５Ｃに示す学習データベースの運転手の顔の位置を示す図であり、図７Ｂは、前のめりに倒れ込んだ運転手の顔の位置の一例を示す図である。

　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１． 
　図１は、実施の形態１に係る異常検知装置１０の構成を示す図である。実施の形態１では、異常検知装置１０は、車両に搭載されて当該車両の運転手の異常状態を検知するものであるとして説明する。

　異常検知装置１０は、学習データベース１と、行動パターンデータベース２と、取得部３と、第１候補判定部４と、第２候補判定部５と、リセット判定部６と、確定部７と、更新部８とを有する。また、異常検知装置１０は、センサ１１及び車両機器１２と接続されている。

　センサ１１は、車両の運転手の状態を示すセンサ情報を生成し、異常検知装置１０へ出力する。センサ１１は、例えば、運転手の顔又は目の位置を検出し、運転手の顔又は目の位置を示すセンサ情報を異常検知装置１０へ出力する。この場合、センサ１１は、例えば、車両内に設置された可視カメラ又は赤外線カメラと、これらのカメラによる撮影画像を解析する画像解析装置とを有している。センサ１１が有するカメラとして、複数のカメラが車両内に設置されてもよい。また、センサ１１がカメラ及び画像解析装置に加え、車両内に設置されたマイク及び音声認識装置を有し、運転手等の乗員の発話音声を音声認識してセンサ情報に含めてもよい。
　また、センサ１１は、運転手の心拍数又は血圧等を示すセンサ情報を生成する生体センサであってもよいし、運転席に設置された感圧センサであってもよい。

　車両機器１２は、機器の状態を示す機器情報を生成し、異常検知装置１０へ出力する。車両機器１２は、例えば、ハンドル、アクセル、ブレーキ、ギア、カーエアコン、カーナビゲーション装置、速度計、加速度計、温度計、湿度計又はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置である。車両機器１２は、ハンドル、アクセル、ブレーキ若しくはギアの操作情報、カーエアコン若しくはカーナビゲーション装置の操作情報、又は、車速、温度、湿度若しくは走行軌跡といった車両自体の情報を機器情報として出力する。

　センサ１１が出力したセンサ情報、及び、車両機器１２が出力した機器情報は、異常検知装置１０の取得部３にて取得される。取得部３は、取得したセンサ情報及び機器情報を第１候補判定部４、第２候補判定部５、リセット判定部６及び更新部８へ出力する。

　学習データベース１は、正常状態のときのセンサ情報と機器情報の組合せを記憶している。また、学習データベース１では、センサ情報と機器情報の組合せが、当該組合せを学習データベース１に記憶した時刻と共に記憶されるようにしてもよい。実施の形態１のように異常検知装置１０が車両に搭載されている場合、正常状態とは、具体的には、運転手が急病又は居眠り等の状態になく、正常な運転ができる状態にあることを指す。

　行動パターンデータベース２は、正常状態のときのセンサ情報又は機器情報を記憶している。行動パターンデータベース２に記憶されているセンサ情報又は機器情報は、正常状態であることが明確に分かるような情報であり、例えば、以下のような条件に当てはまる情報である。つまり、行動パターンデータベース２には、一般的に考えられる正常状態での行動パターンが記憶されていると言える。
・第１設定時間以上、目が開いていることを示している
・バックにて駐車が完了したことを示している
・カーナビゲーション装置で楽曲が選曲されたことを示している
・カーエアコンの温度が設定されたことを示している
・運転手と助手席の人物とが笑顔で会話したことを示している
・右折又は左折が完了したときの走行軌跡を示している
　行動パターンデータベース２には、上記のような条件に当てはまるセンサ情報又は機器情報が、例えば製品出荷時の時点で予め登録されている。または、異常検知装置１０のユーザが、異常検知装置１０を使用するにあたり行動パターンデータベース２を手動で設定するようにしてもよい。

　第１候補判定部４は、取得部３により取得されたセンサ情報が、正常範囲にあるか判定する。例えば、取得部３により取得されたセンサ情報が、運転手の顔の位置を示すものである場合、第１候補判定部４は、正常な運転のときの運転手の顔の位置からどれくらい乖離しているかを判定する。そして、第１候補判定部４は、第１設定値以上の乖離があれば、取得部３により取得されたセンサ情報は正常範囲にないと判定し、第１設定値未満の乖離であれば、取得部３により取得されたセンサ情報は正常範囲にあると判定する。
　第１候補判定部４は、判定結果を確定部７へ出力する。

　第２候補判定部５は、学習データベース１に記憶されているセンサ情報と機器情報の組合せの中に、取得部３により取得されたセンサ情報と機器情報の組合せと一致するものがあるか判定する。詳細については、後述する。なお、「一致」とは厳密な一致に限らず、実質的に一致していると見なせる程度類似していれば、一致していると判定されるようにしてもよい。リセット判定部６による判定においても同様である。
　第２候補判定部５は、判定結果を確定部７へ出力する。

　リセット判定部６は、行動パターンデータベース２に記憶されているセンサ情報又は機器情報の中に、取得部３により取得されたセンサ情報又は機器情報と一致するものがあるか判定する。
　リセット判定部６は、判定結果を確定部７へ出力する。

　確定部７は、第１候補判定部４、第２候補判定部５及びリセット判定部６による判定結果に応じて、正常状態であるか異常状態であるかを確定する。

　更新部８は、第１候補判定部４、第２候補判定部５及びリセット判定部６による判定結果に応じて確定部７から指示を受け、取得部３により取得されたセンサ情報と機器情報の組合せを学習データベース１に登録する。このように、学習データベース１には、異常検知装置１０が正常状態のときのセンサ情報と機器情報の組合せであると学習したセンサ情報と機器情報の組合せが、登録されていく。

　次に、異常検知装置１０のハードウェア構成例について、図２Ａ及び図２Ｂを用いて説明する。
　異常検知装置１０の取得部３、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８は、処理回路により実現される。すなわち、異常検知装置１０は、センサ情報及び機器情報を取得して、異常状態の発生を検知するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアであってもよいし、図２Ｂに示すようにメモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。ＣＰＵは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）とも呼ばれる。
　また、学習データベース１及び行動パターンデータベース２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０４を用いて実現される。なお、学習データベース１及び行動パターンデータベース２は、ＨＤＤに限らず後述のメモリ１０２と同様にＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等を用いて実現されてもよい。
　また、異常検知装置１０は、外部の機器又は外部のソフトウェアとの通信を行うための入力インタフェース装置１０５及び出力インタフェース装置１０６を有する。

　図２Ａは、取得部３、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８の各部の機能を、専用のハードウェアである処理回路１０１で実現した場合のハードウェア構成例を示す図である。処理回路１０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、若しくはＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。取得部３、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８の各部の機能を別個の処理回路１０１を組み合わせて実現してもよいし、各部の機能を１つの処理回路１０１で実現してもよい。

　図２Ｂは、取得部３、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８の各部の機能を、メモリ１０２に格納されるプログラムを実行するＣＰＵ１０３で実現した場合のハードウェア構成例を示す図である。この場合、取得部３、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８の各部の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組合せにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ１０２に格納される。ＣＰＵ１０３は、メモリ１０２に格納されたプログラムを読み出して実行することにより、取得部３、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８の各部の機能を実現する。すなわち、異常検知装置１０は、後述する図３のフローチャートで示すステップＳＴ１～ＳＴ８が結果的に実行されることになるプログラム等を格納するためのメモリ１０２を有する。また、これらのプログラムは、取得部３、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８の各部の手順又は方法をコンピュータに実行させるものであるとも言える。ＣＰＵ１０３は、一次キャッシュメモリ、二次キャッシュメモリ等の複数のキャッシュメモリを備えてもよい。また、ここで、メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）等の、不揮発性若しくは揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、若しくはＤＶＤ等のディスク状の記録媒体等が該当する。

　なお、取得部３、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８の各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、取得部３については専用のハードウェアとしての処理回路でその機能を実現し、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８については処理回路がメモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組合せによって、上記の取得部３、第１候補判定部４、第２候補判定部５、リセット判定部６、確定部７及び更新部８の各部の機能を実現することができる。

　次に、上記のように構成された異常検知装置１０による処理の一例について、図３に示すフローチャートを用いて説明する。以下では、センサ１１がカメラを有し、人物の状態として運転手の顔の位置を示すセンサ情報を出力する場合を例に説明する。
　図３のフローチャートで示す処理は、例えば車両のエンジンがＯＮになると、その後周期的に行われるものである。
　以下では、処理の流れとして学習データベース１への登録処理を含む「正常状態データ収集フェーズ」についてまず説明し、続いて、処理の流れとして学習データベース１への登録処理には至らない「異常検知フェーズ」について説明する。

　取得部３は、センサ１１からセンサ情報を取得し、車両機器１２から機器情報を取得する（ステップＳＴ１）。取得部３は、取得したセンサ情報及び機器情報を第１候補判定部４、第２候補判定部５、リセット判定部６及び更新部８へ出力する。

　なお、取得部３は、ある一定期間、例えば車両のエンジンがＯＮになって走行が開始されてから１分間を正常状態とみなし、その間に取得したセンサ情報を学習データベース１に登録する処理も行う。例えば、図４Ａに示すような、高密度な顔の位置の分布Ａを示すセンサ情報が、走行開始から１分間の間に得られたとする。この場合、走行開始時点での学習データベース１は、一例として図５Ａに示すものであるが、走行開始から１分後には、一例として図５Ｂに示すものとなる。このようにして登録されたセンサ情報は、センサ情報の正常範囲を示すものである。なお、取得部３によって登録されるのではなく、一般的に正常と考えられる運転手の顔の位置を示したセンサ情報が、例えば製品出荷時の時点で予め学習データベース１にデフォルトで登録されていてもよい。

　続いて、第１候補判定部４は、取得部３により取得されたセンサ情報が正常範囲にあるか判定する（ステップＳＴ２）。第１候補判定部４は、判定結果を確定部７へ出力する。
　例えば、運転手が覗き込み運転等をして前のめりになり、運転手の顔の位置が移動すると、センサ情報には、図４Ｂに示すような顔の位置の分布Ｃが表れる。第１候補判定部４は、学習データベース１に正常範囲として記憶されている顔の位置の分布Ａと、顔の位置の分布Ｃとの間で分布間の距離を計算し、分布Ｃが分布Ａから第１設定値以上外れている場合に、取得部３により取得されたセンサ情報は正常範囲にはないと判定する。

　なお、取得部３が取得するセンサ情報は、運転手の顔の位置に限らず、運転手の目の開眼度、運転手の顔の動く速度及び方向、運転手の顔の向き、及び、運転手の顔の表情等を更に示すものであってもよい。この場合、第１候補判定部４は、運転手の顔の位置、運転手の目の開眼度、運転手の顔の動く速度及び方向、運転手の顔の向き、及び、運転手の顔の表情等を特徴量とした多次元空間でのベクトル空間にて分布間の距離を計算し、判定を行うとよい。

　第１候補判定部４によりセンサ情報が正常範囲にないと判定された場合（ステップＳＴ２；ＮＯ）、第２候補判定部５は、学習データベース１に記憶されているセンサ情報と機器情報の組合せの中に、取得部３により取得されたセンサ情報と機器情報の組合せと一致するものがあるか判定する（ステップＳＴ３）。第２候補判定部５は、判定結果を確定部７へ出力する。なお、ステップＳＴ３の処理の詳細については後述の「異常検知フェーズ」で述べるとし、ここでは第２候補判定部５により一致するものがないと判定されたとして（ステップＳＴ３；ＮＯ）説明を続ける。

　第２候補判定部５により一致するものがないと判定された場合（ステップＳＴ３；ＮＯ）、リセット判定部６は、行動パターンデータベース２に記憶されているセンサ情報又は機器情報の中に、取得部３により取得されたセンサ情報又は機器情報と一致するものがあるか判定する（ステップＳＴ４）。なお、リセット判定部６は、取得部３により取得されたセンサ情報又は機器情報が、行動パターンデータベース２に記憶されているセンサ情報又は機器情報のいずれかに一致する場合に一致するものがあるとの判定をしてもよいし、行動パターンデータベース２に記憶されているセンサ情報又は機器情報のうちの複数のものに一致する場合に一致するものがあるとの判定をしてもよい。リセット判定部６は、判定結果を確定部７へ出力する。

　リセット判定部６により一致するものがあると判定された場合（ステップＳＴ４；ＹＥＳ）、確定部７は、正常状態であると確定する（ステップＳＴ５）。この場合、確定部７は、更新部８に対して学習データベース１への登録処理を行うよう指示を出す。
　更新部８は、確定部７からの指示を受けて、取得部３により取得されたセンサ情報と機器情報の組合せを学習データベース１に登録する（ステップＳＴ６）。これにより、図４Ｂに示す顔の位置の分布Ｃを示すセンサ情報が、当該センサ情報と共に取得部３で取得された機器情報との組合せとして、新たに学習データベース１に登録される。例えば、顔の位置の分布Ｃを示すセンサ情報が、ブレーキ頻度高いかつハンドル操作左を示す機器情報と共に取得部３で取得されたのであれば、図５Ｃに示すように双方の情報は紐付けられた状態で学習データベース１に登録される。

　なお、更新部８は、取得部３からセンサ情報と機器情報とを受け取ると、第１候補判定部４及び第２候補判定部５による判定処理の間は、当該双方の情報を学習データベース１に登録するのではなく一時的に保持、つまりキャッシュするにとどめる。
　その後、更新部８は、リセット判定部６により一致するものがあると判定されると（ステップＳＴ４；ＹＥＳ）、一時的に保持しているセンサ情報と機器情報を、正常状態のときのセンサ情報と機器情報の組合せとして学習データベース１に登録する。

　また、学習データベース１の機器情報には、行動パターンデータベース２では格納されていないタイプの行動を運転手が行うことで得られる機器情報が、登録されるようにしてもよい。
　例えば、行動パターンデータベース２には、正常状態のときのセンサ情報又は機器情報として、図６に示すような条件に当てはまる情報が格納されているとする。つまり、図６の例では、行動パターンデータベース２には右折又は左折に当てはまるセンサ情報又は機器情報は格納されていない。このため、右折時又は左折時の運転手の姿勢崩れに関し、リセット判定部６によるステップＳＴ４の処理では、図６中の例えば「第１設定時間以上、目が開いていることを示している」に当てはまるセンサ情報が得られたとして、「ステップＳＴ４；ＹＥＳ」との判定がされる。
　そして、更新部８によるステップＳＴ６の処理では、行動パターンデータベース２では図６に示すようにブレーキ頻度及びハンドル操作方向に関係する機器情報は格納されていないが、学習データベース１にはブレーキ頻度及びハンドル操作方向を示す機器情報が新たに登録される。このようにして登録された機器情報は、異常検知装置１０により自動で収集された正常状態での行動パターンと言える。

　また、更新部８は、例えば、取得部３により取得された機器情報がエンジン停止を示すものである場合、学習データベース１の一部又は全部を消去する。これにより、異常検知装置１０は、運転手が別の人物に変わった場合にも対応することができる。
　エンジン停止以外にも、更新部８は、様々なタイミングで学習データベース１の消去処理を行ってよい。更新部８は、例えば、運転席のリクライニング調整等により運転席の座席位置が移動した場合、学習データベース１を全て消去してもよい。また、更新部８は、学習データベース１に登録されてからの時間が第２設定時間以上経過した情報を消去するようにしてもよい。また、更新部８は、取得部３により取得されたセンサ情報が運転手の変更を示すものである場合、学習データベース１を消去してもよい。運転手の変更は、例えば、センサ１１による顔認証の結果を示すセンサ情報によって判定可能である。

　また、リセット判定部６により一致するものがないと判定された場合（ステップＳＴ４；ＮＯ）、確定部７は、異常状態であると確定する（ステップＳＴ７）。この場合、学習データベース１への登録処理は行われない。確定部７が異常状態であると確定した場合、警報が出力されるようにしてもよいし、また、自動運転で車両が制御されるようにしてもよい。
　以上、「正常状態データ収集フェーズ」について説明した。このように、異常検知装置１０は、運転手の癖及び座席位置の変化等を学習して学習データベース１を逐次更新する。

　次に、「異常検知フェーズ」について説明する。以下では、学習データベース１が図５Ｃに示すものである場合を例に説明する。また、図７Ａには、図５Ｃの顔の分布Ａ，Ｂ，Ｃを示している。
　ステップＳＴ１の後、第１候補判定部４が、取得部３により取得されたセンサ情報が正常範囲にあると判定した場合（ステップＳＴ２；ＹＥＳ）、確定部７は、正常状態であると確定する（ステップＳＴ８）。

　これに対し、例えば、運転手が意識を失うなどして異常状態に陥り、ブレーキ操作及びハンドル操作ができず、かつ運転席で前のめりに倒れ込んで、図７Ｂの分布Ｄに示す位置に運転手の顔の位置が移動したとする。この場合、ステップＳＴ１で顔の位置がＤを示すセンサ情報と、ブレーキ操作なしかつハンドル操作なしを示す機器情報とが取得される。そして、続くステップＳＴ２では、上記「正常状態データ収集フェーズ」で説明した処理が行われ、第１候補判定部４によりセンサ情報が正常範囲にないと判定される。この場合（ステップＳＴ２；ＮＯ）、第２候補判定部５は、学習データベース１に記憶されているセンサ情報と機器情報の組合せの中に、取得部３により取得されたセンサ情報と機器情報の組合せと一致するものがあるか判定する（ステップＳＴ３）。

　まず、第２候補判定部５は、学習データベース１の中から、センサ情報が取得部３により取得されたセンサ情報と一致する組合せを抽出する。つまり、第２候補判定部５は、顔の位置の分布Ｄに第２設定値以上近い分布となっている組合せを学習データベース１の中から抽出する。図７Ａ及び図７Ｂに示すように、分布Ｄは分布Ｃに一致するとして、図５Ｃに示す分布Ｃとブレーキ頻度高いかつハンドル操作左という組合せが抽出される。なお、場合によっては、抽出される組合せは１組ではなく複数組になることもある。

　続いて、第２候補判定部５は、取得部３により取得された機器情報が、学習データベース１の中から抽出した組合せの機器情報に一致するかを判定する。取得部３により取得された機器情報が「ブレーキ操作なしかつハンドル操作なし」を示し、抽出した機器情報が「ブレーキ頻度高いかつハンドル操作左」を示しているので、判定は不一致となる。この場合、第２候補判定部５は、学習データベース１に記憶されているセンサ情報と機器情報の組合せの中に、取得部３により取得されたセンサ情報と機器情報の組合せと一致するものはないと判定する。

　第２候補判定部５により一致するものがないと判定された場合（ステップＳＴ３；ＮＯ）の処理は、上記「正常状態データ収集フェーズ」で説明したとおりである。
　一方、第２候補判定部５により一致するものがあると判定された場合（ステップＳＴ３；ＹＥＳ）、確定部７は、正常状態であると確定する（ステップＳＴ８）。

　なお、行動パターンデータベース２に正常状態だけでなく異常状態のときのセンサ情報又は機器情報も記憶されるようにし、ステップＳＴ３において第２候補判定部５は、行動パターンデータベース２を参照して明らかに異常状態である場合は、学習データベース１を参照せずに異常状態の確定を確定部７に指示するようにしてもよい。
　行動パターンデータベース２には、異常状態のときのセンサ情報又は機器情報として、例えば以下のような条件に当てはまる情報が記憶されている。
・第３設定時間以上、運転手の目又は顔の検出がないことを示している
・警報を停止する動作が行われていないことを示している
・車速が３０ｋｍ／ｈ以上で、かつ、ブレーキ操作がないことを示している
・心拍数が異常値を示している
　第２候補判定部５は、取得部３により取得されたセンサ情報又は機器情報が、行動パターンデータベース２に記憶されている異常状態のときのセンサ情報又は機器情報のいずれ又は複数のものに一致する場合に、異常状態の確定を確定部７に指示する。

　また、第２候補判定部５は、学習データベース１の中から、機器情報が取得部３により取得された機器情報と一致する組合せを抽出し、その後、取得部３により取得されたセンサ情報が、学習データベース１の中から抽出した組合せのセンサ情報に一致するかを判定することで、ステップＳＴ３の判定を行ってもよい。

　このように、異常検知装置１０は、正常状態のときのセンサ情報と機器情報の組合せを逐次学習して学習データベース１に登録し、異常状態を判別するのに使う。異常検知装置１０は、正常状態のときのセンサ情報と機器情報の組合せを学習して使用することで、覗き込み運転又は頬杖をついての運転がされている場合と、運転手が意識を失うなどして倒れ込んだ場合という姿勢としては紛らわしい２つの場合を、正確に判別することができる。したがって、異常検知装置１０は、上記特許文献１のように正常状態のときの姿勢を学習して異常状態の判別に使用する場合と比較して、異常状態と正常状態との判別精度が向上するものである。

　なお、上記では、異常検知装置１０は車両に搭載されているとしたが、センサ１１及び車両機器１２と通信可能で車両外部に置かれたサーバ内に、異常検知装置１０が構築されていてもよい。
　また、センサ１１及び車両機器１２と通信可能で車両に持ち込まれたスマートフォン及びタブレット端末等の携帯端末内に、異常検知装置１０が構築されていてもよい。またその際、センサ１１のカメラとして携帯端末に備えられたカメラが利用されるようにしてもよい。

　また、上記では、異常検知装置１０は、車両に搭載されて当該車両の運転手の異常状態を検知するものとして説明した。しかしながら、異常検知装置１０は、それ以外の用途に用いられてもよい。異常検知装置１０は、例えば、家の中に設置された監視カメラ、センサ、又は、エアコン若しくは冷蔵庫等の家電製品に設けられたカメラをセンサ１１として利用し、かつ、各家電製品から機器情報を取得することで、家の中で異常状態が発生したことを検知する装置であってもよい。

　例えば、「リビング内の位置Ｅにいるときにはテレビを見ている」等の正常状態のときのセンサ情報と機器情報の組合せを、更新部８が学習データベース１へ逐次登録する。そうした登録の後、第１候補判定部４が、センサ情報の正常範囲から外れた位置Ｅに人物がいると判定した場合、第２候補判定部５は、学習データベース１から「リビング内の位置Ｅにいるときにはテレビを見ている」という組合せを抽出するが、そのとき取得部３で取得された機器情報がテレビの電源ＯＦＦを示しており、更にリセット判定部６による判定が不一致の場合には、居住者の異常状態例えば倒れて動けないと検知される。この場合の行動パターンデータベース２としては、居住者が正常状態にあることが分かる情報、例えば、「第１設定時間以上、目が開いていることを示している」に当てはまるセンサ情報を格納しておくことが考えらえる。

　また例えば、第１候補判定部４が、センサ情報の正常範囲から外れた位置Ｅに人物がいると判定した場合、第２候補判定部５は、学習データベース１から「リビング内の位置Ｅにいるときにはテレビを見ている」という組合せを抽出するが、そのとき取得部３で取得された機器情報がテレビの電源ＯＦＦを示しており、更にリセット判定部６による判定が不一致の場合には、不審者が不法侵入してきたと検知される。この場合の行動パターンデータベース２としては、不審者がおらず家が正常状態にあることが分かる情報、例えば、「人物が笑顔で会話したことを示している」に当てはまるセンサ情報を格納しておくことが考えらえる。

　以上のように、この実施の形態１に係る異常検知装置１０によれば、正常状態のときのセンサ情報と機器情報の組合せを逐次学習して学習データベース１に登録し、異常状態を判別するのに使うことで、覗き込み運転又は頬杖をついて運転しているときと、意識を失うなどして倒れ込んだとき等、姿勢が似ていて紛らわしい正常状態と異常状態とを正確に判別することができる。したがって、異常状態と正常状態との判別精度が向上する。
　また、異常検知装置１０は、学習データベース１を逐次更新することで、過学習を抑制しながら検知対象人物の癖、例えば運転手であれば癖及び座席位置の変化等に適応しながら異常状態の発生を検知することができる。
　また、行動パターンデータベース２は、自動ではなく人の手により予め作成されることになるので、一般的に考えられる正常状態での行動パターン全てを網羅することは難しい。しかしながら、異常検知装置１０は、学習データベース１に、正常状態での行動パターンに相当する機器情報を自動で登録していくことで、行動パターンデータベース２を補うようにして処理を行うことができる。

　また、第２候補判定部５は、学習データベース１の中から、センサ情報が、取得されたセンサ情報と一致する組合せを抽出し、当該抽出した組合せの機器情報に、取得された機器情報と一致するものがない場合、学習データベース１に、取得されたセンサ情報と機器情報の組合せと一致するものはないと判定することとした。このようにして、第２候補判定部５は、学習データベース１に一致する組合せがあるかを適切に判定することができる。

　また、更新部８は、取得されたセンサ情報と機器情報とを一時的に保持し、第１候補判定部４によりセンサ情報が正常範囲にないと判定された場合であって、第２候補判定部５により一致するものがなくかつリセット判定部６により一致するものがあると判定されると、一時的に保持しているセンサ情報と機器情報の組合せを学習データベース１に登録することとした。このようにして、更新部８は、異常検知装置１０が有する記憶領域を有効に使いながら、適切なタイミングで学習データベース１への登録を行うことができる。

　また、取得部３は、車両の運転手の状態を示すセンサ情報を取得することとした。このようにして、異常検知装置１０を、車両の運転手が意識を失っているなどの異常状態にないかを検知する装置として利用することができる。

　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

　以上のように、この発明に係る異常検知装置は、異常状態と正常状態との判別精度を向上できるので、例えば車両の運転手の異常状態を検知する装置として用いるのに適している。

　１　学習データベース、２　行動パターンデータベース、３　取得部、４　第１候補判定部、５　第２候補判定部、６　リセット判定部、７　確定部、８　更新部、１０　異常検知装置、１１　センサ、１２　車両機器、１０１　処理回路、１０２　メモリ、１０３　ＣＰＵ、１０４　ＨＤＤ、１０５　入力インタフェース装置、１０６　出力インタフェース装置。

Claims (5)

1. 　人物の状態を示すセンサ情報と機器の状態を示す機器情報を取得する取得部と、
   　前記取得されたセンサ情報が正常範囲にあるか判定する第１候補判定部と、
   　正常状態のときのセンサ情報と機器情報の組合せを記憶した学習データベースに、前記取得されたセンサ情報と機器情報の組合せと一致するものがあるか判定する第２候補判定部と、
   　正常状態のときのセンサ情報又は機器情報を記憶した行動パターンデータベースに、前記取得されたセンサ情報又は機器情報と一致するものがあるか判定するリセット判定部と、
   　前記第１候補判定部によりセンサ情報が正常範囲にないと判定された場合、
   前記第２候補判定部により一致するものがあると判定されれば正常状態であると確定し、前記第２候補判定部及び前記リセット判定部により一致するものがないと判定されれば異常状態であると確定する確定部と、
   　前記第１候補判定部によりセンサ情報が正常範囲にないと判定された場合、
   前記第２候補判定部により一致するものがなくかつ前記リセット判定部により一致するものがあると判定されれば、前記取得されたセンサ情報と機器情報の組合せを前記学習データベースに登録する更新部とを備える異常検知装置。
2. 　前記第２候補判定部は、前記学習データベースの中から、センサ情報が前記取得されたセンサ情報と一致する組合せを抽出し、当該抽出した組合せの機器情報に前記取得された機器情報と一致するものがない場合、前記学習データベースに前記取得されたセンサ情報と機器情報の組合せと一致するものはないと判定することを特徴とする請求項１記載の異常検知装置。
3. 　前記更新部は、前記取得されたセンサ情報と機器情報とを一時的に保持し、前記第１候補判定部によりセンサ情報が正常範囲にないと判定された場合であって、前記第２候補判定部により一致するものがなくかつ前記リセット判定部により一致するものがあると判定されると、前記一時的に保持しているセンサ情報と機器情報の組合せを前記学習データベースに登録することを特徴とする請求項１記載の異常検知装置。
4. 　前記取得部は、車両の運転手の状態を示すセンサ情報を取得することを特徴とする請求項１記載の異常検知装置。
5. 　取得部が、人物の状態を示すセンサ情報と機器の状態を示す機器情報を取得する取得ステップと、
   　第１候補判定部が、前記取得されたセンサ情報が正常範囲にあるか判定する第１候補判定ステップと、
   　第２候補判定部が、正常状態のときのセンサ情報と機器情報の組合せを記憶した学習データベースに、前記取得されたセンサ情報と機器情報の組合せと一致するものがあるか判定する第２候補判定ステップと、
   　リセット判定部が、正常状態のときのセンサ情報又は機器情報を記憶した行動パターンデータベースに、前記取得されたセンサ情報又は機器情報と一致するものがあるか判定するリセット判定ステップと、
   　確定部が、
   前記第１候補判定ステップによりセンサ情報が正常範囲にないと判定された場合、
   前記第２候補判定ステップにより一致するものがあると判定されれば正常状態であると確定し、前記第２候補判定ステップ及び前記リセット判定ステップにより一致するものがないと判定されれば異常状態であると確定する確定ステップと、
   　更新部が、
   前記第１候補判定ステップによりセンサ情報が正常範囲にないと判定された場合、
   前記第２候補判定ステップにより一致するものがなくかつ前記リセット判定ステップにより一致するものがあると判定されれば、前記取得されたセンサ情報と機器情報の組合せを前記学習データベースに登録する更新ステップとを備える異常検知方法。

Images