JP7465644B2

JP7465644B2 - 監視システム、及び監視方法

Info

Publication number: JP7465644B2
Application number: JP2019178665A
Authority: JP
Inventors: 訓行黒田
Original assignee: Daiwa House Industry Co Ltd
Current assignee: Daiwa House Industry Co Ltd
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2024-04-11
Anticipated expiration: 2039-09-30
Also published as: JP2021056728A

Description

本発明は、監視システム、及び監視方法に関する。

近年、住宅等のセキュリティの確保が重要視され、種々の監視システムが提案されている。例えば、特許文献１は、建物に侵入する侵入者を監視する監視システムを開示している。

特開２０１０－２１１５１４号公報

しかしながら、監視カメラの撮影する画像を常に監視することは困難であるため、より効率的に監視が可能な方法が望まれていた。

本発明は、カメラの撮影画像により効率的な監視が可能な監視システム、及び監視方法を提供することを目的とする。

本発明は、住宅の外部の状況を監視する監視システムであって、前記住宅の外部の動体を撮影するカメラと、前記住宅の外部の日常の状況情報を保有し、前記カメラで撮影した実際の外部状況と、保有した前記日常の状況情報との差を検出する情報判断装置と、検出した前記差を予め設定された通知先へ通知する通知部と、を備え、前記情報判断装置は、予め設定された期間内での前記動体の検出回数を記憶する記憶部を備え、前記検出回数に基づいて設定される判定条件の範囲を外れる回数、前記動体が検出されると、前記通知部に、前記通知先へ通知させる、ことを特徴とする。

本発明は、上記監視システムにおいて、前記情報判断装置は、前記判定条件を学習した学習済みモデルを備える。

本発明は、上記監視システムにおいて、前記情報判断装置は、前記住宅を訪問した訪問者の画像と、当該訪問者が前記住宅を訪問した時間帯情報とを保有し、登録されていない訪問者を検出した場合、又は、登録された訪問者であるが、時間帯情報が示す時間帯を外れている場合、前記通知部に、前記通知先へ通知させる。

本発明は、住宅の外部の状況を監視する監視方法であって、住宅の外部の状況を監視する監視方法であって、住宅の外部の状況を監視する監視方法であって、予め設定された期間内での前記住宅の外部の動体の検出回数を記憶する記憶部と、制御部と、を備えるコンピュータの前記制御部が、前記動体を撮影した撮影画像を取得し、前記検出回数に基づいて設定される判定条件の範囲を外れる回数、前記動体が検出されると、通知先へ通知することを特徴とする。

本発明によれば、カメラの撮影画像を用いて、効率的に監視することができる。

第１実施形態の監視システムの一例を示す図である。外部カメラの設置場所を示す図である。内部カメラの設置場所を示す図である。外部動体テーブルの一例を示す図である。内部部動体テーブルの一例を示す図である。外部状況情報テーブルの一例を示す図である。内部状況情報テーブルの一例を示す図である。制御部の処理の一例を示すフローチャートである。制御部の処理の一例を示すフローチャートである。第２実施形態の監視システムの一例を示す図である。

［第１実施形態］
以下、図面を参照して実施形態について説明する。
図１は、監視システム１の構成を示すブロック図である。
監視システム１は、外部カメラ１０、内部カメラ２０、無線通信部３０及び情報判断装置１００を備える。

図２は、外部カメラ１０の設置場所を示す図である。
外部カメラ１０は、住宅５の外壁等に設置され、住宅５の外部を撮影する。外部カメラ１０の画角は、住宅５の玄関口を出入りする人や、住宅５の前を通行する人や車両を撮影可能な画角である。外部カメラ１０は、所定の時間間隔で撮影を行い、撮影によって生成した撮影画像と、当該撮影画像の撮影日時とを情報判断装置１００に出力する。

図３は、内部カメラ２０の設置場所を示す図である。
内部カメラ２０は、住宅５の内部に設置され、住宅５内を撮影するカメラである。内部カメラ２０は、図３に示すように部屋の天井や壁面等の住宅５に居住する住人を撮影可能な位置に設置される。図３には、１台の内部カメラ２０を示すが、複数台の内部カメラ２０を住宅５内に設置し、住人の住宅５内での動向を撮影可能であることが好ましい。本実施形態では、住宅５内に複数の内部カメラ２０を設置し、住人の動向を複数台の内部カメラ２０により検出する場合について説明する。内部カメラ２０の各々には、識別番号（以下、カメラ識別番号という）が付されている。内部カメラ２０は、所定の時間間隔で撮影を行い、撮影により生成した撮影画像と、当該撮影画像の撮影日時と、カメラ番号とを情報判断装置１００に出力する。

無線通信部３０は、移動体通信網に無線接続し、不図示の基地局を介してスマートフォンや携帯電話等の携帯機器２００と無線通信を行う。無線通信部３０は、本発明の「通知部」の一例に対応する。

次に、情報判断装置１００について説明する。
情報判断装置１００は、記憶部１１０と、制御部１３０とを備えるコンピュータである。

記憶部１１０は、例えば、半導体記憶装置や、ハードディスク装置により構成される。

記憶部１１０には、情報判断装置１００の機能を発揮させるための制御プログラム１１１がインストールされている。制御部１３０が備えるプロセッサが制御プログラム１１１を読み取って実行することにより、情報判断装置１００は、監視制御に関わる一連のデータ処理を実行する。
また、記憶部１１０は、外部動体テーブル１１３、内部動体テーブル１１５、外部状況情報テーブル１１７及び内部状況情報テーブル１１９を記憶する。これらのテーブルの構成について後述する。さらに、記憶部１１０は、外部カメラ１０及び内部カメラ２０により撮影された撮影画像を記憶する。

制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のプロセッサを備えた演算装置である。制御部１３０は、プロセッサが制御プログラム１１１に従った演算処理を行うことにより、画像解析部１３１、状況情報生成部１３３、判定部１３５、通知制御部１３７として動作する。以下、各機能部についてそれぞれ説明する。

画像解析部１３１は、記憶部１１０から外部カメラ１０及び内部カメラ２０の撮影画像を読み出し、読み出した撮影画像を解析して動体を検出する。まず、画像解析部１３１が外部カメラ１０の撮影画像を解析する場合について説明する。

画像解析部１３１は、外部カメラ１０が連続して撮像した複数枚の撮影画像を解析して動体を検出する。画像解析部１３１は、複数枚の撮影画像の各々から物体を検出し、検出した物体の撮影画像における位置の変化を検出して、検出した物体が動体であるか否かを判定する。

画像解析部１３１は、動体を検出すると、動体が検出された撮影画像の範囲の画像（以下、範囲画像という）と、動体が検出された撮影画像の撮影日時とを対応づけて外部動体テーブル１１３に登録する。

次に、画像解析部１３１は、検出した動体を特定する特徴量データを抽出する。例えば、動体が車両の場合、画像解析部１３１は、車両の色や形状を特徴量データとして抽出する。また、画像解析部１３１は、検出した動体が人物である場合、肌色情報を利用して顔領域を抽出し、抽出した顔領域から目・鼻・口等の形状や位置関係等を示す特徴量データを抽出する。画像解析部１３１は、抽出した特徴量データを、撮影日時及び範囲画像に対応づけて外部動体テーブル１１３に登録する。図４は、外部動体テーブル１１３の一例を示す図である。外部動体テーブル１１３には、撮影日時と、範囲画像と、特徴量データとが対応づけて登録される。

次に、内部カメラ２０の撮影画像を処理する場合について説明する。
例えば、記憶部１１０は、住宅５に居住する住人の各々を特定する特徴量データを予め記憶している。この特徴量データは、例えば、監視システム１の初期設定において、内部カメラ２０により住人の顔を撮影し、画像解析部１３１が撮影された撮影画像から特徴量データを抽出したものである。図５は、内部動体テーブル１１５の一例を示す図である。内部動体テーブル１１５には、住人番号と、撮影日時と、カメラ番号と、範囲画像とが対応づけて登録される。

画像解析部１３１は、記憶部１１０が記憶する特徴量データを参照して、内部カメラ２０の撮影画像に撮影された住人を特定する。画像解析部１３１は、住人を特定すると、住人を撮影した内部カメラ２０の識別番号（以下、カメラ番号という）と、住人を検出した日時と、住人が撮影された撮影画像の範囲（以下、範囲画像という）とを、住人の１人１人に設定された住人番号に対応づけて内部動体テーブル１１５に登録する。

状況情報生成部１３３は、外部動体テーブル１１３及び内部動体テーブル１１５を参照して、日常の外部状況情報、及び日常の内部状況情報の生成又は更新を行う。状況情報生成部１３３は、例えば、１日に１回や、１週間に１回等の予め設定された時刻に、日常の外部状況情報、及び日常の内部状況情報の生成又は更新を行う。以下、簡単に、日常の外部状況情報を外部状況情報といい、日常の内部状況情報を内部状況情報という。

外部状況情報とは、通常の住宅５の外側の状況を示す情報である。また、内部状況情報とは、住宅５内での住人の行動を示す情報である。内部状況情報には、例えば、起床時間や、就寝時間、時間帯ごとに住人が過ごす部屋の情報、食事の時間、掃除の時間、調理の時間、入浴時間、歯磨きの時間等の情報が含まれる。

状況情報生成部１３３が、外部状況情報を生成する場合について説明する。図６は、外部状況情報テーブル１１７の一例を示す図である。
状況情報生成部１３３は、外部動体テーブル１１３の特徴量データを参照して、特徴量データが同一の動体を検出する。状況情報生成部１３３は、同一の動体を検出すると、外部動体テーブル１１３を参照して、動体の移動方向や、動体が検出された曜日、時間帯、単位期間内での検出回数、住宅５への訪問があったか否かを示す訪問情報等の外部状況情報を生成する。時間帯は、動体が検出された期間を示す情報であり、この期間は、３０分間隔であってもよいし、１時間間隔であってもよい。例えば、ある人物が検出された時刻が、９時１０分から９時１２分までであった場合、時間帯として、９時００分～９時３０分が登録される。状況情報生成部１３３は、生成した外部状況情報を、特徴量データや範囲画像と共に外部状況情報テーブル１１７に登録する。

次に、状況情報生成部１３３が、内部状況情報を生成する場合について説明する。図７は、内部状況情報テーブル１１９の一例を示す図である。
状況情報生成部１３３は、内部動体テーブル１１５を参照して、住人の時間帯ごとの内部状況情報を生成する。内部状況情報には、住人の行動と、この行動を行った時間帯とが含まれる。例えば、状況情報生成部１３３は、住人を撮影した内部カメラ２０に基づいて行動を判定してもよいし、内部カメラ２０の撮影画像を解析して、実際に住人が行っている行動を判定してもよい。例えば、キッチンに設置された内部カメラ２０に住人が撮影された場合の行動として、食事の準備、又は食事と判定することができる。また、寝室に設置された内部カメラ２０に住人が撮影された場合の行動として、就寝と判定することができる。さらに、内部カメラ２０のいずれにも住人が撮影されない場合の行動として、外出と判定してもよい。また、状況情報生成部１３３が検出する起床、朝食、入浴等の行動は、ほぼ毎日行われる情報であるため、状況情報生成部１３３は、これらの行動が行われた時間帯の平均値を求め、求めた平均値を内部状況情報テーブル１１９に登録する。内部状況情報テーブル１１９には、状況情報生成部１３３が生成した内部状況情報と、住人の顔画像と、特徴量データとが対応づけて登録される。

判定部１３５は、外部状況情報テーブル１１７に登録された外部状況情報と、実際の外部情報との差を検出する。実際の外部情報は、外部カメラ１０の撮影画像を解析して検出された住宅５の外部の現在の情報である。また、判定部１３５は、内部状況情報テーブル１１９に登録された内部状況情報と、実際の内部情報との差を検出する。実際の内部情報は、内部カメラ２０の撮影画像を解析して検出される住宅５の内部の現在の情報である。

また、判定部１３５が検出する差は、外部状況情報に基づいて設定される判定条件と、実際の外部情報との差である。また、判定部１３５が検出する差は、内部状況情報に基づいて設定される判定条件と、実際の内部情報との差である。

まず、判定部１３５が外部状況情報テーブル１１７に登録された外部状況情報と、実際の外部情報との差を検出する場合について説明する。
判定部１３５は、外部状況情報テーブル１１７の外部状況情報に基づいて判定条件を設定する。例えば、外部状況情報テーブル１１７には、動体の移動方向や、動体が検出された曜日、時間帯、検出回数等の外部状況情報が登録されている。判定部１３５は、これらの情報に基づいて判定条件を設定する。

例えば、判定部１３５は、外部状況情報テーブル１１７に登録された時間帯に所定値を加算又は減算して範囲を設定する。例えば、ある人物が検出された時間帯が午前９時～午前１０時３０分であり、所定値が３０分であると仮定する。所定値は、任意に設定可能であるが、ここでは３０分であると仮定する。判定部１３５は、時間帯の開始時間から所定値を減算し、時間帯の終了時間に所定値を加算した範囲を設定する。この場合、判定部１３５は、午前９時の３０分前の午前８時３０分から、午前１０時３０分の３０分後の午後１１時までの時間を範囲とする判定条件を設定する。

また、単位期間内での検出回数を例にして説明する。例えば、１週間等の予め設定された単位期間において、ある人物が検出された回数が５回であると仮定する。所定値は、任意に設定可能であるが、ここでは「２」であると仮定する。判定部１３５は、検出された回数である５回から「２」を減算した３回から、「２」を加算した７回の範囲を判定条件に設定する。

判定部１３５は、設定した判定条件を記憶部１１０に記憶させる。
判定部１３５は、判定条件の設定が完了すると、外部カメラ１０の撮影画像を解析して実際の外部情報を取得する。判定部１３５は、外部カメラ１０の撮影画像を解析して、住宅５の外部に存在する車両や人物等の動体を検出する。判定部１３５は、動体を検出すると、検出した動体に対応する外部状況情報が、外部状況情報テーブル１１７に登録されているか否かを判定する。判定部１３５は、検出した動体に対応する外部状況情報が、外部状況情報テーブル１１７に登録されている場合、この動体の外部情報が、判定条件として設定された範囲内であるか否かを判定する。判定部１３５は、動体の外部情報が、判定条件として設定された範囲内ではない場合、通知制御部１３７に通知を実行させる。

次に、判定部１３５が、内部状況情報テーブル１１９に登録された内部状況情報と、実際の内部情報との差を検出する場合について説明する。
判定部１３５は、内部状況情報テーブル１１９に登録された内部状況情報に基づいて行動ごとに判定条件を設定する。判定部１３５は、内部状況情報テーブル１１９に登録された内状況情報に基づいて、起床時間や、掃除の時間、朝食、昼食、夕食の時間、外出時間、入浴時間、歯磨きの時間、就寝時間等の行動が実行された平均の時間帯を生成する。

次に、判定部１３５は、各行動が実行される時間帯に所定値を加算又は減算した範囲を判定条件として設定する。例えば、住人が朝食を食べる時間帯が午前７：００～午前７：３０分であり、所定値が３０分であると仮定する。所定値は、任意に設定可能であるが、ここでは３０分であると仮定する。判定部１３５は、時間帯の開始時間から所定値を減算し、時間帯の終了時間に所定値を加算した範囲を判定条件に設定する。この場合、判定部１３５は、午前６：３０～午前８：００までの範囲を判定条件に設定する。

判定部１３５は、設定した判定条件を記憶部１１０に記憶させる。
判定部１３５は、判定条件の設定が完了すると、内部カメラ２０の撮影画像を解析して実際の外部情報を取得する。判定部１３５は、内部カメラ２０の撮影画像を解析して、住宅５内の住人の行動を検出する。判定部１３５は、住人の行動を検出すると、検出した行動に対応する内部状況情報が、内部状況情報テーブル１１９に登録されているか否かを判定する。判定部１３５は、検出した行動に対応する内部状況情報が、内部状況情報テーブル１１９に登録されている場合、この行動の内部状況情報が、判定条件として設定された範囲を外れているか否かを判定する。判定部１３５は、行動の内部情報が、判定条件として設定された範囲を外れている場合、通知制御部１３７に通知を実行させる。

通知制御部１３７は、無線通信部３０を制御して、予め登録された通知先に、差が検出されたことを通知する。記憶部１１０は、予め登録されたメールアドレス等の通知先を特定する情報を記憶する。通知制御部１３７は、判定部１３５から差が検出されたとの通知が入力されると、記憶部１１０からメールアドレスを読み出し、読み出したメールアドレス宛に差が検出されたことを通知する。図１には、メールアドレスとして、住人の身内のメールアドレスが登録され、この身内の所持するスマートフォンにメールアドレスが送信される場合を示す。通知制御部１３７が行う通知は、電子メールによる通知に限定されない。例えば、記憶部１１０に通知先として電話番号を登録しておき、音声合成した音声により差が検出されたことを通知してもよい。通知制御部１３７は、本発明の「通知部」の一例に対応する。

図８は、情報判断装置１００の動作を示すフローチャートである。
まず、制御部１３０は、外部カメラ１０や内部カメラ２０の撮影画像を入力する（ステップＳ１）。次に、制御部１３０は、撮影画像を解析して動体を検出する（ステップＳ２）。動体には、例えば、住宅５の外部を通行する通行人や車両、又は住宅５内の住人が含まれる。

また、制御部１３０は、動体を検出した場合（ステップＳ２／ＹＥＳ）、動体を検出した撮影画像が、外部カメラ１０の撮影画像であるか否かを判定する（ステップＳ３）。制御部１３０は、動体を検出した撮影画像が、外部カメラ１０の撮影画像である場合（ステップＳ３／ＹＥＳ）、撮影画像から範囲画像や特徴量データ等のデータを抽出し（ステップＳ４）、動体が検出された撮影日時に対応づけて外部動体テーブル１１３に登録する（ステップＳ５）。

また、制御部１３０は、動体を検出した撮影画像が、外部カメラ１０ではなく（ステップＳ３／ＮＯ）、内部カメラ２０の撮影画像である場合、記憶部１１０に記憶された特徴量データを参照して住人を特定し、住人が撮影された範囲画像をデータとして抽出する（ステップＳ６）。また、制御部１３０は、抽出した範囲画像と、住人を撮影した内部カメラ２０のカメラ番号と、住人を検出した日時と、範囲画像とを内部動体テーブル１１５に対応づけて登録する（ステップＳ７）。

次に、制御部１３０は、外部状況情報及び内部状況情報を更新する更新時間であるか否かを判定する（ステップＳ８）。制御部１３０は、更新時間ではない場合（ステップＳ８／ＮＯ）、ステップＳ１の処理に戻る。また、制御部１３０は、更新時間である場合（ステップＳ８／ＹＥＳ）、外部動体テーブル１１３の特徴量データを参照して、特徴量データが同一の動体を検出する。また、制御部１３０は、外部動体テーブル１１３を参照して、特徴量データが同一の動体の移動方向や、検出された曜日、時間帯、単位期間内での検出回数、住宅５への訪問があったか否かを示す訪問情報等の外部状況情報を生成する（ステップＳ９）。制御部１３０は、生成した外部状況情報を外部状況情報テーブル１１７に登録する（ステップＳ１０）。

次に、制御部１３０は、内部動体テーブル１１５を参照して、住人の内部状況情報を生成する（ステップＳ１１）。制御部１３０は、住人を撮影した内部カメラ２０と、この内部カメラ２０の設置場所とに基づいて住人が行った行動と、この行動が行われた時間帯とを生成する。次に、制御部１３０は、検出した行動ごとに、行動が行われた時間帯の平均値を求め、求めた平均値を内部状況情報テーブル１１９に登録する（ステップＳ１２）。

次に、図９に示すフローチャートを参照しながら、実際の外部情報又は実際の内部情報との差を検出して通知する場合について説明する。
制御部１３０は、まず、撮影画像を記憶部１１０から読み出す（ステップＳ２１）。
次に、制御部１３０は、読み出した撮影画像を解析して動体又は住人を検出する（ステップＳ２２）。制御部１３０は、外部カメラ１０の撮影画像を解析して動体を検出する。また、制御部１３０は、内部カメラ２０の撮影画像を解析して住人を検出する。

制御部１３０は、動体又は住人を検出することができなかった場合（ステップＳ２２／ＮＯ）、ステップＳ２１に戻り、次の撮影画像を記憶部１１０から読み出す。また、制御部１３０は、動体を検出した場合（ステップＳ２２／ＹＥＳ）、外部状況情報テーブル１１７に登録された外部状況情報と、実際の外部情報との差を検出する。具体的には、制御部１３０は、検出した動体の特徴量データに基づいて動体を特定し、特定した動体に対応した判定条件を記憶部１１０から取得する（ステップＳ２３）。判定条件は、外部状況情報テーブル１１７に登録された外部状況情報に基づいて設定される条件であり、時間帯や、曜日、単位期間内での検出回数、訪問情報等の情報ごとに設定される。

制御部１３０は、実際の外部情報が、判定条件の範囲外である場合、差が検出されたと判定する（ステップＳ２４／ＹＥＳ）。また、制御部１３０は、実際の外部情報が、判定条件の範囲以内である場合、差は検出されなかったと判定する（ステップＳ２４／ＮＯ）。また、制御部１３０は、差が検出されなかった場合（ステップＳ２４／ＮＯ）、ステップＳ２１の処理に戻る。また、制御部１３０は、差が検出された場合（ステップＳ２４／ＹＥＳ）、無線通信部３０により差が検出されたことを、設定された相手先に通知する（ステップＳ２５）。

また、制御部１３０は、住人を検出した場合（ステップＳ２２／ＹＥＳ）、内部状況情報テーブル１１９に登録された内部状況情報と、実際の内部情報との差を検出する。具体的には、制御部１３０は、検出した住人に対応した判定条件を記憶部１１０から取得する（ステップＳ２３）。判定条件は、内部状況情報テーブル１１９に登録された内部状況情報に基づいて設定される条件であり、起床時間や、就寝時間、掃除の時間、洗濯の時間、朝食、昼食、夕食の時間、外出時間、入浴時間、歯磨きの時間等の各住人の行動ごとに設定される。

制御部１３０は、実際の内部情報が、判定条件の範囲外である場合、差が検出されたと判定する（ステップＳ２４／ＹＥＳ）。また、制御部１３０は、実際の内部情報が、判定条件の範囲以内である場合、差は検出されなかったと判定する（ステップＳ２４／ＮＯ）。また、制御部１３０は、差が検出されなかった場合（ステップＳ２４／ＮＯ）、ステップＳ２１の処理に戻る。また、制御部１３０は、差が検出された場合（ステップＳ２４／ＹＥＳ）、無線通信部３０により差が検出されたことを、設定された相手先に通知する（ステップＳ２５）。

以上説明したように本実施形態の監視システム１は、住宅５の外部の状況を監視するシステムである。監視システム１は、住宅５の外部を撮影する外部カメラ１０と、住宅５の外部の日常の状況情報を保有し、外部カメラ１０で撮影した実際の外部状況と、保有した日常の状況情報との差を検出する情報判断装置１００とを備える。
従って、実際の外部状況が日常の状況情報と異なることを検出することができる。このため、住宅５の外部の状況を効率的に監視することができる。

また、監視システム１は、住宅５の内部の状況を監視するシステムである。監視システム１は住宅５の内部を撮影する内部カメラ２０と、住宅５の内部の日常の状況情報を保有し、内部カメラ２０で撮影した実際の内部状況と、保有した日常の状況情報との差を検出する情報判断装置１００とを備える。
従って、実際の内部状況が日常の状況情報と異なることを検出することができる。このため、住宅５の内部の状況を効率的に監視することができる。

また、監視システム１は、検出した差を予め設定された通知先へ通知する通知制御部１３７及び無線通信部３０を備える。
従って、実際の外部状況又は内部状況が、日常の状況情報と異なることを予め設定された通知先に通知することができる。

また、情報判断装置１００は、外部の日常の状況情報として、住宅５を訪問した訪問者の画像と、当該訪問者が住宅５を訪問した時間帯情報とを保有する。
情報判断装置１００は、外部の日常の状況情報として登録されていない訪問者を検出した場合、又は、外部の日常の状況情報として登録された訪問者であるが、時間帯情報が示す時間帯を外れている場合、無線通信部３０に、通知先へ通知させる。
従って、訪問したことがない訪問者が、住宅５を訪問した場合や、登録された時間帯以外の時間帯に訪問した場合に、無線通信部３０により通知先へ通知させることができる。このため、通知を受けた者は、住宅５の住人と連絡を取ることができる。

［第２実施形態］
次に添付図面を参照して本発明の第２実施形態について説明する。
図１０は、第２実施形態の情報判断装置１００の構成を示す構成図である。
第２実施形態の情報判断装置１００は、記憶部１１０が、外部動体テーブル１１３、内部動体テーブル１１５、外部状況情報テーブル１１７及び内部状況情報テーブル１１９に代えて、第１学習済みモデル１２１及び第２学習済みモデル１２３を記憶する。
また、制御部１３０は、状況情報生成部１３３に代えて、学習部１３９を備える。

学習部１３９には、外部カメラ１０の撮像画像から抽出された人物や車両等の動体に関するデータが入力される。動体に関するデータには、例えば、特徴量データや、動体を検出した日時、動体が人物である場合、この人物が住宅５を訪問したか否かの情報が含まれる。学習部１３９は、これらのデータを学習データセットとして機械学習を実行し、第１学習済みモデル１２１を生成する。第１学習済みモデル１２１は、日常の外部状況と判定できる範囲を判定条件として学習したモデルである。学習部１３９は、例えば、住宅５の外を通行する車両や通行人の通行量や、訪問者が住宅５を訪問した訪問時間、訪問した曜日、訪問回数等について、日常の外部状況と判定できる範囲を判定条件としてそれぞれ学習する。

学習部１３９が行う機械学習は、予め用意された学習データセットで学習する教師あり学習であってもよく、教師なし学習により学習データセットを学習することで学習する教師あり学習であってもよい。また、学習部１３９は、ディープラーニングやニューラルネットワークによって学習データセットを学習することで日常の外部状況と判定できる範囲を判定条件として学習し、学習結果を第１学習済みモデル１２１として生成してもよい。学習部１３９は、生成した第１学習済みモデル１２１を記憶部１１０に記憶させる。

また、学習部１３９には、内部カメラ２０の撮像画像から抽出された住人に関するデータが入力される。住人に関するデータには、住宅５内での内部カメラ２０の配置や、住人が検出された撮像画像を撮影した内部カメラ２０のカメラ番号、この内部カメラ２０が撮影した住人の範囲画像が含まれる。学習部１３９は、これらのデータを学習データセットとして機械学習を実行し、第２学習済みモデル１２３を生成する。第２学習済みモデル１２３は、日常の内部状況と判定できる範囲を判定条件として学習したモデルである。学習部１３９は、例えば、起床時間や、就寝時間、掃除の時間、洗濯の時間、朝食、昼食、夕食の時間、外出時間、入浴時間、歯磨きの時間等の各住人の行動について、日常の内部状況と判定できる範囲を判定条件としてそれぞれ学習する。

ここで学習部１３９が行う機械学習も、予め用意された学習データセットで学習する教師あり学習であってもよく、教師なし学習により学習データセットを学習することで学習する教師あり学習であってもよい。また、学習部１３９は、ディープラーニングやニューラルネットワークによって学習データセットを学習することで日常の内部状況と判定できる範囲を示す判定条件を学習し、学習結果を第２学習済みモデル１２３として生成してもよい。学習部１３９は、生成した第２学習済みモデル１２３を記憶部１１０に記憶させる。

判定部１３５は、第１学習済みモデル１２１を実行して、外部カメラ１０により撮影された実際の外部状況と、第１学習済みモデル１２１に基づく日常の外部状況情報とに差があるか否かを判定する。すなわち、判定部１３５は、第１学習済みモデル１２１を実行し、外部カメラ１０により撮影された実際の外部状況が、日常の外部状況の範囲と判定できる判定条件から外れている場合に、差があると判定して通知制御部１３７に差が検出されたことを通知する。また、判定部１３５は差がないと判定した場合には、通知制御部１３７への通知は行わない。判定部１３５から通知を受けた通知制御部１３７は、無線通信部３０を制御して予め設定された通知先に通知を行う。

また、判定部１３５は、第２学習済みモデル１２３を実行して、内部カメラ２０により撮影された実際の内部状況と、第２学習済みモデル１２３に基づく日常の内部状況情報とに差があるか否かを判定する。すなわち、判定部１３５は、第２学習済みモデル１２３を実行し、内部カメラ２０により撮影された実際の内部状況が、日常の内部状況の範囲と判定できる判定条件から外れている場合に、差があると判定して通知制御部１３７に差が検出されたことを通知する。また、判定部１３５は差がないと判定した場合には、通知制御部１３７への通知は行わない。判定部１３５から通知を受けた通知制御部１３７は、無線通信部３０を制御して予め設定された通知先に通知を行う。

以上説明したように第２実施形態では、情報判断装置１００は、日常の状況情報を学習した学習済みモデルを備える。従って、住宅５の外部や内部の日常の状況情報を精度よく検出し、実際の外部状況や、実際の内部状況との差の検出精度を高めることができる。

本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、図１及び図１０に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。
また、制御部１３０が実行する制御プログラム１１１は、外部の装置に記憶された制御プログラムを、通信部等を介して取得して実行する構成としてもよい。

また、図８及び図９の各々に示すフローチャートの処理単位は、制御部１３０の処理を理解容易にするために、主な処理内容に応じて分割したものである。図８及び図９の各々に示すフローチャートに示す処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、制御部１３０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

１監視システム
５住宅
１０外部カメラ
２０内部カメラ
３０無線通信部
１００情報判断装置
１１０記憶部
１１１制御プログラム
１１３外部動体テーブル
１１５内部動体テーブル
１１７外部状況情報テーブル
１１９内部状況情報テーブル
１２１第１学習済みモデル
１２３第２学習済みモデル
１３０制御部
１３１画像解析部
１３３状況情報生成部
１３５判定部
１３７通知制御部
１３９学習部
２００携帯機器

Claims

住宅の外部の状況を監視する監視システムであって、
前記住宅の外部の動体を撮影するカメラと、
前記住宅の外部の日常の状況情報を保有し、前記カメラで撮影した実際の外部状況と、保有した前記日常の状況情報との差を検出する情報判断装置と、
検出した前記差を予め設定された通知先へ通知する通知部と、を備え、
前記情報判断装置は、予め設定された期間内での前記動体の検出回数を記憶する記憶部を備え、前記検出回数に基づいて設定される判定条件の範囲を外れる回数、前記動体が検出されると、前記通知部に、前記通知先へ通知させる、
ことを特徴とする監視システム。
前記情報判断装置は、前記判定条件を学習した学習済みモデルを備える、ことを特徴とする請求項１に記載の監視システム。
前記情報判断装置は、外部の前記日常の状況情報として、前記住宅を訪問した訪問者の画像と、当該訪問者が前記住宅を訪問した時間帯情報とを保有し、
外部の前記日常の状況情報として登録されていない訪問者を検出した場合、又は、外部の前記日常の状況情報として登録された訪問者であるが、時間帯情報が示す時間帯を外れている場合、前記通知部に、前記通知先へ通知させる、ことを特徴とする請求項１項に記載の監視システム。
住宅の外部の状況を監視する監視方法であって、
予め設定された期間内での前記住宅の外部の動体の検出回数を記憶する記憶部と、制御部と、を備えるコンピュータの前記制御部が、
前記動体を撮影した撮影画像を取得し、
前記検出回数に基づいて設定される判定条件の範囲を外れる回数、前記動体が検出されると、通知先へ通知する、
ことを特徴とする監視方法。