JP6737645B2 - 監視装置、監視システム、監視方法及び監視プログラム - Google Patents

Description

本発明は、監視対象の動作を監視する監視装置、監視システム、監視方法及び監視プログラムに関する。

近年、高齢化の進行に伴い、介護施設に入所する高齢者や在宅介護が必要な独居高齢者（以下「要介護者」）が増加している。介護事業者や独居高齢者の親族等（以下「介護者」と称する）は、要介護者の安全を確保するとともに、緊急時には迅速な対応をとる必要がある。そこで、介護者が、要介護者の日常生活を把握するのに有用な見守りシステムが提案されている（例えば特許文献１〜４）。

特許文献１〜３には、居住空間に複数のセンサー（例えば人感センサー）を設置しておき、センサーの検出結果を利用して要介護者の行動を検出する見守りシステムが開示されている。また、特許文献４には、深度情報付き撮像装置（例えばマイクロソフト社製のＫｉｎｅｃｔ（商標））から得られるスケルトン情報（骨格情報）に基づいて検出される姿勢の変化を元に、要介護者の行動を判定する見守りシステムが開示されている。なお、特許文献１〜４に開示の見守りシステムは、要介護者のプライバシーに配慮し、監視カメラを利用しない構成となっている。

特開２００２−１０９６６６号公報 特開２００３−１３２４６２号公報 特開２００４−３１３４６１号公報 特開２０１３−２０６０６９号公報

ところで、介護者が監視したい要介護者の行動（以下「特定動作」と称する）は、居室内における要介護者の所在エリアに応じて異なる。例えば、要介護者が窓付近にいる場合は、要介護者が窓から出ないかを重点的に監視したいと考えられる。また例えば、要介護者が床上、椅子、ベッドなどの生活空間いる場合は、要介護者がその生活空間において座ったり、寝たりする通常行動以外の異常行動をしていないかを重点的に監視したいと考えられる。しかしながら、特許文献１〜４に開示の見守りシステムでは、このような要求に対応することは困難である。

すなわち、特許文献１〜３に開示の見守りシステムでは、人感センサーのように検出領域の狭いセンサーが用いられているため、センサー近傍でしか要介護者の行動を検出することができない。したがって、特定動作の監視エリアごとにセンサーを設置する必要があり、コストが増大する虞がある。例えば、窓からの不正な入退室（要介護者の不正退室や部外者の侵入）を検出するには、居室内外において窓の近傍にセンサーを設ける必要がある。また例えば、要介護者が、居室内のどこで何をしているかを検出するためには、居室全体がセンサーの検出領域に含まれるように多数のセンサーを設置する必要がある。

また、特許文献４に開示の見守りシステムでは、就寝、ベッド起床、ベッド着座、ベッド立上、歩行、静止、椅子着座、椅子立上、床着座、床立上、床横臥の各動作に対応するスケルトンモデルの構成要素の位置変化をスケルトン動作判定基準データとして予めデータベースに登録しておき、動作ごとにその位置変化と深度情報付き撮像装置から得られたスケルトンモデルの構成要素の位置変化とを比較して行動パターンの判定を行っている。このような処理では、要介護者がベッドにいなくとも、ベッドで行われるベッド起床などの動作の構成要素のデータベースに登録された位置変化と、深度情報付き撮像装置から得られた構成要素の位置変化との比較処理がなされるため、処理負荷が高くなる。また、要介護者の行動パターンを精度よく検出するためには、様々な動作に対応する膨大な量のスケルトン動作判定基準データをデータベースに登録しておく必要があり、処理負荷がさらに高くなる。

このようなことから、監視対象の特定動作を、処理負荷を抑制しつつ、簡易な構成で精度良く検出できるシステムの開発が強く望まれている。

本発明の目的は、監視対象の特定動作を、処理負荷を抑制しつつ、簡易な構成で精度よく検出できる監視装置、監視システム、監視方法及び監視プログラムを提供することである。

本発明の一態様に係る監視装置は、監視対象の行動を監視する監視装置であって、
所定の３次元空間の深度画像データを取得する取得部と、
前記取得部が取得した深度画像データの中の前記所定の３次元空間に含まれる所定のエリアに対応する第１画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する検出部と、を備えることを特徴とする。

本発明の一態様に係る監視システムは、監視対象の行動を監視する監視システムであって、
所定の３次元空間を撮像して深度画像データを取得する深度センサーと、
前記深度センサーから前記深度画像データを取得する取得部と、
前記取得部が取得した深度画像データの中の前記所定の３次元空間に含まれる所定のエリアに対応する第１画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する検出部と、を備えることを特徴とする。

本発明の一態様に係る監視方法は、監視対象の行動を監視する監視方法であって、
所定の３次元空間の深度画像データを取得する工程と、
取得した前記深度画像データの中の前記所定の３次元空間に含まれる所定のエリアに対応する第１画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する工程と、を備えることを特徴とする。

本発明の一態様に係る監視プログラムは、監視対象の行動を監視する監視装置のコンピューターに、
所定の３次元空間の深度画像データを取得する処理と、
取得した前記深度画像データの中の前記所定の３次元空間に含まれる所定のエリアに対応する第１画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する処理と、を実行させることを特徴とする。

本発明によれば、監視対象の特定動作を、処理負荷を抑制しつつ、簡易な構成で精度よく検出することができる。

実施の形態に係る見守りシステムを示す図である。 見守りシステムの監視領域（深度センサーの撮像エリア）を示す図である。 深度センサーによって取得される深度画像データに基づく深度画像を描画した線図である。 一般的な深度画像を示す図である。 監視エリアの設定例を示すである。 エリア情報のデータ構成の一例を示す図である。 監視エリアに対応する第１画素群を示す図である。 監視処理を示すメインのフローチャートである。 監視対象の存否を判定する際の認識処理を示す図である。 認識処理に用いられる深度画像及び２値化画像を示す図である。 認識処理に用いられる深度画像及び２値化画像を示す図である。 窓エリアで実行される監視処理を示すフローチャートである。 窓エリアに対応する第２画素群の変化を示す図である。 居室エリアで実行される監視処理を示すフローチャートである。 居室エリアに対応する第２画素群の変化を示す図である。 活動量の具体例を示す図である。 活動量の具体例を示す図である。 活動量の具体例を示す図である。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る見守りシステム１を示す図である。図２は、見守りシステム１の監視領域（深度センサー２１の撮像エリア）を示す図である。

見守りシステム１は、例えば介護施設内の各居室に設置され、それぞれの居住者（監視対象）の日常生活を監視し、異常が検出された場合には、介護者（介護施設の職員及び監視対象の親族等）に異常の発生を通知する等、適切な異常対応処理を行う。具体的には、見守りシステム１は、居室内において設定された監視エリアごとに、当該監視エリアに関連づけられた特定動作を監視し、特定動作の検出結果に基づいて異常の発生を判定する。

特定動作とは、介護者が監視したい行動である。例えば、窓付近においては不正な出入口である窓からの退室が特定動作とされ、窓からの退室が検出された場合に異常が発生したと判定される。また例えば、生活空間においては監視対象の動きが特定動作とされ、動きが検出されなくなった場合に異常が発生したと判定される。

図１、図２に示すように、見守りシステム１は、監視装置１０、深度センサー２１、マイク２２及びＲＧＢカメラ２３を備える。

深度センサー２１は、居室内における通常の生活空間が撮像エリアに含まれるように設置される。図２では、深度センサー２１は、窓に対向する壁面に、居室の幅がＸ方向、高さがＹ方向、奥行きがＺ方向となるように設置されている。図２における網掛け部分が、深度センサー２１の撮像エリアである。つまり、本実施の形態では、居室内のベッド、窓、タンス、及び本棚を含むエリアが、見守りシステム１の監視エリアである。

深度センサー２１は、撮像エリアに含まれる３次元空間を一定周期（フレームレート、例えば３０ｆｐｓ）で撮像し、所定の解像度（例えば５１２×４２４）で深度情報を取得する。画素単位で取得された深度情報の集合を「深度画像データ」と称する。深度情報とは、深度センサー２１の撮像面から対象物体までの深度（奥行き）を示す情報である。取得された深度画像データは、監視装置１０に送信される。

図３は、深度センサー２１によって得られる深度画像データをカメラ基準で画像化した深度画像を描画した線図である。図３では、撮像エリアに含まれる居室内の様子をわかりやすくするため線図で示しているが、一般的には、深度画像は、深度情報を各画素の画素値（階調値）に置き換えて描画され、濃淡画像で表される（図４参照）。

深度センサー２１は、例えばパターン照射方式、ＴＯＦ（Time of Flight）方式、又はステレオカメラ方式により、対象物体までの距離（深度）を測定する。深度センサー２１には、例えばマイクロソフト社製のＫｉｎｅｃｔを利用することができる。Ｋｉｎｅｃｔは、深度センサーだけでなく、マイク及びＲＧＢカメラも備えている。

パターン照射方式の場合、深度センサー２１は、赤外線プロジェクター及び赤外線カメラを含む。赤外線プロジェクターは、赤外線による所定のドットパターンを、対象物体に向けて照射する。赤外線カメラは、対象物体に照射されたドットパターンを撮像する。対象物体までの距離によって、ドットパターンの幾何学的な形状が変化するので、その変化（歪み）を演算することにより、深度情報を取得することができる。

マイク２２は、居室内で発せられる音声を集音し、音声情報を監視装置１０に送信する。居室内において異常が生じたときには、日常生活では聞き慣れない異音（金切り声のように周波数の高い音又はうめき声のように周波数の低い音）が集音される。

ＲＧＢカメラ２３は、撮像エリアに含まれる３次元空間を一定周期（フレームレート、例えば３０ｆｐｓ）で撮像し、所定の解像度で輝度情報を取得する。画素単位で取得された輝度情報に基づいて、カラー画像が生成される。カラー画像を構成する各画素は、対象物体の色を再現するための色情報を有する。ＲＧＢカメラ２３は、居住者のプライバシーに配慮して、通常の監視処理では動作せず、異常が検出された場合にのみ動作する。

監視装置１０は、一般的なパーソナルコンピューター相当の機能を有する情報処理装置である。監視装置１０は、制御部１１、入力部１２、表示部１３、音声出力部１４、通信部１５、及び記憶部１６等を備える。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える（いずれも図示略）。ＣＰＵは、例えばＲＯＭ又は記憶部１６から処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、監視装置１０の各ブロックの動作を集中制御する。制御部１１は、深度画像データ取得部１１１、ターゲット認識部１１２、エリア判定部１１３、動作検出部１１４、及び異常対応部１１５として機能する。これらの機能については、図８、図１２、図１４のフローチャートに従って詳述する。

入力部１２は、文字入力可能なキーボードやマウス等のポインティングデバイスを含む。監視エリアの設定や、検出条件の設定を行う際に用いられる。表示部１３は、液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイであり、見守りシステム１を実現する上で必要な情報を表示する。音声出力部１４は、危険が迫っている監視対象に対して警告音を発するスピーカーである。通信部１５は、無線通信又は有線通信により、介護者が所有する情報端末（例えばパーソナルコンピューターやスマートフォン）と情報の送受信を行う。

記憶部１６は、例えばＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の補助記憶装置である。記憶部１６は、エリア情報１６１、背景深度画像１６２及び監視プログラム１６３等を記憶する。

エリア情報１６１は、居室内における監視エリアを示す情報であり、監視エリアの範囲が３次元直交座標系で表される。背景深度画像１６２は、監視対象が含まれていない状態を撮像した深度画像であり、監視対象の存否を判定する際に用いられる。背景深度画像１６２は、所定の時間間隔で更新されるのが好ましい。監視プログラム１６３は、監視対象の特定動作を検出するためのプログラムである。

図５は、監視エリアの設定例を示す図である。本実施の形態では、監視エリアのＹ方向については、利用者が特に設定操作を行うことなく全範囲（床（Ｙ＝０）から天井（Ｙ＝Ｙｍａｘ））が設定されるものとする。監視すべき特定動作が空中で行われる行動である場合には、監視エリアのＹ方向の範囲を制限することは有効であるが、そのようなケースは想定しづらいためである。

監視エリアのＸ方向及びＺ方向については、図５に示すように、ＸＺ平面において長方形を描画することにより、範囲の設定が行われるものとする。図５では、居室の不正出入口である窓近傍のエリアＲ１（以下「窓エリアＲ１」と称する）、通常の生活空間である居室全体を含むエリアＲ２（以下「居室エリアＲ２」と称する）、居住者が就寝するエリアＲ３（以下「ベッドエリアＲ３」と称する）が、それぞれ監視エリアとして設定されている。図５に示すように、監視エリアは、対角のＸＺ座標で規定される。なお、監視エリアの外形は、円形など長方形以外の形状であってもよい。

監視エリアは、見守りシステム１を設置する際に、例えば介護事業者によって、居室の間取り図（ＸＺ平面の俯瞰図）を利用して設定される。具体的には、居室の間取り図において、所望する監視エリアの外形を規定する対角の頂点座標をマウスでクリックしたり、監視エリアの対角線をマウスをドラッグして指定したりすることにより、矩形状の監視エリアを設定することができる。

なお、介護事業者が、監視エリアとして想定しうる複数のエリアについてエリア情報を登録しておき、その中から居住者の親族等が選択できるようにしてもよい。

図６は、エリア情報１６１のデータ構成の一例を示す図である。図６には、図５のように監視エリアが設定されている場合のデータ構成を示している。図６に示すように、エリア情報１６１は、エリア名、監視エリアの水平方向の範囲、鉛直方向の範囲、奥行方向の範囲、及び監視プログラムを含む。

監視エリアに対応して設定されている監視プログラムは、当該監視エリアに監視対象がいる場合に実行されるサブルーチンであり、監視すべき特定動作ごとに用意される。図６において、監視プログラムＰＲＧ１は、窓からの不正入退室を監視するプログラムであり、監視プログラムＰＲＧ２、ＰＲＧ３は、監視対象の動きを監視するプログラムである。監視プログラムＰＲＧ２、ＰＲＧ３は、監視すべき特定動作は同じであるが、特定動作を検出する際の検出条件が異なる。

図６に従うと、監視対象が窓エリアＲ１にいる場合は監視プログラムＰＲＧ１が実行され、居室エリアＲ２にいる場合は監視プログラムＰＲＧ２が実行され、ベッドエリアＲ３にいる場合は監視プログラムＰＲＧ３が実行される。また、深度画像においては、図７に示すように、画素群Ｐ１１〜Ｐ１３（第１画素群Ｐ１）が、それぞれ窓エリアＲ１、居室エリアＲ２、ベッドエリアＲ３に対応する。

図８は、監視装置１における特定動作の監視処理を示すフローチャートである。この処理は、例えば監視装置１が起動されることに伴い、ＣＰＵが記憶部１６に格納されているメイン監視プログラムＰＲＧ０を呼び出して実行することで実現される。

図８のステップＳ１において、制御部１１は、深度センサー２１に対して深度画像データを要求し、深度センサー２１から深度画像データを取得する（深度画像データ取得部１１１としての処理）。深度画像データは、例えばＲＡＭに一時的に記憶され、経時的な深度画像間の変化を算出する際に用いられる。

ステップＳ２において、制御部１１は、監視対象の認識を行う（ターゲット認識部１１２としての処理）。具体的には、基準となる背景深度画像（図９Ａ参照）と、ステップＳ１で取得した深度画像データに基づく深度画像（図９Ｂ参照）との差分を示す深度差分画像に基づいて、背景深度画像で示される基準状態からの変化を検出する。そして、基準状態から変化した画素群（連続する画素の集合）が一定面積（一定画素数）以上である場合に、この画素群を監視対象に対応する画素群（第２画素群）として認識する。

このとき、図９Ｃに示すように、深度差分画像（図示略）を所定のしきい値を用いて２値化することにより、監視対象に対応する第２画素群Ｐ２を容易に認識することができる。深度差分画像が２５６階調で表される場合、しきい値は、例えば１５に設定される。２値化画像のデータは、例えばＲＡＭに一時的に記憶され、監視対象の変化を算出する際に用いられる。

ステップＳ３において、制御部１１は、監視対象が監視エリアに存在するか否かを判定する（エリア判定部１１３としての処理）。具体的には、ステップＳ２で得られた監視対象に対応する第２画素群Ｐ２が、監視エリアに対応する第１画素群Ｐ１１〜Ｐ１３（図７参照）に含まれ、かつ、第２画素群Ｐ２の平均深度Ｚ_ａｖｇが監視エリアの奥行範囲に含まれる場合に、監視対象が監視エリアに存在すると判定する。

なお、監視対象に対応する第２画素群Ｐ２の構成画素の全部が第１画素群Ｐ１に含まれていなくても、第２画素群Ｐ２の構成画素のうち所定割合以上（例えば１０％以上）の画素が第１画素群Ｐ１に含まれている場合は、第２画素群Ｐ２が第１画素群Ｐ１に含まれていると判定される。また、第２画素群Ｐ２の平均深度Ｚ_ａｖｇは、第２画素群Ｐ２の構成画素がそれぞれ有する深度情報の平均値である。

例えば、図１０Ａ、図１０Ｂに示す場合、監視対象に対応する第２画素群Ｐ２の構成要素のうち４０％以上の画素が第１画素群Ｐ１１に含まれているが、第２画素群Ｐ２の平均深度Ｚ_ａｖｇが窓エリアＲ１の奥行き範囲（Ｚ１１〜Ｚ１２、図６参照）に含まれないので、監視対象は窓エリアＲ１にいないと判断される。一方、図１１Ａ、図１１Ｂに示す場合、監視対象に対応する第２画素群Ｐ２の構成要素のうち２０％以上の画素が第１画素群Ｐ１１に含まれており、第２画素群Ｐ２の平均深度Ｚ_ａｖｇも窓エリアＲ１の奥行き範囲（Ｚ１１〜Ｚ１２、図６参照）に含まれているので、監視対象は窓エリアＲ１にいると判断される。この場合、窓エリアＲ１が監視対象の所在エリアとなる。

ステップＳ４において、制御部１１は、監視エリアに関連づけられた特定動作の検出を行う（動作検出部１１４としての処理）。特定動作の検出は、第１の画素群Ｐ１の深度情報の変化、及び当該監視エリアに対応して設定されている検出条件に基づいて行われる。具体的には、監視対象が所在する監視エリアに対応して設定されている監視プログラムが実行される。監視プログラムにより実行される特定行動の判定処理に用いられる判定基準が、監視エリアに対応して設定されている検出条件である。

図１２は、監視対象が窓エリアＲ１にいる場合に実行される監視処理を示すフローチャートである。この処理は、図８のステップＳ３において、監視対象の所在エリアが窓エリアＲ１であると判定された場合に実行される。この処理により、窓からの不正入退室が監視される。図１３Ａ、図１３Ｂは、窓エリアＲ１に対応する第１画素群Ｐ１１の変化（第２画素群Ｐ２の変化を含む）を示す図である。

窓からの不正入退室は、監視対象に対応する第２画素群Ｐ２の平均深度Ｚ_ａｖｇ及び平均深度の変化ΔＺ_ａｖｇに基づいて判定される。平均深度の変化ΔＺ_ａｖｇは、現在の平均深度Ｚ_ａｖｇと、数フレーム前（１フレームでもよい）の第２画素群Ｐ２の平均深度Ｚ_ａｖｇの差である。

図１２のステップＳ１１において、制御部１１は、制御対象に対応する第２画素群Ｐ２の平均深度の変化ΔＺ_ａｖｇが０より大きく、かつ平均深度Ｚ_ａｖｇが窓の深度Ｚｗより大きいか否かを判定する。窓の深度Ｚｗは、窓エリアＲ１の奥行き範囲内（Ｚ１１〜Ｚ１２）の値であり、例えば窓エリアＲ１のエリア情報１６１を設定する際に、深度センサー２１によって予め測定され、記憶部１６に格納される。

第２画素群Ｐ２の平均深度の変化ΔＺ_ａｖｇが０より大きく、かつ平均深度Ｚ_ａｖｇが窓の深度Ｚｗより大きい場合（ステップＳ１１で“ＹＥＳ”）、ステップＳ１３の処理に移行する。この場合は、居住者が窓エリアＲ１を居室外に向かって移動し、窓を跨いで室外に出たことになる（不正退室）。一方、第２画素群Ｐ２の平均深度の変化ΔＺ_ａｖｇが０以下であり、又は平均深度Ｚ_ａｖｇが窓の深度Ｚｗ以下である場合（ステップＳ１１で“ＮＯ”）、ステップＳ１２の処理に移行する。

ステップＳ１２において、制御部１１は、制御対象に対応する第２画素群Ｐ２の平均深度の変化ΔＺ_ａｖｇが０以下であり、かつ平均深度Ｚ_ａｖｇが窓の深度Ｚｗ以下であるか否かを判定する。第２画素群Ｐ２の平均深度の変化ΔＺ_ａｖｇが０以下であり、かつ平均深度Ｚ_ａｖｇが窓の深度Ｚｗ以下である場合（ステップＳ１２で“ＹＥＳ”）、ステップＳ１３の処理に移行する。この場合は、部外者が窓エリアＲ１を居室内に向かって移動し、窓を跨いで室内に入ったことになる（不正入室）。

一方、第２画素群Ｐ２の平均深度の変化ΔＺ_ａｖｇが０より大きく、又は平均深度Ｚ_ａｖｇが窓の深度Ｚｗより大きい場合（ステップＳ１１で“ＮＯ”）、図１２のステップＳ１２の処理に移行する。第２画素群Ｐ２の平均深度の変化ΔＺ_ａｖｇが０以下であり、かつ平均深度Ｚ_ａｖｇが窓の深度Ｚｗよりも大きい場合は、居室外において部外者が窓に近づいていることになる。また、第２画素群Ｐ２の平均深度の変化ΔＺ_ａｖｇが０より大きく、かつ平均深度Ｚ_ａｖｇが窓の深度Ｚｗ以下である場合は、居室内においてに居住者が窓に近づいていることになる。これらの場合は、不正退室又は不正入室に発展する虞があるので、引き続き監視する。また、居住者に、不正退室又は不正入室が行われようとしていることを示す音声を音声出力部１４から出力し、居住者に対して警告を行ってもよい。

ステップＳ１３において、制御部１１は、不正退室又は不正入室の検出が行われたことに基づいて、異常が発生したと判定し、不正入退室に対する異常対応処理を行う（異常対応部１１５としての処理）。具体的には、異常対応処理として、異常が発生したことを示す異常情報を所定の通知先（例えば介護事業者及び監視対象の近親者等の介護者）に電子メールで通知する。異常情報は、異常の発生時刻、発生状況等を含む。これにより、介護者は、監視対象に異常が発生したことを知得することができ、必要な措置を講じることができる。

この異常情報には、異常発生後の居室空間の映像又は居室空間で発生された音声を含むことが好ましい。異常発生後の映像はＲＧＢカメラ２３から取得でき、音声はマイク２２から取得できる。また、異常情報を記憶部１６に記録するようにしてもよい。これにより、介護者は、異常が発生した後の状況を知得することができるので、状況に応じて適切な措置を講じることができる。

なお、ステップＳ１１で窓からの異常退室が検出された場合は、引き続き監視を継続し、監視対象に対応する第２画素群Ｐ２が消失した時点で異常が発生したとみなし、異常対応を行うようにしてもよい。窓からの一時的な退室は日常生活の中でも想定しうる行動であり、このような退室の意思がない場合にまで異常対応を行う必要はないためである。

このように、監視エリアが居室内の不正な出入口である窓エリアＲ１（第１のエリア）である場合、動作検出部１１４は、監視対象に対応する第２画素群Ｐ２の深度情報の変化、及び窓エリアＲ１に対応する検出条件に基づいて、監視対象の不正入退室を検出する。第２画素群Ｐ２は、第１画素群Ｐ１に含まれるので、第１画素群Ｐ２の深度情報の変化に基づいて、監視対象の不正入退室を検出していることになる。

この監視処理では、Ｋｉｎｅｃｔから提供されるスケルトン情報は利用せず、第２画素群Ｐ２の深度情報だけを利用するため、引用文献４に開示の見守りシステムに比較して処理負荷は格段に軽減される。

図１４は、監視対象が通常の居室エリアＲ２にいる場合に実行される監視処理を示すフローチャートである。この処理は、図８のステップＳ３において、監視対象の所在エリアが居室エリアＲ２であると判定された場合に実行される。この処理により、監視対象が動いているか否かが監視される。図１５Ａ、図１５Ｂは、居室エリアＲ２に対応する第１画素群Ｐ１２の変化（第２画素群Ｐ２の変化を含む）を示す図である。

図１４のステップＳ２１において、制御部１１は、居室エリアＲ２に対応する第１画素群Ｐ１１において、監視対象に対応する第２画素群Ｐ２が変化したか否かを判定する。監視対象に対応する第２画素群Ｐ２が変化した場合（ステップＳ２１で“ＹＥＳ”）、図８のステップＳ１の処理に移行する。静止時間のカウントはリセットされる。この場合は、監視対象が健全に日常生活を送っていると判断できる。一方、監視対象に対応する第２画素群Ｐ２が変化していない場合（ステップＳ２１で“ＮＯ”）、ステップＳ２２の処理に移行する。この場合は、居室エリアＲ２において監視対象の動きがないことになり、監視対象が意識を失っている可能性がある。静止時間のカウントは開始又は継続される。

第２画素群Ｐ２が変化したか否かの判定は、例えば第２画素群Ｐ２の２フレーム間の変化画素数を、過去数フレームにわたって積算した活動量を用いて行われる。第２画素群Ｐ２の変化画素数は、深度差分画像を利用して算出される。例えば、図１６に示すような動きがあった場合は、連続する４フレームにおいて、各フレーム間の変化画素数が１００であるので、第４フレームにおける活動量は３００となる。また例えば、図１７に示すような動きがあった場合は、連続する４フレームにおいて、各フレーム間の変化画素数が５０であるので、第４フレームにおける活動量は１５０となる。つまり、図１６に示す動きよりも、図１７に示す動きの方が小さい。適切に活動量のしきい値を設定することで、算出された活動量に基づいて、第２画素群Ｐ２が変化したか否かを判定することができる。

ここで、深度画像における第２画素群Ｐ２の面積は、同じポーズであっても、深度が浅い程大きく、深度が深い程小さくなる。そのため、図１８に示すように、監視対象が激しい動きをしていても、深度の深い場所にいると、活動量は小さくなってしまう。図１８に示す動きは、図１６に示す動きよりも明らかに激しいが、監視対象が深度の深い場所にいるために、活動量は小さくなる。このように、上述した活動量を指標として監視対象の動きを監視すると、深度センサー２１から監視対象までの距離による影響を受ける結果、監視対象が深度の深い場所にいる場合に、誤検知を生じる虞がある。

そこで、第２画素群Ｐ２の変化画素数（変化量）に対して、第２画素群Ｐ２の深度情報に基づく重み付けをした活動量を用いるのが好ましい。これにより、深度センサー２１から監視対象までの距離による影響を低減でき、監視対象の動きに比例した値が活動量となるので、誤検知を防止することができる。例えば、図１８において、監視対象がいる深度に基づく深度重みが２０であるとすると、第４フレームにおける活動量は６００となり、激しい動きをしていることを適正に判断できる。

ステップＳ２２において、制御部１１は、監視対象に対応する第２画素群Ｐ２の平均高さＹ_ａｖｇが所定のしきい値Ｙｔｈよりも小さいか否かを判定する。しきい値Ｙｔｈは、監視対象の姿勢を判定する際の判定基準であり、臥位又は座位（図１５Ｂ参照）と、立位（図１５Ａ参照）を区別できる値に設定される。現在の第２画素群Ｐ２の平均高さＹ_ａｖｇがしきい値Ｙｔｈよりも小さい場合（ステップＳ２２で“ＹＥＳ”）、ステップＳ２３の処理に移行する。この場合は、意識を失って倒れている可能性が高い（図１５Ｂ参照）。一方、第２画素群Ｐ２の平均高さＹ_ａｖｇがしきい値Ｙｔｈ以上である場合（ステップＳ２２で“ＮＯ”）、図８のステップＳ１の処理に移行する。静止時間のカウントはリセットされる。この場合は、監視対象は起立していることになり、健全に日常生活を送っていると判断できる（図１５Ａ参照）。

ステップＳ２３において、制御部１１は、静止状態が所定時間経過したか否かを判定する。所定時間は、意識を失っていると判断できる値（例えば３分）に設定される。静止状態が所定時間経過した場合（ステップＳ２３で“ＹＥＳ”）、ステップＳ２４の処理に移行する。この場合は、監視対象が意識を失って危険な状態であると判断できる（図１５Ｂ参照）。一方、静止状態が所定時間経過していない場合（ステップＳ２３で“ＮＯ”）、図８のステップＳ１の処理に移行する。この場合は、意識がないとまでは判断できないので、引き続き監視する。

ステップＳ２４において、制御部１１は、監視対象の動きが検出されないことに基づいて、異常が発生したと判定し、監視対象が動いていないことに対する異常対応処理を行う（異常対応部１１５としての処理）。異常対応処理としては、図１２のステップＳ１３と同様であるので、説明を省略する。

このように、監視エリアが居室内の生活空間として定義された居室エリアＲ２（第２のエリア）である場合、動作検出部１１４は、監視対象に対応する第２画素群Ｐ２の変化、及び居室エリアＲ２に対応する検出条件に基づいて、監視対象の動きを検出する。第２画素群Ｐ２は、第１画素群Ｐ１に含まれるので、第１画素群Ｐ２の深度情報の変化に基づいて、監視対象の不正入退室を検出していることになる。

この監視処理では、Ｋｉｎｅｃｔから提供されるスケルトン情報は利用せず、第２画素群Ｐ２の深度情報を利用するため、引用文献４に開示の見守りシステムに比較して処理負荷は格段に軽減される。

監視対象がベッドエリアＲ３にいる場合は、図１４に示すフローチャートと同様の監視処理が行われる。ただし、ステップＳ２１において、監視対象に対応する第２画素群Ｐ２が変化したか否かを判定するための判断基準（ここでは活動量のしきい値）が異なる。

監視対象がベッドエリアＲ３において寝ている場合、起きている場合に比較して監視対象に対応する第２画素群Ｐ２の変化量は極端に減少する。したがって、正常に寝ている状態を静止状態と判定して、動きがないことを誤検知しないように、言い換えると、画素の変化が小さくても監視対象の動きを検出できるように、第２画素群Ｐ２が変化したか否かを判定するための活動量のしきい値が設定される。

このように、本実施の形態に係る監視装置１０は、深度センサー２１の撮像エリア（所定の３次元空間）の深度画像データを取得する深度画像データ取得部１１１と、深度画像データ取得部１１１が取得した深度画像データの中の撮像エリアに含まれる所定の監視エリアに対応する第１画素群Ｐ１の深度情報の変化、及び監視エリアに対応して設定されている検出条件に基づいて、当該監視エリアに関連づけられた監視対象の特定動作（窓からの不正入退室、動き）を検出する動作検出部１１４と、を備える。

また、監視装置１０においては、監視エリアが複数である場合に、監視エリアごとに、異なる検出条件を用いて監視対象の特定動作を検出する。

監視装置１０によれば、監視エリアごとに監視すべき特定動作を設定し、その特定動作を検出するための検出条件を用いて検出が行われるので、処理負荷を抑制しつつ、監視対象の特定動作を精度よく検出することができる。また、一つの深度センサー２１で複数の監視エリアをカバーできるので、システム構成は極めて簡易であり、介護施設等に容易に導入することができる。さらには、赤外線を利用したパターン照射方式の深度センサー２１を適用する場合、就寝時等の暗室環境でも監視を行うことができる。

以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

例えば、監視装置１０は、監視対象の特定動作を検出するに際し、第１画素群Ｐ１の深度情報の変化、及び監視エリアに対応して設定されている検出条件に加えて、マイク２２によって集音される居室内において発せられた音声を考慮してもよい。具体的には、監視対象の動きが検出されなくても、声が聞こえていれば健全に日常生活を送っていると判断できる。また、激しい動きが検出されても、同時に日常生活では聞き慣れない金切り声が聞こえた場合には、運動ではなく苦しんでいることを知得できる。また、監視対象の動きが検出されない場合に、うめき声が聞こえていれば、所定時間が経過する前にいち早く異常対応を行うことができる。

実施の形態で示した監視エリアと監視エリアに対応する特定動作は一例であり、監視エリアと特定動作の組み合わせについては、様々なパターンが考えられる。例えば、タンス等の貴重品保管場所を監視エリアに設定し、監視エリアに所定時間立っていた場合に、貴重品の取り扱いという特定行動を検出し、記録するようにすれば、痴呆患者や居室に立ち入った人物による貴重品の取り扱いを管理することができる。また、特定動作を判定するための検出条件には、監視時間帯等を含めてもよい。

実施の形態では、介護施設の居室内における監視対象の特定動作を検出する場合を例に説明したが、本発明は、児童保育所や学校施設での児童や生徒の見守り、病院施設での患者の見守り、動物園や家畜施設での動物の監視をする場合に好適である。美術館や博物館における展示品の監視システムにも適用できる。この場合、展示品周辺を監視エリアとして設定し、監視対象が一定距離以上近づいたときに警告を通知するシステムを実現できる。さらには、イベント会場等における入退人数をカウントするシステムに適用することもできる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 見守りシステム（監視システム）
１０ 監視装置
１１ 制御部
１１１ 深度画像データ取得部
１１２ ターゲット認識部
１１３ エリア判定部
１１４ 動作検出部
１１５ 異常対応部
１２ 入力部
１３ 表示部
１４ 音声出力部
１５ 通信部
１６ 記憶部
２１ 深度センサー
２２ マイク
２３ ＲＧＢカメラ

Claims (14)

1. 監視対象の行動を監視する監視装置であって、
   所定の３次元空間の深度画像データを取得する取得部と、
   前記深度画像データにおける前記監視対象に対応する第２画素群を認識する認識部と、
   前記深度画像データの中の前記所定の３次元空間に含まれる所定のエリアに、前記監視対象が存在するか否かを判定するエリア判定部と、
   前記所定のエリアに対応する第１画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する検出部と、
   を備え、
   前記検出部は、前記監視対象が前記所定のエリアに存在する場合に、前記第２画素群の変化量に対して、当該第２画素群の深度情報に基づく重み付けをした活動量を算出し、前記活動量に基づいて、前記監視対象の動きを検出することを特徴とする監視装置。
2. 前記所定のエリアは複数あり、
   前記検出部は、前記所定のエリアごとに、異なる検出条件を用いて前記監視対象の特定動作を検出することを特徴とする請求項１に記載の監視装置。
3. 前記認識部は、前記所定の３次元空間に前記監視対象がいないときの深度画像である背景深度画像と、前記取得部によって取得された深度画像データに基づく深度画像との差分を示す深度差分画像に基づいて、前記監視対象に対応する第２画素群を認識することを特徴とする請求項１又は２に記載の監視装置。
4. 前記認識部は、前記深度差分画像を２値化した２値化画像に基づいて、前記監視対象に対応する第２画素群を認識することを特徴とする請求項３に記載の監視装置。
5. 前記エリア判定部は、前記第２画素群が前記第１画素群に含まれ、かつ、前記第２画素群の平均深度が前記所定のエリアの深度範囲に含まれる場合に、前記監視対象が前記所定のエリアに存在すると判定することを特徴とする請求項１から３のいずれか一項に記載の監視装置。
6. 前記所定のエリアは、居室内の不正な出入口である第１のエリアを含み、
   前記検出部は、前記第２画素群の深度情報の変化、及び前記第１のエリアに対応する第１の検出条件に基づいて、前記監視対象が前記出入口から退室する行動、または、前記出入口から入室する行動を検出することを特徴とする請求項１から５のいずれか一項に記載の監視装置。
7. 前記所定のエリアは、居室内における生活空間として定義された第２のエリアを含み、
   前記検出部は、前記第２画素群の変化、及び前記第２のエリアに対応する第２の検出条件に基づいて、前記監視対象の動きを検出することを特徴とする請求項１から５のいずれか一項に記載の監視装置。
8. 前記検出部は、前記第１画素群の深度情報の変化、前記所定のエリアに対応して設定されている検出条件、及び前記所定の３次元空間において発せられた音声に基づいて、前記監視対象の特定動作を検出することを特徴とする請求項１から７のいずれか一項に記載の監視装置。
9. 前記検出部による前記特定動作の検出結果に基づいて、異常の発生を判定する異常判定部と、
   前記異常判定部によって異常が認められた場合に、異常が発生したことを示す異常情報を所定の通知先に通知する通知部と、
   を備えることを特徴とする請求項１から８のいずれか一項に記載の監視装置。
10. 前記異常情報は、異常発生後の前記所定の３次元空間の映像又は前記所定の３次元空間で発せられた音声を含むことを特徴とする請求項９に記載の監視装置。
11. 前記異常情報を記録する記録部を備えることを特徴とする請求項９又は１０に記載の監視装置。
12. 監視対象の行動を監視する監視システムであって、
    所定の３次元空間を撮像して深度画像データを取得する深度センサーと、
    前記深度センサーから前記深度画像データを取得する取得部と、
    前記深度画像データにおける前記監視対象に対応する第２画素群を認識する認識部と、
    前記深度画像データの中の前記所定の３次元空間に含まれる所定のエリアに、前記監視対象が存在するか否かを判定するエリア判定部と、
    前記所定のエリアに対応する第１画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する検出部と、
    を備え、
    前記検出部は、前記監視対象が前記所定のエリアに存在する場合に、前記第２画素群の変化量に対して、当該第２画素群の深度情報に基づく重み付けをした活動量を算出し、前記活動量に基づいて、前記監視対象の動きを検出することを特徴とする監視システム。
13. 監視対象の行動を監視する監視方法であって、
    所定の３次元空間の深度画像データを取得する工程と、
    前記深度画像データにおける前記監視対象に対応する第２画素群を認識する工程と、
    前記深度画像データの中の前記所定の３次元空間に含まれる所定のエリアに、前記監視対象が存在するか否かを判定する工程と、
    前記所定のエリアに対応する第１画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する工程であって、前記監視対象が前記所定のエリアに存在する場合に、前記第２画素群の変化量に対して、当該第２画素群の深度情報に基づく重み付けをした活動量を算出し、前記活動量に基づいて、前記監視対象の動きを検出する工程と、
    を備えることを特徴とする監視方法。
14. 監視対象の行動を監視する監視装置のコンピューターに、
    所定の３次元空間の深度画像データを取得する処理と、
    前記深度画像データにおける前記監視対象に対応する第２画素群を認識する処理と、
    前記深度画像データの中の前記所定の３次元空間に含まれる所定のエリアに、前記監視対象が存在するか否かを判定する処理と、
    前記所定のエリアに対応する第１画素群の深度情報の変化、及び前記所定のエリアに対応して設定されている検出条件に基づいて、当該所定のエリアに関連づけられた監視対象の特定動作を検出する処理であって、前記監視対象が前記所定のエリアに存在する場合に、前記第２画素群の変化量に対して、当該第２画素群の深度情報に基づく重み付けをした活動量を算出し、前記活動量に基づいて、前記監視対象の動きを検出する処理と、
    を実行させる監視プログラム。

Images