JP7270730B2 - 異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラム - Google Patents

Description

本発明は、異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラムに関する。

予め定められた時間の間に対象者が移動した距離と、その間に対象者によって使用された家電製品の使用頻度とに基づいて、対象者が疾患を持っているか否かを判定するシステムの提案がある。例えば、特許文献１を参照。

特開２００３－１５３８６８号公報

Ｏｎｃｅｌ Ｔｕｚｅｌ、 Ｆａｔｉｈ Ｐｏｒｉｋｌｉ、 Ｐｅｔｅｒ Ｍｅｅｒ著、「Ｒｅｇｉｏｎ Ｃｏｖａｒｉａｎｃｅ： Ａ Ｆａｓｔ Ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、 Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＥＣＣＶ）、 ２００６年５月１日

しかしながら、特許文献１で提案されるシステムは、認知症がかなり進行した段階での症状である徘徊を検知することを想定しており、認知症の初期段階の症状である「もの忘れ」に起因する異常行動を発見することはできない。

本発明は、上述の課題を解決するためになされたものであり、対象者の異常行動を早期に発見することを可能にする異常行動検知装置、物品保管庫、異常行動検知方法、及び異常行動検知プログラムを提供することを目的とする。

本発明の一態様に係る異常行動検知装置は、物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類する分類部と、前記１つ以上のグループの各々に属する物品の個数を取得する管理部と、前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定する判定部と、を有し、前記判定部は、前記個数が前記予め定められた閾値を超えた回数が予め定められた第１の基準回数を超えた場合に、前記対象者の行動が異常行動を含んでいると判定することを特徴とする。

本発明の他の態様に係る異常行動検知方法は、異常行動検知装置が実行する方法であって、物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類するステップと、前記１つ以上のグループの各々に属する物品の個数を取得するステップと、前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定する判定ステップであって、前記個数が前記予め定められた閾値を超えた回数が予め定められた第１の基準回数を超えた場合に、前記対象者の行動が異常行動を含んでいると判定する前記判定ステップとを有することを特徴とする。

本発明によれば、物品保管庫を使用する対象者の異常行動を早期に発見することができる。

本発明の実施の形態１に係る異常行動検知装置を有する物品保管庫としての冷蔵庫を示す概略図である。 実施の形態１に係る異常行動検知装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る物品保管庫の入出庫状況情報の例を示す図である。 実施の形態１に係る異常行動検知装置のハードウェア構成の例を示す図である。 実施の形態１に係る異常行動検知装置の動作の例を示すフローチャートである。 実施の形態１に係る異常行動検知装置の動作の他の例を示すフローチャートである。 実施の形態１の変形例に係る異常行動検知装置の構成を概略的に示す機能ブロック図である。 本発明の実施の形態２に係る物品保管庫の入出庫状況情報の例を示す図である。 本発明の実施の形態３に係る物品保管庫の入出庫状況の時系列的な変化の例を示す図である。 本発明の実施の形態４に係る異常行動検知装置の構成を概略的に示す機能ブロック図である。

以下に、本発明の実施の形態に係る異常行動検知装置、異常行動検知装置を有する物品保管庫、異常行動検知方法、及び異常行動検知プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

実施の形態１．
図１は、実施の形態１に係る異常行動検知装置１を有する物品保管庫の構成を示す概略図である。実施の形態１において、物品保管庫は、食品などの物品を冷やしながら保管する冷蔵庫１００である。図１は、冷蔵庫１００の扉１０１を開けた状態を示している。図１は、冷蔵庫１００の収容室１０２の内部（すなわち、庫内）にビール、ジャム、バター、ヨーグルト、卵が収容されている状態を示している。ビール、ジャム、バター、ヨーグルト、卵は、物品の具体例である。また、図１において、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」は、商品名である。例えば、「Ａビール」は、商品名「Ａ」の物品「ビール」を示す。「Ｂジャム」は、商品名「Ｂ」の物品「ジャム」を示す。なお、物品保管庫は、異常行動の検知の対象となる人である対象者が使用する保管庫であれば、冷蔵庫に限定されない。物品保管庫は、例えば、常温で食品を収容する保管庫であってもよい。

冷蔵庫１００の扉１０１の内側には、庫内を撮像することができる撮像装置１１０が備えられている。また、撮像装置１１０は、扉１０１を開けたときに、扉１０１を開けた人を撮像できるように設置されてもよい。撮像装置１１０は、扉１０１が閉じられた状態のときに、庫内を撮像する。撮像装置１１０は、扉１０１の内側以外の位置に備えられてもよい。また、撮像装置１１０の台数は、１台に限定されず、２台以上であってもよい。異常行動検知装置１と撮像装置１１０とは、有線又は無線で通信可能に接続されている。異常行動検知装置１と撮像装置１１０とは、ルーター、サーバー、ネットワーク、などを経由して通信可能に接続されてもよい。複数台の撮像装置１１０が異常行動検知装置１に接続される場合には、分類部１１は、複数の撮像装置１１０から複数枚の画像を取得する。或いは、分類部１１は、複数枚の画像を、縦方向、又は、横方向、又はこれらの両方向に結合する処理を行うことで形成された１枚の合成画像を取得してもよい。或いは、分類部１１は、複数枚の画像に画像処理を施し、画像処理された複数枚の画像を結合する処理を行うことで形成された１枚の合成画像を取得してもよい。

撮像装置１１０は、例えば、光学レンズ、光学フィルタ、イメージセンサ、などを有するカメラである。撮像装置１１０は、イメージセンサを制御するプロセッサを有してもよい。撮像装置１１０から出力される画像（すなわち、画像データ）は、カラー画像又はモノクロ画像のいずれであってもよい。カラー画像は、色表現方式として、ＲＧＢ方式、ＹＣｂＣｒ方式、ＨＳＶ方式、などのうちのいずれの方式を用いたものであってもよい。

また、冷蔵庫１００は、扉１０１の開閉を検知する開閉検知器１１１を備えている。異常行動検知装置１は、開閉検知器１１１が検知する扉１０１の開閉信号を利用して異常行動の有無を判定してもよい。

図２は、実施の形態１に係る異常行動検知装置１の構成を概略的に示す機能ブロック図である。異常行動検知装置１は、実施の形態１に係る異常行動検知方法を実施することができる装置である。図２に示されるように、異常行動検知装置１は、分類部１１と、管理部１２と、判定部１３と、データベースを記憶した記憶部であるデータベース部１４とを有している。管理部１２は、記憶部１５と、時刻情報を取得する時刻取得部１６とを有している。データベース部１４は、異常行動検知装置１の外部の他の装置に備えられてもよい。また、記憶部１５及び時刻取得部１６は、管理部１２の外部、又は異常行動検知装置１の外部の他の装置に備えられてもよい。

分類部１１は、物品保管庫としての冷蔵庫１００の庫内を撮像する撮像装置１１０によって得られた画像に基づいて、庫内に収容されている１個以上の物品を検出し、検出された物品を１つ以上のグループＨ１～Ｈｍに分類する。グループＨ１～Ｈｍは、ｍ個のグループを意味する。ｍは１以上の整数である。「１つ以上のグループに分類する」とは、１つ以上のカテゴリに分類することを意味する。

分類部１１は、例えば、庫内に収容されている物品の属性に基づいて、物品をグループＨ１～Ｈｍに分類する。具体的に言えば、分類部１１は、撮像装置１１０で取得された画像に含まれる物品を検出し、検出された物品の種類に基づいて、物品をグループＨ１～Ｈｍに分類する。図１の例では、庫内には、ビール、ジャム、バター、ヨーグルト、卵の５種類の物品が収容されている。例えば、分類部１１は、属性に基づいて物品を分類する場合には、ビール、ジャム、バター、ヨーグルト、卵の５つのグループＨ１～Ｈ５に物品を分類する。

また、分類部１１は、撮像装置１１０で取得された画像に含まれる物品を検出し、検出された物品の商品名を検出し、庫内に収容されている物品の商品名に基づいて、物品をグループＨ１～Ｈｍに分類してもよい。図１の例では、庫内には、「Ａビール」、「Ｂジャム」、「Ｃジャム」、「Ｄバター」、「Ｅヨーグルト」、「Ｆ卵」、「Ｇ卵」の７種類の商品が収容されている。例えば、分類部１１は、庫内に収容されている物品を商品名Ａ～Ｇに対応する７つのグループＨ１～Ｈ７に分類する。

分類部１１は、例えば、スライディングウィンドウ方式を用いることによって、又はディープラーニングなどによる機械学習を用いることによって、画像に含まれる物品を検出することができる。

スライディングウィンドウ方式は、予め定められたウィンドウサイズ（ｗｃ，ｈｃ）の矩形領域であるスライディングウィンドウを、画像の全域に渡りスライドさせて物品を探索する方式である。ここで、ｗｃは、スライディングウィンドウの水平方向（すなわち、横方向）の画素数を示し、ｈｃは、垂直方向（すなわち、縦方向）の画素数を示す。スライディングウィンドウ方式では、複数のウィンドウサイズ（ｗｃ，ｈｃ）のスライディングウィンドウを用いることが望ましい。例えば、使用される複数のウィンドウサイズ（ｗｃ，ｈｃ）は、以下のとおりである。
（ｗｃ，ｈｃ）＝（１６，１６）、（３２，３２）、（４８，４８）、（６４，６４）
複数のウィンドウサイズを使用する理由は、庫内に収容されている物品は、扉１０１に近い手前の位置に配置される状態又は扉１０１から遠い奥の位置に配置される状態、などのように様々な状態で収容されており、撮像装置１１０と物品との位置関係に応じて画像中の物品の大きさが異なるからである。

分類部１１は、スライディングウィンドウ毎に特徴量を算出し、算出された特徴量と事前に算出された検出対象の物品の特徴量である基準特徴量との類似度を計算し、この類似度に基づいて物品を検出する。基準特徴量は、データベース部１４に予め格納された情報である。このデータベース部１４は、異常行動検知装置１と通信可能な外部の記憶装置、ネットワーク上のサーバー、などに備えられてもよい。「物品を検出する」とは、例えば、物品の属性を特定すること、又は物品の商品名を特定すること、を含む。スライディングウィンドウを用いた物品の検出方法は、例えば、上述した非特許文献１に開示されている。この検出方法を用いる分類部１１は、画像中の矩形領域であるスライディングウィンドウ毎に、輝度、色、輝度の一次微分、輝度の二次微分、などに基づいて特徴量を算出し、画像中の２つの矩形領域から算出された特徴量の距離Ｄｉｓｔを求める。距離Ｄｉｓｔは、２つの矩形領域から算出された特徴量の遠さを示す値であるから、距離Ｄｉｓｔの逆数は２つの矩形領域から算出された特徴量の類似度Ｒを示す。したがって、類似度Ｒは、例えば、下記の式（１）で算出される。
Ｒ＝１／Ｄｉｓｔ （１）

言い換えれば、分類部１１は、スライディングウィンドウである矩形領域Ｒｅｃｔｃ毎に特徴量を求める。ここで、ｃ＝０，…，ｋ（ｋは正の整数）である。スライディングウィンドウ方式では、特徴量が求められる矩形領域として、複数の矩形領域Ｒｅｃｔ０～Ｒｅｃｔｋが用いられる。そして、分類部１１は、これらの特徴量と事前に算出された検出対象の物品の特徴量である基準特徴量との類似度Ｒ_ｐを求める。分類部１１は、類似度Ｒ_ｐが類似度の閾値Ｄ_Ｒより大きい物品、すなわち、下記の式（２）を満たす特徴量を持つ物品を、矩形領域Ｒｅｃｔｃに含まれる物品として検出する。
Ｒ_ｐ＞Ｄ_Ｒ （２）
ここで、類似度の閾値Ｄ_Ｒは、０よりも大きい値である。この処理は、ノイズに対する頑健性を担保するためのものである。最終的に、分類部１１は、検出された物品の物品名を出力する。

管理部１２は、分類部１１によって取得されたグループＨ１～Ｈｍの各々に属する物品の個数Ｊ１～Ｊｍを取得する。管理部１２は、取得した個数Ｊ１～Ｊｍを含む入出庫状況情報を記憶部１５に格納する。なお、記憶部１５は、管理部１２の外部に備えられてもよい。記憶部１５は、異常行動検知装置１の外部に備えられてもよい。記憶部１５は、異常行動検知装置１の通信装置（例えば、後述の図４に示される）とネットワークを介して通信可能に接続されるサーバーに備えられてもよい。

判定部１３は、管理部１２によって取得された物品の個数Ｊ１～Ｊｍと予め定められた閾値ＴＨ＿ＣＮＴとの比較の結果に基づいて、冷蔵庫１００を使用する対象者の行動が異常行動を含んでいるか否かを判定する。予め定められた閾値ＴＨ＿ＣＮＴは、例えば、複数のグループＨ１～Ｈｍの各々について閾値ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍとして定められてもよい。

判定部１３は、例えば、物品の個数Ｊ１～Ｊｍが予め定められた閾値ＴＨ＿ＣＮＴを超えた場合に、対象者の行動が異常行動を含んでいると判定する。また、判定部１３は、物品の個数Ｊ１～Ｊｍが予め定められた閾値ＴＨ＿ＣＮＴ以下である場合、対象者の行動が異常行動を含んでいないと判定する。或いは、判定部１３は、物品の個数Ｊ１～Ｊｍが予め定められた閾値ＴＨ＿ＣＮＴを超えた回数が予め定められた基準回数（「第１の基準回数」ともいう。）ＴＨ＿ＲＥＰＥＡＴを超えた場合に、対象者の行動が異常行動を含んでいると判定してもよい。

図３は、実施の形態１に係る冷蔵庫１００の入出庫状況情報ｆ１の例を示す図である。管理部１２は、図３に示されるように、分類された物品のグループＨ１～Ｈｍ毎に物品の入出庫状況を示す入出庫状況情報ｆ１を記憶する。例えば、管理部１２は、庫内に収容されている物品を特定する情報ｆ１ａと、各物品の個数情報ｆ１ｂとを入出庫状況情報ｆ１として記憶する。図３に示される例では、庫内に収容されている物品を特定する情報ｆ１ａは、分類されたグループの名称を示す。例えば、商品名が「Ａ」であり物品名が「ビール」である物品「Ａビール」の個数は、２個である。また、商品名が「Ｂ」であり物品名が「ジャム」である物品「Ｂジャム」の個数は、７個である。

判定部１３は、庫内に収容されている物品の個数Ｊ１～Ｊｍが予め定められた閾値ＴＨ＿ＣＮＴを超えた場合に、対象者の行動が異常行動を含んでいると判定し、対象者の行動が異常行動を含んでいることを示す情報を出力する。例えば、判定部１３は、対象者の行動が異常行動を含んでいることを示す情報を、対象者本人、又は予め定められた関係者（例えば、対象者の家族）、などに知らせることができる。

図４は、実施の形態１に係る異常行動検知装置１のハードウェア構成の例を示す図である。図４に示される異常行動検知装置１は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９２と、メモリ９２に格納されたプログラムを実行する情報処理部としてのプロセッサ９１とを用いて（例えば、コンピュータにより）実現することができる。プログラムは、例えば、ネットワークを経由して又は情報を記録する記録媒体からインストールされる。メモリ９２に格納されたプログラムは、実施の形態１に係る異常行動検知プログラムを含む。また、異常行動検知装置１は、記憶装置であるストレージ９３を有している。図２における異常行動検知装置１は、プログラムを実行するプロセッサ９１に対応する。なお、図２に示される異常行動検知装置１の一部を、図４に示されるメモリ９２と、プログラムを実行するプロセッサ９１とによって実現してもよい。

次に、異常行動検知装置１が、対象者の行動が異常行動を含んでいるか否かを判定するための処理を説明する。図５は、異常行動検知装置１の動作の例を示すフローチャートである。

まず、分類部１１は、異常行動の有無を判定する処理の実行条件が満たされているか否かを判定する（ステップＳ１０）。一定の時間間隔で異常行動の有無を判定するように設定されている場合には、分類部１１は、前回の処理から予め定められた時間が経過している場合に、実行条件が満たされていると判定する。また、扉１０１が閉じられたときに異常行動の有無を判定するように設定されている場合には、分類部１１は、開閉検知器１１１から扉１０１の閉信号を受信した場合に、実行条件が満たされていると判定する。

実行条件が満たされている場合、分類部１１は、庫内を撮像する撮像装置１１０から画像を取得する（ステップＳ１１）。分類部１１は、取得した画像に基づいて物品を検出し、検出された物品が属するグループＨ１～Ｈｍの名称を管理部１２に出力する（ステップ１２）。図１及び図３に示される例では、グループＨ１～Ｈｍの名称は、例えば、「Ｄバター」、「Ｅ卵」、などである。

管理部１２は、分類部１１から物品が属するグループＨ１～Ｈｍの名称を取得し、同じグループに属する同一の物品の個数Ｊ１～Ｊｍを算出し、これらを含む入出庫状況情報ｆ１を生成して記憶する（ステップＳ１３）。

判定部１３は、管理部１２から入出庫状況情報ｆ１を取得し、対象者の行動が異常行動を含んでいるか否かを判定する。判定部１３は、対象者の行動が異常行動を含んでいると判定した場合には、対象者の行動が異常行動を含んでいることを示す情報を出力する。

例えば、判定部１３は、管理部１２から図３に示される入出庫状況情報ｆ１を取得し、閾値ＴＨ＿ＣＮＴとして４個を設定した場合、図３に示されるように、「Ｂジャム」が７個入庫している状態であるため、対象者の行動が異常行動を含んでいると判定し（ステップＳ１４）、対象者の行動が異常行動を含んでいることを示す情報を出力する（ステップＳ１５）。

以上に説明したように、異常行動検知装置１を用いれば、専門医による診察を受ける前に、早期に対象者の異常行動を発見し、対象者又は関係者などに、対象者の行動が異常行動を含んでいることを知らせることができる。その結果、早期に対策を講じることができる。

また、実施の形態１においては、判定部１３は、閾値ＴＨ＿ＣＮＴとして、グループＨ１～Ｈｍ毎に異なる閾値ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍを設定することができる。例えば、判定部１３は、「Ｆ卵」に関しては閾値ＴＨ＿ＣＮＴを４パックに設定し、「Ａビール」に関しては閾値ＴＨ＿ＣＮＴを６本に設定することができる。このようにすることで、グループＨ１～Ｈｍ毎に適した閾値ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍを設定することができる。

図６は、実施の形態１に係る異常行動検知装置の動作の他の例を示すフローチャートである。図６において、図５に示される処理と同じ処理には、図５に示される符号と同じ符号が付される。図６の動作は、ステップＳ１４ａを有する点において、図５の動作と異なる。図６のステップＳ１４ａにおいて、判定部１３は、グループＨ１～Ｈｍに属する物品の個数Ｊ１～Ｊｍが閾値ＴＨ＿ＣＮＴ（又はＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍ）を超えた回数Ｋが、基準回数ＴＨ＿ＲＥＰＥＡＴを超えたか否かを判定する。物品の個数Ｊ１～Ｊｍが閾値ＴＨ＿ＣＮＴ（又はＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍ）を超えたそれぞれの回数をＫ１～Ｋｍで表現した場合、回数Ｋは、回数Ｋ１～Ｋｍの合計値であってもよい。或いは、回数Ｋは、グループＨ１～Ｈｍのいずれかにおいて、物品の個数Ｊ１～Ｊｍが閾値ＴＨ＿ＣＮＴ（又はＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍ）を超えた回数Ｋ１～Ｋｍであってもよい。

判定部１３は、物品の個数Ｊ１～Ｊｍが閾値ＴＨ＿ＣＮＴ（又はＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍ）を超えた回数Ｋが基準回数ＴＨ＿ＲＥＰＥＡＴを超えた場合に、対象者の行動が異常行動を含んでいると判定する。判定部１３は、対象者の行動が異常行動を含んでいることを示す情報を出力する。図６に示される検知動作を採用すれば、判定の精度を向上させることができる。

実施の形態１の変形例１．
判定部１３によって判定された検知結果について、予め登録されたメールアドレス又は予め関連付けられたアプリケーションに、無線又は有線のネットワーク経由で送信する通知部１７をさらに備えることができる。このようにすることで、対象者の行動が異常行動を含んでいることを家族等の関係者に知らせることができる。

図７は、実施の形態１の変形例１に係る異常行動検知装置２の構成を概略的に示す機能ブロック図である。図７において、図２に示される構成要素と同一又は対応する構成要素には、図２における符号と同じ符号が付される。図７に示される異常行動検知装置２は、通知部１７を備えている点において、図２に示される異常行動検知装置１と相違する。

判定部１３は、対象者の行動が異常行動を含んでいるか否かを判定し、対象者の行動が異常行動を含んでいると判定した場合に、そのことを示す信号を通知部１７に出力する。通知部１７は、判定部１３から対象者の行動が異常行動を含んでいることを示す信号を取得し、予め登録された宛先に、このことを示す情報を送信する。例えば、通知部１７は、メールアドレス又は予め関連付けられたアプリケーションに、対象者の行動が異常行動を含んでいることを示す情報を含む通知情報を送信する。送信される通知情報は、例えば、電子メールのメッセージである。このメッセージは、対象者の行動が異常行動を含むことを通知するだけのものでもよいが、異常行動の発生時刻、検知した異常行動の概要を含むものであってもよい。

実施の形態１の変形例２．
変形例２の異常行動検知装置は、図１～図７と同様の構成を有する。変形例２の異常行動検知装置では、分類部１１は、店舗において又はインターネットによって購入した物品に関する情報を、例えば、通信装置９４（図４に示される）によって取得し、撮像装置１１０で撮像した画像に基づいて庫内に収容されている物品を１つ以上のグループＨ１～Ｈｍに分類する。また、管理部１２は、直近に購入した物品が属するグループについての閾値ＴＨ＿ＣＮＴ（すなわち、ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍのいずれか）を小さい値に設定する。

例えば、直近ではない時点である１週間前に２パックの「卵」を購入した場合には、１週間後の本日に、対象者が追加で２パックの「卵」を購入する行動は、正常な行動であると考えられる。したがって、管理部１２は、卵が属するグループについての閾値ＴＨ＿ＣＮＴ（すなわち、ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍのいずれか）を、例えば、通常の値である４パックに設定する。

しかし、直近の時点である１日前に３パックの「卵」を購入した場合には、１日後である本日に、対象者が追加で３パックの「卵」を購入する必要はない、又はこの行動は正常な行動ではないと考えられる。したがって、管理部１２は、卵が属するグループについての閾値ＴＨ＿ＣＮＴ（すなわち、ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍのいずれか）を、通常の閾値である４パックより小さい値である２パックに設定する。そして、管理部１２は、日時が経過するにつれて、閾値ＴＨ＿ＣＮＴ（すなわち、ＴＨ＿ＣＮＴ１～ＴＨ＿ＣＮＴｍのいずれか）を増加させる。このように、物品の購入履歴を利用して閾値ＴＨ＿ＣＮＴを変更することで、異常行動の検出の精度を向上させることができる。

実施の形態２．
実施の形態１に係る異常行動検知装置１は、庫内に収容されている物品の位置情報を利用していないため、庫内における物品の移動を物品の入庫と判定する状況が発生し得る。これに対し、実施の形態２に係る異常行動検知装置は、庫内に収容されている物品の位置情報を検出し記憶し、これを利用することによって、庫内における物品の移動を物品の入庫と判定しないことができる。この点以外に関しては、実施の形態２に係る異常行動検知装置は、実施の形態１に係る異常行動検知装置１と同じである。したがって、実施の形態２においては、図１から図７をも参照する。

図８は、実施の形態２に係る物品保管庫１００の入出庫状況情報ｆ２の例を示す図である。実施の形態２において、分類部１１は、画像に含まれる物品を検出し、検出した物品の領域情報と物品の名称を出力する。物品の領域情報は、画像において検出した物品の矩形領域Ｒｅｃｔｃの左端位置の座標（ｘｃ，ｙｃ）と矩形領域Ｒｅｃｔｃのサイズ（ｗｃ，ｈｃ）とを含む。

管理部１２は、物品毎に物品の入出庫状況を示す、入出庫状況情報ｆ２を記憶する。例えば、管理部１２は、図８に示されるように、各物品の物品名ｆ２ａと物品の領域情報ｆ２ｂと物品の入庫時刻情報ｆ２ｃとを入出庫状況情報ｆ２として記憶する。

管理部１２が入出庫状況情報ｆ２として記憶する入庫時刻は、他の装置に具備されるボタンなどの操作部を利用して、対象者が入力する時刻であってもよい。また、異常行動検知装置１が冷蔵庫に接続されたコンピュータである場合には、時刻は、コンピュータに内蔵される時計、又はその機能が実装されている集積回路で構成されるＲＴＣ（ｒｅａｌ ｔｉｍｅ ｃｌｏｃｋ）から取得されてもよい。

判定部１３は、予め定められた時間の間に、同じグループＨ１～Ｈｍに属する物品が繰り返し購入されており、その結果としてグループＨ１～Ｈｍに属する物品の個数Ｊ１～Ｊｍが予め定められた閾値より大きく増加している場合に、対象者の行動が異常行動を含んでいると判定し、それを示す情報を出力する。

次に、異常行動検知装置１が、対象者の行動が異常行動を含んでいるか否かを判定するための処理を説明する。分類部１１は、取得した画像から１つ以上の物品を１つ以上のグループＨ１～Ｈｍに分類し、検出した物品の領域情報ｆ２ｂと、分類されたグループＨ１～Ｈｍを示す情報（例えば、「Ａビール」、「Ｂジャム」など）ｆ２ａと、入庫時刻情報ｆ２ｃとを管理部１２に出力する。管理部１２は、分類部１１から物品の領域情報ｆ２ｂと、分類されたグループＨ１～Ｈｍを示す情報ｆ２ａと、入庫時刻情報ｆ２ｃとからなる入出庫状況情報ｆ２を生成して記憶する。

次に、分類部１１は、撮像装置１１０から画像を取得して物品を検出し、検出された物品を１つ以上のグループＨ１～Ｈｍに分類する。管理部１２は、新たに取得した画像に含まれる物品が、前回までに取得した画像に含まれる物品と同一であるかどうかを判定する。

管理部１２は、前回までに取得した画像についての入出庫状況情報ｆ２に含まれる物品の領域情報ｆ２ｂと物品が属するグループＨ１～Ｈｍを示す情報ｆ２ａとを参照し、それらが、今回検出された入出庫状況情報ｆ２に基づくものと一致しているかどうかを調べる。管理部１２は、新たに取得した画像に含まれる物品が、前回までに取得した画像に含まれる物品と同一であるかどうかを判定することができる。管理部１２は、一致している場合は、新規の物品の入庫ではないと判定し、入出庫状況情報ｆ２に入庫時刻情報ｆ２ｃを追加しない。また、管理部１２は、一致していない場合は、新規の物品の入庫であると判定して、入出庫状況情報ｆ２に入庫時刻情報ｆ２ｃなどを追加する。

また、管理部１２は、管理部１２が記憶する入出庫状況情報ｆ２に含まれる物品の領域情報ｆ２ｂと物品が属するグループＨ１～Ｈｍを示す情報ｆ２ａとを参照し、それが今回検出された物品の領域情報ｆ２ｂと物品が属するグループＨ１～Ｈｍを示す情報ｆ２ａと一致しているかどうかを調べる。管理部１２は、領域情報ｆ２ｂが完全に一致しない場合であっても、領域情報ｆ２ｂの今回検出された物品の領域情報の位置との差が予め定められた許容範囲内であれば、物品を新規の物品ではないと判定する。そして、管理部１２は、入出庫状況情報ｆ２に、新規物品ではないと判定された物品についての情報を追加しない。例えば、管理部１２は、物品の領域情報のうち、矩形領域の左端位置の座標（ｘｃ，ｙｃ）に対して、ｘ方向又はｙ方向に±５ｐｉｘｅｌの許容範囲を設け、同時に、物品の領域情報の矩形サイズの幅と高さのそれぞれに対して、±５％の許容範囲を設けてもよい。この場合、管理部１２は、許容範囲内での差が存在しても、新規の物品ではない、すなわち、物品の僅かな移動であると判定することができる。このようにすることで、管理部１２は、扉の開閉時又は、他の物品を手に取ろうとした際に多少動いてしまった物品を、新規に検出された物品と誤判定することを回避できる。

管理部１２が新規の物品ではないと判断した場合に、管理部１２は、入出庫状況情報ｆ２のうちの物品の領域情報ｆ２ｂを更新してもよい。このようにすることで、管理部１２は、その物品が現在存在する画像上の位置に、領域情報ｆ２ｂを更新することができる。

判定部１３は、管理部１２から入出庫状況情報ｆ２を取得し、対象者の行動が異常行動を含んでいるかどうかを判定する。対象者の行動が異常行動を含んでいると判定した場合には、判定部１３は、対象者の行動が異常行動を含んでいることを示す情報を出力する。

例えば、判定部１３は、管理部１２から入出庫状況情報ｆ２を取得し、予め定められた時間の間に、繰り返し同じグループＨ１～Ｈｍに属する物品が購入されており、その結果として個数Ｊ１～Ｊｍが増加している場合に、対象者の行動が異常行動を含んでいると判定する。個数Ｊ１～Ｊｍが増加している場合は、実施の形態１の場合と同様に、例えば、予め定められた閾値を超える増加があった場合である。

以上に説明したように、実施の形態２に係る異常行動検知装置を用いれば、専門医による診察を受ける前に、早期に対象者の異常行動を発見し、対象者又は関係者などに、対象者の行動が異常行動を含んでいることを知らせることができる。その結果、早期に対策を講じることができる。

また、実施の形態２に係る異常行動検知装置は、実施の形態１の場合と同様に、判定部１３が、対象者の行動が異常行動を含んでいるかを判定する閾値として予め定められた基準回数（「第２の基準回数」ともいう。）ＴＨ＿ＲＥＰＥＡＴ２をさらに設け、予め定められた時間の間に、繰り返し同じグループの物品が購入されており、その結果として個数Ｊ１～Ｊｍが増加した回数が予め定められた基準回数ＴＨ＿ＲＥＰＥＡＴ２を超えた場合に、異常行動であると判定することができる。このようにすることで、疾患等による異常行動が繰り返し発生した場合に検知することができる。

実施の形態３．
実施の形態１及び２に係る異常行動検知装置は、庫内に収容されている物品を一時的に取り出し、短時間で元の位置に戻した場合に、新規の物品の入庫であると判定する。例えば、庫内に収容されているジャムを取り出し、数分後にジャムを庫内に戻した場合である。これに対し、実施の形態３に係る異常行動検知装置は、庫内に収容されている物品を一時的に取り出して、戻す動作を、新規物品の入庫と判定しないことができる。この点以外に関しては、実施の形態３に係る異常行動検知装置は、実施の形態１及び２に係る異常行動検知装置と同じである。したがって、実施の形態２においては、図１から図７をも参照する。

管理部１２は、物品毎に物品の入出庫状況を示す、入出庫状況情報を記憶する。例えば、管理部１２は、各物品の物品名と物品の領域情報と物品の入庫時刻と物品の出庫時刻とを入出庫状況情報として記憶する。

管理部１２は、前回取得した画像において検出できた物品が、新たに取得した画像において検出できなかった場合に、当該物品が出庫されたと判断し、出庫の時刻を記憶する。すなわち、管理部１２は、既に入出庫状況情報に含まれている情報であって、新たに取得した画像で検出できなかった物品に関して、入出庫状況情報から情報を削除せずに、出庫時刻を追加して記憶する。

管理部１２は、入出庫状況情報において出庫時刻が記憶されている物品についての情報は、予め設定された期間の間だけ保持する。管理部１２は、出庫時刻から起算して、その設定期間を過ぎた場合には、当該物品に関する入庫情報及び出庫情報の両方を削除する。

管理部１２は、入出庫状況情報において、出庫を表す情報が記憶されておらず、入庫を表す情報のみが記憶されている場合には、当該情報を記憶し続ける。

管理部１２は、入出庫状況情報を記憶するためのメモリ領域に対して、予め設定された閾値を超える入出庫状況情報を記憶しようとした場合に、最も古い入出庫状況情報から順に消去するように設定してもよい。

判定部１３は、予め定められた時間の間に、繰り返し同じグループＨ１～Ｈｍの物品が購入されており、その結果として、グループＨ１～Ｈｍに属する物品の個数Ｊ１～Ｊｍが増加している場合に、対象者の行動が異常行動を含んでいると判定し、それを示す情報を出力する。ただし、判定部１３は、予め定められた時間の間に、個数Ｊ１～Ｊｍが減少した後、減少した数と同数だけ個数Ｊ１～Ｊｍが増加する状況が発生した場合、又はこのような状況が繰り返し発生した場合、個数Ｊ１～Ｊｍが増加していると判定しない。

例えば、図９に概略的に示した時系列での入出庫の状況では、時刻ｔ２における出庫と時刻ｔ３における入庫とは３分間という短時間の間に発生している。このように、短時間で出庫と入庫が順に発生する状況としては、例えば、朝食に「Ｂジャム」を使用するために冷蔵庫１００から取り出して、使用後に冷蔵庫１００に戻した状況が考えられる。つまり、時刻ｔ３は買い増しによる物品の個数Ｊ１～Ｊｍの増加には該当しない。このため、判定部１３は、予め定められた時間（「第２の時間」ともいう。）の間に、個数Ｊ１～Ｊｍが減少した後、減少した数と同数だけ個数Ｊ１～Ｊｍが増加する状況が発生した場合、又はこのような状況が繰り返し発生した場合、個数Ｊ１～Ｊｍが増加していると判定しない。

以上に説明したように、実施の形態３に係る異常行動検知装置を用いれば、専門医による診察を受ける前に、早期に対象者の異常行動を発見し、対象者又は関係者などに、対象者の行動が異常行動を含んでいることを知らせることができる。その結果、早期に対策を講じることができる。

さらに、一部を消費するために冷蔵庫１００から物品を取り出して、その後、元に戻した状況を、異常行動の有無の判定に用いないため、判定の精度を向上させることができる。

実施の形態４．
図１０は、実施の形態４に係る異常行動検知装置４の構成を概略的に示す機能ブロック図である。図１０において、図２に示される構成要素と同一又は対応する構成要素には、図２における符号と同じ符号が付される。実施の形態４に係る異常行動検知装置４は、人物認識部１８を有する点において、実施の形態１、２及び３に係る異常行動検知装置４と異なる。

人物認識部１８は、撮像装置で撮像された画像から人物を検出するとともに、何れの個人であるかを識別し、識別した結果を管理部１２ａに出力する。人物認識の方法は、一般に利用されている画像の特徴量の類似度から識別する方法等が利用できる。

管理部１２ａは、物品を入庫した人物を特定できる情報を入出庫状況情報にさらに記憶する。

判定部１３は、管理部１２ａから入出庫状況情報を取得し、各物品の入庫時刻と人物情報から、予め定められた時間の間に、同一人物によって繰り返し同じグループの物品が購入され、その結果として個数Ｊ１～Ｊｍが増加している場合に、対象者の行動が異常行動を含んでいると判定する。

以上に説明したように、実施の形態４に係る異常行動検知装置４を用いれば、専門医による診察を受ける前に、早期に対象者の異常行動を発見し、対象者又は関係者などに、対象者の行動が異常行動を含んでいることを知らせることができる。その結果、早期に対策を講じることができる。

さらに、冷蔵庫１００が複数の人によって使用される場合であっても、対象者の行動が異常行動を含んでいることを検知することができる。その結果、判定の精度を向上させることができる。

変形例．
実施の形態１から４に係る異常行動検知装置の各構成を適宜組み合わせることが可能である。

１、２、４ 異常行動検知装置、 １１ 分類部、 １２、１２ａ 管理部、 １３ 判定部、 １４ データベース部、 １５ 記憶部、 １６ 時刻取得部、 １７ 通知部、 １８ 人物認識部、 ９１ プロセッサ、 ９２ メモリ、 ９３ ストレージ、 ９４ 通信装置、 １００ 冷蔵庫、 １０１ 扉、 １０２ 収容室、 １１０ 撮像装置、 １１１ 開閉検知器。

Claims (11)

1. 物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類する分類部と、
   前記１つ以上のグループの各々に属する物品の個数を取得する管理部と、
   前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定する判定部と、
   を有し、
   前記判定部は、前記個数が前記予め定められた閾値を超えた回数が予め定められた第１の基準回数を超えた場合に、前記対象者の行動が異常行動を含んでいると判定することを特徴とする異常行動検知装置。
2. 前記分類部は、前記１個以上の物品の各々の属性に基づいて前記１個以上の物品を前記１つ以上のグループに分類することを特徴とする請求項１に記載の異常行動検知装置。
3. 前記分類部は、前記１個以上の物品の各々の商品名に基づいて前記１個以上の物品を前記１つ以上のグループに分類することを特徴とする請求項１に記載の異常行動検知装置。
4. 前記予め定められた閾値は、前記１つ以上のグループの各々について定められたことを特徴とする請求項１から３のいずれか１項に記載の異常行動検知装置。
5. 時刻情報を取得する時刻取得部をさらに有し、
   前記管理部は、前記物品保管庫内に物品が出庫された時刻である出庫時刻を取得し、
   前記判定部は、前記出庫時刻から予め定められた第２の時間の間に、出庫された前記物品である第３の物品と同じグループである第２のグループに属する物品である第４の物品が、前記第３の物品と同数だけ入庫された状況の場合に、前記個数が増加していると判定しない
   ことを特徴とする請求項１から４のいずれか１項に記載の異常行動検知装置。
6. 前記対象者を識別して前記対象者を示す人物情報を出力する人物認識部をさらに備え、
   前記判定部は、前記管理部によって記憶された各物品の入庫時刻と前記人物情報とから、予め定められた時間の間に、同一人物によって繰り返し同じグループに属する物品が購入され、同じグループに属する物品の個数が増加した場合に、対象者の行動が異常行動であると判定する
   ことを特徴とする請求項１から５のいずれか１項に記載の異常行動検知装置。
7. 前記判定部によって判定された結果を、予め登録された宛先に送信する通知部をさらに有することを特徴とする請求項１から６のいずれか１項に記載の異常行動検知装置。
8. 前記分類部は、店舗において又はインターネットによって購入した物品のグループに関する情報から、前記撮像装置で撮像された画像から前記収容室内に収容されている物品のグループを検出する際に、直近に購入した物品ほど検出の際に利用する前記閾値を下げることを特徴とする請求項１から７のいずれか１項に記載の異常行動検知装置。
9. 請求項１から８のいずれか１項に記載の異常行動検知装置を有することを特徴とする物品保管庫。
10. 異常行動検知装置が実行する異常行動検知方法であって、
    物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類するステップと、
    前記１つ以上のグループの各々に属する物品の個数を取得するステップと、
    前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定する判定ステップであって、前記個数が前記予め定められた閾値を超えた回数が予め定められた第１の基準回数を超えた場合に、前記対象者の行動が異常行動を含んでいると判定する前記判定ステップと、
    を有することを特徴とする異常行動検知方法。
11. 物品保管庫の収容室の内部を撮像する撮像装置によって得られた画像に基づいて前記収容室内に収容されている１個以上の物品を１つ以上のグループに分類する処理と、
    前記１つ以上のグループの各々に属する物品の個数を取得する処理と、
    前記個数と予め定められた閾値との比較の結果に基づいて、前記物品保管庫を使用する対象者の行動が異常行動を含んでいるか否かを判定する判定処理であって、前記個数が前記予め定められた閾値を超えた回数が予め定められた第１の基準回数を超えた場合に、前記対象者の行動が異常行動を含んでいると判定する前記判定処理と、
    をコンピュータに実行させることを特徴とする異常行動検知プログラム。

Images