JP7094814B2 - 検出システム、および検出方法 - Google Patents

Description

本発明は、人物の行動または行動の予兆を検出する技術に関する。

一般家庭や医療施設において、人の転倒や起床時にアラームを出力する技術がある。例えば、特許文献１には、マット型の圧力センサが荷重を検出すると、ナースコールシステムが呼び出しを報知している。

特開２０１４－１００２５９号公報

特許文献１では、マットに圧力センサが設けられているため、広範囲に設置できないことから、人の転倒を検出する範囲が限定されるという課題があった。また、一般家庭や医療施設において、例えば、人の転倒時にアラームを出力するだけでなく、転倒を未然に防ぎたいという課題がある。

本発明は、検出範囲によらず人物の行動やその予兆を検出することが可能な検出システム、および検出方法を提供することを目的とする。

本発明にかかる検出システムは、好ましくは、可視光カメラと近赤外光カメラとを有し、人物を撮像する撮像装置と、前記可視光カメラにより前記人物を撮像する第１のモードと、前記近赤外光カメラにより前記人物を撮像する第２のモードとを切り替え、切り替えたモードで撮像された画像から、前記人物の行動または行動の予兆を検出する演算装置と、を備えることを特徴とする検出システムとして構成される。

また、本発明は、上記検出システムで行われる検出方法としても把握される。

本発明の一態様によれば、検出範囲によらず人物の行動やその予兆を検出することができる。

実施例１の行動予兆検出システムの構成の一例を示す図である。 実施例１の検出システムのハードウェア構成及びソフトウェア構成を示す図である。 管理データベースのデータ構造の一例を示す図である。 実施例１の検出システムが実行する処理の処理手順を示すフローチャートである。 第１の手法あるいは第２の手法を切り替える概念を説明する図である。 実施例２の検出システムが実行する処理の処理手順を示すフローチャートである。 実施例３の転倒および転倒の予兆検出処理の処理手順を示すフローチャートである。 モニタに表示されるフィードバック画面の例を示す図である。 実施例４の検出システムが実行する処理の処理手順を示すフローチャートである。 転倒を検出する際の外形データの概念図である。 実施例５の検出システムが実行する処理の処理手順を示すフローチャートである。 転倒を検出する際の外形データの概念図である。

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

本明細書における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

以下の実施例の代表的な一例を示せば以下の通りである。すなわち、近赤外線または可視光カメラで撮影した画像を用いて転倒と転倒の予兆を検出する計算機システムであって、計算機システムは、狭い部屋では近赤外線カメラで、広い部屋では可視光カメラから転倒および転倒の予兆を検出する演算装置を備える。また、計算機システムは、撮像装置、演算装置、演算装置に接続される記憶装置、及び演算装置に接続されるインタフェースを有し、インタフェースを介して、撮像装置が取得した画像を用いて転倒を検出する処理に使用する画像を格納するデータベースと接続する。

図１は、実施例１の行動予兆検出システム１００の構成の一例を示す図である。行動予兆検出システム１００は、以下に説明するように、様々な異なる撮影環境に適応して人物の行動の検出を可能とするシステムである。図１に示すように、行動予兆検出システム１００は、検出システム１０１、及び検出管理システム１０２から構成される。また、検出システム１０１は、ネットワーク１０３を介して検出管理システム１０２に接続する。図１に示す検出システム１０１は一つであるが、複数あってもよい。検出システム１０１と検出管理システム１０２は、ともに、ハードウェアとしては一般的なコンピュータで構成することができる。

本実施例では、検出システム１０１は、一般家庭や介護施設などにおいて、１または複数の部屋１０４に設置されることを想定しているが、これに限らず、例えば、ホールや小屋等の様々な大きさの空間に設置されてもよい。検出システム１０１は、部屋１０４において取得されたデータに基づいて、人物の転倒や転倒の予兆を表す検出データを取得する。当該検出データは、例えば、映像、音声、あるいは、入室者数など、入力装置を介して取得される各種データである。検出システム１０１は、その他、部屋の状況を補助する表示機能や入力機能等を備えても良い。

また、検出管理システム１０２は、ネットワーク１０３を介して各検出システム１０１が処理した情報を管理し、１または複数の部屋１０４全体を統括する。もっとも、検出システム１０１と検出管理システム１０２を一体として構成し、部屋１０４に設置することも可能である。

なお、部屋１０４には検出システム１０１の代わりに、ディスプレイ、集音マイク、及びスピーカから構成される機器のみを置き、これらの各機器が有する通信機器により、ネットワーク１０３を介してデータを送受信することで、検出システム１０１の機能を検出管理システム１０２に分担させてもよい。

図２は、実施例１の検出システム１０１のハードウェア構成及びソフトウェア構成を示す図である。検出システム１０１は、例えば、一般的なコンピュータで構成することができ、演算装置２０１、記憶装置２０２、通信装置２０３、撮像装置２０４、音声再生装置２０５、集音装置２０６を有する。撮像装置２０４および集音装置２０６は、入力装置の例であり、音声再生装置２０５は出力装置の例である。各ハードウェアは、内部バス等を介して互いに接続される。

演算装置２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の装置である。演算装置２０１は、記憶装置２０２に格納されるプログラムを実行する。演算装置２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現するモジュールとして動作する。以下の説明では、モジュールを主語に処理を説明する場合、演算装置２０１が当該モジュールを実現するプログラムを実行していることを表す。

記憶装置２０２は、メモリ等の記憶媒体やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置であり、演算装置２０１が実行するプログラム及びプログラムの実行に必要な情報を格納する。また、記憶装置２０２は、プログラムが使用するワークエリアを含む。

本実施例では、記憶装置２０２は、制御モジュール２１１を実現するプログラムを格納し、また、画像ＤＢ２１２を格納する。通信装置２０３は、ネットワークインタフェース等の装置であり、ネットワーク１０３を介して他の装置と接続する。撮像装置２０４は、カメラ等の装置であり、リアルタイムに所定の範囲の画像を取得する。後述するように、本実施例では、撮像装置２０４は、例えば、部屋１０４の天井付近に設置され、本システムの検出対象であるユーザの様子を撮影する。音声再生装置２０５は、スピーカ等の装置であり、発話内容を音声として再生する。集音装置２０６は、集音マイク等の装置であり音声を取得する。

本実施例では、撮像装置２０４が取得した画像を用いて転倒および転倒の予兆が検出される。転倒および転倒の予兆の検出は、検出対象となるユーザの所定の部位が所定の方向に移動しているか否かを判定して行なう。

例えば、制御モジュール２１１は、部屋１０４の天井付近に備え付けられた撮像装置２０４であるカメラに写っているユーザの頭部の位置の移動を検出して転倒および転倒の予兆を検出する。すなわち、制御モジュール２１１は、頭部が下方向に移動している人は、転倒しているものと判定する。また、制御モジュール２１１は、ユーザ全体の姿勢を検出し、中腰や前傾姿勢、歩幅が小さい、すり足などの行動をしているユーザは、転倒の予兆があると判定する。

本実施例では、広い部屋１０４では、撮像装置２０４として可視光カメラで転倒および転倒の予兆を検出する第１の手法（第１のモード）と、狭い部屋１０４では、撮像装置２０４として近赤外線カメラで転倒および転倒の予兆を検出する第２の手法（第２のモード）とでユーザを撮像することにより、部屋の特性（例えば、部屋の広さ、カメラと人との距離の長さ）によらず、正確な転倒および転倒の予兆の計測を可能とする。

可視光カメラによる第１の手法では、制御モジュール２１１は、可視光カメラから得られる可視光データにより、転倒および転倒の予兆を検出する。近赤外線カメラによる第２の手法では、制御モジュール２１１は、近赤外線カメラから得られる可視光データおよび奥行きデータにより、転倒および転倒の予兆を検出する。

図３は、管理データベース３００のデータ構造の一例を示す図である。図３のデータの例では、管理データベース３００は、複数の部屋１０４のデータを一括して記憶しており、検出管理システム１０２が管理するものとしている。ただし、部屋１０４ごとのデータを其々各部屋１０４の検出システム１０１が管理していても良い。

図３を用いて、管理データベース３００に格納される情報について説明する。管理データベース３００は、ユーザの転倒および転倒の予兆を検出した際の人数を保持するため等に使用するデータベースである。管理データベース３００は、部屋１０４のＩＤである部屋ＩＤ３０１、部屋名３０２、人数３０３、転倒数３０４、転倒予兆数３０５、検出日時３０６から構成されるエントリを含む。一つのエントリが一つのデータベースのグループ（部分グループ）に対応する。

部屋ＩＤ３０１は、部屋１０４ごとの識別情報を格納するフィールドである。部屋名３０２は、部屋名を格納するフィールドである。人数３０３は、入室者数を格納するフィールドである。入室者数は、例えば、ユーザが部屋１０４に入室するたびにカウントされ、検出システム１０１の入力装置から入力することができる。転倒数３０４は、上述の第１の手法あるいは第２の手法により測定された、転倒を検出した数を格納するフィールドである。注目人数３０５は、上述の第１の手法あるいは第２の手法により測定された、転倒の予兆の数を格納するフィールドである。

図３では、例えば、部屋ＩＤ「１」で識別される部屋は病室であり、６月４日の１１時５２分３０秒の時点では、当該病室には１０人の人物がいて、いずれの人物の転倒も検出されていないが、４人が転倒の予兆があると検出されたことを示している。
人数３０３は、転倒および転倒の予兆を測定する際の母数となる全ユーザ数を設定するために利用される。例えば、人数３０３には、制御モジュール２１１が、撮像装置２０４で撮像された画像を解析して得られた現在の人数を設定してもよいし、あらかじめ定められた部屋１０４の収納人数を母数としてそのまま利用することができる。

図４は、実施例１の検出システム１０１が実行する処理の処理手順を示すフローチャートである。検出システム１０１は、制御モジュール２１１が、周期的又はリアルタイムに、撮像装置２０４を用いて画像を取得する（ステップＳ４０１）。

次に、制御モジュール２１１は、管理データベース３００から、転倒および転倒の予兆測定のための第１の手法あるいは第２の手法を切り替えるためのパラメータを取得する（ステップＳ４０２）。

図５により、第１の手法あるいは第２の手法を切り替える概念を説明する。本実施例では、制御モジュール２１１は、近赤外線カメラまたは可視光カメラで撮影した画像を用いて、人物の骨格を検出し、当該人物の画像を、検出システム１０１あるいは検出管理システム１０２に接続されたモニタ５００に表示する。制御モジュール２１１は、骨格の変化から転倒を検出するとともに、転倒の予兆を検出する。この場合、部屋にはスタジアムや公会堂のような広い部屋（例えば３００ｍ四方）と、教室や会議室のような狭い部屋（１０ｍ四方）がある。広い部屋では、制御モジュール２１１は、撮像装置２０４で撮像した可視光カメラのデータを用いて、転倒および転倒の予兆を検出する。また、制御モジュール２１１は、狭い部屋では撮像装置２０４で撮像した近赤外線カメラのデータを用いて、転倒および転倒の予兆を検出する。可視光カメラより近赤外線カメラのデータを用いたほうが、精度よく転倒および転倒の予兆を検出することができる。そこで、本実施例では、制御モジュール２１１が、部屋の広さにより第１の手法と第２の手法を切り替える。ここで広さとは、大きさ、面積、収容人数と言い換えることもできる。以降これらを「規模」ということがある。

このための規模のパラメータとして、例えば、管理データベース３００の人数３０３を用いることができる。例えば、制御モジュール２１１は、閾値を３（人）としてパラメータと比較し、人数３０３の値が閾値未満であれば第２の手法、閾値以上であれば第１の手法とする（ステップＳ４０３）。すなわち、制御モジュール２１１は、パラメータが閾値以上であるか否かを判定し、パラメータが閾値以上であると判定した場合（Ｓ４０３；Ｙｅｓ）、部屋１０４は広い部屋と判断して、撮像装置２０４として可視光カメラを選択する（ステップＳ４０４）。

なお、上記では人数３０３を元に部屋の広さを判定しているが、他の方法でもよい。例えば、予め管理データベース３００に部屋の広さのデータを格納しておき、制御モジュール２１１が、部屋の広さを閾値と比較し、部屋の広さが閾値以上の場合には第１の手法を選択し、部屋の広さが閾値未満の場合には第２の手法を選択しても良い。あるいは、第１の手法と第２の手法のどちらを用いるかを部屋ごとに設定しておいても良い。例えば、制御モジュール２１１は、図３の例で部屋名３０２が「リビング」の場合は第１の手法を選択し、「トイレ」の場合は第２の手法を選択することが考えられる。

一方、制御モジュール２１１は、パラメータが閾値未満であると判定した場合（Ｓ４０３；Ｎｏ）、狭い部屋と判断して、近赤外線カメラを選択する（ステップＳ４０５）。

制御モジュール２１１は、ステップＳ４０４あるいはＳ４０５にて取得したデータを基に、以降の処理で、転倒の予兆や転倒を検出する。以下、具体的に説明する。

制御モジュール２１１は、可視光カメラまたは近赤外線カメラにてリアルタイムに取得したデータから、各時点におけるユーザの骨格を検出し、検出した骨格データを出力する（ステップＳ４０６）。骨格を検出する技術については、例えば、Ｄｅｅｐ Ｌｅａｒｎｉｎｇによる画像認識技術を用いればよい。

制御モジュール２１１は、骨格データに含まれる座標位置を用いて、各部位の移動距離を算出する（Ｓ４０７）。例えば、制御モジュール２１１は、ある時点における頭部と検出された部位の座標位置と、その後における当該頭部の座標位置との差を算出し、算出した当該差を上記移動距離とする。このように、制御モジュール２１１は、頭部のほか、ユーザの手足等、様々な部位の骨格データを用いて、部位ごとの移動距離を算出する。

制御モジュール２１１は、算出した各部位の移動距離を参照し、所定の部位があらかじめ定められた閾値以上に下方向に移動したか否かを判定する（Ｓ４０８）。例えば、制御モジュール２１１は、頭部の移動が。上記閾値としてユーザの身長と同じ距離程度に下方向に移動した場合、当該ユーザ自身も下方向に移動したと判定する。

制御モジュール２１１は、所定の部位があらかじめ定められた閾値以上に下方向に移動したと判定した場合（Ｓ４０８；Ｙｅｓ）、当該ユーザの転倒を検出して終了する（Ｓ４０９）。

一方、制御モジュール２１１は、所定の部位があらかじめ定められた閾値以上に下方向に移動していないと判定した場合（Ｓ４０８；Ｎｏ）、当該ユーザの転倒は未検出であると判断し（Ｓ４１０）、さらに、当該ユーザの姿勢が中腰姿勢であるか否かを判定する（ステップＳ４１１）。例えば、制御モジュール２１１は、腰部や脚部の移動距離に比べて相対的に頭部の移動距離が大きい場合に、ユーザが中腰姿勢であると判定すればよい。

制御モジュール２１１は、当該ユーザの姿勢が中腰姿勢でないと判定した場合（ステップＳ４１１；Ｎｏ）、当該ユーザの転倒予兆を検出せずに終了する。

一方、制御モジュール２１１は、当該ユーザの姿勢が中腰姿勢であると判定した場合（ステップＳ４１１；Ｙｅｓ）、さらに、当該ユーザが前傾姿勢であるか否かを判定する（ステップＳ４１２）。例えば、制御モジュール２１１は、上記頭部の移動が前方への移動である場合に、ユーザが前傾姿勢であると判定すればよい。

制御モジュール２１１は、当該ユーザが前傾姿勢でないと判定した場合（ステップＳ４１２；Ｎｏ）、当該ユーザの転倒予兆を検出せずに終了する。

一方、制御モジュール２１１は、当該ユーザの姿勢が前傾姿勢であると判定した場合（ステップＳ４１２；Ｙｅｓ）、さらに、当該ユーザの歩幅が小さいか否かを判定する（ステップＳ４１３）。例えば、制御モジュール２１１は、ユーザの足の移動が所定の閾値（例えば、５０ｃｍ）よりも短い場合に、当該ユーザの歩幅が小さいと判定すればよい。

制御モジュール２１１は、ユーザの歩幅が小さくないと判定した場合（ステップＳ４１３；Ｎｏ）、当該ユーザの転倒予兆を検出せずに終了する。

一方、制御モジュール２１１は、ユーザの歩幅が小さいと判定した場合（ステップＳ４１３；Ｙｅｓ）、さらに、当該ユーザがすり足であるか否かを判定する（ステップＳ４１４）。例えば、制御モジュール２１１は、ユーザの足が上下方向に移動していない場合に、当該ユーザがすり足で移動していると判定すればよい。

制御モジュール２１１は、ユーザがすり足でないと判定した場合（ステップＳ４１４；Ｎｏ）、当該ユーザの転倒予兆を検出せずに終了する。

一方、制御モジュール２１１は、ユーザがすり足であると判定した場合（ステップＳ４１４；Ｙｅｓ）、当該ユーザの転倒予兆を検出し、処理を終了する。

上記では、制御モジュール２１１は、Ｓ４１１～Ｓ４１４のすべての条件を満たした場合に、ユーザの転倒予兆を検出したが、これらの条件のうち、いずれか１つまたは複数の条件を満たした場合に転倒予兆を検出することとしてもよい。

このように、本実施例によれば、監視用途で普及している近赤外線または可視光カメラで撮影した画像を用いて転倒を検出したり、例えば、老化による筋力・バランス機能低下に起因する転倒予兆を検出することが可能になる。

実施例１では、管理データベース３００の情報を利用し、予め部屋の広さが既知である場合を例にした。しかし、例えば、部屋が仮設部屋であり、予め部屋の広さが不明の場合もある。実施例２ではこの場合にも対応可能な例を説明する。基本的な構成は実施例１と同じであるが、管理データベース３００のデータからは部屋の広さを示すパラメータが得られない場合を想定している点が実施例１と異なる。

図６は、実施例２の検出システム１０１が実行する処理の処理手順を示すフローチャートである。検出システム１０１は、周期的又はリアルタイムに、制御モジュール２１１が、撮像装置２０４を用いて画像を取得する。

まず、計算機システムの制御モジュール２１１は、近赤外線カメラまたは可視光カメラから受信した画像を用いて、画像の解像度を算出する（ステップＳ５０１）。

次に、制御モジュール２１１は、受信した画像から顔領域を検出する（ステップＳ５０２）。顔領域を検出し、検出した顔の大きさを算出する処理は公知の技術があり、例えば、リファレンスとなる顔のパターンと画像中のパターンを照合することにより可能である。

制御モジュール２１１は、ステップＳ５０１で算出した解像度の画像における顔領域が検出できているか否かを判定する。すなわち、制御モジュール２１１は、パターン認識が成功したか否かを判定する（ステップＳ５０３）。部屋が広く、あまりに画像中の顔の大きさが小さい場合には、解像度が不足しパターン認識ができない場合があるためである。

制御モジュール２１１は、顔領域が検出できていないと判定した場合（Ｓ５０４；Ｎｏ）、可視光カメラのデータを選択する（ステップＳ５０５）。例えば、制御モジュール２１１は、ステップＳ５０２にて算出した顔の大きさが、可視光カメラまたは近赤外線カメラのどちらのカメラから受信したデータを用いるかを選択するための所定の閾値未満であるか否かを判定する。制御モジュール２１１は、上記顔の大きさが所定の閾値未満であると判定した場合、部屋の規模が大きいと判断し、第１のモードとして可視光カメラのデータを選択する。

一方で、制御モジュール２１１は、顔領域が検出できたと判定した場合（Ｓ５０４；Ｙｅｓ）、近赤外線カメラのデータを選択する（ステップＳ５０６）。例えば、制御モジュール２１１は、上記顔の大きさが閾値以上であると判定した場合、部屋の規模が小さいと判断し、第２のモードとして近赤外線カメラのデータを選択する。

なお、上記ステップでは、制御モジュール２１１は、顔の大きさが所定の閾値未満であるか否かを判定することにより、選択するモードを変えることとしたが、顔の大きさと、実施例１の場合と同様に、撮像装置２０４が撮像する空間の規模、例えば、部屋の規模とを組み合わせて、選択するモードを変えてもよい。例えば、制御モジュール２１１は、顔領域が検出できず、かつ上記部屋の規模が所定の閾値以上であると判定した場合、部屋の規模が大きいと判断し、第１のモードとして可視光カメラのデータを選択する。一方、制御モジュール２１１は、顔領域が検出でき、かつ上記顔の大きさが所定の閾値未満であると判定した場合、部屋の規模が小さいと判断し、第２のモードとして近赤外線カメラのデータを選択する。このような処理により、精度よく転倒または転倒の予兆を検出できるモードを確実に選択することができる。

次に、制御モジュール２１１は、図４に示したステップＳ４０６と同様に、可視光カメラまたは近赤外線カメラにて取得したデータから、検出した顔領域を含む人物の骨格を検出する（ステップＳ５０７）。ステップＳ５０８～Ｓ５１７の各処理については、図４に示したステップＳ４０７～Ｓ４１６の各処理と同様であるため、ここではその説明を省略する。

このように、本実施例では、制御モジュール２１１は、撮像装置２０４から受信した画像データの解像度を算出し、算出した当該解像度の画像の中から人物の顔領域が検出できたか否かを判定し、当該判定において人物の顔領域が判定できなかった場合には撮像装置２０４として可視光カメラが撮像した画像データを選択する一方、当該判定において人物の顔領域が判定できた場合には撮像装置２０４として近赤外線カメラが撮像した画像データを選択する。そして、制御モジュール２１１は、選択した画像データを用いて、人物の転倒の予兆や転倒を検出する。これにより、予め部屋の広さが既知でない場合であっても、人物の転倒の予兆や転倒を検出することができる。

実施例３では、転倒および転倒の予兆を検出している状況を管理者にフィードバックする点が実施例１と異なる。以下、実施例１との差異を中心に実施例３について説明する。実施例３の検出システム１０１、及び検出管理システム１０２の構成は、実施例１と同様の構成を用いることができる。また、各装置が保持するデータベースのデータ構造は、実施例１のデータベースのデータ構造と同様の構成を用いることができる。このため、実施例３で特に説明する部分以外は、実施例１あるいは２と同様と考えてよい。

図７で、実施例３の転倒および転倒の予兆検出処理について説明する。制御モジュール２１１は、管理データベース２００から母数となる部屋の人数を取得する（ステップＳ７０１）。そして、時系列に連続的に計測することにより、実施例１あるいは２と同様に転倒の予兆を検出し（ステップＳ４０６）、転倒を検出する（ステップＳ４０７）。

次に、制御モジュール２１１は、転倒および転倒の予兆の検出結果を示すフィードバック画面を、モニタ５００に表示する（ステップＳ７０２）。また、フィードバックは画面に表示するだけでなく、アラームなどの音声でフィードバックしてもよい。

他の処理は実施例１あるいは２と同様であるため、以降の説明については省略する。このように、本実施例では、制御モジュール２１１が、転倒および転倒の予兆があったこと示す検出結果を、フィードバック画面としてモニタ５００にリアルタイムに送信し、時系列的に表示する。このため、管理者は、当該も似た５００を確認することにより、人物の転倒予兆または転倒までの経緯や時間的変化を容易に把握することができる。また、複数カメラを設置している場合は、モニタ５００の１つの画面上に一覧として表示することができる。

例えば、制御モジュール２１１は、撮像装置２０４から、随時画像データを受信すると、最新の画像データに含まれる人物（例えば、骨格を検出した人物）と、その直前に受信した画像データに含まれる当該人物との間の軌跡として点線を含む描画データを生成し、これを繰り返し実行することにより、モニタ５００に人物の軌跡を表示する。また、制御モジュール２１１は、１つの部屋に複数の撮像装置２０４が設置されている場合には、当該撮像装置２０４の識別情報に対応付けて、上記描画データを表示したり、一覧形式で上記描画データを表示してもよい。

図８には、モニタ５００に表示されるフィードバック画面の例を示す図である。図８（ａ）は、転倒を検知した場合のフィードバック画面の例であり、図８（ｂ）は、転倒の予兆を検知した場合のフィードバック画面の例である。

図８（ａ）に示すように、転倒検出時のフィードバック画面１０１０には、転倒前の人物の骨格から描画された人物画像（画面左）と、転倒時の人物の骨格から描画された人物画像（画面右）とが１つの画面に表示されている。また、当該画面には、矢印により、人物の姿勢が推移する様子が表示されている。さらに、当該画面には、転倒検出の確信度を示すレベルゲージＸが表示されている。制御モジュール２１１は、例えば、図４のステップＳ４０８において算出した各部位の移動距離と、あらかじめ定められた所定の部位ごとの閾値との差を算出する。そして、制御モジュール２１１は、算出した当該差を上記確信度として表示する。具体的には、制御モジュール２１１は、レベルゲージＸの最大値を１００とし、上記差が大きいほど、レベルゲージの値を上昇させる。これにより、管理者は、人物の各部位の移動距離と所定の部位ごとの閾値との差の大きさを一見して把握することができ、転倒の度合い（例えば、突然前触れもなく転倒したのか、あるいは時間的な余裕をもって転倒したのか）を容易に把握することができる。

図８（ｂ）に示す転倒予兆検出時のフィードバック画面１０１１についても同様に、転倒前の人物の骨格から描画された人物画像（画面左）と、転倒予兆検出時の人物の骨格から描画された人物画像（画面右）とが１つの画面に表示されている。また、当該画面には、矢印により、人物の姿勢が推移する様子が表示されている。さらに、当該画面には、転倒予兆検出の確信度を示すレベルゲージＸが表示されている。制御モジュール２１１は、転倒検出時の場合と同様に、例えば、図４のステップＳ４１１～Ｓ４１４において算出した各部位の移動距離と、あらかじめ定められた所定の部位ごとの閾値との差を算出する。そして、制御モジュール２１１は、算出した当該差を上記確信度として表示する。具体的には、制御モジュール２１１は、レベルゲージＸの最大値を１００とし、上記差が大きいほど、レベルゲージの値を上昇させる。これにより、管理者は、人物の各部位の移動距離と所定の部位ごとの閾値との差の大きさを一見して把握することができ、転倒予兆の度合い（例えば、突然前触れもなくしゃがみこんだのか、あるいは時間的な余裕をもってしゃがみこんだのか）を容易に把握することができる。なお、制御モジュール２１１は、図８に示すように、転倒および転倒の予兆の画像とともに、転倒場所（例えば、部屋ＩＤ）などを、カメラの種類（例えば、近赤外線カメラ）ごとに表示する。

このように、実施例３によれば、転倒および転倒の予兆を管理者にリアルタイムにフィードバックするため、救護活動でのスムーズな対応が期待できる。

実施例４では、転倒を検出する方式が実施例２と異なる。以下、実施例２との差異を中心に実施例４について説明する。

実施例４の検出システム１０１、及び検出管理システム１０２の構成は、実施例２と同様の構成を用いることができる。また、各装置が保持するデータベースのデータ構造は、実施例２のデータベースのデータ構造と同様の構成を用いることができる。

図９により、実施例４の処理の流れを説明する。実施例４で特に説明する部分以外は、実施例２と同様と考えてよい。まず、制御モジュール２１１は、画像データに含まれる人の外形を算出する（ステップＳ９０１）。外形の算出については、図５に示したＳ５０７と同様の方法を用いて得られた各部位の骨格データのすべてを含む矩形領域Ｌを、上記外形とすればよい。

次に、制御モジュール２１１は、時間的に前後のタイミングで得られた画像データに含まれる矩形領域の縦方向の高さを比較し、矩形領域の縦方向の高さの差分t2と転倒前の矩形領域の高さt1との比率を算出する（ステップＳ９０２）。制御モジュール２１１は、算出した比率が閾値以上であるか否かを判定する（ステップＳ９０３）。制御モジュール２１１は、上記比率が閾値以上であると判定した場合（Ｓ９０３；Ｙｅｓ）、転倒を検出する（ステップＳ９０４）。一方、制御モジュール２１１は、上記比率が閾値以上でないと判定した場合（Ｓ９０３；Ｎｏ）、例えば、図５に示したＳ５１１以降の処理に進む（Ｓ９０５）。

図１０は、転倒を検出する際の外形データの概念図である。制御モジュール２１１は、人の外形を示す矩形領域Ｌの時系列上での変化量に対して、転倒を検出する。実施例４によれば、転倒および転倒の予兆を人の外形から算出するため、カメラとの距離が遠い場合での効率的な運用が期待できる。なお、図１０では、人物が立っている場合について例示したが、人物がしゃがんでいる等の他の姿勢の場合や転倒の予兆を検出する場合でも同様に考えることができる。すなわち、画像データの中から人物の外形上の時間的な変化量が算出できればよい。

実施例５では、転倒を検出する方式が実施例２と異なる。以下、実施例２との差異を中心に実施例５について説明する。

実施例５の検出システム１０１、及び検出管理システム１０２の構成は、実施例２と同様の構成を用いることができる。また、各装置が保持するデータベースのデータ構造は、実施例２のデータベースのデータ構造と同様の構成を用いることができる。

図１１により、実施例５の処理の流れを説明する。実施例５で特に説明する部分以外は、実施例２と同様と考えてよい。まず、制御モジュール２１１は、画像データに含まれる人の外形を算出する（ステップＳ１１０１）。外形の算出については、実施例４と同様の方法を用いることができる。

次に、制御モジュール２１１は、時間的に前後のタイミングで得られた画像データに含まれる矩形領域により示される人の外形のデータの頭部の座標を比較し、転倒前の矩形領域Ｌのt1と、転倒前後の頭部の座標の縦方向の位置の差分t2との比率を算出する（ステップＳ１１０２）。制御モジュール２１１は、算出した比率が閾値以上であるか否かを判定する（ステップＳ１１０３）。制御モジュール２１１は、上記比率が閾値以上であると判定した場合（Ｓ１１０３；Ｙｅｓ）、転倒を検出する（ステップＳ１１０４）。一方、制御モジュール２１１は、上記比率が閾値以上でないと判定した場合（Ｓ１１０３；Ｎｏ）、例えば、図５に示したＳ５１１以降の処理に進む（Ｓ１１０５）。

図１２は、転倒を検出する際の外形データの概念図である。制御モジュール２１１は、人の外形を示す矩形領域Ｌおよび頭部の座標データの時系列上での変化量に対して、転倒を検出する。実施例４によれば、転倒および転倒の予兆を人の外形および頭部の座標データから算出するため、カメラとの距離が近い場合での効率的な運用が期待できる。

なお、図１１では、人物が立っている場合について例示したが、図９に示した場合と同様、他の姿勢の場合や転倒の予兆を検出する場合でも同様に考えることができる。また、図１１では、人の頭部の座標を例に説明したが、他の部位についても同様に考えることができる。

上記説明した実施例によれば、狭い部屋では、近赤外線カメラを用いて転倒および転倒の予兆を検出し、広い部屋では、可視光カメラを用いて転倒および転倒の予兆を検出することにより、撮影する部屋のシーンによって、精度よく転倒および転倒の予兆を検出することが可能になる。

１００ 撮影環境適応型行動検出方法
１０１ 計算機システム
１０２ クラウド側計算機システム
１０３ ネットワーク
１０４ 部屋
２０１ 演算装置
２０２ 記憶装置
２０３ 通信装置
２０４ 撮像装置
２０５ 音声再生装置
２０６ 集音装置
２１１ 制御モジュール
２１２ 画像、音声ＤＢ
５００ モニタ

Claims (7)

1. 可視光カメラと近赤外光カメラとを有し、人物を撮像する撮像装置と、
   前記可視光カメラにより前記人物を撮像する第１のモードと、前記近赤外光カメラにより前記人物を撮像する第２のモードとを切り替え、切り替えたモードで撮像された画像から、前記人物の行動または行動の予兆を検出する演算装置と、を備え、
   前記演算装置は、前記撮像装置が撮像する空間の規模を示すパラメータと所定の閾値とに基づいて、前記第１のモードと前記第２のモードとを切り替える、
   ことを特徴とする検出システム。
2. 前記演算装置は、前記パラメータとして、前記人物がいる部屋の大きさまたは前記人物の数を入力し、入力した前記パラメータと前記所定の閾値とに基づいて、前記第１のモードと前記第２のモードとを切り替える、
   ことを特徴とする請求項１に記載の検出システム。
3. 前記演算装置は、前記撮像装置が前記人物を撮像したときの画像から前記人物の顔領域が検出できたか否かを示す判定結果に基づいて、前記第１のモードと前記第２のモードとを切り替える、
   ことを特徴とする請求項１に記載の検出システム。
4. 前記演算装置は、前記撮像装置が前記人物を撮像したときの画像から前記人物の顔領域が検出できなかった場合には前記第１のモードを選択し、前記画像から前記人物の顔領域が検出できた場合には前記第２のモードを選択する、
   ことを特徴とする請求項３に記載の検出システム。
5. 前記演算装置は、前記検出した顔の大きさを算出し、算出した顔の大きさが所定の閾値未満であるか否かを判定し、前記顔の大きさが所定の閾値未満であると判定した場合に前記第１のモードを選択し、前記顔の大きさが所定の閾値以上であると判定した場合に前記第２のモードを選択する、
   ことを特徴とする請求項４に記載の検出システム。
6. 前記演算装置は、前記判定結果と前記空間の規模とに基づいて、前記第１のモードと前記第２のモードとを切り替える、
   ことを特徴とする請求項３に記載の検出システム。
7. 撮像装置が有する可視光カメラが、第１のモードにより人物を撮像し、
   前記撮像装置が有する近赤外光カメラが、第２のモードにより前記人物を撮像し、
   演算装置が、前記撮像装置が撮像する空間の規模を示すパラメータと所定の閾値とに基づいて、前記第１のモードと前記第２のモードとを切り替え、
   前記演算装置が、切り替えたモードで撮像された画像から、前記人物の行動または行動の予兆を検出する、
   ことを特徴とする検出方法。

Images