JP2024046924A - 転倒検出装置、転倒検出システム、転倒検出方法、およびプログラム - Google Patents

Abstract

【課題】転倒に係る動作と、自らの意志をもって横たわる動作とを識別する。【解決手段】本開示の一態様は、対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定する人部位推定部と、前記人部位推定部によって推定された前記部位がある位置に基づいて前記人の姿勢を推定する姿勢推定部と、前記人部位推定部によって推定された前記部位がある位置の時系列の変化率に基づいて前記人が転倒したことを検出するための転倒指標を算出する転倒指標算出部と、前記姿勢推定部によって推定された前記人の姿勢の推定結果と、前記転倒指標算出部によって算出された前記転倒指標とに基づいて、前記人が転倒したか否かを判定する判定部と、を備える。【選択図】図１

Description

本発明は、転倒検出装置、転倒検出システム、転倒検出方法、およびプログラムに関する。

人が転倒したことを検出する技術が知られている。例えば、特許文献１では、時系列の画像差分を利用して検出精度を向上させる技術が記載されている。このような技術では、画像に含まれる人の領域に変化がない場合、人が動いておらず転倒している可能性が高いとみなして転倒を検出する。そして、転倒検出時におけるフレーム画像と、転倒検出時から所定時間前の時点における前フレーム画像の画像差分を抽出する。画像差分が小さい場合、扉などに人間が隠れたことによって人物と障害物との識別が困難になったことによる誤検出とみなして転倒の検出をキャンセルする。

特開２０２０－１９５０７７号公報

しかしながら、人が座り込んだり、就寝や休憩のために横になったりした場合、動きがなくなるという点において転倒した場合と類似する。このため、画像に含まれる人の領域の変化に応じて転倒を検出する方法では、人が自らの意志をもって横たわる動作を転倒したとみなして誤検出をしてしまう可能性がある。このような場合、画像差分を利用しても誤検出の判定をすることが困難であった。

本開示は、このような事情に鑑みてなされたもので、転倒に係る動作と、自らの意志をもって横たわる動作とを識別することができる転倒検出装置、転倒検出システム、転倒検出方法、およびプログラムを提供することを目的としている。

本開示の一態様は、対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定する人部位推定部と、前記人部位推定部によって推定された前記部位がある位置に基づいて前記人の姿勢を推定する姿勢推定部と、前記人部位推定部によって推定された前記部位がある位置の時系列の変化率に基づいて前記人が転倒したことを検出するための転倒指標を算出する転倒指標算出部と、前記姿勢推定部によって推定された前記人の姿勢の推定結果と、前記転倒指標算出部によって算出された前記転倒指標とに基づいて、前記人が転倒したか否かを判定する判定部と、を備える転倒検出装置である。

本開示の他の態様は、対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定する人部位推定部と、前記人部位推定部によって推定された前記部位がある位置に基づいて前記人の姿勢を推定する姿勢推定部と、前記対象領域において集音された音に基づいて前記人が転倒したことを検出するための転倒指標を算出する転倒指標算出部と、前記姿勢推定部によって推定された前記人の姿勢の推定結果と、前記転倒指標算出部によって算出された前記転倒指標とに基づいて、前記人が転倒したか否かを判定する判定部と、を備える、転倒検出装置である。

本開示の他の態様は、上記に記載の転倒検出装置と、前記対象領域を撮像し、撮像した画像の情報を前記転倒検出装置に出力するカメラと、を備える転倒検出システムである。

本開示の他の態様は、上記に記載の転倒検出装置と、前記対象領域を撮像し、撮像した画像の情報を前記転倒検出装置に出力するカメラと、前記対象領域において音を集音し、集音した音の情報を前記転倒検出装置に出力するマイクと、を備える転倒検出システムである。

本開示の他の態様は、コンピュータが行う転倒検出方法であって、人部位推定部が、対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定し、姿勢推定部が、前記人部位推定部によって推定された前記部位がある位置に基づいて前記人の姿勢を推定し、転倒指標算出部が、前記人部位推定部によって推定された前記部位がある位置の時系列の変化率に基づいて前記人が転倒したことを検出するための転倒指標を算出し、判定部が、前記姿勢推定部によって推定された前記人の姿勢の推定結果と、前記転倒指標算出部によって算出された前記転倒とに基づいて、前記人が転倒したか否かを判定する、転倒検出方法である。

本開示の他の態様は、コンピュータが行う転倒検出方法であって、人部位推定部が、対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定し、姿勢推定部が、前記人部位推定部によって推定された前記部位がある位置に基づいて前記人の姿勢を推定し、転倒指標算出部が、前記対象領域において集音された音に基づいて前記人が転倒したことを検出するための転倒指標を算出し、判定部が、前記姿勢推定部によって推定された前記人の姿勢の推定結果と、前記転倒指標算出部によって算出された前記転倒指標とに基づいて、前記人が転倒したか否かを判定する、転倒検出方法である。

本開示の他の態様は、コンピュータに、対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定させ、前記部位がある位置に基づいて前記人の姿勢を推定させ、前記部位がある位置の時系列の変化率に基づいて前記人が転倒したことを検出するための転倒指標を算出させ、前記人の姿勢の推定結果と、前記転倒指標とに基づいて、前記人が転倒したか否かを判定させる、プログラムである。

本開示の他の態様は、コンピュータに、対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定させ、前記部位がある位置に基づいて前記人の姿勢を推定させ、前記対象領域において集音された音に基づいて前記人が転倒したことを検出するための転倒指標を算出させ、前記人の姿勢の推定結果と、前記転倒指標とに基づいて、前記人が転倒したか否かを判定させる、プログラムである。

本発明によれば、転倒に係る動作と、自らの意志をもって横たわる動作とを識別することができる。

第１実施形態における転倒検出システム１の構成例を示すブロック図である。 第１実施形態の転倒検出装置１００が行う処理を説明する図である。 第１実施形態の転倒検出装置１００が行う処理を説明する図である。 第１実施形態の転倒検出装置１００が行う処理の流れを示すフローチャートである。 第２実施形態の転倒検出装置１００が行う処理を説明する図である。 第３実施形態における転倒検出システム１の構成例を示すブロック図である。 第３実施形態の転倒検出装置１００が行う処理の流れを示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

（転倒検出システムの概要）
転倒検出システム１は、人の転倒を検出するシステムである。転倒検出システム１は、例えば、介護施設、病院、公共施設、商業施設、一般家庭など任意の施設に設けられ、その施設いる高齢者など見守り対象者の転倒を検知する。また、転倒検出システム１は、バス、電車などの交通機関、横断歩道、エレベータ、エスカレータなどに設けられてもよい。

（第１実施の形態）
図１は、第１実施形態における転倒検出システム１の構成例を示すブロック図である。転倒検出システム１は、例えば、転倒検出装置１００と、カメラ２００と、出力装置３００とを備える。転倒検出システム１において、転倒検出装置１００は、カメラ２００および出力装置３００と通信可能に接続される。

転倒検出装置１００は、人の転倒を検知する。転倒検出装置１００は、カメラ２００により撮像された画像を取得し、取得した画像に基づいて人が転倒したことを検知する。転倒検出装置１００は、検知結果を出力装置３００に出力する。

カメラ２００は、対象領域を撮像する。対象領域は、人の転倒を検知する対象とする領域である。より具体的には、人が生活する居室などのうち、少なくとも床面および高さ方向を含む領域である。例えば、カメラ２００は、人が生活する居室などに設けられる見守りカメラである。

カメラ２００は、定期的に対象領域を撮像し、撮像した画像を転倒検出装置１００に送信する。以下では、カメラ２００がフレーム単位で時系列に連続した動画像を撮像する場合を例に説明するが、これに限定されない。カメラ２００は少なくとも定期的に対象領域を撮像すればよく、動画像を撮像してもよいし静止画像を撮像してもよい。

カメラ２００は、対象領域に存在する人が抽出可能な画像を撮像可能な装置であればよい。例えば、カメラ２００は、一般的な二次元画像を生成可能な二次元画像センサである。カメラ２００は、カラー画像を撮像するＲＧＢカメラであってもよいし、白黒画像を撮像するカメラであってもよいし、近赤外カメラでもよい。

また、カメラ２００は、距離画像を生成可能な三次元画像センサ、例えば、ステレオカメラ、またはＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ等であってもよい。カメラ２００が三次元画像センサである場合、後述する人部位推定部１０２によって人の部位を特定するための骨格検出が高精度に推定可能である。また、カメラ２００が三次元画像センサである場合、後述する姿勢推定部１０４によって奥行方向の姿勢を検出することが容易である。

以下では、カメラ２００が一般的な二次元画像センサである場合を例に説明する。カメラ２００を一般的な二次元画像センサとすることによって装置コストをより安価に抑えることができる。

出力装置３００は、転倒検出装置１００により人の転倒が検知された結果を出力する。出力装置３００は、例えば、ディスプレイなどの表示機能を含み、転倒検出装置１００により人の転倒が検知された場合、その旨を表示する。或いは、出力装置３００は、スピーカなどの音出力機能を含み、転倒検出装置１００により人の転倒が検知された場合、その旨を示す警告音を出力する。これにより、介護職員に見回りを促したり、転倒が発生する前後の映像を記録したり、マイク（マイクロフォン）及びスピーカを通じて状況を確認するなどの対応可能となる。

図１に示すように、転倒検出装置１００は、例えば、人部位推定部１０２と、姿勢推定部１０４と、転倒指標算出部１０６と、判定部１０８とを備える。転倒検出装置１００が備える機能部（人部位推定部１０２と、姿勢推定部１０４と、転倒指標算出部１０６と、判定部１０８）は、転倒検出装置１００が備えるハードウェアとしてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現される。

人部位推定部１０２は、対象領域に存在する人における部位を推定する。人部位推定部１０２は、カメラ２００によって撮像された画像を取得し、取得した画像における人の部位を推定する。部位は、人の目、鼻、首、肩、背中、腕、手、腰、膝、足首などの各部位を含む。人部位推定部１０２は、部位の推定に任意の手法を用いてよい。例えば、人部位推定部１０２は、ＯｐｅｎＰｏｓｅなどの骨格検出器を用いて人の部位を推定してもよいし、モーションセンサマーカーなどを用いて人の部位を推定してもよい。また、人部位推定部１０２は、カメラ２００が三次元画像センサである場合、カメラ２００によって撮像された三次元画像における距離情報を用いて人の部位を推定してもよい。人部位推定部１０２は、推定した結果を、姿勢推定部１０４、および転倒指標算出部１０６に出力する。

姿勢推定部１０４は、人部位推定部１０２によって推定された部位の位置関係に基づいて人の姿勢を推定する。姿勢推定部１０４は、人部位推定部１０２から、人の部位を推定した結果を取得する。例えば、姿勢推定部１０４は、立位か座位か、つまり人が立っているか座っているかを人の姿勢として推定する。さらに、姿勢推定部１０４は、座位から立位、又は立位から座位へ移行する途中の姿勢を推定するようにしてもよい。移行する途中の姿勢としては、例えば、膝を曲げる屈曲姿勢、膝を伸ばす伸長姿勢などがある。また、姿勢推定部１０４は、座位から立位に移行する途中に転倒して滑り落ちたり、立位から座位に移行する途中に転倒して寝転がったりした結果、横たわるような臥位の姿勢を人の姿勢として推定する。

姿勢推定部１０４は、任意の手法を用いて、人の姿勢を推定してよい。例えば、姿勢推定部１０４は、ロジスティック回帰、ランダムフォレスト、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ＧＣＮｓ（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ）など機械学習を用いた手法、及びこれらの組合せを用いて、人の姿勢を推定する。

姿勢推定部１０４は、推定結果を判定部１０８に出力する。姿勢推定部１０４は、推定結果として、推定した姿勢を示す情報のみを出力してもよいし、推定した姿勢と共に、その姿勢であることの尤もらしさを示す姿勢尤度を、判定部１０８に出力するようにしてもよい。例えば、姿勢推定部１０４は、座位、立位、臥位などの姿勢のそれぞれについての姿勢尤度を、判定部１０８に出力する。

転倒指標算出部１０６は、転倒指標を算出する。転倒指標は、人が転倒したことを検出するための指標である。転倒指標算出部１０６は、人部位推定部１０２によって推定された部位のうち、背骨を特定するための特定の部位（特定部位）、例えば、首および腰の位置の時系列の変化に基づいて転倒指標を算出する。

ここで、人が転倒する場合、人が歩行しているような場合と比べて、姿勢が急激に変動すると考えられる。例えば、人は転倒時に足元を回転中心として転倒することが多く、転倒によって生じる頭部及び上半身の加速度が大きくなる傾向にある。転倒指標算出部１０６、このような傾向を利用して転倒指標を算出する。

具体的には、転倒指標算出部１０６は、人の上半身における姿勢が変動した大きさを転倒指標として算出する。例えば、転倒指標算出部１０６は、人部位推定部１０２によって推定された部位に基づいて、人の背骨の位置を抽出し、抽出した背骨の位置の時系列変化の大きさを、転倒指標として算出する。

より具体的には、転倒指標算出部１０６は、人部位推定部１０２による推定結果に基づいて人の背骨部分に相当する背骨ベクトルを導出する。例えば、転倒指標算出部１０６は、腰に相当する左右の関節点（股関節）の中点にあたる座標を、背骨における腰側の端点座標として抽出する。また、転倒指標算出部１０６は、左右の両肩にある関節点（肩関節）の中点に相当する座標を、背骨における首側の端点座標として抽出する。転倒指標算出部１０６は、背骨における腰側及び首側のそれぞれの端点座標を結ぶベクトルを、背骨ベクトルとして導出する。

転倒指標算出部１０６は、背骨ベクトルの時系列変化を、ベクトルの外積として算出する。転倒指標算出部１０６は、今回導出した背骨ベクトルと、前回導出した背骨ベクトルの外積値を転倒指標として算出する。２つのベクトルのなす角度が大きい程、ベクトルの外積値の演算結果は大きくなる。このため、転倒により姿勢が急激に変化すると、姿勢が変化しない場合と比較して背骨ベクトルの外積値は大きくなる。つまり、転倒指標としての外積値が大きい場合、姿勢が急激に変化したことが示されており転倒した可能性が高いとみなすことができる。すなわち、背骨ベクトルの外積値を、転倒したか否かを判定するための指標として用いることが可能である。転倒指標算出部１０６は、算出した転倒指標を、判定部１０８に出力する。

判定部１０８は、姿勢推定部１０４による推定結果と、転倒指標算出部１０６によって算出された指標とに基づいて、人が転倒したか否かを判定する。判定部１０８は、人が転倒したか否かを判定した判定結果を出力装置３００に出力する。

ここで、図２（図２Ａ及び図２Ｂ）を用いて、判定部１０８が、人が転倒したか否かを判定する方法について説明する。図２の上側には、臥位尤度の時系列変化が示されている。臥位尤度は、臥位、つまり横になった姿勢であることの尤もらしさを示す度合である。臥位尤度は、例えば、姿勢推定部１０４による推定結果に含まれる。図２の下側には、転倒指標の時系列変化が示されている。転倒指標は、転倒指標算出部１０６による算出結果に含まれる。

判定部１０８は、姿勢推定部１０４によって推定された姿勢の推定結果を取得し、取得した推定結果をバッファに格納する。また、判定部１０８は、転倒指標算出部１０６によって算出された転倒指標を取得し、取得した転倒指標をバッファに格納する。

判定部１０８は、姿勢推定部１０４によって推定された姿勢の推定結果において、人が臥位の姿勢であることが示されていた場合、転倒指標を格納したバッファを参照し、臥位の姿勢が推定された時点より前の所定の時間区間における転倒指標を抽出する。判定部１０８は、抽出した転倒指標に、予め設定した閾値以上の値が含まれている場合、人が転倒したと判定する。人が臥位の姿勢であること、及び、その臥位の姿勢となった時点より前の所定の時間区間に急激な姿勢の変化があったことから、人が転倒した可能性が高いとためである。

一方、判定部１０８は、抽出した転倒指標に、予め設定した閾値以上の値が含まれていない場合、転倒していないと判定する。人が臥位の姿勢であるが、その臥位の姿勢となった時点より前の所定の時間区間に急激な姿勢の変化がないことから、臥位が、転倒以外の動作、例えば自ら座り込んだり横になったりした動作による姿勢であると考えられるためである。

図２Ａに示すように、時間ｔ２において臥位尤度が大きくなり臥位が検出された場合、転倒指標算出部１０６は、時間ｔ２より前の所定の時間区間、ここでは時間ｔ１から時間ｔ２までの時間区間における転倒指標を参照する。転倒指標算出部１０６は、参照した時間区間における転倒指標に、閾値以上の値が含まれている場合、人が転倒した、すなわち「転倒あり」と判定する。

一方、図２Ｂに示すように、転倒指標算出部１０６は、時間ｔ１から時間ｔ２までの時間区間における転倒指標に、閾値以上の値が含まれていない場合、人が転倒していない、すなわち「転倒なし」と判定する。

ここで、転倒検出装置１００が行う処理の流れについて、図３を用いて説明する。図３は、第１実施形態の転倒検出装置１００が行う処理の流れを示すフローチャートである。

まず、転倒検出装置１００は、対象領域が撮像された画像を取得する（ステップＳ１０）。例えば、転倒検出装置１００は、対象領域に設けられたカメラ２００によって撮像された動画像をフレーム毎に取得することによって、対象領域が撮像された画像を取得する。次に、転倒検出装置１００は、ステップＳ１０で取得した画像から、当該画像における人の部位を推定する（ステップＳ１１）。転倒検出装置１００は、ステップＳ１１で推定した部位の推定結果から、人の姿勢を推定する（ステップＳ１２）。また、転倒検出装置１００は、ステップＳ１１で推定した部位の推定結果から、転倒指標を算出する（ステップＳ１３）。転倒検出装置１００は、ステップＳ１２で推定した姿勢と、ステップＳ１３で算出した転倒指標から、転倒の有無を判定する（ステップＳ１４）。

以上説明したように、第１実施形態の転倒検出装置１００は、人部位推定部１０２と、姿勢推定部１０４と、転倒指標算出部１０６と、判定部１０８とを備える。人部位推定部１０２は、対象領域が撮像された画像に基づいて、対象領域に存在する人の部位がある位置を推定する。姿勢推定部１０４は、人部位推定部１０２によって推定された部位がある位置に基づいて、人の姿勢を推定する。転倒指標算出部１０６は、人部位推定部１０２によって推定された部位がある位置の時系列の変化率に基づいて、人が転倒したことを検出するための転倒指標を算出する。判定部１０８は、姿勢推定部１０４によって推定された推定結果と、転倒指標算出部１０６によって算出された指標とに基づいて、人が転倒したか否かを判定する。

これにより、第１実施形態の転倒検出装置１００では、部位がある位置の時系列の変化率を用いて姿勢が急激に変化したことを検知することが可能となる。したがって、転倒判定において、姿勢の急激な変化を伴う動作と伴わない動作、すなわち転倒に係る動作と、自らの意志をもって横たわる動作とを識別することができる。

また、第１実施形態の転倒検出装置１００では、人部位推定部１０２は、背骨を特定するための特定の部位（特定部位）、例えば腰および背骨の位置を推定する。転倒指標算出部１０６は、人部位推定部１０２により推定された特定部位の位置に応じた背骨ベクトルを導出する。転倒指標算出部１０６は、今回導出した背骨ベクトルと、前回導出した背骨ベクトルの外積値を、転倒指標として算出する。これにより、第１実施形態の転倒検出システム１では、転倒に伴う姿勢の急激な変化を、背骨ベクトルの外積値として示すことができる。したがって、第１実施形態の転倒検出装置１００では、簡単な演算処理で算出した定量的な転倒指標を用いて転倒に係る動作と、自らの意志をもって横たわる動作とを識別することができる。

（第２実施形態）
第２実施形態について説明する。本実施形態は、転倒指標として人領域のサイズ変化を利用する点において上述した実施形態と相違する。人領域は、画像に存在する人の領域であり、例えば、画像において人が存在する領域に外接する矩形、所謂バウンディングボックスにて囲まれた領域である。以下の説明では、上述した実施形態と相違する構成について説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。

本実施形態において、転倒指標算出部１０６は、画像における人領域を抽出する。転倒指標算出部１０６は、例えば、人部位推定部１０２によって推定された部位を含む矩形の領域を、人領域として算出する。或いは、転倒指標算出部１０６は、画像に存在する物体を検出する物体検出の手法を用いて、画像における人領域を検出してもよい。この場合、転倒指標算出部１０６は、例えば、カメラ２００によって撮像された画像を取得し、取得した画像における人領域を、物体検出の手法を用いて抽出する。

転倒指標算出部１０６は、画像から抽出した人領域における形状の時系列変化の大きさを、転倒指標として算出する。人が転倒した場合、立位から寝転んだ姿勢となり、急激に姿勢が変化する。このため、人領域における縦方向の高さが急激に小さくなると考えられる。転倒指標算出部１０６は、このような傾向を利用して転倒指標を算出する。具体的には、転倒指標算出部１０６は、人領域に対応する矩形において、縦方向における辺の長さの変化率に応じた値を転倒指標として算出する。この場合、例えば、転倒指標算出部１０６は、辺の長さが小さくなる方向に急激に変化した場合に転倒指標が大きくなるように転倒指標を定義する。

また、転倒によって寝転んだ姿勢に変化すると、頭部が天井側から床側に移動し、人領域における下端が下方向に急激に移動すると考えられる。転倒指標算出部１０６は、このような傾向を利用して転倒指標を算出するようにしてもよい。具体的には、転倒指標算出部１０６は、人領域に対応する矩形における下端の位置座標の変化率に応じた値を転倒指標として算出する。この場合、例えば、転倒指標算出部１０６は、下端の位置が下方向に急激に変化した場合に転倒指標が大きくなるように転倒指標を定義する。

また、転倒指標算出部１０６は、縦方向における辺の長さ、及び、下端の位置のそれぞれ変化率を用いて、転倒指標を算出するようにしてもよい。この場合、例えば、転倒指標算出部１０６は、縦方向における辺の長さが小さくなる方向に急激に変化すると共に、下端の位置が下方向に急激に移動した場合に、転倒指標が大きくなるように転倒指標を定義する。

図４は、第２実施形態の転倒検出装置１００が行う処理を説明する図である。図４の上側には立位の人Ｂに対応する人領域ＢＸ１が模式的に示されている。図４の下側には転倒した人Ｂに対応する人領域ＢＸ２が模式的に示されている。

図４に示すように、ある時間Ｔ１において立位の姿勢をとる人Ｂが撮像された場合、転倒指標算出部１０６は人領域ＢＸ１を抽出する。転倒指標算出部１０６は、例えば、人領域ＢＸ１における縦方向、つまりＹ軸方向における高さＴ１を算出する。転倒指標算出部１０６は、今回導出した高さＴ１と、前回導出した高さＴ０との差分に応じた値を転倒指標として算出する。前回導出した高さＴ０が立位の姿勢に対応する場合、高さＴ１と高さＴ０はほぼ同じ値となると考えられる。この場合、差分が０（ゼロ）に近い値となることから、例えば、閾値未満の転倒指標になると考えられる。

その後、時間Ｔ２において人Ｂが転倒した場合、転倒指標算出部１０６は、人領域ＢＸ２を抽出する。転倒指標算出部１０６は、例えば、人領域ＢＸ２における高さＴ２を算出する。転倒指標算出部１０６は、今回導出した高さＴ２と、前回導出した高さＴ１との差分に応じた値を転倒指標として算出する。前回導出した高さＴ１が立位の姿勢に対応するのに対し、今回導出した高さＴ２が転倒した姿勢に対応することから、これらの差分の絶対値は大きな値となると考えらえる。この場合、転倒指標は、例えば閾値以上の値となる。

また、転倒指標算出部１０６は、人領域ＢＸ１を抽出した場合、抽出した人領域ＢＸ１における下端の点、例えば点Ｐ１における位置座標を特定する。転倒指標算出部１０６は、今回導出した点Ｐ１のＹ座標と、前回導出した点Ｐ０のＹ座標との差分に応じた値を転倒指標として算出する。前回導出した点Ｐ０が立位の姿勢に対応する場合、点Ｐ１のＹ座標と点Ｐ０のＹ座標はほぼ同じ値となると考えられる。この場合、差分が０（ゼロ）に近い値となることから、閾値未満の転倒指標になると考えられる。

その後、転倒指標算出部１０６は、人領域ＢＸ２を抽出した場合、抽出した人領域ＢＸ２における下端の点、例えば点Ｐ２における位置座標を特定する。転倒指標算出部１０６は、今回導出した点Ｐ２のＹ座標と、前回導出した点Ｐ１のＹ座標との差分に応じた値を転倒指標として算出する。前回導出した点Ｐ１が立位の姿勢に対応するのに対し、今回導出した点Ｐ２のＹ座標が転倒時の姿勢に対応することから下端の位置が下がり、これらの差分の絶対値が大きな値となると考えられる。この場合、転倒指標は、例えば、閾値以上の値になる。

また、転倒指標算出部１０６は、人領域における高さ方向の変化率、及び人領域における下端の位置の変化率の両方に応じて、転倒指標を算出するようにしてもよい。この場合、例えば、転倒指標算出部１０６は、今回導出した長さＴ２と前回導出した長さＴ１との差分、及び、今回導出した点Ｐ２におけるＹ座標と前回導出した点Ｐ１におけるＹ座標の差分のそれぞれの絶対値を合成した合成結果に応じた値を転倒指標として算出する。

なお、上記では、人領域における高さの変化率及び下端の位置の変化率を用いて転倒指標を算出する場合を例示して説明したが、これに限定されない。転倒指標算出部１０６は、少なくとも、人領域を用いて、転倒による姿勢の急激な変化に応じた転倒指標を算出すればよい。例えば、転倒指標算出部１０６は、人領域における横幅の変化率、人領域における上端のＹ座標の変化率、人領域における右端のＸ座標の変化率、人領域における左端のＸ座標の変化率、及びこれらの組合せた値の大きさに応じて転倒指標を算出するようにしてもよい。

以上説明したように、第２実施形態の転倒検出装置１００では、転倒指標算出部１０６は、人領域、すなわち、「部位が検出された領域を内包する矩形」における形状の変化率に応じた値を、転倒指標として算出する。これにより、第２実施形態の転倒検出システム１では、人領域における形状の時系列変化を用いて姿勢が急激に変化したことを検知することが可能となる。したがって、転倒判定において、姿勢の急激な変化を伴う動作と伴わない動作、すなわち転倒に係る動作と、自らの意志をもって横たわる動作とを識別することができる。

（第３実施形態）
第３実施形態について説明する。本実施形態は、転倒指標の算出に音情報を用いる点において上述した実施形態と相違する。音情報は、対象領域にて集音した音、例えば、人が発声したうめき声等の音声、及び転倒によって発生した転倒音などの情報であり、例えば音圧、音高、及び音量等を示す情報である。転倒音は、人が倒れる際に床に体が打ち付けられ接触したことにより生じる音である。以下の説明では、上述した実施形態と相違する構成について説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。

図５は、第３実施形態における転倒検出システム１の構成例を示すブロック図である。転倒検出システム１は、例えば、マイク４００を備える。転倒検出システム１において、マイク４００は、転倒検出装置１００と通信可能に接続される。

マイク４００は、対象領域にて生じる音を集音する。マイク４００は、例えば、対象領域に設けられたマイクであり、対象領域にいる人の音声及び生活音等を集音し、集音した音の音情報を転倒検出装置１００に送信する。

転倒指標算出部１０６は、マイク４００により集音された音の音情報を用いて転倒指標を算出する。転倒指標算出部１０６は、転倒により生じる可能性がある特定の音、例えば、人のうなり声、悲鳴、及び転倒音と類似する度合である類似度に応じた転倒指標を算出する。

転倒した場合、人は驚いて大きな声を発することが多い。このような性質を利用して、転倒指標算出部１０６は、例えば、マイク４００によって集音された音の音圧の大きさに応じた値を転倒指標として算出する。

また、転倒した場合、床に体が打ち付けられるなどして転倒音が発生すると考えられる。転倒指標算出部１０６は、マイク４００によって集音された音と、転倒音との類似度に応じた値を転倒指標として算出するようにしてもよい。

ここで、転倒音は、床の材質により変化すると考えられる。このため、転倒指標算出部１０６は、材質に応じた転倒音と、マイク４００によって集音された音との類似度を算出する。具体的には、複数の材質、例えば、カーペット、フローリング、コンクリート等のそれぞれに応じた転倒音が予め用意され、転倒検出装置１００の図示しない記憶部に格納されている。転倒指標算出部１０６は、カメラ２００によって撮像された画像から、対象空間における床の材質を推定する。転倒指標算出部１０６は、画像に撮像された床面の色および模様等の特徴に基づいて、対象領域における床面がカーペット、フローリング、コンクリート等の何れかであるかを推定する。

転倒指標算出部１０６は、記憶部に格納されている転倒音から、推定した材質に応じた転倒音を選択する。転倒指標算出部１０６は、選択した転倒音と、マイク４００によって集音された音との類似度を算出する。転倒指標算出部１０６は、例えば、転倒音及びマイク４００によって集音された音のそれぞれの周波数特性を比較する等して、転倒音と、マイク４００によって集音された音との類似度を算出する。転倒指標算出部１０６は、算出した類似度に応じた転倒指標を算出する。

また、転倒指標算出部１０６は、マイク４００によって集音された音を音声認識することによって、人が転倒時に発する唸り声及び悲鳴などの特定の音声との類似度を推定し、推定した類似度に応じた転倒指標を算出するようにしてもよい。

ここで、図６を用いて、第３実施形態の転倒検出装置１００が行う処理の流れを説明する。図６は、第３実施形態の転倒検出装置１００が行う処理の流れを示すフローチャートである。図６におけるステップＳ２０、Ｓ２２～Ｓ２３、及びＳ２５に示す処理は、図３におけるステップＳ１０、Ｓ１１～Ｓ１２、及びＳ１４に示す処理と同様であるため、その説明を省略する。

ステップＳ２１において、転倒検出装置１００は、対象領域で集音された音を取得する（ステップＳ１０）。例えば、転倒検出装置１００は、対象領域に設けられたマイク４００によって集音された音情報を取得する。
ステップＳ２４において、転倒検出装置１００は、ステップＳ２１で取得した音から転倒指標を算出する。転倒検出装置１００は、例えば、ステップＳ２１で取得した音の音圧の大きさに応じた転倒指標を算出する。或いは、転倒検出装置１００は、ステップＳ２１で取得した音が、ステップＳ２０で取得した画像から推定される床の材質に応じた転倒音との類似度に応じた転倒指標を算出するようにしてもよい。また、転倒指標算出部１０６は、音声認識を利用して、ステップＳ２１で取得した音が、転倒時に発せられる唸り声等との類似度に応じた転倒指標を算出するようにしてもよい。

以上説明したように、第３実施形態の転倒検出装置１００は、人部位推定部１０２と、姿勢推定部１０４と、転倒指標算出部１０６と、判定部１０８とを備える。人部位推定部１０２は、対象領域が撮像された画像に基づいて、対象領域に存在する人の部位がある位置を推定する。姿勢推定部１０４は、人部位推定部１０２によって推定された部位がある位置に基づいて、人の姿勢を推定する。転倒指標算出部１０６は、対象領域において集音された音に基づいて、人が転倒したことを検出するための転倒指標を算出する。判定部１０８は、姿勢推定部１０４によって推定された推定結果と、転倒指標算出部１０６によって算出された指標とに基づいて、人が転倒したか否かを判定する。これにより、第３実施形態の転倒検出システム１では、対象領域において集音された音に基づいて転倒指標を算出することができ、自ら横たわる姿勢をとった場合には生じないような転倒時にのみ生じる特定の音、例えば、転倒した人の驚いた声や転倒音に基づく転倒指標を算出することが可能である。したがって、転倒に係る動作と、自らの意志をもって横たわる動作とを識別することができる。

また、第３実施形態の転倒検出装置１００では、転倒指標算出部１０６は、対象領域において集音された音の音圧に応じた値を、転倒指標として算出する。これにより、第３実施形態の転倒検出装置１００では、転倒した人の驚いた声など転倒時に特有な音を音圧の変化として定量的な転倒指標を算出することが可能となり、定量的な転倒指標を用いて転倒に係る動作と、自らの意志をもって横たわる動作とを識別することができる。

また、第３実施形態の転倒検出装置１００では、転倒指標算出部１０６は、対象領域が撮像された画像に基づいて対象領域に設けられた床面の材質を推定する。転倒指標算出部１０６は、推定した材質に応じた転倒音と、対象領域において集音された音との類似度に応じた値を、転倒指標として算出する。これにより、第３実施形態の転倒検出装置１００では、対象領域における床面の材質に応じた転倒音との類似度に応じた定量的な転倒指標を算出することが可能となり、定量的な転倒指標を用いて転倒に係る動作と、自らの意志をもって横たわる動作とを識別することができる。

上述した実施形態における転倒検出システム１及び転倒検出装置１００の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…転倒検出システム、１００…転倒検出装置、１０２…人部位推定部、１０４…姿勢推定部、１０６…転倒指標算出部、１０８…判定部、２００…カメラ、３００…出力装置

Claims (12)

1. 対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定する人部位推定部と、
   前記人部位推定部によって推定された前記部位がある位置に基づいて前記人の姿勢を推定する姿勢推定部と、
   前記人部位推定部によって推定された前記部位がある位置の時系列の変化率に基づいて前記人が転倒したことを検出するための転倒指標を算出する転倒指標算出部と、
   前記姿勢推定部によって推定された前記人の姿勢の推定結果と、前記転倒指標算出部によって算出された前記転倒指標とに基づいて、前記人が転倒したか否かを判定する判定部と、
   を備える、転倒検出装置。
2. 前記人部位推定部は、背骨の位置を推定するための特定部位の位置を推定し、
   前記転倒指標算出部は、前記人部位推定部により推定された前記特定部位の位置に基づく背骨ベクトルを導出し、今回導出した前記背骨ベクトルと前回導出した前記背骨ベクトルの外積値を前記転倒指標として算出する、
   請求項１に記載の転倒検出装置。
3. 前記転倒指標算出部は、前記部位が検出された領域を内包する矩形である人領域の形状の時系列の変化率に応じた値を前記転倒指標として算出する、
   請求項１に記載の転倒検出装置。
4. 対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定する人部位推定部と、
   前記人部位推定部によって推定された前記部位がある位置に基づいて前記人の姿勢を推定する姿勢推定部と、
   前記対象領域において集音された音に基づいて前記人が転倒したことを検出するための転倒指標を算出する転倒指標算出部と、
   前記姿勢推定部によって推定された前記人の姿勢の推定結果と、前記転倒指標算出部によって算出された前記転倒指標とに基づいて、前記人が転倒したか否かを判定する判定部と、
   を備える、転倒検出装置。
5. 前記転倒指標算出部は、前記音の音圧に応じた値を前記転倒指標として算出する、
   請求項４に記載の転倒検出装置。
6. 前記転倒指標算出部は、前記画像に基づいて前記対象領域に設けられた床面の材質を推定し、推定した前記材質に応じた転倒音と前記音との類似度に応じた値を前記転倒指標として算出する、
   請求項４又は請求項５に記載の転倒検出装置。
7. 請求項１に記載の転倒検出装置と、
   前記対象領域を撮像し、撮像した画像の情報を前記転倒検出装置に出力するカメラと、
   を備える転倒検出システム。
8. 請求項４に記載の転倒検出装置と、
   前記対象領域を撮像し、撮像した画像の情報を前記転倒検出装置に出力するカメラと、
   前記対象領域において音を集音し、集音した音の情報を前記転倒検出装置に出力するマイクと、
   を備える転倒検出システム。
9. コンピュータが行う転倒検出方法であって、
   人部位推定部が、対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定し、
   姿勢推定部が、前記人部位推定部によって推定された前記部位がある位置に基づいて前記人の姿勢を推定し、
   転倒指標算出部が、前記人部位推定部によって推定された前記部位がある位置の時系列の変化率に基づいて前記人が転倒したことを検出するための転倒指標を算出し、
   判定部が、前記姿勢推定部によって推定された前記人の姿勢の推定結果と、前記転倒指標算出部によって算出された前記転倒とに基づいて、前記人が転倒したか否かを判定する、
   転倒検出方法。
10. コンピュータが行う転倒検出方法であって、
    人部位推定部が、対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定し、
    姿勢推定部が、前記人部位推定部によって推定された前記部位がある位置に基づいて前記人の姿勢を推定し、
    転倒指標算出部が、前記対象領域において集音された音に基づいて前記人が転倒したことを検出するための転倒指標を算出し、
    判定部が、前記姿勢推定部によって推定された前記人の姿勢の推定結果と、前記転倒指標算出部によって算出された前記転倒指標とに基づいて、前記人が転倒したか否かを判定する、
    転倒検出方法。
11. コンピュータに、
    対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定させ、
    前記部位がある位置に基づいて前記人の姿勢を推定させ、
    前記部位がある位置の時系列の変化率に基づいて前記人が転倒したことを検出するための転倒指標を算出させ、
    前記人の姿勢の推定結果と、前記転倒指標とに基づいて、前記人が転倒したか否かを判定させる、
    プログラム。
12. コンピュータに、
    対象領域が撮像された画像に基づいて前記対象領域に存在する人の部位がある位置を推定させ、
    前記部位がある位置に基づいて前記人の姿勢を推定させ、
    前記対象領域において集音された音に基づいて前記人が転倒したことを検出するための転倒指標を算出させ、
    前記人の姿勢の推定結果と、前記転倒指標とに基づいて、前記人が転倒したか否かを判定させる、
    プログラム。

Images