JP6137425B2 - 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本開示は、画像処理技術に関し、特に、人物の行動を判別するための画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムに関する。

画像から人物の行動を判別するための画像処理技術がある。この画像処理技術は、たとえば、高齢者等の介護を要する被介護者の行動を見守る画像処理装置に応用されている。当該画像処理装置は、被介護者が転倒等を伴う行動を取ったことを検出し、そのことを介護者に報知する。これにより、介護者は、被介護者の転倒等を未然に防ぐことができる。

このような画像処理装置に関して、特開２０１４−２３５６６９号公報（特許文献１）は、「見守り領域において、見守り度合いに応じた部分見守り領域を設定でき、部分見守り領域を所望の位置に容易に設定できる」見守り装置を開示している。特開２０１４−１４９５８４号公報（特許文献２）は、「ボタンを押す事による通知だけでなく、検知したい対象の動きに応じての通知が可能であり、なおかつ、監視者が映像を通して検知したい対象の様子を確認できる」通知システムを開示している。

特開２０１４−２３５６６９号公報 特開２０１４−１４９５８４号公報

被介護者が同じ行動を取ったとしても、被介護者の写り方は、被介護者の画像内の位置に応じて変わる。そのため、常に同じ処理で行動が判別されると、被介護者の画像内の位置によっては行動判別処理の精度が低下する可能性がある。

特許文献１に開示される見守り装置は、カメラユニットで高齢者を撮影し、得られた画像に基づいて高齢者の位置と高さとを検出する。当該見守り装置は、検出された位置と高さとの組み合わせに応じて、離床や転倒等の行動を判別する。当該見守り装置は、画像内の高齢者の位置に依らず同じ処理で行動を判別するため、画像内の高齢者の位置によっては行動判別の精度が低下する可能性がある。

特許文献２に開示される通知システムは、検出対象の形状のサイズを示す上下限値の設定を受け付ける。当該通知システムは、画像内において検出された患者の形状のサイズが設定された上下限値に含まれる場合に、患者の転倒等を看護師に通知する。当該通知システムは、画像内の患者の位置に依らず同じ処理で行動を判別するため、画像内の患者の位置によっては行動判別の精度が低下する可能性がある。

本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、被介護者の画像内の位置に応じて行動の判別精度が低下することを防止できる画像処理システムを提供することである。他の局面における目的は、被介護者の画像内の位置に応じて行動の判別精度が低下することを防止できる画像処理装置を提供することである。さらに他の局面における目的は、被介護者の画像内の位置に応じて行動の判別精度が低下することを防止できる画像処理方法を提供することである。さらに他の局面における目的は、被介護者の画像内の位置に応じて行動の判別精度が低下することを防止できる画像処理プログラムを提供することである。

ある局面に従うと、人物の行動を判別することが可能な画像処理システムが提供される。画像処理システムは、画像から、人物を表わす人物領域を検出するための人物検出部と、画像または人物領域から、人物の特定の部位を表わす部位領域を検出するための部位検出部と、人物領域における画像情報と部位領域における画像情報とに基づいて、人物が所定の行動を取っている程度を表わす評価値を算出するとともに、人物の行動を判別するための判別式に評価値を適用し、適用した結果に応じて所定の行動を判別するための判別部とを備える。判別部は、画像内における人物領域の位置、または画像内における部位領域の位置に応じて、所定の行動を判別するための判別式を変える。

好ましくは、人物領域における画像情報は、画像内における人物領域の位置、当該位置の変化度合い、画像内における人物領域のサイズ、および当該サイズの変化度合いの少なくとも１つを含む。部位領域における画像情報は、画像内における部位領域の位置、当該位置の変化度合い、画像内における部位領域のサイズ、および当該サイズの変化度合いの少なくとも１つを含む。

好ましくは、評価値は、人物領域における画像情報と部位領域における画像情報との間の関係に基づいて算出される。

好ましくは、画像処理システムは、人物が所定の行動を取っていないことを示す予め定められた条件を評価値が満たした場合に、判別部による行動判別結果から所定の行動を除外するための除外部をさらに備える。

好ましくは、判別部は、画像内における人物領域の形状をさらに用いて所定の行動を判別する。

好ましくは、検出対象の部位は、人物の頭部を含む。
好ましくは、判別部によって判別される行動は、起床、離床、転落、臥床、入床、および立ち上がりの少なくとも１つを含む。

好ましくは、判別部は、人物が所定の行動を取っている程度を表わす評価値を互いに異なる方法で算出し、画像内の人物領域の位置、または画像内の部位領域の位置に応じた重みで複数の評価値を統合し、統合された評価値を判別式に適用した結果に応じて所定の行動を判別する。

他の局面に従うと、人物の行動を判別することが可能な画像処理装置が提供される。画像処理装置は、画像から、人物を表わす人物領域を検出するための人物検出部と、画像または人物領域から、人物の特定の部位を表わす部位領域を検出するための部位検出部と、人物領域における画像情報と部位領域における画像情報とに基づいて、人物が所定の行動を取っている程度を表わす評価値を算出するとともに、人物の行動を判別するための判別式に評価値を適用し、適用した結果に応じて所定の行動を判別するための判別部とを備える。判別部は、画像内における人物領域の位置、または画像内における部位領域の位置に応じて、所定の行動を判別するための判別式を変える。

さらに他の局面に従うと、人物の行動を判別することが可能な画像処理方法が提供される。画像処理方法は、画像から、人物を表わす人物領域を検出するステップと、画像または人物領域から、人物の特定の部位を表わす部位領域を検出するステップと、人物領域における画像情報と部位領域における画像情報とに基づいて、人物が所定の行動を取っている程度を表わす評価値を算出するとともに、人物の行動を判別するための判別式に評価値を適用し、適用した結果に応じて所定の行動を判別するステップとを備える。判別するステップは、画像内における人物領域の位置、または画像内における部位領域の位置に応じて、所定の行動を判別するための判別式を変えるステップを含む。

さらに他の局面に従うと、人物の行動を判別することが可能な画像処理プログラムが提供される。画像処理プログラムは、コンピュータに、画像から、人物を表わす人物領域を検出するステップと、画像または人物領域から、人物の特定の部位を表わす部位領域を検出するステップと、人物領域における画像情報と部位領域における画像情報とに基づいて、人物が所定の行動を取っている程度を表わす評価値を算出するとともに、人物の行動を判別するための判別式に評価値を適用し、適用した結果に応じて所定の行動を判別するステップとを実行させる。判別するステップは、画像内における人物領域の位置、または画像内における部位領域の位置に応じて、所定の行動を判別するための判別式を変えるステップを含む。

ある局面において、被介護者の画像内の位置に応じて行動の判別精度が低下することを防止できる。

本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。

本実施の形態に従う画像処理システムの構成の一例を示す図である。 移動している被介護者を撮影して得られた時系列の画像を示す図である。 画像処理システムの機能構成の一例を示すブロック図である。 被介護者の画像内の位置による写り方の違いを示す図である。 行動判別処理に用いる特徴量を示す図である。 判別対象の行動の種類と、画像内における人物領域の位置と、被介護者が当該位置において当該行動を取ったときにおける人物領域の変化の様子との関係を示す図である。 判別対象の行動の種類と、画像内における人物領域の位置と、当該位置において適用する判別式との関係を示す図である。 画像処理システムが実行する画像処理を示すフローチャートである。 行動判別処理を示すフローチャートである。 人物検出処理を概略的に示す概念図である。 転倒判別処理を示すフローチャートである。 起床判別処理を示すフローチャートである。 離床判別処理を示すフローチャートである。 画像処理システムの画面遷移図を示す図である。 メイン画面の一例を示す図である。 設定モードトップ画面の一例を示す図である。 領域設定画面の一例を示す図である。 平常時画面の一例を示す図である。 発報時画面の一例を示す図である。 画像処理システムの主要なハードウェア構成を示すブロック図である。

以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。

［画像処理システム３００の構成］
図１を参照して、実施の形態に従う画像処理システム３００の構成について説明する。図１は、画像処理システム３００の構成の一例を示す図である。

画像処理システム３００は、たとえば、被介護者１０の行動を見守るために用いられる。図１に示されるように、画像処理システム３００は、画像処理装置としての室内端末１００と、管理サーバー２００とを含む。室内端末１００および管理サーバー２００は、ネットワーク４００を介して互いに接続されている。

室内端末１００は、たとえば、医療施設、介護施設、宅内等に設置される。室内端末１００は、カメラ１０５を備える。図１には、カメラ１０５が被介護者１０およびベッド２０を天井から撮影している様子が示されている。室内端末１００は、カメラ１０５から得られた時系列の画像（映像）に基づいて被介護者１０の行動を判別する。一例として、室内端末１００が判別可能な行動は、被介護者１０の起床、離床、転落、臥床、入床、および立ち上がりの少なくとも１つを含む。また、判別対象の行動は、被介護者の状態を示す姿勢を含んでもよい。

室内端末１００は、報知対象の行動（たとえば、起床等）を検出すると、当該行動の種類を示す情報を管理サーバー２００に送信する。報知対象の行動として起床が検出されると、管理サーバー２００は、被介護者１０が起床したことを介護者に報知する。これにより、介護者は、被介護者１０がベッド２０から立ち上がることを支援することができ、被介護者１０の起床時に生じる転倒等を未然に防ぐことができる。

なお、図１には、画像処理システム３００が１つの室内端末１００を備えている例が示されているが、画像処理システム３００は、複数の室内端末１００を備えてもよい。また、図１には、画像処理システム３００が１つの管理サーバー２００を備えている例が示されているが、画像処理システム３００は、複数の管理サーバー２００を備えてもよい。さらに、図１には、室内端末１００と管理サーバー２００とが別個の装置として構成されているが、室内端末１００と管理サーバー２００とは一体的に構成されてもよい。

また、図１には、カメラ１０５が天井に設定されている例が示されているが、カメラ１０５の設置場所は、天井に限定されない。カメラ１０５は、被介護者１０を見下ろすことが可能な場所に設置されればよい。たとえば、カメラ１０５は、側壁に設置されてもよい。

［画像処理システム３００の処理概要］
図２を参照して、画像処理システム３００の行動判別処理の概要について説明する。図２は、移動している被介護者１０を撮影して得られた時系列の画像３２Ａ〜３２Ｃを示す図である。

被介護者１０がカメラ１０５の真下にいる場合には、画像３２Ａに示されるように、被介護者１０は、画像内の真ん中に写る。画像処理システム３００は、画像３２Ａから、被介護者１０を表わす人物領域１２Ａを検出する。また、画像処理システム３００は、画像３２Ａまたは人物領域１２Ａから、被介護者１０の特定の部位を表わす部位領域１３Ａを検出する。一例として、検出対象の部位は、被介護者１０の頭部である。

被介護者１０がカメラ１０５の真下の位置から離れたとする。その結果、画像３２Ｂに示されるように、被介護者１０の写り方が変わる。より具体的には、人物領域１２Ｂのサイズは、人物領域１２Ａのサイズよりも小さくなる。部位領域１３Ｂのサイズは、部位領域１３Ａのサイズよりも小さくなる。人物領域１２Ｂは、人物領域１２Ａと比べて、より画像中心から離れた位置に移動する。部位領域１３Ｂは、部位領域１３Ａと比べて、より画像中心から離れた位置に移動する。

被介護者１０がカメラ１０５の真下の位置からさらに離れたとする。その結果、画像３２Ｃに示されるように、被介護者１０の写り方が変わる。より具体的には、人物領域１２Ｃのサイズは、人物領域１２Ｂのサイズよりも小さくなる。部位領域１３Ｃのサイズは、部位領域１３Ｂのサイズよりも小さくなる。人物領域１２Ｃは、人物領域１２Ｂと比べて、より画像中心から離れた位置に移動する。部位領域１３Ｃは、部位領域１３Ｂと比べて、より画像中心から離れた位置に移動する。

本実施の形態に従う画像処理システム３００は、画像内の人物領域１２Ａ〜１２Ｃの位置、または画像内の部位領域１３Ａ〜１３Ｃの位置に応じて、同一の行動（たとえば、起床）を判別するための判別式を変える。一例として、画像処理システム３００は、画像３２Ａに対しては第１判別式を用いて、被介護者１０の所定の行動を判別する。画像処理システム３００は、画像３２Ｂに対しては第２判別式を用いて、被介護者１０の行動を判別する。画像処理システム３００は、画像３２Ｃに対しては第３判別式を用いて、被介護者１０の行動を判別する。これにより、画像処理システム３００は、画像内の被介護者１０の位置に依存せずに、被介護者１０の行動を正確に判別できる。

以下では、人物領域１２Ａ〜１２Ｃを人物領域１２と総称することもある。部位領域１３Ａ〜１３Ｃを部位領域１３と総称することもある。画像３２Ａ〜３２Ｃを画像３２と総称することもある。

［画像処理システム３００の機能構成］
図３を参照して、画像処理システム３００の機能について説明する。図３は、画像処理システム３００の機能構成の一例を示すブロック図である。図３に示されるように、画像処理システム３００は、室内端末１００と、管理サーバー２００とを備える。以下では、室内端末１００および管理サーバー２００の機能について順に説明する。

（室内端末１００の機能構成）
図３に示されるように、室内端末１００は、機能構成として、人物検出部１２０と、部位検出部１２５と、算出部１３０と、除外部１３５と、判別部１４０と、送信部１６０とを含む。

人物検出部１２０は、カメラ１０５（図２参照）から順次出力される画像に対して人物検出処理を実行し、人物領域を検出する。一例として、人物領域は、画像内に含まれる人物に外接し、矩形形状を有する。人物領域は、たとえば、画像内の座標値で示される。人物検出処理の詳細については後述する。人物検出部１２０は、検出した人物領域を部位検出部１２５および算出部１３０に出力する。

部位検出部１２５は、順次検出される人物領域、またはカメラ１０５から順次出力される画像に対して部位検出処理を実行し、部位領域を検出する。一例として、部位領域は、画像内に含まれる頭部に外接し、矩形形状を有する。部位領域は、たとえば、画像内の座標値で示される。部位検出部１２５は、検出した部位領域を算出部１３０に出力する。

算出部１３０は、人物領域における画像情報と部位領域における画像情報とに基づいて、被介護者が判別対象の行動を取っている程度を表わす評価値を算出する。一例として、人物領域における画像情報は、画像内における人物領域の位置、当該位置の変化度合い、画像内における人物領域のサイズ、および当該サイズの変化度合いの少なくとも１つを含む。部位領域における画像情報は、画像内における部位領域の位置、当該位置の変化度合い、画像内における部位領域のサイズ、および当該サイズの変化度合いの少なくとも１つを含む。評価値の算出方法の詳細については後述する。

除外部１３５は、被介護者が所定の行動を取っていないことを示す予め定められた条件を評価値が満たした場合に、判別部１４０による行動判別結果から当該所定の行動を除外する。除外部１３５の詳細については後述する。

判別部１４０は、算出部１３０によって出力される評価値を行動判別のための判別式に適用し、適用した結果に応じて被介護者の所定の行動を判別する。行動判別方法の詳細については後述する。

送信部１６０は、判別部１４０によって判別された行動の種類を管理サーバー２００に送信する。

（管理サーバー２００の機能構成）
引き続き図３を参照して、管理サーバー２００の機能構成について説明する。図３に示されるように、管理サーバー２００は、機能構成として、受信部２１０と、報知部２２０とを含む。

受信部２１０は、判別部１４０によって判別された行動の種類を室内端末１００から受信する。

受信部２１０が報知対象の行動を受信した場合に、報知部２２０は、当該行動が検出されたことを介護者に報知する。報知対象の行動は、たとえば、起床、離床、転落、臥床、入床、および立ち上がり、監視対象の被介護者に危険が伴うその他の行動を含む。報知手段の一例として、報知部２２０は、行動の種類を示す情報をメッセージとして表示したり、音声によって出力したりする。あるいは、報知部２２０は、介護者が有する携帯端末（図示しない）に行動の種類を示す情報をメッセージとして表示させたり、当該携帯端末に音声を出力させたり、当該携帯端末を振動させたりする。

［行動判別処理］
図４〜図７を参照して、行動判別処理について説明する。図４は、被介護者の画像内の位置による写り方の違いを示す図である。図５は、行動判別処理に用いる特徴量を示す図である。図６は、判別対象の行動の種類と、画像内における人物領域の位置と、被介護者が当該位置において当該行動を取ったときにおける人物領域の変化の様子との関係を示す図である。図７は、判別対象の行動の種類と、画像内における人物領域の位置と、当該位置において適用する判別式との関係を示す図である。

画像処理システム３００は、行動判別処理の前処理として画像を回転補正し、回転補正後の画像から特徴量を抽出し、抽出した特徴量に基づいて行動判別処理を実行する。一例として、判別対象の行動としては、起床、離床、転倒が挙げられる。以下では、回転補正処理、特徴抽出処理、起床判別処理、離床判別処理、転倒判別処理について順に説明する。

（回転補正）
図４を参照して、行動判別処理の前処理として実行される回転補正について説明する。図４に示されるように、画像処理システム３００は、画像中心４５を基準として、人物領域が一定方向（たとえば、画像長手方向）に向くように回転する。画像処理システム３００は、回転補正処理を実行した上で行動判別処理を実行することで、画像３２内における人物領域の方向に依存せずに行動を判別することができる。

詳細については後述するが、画像処理システム３００は、画像中心４５から回転補正後の人物領域１２の中心４６までの距離に応じて行動判別処理を変える。すなわち、画像処理システム３００は、当該距離が等しい被介護者１０Ａ，１０Ｂに対しては同じ判定条件で行動判別を行なう。画像処理システム３００は、当該距離が異なる被介護者１０Ａ，１０Ｃに対しては異なる判定条件で行動判別を行なう。

なお、回転補正は、必ずしも、行動判別処理の前処理として実行される必要はない。たとえば、画像処理システム３００は、部位領域の抽出を先に行い、当該部位領域を用いて画像全体を回転補正した上で、残りの処理を実行してもよい。あるいは、画像処理システム３００は、人体領域の抽出後に画像を回転補正し、その後、残りの処理を実行してもよい。また、画像処理システム３００は、画像に対して回転補正を行なわずに、座標値を逆回転補正し、その後、残りの処理を実行してもよい。

また、図４では、回転補正が人物領域１２の中心４６を基準に行われる例が示されているが、回転補正は、人物領域１２の重心や部分領域の重心等を基準として行われてもよい。さらに、画像処理システム３００は、処理速度、容量等のシステム要求、後述する各判別条件等に合わせて回転補正を変えてもよい。

（特徴量）
上述したように、画像処理システム３００は、人物領域１２における画像情報と部位領域１３における画像情報とを用いて、被介護者が対象の行動を取っている程度を表わす評価値を算出し、当該評価値に応じて行動を判別する。以下では、図５を参照して、当該評価値を算出するために用いられる画像情報（すなわち、特徴量）について説明する。

当該特徴量は、画像中心４５から人物領域１２の中心までの距離ｄと、人物領域１２の長手方向の長さｐと、人物領域１２の短手方向の長さｑと、長手方向に対する部位領域１３の中心４７から画像中心４５までの距離ｍと、短手方向に対する部位領域１３の中心４７から画像中心４５までの距離ｎと、部位領域１３のサイズＳとの少なくとも１つを含む。

以下の説明では、時系列の２枚の画像を前画像と現画像とした場合、前画像における上記特徴量には符号「０」を付し、現画像における上記特徴量には符号「１」を付す。すなわち、前画像における距離ｄ，ｍ，ｎを「距離ｄ０，ｍ０，ｎ０」とする。前画像における長さｐ，ｑを「長さｐ０，ｑ０」とする。現画像における距離ｄ，ｍ，ｎを「距離ｄ１、ｍ１，ｎ１」とする。現画像における長さｐ，ｑを「長さｐ１，ｑ１」とする。

なお、前画像と現画像との間のフレーム間隔は、一定であってもよいし、上記特徴量の種類や判定条件ごとに変えてもよい。

（起床判別処理）
画像処理システム３００は、一例として、被介護者の起床を判別する。「起床」とは、被介護者１０がベッド上で目を覚ましてから立ち上がるまでの行動のことをいう。以下では、図４〜図７を参照して、被介護者の起床を判別する方法について説明する。

画像処理システム３００は、画像中心４５から人物領域１２の中心４６までの距離ｄに応じて起床判別処理に適用する判別式を変える。たとえば、距離ｄが閾値Ｔｈｄ１よりも小さい場合には、画像処理システム３００は、カテゴリ１Ａを選択する。カテゴリ１Ａに示される条件が全て満たされた場合に、画像処理システム３００は、被介護者の起床を検出する。

より具体的には、図７の式（１）に示されるように、画像処理システム３００は、起床判別のための評価値として、人物領域１２に対する頭部のサイズの比を算出し、当該比が閾値Ｔｈ１よりも大きいか否かを判断する。画像処理システム３００は、当該比が閾値Ｔｈ１よりも大きいと判断した場合に、人物領域１２に対する頭部のサイズが一定値以上であると判断する。

図７の式（２）に示されるように、画像処理システム３００は、起床判別のための評価値として、人物領域１２の縦横比を算出し、当該縦横比の変化度が閾値Ｔｈ２よりも小さいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ２よりも小さいと判断した場合、人物領域１２の縦横比が減少していると判断する。

距離ｄが閾値Ｔｈｄ１以上であって閾値Ｔｈｄ２よりも小さい場合には、画像処理システム３００は、カテゴリ１Ｂの判別式を選択する。カテゴリ１Ｂに示される条件が全て満たされた場合に、画像処理システム３００は、被介護者の起床を検出する。

より具体的には、図７の式（３）に示されるように、画像処理システム３００は、起床判別のための評価値として、人物領域１２のサイズに対する頭部のサイズの比を算出し、当該比が閾値Ｔｈ１０よりも大きいか否かを判断する。画像処理システム３００は、当該比が閾値Ｔｈ１０よりも大きいと判断した場合に、人物領域１２に対する頭部のサイズが一定値以上であると判断する。

図７の式（４）に示されるように、画像処理システム３００は、起床判別のための評価値として、人物領域１２の縦横比を算出し、当該縦横比の変化度が閾値Ｔｈ１１よりも小さいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ１１よりも小さいと判断した場合、人物領域１２の縦横比が減少していると判断する。

距離ｄが閾値Ｔｈｄ２以上である場合には、画像処理システム３００は、カテゴリ１Ｃの判別式を選択する。カテゴリ１Ｃに示される条件が全て満たされた場合に、画像処理システム３００は、被介護者の起床を検出する。

より具体的には、図７の式（５）に示されるように、画像処理システム３００は、起床判別のための評価値として、人物領域１２の縦横比を算出し、当該縦横比の変化度が閾値Ｔｈ１８よりも大きいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ１８よりも大きいと判断した場合、人物領域１２の縦横比が増加していると判断する。

図７の式（６）に示されるように、画像処理システム３００は、起床判別のための評価値として、人物領域１２のサイズの変化度を算出し、当該変化度が閾値Ｔｈ１９よりも大きいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ１９よりも大きいと判断した場合、人物領域１２の縦横比が増加していると判断する。

（離床判別処理）
画像処理システム３００は、一例として、被介護者の離床を判別する。「離床」とは、被介護者１０がベッド（寝具）から離れた後の行動のことをいう。以下では、図４〜図７を参照して、被介護者の離床を判別する方法について説明する。

画像処理システム３００は、画像中心４５から人物領域１２の中心４６までの距離ｄに応じて起床判別処理に適用する判別式を変える。たとえば、距離ｄが閾値Ｔｈｄ１よりも小さい場合には、画像処理システム３００は、カテゴリ２Ａを選択する。カテゴリ２Ａに示される条件が全て満たされた場合に、画像処理システム３００は、被介護者の離床を検出する。

より具体的には、図７の式（７）に示されるように、画像処理システム３００は、頭部のサイズＳを離床判別の評価値とし、サイズＳが閾値Ｔｈ４よりも大きいか否かを判断する。画像処理システム３００は、サイズＳが閾値Ｔｈ４よりも大きいと判断した場合、頭部が一定値以上のサイズを有すると判断する。

図７の式（８）に示されるように、画像処理システム３００は、離床判別のための評価値として、人物領域１２のサイズの変化度を算出し、当該変化度が閾値Ｔｈ５よりも小さいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ５よりも小さいと判断した場合、人物領域１２のサイズが減少していると判断する。

図７の式（９）に示されるように、画像処理システム３００は、離床判別のための評価値として、長さｐに対する距離ｍの比を算出し、当該比の変化度が閾値Ｔｈ６よりも小さいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ６よりも小さいと判断した場合、頭部の位置が人物領域の中央寄りに変化していると判断する。

距離ｄが閾値Ｔｈｄ１以上であって閾値Ｔｈｄ２よりも小さい場合には、画像処理システム３００は、カテゴリ２Ｂの判別式を選択する。カテゴリ２Ｂに示される条件が全て満たされた場合に、画像処理システム３００は、被介護者の離床を検出する。

より具体的には、図７の式（１０）に示されるように、画像処理システム３００は、頭部のサイズＳを離床判別の評価値とし、サイズＳが閾値Ｔｈ１３よりも大きいか否かを判断する。画像処理システム３００は、サイズＳが閾値Ｔｈ１３よりも大きいと判断した場合、頭部が一定値以上のサイズを有すると判断する。

図７の式（１１）に示されるように、画像処理システム３００は、離床判別のための評価値として、長さｑに対する長さｐの比を算出し、当該比の変化度が閾値Ｔｈ１４よりも大きいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ１４よりも大きいと判断した場合、人物領域１２の長手方向の長さが増加したと判断する。

距離ｄが閾値Ｔｈｄ２以上である場合には、画像処理システム３００は、カテゴリ２Ｃの判別式を選択する。カテゴリ２Ｃに示される条件が全て満たされた場合に、画像処理システム３００は、被介護者の離床を検出する。

より具体的には、図７の式（１２）に示されるように、画像処理システム３００は、離床判別のための評価値として、長さｑに対する長さｐの比を算出し、当該比の変化度が閾値Ｔｈ２１よりも大きいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ２１よりも大きいと判断した場合、人物領域１２の長手方向の長さが増加したと判断する。

図７の式（１３）に示されるように、画像処理システム３００は、離床判別のための評価値として、長さｐに対する距離ｍの比を算出し、当該比の変化度が閾値Ｔｈ２２よりも大きいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ２２よりも大きいと判断した場合、頭部の位置が人物領域の右寄りに変化していると判断する。

（転倒判別処理）
画像処理システム３００は、一例として、被介護者の転倒を判別する。「転倒」とは、被介護者１０が床に倒れている状態のこという。なお、「転倒」は、被介護者１０が立っている状態から床に倒れている状態の他にも、ベッドから落ちて床に倒れている状態（すなわち、転落）も含む。以下では、図４〜図７を参照して、被介護者の転倒を判別する方法について説明する。

画像処理システム３００は、画像中心４５から人物領域１２の中心４６までの距離ｄに応じて起床判別処理に適用する判別式を変える。たとえば、距離ｄが閾値Ｔｈｄ１よりも小さい場合には、画像処理システム３００は、カテゴリ３Ａを選択する。カテゴリ３Ａに示される条件が全て満たされた場合に、画像処理システム３００は、被介護者の転倒を検出する。

より具体的には、図７の式（１４）に示されるように、画像処理システム３００は、人物領域１２のサイズに対する頭部のサイズＳの比を転倒判別の評価値として算出し、当該比が閾値Ｔｈ７よりも小さいか否かを判断する。画像処理システム３００は、当該比が閾値Ｔｈ７よりも小さいと判断した場合、人物領域１２に対する頭部のサイズが一定値よりも小さいと判断する。

図７の式（１５）に示されるように、画像処理システム３００は、長さｑに対する長さｐの比を算出し、当該比の変化度が閾値Ｔｈ８よりも大きいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ８よりも大きいと判断した場合、人物領域の縦横比が増加していると判断する。

図７の式（１６）に示されるように、画像処理システム３００は、距離ｍ，ｎの変化度を算出し、当該変化度が閾値Ｔｈ９よりも大きいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ９よりも大きいと判断した場合、頭部の位置が人物領域の中央から離れていると判断する。

距離ｄが閾値Ｔｈｄ１以上であって閾値Ｔｈｄ２よりも小さい場合には、画像処理システム３００は、カテゴリ３Ｂの判別式を選択する。カテゴリ３Ｂに示される条件が全て満たされた場合に、画像処理システム３００は、被介護者の転倒を検出する。

より具体的には、図７の式（１７）に示されるように、画像処理システム３００は、人物領域１２のサイズに対する頭部のサイズＳの比を転倒判別の評価値として算出し、当該比が閾値Ｔｈ１５よりも小さいか否かを判断する。画像処理システム３００は、当該比が閾値Ｔｈ１５よりも小さいと判断した場合、人物領域１２に対する頭部のサイズが一定値よりも小さいと判断する。

図７の式（１８）に示されるように、画像処理システム３００は、長さｑに対する長さｐの比を算出し、当該比の変化度が閾値Ｔｈ１６よりも大きいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ１６よりも大きいと判断した場合、人物領域の縦横比が増加していると判断する。

図７の式（１９）に示されるように、画像処理システム３００は、距離ｍ，ｎの変化度を算出し、当該変化度が閾値Ｔｈ１７よりも大きいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ１７よりも大きいと判断した場合、頭部の位置が人物領域の中央から離れていると判断する。

距離ｄが閾値Ｔｈｄ２以上である場合には、画像処理システム３００は、カテゴリ３Ｃの判別式を選択する。カテゴリ３Ｃに示される条件が全て満たされた場合に、画像処理システム３００は、被介護者の転倒を検出する。

より具体的には、図７の式（２０）に示されるように、画像処理システム３００は、長さｑに対する長さｐの比を算出し、当該比の変化度が閾値Ｔｈ２３よりも小さいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ２３よりも小さいと判断した場合、人物領域の縦横比が増加していると判断する。

図７の式（２１）に示されるように、画像処理システム３００は、転倒判別のための評価値として、長さｐに対する距離ｍの比を算出し、当該比の変化度が閾値Ｔｈ２０よりも小さいか否かを判断する。画像処理システム３００は、当該変化度が閾値Ｔｈ２０よりも小さいと判断した場合、頭部の位置が人物領域の左寄りに移動していると判断する。

（変形例１）
図７の例では、２つの閾値Ｔｈｄ１，Ｔｈｄ２が示されているが、閾値の数（すなわち、分類数）は、さらに多くてもよい。これらの閾値は、画像処理システム３００の精度、処理速度、ロバスト性、画角、画像サイズ、検知対象の行動の種類等を総合的に考慮して予め設定される。また、画像処理システム３００は、距離ｄに応じて判定条件を明確に分類するのではなく、距離ｄに応じて連続的に判定条件を変化してもよい。

（変形例２）
上述の例では、選択されたカテゴリに示される判別式が全て満たされた場合に、当該カテゴリに関連付けられている行動が検出される例について説明したが、選択されたカテゴリに示される判別式の一部が満たされた場合に、当該カテゴリに関連付けられている行動が検出されてもよい。さらに、各カテゴリ内の一部の判別条件が入れ替えられてもよいし、各カテゴリに新たな判別条件が追加されてもよい。

（変形例３）
上述の例では、画像処理システム３００が各評価値を対応する閾値と比較する例について説明を行なったが、画像処理システム３００は、各評価値を重み付けして統合し、統合した結果を閾値と比較することで所定の行動を検出してもよい。たとえば、画像処理システム３００は、カテゴリ１Ａに示される式（１），（２）の代わりに、以下の式（Ａ）、（Ｂ）を用いて、評価値Ｖ１，Ｖ２を算出する。

Ｖ１＝Ｓ／（ｐ１×ｑ１）−Ｔｈ１・・・（Ａ）
Ｖ２＝（｜ｌｏｇ（ｐ１／ｑ１）|−｜ｌｏｇ（ｐ０／ｑ０）｜）−Ｔｈ２・・・（Ｂ）
画像処理システム３００は、以下の式（Ｃ）に示されるように、予め定められた重みｋ１，ｋ２のそれぞれを評価値Ｖ１，Ｖ２のそれぞれに掛け合わせ、掛け合わせた結果を足し合わせて最終的な評価値Ｖとして算出する。当該重みは、判別対象の行動の種類、人物領域の位置、部位領域の位置等に応じて予め定められている。すなわち、当該重みは、図７の各カテゴリに示される各判別式ごとに予め定められている。

Ｖ＝Ｖ１×ｋ１＋Ｖ２×ｋ２・・・（Ｃ）
画像処理システム３００は、以下の判別式（Ｄ）に示されるように、評価値Ｖが閾値Ｔｈｖよりも大きいと判断した場合に、被介護者の起床を検出する。閾値Ｔｈｖは、経験等に基づいて、予め定められている。

Ｖ＞Ｔｈｖ・・・（Ｄ）
このように、本変形例では、画像処理システム３００は、人物が所定の行動を取っている程度を表わす評価値を互いに異なる方法で算出するとともに、人物領域または部位領域の位置に応じた重みで評価値を統合する。画像処理システム３００は、統合した評価値を所定の判別式に適用した結果に応じて被介護者の所定の行動を判別する。このように、各評価値が重み付けされることで、画像処理システム３００は、被介護者の行動をより正確に判別することができる。

なお、画像処理システム３００は、必ずしも、上記式（Ｃ）に示されるように、評価値Ｖ１，Ｖ２を線形結合することで評価値Ｖを算出する必要はなく、評価値Ｖ１，Ｖ２を非線形結合することで評価値Ｖを算出してもよい。

（変形例４）
図７では、判別対象の行動として、起床、離床、転倒を例に挙げたが、他の行動が判別対象になってもよい。たとえば、画像処理システム３００は、起床と動きが反対である臥床、離床と動きが反対である入床、転倒と動きが反対である立ち上がり等の行動を判別する。より具体的には、画像処理システム３００は、図７の判別式（１）〜（６）の不等号を反対にすることで、被介護者の臥床を検出する。画像処理システム３００は、図７の判別式（７）〜（１３）の不等号を反対にすることで、被介護者の入床を検出する。画像処理システム３００は、図７の判別式（１４）〜（２１）の不等号を反対にすることで、被介護者の立ち上がりを検出する。

他にも、画像処理システム３００は、行動「走る」を検出してもよい。より具体的には、画像処理システム３００は、画像中心から人物領域までの距離ｄに応じて、異なる方法で「走る」を判別する。たとえば、画像処理システム３００は、距離ｄが一定距離よりも長い場合には、２本の足領域を検出した上で画像を回転補正し、フレーム間における各足領域の移動量を所定閾値と比較する。画像処理システム３００は、当該移動量が所定閾値を超えている場合に、行動「走る」を検出する。距離ｄが一定距離よりも短い場合には、フレーム間における人物領域の移動量を所定閾値と比較する。画像処理システム３００は、当該移動量が所定閾値を超えている場合に、行動「走る」を検出する。

（変形例５）
特徴量は、人物領域と部分領域との間の位置関係等を含む。たとえば、特徴量は、人物領域に対する頭部の位置等を含む。この場合、評価値は、人物領域における画像情報と部位領域における画像情報との間の関係に基づいて算出される。

行動判別処理で用いられる特徴量は、上記の例に限定されない。たとえば、特徴量は、人物領域の動き、部分領域の動きを含んでもよい。他にも、特徴量は、人物領域の形状、人物領域の形状変化、部分領域の形状、部分領域の形状変化等を含んでもよい。この場合、画像処理システム３００は、画像内における人物領域の形状や部分領域の形状を用いて行動判別処理を行なう。

他にも、画像処理システム３００は、被介護者の画像上での任意の向きを対象として、モーメント等の他の方法で算出された人物領域の細長度を他の特徴量として算出してもよい。特徴量は、要求される性能、検知したい行動の種類や数等に応じて、追加、削除、修正され得る。

（変形例６）
上述では、説明を簡単にするため、あおり補正や歪曲補正が必要ない場合について説明を行なったが、画像処理システム３００は、必要に応じて、あおり補正や歪曲補正を行なってもよい。

（変形例７）
画像処理システム３００は、第１の判別式の結果に応じて、次の第２の判別式における閾値を変えてもよい。たとえば、図７の判別式（１）が満たされた場合には、画像処理システム３００は、図７の判別式（２）における閾値Ｔｈ２を現在の１．１倍にし、判別式（２）を満たしやすくする。一方で、判別式（１）が満たされなかった場合には、画像処理システム３００は、判別式（２）における閾値Ｔｈ２を現在の０．９倍にし、判別式（２）を満たしにくくする。これにより、画像処理システム３００は、行動判別処理の精度を改善することができる。

［除外処理］
上述の除外部１３５（図３参照）による除外処理について説明する。上述したように、除外部１３５は、被介護者が所定の行動を取っていないことを示す予め定められた条件を評価値が満たした場合に、行動判別結果から当該所定の行動を除外する。すなわち、除外された結果は報知されない。これにより、行動の誤検出が低減される。

ある局面において、画像処理システム３００は、頭部の移動方向と体の移動方向とが異なっている場合には、報知対象の行動が検出されたとしても、そのことを報知しない。画像処理システム３００は、たとえば、頭領域のオプティカルフローの平均ベクトルを算出し、当該平均ベクトルの方向を頭領域の移動方向とする。また、画像処理システム３００は、体領域のオプティカルフローの平均ベクトルを算出し、当該平均ベクトルの方向を体領域の移動方向とする。画像処理システム３００は、頭領域の移動方向と体領域の移動方向とが９０度以上異なる場合に、判別対象の行動が検出されたとしても、そのことを報知しない。

他の局面において、画像処理システム３００は、以下の方法で転倒判定処理について除外処理を実行する。被介護者の転倒方向がカメラから離れる方向であった場合には、体領域に対する頭領域のサイズの比率が小さくなる。一方で、被介護者の転倒方向がカメラに近付く方向であった場合には、体領域に対する頭領域のサイズの比率が大きくなる。画像処理システム３００は、この点に矛盾する結果が生じた場合には、「転倒」が検出された場合であっても、「転倒」を報知しない。

たとえば、距離ｄが閾値Ｔｈｄ２以上である場合の転倒判定処理に適用する除外処理について説明する。この場合、画像処理システム３００は、頭部領域の中心が人物領域の中心よりも右側であり、かつ、人物領域に対する頭部領域のサイズの比を示す評価値（＝Ｓ／（ｐ１×ｑ１））が閾値Ｔｈ２１よりも大きい場合に、矛盾が生じていると判断する。あるいは、画像処理システム３００は、当該評価値（＝Ｓ／（ｐ１×ｑ１））が閾値Ｔｈ２１よりも小さい場合に、矛盾が生じていると判断する。画像処理システム３００は、矛盾が生じていると判断した場合、「転倒」を報知しない。

［画像処理システム３００の制御構造］
図８〜図１２を参照して、画像処理システム３００の制御構造について説明する。図８は、画像処理システム３００が実行する画像処理を示すフローチャートである。図８の処理は、室内端末１００のＣＰＵ１０２（図２０参照）や、管理サーバー２００のＣＰＵ２０２（図２０参照）によって実行される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。

ステップＳ４０において、画像処理システム３００は、画像処理プログラムが実行されたことに基づいて初期化を行なう。

ステップＳ５０において、画像処理システム３００は、監視対象の被介護者を撮影して得られた画像を本実施の形態に従う画像処理プログラムに入力する。

ステップＳ６０において、画像処理システム３００は、上述の判別部１４０（図３参照）として、行動判別処理を実行する。行動判別処理のフローについては後述する（図９参照）。

ステップＳ７０において、画像処理システム３００は、本実施の形態に従う画像処理を終了するか否かを判断する。たとえば、画像処理システム３００は、管理者から処理を中断する操作を受け付けた場合に、本実施の形態に従う画像処理を終了すると判断する（ステップＳ７０においてＹＥＳ）。そうでない場合には（ステップＳ７０においてＮＯ）、画像処理システム３００は、制御をステップＳ８０に切り替える。

ステップＳ８０において、画像処理システム３００は、次の入力画像を取得する。これにより、画像処理システム３００は、時系列の画像（すなわち、映像）に対して本実施の形態に従う画像処理を順次実行する。

（行動判別処理）
図９〜図１３を参照して、図８のステップＳ６０で実行される行動判別処理について詳細に説明する。図９は、行動判別処理を示すフローチャートである。図１０は、図９のステップＳ９０で実行される人物検出処理を概略的に示す概念図である。図１１は、図９のステップＳ１００で実行される転倒判別処理を示すフローチャートである。図１２は、図９のステップＳ２００で実行される起床判別処理を示すフローチャートである。図１３は、図９のステップＳ３００で実行される離床判別処理を示すフローチャートである。

ステップＳ９０において、画像処理システム３００は、上述の人物検出部１２０（図３参照）として、入力画像から人物領域を検出する。人物領域は、たとえば、入力画像から背景画像を差分する背景差分や、撮影時刻が前後である画像を差分する時間差分によって検出される。

図１０には、背景差分によって画像３２から人物領域１２を抽出する処理が示されている。より具体的には、画像処理システム３００は、人物が写っていない背景画像３５を予め取得しておく。背景画像３５は、後述する設定画像３０（図１７参照）と同一の画像であってもよいし、設定画像３０とは別に得られた画像であってもよい。

画像処理システム３００は、カメラ１０５（図１参照）から画像３２を取得すると、画像３２から背景画像３５を差分する。これにより、画像処理システム３００は、画像３２から背景を除いた背景差分画像３６を得ることができる。画像処理システム３００は、背景差分画像３６から所定値以上の画素値を有する領域を抽出し、当該領域に外接する矩形領域を人物領域１２とする。

なお、人物領域１２は、図１０に示される方法とは異なる方法で抽出されてもよい。たとえば、画像処理システム３００は、被介護者１０の特徴的な部分（すなわち、特徴量）をテンプレートとして予め準備しておき、画像３２を走査することにより当該テンプレートと類似する領域を探索する。画像処理システム３００は、画像３２内でテンプレートと類似する領域を探索できた場合には、当該領域を人物領域１２とする。他にも、人物領域１２は、オプティカルフローやトラッキング等のその他の画像処理技術によって抽出されてもよい。

再び図９を参照して、ステップＳ９２において、画像処理システム３００は、上述の部位検出部１２５（図３参照）として、人物領域１２から部位領域を検出する。一例として、画像処理システム３００は、頭部を部位領域として検出する。頭部領域の検出方法は任意である。一例として、画像処理システム３００は、人物領域１２から円形の形状を探索し、探索された円領域を頭部として検出する。

ステップＳ１００において、画像処理システム３００は、被介護者が転倒したか否かを判別するための転倒判別処理を実行する。図１１を参照して、転倒判別処理について説明する。

ステップＳ１０２において、画像処理システム３００は、画像中心から人物領域の中心点までの距離に基づいて、判別対象の行動である「転倒」に関連付けられているカテゴリ３Ａ〜３Ｃ（図７参照）のいずれかを選択する。画像処理システム３００は、選択したカテゴリに含まれる判別式を取得する。

ステップＳ１０４において、画像処理システム３００は、上述の算出部１３０（図３参照）として、取得した判別式に適用する評価値を算出する。当該評価値の算出方法は上述の通りであるので説明を繰り返さない。

ステップＳ１１０において、画像処理システム３００は、算出された評価値が取得した判別式を満たすか否かを判断する。画像処理システム３００は、当該評価値が取得した判別式を満たしたと判断した場合（ステップＳ１１０においてＹＥＳ）、制御をステップＳ１１２に切り替える。そうでない場合には（ステップＳ１１０においてＮＯ）、画像処理システム３００は、ステップＳ１００の転倒判別処理を終了する。

ステップＳ１１２において、画像処理システム３００は、被介護者が転倒したことを検出し、被介護者の転倒を介護者に通知する。

再び図９を参照して、ステップＳ２００において、画像処理システム３００は、被介護者が起床したか否かを判別するための起床判別処理を実行する。図１２を参照して、起床判別処理について説明する。

ステップＳ２０１において、画像処理システム３００は、前回の行動判別処理結果によって示される被介護者の状態が「起床前」であるか否かを判断する。画像処理システム３００は、当該状態が「起床前」であると判断した場合（ステップＳ２０１においてＹＥＳ）、制御をステップＳ２０２に切り替える。そうでない場合には（ステップＳ２０１においてＮＯ）、画像処理システム３００は、ステップＳ２００の起床判別処理を終了する。

ステップＳ２０２において、画像処理システム３００は、画像中心から人物領域の中心点までの距離に基づいて、判別対象の行動である「起床」に関連付けられているカテゴリ１Ａ〜１Ｃ（図７参照）のいずれかを選択する。画像処理システム３００は、選択したカテゴリに含まれる判別式を取得する。

ステップＳ２０４において、画像処理システム３００は、上述の算出部１３０（図３参照）として、取得した判別式に適用する評価値を算出する。当該評価値の算出方法は上述の通りであるので説明を繰り返さない。

ステップＳ２１０において、画像処理システム３００は、算出された評価値が取得した判別式を満たすか否かを判断する。画像処理システム３００は、当該評価値が取得した判別式を満たしたと判断した場合（ステップＳ２１０においてＹＥＳ）、制御をステップＳ２１２に切り替える。そうでない場合には（ステップＳ２１０においてＮＯ）、画像処理システム３００は、ステップＳ２００の起床判別処理を終了する。

ステップＳ２１２において、画像処理システム３００は、被介護者が起床したことを検出し、被介護者の起床を介護者に通知する。

ステップＳ２１４において、画像処理システム３００は、被介護者の現在の状態を「起床後」に設定する。

再び図９を参照して、ステップＳ３００において、画像処理システム３００は、被介護者が離床したか否かを判別するための離床判別処理を実行する。図１３を参照して、離床判別処理について説明する。

ステップＳ３０１において、画像処理システム３００は、前回の行動判別処理の結果によって示される被介護者の状態が「離床前」であるか否かを判断する。画像処理システム３００は、当該状態が「離床前」であると判断した場合（ステップＳ３０１においてＹＥＳ）、制御をステップＳ３０２に切り替える。そうでない場合には（ステップＳ３０１においてＮＯ）、画像処理システム３００は、ステップＳ３００の離床判別処理を終了する。

ステップＳ３０２において、画像処理システム３００は、画像中心から人物領域の中心点までの距離に基づいて、判別対象の行動である「離床」に関連付けられているカテゴリ２Ａ〜２Ｃ（図７参照）のいずれかを選択する。画像処理システム３００は、選択したカテゴリに含まれる判別式を取得する。

ステップＳ３０４において、画像処理システム３００は、上述の算出部１３０（図３参照）として、取得した判別式に適用する評価値を算出する。当該評価値の算出方法は上述の通りであるので説明を繰り返さない。

ステップＳ３１０において、画像処理システム３００は、算出された評価値が取得した判別式を満たすか否かを判断する。画像処理システム３００は、当該評価値が取得した判別式を満たしたと判断した場合（ステップＳ３１０においてＹＥＳ）、制御をステップＳ３１２に切り替える。そうでない場合には（ステップＳ３１０においてＮＯ）、画像処理システム３００は、ステップＳ３００の離床判別処理を終了する。

ステップＳ３１２において、画像処理システム３００は、被介護者が離床したことを検出し、被介護者の離床を介護者に通知する。

ステップＳ３１４において、画像処理システム３００は、被介護者の現在の状態を「離床後」に設定する。

［画像処理システム３００の画面遷移］
図１４〜図１９を参照して、画像処理システム３００に表示される画面例について説明する。図１４は、画像処理システム３００の画面遷移図を示す図である。

画像処理システム３００は、本実施の形態に従う画像処理プログラムを実行したときに、初期画面としてメイン画面３１０を表示する。管理者は、メイン画面３１０からは、設定モードトップ画面３２０または平常時画面３４０に遷移させることができる。管理者は、設定モードトップ画面３２０からは、メイン画面３１０または領域設定画面３３０に遷移させることができる。管理者は、領域設定画面３３０からは、設定モードトップ画面３２０に遷移させることができる。管理者は、平常時画面３４０からは、メイン画面３１０または発報時画面３５０に遷移させることができる。管理者は、発報時画面３５０からは、平常時画面３４０に遷移させることができる。

以下では、メイン画面３１０、設定モードトップ画面３２０、領域設定画面３３０、平常時画面３４０、および発報時画面３５０の画面例について順に説明する。

（メイン画面３１０）
図１５は、メイン画面３１０の一例を示す図である。画像処理システム３００は、本実施の形態に従う画像処理プログラムを実行したときに、初期画面としてメイン画面３１０を表示する。

メイン画面３１０は、行動判別処理の開始を受け付けるためのボタン３１２と、行動判別処理に関する設定画面を開くためのボタン３１４とを含む。画像処理システム３００は、ボタン３１２の押下を検出した場合には、平常時画面３４０を表示する。また、画像処理システム３００は、ボタン３１４の押下を検出した場合には、設定モードトップ画面３２０を表示する。

（設定モードトップ画面３２０）
図１６は、設定モードトップ画面３２０の一例を示す図である。設定モードトップ画面３２０は、画像処理システム３００の初期設定時やメンテナンス時に表示される。

設定モードトップ画面３２０は、行動判別処理に関するパラメータの設定を受け付ける。たとえば、設定モードトップ画面３２０は、カメラ１０５（図１参照）のフレームレートに関するパラメータを受け付ける。また、設定モードトップ画面３２０は、カメラ１０５から出力される画像の明るさに関するパラメータを受け付ける。さらに、設定モードトップ画面３２０は、被介護者の行動の検出感度に関するパラメータを受け付ける。さらに、設定モードトップ画面３２０は、カメラ１０５を設置する天井の高さに関するパラメータを受け付ける。設定モードトップ画面３２０の「更新」ボタンが押下されると、各パラメータは、画像処理システム３００に反映される。

画像処理システム３００は、ボタン３２２の押下を検出した場合には、領域設定画面３３０を表示する。画像処理システム３００は、ボタン３２４の押下を検出した場合には、メイン画面３１０を表示する。

設定モードトップ画面３２０は、他のパラメータの入力を受け付けてもよい。たとえば、設定モードトップ画面３２０は、カメラ１０５に関するパラメータとして、入力画像のコントラストに関するパラメータ、カメラのズーム調整に関するパラメータ、およびカメラのパンチルト調整に関するパラメータ等を受け付けてもよい。他にも、設定モードトップ画面３２０は、室内端末１００から画像処理システム３００に送信する画像の圧縮率等を受け付けてもよい。他にも、設定モードトップ画面３２０は、起床または入床等の行動を判別する時間帯等の設定を受け付けてもよい。

（領域設定画面３３０）
図１７は、領域設定画面３３０の一例を示す図である。領域設定画面３３０は、設定画像３０に対するベッド境界４０の設定を受け付ける。設定されたベッド境界４０は、行動判別処理で用いられる。一例として、画像処理システム３００は、ベッド内で検出されていた人物領域がベッド境界４０と重なった場合に、被介護者の起床を判別する。

領域設定画面３３０は、たとえば、点４１Ａ〜４１Ｄの設定を受け付けることでベッド境界４０の設定を受け付ける。一例として、点４１Ａ〜４１Ｄは、マウス操作に連動するポインタ３３２によって入力される。画像処理システム３００は、管理者によって設定されたベッド境界４０を保存する操作を受け付けたことに基づいて、設定画像３０内でベッド境界４０を特定するための情報（たとえば、座標等）を記憶する。

なお、図１７では、ベッド境界４０を設定する方法として、点４１Ａ〜４１Ｄを設定する例について説明を行なったが、ベッド境界４０は、他の方法で設定されてもよい。たとえば、領域設定画面３３０は、線の設定を受け付けることでベッド境界４０の設定を受け付けてもよい。他の方法としては、領域設定画面３３０は、面の設定を受け付けることでベッド境界４０の設定を受け付ける。この場合、管理者は、領域設定画面３３０に対するドラッグ操作によりベッド２０が写っている範囲を指定する。このように、ベッド境界４０の設定方法としては、ベッド領域とその他の領域との境界の一部または全部を指定することが可能な任意の方法が採用され得る。

また、図１７では、ベッド境界４０を設定する方法として、矩形の境界を設定する例について説明を行なったが、ベッド境界４０は、他の形状で設定されてもよい。たとえば、ベッド境界４０は、円形、楕円形、多角形（たとえば、六角形）等のその他の形状で設定されてもよい。あるいは、ベッド境界４０の形状は、線、弧等であってもよい。当該線や弧は、所定の太さを有していてもよい。

また、図１７では、ポインタ３３２でベッド境界４０を設定する例について説明を行なったが、ベッド境界４０は、タッチ操作等のその他の操作で設定されてもよい。

また、図１７では、ベッド２０に対してベッド境界４０を設定する例について説明を行なったが、境界が設定される対象物は、ベッドに限定されない。たとえば、境界が設定される対象物は、布団等の寝具、椅子、被介護者によって利用されるその他の物体を含む。

また、図１７では、ベッド境界４０が管理者によって手動で設定される例について説明を行なったが、画像処理システム３００は、エッジ抽出やテンプレートマッチングなどの画像処理によってベッド境界４０を自動で検出してもよい。あるいは、画像処理システム３００は、３Ｄセンサ、ベッド２０の脚に取り付けられた位置センサ、圧力センサを有するカーペット等、その他のセンサによってベッド境界４０を検出してもよい。

（平常時画面３４０）
図１８は、平常時画面３４０の一例を示す図である。平常時画面３４０は、画像処理システム３００による行動判別処理の実行中において、監視対象の被介護者１０が危険を伴わない行動（たとえば、就寝等）を取っているときに表示される画面である。一例として、画像処理システム３００は、被介護者１０を撮影して得られた画像（映像）をそのまま平常時画面３４０として表示する。

（発報時画面３５０）
図１９は、発報時画面３５０の一例を示す図である。発報時画面３５０は、画像処理システム３００による行動判別処理の実行中において、監視対象の被介護者１０が危険を伴う行動を取ったときに表示される画面である。画像処理システム３００は、発報時画面３５０を表示する前に発報時画面３５０の表示の可否を管理者に問い合わせてもよい。

図１９に示されるように、画像処理システム３００は、被介護者１０が離床したことを検出したことに基づいて、被介護者１０の離床を介護者に報知する。ある局面において、画像処理システム３００は、メッセージ３５２によって被介護者１０の離床を介護者に報知する。他の局面において、画像処理システム３００は、音声等の音によって被介護者１０の離床を介護者に報知する。さらに他の局面において、画像処理システム３００は、被介護者１０の離床の検出時における画像または映像を表示する。これにより、万が一、画像処理システム３００が誤発報を行なった場合であっても、介護者は、行動検出時における被介護者１０の行動を画像または映像で確認できる。そのため、被介護者１０の元に無駄に駆け付けずに済む。

なお、報知対象になる行動は、離床に限定されない。たとえば、報知対象になる行動は、入床、起床、被介護者１０に危険が生じるその他の行動を含む。

［画像処理システム３００のハードウェア構成］
図２０を参照して、画像処理システム３００のハードウェア構成の一例について説明する。図２０は、画像処理システム３００の主要なハードウェア構成を示すブロック図である。図２０に示されるように、画像処理システム３００は、室内端末１００と、管理サーバー２００と、ネットワーク４００とを含む。室内端末１００および管理サーバー２００は、ネットワーク４００を介して接続されている。以下では、室内端末１００のハードウェア構成と、管理サーバー２００のハードウェア構成とについて順に説明する。

（室内端末１００のハードウェア構成）
図２０に示されるように、室内端末１００は、ＲＯＭ（Read Only Memory）１０１と、ＣＰＵ１０２と、ＲＡＭ（Random Access Memory）１０３と、ネットワークＩ／Ｆ（インタフェース）１０４と、カメラ１０５と、記憶装置１０６とを含む。

ＲＯＭ１０１は、オペレーティングシステム、室内端末１００で実行される制御プログラム等を格納する。ＣＰＵ１０２は、オペレーティングシステムや室内端末１００の制御プログラム等の各種プログラムを実行することで、室内端末１００の動作を制御する。ＲＡＭ１０３は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。

ネットワークＩ／Ｆ１０４には、アンテナやＮＩＣ（Network Interface Card）等の通信機器が接続される。室内端末１００は、当該通信機器を介して、他の通信端末との間でデータを送受信する。他の通信端末は、たとえば、管理サーバー２００、その他の端末等を含む。室内端末１００は、本実施の形態に従う各種の処理を実現するための画像処理プログラム１０８を、ネットワーク４００を介してダウンロードできるように構成されてもよい。

カメラ１０５は、たとえば、監視カメラまたは被写体を撮影することが可能なその他の撮像装置である。たとえば、カメラ１０５は、室内の２Ｄ画像を取得できるものであればよく、サーモグラフィ画像等の非可視画像を取得できるセンサであってもよい。カメラ１０５は、室内端末１００と別個に構成されてもよいし、図２０に示されるように室内端末１００と一体的に構成されてもよい。

記憶装置１０６は、たとえば、ハードディスクや外付けの記憶装置等の記憶媒体である。一例として、記憶装置１０６は、設定画像に対して設定されたベッド境界４０と、本実施の形態に従う各種の処理を実現するための画像処理プログラム１０８とを格納する。ベッド境界４０は、設定画像や入力画像内でベッドが写っている領域を特定するための情報である。他にも、記憶装置１０６は、判別対象の行動の種類と、画像内における人物領域の位置と、当該位置において適用する判別式との関係（図７参照）を格納する。

なお、画像処理プログラム１０８は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像処理システム３００の趣旨を逸脱するものではない。さらに、本実施の形態に従う画像処理プログラム１０８によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、少なくとも１つのサーバーが本実施の形態に従う処理を実現する、所謂クラウドサービスのような形態で管理サーバー２００が構成されてもよい。

（管理サーバー２００のハードウェア構成）
次に、管理サーバー２００のハードウェア構成について説明する。図２０に示されるように、管理サーバー２００は、ＲＯＭ２０１と、ＣＰＵ２０２と、ＲＡＭ２０３と、ネットワークＩ／Ｆ２０４と、モニタ２０５と、記憶装置２０６とを含む。

ＲＯＭ２０１は、オペレーティングシステム、管理サーバー２００で実行される制御プログラム等を格納する。ＣＰＵ２０２は、オペレーティングシステムや管理サーバー２００の制御プログラム等の各種プログラムを実行することで、管理サーバー２００の動作を制御する。ＲＡＭ２０３は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。

ネットワークＩ／Ｆ２０４には、アンテナやＮＩＣ等の通信機器が接続される。管理サーバー２００は、当該通信機器を介して、他の通信端末との間でデータを送受信する。他の通信端末は、たとえば、室内端末１００、その他の端末等を含む。管理サーバー２００は、本実施の形態に従う各種の処理を実現するためのプログラムを、ネットワーク４００を介してダウンロードできるように構成されてもよい。

モニタ２０５は、本実施の形態に従う画像処理プログラム２０８を実行することで表示される各種画面を表示する。たとえば、モニタ２０５は、メイン画面３１０（図１５参照）、設定モードトップ画面３２０（図１６参照）、領域設定画面３３０（図１７参照）、平常時画面３４０（図１８参照）、および発報時画面３５０（図１９参照）等の画面を表示する。なお、モニタ２０５は、タッチセンサ（図示しない）と組み合わされてタッチパネルとして実現されてもよい。タッチパネルは、ベッド境界４０の設定操作や画面の切り替え操作等をタッチ操作で受け付ける。

記憶装置２０６は、たとえば、ハードディスクや外付けの記憶装置等の記憶媒体である。一例として、記憶装置２０６は、本実施の形態に従う各種の処理を実現するための画像処理プログラム２０８を記憶する。

［まとめ］
以上のようにして、画像処理システム３００は、画像内における人物領域の位置、または画像内における部位領域の位置に応じて、行動判別処理に用いる判別式を変える。これにより、画像処理システム３００は、被介護者の画像内の位置に応じて行動の判別精度が低下することを防止できる。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１Ａ〜１Ｃ，２Ａ〜２Ｃ，３Ａ〜３Ｃ カテゴリ、１０，１０Ａ〜１０Ｃ 被介護者、１２，１２Ａ〜１２Ｃ 人物領域、１３，１３Ａ〜１３Ｃ 部位領域、２０ ベッド、３０ 設定画像、３２，３２Ａ〜３２Ｃ 画像、３５ 背景画像、３６ 背景差分画像、４０ ベッド境界、４１Ａ〜４１Ｄ 点、４５ 画像中心、４６，４７ 中心、１００ 室内端末、１０１，２０１ ＲＯＭ、１０２，２０２ ＣＰＵ、１０３，２０３ ＲＡＭ、１０４，２０４ ネットワークＩ／Ｆ、１０５ カメラ、１０６，２０６ 記憶装置、１０８，２０８ 画像処理プログラム、１２０ 人物検出部、１２５ 部位検出部、１３０ 算出部、１３５ 除外部、１４０ 判別部、１６０ 送信部、２００ 管理サーバー、２０５ モニタ、２１０ 受信部、２２０ 報知部、３００ 画像処理システム、３１０ メイン画面、３１２，３１４，３２２，３２４ ボタン、３２０ 設定モードトップ画面、３３０ 領域設定画面、３３２ ポインタ、３４０ 平常時画面、３５０ 発報時画面、３５２ メッセージ、４００ ネットワーク。

Claims (11)

1. 人物の行動を判別することが可能な画像処理システムであって、
   画像から、前記人物を表わす人物領域を検出するための人物検出部と、
   前記画像または前記人物領域から、前記人物の特定の部位を表わす部位領域を検出するための部位検出部と、
   前記人物領域における画像情報と前記部位領域における画像情報とに基づいて、前記人物が所定の行動を取っている程度を表わす評価値を算出するとともに、前記人物の行動を判別するための判別式に前記評価値を適用し、適用した結果に応じて前記所定の行動を判別するための判別部とを備え、
   前記判別部は、前記画像内における前記人物領域の位置、または前記画像内における前記部位領域の位置に応じて、前記所定の行動を判別するための前記判別式を変える、画像処理システム。
2. 前記人物領域における前記画像情報は、前記画像内における前記人物領域の位置、前記当該位置の変化度合い、前記画像内における前記人物領域のサイズ、および当該サイズの変化度合いの少なくとも１つを含み、
   前記部位領域における前記画像情報は、前記画像内における前記部位領域の位置、前記当該位置の変化度合い、前記画像内における前記部位領域のサイズ、および当該サイズの変化度合いの少なくとも１つを含む、請求項１に記載の画像処理システム。
3. 前記評価値は、前記人物領域における画像情報と前記部位領域における画像情報との間の関係に基づいて算出される、請求項１または２に記載の画像処理システム。
4. 前記画像処理システムは、前記人物が前記所定の行動を取っていないことを示す予め定められた条件を前記評価値が満たした場合に、前記判別部による行動判別結果から前記所定の行動を除外するための除外部をさらに備える、請求項１〜３のいずれか１項に記載の画像処理システム。
5. 前記判別部は、前記画像内における前記人物領域の形状をさらに用いて前記所定の行動を判別する、請求項１〜４のいずれか１項に記載の画像処理システム。
6. 検出対象の前記部位は、前記人物の頭部を含む、請求項１〜５のいずれか１項に記載の画像処理システム。
7. 前記判別部によって判別される行動は、起床、離床、転落、臥床、入床、および立ち上がりの少なくとも１つを含む、請求項１〜６のいずれか１項に記載の画像処理システム。
8. 前記判別部は、
   前記人物が所定の行動を取っている程度を表わす評価値を互いに異なる方法で算出し、
   前記画像内の前記人物領域の位置、または前記画像内の前記部位領域の位置に応じた重みで複数の前記評価値を統合し、
   統合された前記評価値を前記判別式に適用した結果に応じて前記所定の行動を判別する、請求項１〜７のいずれか１項に記載の画像処理システム。
9. 人物の行動を判別することが可能な画像処理装置であって、
   画像から、前記人物を表わす人物領域を検出するための人物検出部と、
   前記画像または前記人物領域から、前記人物の特定の部位を表わす部位領域を検出するための部位検出部と、
   前記人物領域における画像情報と前記部位領域における画像情報とに基づいて、前記人物が所定の行動を取っている程度を表わす評価値を算出するとともに、前記人物の行動を判別するための判別式に前記評価値を適用し、適用した結果に応じて前記所定の行動を判別するための判別部とを備え、
   前記判別部は、前記画像内における前記人物領域の位置、または前記画像内における前記部位領域の位置に応じて、前記所定の行動を判別するための前記判別式を変える、画像処理装置。
10. 人物の行動を判別することが可能な画像処理方法であって、
    画像から、前記人物を表わす人物領域を検出するステップと、
    前記画像または前記人物領域から、前記人物の特定の部位を表わす部位領域を検出するステップと、
    前記人物領域における画像情報と前記部位領域における画像情報とに基づいて、前記人物が所定の行動を取っている程度を表わす評価値を算出するとともに、前記人物の行動を判別するための判別式に前記評価値を適用し、適用した結果に応じて前記所定の行動を判別するステップとを備え、
    前記判別するステップは、前記画像内における前記人物領域の位置、または前記画像内における前記部位領域の位置に応じて、前記所定の行動を判別するための前記判別式を変えるステップを含む、画像処理方法。
11. 人物の行動を判別することが可能な画像処理プログラムであって、
    前記画像処理プログラムは、コンピュータに、
    画像から、前記人物を表わす人物領域を検出するステップと、
    前記画像または前記人物領域から、前記人物の特定の部位を表わす部位領域を検出するステップと、
    前記人物領域における画像情報と前記部位領域における画像情報とに基づいて、前記人物が所定の行動を取っている程度を表わす評価値を算出するとともに、前記人物の行動を判別するための判別式に前記評価値を適用し、適用した結果に応じて前記所定の行動を判別するステップとを実行させ、
    前記判別するステップは、前記画像内における前記人物領域の位置、または前記画像内における前記部位領域の位置に応じて、前記所定の行動を判別するための前記判別式を変えるステップを含む、画像処理プログラム。