JP6098770B2 - 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本開示は、登録した追跡対象を時系列の画像上で追跡するための画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムに関する。

近年、映像から人物の行動を判別するための画像処理技術が開発されている。この画像処理技術は、たとえば、介護を要する被介護者の行動を見守るための画像処理装置などに応用されている。このような画像処理技術に関して、特開２００２−２３０５３３号公報（特許文献１）は、「ベッド外形下辺となる境界辺を用いて、入床事象、離床事象を正確に判断することのできる画像処理装置」を開示している。また、特開２０１２−３００４２号公報（特許文献２）は、「ベッドを基準にして監視すべき領域を自動的に検出することにより、監視対象の人の動作を正確かつ再現性よく検出することを可能にした監視装置」を開示している。

特開２００２−２３０５３３号公報 特開２０１２−３００４２号公報

特許文献１に開示される画像処理装置は、床面領域からベッド領域への人物の移動を検出すると当該人物が入床していると判断し、ベッド領域から床面領域への人物の移動を検出すると当該人物が離床していると判断する。入床および離床の判断処理は、ベッド領域が予め正確に設定されていることを前提としている。そのため、ベッドが移動された場合には、当該画像処理装置は、人物の行動を正確に判別することができない。したがって、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すための画像処理装置が望まれている。

特許文献２に開示される監視装置は、距離画像センサによって出力された距離画像を用いてベッドの位置を抽出し、ベッドの範囲内と範囲外とにおいて人が占有する領域を検出する。当該監視装置は、検出されたベッドと検出された人の領域との組み合わせによりベッドに対する人の行動を判別する。距離画像センサによる距離画像の生成は、アクティブ方式や、複数のカメラを用いて実現される。そのため、距離画像センサが用いられると、コストが高くなる。また、距離画像を生成するためには処理時間が問題となり、行動判別処理を常時実行することは困難である。

本開示は上述のような問題点を解決するためになされたものであって、その目的は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる画像処理システムを提供することである。他の局面における目的は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる画像処理装置を提供することである。さらに他の局面における目的は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる画像処理方法を提供することである。さらに他の局面における目的は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる画像処理プログラムを提供することである。

一実施の形態に従うと、画像処理システムは、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するための行動判別部と、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するためのずれ検出部と、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するための報知部とを備える。報知部は、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定の条件を満たした場合には、ずれが検出されたときであっても、物体がずれていることを報知しない。
他の局面に従うと、画像処理システムは、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するための行動判別部と、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するためのずれ検出部と、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するための報知部とを備える。報知部は、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定条件を満たした場合には、ずれ検出部がずれを検出するための条件を現在設定されている条件よりも厳しくする。

好ましくは、受付部は、基準画像に対する複数の点の設定、基準画像に対する複数の線の設定、および基準画像に対する面の設定の少なくとも１つを受け付けることで物体を含む領域の設定を受け付ける。

好ましくは、受付部は、基準画像における物体の向きの設定をさらに受け付ける。

好ましくは、行動判別部は、入力画像の物体を含む領域内に占める人物領域の大きさと、入力画像の物体を含む領域外に占める人物領域の大きさとの少なくとも一方に基づいて、人物の行動を判別する。

好ましくは、物体は、寝具である。人物検出部は、時系列の複数の入力画像から人物を順次検出する。行動判別部は、入力画像の物体を含む領域外に占める人物領域の大きさを順次算出し、順次算出される人物領域の大きさが所定閾値よりも大きくなったことに基づいて、人物が起床したと判別する。

好ましくは、物体は、寝具である。人物検出部は、時系列の複数の入力画像から人物を順次検出する。行動判別部は、入力画像の物体を含む領域内に占める人物領域の大きさを順次算出し、順次算出される人物領域の大きさが所定閾値よりも小さくなったことに基づいて、人物が離床したと判別する。

他の局面に従うと、画像処理装置は、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するための行動判別部と、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するためのずれ検出部と、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するための報知部とを備える。報知部は、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定の条件を満たした場合には、ずれが検出されたときであっても、物体がずれていることを報知しない。
さらに他の局面に従うと、画像処理装置は、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するための行動判別部と、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するためのずれ検出部と、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するための報知部とを備える。報知部は、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定条件を満たした場合には、ずれ検出部がずれを検出するための条件を現在設定されている条件よりも厳しくする。

さらに他の局面に従うと、画像処理方法は、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するステップと、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するステップと、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するステップと、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するステップとを備える。報知するステップは、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定の条件を満たした場合には、ずれが検出されたときであっても、物体がずれていることを報知しないステップを含む。
さらに他の局面に従うと、画像処理方法は、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するステップと、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するステップと、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するステップと、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するステップとを備える。報知するステップは、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定条件を満たした場合には、検出するステップにおいてずれを検出するための条件を現在設定されている条件よりも厳しくするステップを含む。

さらに他の局面に従うと、画像処理プログラムは、コンピュータに、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するステップと、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の行動を判別するステップと、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するステップと、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するステップとを実行させる。報知するステップは、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定の条件を満たした場合には、ずれが検出されたときであっても、物体がずれていることを報知しないステップを含む。
さらに他の局面に従うと、画像処理プログラムは、コンピュータに、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物領域を検出するステップと、入力画像内の物体を含む領域と、入力画像内の人物領域との間の位置関係に基づいて、人物領域内の人物の行動を判別するステップと、基準画像内の物体を含む領域の画像情報と入力画像内の物体を含む領域の画像情報とを比較して、または基準画像内の物体を含む領域近傍の画像情報と入力画像内の物体を含む領域近傍の画像情報とを比較して、物体を含む領域から物体がずれていることを検出するステップと、物体のずれが検出されたときに、人物の行動を判別せずに、設定された物体を含む領域から入力画像内の物体がずれていることを報知するステップとを実行させる。報知するステップは、ずれを報知しないように設定されている場合、入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、入力画像に示される環境が所定条件を満たした場合には、検出するステップにおいてずれを検出するための条件を現在設定されている条件よりも厳しくするステップを含む。

さらに他の局面に従うと、画像処理プログラムは、コンピュータに、被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、基準画像と同じ視点から被写体を撮影して得られる入力画像から人物を検出するステップと、入力画像内の領域と、入力画像内の人物領域との間の位置関係に基づいて、物体に対する人物の行動を判別するステップと、基準画像内の上記領域または当該領域近傍の画像情報と、入力画像内の上記領域または当該領域近傍の画像情報とを比較して、領域から物体がずれていることを検出するステップと、物体のずれが検出されたときに、設定された領域から物体がずれていることを報知するステップとを実行させる。

ある局面において、画像処理装置は、行動判別処理で用いられる設定が正しくなくなった場合に、管理者に設定を再度促すことを比較的簡易な構成で実現できる。

本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。

第１の実施の形態に従う画像処理システムの構成の一例を示す図である。 ベッドの領域を設定するための設定画像と、ベッドのずれを検出する対象である入力画像とを示す図である。 第１の実施の形態に従う画像処理システムの画面遷移図を示す図である。 メイン画面の一例を示す図である。 設定モードトップ画面の一例を示す図である。 領域設定画面の一例を示す図である。 平常時画面の一例を示す図である。 発報時画面の一例を示す図である。 異常時画面の一例を示す図である。 第１の実施の形態に従う画像処理システムの機能構成の一例を示すブロック図である。 行動判別処理を開始する前に実行される事前処理を示すフローチャートである。 行動判別処理を開始する前に実行される事前処理を概略的に示した概念図である。 第１の実施の形態に従う画像処理システムで実行される本処理を示すフローチャートである。 第１の実施の形態に従う画像処理システムで実行される異常検出処理を示すフローチャートである。 異常検出処理を概略的に示した概念図である。 第１の実施の形態に従う画像処理システムで実行される行動判別処理を示すフローチャートである。 入力画像から人物領域を抽出する処理を概略的に示した概念図である。 第１の実施の形態に従う画像処理システムで実行される起床判別処理を示すフローチャートである。 第１の実施の形態に従う画像処理システムで実行される離床判別処理を示すフローチャートである。 第１の実施の形態に従う画像処理システムの主要なハードウェア構成を示すブロック図である。 第２の実施の形態に従う画像処理システムで実行される異常検出処理を示すフローチャートである。

以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。

＜第１の実施の形態＞
［画像処理システム３００の構成］
図１を参照して、画像処理システム３００の構成について説明する。図１は、画像処理システム３００の構成の一例を示す図である。

画像処理システム３００は、たとえば、被介護者１０の行動を見守るために用いられる。図１に示されるように、画像処理システム３００は、画像処理装置としての室内端末１００と、管理サーバー２００とを含む。室内端末１００および管理サーバー２００は、ネットワーク４００を介して互いに接続されている。

室内端末１００は、たとえば、医療施設、介護施設、宅内などに設置される。室内端末１００は、後述するカメラ１０５（図２０）を備える。図１には、カメラ１０５が被介護者１０およびベッド２０を天井から撮影している様子が示されている。室内端末１００は、カメラ１０５から得られた時系列の画像（映像）に基づいて被介護者１０の行動を判別する。一例として、室内端末１００が判別可能な行動は、被介護者１０の起床および被介護者１０の離床を含む。なお、ここでいう「起床」とは、被介護者１０がベッド２０上で目を覚ましてから立ち上がるまでの行動のことをいう。また、「離床」とは、被介護者１０がベッド２０から離れる行動のことをいう。

室内端末１００は、被介護者１０の起床を検出すると、被介護者１０が起床したこと示す情報を管理サーバー２００に送信する。管理サーバー２００は、当該情報を受信すると、被介護者１０が起床したことを介護者に報知する。また、室内端末１００は、被介護者１０の離床を検出すると、被介護者１０が離床したことを示す情報を管理サーバー２００に送信する。管理サーバー２００は、当該情報を受信すると、被介護者１０が離床したことを介護者に報知する。これにより、介護者は、被介護者１０がベッド２０から立ち上がることを支援したり、あるいは、被介護者１０の起床時や離床時に生じる転倒などのリスクを未然に防ぐことができる。

なお、図１には、画像処理システム３００が１つの室内端末１００を備えている例が示されているが、画像処理システム３００は、複数の室内端末１００を備えてもよい。また、図１には、画像処理システム３００が１つの管理サーバー２００を備えている例が示されているが、画像処理システム３００は、複数の管理サーバー２００を備えてもよい。

［画像処理システム３００の処理概要］
図２を参照して、第１の実施の形態に従う画像処理システム３００の処理概要について説明する。図２は、ベッド２０を含む領域を設定するための設定画像３０Ａと、ベッド２０のずれを検出する対象である入力画像３０Ｂとを示す図である。

画像処理システム３００は、被写体を撮影して得られた設定画像３０Ａ（基準画像）に対してベッド２０を含むベッド領域４０の設定を受け付ける。ここでいう「被写体」とは、後述するカメラ１０５の視野に含まれるものをいう。すなわち、被写体は、ベッドなどの物体や監視対象となる被介護者などを含む。画像処理システム３００は、たとえば、設定画像３０Ａに対する点４１Ａ〜４１Ｄの設定を受け付けることでベッド領域４０の設定を受け付ける。一例として、画像処理システム３００の管理者は、マウス操作やタッチ操作などによって、ベッド２０の四端に相当する点４１Ａ〜４１Ｄを設定画像３０Ａに対して入力する。画像処理システム３００は、ベッド領域４０の設定を受け付けると、設定画像３０Ａ内でベッド領域４０を特定するための情報（たとえば、ベッド領域４０の四隅の座標値など）を記憶する。

画像処理システム３００は、入力画像３０Ｂを後述するカメラ１０５（図２０）から取得すると、入力画像３０Ｂから人物１２を検出する。人物１２は、上述の被介護者１０（図１）に相当する。入力画像３０Ｂは、設定画像３０Ａと同じ視点から被写体を撮影して得られた画像である。典型的には、入力画像３０Ｂの撮影時刻は、設定画像３０Ａの撮影時刻よりも後である。

画像処理システム３００は、入力画像３０Ｂ内のベッド領域４０と、入力画像３０Ｂ内の人物領域との間の位置関係に基づいて、ベッド２０に対する人物１２の行動を判別する。設定画像３０Ａのベッド領域４０および入力画像３０Ｂのベッド領域４０は、両画像内の同じ場所に位置する。画像処理システム３００が判別可能な行動は、たとえば、人物１２の起床および離床を含む。行動判別処理の詳細については後述する（図１６参照）。

画像処理システム３００は、設定画像３０Ａ内のベッド領域４０の画像情報と入力画像３０Ｂ内のベッド領域４０の画像情報とを比較して、または設定画像３０Ａ内のベッド領域４０近傍の画像情報と入力画像３０Ｂ内のベッド領域４０近傍の画像情報とを比較して、ベッド領域４０からベッド２０がずれていることを検出する。画像処理システム３００は、ベッド２０のずれを検出すると、ベッド２０がずれていることを報知する。たとえば、ベッド２０のずれは、メッセージ５０の表示によって報知される。

このように、ベッド２０が当初設定されたベッド領域４０からずれた場合に、画像処理システム３００は、ベッド２０のずれを自動で検出し、ベッド２０がずれたことを管理者に報知する。管理者によって設定されたベッド領域４０は、人物１２の行動判別処理に用いられるため、ベッド２０のずれは、行動判別処理の精度に大きく影響する。画像処理システム３００は、ベッド２０がずれていることを管理者に報知することで、ベッド領域４０を修正するように管理者に促すことができる。これにより、画像処理システム３００は、行動判別処理の精度が低下することを防ぐことができ、起床や離床が誤って報知されることによって介護者にかかる負担を軽減することができる。

なお、上述では画像処理システム３００がベッドのずれを報知する例について説明を行なったが、ずれの報知対象は、寝具であるベッドに限定されない。たとえば、ずれの報知対象は、布団などのベッド以外の寝具、椅子、カーテン、テレビ、人物１２によって利用されるその他の物体を含む。これらの物体がずれていること検出するためには、管理者は、ずれの報知を所望する物体を含む領域を設定画像３０Ａに対して設定すればよい。

［画像処理システム３００の画面遷移］
図３〜図９を参照して、画像処理システム３００に表示される画面例について説明する。図３は、画像処理システム３００の画面遷移図を示す図である。

画像処理システム３００は、本実施の形態に従う画像処理プログラムを実行したときに、初期画面としてメイン画面３１０を表示する。管理者は、メイン画面３１０を、設定モードトップ画面３２０または平常時画面３４０に遷移させることができる。管理者は、設定モードトップ画面３２０を、メイン画面３１０または領域設定画面３３０に遷移させることができる。管理者は、領域設定画面３３０を、設定モードトップ画面３２０に遷移させることができる。管理者は、平常時画面３４０を、メイン画面３１０、発報時画面３５０、または異常時画面３６０に遷移させることができる。管理者は、発報時画面３５０を、平常時画面３４０または異常時画面３６０に遷移させることができる。管理者は、異常時画面３６０を、平常時画面３４０または発報時画面３５０に遷移させることができる。

以下では、メイン画面３１０、設定モードトップ画面３２０、領域設定画面３３０、平常時画面３４０、発報時画面３５０、および異常時画面３６０の画面例について順に説明する。

（ａ）メイン画面３１０
図４は、メイン画面３１０の一例を示す図である。画像処理システム３００は、本実施の形態に従う画像処理プログラムを実行したときに、初期画面としてメイン画面３１０を表示する。

メイン画面３１０は、行動判別処理の開始を受け付けるためのボタン３１２と、行動判別処理に関する設定画面を開くためのボタン３１４とを含む。画像処理システム３００は、ボタン３１２の押下を検出した場合には、平常時画面３４０を表示する。また、画像処理システム３００は、ボタン３１４の押下を検出した場合には、設定モードトップ画面３２０を表示する。

（ｂ）設定モードトップ画面３２０
図５は、設定モードトップ画面３２０の一例を示す図である。設定モードトップ画面３２０は、行動判別処理に関するパラメータの設定を受け付ける。たとえば、設定モードトップ画面３２０は、後述するカメラ１０５のフレームレートの設定を受け付ける。また、設定モードトップ画面３２０は、カメラ１０５から出力される画像の明るさの設定を受け付ける。さらに、設定モードトップ画面３２０は、検出した被介護者の行動を報知する感度を示すパラメータの設定を受け付ける。さらに、設定モードトップ画面３２０は、カメラ１０５を設置する天井の高さの設定を受け付ける。設定モード画面における「更新ボタン」が押下されると、各パラメータは、画像処理システム３００に反映される。

また、設定モードトップ画面３２０は、領域設定画面３３０を開くためのボタン３２２と、メイン画面３１０を開くためのボタン３２４とを含む。画像処理システム３００は、ボタン３２２の押下を検出した場合には、領域設定画面３３０を表示する。画像処理システム３００は、ボタン３２４の押下を検出した場合には、メイン画面３１０を表示する。

設定モードトップ画面３２０は、その他のパラメータの設定を受け付けてもよい。たとえば、設定モードトップ画面３２０は、カメラ１０５に関するパラメータとして、入力画像のコントラストに関するパラメータ、カメラのズーム調整に関するパラメータ、およびカメラのパンチルト調整に関するパラメータなどの設定を受け付ける。他にも、設定モードトップ画面３２０は、室内端末１００から画像処理システム３００に送信する画像の圧縮率などの設定を受け付けてもよい。他にも、設定モードトップ画面３２０は、起床または離床などの行動を判別する時間帯などの設定を受け付けてもよい。

（ｃ）領域設定画面３３０
図６は、領域設定画面３３０の一例を示す図である。領域設定画面３３０は、上述の設定画像３０Ａ（図２）に対するベッド領域４０の設定を受け付ける。設定されたベッド領域４０は、行動判別処理で用いられる。

領域設定画面３３０は、たとえば、点４１Ａ〜４１Ｄの設定を受け付けることでベッド領域４０の設定を受け付ける。一例として、点４１Ａ〜４１Ｄは、マウス操作に連動するポインタ３３２によって入力される。画像処理システム３００は、管理者によって設定されたベッド領域４０を保存する操作を受け付けたことに基づいて、設定画像３０Ａ内でベッド領域４０を特定するための情報（たとえば、座標など）を記憶する。

なお、図６では、ベッド領域４０を設定する方法として、点４１Ａ〜４１Ｄを設定する例について説明を行なったが、ベッド領域４０は、他の方法で設定されてもよい。たとえば、画像処理システム３００は、領域設定画面３３０に対する複数の線の設定を受け付けることでベッド領域４０の設定を受け付ける。この場合、管理者は、ベッド２０を囲むように４本の線を領域設定画面３３０に対して設定する。他の方法としては、画像処理システム３００は、領域設定画面３３０に対する面の設定を受け付けることでベッド領域４０の設定を受け付ける。この場合、管理者は、領域設定画面３３０に対するドラッグ操作によりベッド２０が写っている範囲を指定する。このように、ベッド領域４０の設定方法としては、ベッド領域４０を指定することが可能な任意の方法が採用され得る。

また、図６では、ベッド領域４０を設定する方法として、矩形の領域を設定する例について説明を行なったが、ベッド領域４０は、他の形状で設定されもよい。たとえば、ベッド領域４０は、円形、楕円形、多角形（たとえば、六角形）などのその他の形状で設定されてもよい。

さらに、図６では、ポインタ３３２でベッド領域４０を設定する例について説明を行なったが、ベッド領域４０は、タッチ操作などのその他の操作で設定されもよい。

（ｄ）平常時画面３４０
図７は、平常時画面３４０の一例を示す図である。平常時画面３４０は、画像処理システム３００による行動判別処理の実行中において、監視対象の人物が危険を伴わない行動（たとえば、就寝など）を取っているときに表示される画面である。一例として、画像処理システム３００は、監視対象の人物を撮影して得られた映像をそのまま平常時画面３４０として表示する。

（ｅ）発報時画面３５０
図８は、発報時画面３５０の一例を示す図である。発報時画面３５０は、画像処理システム３００による行動判別処理の実行中において、監視対象の人物が危険を伴う行動などの発報させたい行動を取ったときに表示される画面である。

図８に示されるように、画像処理システム３００は、被介護者１０が離床したことを検出したことに基づいて、被介護者１０の離床を介護者に報知する。ある局面において、画像処理システム３００は、メッセージ３５２によって被介護者１０の離床を介護者に報知する。他の局面において、画像処理システム３００は、音声などの音によって被介護者１０の離床を介護者に報知する。これにより、画像処理システム３００は、被介護者１０の離床により生じる転倒などのリスクを未然に防ぐことができる。

なお、発報する被介護者１０の行動は、離床に限定されない。たとえば、発報する行動は、被介護者１０の起床、入床、被介護者１０に危険が生じるその他の行動を含む。

（ｆ）異常時画面３６０
図９は、異常時画面３６０の一例を示す図である。異常時画面３６０は、画像処理システム３００による後述の本処理（図１３〜図１９参照）の実行中において、行動判別処理に関する物体の領域の設定が正しくなくなったことが検出された場合に表示される画面である。たとえば、画像処理システム３００は、設定されたベッド領域４０からベッド２０がずれたことを検出したときに、行動判別処理に関する設定が正しくなくなったと判断し、異常時画面３６０を表示する。

ある局面において、画像処理システム３００は、行動判別処理に関する設定が正しくなくなったことメッセージ５０によって管理者に報知する。他の局面において、画像処理システム３００は、行動判別処理に関する設定が正しくなくなったこと音声などの音によって管理者に報知する。これにより、画像処理システム３００は、行動判別処理に関する設定を管理者に促すことができる。

［画像処理システム３００の機能構成］
図１０を参照して、画像処理システム３００の機能について説明する。図１０は、画像処理システム３００の機能構成の一例を示すブロック図である。図１０に示されるように、画像処理システム３００は、室内端末１００と、管理サーバー２００とを備える。以下では、室内端末１００および管理サーバー２００の機能について順に説明する。

（室内端末１００の機能構成）
図１０に示されるように、室内端末１００は、機能構成として、受信部１１０と、人物検出部１２０と、行動判別部１３０と、ずれ検出部１５０と、送信部１６０とを含む。

受信部１１０は、設定画像３０Ａ（図２）に対して設定されたベッド領域４０を管理サーバー２００から受信する。受信部１１０は、受信したベッド領域４０を行動判別部１３０およびずれ検出部１５０に出力する。

人物検出部１２０は、設定画像３０Ａと同じ視点から被写体を撮影して得られる入力画像３０Ｂ（図２）から人物を検出する。人物検出処理の詳細については後述する（図１７参照）。

行動判別部１３０は、入力画像３０Ｂ内のベッド領域４０と、入力画像３０Ｂ内の人物領域との間の位置関係に基づいて、ベッドに対する人物の行動を判別する。行動判別処理の詳細については後述する（図１６参照）。

ずれ検出部１５０は、設定画像３０Ａ内のベッド領域４０の画像情報と入力画像３０Ｂ内のベッド領域４０の画像情報とを比較して、または設定画像３０Ａ内のベッド領域４０近傍の画像情報と入力画像３０Ｂ内のベッド領域４０近傍の画像情報とを比較して、ベッド領域４０からベッドがずれていることを検出する。ベッドのずれを検出する処理の詳細については後述する（図１４，図１５参照）。

送信部１６０は、カメラ１０５（図２０）によって得られた設定画像３０Ａと、行動判別部１３０によって判別された行動の種類と、ずれ検出部１５０によって検出された物体のずれとを管理サーバー２００に送信する。

（管理サーバー２００の機能構成）
引き続き図１０を参照して、管理サーバー２００の機能構成について説明する。図１０に示されるように、管理サーバー２００は、機能構成として、受信部２１０と、ずれ報知部２２０と、行動報知部２３０と、受付部２４０と、送信部２５０とを含む。

受信部２１０は、カメラ１０５（図２０）から得られた設定画像３０Ａと、行動判別部１３０によって判別された行動の種類と、ずれ検出部１５０によって検出された物体のずれとを室内端末１００から受信する。

ずれ報知部２２０は、設定されたベッド領域４０からベッドがずれていることを報知する。報知手段の一例として、ずれ報知部２２０は、ベッド領域４０からベッドがずれていることをメッセージとして表示したり音声によって出力したりする。

行動報知部２３０は、ベッドに対する人物の所定の行動が検出された場合に、当該行動が検出されたことを報知する。報知対象の所定の行動は、たとえば、人物の起床、離床、監視対象の人物に危険が伴うその他の行動を含む。報知手段の一例として、行動報知部２３０は、行動の種類を示す情報をメッセージとして表示したり音声によって出力したりする。

受付部２４０は、被写体を撮影して得られた設定画像３０Ａ（図２）に対して物体を含むベッド領域４０の設定を受け付ける。一例として、受付部２４０は、設定画像３０Ａに対する複数の点の設定、設定画像３０Ａに対する複数の線の設定、および設定画像３０Ａに対する面の設定の少なくとも１つを受け付けることでベッド領域４０の設定を受け付ける。受付部２４０は、設定画像３０Ａにおけるベッドの向きの設定をさらに受け付けてもよい。

送信部２５０は、受付部２４０が受け付けた設定画像３０Ａに対するベッド領域４０の設定を室内端末１００に送信する。

［画像処理システム３００の事前処理］
図１１および図１２を参照して、行動判別処理を開始する前に実行される事前処理について説明する。図１１は、行動判別処理を開始する前に実行される事前処理を示すフローチャートである。図１１の処理は、たとえば、管理サーバー２００（図２０）のＣＰＵ（Central Processing Unit）２０２によって実行される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。図１２は、行動判別処理を開始する前に実行される事前処理を概略的に示した概念図である。

ステップＳ１０において、画像処理システム３００は、上述の受付部２４０（図１０）として、設定画像３０Ａに対するベッド領域４０の設定を受け付ける。一例として、画像処理システム３００は、ベッド２０の四端に相当する点４１Ａ〜４１Ｄの入力を受け付け、点４１Ａ〜４１Ｄで囲まれる領域をベッド領域４０とする。

ステップＳ１２において、画像処理システム３００は、設定されたベッド領域４０の四隅周辺における輝度値の分布（以下、「ヒストグラム」ともいう。）をベッド領域４０の角ごとに算出する。図１２には、点４１Ａ〜４１Ｄのうち点４１Ａ周辺における輝度値からヒストグラム６１を算出する例が示されている。たとえば、ヒストグラム６１は、点４１Ａを中心とした周辺５×５画素の輝度値から算出される。より具体的には、画像処理システム３００は、当該５×５画素の領域内において、同じ輝度値を有する画素数を輝度値ごとに算出する。

ステップＳ１４において、画像処理システム３００は、ベッド領域４０の四隅のそれぞれについて算出された４つのヒストグラムをテンプレート１０６Ａ（図２０）として記憶装置２０６（図２０）に格納する。テンプレート１０６Ａは、後述するずれ検出処理において用いられる。

［画像処理システム３００の本処理］
（本処理の概要）
図１３〜図１９を参照して、上述の事前処理の後に実行される画像処理システム３００の本処理について説明する。図１３は、画像処理システム３００の本処理を示すフローチャートである。図１３の処理は、室内端末１００のＣＰＵ１０２（図２０）や、管理サーバー２００のＣＰＵ２０２（図２０）によって実行される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。

ステップＳ４０において、画像処理システム３００は、監視対象の人物（たとえば、被介護者）を撮影して得られた入力画像をカメラ１０５（図２０）から取得する。

ステップＳ５０において、画像処理システム３００は、上述のずれ検出部１５０（図１０）として、上記事前処理において設定された行動判別処理に関する設定（たとえば、ベッド領域４０の設定）に異常があるか否かを判断する。異常検出処理の詳細については後述する（図１４，図１５参照）。

ステップＳ５２において、画像処理システム３００は、行動判別処理に関する設定に異常があると判断した場合（ステップＳ５２においてＹＥＳ）、制御をステップＳ６２に切り替える。そうでない場合には（ステップＳ５２においてＮＯ）、画像処理システム３００は、制御をステップＳ６０に切り替える。

ステップＳ６０において、画像処理システム３００は、上述の行動判別部１３０として（図１０）、被介護者の行動判別処理を実行する。行動判別処理の詳細については後述する（図１６参照）。

ステップＳ６２において、画像処理システム３００は、本実施の形態に従う画像処理を終了するか否かを判断する。たとえば、画像処理システム３００は、管理者から処理を中断する操作を受け付けた場合に、本実施の形態に従う画像処理を終了すると判断する（ステップＳ６２においてＹＥＳ）。そうでない場合には（ステップＳ６２においてＮＯ）、画像処理システム３００は、制御をステップＳ６４に切り替える。

ステップＳ６４において、画像処理システム３００は、次の入力画像をカメラ１０５から取得する。これにより、画像処理システム３００は、時系列の画像に対して本実施の形態に従う画像処理を順次実行する。

以下では、ステップＳ５０の異常検出処理、およびステップＳ６０の行動判別処理の詳細について順に説明する。

（ａ）異常検出処理の詳細
図１４および図１５を参照して、画像処理システム３００の異常検出処理について詳細に説明する。図１４は、図１３のステップＳ５０で実行される異常検出処理を示すフローチャートである。図１４の処理は、室内端末１００のＣＰＵ１０２（図２０）や、管理サーバー２００のＣＰＵ２０２（図２０）によって実行される。図１５は、異常検出処理を概略的に示した概念図である。

上述したように、画像処理システム３００は、異常検出処理により、行動判別処理に関して設定された内容が正常でなくなったことを検出する。

より具体的には、ステップＳ１０２において、画像処理システム３００は、設定画像３０Ａ（図２）に対して設定されたベッド領域４０に対応する領域である入力画像３０Ｂ（図２）のベッド領域４０の四隅周辺から、各角の輝度値の分布（すなわち、ヒストグラム）を算出する。

ステップＳ１０４において、画像処理システム３００は、設定画像３０Ａ内のベッド領域４０および入力画像３０Ｂ内のベッド領域４０において互いに対応する角周辺のヒストグラムを比較する。図１５には、設定画像３０Ａにおけるベッド領域４０の左上周辺のヒストグラム６１と、入力画像３０Ｂにおけるベッド領域４０の左上周辺のヒストグラム６２とを比較している例が示されている。画像処理システム３００は、ヒストグラム６１，６２のいずれか一方のヒストグラムから他方のヒストグラムを差分する。その後、画像処理システム３００は、差分した結果の絶対値和を算出する。この絶対値和が大きい値を示すほど、設定画像３０Ａにおけるベッド領域４０の画像情報と、入力画像３０Ｂにおけるベッド領域４０の画像情報とが異なっているということが示される。すなわち、このことは、予め設定されたベッド領域４０からベッドがずれていることを示す。

ステップＳ１０４において、画像処理システム３００は、絶対値和が経験的に予め設定された閾値よりも大きいと判断した場合（ステップＳ１０４においてＹＥＳ）、制御をステップＳ１２０に切り替える。そうでない場合には（ステップＳ１０４においてＮＯ）、画像処理システム３００は、制御をステップＳ１１０に切り替える。

ステップＳ１１０において、画像処理システム３００は、行動判別処理に関する設定内容が「正常」であると判断する。すなわち、画像処理システム３００は、予め設定されたベッド領域４０からベッドがずれていないと判断する。

ステップＳ１２０において、画像処理システム３００は、行動判別処理に関する設定内容が「異常」であると判断する。すなわち、画像処理システム３００は、予め設定されたベッド領域４０からベッドがずれていると判断する。ステップＳ１２２において、画像処理システム３００は、上述のずれ報知部２２０（図１０）として、予め設定されたベッド領域４０からベッドがずれていることを管理者に報知する。

なお、ベッドのずれを検出する方法は、図１４および図１５に示される例に限定されない。たとえば、画像処理システム３００は、設定画像３０Ａのベッド領域４０と入力画像３０Ｂのベッド領域４０との両方から、ベッドの特徴的な部分（たとえば、エッジ部分）を示す特徴量を抽出し、抽出した２つの特徴量を比較することでベッドのずれを検出してもよい。

また、画像処理システム３００は、設定画像３０Ａにおけるベッド領域４０内のベッドの向きと入力画像３０Ｂにおけるベッド領域４０内のベッドの向きとを比較することにより、ベッドのずれを検出してもよい。画像処理システム３００は、これらの向きが所定角度以上に異なる場合に、ベッドがずれていると判断する。

さらに、画像処理システム３００は、画像処理以外の方法でベッドのずれを検出してもよい。たとえば、画像処理システム３００は、距離センサ（図示しない）からの出力を用いてベッドのずれを検出する。より具体的には、距離センサは、ベッド周辺に設置され、自身とベッドとの間の距離を計測する。画像処理システム３００は、当該距離が予め設定された距離範囲に含まれなくなったことに基づいて、ベッドがずれていると判断する。他にも、画像処理システム３００は、サーモグラフィなどのセンサ、ベッドの位置を検出できるその他のセンサを用いて、ベッドのずれを検出してもよい。また、画像処理システム３００は、このようなセンサによるベッドのずれの検出結果と、上述の画像処理によるベッドのずれの検出結果とを組み合わせてベッドのずれを検出してもよい。

さらに、異常検出の対象となる行動判別処理の設定内容は、ベッド領域４０のずれに限定されない。画像処理システム３００は、人物１２の行動判別処理に関する任意の設定内容に対して異常を判断することができる。たとえば、画像処理システム３００が行動判別処理に用いない領域（以下、「除外領域」ともいう。）の設定を受け付ける場合には、画像処理システム３００は、除外領域のずれを検出し、当該除外領域がずれていることを管理者に報知するように構成されてもよい。

（ｂ）行動判別処理の詳細
図１６〜図１９を参照して、画像処理システム３００の行動判別処理について詳細に説明する。図１６は、図１３のステップＳ６０で実行される行動判別処理を示すフローチャートである。

ステップＳ１５２において、画像処理システム３００は、上述の人物検出部１２０として（図１０）、入力画像３０Ｂ（図２）から人物領域を検出する。人物領域検出処理の詳細については後述する（図１７参照）。

ステップＳ１５４において、画像処理システム３００は、入力画像３０Ｂ内のベッド領域４０と、入力画像３０Ｂ内の人物領域との間の相対的な位置関係に基づいて、入力画像３０Ｂに写っている人物が起床したか否かを判別する。起床判別処理の詳細については後述する（図１８参照）。

ステップＳ１５６において、画像処理システム３００は、入力画像３０Ｂ内のベッド領域４０と、入力画像３０Ｂ内の人物領域との間の相対的な位置関係に基づいて、入力画像３０Ｂに写っている人物が離床したか否かを判別する。起床判別処理の詳細については後述する（図１９参照）。

以下では、ステップＳ１５２の人物領域の抽出処理、Ｓ１５４の起床判別処理、およびＳ１５６の起床判別処理の詳細について順に説明する。

（ｂ−１）人物領域の抽出処理
図１７を参照して、入力画像３０Ｂから人物領域を抽出する処理について説明する。図１７は、図１６のステップＳ１５２で実行される人物領域の抽出（検出）処理の概略を示すフローチャートである。

人物領域の抽出処理は、たとえば、入力画像から背景画像を差分する背景差分や、撮影時刻が前後である画像を差分する時間差分によって実現される。図１７には、背景差分によって入力画像３０Ｂから人物領域７０を抽出する処理が概略的に示されている。

より具体的には、画像処理システム３００は、人物が写っていない背景画像３０Ｃを予め取得しておく。背景画像３０Ｃは、上述の設定画像３０Ａ（図２）と同一の画像であってもよいし、設定画像３０Ａとは別に得られた画像であってもよい。

画像処理システム３００は、カメラ１０５（図２０）から入力画像３０Ｂを取得すると、入力画像３０Ｂから背景画像３０Ｃを差分する。これにより、画像処理システム３００は、入力画像３０Ｂから背景を除くことができる。画像処理システム３００は、所定値以上の画素値を有する領域を人物領域７０とする。

なお、人物領域７０は、図１７に示される方法とは異なる方法で抽出されてもよい。たとえば、画像処理システム３００は、人物の特徴的な部分（すなわち、特徴量）をテンプレートとして予め準備しておき、入力画像３０Ｂを走査することにより当該テンプレートと類似する領域を探索する。画像処理システム３００は、入力画像３０Ｂ内でテンプレートと類似する領域を探索できた場合には、当該領域を人物領域７０とする。他にも、人物領域７０は、オプティカルフローやトラッキングなどのその他の画像処理技術によって抽出されてもよい。

（ｂ−２）起床判別処理
図１８を参照して、画像処理システム３００の起床判別処理について詳細に説明する。図１８は、図１６のステップＳ１５４で実行される起床判別処理を示すフローチャートである。

ステップＳ２０２において、画像処理システム３００は、入力画像３０Ｂに写っている人物１２（図１７）の現在の行動状態が「起床前」であるか否かを判断する。画像処理システム３００は、当該人物の現在の行動状態が「起床前」であると判断した場合（ステップＳ２０２においてＹＥＳ）、制御をステップＳ２０４に切り替える。そうでない場合には（ステップＳ２０２においてＮＯ）、画像処理システム３００は、起床判別処理を終了する。

ステップＳ２０４において、画像処理システム３００は、ベッド領域外に占める人物領域Ｓ１（図１７）の大きさと、ベッド領域内に占める人物領域Ｓ２（図１７）の大きさとの少なくとも一方に基づいて、入力画像３０Ｂに写っている人物１２の行動を判別する。たとえば、画像処理システム３００は、ベッド領域外の人物領域Ｓ１の画素数が予め経験的に設定されている閾値Ｔｈ１よりも大きいか否かを判断する。画像処理システム３００は、ベッド領域外の人物領域Ｓ１の画素数が閾値Ｔｈ１よりも大きいと判断した場合（ステップＳ２０４においてＹＥＳ）、制御をステップＳ２２０に切り替える。そうでない場合には（ステップＳ２０４においてＮＯ）、画像処理システム３００は、制御をステップＳ２１０に切り替える。

ステップＳ２１０において、画像処理システム３００は、入力画像３０Ｂに写っている人物１２の現在の行動状態を「起床前」とする。

ステップＳ２２０において、画像処理システム３００は、入力画像３０Ｂに写っている人物１２が起床したものとして判断し、当該人物１２の起床を報知する。ステップＳ２２２において、画像処理システム３００は、入力画像３０Ｂに写っている人物１２の現在の行動状態を「起床後」とする。

このように、画像処理システム３００は、入力画像３０Ｂのベッド領域４０外に占める人物領域Ｓ１が閾値Ｔｈ１を超えたことに基づいて、人物１２が起床したと判断する。すなわち、画像処理システム３００は、入力画像３０Ｂのベッド領域４０外に占める人物領域Ｓ１の大きさを入力画像３０Ｂから時系列の順に算出し、順次算出される人物領域Ｓ１の大きさが閾値Ｔｈ１よりも大きくなったことに基づいて、人物１２が起床したと判別する。言い換えると、画像処理システム３００は、前回の人物領域Ｓ１の大きさが閾値Ｔｈ１よりも小さく、今回の人物領域Ｓ１の大きさが当該閾値Ｔｈ１よりも大きくなった場合に、人物１２が起床したと判別する。

あるいは、画像処理システム３００は、入力画像３０Ｂのベッド領域４０内に占める人物領域Ｓ２の大きさを入力画像３０Ｂから時系列の順に算出し、順次算出される人物領域Ｓ２の大きさが所定閾値よりも小さくなったことに基づいて、人物１２が起床したと判別してもよい。言い換えると、画像処理システム３００は、前回の人物領域Ｓ２の大きさが所定閾値よりも大きく、今回の人物領域Ｓ２の大きさが当該所定閾値よりも小さくなった場合に、人物１２が起床したと判別する。

なお、上述では、画像処理システム３００が２枚以上の入力画像３０Ｂを用いて人物１２の起床を判別する例について説明を行なったが、画像処理システム３００は、１枚の入力画像３０Ｂを用いて人物１２の起床を判別してもよい。この場合、画像処理システム３００は、人物領域Ｓ２が入力画像３０Ｂのベッド領域４０のエッジ上に存在する場合に、人物１２が起床したと判別する。たとえば、画像処理システム３００は、入力画像３０Ｂのベッド領域４０外の人物領域Ｓ１が所定閾値よりも大きく、かつ、入力画像３０Ｂのベッド領域４０内の人物領域Ｓ２が所定閾値より大きい場合に、人物１２が起床したと判別する。また、画像処理システム３００は、人物領域Ｓ１と人物領域Ｓ２との比率を用いて、人物１２の起床を判別してもよい。

（ｂ−３）離床判別処理
図１９を参照して、画像処理システム３００の離床判別処理について詳細に説明する。図１９は、図１６のステップＳ１５６で実行される離床判別処理を示すフローチャートである。

ステップＳ２５２において、画像処理システム３００は、入力画像３０Ｂに写っている人物１２（図１７）の現在の行動状態が「離床前」であるか否かを判断する。画像処理システム３００は、当該人物の現在の行動状態が「離床前」であると判断した場合（ステップＳ２５２においてＹＥＳ）、制御をステップＳ２５４に切り替える。そうでない場合には（ステップＳ２５２においてＮＯ）、画像処理システム３００は、離床判別処理を終了する。

ステップＳ２５４において、画像処理システム３００は、ベッド領域外に占める人物領域Ｓ１（図１７）の大きさと、ベッド領域内に占める人物領域Ｓ２（図１７）の大きさとの少なくとも一方に基づいて、入力画像３０Ｂに写っている人物１２の行動を判別する。たとえば、画像処理システム３００は、ベッド領域内の人物領域Ｓ２の画素数が予め経験的に設定されている閾値Ｔｈ２よりも小さいか否かを判断する。画像処理システム３００は、ベッド領域内の人物領域Ｓ２の画素数が閾値Ｔｈ２よりも小さいと判断した場合（ステップＳ２５４においてＹＥＳ）、制御をステップＳ２７０に切り替える。そうでない場合には（ステップＳ２５４においてＮＯ）、画像処理システム３００は、制御をステップＳ２６０に切り替える。

ステップＳ２６０において、画像処理システム３００は、入力画像３０Ｂに写っている人物１２の現在の行動状態を「離床前」とする。

ステップＳ２７０において、画像処理システム３００は、入力画像３０Ｂに写っている人物１２が離床したものとして判断し、当該人物１２の離床を報知する。ステップＳ２７２において、画像処理システム３００は、入力画像３０Ｂに写っている人物１２の現在の行動状態を「離床後」とする。

このように、画像処理システム３００は、入力画像３０Ｂのベッド領域４０内に占める人物領域Ｓ２が閾値Ｔｈ２を下回ったことに基づいて、人物１２が離床したと判断する。すなわち、画像処理システム３００は、入力画像３０Ｂのベッド領域４０内に占める人物領域Ｓ２の大きさを入力画像３０Ｂから時系列の順に算出し、当該人物領域Ｓ２の大きさが閾値Ｔｈ２よりも小さくなったことに基づいて、人物１２が離床したと判別する。

あるいは、画像処理システム３００は、入力画像３０Ｂのベッド領域４０外に占める人物領域Ｓ１の大きさを入力画像３０Ｂから時系列の順に算出し、当該人物領域Ｓ１の大きさが閾値Ｔｈ２よりも大きくなったことに基づいて、人物１２が離床したと判別してもよい。

なお、上述では、画像処理システム３００が２枚以上の入力画像３０Ｂを用いて人物１２の離床を判別する例について説明を行なったが、画像処理システム３００は、１枚の入力画像３０Ｂを用いて人物１２の離床を判別してもよい。この場合、たとえば、画像処理システム３００は、人物領域の全部がベッド領域４０外に存在しているときに、人物１２の離床を判別する。また、画像処理システム３００は、ベッド領域４０外に占める人物領域Ｓ１と、ベッド領域４０内に占める人物領域Ｓ２との比率を用いて、人物１２の離床を判別してもよい。

［画像処理システム３００のハードウェア構成］
図２０を参照して、画像処理システム３００のハードウェア構成の一例について説明する。図２０は、画像処理システム３００の主要なハードウェア構成を示すブロック図である。図２０に示されるように、画像処理システム３００は、室内端末１００と、管理サーバー２００と、ネットワーク４００とを含む。室内端末１００および管理サーバー２００は、ネットワーク４００を介して接続されている。以下では、室内端末１００のハードウェア構成と、管理サーバー２００のハードウェア構成とについて順に説明する。

（室内端末１００のハードウェア構成）
図２０に示されるように、室内端末１００は、ＲＯＭ（Read Only Memory）１０１と、ＣＰＵ１０２と、ＲＡＭ（Random Access Memory）１０３と、ネットワークＩ／Ｆ（インタフェース）１０４と、カメラ１０５と、記憶装置１０６とを含む。

ＲＯＭ１０１は、オペレーティングシステム（ＯＳ：Operating System）、室内端末１００で実行される制御プログラムなどを格納する。ＣＰＵ１０２は、オペレーティングシステムや室内端末１００の制御プログラムなどの各種プログラムを実行することで、室内端末１００の動作を制御する。ＲＡＭ１０３は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。

ネットワークＩ／Ｆ１０４には、アンテナやＮＩＣ（Network Interface Card）などの情報送受信装置が接続される。室内端末１００は、当該情報送受信装置を介して、他の通信機器との間でデータを送受信する。他の通信機器は、たとえば、管理サーバー２００、その他の通信機器などを含む。室内端末１００は、本実施の形態に従う各種の処理を実現するためのプログラムを、ネットワーク４００を介してダウンロードできるように構成されてもよい。

カメラ１０５、たとえば、監視カメラまたは被写体を撮影することが可能なその他の撮像装置である。なお、カメラ１０５は、室内端末１００と別個に構成されてもよいし、図２０に示されるように室内端末１００と一体的に構成されてもよい。

記憶装置１０６は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。一例として、記憶装置１０６は、ベッド領域４０と、テンプレート１０６Ａと、本実施の形態に従う各種の処理を実現するための画像処理プログラム１０６Ｂとを記憶する。

ベッド領域４０は、設定画像や入力画像内でベッドが写っている領域を特定するための情報である。たとえば、ベッド領域４０は、ベッドの四隅を示す座標値で示される。

テンプレート１０６Ａは、たとえば、ベッド領域４０の四隅周辺のそれぞれについて算出された４つのヒストグラムに相当する（図１２参照）。ベッド領域４０、テンプレート１０６Ａ、および画像処理プログラム１０６Ｂは、記憶装置１０６ではなく、室内端末１００やサーバーなどに格納されてもよい。

なお、画像処理プログラム１０６Ｂは、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う画像処理システム３００の趣旨を逸脱するものではない。さらに、本実施の形態に従う画像処理プログラム１０６Ｂによって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、室内端末１００と管理サーバー２００とが協働して、本実施の形態に従う処理を実現するようにしてもよい。さらに、少なくとも１つのサーバーが本実施の形態に従う処理を実現する、所謂クラウドサービスのような形態で管理サーバー２００が構成されてもよい。

（管理サーバー２００のハードウェア構成）
次に、管理サーバー２００のハードウェア構成について説明する。図２０に示されるように、管理サーバー２００は、ＲＯＭ２０１と、ＣＰＵ２０２と、ＲＡＭ２０３と、ネットワークＩ／Ｆ２０４と、モニタ２０５と、記憶装置２０６とを含む。

ＲＯＭ２０１は、オペレーティングシステム、管理サーバー２００で実行される制御プログラムなどを格納する。ＣＰＵ２０２は、オペレーティングシステムや管理サーバー２００の制御プログラムなどの各種プログラムを実行することで、管理サーバー２００の動作を制御する。ＲＡＭ２０３は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。

ネットワークＩ／Ｆ２０４には、アンテナやＮＩＣなどの情報送受信装置が接続される。管理サーバー２００は、当該情報送受信装置を介して、他の通信機器との間でデータを送受信する。他の通信機器は、たとえば、室内端末１００、その他の通信機器などを含む。管理サーバー２００は、本実施の形態に従う各種の処理を実現するためのプログラムを、ネットワーク４００を介してダウンロードできるように構成されてもよい。

モニタ２０５は、メイン画面３１０（図４）、設定モードトップ画面３２０（図５）、領域設定画面３３０（図６）、平常時画面３４０（図７）、発報時画面３５０（図８）、および異常時画面３６０（図９）などの画面を表示する。なお、モニタ２０５は、タッチセンサ（図示しない）と組み合わされてタッチパネルとして実現されてもよい。タッチパネルは、上述のベッド領域の設定や画面の切り替え操作などをタッチ操作で受け付ける。

記憶装置２０６は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。一例として、記憶装置２０６は、本実施の形態に従う各種の処理を実現するための画像処理プログラムを記憶する。

［小括］
以上のようにして、本実施の形態に従う画像処理システム３００は、ベッドが当初設定されたベッド領域４０からずれた場合に、ベッド２０のずれを自動で検出し、ベッドがずれたことを管理者に報知する。予め設定されているベッド領域４０は、監視対象の人物の行動判別処理に用いられるため、ベッドのずれは、行動判別処理の精度に大きく影響する。画像処理システム３００は、ベッドがずれていることを管理者に報知することで、ベッド領域の設定を修正するように管理者に促すことができる。これにより、画像処理システム３００は、行動判別処理の精度が低下することを防止でき、起床や離床が誤って報知されることによって介護者にかかる負担を軽減することができる。

＜第２の実施の形態＞
［概要］
第１の実施の形態に従う画像処理システム３００は、ベッド領域４０からベッドがずれている場合には、必ず、当該ずれを報知していた。これに対して、第２の実施の形態に従う画像処理システム３００Ａは、ベッド領域４０からベッドがずれている場合であっても、当該ずれを報知しない場合がある。たとえば、以下の条件（Ａ）〜（Ｃ）が満たされた場合には、画像処理システム３００Ａは、ベッドがずれていることを報知しない。

（Ａ）ずれを報知しないように設定されている場合
画像処理システム３００Ａは、ベッド領域４０からベッドがずれている場合であっても、当該ずれを報知しないように管理者によって設定されているときには、当該ずれを報知しない。

（Ｂ）カメラ１０５の設置条件が所定の禁止条件を満たした場合
カメラ１０５の設置条件が変わった場合には、ベッドがずれていないにもかかわらずベッドがずれたと判断される可能性がある。そのため、画像処理システム３００Ａは、ベッド領域４０からベッドがずれている場合であっても、カメラ１０５の設置条件が所定の禁止条件を満たしたときに、当該ずれを報知しない。一例として、当該禁止条件は、カメラ１０５のメンテナンスなどにより、カメラ１０５の方向が予め設定されている方向から外れているときに満たされる。

（Ｃ）入力画像に示される環境が所定の条件を満たした場合
画像処理システム３００Ａは、ベッド領域４０からベッドがずれている場合であっても、入力画像に示される環境が所定の条件を満たしたときには、当該ずれを報知しない。

一例として、カメラ１０５の周囲の照明環境が変化したときには、入力画像の画像情報が全体的に変化するため、ベッドがずれていないにもかかわらずベッドがずれたと判断される可能性がある。そのため、画像処理システム３００Ａは、カメラ１０５の周囲の照明環境が変化したと判断したときには、ベッドのずれを報知しない。より具体的には、画像処理システム３００Ａは、入力画像の画像情報からカメラ１０５の周囲の明るさを順次算出し、前回の明るさよりも今回の明るさが所定値以上変化した場合に、照明条件が変化したと判断する。当該明るさは、たとえば、入力画像の各画素値の平均値で示される。

また、家族や介護者などが被介護者の近くにいる場合には、被介護者の行動を監視する必要性が低い。そのため、画像処理システム３００Ａは、入力画像から２人以上の人物を検出したときに、入力画像に示される環境が所定の条件を満たしたと判断し、ベッドのずれを報知しない。

さらに、カメラ１０５の視野から被介護者がはずれた場合には、被介護者の行動を監視できないため、被介護者の行動を監視しても意味がない。そのため、画像処理システム３００Ａは、被介護者がベッドから所定距離よりも離れた場合には、入力画像に示される環境が所定の条件を満たしたと判断し、ベッドのずれを報知しない。たとえば、被介護者とベッドとの間の距離は、上述の人物領域の抽出処理によって算出される。

あるいは、当該距離は、ＲＦＩＤ（Radio Frequency Identifier）などのタグを用いて算出されてもよい。ＲＦＩＤは、ＩＤ（Identification）情報を保持し、電磁界や電波などを用いた近距離無線通信によって読み取り機と情報をやり取りする。読み取り機は、ベッドあるいはベッド周辺に設けられる。読み取り機は、たとえば、自身から数ｃｍ〜数ｍの範囲内にある場合に、ＲＦＩＤと情報をやり取りできる。すなわち、ＲＦＩＤを保持する被介護者が読み取り機から所定距離以内にいる場合には、読み取り機は、ＲＦＩＤと情報をやり取りできる。一方で、読み取り機は、ＲＦＩＤを保持する被介護者が読み取り機から所定距離よりも離れた場合には、読み取り機は、ＲＦＩＤと情報をやり取りできない。このことを利用して、画像処理システム３００Ａは、読み取り機がＲＦＩＤと情報をやり取りできない場合に、被介護者がベッドから所定距離よりも離れたと判断する。

［異常検出処理の変形例１］
図２１を参照して、図１４に示される異常検出処理の変形例について説明する。図２１は、図１４に示される異常検出処理の変形例を示すフローチャートである。図２１に示される各ステップのうちステップＳ２５０以外の処理は、図１４に示される各ステップと同じであるのでそれらの説明については繰り返さない。

上述したように、画像処理システム３００Ａは、ベッド領域４０からベッドがずれている場合であっても、当該ずれを報知しない場合がある。当該ずれを報知するか否かは、図２１のステップＳ２５０によって判断される。

より具体的には、ステップＳ２５０において、画像処理システム３００Ａは、ベッドがずれていることを報知するか否かを判断する。たとえば、画像処理システム３００Ａは、上記条件（Ａ）〜（Ｃ）が満たされた場合に、ベッドがずれていることを報知しないと判断する。画像処理システム３００Ａは、ベッドがずれていることを報知すると判断した場合（ステップＳ２５０においてＹＥＳ）、制御をステップＳ１２２に切り替える。そうでない場合には（ステップＳ２５０においてＮＯ）、画像処理システム３００Ａは、異常検出処理を終了する。

なお、ずれの報知を禁止する時間は任意である。たとえば、画像処理システム３００Ａは、上記条件（Ａ）〜（Ｃ）が満たされてから一定時間の間だけずれの報知を禁止する。あるいは、画像処理システム３００Ａは、上記条件（Ａ）〜（Ｃ）が満たされてから、報知の禁止を取りやめる操作を管理者から受け付けるまで、ずれの報知を禁止してもよい。あるいは、画像処理システム３００Ａは、上記条件（Ａ）〜（Ｃ）が満たされてから、上記条件（Ａ）〜（Ｃ）が満たされなくなるまでの間、ずれの報知を禁止してもよい。

［異常検出処理の変形例２］
以下では、異常検出処理の変形例２について説明する。異常検出処理の変形例１では、画像処理システム３００Ａは、上記条件（Ａ）〜（Ｃ）が満たされた場合に、ベッドのずれを報知しなかった。これに対して、本変形例では、画像処理システム３００Ａは、上記条件（Ａ）〜（Ｃ）が満たされた場合に、ベッドのずれを検出するための条件を現在設定されている条件よりも厳しくする。

たとえば、画像処理システム３００Ａは、上記条件（Ａ）〜（Ｃ）が満たされた場合に、図１４のステップＳ１０４に示される所定閾値を現在の値よりも大きくする。これにより、ベッドがベッド領域４０からずれていると判断されにくくなり、ベッドのずれを誤報することが抑制される。

［小括］
以上のようにして、第２の実施の形態に従う画像処理システム３００Ａは、上記条件（Ａ）〜（Ｃ）が満たされた場合に、ベッドがずれていることを報知しない。これにより、画像処理システム３００Ａは、ベッドがずれていないにもかかわらず、ベッドのずれが報知されることを防止することができる。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１０ 被介護者、１２ 人物、２０ ベッド、３０Ａ 設定画像、３０Ｂ 入力画像、３０Ｃ 背景画像、４０ ベッド領域、４１Ａ〜４１Ｄ 点、５０，３５２ メッセージ、６１，６２ ヒストグラム、７０，Ｓ１，Ｓ２ 人物領域、１００ 室内端末、１０１，２０１ ＲＯＭ、１０２，２０２ ＣＰＵ、１０３，２０３ ＲＡＭ、１０４，２０４ ネットワークＩ／Ｆ、１０５ カメラ、１０６，２０６ 記憶装置、１０６Ａ テンプレート、１０６Ｂ 画像処理プログラム、１１０，２１０ 受信部、１２０ 人物検出部、１３０ 行動判別部、１５０ ずれ検出部、１６０，２５０ 送信部、２００ 管理サーバー、２０５ モニタ、２２０ ずれ報知部、２３０ 行動報知部、２４０ 受付部、３００，３００Ａ 画像処理システム、３１０ メイン画面、３１２，３１４，３２２，３２４ ボタン、３２０ 設定モードトップ画面、３３０ 領域設定画面、３３２ ポインタ、３４０ 平常時画面、３５０ 発報時画面、３６０ 異常時画面、４００ ネットワーク、Ｔｈ１，Ｔｈ２ 閾値。

Claims (13)

1. 被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、
   前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、
   前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するための行動判別部と、
   前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するためのずれ検出部と、
   前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から前記入力画像内の前記物体がずれていることを報知するための報知部とを備え、
   前記報知部は、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定の条件を満たした場合には、前記ずれが検出されたときであっても、前記物体がずれていることを報知しない、画像処理システム。
2. 被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、
   前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、
   前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するための行動判別部と、
   前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するためのずれ検出部と、
   前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から前記入力画像内の前記物体がずれていることを報知するための報知部とを備え、
   前記報知部は、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定条件を満たした場合には、前記ずれ検出部が前記ずれを検出するための条件を現在設定されている条件よりも厳しくする、画像処理システム。
3. 前記受付部は、前記基準画像に対する複数の点の設定、前記基準画像に対する複数の線の設定、および前記基準画像に対する面の設定の少なくとも１つを受け付けることで前記物体を含む領域の設定を受け付ける、請求項１または２に記載の画像処理システム。
4. 前記受付部は、前記基準画像における前記物体の向きの設定をさらに受け付ける、請求項３に記載の画像処理システム。
5. 前記行動判別部は、前記入力画像の前記物体を含む領域内に占める人物領域の大きさと、前記入力画像の前記物体を含む領域外に占める人物領域の大きさとの少なくとも一方に基づいて、前記人物の行動を判別する、請求項１〜４のいずれか１項に記載の画像処理システム。
6. 前記物体は、寝具であり、
   前記人物検出部は、時系列の複数の前記入力画像から人物領域を順次検出し、
   前記行動判別部は、
   前記入力画像の前記物体を含む領域外に占める人物領域の大きさを順次算出し、
   順次算出される前記人物領域の大きさが所定閾値よりも大きくなったことに基づいて、前記人物が起床したと判別する、請求項５に記載の画像処理システム。
7. 前記物体は、寝具であり、
   前記人物検出部は、時系列の複数の前記入力画像から人物領域を順次検出し、
   前記行動判別部は、
   前記入力画像の前記物体を含む領域内に占める人物領域の大きさを順次算出し、
   順次算出される前記人物領域の大きさが所定閾値よりも小さくなったことに基づいて、前記人物が離床したと判別する、請求項５に記載の画像処理システム。
8. 被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、
   前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、
   前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するための行動判別部と、
   前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するためのずれ検出部と、
   前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から前記入力画像内の前記物体がずれていることを報知するための報知部とを備え、
   前記報知部は、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定の条件を満たした場合には、前記ずれが検出されたときであっても、前記物体がずれていることを報知しない、画像処理装置。
9. 被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるための受付部と、
   前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するための人物検出部と、
   前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するための行動判別部と、
   前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するためのずれ検出部と、
   前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から前記入力画像内の前記物体がずれていることを報知するための報知部とを備え、
   前記報知部は、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定条件を満たした場合には、前記ずれ検出部が前記ずれを検出するための条件を現在設定されている条件よりも厳しくする、画像処理装置。
10. 被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、
    前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するステップと、
    前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するステップと、
    前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するステップと、
    前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から入力画像内の前記物体がずれていることを報知するステップとを備え、
    前記報知するステップは、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定の条件を満たした場合には、前記ずれが検出されたときであっても、前記物体がずれていることを報知しないステップを含む、画像処理方法。
11. 被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、
    前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するステップと、
    前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するステップと、
    前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するステップと、
    前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から入力画像内の前記物体がずれていることを報知するステップとを備え、
    前記報知するステップは、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定条件を満たした場合には、前記検出するステップにおいて前記ずれを検出するための条件を現在設定されている条件よりも厳しくするステップを含む、画像処理方法。
12. 画像処理プログラムであって、
    前記画像処理プログラムは、コンピュータに、
    被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、
    前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するステップと、
    前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するステップと、
    前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するステップと、
    前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から入力画像内の前記物体がずれていることを報知するステップとを実行させ、
    前記報知するステップは、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定の条件を満たした場合には、前記ずれが検出されたときであっても、前記物体がずれていることを報知しないステップを含む、画像処理プログラム。
13. 画像処理プログラムであって、
    前記画像処理プログラムは、コンピュータに、
    被写体を撮影して得られた基準画像に対して物体を含む領域の設定を受け付けるステップと、
    前記基準画像と同じ視点から前記被写体を撮影して得られる入力画像から人物領域を検出するステップと、
    前記入力画像内の前記物体を含む領域と、前記入力画像内の前記人物領域との間の位置関係に基づいて、前記人物領域内の人物の行動を判別するステップと、
    前記基準画像内の前記物体を含む領域の画像情報と前記入力画像内の前記物体を含む領域の画像情報とを比較して、または前記基準画像内の前記物体を含む領域近傍の画像情報と前記入力画像内の前記物体を含む領域近傍の画像情報とを比較して、前記物体を含む領域から前記物体がずれていることを検出するステップと、
    前記物体のずれが検出されたときに、前記人物の行動を判別せずに、設定された前記物体を含む領域から入力画像内の前記物体がずれていることを報知するステップとを実行させ、
    前記報知するステップは、前記ずれを報知しないように設定されている場合、前記入力画像を生成するカメラの設置条件が所定の禁止条件を満たした場合、または、前記入力画像に示される環境が所定条件を満たした場合には、前記検出するステップにおいて前記ずれを検出するための条件を現在設定されている条件よりも厳しくするステップを含む、画像処理プログラム。

Images