JP6264181B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

医療や介護などの施設において、看護側が気付かないうちに患者がベッドから離れ、徘徊や転倒等の事故が起きることがある。かかる事故の発生を抑制する技術の一例として、次のような安全看護システムが提案されている。

上記の安全看護システムでは、ベッドの上面の側端を含めて撮像可能な位置にカメラが配置される。このようなカメラが設置された状況の下、同システムは、カメラによって撮像された画像を用いて、患者の頭部を画像処理によって検出および追跡し、画像上の頭部の位置および位置の変動から患者の動作、例えば起き上がる動作やベッドから降りる動作を認識する。

特開２０１２−７１００３号公報

しかしながら、上記の技術では、患者でない来床者の頭部が患者の頭部と誤検出される場合がある。

すなわち、上記の安全看護システムでは、画像処理によって頭部が検出されるが、その頭部が患者であるのか、あるいは見舞客や医療または介護のスタッフなどの来床者の頭部であるのかまでは弁別できない。それ故、上記の安全看護システムでは、カメラが撮像する画像に来床者の頭部が映る場合には、画像に映る来床者の頭部を患者の頭部と誤検出してしまうことがある。

１つの側面では、本発明は、患者でない来床者の頭部が患者の頭部と誤検出されるのを抑制できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

一態様の画像処理装置は、画像を取得する取得部と、前記画像の監視対象領域内で人間の頭部の有無を探索する探索部と、前記頭部が検出された際、検出された頭部が観察対象の患者の頭部か否かを患者の顔の向きに基づいて判断し、患者であれば前記頭部を追跡して起床または離床を判定させ、前記顔の向きが判断不能な場合に、検出された頭部の動きが検出されている場合は頭部を追跡する制御部とを有する。

患者でない来床者の頭部が患者の頭部と誤検出されるのを抑制できる。

図１は、実施例１に係る画像処理装置の機能的構成を示すブロック図である。 図２は、学習方法の一例を示す図である。 図３は、スキャニング方法の一例を示す図である。 図４は、対象領域の一例を示す図である。 図５は、学習方法の一例を示す図である。 図６は、顔の向きの相対角度の算出方法の一例を示す図である。 図７は、画像の一例を示す図である。 図８は、起床ライン及び離床ラインの一例を示す図である。 図９は、実施例１に係る初期設定処理の手順を示すフローチャートである。 図１０は、実施例１に係る探索処理の手順を示すフローチャートである。 図１１は、実施例１に係る追跡処理の手順を示すフローチャートである。 図１２は、効果の一側面を示す図である。 図１３は、効果の一側面を示す図である。 図１４は、応用例に係る探索処理の手順を示すフローチャートである。 図１５は、実施例１及び実施例２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

以下に添付図面を参照して本願に係る画像処理装置、画像処理方法及び画像処理プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［画像処理装置の構成］
図１は、実施例１に係る画像処理装置の機能的構成を示すブロック図である。図１に示す画像処理装置１０は、カメラ２０によって撮像された画像上で患者の頭部を探索および追跡し、患者の起床または離床の少なくとも一方の動作を検出する画像処理を実行するものである。なお、図１には、画像処理装置１０に接続されるカメラとして１台のカメラを図示したが、画像処理装置１０には任意の台数のカメラが接続されることとしてかまわない。

一実施形態として、画像処理装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の画像処理を実現する画像処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、画像処理装置１０は、上記の画像処理によるサービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の画像処理によるサービスを提供するクラウドとして実装することとしてもかまわない。この他、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、タブレット端末などを含む携帯端末装置全般に上記の画像処理プログラムをインストールさせることによって、携帯端末装置を画像処理装置１０として機能させることもできる。

画像処理装置１０は、所定のネットワークを介して、カメラ２０と相互に通信可能に接続される。かかるネットワークには、一例として、有線または無線を問わず、インターネット（Internet）を始め、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。

ここで、上記のカメラ２０には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置を採用できる。一実施形態として、カメラ２０は、医療または介護の施設内に設けられた患者用のベッドの全部または一部を撮像範囲に収める位置に設置される。例えば、カメラ２０は、ベッドの枕元から足下への方向に向けて、ベッドの上面の側端を撮像できる高さに設置することができる。なお、以下では、ベッドの枕元から足下への方向に向けてカメラを設置する場合を想定するが、ベッドの足下から枕元への方向に向けてカメラを設置することとしてもかまわない。

図１に示すように、画像処理装置１０は、取得部１１と、探索部１２と、動き量算出部１３と、向き算出部１４と、追跡部１５と、動作判定部１６と、モード制御部１７とを有する。なお、画像処理装置１０は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスなどの機能部を有することとしてもかまわない。

このうち、取得部１１は、画像を取得する処理部である。

一実施形態として、取得部１１は、カメラ２０によって撮像された画像を取得することができる。他の実施形態として、取得部１１は、画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。更なる実施形態として、取得部１１は、外部装置からネットワークを介して受信することによって画像を取得することもできる。

ここで、取得部１１は、上記のいずれかの入手経路によって画像を取得した後、後述のモード制御部１７からの指示にしたがって探索部１２または追跡部１５のいずれかの機能部へ画像を出力する。例えば、画像から頭部候補領域を探索する「探索モード」がモード制御部１７によって選択された場合、取得部１１は、カメラ２０から取得された画像を探索部１２へ出力する。一方、画像のフレーム間で頭部を追跡する「追跡モード」がモード制御部１７によって選択された場合、取得部１１は、カメラ２０から取得された画像を追跡部１５へ出力する。

探索部１２は、画像から頭部らしいと推定される領域、すなわち上記の「頭部候補領域」を探索する処理部である。

一実施形態として、探索部１２は、HOG・RealAdaBoostによる学習データを用いて、画像から頭部候補領域を検出することができる。図２は、学習方法の一例を示す図であり、図３は、スキャニング方法の一例を示す図である。図２に示すように、探索部１２は、人の頭部のポジティブデータと、布団、ベッド、頭部以外の身体などのネガティブデータとを学習サンプルとし、各学習サンプルのHOG特徴量をRealAdaBoostのアルゴリズムにしたがって学習することによってRealAdaBoostの分類器を作成する。このようにして作成された分類器を用いて、探索部１２は、図３に示すように、画像をラスタスキャンすることによって頭部候補領域を検出する。

かかる頭部候補領域の検出後、探索部１２は、頭部候補領域が画像内の対象領域に含まれない場合には、頭部候補領域に関する動き量を後述の動き量算出部１３に算出させる一方で、対象領域に含まれる場合には、頭部候補領域から顔の向きを後述の向き算出部１４に算出させる。図４は、対象領域の一例を示す図である。図４に示すように、ベッドの上面のうち手前側である枕元から所定の範囲、例えば縦半分までが対象領域として設定される。例えば、対象領域は、領域を形成する頂点、すなわちＰ１〜Ｐ４の４つの頂点の座標によって定義することができる。このように、対象領域には、患者がベッドで臥位の姿勢をとっている場合に患者の頭部が画像に映る公算が高い領域が設定される。

動き量算出部１３は、頭部候補領域の動き量を背景差分によって算出する処理部である。

一実施形態として、動き量算出部１３は、過去に頭部候補領域が検出されたフレームｔの頭部候補領域の画像をテンプレートとして図示しない内部メモリに保存しておき、取得部１１によって画像が取得された現在のフレームｔ＋Ｎの画像との間で輝度差を画素ごとに算出する。このとき、動き量算出部１３は、フレームｔの画像およびフレームｔ＋Ｎの画像の間でフレームｔの頭部候補領域に位置する各画素の輝度差を算出する。そして、動き量算出部１３は、輝度差が所定の閾値以上である画素に白「１」を設定する一方で、閾値未満である画素に黒「０」を設定することによって２値化する。その上で、動き算出部１３は、白が設定された画素の数の和を算出し、当該和を頭部候補領域の面積で除算することによって動き量を算出する。このとき、動き量算出部１３は、除算値×１００等の計算を行うことによって動き量を正規化することもできる。このようにして、上記の動き量は、各頭部候補領域ごとに算出される。なお、動き量が一定値を超える場合には、テンプレートがフレームｔ＋Ｎの頭部候補領域の部分画像に更新される。

向き算出部１４は、顔の向きを算出する処理部である。

一実施形態として、向き算出部１４は、目および口の位置関係から顔の向きを定めることができる。かかる目や口の顔パーツを検出する場合、一例として、Haar-LikeおよびAdaBoostによる学習データを用いて、画像から顔パーツを検出することができる。図５は、学習方法の一例を示す図である。図５に示すように、向き算出部１４は、人の目や口のポジティブデータと、布団、髪や鼻などの目および口以外の画像などのネガティブデータとを学習サンプルとし、各学習サンプルのHaar-Like特徴量をAdaBoostのアルゴリズムにしたがって学習することによってAdaBoostの分類器を作成する。このようにして作成された分類器を用いて、向き算出部１４は、頭部候補領域内をラスタスキャンすることによって目や口などの顔パーツを検出する。

例えば、向き算出部１４は、頭部候補領域から目および口を検出する。このとき、向き算出部１４は、顔の向きの算出に用いる顔パーツ、例えば目が２個、口１個が検出できた場合に、顔の向きの相対角度を算出する。図６は、顔の向きの相対角度の算出方法の一例を示す図である。図６に示すように、向き算出部１４は、左の目の中心位置Ｉ_Ｌ及び右の目の中心位置Ｉ_Ｒを結ぶ線１に対し、口の中心位置Ｍから垂直方向の線２を算出する。続いて、向き算出部１４は、上記の線２に平行で目から口へ向かう方向を顔の向きとする。その上で、向き算出部１４は、顔の向きが所定の基準とする方位、例えば画像座標系でのＹ方向とでなす角度を顔の向きの相対角度θ［度］として算出する。

図７は、画像の一例を示す図である。図７には、患者とともに来床者が映っている画像３０が示されている。図７に示す符号の「３１」は、患者の顔に対応する頭部候補領域を指し、符号の「３２」は、来床者の顔に対応する頭部候補領域を指す。図７に示すように、患者の顔の向きＶ１が画像座標系のＹ軸となす相対角度θ１は、１８０度前後である公算が高い一方で、来床者の顔の向きＶ２が画像座標系のＹ軸となす相対角度θ２は、９０度未満である公算が高い。これは、患者の顔がカメラ２０に映るのは、臥位である状態であるのに対し、来床者の顔がカメラ２０に映るのは、立位または座位である状態であるといった相違が患者および来床者の間で相対角度に違いが生じる一因として挙げられる。このような相対角度を求めることによって、顔の向きの相対角度から頭部候補領域や頭部が患者または来床者のいずれであるのかを判別させることができる。

追跡部１５は、画像のフレーム間で頭部を追跡する処理部である。

一実施形態として、追跡部１５は、前のフレームで追跡された頭部の位置または探索部１２によって探索された頭部候補領域の近傍に頭部の検出対象範囲を絞り込む。かかる検出対象範囲の一例として、前のフレームで追跡された頭部領域または頭部候補領域の中心位置を中心とし、頭部領域または頭部候補領域よりも大きく、かつ頭部の２つ分よりも小さいサイズの範囲を設定することができる。その上で、追跡部１５は、上記の探索部１２と同様に、上記のRealAdaBoostの分類器を用いて、当該範囲内をラスタスキャンすることによって頭部領域を追跡する。

かかる頭部領域の追跡後、追跡部１５は、頭部領域の位置を動作判定部１６へ出力することによって起床および離床などの動作の有無を判定させる。さらに、追跡部１５は、頭部領域の位置を動き量算出部１３へ出力することによって前のフレームとの間の動き量を算出させる。さらに、追跡部１５は、頭部領域の位置を向き算出部１４へ出力することによって顔の向きの相対角度を算出させた後に１フレーム前における顔の向きの相対角度との間で相対角度の変動量、すなわち相対角度の角度差を算出させる。

動作判定部１６は、頭部領域から起床または離床の少なくとも一方の動作の有無を判定する処理部である。

一実施形態として、動作判定部１６は、前のフレームと現在のフレームの頭部追跡位置、すなわち頭部領域の中心位置が所定の起床ライン及び離床ラインの各ラインをまたがったか否かによって患者の起床または離床を検出する。図８は、起床ライン及び離床ラインの一例を示す図である。図８には、起床ラインＬ１がベッドの縦方向半分の位置にベッドを横切って設定された例が示されている。さらに、離床ラインＬ２１及びＬ２２がベッドの左右の側端と平行に側端からＮピクセル隔てた位置に設定された例が示されている。上記の起床ラインＬ１の設定の下、追跡部１５によって追跡された頭部領域の中心位置が起床ラインＬ１よりも画像の上側に存在する場合、言い換えれば頭部領域の中心座標のＹ座標が起床ラインＬ１のＹ座標よりも小さい場合には、患者が起床していると判定される。また、上記の離床ラインＬ２１及び離床ラインＬ２２の設定の下、追跡部１５によって追跡された頭部領域の中心位置が離床ラインＬ２１よりも左側である場合、言い換えれば頭部領域の中心座標のＸ座標が離床ラインＬ２１のＸ座標よりも小さい場合には、患者が離床していると判定される。また、追跡部１５によって追跡された頭部領域の中心位置が離床ラインＬ２２よりも右側である場合、言い換えれば頭部領域の中心座標のＸ座標が離床ラインＬ２２のＸ座標よりも大きい場合にも、患者が離床していると判定される。

このようにして起床または離床が検出された場合には、画像処理装置１０が有する図示しない表示デバイスを始め、任意の出力先へ出力することができる。例えば、患者の関係者、例えば患者の家族、看護師、医者や介護士などが使用する端末装置を出力先とすることもできる。また、施設の管理室やナースステーションなどのスピーカ等から起床または離床を報知する報知音、例えば電子音、メッセージなどを出力させることもできる。

モード制御部１７は、探索モードおよび追跡モードの遷移を制御する処理部である。

一側面として、モード制御部１７は、次のような条件を満たす場合に、滞在モードを探索モードから追跡モードへ遷移させる。一例として、モード制御部１７は、向き算出部１４によって算出された顔の向きの相対角度が所定の範囲、例えば患者が取りうる顔向きの範囲内である場合には、頭部候補領域が患者の頭部であると推定する。この場合、モード制御部１７は、滞在モードを探索モードから追跡モードへ遷移させる。例えば、図６に示した顔の向きの相対角度の場合、相対角度θが１８０度±α度の範囲、例えば１３５度以上２２５度以下であれば患者と判断する。一方、相対角度θが１８０度±α度の範囲外である場合には、患者でないと判断して頭部を追跡させない。これによって、来床者などの頭部を追跡することなく、患者の頭部に絞って追跡させることができる。他の一例として、モード制御部１７は、動き量算出部１３によって算出された動き量が所定の閾値以上である頭部候補領域が存在する場合には、当該領域を頭部であると推定する。この場合には、上記の相対角度の場合と異なり、頭部が患者または来床者のいずれであるかまでは判断できない。すなわち、患者が起床しようとする過程で側頭部、後頭部または頭頂部が画像に映っている可能性があり、患者の頭部である余地が残る。よって、モード制御部１７は、滞在モードを探索モードから追跡モードへ遷移させる。これによって、顔向きが寝ているときの角度と異なる、あるいは顔が映らない時に対して患者の頭部を追跡することが可能となる。

他の側面として、モード制御部１７は、次のような条件を満たす場合に、滞在モードを追跡モードから探索モードへ遷移させる。一例として、モード制御部１７は、向き算出部１４によって算出された顔の向きの相対角度の変動量が所定の閾値以上である場合には、来床者によるオクルージョンが発生したとみなす。この場合、モード制御部１７は、滞在モードを追跡モードから探索モードへ遷移させる。これによって来床者によるオクルージョンによって来床者の頭部を追跡することを抑制することができる。他の一例として、モード制御部１７は、所定のフレーム数にわたって動き量が連続で所定の閾値以下であった場合、かつ探索時に顔の向きの相対角度が患者に対応する相対角度の範囲内、すなわち上記の１８０度±α度の範囲でなかった場合には、当該頭部領域が患者の頭部である可能性が低いと推定する。この場合にも、モード制御部１７は、滞在モードを追跡モードから探索モードへ遷移させる。

なお、上記の取得部１１、探索部１２、動き量算出部１３、向き算出部１４、追跡部１５、動作判定部１６及びモード制御部１７は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに画像処理プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

また、上記の内部メモリには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、フラッシュメモリ（Flash Memory）、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。

［処理の流れ］
続いて、本実施例に係る画像処理装置１０の処理の流れについて説明する。なお、ここでは、画像処理装置１０によって実行される（１）初期設定処理を説明した後に（２）探索処理を説明し、その後、（３）追跡処理について説明することとする。

（１）初期設定処理
図９は、実施例１に係る初期設定処理の手順を示すフローチャートである。この初期設定処理は、画像処理装置１０の出荷前、あるいは画像処理装置１０に画像処理プログラムがインストールされてから最初に画像処理プログラムが起動された場合などに実行される。

図９に示すように、画像処理装置１０は、一例として、画像上のベッドの位置の角を４点指定し、座標を設定する（ステップＳ１）。続いて、画像処理装置１０は、一例として、図４に示したベッド位置の半分を対象領域として設定する（ステップＳ２）。

さらに、画像処理装置１０は、一例として、起床および離床の動作判定で用いる起床ライン及び離床ラインを設定する（ステップＳ３）。例えば、図８を用いて説明したように、ベッドの縦方向半分の位置にベッドを横切って設定された起床ラインＬ１が設定される。さらに、ベッドの左右の側端と平行に側端からＮピクセル隔てた位置に離床ラインＬ２１及びＬ２２が設定される。

そして、画像処理装置１０は、動き量に関する閾値を設定する（ステップＳ４）。例えば、顔が少し動くなどの場合には動いたと判定したいため、閾値は低めに設定する。ここでは動き量の閾値を５とする。

さらに、画像処理装置１０は、顔の向きの相対角度と比較する閾値を設定する（ステップＳ５）。例えば、患者が取りうる顔の向きの相対角度の範囲を設定する。一例として、図７に示した定義の顔向きで１３５度〜２２５度の範囲とする。

そして、画像処理装置１０は、顔の向きの相対角度の変動量と比較する閾値を設定する（ステップＳ６）。例えば、４５度以上の変動がある場合に来床者によるオクルージョンが発生したと見なし、閾値を４５度に設定する。

さらに、画像処理装置１０は、頭部および頭部候補領域の検出用の学習データを作成する（ステップＳ７）。図２に示すように、患者の頭部画像と頭部以外の画像から、HOG・RealAdaBoostにより学習データを作成する。

そして、画像処理装置１０は、顔の向きの相対角度を算出するのに用いる顔パーツ検出用の学習データを作成する（ステップＳ８）。図６に示すように、目または口の画像と目・口以外の画像からHaar-Like・AdaBoostにより学習データを作成する。

さらに、画像処理装置１０は、顔検出をするための学習データを作成する（ステップＳ９）。患者の顔と顔以外の学習データから、Haar-Like・AdaBoostにより学習データを作成する。

なお、図９に示した各ステップＳ１〜９の処理は、図示の順序で実行されずともよく、いずれのステップが先または後に実行されてもよく、各ステップの処理を並行して実行することとしてもよい。

（２）探索処理
図１０は、実施例１に係る探索処理の手順を示すフローチャートである。この探索処理は、画像処理プログラムが起動された時点、もしくはモード制御部１７によって滞在モードが探索モードへ遷移された場合に実行される処理である。

図１０に示すように、カメラ２０から画像が取得されると（ステップＳ１０１）、探索部１２は、RealAdaBoostの分類器を用いて、ステップＳ１０１で取得された画像をラスタスキャンすることによって頭部候補領域を検出する（ステップＳ１０２）。

このとき、頭部候補領域が画像内の対象領域に含まれない場合（ステップＳ１０３Ｎｏ）には、動き量算出部１３は、ステップＳ１０２で検出された頭部候補領域を動き量の算出対象に設定し（ステップＳ１０４）、各頭部候補領域ごとに動き量を算出する（ステップＳ１０５）。

そして、動き量が所定の閾値以上である頭部候補領域が存在する場合（ステップＳ１０６Ｙｅｓ）には、当該領域を頭部であると推定する。この場合には、モード制御部１７は、滞在モードを探索モードから追跡モードへ遷移させ（ステップＳ１０７）、探索処理を終了する。なお、動き量が所定の閾値以上である頭部候補領域が存在しない場合（ステップＳ１０６Ｎｏ）には、上記のステップＳ１０１の処理へ戻る。

また、頭部候補領域が画像内の対象領域に含まれる場合（ステップＳ１０３Ｙｅｓ）には、向き算出部１４は、ステップＳ１０２で検出された頭部候補領域から目および口の位置関係にしたがって顔の向きの相対角度を算出する（ステップＳ１０８）。

このとき、上記のステップＳ１０８で顔の向きの相対角度が算出できなかった場合、すなわち相対角度の算出に用いる全ての顔パーツが頭部候補領域から検出できなかった場合（ステップＳ１０９Ｎｏ）には、動き量から追跡モードへの移行を判定するために、上記のステップＳ１０４の処理へ進む。

一方、上記のステップＳ１０８で顔の向きの相対角度が算出できた場合、すなわち相対角度の算出に用いる全ての顔パーツが頭部候補領域から検出できた場合（ステップＳ１０９Ｙｅｓ）には、下記のステップＳ１１０の判定に進む。

ここで、ステップＳ１０８で算出された顔の向きの相対角度が所定の範囲、例えば患者が取りうる顔向きの範囲内である場合（ステップＳ１１０Ｙｅｓ）には、頭部候補領域が患者の頭部であると推定する。この場合、モード制御部１７は、滞在モードを探索モードから追跡モードへ遷移させ（ステップＳ１０７）、探索処理を終了する。

一方、ステップＳ１０８で算出された顔の向きの相対角度が所定の範囲外である場合（ステップＳ１１０Ｎｏ）には、頭部候補領域が来床者の頭部であると推定する。この場合、追跡による誤検出を避けるために、モード遷移を実行せずに、上記のステップＳ１０１へ戻る。

（３）追跡処理
図１１は、実施例１に係る追跡処理の手順を示すフローチャートである。この追跡処理は、モード制御部１７によって滞在モードが追跡モードへ遷移された場合に実行される処理である。

図１１に示すように、カメラ２０から画像が取得されると（ステップＳ３０１）、追跡部１５は、RealAdaBoostの分類器を用いて、ステップＳ３０１で取得された画像のうち前のフレームで追跡された頭部領域またはステップＳ１０２で検出された頭部候補領域を含む近傍の所定範囲をラスタスキャンすることによって頭部を追跡する（ステップＳ３０２）。

そして、動作判定部１６は、ステップＳ３０２で追跡された頭部領域から起床または離床の少なくとも一方の動作の有無を判定する（ステップＳ３０３）。続いて、動き量判定部１３は、頭部領域の動き量を算出する（ステップＳ３０４）。また、向き算出部１４は、ステップＳ３０２で検出された頭部領域から目および口の位置関係にしたがって顔の向きの相対角度を算出する（ステップＳ３０５）。その上で、向き算出部１４は、１フレーム前における顔の向きの相対角度との間で相対角度の変動量、すなわち相対角度の角度差を算出する（ステップＳ３０６）。

ここで、ステップＳ３０６で算出された顔の向きの相対角度の変動量が所定の閾値以上である場合（ステップＳ３０７Ｙｅｓ）には、来床者によるオクルージョンが発生したとみなす。この場合、モード制御部１７は、滞在モードを追跡モードから探索モードへ遷移させ（ステップＳ３１０）、追跡処理を終了する。

また、所定のフレーム数にわたって動き量が連続で所定の閾値以下であった場合、かつ探索時に顔の向きの相対角度が患者に対応する相対角度の範囲内でなかった場合（ステップＳ３０８ＹｅｓかつステップＳ３０９Ｎｏ）には、当該頭部領域が患者の頭部である可能性が低いと推定する。この場合にも、モード制御部１７は、滞在モードを追跡モードから探索モードへ遷移させ（ステップＳ３１０）、追跡処理を終了する。

一方、所定のフレーム数にわたって動き量が連続で所定の閾値以下でない場合または探索時に顔の向きの相対角度が患者に対応する相対角度の範囲内である場合（ステップＳ３０８ＮｏまたはステップＳ３０９Ｙｅｓ）には、上記のステップＳ３０１に戻り、追跡処理を継続する。

［効果の一側面］
上述してきたように、本実施例に係る画像処理装置１０は、ベッド画像から検出された顔の向きで患者の頭部か否かを判断し、患者ならば追跡して起床離床を判定し、顔の向きが判断不能な場合は頭部に動きがあれば頭部を追跡する。図１２は、効果の一側面を示す図である。図１２に示すように、来床者が離床ラインＬ２１またはＬ２２をまたいだとしても、あるいは起床ラインＬ１をまたいだとしても、来床者の頭部はそもそも追跡の対象とされず、ひいては起床や離床の判定が実行されない。また、顔の検出が不能である場合も、起床または離床の判定時に追跡対象を可能性のある頭部に限定して判断できる。これらのことから、本実施例に係る画像処理装置１０によれば、患者でない来床者の頭部が患者の頭部と誤検出されるのを抑制できる。

さらに、本実施例に係る画像処理装置１０は、顔の向きの相対角度の変動量が所定の閾値以上である場合に、頭部の追跡を中止させる。図１３は、効果の一側面を示す図である。図１３に示すように、本実施例に係るカメラ２０の配置の場合、患者の顔および来床者の顔の両方が前のフレームで追跡された頭部領域または頭部候補領域を含む近傍の所定範囲に含まれる場合、すなわち来床者によるオクルージョンが発生する場合がある。かかるオクルージョンの発生を顔の向きの相対角度の変動量によって検知し、オクルージョンの発生時に追跡、ひいては起床や離床の判定を抑制できる。このため、本実施例に係る画像処理装置１０によれば、来床者によるオクルージョンの発生に起因する誤検出を抑制できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［応用例１］
例えば、画像処理装置１０は、顔の有無を検出してから顔の向きの相対角度を算出することとしてもよい。この場合、顔が検出できない場合には、顔の向きの相対角度を算出する代わりに、対象領域を動き量算出対象にすることとすればよい。

図１４は、応用例に係る探索処理の手順を示すフローチャートである。図１４には、図１０に示したフローチャートから追加された処理のステップ番号に５００番台の番号が付与されている。なお、図１０に示したステップ番号と同一の処理については、同様の内容の処理が実行される。

図１４に示すフローチャートでは、図１０に示したフローチャートに比べて、ステップＳ１０３Ｙｅｓの場合に、ステップＳ５０１及びステップＳ５０２の処理が追加されている点が異なる。

すなわち、図１４に示すように、頭部候補領域が画像内の対象領域に含まれる場合（ステップＳ１０３Ｙｅｓ）には、向き算出部１４は、顔の向きの相対角度を算出するのに先立って頭部候補領域に顔検出を実行する（ステップＳ５０１）。

ここで、頭部候補領域に顔が存在する場合（ステップＳ５０２Ｙｅｓ）には、向き算出部１４は、ステップＳ１０２で検出された頭部候補領域から目および口の位置関係にしたがって顔の向きの相対角度を算出する（ステップＳ１０８）。一方、頭部候補領域に顔が存在しない場合（ステップＳ５０２Ｎｏ）には、ステップＳ１０４の処理へ移行する。なお、以降の処理については、図１０に示したフローチャートと同様の処理が実行される。

これによって、患者がうつ伏せで寝ていて顔の向きが算出できず、かつ来床者の顔が映っている状況においても、来床者の頭部を追跡せず、患者の頭部領域を動き量算出対象にし、かつ患者が動いた場合に追跡することができる。なお、上記の顔検出は、Haar-Like・AdaBoostによる学習データを用いて行う。顔の学習用画像を収集し、Haar-Like・AdaBoostにより学習データを作成する。同学習データを用いて、頭部候補領域内をラスタスキャンすることにより顔を検出する。

［応用例２］
例えば、画像処理装置１０は、追跡処理の実行中に顔が検出できない場合に、追跡処理を中止させ、探索処理を実行させることもできる。この場合、一例として、動き量が所定の閾値以下である場合に絞って探索モードへ遷移させることもできる。これによって、頭部領域が誤検出されている場合に、その頭部領域で起床や離床が判定されるのを抑制できる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１１、探索部１２、動き量算出部１３、向き算出部１４、追跡部１５、動作判定部１６またはモード制御部１７を画像処理装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１１、探索部１２、動き量算出部１３、向き算出部１４、追跡部１５、動作判定部１６またはモード制御部１７を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の画像処理装置１０の機能を実現するようにしてもよい。

［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。

図１５は、実施例１及び実施例２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。図１５に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１５に示すように、上記の実施例１で示した取得部１１、探索部１２、動き量算出部１３、向き算出部１４、追跡部１５、動作判定部１６またはモード制御部１７と同様の機能を発揮する画像処理プログラム１７０ａが予め記憶される。この画像処理プログラム１７０ａについては、図１に示した各々の取得部１１、探索部１２、動き量算出部１３、向き算出部１４、追跡部１５、動作判定部１６またはモード制御部１７の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納されずともよく、処理に用いるデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、画像処理プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１５に示すように、画像処理プログラム１７０ａは、画像処理プロセス１８０ａとして機能する。この画像処理プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、画像処理プロセス１８０ａは、図１に示した取得部１１、探索部１２、動き量算出部１３、向き算出部１４、追跡部１５、動作判定部１６またはモード制御部１７にて実行される処理、例えば図９〜図１１や図１４に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作されずともよく、処理に用いる処理部のみが仮想的に実現されれば良い。

なお、上記の画像処理プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０ 画像処理装置
１１ 取得部
１２ 探索部
１３ 動き量算出部
１４ 向き算出部
１５ 追跡部
１６ 動作判定部
１７ モード制御部

Claims (6)

1. 画像を取得する取得部と、
   前記画像の監視対象領域内で人間の頭部の有無を探索する探索部と、
   前記頭部が検出された際、検出された頭部が観察対象の患者の頭部か否かを患者の顔の向きに基づいて判断し、患者であれば前記頭部を追跡して起床または離床を判定させ、前記顔の向きが判断不能な場合に、検出された頭部の動きが検出されている場合は頭部を追跡する制御部と
   を有することを特徴とする画像処理装置。
2. 前記制御部は、前記頭部の追跡中に前記画像のフレーム間で前記顔の向きの変動量が所定の閾値以上になった場合に、前記頭部の追跡を中止するとともに前記探索部による探索を開始させることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御部は、前記画像から顔が検出されるか否かによって前記頭部の動きを検出する処理または前記顔の向きを算出する処理のいずれを実行させるかを選択することを特徴とする請求項１に記載の画像処理装置。
4. 前記制御部は、前記頭部の追跡中に顔が検出できなくなった場合に、前記頭部の追跡を中止するとともに前記探索部による探索を開始させることを特徴とする請求項１に記載の画像処理装置。
5. コンピュータが、
   画像を取得し、
   前記画像の監視対象領域内で人間の頭部の有無を探索し、
   前記頭部が検出された際、検出された頭部が観察対象の患者の頭部か否かを患者の顔の向きに基づいて判断し、患者であれば追跡して起床または離床を判定させ、前記顔の向きが判断不能な場合に、検出された頭部の動きが検出されている場合は頭部を追跡する
   処理を実行することを特徴とする画像処理方法。
6. コンピュータに、
   画像を取得し、
   前記画像の監視対象領域内で人間の頭部の有無を探索し、
   前記頭部が検出された際、検出された頭部が観察対象の患者の頭部か否かを患者の顔の向きに基づいて判断し、患者であれば追跡して起床または離床を判定させ、前記顔の向きが判断不能な場合に、検出された頭部の動きが検出されている場合は頭部を追跡する
   処理を実行させることを特徴とする画像処理プログラム。

Images