以下、図面を参照しながら、本発明に係るいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。
例えば、病院及び介護施設などにおいて患者などの検出対象者の状態を検出するために、撮影画像中の検出対象から得られる輝度の特徴量を基に検出対象を検出する技術を利用することが考えられる。この場合、例えば、検出対象者のベッドの周辺領域を撮影装置で撮影し、得られた撮影画像から検出対象者のベッド周辺での姿勢等の状態を検出して、検出対象者をモニタリングする。そして、例えば、検出対象者がベッドを離れた(離床)などの特定の行動を起こした場合に、ナースコールなどを行うことで、検出対象者の徘徊や転倒等の事故を防止することができる。
ところで、例えば、このようにベッドの周辺の検出対象者を撮影画像から検出する場合、検出対象者の例えば、背中、腕、足、お腹などの部位は、布団などにより隠れてしまう可能性がある。一方で、例えば、検出対象者の頭部は布団等から露出している可能性が高い。そのため、頭部は、ベッド上にいる検出対象者を検出する場合に好ましい検出対象部位の1つである。
検出を検出対象者の頭部で行う場合、例えば、頭部が映る複数の画像と、頭部以外が映る複数の画像のデータを収集する。そして、例えば、HOG特徴量を算出し、AdaBoostにより頭部と頭部以外の画像とを区別できるように学習を行い学習データを得ることで、その学習データを用いて頭部による検出対象者の検出が可能である。また、検出対象者の例えば、背中、腕、足、お腹などのその他の部位についても、同様に学習データを得ることで検出が可能である。
ここで、例えば、患者などの検出対象者の状態をモニタリングする場合、看護(介護)が手薄になる夜間でのモニタリングの必要性が高く、夜間の消灯時等のベッドの周辺領域が暗い状態でも検出対象者を検出できることが好ましい。これを可能とするために、例えば、ベッドの周辺領域を近赤外線の照明で照らし、近赤外線センサなどの撮影装置を用いてベッドの周辺領域を撮影してもよい。図1は、ベッドの周辺領域を近赤外線の照明101で照らして近赤外線センサなどの撮影装置102で撮影する場合の照明101及び撮影装置102の設置例を示す図である。図1(a)は、照明101及び撮影装置102を、ベッドの枕方向に設置した場合を例示している。また、図1(b)は、撮影装置102でベッドの周辺領域を撮影した撮影画像を例示している。図1(b)に示されるように、例えば、近赤外線の照明101で照らしながら近赤外線センサなどの撮影装置102で撮影することで、夜間の暗い状態でも得られた撮影画像から検出対象者の頭部を検出することができる(領域105)。
しかしながら、近赤外線は、例えば、人の頭部の黒や褐色などの暗色の髪に対して反射率が低いため、撮影画像上で頭部領域は輝度値が低く(暗く)映る傾向がある。また、撮影装置102から背景までの距離が遠いことに起因して、又は背景に映る床などの反射率が低いことなどに起因して、背景の輝度値が低く映ることがある。なお、背景又は背景領域とは、例えば、撮影画像において検出対象が映っている領域以外の領域であってよい。例えば、このような検出環境において、図2(a)に示すように、検出対象者がベッドで上半身を起こすなどして撮影画像上で頭部が、頭部に近い輝度値を有する背景領域と重なってしまった場合、頭部と背景領域との間での輝度値の差が小さくなってしまう。この場合、例えば、HOGでは輝度勾配(特徴量)が小さくなるため、学習データとの一致度が低くなってしまう。結果として、検出対象者の頭部を検出できなかったり、又は、たまたま検出対象者の頭部に近い輝度勾配を持っている背景(例えば布団のしわや模様など)を検出対象者と誤検出してしまったりすることがある。
この様な、検出対象と近い輝度値を有する背景領域で検出対象を検出する1つの方策として、検出対象の輝度値と、検出対象と近い輝度値を有する背景領域の輝度値との輝度差が大きくなるように撮影装置102の撮影条件を変更することが考えられる。なお、撮影条件の変更は、例えば、撮影装置102のゲイン、露光時間、及び絞りを変更すること、又は照明101の光量を変更することであってよい。図2(b)は、図2(a)の状況において、撮影装置102の露光時間を長くして撮影した場合を例示している。図2(b)に示すように、頭部と背景との境界において輝度差が生じているため、頭部を検出することができる。
しかしながら、例えば、検出対象と、それと近い輝度値を有する背景領域との輝度差が大きくなるように撮影条件を変更すると、他の背景領域で輝度値の飽和などを引き起こしてしまう恐れがある。例えば図2(b)の例では、明るい色のシーツが映る背景領域で輝度値が飽和している。例えば、この状態で検出対象者がベッドに横になった場合、今度は検出対象者の頭部(例えば、顔)と、輝度飽和している背景領域との間で輝度勾配が発生せず、頭部を検出できない恐れがある。その結果、検出対象の検出率が低下してしまう。
また、検出対象と近い輝度値を有する背景領域で検出対象を検出する別の方策として、検出する検出対象の部位を別の部位に変更することが考えられる。例えば、図2(c)に示すように、検出対象の部位を頭部の代わりに、肩などに変更すると、頭部が頭部と近い輝度値を有する背景領域ある場合にも、肩と背景との間で輝度差が生じているため、検出対象者を検出することができる。しかしながら、このように検出対象として肩を用いた場合、例えば、検出対象者がベッドに横たわり布団をかぶっている状況では肩が撮影画像に映らず、その結果、検出対象を検出できずに検出率が低下してしまう。
そこで、いくつかの実施形態においては、撮影画像からの検出対象の検出において、検出部位と近い輝度値を有する画像領域に検出部位が入る場合、検出部位を変更する、又は検出部位とその画像領域との輝度差を大きくする撮影条件に変更する。そのため、検出対象の検出率を向上させることができる。
以下、図3から図11を参照して、第1の実施形態を説明する。図3は、第1の実施形態に係る検出システム300を例示する図である。図3の例では、検出システム300は、センター装置301、検出装置302、照明101、及び撮影装置102を含んでいる。センター装置301は、例えば、ネットワーク305などを介して検出装置302と接続されている。また、検出装置302は、例えば、撮影装置102と接続されている。撮影装置102は、例えば、接続された検出装置302が検出の対象とする検出対象者のベッドの周辺領域を撮影する。なお、撮影装置102は、例えば、可視光カメラ、及び近赤外線センサであってよい。また、撮影装置102は、撮影装置102の撮影領域を照らす例えば、可視光照明、及び近赤外線照明などの照明101とともに設置されていてよい。そして、一実施形態においては、検出装置302又は撮影装置102は、例えば、照明101と接続されており、接続された照明101の光量を変更する制御を実行してよい。また、別の実施形態では、検出装置302、撮影装置102、及び照明101の一部又は全部は、一体型の装置として実装されてもよい。検出装置302は、例えば、撮影装置102で撮影された撮影画像から検出対象者の状態を推定する。そして、検出装置302は、推定された状態に基づいて検出対象者が例えばベッドから離床するなどの特定の行動をとったと判定される場合に、センター装置301にナースコールなどの通知を行ってよい。
図4は、第1の実施形態に係る検出装置302の機能ブロック構成を例示する図である。検出装置302は、例えば、制御部400及び記憶部410を含んでいる。制御部400は、例えば特定部411、判定部412、変更部413、検知部414、及び算出部415などを含んでいる。検出装置302の記憶部410は、例えば、プログラム420、並びに所定の範囲421、所定の距離422、及び領域情報423を記憶していてよい。所定の範囲421は、例えば、後述する検出困難領域の特定に用いられる。また、所定の距離422は、例えば、検出対象が検出困難領域に接触又は近接しているか否かの判定等に用いられる。領域情報423には、検出困難領域の位置が登録されている。また、検出装置302の記憶部410は、例えば、マーカ位置座標情報1300、ベッド座標系頭部座標情報1800、マーカ座標情報2000、及び画像座標系頭部座標情報2200などの情報を記憶していてよい。更に、検出装置302の記憶部410は、例えば、検出可能部位情報2500、検出履歴情報2800などの情報を記憶していてよい。検出装置302の制御部400は、プログラム420を読み出して実行することで例えば特定部411、判定部412、変更部413、検知部414、及び算出部415として機能する。これらの各機能部の詳細及び記憶部410に格納されている情報の詳細については後述する。
続いて、第1の実施形態に係る検出困難領域の特定について説明する。なお、検出困難領域とは、例えば、撮影装置102で撮影された撮影画像内で、検出対象と近い輝度値を有するために検出対象の検出が困難になる背景領域のことである。検出困難領域では、検出対象との間での輝度差が小さく、学習データとの一致度が低くなるため、検出対象を検出できない可能性がある。例えば、ベッド上の検出対象者の検出を、布団などによるオクルージョンの影響を受けにくい頭部でおこなう場合には、頭部と近い輝度値を有する領域が検出困難領域となる。以下の検出困難領域の特定の例では、図1に例示される撮影環境において、髪の色が黒や褐色などの暗色である検出対象者の頭部を検出する場合の検出困難領域の特定について述べる。
図2(a)で例示したように、検出対象者の頭部の髪の色が黒や褐色などの暗色である場合、検出対象者がベッドで体を起こし頭部が背景の暗い領域に位置してしまうと、暗色の髪の輝度値と、暗い背景の輝度値との間で輝度差が小さく、検出が困難となる。そこで、例えば、このような検出対象の頭部の暗色の髪の輝度値と近い値を有する背景領域を検出困難領域として特定する。まず、頭部の暗色の髪と輝度値が近いと判定するために用いる所定の範囲421及び閾値の設定について例示する。
図5は、第1の実施形態に係る検出困難領域の特定に用いる所定の範囲421、及び閾値の設定の例について説明する図である。上述のように、例えば、頭髪が暗色の検出対象者の頭部が暗い背景領域に入ってしまった場合、頭部の髪と暗い背景領域との間で輝度差が小さくなり、頭部の検出が困難になる。そこで、一実施形態においては、このような検出が困難となる状況において所定の範囲421、及び閾値の設定を行う。即ち、図5に例示されるように、検出対象の頭部が暗い背景領域に入るように検出対象者を配置する。そして、この状態において、例えば、露光時間を長い時間から短い時間へと徐々に変更してゆき、それぞれの露光時間において頭部の検出ができるか否かを判定する。例えば、図5の例では、図5(a)及び(b)までは、頭部の検出ができるが、それよりも露光時間が短い図5(c)及び(d)では、頭部の検出に失敗している。即ち、図5(c)及び(d)における頭部の輝度値は、背景領域と近い輝度値を有しており、検出することができない輝度値を有していることになる。そこで、第1の実施形態においては、例えば、露光時間を変更して撮影した複数の撮影画像のうちで、頭部の検出が可能なぎりぎりの長さの露光時間(図5(b)の露光時間:a2)における頭部の輝度値を上限の閾値:THとして特定する。なお、第1の実施形態ではマージンをとり、頭部の検出が可能なぎりぎりの長さの露光時間における頭部の輝度値を上限の閾値:THとして用いるが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、頭部の検出に失敗した露光時間のなかで最大の長さの露光時間(図5(b)の露光時間:a3)における頭部の輝度値を上限の閾値:THとしてもよい。また、更に別の実施形態では、マージンをより大きくとり、頭部の検出が可能な図5(a)の露光時間:a1における頭部の輝度値を上限の閾値:THとしてもよい。
また、頭部の輝度値は、例えば、検出対象の頭部が検出された検出領域500内の複数の画素の輝度値を代表する代表値を算出することで特定されてよい。例えば、代表値は、検出領域500内の複数の画素の輝度値の平均値、分散、最大値、最小値、最頻値などの統計量であってよい。以下では、代表値として、検出領域500内の複数の画素の輝度値の相加平均値を用いる場合を例示する。そして、得られた相加平均値を、検出困難領域の特定に用いる所定の範囲421の上限の閾値:THとして用いてよい。また、所定の範囲421の下限の閾値:TLは、例えば、暗色の頭部が暗い背景領域で検出が困難になる場合では、図5(d)よりも更に露光時間を短くし頭部の輝度値を下げていったとしても頭部を検出することはできない。そのため、所定の範囲421の下限の閾値:TLとしては輝度値の最小値(例えば、0)を用いてよい。
なお、検出困難領域の特定に用いる所定の範囲421の特定は、例えば、検出装置302を製造する工場での評価環境において行なわれてよい。例えば、検出困難領域700の特定に用いる所定の範囲421の特定は、図6に例示するように、撮影装置102の撮影範囲の背景領域に床600が映るワースト条件の評価環境で行われてよい。別の実施形態では、検出困難領域の特定に用いる所定の範囲421の特定は、例えば、病院や介護施設などにおいて実際に検出対象を検出する条件下で行われてもよい。
続いて、以上で特定した所定の範囲421を用いた検出困難領域の特定について説明する。図7は、第1の実施形態に係る検出困難領域700の特定について説明する図である。図7に示されるように、まず、検出装置302による検出対象者のベッド周辺を、撮影装置102で撮影する(図7(a))。そして、撮影した撮影画像において所定のサイズの区画701(例えば縦:9画素、及び横:9画素の領域)を設定し(図7(a)及び(b))、その区画701内の複数の画素の輝度値を代表する代表値を算出する。なお、代表値は、例えば、区画701内の複数の画素の輝度値の平均値、分散、最大値、最小値、最頻値などの統計量であってよい。以下では、代表値として、区画701内の複数の画素の輝度値の相加平均値を算出する場合を例示する。続いて、算出された相加平均値が、図5を参照して例示した所定の範囲421内の輝度値であるか否かを判定する。そして、算出された相加平均値が、所定の範囲421内の輝度値であれば、その区画701の中心座標702を検出困難点として特定する。
なお、図5で述べた例では、所定の範囲421の下限の閾値:TLは、輝度値の最小値(例えば、0)に設定されている。そのため、この判定は、例えば、区画701内の複数の画素の輝度値の相加平均値が、所定の範囲421の上限の閾値:TH以下か否かを判定することで行われてよい。また、中心座標は、例えば、撮影画像の横辺にX軸、及び縦辺にY軸をとった撮影画像座標系における座標として特定されてよい。例えば、中心座標は、撮影画像の四隅のうちの1つの端から検出領域500の中心画素までの画素数として特定されてよい。この検出困難点の特定を、区画701で撮影画像内を走査しながら網羅的に実行し(図7(c))、撮影画像内で特定された検出困難点の集合を検出困難領域700とする。
図7(d)は、図7(a)の撮影画像から特定された検出困難領域700を例示している。例えば、夜間などの消灯時において、近赤外線の照明及び近赤外線撮影装置を用いてベッドの周辺領域を撮影した場合、背景までの距離が遠い領域では照明から発した近赤外線の反射が少なく、暗くなってしまう傾向がある。そのため、例えば、図7(d)に示されるように、背景までの距離が遠い上部の領域が、検出困難領域700として特定されている。
続いて、図8及び図9を参照し、検出装置302による検出対象の検出の際の撮影条件の設定の例を説明する。例えば、上述のように髪が暗色の検出対象者の頭部を検出する場合、図7を参照して説明した検出困難領域700に頭部が入っている状態と、入っていない状態とで同じ撮影条件で頭部を検出することは難しい。そこで、一実施形態においては、以下で述べるように、頭部が検出困難領域700に入っていない状態と、検出困難領域700に入っている状態とのそれぞれについて、頭部を検出する上で好ましい撮影条件を決定してもよい。
図8は、頭部が検出困難領域700に入っていない状態での撮影条件の決定を例示する図である。図8に例示されるように、検出対象者はベッドに横たわった状態(就床)にあり、頭部は検出困難領域700から外れている。この状態で、例えば、露光時間を長い時間から短い時間へと徐々に変更して複数の撮影画像を取得し(例えば、図8(a)〜(d))、それぞれの露光時間において頭部が検出できるか否かを判定する。例えば、図8の例では、図8(a)及び図8(b)までは頭部を検出できないが、それよりも露光時間が短い図8(c)及び図8(d)では頭部の検出に成功し、頭部の検出領域500が特定されている。
この場合に、例えば、頭部が検出可能な撮影画像のうちで最も長い露光時間:b3を、頭部が検出困難領域700から外れている場合の撮影装置102の露光時間として設定してもよい。なお、頭部の検出が可能な最も長い露光時間を設定することは、例えば、露光時間が長い方が背景領域を明るく撮影でき、結果として検出困難領域700を狭くすることにつながるため好ましい。しかしながら、実施形態はこれに限定されるものではない。例えば、検出困難領域700から外れている状態で頭部を検出可能な露光時間であれば、図8(d)のようにより短い露光時間を、頭部が検出困難領域700から外れている場合の撮影装置102の露光時間として設定してもよい。
図9は、頭部が検出困難領域700に入っている状態での撮影条件の決定を例示する図である。図9に例示されるように、検出対象者はベッドから上半身を起こした状態(起床)にあり、頭部は検出困難領域700に入っている。この状態で、例えば、露光時間を長い時間から短い時間へと徐々に変更して複数の撮影画像を取得し(例えば、図9(a)〜(d))、それぞれの露光時間において頭部が検出できるか否かを判定する。例えば、図9の例では、図9(a)及び図9(b)までは、頭部を検出できており、検出領域500が特定されているが、それよりも露光時間が短い図9(c)及び図9(d)では頭部の検出に失敗している。
この場合に、例えば、頭部が検出可能な撮影画像のうちで最も短い露光時間を有する図9(b)の露光時間:c2を頭部が検出困難領域700に入っている場合の撮影装置102の露光時間として設定してもよい。なお、頭部の検出が可能な最も短い露光時間を設定することは、例えば、露光時間が短い方が検出困難領域の外側の背景部分の輝度飽和等を抑制でき、結果として検出率の低下の抑制につながるため好ましい。しかしながら、実施形態はこれに限定されるものではない。例えば、検出困難領域700に入っている状態で頭部を検出可能な露光時間であれば、図9(a)のようにより長い露光時間を、頭部が検出困難領域700に入っている場合の撮影装置102の露光時間として設定してもよい。以上の図8及び図9で例示した好適な露光時間の特定は、例えば、病院や介護施設などにおいて実際に検出対象を検出する条件下で行われてよい。
続いて、図10及び図11を参照して、第1の実施形態に係る検出対象の検出処理を例示する。なお、以下の説明では、検出対象が検出困難領域の外側にあると判定される状態で用いる撮影条件を第1の撮影条件と呼ぶ。また、検出対象が検出困難領域に入ると判定される状態で用いる撮影条件を第2の撮影条件と呼ぶ。ここで、第2の撮影条件は、例えば、第1の撮影条件と比較して、検出対象の輝度値と、検出困難領域700内の背景の輝度値との輝度差が大きくなるように設定されている撮影条件である。
なお、検出困難領域が、図5から図7で例示したように、頭髪が暗色の検出対象者の頭部と近い輝度値を有する背景領域として特定される場合には、第1の撮影条件は例えば、図8の例で特定した露光時間:b3に露光時間を設定する撮影条件であってよい。また、第2の撮影条件は例えば、図9の例で特定した露光時間:c2に露光時間を設定する撮影条件であってよい。また、この場合に、撮影画像の輝度値に影響を与える例えば、ゲイン、絞り値などのその他の撮影装置102の設定、及び撮影範囲を照らす照明101の光量などの設定については、図8及び図9の露光時間の決定の際に用いた値に設定されていてよい。
図10は、第1の実施形態に係る検出処理を例示する図である。図10の検出処理の動作フローは、例えば、検出装置302の制御部400が記憶部410に格納されているプログラム420を読み出して実行することで実施されてよい。また、一実施形態においては、検出装置302に検出処理の実行指示が入力されると検出処理は開始する。なお、以下の図10の動作フローの説明は、検出対象の検出が困難となる状況として、暗色の髪の頭部が暗い背景領域で検出が困難になる場合を例にとり説明を行う。
ステップ1001(以降、ステップを“S”と記載し、例えば、S1001と表記する)において、検出装置302の制御部400は、撮影装置102から第1の撮影条件でベッドの周辺領域を撮影した撮影画像を取得する。撮影装置102は、例えば、所定のフレームレート(例えば、15fps(Frames Per Second)から60fps)で撮影画像を撮影してよく、検出装置302の制御部400は、撮影装置102で撮影された撮影画像を取得する。S1002において検出装置302の制御部400は、取得した撮影画像から検出困難領域を特定する。例えば、検出困難領域が、頭髪が暗色の検出対象者の頭部と近い輝度値を有する背景領域として特定される場合には、制御部400は、図5から図7を参照して例示した処理により、検出困難領域700を特定してよい。即ち、一実施形態においては、S1002において検出装置302の制御部400は、撮影した撮影画像に所定のサイズの区画701を設定する。そして、その区画701内の複数の画素の輝度値の平均値を算出し、得られた平均値を設定されている所定の範囲421の上限の閾値:THと比較する。そして、その区画701内の画素の輝度値の平均値が、所定の範囲421の上限の閾値:TH以下である場合に、その区画701の中心座標702を検出困難点として特定してよい。検出装置302の制御部400は、以上の検出困難点の特定を、区画701を撮影画像で走査しながら実行することで、撮影画像において検出困難領域700を特定してよい。
続いて、S1003において検出装置302の制御部400は、S1001で撮影装置から取得した撮影画像から検出対象を検出する。例えば、検出装置302の制御部400は、S1003において検出対象の頭部を検出してよい。S1004において検出装置302の制御部400は、検出に成功したか否かを判定する。検出に失敗した場合(S1004がNO)、フローはS1001へと戻る。一方、検出に成功した場合(S1004がYES)、フローはS1005へと進む。
S1005において検出装置302の制御部400は、検出対象の位置を特定する。例えば、検出装置302の制御部400は、頭部が検出された検出領域500の中心座標を検出対象の位置として特定する。なお、中心座標は、例えば、撮影画像の横辺にX軸、及び縦辺にY軸をとった撮影画像座標系における座標として特定されてよく、例えば、撮影画像の四隅のうちの1つの端から検出領域500の中心画素までの画素数として特定されてよい。
S1006において検出装置302の制御部400は、検出対象が、検出困難領域に接触又は近接しているか否かを判定する。この判定において、検出装置302の制御部400は、例えば、図11に示すように、S1005で特定した頭部の検出領域500の中心座標1100からの検出困難領域700までの距離:Lを算出してよい。また、距離:Lは、例えば、頭部の検出領域500の中心座標1100から検出困難領域700までの最短距離であってよい。そして、S1006において検出装置302の制御部400は、算出した距離:Lが所定の距離422以下であるか否かを判定してよい。ここで、所定の距離422は、例えば、検出対象が検出困難領域に接触又は近接したか否かを判定できるような長さに設定されていてよく、例えば、撮影画像に映る頭部の大きさに基づいて設定されてよい。即ち、例えば、事前に撮影画像に映る頭部のおおよその半径を取得しておき、その半径を所定の距離422として検出装置302の記憶部410に記憶し、判定に用いてもよい。また、例えば、頭部をHOG特徴量とAdaBoostによる学習で検出する場合、頭部の一部が検出困難領域700に入っていたとしても、その他の部分で頭部を特徴付けるエッジが十分にとれていれば、頭部を検出できる可能性がある。そのため、別の実施形態においては所定の距離422として、撮影画像内での頭部のおおよその半径よりも短い(例えば、半径の3/4)長さを用いてもよい。
S1006において検出対象が検出困難領域に接触又は近接している場合(S1006がYES)、フローはS1009へと進む。S1009において検出装置302の制御部400は、撮影条件を第1の撮影条件から第2の撮影条件に変更済みか否かを判定する。S1009において、撮影条件を第1の撮影条件から第2の撮影条件に変更済みの場合(S1009がYES)、フローはS1001へと戻る。一方、撮影条件を第2の撮影条件に変更していない場合(S1009がNO)、フローはS1010へと進む。S1010において検出装置302の制御部400は、S1002において第1の撮影条件で特定された検出困難領域の位置を領域情報423として記憶部410に保存する。S1011において検出装置302の制御部400は、撮影条件を第1の撮影条件から第2の撮影条件に変更する。例えば、検出装置302の制御部400は、露光時間を図8で述べた頭部が検出困難領域700から外れている場合の露光時間:b3から、図9で述べた頭部が検出困難領域700に入っている場合の露光時間:c2へと変更してよい。撮影条件を第2の撮影条件に変更すると、フローはS1001へと戻る。
また、S1006において検出対象が、検出困難領域に接触又は近接していない場合(S1006がNO)、フローはS1007へと進む。S1007において検出装置302の制御部400は、検出対象が、撮影条件を第2の撮影条件に変更する前に第1の撮影条件で特定された検出困難領域から外れたか否かを判定する。例えば、検出装置302の制御部400は、記憶部410に記憶されている領域情報423を参照し、領域情報423に記録された第1の撮影条件で特定された検出困難領域の位置から検出対象が外れたか否かを判定する。この判定は、例えば、検出対象の検出領域500の中心座標1100からの検出困難領域までの距離:Lが所定の距離422よりも大きいか否かを判定することで行われてよい。ここで、所定の距離422は、例えば、検出対象が検出困難領域から外れたか否かを判定できるような長さに設定されていてよく、例えば、撮影画像に映る検出対象の大きさに基づいて設定されてよい。例えば、検出対象が頭部である場合、事前に撮影画像に映る頭部のおおよその半径を取得しておき、その半径、或いはそれよりも長い(例えば、半径の5/4)又は短い(例えば、半径の3/4)長さを所定の距離422として用いてもよい。また、例えば、S1007で用いる所定の距離422は、S1006での判定に用いた長さを用いてもよいし、別の長さに設定されていてもよい。
検出対象が領域情報423に示される検出困難領域の位置から外れていない場合(S1007がNO)、フローはS1001へと戻る。また、領域情報423には、上述のS1010において撮影条件を第2の撮影条件に変更する前の第1の撮影条件で特定された検出困難領域の位置が記憶されるが、領域情報423に検出困難領域の位置が記憶されていない状況も存在する。そのため、S1007において検出装置302の制御部400は、領域情報423に検出困難領域の位置が記憶されていない場合にも、S1007をNOと判定してよい。一方、S1007において検出対象が領域情報423に示される検出困難領域の位置の外側にある場合(S1007がYES)、フローはS1008へと進む。S1008において検出装置302の制御部400は、S1011で第2の撮影条件に変更した撮影条件を第1の撮影条件に変更し、領域情報423に記憶された検出困難領域の位置を消去する。例えば、検出困難領域を暗色の頭髪の頭部と近い輝度値を有する背景領域として特定する場合、S1008において検出装置302の制御部400は、露光時間を、図8で述べた頭部が検出困難領域700から外れている場合の露光時間:b3へと変更してよい。撮影条件を第1の撮影条件に変更すると、フローはS1001へと戻る。
なお、以上で述べた図10の動作フローは、検出処理の例であり、実施形態はこれに限定されるものではない。例えば、可能な場合には、処理の順番を変更して実行してもよい。例えば、S1010及びS1011の処理は順序を入れ替えて実行されてもよい。
また、図10の動作フローにおいて、S1001からS1002までの処理では、検出装置302の制御部400は、例えば、特定部411として機能する。また、S1003からS1006までの処理では、検出装置302の制御部400は、例えば、判定部412として機能する。S1007からS1011までの処理では、検出装置302の制御部400は、例えば、変更部413として機能する。
以上の図10の動作フローにおいて、検出装置302の制御部400は、検出対象が検出困難領域の外側にある状態に合わせて設定された第1の撮影条件で撮影画像から検出対象を検出する。そして、検出対象の位置が検出困難領域に接触又は近接している場合に、検出対象が検出困難領域に入る状態に合わせて設定された第2の撮影条件に変更する。そのため、検出対象が検出困難領域に入った場合にも検出対象と検出困難領域との間の輝度差が大きくなり、検出対象を検出することができる。また、例えば、撮影条件に検出対象と検出困難領域との間の輝度差が大きくなるように設定された第2の撮影条件を用いる場合、検出困難領域の外側の背景領域において、輝度飽和等を引き起こしてしまう恐れがある。その結果、検出困難領域の外側の背景領域において検出対象の検出に失敗してしまう恐れがある。しかしながら、第1の実施形態では検出対象が検出困難領域から外れる場合に、撮影条件を検出対象が検出困難領域の外側にある状態に合わせて設定された第1の撮影条件に変更する。そのため、このような検出の失敗を抑制できる。従って、第1の実施形態に係る検出処理によれば、検出対象を検出困難領域の内側及び検出困難領域の外側の両方において検出することができ、検出率を向上させることができる。
また、以上の説明では露光時間を変更する場合を例に説明を行っている。しかしながら、実施形態はこれに限定されるものではない。例えば、検出対象と検出困難領域との間の輝度差を大きくするために、露光時間の代わりに、撮影装置102のゲイン、絞り値(F値)などを変更してもよく、又は、撮影の際の例えば照明101の光量を変更してもよい。例えば、撮影装置102のゲインを変更する場合には、図5から図7の所定の範囲421及び閾値の設定、図8及び図9の撮影条件の決定の処理を、露光時間の代わりにゲインを用いて実行し、得られた値を用いて図10の動作フローを実施してよい。
即ち、例えば、図5で例示した検出困難領域の特定に用いる所定の範囲421の上限:THの設定では、撮影装置102のゲインを徐々に変更してゆき(例えば、大きい値から小さい値へ)、頭部の検出が可能なぎりぎりの大きさのゲインを特定する。そして、特定されたゲイン値において検出対象の頭部が検出された検出領域500内の複数の画素の輝度値を代表する代表値を算出し、代表値を検出困難領域の特定に用いる所定の範囲421の上限の閾値:THとして設定してよい。また、所定の範囲421の下限の閾値:TLは、例えば暗色の頭髪を有する頭部の検出が暗い背景領域で困難になる場合、ゲインを下げてゆき頭部の検出ができなくなった後、更にゲインを下げて頭部の輝度値を下げていったとしても頭部を検出することはできない。そのため、所定の範囲421の下限の閾値:TLとしては輝度値の最小値(例えば、0)を用いてよい。そして、得られた所定の範囲421(TH〜TL)を用いて、例えば図7で例示したように検出困難領域700を特定してよい。
また、例えば、図8で例示した頭部が検出困難領域700に入っていない状態で用いる第1の撮影条件の決定では、頭部が検出困難領域700に入っていない状態で、ゲインを徐々に変更しながら頭部の検出の可否を判定してよい。そして、頭部の検出が可能な最大の大きさのゲインを、頭部が検出困難領域700の外側にある場合における第1の撮影条件として設定してよい。また、例えば、図9で例示した頭部が検出困難領域700に入っている状態で用いる第2の撮影条件の決定では、頭部が検出困難領域700に入っている状態で、ゲインを徐々に変更しながら頭部の検出の可否を判定してよい。そして、頭部の検出が可能な最小の大きさのゲインを、頭部が検出困難領域700に入る場合における第2の撮影条件として設定してよい。
その他の例えば、絞り値(F値)又は光量についても、同様に、例えば、絞り値(F値)又は光量の変更が撮影画像の輝度値に与える影響と、検出困難領域との関係に基づいて所定の範囲421、第1の撮影条件、及び第2の撮影条件を設定することができる。なお、例えば、露光時間を長くすると撮影画像は明るくなる。また、例えば、ゲインを大きくすると撮影画像は明るくなる。例えば、絞り値を小さくすると撮影画像は明るくなる。例えば、光量を大きくすると撮影画像は明るくなる。
続いて、第1の実施形態の変形例を説明する。第1の実施形態では、暗色の髪を有する頭部のように暗い検出対象を、暗い背景領域で検出する場合に輝度差が出ずに検出が困難になる場合を例示している。しかしながら、実施形態はこれに限定されるものではない。例えば、明るい検出対象を、明るい背景領域で検出する場合に輝度差が出ずに検出が困難になる場合がある。例えば、明るい色の服、明るい色の肌、白髪などの明るい色の髪などを、ベッドの明るい色のシーツや明るい色の布団上で検出する場合、撮影装置102のゲインが高すぎたり、露光時間が長すぎたりすると、検出できないことがある。例えば、このような場合に第1の実施形態の変形例を適用してもよい。なお、この場合、例えば、白髪、明色の服、明色の肌などの明るい色の検出対象と近しい輝度値を有する明るい色の背景領域が検出困難領域となる。従って、検出対象領域を特定するための所定の範囲421、及び閾値の特定は、例えば以下のように実施されてよい。
変形例では、例えば、検出対象者の明るい色の頭部(例えば、白髪など)が、明るい色のシーツ上などに入ってしまった場合に、検出対象と、背景領域との間で輝度差が小さくなり、検出が困難になる場合を例示する。この場合、このような検出が困難となる状況において所定の範囲421、及び閾値の特定を行う。即ち、検出対象の明るい色の頭部が明るい色の背景領域(例えば、シーツ上)に入るように配置する。そして、この状態において、例えば、露光時間を長い時間から短い時間へと徐々に変更してゆき、それぞれの露光時間において頭部が検出できるか否かを判定する。ここで、明るい色の検出対象者の頭部と、明るい色のシーツとの間の輝度差は、例えば、露光時間が長いほど小さくなる傾向がある。逆に、露光時間を短くしていくと輝度差が大きくなる傾向がある。そのため、例えば、露光時間を長い時間から短い時間へと徐々に変更していった場合、露光時間が長い方では頭部の検出に失敗するが、短くしていくと頭部を検出できるようになる。ここで、頭部を検出できなかった露光時間における頭部の輝度値は、背景領域と近い輝度値を有しており、検出することができない輝度値を有していることになる。そこで、変形例においては、例えば、露光時間を変更して撮影した複数の撮影画像のうちで、頭部の検出が可能なぎりぎりの長さの露光時間における頭部の輝度値を下限の閾値:TLとして特定する。
なお、頭部の輝度値は、例えば、検出対象の頭部が検出された検出領域500内の複数の画素の輝度値を代表する代表値を算出することで特定されてよい。代表値は、検出領域500内の複数の画素の輝度値の例えば、平均値、分散、最大値、最小値、最頻値などの統計量であってよい。また、例えば、明色の頭部が明るい背景領域で検出が困難になる場合、下限の閾値:TLの設定に用いた上述の頭部の検出が可能なぎりぎりの長さの露光時間から、露光時間を長くし頭部の輝度値を上げていったとしても頭部を検出することはできない。そのため、所定の範囲421の上限の閾値:THには輝度値の最大値(例えば、255)を設定してよい。
続いて、変形例では、例えば、以上で特定した所定の範囲421を用いて検出困難領域を特定する。検出困難領域は、例えば、所定の範囲421を用いて図7を参照して例示した処理を実行して特定されてよい。例えば、検出対象者のベッド周辺を、撮影装置102で撮影する。そして、撮影した撮影画像において所定のサイズの区画701を設定し、その区画701内の複数の画素の輝度値を代表する代表値を算出する。続いて、算出した代表値が、所定の範囲421内の輝度値であるか否かを判定する。そして、算出した代表値が、所定の範囲421内の輝度値であれば、その区画701の中心座標を検出困難点として特定する。なお、変形例では、所定の範囲421の上限の閾値:THは、輝度値の最大値(例えば、255)に設定されている。そのため、この判定は、例えば、区画701内の複数の画素の輝度値の代表値が、所定の範囲421の下限の閾値:TL以上か否かを判定することで行われてよい。そして、検出困難点の特定を、区画701で撮影画像内を走査しながら網羅的に実行し、撮影画像内で特定された検出困難点の集合を検出困難領域700として特定する。この場合、検出困難領域700は、例えば、ベッドのシーツ上に特定されてよい。
続いて、変形例における撮影条件の設定の例を説明する。まず、検出対象が検出困難領域に入っていない状態での撮影条件である第1の撮影条件の設定について述べる。この場合、例えば、頭部が検出困難領域700(例えば、ベッドのシーツ上に特定されている)に入っていない状態で、露光時間を短い時間から長い時間へと徐々に変更して複数の撮影画像を取得し、それぞれの露光時間において頭部が検出できるか否かを判定する。そして、例えば、頭部が検出可能な撮影画像のうちで最も短い露光時間を、頭部が検出困難領域700から外れている場合の第1の撮影条件として設定してもよい。なお、頭部の検出が可能な最も短い露光時間を用いることは、例えば、結果として検出困難領域700を狭くすることにつながる。しかしながら、実施形態はこれに限定されるものではない。例えば、検出困難領域700から外れている状態で頭部を検出可能な露光時間であれば、その他の長さの露光時間を第1の撮影条件として設定してもよい。
次に、検出対象が検出困難領域に入る状態での撮影条件である第2の撮影条件の設定について述べる。この場合、例えば、頭部が検出困難領域700(例えば、ベッドのシーツ上に特定されている)に入っている状態で露光時間を短い時間から長い時間へと徐々に変更して複数の撮影画像を取得し、それぞれの露光時間において頭部が検出できるか否かを判定する。そして、例えば、頭部が検出可能な撮影画像のうちで最も長い露光時間を頭部が検出困難領域700に入っている場合の第2の撮影条件として設定してもよい。なお、頭部の検出が可能な最も長い露光時間を用いることは、例えば、露光時間が長い方が検出困難領域の外側の背景領域での輝度値の黒潰れ等を抑制でき、結果として検出率の低下の抑制につながる。しかしながら、実施形態はこれに限定されるものではない。例えば、検出困難領域700に入っている状態で頭部を検出可能な露光時間であれば、より短い露光時間を、頭部が検出困難領域700に入っている場合の第2の撮影条件として設定してもよい。
変形例では以上で設定した所定の範囲421、第1の撮影条件、及び第2の撮影条件を用いて制御部400が図10の動作フローを実行することで、明るい検出対象が、明るい背景領域に入る場合にも、検出対象を検出することが可能である。また、例えば、撮影条件に検出対象と検出困難領域との間の輝度差が大きくなるように設定された第2の撮影条件を用いる場合、検出困難領域の外側の背景領域において、黒潰れ等を引き起こし検出に失敗してしまう恐れがある。しかしながら、図10の動作フローでは検出対象が第1の撮影条件で特定された検出困難領域から外れる場合には、撮影条件を第1の撮影条件に変更するため、このような検出の失敗による検出率の低下を抑制できる。従って、変形例に係る検出処理によれば、例えば、明るい色の検出対象を、明るい色の背景領域を含む撮影画像内で検出することができ、検出率を向上させることができる。
続いて、図12から図24を参照して、第2の実施形態を説明する。例えば、病院及び介護施設などにおいて、ベッド上の患者の状態をモニタリングする場合に、患者が就床又は起床していれば患者はベッド上で検出される。また、離床している場合、撮影装置102の撮影範囲に検出対象がいない可能性もある。そのため、例えば、離床については検出対象の検出をしなくても患者が就床及び起床していなければ離床していると判定してよい。そして、このように検出すべき状態にて検出対象がいる可能性の高い領域が限定される場合、撮影画像中で検出対象の検出を実行する範囲を制限してもよい。即ち、例えば、ベッド上の患者の状態をモニタリングする場合、就床又は起床の状態で患者の検出対象の部位が検出される可能性の高い領域を特定する。そして、例えば、検出困難領域の特定において区画701で走査する撮影画像中の範囲を検出対象の部位が検出される可能性の高い領域内に制限する。このようにすると、検出困難領域を特定する処理にかかる負荷を低減することができる。そこで、第2の実施形態では、就床及び起床の状態で検出対象者の検出対象の部位が検出される可能性の高い領域を特定し、その範囲内で検出困難領域を特定する例を述べる。なお、第2の実施形態では、暗色の頭部が暗い背景領域で検出が困難になる場合を例にとり、説明を行う。
図12は、一実施形態に係るベッドに設置したマーカ1200の位置座標の登録について説明する図である。図12に例示されるように、例えば、撮影画像上での位置を特定することが可能なマーカ1200をベッドに設置する。マーカ1200は、例えば、検出装置302による検出対象者や布団などによって隠れにくい場所(例えばベッドの四隅)に設置してよい(図12(a))。マーカ1200は、例えば、一定周期で点滅を繰り返す近赤外線の波長帯の光源であってよい。また、別の実施形態では、マーカ1200は、可視光の波長帯で点灯する光源であってよい。図12(b)は、例えば、近赤外線の撮影装置102でベッドの周辺領域を撮影して得られた撮影画像を例示しており、近赤外線の波長帯で点滅するマーカ1200の位置を光点として特定することが可能である。
また、ベッドにベッド座標系を定義する。ベッド座標系は、ベッドに対して固定された座標系であれば、任意の向きに定めてよい。例えば、図12(a)に示すように、ベッドの寝床面の中心に原点をとり、原点から寝床面に直交するように上方向にZ軸を定めてよい。また、原点から、ベッドの寝床面の枕側から足側へと向かう辺の方向にベッドのY軸を定めてよい。更に、Z軸とY軸に直交する方向にX軸を定めてよい。そして、ベッド座標系における各マーカの位置座標を計測し、例えば、予め記憶部410に記憶しておく。
図13は、一実施形態に係るマーカ位置座標情報1300を例示する図である。マーカ位置座標情報1300には、各マーカ1200(a〜d)のベッド座標系における位置座標が登録されている。マーカ位置座標情報1300には、例えば、検出装置302のセットアップ時などに、検出対象が用いるベッドにおいて測定した値を登録して検出装置302の記憶部410に記憶してよい。
続いて、図14から図18を参照して、一実施形態に係るベッド座標系における頭部領域の取得について説明する。図14は、ベッド上の検出対象者の状態と、状態の遷移との関係を例示する図である。図14の例では、ベッド上の検出対象者の状態として、就床、起床、及び離床の3つの状態が含まれている。ここで、就床とは、例えば、人がベッドに横たわった状態であってよい。また、起床とは、例えば、ベッド上で人が上半身を起こし、ベッドに座っている状態であってよい。離床とは、例えば、人がベッドから離れている状態であってよい。図14は、例えば、就床からは起床への状態の遷移が起こり得、起床からは就床及び離床への状態の遷移が起こり得、及び離床からは起床への状態の遷移が起こり得る遷移関係を示している。例えば、検出装置302は、撮影画像からこれらの状態を検出し、検出結果に基づいて、検出対象者が特定の行動をとったと判定される場合に、センター装置301にナースコールなどを行うことで、検出対象者の徘徊や転倒等の事故を防止する。なお、特定の行動とは、例えば、離床が禁止されている検出対象者が離床したり、長時間の離床を検出したり、又は、起床が好ましくない容態の検出対象者が長時間起床していたりする行動であってよい。
図15は、一実施形態に係る起床状態(座位)での撮影画像座標系における頭部領域の特定を説明する図である。なお、撮影画像座標系は、例えば、撮影画像の4隅のうちの1つ(例えば画像の左上の隅)を原点として横辺にX軸、及び縦辺にY軸をとった座標系であってよい。検出対象者が起床状態にある場合、検出対象者はベッドの寝床面上のどこかに座っていることになる。そのため、例えば、ベッドの寝床面の各隅(図15の配置A〜配置D)に検出対象者を座らせて撮影画像を撮影し、得られた各配置での撮影画像中で頭部のある領域1501の外接四角形を計算したとする。この場合に、この外接四角形を計算して得られた領域に、起床状態における頭部が存在する可能性が高い。そのため、この外接四角形を計算して得られた領域を、以降の説明では起床時検出領域1500と呼ぶ。起床時検出領域1500は、例えば、撮影画像から検出された頭部の位置から検出対象者の状態を特定するために、又は、検出対象の検出を実行する撮影画像内の範囲を限定するために用いることができる。そこで、第2の実施形態では、検出対象者をベッドの寝床面の各隅(図15の配置Aから配置D)に座らせた場合の各配置におけるベッド座標系での頭部が存在する領域の座標を計測する。そして、計測された頭部が存在する領域の座標を、例えば、起床時検出領域1500の算出に用いるために後述するベッド座標系頭部座標情報1800に登録する。
図16は、配置Aにおける起床状態の検出対象者の頭部が存在する領域の特定を例示する図である。図16に示されるように、ベッドにベッド座標系を定義する。ベッド座標系は、上述のマーカ位置座標情報1300の登録の際と同じ方向にX軸、Y軸、及びZ軸を定める。そして、ベッド座標系において各配置(配置Aから配置D)で頭部が存在する領域1601の位置を計測し、ベッド座標系頭部座標情報1800に登録する。なお、領域1601の位置は、例えば、図16に例示するように直方体である場合には、直方体の各8点(例えば、図16の点1〜8)のベッド座標系における座標として特定されてよい。
図17は、一実施形態に係る就床状態での撮影画像座標系における頭部領域の特定を説明する図である。検出対象者が就床状態にある場合、検出対象者はベッドの寝床面上のどこかに寝ていることになる。そのため、検出対象者をベッドの寝床面の各隅(図17の配置E〜配置H)に寝かせて撮影画像を撮影し、得られた各配置での撮影画像中で頭部のある領域1701の外接四角形を計算したとする。この場合に、この外接四角形を計算して得られた領域に、就床状態における頭部が存在する可能性が高い。そのため、この外接四角形を計算して得られた領域を、以降の説明では就床時検出領域1700と呼ぶ。就床時検出領域1700は、例えば、撮影画像から検出された頭部の位置から検出対象者の状態を特定するために、又は、検出対象の検出を実行する撮影画像内の範囲を限定するために用いることができる。そこで、第2の実施形態では、検出対象者をベッドの寝床面の各隅(図17の配置E〜配置H)に寝かせた場合の各配置におけるベッド座標系での頭部が存在する座標を計測する。そして、計測された頭部が存在する領域の座標を、例えば、就床時検出領域1700の算出に用いるために後述するベッド座標系頭部座標情報1800に登録する。なお、ベッド座標系での頭部が存在する領域は、例えば、図16で例示したように、各配置(図17の配置E〜配置H)で頭部が存在する直方体の領域の位置を計測し、その直方体の各8点のベッド座標系における座標として特定されてよい。また、検出対象者をベッドの寝床面の四隅に寝かせる際に、検出対象者の頭部をベッドの枕方向に向けて全身を四隅に配してもよいが、別の実施形態では、就床状態において下半身はベッドの寝床面からはみ出す可能性がある。そのため、マージンを取って、頭部をベッドの枕方向に向けて上半身をベッドの四隅に配してベッド座標系における就床時の頭部領域を測定してもよい。
図18は、第2の実施形態に係るベッド座標系頭部座標情報1800を例示する図である。図18の例ではベッド座標系頭部座標情報1800には、図15〜図17を参照して説明した就床状態及び起床状態での各配置(配置Aから配置H)において頭部がある領域1601の各8点のベッド座標系での座標が登録されている。例えば、検出装置302のセットアップ時などに、検出対象が用いるベッドにおいて測定した値をベッド座標系頭部座標情報1800に登録し、検出装置302の記憶部410に記憶してよい。なお、図18のベッド座標系頭部座標情報1800の例では、例えば、離床状態では撮影装置102の撮影範囲内に検出対象がいない可能性もあるため、離床状態での頭部が存在する領域の座標は含まれていない。
図19は、第2の実施形態に係る検出処理を例示する図である。図19の検出処理の動作フローは、一実施形態においては、検出装置302の制御部400が記憶部410に格納されているプログラム420を読み出して実行することで実施されてよい。また、一実施形態においては、検出装置302に検出処理の実行指示が入力されると検出処理は開始する。
S1901において検出装置302の制御部400は、撮影装置102からベッドの周辺領域を撮影した撮影画像を取得する。撮影装置102は、例えば、所定のフレームレートで撮影画像を撮影してよく、制御部400は、撮影装置102で撮影された撮影画像を取得する。S1902において検出装置302の制御部400は、取得した撮影画像からベッドに設置されたマーカ1200を検出し、マーカ1200の撮影画像座標系での位置座標を特定する。撮影画像座標系は、例えば、撮影画像の4隅のうちの1つ(例えば画像の左上の隅)を原点として横辺にX軸、及び縦辺にY軸をとった座標系であってよい。検出装置302の制御部400は、例えば、各マーカ1200の位置を、原点から各マーカの中心画素までの画素数として特定してよい。
S1903において検出装置302の制御部400は、検出されたマーカ1200の撮影画像座標系での位置座標を基に、ベッドと撮影装置102との相対位置の変更を検知する。例えば、検出装置302の制御部400は、特定した撮影画像座標系でのマーカ1200の位置座標が、マーカ座標情報2000に登録されているマーカの位置座標から動いていれば、ベッドと撮影装置102との相対位置に変更ありと検知する。図20は、一実施形態に係るマーカ座標情報2000を例示する図である。マーカ座標情報2000は、例えば、記憶部410に記憶されてよい。マーカ座標情報2000は、例えば、過去のフレーム(例えば、1つ前のフレーム)で撮影された撮影画像に対してS1902の処理を実行した際に特定されたマーカ1200の撮影画像座標系での位置座標を登録している。そのため、例えば、マーカ座標情報2000に登録された位置座標と、現在のフレームの撮影画像からS1902で特定したマーカ1200の位置座標との間での位置の移動から、ベッドと撮影装置102との相対位置の変更を検知することができる。
S1903において、ベッドと撮影装置102との相対位置の変更が検知されない場合(S1903がNO)、フローはS1905へと進む。一方、S1903において、ベッドと撮影装置102との相対位置の変更が検知された場合(S1903がYES)、フローはS1904へと進む。また、S1903の処理が例えば、検出装置302のセットアップ時など、初めて実行される場合には、マーカ座標情報2000にはマーカ1200の位置座標が登録されていない。この場合にも、S1903をYESと判定してよい。なお、S1903において、ベッドと撮影装置102との相対位置の変更を検知したか否かの判定後、制御部400は、S1902で検出した撮影画像座標系でのマーカ1200の位置座標で、マーカ座標情報2000の位置座標を更新する。続いて、S1904において検出装置302の制御部400は、相対位置変更処理を実行する。
図21は、一実施形態に係る相対位置変更処理を例示する動作フロー図である。図21の動作フローは、例えば、検出装置302の制御部400が記憶部410に格納されているプログラム420を読み出して実行することで実施されてよい。一実施形態においては、図19のS1904へとフローが進むと、相対位置変更処理は開始する。
S2101において検出装置302の制御部400は、ベッドと撮影装置102との相対位置を計算する。例えば、制御部400は、S1902で特定した画像座標系でのマーカ1200の位置座標と、マーカ位置座標情報1300に登録されているベッド座標系でのマーカ1200の位置座標とから、ベッド座標系における撮影装置102の位置と角度を計算する。なお、ベッド座標系における撮影装置102の位置と角度の計算は、例えば、非特許文献3及び非特許文献4に記載される手法を用いて行われてよい。
S2102において検出装置302の制御部400は、例えば、ベッド座標系頭部座標情報1800の状態を参照し、登録されている就床、起床、及び離床などの検出対象者の状態のうちから1つの状態を選択する。続いて、S2103において検出装置302の制御部400は、選択された検出対象者の状態における撮影画像座標系での頭部の出現範囲を算出する。例えば、制御部400は、選択された状態が起床の場合には、ベッド座標系頭部座標情報1800から起床時のベッド座標系における頭部の領域:配置A:A1(x,y,z)〜A8(x,y,z)〜配置D:D1(x,y,z)〜D8(x,y,z)を読み出す。そして、制御部400は、読み出したベッド座標系における起床時の頭部の領域の座標と、S2101で計算したベッド座標系での撮影装置102の位置と角度とから、配置A〜配置Dでの画像座標系における頭部のある領域1501を計算する。そして、制御部400は、計算された配置A〜配置Dでの画像座標系における頭部のある領域1501の外接四角形を計算し起床時検出領域1500を特定する。制御部400は、算出した起床時検出領域1500の画像座標系における座標を起床時に頭部が存在する可能性のある領域として画像座標系頭部座標情報2200に保存する。
また、選択された状態が就床である場合、制御部400は、ベッド座標系頭部座標情報1800から就床時のベッド座標系における頭部の領域:配置E:E1(x,y,z)〜E8(x,y,z)〜配置H:H1(x,y,z)〜H8(x,y,z)を読み出す。そして、制御部400は、読み出したベッド座標系における就床時の頭部の領域の座標と、S2101で計算したベッド座標系での撮影装置102の位置と角度とから、配置E〜配置Hでの画像座標系における頭部のある領域1701を計算する。そして、制御部400は、計算された配置E〜配置Hでの画像座標系における頭部のある領域1701の外接四角形を計算し就床時検出領域1700を算出する。制御部400は、算出した就床時検出領域1700の画像座標系における座標を就床時に頭部が存在する可能性のある領域として画像座標系頭部座標情報2200に保存する。
また、選択された状態が離床である場合、図18のベッド座標系頭部座標情報1800の例では、離床時のベッド座標系における頭部の領域が登録されていない。そのため、S2103において検出装置302の制御部400は、離床時の撮影画像座標系での頭部の出現範囲は算出しなくてもよい。例えば、以上のような処理を、検出装置302の制御部400は、選択された状態に応じてS2103で実行してよい。
図22は、一実施形態に係る画像座標系頭部座標情報2200を例示する図である。図22の例に示されるように、画像座標系頭部座標情報2200は、S2103で算出された画像座標系における起床時検出領域1500の座標、及び就床時検出領域1700の座標を含んでいる。画像座標系頭部座標情報2200は、例えば、記憶部410に記憶されてよい。
続いて、S2104において検出装置302の制御部400は、ベッド座標系頭部座標情報1800に含まれるすべての状態について選択し終わったか否かを判定する。まだ、未選択の状態がある場合(S2104がNO)には、フローはS2102へと戻る。一方、すべての状態を選択し終わっている場合(S2104がYES)には、本動作フローは終了し、フローはS1905へと戻る。
続いて、S1905において検出装置302の制御部400は検出困難領域を特定する。なお、第2の実施形態では、検出装置302の制御部400は、例えば、画像座標系頭部座標情報2200に登録された起床時検出領域1500及び就床時検出領域1700内を、図7で例示したように区画701で走査することで、検出困難領域を特定する。即ち、制御部400は、例えば図23に示すように、起床時検出領域1500と、就床時検出領域1700の論理和(OR)をとった頭部領域2300内に区画701の中心座標702が存在する範囲内を、区画701で走査し、検出困難領域を特定する。その結果、S1905の処理では、図24に例示するように、撮影画像の全領域から特定される第1の実施形態の検出困難領域700と、頭部領域2300との論理積(AND)をとった領域が第2の実施形態に係る検出困難領域2400として特定される。
S1906において検出装置302の制御部400は、撮影画像中の頭部領域2300内を走査し、頭部の検出を行う。なお、撮影画像からの頭部の検出は、例えばHOG特徴量と、AdaBoostによる学習データとに基づいて実行されてよい。S1907において検出装置302の制御部400は、検出に成功したか否かを判定する。検出に失敗した場合(S1907がNO)、フローはS1901へと戻る。一方、検出に成功した場合(S1907がYES)、フローはS1908へと進む。
S1908において検出装置302の制御部400は、検出された頭部の位置を特定する。検出装置302の制御部400は、例えば、検出された頭部の検出領域500の中心座標を特定する。なお、中心座標は、例えば、撮影画像の横辺にX軸、及び縦辺にY軸をとった撮影画像座標系における座標として特定されてよく、例えば、撮影画像の四隅のうちの1つの端から検出領域500の中心画素までの画素数として特定されてよい。S1909において検出装置302の制御部400は、検出された頭部の位置から検出対象者の状態を判定する。検出装置302の制御部400は、例えば、検出された頭部の位置が画像座標系頭部座標情報2200に登録された起床時検出領域1500内にある場合は、検出対象者の状態を起床と判定してよい。また、検出装置302の制御部400は、例えば、検出された頭部の位置が画像座標系頭部座標情報2200に登録された就床時検出領域1700内にある場合は、検出対象者の状態を就床と判定してよい。更に、検出装置302の制御部400は、例えば、検出された頭部の位置が起床時検出領域1500及び就床時検出領域1700内に無い(即ち、頭部領域2300内に無い)場合、検出対象者の状態を離床と判定してよい。また、検出装置302の制御部400は、一実施形態においては、検出した状態が例えば離床などの特定の状態である場合に、ナースコールなどをセンター装置301に通知してよい。
S1910において検出装置302の制御部400は、検出対象者の頭部がS1905で特定された検出困難領域2400に接触又は近接しているか否かを判定する。例えば、検出装置302の制御部400は、S1908で特定した頭部の位置からの検出困難領域2400までの距離:Lを算出し、距離:Lが所定の距離422以下であるか否かを判定してよい。なお、所定の距離422は、例えば、撮影画像に映る頭部の大きさに基づいて設定されてよい。
S1910において検出困難領域2400に頭部が接触又は近接している場合(S1910がYES)、フローはS1913へと進む。S1913において検出装置302の制御部400は、撮影条件を第1の撮影条件から第2の撮影条件に既に変更済みか否かを判定する。既に撮影条件を第2の撮影条件に変更済みの場合(S1913がYES)、フローはS1901へと戻る。一方、撮影条件を第2の撮影条件に変更しておらず、第1の撮影条件で撮影している場合(S1913がNO)、フローはS1914へと進む。S1914において検出装置302の制御部400は、S1905で第1の撮影条件において特定した検出困難領域2400の位置を領域情報423として記憶部410に保存する。S1915において検出装置302の制御部400は、撮影条件を第1の撮影条件から第2の撮影条件に変更する。例えば、検出装置302の制御部400はS1915において露光時間を、図8で決定される頭部が検出困難領域から外れている場合の露光時間:b3から、図9で決定される頭部が検出困難領域に入っている場合の露光時間:c2へと変更してよい。撮影条件を第2の撮影条件に変更すると、フローはS1901へと戻る。
また、S1910において検出困難領域2400に頭部が接触又は近接していない場合(S1910がNO)、フローはS1911へと進む。S1911において検出装置302の制御部400は、撮影条件を変更する前の第1の撮影条件で特定された検出困難領域2400から頭部が外れたか否かを判定する。例えば、検出装置302の制御部400は、記憶部410に記憶されている領域情報423を参照し、領域情報423に記録された第1の撮影条件で特定された検出困難領域2400の位置から頭部が外れたか否かを判定してよい。また、この判定は、例えば、頭部の検出領域500の中心座標からの検出困難領域2400までの距離:Lが所定の距離422よりも大きいか否かを判定することで行われてよい。ここで、所定の距離422は、例えば、頭部が領域情報423に記録された検出困難領域2400の位置から外れたか否かを判定できるような長さに設定されてよく、例えば、撮影画像に映る頭部の大きさに基づいて設定されてよい。一実施形態においては、所定の距離422には、S1910での判定に用いた所定の距離422が用いられてもよい。
領域情報423に示される検出困難領域2400の位置から頭部が外れていない場合(S1911がNO)、フローはS1901へと戻る。また、上述のように領域情報423には、撮影条件が第2の撮影条件に変更される前に、S1914で第1の撮影条件で特定された検出困難領域2400の位置が記憶される。従って、S1911の処理が実行される際に、領域情報423に検出困難領域2400の位置が記憶されていない状況も存在する。そのため、S1911において検出装置302の制御部400は、領域情報423に検出困難領域2400の位置が記憶されていない場合、S1911をNOと判定してよい。一方、S1911において領域情報423に示される検出困難領域2400の位置から頭部が外れている場合(S1911がYES)、フローはS1912へと進む。S1912において検出装置302の制御部400は、S1915で第2の撮影条件へと変更された撮影条件を第1の撮影条件に変更する。また、S1912において検出装置302の制御部400は、例えば、領域情報423に記憶された検出困難領域の位置を消去する。なお、例えば、検出困難領域2400を髪が暗色の頭部と近い輝度値を有する背景領域として特定する場合、S1912において検出装置302の制御部400は、露光時間を、図9の頭部が検出困難領域から外れている場合の露光時間:b3へと変更してよい。撮影条件を第1の撮影条件に変更すると、フローはS1901へと戻る。
以上で述べた図19及び図21の動作フローは、検出処理の例であり、実施形態はこれに限定されるものではない。例えば、可能な場合には、処理の順番を変更して実行してもよい。例えば、S1914及びS1915の処理は順序を入れ替えて実行されてもよい。
また、図19及び図21の動作フローにおいて、S1901及びS1905の処理では、検出装置302の制御部400は、例えば、特定部411として機能する。また、S1902及びS1903の処理では、検出装置302の制御部400は、例えば、検知部414として機能する。S1904、及びS2101からS2104の処理では、検出装置302の制御部400は、例えば、算出部415として機能する。S1906からS1910の処理では、検出装置302の制御部400は、例えば、判定部412として機能する。S1911からS1915までの処理では、検出装置302の制御部400は、例えば、変更部413として機能する。
以上で述べた第2の実施形態において、検出装置302の制御部400は、例えば、頭部が検出困難領域の外側にある状態に合わせて設定された第1の撮影条件で撮影画像から頭部を検出する。そして、頭部の位置が検出困難領域2400に接触又は近接している場合に、頭部と検出困難領域2400内の背景との間の輝度差が大きくなるように設定された第2の撮影条件に変更する。従って、第2の実施形態に係る検出処理によれば、検出対象を検出困難領域2400の内側及び検出困難領域2400の外側の両方において検出することができ、検出率を向上させることができる。また、第2の実施形態では、例えば、S1905の検出困難領域の特定を実行する範囲及びS1906で頭部の検出を実行する範囲を、撮影画像のうちでベッド上の検出対象者の頭部が検出される可能性の高い頭部領域2300内に限定している。そのため、例えば、これらの処理で制御部400にかかる負荷を低減することができる。また、第2の実施形態では、撮影装置102とベッドとの相対位置関係に変更があったか否かを検知している。そして、変更があった場合には、例えば変更された相対位置関係に基づいて起床時検出領域1500及び就床時検出領域1700を計算する処理を実行している。そのため、ベッドの移動などでベッドと撮影装置102との相対位置関係に変更があった場合にも、頭部の位置を検出し、頭部の位置から検出対象の状態を推定することができる。なお、第2の実施形態では、検出対象を頭部とした場合を例に説明を行ったが、実施形態はこれに限定されるものではない。例えば、検出対象者の肩を検出対象とした場合に第2の実施形態を適用してもよい。
続いて、第3の実施形態を説明する。第1及び第2の実施形態では、検出困難領域に検出対象の部位が接触又は近接する場合に、検出条件として撮影条件を変更する場合を例示している。第3の実施形態では、撮影画像からの検出対象の検出に失敗した場合に、過去のフレームで撮影された撮影画像において検出対象が検出困難領域に接触又は近接しているか否かを判定し、それにより検出条件を変更する場合の例を述べる。また、第3の実施形態では、検出条件の変更として、検出対象の部位を変更する場合の例を説明する。
図25は、一実施形態に係る検出可能部位情報2500を例示する図である。検出可能部位情報2500は、例えば、検出装置302の記憶部410に記憶されていてよい。検出可能部位情報2500では、検出すべき検出対象者の状態と、各状態において検出可能な検出部位、及び検出可能な部位間の画像座標系における相対的な位置関係とが対応づけられて記憶されている。図25の例では、就床状態で頭部が検出可能な部位として登録されており、起床状態で頭部及び肩が検出可能な部位として登録されている。なお、図25の例では、就床状態で肩を登録していない。これは、例えば、検出対象者が布団などを体にかけてベッドに就床している場合、肩が布団などにより隠れてしまい撮影画像内に映らない可能性があるためである。また、離床状態では、例えば、検出対象者が、撮影装置102の撮影範囲から外れている場合には検出できないため、図25の例では検出可能部位に検出部位を登録していない。検出可能部位情報2500に登録される検出部位はこれに限定されるものではなく、例えば、背中など、その他の検出対象者を検出可能な部位が登録されていてもよい。また、相対位置は、例えば、画像座標系における第2の部位からの第1の部位への相対位置の情報であってよい。図25の例では、相対位置には、画像座標系における肩の位置からの頭部の相対位置の情報が登録されている。相対位置は、例えば、図27の動作フローで後述するように、検出対象者の第1の部位が検出困難領域に入り、検出対象を第2の部位に変更する場合に、第2の部位から第1の部位の位置を推定するために用いられてよい。
図26は、第2の部位からの第1の部位の相対位置の算出について説明する図である。なお、図26の例では、第1の部位として頭部を、第2の部位として肩を用いる場合を例に説明する。図26に示されるように、頭部と肩とをそれぞれ検出する。そして、検出された頭部の検出領域500の中心座標と、肩の検出領域2600の中心座標とを撮影画像座標系において特定する。中心座標は、例えば、撮影画像の横辺にX軸、及び縦辺にY軸をとった撮影画像座標系における座標として特定されてよい。そして、例えば、特定された肩の中心座標からの頭部の中心座標への相対位置(X,Y)を算出し、検出可能部位情報2500に登録してよい。
図27は、第3の実施形態に係る検出処理を例示する図である。図27の検出処理の動作フローは、一実施形態においては、検出装置302の制御部400が記憶部410に格納されているプログラム420を読み出して実行することで実施されてよい。また、一実施形態においては、検出装置302に検出処理の実行指示が入力されると検出処理は開始する。なお、図27の動作フローでは、第1の検出部位として頭部、及び第2の検出部位として肩を用い、検出対象者の頭部が検出困難領域に入る場合に、検出対象の部位を肩へと変更する場合の例を述べる。
S2701において検出装置302の制御部400は、撮影装置102からベッドの周辺領域を撮影した撮影画像を取得する。S2702において検出装置302の制御部400は、検出困難領域を特定する。なお、検出困難領域の特定は、例えば、第1の実施形態のS1002で述べたのと同様に実行されてもよい。
S2703において検出装置302の制御部400は、S2701で撮影装置102から取得した撮影画像から検出対象(頭部又は肩)を検出する。なお、撮影画像から検出対象(頭部又は肩)の検出は、例えばHOG特徴量と、AdaBoostによる学習データとに基づいて実行されてよい。S2704において検出装置302の制御部400は、検出に成功したか否かを判定する。検出に成功した場合(S2704がYES)、フローはS2705へと進む。S2705において検出装置302の制御部400は、例えば、検出された検出対象が頭部であれば検出領域500の中心座標を特定する。なお、中心座標は、例えば、撮影画像の横辺にX軸、及び縦辺にY軸をとった撮影画像座標系における座標として特定されてよい。また、制御部400は、後述するS2711の処理により検出対象が頭部から肩へと変更されている場合には、検出された肩の検出領域2600の中心座標と、検出可能部位情報2500に含まれる相対位置とから頭部の中心座標を特定してよい。
続いて、S2706において検出装置302の制御部400は、特定した頭部の中心座標から検出対象者の状態を判定する。例えば、検出装置302の制御部400は、予め記憶部410に記憶されている画像座標系頭部座標情報2200を参照し、特定された頭部の位置が起床時検出領域1500内にある場合には、検出対象の状態を起床と判定してよい。また、検出装置302の制御部400は、特定された頭部の位置が就床時検出領域1700内にある場合には、検出対象の状態を就床と判定してよい。また、検出装置302の制御部400は、例えば、特定された頭部の位置が起床時検出領域1500及び就床時検出領域1700のいずれの内側にも無い(即ち、頭部領域2300内に無い)場合には、検出対象の状態を離床と判定してよい。そして、検出装置302の制御部400は、頭部の検出時刻と、S2705で特定した頭部の位置と、S2706で頭部の位置から判定した検出対象者の状態とを対応づける検出情報2801を検出履歴情報2800に登録する。
図28は、S2706及びS2707で検出装置302の制御部400により情報が登録される検出履歴情報2800を例示する図である。検出履歴情報2800は、例えば、検出装置302の記憶部410に記憶されてよい。検出履歴情報2800は、検出情報2801を含んでいる。検出情報2801は、例えば、検出時刻と、検出位置と、状態とを含み、これらの情報は、検出情報2801において対応づけられている。検出時刻は、例えば、S2703で頭部が検出された撮影画像の撮影時刻であってよい。検出位置は、例えば、S2705で特定した頭部の中心座標であってよい。状態は、例えば、S2706で特定した検出対象者の状態であってよい。
S2707において検出装置302の制御部400は、検出された頭部の位置、又は検出された肩の位置から相対位置を用いて特定された頭部の位置が、S2702で特定した検出困難領域から外れたか否かを判定する。この判定は、例えば、S2705で特定した頭部の検出領域500の中心座標からの検出困難領域までの距離:Lが所定の距離422よりも大きいか否かを判定することで行われてよい。ここで、所定の距離422は、例えば、頭部が検出困難領域から外れたか否かを判定できるような長さに設定されていてよく、例えば、撮影画像に映る頭部の大きさに基づいて設定されてよい。
頭部が検出困難領域から外れていない場合(S2707がNO)、フローはS2701へと戻る。一方、S2707において頭部が検出困難領域から外れている場合(S2707がYES)、フローはS2708へと進む。S2708において検出装置302の制御部400は、後述するS2711で第2の検出部位である肩に変更した検出対象を第1の検出部位である頭に変更し、フローはS2701へと戻る。
一方、S2704において検出装置302の制御部400が頭部の検出に失敗した場合(S2704がNO)、フローはS2709へと進む。S2709において検出装置302の制御部400は、検出対象の部位を第2の部位である肩に変更済みか否かを判定する。検出対象の部位を肩に変更している場合(S2709がYES)、フローはS2701へと戻る。一方、未だ検出対象の部位を肩に変更していない場合(S2709がNO)、フローはS2710へと進む。S2710において検出装置302の制御部400は、過去の所定の期間内の頭部の検出位置を参照し、過去の所定の期間内において頭部が検出困難領域から所定の距離422以内にあるか否かを判定する。例えば、検出装置302の制御部400は、検出履歴情報2800から所定の期間内(例えば、1フレーム分の期間過去)の検出時刻を有する検出情報2801から検出位置を取得する。そして、取得した検出位置からの検出困難領域までの距離:Lを算出し、距離:Lが所定の距離422以内であるか否かを判定してよい。
S2710において過去の所定の期間内の頭部の位置が検出困難領域から所定の距離422以内にない場合(S2710がNO)、フローはS2701へと戻る。なお、過去の所定の期間内の頭部の位置が検出困難領域から所定の距離422以内にない場合に、フローをS2701へ戻すのは、例えば、この場合には、オクルージョンなどで一時的に検出に失敗している可能性が高いためである。一方、S2710において過去の所定の期間内の頭部の位置が検出困難領域から所定の距離422以内にある場合(S2710がYES)、フローはS2711へと進む。S2711において検出装置302の制御部400は、検出対象の部位を第1の部位である頭部から、第2の部位である肩に変更し、フローはS2703へと戻る。そして、S2703において変更後の第2の部位である肩に対して検出処理を実行する。
なお、以上で述べた図27の動作フローは、検出処理の例であり、実施形態はこれに限定されるものではない。例えば、可能な場合には、処理の順番を変更して実行してもよく、また別に更なる処理を含んでいてもよい。例えば、S2701とS2702の処理の間に、第2の実施形態で述べたS1902からS1904の処理を実行してもよい。
また、図27の動作フローにおいて、S2701からS2702までの処理では、検出装置302の制御部400は、例えば、特定部411として機能する。また、S2703からS2706、及び2710の処理では、検出装置302の制御部400は、例えば、判定部412として機能する。S2707からS2709、及び2711の処理では、検出装置302の制御部400は、例えば、変更部413として機能する。
以上の図27の動作フローにおいて、検出装置302の制御部400は、例えば、検出に失敗するまでは、頭部を検出することで検出対象を検出する。一方、検出に失敗した場合、過去の頭部の検出位置を参照し、過去の検出位置において頭部が検出困難領域に接触又は近接している場合には、検出対象を頭部から肩へと変更する。そのため、第3の実施形態に係る検出処理によれば、検出対象の頭部が検出困難領域に入った場合にも肩を検出することで検出対象を検出することができ、検出率を向上させることができる。また、第3の実施形態では、検出条件として検出対象の部位を変更している。そのため、撮影条件を変更する場合と異なり、同じ撮影画像内でも変更後の検出対象の部位が検出できる可能性がある。そこで、S2711では検出部位を変更後、動作フローをS2703へと変更している。即ち、第3の実施形態では検出対象が検出困難領域に入った際に行う検出条件の変更として検出部位を変更するので、S2704で第1の部位の検出に失敗した撮影画像からも第2の部位を検出し、検出対象を検出することができる。そのため、例えば、検出処理の変更後に、S2701で次のフレームの撮影画像が入力されるまで待たなくとも、同じフレームの撮影画像で変更後の検出部位から検出対象者の検出を実行することができる。また、第3の実施形態では、検出に失敗した場合に、過去の頭部の検出位置を参照し、過去の検出位置において頭部が検出困難領域に接触又は近接している場合には、検出困難領域に頭部が入っているものとして、検出処理を変更している。即ち、例えば、検出対象が検出困難領域に入っている可能性を、検出の失敗と、検出対象と検出困難領域との距離との両方に基づいて判定しているため、検出対象が検出困難領域に入っている状態を検出する精度を高めることができる。
図29は、実施形態に係る検出装置302を実現するためのコンピュータ2900のハードウェア構成を例示する図である。コンピュータ2900は、例えば、プロセッサ2901、メモリ2902、記憶装置2903、読取装置2904、通信インタフェース2906、及び入出力インタフェース2907を備える。なお、プロセッサ2901、メモリ2902、記憶装置2903、読取装置2904、通信インタフェース2906、入出力インタフェース2907は、例えば、バス2908を介して互いに接続されている。
プロセッサ2901は、メモリ2902を利用して例えば上述の動作フローの手順を記述したプログラム420を実行することにより、上述した各機能部の一部または全部の機能を提供する。例えば、検出装置302の制御部400は、プロセッサ2901であり、また、記憶部410は、例えばメモリ2902、記憶装置2903、及び着脱可能記憶媒体2905を含んでいる。検出装置302のプロセッサ2901は、記憶装置2903に格納されているプログラム420を読み出して実行することで、例えば特定部411、判定部412、変更部413、検知部414、及び算出部415として機能する。検出装置302の記憶装置2903は、例えば、プログラム420、並びに検出困難領域の特定に用いる所定の範囲421(閾値)、及び、検出対象が検出困難領域に接触又は近接しているか否かの判定等に用いる所定の距離422の情報を格納していてよい。また、検出装置302の記憶装置2903は、例えば、マーカ位置座標情報1300、ベッド座標系頭部座標情報1800、マーカ座標情報2000、及び画像座標系頭部座標情報2200などの情報を格納していてよい。更に、検出装置302の記憶部410は、例えば、検出可能部位情報2500、検出履歴情報2800などの情報を格納していてよい。
メモリ2902は、例えば半導体メモリであり、RAM領域及びROM領域を含んでいてよい。なお、RAMは、Random Access Memoryの略称である。また、ROMは、Read Only Memoryの略称である。記憶装置2903は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、又は外部記憶装置である。
読取装置2904は、プロセッサ2901の指示に従って着脱可能記憶媒体2905にアクセスする。着脱可能記憶媒体2905は、例えば、半導体デバイス(USBメモリ等)、磁気的作用により情報が入出力される媒体(磁気ディスク等)、光学的作用により情報が入出力される媒体(CD−ROM、DVD等)などにより実現される。なお、USBは、Universal Serial Busの略称である。CDは、Compact Discの略称である。DVDは、Digital Versatile Diskの略称である。
通信インタフェース2906は、プロセッサ2901の指示に従ってネットワーク2920を介してデータを送受信する。入出力インタフェース2907は、例えば、入力装置及び出力装置との間のインタフェースである。入力装置は、例えばユーザからの指示を受け付けるキーボードやマウスなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、及びスピーカなどの音声装置である。
実施形態に係る各プログラムは、例えば、下記の形態で検出装置302に提供される。
(1)記憶装置2903に予めインストールされている。
(2)着脱可能記憶媒体2905により提供される。
(3)プログラムサーバなどのサーバ2930から提供される。
以上で述べたように、第1の実施形態から第3の実施形態は、例えば、プロセッサ2901を用いて実施されてよい。この場合には、プロセッサ2901は例えば、上述の特定部411、判定部412、変更部413、検知部414、及び算出部415として機能してよい。しかしながら、実施形態はこれに限定されるものではない。例えば、上述の機能部の一部または全部の機能をFPGA及びSoCなどによるハードウェアとして実装してもよい。なお、FPGAは、Field Programmable Gate Arrayの略称である。SoCは、System-on-a-chipの略称である。以下には、図30を参照して、FPGAで実装される機能ブロックにより実施される第4の実施形態を説明する。
図30は、第4の実施形態に係る制御回路3001のハードウェア構成を例示する図である。制御回路3001は例えば、FPGAやSoCなどのハードウェアとして実装されてよい。図30に例示するように、制御回路3001は、例えば、処理部3002、特定部3003、判定部3004、変更部3005などの回路を含んでいる。また、判定部3004は、検出部3006、比較部3007、保持部3008などの回路を含んでいる。制御回路3001は、撮影装置102と接続されている。
撮影装置102は例えば近赤外線カメラであり、近赤外線照明で病室内を照らして撮影し、撮影画像のデータを生成する。撮影装置102が生成した撮影画像データは制御回路3001へと出力され、制御回路3001の例えば、特定部3003及び検出部3006に入力される。
特定部3003は、撮影装置102から入力された撮影画像のデータから、撮影画像内の検出困難領域700を特定する。検出困難領域700の特定は、例えば、第1の実施形態のS1002において述べたのと同様の手法で特定されてよい。特定部3003は、特定した検出困難領域700を比較部3007へと出力する。
検出部3006は、撮影装置102から入力された撮影画像のデータから、撮影画像内に映る検出対象の検出を実行する。そして、検出部3006は、検出結果として、検出の成否、及び検出に成功した場合は検出対象が検出された検出領域の座標及び大きさを出力する。検出部3006が出力した検出結果は、例えば、検出装置302が備える別の機能部、或いはセンター装置301へと送られ、検出対象の状態をモニタリングするために利用されてよい。また、検出部3006が出力した検出結果のうち検出の成否を示す信号は処理部3002に入力される。処理部3002は、入力された検出の成否を示す信号に基づいて、検出に成功しているか否かを判定する。そして、検出に成功の場合、制御信号を比較部3007に出力する。
また、検出部3006が出力した検出結果のうち検出領域の座標及び大きさを示す信号は比較部3007に入力される。比較部3007は、処理部3002から制御信号が入力されると、例えば、検出部3006から入力された検出領域の座標及び大きさに基づいて、検出領域の中心座標を検出対象の位置として特定する。検出領域の位置は、例えば、撮影画像の四隅のいずれかの端から検出領域の中心画素までの画素数として特定されてよい。
比較部3007は、特定した検出対象の検出位置が、検出困難領域700から所定の距離422以内にあるか否かを判定する。例えば、比較部3007は、検出対象の検出位置と検出困難領域700との距離:Lを算出し、この距離:Lと予め定めた所定の距離422との大小関係を比較する。そして、比較部3007は、Lが所定の距離422以下の場合には、検出対象が検出困難領域に近接していることを示す制御信号を保持部3008へと出力する。保持部3008は、検出対象が検出困難領域に近接していることを示す制御信号を受信すると、検出対象が検出困難領域に近接していることを示すフラグ(例えば1)を保持する。一方、比較部3007は、Lが所定の距離422よりも大きい場合には、検出対象が検出困難領域に近接していないことを示す制御信号を保持部3008に出力する。保持部3008は、検出対象が検出困難領域に近接していないことを示す制御信号を受信すると、検出対象が検出困難領域に近接していないことを示すフラグ(例えば0)を保持する。
一方、検出部3006から入力された検出の成否を示す信号が検出に失敗を示していた場合、処理部3002は、制御信号を変更部3005に出力する。変更部3005は、処理部3002からの制御信号を受けると、変更部3005に保持される検出処理を切り替え済みか否かを示すフラグを参照し、検出処理が既に切り替え済みであるか否かを判定する。そして、検出処理を未だ切り替えていない場合、変更部3005は、保持部3008に保持されたフラグの値を受け取る。そして、フラグの値が、検出対象が検出困難領域に近接していることを示す値(例えば1)である場合、変更部3005は撮影装置102に撮影条件を切り替えるよう指示する制御信号を出力する。また、変更部3005は検出処理が切り替え済みか否か示すフラグを切り替え済みを示す値に変更する。また、変更部3005は、比較部3007に検出処理変更前の検出困難領域700の位置情報を保持するように指示する制御信号を出力する。比較部3007は、変更部3005から制御信号を受信すると、現在の検出困難領域700の位置を、検出処理変更前の検出困難領域700の位置情報として保持する。
撮影装置102は、変更部3005から撮影条件を切り替えるように指示する制御信号が入力されると、検出対象の輝度値と、検出困難領域の輝度値との輝度差が大きくなるように撮影条件を切り替える。なお、撮影条件の変更は、例えば、撮影装置のゲイン、露光時間を変更すること、或いは、照明の光量を変更することであってよい。
また、比較部3007は、処理部3002から制御信号が入力された際に、検出処理変更前の検出困難領域700の位置情報を保持している場合には、検出処理変更前の検出困難領域700から検出対象の検出位置が外れているか否かを判定する。そして、比較部3007は、検出処理変更前の検出困難領域700から検出対象の検出位置が外れている場合、変更部3005に検出処理を元に変更するよう指示する制御信号を出力し、保持していた検出処理変更前の検出困難領域700の位置情報を消去する。変更部3005は、比較部3007から制御信号を受信すると、検出処理を元に変更するように指示する制御信号を、撮影装置102に出力し、検出処理が切り替え済みか否か示すフラグを、切り替え済みでないことを示す値に変更する。撮影装置102は、変更部3005から出力される出力信号に応じて撮影条件を元に戻す。
以上で述べた第4の実施形態によれば、検出装置302の制御回路3001は、例えば、頭部の検出に失敗するまでは、第1の撮影条件で頭部の検出を実行する。一方、検出に失敗した場合、前回検出に成功した際の頭部の検出位置を参照し、頭部が検出困難領域に接触又は近接しているか否かを判定する。そして、前回検出に成功した際の頭部の検出位置が検出困難領域に接触又は近接している場合には、第1の撮影条件から、より頭部と検出困難領域との間の輝度差が大きくなる第2の撮影条件に変更する。また、第2の撮影条件に変更後、頭部が第1の撮影条件で特定された検出困難領域から外れた場合には、撮影条件を第1の撮影条件に変更する。そのため、第4の実施形態に係る検出処理によれば、検出対象の頭部が検出困難領域に入った場合にも、検出困難領域から外れた場合にも頭部を検出することができ、検出率を向上させることができる。
また、第4の実施形態では、検出条件の変更として撮影条件を変更する場合を例示したが、第4の実施形態の変形例では、第3の実施形態で例示するように検出条件の変更として検出対象を変更してもよい。この場合に、例えば、変更部3005は撮影装置102に撮影条件を切り替えるよう指示する制御信号を出力する代わりに、検出部3006に検出部位を変更するように指示する制御信号を出力してもよい。また、検出部3006は、変更部3005から検出部位を切り替えるよう指示する制御信号が入力されると、検出部位を別の部位に変更してよい。なお、検出部位の変更は、例えば、検出対象の検出部位を頭部から肩又は背中へと変更することであってよい。
以上において、いくつかの実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、以上の説明では撮影画像中の検出対象から得られる輝度差の特徴量を基に検出対象を検出する手法の例として、HOG特徴量と、AdaBoostによる学習データとを用いる例を述べた。しかしながら、実施形態はこれに限定されるものではなく、例えば、撮影画像中の検出対象から得られる輝度差の特徴量を基に検出対象を検出するその他の技術を用いてもよい。例えば、HOG特徴量の代わりに、輝度差の特徴量として、ハーライク(Haar-Like)特徴量、又はエッジレット(Edgelet)特徴量を用いてもよい。また、機械学習の手法としてAdaBoostの代わりに、Real−AdaBoost又はサポートベクターマシン(Support vector machine、SVM)を用いてもよい。
また、例えば、上述の実施形態では、検出対象が検出困難領域に接触又は近接したか否かを、検出対象と、検出困難領域との距離に基づいて判定している。しかしながら、別の実施形態では、例えば、検出履歴情報2800から検出対象の移動方向及び移動速度を推定し、それらに基づいて、次のフレームの撮影画像において検出対象が検出困難領域に入るか否かを推定し、それに基づいて検出処理を変更してもよい。
また、上述の実施形態では、検出困難領域に検出対象が入る場合に、第2の撮影条件に変更する例を述べた。しかしながら、実施形態はこれに限定されるものではない。例えば、別の実施形態では、検出困難領域に検出対象が入る場合に、検出対象と、検出困難領域との輝度差が大きくなる方向に撮影条件を徐々に変更していくように実施形態を構成してもよい。即ち、例えば、検出困難領域が頭髪が暗色の検出対象者の頭部と近い輝度値を有する背景領域として特定される場合、S1011において露光時間を徐々に長く、ゲインを徐々に大きく、絞り値を徐々に小さく、又は光量を徐々に大きくする処理を実行してもよい。
また、上述の実施形態1〜4は任意に組み合わせて実行されてもよい。例えば、第1及び第2の実施形態において、撮影条件を変更する代わりに、第3の実施形態で例示した検出部位の変更を実行してもよい。また、例えば、第3の実施形態において、検出部位を変更する代わりに、第1及び第2の実施形態で例示した撮影条件の変更を実行してもよい。また、撮影条件を変更する場合、輝度値に影響を与える例えば、撮影装置102の露光時間、ゲイン、絞り値、及び照明の光量などを変更してよい。
また、上述の実施形態ではベッドの枕側に撮影装置102を設置し、撮影する場合を例示したが、撮影装置102の設置位置はこれに限定されるものではない。例えば、撮影装置102は、ベッドの横側に配置されてもよい。また、例えば、上述の実施形態では、人を検出対象として説明を行っているが、実施形態はこれに限定されるものではない。例えば、人以外の生物を検出対象とした場合や、その他の移動体の検出に、いくつかの実施形態を適用してよい。
更には、実施形態は上述の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解される。例えば、各種実施形態は、構成要素を変形して具体化されてよいことが当業者には理解される。また、上述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態を成すことができることが当業者には理解される。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解される。
以上の実施形態1〜4を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
撮影装置により第1の撮影条件で撮影された撮影画像から、検出対象の第1の部位の輝度値と輝度値の差が所定の範囲内となる領域を特定する特定部と、
前記撮影画像から前記第1の部位を検出し、前記撮影画像における前記第1の部位の位置が前記領域から所定の距離以内にあるか否かを判定する判定部と、
前記第1の部位の位置が前記領域から所定の距離以内にある場合に、前記第1の撮影条件を、前記第1の部位と前記領域との間の輝度差が前記第1の撮影条件よりも大きくなる第2の撮影条件に変更するように前記撮影装置に指示する、又は検出部位を前記第1の部位から前記検出対象の第2の部位に変更する変更部と、
を含む、検出装置。
(付記2)
前記変更部は更に、
前記撮影条件を前記第2の撮影条件に変更するように指示する場合に、前記第1の撮影条件で特定された前記領域の位置を記憶部に記憶し、
前記第2の撮影条件で撮影された撮影画像から特定された前記第1の部位が前記記憶部に記憶された前記領域の位置から所定の第2の距離よりも離れた場合に、前記撮影条件を前記第1の撮影条件に変更する、
ことを特徴とする付記1に記載の検出装置。
(付記3)
前記判定部は、前記変更部が検出部位を前記第2の部位に変更する場合に、撮影画像における前記第1の部位と前記第2の部位との相対的な位置関係を基に、特定された前記第2の部位の位置から前記第1の部位の位置を推定し、
前記変更部は、推定された前記第1の部位の位置が前記領域から所定の第2の距離よりも離れた場合に、検出部位を前記第1の部位に変更する、
ことを特徴とする付記1に記載の検出装置。
(付記4)
前記変更部は、前記第1の撮影条件で撮影された前記撮影画像からの前記第1の部位の検出に失敗した場合に前記判定部により検出された過去所定期間内の前記第1の部位の位置を参照し、
前記過去所定期間内の前記第1の部位の位置が前記領域から所定の距離以内にある場合に、前記第1の撮影条件を、前記第2の撮影条件に変更するように前記撮影装置に指示する、又は検出部位を前記第1の部位から前記検出対象の前記第2の部位に変更する、
ことを特徴とする付記1から3のいずれか1項に記載の検出装置。
(付記5)
前記第1の撮影条件で撮影された場合に前記第1の部位の検出に失敗する撮影画像中の領域に、前記第1の部位を配置した状態において、前記第1の部位の検出に成功する撮影条件で撮影された撮影画像における前記第1の部位の輝度値に基づいて、前記所定の範囲は設定されている、ことを特徴とする付記1から4のいずれか1項に記載の検出装置。
(付記6)
前記第1の部位の輝度値は、前記第1の部位が検出された領域内の複数の画素の輝度値の平均値、最大値、最小値、又は最頻値である、ことを特徴とする付記1から5のいずれか1項に記載の検出装置。
(付記7)
前記第1の撮影条件からの前記第2の撮影条件への変更は、前記撮影装置の露光時間、ゲイン、又は絞り値を変更すること、或いは、前記撮影装置の撮影範囲を照らす照明の光量を変更することである、ことを特徴とする付記1から6のいずれか1項に記載の検出装置。
(付記8)
前記撮影装置は、ベッド上にいる検出対象を撮影しており、
前記検出装置は、前記検出対象を前記ベッドに寝そべった状態で配置した場合に撮影画像上で前記第1の部位が位置する範囲を示す就床時検出領域の座標と、及び前記検出対象を前記ベッドに座った状態で配置した場合に撮影画面上で前記第1の部位が位置する範囲を示す起床時検出領域の座標とを記憶部に記憶しており、
前記特定部は、前記就床時検出領域及び前記起床時検出領域内で前記領域を特定する、ことを特徴とする付記1から7のいずれか1項に記載の検出装置。
(付記9)
前記判定部は更に、検出された前記第1の部位の位置が前記就床時検出領域内にある場合に、前記検出対象は前記ベッドで寝そべった状態にあると判定し、特定された前記第1の部位が前記起床時検出領域内にある場合に、前記検出対象が前記ベッド上で座った状態にあると判定する、
ことを特徴とする付記8に記載の検出装置。
(付記10)
前記ベッドには、前記撮影画像上での位置を特定することが可能なマーカが設置されており、
前記記憶部は、更に、ベッドに対して固定された座標系における前記マーカの設置位置と、前記ベッドの寝床面の各隅に前記検出対象を寝そべった状態で配置した場合及び座った状態で配置した場合の前記座標系における前記第1の部位の複数の位置とを記憶しており、
前記検出装置は更に、
前記撮影画像上での前記マーカの位置と、前記マーカの前記座標系における設置位置とから、前記座標系における前記撮影装置の位置と角度を算出し、
前記撮影装置の位置と角度と、前記第1の部位の前記複数の位置とに基づいて、前記就床時検出領域及び前記起床時検出領域を算出する、
算出部を備える、
ことを特徴とする付記8又は9に記載の検出装置。
(付記11)
前記検出装置は、前記撮影画像上での前記マーカの位置と、前記撮影装置が過去に撮影した撮影画像上でのマーカの位置とに基づいて、前記ベッドと前記撮影装置との相対的な位置関係が変更されたことを検知する検知部を更に含む、
ことを特徴とする付記10に記載の検出装置。
(付記12)
撮影装置により第1の撮影条件で撮影された撮影画像のデータから、検出対象の第1の部位の輝度値と輝度値の差が所定の範囲内となる領域を特定する工程と、
前記撮影画像から前記第1の部位を検出し、前記撮影画像における前記第1の部位の位置が前記領域から所定の距離以内にあるか否かを判定する工程と、
前記第1の部位の位置が前記領域から所定の距離以内にある場合に、前記第1の撮影条件を、前記第1の部位と前記領域との間の輝度差が前記第1の撮影条件よりも大きくなる第2の撮影条件に変更するように前記撮影装置に指示する、又は検出部位を前記第1の部位から前記検出対象の第2の部位に変更する工程と、
を含む、検出方法。
(付記13)
撮影装置により第1の撮影条件で撮影された撮影画像から、検出対象の第1の部位の輝度値と輝度値の差が所定の範囲内となる領域を特定し、
前記撮影画像から前記第1の部位を検出し、前記撮影画像における前記第1の部位の位置が前記領域から所定の距離以内にあるか否かを判定し、
前記第1の部位の位置が前記領域から所定の距離以内にある場合に、前記第1の撮影条件を、前記第1の部位と前記領域との間の輝度差が前記第1の撮影条件よりも大きくなる第2の撮影条件に変更するように前記撮影装置に指示する、又は検出部位を前記第1の部位から前記検出対象の第2の部位に変更する、
処理をコンピュータに実行させるプログラム。