JP7170409B2 - 画像処理装置、画像処理装置の制御方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理装置の制御方法およびプログラムに関する。

従来、監視カメラからの撮像画像から物体を検知する場合、撮像画像を背景画像として予め記憶しておき、物体が移動した撮像画像と背景画像との輝度の変化により物体を検知する方法が知られている。

さらに、特許文献１では、検知により得られた物体の境界線の位置情報から物体の境界線上の周囲の輝度の変化を算出し、算出した数値結果に基づいて、物体の持ち去り・置き去りを判定する方法が提案されている。

物体の持ち去り／置き去りを判定するためには、複数の設定及び判定条件が必要となる。例えば、監視対象となる物体の範囲を指定するために必要な撮像画像内の検知領域設定、監視対象の物体の大きさの設定、監視対象の物体の静止状態の継続時間の設定、持ち去り／置き去りと判定するのに必要な輝度変化の算出値に対する閾値の設定である。また、これら複数の設定に対応した判定条件が存在し、これら複数の判定条件がすべて満たされたときに監視対象の物体に対して、持ち去り／置き去りが検知される。

複数の設定値が正しく設定されているかどうかを確認するために、設置者は実際に物体を移動させることで、持ち去り／置き去りの検知が行われるかどうかを検証する作業が必要になる。これに対して特許文献２では、検証作業を軽減させるために、映像上に疑似図形を重畳して作業を軽減する方法が提案されている。

特開２０１０－２７２９４７号公報 特開２００８－１６８９８号公報

しかしながら、従来技術では、持ち去り又は置き去りの検知処理において、各判定条件について条件を満たしているかどうかを把握することができない。そのため、監視カメラの設置者にとって、直観的にどのパラメータ設定を変更する必要があるかが分かり難く、信頼性の高い物体検知を実現できないことがあるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、監視カメラの設置時における適切なパラメータ設定を容易にし、信頼性の高い物体検知を実現するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る画像処理装置は、
入力画像を取得する画像取得手段と、
予め保持している背景画像と前記入力画像との差分情報に基づいて物体の位置を算出する算出手段と、
前記位置に基づいて前記物体のサイズが所定サイズ以上であるかどうかを判定するサイズ判定手段と、
前記物体の境界内外の輝度差に基づいて算出されるスコア値が閾値以上であるかどうかを判定する閾値判定手段と、
前記物体のサイズが所定サイズ以上であり且つ前記スコア値が閾値以上である時間が所定の継続時間を経過したかどうかを判定する時間判定手段と、
前記サイズ判定手段の判定条件、前記閾値判定手段の判定条件、及び前記時間判定手段の判定条件の各条件が充足されたかどうかを判定することにより、前記物体の持ち去り又は置き去りの発生を判定する検知判定手段と、
前記持ち去り又は前記置き去りの発生についての判定結果と、前記物体についての各条件に対する充足の判定結果と、を表示させる表示制御手段と、
を備え、
前記検知判定手段は、前記時間が前記所定の継続時間を経過した場合に、前記持ち去り又は前記置き去りの発生を判定し、
前記閾値にはオフセット値が設定されており、
前記表示制御手段は、前記スコア値が前記オフセット値に基づくオフセット範囲内で前記閾値以上である場合と、前記スコア値が前記オフセット範囲外で前記閾値以上である場合とで、前記充足の判定結果を異なる表示態様で表示させることを特徴とする。

本発明によれば、監視カメラの設置時における適切なパラメータ設定を容易にし、信頼性の高い物体検知を実現することができる。

本発明の一実施形態に係る画像処理システムの構成例を示す図。 本発明の一実施形態に係る画像処理装置の機能構成例を示すブロック図。 本発明の一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図。 本発明の一実施形態に係る画像処理装置が実施する処理の手順を示すフローチャート。 本発明の一実施形態に係る物体検知を説明する図。 本発明の一実施形態に係る重畳の表示例を説明する図。 本発明の一実施形態に係る物体が持ち去られた時の表示変化を示す図。 本発明の一実施形態に係る表示変化があったときの各判定結果の保存例を示す図。 本発明の一実施形態に係る設定値を変更する設定画面を説明する図。 本発明の一実施形態に係る設定値の指標の表示例を示す図。 本発明の一実施形態に係る各判定結果に応じて段階的に判定結果を表示する例を示す図。 本発明の一実施形態に係る各判定結果で条件を満たす判定を表示する例を示す図。 本発明の一実施形態に係る各判定結果で条件を満たさない判定を表示する例を示す図。 本発明の一実施形態に係る背景差分より物体位置を取得する例を示す図。 本発明の一実施形態に係る背景差分より持ち去りの閾値算出を示す図。 本発明の一実施形態に係る検知領域に対する設定画面の例を示す図。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

（実施形態１）
本実施形態では、入力画像において物体の持ち去り又は置き去りを検知するための１以上の条件が充足されたかどうかを判定し、各条件に対する充足の判定結果を入力画像に重畳して表示する例を説明する。

＜システム構成＞
まず、図１を参照して、本実施形態に係る画像処理システムの構成例を説明する。画像処理システムは、画像処理装置１０と撮像装置３０とを含み、それらはネットワーク２０を介して接続されている。画像処理装置１０は例えばパーソナルコンピュータ等のコンピュータ装置であり、撮像装置３０は例えば監視カメラである。

＜画像処理装置の機能構成＞
次に、図２を参照して、本実施形態に係る画像処理装置の機能構成を説明する。画像処理装置１０は、画像取得部１０１、物体検知部１０２、入力部１０３、記憶部１０４、及び表示制御部１０５を備えている。画像処理装置１０は、撮像装置３０、入力装置１００６、及び表示装置１００７と接続されている。なお、本実施形態に係る画像処理装置１０の機能を撮像装置３０が持つことも可能であり、撮像装置３０に組み込まれる画像処理回路が画像処理装置１０と同様の構成を有してもよい。

画像取得部１０１は、外部（例えば監視カメラである撮像装置３０）から入力された動画像または静止画像を取得し、取得した動画像または静止画像を後段の物体検知部１０２に入力画像として送出する。なお、動画像または静止画像の供給元は、特に限定されるものではなく、有線または無線を介して動画像または静止画像を供給するサーバ装置が供給元であってもよい。また、供給元は外部に限るものではなく、画像処理装置１０内のメモリから動画像または静止画像を取得するようにしてもよい。画像取得部１０１は、動画像を取得した場合は、動画像を構成する各フレーム画像を順次、物体検知部１０２に送出する。

物体検知部１０２は、物体を検知する処理を実行する。物体検知部１０２は、設定部１１０、検知判定部１２０、物体検知制御部１３０、及び差分画像算出部１４０を備えている。

物体検知制御部１３０は、物体検知処理におけるシーケンス制御を主に行い、持ち去り検知又は置き去り検知の発生をユーザに通知する処理を行う。画像取得部１０１から入力された画像は、物体検知制御部１３０により差分画像算出部１４０に送出される。また、物体検知制御部１３０は、入力装置１００６から入力部１０３を介して背景画像を登録する指示を受けると、画像取得部１０１から入力された入力画像を背景画像として記憶部１０４に記憶させる。なお、入力部１０３を介した登録指示に応じて背景画像が記憶される以外に、物体検知制御部１３０が一定の時間間隔で画像取得部１０１から入力された入力画像を背景画像として更新し、それを記憶部１０４に記憶してもよい。背景画像を更新することで、照明の緩やかな変化などに対応することが可能となる。

差分画像算出部１４０は、予め記憶された背景画像と、画像取得部１０１から入力された入力画像との画素ごとの輝度や色の変化を差分情報として取得し、取得した背景差分情報を用いて物体位置を算出する。

ここで図１４を参照して、物体が持ち去られた場合における物体位置の算出例を説明する。図１４（ａ）は、記憶されている背景画像の例であり、背景画像１２０２には物体１２０１が映っている。図１４（ｂ）は、物体１２０１が持ち去られた後に、画像取得部１０１から入力された入力画像１２０３を示す。この場合、背景画像１２０２と入力画像１２０３との画素ごとの差分から、図１４（ｃ）に示されるような差分情報１２０５が算出される。差分情報１２０５から、物体の持ち去りに起因する変化部分である物体１２０４の位置を算出することができ、映像上で変化があった物体の位置を取得することができる。

続いて、このようにして算出された物体位置の情報に基づいて、検知対象の物体について、持ち去り又は置き去りが発生したかどうかを判定する方法を、図１４及び図１５を参照しながら説明する。

図１４（ｃ）における物体１２０４は物体位置の情報を有しており、物体位置の情報から物体が存在していた部分の境界線を取得することができる。この境界線を図１４（ｂ）に示すような画像取得部１０１から入力された入力画像１２０３上に重畳させた画像を図１５（ａ）に示す。図１５（ｂ）に、境界線１３０１を含む一部の領域１３００を拡大して表示した例を示す。境界線１３０１に対して物体の内部に隣接する内側部分が領域１３０２で示され、境界線１３０１に対して物体の外部に隣接する外側部分のが領域１３０３で示されている。

差分画像算出部１４０は、境界線１３０１に対する入力画像１２０３の物体の内側である領域１３０２の輝度値と、物体の外側である領域１３０３の輝度値とを算出する。そして、物体の境界線１３０１に対する内側と外側との輝度値の差分を算出する。ここで、輝度値の差が閾値よりも小さい時は、物体が無くなった状態を示すことから、持ち去りと判定することができる。

一方、当初物体が存在しない状態で監視を開始した場合には、輝度値の差が閾値以上である場合は、物体が置かれた状態を示すことから、置き去りと判定することができる。

物体以外の背景が単色である場合に輝度差が小さくなるため、持ち去り検知を行う場合は単色に近い背景にすることで検知精度を向上させることができる。

なお、輝度値の差をそのままスコア値として使用すると値が大きくなる場合があるため、輝度値の差を正規化して、正規化した値を持ち去りのスコア値として使用してもよい。例えば、スコアの最大値が１００、最小値が０となるような正規化を行う。持ち去りの正規化の例として、例えば、輝度値の差が無い場合をスコア値１００とし、白と黒のような輝度値の差が最大となる場合をスコア値０とする。この際、スコア値が５０の時に持ち去り・置き去りの確率が半分になるように正規化してもよい。正規化したスコア値に対して持ち去りを判定する場合は、置き去りよりも持ち去りとしての確率が高くなるスコア値を使用してもよい。例えば、スコア値が６０以上となるような輝度差が生じる状況が推奨される。この場合、スコア値が０に近いほど輝度差が小さく、物体が存在しない可能性が高いため、持ち去りと判定できる。一方、スコア値が１００に近いほど輝度差が大きく、物体が存在する可能性が高いため、置き去りと判定できる。なお、ここで説明したスコア値の算出方法は一例に過ぎない。例えば、ある輝度差より小さい場合をスコア値１００とし、ある輝度差より大きい場合をスコア値０としてもよい。

差分画像算出部１４０により得られた物体位置の情報及び輝度差に基づくスコア値は、物体検知制御部１３０を介して検知判定部１２０に送出される。

検知判定部１２０において各判定を行うための判定条件に関する設定値は、設定部１１０により設定される。

[設定部の構成]
設定部１１０の構成について説明する。設定部１１０は、検知領域設定部１１１、物体サイズ設定部１１２、物体閾値設定部１１３、及び継続時間設定部１１４を備えている。検知領域設定部１１１は、画像上における持ち去り対象の物体を含む領域を検知領域として設定する。検知領域の設定は、ユーザが画像を見ながら入力装置１００６を操作して指定することにより行われる。例えば、図５に示されるような動画像３００が得られたとする。持ち去り検知の対象である物体３０１に対して、ユーザは画像上に対して入力装置１００６を用いて検知領域３０２を指定する。指定された検知領域の情報は、物体検知制御部１３０を介して検知領域設定部１１１に通知され、検知領域設定部１１１は検知領域３０２を設定する。なお、検知領域の形状は限定されるものではなく、円形、矩形、又は多角形であってもよい。

次にユーザは、検知領域について、物体サイズの設定、物体閾値の設定、継続時間の設定を行う。入力装置１００６を介してユーザが検知領域を指定すると、表示制御部１０５は、表示装置１００７に図１６に示されるような設定画面１４００を表示する。

[物体サイズ（物体比率）の設定]
まず、物体サイズ（物体比率）の設定について説明する。ユーザが入力装置１００６を用いてスライダ１４０１を操作し、物体サイズ（物体比率）を指定すると、指定された物体サイズが、物体検知制御部１３０を介して物体サイズ設定部１１２に通知される。物体サイズ設定部１１２は、通知された物体サイズを、検知対象とする物体のサイズとして設定する。ここで、検知対象とする物体のサイズとは、差分画像算出部１４０により得られた物体位置に基づいて算出される面積である。物体のサイズの設定は、物体の面積の最小値をピクセル単位で表してもよいし、検知領域設定部１１１により設定された検知領域から当該検知領域の面積を算出し、検知領域に対する面積比により求められる物体比率を物体サイズとして設定してもよい。

物体サイズの設定値は、面積の最小値や物体比率の最小値であってもよい、最小値及び最大値の間の範囲を設定する方法でもよい。本実施形態では物体比率の最小値が設定されるものとする。

他の実施形態では、物体サイズの設定において、ユーザが物体比率の数値を直接入力してもよい。また、別の実施形態では、ユーザが物体の最小サイズを示すために入力装置１００６を用いて物体を直接描画し、物体検知制御部１３０を介してその描画情報を物体サイズ設定部１１２に送出し、物体サイズ設定部１１２がその描画情報から最小サイズを算出して物体比率を設定してもよい。

[物体閾値の設定]
続いて、物体閾値の設定について説明する。ユーザが入力装置１００６を用いてスライダ１４０２を操作し、物体閾値を指定すると、指定された物体閾値の情報は、物体検知制御部１３０を介して物体閾値設定部１１３に通知される。物体閾値設定部１１３は、通知された閾値を、差分画像算出部１４０により算出されるスコア値に対する閾値として設定する。

ここで、スコア値が５０の際に持ち去り・置き去りの確率が半分になるような正規化を行う場合、持ち去りの誤検知を防止するために、物体閾値の設定値は５０よりも大きい値となるように設定してもよい。

[継続時間の設定] さらに、継続時間の設定について説明する。ユーザが入力装置１００６を用いてスライダ１４０３を操作し、継続時間を指定すると、指定された継続時間が物体検知制御部１３０を介して継続時間設定部１１４に通知される。継続時間設定部１１４は、通知された継続時間を、物体の存在判定、物体サイズ判定、物体閾値判定の全ての判定条件を満たしている時間の長さを示す継続時間として設定する。

[検知判定部の構成]
次に、検知判定部１２０の構成について説明する。検知判定部１２０は、入力画像において物体の持ち去り又は置き去りを検知するための１以上の条件（存在判定条件、物体サイズ判定条件、物体閾値判定条件、継続時間判定条件）が充足されたかどうかを判定することにより、持ち去り又は置き去りの発生を判定する。検知判定部１２０は、存在判定部１２１、物体サイズ判定部１２２、物体閾値判定部１２３、及び継続時間判定部１２４を備えている。

存在判定部１２１は、検知領域設定部１１１により設定された検知領域内に、差分画像算出部１４０により得られた物体位置が存在するかどうかを判定する。

物体サイズ判定部１２２は、差分画像算出部１４０により得られた物体位置から求められた物体面積、あるいは、検知領域内に占める物体の物体比率の値と、物体サイズ設定部１１２により設定された物体サイズ（物体比率）の設定値（所定サイズ）とを比較する。そして、比較結果に基づいて、検知対象とする物体のサイズが条件を満たすかどうか（物体のサイズが設定された所定サイズ以上であるかどうか）を判定する。一例として、物体サイズ設定部１１２により最小の物体比率が設定されている場合を説明する。物体サイズ判定部１２２は、差分画像算出部１４０により得られた物体位置から得られる物体の面積と検知領域の面積とを比較して、検知領域内に占める物体サイズである物体比率を算出する。そして、算出した物体比率と、物体サイズ設定部１１２で設定された検知領域に対する最小の物体比率とを比較して、条件を満たしているか否か（算出した物体比率≧設定された物体比率であるか否か）を判定する。

物体閾値判定部１２３は、物体位置から求まる物体の境界線の位置を基準とした境界内外の輝度差から求められるスコア値と、物体閾値設定部１１３により設定された物体閾値とを比較して、条件を満たしているか否か（スコア値≧物体閾値であるか否か）を判定する。スコア値が物体閾値以上である場合、条件を満たしていると判定される。なお、持ち去り検知の場合、閾値を０に設定した場合、条件を常に満たす設定になる。

継続時間判定部１２４は、継続時間設定部１１４により設定された継続時間が経過すると条件を満たしたと判定する。例えば、持ち去り検知では、存在判定部１２１の判定結果、物体サイズ判定部１２２の判定結果、物体閾値判定部１２３の判定結果を全て満たしている時間が、設定された継続時間を経過した場合に、継続時間判定部１２４は条件を満たしたと判定する。継続時間判定部１２４は、各判定結果を物体検知制御部１３０に通知する。

各判定結果は、物体検知制御部１３０を介して記憶部１０４の判定結果１６０に記憶される。なお、存在判定部１２１による判定の結果、条件を満たさない場合は、他の判定結果においても条件を満たさないため、各判定結果を記憶しなくてもよい。

物体検知部１０２は、画像取得部１０１により得られた入力画像と、この入力画像について検知判定部１２０により得られた各判定結果とを、表示制御部１０５に送出する。

表示制御部１０５は、受け取った入力画像と、判定結果とを判定重畳部１５０に送る。判定重畳部１５０は、入力画像に各判定結果を重畳して表示装置１００７に表示する。なお、判定結果の重畳位置（表示位置）はユーザからの入力に基づいて自由に変更可能に構成してもよい。

[入力画像への各判定結果の重畳例]
ここで、図６を参照して、重畳表示の例について説明する。まず、存在判定部１２１の条件を満たした場合の表示例について説明する。画像取得部１０１により得られた入力画像に対して、存在判定部１２１の条件が充足された場合、差分画像算出部１４０により得られた物体位置に対する物体４０２の領域を表示する。この際、物体４０２の領域を例えば青色で表示するものとする。

次に、物体サイズ判定部１２２の条件を満たした場合（物体サイズが所定サイズ以上である場合）の表示例について説明する。ここでは、物体サイズの設定値が検知領域４０１に対する物体比率として設定しされているものとする。物体サイズ判定部１２２の条件を満たした場合は、検知領域４０１の境界線を強調表示する。ここでは、強調表示として、境界線の表示色を変更し、例えば緑色で表示するものとする。

また、物体閾値判定部１２３の条件を満たした場合の表示例について説明する。物体閾値判定部１２３の条件を満たした場合は、物体４０２の物体検知領域の表示色を変更する。ここでは、青色から緑色に変更するものとする。

さらに、継続時間判定部１２４の判定結果の表示例について説明する。継続時間判定部１２４の判定結果の表示には、継続時間のカウント前の初期表示と、存在判定部１２１、物体サイズ判定部１２２及び物体閾値判定部１２３の各判定条件が全て満たされて継続時間のカウントを開始した時の表示と、カウント時間が継続時間設定部１１４により設定された継続時間を経過した時の表示とがある。

初期表示は特にカウントに関する表示を行っていない状態である。継続時間のカウントを開始した時は、例えば物体境界線４０３を強調表示する。この時の表示は、境界線を太く表示してもよいし、境界線の色を、カウント開始を示す表示色に変更してもよい。ここでは、例えば黄色で表示する。

カウント時間が継続時間を経過した時の表示は検知を示す表示となり、例えば物体境界線４０３を強調表示する。この時の表示では、物体境界線４０３と物体４０２との少なくとも一方を点滅表示させてもよいし、境界線の色を、継続時間が経過したことを示す表示色に変更してもよい。ここでは、例えば緑色で表示する。

ここで、継続時間のカウント中に、条件が満たされない状態になった場合は、初期表示に戻す。例えば、物体境界線４０３の表示を消したり、初期表示の表示色に戻したりする。

なお、図６の説明では、条件を満たす場合に各判定結果を表示する説明をしたが、各判定条件において、条件を満たさない判定条件のみを表示するように構成してもよい。あるいは、存在判定部１２１の条件を満たす場合、及び、継続時間判定部１２４の継続時間経過後の検知状態の条件を満たす場合に表示し、物体サイズ判定部１２２及び物体閾値判定部１２３の条件に関しては条件を満たさない場合に各判定結果を表示してもよい。これらの判定条件による表示例の組み合わせは、入力装置１００６を介してユーザが設定可能であってもよい。すなわち、各条件に対する充足の判定結果を、条件を満たす場合に表示させる設定と、条件を満たさない場合に表示させる設定との選択を、ユーザ入力により受付けてもよい。

また、各判定条件について、設定値にオフセット値を持たせ、各判定条件のオフセット範囲内で条件を満たす場合と、オフセット範囲外で条件を満たす場合とで、充足の判定結果を異なる表示態様で表示させてもよい。例えば、スコア値がオフセット値に基づくオフセット範囲内で閾値以上である場合と、スコア値がオフセット範囲外で閾値以上である場合とで、充足の判定結果を異なる表示態様（例えば異なる色）で表示させてもよい。

＜画像処理装置のハードウェア構成＞
ここで、図３を参照して、第１実施形態に係る画像処理装置のハードウェア構成の一例を説明する。画像処理装置１０は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、バス１００５を備え、入力装置１００６及び表示装置１００７と接続されている。なお、本実施形態に係る画像処理装置１０の機能を撮像装置３０が持つことも可能であり、撮像装置３０も同様の構成を有してもよい。

ＣＰＵ１００１は、本実施形態に係る画像処理装置１０の上述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ１００２やＲＡＭ１００３上のプログラムによって指示される。また、ＣＰＵ１００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ１００２は、ＣＰＵ１００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ１００３は、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ１００２やＲＡＭ１００３などの記憶媒体に格納されたプログラムコードの機能は、ＣＰＵ１００１が読み出して実行することによって実現されるが、記憶媒体の種類は問われない。

記憶装置１００４は、さまざまなデータ等を記憶することができる。記憶装置１００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記憶媒体と、当該記憶媒体を駆動して情報を記憶するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１００３上に呼び出される。

バス１００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置１００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であってもよい。表示装置１００７は、ＬＥＤディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。なお、以上述べてきた構成は一例であり、説明した構成に限定されるものでない。

＜処理＞
次に、図４のフローチャートを参照して、本実施形態に係る画像処理装置が実施する処理の手順を説明する。

ステップＳ２０１において、画像取得部１０１は、外部から供給された画像を入力画像として取得する。入力画像は物体検知部１０２に送られ、当該入力画像は物体検知制御部１３０により差分画像算出部１４０に送られる。ステップ２０２において、差分画像算出部１４０は、予め保持されている背景画像と現画像（取得した入力画像）との背景差分情報を算出する。ステップ２０３において、差分画像算出部１４０は、背景差分情報に基づいて物体の位置を算出する。差分画像算出部１４０により算出された物体位置の情報は、検知判定部１２０へ送られる。

ステップＳ２０４において、存在判定部１２１は、差分画像算出部１４０により算出された物体位置の情報に基づいて物体の存在判定を行い、判定結果を記憶部１０４に記憶する。すなわち、検知領域内に物体位置が存在するか否かを判定する。ここで、存在判定において条件を満たす場合（検知領域内に物体位置が存在する場合）は、ステップＳ２０５へ進み、一方、条件を満たさない場合（検知領域内に物体位置が存在しない場合）は、ステップＳ２１０へ進む。

ステップＳ２０５において、物体サイズ判定部１２２は、算出された物体位置の情報を用いて物体サイズを算出する。そして、算出された物体サイズが、物体サイズ設定部１１２により設定された物体サイズの条件を満たすかどうかを判定し、判定結果１６０を記憶部１０４に記憶する。

ステップＳ２０６において、物体閾値判定部１２３は、算出された物体位置の情報を用いて物体の境界線を算出する。さらに、入力画像に対して、この物体の境界線の内外の輝度差を算出し、輝度差に基づいてスコア値を算出する。そして、スコア値が、物体閾値設定部１１３により設定された物体閾値の条件を満たすかどうかを判定し、判定結果１６０を記憶部１０４に記憶する。

ステップＳ２０７において、継続時間判定部１２４は、物体サイズ判定の結果と物体閾値判定の結果とから各判定条件が全て満たされているかどうかを判定する。全ての条件が満たされている場合は、ステップＳ２０８へ進み、一方、全ての条件が満たされていない場合は、ステップＳ２１０へ進む。

ステップＳ２０８において、継続時間判定部１２４は、全ての判定条件が満たされている継続時間のカウントの開始を行い、継続時間設定部１１４により設定された継続時間が経過したかどうかを判定する。継続時間の条件を満たした場合は、ステップＳ２０９へ進む。一方、条件を満たさない場合は、ステップＳ２１０へ進む。

ステップＳ２０９において、物体検知制御部１３０は、全ての条件が満たされてから所定の継続時間が経過したため、検知を通知する。ステップＳ２１０において、物体検知制御部１３０は、各判定結果を取得する。各判定結果は、表示制御部１０５に送られる。ステップＳ２１１において、表示制御部１０５の判定重畳部１５０は、取得した判定結果を入力画像に重畳して表示する。
例えば、物体サイズ判定部１２２による判定結果を、入力画像の検知領域上に表示させる。また、物体閾値判定部１２３による判定結果を、求められた物体の位置上に表示させるさらに、継続時間判定部１２４による判定結果を、求められた物体の位置に外接する枠上に表示させる。なお、これらのうち少なくとも何れか１つの処理を行うようにしてもよい。以上が１つのフレーム画像に対する一連の処理である。

ステップＳ２１２において、、物体検知制御部１３０は、処理を継続するかどうかを判定する。入力装置１００６を介した終了指示の有無により判定を行うことができる。処理を継続する場合、ステップＳ２０１に戻る。一方、処理を終了する場合、一連の処理を終了する。

以上説明したように、本実施形態によれば、検知対象の入力画像に対して検知処理を行い、検知のための各条件の充足の判定結果を入力画像に重畳して表示する。これにより、各判定条件に対して条件を満たしたかどうかを容易に確認することができる。従って、監視カメラの設置時における適切なパラメータ設定の確認が容易になり、信頼性の高い物体検知の設定が可能となる。

（実施形態２）
実施形態２では、各判定条件の結果に応じた各判定条件の設定値を変更する方法を、持ち去り検知を例に説明する。以下では、主に実施形態１と異なる点を説明し、実施形態１と同様の点については説明を省略する。

図７は、物体が持ち去られた時の判定条件の表示に関する変化を示す図である。重畳の表示例は図６と同様であるため、同じ符号を示している。図７（ａ）は、画像取得部１０１を介して入力された入力画像４００に物体が存在している画像を示している。背景画像は、この入力画像と同じである。そのため、この入力画像では、まだ背景差分による変化は見られない。

図７（ｂ）は、物体が持ち去られた時の入力画像を示している。背景差分により物体４０２が物体の差分情報として表示される。ここでは、物体サイズ判定の条件を満たしているが、物体閾値判定条件を満たしていない状態の表示例を説明する。実施形態１で説明したように、物体サイズ判定部１２２の条件を満たすと、判定重畳部１５０は、検知領域４０１の表示を変更する。背景差分により物体位置は表示されるが、物体閾値判定条件を満たしていないため、物体境界線４０３の表示は変更されず、継続時間判定のカウント開始を示す表示も行われない。

ここで、図８（ａ）に、図７（ａ）から図７（ｂ）への表示変化があった時の各判定結果の記憶例を示す。ここで、設定部１１０により設定されている値は、以下の通りであるものとする。検知領域設定値は、図７（ａ）に示す検知領域４０１の範囲であり、物体サイズ設定値は検知領域に対する物体比率の値が５０％、物体閾値設定値は６０、継続時間設定値は１秒とする。

図８（ａ）のＮｏ．１は、図７（ａ）のような背景差分がない入力画像である。Ｎｏ．２は、Ｎｏ．１の入力画像から物体が持ち去られている途中の判定結果である。Ｎｏ．３～Ｎｏ．５は、物体が持ち去られた入力画像に対する判定結果である。Ｎｏ．３では、物体サイズ７０％≧物体サイズ設定値５０パーセントなので物体サイズ判定の条件は満たしているが、物体閾値判定のスコア値が条件を満たさないため（スコア値５０＜物体閾値の設定値６０）、継続時間のカウントが開始されない。図８（ａ）のＮｏ.４、Ｎｏ．５においても同様である。この場合は、図７（ｂ）の物体４０２に示すような物体閾値判定で条件を満たさない判定結果が表示される。実施形態１での表示例では、物体４０２が青色の表示となる。

この表示時に条件を満たさない個所をユーザが入力装置１００６で例えばマウス操作などにより選択すると、満たさない条件に対応する設定画面が表示される。例えば、図７（ｂ）に示すような閾値判定で条件が満たされない状態の場合、図９に示すような物体閾値を設定する画面が表示され、スライダ７００を操作することによりユーザは物体閾値の設定値を変更することが可能となる。条件を満たさない条件に対応する設定画面には、詳細を確認しながら設定できるように、図８（ａ）のＮｏ．３に示す判定結果の詳細情報を別画面上へ表示したり、図９に示すような設定画面の表示時に判定条件を満たさない数値をさらに表示したりしてもよい。

続いて、物体閾値設定部１１３により設定される設定値を６０から４５に変更し、再度、持ち去り検知を実行した結果を図８（ｂ）に示す。図８（ｂ）のＮｏ．３に示すように、物体閾値判定の条件を満たした状態に変更される。この時、図７（ｂ）の物体４０２の領域の色が条件を満たした色に変更される。実施形態１での表示例では、物体４０２は緑色の表示となる。さらに、継続時間のカウントが開始されると、図８（ｂ）のＮｏ．４からＮｏ．５のように継続時間のカウントが０．５秒、１秒と進み、継続時間判定の条件が満たされる（継続時間≧継続時間の設定値１秒）ため検知状態となる。そのため、図７（ｃ）に示すような物体境界線４０３を強調表示して、検知状態を示す表示を行う。

以上説明したように、本実施形態によれば、各判定条件の結果に応じて各判定条件の設定値を変更することを容易に実行することができる。これにより、検知がなされない条件を把握し、適切なパラメータ設定への変更を容易にし、信頼性の高い物体検知が可能となる。

（実施形態３）
実施形態３では、設定値を変更する場合にどの設定値が適切かを示す設定値の指標を表示してユーザが判断し易くする例を、実施形態２で説明した持ち去り検知を例に説明する。

図９に示した物体閾値の設定画面において指標を更に表示する例を図１０に示す。設定画面８００には物体のスコア値８０２（値は４５）が表示されており、物体のスコア値を確認できる。物体閾値の設定値の変更は、例えば、図１０に示すようなスライダ８０１の操作により行う。スライダ８０１の位置の変更はユーザが入力装置１００６を介して例えばマウス操作などで行う。スライダ８０１の下方に指標８１０が表示される。指標８１０には、条件を満たすことを示す指標８１１、条件を辛うじて満たすことを示す指標８１２、及び、条件を満たさないことを示す指標８１３が表示される。条件を辛うじて満たす指標８１２とは、スコア値をオフセット値によりオフセットさせた範囲を示しており、余裕がない状態で条件を満たす範囲を示す。このように、指標は、スコア値とオフセット値とに基づいて決定される複数の設定値の範囲を示している。

各指標の値は、図８で示したスコア値５０を例にすると、条件を満たさない指標８１３は、５１から１００の範囲となる。オフセット値を１０とした場合を例とすると、条件を辛うじて満たす指標８１２は、４０から５０の範囲となる。そして、条件を満たす指標８１１は、０から４０の範囲となる。なお、それぞれの指標は色分けして表示してもよい。例えば、条件を満たさない指標８１３を赤色、条件を辛うじて満たす指標８１２を黄色、条件を満たす指標８１１を青色など、異なる色で表示を行う。この際、スライダ８０１の操作による設定値の変更に応じて、閾値設定値８０２の表示の背景色を指標と同じ色に変更してもよい。また、指標は図６に示した各判定条件の結果の表示色に対応する色で表示してもよい。これにより、設定値を変更する際に、ユーザが変更内容を確認しやすくなる。

また、条件を辛うじて満たす範囲で、スコア値をオフセット値に基づいてオフセットさせた値を適正値とする指標を表示してもよい。この例では、条件を辛うじて満たす値（４０～５０）と、条件を満たす値（０～４０）との境界値である閾値４０を適正値とする指標を表示してもよい。

このような設定にすることで、持ち去りが行われた時に、設置時の設定値が条件を辛うじて満たす範囲であるかどうかが視覚的に分かり易くなる。

また、対象物体に距離が近い条件で判定を行うことにより判定条件の精度を向上させることができる。そのため、条件を辛うじて満たす範囲の最大値周辺による設定を行ってもよい。そこで、設置の変更に利用できる自動設定ボタンを配置し、ユーザが自動設定ボタンを操作した時に、設定値を、条件を辛うじて満たす範囲の最大値に自動的に設定するように構成してもよい。

持ち去りの場合を例にすると、閾値を変更する際にスコア値を小さく設定すると置き去り物体も対象となり、誤検知の原因となる場合がある。そこで、不適切な閾値を設定しようとした場合に警告を表示してもよい。すなわち、閾値の設定値を所定値以下に設定する入力が受け付けられた場合に、警告を表示してもよい。例えば、閾値が５０以下の値に設定するような場合は、置き去り物体も対象となることから、警告を表示する。警告を表示することで、物体の背景を変更したり、物体が設置されている位置を変更したりすることが可能となる。これによりスコア値が改善され、より高精度な検知を実現可能な設置を促すことができる。

（実施形態４）
実施形態１では、図６に示したように各設定値に関連する位置に判定結果を表示する例を説明した。これに対して、実施形態４では、各判定条件の判定結果を映像上に重畳する別の例として、各判定結果に応じて段階的に判定結果を表示する例を説明する。

図１１（ａ）は、物体が持ち去られた状態を示しており、背景差分により物体位置９０１が得られる。この物体位置９０１の表示変化を段階的に行うことにより、各判定結果を表示する。

以下、各判定結果の表示について、実施形態２で使用した各判定結果の保存例である図８を参照しながら説明する。図８（ａ）のＮｏ．３は、物体が持ち去られた映像に対する判定結果である。Ｎｏ．３は物体サイズの判定条件を満たしている。この時の表示例を図１１（ｂ）に示す。ここでは、物体サイズの判定条件を満たしていることを示すために、物体位置９０１の領域内の下部の部分の色を変更して表示形態９０２として強調表示している。なお、物体閾値判定の条件は満たしていないため、これ以上の表示変化は起こらない。さらなる表示の変化がないため、判定条件を満たしていないことをユーザは容易に認識することができる。

次に、図８（ｂ）のＮｏ．３の場合は、物体サイズの判定条件に加えて物体閾値の判定条件も満たしている。この時の表示例を図１１（ｃ）に示す。ここでは、物体閾値の判定条件を満たしていることを示すために、物体サイズの判定条件を満たしていることを示す表示形態９０２の上部に隣接した位置において、色をさらに変更して表示形態９０３として強調表示している。

また、図１１（ｃ）の表示形態９０４は、継続時間のカウントを表している。カウントの経過時間に応じて表示する色を変更してもよい。例えば、カウントの経過時間が増加するにつれて、所定時間ごとに表示する色を変更してもよい。

そして、継続時間の判定条件を満たして検知状態となった場合の表示例を図１１（ｄ）に示す。検知状態となったことを強調表示するため、物体位置９０１の領域全体を、検知状態を示す表示形態９０５に変更する。

なお、本実施形態では、物体サイズの判定条件を満足したことを示す表示形態９０２を、物体位置９０１の領域の下部に表示する例を説明した。しかし、物体サイズの判定条件を満足したことを示す表示形態と物体閾値の判定条件を満足したことを示す表示形態とは、先に条件を満たした方を下部に表示してもよい。あるいは、それぞれを予め決められた位置に表示してもよい。

本実施形態でも、実施形態３で説明したように、条件を辛うじて満たす場合に、そのことを示す表示形態での表示を行ってもよい。

また、本実施形態では、条件を満たす場合に表示を行う例を示したが、条件を満たさない場合に表示を行ってもよい。例えば、条件を満たさないことを示す表示形態として表示形態９０２、９０３を表示してもよい。

また、本実施形態では、１つの物体を例に説明を行ったが、検知領域内に複数の物体が存在する場合は、個々の物体上に段階的に判定条件を満たしたこと／満たしていないことを示す表示形態を表示してもよい。

（実施形態５）
実施形態５では、各判定結果について条件を満たさない場合に表示を行う場合の持ち去り検知について説明する。

まず、図１２を参照して、物体が持ち去られた際に、各判定結果について条件を満たす場合を説明する。ここで、図１２（ａ）は図５と同じであるため、説明を省略する。図１２（ａ）に対して物体３０１が持ち去られると、図１２（ｂ）に示すように物体位置１００３が得られる。

ここで、各判定条件を満たす場合は、図１２（ｂ）の表示を続ける。そして、所定の継続時間が経過した後に、図１２（ｃ）に示すように物体位置１００３は検知状態を示す色に変更され、物体の境界線１００５は検知状態を示すために強調表示される。

継続時間の設定値が所定値（例えば２０秒）よりも長い場合は、各判定条件を満たしたことを示すためにカウントの表示を映像上に重畳して表示してもよいし、物体の境界線１００５を点滅させてカウントしていることを示す表示をしてもよい。

次に、図１３を参照して、物体が持ち去られたものの、物体閾値の判定条件を満たさない場合の例を説明する。図１３（ａ）、（ｂ）はそれぞれ図１２（ａ）、（ｂ）と同じであるため、説明を省略する。

図１３（ｃ）は、物体閾値の判定条件を満たさないため、物体位置３０１に条件を満たさないことを示す表示形態１１０６を表示する例を示している。なお、条件を満たさないことを示す表示形態１１０６は、実施形態１と同様の表示形態であってもよい。

判定条件が複数存在する場合は、条件を満たす判定条件を表示するのではなく、条件を満たさない判定条件のみを表示する方が分かり易い場合がある。例えば、検知領域内に複数の物体が存在する場合や、物体サイズが小さい場合には、段階的な表示や各判定結果の表示を行うと、ディスプレイの解像度によっては確認が困難となる場合がある。

そのような場合には、各判定条件を満たさない場合に限定して表示を行ってもよい。あるいは、解像度が低い場合の対応としては、判定条件を満たさない場合、物体の位置の周囲に条件を満たさないことを示す表示を行うことにより、ユーザに通知するように構成してもよい。

また、各判定条件の設定を行う時に、条件を満たさない場合に表示を行う・行わないの何れかの選択をユーザから受け付け、選択に応じて表示する内容を切り替えてもよい。あるいは、検知の点検モード、通常設定モードなどを設け、各判定条件に対する表示を選択モードごとに切り替え可能に構成してもよい。

以上説明したように、本実施形態によれば、持ち去り検知において、条件を満たさない場合に表示を行うことで、ユーザが確認し易い表示を行うことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：画像処理装置、１０１：画像取得部、１０２：物体検知部、１０３：入力部、１０４：記憶部、１０５：表示制御部、１１０：設定部、１２０：検知判定部、１２１：存在判定部、１２２：物体サイズ判定部、１２３：物体閾値判定部、１２４：継続時間判定部、１３０：物体検知制御部、１４０：差分画像算出部、１５０：判定重畳部、１６０：判定結果

Claims (16)

1. 入力画像を取得する画像取得手段と、
   予め保持している背景画像と前記入力画像との差分情報に基づいて物体の位置を算出する算出手段と、
   前記位置に基づいて前記物体のサイズが所定サイズ以上であるかどうかを判定するサイズ判定手段と、
   前記物体の境界内外の輝度差に基づいて算出されるスコア値が閾値以上であるかどうかを判定する閾値判定手段と、
   前記物体のサイズが所定サイズ以上であり且つ前記スコア値が閾値以上である時間が所定の継続時間を経過したかどうかを判定する時間判定手段と、
   前記サイズ判定手段の判定条件、前記閾値判定手段の判定条件、及び前記時間判定手段の判定条件の各条件が充足されたかどうかを判定することにより、前記物体の持ち去り又は置き去りの発生を判定する検知判定手段と、
   前記持ち去り又は前記置き去りの発生についての判定結果と、前記物体についての各条件に対する充足の判定結果と、を表示させる表示制御手段と、
   を備え、
   前記検知判定手段は、前記時間が前記所定の継続時間を経過した場合に、前記持ち去り又は前記置き去りの発生を判定し、
   前記閾値にはオフセット値が設定されており、
   前記表示制御手段は、前記スコア値が前記オフセット値に基づくオフセット範囲内で前記閾値以上である場合と、前記スコア値が前記オフセット範囲外で前記閾値以上である場合とで、前記充足の判定結果を異なる表示態様で表示させることを特徴とする画像処理装置。
2. 前記検知判定手段は、前記位置が前記入力画像の検知領域内に存在するかどうかを判定する存在判定手段をさらに備え、
   前記時間判定手段は、前記位置が前記入力画像の前記検知領域内に存在し、前記物体のサイズが前記所定サイズ以上であり且つ前記スコア値が前記閾値以上である時間が、前記所定の継続時間を経過したかどうかを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定サイズ、前記閾値、前記所定の継続時間の少なくとも１つの設定値を、ユーザからの入力に基づいて設定する設定手段をさらに備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示制御手段は、前記閾値の設定値の指標をさらに表示させることを特徴とする請求項３に記載の画像処理装置。
5. 前記指標は、前記スコア値とオフセット値とに基づいて決定される複数の設定値の範囲を示すことを特徴とする請求項４に記載の画像処理装置。
6. 前記表示制御手段は、前記閾値の設定値を所定値以下に設定する入力が受け付けられた場合に、警告を表示することを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
7. 前記条件は、前記設定値に基づいて決定され、
   前記表示制御手段は、前記条件の充足の判定結果を入力画像に重畳して表示させることを特徴とする請求項３乃至６の何れか１項に記載の画像処理装置。
8. 前記表示制御手段は、前記条件に対する前記充足の判定結果を、条件を充足した順に段階的に表示させることを特徴とする請求項７に記載の画像処理装置。
9. 前記条件に対する前記充足の判定結果を、条件を満たす場合に表示させる設定と、条件を満たさない場合に表示させる設定との選択を受け付ける受付手段をさらに備えることを特徴とする請求項７または８に記載の画像処理装置。
10. 前記閾値の設定値を、前記スコア値をオフセット値に基づいてオフセットさせた範囲内の値に自動で設定する設定手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
11. 前記表示制御手段は、前記サイズ判定手段による判定結果を、前記入力画像の検知領域上に表示させることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記表示制御手段は、前記閾値判定手段による判定結果を、前記物体の位置上に表示させることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記表示制御手段は、前記時間判定手段による判定結果を、前記物体の位置に外接する枠上に表示させることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 各条件に対する前記充足の判定結果の表示位置を指定する入力を受け付ける入力手段をさらに備えることを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 画像処理装置の制御方法であって、
    入力画像を取得する画像取得工程と、
    予め保持している背景画像と前記入力画像との差分情報に基づいて物体の位置を算出する算出工程と、
    前記位置に基づいて前記物体のサイズが所定サイズ以上であるかどうかを判定するサイズ判定工程と、
    前記物体の境界内外の輝度差に基づいて算出されるスコア値が閾値以上であるかどうかを判定する閾値判定工程と、
    前記物体のサイズが所定サイズ以上であり且つ前記スコア値が閾値以上である時間が所定の継続時間を経過したかどうかを判定する時間判定工程と、
    前記サイズ判定工程の判定条件、前記閾値判定工程の判定条件、及び前記時間判定工程の判定条件の各条件が充足されたかどうかを判定することにより、前記物体の持ち去り又は置き去りの発生を判定する検知判定工程と、
    前記持ち去り又は前記置き去りの発生についての判定結果と、前記物体についての各条件に対する充足の判定結果と、を表示させる表示制御工程と、
    を有し、
    前記検知判定工程では、前記時間が前記所定の継続時間を経過した場合に、前記持ち去り又は前記置き去りの発生を判定し、
    前記閾値にはオフセット値が設定されており、
    前記表示制御工程では、前記スコア値が前記オフセット値に基づくオフセット範囲内で前記閾値以上である場合と、前記スコア値が前記オフセット範囲外で前記閾値以上である場合とで、前記充足の判定結果を異なる表示態様で表示させることを特徴とする画像処理装置の制御方法。
16. 請求項１乃至１４の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images