図1は、この発明の実施の形態の概略構成を示すブロック図である。なお、各図中、同一符号は同一又は相当部分を示す。
監視用画像処理装置は、ビデオ入力部1と、A/D変換部2と、現画像蓄積部3と、背景画像蓄積部4と、背景更新部5と、背景差分部(変化領域抽出手段)6と、閾値演算部7(変化領域抽出手段)と、2値化部(変化領域抽出手段)8と、特徴量演算部9と、特徴量パラメータ設定値を記憶する特徴量パラメータ設定値記憶部10と、認識処理部(認識処理手段)11と、禁止ブロック算出部(禁止ブロック候補設定手段,禁止ブロック設定手段)12と、禁止ブロック設定頻度管理部(禁止ブロック設定頻度管理手段)13と、禁止ブロック設定制御部(禁止ブロック設定制御手段)14と、発報処理部17とを備えている。各構成部3〜14,17は、例えばこれらの機能を有する画像処理プログラムをコンピュータ装置に実行させることによって実現することができる。
ビデオ入力部1は、本監視用画像処理装置に処理される映像が入力される。A/D変換部2は、ビデオ入力部1から入る映像を量子化する。現画像蓄積部3は、A/D変換部2からの出力を受け現在の映像データを記憶する。背景画像蓄積部4は、A/D変換部2からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する。背景更新部5は、背景画像蓄積部4のデータを一定ルールで演算し更新する。例えば、過去5枚の現画像の平均を背景画像とする等、一般的には単純なルールで更新する。
背景差分部6は、現画像蓄積部3と背景画像蓄積部4の2つの画像を比較し、その差分を算出する。閾値演算部7は、背景差分部6のデータを2値化するための閾値を算出する。なお、背景差分データを元に最適閾値を求めるのが一般的である。例えば、背景差分データの平均値を閾値にする、等である。2値化部8は、閾値演算部7で求めた閾値で差分データを2値化する。特徴量演算部9は、2値化部8が算出した2値データを受けて特徴量を算出する。特徴量パラメータ設定値記憶部10は、発報対象を規定する所定の条件の下に予め設定しておいた特徴量の各パラメータ値(例えば画像中の経時的に変化した画素領域を示す変化領域の面積、縦横寸法など)である特徴量パラメータ設定値を記憶する。
認識処理部11は、変化領域が所定の発報対象条件に合致し、且つ、その変化領域が後述の禁止ブロック算出部12で算出された禁止ブロックと所定の配置関係にある場合、その変化領域は発報対象ではないと認識し、変化領域が所定の発報対象条件に合致し、且つ、所定の配置関係に無い場合、発報対象と認識する処理を行う。具体的に説明すると、特徴量演算部9が算出した特徴量データと発報対象の特徴量パラメータ設定値とを比較し、比較結果が合致すると判定した場合に、続いて禁止ブロック算出部12が算出した禁止ブロックによる条件判断(その変化領域が禁止ブロックと所定の配置関係にあるかないかの判断)を行って発報対象か否かを判定する。そして、発報対象と判定した場合に、イベント発見を知らせる発報11aを出力する。発報処理部17は、認識処理部11からの発報11aを受けてオペレータに対して発報する。発報処理としては、例えばビープ音の出力やランプの点灯、上位ホストマシンへの発報・通信などがある。
禁止ブロック算出部12は、現画像データを所定のブロック領域に分割する処理を行うと共に、変化領域を特定する特徴量が予め定めた特徴量パラメータ設定値に合致するか否かを判定して当該特徴量パラメータ設定値に合致しない変化領域に関与するブロック領域を禁止ブロック候補として設定する処理を行う。そして、複数の禁止ブロック候補の中から所定の設定条件を満たす禁止ブロック候補を禁止ブロックとして設定する処理を行う。
禁止ブロック設定頻度管理部13は、分割された各ブロック領域それぞれに対する禁止ブロックの過去の設定頻度に関する頻度情報を管理する。頻度情報とは、ある単位時間(例:24時間)中に禁止ブロックとなっていた時間の比率や、ある単位時間(例:24時間)中に禁止ブロックとなっていた回数や、周囲に禁止ブロックがどの程度存在するかの周囲条件などで、適宜更新される。
禁止ブロック設定制御部14は、禁止ブロック設定頻度管理部13で管理された頻度情報に基づいて、過去に所定の頻度を超えて禁止ブロックが設定されたブロック領域を特定し、そのブロック領域と所定の位置関係にあるブロック領域に設定された禁止ブロック候補を、その他のブロック領域に設定された禁止ブロック候補よりも優先的に禁止ブロックとして設定するように禁止ブロック算出部12を制御する。
図2は、図1中の禁止ブロック算出部の構成を示すブロック図である。
禁止ブロック算出部12は、ブロック分割部(禁止ブロック候補設定手段)12aと、ノイズ判定部(禁止ブロック候補設定手段)12bと、禁止ブロック候補判定部(禁止ブロック候補設定手段)12cと、ブロック領域毎に設けられた頻度カウンターを有する頻度計数部(頻度計数手段)12dと、頻度カウンターを補正する頻度カウンター補正部12e(禁止ブロック設定手段)と、禁止ブロック決定部(禁止ブロック設定手段)12fとを備えている。禁止ブロック算出部12には、現画像蓄積部3から現画像データが入力されており、ブロック分割部12aは現画像蓄積部3からの現画像データをブロック分割する。ここで、ブロックとは、不図示の表示部に現画像データを表示した場合において、その表示画面中のある部位の画像を特定するデータである。
ノイズ判定部12bは、変化領域の特徴量が特徴量パラメータ設定値の範囲や条件に合致するかを判定して合致しなかった変化領域をノイズとして選別する。なお、禁止ブロック算出部12には、認識処理部11から変化領域ごとの特徴量データ及び判定結果が入力されるようになっており、ノイズ判定部12bは、その入力データを受けて、その変化領域が「ノイズ」よるものか否かを判定する。
禁止ブロック候補判定部12cは、ノイズ判定部12bが発見した「ノイズ」による変化領域を含む現画像データのブロックを「禁止ブロック候補」として選別する。
頻度計数部12dは、ブロック領域に「禁止ブロック候補」が出現する頻度をブロック領域毎に設けられた頻度カウンターによって計数するもので、この計数ルールについては以下に詳述する。頻度カウンター補正部12eは、後述の頻度カウンター補正量算出部16で算出された補正量に基づいて頻度カウンターを補正する。禁止ブロック決定部12fは、頻度カウンターの計数値が所定値以上になった禁止ブロック候補を、発報対象検知領域としない変化領域を特定する禁止ブロックに決定する。
次に、禁止ブロック設定制御部14における処理の概要について説明する。禁止ブロック設定制御部14は、上述したように、禁止ブロック設定頻度管理部13で管理された過去の設定頻度に基づいて、複数の禁止ブロック候補の中から所定の禁止ブロック候補が優先的に禁止ブロックに設定されるように禁止ブロック算出部12を制御するものである。優先的に禁止ブロックに設定される所定の禁止ブロック候補とは、大まかに言うと、ノイズ多発エリア近傍に設定された禁止ブロック候補に相当するもので、本例では、その禁止ブロック候補に関わる頻度カウンターを他の禁止ブロック候補に比べて増加させ、他の禁止ブロック候補よりも先に所定値以上とさせることで、優先的に禁止ブロックに設定されるようにしている。この禁止ブロック設定制御部14により、過去の禁止ブロックの設定状況を、その後の禁止ブロック設定時に反映させることが可能となり、上記従来技術の課題を解決できる構成となっている。
次に、禁止ブロック設定制御部14の具体的な構成を説明する。禁止ブロック設定制御部14は、図1に示したように、長期抑止ブロック算出部15と、頻度カウンター補正量算出部16とで構成されている。
図3は、長期抑止ブロック算出部の構成を示すブロック図である。
長期抑止ブロック算出部15は、長期抑止ブロック候補算出部(長期抑止ブロック候補設定手段)15aと、距離測定部15bと、長期抑止ブロック決定部(長期抑止ブロック設定手段)15cとを備えている。長期抑止ブロック候補算出部15aは、禁止ブロック設定頻度管理部13を参照して、例えば以下に示す3通りの選出方法に従って各ブロック領域の中から長期抑止ブロック候補を選出する。なお、選出方法としては、以下の3通りの方法を用いるのが一般だが、それ以外のルールで選出するようにしても構わない。
(1)ある単位時間(例:24時間)中に禁止ブロックとなっていた時間の比率の大きい順にn個を長期抑止ブロック候補に選出する。
(2)ある単位時間(例:24時間)中に禁止ブロックとなっていた回数の多い順にn個を長期抑止ブロック候補に選出する。
(3)周囲に禁止ブロックが存在する数が多い順にn個を長期抑止ブロック候補に選出する。
距離測定部15bは、前の単位時間中に長期抑止ブロックとなっていたブロック領域と、現在求めた長期抑止ブロック候補との距離を測る。ここで、距離とは何ブロック離れているか、何画素離れているかといったものである。長期抑止ブロック決定部15cは、距離測定部15bで測定された距離に基づいて長期抑止ブロックを選出する。
図4は、頻度カウンター補正量算出部の構成を示すブロック図である。
頻度カウンター補正量算出部16は、長期抑止ブロック算出部15で選出した長期抑止ブロックと所定の位置関係にあるブロック領域に設定された禁止ブロック候補に対応した頻度カウンターを、補正対象の頻度カウンターとして決定するとともに、その補正量を決定するものであり、距離測定部16aと、補正量決定部16bとを備えている。
距離測定部16aは、長期抑止ブロック算出部15で求めた長期抑止ブロックと、禁止ブロック候補との間の距離を測定する。補正量決定部16bは、距離測定部16aで測定された距離を元に、禁止ブロック候補の頻度カウンターに加える補正量を決定する。補正量決定部16bでの補正量の決定方法の具体例は後に詳述するが、要は、長期抑止ブロックの近傍(所定の位置関係)に配置された禁止ブロック候補の頻度カウンター値を他の位置に配置された禁止ブロック候補の頻度カウンター値に比べて増加するようにその補正量を決定するものである。ここで決定された補正量によって、上述したように頻度カウンター補正部12eで補正が行われる。この補正により、複数の禁止ブロック候補の中で、長期抑止ブロックに近い位置に配置されたものほど、その頻度カウンターの値が大きな値を取るようになる。したがって、他の禁止ブロック候補の頻度カウンターに比べて速やかに所定値に達することになり、長期抑止ブロックに近い位置に配置された禁止ブロック候補が優先的に禁止ブロックに設定されることになる。
次に、動作について説明する。先ず、外部の撮像装置(不図示)が、例えば後述の図5に示すようなグランドの映像を撮像すると、当該映像信号は、現画像データとしてビデオ入力部1に入力される。ビデオ入力部1では、上記撮像装置から時系列に入力される現画像データをA/Dコンバータ2に送出する。A/Dコンバータ2は、受け取ったアナログ信号である現画像データをディジタル信号に変換する。例えば、1画素あたり8ビットの多値データに変換する。
このあと、A/Dコンバータ2がディジタル変換した現画像データは、現画像蓄積部3及び背景画像蓄積部4に送出される。このとき、現画像蓄積部3は、入力した現画像データを蓄積し後の処理に備える。つまり、現画像蓄積部3には、上記撮像装置が撮像した現画像データが時系列に蓄積されてゆく。また、背景画像蓄積部4では、入力した現画像データを元に背景画像データを作成して蓄積する。
また、背景更新部5は、背景画像蓄積部4に蓄積してある背景画像データを定期的に一定ルールで更新する。一般的には、定期的にサンプリングされた現画像データを元に演算処理される。例えば、過去5シーンの現画像データの各画素値を平均した平均画像を更新後の背景画像データとする方法や一定時間前の現画像データを入れ替える方法などが考えられる。
続いて、背景差分部6は、現画像蓄積部3と背景画像蓄積部4とが格納する各画像データを比較して各画素ごとに画素値の差分画像データを抽出し、画素値の差分データからなる画像(以下、差分画像データと称する)を出力する。この差分画像データは、例えば映像中における物体の移動や光量変化によって輝度が変化した部分を表す。つまり、差分画像データは、現画像データと背景画像データとの間で異なった画素値を示す画素を含む多値変化領域を特定するものである。また、映像中の輝度変化をもたらす要因としては、通常、人物や車両のような移動物が主であるが、希に「太陽光の照り陰りによる影の出現」や「夜間の車のヘッドライトの反射」などのように正規の発報対象以外による場合もある。
次に、閾値演算部7は、背景差分部6から入力した多値変化領域である差分画像データを2値化するための閾値を算出する。上述したように、多値変化領域は、現画像データと背景画像データとの間で異なった画素値を示す多値データである。このため、そのまま認識処理するには、多くの演算を施さなければならず不的確である。そこで、以降の処理を高速に行うためにも差分画像データを2値データに変換する。この閾値としては、例えば差分画像データの画素値の平均値を用いる。
2値化部8は、閾値演算部7から受けた閾値を用いて多値変化領域である差分画像データを2値化する。例えば、閾値以上の画素値を有する画素を論理値1、閾値未満の画素値を有する画素を論理値0とする。この結果、変化領域である差分画像データは、2値変化領域となる。但し、装置によっては、2値化を行わずに多値変化領域を直接的に認識処理する場合がある。ここでは、2値化を行うものとする。ここまでの動作が変化領域抽出ステップに相当する。
図5は、現画像データの表示画面を示す図である。この図5は、お祭り会場の映像を示しており、映像の上部付近に提灯、下部に木が存在する。図5に示す映像において、例えば風によって提灯や木の枝に揺れが発生している場合、この動きがあった部分が変化領域として検出されることになる。図6は、その変化領域部分の画素をべた塗りした表示画面を示す図である。図6において、19は画素値に変化があった変化領域であって、画素をべたに染める画像データが重ね合わされている。図6に示すように、変化領域19は、手前5つの提灯の左右側面部と木立の枝先の葉の突端とに表れている。風によって提灯や木の枝が揺れて細かな動きが発生すると、その動き部分に差分画像データが生まれて変化領域として切り出される。ここで、これら提灯や木の枝の動きは、オペレータにとって発報することが望まれていない。つまり、これらによる変化領域が正規の発報対象でないことを前提とする。
続いて、特徴量演算部9は、2値化された変化領域を示す差分画像データを受けると、その特徴量を演算する。ここで、例えば特徴量を規定するパラメータとして「連続性」、「面積」、「縦横寸法」及び「速度」を設ける。具体的に説明すると、「連続性」とは映像中に何フレーム変化領域が生存したか、つまり、変化領域の連続発生時間を表している。また、「面積」は、2値の変化領域の画素数を表している。また、「縦横寸法」は、2値の変化領域を規定する外接矩形の縦の長さや横の長さを表している。「速度」は、当該変化領域の映像中における移動速度を表している。個々で演算された特徴量は、認識処理部11に送出される。
図7は、図1中の認識処理部の動作を説明するフローチャートである。この図7に沿って認識処理部11が差分画像データの特徴量を受け取ってからの処理を説明する。先ず、認識処理部11は、特徴量演算部9から特徴量データを取得(ステップST1)すると、その「連続性」が特徴量パラメータ設定値に合致するか否かを判定する(ステップST2)。この「連続性」の判定には、例えば処理対象となる差分画像データにおける変化領域が映像中に何フレーム生存したかを示す連続時間が用いられる。具体的には、特徴量パラメータ設定値の範囲が「最小4フレーム、最大10フレーム」である場合、変化領域が生存する連続時間が4〜10フレームであれば合致すると判断される。また、それ以外であれば、特徴量パラメータ設定値の範囲に合致しないと判断される。ここで、特徴量パラメータ設定値の範囲に合致すると判断されると、ステップST3の処理に進み、合致しないと処理を終了する。
ステップST3において、認識処理部11は、特徴量演算部9が求めた特徴量データの「面積」が特徴量パラメータ設定値に合致するか否かを判定する。この「面積」の判定には、例えば差分画像データの2値変化領域の画素数が用いられる。具体的には、特徴量パラメータ設定値の範囲が「最小500画素、最大1000画素」である場合、2値変化領域の面積が500〜1000画素であれば合致すると判断される。また、それ以外であれば、特徴量パラメータ設定値の範囲に合致しないと判断される。ここで、特徴量パラメータ設定値の範囲に合致すると判断されると、ステップST4の処理に進み、合致しないと処理を終了する。
次に、認識処理部11は、特徴量演算部9が求めた特徴量データの「縦横寸法」が特徴量パラメータ設定値に合致するか否かを判定する(ステップST4)。この「縦横寸法」の判定には、例えば2値の変化領域を規定する外接矩形の縦の長さや横の長さが用いられる。具体的には、特徴量パラメータ設定値の範囲が「縦最小50画素、最大100画素」、「横最小50画素、最大100画素」である場合、2値変化領域の縦横寸法が共に50〜100画素であれば合致すると判断される。また、それ以外であれば、特徴量パラメータ設定値の範囲に合致しないと判断される。ここで、特徴量パラメータ設定値の範囲に合致すると判断されると、ステップST5の処理に進み、合致しないと処理を終了する。
続いて、認識処理部11は、特徴量演算部9が求めた特徴量データの「速度」が特徴量パラメータ設定値に合致するか否かを判定する(ステップST5)。この「速度」の判定には、例えば当該変化領域の映像中における移動速度が用いられる。具体的には、特徴量パラメータ設定値の範囲が「最小50画素/秒、最大100画素/秒」である場合、2値変化領域の映像中における移動速度が50〜100画素/秒であれば合致すると判断される。また、それ以外であれば、特徴量パラメータ設定値の範囲に合致しないと判断される。ここで、特徴量パラメータ設定値の範囲に合致すると判断されると、ステップST5Aの処理に進み、合致しないと処理を終了する。
なお、上述した「面積」、「縦横寸法」及び「移動速度」は、例えばステップST2の判定処理に使用する2値変化領域の生存時間における各画像の特徴量の平均値から算出する。
次に、認識処理部11は、表示画面上に表示した変化領域に対し禁止ブロック算出部12で算出された禁止ブロックによる条件判断を行って上記変化領域が発報対象であるか否かを判定する(ステップST6、認識処理ステップ)。ここでの条件判断とは、具体的には、変化領域が禁止ブロックと所定の配置関係にあるかを判定し、所定の配置関係に無い場合に発報対象検知と認識するものである。ここで、認識処理部11は、表示画面上の変化領域と禁止ブロックとを対比させるにあたり、変化領域を囲む外接矩形を規定する。この外接矩形は、孤立した位置にある変化領域であればそれを囲むように設けられ、複数の変化領域が固まった位置にある場合はそれらを囲むように設けられる。
そして、表示画面上の変化領域若しくはその外接矩形の中に禁止ブロックがあれば、その変化領域は発報対象ではないと判定する。一方、変化領域若しくはその外接矩形の中に禁止ブロックがなければ、その変化領域は発報対象であると判定される。この判定は、変化領域毎に行われる。このような禁止ブロックを設けることによって、例えば正規の発報対象ではない木の枝の揺れにおいて、偶発的に、木の枝の揺れている時間、揺れの振幅による変化領域の面積変化、揺れの速度などが特徴量パラメータ設定値に合致してしまったとしても、発報対象と判断してしまう不要検知を防止できる。そして、処理中の変化領域が発報対象であると判定されると、ステップST7の処理に進み、合致しないと処理を終了する。
ステップST7において、認識処理部11は、正規の発報対象を特定する全ての特徴量パラメータ設定値に合致すると判断し、イベント発報11aを発報処理部17に出力する。
ここで、禁止ブロック算出部12の動作について詳細に説明する。図8は、禁止ブロック算出部12の動作を説明するフローチャートである。
禁止ブロック算出部12には、現画像蓄積部3から現画像データが入力されるとともに、認識処理部11から変化領域ごとの特徴量データ及び判定結果が入力されている。そこで、まず、ブロック分割部12aが、現画像データを取得し、これを一定の大きさのブロックに分割する(ステップST11)。
図9は、図5の現画像データをブロック分割した表示画面を示す図である。図9に示すように、ブロックの大きさや配置は均一であることが望ましいが、これらを不均一としても構わない。また、ブロックの大きさは、1画素の大きさに定義してもよい。ここでは、32画素×32画素の大きさを持つ均一な正方形のブロックを均一に配置する場合を前提として説明を進める。
また、図10は、図9に示した表示画面に、画素値に変化があった変化領域のその画素をべたに染める画像データを重ね合わせた図である。
禁止ブロック算出部12では、次に、ノイズ判定部12bが特徴量演算部9で演算された各変化領域それぞれについて特徴量が特徴量パラメータ設定値の範囲や条件に合致するかを判定して合致しなかった変化領域を、正規な発報対象でない「ノイズ」による変化領域とする(ステップST12)。ここで、「合致しない変化領域」とは、例えば図7に示した認識処理部11によるステップST2からステップST5までのいずれかでNOと判定された変化領域を指すものとする。また、図6の例において、提灯や木の枝の揺れによる変化領域19は正規の発報対象ではないため、「ノイズ」と判断される。
なお、ノイズ判定部12bによるノイズ判断は、上述したような認識処理部11による判定結果を利用するにあたり、ノイズ判定部12bによって図3中のステップST2からステップST5まででNOと判定されても処理を終了せずに次の判定ステップに進む処理を行い、これらのうち複数のステップにてNOと判定された変化領域について「ノイズ」であると判定するようにしてもよい。
また、図7中のステップST2からステップST5までの処理にてNOと判定されたか否かを判断基準とするのではなく、ノイズ判定部12bによって特徴量が特徴量パラメータ設定値の範囲や条件を「下回る」か「上回る」と言う限定状況を基準とする「ノイズ」判断を独自に行うようにしてもよい。つまり、この発明では、正規の発報対象ではない変化の発生要因の中から、何らかのルールによって「ノイズ」と判断される変化領域が選出されればよい。
続いて、禁止ブロック候補判定部12cは、ノイズ判定部12bによって「ノイズ」と判断される変化領域を含む各ブロックを「禁止ブロック候補」として判断する(ステップST13)。このようにして選別されたブロックに関するデータは、「禁止ブロック候補」として規定されて不図示のメモリに保持される。ここまでの動作が禁止ブロック候補設定ステップに相当する。
なお、ブロックに「ノイズ」による変化領域が含まれているか否かの判定は、当該ブロックに対して「ノイズ」による変化領域が「接触しているかどうか」や「近傍にあるかどうか」などを基準にしてもよい。また、同一画面上で現画像データに関するブロックに「ノイズ」による変化領域が含まれるか否かを判定するのではなく、現画像データに関するブロックと「ノイズ」による変化領域とを時間的に異なるデータを元にして別個に算出し相互に比較するようにしてもよい。つまり、所定の時間内にノイズが1回でも現れれば禁止ブロック候補にするようにしてもよい。
ついで、禁止ブロック候補判定部12cで選出した複数の「禁止ブロック候補」の中から、「禁止ブロック」を選出する処理に入る。この処理では、頻度計数部12dにおける各ブロック領域毎の頻度カウント値に基づいて「禁止ブロック」の選出を行うようにしている。ここで、頻度計数部12dは、ブロック領域毎にそのブロック領域に「禁止ブロック候補」がどのぐらいの頻度で出現するかのカウントを「禁止ブロック候補」が設定される度に行っている(ステップST14)。図11は、図10中のブロックに禁止ブロック候補の頻度カウント値を重ね合わせた表示画面を示す図である。「禁止ブロック候補」の出現頻度のカウントはブロックごとに行われて必要に応じてアップダウンカウントされる。
ここで、頻度計数部12dによる頻度カウント処理について詳細に説明する。先ず、頻度カウント値のカウントアップに関するルールについて説明する。頻度計数部12dは、所定の単位時間内に何回「禁止ブロック候補」と判断されたかをカウントする。例えば、単位時間=1分間とした場合、1分間に3回「禁止ブロック候補」になれば、そのブロックの頻度カウント値は3である。
このとき、所定の単位時間以内に、同じブロックが「禁止ブロック候補」と判断されれば、頻度カウント値をカウントアップする。例えば、単位時間=1分間とした場合、1回「禁止ブロック候補」になったブロックが1分以内に再度「禁止ブロック候補」になれば、そのブロックの頻度カウント値はインクリメントされる。
次に、頻度カウント値のカウントダウンに関するルールについて説明する。頻度計数部12dは、所定の単位時間「禁止ブロック候補」が出現しなかったら、カウントダウンする。例えば、単位時間=1分間とした場合、1分間ずっと「禁止ブロック候補」が出現しなければ、そのブロックの頻度カウント値はデクリメントされる。
なお、「禁止ブロック候補」の時間的な発生頻度や以下に説明する空間的な発生密度によって、その頻度カウント値をカウントアップ・ダウンする構成であれば、上記条件に限定されるものではない。空間的な発生密度によるカウントアップ・ダウンとは、例えば、「禁止ブロック候補」となったブロックの周辺に所定数の「禁止ブロック候補」が存在する場合に頻度カウント値をカウントアップし、「禁止ブロック候補」となったブロックの周辺に所定数の「禁止ブロック候補」が存在しない場合に頻度カウント値をカウントダウンする。例えば、所定数=3とした場合、「禁止ブロック候補」の周辺に別な「禁止ブロック候補」が3個以上あれば、そのブロックの頻度カウント値をインクリメントし、「禁止ブロック候補」の周辺に別な「禁止ブロック候補」が3個未満しかない場合、そのブロックの頻度カウント値をデクリメントするといった具合である。
以上のようにして定められた頻度カウント値は、頻繁にノイズが発生するブロックでは大きい数字となり、ノイズがあまり発生しないブロックやノイズ発生が減ってきたブロックでは小さい数字となる。また、図11に示すように、当該頻度カウント値をブロック分割した現画像データの表示画面に重ね合わせて表示して、オペレータに視認させる。
続いて、頻度カウンター補正部12eは、頻度カウンター補正量算出部16で求められた補正量に基づいて頻度カウンターを補正する(ステップST15)。頻度カウンター補正量算出部16では、各ブロック領域毎の頻度カウンターのうち、補正が必要な頻度カウンターについてのみ補正量が求められており、頻度カウンター補正部12eではその補正量に従った補正を行う。ここでの補正は、次の禁止ブロック決定部12fで複数の禁止ブロック候補の中から禁止ブロックを選択するに際し、過去に禁止ブロックに設定されたブロック領域又はその近傍のブロック領域に設定された禁止ブロック候補が、他のブロック領域の禁止ブロック候補よりも優先して禁止ブロックに選択されるようにするための補正であり、具体的な補正内容の説明は、後段の頻度カウンター補正量算出部16の動作説明の際に行うことにする。
禁止ブロック決定部12fは、頻度カウンター補正部12eで補正された頻度計数部12dの各頻度カウント値を受け取り、その値に基づいて禁止ブロックを決定する(ステップST16)。ここでは、ある所定値以上のカウント値を有する「禁止ブロック候補」を禁止ブロックとする。例えば、所定値が7の場合、7以上のカウント値を持つ「禁止ブロック候補」を禁止ブロックと決定する。ここで、頻度カウンターは、ノイズの頻度に応じてアップダウンする構成であることから、禁止ブロックはノイズが減少すれば(風がおさまり提灯や木の枝の揺れがなくなれば、)自然と消えていき、ノイズが増えれば自然と生成されることになる。
図12は、図11中の頻度カウント値に基づいて決定された禁止ブロックをべた塗りした表示画面を示す図である。図12に示す例では、「禁止ブロック候補」の頻度カウント値が7を越えるものを禁止ブロックとして決定し、これにべた塗りのブロックを重ね合わせている。禁止ブロック決定部12fは、禁止ブロックを決定すると、その表示画面上の位置座標などの禁止ブロックに関するデータを不図示のメモリに保持する。
なお、禁止ブロックの決定は、ある所定値以上のカウント値を持つ「禁止ブロック候補」を禁止ブロックとする他に、上記所定値を固定的に設定するのではなく、「禁止ブロック候補」の表示画面上の位置や状況に応じて変動する変動値を上記所定値として設定するようにしてもよい。
また、禁止ブロックの決定は、「禁止ブロック候補」の頻度カウント値の他に、「禁止ブロック候補」の周囲に位置するブロックの頻度カウント値を基準としてもよい。さらに、時間的に離れている画像データから求めた「禁止ブロック候補」の頻度カウント値を基準として、禁止ブロックの決定を行ってもよい。
なお、画面上に同時に存在できる禁止ブロックの数には制限を設けており、禁止ブロック決定部12fは、その上限を超えないように禁止ブロックの取捨選択を行っている。その取捨選択の判断には、頻度カウンターのカウント値が大きいものを優先する処理を採用しているが、それ以外の処理を採用しても構わない。例えば、近傍に禁止ブロック候補が多いものを優先とするなどとしてもよい。選択に漏れた禁止ブロック候補は禁止ブロックとは扱われない(これを不活性化と呼称する)。図12において斜線でハッチングされた部分が不活性化された禁止ブロック候補に該当する。不活性化された禁止ブロック候補における頻度カウンターのカウントアップ・ダウンの処理については継続して行われる。ここまでの動作が禁止ブロック設定ステップに相当する。
禁止ブロック設定頻度管理部13は、禁止ブロック算出部12における禁止ブロックの決定状況を見て各ブロック領域それぞれについての禁止ブロックの設定頻度に関わる頻度情報を管理・更新する。頻度情報とは、上述したように、ある単位時間(例:24時間)中に禁止ブロックとなっていた時間の比率や、ある単位時間(例:24時間)中に禁止ブロックとなっていた回数や、周囲に禁止ブロックがどの程度存在するかの周囲条件などである。ここまでの動作が禁止ブロック設定頻度管理ステップに相当する。
禁止ブロック設定制御部14は、禁止ブロック設定頻度管理部13で管理された頻度情報に基づいて禁止ブロック算出部12を制御する処理を行う。なお、禁止ブロック設定制御部14は、例えば24時間といった上記単位時間が経過し、禁止ブロック設定頻度管理部13で過去の頻度情報が蓄積されて始めて起動する処理部である。
以下、禁止ブロック設定制御部14の動作を説明する。まず、長期抑止ブロック算出部15の動作について説明し、その後、頻度カウンター補正量算出部16の動作を説明する。
図13は、図1中の禁止ブロック設定制御部14の長期抑止ブロック算出部15の動作を示すフローチャートである。
長期抑止ブロック算出部15では、まず、長期抑止ブロック候補算出部15aが、禁止ブロック設定頻度管理部13で管理された頻度情報を参照して、上述の(1)〜(3)の何れかの方法で長期抑止ブロック候補をn個(例えば32個)選出する(ステップST31)。そして、n個の長期抑止ブロック候補の中から、m個(m<n)の長期抑止ブロックを選出する。この選出方法は、次の方法による。
まず、電源投入後の最初の選出に際しては長期抑止ブロック候補に選出された順に、m個を長期抑止ブロックとして選出する。そして、一旦長期抑止ブロックが選出された後は、距離測定部16aが、現時点以前の単位時間(例えば24時間)において長期抑止ブロックに設定されたブロック領域と現在求めた長期ブロック候補との間の距離を測定し(ステップST22)、長期抑止ブロック決定部15cがその距離に基づいて長期抑止ブロックを決定する(ステップS23)。具体的には距離が近い順にm個を新たな長期抑止ブロックに設定する。ここで、距離とは、何ブロック離れているか、何画素離れているかといったものである。なお、現時点以前の単位時間(例えば24時間)における長期抑止ブロックと現在求めた長期ブロック候補はそれぞれ複数あるため、複数の組み合わせが存在する中でどの組み合わせで測定した距離を長期抑止ブロックの設定に反映するかは任意であるが、要は、以前設定された長期抑止ブロックの近傍に新たな長期抑止ブロックが設定されるように処理されれば良い。これは、過去の禁止ブロックの設定状況を後の禁止ブロック設定に反映するための処置である。すなわち、禁止ブロックが設定されたノイズ多発エリアの中でも、特にノイズが頻発して発生するエリアに長期抑止ブロックを設定し、次の単位時間においてもその近傍に長期抑止ブロックを設定することで、ノイズ頻発エリアの位置を後に引き継ぐようになっている。続いて、頻度カウンター補正量算出部16の動作に入る。
図14は、頻度カウンター補正量算出部の動作を説明するフローチャートである。この図14に沿って頻度カウンター補正量算出部16の動作を説明する。
頻度カウンター補正量算出部16では、まず、距離測定部16aが、長期抑止ブロック算出部15で求めた長期抑止ブロックと禁止ブロック候補との間の距離を測定する(ステップST31)。そして、補正量決定部16bが、その距離に基づいて禁止ブロック候補の頻度カウンターに加える補正量を決定する(ステップST32)。補正量決定部16bでは、距離測定部16aで測定された距離に基づいて、例えば長期抑止ブロックの周囲の8個のブロック領域に設定された禁止ブロック候補の頻度カウンターを補正対象と特定し、その頻度カウンターを増加させるように補正量を決定する。本例では、補正対象の頻度カウンターの値が2倍になるように補正量を決定する。なお、補正量の決定方法は、上記の方法に限られたものではないが、要は、長期抑止ブロックの近傍(所定の位置関係)に配置された禁止ブロック候補の頻度カウンター値を他の位置に配置された禁止ブロック候補の頻度カウンター値に比べて増加させるように補正する。ここまでの動作が禁止ブロック設定制御ステップに相当する。
ここで決定された補正量は、禁止ブロック算出部12の頻度カウンター補正部12eにおける補正に反映される。ここで、禁止ブロック算出部12の頻度カウンター補正部12eにおける動作説明に戻ると、頻度カウンター補正部12eは、補正量決定部16bで決定された補正量に従って補正を行い、この補正により、禁止ブロック候補の頻度カウンターは、長期抑止ブロックに近い位置に配置された禁止ブロック候補に対応した頻度カウンターほど大きな値に補正されることになる。
図15は、符号20で示すブロック領域が長期抑止ブロックである場合の補正後の頻度カウント値の説明図である。図15に示すように、長期抑止ブロック20の周囲の8ブロック領域に設定された禁止ブロック候補に対応した頻度カウンター値が2倍に補正されている。このような補正を行うことにより、長期抑止ブロックの近傍に存在する禁止ブロック候補を、他の禁止ブロック候補に比べて速やかに禁止ブロックに設定することができる。
すなわち、提灯や木の枝のような、頻繁にゆれる物体や、水たまりのようにしばらく動き続ける物体がある場合、そのブロック領域にノイズが多発することになって禁止ブロックに設定された後、その禁止ブロックの中でも特にノイズ発生頻度の高いエリアに長期抑止ブロックが設定されることになり、その長期抑止ブロックの近傍に優先的に禁止ブロックが配置されることになる。したがって、一旦、特にノイズ発生頻度が高いエリアと認識されたエリア近傍には、その後仮にノイズが減少したとしてもノイズ多発エリアという認識が反映されて速やかに禁止ブロックが設定されることになる。この処理は、図12の例で説明すると、ノイズを多発させる物体である提灯や木の枝の設置位置は動かないため、提灯や木の枝の位置の中でも特にノイズ発生頻度の高いエリアには、その後も頻繁なノイズ発生が予測されるということに基づくもので、その位置に優先して禁止ブロックを配置することにより、不要検知の危険性に晒される期間を短くすることが可能となる。
また、本例では長期抑止ブロックを更新する上記単位時間は24時間を想定しているが、このような長期抑止ブロックを設けたことによって、前日の禁止ブロックの設定状況を当日に反映することが可能となっている。従って、例えば前日は提灯や木の枝の揺れが頻繁に発生したが、当日は風が少なく揺れが少なかったような場合にも、前日の禁止ブロックの設定状況が反映されて提灯や木の枝の揺れの部分に禁止ブロックが速やかに設定されることになり、不要検知防止効果を向上させることが可能となっている。
以上のようにしてその設定が制御される禁止ブロックを用いる発報対象の認識処理について詳細に説明する。なお、ここでは、ステップST6の禁止ブロックによる条件判断について詳細に説明する。この条件判断の際には、上述したように、表示画面上の変化領域若しくはその外接矩形の中に禁止ブロックがあれば、その変化領域は発報対象ではないと判定する判定基準の他、以下のような基準で判定するようにしてもよい。
すなわち、変化領域若しくはその外接矩形から所定の距離内に禁止ブロックがあるか否かで発報可否を判定するようにしてもよい。この場合、変化領域若しくはその外接矩形から所定の距離内に禁止ブロックがある場合、その変化領域を発報対象ではないと判定する。例えば、所定距離=1ブロックとした場合、変化領域の周囲1ブロック範囲内に禁止ブロックがあれば、その変化領域は発報対象ではないものと判定される。
なお、変化領域若しくはその外接矩形からの禁止ブロックへの距離の遠近状況によって変化領域の発報可否を判定する構成であれば、上記条件に限定されるものではない。
また、上述した認識処理部11による処理は、以下のようにしてもよい。先ず、認識処理部11は、変化領域若しくはその外接矩形の中に、所定数以上の禁止ブロックがあれば、その変化領域が発報対象ではないものと判定する。また、そうでない場合は、発報対象と判定する。例えば、所定数=3とした場合、変化領域の外接矩形内に3個の禁止ブロックがあれば、その変化領域は発報対象ではないものと判定される。
さらに、認識処理部11は、変化領域若しくはその外接矩形から所定距離内に、所定数以上の禁止ブロックがあるか否かで判定するようにしてもよい。この場合、所定距離内に、所定数以上の禁止ブロックがあれば、その変化領域は発報対象ではないものと判定される。例えば、所定距離=1ブロック、所定数=3とした場合、変化領域の周囲1ブロック範囲内に3個の禁止ブロックがあれば、その変化領域は発報対象ではないとされる。
なお、変化領域若しくはその外接矩形の内部・周辺の禁止ブロックの数量によって変化領域の発報可否を判定する構成であれば、上記条件に限定されるものではない。
さらに、認識処理部11による処理として、以下のようにしてもよい。先ず、認識処理部11は、変化領域若しくはその外接矩形の中に、所定時間以上連続して生存する禁止ブロックがあれば、その変化領域が発報対象ではないものと判定する。また、そうでない場合は、発報対象と判定する。ここで、生存とは、禁止ブロックとして確立してから現在までの時間である。例えば、所定時間=3秒とした場合、変化領域の外接矩形内に3秒以上生存し続けている禁止ブロックがあれば、その変化領域は発報対象ではないものと判定される。
また、上記条件に加えて、変化領域若しくはその外接矩形から所定距離内に、所定数以上の禁止ブロックが所定時間以上連続で生存していれば、その変化領域が発報対象ではないものと判定するようにしてもよい。例えば、所定時間=1秒、所定数=3とした場合、変化領域の周囲1ブロック範囲内に2秒以上生存し続けている禁止ブロックが3個以上あれば、その変化領域は発報対象ではないものと判定される。
なお、変化領域若しくはその外接矩形の内部・周辺の禁止ブロックの生存時間の長短によって変化領域の発報可否を判定する構成であれば、上記条件に限定されるものではない。
上述した禁止ブロックによる条件判断は、それぞれ表示画面上に表れた変化領域ごとに行われる。また、これら条件判断は、それぞれ別個に行っても良いし、並行して行うようにしても良い。
ここで、具体例を挙げて禁止ブロックを用いる発報対象の認識処理についてまとめる。図16は、禁止ブロックを重ね合わせた現画像データの表示画面を示す図であり、処理対象の画像データの表示画面が図5,図6,図9〜図12,図15,図16までに至る過程で作成された禁止ブロックを表示している。
図17は、図10中の現画像データに変化領域をベタ染めして外接矩形を重ね書きした表示画面を示す図である。図17において、Aは「歩行者」による変化領域に規定された外接矩形、B〜Eは「風で揺れる提灯」による変化領域に規定された外接矩形、Fは「風で揺れる木の枝」による変化領域に規定された外接矩形である。ここで、禁止ブロックによる条件判断において、認識処理部11は、最もシンプルなルールである「変化領域の外接矩形の中に禁止ブロックがあれば、その変化領域が発報対象ではない」と判定する。また、外接矩形Aで規定される変化領域の要因である「歩行者」は、オペレータが発報されることを希望する対象物である。一方、外接矩形B〜Fで規定される変化領域の要因である「風で揺れる提灯」や「風で揺れる木の枝」は、オペレータが発報されることを希望していない対象物ではない。つまり、外接矩形B〜Fで規定される変化領域は、正規の発報対象ではなく、発報されないことが望ましい。
図17の例において、外接矩形B〜F中には2個から14個までの禁止ブロックが存在する。このため、認識処理部11は、外接矩形B〜Fで規定される変化領域が発報対象ではないと判定する。従って、認識処理部11は、外接矩形B〜Fで規定される変化領域についてのイベント発報11aを発報処理部17に出力せず、発報に至らない。
一方、「歩行者」による変化領域に規定された外接矩形Aには、禁止ブロックが存在しない。このため、認識処理部11は、外接矩形Aで規定される変化領域が発報対象であると判定する。従って、認識処理部11は、外接矩形Aで規定される変化領域についてのイベント発報11aを発報処理部17に出力し、発報に至る。
ここで、注目すべきは、外接矩形A,Fで規定される変化領域の大きさの関係である。つまり、外接矩形Aの方が小さい。本来、変化領域の面積のみを重視する画像処理装置においては、面積の大きい変化領域を発報させずに面積の小さい変化領域を発報させることは困難である。
上述したように、この発明の画像処理装置では、「提灯や木の枝のような頻繁にゆれる物体」や、「水たまりのようにしばらく動き続ける物体」などの位置的な反復性を有する物体がある場合においても、それらをノイズとして判断して禁止ブロックを作成し、これによって変化領域の発報可否を判断する。このため、発報対象でない大面積の変化領域についての不要検知を防止することができると共に、発報対象である小面積の変化領域についての発報処理を確実に行うことが可能となる。
しかも、禁止ブロックの作成ルールにより、禁止ブロックは、ノイズが減少すれば(図12の例では、風がおさまり提灯や木の枝の揺れがなくなれば、)自然と消えていき、ノイズが増えれば自然と生成される。従って、ノイズが少ないときは、禁止ブロックが無く、全画面に渡って等しく変化領域に対し発報することが可能となる。逆に、ノイズが多いときには禁止ブロックが生成され、ノイズ多発エリアにおける変化領域に対してのみ発報を禁止することができる。ここで、ノイズ多発エリアの中でも、特にノイズの発生頻度が高いエリアには長期抑止ブロックが設定され、一旦長期抑止ブロックが設定されたエリア近傍には、優先的に禁止ブロックが配置されるようにしているため、例えば風がおさまるなどして提灯や木の枝の揺れがなくなったとしても、そのエリアには、依然として禁止ブロックが配置されることになり、不要検知を確実に防止することが可能となる。
このように、ノイズ多発エリアの中でも、特にノイズの発生頻度が高いエリアに関して不要検知防止効果を向上させたことが、この発明の最大の特徴である。
以上の説明したように、この実施の形態によれば、禁止ブロック設定頻度管理部13によって禁止ブロックの設定状況を管理し、所定の頻度を超えて禁止ブロックが設定されたブロック領域と所定の位置関係にあるブロック領域を優先して禁止ブロックと設定するようにしたので、ノイズ多発エリアの中でも、特にノイズの発生頻度が高いエリアに速やかに禁止ブロックを設定することができる。よって、偶発的に発報対象と判断されてしまうようなノイズ発生による不要検知の危険性に晒される期間を短くすることが可能となり、常に安定して正確な発報動作を行うことが可能となる。
6 背景差分部(変化領域抽出手段)、7 閾値演算部(変化領域抽出手段)、8 2値化部(変化領域抽出手段)、11 認識処理部(認識処理手段)、12 禁止ブロック算出部(禁止ブロック候補設定手段,禁止ブロック設定手段)、12a ブロック分割部(禁止ブロック候補設定手段)、12b ノイズ判定部(禁止ブロック候補設定手段)、12c 禁止ブロック候補判定部(禁止ブロック候補設定手段)、12d 頻度計数部(頻度計数手段)、12e 頻度カウンター補正部(禁止ブロック設定手段)、12f 禁止ブロック決定部(禁止ブロック設定手段)、13 禁止ブロック設定頻度管理部(禁止ブロック設定頻度管理手段)、14 禁止ブロック設定制御部(禁止ブロック設定制御手段)、15 長期抑止ブロック算出部(長期抑止ブロック候補設定手段,長期抑止ブロック設定手段)、15a 長期抑止ブロック候補算出部(長期抑止ブロック候補設定手段)、15c 長期抑止ブロック決定部(長期抑止ブロック設定手段)。