JP4719800B2 - 画像処理装置および閾値設定処理プログラム - Google Patents

Description

本発明は、カメラで撮影した時系列の複数の画像から変化画素を含む領域を抽出する領域抽出処理機能を有する画像処理装置、および領域抽出処理機能を実現する閾値設定処理プログラムに関する。

単眼カメラ（一つのカメラ）で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置においては、安定した精度の高い変化画素領域の抽出を可能にするための閾値設定手段が要求される。この要求に応えるため、従来では、上記変化画素を抽出するための閾値の設定を、画像処理エキスパートの経験や勘に頼って行っていた。または膨大な映像ソースを利用して閾値を変更して評価を実施し、最も良い閾値を選定することにより行っていた。

画像処理において、閾値を自動的に設定するための技術として、従来では、カレントフレームの更新毎にリファレンスフレームとカレントフレームとの画像情報の差分に応じてマスク抽出用閾値を決定する手段を有した監視システムが存在する（例えば、特許文献１参照）。この特許文献１のシステムでは、フレーム差分のヒストグラムを作成し、その累積頻度を、移動物体領域として抽出するための指標である固定の閾値でフィルタリング処理して、マスク抽出用閾値を得ている。また、入力画像と設定された背景画像との間で輝度の絶対差分値を求め、この輝度の絶対差分値に対して閾値処理を行い、この閾値を超える画素を２５５、超えない画素を０とする二値化処理技術が存在する（例えば、特許文献２参照）。また、画像のノイズ除去に関して、２枚の画像の差分をとり、その差画像から求めた標準偏差の値を参照して、画質改善のための閾値を算出する技術が存在する（例えば、特許文献３参照）。これらの技術に対して、本願発明者は、一定期間の連続画像を利用して、画素当りの輝度変動（平均値と標準偏差）を求め、その標準偏差を、変化画素を抽出するための画素あたりの閾値に設定する自動閾値の設定処理技術を確立した（特許文献４参照）。しかしながら、この標準偏差を利用した閾値設定においては、波の揺らぎや、波に反射する西日の影響、木の激しい揺れ、木の影の揺れ等に対しても、これらの対応画素を変化画素として判定（抽出）してまう過剰検知が見受けられ、上記した輝度の揺らぎに追従する安定した動作性能に問題があった。

特開２００１−３２５６７２号公報 特開２００１−１６０１４６号公報 特開平１１−１８７２８８号公報 特開２００８−２５０８９２号公報

上述したように、単眼カメラで撮影した画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、従来では、安定した精度の高い変化画素領域の抽出を可能にする閾値の自動設定手段に性能上の課題が存在した。

本発明は上記実情に鑑みなされたもので、安定した精度の高い変化画素領域の抽出が可能な閾値の自動設定機能を実現した画像処理装置および閾値設定処理プログラムを提供することを目的とする。

本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域を抽出する領域抽出処理手段を備えた画像処理装置において、前記領域抽出処理手段に、
前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出手段と、前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出手段と、前記閾値算出手段で算出した閾値を前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定手段とを具備したことを特徴とする。

また本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域を抽出する領域抽出処理手段を備えた画像処理装置において、前記領域抽出処理手段に、前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出手段と、前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出手段と、前記標準偏差算出手段で算出した標準偏差を前記変化画素を抽出するための閾値として設定するか、または前記閾値算出手段で算出した閾値を前記変化画素を抽出するための閾値として設定するかを設定する外部設定手段と、前記外部設定手段の設定に従い、前記標準偏差算出手段で算出した標準偏差、または前記閾値算出手段で算出した閾値を、前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定手段とを具備したことを特徴とする。

また本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を備えた画像処理装置としてコンピュータを機能させるための、前記変化画素の抽出に用いる閾値を画素毎に設定する閾値設定処理プログラムであって、前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出機能と、前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出機能と、前記閾値算出機能が算出した閾値を前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定機能とを前記コンピュータに実現させることを特徴とする。

また本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を備えた画像処理装置としてコンピュータを機能させるための、前記変化画素の抽出に用いる閾値を画素毎に設定する閾値設定処理プログラムであって、前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出機能と、前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出機能と、前記標準偏差算出機能が算出した標準偏差を前記変化画素を抽出するための閾値として設定するか、または前記閾値算出手段で算出した閾値を前記変化画素を抽出するための閾値として設定するかの外部指示を受け、この指示に従い、前記標準偏差算出手段で算出した標準偏差、または前記閾値算出手段で算出した閾値を、前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定機能とを前記コンピュータに実現させることを特徴とする。

本発明によれば、単眼カメラで撮影した画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、安定した精度の高い変化画素領域の抽出が可能な閾値の自動設定機能を実現できる。特に、波の揺らぎや波への西日の反射、木の揺れに順応し、揺らぎがない安定した画素での安定的対象物の検知が可能な閾値の自動設定機能を実現できる。これにより、カメラの設置条件、使用条件、撮影条件等の諸条件に対して安定した精度の高い変化画素領域の抽出を可能にした画像処理装置および閾値設定処理プログラムが提供できる。

本発明の実施形態における画像処理装置の構成を示すブロック図。 上記実施形態における画像処理記憶部に格納された自動閾値設定処理機能を実現する構成要素を示す図。 上記実施形態における標準偏差を用いた閾値の設定概念を示す図。 上記実施形態における処理の手順を示すフローチャート。 上記実施形態における処理の手順を示すフローチャート。 上記実施形態における処理の手順を示すフローチャート。 上記実施形態における処理の手順を示すフローチャート。 上記実施形態における処理の手順を示すフローチャート。 上記実施形態における処理の手順を示すフローチャート。 上記実施形態における処理の手順を示すフローチャート。

以下図面を参照して本発明の実施形態を説明する。
本発明の実施形態を説明するに際し、本発明の実施形態に係る画像処理装置における自動閾値の算出処理について、その動作概念を図３を参照して説明する。

本発明の実施形態に係る画像処理装置に入力される映像は、単眼カメラ（単一のカメラ）で撮影したカメラ映像であり、周囲の明るさや撮像されている構造物、映像条件（ノイズの重畳状況、自動絞りの動作等）に応じて画面全体の輝度変動が発生する。固定閾値での設定のみとした場合には、昼間と夜間の明るさが変動する中で対象物のみを正確に抽出することは困難であり、閾値の決定は人間系によるものとなり、経験と勘など不確定要素によるところが大きくなる。そこで、本願発明者は、図３に示すように、ＱＶＧＡ（３２０×２４０画素）の全画素について、１画素当りで、ｎフレーム（例；３０フレーム）の輝度（エッジ強度）集合の平均（μ：輝度平均）と、標準偏差（σ）を求め、この標準偏差（σ）を閾値に設定する自動閾値設定技術を確立した。この自動閾値設定手段は、上述したように、波の揺らぎや、波に反射する西日の影響、木の激しい揺れ、木の影の揺れ等に対して変化画素として判定してしまう過剰検知が見受けられた。

揺らぎのある画素とそうでない画素の特徴を調査した結果、揺らぎのある画素は、自動閾値の設定で利用する輝度の分散が大きく、そうでない画素は分散が極端に小さいことが分かった。

そこで、輝度の標準偏差（σ）を利用して閾値を設定する場合、上記の特徴から、輝度の標準偏差の２以上の整数倍を閾値として設定することを考えた。例えば輝度の標準偏差の３倍（３σ）を閾値として設定することを考えた。これにより、変動の大きい画素の閾値がより大きく（変動の小さな画素の閾値がより小さな値で安定して）設定されるように変更した。

この３σを閾値に利用した場合、時間軸で一定して、この閾値（３σ）が連続的に大きい画素を、揺らぎ画素と判断することができるため、移動平均にて最終閾値を決定することとした。なお、移動平均を利用した場合、閾値への反映にタイムラグを伴う（過去のデータから現在を予測するため）。そこで、その影響を極力少なくするために、重みを付けた移動平均（加重移動平均）を利用し、直近（最新）の算出結果の影響が大きい結果を得られるようにした。また、常時、揺らいでいる画素のみならず、動体が存在した画素も一時的にではあるが、輝度の標準偏差が増大する。そこで、下式のように、閾値（３σ）を仮の閾値として加重移動平均から閾値（３σ）の加重移動標準偏差を減算することで、その影響を極力少なくする工夫を実施した。なお、ここでは最小輝度値を０、最大輝度値を２５５としている。

輝度分散V＝１／Ｎ×Σ（輝度）^２ − （１／Ｎ×Σ輝度）^２
仮閾値（３σ）＝３＊sqrt（Ｖ）、ただし、２５５超過の場合は、２５５とする sqrt：平方根
閾値＝ΣＷｎ×（３σ）／ΣＷｉ − Sqrt（１／Ｎ×Σ（３σ）^２ −１／Ｎ×Σ（３σ））^２）
：（３σの加重移動平均）−（３σの標準偏差）
この結果、波の揺らぎや波への西日の反射、木の揺れに順応し、揺らぎがない安定した画素での安定的対象物の検知が可能になった。またダイナミックに変化する周囲の明るさに追従することが可能になった。この閾値の自動設定は、差分をとる対象画像が原画像、エッジ画像（空間微分画像、輪郭画像）のいずれにおいても適用できる。

以下、図１乃至図１０を参照して本発明の実施形態を説明する。
本発明の実施形態に係る画像処理装置全体の構成を図１に示す。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。

本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理記憶部１３と、画像処理部１４と、表示部１５とを具備して構成される。

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１４の処理対象画像（入力画像）として取り込み、画像処理記憶部１３内の画像バッファに保持する処理機能をもつ。この画像バッファに取り込む画面上の入力画像は、ここでは原画像とするが、エッジ画像であってもよい。

画像処理記憶部１３は、キャプチャ部１２が取り込んだ入力画像および画像処理部１４によって画像処理される途中／結果の各画像を含む各種画像データを記憶する。この画像処理記憶部１３には、画像処理部１４の制御の下で、キャプチャ部１２が取り込んだフレーム単位の画像のうち、今回取り込んだ一画面分の画像（現在画像）と、前回取り込んだ複数画面分の画像（過去画像）をそれぞれ処理対象画像として保持する画像バッファ（リングバッファ）を構成する領域が確保されるとともに、画像処理部１４の処理に用いられる画像領域が確保される。ここでは、１フレーム（１画像）を２４０×３２０画素（高さ方向の画素数（IMG HEIGHT）×幅方向の画素数（IMG WIDTH））とした３０フレーム分の画像バッファ（リングバッファ）領域が確保される。さらに画像処理記憶部１３には、画像処理部１４の処理に供される各種のパラメータおよび制御データを記憶する記憶領域、確定および未確定オブジェクトの登録、並びに追跡処理に於いて生成若しくは取得される各種情報の記憶領域等も確保される。この画像処理記憶部１３における、変化画素を抽出するための閾値の自動設定機能を実現するデータ要素については、図２を参照して後述する。

画像処理部１４は、画像処理記憶部１３の画像バッファに保持された過去画像と現在画像を差分処理して二値化した差分二値化画像を生成し、この差分二値化画像に含まれるノイズを除去して、このノイズが除去された差分二値化画像から変化画素を含む矩形の領域を抽出し、この抽出した矩形の領域を処理対象に領域を追跡する、一連の画像処理を行う。この画像処理部１４は、前処理部１４１、差分処理部１４２、二値化処理部１４３、ノイズ除去フィルタ１４４、領域化処理部１４５、領域追跡処理部１４６等を具備して構成される。

上記した画像処理部１４の各構成要素のうち、前処理部１４１は、画像処理記憶部１３の画像バッファに貯えた過去画像と現在画像との比較（変化画素領域を抽出するための差分処理）に際し、キャプチャ部１２が取り込んだ一画面分の入力画像に対して予め定められた前処理（平滑化処理、エッジ処理等）を実行する。

差分処理部１４２は、前処理部１４１を介した過去画像と現在画像とを画素単位で比較して差分領域を抽出するもので、差分画像を生成する。この差分画像は、画像処理記憶部１３に予め確保した領域（差分画像領域）に記憶される。この変化画素の抽出に、本発明の実施形態に係る閾値の自動算出処理機能が適用される。

この閾値の自動算出処理機能を実現する処理手段として、この実施形態では、環境適応型自動閾値算出処理部２０Ａと、標準偏差設定型自動閾値算出処理部２０Ｂを用意し、そのいずれか一方の自動閾値算出処理部を外部からの指示（設定）により選択的に用いる構成としている。これら環境適応型自動閾値算出処理部２０Ａ、および標準偏差設定型自動閾値算出処理部２０Ｂの処理の概要を図３に示している。

標準偏差設定型自動閾値算出処理部２０Ｂによる標準偏差設定型自動閾値算出処理では、図３に示すように、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差σを算出し、この標準偏差σを、変化画素を抽出するための、対応する画素（注目画素）の閾値として設定する。この閾値算出処理の詳細は同一出願人により既に出願された特開２００８−２５０８９２号公報に記載されている。環境適応型自動閾値算出処理部２０Ａによる環境適応型自動閾値算出処理では、図３に示すように、上記算出した現在の注目画素の標準偏差σと上記一定期間内の最古画像を最も軽く最新画像を最も重く重み付けした上記注目画素の移動平均（加重移動平均）をもとに（３σの加重移動平均）−（３σの標準偏差）の値を算出し、この値を、変化画素を抽出するための、対応する画素（注目画素）の閾値として設定する。この環境適応型自動閾値算出処理部２０Ａの処理手順については図４乃至図１０のフローチャートを参照して後述する。

二値化処理部１４３は、差分処理部１４２で差分処理した画像を二値化処理して、差分二値化画像を生成する。この差分二値化画像は、画像処理記憶部１３に予め確保した領域（差分二値化画像領域）に記憶される。この差分二値化画像の作成に、上述した閾値の自動算出処理機能が適用される。

ノイズ除去フィルタ１４４は、拡散フィルタと収縮フィルタとを有して構成され、上記差分二値化画像から動物体領域の抽出に不要なノイズ（ごま塩状の変化画素）を除去する。このうち拡散フィルタは、上記差分二値化画像の最外周を除く各画素に対して注目画素を順次設定し、設定した注目画素に隣接する斜め方向の画素中（４画素中）に変化画素が存在するとき、その注目画素を変化画素とする拡散フィルタリング処理を行う。また収縮フィルタは、上記拡散フィルタで処理した画像に対して、上記注目画素に隣接する周囲８画素、若しくは４画素をもとに収縮フィルタリング処理を行う。このノイズ除去フィルタ１４４でノイズ除去したフレーム（画面）毎の差分二値化画像は、画像処理記憶部１３の画像領域に記憶される。

領域化処理部１４５は、上記ノイズ除去フィルタ１４４でノイズ除去した差分二値化画像を画面上の矩形の領域に領域化する処理を行う。この領域化処理では、差分二値化画像として抽出された変化画素領域を矩形で囲い、画面上からこの矩形の領域を抽出することによって、差分二値化画像を画面上の矩形の領域に領域化する。領域化処理部１４５は、この矩形の画面上の位置及び大きさを現す左上（ｘ０，ｙ０）および右下（ｘ１，ｙ１）の座標データを、矩形の領域情報として領域追跡処理部１４６に送出する。

領域追跡処理部１４６は、領域化処理部１４５から受けた矩形の領域情報をもとに、矩形の領域を追跡する処理を行う。領域追跡処理部１４６は、領域化処理部１４５が矩形の領域を抽出する都度、抽出した矩形の領域を追跡処理対象オブジェクトとして追跡処理する。

表示部１５は、上記画像処理部１４で画像処理された動物体領域を表示出力する。

画像処理記憶部１３には、図２に示すような、変化画素を抽出するための閾値の自動設定機能を実現する構成要素並びにデータ要素が格納される。画像処理記憶部１３には、図２に示すように、画像処理部１４の制御を司る画像処理プログラム内に、変化画素を抽出するための閾値の自動設定機能を実現する構成要素として、環境適応型自動閾値算出処理部２０Ａおよび標準偏差設定型自動閾値算出処理部２０Ｂを実現する自動閾値設定処理プログラムが格納される。この自動閾値設定処理プログラムの処理手順については、図４乃至図１０を参照して後述する。さらに画像処理記憶部１３には、自動閾値設定処理を実現するための情報として、２組の画像バッファ１３１，１３２、閾値バッファ１３３、閾値統計量バッファ１３４、外部パラメータ設定ファイル１３５等が格納される。

２組の画像バッファ１３１，１３２は、それぞれ、リングバッファにより構成され、カメラ１１で撮影した、現在画像を含む、例えば最大３０フレーム分の時系列画像を貯える領域を有している。このうち、画像バッファ１３１には、カメラ１１で撮影した３０フレーム分の原画像（空間微分画像）が時系列に順次貯えられる。また画像バッファ１３２には、同じく３０フレーム分のエッジ画像（輪郭画像）が時系列に順次貯えられる。

さらに画像バッファ１３１，１３２は、上記した画像の他に、画像サイズ、バッファの現在の要素番号、バッファ識別情報等の記憶領域を有している。画像バッファ１３１は、アクセス時において入力画像バッファポインタ（図示せず）により先頭アドレスが指定される。画像バッファ１３２は、アクセス時においてエッジ画像バッファポインタ（図示せず）により先頭アドレスが指定される。

閾値バッファ１３３は、リングバッファにより構成され、上記画像バッファ１３１（または画像バッファ１３２）が記憶可能なフレーム数以内の所定数を最大値として、設定された複数枚分の時系列のフレームを閾値演算の処理対象として貯える領域と、取り込んだ画像全体の画素あたりの標準偏差（σ）を閾値として貯える領域とを有して構成される。さらに、取り込んだ画像の輝度値、輝度値の二乗、輝度値二乗の総和、固定閾値、閾値上下限値、バッファの現在の要素番号、画像バッファ識別情報等の記憶領域を有して構成される。閾値バッファ１３３は、上記画像バッファ１３１（または画像バッファ１３２）に貯えられた画像から、設定したフレーム数の画像を取り込み、取り込んだ画像すべての画素（ピクセル）あたりの閾値の算出並びに設定後に、１画像単位で先入先出法による画像の更新（最古の画像を棄て最新の画像を取り込む画像の差し替え処理）、並びに、この画像の更新に伴う、加重移動平均を算出するための重み付けの更新処理等が実施される。

この閾値バッファ１３３上に展開されたｎ画像に対する画素あたりの閾値の算出処理概念を図３に示している。ここでは、３０フレーム分の画像を貯えるバッファ構成（ｎ＝３０）を例に示している。

閾値統計量バッファ１３４は環境適応型自動閾値算出処理に用いられる加重移動平均算出用のバッファであり、図３に示した加重移動平均の演算処理に適用されるもので、画像バッファ（リングバッファ）に貯えられた画像の画素あたりの閾値情報を記憶している。

外部パラメータ設定ファイル１３５には、差分処理の画像タイプ（例えば、１；原画像（ORIGINAL）、２；エッジ画像（EDGE））、自動閾値を計算するための参照フレーム数（ｎ；図３に示す例は、ｎ＝３０）、原画像用の最低閾値上下限値、エッジ画像用の最低閾値上下限値等、各種の設定情報が記憶される。なお、この実施形態では、１画面分の画像（１画像）について、動物体の追跡処理を行わない領域を任意の矩形領域で指定可能であり、この指定されたマスク領域についても外部パラメータとしてパラメータ設定ファイル１３５に記憶される。

上記画像処理記憶部１３に格納された、環境適応型自動閾値算出処理部２０Ａを実現する自動閾値設定処理プログラムの処理手順を図４乃至図１０に示している。なお、標準偏差設定型自動閾値算出処理部２０Ｂの処理については、その処理手順の詳細を割愛している。

ここで、環境適応型自動閾値算出処理部２０Ａの処理手順を図４乃至図１０に示すフローチャートを参照して説明する。なお、このフローチャートでは乗算記号を＊で表している。

この実施形態は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域を抽出する領域抽出処理手段を備えた画像処理装置において、領域抽出処理手段で適用する閾値の設定処理について、標準偏差設定型自動閾値算出処理と、環境適応型自動閾値算出処理とを選択対象に、そのいずれかの閾値算出処理手段を選択可能にしている（図４ステップＳ１）。

ここで標準偏差設定型自動閾値算出処理が選択（設定）されているときは、標準偏差設定型自動閾値算出処理部２０Ｂにより、注目画素に対して変化画素領域を抽出するための閾値が算出され設定される。この標準偏差設定型自動閾値算出処理部２０Ｂによる標準偏差設定型自動閾値算出処理では、図３に示すように、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差σを算出し、この標準偏差σを、変化画素を抽出するための、対応する画素（注目画素）の閾値として設定する（図４ステップＳ２）。

また、環境適応型自動閾値算出処理が選択（設定）されているときは、環境適応型自動閾値算出処理部２０Ａにより、注目画素に対して変化画素領域を抽出するための閾値が算出され設定される。この環境適応型自動閾値算出処理部２０Ａによる環境適応型自動閾値算出処理では、図３に示すように、上記算出した現在の注目画素の標準偏差σと上記一定期間内の最古画像を最も軽く最新画像を最も重く重み付けした上記注目画素の移動平均（加重移動平均）をもとに（３σの加重移動平均）−（３σの標準偏差）の値を算出し、この値を、変化画素を抽出するための、対応する画素（注目画素）の閾値として設定する。

この環境適応型自動閾値算出処理部２０Ａによる自動閾値算出処理手順を図４ステップＳ１１乃至図１０ステップＳ７７に示している。この処理動作は、画像バッファにｎ枚フレーム分の画像が貯えられていることを前提とする。

この環境適応型自動閾値算出処理では、先ず、画像要素番号や閾値バッファ要素番号等のメンバ変数を初期化し（図４ステップＳ１１）、画像バッファ１３１（または１３２）内の処理対象となる現在の画像要素番号を取得し（図４ステップＳ１２）、閾値バッファ１３３内の処理対象となる現在の閾値バッファ要素番号を取得した（図ステップＳ１３）後、差分処理の対象となる画像が、原画像（ORIGINAL）であるかエッジ画像（EDGE）であるかを判断する（図４ステップＳ１４）。

ここで、処理対象画像が「原画像」であると判定したき（図４ステップＳ１４ 原画像）、原画像バッファポインタに従い画像バッファ１３１をアクセスし、外部パラメータで与えられる原画像用の最低閾値上下限値を閾値バッファ１３３に設定する（図４ステップＳ１５，Ｓ１６）。また処理対象画像が「エッジ画像」であると判定したき（図４ステップＳ１４ エッジ画像）、エッジ画像バッファポインタに従い画像バッファ１３２をアクセスし、外部パラメータで与えられるエッジ画像用の最低閾値上下限値を閾値バッファ１３３に設定する（図４ステップＳ１７、Ｓ１８）。

次に、処理対象となる入力画像のうち、処理の対象から外されたマスク領域を除くの各画素（ピクセル）について、変化画素を抽出するための閾値の算出処理、次画面の閾値を取得するための各種算出処理を実施する（図５ステップＳ１９，Ｓ２０〜図７ステップＳ５０，Ｓ５１）。ここでは入力された１画面分の画像について各画素を一定の方向に順次走査し（高さ方向のｊループ（０〜IMG HEIGHT）と幅方向のｋループ（０〜IMG WIDTH）とによる画像サイズ分（２４０×３２０画素）のループ処理により各画素を走査し）、処理の対象から外されたマスク領域を除くの各画素（ピクセル）について、変化画素を抽出するための閾値の算出処理、次画面の閾値算出のための画像の更新（最古の画像を棄て最新の画像を取り込む画像の差し替え）に伴う加重閾値総和の更新、並びにこの更新に伴う各種値（標準偏差、二乗標準偏差、輝度値、輝度値二乗等）の算出処理等を実施する。

この処理では、まず現在注目画素番号を算出し、その注目画素がマスク画素であるか否か（予め設定されたマスク領域の画素であるか否か）をチェックする（図５ステップＳ２１，Ｓ２２）。

ここで、注目画素がマスク画素であるときは、以降の図５ステップＳ２３乃至図７ステップＳ４９の処理をスキップする。また、注目画素がマスク画素でない（自動閾値算出対象画素である）場合は、画像バッファの画像要素番号をインクリメント（＋１）して（図５ステップＳ２３）、入力画像の輝度値と、輝度値の二乗を算出した結果をそれぞれ所定のバッファ（閾値バッファ１３３内の輝度値バッファ、輝度値二乗バッファ）に格納する（図５ステップＳ２４）。

次に、注目画素の輝度値二乗の総和を求め、その総和から輝度値二乗の平均値を算出する（図５ステップＳ２５）。同じく、注目画素の輝度値の総和を求め、その総和から輝度値の平均値を算出する（図５ステップＳ２６）。そして、この２つの平均値をもとに、注目画素の標準偏差を求める（図５ステップＳ２７）。

上記注目画素の閾値バッファ番号（画像バッファの画像要素番号）を取得し（図６ステップＳ２８）、既に求めた閾値の加重総和、閾値の総和、閾値２乗の総和を用いて、設定する閾値を算出する（図６ステップＳ２９〜Ｓ３２）。ここでは、既に算出している閾値2乗総和を利用して、閾値2乗平均値（thresholdSqMean）を算出し（図６ステップＳ２９）、既に算出している閾値総和を利用して、閾値平均値（thresholdMean）を算出し、既に算出している加重閾値総和を利用して、加重閾値平均値（weightThresholdMean）を算出し、この閾値2乗平均値（thresholdSqMean）と閾値平均値（thresholdMean）と加重閾値平均値（weightThresholdMean）とを用いて設定する閾値（tempThreshold）を算出する。

次に算出した設定閾値の最小、最大チェックを行い、適正な値にする（図６ステップＳ３３〜Ｓ３７）。ここでは算出した閾値が輝度最小値（輝度値０）より小さいとき（Tempthreshold＜BRIGHTNESS_MIN）、算出した閾値を輝度最小値に置換し（m_ThreBufSet.threshold[i]＝BRIGHTNESS_MIN）、算出した閾値が輝度最大値（輝度値２５５）より大きいとき（Tempthreshold＞BRIGHTNESS_MAX）、算出した閾値を輝度最大値に置換して（m_ThreBufSet.threshold[i]＝BRIGHTNESS_MAX）、算出した閾値を輝度値０〜２５５の範囲内に収めて設定し、それ以外のときは、算出した閾値をそのまま設定する（m_ThreBufSet.threshold[i]＝tempThreshold）。

次に、輝度の標準偏差（σ）から３σを求め、次の画像の閾値を算出するための処理を行う。

この処理では、上記標準偏差（σ）を３倍した値（３σ）を現在閾値（calcThreshold）として求め、求めた現在閾値が最大輝度以上の場合は、最大輝度に変更して（図７ステップＳ４１）、求めた現在閾値の２乗を求める（図７ステップＳ４２）。

次に、画像の更新（最古の画像を棄て最新の画像を取り込む画像の差し替え）に伴う処理として、過去加重閾値データの合計から過去閾値合計を減算し、現在閾値に重みを乗じた値を加算して、総和を求め（図７ステップＳ４３）、注目画素の閾値合計を求め、注目画素の閾値の２乗合計を求める（図７ステップＳ４４）。算出した現在閾値をバッファに格納し、算出した現在閾値２乗をバッファに格納して（図７ステップＳ４５）、算出閾値格納先バッファを更新する（図７ステップＳ４６）。

次に、自動閾値を算出した画像サイズ分の標準偏差の総和と二乗標準偏差の総和を求め（図７ステップＳ４７）、既にある総和に対して、バッファに存在する最も古い（現在の要素番号にある）輝度値、輝度値二乗を減算し、図５ステップＳ２う算出した輝度値、輝度値二乗の値を加算（総和の計算）して（図７ステップＳ４８）、この輝度値、輝度値二乗をバッファへ格納する（図７ステップＳ４９）。

上記した処理が１画面分の画像について実施される（図７ステップＳ５０，Ｓ５１）。

上記処理の後、自動閾値算出画素が０に達したか否かを調べ、自動閾値算出画素が０より大きい場合は、以下の図８ステップＳ５３乃至図９ステップＳ７１の処理を実行し、自動閾値算出画素が０に達した場合は、図８ステップＳ５３乃至図９ステップＳ７１の処理を実行しない（図８ステップＳ５２）。

自動閾値算出画素が０より大きい場合、自動閾値算出画素分の標準偏差を算出していることから、標準偏差の平均値と二乗標準偏差の平均値を求め、自動閾値算出画素分の標準偏差の標準偏差を求め（図８ステップＳ５３）、ここで求めたデータを用いて、平均値＋３σを求め、仮の最低閾値Ａとして格納する。（tempLowerLimitByStdev）（図８ステップＳ５４）。さらに、ここで求めた最低閾値が輝度階調内に入っているかをチェックし、入っていない場合は、輝度階調内の値に置換する。すなわち、最低閾値が輝度最小値より小さいときは輝度最小値に置換し、最低閾値が輝度最大値より大きいときは輝度最大値に置換する（図８ステップＳ５５）。標準偏差の平均値に感度を乗じた値を仮の最低閾値Ｂとして格納する。（tempLowerLimitByMean）（図８ステップＳ５６）。ここで求めた最低閾値が輝度階調内に入っているかをチェックし、入っていない場合は、上記した図８ステップＳ５５と同様に輝度階調内の値（輝度最小値、輝度最大値）に置換する（図８ステップＳ５７）。

上記の最低閾値Ａ、Ｂを比較し、大きい方を最低閾値（LowerLimit）として採用する（図８ステップＳ５８，Ｓ５９，Ｓ６０）。セットした最低閾値が、下限閾値より小さい場合は、下限閾値をセットし、上限閾値より大きい場合は上限閾値をセットする（図９ステップＳ６１〜Ｓ６４）。

次に画像サイズ分ループし（図９ステップＳ６５〜Ｓ７１）、当該画素の閾値が最低閾値を下回った閾値設定となっている場合は、最低閾値で置換する（図９ステップＳ６７〜Ｓ６９）。

その後、閾値ブロック内現在参照番号に１加算し（図１０ステップＳ７２）、閾値ブロック内参照番号最大値に達したか否かをチェックして（図１０ステップＳ７３）、達している場合は０で初期化し（図１０ステップＳ７４）、現在要素番号に１加算し（図１０ステップＳ７５）、その要素番号が最大値を超えたか否かをチェックして（図１０ステップＳ７６）、超えた場合は０で初期化する（図１０ステップＳ７７）。

上記した一連の処理により、単眼カメラで撮影した画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、波の揺らぎや波への西日の反射、木の揺れに順応し、揺らぎがない安定した画素での安定的対象物の検知が可能な閾値の自動設定機能を実現できる。これにより、カメラの設置条件、使用条件、撮影条件等の諸条件に対して安定した精度の高い変化画素領域の抽出を可能にした画像処理装置が提供できる。

上述した図４乃至図１０に示す処理手順を有する自動閾値設定処理プログラムは、画像処理装置に常駐する形で固定的に組み込まれる構成であってもよいし、プログラム単体で必要に応じて取り扱われる構成であってもよい。

また、上記した実施形態では、注目画素の標準偏差σと一定期間内の最古画像を最も軽く最新画像を最も重く重み付けした注目画素の移動平均（加重移動平均）をもとに（３σの加重移動平均）−（３σの標準偏差）の値を算出し、この値を、変化画素を抽出するための、対応する画素（注目画素）の閾値として設定したが、ここでの閾値は３σに限らず、例えば２σ、４σ、５σ等のいずれであってもよく、要は抽出（検出）対象に最も適合した標準偏差値を設定すればよい。

１１…カメラ、１２…キャプチャ部、１３…画像処理記憶部、１４…画像処理部、１５…表示部、２０Ａ…環境適応型自動閾値算出処理部、２０Ｂ…標準偏差設定型自動閾値算出処理部、１３１，１３２…画像バッファ、１３３…閾値バッファ、１３４…閾値統計量バッファ、１３５…外部パラメータ設定ファイル、１４１…前処理部、１４２…差分処理部、１４３…二値化処理部、１４４…ノイズ除去フィルタ、１４５…領域化処理部、１４６…領域追跡処理部。

Claims (6)

1. カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域を抽出する領域抽出処理手段を備えた画像処理装置において、
   前記領域抽出処理手段に、
   前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出手段と、
   前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出手段と、
   前記閾値算出手段で算出した閾値を前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定手段と、
   を具備したことを特徴とする画像処理装置。
2. カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域を抽出する領域抽出処理手段を備えた画像処理装置において、
   前記領域抽出処理手段に、
   前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出手段と、
   前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出手段と、
   前記標準偏差算出手段で算出した標準偏差を前記変化画素を抽出するための閾値として設定するか、または前記閾値算出手段で算出した閾値を前記変化画素を抽出するための閾値として設定するかを設定する外部設定手段と、
   前記外部設定手段の設定に従い、前記標準偏差算出手段で算出した標準偏差、または前記閾値算出手段で算出した閾値を、前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定手段と、
   を具備したことを特徴とする画像処理装置。
3. 前記閾値算出手段は、前記標準偏差（σ）を３倍した仮閾値（３σ）の加重移動平均から仮閾値（３σ）の加重移動標準偏差を減じて前記変化画素を抽出するための閾値を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を備えた画像処理装置としてコンピュータを機能させるための、前記変化画素の抽出に用いる閾値を画素毎に設定する閾値設定処理プログラムであって、
   前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出機能と、
   前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出機能と、
   前記閾値算出機能が算出した閾値を前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定機能と、
   を前記コンピュータに実現させるための閾値設定処理プログラム。
5. カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を備えた画像処理装置としてコンピュータを機能させるための、前記変化画素の抽出に用いる閾値を画素毎に設定する閾値設定処理プログラムであって、
   前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出する標準偏差算出機能と、
   前記標準偏差を算出した画素について、前記算出した標準偏差と前記複数の過去画像の対応する各画素の閾値の加重移動平均とをもとに閾値を算出する閾値算出機能と、
   前記標準偏差算出機能が算出した標準偏差を前記変化画素を抽出するための閾値として設定するか、または前記閾値算出手段で算出した閾値を前記変化画素を抽出するための閾値として設定するかの外部指示を受け、この指示に従い、前記標準偏差算出手段で算出した標準偏差、または前記閾値算出手段で算出した閾値を、前記標準偏差を算出した画素の前記変化画素を抽出するための閾値として設定する閾値設定機能と、
   を前記コンピュータに実現させるための閾値設定処理プログラム。
6. 前記閾値算出機能は、前記標準偏差（σ）を３倍した仮閾値（３σ）の加重移動平均から仮閾値（３σ）の加重移動標準偏差を減じて前記変化画素を抽出するための閾値を算出することを特徴とする請求項４または５に記載の閾値設定処理プログラム。

Images