JP5051622B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、画像全体に輝度差がある２画像間における輝度補正を行う画像処理方法及び画像処理装置に関する。

従来、画像処理において監視領域内の異物検出を行う際、一般に、検出対象物体と背景像を含む入力画像から、背景画像を引くことにより検出対象物体の像を得る背景差分法や、現在入力されている画像フレームと前回入力された画像フレームとの差分を計算し、差分値の大きい領域を移動物体として検出するフレーム間差分法が用いられている。

他方、現在の監視カメラは、一般にレンズ絞りを被写体の明るさの変化に対応して入光量を自動的に調整するオートアイリス機能を有している。
そのため、２画像間で背景差分やフレーム間差分を行う際に、比較する２画像間において撮影するカメラでオートアイリス機構が働いた場合には、画像全体に照度の差分が現れてしまい異物検出が難しくなるという問題がある。
このオートアイリスによる影響を補正するための手段を備えた画像処理装置として、例えば、２画像間のある指定範囲内における輝度差分平均値を輝度補正値として算出し、入力画像に補正を行うデジタル画像処理装置が既に知られている（特許文献１参照）。

このデジタル画像処理装置では、オートゲインコントロール（ＡＧＣ）もしくはオートアイリス機構を備えた撮像装置で撮像されたアナログ映像をデジタル画像に変換したサンプル画像と、予め撮像しておいた検出対象物がない画像である参照画像との各々内に両者の画像上の座標が一致する部分で照度参照領域を設定し、両者のその領域での輝度平均値を比較して輝度平均値の差を輝度補正値として算出し、これを用いてサンプル画像を補正し、さらに参照画像と輝度補正されたサンプル画像とを比較して、検出対象物抽出画像を抽出する構成を採っている。そのため、照度変動に伴って、ＡＧＣやオートアイリス機構が作動し、サンプル画像の平均濃淡階調が変化した場合においても、参照画像とサンプル画像との両者の画像上の座標が一致する背景部分の輝度平均値差分をとることによって、検出対象物のみを抽出するようにしている。

ところで、上記従来のデジタル画像処理装置は、画像内全画素に対して一定の輝度補正値にて補正を加えるというものであるが、実際のオートアイリスによる輝度の変化は輝度毎に異なった値となるため、これでは十分な補正を行うことができないことが分かった。
特開２００１−２１１４３６号公報

本発明は、上記従来の問題を解決すべくなされたものであって、その目的は、背景差分法やフレーム間差分法で使用する２画像間においてカメラのオートアイリス機能による輝度差が生じた場合にも、入力画像の輝度補正を適性に行うことができ、異物検出を精度よく行えるようにすることである。

請求項１の発明は、背景画像と、背景画像と現画像との同一画像座標における輝度の差分画像を得る工程と、前記差分画像から背景画像内の各輝度毎に差分平均値を演算する工程と、前記差分画像内における輝度の差分値が所定の値を超える画素数の割合が所定の値を超えるとき、演算した前記差分平均値に基づき現画像の輝度を各輝度毎に補正する工程と、補正した現画像と背景画像の差分画像を得る工程と、を有することを特徴とする。
請求項２の発明は、請求項１に記載された画像処理方法において、前記輝度の差分値が前記差分平均値を超える現画像の画素があるとき、前記差分平均値を演算する工程では、補正した現画像と背景画像との差分画像から背景画像内の各輝度毎に差分平均値を演算し、前記補正する工程では、演算した差分平均値で、前記差分平均値を超える画素の輝度を再補正することを特徴とする。
請求項３の発明は、背景画像と、背景画像と現画像との同一画像座標における輝度の差分画像を作成する差分画像作成部と、前記差分画像から背景画像内の各輝度毎に差分平均値を演算する演算部と、前記差分画像内における輝度の差分値が所定の値を超える画素数の割合が所定の値を超えるとき、演算した前記差分平均値に基づき現画像の輝度を各輝度毎に補正する輝度補正部と、を有し、差分画像作成部は、補正した現画像と背景画像の差分画像を得ることを特徴とする。
請求項４の発明は、請求項３に記載された画像処理装置において、前記輝度の差分値が前記差分平均値を超える現画像の画素があるとき、前記差分画像作成部は、補正した現画像と背景画像との差分画像から背景画像内の各輝度毎に差分平均値を演算し、前記輝度補正部は演算した差分平均値で、前記差分平均値を超える画素の輝度を再補正することを特徴とする。
請求項５の発明は、請求項３又は４に記載された画像処理装置において、演算した前記輝度毎の差分平均値を記録した補正テーブルを作成する補正テーブル作成部を有することを特徴とする。
請求項６の発明は、請求項５に記載された画像処理装置において、予め定めた基準に従い前記補正テーブルの正当性を判断する補正テーブル正当性判断部を有することを特徴とする。

本発明によれば、背景差分法やフレーム間差分法で使用する２画像間においてカメラのオートアイリス機能により画像全体に輝度差が生じた場合にも、入力画像の輝度補正を適性に行うことができ、異物検出を精度よく行うことができる。

以下、本発明の１実施形態に係る画像処理装置について添付図面を参照して説明する。
図１は、本発明の１実施形態に係る画像処理装置のブロック図である。
本画像処理装置は、装置全体を制御するためのＣＰＵ１００と、ＣＰＵ１００に接続され、例えば本画像処理を実行するためのプログラムなどを格納したＲＯＭ１０２と、ＣＰＵ１００処理に必要なデータやプログラムなどを一時的に記憶するワークエリアとなるＲＡＭ１０４と、異物検知のための監視領域の背景画像や現画像を撮影する、例えばオートアイリス機能付きのＣＣＤカメラ等の外部機器や、図示しないＡ／Ｄ変換器などの外部機器と接続するための外部機器インタフェース１０６と、撮影された背景画像を格納する背景画像記憶部１０８ａと現画像を格納する現画像記憶部１０８ｂとを備えた記憶部１０８と、背景画像と現画像との二画像の輝度差の影響の有無を判断する輝度差（オートアイリス）影響判断部１１０と、上記二画像の輝度差分平均値を求める輝度差分平均値演算部１１２と、演算された輝度差分平均値から後述する輝度差補正テーブルを作成する補正テーブル作成部１１４と、作成した補正テーブルの補正を行う補正テーブル修正部１１６と、後述する補正テーブルの正当性を判断する補正テーブル判断部１１８と、表示部１２０と、補正テーブルで現画像を補正する画像補正部１２２と、上記二画像の差分画像作成部１３０、とから成っている。

次に、本画像処理装置の各構成部分における処理について説明する。
まず、上記構成において、ＣＣＤカメラで監視領域の背景画像と現画像との撮影を行い、両画像における輝度差発生原因である例えばオートアイリス機能が働いたときの現画像の補正処理について説明する。
図２は、ある状態における背景画像と、オートアイリス機能が働き、全体が暗くなった画像（図２Ａ）と全体が明るくなった画像（図２Ｂ）との同一座標位置での輝度差を、輝度差分平均値演算部１１２で各輝度（０〜２５５階調）毎に演算してその差分平均値を求め、縦軸に輝度をまた横軸に差分平均値をとって表した差分平均値の分布である。

図示のように、現画像が背景画像と比べて全体が暗くなった場合は、輝度の差分平均値の全体的傾向は、輝度０から２５５に向かって＋側に次第に大きくなり２５５の近傍でピークに達したのち、２５５に向かってピーク値から若干小さくなるが同程度に収まる。また、逆に現画像が背景画像と比べて全体が明るくなった場合は、輝度の差分平均値の全体的傾向は、輝度２５５から０に向かって−側に次第に大きくなり０の近傍でピークに達したのち、ピーク値から若干小さくなるが同程度に収まる。

次に、補正テーブル作成部１１６での補正テーブルの作成処理について説明する。
輝度差平均値演算部１１２では、背景画像記録部１０８ａに記憶された背景画像内の各輝度毎の画素数を取得して例えばＲＡＭ１０８に設けた記憶領域に格納する。
続いて、背景画像内の各輝度毎の現画像との差分値の合計を取得して上記記憶領域に格納し、さらに、背景画像内の各輝度毎の画素数と各輝度毎の現画像との差分値の合計を用いて背景画像内の各輝度毎の現画像との差分平均値を算出して補正テーブルとして例えば記憶部１０８に格納する。

次に、補正テーブル修正部１１６における同テーブルの修正について説明する。
補正テーブルの修正を行うのは、例えば、図３のように明→暗に画像が変化した場合、高輝度の画素（強い照明の映りこみの部分など）に関し、同じ輝度値でも、オートアイリス機能が作用した後、現画像との差分値にばらつきが出てしまうためである。
即ち、図３は、例えば、輝度２５５の画素のオートアイリス影響後の変化のイメージを示す。これは、背景画像において輝度２５５で飽和していた画素が、本来の輝度値に対応してオートアイリスにより輝度を下げた結果、輝度値２５５より低い輝度値になったものや、ひき続き輝度２５５で飽和されている画素が存在するためである。

このような場合、単純に差分の平均値で補正しても、差分が平均値を超える画素に対しては補正しきれない。そのため、１度算出した補正テーブルの修正を行う。修正内容としては、高輝度において差分値の小さい画素に関して補正テーブル算出におけるデータから外すようにする。これによって、補正しきれなかった部分を補正できるようにする。

図４は補正テーブルの修正の手順を説明する図であり、図４Ａは、縦軸に画素数をまた横軸に輝度値をとって、背景画像の輝度値２５５の画素数を表したグラフである。また、図４Ｂは、同じ部分をカメラのオートアイリス機能が作用したときの、分散した各輝度における画素数を表している。
ここで、輝度２５５の部分の両画像の輝度差の平均値を算出し、これを用いて、現画像を補正する（第１回補正）。即ち、現画像に輝度の平均差分値を上乗せする。これを表したのが図４Ｃである。
しかし、現画像で平均値を超える輝度差がある部分については、上記補正によっては補正しきれない（図４Ｃ）。そこで、再度補正画像と背景画像との輝度の差分をとり、その平均値で補正しきれなかった画素を補正する（第２回補正）。
つまり、図４Ｄは、補正後画像で修正した補正値（差分の平均値）を現画像に上乗せして第２回修正後画像を得る。

本実施形態では、上記修正処理回数は２回としたが、検討に使用した動画像において、全体の異物数が修正２回である程度収束し、誤検出が無くなったためである。また、修正し過ぎると実際の異物があった場合には、異物を消すような補正値となってしまうので、そのような修正を行うことはできない。

具体的な処理としては、最初に算出した補正テーブルの値（輝度値：０〜２５５）を現画像に上乗せして、明→暗に関して、補正後の輝度値が２５５を越えたものに関しては補正テーブル算出データから外し、再び補正テーブルの算出を行う。暗→明に関しては、逆の処理で補正後輝度値が０を下回るものに関しては補正テーブル算出データから外すという処理を行う。

オートアイリスによって画像が全体的に暗くなった場合は、両画像の平均輝度差分値に基づき、オートアイリス機能で暗くなった画像の指定範囲を、下の同じ指定範囲における輝度に応じた輝度差分平均値で補正、つまりオートアイリスによって輝度が減少した指定範囲の輝度を補正値に応じて減算して輝度を上げる補正を行う。
以上は輝度値が２５５近傍の高輝度部分についての処理であるが、現画像が背景画像に比して明るい場合には、輝度値が０近傍の低輝度部分について同様の処理がなされる。

ここで、撮影された現画像のオートアイリスの影響の有無判断は次の手法による。
まず、背景画像と現画像との輝度の差分値がある閾値を上回る画素の数を調べる。
その画素数の全画素数に対する割合（％）を調べる。
その割合がある閾値を超えている場合は、オートアイリスの影響があると判断する。

しかし、例えば、全画素数に対して閾値を超えるような異物が映った場合には、オートアイリスがあったと判断して、異物を消すような補正を行ってしまい、従って背景に差分が出る。
この場合、異物自体の抽出は難しいが、背景に差分がでていることや、補正グラフを調べ、何か問題があり全体に影響が起きたことを認識させ、異物があるかもしれないとした処理判断を追加することは可能である。

次に作成した輝度補正テーブルが正当なものか否か、即ちその正当性判断について説明する。
図５は、輝度補正テーブルの正当性を判断するための手法を説明するための一連の図である。
図５Ａは背景画像を、また図５Ｂは現画像を示す。図５Ｃは、現画像の輝度補正後における差分画像を示す。
ここで、現画像は、画面内に大きな異物がありオートアイリスも作用している。図５Ｃの輝度補正後の差分画像は、現画像を輝度補正して背景画像との差分をとった画像であるが、背景よりも異物の占める割合が大きいため、異物を消すような輝度補正がなされ逆に背景の方に差分がでている。

図５Ｄは、この場合の輝度補正グラフを示す。
この補正グラフは縦軸に輝度をまた横軸に背景画像と現画像との輝度の差分平均値を絶対値で示したグラフである。
この図は補正グラフが明らかにおかしいことを示している。
ここで、輝度テーブルの正当性判断は以下の判断基準で行う。
即ち、（１）画像に対して全体的な輝度変化が起きた場合、正常であれば輝度値０近傍もしくは２５５近傍のどちらか一方での輝度差分平均値は０に近くなるがそうなっていないか。
（２）補正テーブルのグラフ全体からみて、輝度値０もしくは２５５の輝度差分平均値が０に近い方から差分量の絶対値が徐々に大きくなっていき、ある段階で一定値に収まってくるのが理想であるが、途中で差分平均値が大きく上がったり下がったりしているか。
（３）差分平均値を輝度値０から５程度の間隔で差分平均値の変化量をみていった場合に、全体と比べて大きく変化している範囲が幾つもあるか。
（４）輝度差分平均値の絶対値が大きなところ（５以上くらい）では、差分値の符号は＋か−に統一されるが、差分値の符号が＋−が逆転している輝度値が存在するか。
以上の判定を全て行うことで、どれか一つでも該当すれば輝度補正テーブルの正当性はない、つまり不正であると判断することができる。
他にも設置環境特有の条件などを追加することで正当性判断の精度を上げることができる。

この画像処理は、以上で説明した各個別の処理を以下の手順一連の処理として実行する。
図６は、異物検出のための画像処理手順を示すフロー図である。
即ち、まず、ＣＣＤカメラで撮影した画像について図示しないＡ／Ｄ変換機を介して画像入力を行い（Ｓ１０１）、差分画像作成部１３０により２画像間の差分画像を作成する（Ｓ１０２）。次に、輝度差影響判断部１１０は取得した画像から既に説明した手順でオートアイリスの影響があるか否かの判断を行い（Ｓ１０３）。ここで、オートアイリスの影響があると判断したときは（Ｓ１０３、Ｙ）、輝度差分平均値演算部１１２で輝度毎の補正値の算出を行い、補正テーブル作成部１１４で輝度補正テーブルを作成する（Ｓ１０４）。
ここで、ステップＳ１０５で、輝度テーブルの正当性があれば（Ｓ１０５、Ｙ）、画像補正部１２２は輝度毎の補正値を入力画像に加えて入力画像の輝度補正を行い（Ｓ１０６）、差分画像作成部１３０により再度上記２画像間の差分画像を取得する（Ｓ１０７）。次に、得られた差分画像について２値化を行い２値化画像を取得する（Ｓ１０８）。その後、図示しないラベリング処理部でのラベリング処理、小異物除去などの処理を行った後、異物検出のための処理を行い（Ｓ１０９）、異物があれば（Ｓ１０９、Ｙ）、異物検査結果を出力する（Ｓ１１０）。

また、ステップＳ１０３で、オートアイリスの影響がなければ（Ｓ１０３、Ｎ）、ステップＳ１０８の２値化画像取得へ進む。又、ステップＳ１０５で、輝度補正テーブルの正当性がなければ（Ｓ１０５、Ｎ）、異常状態出力を行い（Ｓ１１１）、ステップＳ１１０の異物検出結果出力へ進む。なお、ステップＳ１１１の具体的な出力内容は、例えば大きな異物があるなどの設置環境による。
以上の各処理はＲＡＭ１０４に格納した異物検出用プログラムを起動して行ういずれもＣＰＵ１００の制御の下に行う。

図７は、本画像処理装置による画像処理の結果を説明する模式図ある。
図７Ａはある状態のときに撮影した背景画像であり、図７Ｂはオートアイリス機能が作用したときの現画像である。
図示のように、オートアイリス機能が作用したときの画像は、全体的に暗くなっており、そのままの状態で、両画像の差分画像を形成すると、図７Ｃのような画像となり異物である車両は識別できないか、或いは識別が困難になる。

そこで、本発明では、既に述べたように、背景画像と現画像の輝度値から、例えば図２Ａに示すように、０〜２５５の２５６階調に分けた輝度値ごとの輝度の差分平均値を算出して補正テーブルを作成する。この補正テーブルを基に上述のように現画像の輝度補正を行って、背景画像に近い輝度の画面に補正して後両画像の差分処理を行う。
図７Ｄは、両画像の差分処理の結果を示す。図７Ｄから明らかなように、ここでは異物である車両が明確に識別できる。

本発明は、以上のように背景画像と、オートアイリス機能による画像の輝度の変化を補正した現画像とから背景差分法やフレーム間差分法に基づいて異物の検出ができる。また、本発明は、オートアイリス機能のみではなく、例えば撮影時間差により輝度が変化した二画面間における輝度修正にも適用可能であり、画像全体に輝度差がある２画像から異物検知を容易に行うことができる。

本発明の実施形態に係る画像処理装置のブロック図である。 縦軸に輝度をまた横軸に差分平均値をとって表した差分平均値の分布である。 画素数と輝度値との関係を示す図であって、高輝度の画素に関し、同じ輝度値において、オートアイリス機能が作用して現画像との差分値にばらつきが出ることを示す。 補正テーブルの修正の手順を説明する図である。 輝度補正テーブルの正当性を判断するための手法を説明するための図である。 異物検出のための画像処理手順を示すフロー図である。 本画像処理装置による画像処理を概略的に説明する模式図ある。

符号の説明

１０・・・画像処理装置、１００・・・ＣＰＵ、１０２・・・ＲＯＭ、１０４・・・ＲＡＭ１０４、１０６・・・外部機器インタフェース１０６、１０８・・・記憶部、１１０・・・輝度差（オートアイリス）影響判断部、１１２・・・輝度差分平均値演算部、１１４・・・補正テーブル作成部、１１６・・・補正テーブル修正部、１１８・・・補正テーブル判断部、１２０・・・表示部、１３０・・・差分画像作成部。

Claims (6)

1. 背景画像と、背景画像と現画像との同一画像座標における輝度の差分画像を得る工程と、前記差分画像から背景画像内の各輝度毎に差分平均値を演算する工程と、
   前記差分画像内における輝度の差分値が所定の値を超える画素数の割合が所定の値を超えるとき、
   演算した前記差分平均値に基づき現画像の輝度を各輝度毎に補正する工程と、
   補正した現画像と背景画像の差分画像を得る工程と、
   を有することを特徴とする画像処理方法。
2. 請求項１に記載された画像処理方法において、
   前記輝度の差分値が前記差分平均値を超える現画像の画素があるとき、前記差分平均値を演算する工程では、補正した現画像と背景画像との差分画像から背景画像内の各輝度毎に差分平均値を演算し、前記補正する工程では、演算した差分平均値で、前記差分平均値を超える画素の輝度を再補正することを特徴とする画像処理方法。
3. 背景画像と、背景画像と現画像との同一画像座標における輝度の差分画像を作成する差分画像作成部と、前記差分画像から背景画像内の各輝度毎に差分平均値を演算する演算部と、前記差分画像内における輝度の差分値が所定の値を超える画素数の割合が所定の値を超えるとき、演算した前記差分平均値に基づき現画像の輝度を各輝度毎に補正する輝度補正部と、を有し、
   差分画像作成部は、補正した現画像と背景画像の差分画像を得ることを特徴とする画像処理装置。
4. 請求項３に記載された画像処理装置において、
   前記輝度の差分値が前記差分平均値を超える現画像の画素があるとき、前記差分画像作成部は、補正した現画像と背景画像との差分画像から背景画像内の各輝度毎に差分平均値を演算し、前記輝度補正部は演算した差分平均値で、前記差分平均値を超える画素の輝度を再補正することを特徴とする画像処理装置。
5. 請求項３又は４に記載された画像処理装置において、
   演算した前記輝度毎の差分平均値を記録した補正テーブルを作成する補正テーブル作成部を有することを特徴とする画像処理装置。
6. 請求項５に記載された画像処理装置において、
   予め定めた基準に従い前記補正テーブルの正当性を判断する補正テーブル正当性判断部を有することを特徴とする画像処理装置。
   

Images