JP4067300B2

JP4067300B2 - Image processing method

Info

Publication number: JP4067300B2
Application number: JP2001375373A
Authority: JP
Inventors: 幸藤井
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2001-12-10
Filing date: 2001-12-10
Publication date: 2008-03-26
Anticipated expiration: 2021-12-10
Also published as: JP2003178287A

Description

【０００１】
【発明の属する技術分野】
本発明は、所定の物体の輝度変化を判定するための画像処理方法に関わり、特に画像処理エリアの設定方法の改良に関する。
【０００２】
【従来の技術】
図５〜図７によって、従来の画像処理方法について説明する。図５は、従来の画像処理システムの構成を示すブロック図である。
ここで説明する従来例は、所定の判定物体の輝度変化を判定するために、入力画像に所定の処理エリアを設定し、設定された処理エリア内の画素の輝度値の平均を算出し、算出された平均値が所定の値以上であった場合に、判定物体の輝度が警報レベル以上変化したとして警報を出力する画像処理装置である。
本システムは、例えば、溶鉱炉から出て来る溶融した鉄等の金属の流れを、テレビジョンカメラ（以降、 TV カメラと称する）等の撮像装置によって撮影し、溶融金属の色の変化を監視し、温度変化、溶融物の材質の変化等をチェックするために利用する。
【０００３】
図５は、少なくとも、TV カメラ 101 、画像処理装置 102 、警報表示装置 116 、及び、ビデオモニタ 117 で構成される。また、画像処理装置 102 は、少なくとも、映像信号の A/D 変換を行う映像入力 I/F（インターフェース）103 、画像間の演算及び画像の格納を行う画像メモリ 104 、画像解析を行うCPU（ Central Processing Unit：中央演算処理装置） 110 、ワークメモリ 112 、プログラムメモリ 113 、画像の輝度信号の D/A 変換を行い輝度信号を映像信号に変換する画像出力 I/F 114 、データバス 115 、警報出力を行なう出力 I/F 111 で構成される。更に、図５の例では、画像メモリ 104 を、画像入力 I/F 103 で得られた輝度信号の格納を行う入力メモリ 105 、処理エリアの格納を行う処理エリアメモリ 106 及び、画像間の演算に用いる処理用メモリ 109 で構成している。
【０００４】
図５において、TV カメラ 101 は、所定の監視エリアの画像を撮像し、撮像した画像を映像信号に変換して画像処理装置 102 に供給する。映像信号は、例えば、NTSC 方式の映像信号である。
画像処理装置 102 の画像入力 I/F 103 は、TV カメラ 101 の映像信号をデジタルデータに変換し、0 〜 255 の 256 階調の輝度信号に変換し、画像メモリ 104 の入力メモリ 105 に出力する。入力メモリ 105 は、入力された画像を格納する。画像サイズは、例えば、320 × 240 画素である。
【０００５】
CPU 110 は、プログラムメモリ 113 に予め格納されているプログラムに従って、画像メモリ 104 から画像をワークメモリ 112 に読出し、ワークメモリ 112で画像メモリ 104 の画像解析を行う。
画像出力 I/F 114 は、画像メモリ 104 内の処理用メモリ 109 に格納されている画像の輝度信号の D/A 変換を行い、輝度信号を映像信号に変換し、変換して得られた映像信号をビデオモニタ 117 に出力する。画像出力 I/F 114 は、また更に、CPU 110 から送られる情報をビデオモニタ 117 に出力する。ビデオモニタ 117 は、入力された映像信号、及び、情報によって、画像及び情報を表示画面に表示する。
【０００６】
データバス 115 は、画像処理装置 102 内の画像入力 I/F 103 、画像メモリ 104（入力メモリ 105 、処理エリアメモリ 106 、処理用メモリ 109 ）、CPU 110 、出力 I/F 111 、ワークメモリ 112 、プログラムメモリ 113 、及び、画像出力 I/F 114 間を結び、それらの間でデータの転送を行なうために使用する信号線である。
画像処理装置 102 は、読み出された画像の指定されたエリア（処理エリア）に画像処理（画像解析）を施すことによって、予め定められた事象が検出された場合には、出力 I.F 111 を用いて、警報表示モニタ 116 に制御信号を出力し、警報表示モニタ 116 は、入力された制御信号に基づいて警報を出力する。
この予め定められた事象は、プログラムメモリ 113 に予め組み込まれたプログラムよって定まる。
【０００７】
次に、従来の画像処理方法の動作例について、図５〜図７を用いて説明する。図６は、従来の画像処理方法の動作原理を示すフローチャートである。また、図７は、従来の画像処理方法の動作原理を説明するための図である。
図６において、処理エリア設定ステップ 200 では、まず、画像処理前に、オペレータは手動で処理すべきエリアを指定するなどして処理エリア S′（図７参照）の設定を行い、処理エリア画像 305B を作成する。即ち、処理エリアとして設定された画素の輝度値を“ 255 ”に設定し、それ以外の画素の輝度値を“ 0 ”に設定する。
尚、この例では、1 画素単位で処理を行っているが、複数の画素を単位（ 1 ブロック）として、画像処理を施しても良い。
図７の処理エリア画像 305B では、処理エリア S′内の画素の輝度値が“ 255”、それ以外の画素の輝度値が“ 0 ”に設定される。
処理エリアの設定は、例えば、図５に図示しない入出力装置（例えば、キーボード、ポインティングデバイス）を使って、ビデオモニタ 117 に表示された画像及び情報を確認しながら、エリアの指定を行なう。
【０００８】
次に、入力画像取込みステップ 202 では、TV カメラ 101 から入力された映像を入力画像メモリ 105 に格納し、入力画像 301 を得る。
処理エリア内画像抽出ステップ 205 では、処理エリアメモリ 106 に格納されている処理エリア画像 305B と、入力画像取込みステップで得られた入力画像 301 とについて、画素ごとに AND 処理を行い、処理エリア内画像 401B を得る。
【０００９】
ここで、AND 処理とは、該当する画素ごとに輝度値を比較し、低い方の輝度値を選択するものである。例えば、入力画像 301 のある画素の輝度値が“ 0 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 255 ”である場合には、その画素の輝度値を“ 0 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 0 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 0 ”である場合には、その画素の輝度値を“ 0 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 128 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 0 ”である場合には、その画素の輝度値を“ 0 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 128 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 255 ”である場合には、その画素の輝度値を“ 128 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 210 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 0 ”である場合には、その画素の輝度値を“ 0 ”に決定する。また、例えば、入力画像 301 のある画素の輝度値が“ 210 ”で、該当する処理エリア画像 305B の画素の輝度値が“ 255 ”である場合には、その画素の輝度値を“ 210 ”に決定する。
【００１０】
平均値算出ステップ 206 では、処理エリア内画像抽出ステップ 205 で得られた処理エリア内画像 401B について処理エリア S′内の画素の輝度値の平均を算出する。
レベル判定ステップ 207 では、平均値算出ステップ 206 で得られた輝度値の平均が警報レベル以上か否かの判定を行う。
平均値が所定の値以上であった場合は、警報処理ステップ 208 に分岐し、平均値が所定の値未満であった場合は、入力画像取込みステップ 202 に分岐する。
警報処理ステップ 208 では、出力 I/F 111 を用いて警報表示モニタ 116 に輝度変化があったことを知らせるための警報の出力を行わせる。
【００１１】
【発明が解決しようとする課題】
前述の従来技術には、判定する物体の位置や形状が流体等のように一定でない物体であるときには、図７に示した処理エリア内画像 401B の場合のように、判定物体 A′の大きさが設定した処理エリア S′よりも小さいと、処理エリアと認識したエリアとに誤差が生じ、認識したいエリア外の輝度も抽出してしまうことから平均値の判定が正しく行われないが欠点がある。また、判定物体 A′の大きさが設定エリアよりも大きい場合や設定エリアからはみ出した場合は、判定物体 A′の位置がずれるため、認識したエリアと処理エリアとの間に誤差が生じ、平均値の判定が正しく行われない欠点がある。
本発明の目的は、上記のような欠点を除去し、判定する物体の形状や大きさ、または、位置が変化する場合でも、正確に判定が行えなる画像処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
上記の目的を達成するため、本発明の画像処理方法は、入力画像、蓄積画像の輝度の比較を画素ごとに行うことにより最大値画像を作成し、最大値画像の規定輝度レベル以上の部分に処理エリアを自動作成することにより、判定物体Ａ'の大きさが異なった場合及び、判定物体Ａ'の位置がずれた場合でも平均値の判定が安定して行えるようにしたものである。
即ち、本発明の画像処理方法は、撮像装置によって所定の視野範囲を逐次撮像し、該視野範囲の一部を処理エリアとして指定し、前記撮像装置によって撮像される画像の指定された該処理エリア内に所定の画像処理を施す画像処理システムにおいて、撮像された画像を、取得した時刻と関連づけて画像メモリに記録し、記録された前記異なる時刻に撮像された画像間の中で少なくとも１つの画素毎に最大の輝度値を抽出し、抽出された最大の輝度値の画像から所定の値以上の輝度値のエリアを前記処理エリアとして更新することを特徴とするものである。
また、本発明の画像処理方法は、前記画像メモリに所定数の画像を記録し、記録された一番古い画像を新規に撮像された画像に置きかえることを特徴とするものである。
【００１３】
【発明の実施の形態】
本発明の一実施例の画像処理方法を、図１〜図４によって説明する。図１は、本発明の画像処理システムの一実施例の構成を示すブロック図である。図１の構成は、従来のハードウェア構成の画像メモリ 104 に、更に、最大値メモリ 107 、及び、蓄積メモリ 108 を加えたものである。尚、従来技術で説明した構成要素と同一の機能の構成要素には同一の参照番号を付した。
また、図２は、本発明の画像処理の動作原理の一実施例を示すフローチャートである。図３は、本発明の画像処理方法での処理エリア作成ステップの一実施例の処理動作を説明するための図である。図４は、本発明の画像処理方法の動作原理の一実施例を説明するための図である。
【００１４】
図１は、図５の輝度変化認識用画像処理装置の構成について、画像メモリ 104を画像メモリ 104′に変更し、プログラムメモリ 113 には、図２で説明するフローチャートを CPU 110 に実行させるためのプログラムが格納されている。画像メモリ 104′は、入力メモリ 105 、処理エリアメモリ 106 、画像間の演算に用いる処理用メモリ 109 の他に、最大値メモリ 107 と蓄積メモリ 108 とを加えて構成している。以下、図１に構成を用いて、本発明の一実施例の動作について説明する。
【００１５】
図２において、まず、蓄積画像取込みステップ 201 では、TV カメラ 101 から入力された映像を画像入力 I/F 103 を介して入力画像メモリ 105 に格納し、入力画像メモリ 105 に格納された画像 301（図３）を蓄積画像メモリ 108 にコピーすることにより、蓄積画像 302 と 303 とを得る（図３）。このとき、蓄積画像 302 と 303 は、撮像された時刻、または、時刻と対応付けられる番号または識別記号と関連づけて記憶されている。本実施例では、蓄積メモリ 108 に格納される画像数は 2 である。
【００１６】
入力画像取込みステップ 202 では、TV カメラ 101 の映像を入力画像メモリ 105 に格納し、入力画像 301′を得る。このとき、入力画像 301′は、撮像された時刻、または、時刻と対応付けられる番号または識別記号と関連づけて記憶されている。
最大値画像作成ステップ 203 では、蓄積画像取込みステップ 201 または蓄積画像更新処理ステップ 209（後述）で得られた蓄積画像 302 、303 それぞれと、入力画像 301′との輝度値の比較を画素ごとに行い、いずれか輝度値の高い画素の輝度値を最大値として抽出する。そして、画素ごとの最大輝度値で構成した最大値画像 304 を得る。得られた最大値画像 304 は、最大値メモリ 107 に格納する。
【００１７】
処理エリア作成ステップ 204 では、最大値画像作成ステップ 203 で得られた最大値画像 304 をしきい値処理する。即ち、最大値画像 304 の各画素について、所定のしきい値未満の画素を輝度値 0 、所定のしきい値以上の画素を輝度値 255（ 1 画素の輝度値は、 0 から 255 の 256 階調で表現している）とし、処理エリア画像 305A を得る（図３参照）。
処理エリア画像 305A は、処理エリアメモリ 106 に格納される。
処理エリア内画像抽出ステップ 205′では、入力画像取込みステップ 202 で得られた入力画像 301′と、処理エリア作成ステップ 204 で得られた処理エリア画像 305A とについて、画素ごとに AND 処理（図６の AND 処理と同様の）を行い、処理エリア内画像 401A を得る。
図４の処理エリア内画像 401A において、輝度値が“ 255 ”の画素の領域が処理エリア S であり、輝度値が“ 0 ”の画素の領域が処理エリア S 以外の領域として設定される。
【００１８】
平均値算出ステップ 206 では、処理エリア内画像抽出ステップ 205′で得られた処理エリア内画像 401A について、処理エリア S 内の画素の輝度値の平均を算出する。
レベル判定ステップ 207 とでは、平均値算出ステップ 206 で得られた輝度値の平均が警報レベル以上か否かの判定を行う（図６と同様）。
輝度値の平均が所定の値以上であった場合、警報処理ステップ 208 に分岐し、輝度レベルの平均値が所定の値未満であった場合、蓄積画像更新処理ステップ 209 に分岐する。
警報処理ステップ 208 では、出力 I/F 111 を用いて警報表示モニタ 116 に輝度変化があったことを知らせるための警報の出力を行わせる。
蓄積画像更新ステップ 209 では、蓄積メモリ 108 に格納されている蓄積画像のうち、最も古いデータが格納されているメモリに、入力メモリ 105 に格納されている入力画像 301′をコピー（上書き）する。
【００１９】
最大値画像作成ステップ 203 の一実施例を、図３を用いて詳しく説明する。最大値画像作成ステップ 203 では、入力画像 301′、蓄積画像 302 、及び、蓄積画像 303 の輝度値の比較を画素毎に行う。
例えば、入力画像 301′の画素位置（ x ，y ）での輝度値を P₁（ x ，y ）、蓄積画像 302 の画素位置（ x ，y ）での輝度値を P₂（ x ，y ）、蓄積画像 303 の画素位置（ x ，y ）での輝度値を P₃（ x ，y ）を比較する、そして、
【００２０】
P₁（ x ，y ）≧ P₂（ x ，y ）≧ P₃（ x ，y ）、または、 P₁（ x ，y ）≧ P₃（ x ，y ）≧ P₂（ x ，y ）
であったときには、最大値画像 304 の画素位置（ x ，y ）には、輝度値 P₁（ x ，y ）が格納される。
P₂（ x ，y ）≧ P₁（ x ，y ）≧ P₃（ x ，y ）、または、 P₂（ x ，y ）≧ P₃（ x ，y ）≧ P₁（ x ，y ）
であったときには、最大値画像 304 の画素位置（ x ，y ）には、輝度値 P₂（ x ，y ）が格納される。
P₃（ x ，y ）≧ P₁（ x ，y ）≧ P₂（ x ，y ）、または、 P₃（ x ，y ）≧ P₂（ x ，y ）≧ P₁（ x ，y ）
であったときには、最大値画像 304 の画素位置（ x ，y ）には、輝度値 P₃（ x ，y ）が格納される。
【００２１】
上記の計算を、全ての画素に対して行う。
最大値画像 304 から処理エリア S を算出することにより、判定物体 A に低レベル部分 B があった場合でも、低レベル部分 B に影響を受けずに処理エリア画像 305A を得ることができる。
【００２２】
次に、従来技術で問題のあった判定物体 A′に対する本発明の輝度変化認識画像処理方法と図５〜図７で説明した従来の方法との認識結果の違いについて、図８を用いて説明する。
図８は、本発明の画像処理方法の一実施例を説明するための図である。上述した図１〜図４で説明した本発明の一実施例の方法により、入力画像 301′から処理エリア画像 305A′を作成し、入力画像 301 と処理エリア画像 305A′の AND 処理をする。これにより、処理エリア内画像 401A′を得る。
処理エリア内画像 401A′には、判定物体 A′のみが抽出されているため、安定して平均レベルの判定が行える。
【００２３】
尚、上述の例では、1 画素単位で処理を行っているが、複数の画素を単位（ 1ブロック）としてその輝度値の平均を基に、画像処理を施しても良い。
また、上述の実施例では、監視視野範囲内の画像処理すべき物体の輝度が周囲の背景より明るい場合の例を挙げて説明した。そのため、処理エリアを作成する場合には、比較する画像の中で輝度値が最大の画素の輝度値を抽出し処理エリアの輝度値を“ 255 ”それ以外の輝度値を“ 0 ”として作成し、画像処理には、処理エリアと入力画像との比較を画素毎の AND 処理によって行った。
しかし、監視視野範囲内の画像処理すべき物体の輝度が周囲の背景より暗い場合には、逆に、それぞれの画像の輝度値を反転して処理すれば良い。例えば、“ 0 ”を“ 255 ”、“ 1 ”を“ 254 ”に、“ 2 ”を“ 253 ”、‥‥‥、“ 254 ”を“ 1 ”、“ 255 ”を“ 0 ”に変換してから、上述の処理を行えば良い。
【００２４】
【発明の効果】
以上説明したように、本発明によれば、入力画像と過去の複数の入力画像とから最大値画像を作成し、作成された最大値画像を用いて処理エリアを自動作成することにより、処理エリアと認識したいエリアとの間に誤差が生じず、安定した平均値レベルで判定することができ、判定したい物体の形状、大きさ、位置が変化する場合でも、輝度変化の認識を正確に行なうことができる。
【図面の簡単な説明】
【図１】本発明の画像処理システムの一実施例の構成を示すブロック図。
【図２】本発明の画像処理の動作原理の一実施例を示すフローチャート。
【図３】本発明の画像処理方法での処理エリア作成ステップの一実施例を説明するための図。
【図４】本発明の画像処理方法の動作原理の一実施例を説明するための図。
【図５】従来の画像処理システムの構成を示すブロック図。
【図６】従来の画像処理方法の動作原理を示すフローチャート。
【図７】従来の画像処理方法の動作原理を説明するための図。
【図８】本発明の画像処理方法の一実施例を説明するための図。
【符号の説明】
101：TV カメラ、 102：画像処理装置、 103：画像入力 I/F 、 104：画像メモリ、 105：入力メモリ、 106：処理エリアメモリ、 107：最大値メモリ、 108：蓄積メモリ、 109：処理用メモリ、 110：CPU 、 111：出力 I/F 、 112：ワークメモリ、 113：プログラムメモリ、 114：画像出力 I/F 、 115：データバス、 116：警報表示モニタ、 117：ビデオモニタ、 301，301′：入力画像、 302，303：蓄積画像、 304：最大値画像、 305A，305A′，305B：処理エリア画像、 401A，401A′，401B：処理エリア内画像。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method for determining a change in luminance of a predetermined object, and more particularly to an improvement in an image processing area setting method.
[0002]
[Prior art]
A conventional image processing method will be described with reference to FIGS. FIG. 5 is a block diagram showing a configuration of a conventional image processing system.
In the conventional example described here, in order to determine a luminance change of a predetermined determination object, a predetermined processing area is set in the input image, and an average of luminance values of pixels in the set processing area is calculated and calculated. When the average value is equal to or greater than a predetermined value, the image processing apparatus outputs an alarm that the brightness of the determination object has changed by an alarm level or more.
This system, for example, captures a flow of molten metal such as iron coming out of a blast furnace with an imaging device such as a television camera (hereinafter referred to as a TV camera), monitors the change in the color of the molten metal, It is used to check temperature changes, changes in melt material, etc.
[0003]
FIG. 5 includes at least a TV camera 101, an image processing device 102, an alarm display device 116, and a video monitor 117. The image processing apparatus 102 includes at least a video input I / F (interface) 103 that performs A / D conversion of a video signal, an image memory 104 that performs calculation and storage of images, and a CPU (Central Processing Unit) that performs image analysis. Processing Unit: Central processing unit) 110, work memory 112, program memory 113, image output I / F 114, data bus 115, alarm output that performs D / A conversion of the luminance signal of the image and converts the luminance signal into a video signal It consists of output I / F 111. Further, in the example of FIG. 5, the image memory 104 is used for the input memory 105 for storing the luminance signal obtained by the image input I / F 103, the processing area memory 106 for storing the processing area, and the calculation between images. The processing memory 109 is used.
[0004]
In FIG. 5, the TV camera 101 captures an image of a predetermined monitoring area, converts the captured image into a video signal, and supplies the image signal to the image processing apparatus 102. The video signal is, for example, an NTSC video signal.
The image input I / F 103 of the image processing device 102 converts the video signal of the TV camera 101 into digital data, converts it into a 256-level luminance signal of 0 to 255, and outputs it to the input memory 105 of the image memory 104. . The input memory 105 stores the input image. The image size is, for example, 320 × 240 pixels.
[0005]
The CPU 110 reads an image from the image memory 104 to the work memory 112 according to a program stored in advance in the program memory 113, and performs image analysis of the image memory 104 by the work memory 112.
The image output I / F 114 performs D / A conversion of the luminance signal of the image stored in the processing memory 109 in the image memory 104, converts the luminance signal into a video signal, and the video obtained by the conversion. The signal is output to the video monitor 117. Further, the image output I / F 114 outputs information sent from the CPU 110 to the video monitor 117. The video monitor 117 displays an image and information on the display screen according to the input video signal and information.
[0006]
The data bus 115 includes an image input I / F 103 in the image processing apparatus 102, an image memory 104 (input memory 105, processing area memory 106, processing memory 109), CPU 110, output I / F 111, work memory 112, The signal line is used to connect the program memory 113 and the image output I / F 114 and transfer data between them.
The image processing apparatus 102 uses the output IF 111 when a predetermined event is detected by performing image processing (image analysis) on a designated area (processing area) of the read image. The alarm display monitor 116 outputs a control signal, and the alarm display monitor 116 outputs an alarm based on the input control signal.
This predetermined event is determined by a program incorporated in the program memory 113 in advance.
[0007]
Next, an operation example of the conventional image processing method will be described with reference to FIGS. FIG. 6 is a flowchart showing the operation principle of a conventional image processing method. FIG. 7 is a diagram for explaining the operating principle of a conventional image processing method.
In FIG. 6, in the processing area setting step 200, first, before image processing, the operator sets the processing area S ′ (see FIG. 7) by manually specifying the area to be processed, and the processing area image 305B. Create That is, the luminance value of the pixel set as the processing area is set to “255”, and the luminance values of the other pixels are set to “0”.
In this example, processing is performed in units of one pixel, but image processing may be performed in units of a plurality of pixels (one block).
In the processing area image 305B of FIG. 7, the luminance value of the pixels in the processing area S ′ is set to “255”, and the luminance values of the other pixels are set to “0”.
For setting the processing area, for example, an input / output device (for example, a keyboard and a pointing device) not shown in FIG. 5 is used to specify the area while confirming the image and information displayed on the video monitor 117.
[0008]
Next, in the input image capturing step 202, the video input from the TV camera 101 is stored in the input image memory 105, and an input image 301 is obtained.
In the processing area image extraction step 205, the processing area image 305B stored in the processing area memory 106 and the input image 301 obtained in the input image capturing step are ANDed for each pixel, and the processing area image 305B is extracted. Get 401B.
[0009]
Here, the AND process is to compare the luminance values for each corresponding pixel and select the lower luminance value. For example, when the luminance value of a pixel in the input image 301 is “0” and the luminance value of the pixel of the corresponding processing area image 305B is “255”, the luminance value of the pixel is determined to be “0”. . Further, for example, when the luminance value of a pixel of the input image 301 is “0” and the luminance value of the pixel of the corresponding processing area image 305B is “0”, the luminance value of the pixel is set to “0”. decide. Further, for example, when the luminance value of a pixel of the input image 301 is “128” and the luminance value of the pixel of the corresponding processing area image 305B is “0”, the luminance value of the pixel is set to “0”. decide. Further, for example, when the luminance value of a pixel of the input image 301 is “128” and the luminance value of the pixel of the corresponding processing area image 305B is “255”, the luminance value of the pixel is set to “128”. decide. Further, for example, when the luminance value of a pixel of the input image 301 is “210” and the luminance value of the pixel of the corresponding processing area image 305B is “0”, the luminance value of the pixel is set to “0”. decide. Further, for example, when the luminance value of a pixel of the input image 301 is “210” and the luminance value of the pixel of the corresponding processing area image 305B is “255”, the luminance value of the pixel is set to “210”. decide.
[0010]
In the average value calculating step 206, the average of the luminance values of the pixels in the processing area S ′ is calculated for the in-processing area image 401B obtained in the in-processing area image extracting step 205.
In level determination step 207, it is determined whether or not the average of the luminance values obtained in average value calculation step 206 is equal to or higher than the alarm level.
If the average value is equal to or greater than the predetermined value, the process branches to the alarm processing step 208. If the average value is less than the predetermined value, the process branches to the input image capturing step 202.
In the alarm processing step 208, the output of the alarm for notifying the alarm display monitor 116 that the brightness has changed is performed using the output I / F 111.
[0011]
[Problems to be solved by the invention]
In the above-described prior art, when the position and shape of the object to be determined are not constant such as fluid, the size of the determination object A ′ is the same as in the case of the processing area image 401B shown in FIG. Is smaller than the set processing area S ′, an error occurs between the processing area and the recognized area, and the luminance outside the area to be recognized is also extracted. . Also, if the size of the judgment object A 'is larger than the setting area or protrudes from the setting area, the judgment object A' will be misaligned, causing an error between the recognized area and the processing area. There is a drawback that the value is not correctly judged.
An object of the present invention is to provide an image processing method that eliminates the above-described drawbacks and that can perform accurate determination even when the shape, size, or position of the object to be determined changes.
[0012]
[Means for Solving the Problems]
In order to achieve the above object, the image processing method of the present invention creates a maximum value image by comparing the luminance of the input image and the accumulated image for each pixel, and sets the maximum value image to a portion that exceeds the specified luminance level. By automatically creating the processing area, the average value can be determined stably even when the size of the determination object A ′ is different and when the position of the determination object A ′ is shifted.
That is, the image processing method of the present invention sequentially captures a predetermined visual field range by an imaging device, designates a part of the visual field range as a processing area, and designates the processing area in which an image captured by the imaging device is designated. In an image processing system that performs predetermined image processing, the captured image is recorded in an image memory in association with the acquired time, and at least one pixel among the recorded images captured at the different times A maximum luminance value is extracted every time, and an area having a luminance value equal to or greater than a predetermined value is updated as the processing area from the extracted image having the maximum luminance value.
The image processing method of the present invention is characterized in that a predetermined number of images are recorded in the image memory, and the oldest recorded image is replaced with a newly captured image.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
An image processing method according to an embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing the configuration of an embodiment of the image processing system of the present invention. The configuration of FIG. 1 is obtained by adding a maximum value memory 107 and a storage memory 108 to an image memory 104 having a conventional hardware configuration. In addition, the same reference number is attached | subjected to the component of the function same as the component demonstrated by the prior art.
FIG. 2 is a flowchart showing an embodiment of the operation principle of image processing according to the present invention. FIG. 3 is a diagram for explaining the processing operation of one embodiment of the processing area creation step in the image processing method of the present invention. FIG. 4 is a diagram for explaining an embodiment of the operation principle of the image processing method of the present invention.
[0014]
FIG. 1 shows the configuration of the image processing apparatus for recognizing luminance change shown in FIG. 5, in which the image memory 104 is changed to the image memory 104 ′, and the program memory 113 causes the CPU 110 to execute the flowchart described in FIG. The program is stored. The image memory 104 'is configured by adding a maximum value memory 107 and a storage memory 108 in addition to an input memory 105, a processing area memory 106, and a processing memory 109 used for calculation between images. The operation of the embodiment of the present invention will be described below using the configuration shown in FIG.
[0015]
In FIG. 2, first, in the stored image capturing step 201, the video input from the TV camera 101 is stored in the input image memory 105 through the image input I / F 103, and the image 301 ( The stored images 302 and 303 are obtained by copying FIG. 3) to the stored image memory 108 (FIG. 3). At this time, the stored images 302 and 303 are stored in association with the time at which the image was taken, or a number or identification symbol associated with the time. In the present embodiment, the number of images stored in the storage memory 108 is two.
[0016]
In the input image capturing step 202, the video of the TV camera 101 is stored in the input image memory 105, and an input image 301 ′ is obtained. At this time, the input image 301 ′ is stored in association with the time when the image was taken, or a number or identification symbol associated with the time.
In the maximum value image creation step 203, the luminance values of the stored images 302 and 303 obtained in the stored image capturing step 201 or the stored image update processing step 209 (described later) and the input image 301 ′ are compared for each pixel. Then, the luminance value of a pixel having a high luminance value is extracted as the maximum value. Then, a maximum value image 304 composed of the maximum luminance value for each pixel is obtained. The obtained maximum value image 304 is stored in the maximum value memory 107.
[0017]
In the processing area creation step 204, the maximum value image 304 obtained in the maximum value image creation step 203 is subjected to threshold processing. That is, for each pixel of the maximum value image 304, a pixel with a luminance value of 0 is set for a pixel less than a predetermined threshold value, and a luminance value of 255 is set for a pixel with a predetermined threshold value or more. The processing area image 305A is obtained (see FIG. 3).
The processing area image 305A is stored in the processing area memory 106.
In the processing area image extraction step 205 ′, the input image 301 ′ obtained in the input image capturing step 202 and the processing area image 305A obtained in the processing area creation step 204 are ANDed for each pixel (FIG. 6). Perform processing (similar to AND processing) to obtain the processing area image 401A.
In the in-processing area image 401A of FIG. 4, the pixel area having the luminance value “255” is set as the processing area S, and the pixel area having the luminance value “0” is set as the area other than the processing area S.
[0018]
In the average value calculation step 206, the average of the luminance values of the pixels in the processing area S is calculated for the processing area image 401A obtained in the processing area image extraction step 205 ′.
In the level determination step 207, it is determined whether or not the average of the luminance values obtained in the average value calculation step 206 is equal to or higher than the alarm level (similar to FIG. 6).
If the average luminance value is equal to or greater than the predetermined value, the process branches to an alarm processing step 208. If the average luminance level is less than the predetermined value, the process branches to an accumulated image update processing step 209.
In the alarm processing step 208, the output of the alarm for notifying the alarm display monitor 116 that the brightness has changed is performed using the output I / F 111.
In the stored image update step 209, the input image 301 ′ stored in the input memory 105 is copied (overwritten) to the memory storing the oldest data among the stored images stored in the storage memory.
[0019]
An embodiment of the maximum value image creating step 203 will be described in detail with reference to FIG. In the maximum value image creation step 203, the luminance values of the input image 301 ′, the accumulated image 302, and the accumulated image 303 are compared for each pixel.
For example, the luminance value at the pixel position (x, y) of the input image 301 ′ is P ₁ (x, y), and the luminance value at the pixel position (x, y) of the stored image 302 is P ₂ (x, y). , Compare the luminance value at pixel position (x, y) of the stored image 303 with P ₃ (x, y), and
[0020]
_{P 1 (x, y) ≧} P 2 (x, y) ≧ P 3 (x, y), _{or, P 1 (x, y)} ≧ P 3 (x, y) ≧ P 2 (x, y)
Is, the luminance value P ₁ (x, y) is stored in the pixel position (x, y) of the maximum value image 304.
P ₂ (x, y) ≥ P ₁ (x, y) ≥ P ₃ (x, y), or P ₂ (x, y) ≥ P ₃ (x, y) ≥ P ₁ (x, y)
Is, the luminance value P ₂ (x, y) is stored in the pixel position (x, y) of the maximum value image 304.
_{P 3 (x, y) ≧} P 1 (x, y) ≧ P 2 (x, y), _{or, P 3 (x, y)} ≧ P 2 (x, y) ≧ P 1 (x, y)
Is, the luminance value P ₃ (x, y) is stored in the pixel position (x, y) of the maximum value image 304.
[0021]
The above calculation is performed for all pixels.
By calculating the processing area S from the maximum value image 304, the processing area image 305A can be obtained without being affected by the low level portion B even if the determination object A has the low level portion B.
[0022]
Next, the difference in recognition results between the brightness change recognition image processing method of the present invention for the determination object A ′, which has a problem in the prior art, and the conventional method described with reference to FIGS. 5 to 7 will be described with reference to FIG. To do.
FIG. 8 is a diagram for explaining an embodiment of the image processing method of the present invention. The processing area image 305A ′ is created from the input image 301 ′ by the method of the embodiment of the present invention described with reference to FIGS. 1 to 4, and the input image 301 and the processing area image 305A ′ are ANDed. As a result, the in-process area image 401A ′ is obtained.
Since only the determination object A ′ is extracted from the in-process area image 401A ′, the average level can be determined stably.
[0023]
In the above example, processing is performed in units of one pixel, but image processing may be performed based on the average of the luminance values in units of plural pixels (one block).
Further, in the above-described embodiment, an example in which the luminance of the object to be image-processed within the monitoring visual field range is brighter than the surrounding background has been described. Therefore, when creating a processing area, extract the luminance value of the pixel with the highest luminance value from the images to be compared, and set the luminance value of the processing area to “255” and the other luminance values to “0”. In the image processing, the processing area and the input image are compared by AND processing for each pixel.
However, when the brightness of the object to be imaged within the monitoring visual field range is darker than the surrounding background, the brightness value of each image may be reversed and processed. For example, convert "0" to "255", "1" to "254", "2" to "253", ..., "254" to "1" and "255" to "0" Therefore, the above-described processing may be performed.
[0024]
【The invention's effect】
As described above, according to the present invention, a maximum value image is created from an input image and a plurality of past input images, and a processing area is automatically created using the created maximum value image. Error can be determined with a stable average value level, and even when the shape, size, and position of the object to be detected changes, the brightness change can be accurately recognized. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing system of the present invention.
FIG. 2 is a flowchart showing an embodiment of the operation principle of image processing according to the present invention.
FIG. 3 is a diagram for explaining an embodiment of a processing area creation step in the image processing method of the present invention.
FIG. 4 is a diagram for explaining an embodiment of the operation principle of the image processing method of the present invention.
FIG. 5 is a block diagram showing a configuration of a conventional image processing system.
FIG. 6 is a flowchart showing the operation principle of a conventional image processing method.
FIG. 7 is a diagram for explaining an operation principle of a conventional image processing method.
FIG. 8 is a diagram for explaining an embodiment of the image processing method of the present invention.
[Explanation of symbols]
101: TV camera, 102: Image processing device, 103: Image input I / F, 104: Image memory, 105: Input memory, 106: Processing area memory, 107: Maximum value memory, 108: Storage memory, 109: For processing Memory, 110: CPU, 111: Output I / F, 112: Work memory, 113: Program memory, 114: Image output I / F, 115: Data bus, 116: Alarm display monitor, 117: Video monitor, 301, 301 ': Input image, 302, 303: Stored image, 304: Maximum value image, 305A, 305A', 305B: Processing area image, 401A, 401A ', 401B: Processing area image.

Claims

Sequentially imaging a predetermined field of view by the imaging device, specify a portion of the visual field range as a processing area, it performs averaging of the luminance values in the image pickup apparatus the processing area that are specified image captured by the image In the processing method ,
Record at least two images taken at different times in association with the acquired time,
The difference between the recorded brightness values of the image captured at the different times and the sequentially captured image is compared to extract the maximum brightness value for each pixel, and a predetermined brightness value is extracted from the extracted maximum brightness value image. An image processing method, wherein an area having a luminance value equal to or greater than a value is updated as the processing area.

Sequentially imaging a predetermined field of view by the imaging device, specify a portion of the visual field range as a processing area, it performs averaging of the luminance values in the image pickup apparatus the processing area that are specified image captured by the image In the processing method ,
Record the captured image in the storage memory in association with the acquired time,
A maximum luminance value is extracted for at least one pixel among the images captured at the different times recorded, and an area having a luminance value equal to or greater than a predetermined value is extracted from the extracted maximum luminance value image. An image processing method characterized by updating as a processing area.

3. The image processing method according to claim 2, wherein a predetermined number of images are recorded in the storage memory, and the oldest recorded image is replaced with a newly captured image.

An image in which a predetermined visual field range is sequentially picked up by an imaging device, a part of the visual field range is designated as a processing area, and an average processing of luminance values is performed in the designated processing area of an image picked up by the imaging device In the processing device,
A storage memory that records at least two images captured at different times in association with the acquired time;
A processing memory for extracting the maximum luminance value for each pixel by comparing the luminance value difference between the recorded images taken at different times and the sequentially picked-up image, and the extracted maximum luminance value A maximum value memory for recording an image, a processing area memory for updating an area of a luminance value equal to or greater than a predetermined value from the extracted image of the maximum luminance value as the processing area,
An image processing apparatus comprising:

An image in which a predetermined visual field range is sequentially picked up by an imaging device, a part of the visual field range is designated as a processing area, and an average processing of luminance values is performed in the designated processing area of an image picked up by the imaging device In the processing device,
A storage memory that records the captured image in association with the acquired time;
A processing memory for extracting the maximum luminance value for each at least one pixel among the images captured at the different times recorded; a maximum value memory for recording an image of the extracted maximum luminance value; An image processing apparatus comprising: a processing area memory that updates an area having a luminance value greater than or equal to a predetermined value from the extracted image having the maximum luminance value as the processing area.