JP3797586B2

JP3797586B2 - Image processing device

Info

Publication number: JP3797586B2
Application number: JP23864398A
Authority: JP
Inventors: 恒雄安村
Original assignee: Nitto Seiko Co Ltd
Current assignee: Nitto Seiko Co Ltd
Priority date: 1998-08-25
Filing date: 1998-08-25
Publication date: 2006-07-19
Anticipated expiration: 2018-08-25
Also published as: JP2000067232A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データを２値化処理することにより目標物を認識する画像処理装置に関する。
【０００２】
【従来の技術】
近年、製造ライン等において、製品の筐体、部品等の検査や組み立てを行うに際し、例えばベルトコンベアの上を搬送される筐体、部品等を、ＣＣＤカメラ等の撮像装置を用いて撮像し、取得された画像データに所定の処理を行うことにより、不良品が発生していないか等の検査を行ったり、実際に組み立てを行ったりする方法が実用化されている。以下、筐体の所定の位置に適切に穴があけられているか否かの検査を行う場合を例として、かかる検査等に用いる従来の画像処理装置について説明する。
【０００３】
図４は、上記の従来の画像処理装置について説明するための図であり、検査対象となるガスメータ筐体の一例を示す図である。近年のガスメータは、例えば、地震やガス漏れの発生のため、ガスの供給を停止した場合などにはＬＥＤを点滅させることにより利用者にその旨を認識させるようになっているが、以下では、同図に示すガスメータ筐体９００に、ＬＥＤの表示窓となる穴９０１が適切な位置に、また適切な大きさであけられているか否かを検査する場合を例として、従来の画像処理装置の処理内容について説明する。
【０００４】
図５は、ガスメータ筐体９００の上部の拡大図である。同図に示されるように、穴９０１の位置及び大きさは、例えばベルトコンベア上を搬送される筐体９００を撮像するカメラのカメラ中心を原点とする座標系において、穴９０１の中心Ｃの座標と、Ｘ軸方向の半径ｘｒ、Ｙ軸方向の半径ｙｒを求めることにより特定することができる。そこで、例えばマスタとなる筐体を用いて穴９０１の位置及び大きさを記憶しておき、他の筐体については、マスタの穴９０１の位置からのずれ等を得ることにより、上記検査を行うことができる。
【０００５】
ここで、穴９０１の中心及び半径を求めるためには、穴９０１の周辺から取得された画像データを２値化することによる方法が一般的である。即ち、筐体９００から取得した画像データにおいて、所定位置に、所定の大きさのウィンドウＷを設定する。
【０００６】
このウィンドウＷは、当該範囲内の画像データが以後の処理の対象となることを意味するものであり、２値化処理を行うことにより穴９０１の存在範囲が判別可能となるように設定する。即ち、ウィンドウＷの範囲内に穴９０１の存在範囲を全て含み、かつ、筐体９００及び穴９０１以外の部分を含まないようにする必要がある。ウィンドウＷの位置及び大きさについては、例えば、左上頂点（図中のＭ）の位置と縦横各辺の長さを、筐体９００に合わせて予め設定しておく。
【０００７】
その後、ウィンドウＷの範囲内の画像データを２値化する。２値化処理を行うには閾値を決定する必要があるが、閾値の決定方法として、固定した閾値を用いる方法の他、従来より種々の自動閾値決定方法が考案されている。
【０００８】
例えば、上述のように製造ライン等に用いられる画像処理装置における自動閾値決定方法としては、「大津の方法」と称される公知の方法を利用することができる。大津の方法については、“画像解析ハンドブック（高木幹雄、下田陽久監修、東京大学出版会（５０３ページ））"に詳細に説明されているが、以下に簡単に説明する。
【０００９】
大津の方法は、判別分析法ともよばれる方法であり、画像データから濃度ヒストグラムを取得し、ある閾値によって当該濃度ヒストグラムを２クラスに分割した場合のクラス間分散σ_B ²(k)が最大になる閾値k^*を選ぶという原理に基づく方法である。
【００１０】
ここで、クラス間分散σ_B ²(k)は、下記の（式１）で表すことができる。
【００１１】
【数１】

【００１２】
また、上記に示した式において、Ｐ_iとは、ｎ_iを濃度ヒストグラムにおけるレベルiの画素の数、Ｎを全画素数とした場合に、ｐ_i＝ｎ_i／Ｎで表される数値を意味する。即ち、濃度レベルを[1,2,3,…,L]とし、画素をレベル［1,k］と、レベル[k+1,L]の２クラスに分割するとした場合に、クラス間分散σ_B ²(k)を最大とするｋを閾値として決定する。
【００１３】
大津の方法等を用いて閾値を決定した後は、決定された閾値を用いて、ウィンドウＷの範囲内の画像データを２値化する。２値化された画像データにおいては、筐体９００の部分が白、穴９０１の部分が黒の画素で表されるため、上述の図５で説明したような、穴９０１の中心Ｃの位置及び半径を取得することができる。
【００１４】
さらに、取得された結果から、筐体９００の所定の位置に、適切な大きさの穴９０１があけられているか否かを判定することが可能である。
【００１５】
【発明が解決しようとする課題】
しかしながら、上記従来の画像処理装置では、筐体９００の適切な位置に、適切な大きさの穴９０１があけられているか否かについては検査することができるが、当該穴９０１の中の適切な位置にＬＥＤが設置されているか否かまでを一度の処理で検査することができず、検査の効率が悪いという問題点を有していた。
【００１６】
即ち、２値化された画像データでは、穴９０１の中に存在するＬＥＤのような目標物は、穴９０１の中に隠れてしまい、もはや識別できないからである。これは、上記のようにガスメータの検査に用いる場合だけでなく、画像データから複数の目標物を順次識別しようとした場合に、一般的に発生する問題である。
【００１７】
本発明は、上記問題点に鑑み、複数の目標物を含む画像データから、効率よく当該複数の目標物を識別することができる画像処理装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理装置は、画像データを２値化処理することにより目標物を認識する画像処理装置であって、第１の閾値を用いて２値化処理した画像データから、第１の目標物が認識された場合に、当該第１の目標物が存在する範囲内の２値化処理前の画像データを抽出し、抽出した画像データから第２の閾値を求め、抽出した画像データを、前記第２の閾値を用いて２値化処理するようにしたこと特徴とする。
【００１９】
さらに、前記画像処理装置は、第２の目標物が認識された場合に、さらに全ての目標物が認識されるまで２値化処理前の画像データから新たな閾値を求め、新たな閾値を用いて２値化処理を繰り返し実行する機能を有することが好ましい。このようにすることにより、目標物が三つ以上あるような場合でも容易に対応することができる。ここで、複数の閾値の大小関係については、目標物によって種々の場合が考えられ、必ずしも一定の大小関係を有するべきものではない。
【００２１】
また、前記画像処理装置はさらに、認識された目標物に関する情報を出力する出力手段を有することもできる。ここで出力する情報としては、位置、大きさ、形状等種々考えられ、認識された目標物に対するその後の処理を円滑にすることができる。
【００２２】
【発明の実施の形態】
以下、本発明に係る画像処理装置の実施の形態について図面を参照しながら説明する。図１は、本発明に係る画像処理装置の一適用例としての検査システムの構成の一例を示す図である。
【００２３】
同図に示されるように、本実施の形態の検査システムは、本発明に係る画像処理装置１及びＣＣＤカメラ２から構成され、ＣＣＤカメラ２にはストロボ３が付属して備えられている。同図において、９０は、上述のガスメータの如き検査対象物、９１は、本発明に係る画像処理装置における第１の目標物（本実施の形態では、筐体に開けられた穴）、９２は、本発明に係る画像処理装置における第２の目標物（本実施の形態では、所定の位置に設置されるべきＬＥＤ）を表している。
【００２４】
本実施の形態の画像処理装置１は、ストロボ制御部１０１、ＣＣＤカメラインタフェース１０２、第１フレームＲＡＭ１０３、第２フレームＲＡＭ１０４、ＲＯＭ１０５、操作部１０６、表示部１０７、制御部１００を含み、各部はインタフェースバス１０９にて接続されている。
【００２５】
ストロボ制御部１０１は、ＣＣＤカメラ２に付属するストロボ３の発光を制御する。ＣＣＤカメラインタフェース１０２は、ＣＣＤカメラ２から、検査対象物９０を撮像して得た画像データを取得する。
【００２６】
第１フレームＲＡＭ１０３には、制御部１００による２値化処理の前の画像データが格納され、第２フレームＲＡＭ１０４には、２値化処理後の画像データが格納される。２値化処理の詳細、及び第１フレームＲＡＭ１０３、第２フレームＲＡＭ１０４に格納される画像データの内容の詳細等に関しては後述する。
【００２７】
ＲＯＭ１０５には、本発明に係る画像処理装置を実現するために、制御部１００で実行されるべきプログラム等の情報が格納されている。操作部１０６としては、本実施の形態の検査システムの操作に用いる液晶パネル、スイッチ等が設置され、操作部１０６を介して入力された内容に対応した情報や、システムの動作状況等、種々の情報が表示部１０７に表示される。表示部１０７としては、液晶ディスプレイ等種々の表示装置を用いることができる。
【００２８】
図２は、本実施の形態における制御部１００の処理内容を示すフローチャートである。同図に示されるように、制御部１００は、まず、ＣＣＤカメラ２の駆動を指令し、ＣＣＤカメラインタフェース１０２を介して、検査対象物９０の画像データを取得する（Ｓ２０１）。取得された画像データは、第１フレームＲＡＭ１０３に記憶される。
【００２９】
次に、第１フレームＲＡＭ１０３上において、上述の如く、所定の範囲のウィンドウを設定し、当該ウィンドウの範囲内の画像データを２値化するための閾値（以下、「第１の閾値」という。）を決定する（Ｓ２０２）。ここで、閾値の自動的な決定方法としては、上述の大津の方法の他、モード法、ｐ−タイル法、微分ヒストグラム法等、種々の方法を用いることが可能である。
【００３０】
第１の閾値が決定されると、当該第１の閾値を用いて、第１フレームＲＡＭ１０３に記憶された所定の範囲内の画像データを２値化し、２値化された画像データを第２フレームＲＡＭ１０４に格納する（Ｓ２０３）。図３（ａ）に、第１の閾値を用いて２値化された画像データの内容の一例を示す。同図の例では、筐体９０の部分が白、穴９１の部分が黒となり、上述したように穴の位置や半径に関する情報を取得することが可能となっている。
【００３１】
制御部１００は、第２フレームＲＡＭ１０４に記憶された２値化された画像データから、第１の目標物が発見できたか否かを判定する（Ｓ２０４）。具体的には、穴９１の中心が所定の位置にあるか、半径は所定の範囲内にあるか等を判定し、検査を行う。
【００３２】
穴の形状が円であるか否かの判定には、真円度と呼ばれる数値を用いることができる。真円度とは、形状がどの程度円に近いかを数値化した値であり、具体的には、円の面積をＡ、周囲の長さをＰとすると、（４πＡ）／（Ｐ²）（％）で表される。
【００３３】
本実施の形態では、第１の目標物は、穴９１であるが、穴に限らず種々の物に適用することが可能である。目標物が発見できたか否かの判定は、その目標物に対応して、種々の方法を用いることができる。
【００３４】
制御部１００は、第１の目標物が発見できない場合（Ｓ２０４：Ｎｏ）には、エラーを出力し（Ｓ２０５）、処理を終了する。第１の目標物が発見された場合には（Ｓ２０４：Ｙｅｓ）、第２の目標物を認識すべく、第１の目標物の存在位置及び大きさ等に関する情報を取得する（Ｓ２０６）。これらの情報は、ステップＳ２０３で第１の目標物を識別する際に既に取得されているのが通常であるから、それらの中から、第２の目標物の識別に必要な情報を設定する。
【００３５】
上述の情報を設定すると、第１フレームＲＡＭ１０３に記憶されている２値化前の画像データにおいて、第１の目標物の存在範囲内であって、第１の目標物の大きさより少し小さい範囲の画像データを抽出し、ステップＳ２０２と同様の方法により、当該範囲内の画像データを２値化するための閾値（以下、「第２の閾値」という。）を求める（Ｓ２０７）。具体的には、図３（ａ）にて黒の画素で表される穴９１の範囲より少し小さい範囲に対応する２値化処理前の画像データを抽出し、抽出された画像データから第２の閾値を求める。なお、本実施の形態では、第１の目標物の存在範囲より少し小さい範囲に対応する画像データを抽出するようにしたが、２値化処理後の画像データにおいて目標物を表す黒画素に対応する範囲を全て抽出するようにしてもよい。
【００３６】
第２の閾値が求まると、当該第２の閾値を用いて、ステップＳ２０７にて抽出された２値化前の画像データの２値化を行い、第２フレームＲＡＭ１０４に格納する（Ｓ２０８）。図３（ｂ）に、本ステップでの２値化処理の結果の一例を示す。制御部１００は、本ステップにおいて第２フレームＲＡＭ１０４に記憶された２値化された画像データから、第１の目標物の範囲内に、第２の目標物が発見できたか否かを判定する（Ｓ２０９）。本実施の形態では、第２の目標物とは、穴９１の内部に存在するＬＥＤ９２を指す。ここでの目標物が発見できたか否かの判定は、ＬＥＤ９２の形状等を予め設定されている値と比較することなどにより行うことができる。
【００３７】
第２の目標物が発見できない場合（Ｓ２０９：Ｎｏ）には、ステップＳ２０５へと進み、エラーを出力して処理を終了する。第２の目標物が発見できた場合には（Ｓ２０９：Ｙｅｓ）、当該第２の目標物の存在位置、大きさ等に関する情報を取得する（Ｓ２１０）。ここでは、座標だけを取得してもよいし、大きさだけ取得するようにしてもよい。その後、制御部１００は、取得した情報を出力する（Ｓ２１１）。具体的には、取得した情報をロボットなどの外部機器に出力して、穴９１にキャップを挿入する処理などを必要に応じて行うように制御することができる。なお、ここで、制御部１００は、ステップＳ２１０で取得した情報を特に外部に出力せず、例えば、ＬＥＤ９２が所定の位置に設置されているか等の検査処理を行うようにすることもできる。
【００３８】
以上に説明したように、本発明の画像処理装置を用いることにより、複数の目標物を効率的に識別することが可能となる。なお、本実施の形態では、目標物が２つ（穴９１及びＬＥＤ９２）である場合について説明したが、目標物が３つ以上ある場合でも、例えば、図２のフローチャートにおけるステップＳ２０６からＳ２０８までの処理を繰り返すことにより容易に対応することができる。
【００３９】
また、本実施の形態では、大津の方法を用いた閾値の自動決定について説明したが、前述の如く閾値の自動決定法は種々考案されているので、当該決定の方法も目標物の特徴等に応じて変更すれば、より認識の精度を上げることも可能である。一方、システム全体の設置環境等によっては、閾値を固定値とすることで処理効率を上げるようにすることもできる。
【００４０】
また、本実施の形態では、毎回閾値の決定を行っているが、同一の目標物について一旦閾値が決定された際には、当該閾値を記憶しておき、以後の閾値決定処理を省略するようにしてもよい。
【００４１】
また、本実施の形態では、一度取得された画像データは第１フレームＲＡＭ１０３に記憶することにより、処理効率の向上を図っているが、目標物の形態によっては、目標物を発見しようとする際や、閾値を決定しようとする際などに、再度ＣＣＤカメラ等を駆動させて、画像データを取得しなおすようにすることも可能である。
【００４２】
さらに、２値化処理に際しては、状況に応じてルックアップテーブル（ＬＵＴ）等を利用し、処理を高速にすることもできる。また、２値化処理の後には、膨張、収縮処理などにより画像ノイズを取り除くようにしてもよい。
【００４３】
【発明の効果】
以上に説明したように、本発明の画像処理装置によれば、第１の閾値を用いて２値化処理した画像データから、第１の目標物が認識された場合に、当該第１の目標物が存在する範囲に対応する２値化処理前の画像データを、第２の閾値を用いて２値化処理するようにしているので、複数の目標物を含む画像データから、効率よく当該複数の目標物を識別することが可能になるという効果を奏する。
【００４４】
さらに、前記第２の閾値を用いて２値化された画像データから、第２の目標物が認識された場合に、さらに全ての目標物が認識されるまで２値化処理前の画像データの２値化処理を繰り返し実行する機能を有することにより、目標物が三つ以上あるような場合でも容易に対応することができるという効果を奏する。
【００４６】
また、認識された目標物に関する情報を出力する出力手段を有することにより、認識された目標物に対するその後の処理を円滑に行えるようにすることができるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の一適用例としての検査システムの構成の一例を示す図である。
【図２】本実施の形態における制御部の処理内容を示すフローチャートである。
【図３】２値化処理された画像データの内容の一例を示す図である。
【図４】従来の画像処理装置の処理内容について説明するための図である。
【図５】従来の画像処理装置の処理内容について説明するための図である。
【符号の説明】
１画像処理装置
２ＣＣＤカメラ
３ストロボ
９１穴
９２ＬＥＤ
１００制御部
１０１ストロボ制御部
１０２ＣＣＤカメラインタフェース
１０３第１フレームＲＡＭ
１０４第２フレームＲＡＭ
１０５ＲＯＭ
１０６操作部
１０７表示部
１０９インタフェースバス[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that recognizes a target by binarizing image data.
[0002]
[Prior art]
In recent years, when inspecting and assembling product casings and parts in a production line, for example, the casings and parts transported on a belt conveyor are imaged using an imaging device such as a CCD camera, A method of inspecting whether or not a defective product has occurred by performing predetermined processing on the acquired image data or actually assembling has been put into practical use. Hereinafter, a conventional image processing apparatus used for such an inspection will be described by taking as an example the case of performing an inspection as to whether or not a hole is appropriately drilled at a predetermined position of the housing.
[0003]
FIG. 4 is a diagram for explaining the above-described conventional image processing apparatus, and is a diagram illustrating an example of a gas meter casing to be inspected. In recent years, for example, when gas supply is stopped due to the occurrence of an earthquake or gas leak, the gas meter is made to recognize that effect by blinking the LED, but in the following, In the case of inspecting whether or not a hole 901 serving as an LED display window is opened at an appropriate position and with an appropriate size in the gas meter casing 900 shown in FIG. Processing contents will be described.
[0004]
FIG. 5 is an enlarged view of the upper portion of the gas meter housing 900. As shown in the figure, the position and size of the hole 901 are, for example, the coordinates of the center C of the hole 901 in the coordinate system having the camera center of the camera that images the housing 900 conveyed on the belt conveyor as the origin. And by determining the radius xr in the X-axis direction and the radius yr in the Y-axis direction. Therefore, for example, the position and size of the hole 901 are stored using a housing serving as a master, and the above inspection is performed on other housings by obtaining a deviation from the position of the hole 901 in the master. be able to.
[0005]
Here, in order to obtain the center and radius of the hole 901, a method by binarizing image data acquired from the periphery of the hole 901 is generally used. That is, a window W having a predetermined size is set at a predetermined position in the image data acquired from the casing 900.
[0006]
This window W means that the image data in the range is a target of subsequent processing, and is set so that the existence range of the hole 901 can be determined by performing binarization processing. That is, it is necessary to include the entire existence range of the hole 901 within the range of the window W and not to include a part other than the casing 900 and the hole 901. As for the position and size of the window W, for example, the position of the upper left vertex (M in the figure) and the lengths of the vertical and horizontal sides are set in advance according to the casing 900.
[0007]
Thereafter, the image data within the window W is binarized. In order to perform binarization processing, it is necessary to determine a threshold value. As a method for determining a threshold value, various automatic threshold value determination methods have been devised in addition to a method using a fixed threshold value.
[0008]
For example, as described above, as an automatic threshold value determining method in an image processing apparatus used in a production line or the like, a known method called “Otsu's method” can be used. The method of Otsu is described in detail in “Image Analysis Handbook (supervised by Mikio Takagi, Yohisa Shimoda, University of Tokyo Press (page 503))”, but will be briefly described below.
[0009]
Otsu's method is also called a discriminant analysis method. When a density histogram is obtained from image data and the density histogram is divided into two classes according to a certain threshold, the interclass variance σ _B ² (k) is maximized. This is a method based on the principle of selecting a threshold value k ^* .
[0010]
Here, the interclass variance σ _B ² (k) can be expressed by the following (formula 1).
[0011]
[Expression 1]

[0012]
Further, in the above indicated formula, and P _i, the number of pixels of level i a n _i in the concentration histogram, when the N was the total number of pixels, a numerical value represented by p _i = n _i / N means. That is, when the density level is [1, 2, 3,..., L] and the pixel is divided into two classes of level [1, k] and level [k + 1, L], the interclass variance σ K that maximizes _B ² (k) is determined as a threshold value.
[0013]
After the threshold is determined using the Otsu method or the like, the image data within the window W is binarized using the determined threshold. In the binarized image data, the housing 900 portion is represented by white pixels and the hole 901 portions are represented by black pixels. Therefore, the position of the center C of the hole 901 and the position described above with reference to FIG. The radius can be obtained.
[0014]
Furthermore, it is possible to determine whether or not an appropriately sized hole 901 is made at a predetermined position of the housing 900 from the obtained result.
[0015]
[Problems to be solved by the invention]
However, in the conventional image processing apparatus, it is possible to inspect whether or not a hole 901 having an appropriate size is formed at an appropriate position of the casing 900, but an appropriate one in the hole 901 can be inspected. Whether or not the LED is installed at the position cannot be inspected by a single process, and there is a problem that the inspection efficiency is poor.
[0016]
That is, in the binarized image data, a target such as an LED existing in the hole 901 is hidden in the hole 901 and can no longer be identified. This is a problem that generally occurs not only when the gas meter is used for inspection as described above but also when a plurality of targets are sequentially identified from the image data.
[0017]
In view of the above problems, an object of the present invention is to provide an image processing apparatus that can efficiently identify a plurality of targets from image data including the plurality of targets.
[0018]
[Means for Solving the Problems]
In order to solve the above problems, an image processing apparatus of the present invention is an image processing apparatus that recognizes a target by performing binarization processing on image data, and binarization processing is performed using a first threshold value. When the first target is recognized from the image data, image data before binarization processing within the range where the first target exists is extracted, and the second threshold value is extracted from the extracted image data. The obtained and extracted image data is binarized using the second threshold value.
[0019]
Furthermore, when the second target is recognized, the image processing apparatus obtains a new threshold value from the image data before binarization processing until all the target items are recognized , and uses the new threshold value. it preferably has a function of repeatedly executing binarization Te. By doing in this way, even when there are three or more targets, it can be easily handled. Here, regarding the magnitude relationship between the plurality of threshold values, various cases are conceivable depending on the target, and it should not necessarily have a certain magnitude relationship.
[0021]
The image processing apparatus may further include output means for outputting information related to the recognized target. As the information to be output here, various positions, sizes, shapes, and the like are conceivable, and subsequent processing on the recognized target can be made smooth.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an image processing apparatus according to the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing an example of the configuration of an inspection system as an application example of an image processing apparatus according to the present invention.
[0023]
As shown in the figure, the inspection system of the present embodiment includes an image processing apparatus 1 and a CCD camera 2 according to the present invention, and the CCD camera 2 is provided with a strobe 3 attached thereto. In the figure, 90 is an inspection object such as the above-mentioned gas meter, 91 is a first target in the image processing apparatus according to the present invention (in this embodiment, a hole opened in the housing), and 92 is The second target in the image processing apparatus according to the present invention (in this embodiment, an LED to be installed at a predetermined position) is shown.
[0024]
The image processing apparatus 1 according to the present embodiment includes a strobe control unit 101, a CCD camera interface 102, a first frame RAM 103, a second frame RAM 104, a ROM 105, an operation unit 106, a display unit 107, and a control unit 100. They are connected by a bus 109.
[0025]
The strobe controller 101 controls the light emission of the strobe 3 attached to the CCD camera 2. The CCD camera interface 102 acquires image data obtained by imaging the inspection object 90 from the CCD camera 2.
[0026]
The first frame RAM 103 stores image data before binarization processing by the control unit 100, and the second frame RAM 104 stores image data after binarization processing. Details of the binarization processing and details of the contents of the image data stored in the first frame RAM 103 and the second frame RAM 104 will be described later.
[0027]
The ROM 105 stores information such as a program to be executed by the control unit 100 in order to realize the image processing apparatus according to the present invention. As the operation unit 106, a liquid crystal panel, a switch, and the like used for the operation of the inspection system according to the present embodiment are installed. Information is displayed on the display unit 107. As the display unit 107, various display devices such as a liquid crystal display can be used.
[0028]
FIG. 2 is a flowchart showing the processing contents of the control unit 100 in the present embodiment. As shown in the figure, the control unit 100 first commands the driving of the CCD camera 2 and acquires the image data of the inspection object 90 via the CCD camera interface 102 (S201). The acquired image data is stored in the first frame RAM 103.
[0029]
Next, on the first frame RAM 103, as described above, a window within a predetermined range is set, and a threshold value for binarizing image data within the window range (hereinafter referred to as “first threshold value”). ) Is determined (S202). Here, as a method for automatically determining a threshold value, various methods such as a mode method, a p-tile method, a differential histogram method, and the like can be used in addition to the method of Otsu described above.
[0030]
When the first threshold is determined, image data within a predetermined range stored in the first frame RAM 103 is binarized using the first threshold, and the binarized image data is converted into the second frame. The data is stored in the RAM 104 (S203). FIG. 3A shows an example of the content of the image data binarized using the first threshold value. In the example shown in the figure, the housing 90 is white and the hole 91 is black, and it is possible to acquire information on the position and radius of the hole as described above.
[0031]
The control unit 100 determines whether or not the first target has been found from the binarized image data stored in the second frame RAM 104 (S204). Specifically, it is determined whether or not the center of the hole 91 is at a predetermined position, the radius is within a predetermined range, and the like are inspected.
[0032]
A numerical value called roundness can be used to determine whether or not the shape of the hole is a circle. The roundness is a numerical value indicating how close the shape is to a circle. Specifically, when the area of the circle is A and the circumference is P, (4πA) / (P ² ) (%)
[0033]
In the present embodiment, the first target is the hole 91, but is not limited to the hole and can be applied to various objects. Various methods can be used to determine whether or not a target has been found in correspondence with the target.
[0034]
When the first target cannot be found (S204: No), the control unit 100 outputs an error (S205) and ends the process. When the first target is found (S204: Yes), information on the position and size of the first target is acquired to recognize the second target (S206). Since these pieces of information are usually already acquired when the first target is identified in step S203, information necessary for identifying the second target is set from them.
[0035]
When the above information is set, the pre-binarized image data stored in the first frame RAM 103 is within the range of the first target and is slightly smaller than the size of the first target. Image data is extracted, and a threshold (hereinafter referred to as “second threshold”) for binarizing the image data in the range is obtained by the same method as in step S202 (S207). Specifically, image data before binarization processing corresponding to a range slightly smaller than the range of the hole 91 represented by black pixels in FIG. 3A is extracted, and second image data is extracted from the extracted image data. The threshold value is obtained. In this embodiment, image data corresponding to a range slightly smaller than the range where the first target is present is extracted, but it corresponds to a black pixel representing the target in the binarized image data. You may make it extract all the ranges to perform.
[0036]
When the second threshold value is obtained, the image data before binarization extracted in step S207 is binarized using the second threshold value and stored in the second frame RAM 104 (S208). FIG. 3B shows an example of the result of the binarization process in this step. The control unit 100 determines whether or not the second target has been found within the range of the first target from the binarized image data stored in the second frame RAM 104 in this step ( S209). In the present embodiment, the second target refers to the LED 92 existing inside the hole 91. Whether or not the target has been found can be determined by comparing the shape or the like of the LED 92 with a preset value.
[0037]
If the second target cannot be found (S209: No), the process proceeds to step S205, an error is output, and the process ends. If the second target is found (S209: Yes), information on the location, size, etc. of the second target is acquired (S210). Here, only the coordinates may be acquired, or only the size may be acquired. Thereafter, the control unit 100 outputs the acquired information (S211). Specifically, the acquired information can be output to an external device such as a robot, and the process of inserting a cap into the hole 91 can be controlled as necessary. Here, the control unit 100 can also perform an inspection process such as whether the LED 92 is installed at a predetermined position without outputting the information acquired in step S210 to the outside.
[0038]
As described above, a plurality of targets can be efficiently identified by using the image processing apparatus of the present invention. In the present embodiment, the case where there are two targets (hole 91 and LED 92) has been described. However, even when there are three or more targets, for example, steps S206 to S208 in the flowchart of FIG. It can be easily handled by repeating the process.
[0039]
In this embodiment, the automatic threshold value determination using the Otsu method has been described. However, as described above, various threshold value automatic determination methods have been devised. If it is changed accordingly, the recognition accuracy can be increased. On the other hand, depending on the installation environment of the entire system, the processing efficiency can be increased by setting the threshold value to a fixed value.
[0040]
In this embodiment, the threshold value is determined every time. However, when the threshold value is once determined for the same target, the threshold value is stored, and the subsequent threshold value determination process is omitted. It may be.
[0041]
Further, in the present embodiment, the image data once acquired is stored in the first frame RAM 103 to improve the processing efficiency. However, depending on the form of the target, when trying to find the target Alternatively, when the threshold value is to be determined, the CCD camera or the like can be driven again to acquire the image data again.
[0042]
Furthermore, in the binarization process, a look-up table (LUT) or the like can be used depending on the situation to speed up the process. Further, after the binarization processing, image noise may be removed by expansion and contraction processing.
[0043]
【The invention's effect】
As described above, according to the image processing apparatus of the present invention, when the first target is recognized from the image data binarized using the first threshold, the first target Since the image data before binarization processing corresponding to the range in which the object exists is binarized using the second threshold value, the plurality of the data can be efficiently obtained from the image data including a plurality of targets. It is possible to identify the target object.
[0044]
Further, when the second target is recognized from the image data binarized using the second threshold, the image data before binarization processing is further processed until all the targets are recognized. By having the function of repeatedly executing the binarization process, it is possible to easily cope with a case where there are three or more targets.
[0046]
In addition, by providing an output unit that outputs information about the recognized target, there is an effect that the subsequent processing on the recognized target can be smoothly performed.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of a configuration of an inspection system as an application example of an image processing apparatus according to the present invention.
FIG. 2 is a flowchart showing processing contents of a control unit in the present embodiment.
FIG. 3 is a diagram illustrating an example of the content of binarized image data.
FIG. 4 is a diagram for explaining processing contents of a conventional image processing apparatus.
FIG. 5 is a diagram for explaining processing contents of a conventional image processing apparatus.
[Explanation of symbols]
1 Image processing device 2 CCD camera 3 Strobe 91 Hole 92 LED
100 Control Unit 101 Strobe Control Unit 102 CCD Camera Interface 103 First Frame RAM
104 Second frame RAM
105 ROM
106 Operation unit 107 Display unit 109 Interface bus

Claims

An image processing apparatus for recognizing a target by binarizing image data,
When the first target is recognized from the image data binarized using the first threshold , image data before binarization within the range where the first target exists is extracted. Then, a second threshold value is obtained from the extracted image data, and the extracted image data is binarized using the second threshold value.

The image processing apparatus includes:
When the second target is recognized from the image data binarized using the second threshold value, a new image is obtained from the image data before the binarization process until all the targets are further recognized. The image processing apparatus according to claim 1, wherein the image processing apparatus has a function of obtaining a threshold value and repeatedly executing the binarization process using the new threshold value .

The image processing apparatus further includes:
The image processing apparatus according to claim 1 , further comprising an output unit that outputs information about the recognized target.