JP6140255B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP6140255B2 JP6140255B2 JP2015223450A JP2015223450A JP6140255B2 JP 6140255 B2 JP6140255 B2 JP 6140255B2 JP 2015223450 A JP2015223450 A JP 2015223450A JP 2015223450 A JP2015223450 A JP 2015223450A JP 6140255 B2 JP6140255 B2 JP 6140255B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference image
- acquired
- image processing
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、製品検査の実行時に、検査対象物を撮像する撮像環境を、画像処理の結果に基づいて基準画像を撮像した撮像環境と同様の環境として再現する画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for reproducing an imaging environment for imaging an inspection object as an environment similar to an imaging environment for imaging a reference image based on a result of image processing when performing product inspection.
画像処理センサで製品の良否判定をする場合、検査対象物を撮像した画像を基準画像と比較することにより良品であるか、不良品であるかを判定する。具体的には、良品・不良品を判定する閾値情報等のパラメータ情報を製造ライン上の画像処理センサで共有し、共通の判断基準で良品であるか、不良品であるかを判定している。 When the quality of the product is determined by the image processing sensor, it is determined whether the product is a non-defective product or a defective product by comparing an image obtained by imaging the inspection object with a reference image. Specifically, parameter information such as threshold information for determining non-defective / defective products is shared by image processing sensors on the production line, and it is determined whether the product is non-defective or defective based on a common criterion. .
また、状況に応じて撮像条件を変化させても良い。例えば特許文献１では、検査対象物の撮像する部位、撮像範囲に応じてシャッタスピード等の撮像条件を変化させて撮像する画像処理装置が開示されている。 Further, the imaging conditions may be changed according to the situation. For example, Patent Document 1 discloses an image processing apparatus that captures an image by changing an imaging condition such as a shutter speed in accordance with a part to be imaged and an imaging range of an inspection object.
しかし、実際に検査対象物を撮像する場合、照明の状態、撮像装置の取り付け位置、姿勢のズレ、レンズの絞り、ピント調整の相違等に起因して、同一の撮像条件下で撮像した場合であっても、必ずしも同じ画像を撮像することができるとは限らない。したがって、同一の撮像条件であるにもかかわらず、特徴部分を検出する位置がずれているため良否判定をすることができない、取得した画像が暗い又は明るいために特徴部分を認識することができない、あるいはピントがずれているため特徴部分を特定することができない等の問題点があった。 However, when actually inspecting the inspection object, the image is taken under the same imaging conditions due to the illumination state, the mounting position of the imaging device, the displacement of the posture, the lens aperture, the difference in focus adjustment, etc. Even if it exists, it is not always possible to capture the same image. Therefore, despite the same imaging conditions, it is not possible to make a pass / fail judgment because the position for detecting the feature portion is shifted, and the feature portion cannot be recognized because the acquired image is dark or bright, Alternatively, there is a problem that the feature portion cannot be specified because the focus is shifted.
本発明は、斯かる事情に鑑みてなされたものであり、検査対象物を撮像する撮像環境を、画像処理の結果に基づいて基準画像を撮像した撮像環境と同様の環境として再現する画像処理する画像処理装置及び画像処理装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and performs image processing for reproducing an imaging environment for imaging an inspection object as an environment similar to the imaging environment for imaging a reference image based on the result of image processing. An object is to provide an image processing apparatus and an image processing apparatus.
上記目的を達成するために第１発明に係る画像処理装置は、検査対象物を撮像する撮像部を有し、該撮像部で撮像した画像データに対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する画像処理装置において、良品判定をする場合に良品である判断基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶する基準画像記憶部と、前記撮像部から検査対象物の動画像を取得し、対応する識別情報の前記基準画像と並べて表示する画像表示部と、前記基準画像の描画位置と取得した動画像の描画位置との位置ずれを調整するよう、取得した動画像を位置合わせする位置合わせ部と、前記基準画像の明るさと取得した動画像の明るさとを算出し、算出された明るさに基づいて生成された、両者を比較するための比較情報を、前記画像表示部で取得された動画像上に重畳して表示し、前記基準画像の明るさと取得した動画像の明るさとの差を調整する明るさ調整部とを備えることを特徴とする。 In order to achieve the above object, an image processing apparatus according to a first invention has an imaging unit that images an inspection object, executes image processing on image data captured by the imaging unit, and results of the image processing In the image processing apparatus for determining pass / fail of an inspection object based on the reference image, a reference image serving as a reference for determining non-defective products is stored in association with identification information for identifying the inspection object and parts, obtains the dynamic image of the inspection object from the imaging unit, an image display unit for displaying side by side with the reference image corresponding identification information, the drawing position of the moving image acquired drawing position of the reference image to adjust the positional deviation, and the positioning unit for aligning the dynamic images obtained, to calculate the brightness of the brightness and the acquired dynamic image of the reference image was generated based on the brightness calculated, both Compare Comparative information for the displayed superimposed on the acquired moving image at the image display unit, further comprising a brightness adjusting unit for adjusting the difference between the brightness of the brightness and the acquired dynamic image of the reference image It is characterized by.
また、第２発明に係る画像処理装置は、第１発明において、表示された前記基準画像に重ねてグリッド線が表示されており、前記位置合わせ部は、前記グリッド線を前記基準画像の特徴部分に合わせて移動させ、取得した画像にもグリッド線を同じ座標で重ねて表示することを特徴とする。 The image processing apparatus according to a second aspect of the present invention is the image processing apparatus according to the first aspect, wherein grid lines are displayed so as to be superimposed on the displayed reference image, and the alignment unit uses the grid lines as characteristic portions of the reference image. The grid line is superimposed on the acquired image and displayed on the acquired image.
また、第３発明に係る画像処理装置は、第１発明において、表示された前記基準画像に重ねて輪郭を示す輪郭線が表示されており、前記位置合わせ部は、前記輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した画像にも輪郭線を同じ座標で重ねて表示することを特徴とする。 The image processing apparatus according to a third aspect of the present invention is the image processing apparatus according to the first aspect, wherein a contour line indicating a contour is displayed over the displayed reference image, and the alignment unit displays the contour line in the reference image. It is characterized in that the image is displayed in accordance with the feature portion of the image, and the contour line is also superimposed on the acquired image and displayed.
また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記明るさ調整部は、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と前記基準画像における各領域の平均画素値との大小関係を前記比較情報として、取得した画像に重畳して表示することを特徴とする。 According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects, the brightness adjustment unit divides the acquired image into a plurality of equal areas, and average pixels in each area. A size relationship between a value and an average pixel value of each region in the reference image is displayed as the comparison information superimposed on the acquired image.
また、第５発明に係る画像処理装置は、第１乃至第４発明のいずれか１つにおいて、さらに、前記基準画像と取得した画像との間のピント差を調整するためのピント調整を実行するピント調整部を備え、前記ピント調整部は、取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、取得した画像の拡大画像のエッジ強度と、前記基準画像の拡大画像のエッジ強度とを一致させるよう調整することを特徴とする。 According to a fifth aspect of the present invention, in any one of the first to fourth aspects, the image processing apparatus further performs a focus adjustment for adjusting a focus difference between the reference image and the acquired image. A focus adjustment unit, and the focus adjustment unit generates an enlarged image obtained by enlarging the acquired image and the characteristic portion of the reference image, and the edge strength of the acquired image and the enlarged image of the reference image It is characterized by adjusting to match the edge strength.
また、第６発明に係る画像処理装置は、第１乃至第５発明のいずれか１つにおいて、取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、前記基準画像の描画位置と取得した画像の描画位置とを位置合わせする位置微調整部を備えることを特徴とする。 The image processing apparatus according to a sixth aspect of the present invention is the image processing apparatus according to any one of the first to fifth aspects, wherein each of the acquired image and the enlarged image obtained by enlarging the characteristic portion of the reference image is generated. And a fine position adjustment unit for aligning the drawing position of the reference image with the drawing position of the acquired image.
次に、上記目的を達成するために第７発明に係る画像処理方法は、検査対象物を撮像する撮像部を有し、該撮像部で撮像した画像データに対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する画像処理装置で実行することが可能な画像処理方法において、前記画像処理装置は、良品判定をする場合に良品である判断基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶するステップと、前記撮像部から検査対象物の画像を取得し、対応する識別情報の前記基準画像と並べて表示するステップと、前記基準画像の描画位置と取得した画像の描画位置との位置ずれを調整するよう、取得した画像を位置合わせするステップと、前記基準画像の明るさと取得した画像の明るさとを算出し、算出された明るさに基づいて生成された、両者を比較するための比較情報を、取得された画像上に重畳して表示し、前記基準画像の明るさと取得した画像の明るさとの差を調整するステップとを含むことを特徴とする。 Next, in order to achieve the above object, an image processing method according to a seventh aspect of the present invention includes an imaging unit that images an inspection target, performs image processing on image data captured by the imaging unit, and In an image processing method that can be executed by an image processing apparatus that determines the quality of an inspection object based on a processing result, the image processing apparatus is a reference image that serves as a determination standard for determining whether or not a non-defective product is acceptable. Storing in association with identification information for identifying the inspection object, obtaining an image of the inspection object from the imaging unit, and displaying the image alongside the reference image of the corresponding identification information, and the reference image to adjust the positional deviation between the drawing position of the drawing position and the acquired image, calculated aligning the acquired image, and the brightness of the brightness and the acquired image of the reference image, it is calculated Is generated based on is that the steps of the comparative information for comparing the two, and displayed superimposed on the acquired image, adjusts the difference between the brightness of the brightness and the acquired image of the reference image It is characterized by including.
また、第８発明に係る画像処理方法は、第７発明において、前記画像処理装置は、表示された前記基準画像に重ねてグリッド線が表示されており、前記グリッド線を前記基準画像の特徴部分に合わせて移動させ、取得した画像にもグリッド線を同じ座標で重ねて表示することを特徴とする。 An image processing method according to an eighth aspect of the present invention is the image processing method according to the seventh aspect, wherein the image processing apparatus displays a grid line superimposed on the displayed reference image, and the grid line is displayed as a characteristic portion of the reference image. The grid line is superimposed on the acquired image and displayed on the acquired image.
また、第９発明に係る画像処理方法は、第７発明において、前記画像処理装置は、表示された前記基準画像に重ねて輪郭を示す輪郭線が表示されており、前記輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した画像にも輪郭線を同じ座標で重ねて表示することを特徴とする。 An image processing method according to a ninth invention is the image processing method according to the seventh invention, wherein the image processing apparatus displays a contour line indicating a contour superimposed on the displayed reference image, and the contour line is displayed on the reference image. It is characterized in that the image is displayed in accordance with the feature portion of the image, and the contour line is also superimposed on the acquired image and displayed.
また、第１０発明に係る画像処理方法は、第７乃至第９発明のいずれか１つにおいて、前記画像処理装置は、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と前記基準画像における各領域の平均画素値との大小関係を前記比較情報として、取得した画像に重畳して表示することを特徴とする。 The image processing method according to a tenth aspect of the present invention is the image processing method according to any one of the seventh to ninth aspects, wherein the image processing apparatus divides the acquired image into a plurality of equal areas, and an average pixel value of each area. And the average pixel value of each region in the reference image are displayed as the comparison information superimposed on the acquired image.
また、第１１発明に係る画像処理装置は、第１乃至第６発明のいずれか１つにおいて、前記比較情報は、前記基準画像の明るさと取得した画像の明るさとを比較するためのインジケータからなることを特徴とする。 An image processing apparatus according to an eleventh aspect of the present invention is the image processing apparatus according to any one of the first to sixth aspects, wherein the comparison information includes an indicator for comparing the brightness of the reference image with the brightness of the acquired image. It is characterized by that.
また、第１２発明に係る画像処理装置は、第１乃至第６発明のいずれか１つにおいて、前記比較情報は、前記基準画像と取得した画像との平均画素値の差分量からなることを特徴とする。 An image processing apparatus according to a twelfth aspect of the present invention is the image processing apparatus according to any one of the first to sixth aspects, wherein the comparison information includes a difference amount of an average pixel value between the reference image and the acquired image. And
第１発明及び第７発明では、良品判定をする場合に良品である判断基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶しておく。撮像部から検査対象物の画像を取得し、対応する識別情報の基準画像と並べて表示する。基準画像の描画位置と取得した画像の描画位置との位置ずれを調整するよう、取得した画像を位置合わせし、基準画像の明るさと取得した画像の明るさとを算出し、算出された明るさに基づいて生成された、両者を比較するための比較情報を、取得された画像上に重畳して表示し、基準画像の明るさと取得した画像の明るさとの差を調整する。これにより、基準画像を撮像した時点と、照明の状態、撮像装置の取り付け位置、姿勢のズレ、レンズの絞り等が存在する場合であっても、基準画像を撮像した時点の撮像環境を再現することができ、検査対象物の良否を高い精度で判定することが可能となる。 In the first invention and the seventh invention, a reference image, which is a determination criterion for a non-defective product when determining a non-defective product, is stored in association with identification information for identifying an inspection object. An image of the inspection object is acquired from the imaging unit, and displayed side by side with the reference image of the corresponding identification information. The acquired image is aligned so that the positional deviation between the drawing position of the reference image and the drawing position of the acquired image is adjusted , the brightness of the reference image and the brightness of the acquired image are calculated, and the calculated brightness is obtained. The comparison information generated based on the comparison is superimposed and displayed on the acquired image, and the difference between the brightness of the reference image and the brightness of the acquired image is adjusted . As a result, the imaging environment at the time of capturing the reference image is reproduced even when the reference image is captured and when there is an illumination state, an attachment position of the imaging device, a deviation in the orientation, a lens diaphragm, or the like. Therefore, it is possible to determine the quality of the inspection object with high accuracy.
第２発明及び第８発明では、表示された基準画像に重ねてグリッド線が表示されており、グリッド線を基準画像の特徴部分に合わせて移動させ、取得した画像にもグリッド線を同じ座標で重ねて表示する。これにより、グリッド線とのずれを確認することで、検査対象物の位置ずれを把握することができ、高い精度で取得した画像の描画位置の位置合わせを行うことが可能となる。 In the second and eighth inventions, the grid lines are displayed so as to overlap the displayed reference image, and the grid lines are moved in accordance with the characteristic portions of the reference image, and the grid lines are also moved to the acquired image with the same coordinates. Overlapping display. Thereby, by confirming the deviation from the grid line, it is possible to grasp the positional deviation of the inspection object, and to align the drawing position of the acquired image with high accuracy.
第３発明及び第９発明では、表示された基準画像に重ねて輪郭を示す輪郭線が表示されており、輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した画像にも輪郭線を同じ座標で重ねて表示する。これにより、輪郭線とのずれを確認することで、検査対象物の位置ずれを把握することができ、高い精度で取得した画像の描画位置の位置合わせを行うことが可能となる。 In the third and ninth inventions, a contour line indicating a contour is displayed so as to be superimposed on the displayed reference image, the contour line is displayed in accordance with the characteristic part of the reference image, and the contour line is also displayed on the acquired image. Are displayed at the same coordinates. Thus, by confirming the deviation from the contour line, it is possible to grasp the positional deviation of the inspection object, and it is possible to align the drawing position of the acquired image with high accuracy.
第４発明及び第１０発明では、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と基準画像における各領域の平均画素値との大小関係を比較情報として、取得した画像に重畳して表示するので、どの領域の明るさが過大であるか又は過小であるかを目視確認することができ、高い精度で明るさ調整を行うことが可能となる。 In the fourth invention and the tenth invention, the acquired image is divided into a plurality of equal areas, and the acquired image is obtained by using the magnitude relationship between the average pixel value of each area and the average pixel value of each area in the reference image as comparison information. Therefore, it is possible to visually check which area is excessively bright or too small, and brightness adjustment can be performed with high accuracy.
第５発明では、取得した画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像のエッジ強度と、基準画像の拡大画像のエッジ強度とを一致させるよう調整することで、エッジ強度の強さを目安にピント合わせを行うことができ、高い精度でピント調整を行うことが可能となる。 In the fifth rounds bright, to generate an enlarged image obtained by enlarging the characteristic portions of the acquired image and the reference image, respectively, and the edge intensity of the generated magnified image will be adjusted to match the edge intensity of the enlarged image of the reference image Thus, focusing can be performed using the strength of the edge strength as a guideline, and it is possible to perform focusing with high accuracy.
第６発明では、取得した画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、基準画像の描画位置と取得した画像の描画位置とを位置合わせするので、より高い精度で位置合わせを行うことが可能となる。
第１１発明では、比較情報は、基準画像の明るさと取得した画像の明るさとを比較するためのインジケータで構成されているので、基準画像の明るさと取得した画像の明るさとの差を目視確認しながら明るさ調整を行うことが可能となる。
第１２発明では、比較情報は、基準画像と取得した画像との平均画素値の差分量で構成されているので、より高い精度で明るさ調整を行うことが可能となる。
In the sixth shot bright, an enlarged image obtained by enlarging the characteristic portions of the acquired image and the reference image generated respectively, on the basis of the generated expanded image and the drawing position of the image acquired with the drawing position of the reference image registration Therefore, it becomes possible to perform alignment with higher accuracy.
In the eleventh aspect of the invention, since the comparison information is composed of an indicator for comparing the brightness of the reference image with the brightness of the acquired image, the difference between the brightness of the reference image and the brightness of the acquired image is visually confirmed. However, it is possible to adjust the brightness.
In the twelfth aspect, since the comparison information is composed of the difference amount between the average pixel values of the reference image and the acquired image, it is possible to perform brightness adjustment with higher accuracy.
本発明では、基準画像を撮像した時点と、照明の状態、撮像装置の取り付け位置、姿勢のズレ、レンズの絞り、ピント調整の相違等が存在する場合であっても、基準画像を撮像した時点の撮像環境を確実に再現することができ、検査対象物の良否を高い精度で判定することが可能となる。 In the present invention, even when there is a difference between the time when the reference image is captured and the illumination state, the mounting position of the imaging device, the displacement of the orientation, the lens aperture, the focus adjustment, and the like, The imaging environment can be reliably reproduced, and the quality of the inspection object can be determined with high accuracy.
以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. Note that elements having the same or similar configuration or function are denoted by the same or similar reference numerals throughout the drawings referred to in the description of this embodiment, and detailed description thereof is omitted.
図１は、本発明の実施の形態に係る画像処理装置を含む画像処理センサの構成を示す模式図である。図１に示すように、本実施の形態に係る画像処理センサは、撮像装置（撮像部）１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている画像処理装置２とで構成されている。画像処理装置２は表示装置（図示せず）と接続されており、画像処理制御部２０１と照明制御部２０２とを内蔵している。 FIG. 1 is a schematic diagram showing a configuration of an image processing sensor including an image processing apparatus according to an embodiment of the present invention. As shown in FIG. 1, an image processing sensor according to the present embodiment includes an imaging device (imaging unit) 1 and an image processing device 2 connected by a connection cable 3 so as to be able to perform data communication with the imaging device 1. It consists of and. The image processing device 2 is connected to a display device (not shown) and includes an image processing control unit 201 and an illumination control unit 202.
また、照明制御部２０２は、照明装置４とデータ通信することが可能に接続ケーブル３で接続されている。コンベア５上を移動してくる検査対象物６に対して、照明装置４で光を照射し、撮像装置１で撮像する。撮像した検査対象物６の画像に基づいて、検査対象物６が良品であるか不良品であるかを判定する。 Moreover, the illumination control part 202 is connected with the connection cable 3 so that data communication with the illuminating device 4 is possible. The inspection object 6 moving on the conveyor 5 is irradiated with light by the illumination device 4 and imaged by the imaging device 1. Based on the captured image of the inspection object 6, it is determined whether the inspection object 6 is a good product or a defective product.
撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物６を撮像する撮像素子を有するカメラモジュールを備えている。撮像素子としてはＣＭＯＳ基板を備えており、例えば撮像したカラー画像は、ＣＭＯＳ基板にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像へ変換される。 The imaging apparatus 1 includes an FPGA, a DSP, and the like that execute image processing therein, and includes a camera module that includes an imaging element that images the inspection object 6. The imaging device includes a CMOS substrate. For example, a captured color image is converted into an HDR image based on conversion characteristics that expand the dynamic range on the CMOS substrate.
図２は、本発明の実施の形態に係る画像処理装置２の構成を示すブロック図である。本発明の実施の形態に係る画像処理装置２は、少なくともＣＰＵ（中央演算装置）２１、メモリ２２、記憶装置２３、Ｉ／Ｏインタフェース２４、ビデオインタフェース２５、可搬型ディスクドライブ２６、通信インタフェース２７及び上述したハードウェアを接続する内部バス２８で構成されている。 FIG. 2 is a block diagram showing a configuration of the image processing apparatus 2 according to the embodiment of the present invention. The image processing apparatus 2 according to the embodiment of the present invention includes at least a CPU (Central Processing Unit) 21, a memory 22, a storage device 23, an I / O interface 24, a video interface 25, a portable disk drive 26, a communication interface 27, and The internal bus 28 connects the hardware described above.
ＣＰＵ２１は、内部バス２８を介して画像処理装置２の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置２３に記憶されたコンピュータプログラム１００に従って、種々のソフトウェア的機能を実行する。メモリ２２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１００の実行時にロードモジュールが展開され、コンピュータプログラム１００の実行時に発生する一時的なデータ等を記憶する。 The CPU 21 is connected to the above-described hardware units of the image processing apparatus 2 via the internal bus 28, controls the operation of the above-described hardware units, and follows the computer program 100 stored in the storage device 23. Perform various software functions. The memory 22 is composed of a volatile memory such as SRAM or SDRAM, and a load module is expanded when the computer program 100 is executed, and stores temporary data generated when the computer program 100 is executed.
記憶装置２３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置２３に記憶されたコンピュータプログラム１００は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体９０から、可搬型ディスクドライブ２６によりダウンロードされ、実行時には記憶装置２３からメモリ２２へ展開して実行される。もちろん、通信インタフェース２７を介して接続されている外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。 The storage device 23 includes a built-in fixed storage device (hard disk), a ROM, and the like. The computer program 100 stored in the storage device 23 is downloaded by a portable disk drive 26 from a portable recording medium 90 such as a DVD or CD-ROM in which information such as programs and data is recorded, and from the storage device 23 at the time of execution. The program is expanded into the memory 22 and executed. Of course, a computer program downloaded from an external computer connected via the communication interface 27 may be used.
通信インタフェース２７は内部バス２８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、撮像装置１、照明装置４、外部コンピュータ等とデータ送受信を行うことが可能となっている。 The communication interface 27 is connected to an internal bus 28, and by connecting to an external network such as the Internet, a LAN, or a WAN, data can be transmitted / received to / from the imaging device 1, the lighting device 4, an external computer, and the like. It has become.
Ｉ／Ｏインタフェース２４は、キーボード５１、マウス５２等の入力装置と接続され、データの入力を受け付ける。ビデオインタフェース２５は、ＣＲＴディスプレイ、液晶ディスプレイ等の表示装置５３と接続され、所定の画像を表示する。 The I / O interface 24 is connected to input devices such as a keyboard 51 and a mouse 52, and receives data input. The video interface 25 is connected to a display device 53 such as a CRT display or a liquid crystal display, and displays a predetermined image.
図３は、本発明の実施の形態に係る画像処理装置２を含む画像処理センサの、撮像環境を設定するパラメータを示す模式図である。図３に示すように、本実施の形態に係る画像処理センサは、撮像装置１の位置座標（Ｘ、Ｙ、Ｚ）と、ＸＹ平面上での首振り傾斜角度θとを調整対象のパラメータとして調整することができる。また撮像装置１はピント及び明るさを調整することができる。具体的にはフォーカスリングによりピントを調整し、絞りリングにより明るさを調整する。 FIG. 3 is a schematic diagram showing parameters for setting the imaging environment of the image processing sensor including the image processing apparatus 2 according to the embodiment of the present invention. As shown in FIG. 3, the image processing sensor according to the present embodiment uses the position coordinates (X, Y, Z) of the imaging device 1 and the swing inclination angle θ on the XY plane as parameters to be adjusted. Can be adjusted. The imaging device 1 can adjust the focus and brightness. Specifically, the focus is adjusted with the focus ring, and the brightness is adjusted with the aperture ring.
同様に検査対象物６の位置座標（Ｘ、Ｙ）と、ＸＹ平面上での首振り傾斜角度θとを調整対象のパラメータとして調整することができる。なお、検査対象物６は台座上に載置するので、Ｚ軸方向への移動機構はない。 Similarly, the position coordinates (X, Y) of the inspection object 6 and the swing inclination angle θ on the XY plane can be adjusted as parameters to be adjusted. Since the inspection object 6 is placed on the pedestal, there is no moving mechanism in the Z-axis direction.
また、照明装置４は、照明装置４の位置座標（Ｘ、Ｙ、Ｚ）及び照射角度αを調整することができ、照明コントローラ４１を介して照度を調整することもできる。これらを調整することにより、記憶装置２３に記憶されている基準画像と同様の画像を撮像することができる。 In addition, the illumination device 4 can adjust the position coordinates (X, Y, Z) and the irradiation angle α of the illumination device 4, and can also adjust the illuminance via the illumination controller 41. By adjusting these, an image similar to the reference image stored in the storage device 23 can be taken.
図４は、本発明の実施の形態に係る画像処理装置２の機能ブロック図である。基準画像記憶部４０１は、良品判定の基準となる基準画像を、検査対象物６を識別する識別情報と対応付けて記憶装置２３に記憶する。基準画像は、一の検査対象物６について一又は複数、記憶すれば良い。 FIG. 4 is a functional block diagram of the image processing apparatus 2 according to the embodiment of the present invention. The reference image storage unit 401 stores, in the storage device 23, a reference image serving as a reference for non-defective product determination in association with identification information for identifying the inspection object 6. One or a plurality of reference images may be stored for one inspection object 6.
画像取得部４０２は、撮像装置１で撮像された検査対象物６の画像を取得する。画像表示部４０３は、取得した検査対象物６の画像と、対応する識別情報の基準画像とを並べて表示する。検査対象物６の画像と、該検査対象物６の基準画像とを並べて表示することにより、両画像の撮像条件の差等を比較することができる。 The image acquisition unit 402 acquires an image of the inspection target 6 captured by the imaging device 1. The image display unit 403 displays the acquired image of the inspection object 6 and the reference image of the corresponding identification information side by side. By displaying the image of the inspection object 6 and the reference image of the inspection object 6 side by side, it is possible to compare the difference in imaging conditions between the two images.
位置合わせ部４０４は、基準画像の描画位置と取得した画像の描画位置とを位置合わせする。基準画像の描画位置と取得した画像の描画位置との位置合わせには、基準画像の特徴部分に合わせて表示された縦横のグリッド線を用いても良いし、基準画像の特徴部分の輪郭として表示された輪郭線を用いても良い。 The alignment unit 404 aligns the drawing position of the reference image and the drawing position of the acquired image. For alignment between the drawing position of the reference image and the drawing position of the acquired image, vertical and horizontal grid lines displayed in accordance with the feature part of the reference image may be used, or the outline of the feature part of the reference image is displayed. A contour line may be used.
明るさ調整部４０５は、基準画像の明るさと取得した画像の明るさとを一致させるよう調整する。明るさ調整部４０５は、例えば取得した検査対象物６の画像を２５個の均等な領域に分割し、分割した各領域の平均画素値と基準画像における各領域の平均画素値との大小関係を判定して、判定結果を取得した検査対象物６の画像に重畳して表示する。 The brightness adjustment unit 405 performs adjustment so that the brightness of the reference image matches the brightness of the acquired image. For example, the brightness adjustment unit 405 divides the acquired image of the inspection object 6 into 25 equal areas, and determines the magnitude relationship between the average pixel value of each divided area and the average pixel value of each area in the reference image. Determine and display the determination result superimposed on the image of the inspection object 6 that has been acquired.
ピント調整部４０６は、基準画像のピントと取得した画像のピントとを一致させるよう調整する。ピント調整部４０６は、取得した検査対象物６の画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、取得した画像の拡大画像のエッジ強度と、基準画像の拡大画像のエッジ強度とを一致させるよう調整する。 The focus adjustment unit 406 performs adjustment so that the focus of the reference image matches the focus of the acquired image. The focus adjustment unit 406 generates enlarged images obtained by enlarging the acquired image of the inspection object 6 and the characteristic part of the reference image, and the edge strength of the enlarged image of the acquired image and the edge strength of the enlarged image of the reference image Adjust to match.
なお、明るさ調整部４０５で明るさを調整した後に、描画位置を微調整する位置微調整部４０７を備えても良い。位置微調整部４０７は、取得した検査対象物６の画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、基準画像の描画位置と取得した画像の描画位置とを位置合わせする。 In addition, after adjusting the brightness with the brightness adjustment unit 405, a fine position adjustment unit 407 for finely adjusting the drawing position may be provided. The position fine adjustment unit 407 generates an enlarged image obtained by enlarging the acquired image of the inspection object 6 and the characteristic portion of the reference image, and draws the reference image and the acquired image based on the generated enlarged image. Align with the position.
図５は、本発明の実施の形態に係る画像処理装置２のＣＰＵ２１の処理手順を示すフローチャートである。図５において、画像処理装置２のＣＰＵ２１は、良否判定の基準となる基準画像を取得して、記憶装置２３に記憶する（ステップＳ５０１）。 FIG. 5 is a flowchart showing a processing procedure of the CPU 21 of the image processing apparatus 2 according to the embodiment of the present invention. In FIG. 5, the CPU 21 of the image processing apparatus 2 acquires a reference image serving as a reference for pass / fail judgment and stores it in the storage device 23 (step S <b> 501).
ＣＰＵ２１は、検査対象物６の画像を取得し（ステップＳ５０２）、記憶してある基準画像と並べて表示装置５３に表示する（ステップＳ５０３）。図６は、本発明の実施の形態に係る画像処理装置２の位置合わせ画面の画面イメージ図である。 The CPU 21 acquires an image of the inspection object 6 (step S502), and displays the image on the display device 53 along with the stored reference image (step S503). FIG. 6 is a screen image diagram of the alignment screen of the image processing apparatus 2 according to the embodiment of the present invention.
図６において、基準画像表示部６１には基準画像が、主画像表示部６２には取得した検査対象物６の画像が表示されている。両者が同じ環境で撮像された画像であれば、画像中の検査対象物６の位置、背景画像の明るさ、ピント等が一致しているはずである。しかし、通常は様々な周囲環境が相違しているので一致しない。 In FIG. 6, the reference image display unit 61 displays a reference image, and the main image display unit 62 displays the acquired image of the inspection object 6. If both images are captured in the same environment, the position of the inspection object 6 in the image, the brightness of the background image, the focus, etc. should match. However, they usually do not match because the various surrounding environments are different.
図５に戻って、画像処理装置２のＣＰＵ２１は、基準画像の描画位置と取得した画像の描画位置とを位置合わせする（ステップＳ５０４）。基準画像の描画位置と取得した画像の描画位置との位置合わせには、基準画像の特徴部分に合わせて表示された縦横のグリッド線、又は基準画像の特徴部分の輪郭として表示された輪郭線を、位置合わせ用の補助線として用いる。 Returning to FIG. 5, the CPU 21 of the image processing apparatus 2 aligns the drawing position of the reference image and the drawing position of the acquired image (step S504). For the alignment between the drawing position of the reference image and the drawing position of the acquired image, vertical and horizontal grid lines displayed in accordance with the feature portion of the reference image or contour lines displayed as the outline of the feature portion of the reference image are used. Used as an auxiliary line for alignment.
なお、図示しないが、一般的に一の画像処理装置２に対して、二以上の撮像装置１を接続し、各撮像装置１から取得する画像に対して、画像処理装置２において個々の撮像装置１に設定されている画像処理フローに基づいて、画像検査を行う。このため、撮像装置１が接続される各チャネルに対応して設定されている画像検査用の画像処理フローに対応して、各々基準画像を設定し、記憶するようにしている。 Although not shown, generally two or more imaging devices 1 are connected to one image processing device 2, and the individual image capturing devices in the image processing device 2 for images acquired from each imaging device 1. Based on the image processing flow set to 1, image inspection is performed. For this reason, each reference image is set and stored in correspondence with the image processing flow for image inspection set corresponding to each channel to which the imaging device 1 is connected.
図６は、記憶されている基準画像と取得した入力画像との位置合わせを行うための初期画面の例示図である。図示しないが、図６の画面が表示される前に、画像処理装置２に対して、複数の撮像装置１が接続されていることを画像処理装置２が認識するか、又は画像処理装置２が複数の画像処理フローを保持していることを認識する場合、どの撮像装置１又はどの画像処理フローに対する基準画像と取得した入力画像との位置合わせを行うかをユーザに選択させる画面を提供する。ここで、ユーザが一の撮像装置１又は画像処理フローを選択した場合、選択された撮像装置１又は画像処理フローに対応付けて記憶されている基準画像を記憶装置２３から読み出し、図６に示す初期画面が表示される。一方、ユーザにより選択された撮像装置１で撮像された動画は、入力画像として、図６の右側に表示される。 FIG. 6 is an exemplary diagram of an initial screen for performing alignment between the stored reference image and the acquired input image. Although not shown, before the screen of FIG. 6 is displayed, the image processing device 2 recognizes that the plurality of imaging devices 1 are connected to the image processing device 2, or the image processing device 2 When recognizing that a plurality of image processing flows are held, a screen is provided that allows the user to select which imaging device 1 or which image processing flow the reference image and the acquired input image should be aligned with. Here, when the user selects one imaging device 1 or image processing flow, the reference image stored in association with the selected imaging device 1 or image processing flow is read from the storage device 23 and shown in FIG. The initial screen is displayed. On the other hand, the moving image captured by the imaging device 1 selected by the user is displayed on the right side of FIG. 6 as an input image.
図６の例では、左側に記憶装置２３に記憶されている基準画像を読み出して表示する基準画像表示部６１を、右側に撮像装置１から取得した入力画像を表示する入力画像表示部６２を、それぞれ設けてある。また、基準画像と入力画像との間の位置合わせを容易に行うための機能として、補助線指定手段６３が存在する。補助線指定手段６３は、「グリッド」又は「輪郭線」の選択を受け付けることができる。いずれか一方の選択を受け付けても良いし、両方の選択を受け付けても良い。 In the example of FIG. 6, the reference image display unit 61 that reads and displays the reference image stored in the storage device 23 on the left side, and the input image display unit 62 that displays the input image acquired from the imaging device 1 on the right side, Each is provided. Further, an auxiliary line designating unit 63 exists as a function for easily performing alignment between the reference image and the input image. The auxiliary line designating unit 63 can accept selection of “grid” or “contour line”. Either one of the selections may be accepted, or both the selections may be accepted.
「グリッド」の選択を受け付けた場合、基準画像表示部６１及び入力画像表示部６２に対して設定されている特定のＸ座標、Ｙ座標からなる二次元座標位置に、初期設定位置として各座標方向におのおの平行に延びる少なくとも２本、計４本のグリッド線が表示される。言うまでもなく、基準画像表示部６１及び入力画像表示部６２に対して、同じ座標位置にグリッド線が表示される。また、「輪郭線」は、基準画像表示部６１及び入力画像表示部６２に表示される検査対象物６の特徴部分の輪郭をエッジ処理等により検出して、表示する機能である。なお、グリッド線の位置及び角度は、マウス５２等の操作により自由に変更することができる。 When the selection of “grid” is accepted, each coordinate direction is set as an initial setting position at a two-dimensional coordinate position composed of specific X and Y coordinates set for the reference image display unit 61 and the input image display unit 62. A total of four grid lines are displayed, each extending at least two in parallel. Needless to say, grid lines are displayed at the same coordinate positions on the reference image display unit 61 and the input image display unit 62. The “contour line” is a function for detecting and displaying the contour of the characteristic part of the inspection object 6 displayed on the reference image display unit 61 and the input image display unit 62 by edge processing or the like. Note that the position and angle of the grid lines can be freely changed by operating the mouse 52 or the like.
図７は、グリッド線を用いた位置合わせのための位置ずれ確認操作の例示図である。図７（ａ）に示すように、基準画像表示部６１に検査対象物６の画像と重畳してグリッド線が表示されている。説明を簡単にするために、Ｘ軸方向のグリッド線の位置は検査対象物６の上下端の位置と一致しており、Ｙ軸方向のグリッド線の位置は左側のみ検査対象物６の左端の位置と一致している。 FIG. 7 is an exemplary diagram of a misregistration confirmation operation for alignment using grid lines. As shown in FIG. 7A, grid lines are displayed on the reference image display unit 61 so as to be superimposed on the image of the inspection object 6. In order to simplify the description, the position of the grid line in the X-axis direction matches the position of the upper and lower ends of the inspection object 6, and the position of the grid line in the Y-axis direction is the left end of the inspection object 6 only on the left side. It matches the position.
グリッド線は、入力画像表示部６２にもリンクして表示されている。つまり、図７（ｂ）にも図７（ａ）と同じ座標でグリッド線が表示されており、基準画像表示部６１内（図７（ａ））でグリッド線を移動させた場合、入力画像表示部６２内（図７（ｂ））のグリッド線も同様に移動するし、逆に入力画像表示部６２内（図７（ｂ））でグリッド線を移動させた場合、基準画像表示部６１内（図７（ａ））のグリッド線も同様に移動する。つまり、基準画像表示部６１及び入力画像表示部６２に表示されているグリッド線の座標位置を、画像処理装置２のＣＰＵ２１にて認識しており、基準画像表示部６１及び入力画像表示部６２のグリッド線が
それぞれ同じ座標位置に表示されるよう制御している。
The grid lines are also displayed linked to the input image display unit 62. That is, grid lines are also displayed in FIG. 7B at the same coordinates as in FIG. 7A, and when the grid lines are moved in the reference image display unit 61 (FIG. 7A), the input image The grid lines in the display unit 62 (FIG. 7B) move in the same manner. Conversely, when the grid lines are moved in the input image display unit 62 (FIG. 7B), the reference image display unit 61 is moved. The grid lines inside (FIG. 7A) move in the same manner. That is, the coordinate positions of the grid lines displayed on the reference image display unit 61 and the input image display unit 62 are recognized by the CPU 21 of the image processing apparatus 2, and the reference image display unit 61 and the input image display unit 62 The grid lines are controlled to be displayed at the same coordinate positions.
例えば図７（ｃ）に示すように、基準画像表示部６１内で、マウス５２等を用いて右側のＹ軸方向のグリッド線を選択し、選択したグリッド線の位置が基準画像の右端の位置に一致するようにグリッド線を移動させる。この場合、図７（ｄ）に示すように、入力画像表示部６２内でも右側のＹ軸方向のグリッド線が同様に移動する。したがって、グリッド線を位置合わせ用の補助線として用いることにより、取得した画像の描画位置が基準画像の描画位置からどの程度ずれているのかを、目視確認することができる。 For example, as shown in FIG. 7C, a grid line in the right Y-axis direction is selected using the mouse 52 or the like in the reference image display unit 61, and the position of the selected grid line is the position of the right end of the reference image. Move the grid lines to match In this case, as shown in FIG. 7D, the grid line in the right Y-axis direction moves in the input image display section 62 in the same manner. Therefore, by using the grid line as an auxiliary line for alignment, it is possible to visually check how much the drawing position of the acquired image is deviated from the drawing position of the reference image.
なお、基準画像として撮像されている検査対象物６が傾きを有する場合もある。この場合、グリッド線を１本ずつ任意の角度に傾けることもできる。図８は、検査対象物６が傾いている場合のグリッド線の例示図である。図８に示すように、検査対象物６の傾きに応じてグリッド線を傾けることが可能である。 Note that the inspection object 6 captured as the reference image may have an inclination. In this case, the grid lines can be inclined one by one at an arbitrary angle. FIG. 8 is an illustration of grid lines when the inspection object 6 is tilted. As shown in FIG. 8, the grid line can be inclined according to the inclination of the inspection object 6.
また、図６の補助線指定手段６３で「輪郭線」の選択を受け付けた場合、周知の輪郭抽出アルゴリズムを利用して、基準画像の特徴部分の輪郭線を抽出して表示する。表示された輪郭線を、取得した画像にも同じ座標で表示することにより、取得した検査対象物６の画像の描画位置と基準画像の描画位置との位置ずれ及び輪郭線で囲われた二つの画像の大きさの相違を目視で確認することができる。 Further, when the selection of “contour line” is received by the auxiliary line designating unit 63 of FIG. 6, the contour line of the feature portion of the reference image is extracted and displayed using a known contour extraction algorithm. By displaying the displayed contour line on the acquired image with the same coordinates, the positional deviation between the drawing position of the acquired image of the inspection object 6 and the drawing position of the reference image, and two lines surrounded by the contour line are displayed. The difference in image size can be visually confirmed.
なお、図示しないが、図６に示す基準画像と入力画像との位置合わせを行うための初期画面に、上述した機能に加え、ユーザが選択可能な機能として、入力画像表示部６２に表示される入力画像に基準画像を半透明状態で重ね合わせて表示する機能を追加しても良い。これにより、入力画像の基準画像に対する位置ずれをより明確に目視で確認することが可能となり、画面表示を見ながら、撮像装置１の位置あるいは検査対象物６の位置を変更することにより、より簡単に入力画像と基準画像との位置合わせを行うことができる。また、基準画像を重ね合わせて表示する機能は、図６に示す初期画面の機能として追加しても良いし、新規の重ね合わせ表示部（図示せず）を、既存の基準画像表示部６１及び入力画像表示部６２と同時に表示させるようにしても良い。 Although not shown, the initial screen shown in FIG. 6 for aligning the reference image and the input image is displayed on the input image display unit 62 as a user-selectable function in addition to the functions described above. A function of superimposing and displaying the reference image in a semi-transparent state on the input image may be added. Thereby, it becomes possible to visually confirm the positional deviation of the input image with respect to the reference image, and by changing the position of the imaging device 1 or the position of the inspection object 6 while viewing the screen display, it is easier. In addition, the input image and the reference image can be aligned. Further, the function of displaying the reference image in a superimposed manner may be added as a function of the initial screen shown in FIG. 6, or a new overlay display unit (not shown) is added to the existing reference image display unit 61 and You may make it display simultaneously with the input image display part 62. FIG.
図９は、輪郭線を用いた位置合わせのための位置ずれ確認操作の例示図である。図９（ａ）は基準画像の例示図であり、図９（ｂ）は取得した検査対象物６の画像の例示図である。図９（ａ）の基準画像表示部６１内では、基準画像の特徴部分の輪郭線９１を表示している。図９（ｂ）にも、基準画像表示部６１と同じ座標に輪郭線９１を表示しており、基準画像の描画位置と取得した入力画像の描画位置との間に位置ずれが生じていることがわかる。つまり、基準画像内の検査対象物６の特徴部分に対してエッジ処理等を用いて自動的に設定された輪郭線の位置（基準画像表示部６１内の座標位置）と同じ座標で入力画像表示部６２にも輪郭線が表示される。 FIG. 9 is an exemplary view of a misregistration confirmation operation for alignment using contour lines. FIG. 9A is an exemplary diagram of a reference image, and FIG. 9B is an exemplary diagram of an acquired image of the inspection object 6. In the reference image display unit 61 of FIG. 9A, the outline 91 of the characteristic part of the reference image is displayed. Also in FIG. 9B, the contour line 91 is displayed at the same coordinates as the reference image display unit 61, and there is a displacement between the drawing position of the reference image and the drawing position of the acquired input image. I understand. That is, the input image is displayed with the same coordinates as the contour line position (coordinate position in the reference image display unit 61) automatically set by using edge processing or the like for the characteristic portion of the inspection object 6 in the reference image. A contour line is also displayed on the part 62.
位置ずれが確認できた場合、撮像装置１の位置あるいは検査対象物６の位置を変更することにより、位置ずれ（より詳細に言えば、検査対象物６の撮像領域に対する大きさのずれも含む）を解消する。具体的には、図３に示す撮像装置１の位置座標（Ｘ、Ｙ、Ｚ）、及びＸＹ平面上での首振り傾斜角度θの調整、あるいは検査対象物６の位置座標（Ｘ、Ｙ）及びＸＹ平面上での首振り傾斜角度θの調整を行う。 When the positional deviation can be confirmed, the positional deviation (including the deviation of the size of the inspection target 6 with respect to the imaging region) is changed by changing the position of the imaging device 1 or the position of the inspection target 6. Is solved. Specifically, the position coordinates (X, Y, Z) of the imaging apparatus 1 shown in FIG. 3 and the adjustment of the swing inclination angle θ on the XY plane, or the position coordinates (X, Y) of the inspection object 6. And the swing inclination angle θ on the XY plane is adjusted.
図５に戻って、画像処理装置２のＣＰＵ２１は、基準画像の明るさと取得した画像の明るさとを一致させるよう調整する（ステップＳ５０５）。本実施の形態では、取得した検査対象物６の画像を２５個の均等な領域に分割し、分割した各領域の平均画素値と基準画像における各領域の平均画素値との大小関係を判定して、判定結果を取得した検査対象物６の画像に重畳して表示する。 Returning to FIG. 5, the CPU 21 of the image processing apparatus 2 adjusts the brightness of the reference image to match the brightness of the acquired image (step S <b> 505). In the present embodiment, the acquired image of the inspection object 6 is divided into 25 equal areas, and the magnitude relationship between the average pixel value of each divided area and the average pixel value of each area in the reference image is determined. Thus, the determination result is superimposed on the acquired image of the inspection object 6 and displayed.
図１０は、本発明の実施の形態に係る画像処理装置２の明るさ調整画面の画面イメージ図である。画面の明るさ調整は、図６から図９を用いて説明した基準画像と入力画像との位置合わせを行った後に行う。 FIG. 10 is a screen image diagram of the brightness adjustment screen of the image processing apparatus 2 according to the embodiment of the present invention. The screen brightness adjustment is performed after the alignment between the reference image and the input image described with reference to FIGS. 6 to 9 is performed.
図１０において、基準画像表示部６１には基準画像が、入力画像表示部６２には取得した入力画像が表示されている。言うまでもなく、入力画像表示部６２に表示されている入力画像は、上述した方法にて、基準画像との位置合わせが完了した状態で再度撮像装置１から取得された入力画像である。基準画像の明るさと取得した画像の明るさとは、平均画素値を用いて比較する。 In FIG. 10, the reference image display unit 61 displays the reference image, and the input image display unit 62 displays the acquired input image. Needless to say, the input image displayed on the input image display unit 62 is an input image acquired again from the imaging apparatus 1 in a state where the alignment with the reference image is completed by the method described above. The brightness of the reference image and the brightness of the acquired image are compared using the average pixel value.
まず、図１０の基準画像表示部６１の基準画像を均等な複数の領域、例えば２５個の均等な領域に分割し、各領域の画素値の平均値である平均画素値を算出する。次に、入力画像表示部６２の入力画像も均等な複数の領域、例えば２５個の均等な領域に分割し、各領域の画素値の平均値である平均画素値を算出する。つまり、基準画像及び入力画像は各画像表示部内を同じサイズにて分割し、それぞれ分割された分割領域について、平均輝度値を算出する。 First, the reference image of the reference image display unit 61 in FIG. 10 is divided into a plurality of equal areas, for example, 25 equal areas, and an average pixel value that is an average value of pixel values in each area is calculated. Next, the input image of the input image display unit 62 is also divided into a plurality of equal areas, for example, 25 equal areas, and an average pixel value that is an average value of pixel values in each area is calculated. That is, the reference image and the input image are divided into the same size in each image display unit, and an average luminance value is calculated for each divided region.
図１０の入力画像表示部６２には、取得した入力画像と重畳して、２５個の分割した領域ごとに、明るさのインジケータを表示している。領域ごとに算出した平均画素値を、基準画像の領域ごとに算出した平均画素値と比較し、基準画像の平均画素値より小さい場合には明るさが不足している旨を示すインジケータ、例えば青色の矩形を表示する。インジケータの大きさは、明るさが不足している度合いを示しており、大きいほど明るさの不足度合いが大きいことを示している。 The input image display unit 62 in FIG. 10 displays a brightness indicator for each of the 25 divided regions so as to be superimposed on the acquired input image. An average pixel value calculated for each area is compared with an average pixel value calculated for each area of the reference image. If the average pixel value is smaller than the average pixel value of the reference image, an indicator indicating that the brightness is insufficient, for example, blue Displays a rectangle. The size of the indicator indicates the degree of lack of brightness. The larger the indicator, the greater the degree of lack of brightness.
また、領域ごとに算出した平均画素値を、基準画像の領域ごとに算出した平均画素値と比較し、基準画像の平均画素値より大きい場合には明るさが過大である旨を示すインジケータ、例えば赤色の矩形を表示する。インジケータの大きさは、明るさが過大である度合いを示しており、大きいほど明るさが過大である度合いが大きいことを示している。 Further, an average pixel value calculated for each region is compared with an average pixel value calculated for each region of the reference image, and an indicator indicating that the brightness is excessive when the average pixel value is larger than the average pixel value of the reference image, for example, Displays a red rectangle. The size of the indicator indicates the degree that the brightness is excessive, and the larger the indicator is, the higher the degree that the brightness is excessive.
インジケータは、図１０に示すような矩形表示に限定されるものではなく、他の形状であっても良いし、色で区別するのではなく形状で区別しても良い。もちろん、平均画素値の差分量を数値表示しても良い。さらに、各領域の中央に表示することに限定されるものではなく、領域内であればどこに表示されていても良い。 The indicator is not limited to the rectangular display as shown in FIG. 10, and may have another shape, and may be distinguished not by color but by shape. Of course, the difference amount of the average pixel value may be numerically displayed. Furthermore, the display is not limited to the center of each area, and may be displayed anywhere within the area.
なお、本実施の形態では、入力画像を表示する入力画像表示部６２内を平均輝度値を求めたサイズに分割し、それぞれ分割された領域ごとに、基準画像の平均輝度値との比較を行い、その差の程度を入力画像表示部６２にて表示している。もちろん、斯かる表示方法に限定されるものではなく、基準画像表示部６１及び入力画像表示部６２にそれぞれ輝度値の大きさを表示する方法を採用しても良い。なお、本実施の形態では、平均輝度値の差分をグラフィカルに表現しているが、数値を直接表示しても良い。 In the present embodiment, the input image display unit 62 that displays the input image is divided into the average luminance value obtained, and is compared with the average luminance value of the reference image for each divided area. The degree of the difference is displayed on the input image display unit 62. Of course, the display method is not limited to this, and a method of displaying the magnitude of the luminance value on the reference image display unit 61 and the input image display unit 62 may be employed. In the present embodiment, the difference between the average luminance values is graphically expressed, but numerical values may be directly displayed.
明るさの相違が確認できた場合、撮像装置１の絞りリングの回転位置あるいは照明装置４の位置及び照射角度αを変更する、又は照明コントローラ４１を介して照度を変更することにより、明るさ調整を行う。具体的には、図３に示す撮像装置１の絞りリングの回転位置あるいは照明装置４の位置座標（Ｘ、Ｙ、Ｚ）及び照射角度αの調整、照明コントローラ４１を介した照度の調整を行う。 When a difference in brightness is confirmed, the brightness adjustment is performed by changing the rotation position of the aperture ring of the imaging device 1 or the position of the illumination device 4 and the irradiation angle α, or changing the illuminance via the illumination controller 41. I do. Specifically, the rotation position of the aperture ring of the imaging device 1 shown in FIG. 3 or the position coordinates (X, Y, Z) of the illumination device 4 and the irradiation angle α are adjusted, and the illuminance is adjusted via the illumination controller 41. .
図５に戻って、画像処理装置２のＣＰＵ２１は、明るさを調整した後に、取得した検査対象物６の画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、基準画像の描画位置と取得した画像の描画位置とを位置合わせする（ステップＳ５０６）。上述したステップＳ５０４における位置合わせは画素の位置合わせであり、ステップＳ５０６は、特徴部分に焦点を合わせた精密な位置合わせとして位置付けることができる。 Returning to FIG. 5, after adjusting the brightness, the CPU 21 of the image processing device 2 generates an enlarged image obtained by enlarging the acquired image of the inspection object 6 and the characteristic portion of the reference image, and generates the enlarged image thus generated. Based on this, the drawing position of the reference image is aligned with the drawing position of the acquired image (step S506). The alignment in step S504 described above is pixel alignment, and step S506 can be positioned as a precise alignment that focuses on the feature portion.
図１１は、本発明の実施の形態に係る画像処理装置２の位置微調整画面の画面イメージ図である。図１１において、基準画像表示部６１には基準画像が、入力画像表示部６２には取得した検査対象物６の画像が表示されている。位置の微調整は、明るさ調整が完了した時点で、指定を受け付けた特徴部分を拡大表示して行う。 FIG. 11 is a screen image diagram of the position fine adjustment screen of the image processing apparatus 2 according to the embodiment of the present invention. In FIG. 11, the reference image display unit 61 displays a reference image, and the input image display unit 62 displays the acquired image of the inspection object 6. The fine adjustment of the position is performed by enlarging and displaying the feature portion for which the designation is accepted when the brightness adjustment is completed.
まず、図１１の基準画像表示部６１の基準画像に対して、矩形の指定領域１１３を設定する。基準画像表示部６１に矩形の指定領域１１３を設定した場合、入力画像表示部６２の同じ座標に矩形の指定領域１１４が自動的に設定される。指定領域１１３は、画像処理技術分野では周知であるウインドウの設定機能で設定され、形状及びサイズを任意に変更することができ、ユーザの所望する任意の位置に設定することができる。また、上記実施の形態では、指定領域１１３を基準画像表示部６１に設定することにより、自動的に入力画像表示部６２の同じ座標位置に指定領域１１４を表示するようにしているが、逆に、指定領域１１３を入力画像表示部６２に設定することにより、自動的に基準画像表示部６１の同じ座標位置に指定領域１１４を表示するようにしても良い。 First, a rectangular designated area 113 is set for the reference image of the reference image display unit 61 of FIG. When the rectangular designation area 113 is set in the reference image display section 61, the rectangular designation area 114 is automatically set at the same coordinates of the input image display section 62. The designated area 113 is set by a window setting function well known in the image processing technology field, and can be arbitrarily changed in shape and size, and can be set at an arbitrary position desired by the user. In the above embodiment, the designated area 113 is set in the reference image display section 61 so that the designated area 114 is automatically displayed at the same coordinate position of the input image display section 62. The designated area 114 may be automatically displayed at the same coordinate position of the reference image display section 61 by setting the designated area 113 in the input image display section 62.
そして、図１１の基準画像表示部６１に設定された矩形の指定領域１１３内の画像は、基準画像用の拡大表示部１１１に拡大して表示される。同様に、入力画像表示部６２に設定された矩形の指定領域１１４内の画像は、入力画像用の拡大表示部１１２に拡大して表示される。 Then, the image in the rectangular designated area 113 set in the reference image display unit 61 of FIG. 11 is enlarged and displayed on the enlarged display unit 111 for the reference image. Similarly, the image in the rectangular designated area 114 set in the input image display unit 62 is enlarged and displayed on the enlarged display unit 112 for input images.
拡大表示機能は、記憶装置２３に記憶される画像に対して、指定領域１１３にて指定された領域内のの画像のみを表示することで実現できる。このとき、補助線として表示されているグリッド線も、拡大表示部１１１及び１１２の同じ位置に拡大して表示されるので、取得した検査対象物６の画像の描画位置が、基準画像の描画位置からどの程度ずれているのかをより正確に把握することができ、位置合わせをより精緻に行うことができる。 The enlarged display function can be realized by displaying only the image in the area designated in the designated area 113 with respect to the image stored in the storage device 23. At this time, since the grid lines displayed as the auxiliary lines are also enlarged and displayed at the same position in the enlarged display units 111 and 112, the drawing position of the acquired image of the inspection object 6 is the drawing position of the reference image. It is possible to grasp the degree of deviation from the position more accurately and to perform the alignment more precisely.
なお、拡大表示部１１１、１１２に表示される補助線は、グリッド線に限定されるものではなく、輪郭線であっても良い。輪郭線についても、拡大表示部１１１及び１１２の同じ位置に拡大して表示されるので、取得した検査対象物６の画像の描画位置が、基準画像の描画位置からどの程度ずれているのかをより正確に把握することができる。 The auxiliary lines displayed on the enlarged display units 111 and 112 are not limited to grid lines, but may be contour lines. Since the contour line is also enlarged and displayed at the same position in the enlarged display portions 111 and 112, it is more determined how much the drawing position of the acquired image of the inspection object 6 deviates from the drawing position of the reference image. Accurately grasp.
また、拡大表示部１１１及び１１２の大きさは一定であるので、矩形の指定領域１１３及び１１４の大きさによって、拡大表示部１１１及び１１２に表示される拡大画像の拡大率が変わる。すなわち、矩形の指定領域１１３及び１１４の大きさを大きくした場合、拡大表示部１１１及び１１２に表示される画像の範囲が広くなるので、拡大率は小さくなる。逆に、矩形の指定領域１１３及び１１４の大きさを小さくした場合、拡大表示部１１１及び１１２に表示される画像の範囲が狭くなるので、拡大率は大きくなる。 In addition, since the size of the enlarged display units 111 and 112 is constant, the enlargement ratio of the enlarged image displayed on the enlarged display units 111 and 112 varies depending on the size of the rectangular designated areas 113 and 114. That is, when the size of the rectangular designated areas 113 and 114 is increased, the range of images displayed on the enlarged display units 111 and 112 is increased, and the enlargement ratio is reduced. On the other hand, when the size of the rectangular designated areas 113 and 114 is reduced, the range of images displayed on the enlarged display units 111 and 112 is reduced, so that the enlargement ratio is increased.
位置ずれが確認できた場合、撮像装置１の位置あるいは検査対象物６の位置を変更することにより、位置ずれを解消する。具体的には、図３に示す撮像装置１の位置座標（Ｘ、Ｙ、Ｚ）、及びＸＹ平面上での首振り傾斜角度θの調整、あるいは検査対象物６の位置座標（Ｘ、Ｙ）及びＸＹ平面上での首振り傾斜角度θの調整を行う。 When the positional deviation is confirmed, the positional deviation is eliminated by changing the position of the imaging device 1 or the position of the inspection object 6. Specifically, the position coordinates (X, Y, Z) of the imaging apparatus 1 shown in FIG. 3 and the adjustment of the swing inclination angle θ on the XY plane, or the position coordinates (X, Y) of the inspection object 6. And the swing inclination angle θ on the XY plane is adjusted.
図５に戻って、画像処理装置２のＣＰＵ２１は、基準画像のピントと取得した画像のピントとを一致させるよう調整する（ステップＳ５０７）。ピント調整部４０６は、取得した検査対象物６の画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、取得した画像の拡大画像のエッジ強度と、基準画像の拡大画像のエッジ強度とを一致させるよう調整する。 Returning to FIG. 5, the CPU 21 of the image processing apparatus 2 performs adjustment so that the focus of the reference image and the focus of the acquired image are matched (step S <b> 507). The focus adjustment unit 406 generates enlarged images obtained by enlarging the acquired image of the inspection object 6 and the characteristic part of the reference image, and the edge strength of the enlarged image of the acquired image and the edge strength of the enlarged image of the reference image Adjust to match.
図１２は、本発明の実施の形態に係る画像処理装置２のピント調整画面の画面イメージ図である。図１２において、基準画像表示部６１には基準画像が、入力画像表示部６２には取得した検査対象物６の画像が表示されている。ピント調整も、位置の微調整と同様、明るさ調整が完了していることから、指定を受け付けた特徴部分を拡大表示部１１１及び１１２を用いて拡大表示して行う。 FIG. 12 is a screen image diagram of the focus adjustment screen of the image processing apparatus 2 according to the embodiment of the present invention. In FIG. 12, the reference image display unit 61 displays a reference image, and the input image display unit 62 displays the acquired image of the inspection object 6. As with the fine adjustment of the position, since the brightness adjustment has been completed, the focus adjustment is performed by magnifying and displaying the feature portion for which the designation has been received using the enlarged display units 111 and 112.
まず、図１２の基準画像表示部６１の基準画像に対して、矩形の指定領域１１３を設定する。基準画像表示
部６１に矩形の指定領域１１３を設定した場合、入力画像表示部６２の同じ座標に矩形の指定領域１１４が自動的に設定される。
First, a rectangular designated area 113 is set for the reference image of the reference image display unit 61 of FIG. When the rectangular designation area 113 is set in the reference image display section 61, the rectangular designation area 114 is automatically set at the same coordinates of the input image display section 62.
本実施の形態では、図１１において一旦設定した指定領域１１３を、位置のボ調整（精密な位置決め）を行った後に解除し、ピント調整の工程において、再度指定領域１１３を設定するようにしているが、精密な位置決め工程の次にピント調整を行う場合は、精密な位置決め工程で設定した指定領域１１３をそのまま継続して用いることが好ましい。指定領域１１３の再設定が必要な場合は、矩形領域を移動させて再設定すれば良い。 In the present embodiment, the designated area 113 once set in FIG. 11 is released after the position is adjusted (precise positioning), and the designated area 113 is set again in the focus adjustment process. However, when the focus adjustment is performed after the precise positioning process, it is preferable that the designated area 113 set in the precise positioning process is continuously used as it is. If the designated area 113 needs to be reset, the rectangular area may be moved and reset.
そして、図１２の基準画像表示部６１に設定された矩形の指定領域１１３内の画像は、基準画像用の拡大表示部１１１に拡大して表示される。同様に、入力画像表示部６２に設定された矩形の指定領域１１４内の画像は、入力画像用の拡大表示部１１２に拡大して表示される。 Then, the image in the rectangular designated area 113 set in the reference image display unit 61 in FIG. 12 is enlarged and displayed on the enlarged display unit 111 for the reference image. Similarly, the image in the rectangular designated area 114 set in the input image display unit 62 is enlarged and displayed on the enlarged display unit 112 for input images.
次に、基準画像用の拡大表示部１１１に拡大して表示されている基準画像に基づいて、基準画像のＸ軸方向及びＹ軸方向それぞれに対して、検査対象物６の特徴部分のエッジ強度を算出する。算出したエッジ強度の最大値を、基準画像のピント強度としてピント強度表示領域１１５に表示する。 Next, based on the reference image enlarged and displayed on the enlarged display unit 111 for the reference image, the edge strength of the characteristic portion of the inspection object 6 with respect to each of the X-axis direction and the Y-axis direction of the reference image Is calculated. The calculated maximum value of the edge strength is displayed in the focus strength display area 115 as the focus strength of the reference image.
そして、取得した検査対象物６の画像についても、画像のＸ軸方向及びＹ軸方向それぞれに対して、検査対象物６の特徴部分のエッジ強度を算出する。算出したエッジ強度の最大値を、検査対象物の画像のピント強度としてピント強度表示領域１１５に表示する。 For the acquired image of the inspection object 6, the edge strength of the characteristic portion of the inspection object 6 is calculated for each of the X-axis direction and the Y-axis direction of the image. The calculated maximum value of the edge strength is displayed in the focus strength display area 115 as the focus strength of the image of the inspection object.
算出した画像のピント強度が、基準画像のピント強度と一致するようにピント調整を行う。具体的には、図３に示す撮像装置１のフォーカスリングの回転位置を調整する。 The focus adjustment is performed so that the calculated image focus strength matches the focus strength of the reference image. Specifically, the rotational position of the focus ring of the imaging device 1 shown in FIG. 3 is adjusted.
以上のように本実施の形態によれば、基準画像を撮像した時点と、照明の状態、撮像装置１の取り付け位置、姿勢のズレ、レンズの絞り、ピント調整の相違等が存在する場合であっても、基準画像を撮像した時点の撮像環境を確実に再現することができ、検査対象物６の良否を高い精度で判定することが可能となる。 As described above, according to the present embodiment, there is a case where there is a difference between the time when the reference image is captured, the illumination state, the mounting position of the imaging device 1, the displacement of the posture, the lens diaphragm, the focus adjustment, and the like. However, the imaging environment at the time of capturing the reference image can be reliably reproduced, and the quality of the inspection object 6 can be determined with high accuracy.
なお、上記実施の形態では、撮像環境の調整を、「位置合わせ」、「明るさ調整」、「位置の微調整」、そして「ピント調整」の順に行っている。基本的な要件として、「位置合わせ」の後に「明るさ調整」、そして「明るさ調整」の後に「ピント調整」を行えば良い。このため、上記実施の形態の他、「位置合わせ」、「位置の微調整」、「明るさ調整」そして「ピント調整」の順に行っても良い。 In the above embodiment, the imaging environment is adjusted in the order of “position adjustment”, “brightness adjustment”, “position fine adjustment”, and “focus adjustment”. As a basic requirement, “brightness adjustment” after “positioning” and “focus adjustment” after “brightness adjustment” may be performed. For this reason, in addition to the above embodiment, “position adjustment”, “position fine adjustment”, “brightness adjustment”, and “focus adjustment” may be performed in this order.
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と画像処理装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない The present invention is not limited to the above-described embodiments, and various changes and improvements can be made within the scope of the present invention. For example, the imaging apparatus 1 and the image processing apparatus 2 are not limited to the form directly connected by the connection cable 3, and it goes without saying that the imaging apparatus 1 and the image processing apparatus 2 may be connected via a network network such as a LAN or a WAN.
１ 撮像装置（撮像部） ２ 画像処理装置 ４ 照明装置 ６ 検査対象物 ２０１ 画像処理制御部 ２０２ 照明制御部 ４０１ 基準画像記憶部 ４０２ 画像取得部 ４０３ 画像表示部 ４０４ 位置合わせ部 ４０５ 明るさ調整部 ４０６ ピント調整部 ４０７ 位置微調整部 DESCRIPTION OF SYMBOLS 1 Imaging device (imaging part) 2 Image processing apparatus 4 Illumination apparatus 6 Inspection object 201 Image processing control part 202 Illumination control part 401 Reference | standard image memory | storage part 402 Image acquisition part 403 Image display part 404 Positioning part 405 Brightness adjustment part 406 Focus adjustment unit 407 Position fine adjustment unit
Claims (12)
良品判定をする場合に良品である判断基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶する基準画像記憶部と、
前記撮像部から検査対象物の動画像を取得し、対応する識別情報の前記基準画像と並べて表示する画像表示部と、
前記基準画像の描画位置と取得した動画像の描画位置との位置ずれを調整するよう、取得した動画像を位置合わせする位置合わせ部と、
前記基準画像の明るさと取得した動画像の明るさとを算出し、算出された明るさに基づいて生成された、両者を比較するための比較情報を、前記画像表示部で取得された動画像上に重畳して表示し、前記基準画像の明るさと取得した動画像の明るさとの差を調整する明るさ調整部と、
を備えることを特徴とする画像処理装置。 In an image processing apparatus that includes an imaging unit that images an inspection target, performs image processing on image data captured by the imaging unit, and determines pass / fail of the inspection target based on a result of the image processing.
A reference image storage unit that stores a reference image that is a reference for determining whether or not a non-defective product is associated with identification information that identifies an inspection object;
Acquires the dynamic image of the inspection object from the imaging unit, an image display unit for displaying side by side with the reference image corresponding identification information,
To adjust the positional deviation between the drawing position of the drawing position and the acquired dynamic image of the reference image, and a positioning unit for aligning the dynamic image acquired,
Wherein calculating the brightness of the brightness and the acquired dynamic image of the reference image was generated based on the brightness calculated, the comparative information for comparing both, the image display on the acquired moving image at the portion and brightness adjusting unit and displays the superimposed, adjusts the difference between the brightness of the brightness and the acquired dynamic image of the reference image,
An image processing apparatus comprising:
前記位置合わせ部は、前記グリッド線を前記基準画像の特徴部分に合わせて移動させ、取得した動画像にもグリッド線を同じ座標で重ねて表示することを特徴とする請求項１に記載の画像処理装置。 Grid lines are displayed over the displayed reference image,
Said alignment unit, an image according to claim 1, characterized in that displaying the grid lines are moved in accordance with the characteristic portion of the reference image, superimposed grid lines in the acquired dynamic image in the same coordinate Processing equipment.
前記位置合わせ部は、前記輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した動画像にも輪郭線を同じ座標で重ねて表示することを特徴とする請求項１に記載の画像処理装置。 A contour line indicating the contour is displayed over the displayed reference image,
It said alignment unit, an image according to claim 1, characterized in that the contour line is displayed in accordance with the characteristic portion of the reference image is displayed superimposed contours also acquired dynamic image in the same coordinate Processing equipment.
前記ピント調整部は、取得した動画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、
取得した動画像の拡大画像のエッジ強度と、前記基準画像の拡大画像のエッジ強度とを一致させるよう調整することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。 The image processing apparatus further includes a focus adjustment unit that performs focus adjustment for adjusting the focus difference between the moving image acquired with the reference image,
The focus adjustment unit generates the acquired moving image and an enlarged image obtained by enlarging the characteristic portion of the reference image, respectively,
An edge strength of the enlarged image of the acquired dynamic image, the image processing apparatus according to any one of claims 1 to 4, characterized in that the adjusted to match the edge intensity of the enlarged image of the reference image.
生成した拡大画像に基づいて、前記基準画像の描画位置と取得した動画像の描画位置とを位置合わせする位置微調整部を備えることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。 Acquired moving image and an enlarged image obtained by enlarging the characteristic portion of the reference image generated respectively,
Based on the generated enlarged image, according to any one of claims 1 to 5, characterized in that it comprises a position fine adjustment unit for aligning and drawing position of the moving image acquired drawing position of the reference image Image processing apparatus.
該撮像部で撮像した画像データに対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する画像処理装置で実行することが可能な画像処理方法において、
前記画像処理装置は、
良品判定をする場合に良品である判断基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶するステップと、
前記撮像部から検査対象物の動画像を取得し、対応する識別情報の前記基準画像と並べて表示するステップと、
前記基準画像の描画位置と取得した動画像の描画位置との位置ずれを調整するよう、取得した動画像を位置合わせするステップと、
前記基準画像の明るさと取得した動画像の明るさとを算出し、算出された明るさに基づいて生成された、両者を比較するための比較情報を、取得された動画像上に重畳して表示し、前記基準画像の明るさと取得した動画像の明るさとの差を調整するステップと、
を含むことを特徴とする画像処理方法。 Having an imaging unit for imaging an inspection object;
In an image processing method that can be executed by an image processing apparatus that executes image processing on image data captured by the imaging unit and determines the quality of an inspection object based on the result of the image processing,
The image processing apparatus includes:
A step of storing a reference image, which is a determination criterion for a non-defective product when determining non-defective product, in association with identification information for identifying an inspection object;
A step of acquiring the moving image of the inspection object from the imaging unit, are displayed side by side with the reference image corresponding identification information,
To adjust the positional deviation between the drawing position of the drawing position and the acquired dynamic image of the reference image, aligning the moving image acquired,
Display the calculated and brightness of the brightness and the acquired dynamic image of the reference image was generated based on the brightness calculated, the comparative information for comparing the two, superimposed on the acquired moving image a step of, adjusting the difference between the brightness of the brightness and the acquired dynamic image of the reference image,
An image processing method comprising:
表示された前記基準画像に重ねてグリッド線が表示されており、
前記グリッド線を前記基準画像の特徴部分に合わせて移動させ、取得した動画像にもグリッド線を同じ座標で重ねて表示することを特徴とする請求項７に記載の画像処理方法。 The image processing apparatus includes:
Grid lines are displayed over the displayed reference image,
The image processing method according to claim 7, wherein said grid lines are moved in accordance with the characteristic portion of the reference image, and displays the superimposed grid lines in the acquired dynamic image in the same coordinate.
表示された前記基準画像に重ねて輪郭を示す輪郭線が表示されており、
前記輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した動画像にも輪郭線を同じ座標で重ねて表示することを特徴とする請求項７に記載の画像処理方法。 The image processing apparatus includes:
A contour line indicating the contour is displayed over the displayed reference image,
The image processing method according to claim 7, characterized in that the contour line is displayed in accordance with the characteristic portion of the reference image, and displays the superimposed contours also acquired dynamic image in the same coordinate.
取得した動画像を均等な複数の領域に分割し、各領域の平均画素値と前記基準画像における各領域の平均画素値との大小関係を前記比較情報として、取得した動画像に重畳して表示することを特徴とする請求項７乃至９のいずれか一項に記載の画像処理方法。 The image processing apparatus includes:
Dividing the obtained moving image into equal plurality of regions, the magnitude relation between the average pixel values of the respective regions in the reference image and the average pixel values of the respective regions as the comparative information, superimposed and displayed on the acquired moving image The image processing method according to claim 7, wherein the image processing method is performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015223450A JP6140255B2 (en) | 2015-11-13 | 2015-11-13 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015223450A JP6140255B2 (en) | 2015-11-13 | 2015-11-13 | Image processing apparatus and image processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011289942A Division JP5841427B2 (en) | 2011-12-28 | 2011-12-28 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016065875A JP2016065875A (en) | 2016-04-28 |
| JP6140255B2 true JP6140255B2 (en) | 2017-05-31 |
Family
ID=55805374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015223450A Active JP6140255B2 (en) | 2015-11-13 | 2015-11-13 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6140255B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019053050A (en) | 2017-09-13 | 2019-04-04 | キヤノン株式会社 | Information processing apparatus, information processing method and program |
| JP2022128230A (en) * | 2021-02-22 | 2022-09-01 | キヤノン株式会社 | Printing system, printer and information processing device and control method therefor, and program |
| JPWO2022181746A1 (en) * | 2021-02-26 | 2022-09-01 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2594715B2 (en) * | 1991-04-12 | 1997-03-26 | 大日本スクリーン製造株式会社 | Automatic focusing method |
| JP3381462B2 (en) * | 1995-06-13 | 2003-02-24 | ソニー株式会社 | Inspection device for mounting board |
| EP1372013A4 (en) * | 2001-02-19 | 2009-11-11 | Olympus Corp | Image comparison apparatus, image comparison method, and program causing computer to execute image comparison |
| JP2003066339A (en) * | 2001-08-29 | 2003-03-05 | Olympus Optical Co Ltd | Image comparison device |
| JP2004078690A (en) * | 2002-08-20 | 2004-03-11 | Olympus Corp | Image comparator, its method and program for allowing computer to perform image comparison |
| JP4633322B2 (en) * | 2002-08-20 | 2011-02-16 | オリンパス株式会社 | Image comparison apparatus, image comparison method, and program for executing image comparison on computer |
| JP2008026101A (en) * | 2006-07-20 | 2008-02-07 | Toshiba Corp | Inspection method and device of pattern, and manufacturing method of electronic device |
| JP4483841B2 (en) * | 2006-09-06 | 2010-06-16 | カシオ計算機株式会社 | Imaging device |
| JP2009250937A (en) * | 2008-04-10 | 2009-10-29 | Dainippon Screen Mfg Co Ltd | Pattern inspection device and method |
-
2015
- 2015-11-13 JP JP2015223450A patent/JP6140255B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016065875A (en) | 2016-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5841427B2 (en) | Image processing apparatus and image processing method | |
| US9959451B2 (en) | Image inspection device, image inspection method and image inspection program | |
| US9690089B2 (en) | Magnifying observation apparatus, magnified image observing method and computer-readable recording medium | |
| JP5547105B2 (en) | Dimension measuring apparatus, dimension measuring method and program for dimension measuring apparatus | |
| US8994810B2 (en) | Magnification observation device | |
| US20180058843A1 (en) | Three-Dimensional Measurement Device | |
| JP5861462B2 (en) | Inspection standard registration method for solder inspection and board inspection apparatus using the method | |
| JP5997989B2 (en) | Image measuring apparatus, control method thereof, and program for image measuring apparatus | |
| JP2015232484A (en) | Image inspection device, image inspection method, image inspection program and computer readable recording medium, and apparatus having image inspection program recorded therein | |
| JP5911296B2 (en) | Image processing apparatus, imaging apparatus, microscope system, image processing method, and image processing program | |
| JP6765791B2 (en) | A method for creating a reference image set for pattern matching, a device for creating a reference image set for pattern matching, a work recognition method, a program, and a recording medium. | |
| US7869706B2 (en) | Shooting apparatus for a microscope | |
| JP6140255B2 (en) | Image processing apparatus and image processing method | |
| JP2019148438A (en) | Image processing system and setting method | |
| KR20160040467A (en) | Focus adjustment method and device therefor | |
| JP5222430B1 (en) | Dimension measuring apparatus, dimension measuring method and program for dimension measuring apparatus | |
| JP2015004641A (en) | Wafer appearance inspection device | |
| JP2008180602A (en) | Inspection apparatus, testing method, inspection program, and computer readable medium | |
| JP7154084B2 (en) | Three-dimensional shape measuring device and three-dimensional shape measuring program | |
| JP5934516B2 (en) | Inspection area display device and inspection area display method | |
| JP5921190B2 (en) | Image processing apparatus and image processing method | |
| KR100556013B1 (en) | Microscopic size measurement apparatus | |
| JP7151873B2 (en) | inspection equipment | |
| TWI755460B (en) | Appearance inspection method | |
| JP2008045887A (en) | Inspection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160927 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170428 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6140255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |