JP6857079B2 - 画像検査装置 - Google Patents
画像検査装置 Download PDFInfo
- Publication number
- JP6857079B2 JP6857079B2 JP2017093359A JP2017093359A JP6857079B2 JP 6857079 B2 JP6857079 B2 JP 6857079B2 JP 2017093359 A JP2017093359 A JP 2017093359A JP 2017093359 A JP2017093359 A JP 2017093359A JP 6857079 B2 JP6857079 B2 JP 6857079B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- lighting
- unit
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 317
- 238000005286 illumination Methods 0.000 claims description 192
- 238000012937 correction Methods 0.000 claims description 98
- 238000003384 imaging method Methods 0.000 claims description 31
- 239000003086 colorant Substances 0.000 claims description 28
- 230000003595 spectral effect Effects 0.000 claims description 16
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 87
- 238000000701 chemical imaging Methods 0.000 description 61
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 23
- 239000000758 substrate Substances 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000007547 defect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 239000004615 ingredient Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000238557 Decapoda Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2509—Color coding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
- G01B11/303—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8845—Multiple wavelengths of illumination or detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Description
それぞれ異なる方向から対象物に照明光を照射する三つ以上の照明ブロックを有し、各照明ブロックにはそれぞれ波長の異なる照明光を発生する複数の発光素子が備えられている、照明部と、
前記照明光により照明された前記対象物からの反射光を受光して前記対象物の画像を生成する撮像部と、
前記照明部を制御することで前記三つ以上の照明ブロックに含まれているそれぞれ異なる波長の発光素子から照明光を順番に前記対象物に照射させるとともに、前記撮像部を制御することでそれぞれ照明光の波長が異なる、複数の波長画像を生成させるとともに、前記照明部を制御することで前記三つ以上の照明ブロックをブロック単位で順番に点灯させて前記対象物に照明光を照射させるとともに、前記撮像部を制御することでそれぞれ照明光の照射方向が異なる、複数の方向画像を生成させる制御部と、
前記複数の波長画像に基づいて各画素が前記対象物の色に応じた値を有する色検査画像を生成するとともに、前記複数の方向画像に基づいて前記対象物の凹凸に応じた値を有する形状検査画像を生成する画像生成部と、
前記画像生成部により生成された色検査画像を用いて前記対象物の色検査を実行するとともに、前記画像生成部により生成された形状検査画像を用いて前記対象物の形状検査を実行する検査部と
を有することを特徴とする。
図2(A)は照明装置3の斜視図である。図2(B)は照明装置3の上面図である。図2(C)は照明装置3の底面図である。図2(D)は照明装置3の側面図である。照明装置3の筐体は上ケース21と下ケース22を有している。下ケース22の下部には複数の光源(LEDなどの発光素子)のそれぞれが出力する光を拡散させる光拡散部材23が配置されている。図2(A)や図2(C)が示すように上ケース21や下ケース22と同様に光拡散部材23も円環状を成している。図2(B)や図2(D)が示すように上ケース21の上面にはコネクタ24が設けられている。コネクタ24には照明装置3に格納されている照明制御基板と画像処理装置5とが通信するためのケーブルが接続される。照明制御基板に実装される一部の機能は照明装置3の外部に照明コントローラとして設けられていてもよい。つまり、照明装置3と画像処理装置5との間には照明コントローラが介在してもよい。
図4は照明装置3の回路構成の一例を示している。この例では光源群を構成する4つの照明ブロックのうち1つの照明ブロックを示しており、各照明ブロックは同一波長のLEDが4つ(LED33a〜LED33d)設けられている。4つのLED33a〜LED33dは直列に接続されている。異なる波長のLEDが同様に直列接続されたものが、図4の回路構成と並列に接続されているが、図4からは省略してある。電圧が可変の可変電源41は照明制御基板40によって指定される電圧値(例:2V〜20V)の電圧を生成して出力する。可変定電流源42は、照明制御基板40によって指定される電流値(例:0A〜1A)となるように照明ブロックに流れる電流を調整する。このような電流制御方式を採用することでリニアリティの高い調光を実現しやすくなる。また、可変定電流源42は、可変定電流源42に印加されている電圧の値を検出して照明制御基板40にフィードバックし、過電圧から可変定電流源42を保護している。LED33a〜LED33dのそれぞれには並列にスイッチ43a〜スイッチ43dが接続されている。照明制御基板40の点灯制御部45はこれらのスイッチ43a〜スイッチ43dを個別に開閉させることで、LED33a〜LED33dのそれぞれを個別に点灯と非点灯とを切り替えることができる。このように、LED33a〜LED33dのそれぞれに並列にスイッチ43a〜スイッチ43dを接続することで、LED33a〜LED33dのいずれか一つを点灯させたり、すべてを点灯させたりするといった個別点灯が可能となる。これは様々な点灯パターンを実現するのに役立っている。なお、点灯制御部45は可変定電流源42とグランドとの間に挿入されたメインスイッチ43eのオン/オフを切り替えることで一つの照明ブロック単位での点灯制御を実行する。通信部44は点灯パターンを指示する制御信号や点灯の開始を指示するトリガー信号を画像処理装置5の照明制御部から受信し、点灯制御部45に渡す。点灯制御部45は、制御信号に対応する点灯パターンデータ47を記憶部46から読み出し、点灯パターンデータ47に従ってスイッチ43a〜スイッチ43dを制御する。なお、一つの照明ブロックが8つのLED33により構成される場合、8個のスイッチ43が設けられ、8個のスイッチ43は点灯制御部45によって制御される。
図5は検査装置のブロック図である。この例では照明装置3、カメラ4および画像処理装置5がそれぞれ個別の筐体に収容されているが、これは一例に過ぎず、適宜に一体化されてもよい。照明装置3は、マルチスペクトルイメージングを実現する照明装置であるが、フォトメトリックステレオ法に従って検査対象物を照明する照明手段として利用されてもよい。照明装置3は光源群501とこれを制御する照明制御基板40を備えている。すでに図3に示したように、複数の発光素子で一つの照明ブロックが構成され、さらに複数の照明ブロックによって光源群501が構成されていてもよい。照明ブロックの数は一般的には四つであるが、三つ以上であればよい。これは3方向以上の照明方向からワーク2に照明光を照射できれば、フォトメトリックステレオ法により検査画像を生成できるからである。各照明ブロックにはそれぞれ波長が異なる照明光を出力する複数の発光素子(LED33)が設けられている。複数の発光素子には白色LEDが含まれていてもよい。白色LEDはマルチスペクトルイメージングには使用されず、他の検査画像を作成したり、ワーク2の移動補正用の画像を作成するために使用されたりする。図1や図3に示したように照明装置3の外形はリング状をしていてもよい。また、照明装置3は、それぞれ分離した複数の照明ユニットにより構成されていてもよい。照明制御基板40は、画像処理装置5から受信した制御コマンドに応じて光源群501の点灯タイミングや照明パターン(点灯パターン)を制御する。マルチスペクトルイメージングで分光画像を取得するには択一的に選択された波長の照明光をワーク2に照射するが、マルチスペクトルイメージング以外の手法が採用される場合は、複数の点灯色(波長)の照明光が同時に照射されてもよい。照明制御基板40は照明装置3に内蔵されているものとして説明するが、カメラ4に内蔵されていてもよいし、画像処理装置5に内蔵されていてもよいし、これらからは独立した筐体に収容されていてもよい。
マルチスペクトルイメージングでは点灯色(波長)の異なる照明光が一つずつ順番にワーク2に照射され、各波長ごとの画像が取得される。たとえば、8種類の波長の照明光が照射される場合、8個の画像(分光画像)が取得される。なお、四つの照明ブロックが存在する場合、四つの照明ブロックは同時に点灯する。つまり、同一の波長の四つのLED33が同時に点灯するため、四つの方向から同一波長の照明光がワーク2に照射される。
一般的なフォトメトリックステレオ法では、図7に示すように、ワーク2に対して4方向から照明光L1〜L4を順番に切り替えながら照射し、4枚の輝度画像を生成する。4枚の輝度画像はそれぞれ照明方向が異なっているため方向画像と呼ばれてもよい。各輝度画像を撮影する際に使用される照明光の方向は一方向だけである。なお、輝度画像は複数の画素により構成されており、4枚の輝度画像において座標が一致する四つの画素は同一のワーク表面に対応している。四つの画素の画素値(輝度値)I1、I2、I3、I4と、法線ベクトルnとの間には図7に示した式1が成り立つ。
テクスチャ情報とはワーク2の表面の反射率ρに基づく情報である。式1によって反射率ρが求められる、つまり4枚の輝度画像から1枚の反射率画像が得られる。反射率画像はワーク表面の反射率ρに比例した画素値を有する画像である。図9に示すように、4枚の輝度画像901〜904から法線ベクトルを算出し、算出された法線ベクトルと複数の輝度画像の各々対応する画素の輝度値に基づいて各画素の反射率に比例した画素値を算出することで反射率画像であるテクスチャ画像911、912が求められる。この合成方法としては4枚の輝度画像の画素平均によってテクスチャ画像を求める方法や、4枚の輝度画像からハレーションを除去してから画素平均によってテクスチャ画像を求める方法などがある。テクスチャ画像911は画像平均によって求められたものであり、テクスチャ画像912はハレーション除去によって求められたものの一例である。4枚の輝度画像において座標が一致する画素が四つ存在する。四つの画素のうち画素値が1番大きい画素を除外したり、画素値の大きい順に1番目からN番目(Nは3以下の自然数)までの画素を除外したりすることでハレーションを除去することが可能である。ハレーションは高い輝度として画像に表れるからである。テクスチャ画像911、912はともに反射率に基づく画素により構成されているため、反射率画像(アルベド画像)の一種である。
図10は画像検査装置8の設定手順を示している。S1001でユーザはカメラ4の固定位置を調整することで、カメラ4からワーク2までの距離を調整する。UI管理部514はカメラ4により取得されたリアルタイム画像を表示部7に表示することで、ユーザを補助してもよい。S1002でユーザはカメラ4のピントや絞りを調整する。撮像制御部513はカメラ4のオートフォーカス機能を利用してピント調整を実行してもよい。UI管理部514はユーザにより指定された絞り値を受け付けて撮像制御部513に設定してもよい。なお、この段階での絞り値は仮の値であり、最終的な絞り値は露光時間を調整する際に決定される。S1003でユーザはマルチスペクトルイメージング用の点灯色を選択する。UI管理部514(点灯色設定部517)は、選択可能な点灯色の候補を表示部7に表示し、ユーザによる点灯色の選択を受け付けてもよい。たとえば、UVからIR2までの8つの点灯色からいくつかの点灯色が選択されうる。UVは紫外線点灯色の照明光により取得された分光画像を示している。Bは青点灯色の照明光により取得された分光画像を示している。Gは緑点灯色の照明光により取得された分光画像を示している。AMはアンバー点灯色の照明光により取得された分光画像を示している。ORはオレンジ点灯色の照明光により取得された分光画像を示している。Rは赤点灯色の照明光により取得された分光画像を示している。IR1、IR2はそれぞれ赤外点灯色の照明光により取得された分光画像を示している。ただし、IR1の点灯色はIR2の点灯色よりも短い。S1004でユーザはマルチスペクトルイメージング用の露光時間とカメラゲインを決定する。UI管理部514は各点灯色に共通の露光時間とカメラゲインとをユーザが選択するためのUIを表示部7に表示して各点灯色に共通の露光時間とカメラゲインを受け付けてもよい。また、UI管理部514は各点灯色ごとに露光時間とカメラゲインとをユーザが選択するためのUIを表示部7に表示して各点灯色ごとの露光時間とカメラゲインと受け付けてもよい。なお、露光時間とカメラゲインとの調整を容易にするために、UI管理部514は仮に設定された露光時間とカメラゲインでワーク2を撮像して、撮像結果(ワーク2の画像)を表示部7に表示してもよい。ステップS1005でユーザはフォトメトリックステレオ用の点灯色を選択する。たとえば、UI管理部514は、選択可能な点灯色の候補を表示部7に表示し、ユーザによる点灯色の選択を受け付けてもよい。たとえば、UVからIR2までの8つの点灯色の発光素子と、白色発光素子とのうちからいくつかの発光素子が選択されうる。S1006でユーザはフォトメトリックステレオ用の露光時間とカメラゲインを決定する。
UI管理部514は露光時間とカメラゲインとをユーザが選択するためのUIを表示部7に表示して露光時間とカメラゲインを受け付けてもよい。
図11はマルチスペクトルイメージング用の波長(点灯色)を選択するためのユーザインタフェースを示している。点灯色選択UI1100はUI管理部514によって表示部7に表示される。画像選択ボタン1102は、画像表示領域1101に表示される画像を選択するためのUIであり、画像選択部515に選択結果を渡す。図11においてCは複数の分光画像から合成して作成されたカラー画像を示している。ALは8種類あるすべての分光画像を示している。ALがポインタ1106によって操作されると、画像選択部515はすべての分光画像を並べて画像表示領域1101に表示する。UVは紫外線波長の照明光により取得された分光画像を示している。Bは青波長の照明光により取得された分光画像を示している。Gは緑波長の照明光により取得された分光画像を示している。AMはアンバー波長の照明光により取得された分光画像を示している。ORはオレンジ波長の照明光により取得された分光画像を示している。Rは赤波長の照明光により取得された分光画像を示している。IR1、IR2はそれぞれ赤外波長の照明光により取得された分光画像を示している。ただし、IR1の波長はIR2の波長よりも短い。図11においては画像表示領域1101にワーク2の画像が表示されている。この例では、ワーク2の特徴1104(例:海老などの具材)も示されている。この特徴1104の色を登録色として登録したり、検査したりする場合に、ユーザは、プルダウン形式の領域形状選択メニュー1111を操作して指定領域の形状を選択する。形状としては、たとえば、矩形、円、楕円、任意形状などがある。領域指定部516は、領域形状選択メニュー1111から選択された形状に応じた枠線を画像表示領域1101に配置する。
図12はマルチスペクトルイメージング用の点灯色を選択するためのユーザインタフェースを示している。図12と図11において共通する要素には、説明の重複を避けるために、同一の参照符号が付与されている。点灯色選択UI1200はUI管理部514によって表示部7に表示される。点灯色選択UI1200が点灯色選択UI1100と異なる点の一つは画像種類選択部1201が設けられている点である。画像種類選択部1201は、形状画像や反射率画像など、フォトメトリックステレオに関連した画像を選択可能なプルダウンメニューである。画像種類選択部1201により選択された種類の画像が画像表示領域1101に表示される。画像更新ボタン1202は、ユーザにより更新された点灯色、照明強度、露光時間、カメラゲインなどのパラメータに従ってカメラ4によりワーク2を再び撮像し、画像表示領域1101に表示されている画像を新しい画像に更新するボタンである。この例では、複数の画像が表示されているが、チェックボックス1113により選択された点灯色の照明光により照明されて取得された画像だけが画像表示領域1101に表示されてもよい。なお、照明光の異なる複数の画像を表示することで、どの点灯色の照明光がワーク2の表面の凹凸を正確に表現できるかをユーザが判断しやすくなろう。なお、照明装置3の各照明ブロックに白色LEDが設けられている場合、点灯色選択UI1200は白色LEDを選択するためのチェックボックスを有することになる。
図13は検査モードを示すフローチャートである。ここでは同一のワーク2に対してマルチスペクトルイメージングによる画像検査とフォトメトリックステレオによる画像検査とが実行されることが想定されている。なお、図13を説明する前に、ワーク2の例と画像検査の例を説明する。
マルチスペクトルイメージングでは多数の点灯色の照明光が一つずつワーク2に照射されて、多数の分光画像が生成される。たとえば、図16が示すようにUVからIR2までの8種類の点灯色の照明光が順次にワーク2に照射されて8枚の分光画像が得られ、そこからさらに一枚のグレー画像が作成される。ワーク2がライン1を搬送される場合、一枚目のUV画像におけるワーク2の位置と8枚目のIR2画像におけるワーク2の位置はずれている。点灯色の数が増加するほど、また、ライン1の搬送速度が増加するほど、ワーク2の位置のずれ量は大きくなる。このずれを無視してグレー画像G1を作成すると、正しいグレー画像が得られないため、画像検査の精度が低下してしまう。従って、ワーク2について移動補正を行ってからグレー画像が作成されれば、正しいグレー画像が作成される。フォトメトリックステレオでは異なる方向からワークを照明して多数の輝度画像が生成される。よって、フォトメトリックステレオについても移動補正が必要となる。
図21によれば、移動補正を行いながら分光画像と輝度画像を取得するための発光素子の点灯パターンの一例が示されている。ここではマルチスペクトルイメージングには四つの点灯色R、G、B、Yが使用されるものとする。YはRGB以外のいずれかの点灯色である。MC1、MC2、MC2、MC3は移動補正用の共通の点灯色である。D1、D2、D3、D4はフォトメトリックステレオ用の点灯色の照明光の照明方向を示している。R、G、B、Y、D1、D2、D3、D4、MC1、MC2、MC3、MC4は画像を示すものと理解されてもよい。
図19は検査ツールのパラメータを設定するための設定UI1900を示している。ここでは説明の便宜上、複数の検査ツールが単一の設定UI1900を通じて設定されるものとするが、それぞれ個別の設定UIを通じて設定されてもよい。ユーザにより設定モードが選択されると、UI管理部514は表示部7に設定UI1900を表示する。設定タブ1920は傷検査ツールに関するパラメータを設定するためのUIである。設定タブ1930はエリア検査ツールに関するパラメータを設定するためのUIである。図19においては設定タブ1920がポインタ1906により選択されている。画像種類設定部1911は、検査ツールが適用される検査画像を選択するためのプルダウメニューである。プルダウメニューには、形状検査画像、アルベド画像、色検査画像などが登録されている。図19においてはワーク2の傷(凹みなど)を検査するためにフォトメトリックステレオにより生成された形状検査画像が選択されている。UI管理部514の画像選択部515は、画像種類設定部1911により選択された画像を記憶装置520から読み出し、画像表示領域1901に表示する。編集ボタン1912はサーチ部532によるパターンサーチの対象となる特徴fを含む領域であるパターン領域PWのサイズと位置を編集するためのボタンである。パターン領域PWにより囲まれた特徴fは登録パターンとして記憶装置520に記憶される。編集ボタン1913は特徴fをサーチする範囲(サーチ領域SW)のサイズと位置を編集するためのボタンである。領域指定部516はユーザ操作に応じてパターン領域PWやサーチ領域SWのサイズと位置を調整し、調整結果を設定情報523に保存する。カメラ4により取得された画像においてワーク2の位置と角度は一定ではない。ただし、当該画像内のある一定の領域内に特徴fが収まっていることが多い。そのため、サーチ部532は、サーチ領域SW内で、登録パターン(特徴f)をサーチすることで、登録パターンの位置と角度を求める。この位置と角度は傷の検査領域IW1の位置と角度を補正(位置補正)するために利用される。編集ボタン1914は傷検査領域IW1のサイズと位置を編集するためのボタンである。領域指定部516はユーザ操作に応じて傷検査領域IW1のサイズと位置を調整し、調整結果を設定情報523に保存する。検査部531は、傷検査領域IW1における傷の面積を算出する。公差入力部1915は判定部540による傷の有無の判定基準となる公差(閾値)の入力を受け付けるテキストボックスである。確定ボタン1917は、検査ツールに関する設定を確定するためのボタンである。キャンセルボタン1918は今回の設定を取り消し、直前の設定やデフォルト設定に戻すためのボタンである。
本実施例によれば、照明装置3は、それぞれ異なる方向から対象物(例:ワーク2)に照明光を照射する三つ以上の照明ブロックを有する照明部の一例である。各照明ブロックにはそれぞれ点灯色の異なる照明光を発生する複数の発光素子(例:LED33)が備えられている。カメラ4は照明光により照明された対象物からの反射光を受光して対象物の画像を生成する撮像部の一例である。プロセッサ510は照明部を制御することで三つ以上の照明ブロックにそれぞれ含まれている同一の点灯色の発光素子を同時に点灯させ、かつ、点灯色を変えながら順番に対象物に照明光を照射させるとともに、撮像部を制御することでそれぞれ照明光の点灯色が異なる複数の分光画像を生成可能な制御部の一例である。また、プロセッサ510は照明部を制御することで三つ以上の照明ブロックのそれぞれに含まれる同一の点灯色の発光素子を順番に点灯させ、対象物に照明光を照射させるとともに、撮像部を制御することでそれぞれ照明光の照射方向が異なる、複数の方向画像を生成可能な制御部の一例である。このように、プロセッサ510はマルチスペクトルイメージングにしたがった分光画像の取得だけでなく、フォトメトリックステレオのための方向画像や反射率画像の取得を実行する。なお、プロセッサ510は、分光画像の取得と反射率画像の取得とを常に実行する必要は無い。プロセッサ510(MSI処理部511やPS処理部560)は複数の分光画像または複数の方向画像に基づく検査画像を生成する画像生成部の一例である。検査部531は画像生成部により形成された検査画像を用いて対象物を検査する検査部の一例である。図3などに関連して説明したように、照明装置3において、同一の点灯色の照明光を出力する複数の発光素子が等間隔で配置されている。これにより、分光画像に関しては対象物に対して均一な方向から照明光を照射することが可能となる。また、方向画像に関しては各方向について均一な光量の照明光を対象物に対して照射することが可能となる。このように、本実施例によれば、マルチスペクトルイメージングとフォトメトリックステレオとでカメラ4と照明装置3を共用できるため、カメラと照明装置の設置数を削減できる。また、撮像部と対象物との間の距離の調整や撮像部のピント調整などのユーザ作業も削減される。つまり、ユーザ負担が軽減され、ユーザビリティーが向上する。
Claims (18)
- それぞれ異なる方向から対象物に照明光を照射する三つ以上の照明ブロックを有し、各照明ブロックにはそれぞれ点灯色の異なる照明光を発生する複数の発光素子が備えられている、照明部と、
前記照明光により照明された前記対象物からの反射光を受光して前記対象物の画像を生成する撮像部と、
前記照明部を制御することで前記三つ以上の照明ブロックにそれぞれ含まれている同一の点灯色の発光素子を同時に点灯させ、かつ、点灯色を変えながら順番に前記対象物に照明光を照射させるとともに、前記撮像部を制御することでそれぞれ照明光の点灯色が異なる複数の分光画像を生成可能であるとともに、前記照明部を制御することで前記三つ以上の照明ブロックのそれぞれに含まれる同一の点灯色の発光素子を順番に点灯させ、前記対象物に照明光を照射させるとともに、前記撮像部を制御することでそれぞれ照明光の照射方向が異なる、複数の方向画像を生成可能である制御部と、
前記複数の分光画像または前記複数の方向画像に基づく検査画像を生成する画像生成部と、
前記画像生成部により形成された検査画像を用いて前記対象物を検査する検査部と
を有し、
前記照明部において、同一の点灯色の照明光を出力する複数の発光素子が等間隔で配置されていることを特徴とする画像検査装置。 - 前記画像生成部は、前記複数の分光画像を合成して各画素が前記対象物の色に応じた値を有する色検査画像を生成し、
前記検査部は、前記画像生成部により生成された色検査画像を用いて前記対象物の色検査を実行することを特徴とする請求項1に記載の画像検査装置。 - 前記画像生成部は、前記複数の方向画像に基づいて前記対象物の凹凸に応じた値を有する形状検査画像を生成し、
前記検査部は、前記画像生成部により生成された形状検査画像を用いて前記対象物の形状検査を実行することを特徴とする請求項2に記載の画像検査装置。 - 前記制御部は、前記複数の方向画像のそれぞれを生成する際に、点灯すべき照明ブロックに含まれているすべての発光素子を点灯させることを特徴とする請求項1ないし3のいずれか一項に記載の画像検査装置。
- 前記三つ以上の照明ブロックはそれぞれ白色発光素子を有し、
前記制御部は、前記複数の方向画像のそれぞれを生成する際に、点灯すべき照明ブロックに含まれている前記白色発光素子を点灯させることを特徴とする請求項1ないし3のいずれか一項に記載の画像検査装置。 - 前記制御部は、前記複数の方向画像のそれぞれを生成する際に、点灯すべき照明ブロックに含まれている特定の点灯色の照明光を発生する発光素子を点灯させることを特徴とする請求項3に記載の画像検査装置。
- ユーザによる前記特定の点灯色の選択を受け付ける点灯色受付部をさらに有することを特徴とする請求項6に記載の画像検査装置。
- 前記形状検査を設定する設定モードにおいて取得された形状検査画像を解析することで、前記形状検査を実行する運転モードにおいて点灯される前記特定の点灯色を選択する点灯色選択部をさらに有することを特徴とする請求項6に記載の画像検査装置。
- 前記形状検査を設定する設定モードにおいて前記形状検査画像と前記色検査画像とを同時または切り替えて表示する表示部と、
前記形状検査画像と前記色検査画像とにそれぞれ異なる検査ツールを設定する設定部と
をさらに有することを特徴とする請求項3に記載の画像検査装置。 - 前記形状検査画像に設定される検査ツールには少なくとも傷を検査する検査ツールが含まれることを特徴とする請求項9に記載の画像検査装置。
- 前記色検査画像に設定される検査ツールには少なくとも面積を検査する検査ツールが含まれることを特徴とする請求項3に記載の画像検査装置。
- 前記形状検査画像に設定された検査ツールと前記色検査画像に設定された検査ツールとのうち一方の検査ツールにおける対象物の位置情報を用いて、前記形状検査画像に設定された検査ツールと前記色検査画像に設定された検査ツールとのうち他方の検査ツールの検査領域の位置を補正する補正部をさらに有することを特徴とする請求項11に記載の画像検査装置。
- 前記制御部は、同一のトリガー信号に基づき前記照明部、前記撮像部および前記画像生成部を制御して、前記形状検査画像と前記色検査画像とを連続的に生成することを特徴とする請求項3に記載の画像検査装置。
- 前記照明部と前記対象物との間に設置される拡散板をさらに有することを特徴とする請求項1ないし13のいずれか一項に記載の画像検査装置。
- 前記画像生成部は、前記複数の方向画像から前記対象物の表面の反射率を画素値とするアルベド画像を作成するように構成されており、
前記検査部は、前記画像生成部により生成された前記アルベド画像を用いて前記対象物の画像検査を実行することを特徴とする請求項1ないし14のいずれか一項に記載の画像検査装置。 - 各照明ブロックにはそれぞれ点灯色の異なる照明光を発生する複数の発光素子が等間隔で配置されていることを特徴とする請求項1ないし15のいずれか一項に記載の画像検査装置。
- 各照明ブロックが備える前記複数の発光素子の数は、当該複数の発光素子の点灯色の種類の数のn倍(nは1以上の整数)であることを特徴とする請求項1ないし16のいずれか一項に記載の画像検査装置。
- 前記制御部は、
前記照明部を制御することで前記三つ以上の照明ブロックのそれぞれに含まれる同一の点灯色の発光素子を順番に点灯させることで前記対象物に照射方向の異なる同一の点灯色の照明光を照射させ、前記撮像部を制御することでそれぞれ照射方向が異なる複数の方向画像を生成させ、
前記画像生成部は、前記複数の方向画像に基づいて前記対象物の凹凸に応じた値を有する形状検査画像を生成し、
前記検査部は、前記画像生成部により生成された形状検査画像を用いて前記対象物の形状検査を実行し、
前記制御部は、前記照明部を制御することで前記三つ以上の照明ブロックにそれぞれ含まれている同一の点灯色の発光素子を同時に点灯させ、かつ、点灯色を変えながら順番に前記対象物に照明光を照射させるとともに、前記撮像部を制御することでそれぞれ照明光の点灯色が異なる複数の分光画像を生成させ、
前記画像生成部は、前記複数の分光画像を合成して各画素が前記対象物の色に応じた値を有する色検査画像を生成し、
前記検査部は、前記画像生成部により生成された色検査画像を用いて前記対象物の色検査を実行する
ことを特徴とする請求項1に記載の画像検査装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093359A JP6857079B2 (ja) | 2017-05-09 | 2017-05-09 | 画像検査装置 |
US15/925,803 US10416086B2 (en) | 2017-05-09 | 2018-03-20 | Image inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093359A JP6857079B2 (ja) | 2017-05-09 | 2017-05-09 | 画像検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018189561A JP2018189561A (ja) | 2018-11-29 |
JP6857079B2 true JP6857079B2 (ja) | 2021-04-14 |
Family
ID=64097154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017093359A Active JP6857079B2 (ja) | 2017-05-09 | 2017-05-09 | 画像検査装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10416086B2 (ja) |
JP (1) | JP6857079B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
WO2018035612A1 (en) | 2016-08-24 | 2018-03-01 | Mimosa Diagnostics Inc. | Multispectral mobile tissue assessment |
JP2019083501A (ja) * | 2017-10-27 | 2019-05-30 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
CN113474639A (zh) * | 2019-02-27 | 2021-10-01 | 京瓷株式会社 | 照明系统、照明设备和照明控制方法 |
US11852591B2 (en) | 2019-03-15 | 2023-12-26 | Omron Corporation | Inspection device and method |
JP7231462B2 (ja) * | 2019-04-05 | 2023-03-01 | 株式会社キーエンス | 画像検査システム及び画像検査方法 |
WO2020230319A1 (ja) * | 2019-05-16 | 2020-11-19 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体 |
US11734812B2 (en) * | 2021-03-18 | 2023-08-22 | UnitX, Inc. | Fused imaging device and method |
TWI770906B (zh) * | 2021-03-26 | 2022-07-11 | 環球晶圓股份有限公司 | 晶圓表面缺陷檢測方法及其裝置 |
US11717973B2 (en) | 2021-07-31 | 2023-08-08 | Cognex Corporation | Machine vision system with multispectral light assembly |
DE102021004071B3 (de) * | 2021-08-06 | 2023-01-19 | Baumer Inspection Gmbh | Vorrichtung und Verfahren zum Erzeugen photometrischer Stereobilder und eines Farbbildes |
CN113793333B (zh) * | 2021-11-15 | 2022-02-18 | 常州微亿智造科技有限公司 | 应用于工业质检的缺陷图片生成方法及装置 |
WO2023105849A1 (ja) * | 2021-12-07 | 2023-06-15 | パナソニックIpマネジメント株式会社 | 検査方法および検査装置 |
EP4202424A1 (en) * | 2021-12-21 | 2023-06-28 | Fundacion Centro de Tecnologias de Interaccion Visual y Communicaciones VICOMTECH | Method and system for inspection of welds |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09126890A (ja) * | 1995-11-01 | 1997-05-16 | Toshiba Corp | 色検査装置 |
DE19962779B4 (de) * | 1999-12-23 | 2009-06-25 | Byk-Gardner Gmbh | Vorrichtung zur quantifizierten Bestimmung der Qualität von Oberflächen |
US6781687B2 (en) * | 2002-09-26 | 2004-08-24 | Orbotech Ltd. | Illumination and image acquisition system |
US7019826B2 (en) * | 2003-03-20 | 2006-03-28 | Agilent Technologies, Inc. | Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection |
US7359545B2 (en) * | 2003-12-31 | 2008-04-15 | Tokyo Electron Limited | Method and system to compensate for lamp intensity differences in a photolithographic inspection tool |
JP3867724B2 (ja) * | 2004-02-27 | 2007-01-10 | オムロン株式会社 | 表面状態検査方法およびその方法を用いた表面状態検査装置ならびに基板検査装置 |
EP1612569A3 (en) * | 2004-06-30 | 2006-02-08 | Omron Corporation | Method and apparatus for substrate surface inspection using multi-color light emission system |
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
FI121151B (fi) * | 2007-11-22 | 2010-07-30 | Valtion Teknillinen | Menetelmä ja laitteisto liikkuvan pinnan topografian ja optisten ominaisuuksien määrittämiseksi |
US8077307B2 (en) * | 2008-04-09 | 2011-12-13 | Orbotech Ltd. | Illumination system for optical inspection |
KR100902170B1 (ko) * | 2008-05-19 | 2009-06-10 | (주)펨트론 | 표면형상 측정장치 |
US20120056994A1 (en) * | 2010-08-30 | 2012-03-08 | University Of Southern California | Single-shot photometric stereo by spectral multiplexing |
US8615125B2 (en) * | 2010-10-08 | 2013-12-24 | Omron Corporation | Apparatus and method for inspecting surface state |
JP6242098B2 (ja) * | 2013-07-16 | 2017-12-06 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
JP6408259B2 (ja) * | 2014-06-09 | 2018-10-17 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6403445B2 (ja) * | 2014-06-09 | 2018-10-10 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP6864549B2 (ja) * | 2017-05-09 | 2021-04-28 | 株式会社キーエンス | 画像検査装置 |
JP6917762B2 (ja) * | 2017-05-09 | 2021-08-11 | 株式会社キーエンス | 画像検査装置 |
JP6919982B2 (ja) * | 2017-05-09 | 2021-08-18 | 株式会社キーエンス | 画像検査装置 |
-
2017
- 2017-05-09 JP JP2017093359A patent/JP6857079B2/ja active Active
-
2018
- 2018-03-20 US US15/925,803 patent/US10416086B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180328855A1 (en) | 2018-11-15 |
JP2018189561A (ja) | 2018-11-29 |
US10416086B2 (en) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6857079B2 (ja) | 画像検査装置 | |
JP6917762B2 (ja) | 画像検査装置 | |
JP6864549B2 (ja) | 画像検査装置 | |
US10156525B2 (en) | Inspection apparatus, inspection method, and program | |
JP6917761B2 (ja) | 画像検査装置 | |
JP6919982B2 (ja) | 画像検査装置 | |
US20170236269A1 (en) | Inspection Apparatus, Inspection Method, And Program | |
JP6981775B2 (ja) | 画像検査装置および画像検査方法 | |
JP7117420B2 (ja) | 画像検査装置 | |
JP2017122614A (ja) | 画像生成方法及び検査装置 | |
JP6280451B2 (ja) | 検査装置 | |
JP6638098B2 (ja) | 検査装置 | |
JP6931552B2 (ja) | 画像検査装置 | |
JP2020042053A (ja) | 画像検査装置および画像検査方法 | |
JP6825067B2 (ja) | 検査装置およびその制御方法 | |
JP6475875B2 (ja) | 検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200326 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6857079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |