JP7185388B2 - 検査装置及び検査方法 - Google Patents

検査装置及び検査方法 Download PDF

Info

Publication number
JP7185388B2
JP7185388B2 JP2016226037A JP2016226037A JP7185388B2 JP 7185388 B2 JP7185388 B2 JP 7185388B2 JP 2016226037 A JP2016226037 A JP 2016226037A JP 2016226037 A JP2016226037 A JP 2016226037A JP 7185388 B2 JP7185388 B2 JP 7185388B2
Authority
JP
Japan
Prior art keywords
defect
pixel
boundary
value
color information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016226037A
Other languages
English (en)
Other versions
JP2018084431A (ja
Inventor
洋一 木川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Denko Corp
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Priority to JP2016226037A priority Critical patent/JP7185388B2/ja
Priority to CN201710838642.2A priority patent/CN108090890B/zh
Priority to US15/728,905 priority patent/US10891725B2/en
Publication of JP2018084431A publication Critical patent/JP2018084431A/ja
Application granted granted Critical
Publication of JP7185388B2 publication Critical patent/JP7185388B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8861Determining coordinates of flaws
    • G01N2021/8864Mapping zones of defects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/8422Investigating thin films, e.g. matrix isolation method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、検査装置及び検査方法に関する。
従来、シート等の対象物のムラ、気泡、異物等の欠陥を検査する検査装置が用いられている。
一方、検査装置としては、例えば、欠陥について、色情報を含む画像情報としてカメラ等で撮像して欠陥の境界決定用画像情報が取得され、取得された欠陥の境界決定用画像情報について、該境界決定用画像情報を強調するフィルタ処理が行われて欠陥であるか否かの境界が予め決定され、該決定された境界に基づいて、対象物の画像情報に欠陥が含まれるか否かが判定されるように構成された検査装置が提案されている。
例えば、取得された境界決定用画像情報全体について、HSVを含む色情報からエネルギー、エントロピー、均一性を算出し、これらエネルギー、エントロピー、均一性からサポートベクターマシンを用いて境界が予め決定され、該決定された境界に基づいて、対象物を検査する検査装置が提案されている。この検査装置によれば、例えば、金属部材を溶接するにあたり、溶接部分が所望の形状を有しているか否かを検査することが可能となる(特許文献1参照)。
特開2009-103498号公報
しかし、シート等の対象物の欠陥の検査に特許文献1に記載されたような技術を用いても、十分に高い精度で欠陥を検査し得ないおそれがある。
上記事情に鑑み、本願発明は、従来よりも高い精度で欠陥を検査し得る検査装置及び検査方法を提供することを課題とする。
本発明者らが上記課題を解決する手段について鋭意研究を行ったところ、以下の知見を見出した。
すなわち、特許文献1に記載されたような検査装置は、比較的広い領域(画素)の境界決定用画素情報から、欠陥を有するか否かを判定するための境界を決定する必要がある。
しかし、このように広い領域の境界決定用画像情報に基づいて、しかも、エネルギー、エントロピー、均一性に基づいて境界を決定する検査装置では、欠陥を十分に検査し得ないことを見出した。
かかる知見に基づいて本発明者らがさらに鋭意研究を行ったところ、対象物の画像情報のうち欠陥が存在していない領域の境界決定用画像情報について、画素単位で、RGB値を含む色情報に基づいてフィルタ処理を行って各画素が欠陥であるか否かの境界を予め決定し、この境界に基づいて、撮像部で撮像された対象物の画像情報の全画素について画素ごとに欠陥であるか否かを判定することによって、十分に精度に高く検査を行い得ることを見出して、本発明を完成するに至った。
すなわち、本発明に係る検査装置は、
対象物の欠陥を検査する検査装置であって、
前記対象物を、RGB値を含む色情報を有する画像情報として撮像可能な撮像部と、
前記撮像部によって撮像された画像情報の前記色情報に基づいて前記対象物が欠陥を有するか否かを判定する判定部とを備え、
前記判定部は、前記対象物の欠陥が存在していない領域の前記色情報に基づいて、前記画像情報の各画素が欠陥であるか否かを画素ごとに判定するための境界を決定し、決定された前記境界に基づいて前記撮像部で撮像された画像情報の全画素について画素ごとに欠陥であるか否かを判定するフィルタ処理を行うように構成されている。
ここで、Rは赤色(Red)、Gは緑色(Green)、Bは青色(Blue)を表す。また、Rは波長700nmの単色光を基準とした値であり、Gは波長546.1nmの単色光を基準とした値であり、Bは波長435.8nmの単色光を基準にした値である。
かかる構成によれば、判定部は、RGB値を用いて画像情報の各画素が欠陥であるか否かを画素単位で判定するための境界を決定し、決定された境界に基づいて全画素について画素ごとに欠陥であるか否かを判定し得る。
これにより、複数の画素で、RGB値を用いずに境界を決定する場合よりも、高い精度で欠陥検査を行い得る。
よって、従来よりも高い精度で欠陥を検査し得る。
上記構成の検査装置においては、
前記色情報が、さらにHSL値を含むことが、好ましい。
ここで、HはHue(色相)、SはSaturation(彩度)、LはLuminance(輝度)を表し、後述する変換式によって上記RGBから算出される値である。
かかる構成によれば、判定部が、色情報としてRGB値に加えてさらにHSL値に基づいて上記境界を決定し得る。
これにより、より詳細に上記境界を決定し得るため、上記境界の精度がより高くなり、その結果、より高い精度で欠陥を検査し得る。
上記構成の検査装置においては、
前記色情報が、さらにXYZ値を含むことが、好ましい。
ここで、Xは、人(眼)が赤みと感じる度合いを表し、Yは、人(眼)が青みと感じる度合いを表し、Zは人(眼)が緑みと感じる度合いを表し、後述する変換式によって上記RGBから算出される値である。
かかる構成によれば、判定部が、色情報としてRGB値に加えてさらにXYZ値に基づいて、または、色情報としてRGB値、HSL値に加えてさらにXYZ値に基づいて上記境界を決定し得る。
これにより、より詳細に上記境界を決定し得るため、上記境界の精度がより高くなり、その結果、より高い精度で欠陥を検査し得る。
上記構成の検査装置においては、
前記判定部は、前記対象物の欠陥が存在していない領域の前記色情報と、さらに欠陥が存在している領域の前記色情報とに基づいて、画素ごとに前記フィルタ処理を行うように構成されていることが、好ましい。
かかる構成によれば、判定部が、欠陥が存在しない領域の色情報に加えて、欠陥が存在している領域の色情報にも基づいて上記境界を決定し得る。
これにより、より詳細に上記境界を決定し得るため、上記境界の精度がより高くなり、その結果、より高い精度で欠陥を検査し得る。
上記構成の検査装置においては、
前記判定部は、サポートベクターマシンを用いて前記境界を決定するように構成されていることが好ましい。
かかる構成によれば、サポートベクターマシンを用いることによって、より精度良く上記境界を決定し得る。
これにより、より詳細に上記境界を決定し得るため、上記境界の精度がより高くなり、その結果、より高い精度で欠陥を検査し得る。
上記構成の検査装置においては、
前記判定部は、前記フィルタ処理を行った後、さらに欠陥の形状に応じたフィルタ処理を行うことが好ましい。
かかる構成によれば、上記フィルタ処理を行った後、さらに欠陥の形状に応じたフィルタ処理を行うことによって、欠陥をより強調できるため、より高い精度で欠陥を検査し得る。
上記構成の検査装置においては、
前記判定部は、前記撮像部で撮像された画像情報の全画素について画素ごとに欠陥であるか否かを判定した結果をマッピングするように構成されていることが、好ましい。
かかる構成によれば、全画素の判定結果がマッピングされることによって、欠陥であるか否かが容易に確認され得る。
本発明に係る検査方法は、
前記検査装置を用いて対象物の欠陥を検査する検査方法であって、
前記対象物を、前記色情報を含む画像情報として撮像し、撮像された画像情報の全画素について画素ごとに欠陥であるか否かを判定することによって、前記対象物が欠陥を有するか否かを判定する方法である。
かかる構成によれば、上記検査装置を用いることによって、従来よりも高い精度で欠陥を検査し得る。
以上の通り、本発明によれば、従来よりも高い精度で欠陥を検査し得る検査装置及び検査方法が提供される。
本発明の実施形態に係る検査装置を示す概略側面図 本実施形態の検査装置で検査されるシートに欠陥が含まれている状態を示す概略平面図 画像情報に含まれる画素を示す概略平面図 本実施形態のフィルタ処理において、境界が決定される一例を、模式的に示す概略図 本実施形態で行われるフィルタ処理の結果の一例を示すグラフ 本実施形態のフィルタ処理において、未知の画像情報が欠陥を有するかが判定される一例を模式的に示す概略図 本実施形態のフィルタ処理において、未知の画像情報の欠陥を検査するフローを模式的に示す、概略図 実施例で用いられるシートが撮像されて得られた画像 比較例1のマッピング画像を示す画像 比較例1の一領域の階調を示すグラフ 実施例1のマッピング画像を示す画像 実施例1の一領域の階調を示すグラフ 実施例2のマッピング画像を示す画像 実施例2の一領域の階調を示すグラフ 実施例3のマッピング画像を示す画像 実施例3の一領域の階調を示すグラフ 実施例4のマッピング画像を示す画像 実施例4の一領域の階調を示すグラフ
以下、本発明の実施形態に係る検査装置及び検査方法について、図面を参照しながら説明する。
まず、本実施形態の検査装置について説明する。
図1~図3に示すように、本実施形態の検査装置1は、
対象物としてのシート50の欠陥を検査する検査装置1であって、
前記シート50を、RGB値を含む色情報を有する画像情報Dとして撮像可能な撮像部20と、
前記撮像部20によって撮像された画像情報Dの前記色情報に基づいて前記シート50が欠陥を有するか否かを判定する判定部30とを備え、
前記判定部30は、前記シート50の欠陥が存在していない領域R1(図2のシート50の欠陥以外の領域)の前記色情報に基づいて、画素Pごとにフィルタ処理を行って前記画像情報Dの各画素Pが欠陥であるか否かを画素Pごとに判定するための境界Tを決定し、決定された境界Tに基づいて前記撮像部20で撮像された画像情報Dの全画素Pについて画素Pごとに欠陥であるか否かを判定するフィルタ処理を行うように構成されている。
検査装置1は、シート50に光を照射する照射部10と、判定部30での判定結果を表示する表示部40とをさらに備える。
シート50は、特に限定されるものではない。例えば、シート50として、光学フィルム、遮熱フィルム、断熱フィルム、UVカットフィルム等が挙げられる。基材と、該基材に積層された粘着剤層とを有する粘着テープ等が挙げられる。該粘着テープとしては、上記基材の一方の面のみに粘着剤層が積層されてなる粘着テープや、上記基材の両面に粘着剤層が積層されてなる粘着テープ等が挙げられる。
照射部10は、シート50に光を照射するものであり、該照射部10によってシート50に照射されてシート50で反射された光(正反射光)が撮像部20で受光されるように構成されている。
照射部10は、撮像部20で受光可能な光を照射可能であれば、特に限定されない。例えば、照射部10としては、白色光を照射する白色LEDが挙げられる。
シート50と垂直な方向(図1の一点鎖線)に対して照射部10がなす角度θ1は、該照射部20から照射された光を撮像部20で受光可能であれば、特に限定されない。かかる角度θ1は、例えば、10°に設定し得る。
シート50に対する照射部10の距離(最短距離)は、特に限定されない。
撮像部20は、シート50を、色情報を含む画像情報Dとして撮像可能なものである。
本実施形態では、撮像部20は、照射部10から照射されてシート50で反射された光を受光することによって、シート50を撮像するように構成されている。
撮像部20は、シート50を、RGB値を含む色情報を有する画像情報Dとして撮像可能であれば、特に限定されない。
撮像部20としては、例えば、カメラが挙げられる。
シート50と垂直な方向(図1の一点鎖線)に対して撮像部20がなす角度θ2は、照射部10から照射された光を撮像部20が受光可能であれば、特に限定されない。かかる角度θ2は、例えば、10°に設定し得る。
シート50に対する撮像部20の距離(最短距離)は、特に限定されない。
判定部30は、シート50の欠陥が存在していない領域R1の色情報に基づいて、前記画像情報Dの各画素Pが欠陥であるか否かを画素Pごとに判定するための境界Tを決定し、決定された境界Tに基づいて前記撮像部20で撮像された画像情報Dの全画素Pについて画素Pごとに欠陥であるか否かを判定するフィルタ処理を行うように構成されている。
具体的には、本実施形態では、判定部30は、シート50の欠陥が存在していない領域R1の前記色情報と、さらに欠陥が存在している領域R2の前記色情報とに基づいて、画素Pごとに上記フィルタ処理を行うように構成されている。
より具体的には、図2に示すように、欠陥が存在していることが予め分かっているシート50を、欠陥が存在している領域R1と、欠陥が存在していない領域R2とが含まれるように撮像部20によって撮像する。撮像された画像情報Dには、色情報として、RGB値が含まれている。
判定部30は、画素Pごとに得られたRGB値群と、各RGB値に対応する、欠陥であるか否かの結果群とから、欠陥であるか否かの境界となるRGB値(境界RGB値)を決定する。この境界の決定は、例えば、サポートベクターマシンを用いて行い得る。
サポートベクターマシンとしては、従来公知のものが用いられ得る。
具体的には、例えば、図4に示すように、判定部30は、どの領域に欠陥が存在しているのか予め分かっている画像、すなわち、各画素Pが欠陥であるのか否かが予め分かっている画像情報DAについて、各画素Pごとに、そのRGB値と欠陥であるか否かの情報とを関連付ける。次いで、欠陥であることを示すRGB値群(図4の欠陥部分)と、欠陥ではないことを示すRGB群(図4の正常部分)とから、識別器として例えばサポートベクターマシンを用いて、上記境界を決定し得る。
なお、判定部30は、RGB値のうち、各R値、G値、B値について、それぞれの値群と、欠陥であるか否かの結果群とから、R値、G値、B値ごとに、上記境界を決定するようになっている。
図5には、得られた画素PごとのB値と、各B値に対応する、欠陥であるか否かの結果群との関係がプロットされて作成されたグラフの一例を示す。
本実施形態では、判定部30は、上記RGB値群と、欠陥であるか否かの結果群との関係が非線形であることから、サポートベクターマシンを用いることによって、上記境界を決定するように構成されている。
判定部30は、上記のようにして予め決定された境界Tに基づいて、検査対象であるシート50が欠陥を有するか否かの検査を行う。
具体的には、判定部30は、撮像部20によって撮像されたシート50の画像情報Dについて、各画素PのRGB値を、決定された境界Tとそれぞれ比較して、各画素Pが欠陥であるか否かを画素Pごとに判定し、全画素Pの判定結果をマッピングするように構成されている。
例えば、判定部30は、欠陥である場合のRGB値を数値0、欠陥でない場合のRGB値を数値1とし、撮像された画像情報Dの各画素PのRGB値が、0~1までの間のどの数値であるかを決定する。判定部30は、決定された数値を255倍することによってマッピングを行い、これによって画像化させる。次いで、作成された画像を2値化処理することによって、または、作成された画像を後述する微分フィルタを用いて処理した後に2値化処理することによって、欠陥部分を検出する。
かかる判定部30としては、従来公知のコンピュータ等が挙げられる。判定部30には、各種処理に用いられるプログラムが格納されている。
表示部40は、判定部30でマッピングされた結果を、マッピング画像として表示する。
具体的には、例えば、判定部30は、前述した図4に示すようにして決定された境界Tを用いて、図6に示すように、検査対象である、すなわち、未知の画像情報DBの各画素Pについて、欠陥側であるか、正常側であるかを判定し得る。
より具体的には、図7に示すように、判定部30は、画像情報Dから各画素Pを抽出する。次いで、判定部30は、各画素PのRGB値が境界Tに対して欠陥側であるか正常側であるかを、正常を数値0、欠陥を数値1とする0~1の数値範囲のいずれの数値(相対値)で表す。次いで、判定部30は、得られた相関値を255倍して各画素Pの画素値として表し、全画素Pの画素値を画像に変換する。
上記では、判定部30が、RGB値に基づいて上記境界Tを決定する態様を示すが、その他、判定部30が、RGB値に加えて、さらにHSL値に基づいて上記境界Tを決定するように構成されていてもよい。すなわち、RGB値及びHSL値の6次元の色情報に基づいて上記境界Tを決定するように構成されていてもよい。
HSL値は、RGB値から、例えば下記数式1に示される変換式といった従来公知の数式を用いて換算され得る。
Figure 0007185388000001
また、判定部30が、RGB値に加えて、さらにXYZ値を含む色情報に基づいて上記境界Tを決定するように構成されていてもよい。すなわち、RGB値及びXYZ値の6次元の色情報に基づいて、上記境界Tを決定するように構成されていてもよい。
さらに、判定部30が、RGB値、HSL値に加えて、さらにXYZ値を含む色情報に基づいて上記境界Tを決定するように構成されていてもよい。すなわち、RGB値、HSL値及びXYZ値の9次元の色情報に基づいて、上記境界Tを決定するように構成されていてもよい。
XYZ値は、RGB値から、例えば下記数式2に示される変換式といった従来公知の数式を用いて換算され得る。
Figure 0007185388000002
判定部30は、上記RGB値に基づくフィルタ処理を行った後、さらに、欠陥の形状に応じたフィルタ処理を行って、各画素が欠陥であるか否かを決定するように構成されていてもよい。
このようなフィルタ処理としては、例えば、微分フィルタ処理が挙げられる。
微分フィルタとしては、例えば下記数式3に示されるような従来公知の微分フィルタが用いられ得る。
Figure 0007185388000003
本実施形態の検査方法は、本実施形態の検査装置1を用いてシート50の欠陥を検査する検査方法であって、
シート50を、RGB値を含む色情報を有する画像情報Dとして撮像し、撮像された画像情報Dの全画素Pについて画素Pごとに欠陥であるか否かを判定することによって、シート50が欠陥を有するか否かを判定する方法である。
上記の通り、本実施形態の検査装置1は、
対象物(ここではシート)50の欠陥を検査する検査装置1であって、
前記対象物50を、RGB値を含む色情報を有する画像情報Dとして撮像可能な撮像部20と、
前記撮像部20によって撮像された画像情報Dの前記色情報に基づいて前記対象物50が欠陥を有するか否かを判定する判定部30とを備え、
前記判定部30は、前記対象物50の欠陥が存在していない領域R1の前記色情報に基づいて、前記画像情報Dの各画素Pが欠陥であるか否かを画素Pごとに判定するための境界Tを決定し、決定された境界Tに基づいて前記撮像部20で撮像された画像情報Dの全画素Pについて画素Pごとに欠陥であるか否かを判定するフィルタ処理を行うように構成されている。
かかる構成によれば、判定部30は、RGB値を用いて画像情報Dの各画素Pが欠陥であるか否かを画素P単位で判定するための境界Tを決定し、決定された境界Tに基づいて全画素Pについて画素Pごとに欠陥であるか否かを判定し得る。
これにより、複数の画素Pで、RGB値を用いずに境界Tを決定する場合よりも、高い精度で欠陥検査を行い得る。
よって、従来よりも高い精度で欠陥を検査し得る。
本実施形態の検査装置1においては、
前記色情報が、さらにHSL値を含むことが、好ましい。
かかる構成によれば、判定部30が、色情報としてRGB値に加えてさらにHSL値に基づいて上記境界Tを決定し得る。
これにより、より詳細に上記境界Tを決定し得るため、上記境界Tの精度がより高くなり、その結果、より高い精度で欠陥を検査し得る。
本実施形態の検査装置1においては、
前記色情報が、さらにXYZ値を含むことが、好ましい。
かかる構成によれば、判定部30が、色情報としてRGB値に加えてさらにXYZ値に基づいて、または、色情報としてRGB値、HSL値に加えてさらにXYZ値に基づいて上記境界Tを決定し得る。
これにより、より詳細に上記境界Tを決定し得るため、上記境界Tの精度がより高くなり、その結果、より高い精度で欠陥を検査し得る。
本実施形態の検査装置1においては、
前記判定部30は、前記対象物50の欠陥が存在していない領域R1の前記色情報と、さらに欠陥が存在している領域R2の前記色情報とに基づいて、画素Pごとに上記フィルタ処理を行うように構成されていることが、好ましい。
かかる構成によれば、判定部30が、欠陥が存在していない領域R1の色情報に加えて、欠陥が存在している領域R2の色情報にも基づいて上記境界Tを決定し得る。
これにより、より詳細に上記境界Tを決定し得るため、上記境界Tの精度がより高くなり、その結果、より高い精度で欠陥を検査し得る。
本実施形態の検査装置1においては、
前記判定部30は、サポートベクターマシンを用いて前記境界Tを決定するように構成されていることが好ましい。
かかる構成によれば、サポートベクターマシンを用いることによって、より精度良く上記境界Tを決定し得る。
これにより、より詳細に上記境界Tを決定し得るため、上記境界Tの精度がより高くなり、その結果、より高い精度で欠陥を検査し得る。
本実施形態の検査装置1においては、
前記判定部30は、前記フィルタ処理を行った後、さらに欠陥の形状に応じたフィルタ処理を行うように構成されていることが好ましい。
かかる構成によれば、上記フィルタ処理を行った後、さらに欠陥の形状に応じたフィルタ処理を行うことによって、欠陥をより強調できるため、より高い精度で欠陥を検査し得る。
本実施形態の検査装置においては、
前記判定部30は、前記撮像部20で撮像された画像情報Dの全画素Pについて画素Pごとに欠陥であるか否かが判定された結果をマッピングするように構成されていることが、好ましい。
かかる構成によれば、全画素Pの判定結果がマッピングされることによって、欠陥であるか否かが容易に確認され得る。
本実施形態の検査方法は、
前記検査装置1を用いて対象物50の欠陥を検査する検査方法であって、
前記対象物50を、前記色情報を含む画像情報Dとして撮像し、撮像された画像情報Dの全画素Pについて画素Pごとに欠陥であるか否かを判定することによって、前記対象物50が欠陥を有するか否かを判定する方法である。
かかる構成によれば、上記検査装置1を用いることによって、従来よりも高い精度で欠陥を検査し得る。
以上の通り、本実施形態によれば、従来よりも高い精度で欠陥を検査し得る検査装置及び検査方法が提供される。
本実施形態の検査装置及び検査方法は上記の通りであるが、本発明は、上記実施形態に限定されるものではなく、適宜設計変更可能である。
例えば、上記実施形態では、欠陥が存在している領域R1と欠陥が存在していない領域R2との画像情報Dに基づいて、該画像情報Dの画素Pごとに色情報を用いてフィルタ処理したが、本発明においては、欠陥が存在している領域R1の画像情報Dのみに基づいて、該画像情報Dの画素Pごとに色情報を用いてフィルタ処理してもよい。この場合には、得られた色情報群と、欠陥であるか否かの結果群との関係が線形であることから、上記した識別器としてサポートベクターマシンを用いることに代えて、識別器として線形の識別器を用いることによって、境界Tを決定してもよい。
以下、本発明について、実施例を参照しながらより詳細に説明するが、本発明はこれらの実施例に限定されるものではない。
下記撮像部20及び照射部10を備えた図1に示す検査装置1を用い、角度θ1=10°に設定し、撮像部(レンズ)とシート50との距離を590mm、照射部10とシート50との距離を70mmに設定した。対象物としてのシート50として。欠陥を含むことが予め分かっているPENJEREX(日東電工社製)を用いた。
・撮像部20
カメラ JAI社製 LQ-201CL-F、RGB+IR(4Dカメラ)、分解能(0.1mm/pix)、視野 340mm/台
レンズ ブルービジョン製 BL-L1050-F、多板式(オートフォーカスシフト機能)
・照射部10
CCS社製 LNSP-SW、白色LED
照射部10からシート50に光を照射し、撮像部20でシート50を、欠陥が含まれるように撮像した。撮像された画像(フィルタ処理する前の画像)を図8に示す。図8の画像で示される画像情報Dについて、以下の通り、フィルタ処理を行い、図8に実線で示す領域について、以下の通り、階調を調べた。
(比較例1)
予備実験により、用いたシート50では、欠陥部分の画像情報のRGB値のうち、B値の方が、R値及びG値よりも顕著に検出(撮像)されることが分かった。
そこで、得られた画像情報DのRGB値からB値の色情報を抽出し、抽出した全ての画素のB値について、上記数式3に示す微分フィルタ処理を行うことによって、欠陥部分を強調させて、画像化させた。
その結果、図9に示すような画像が得られた。
図8の実線で示す部分については、図10に示すように最も色が濃い部分と最も色が薄い部分との差が、6階調であった。
(実施例1)
判定部30によって、得られた画像情報Dの各画素PのRGB値群と、欠陥であるという結果群及び欠陥でないという結果群とを、サポートベクターマシンを用いて、欠陥であるか否かの境界Tを決定した。決定された境界Tを用いて、検査対象である未知の(欠陥を有するか否かが不明な)画像情報Dについて、画素Pごとに欠陥であるか否かを判定するフィルタ処理を行い、このフィルタ処理で得られた数値(0~1の範囲内の相対値)を255倍することによって、マッピングした。
その結果、図11に示すような画像が得られた。
図8の実線で示す部分については、図12に示すように、色が濃い部分と色が薄い部分との差が、42階調であった。
(実施例2)
実施例1で得られた図11に示す画像に、さらに上記数式3に示す微分フィルタを用いてフィルタ処理を行った。
その結果、図13に示すように、欠陥部分を強調することができた。
図8の実線で示す部分については、図14に示すように、最も色が濃い部分と最も色が薄い部分との差が、48階調であった。
(実施例3)
判定部30によって、得られた画像情報Dの各画素PのRGB値、HSL値及びXYZ値群と、欠陥であるという結果群及び欠陥でないという結果群とを、サポートベクターマシンを用いて、欠陥であるか否かの境界Tを決定した。決定された境界Tを用いて、検査対象である未知の(欠陥を有するか否かが不明な)画像情報Dについて、画素Pごとに欠陥であるか否かを判定するフィルタ処理を行い、このフィルタ処理で得られた数値(0~1の範囲内の相対値)を255倍して、マッピングした。
その結果、図15に示すような画像が得られた。
図8の実線で示す部分について、上記処理で得られた数値を255倍したところ、図16に示すように、最も色が濃い部分と最も色が薄い部分との差が、45階調であった。
(実施例4)
実施例3で得られた図16に示す画像に、さらに上記数式3に示す微分フィルタを用いてフィルタ処理を行った。
その結果、図17に示すように、欠陥部分を強調することができた。
図8の実線で示す部分については、図18に示すように、最も色が濃い部分と最も色が薄い部分との差が、50階調であった。
上記の結果、各画素PのRGB値を用いて境界Tを決定することによって、従来よりも欠陥を精度良く検査し得ることがわかった。また、各画素PのRGB、HSL、XYZ値を用いて境界Tを決定することによって、RGB値を用いた場合よりも、欠陥を精度良く検査し得ることがわかった。
以上のように本発明の実施の形態及び実施例について説明を行なったが、各実施の形態及び実施例の特徴を適宜組み合わせることも当初から予定している。また、今回開示された実施の形態及び実施例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した実施の形態及び実施例ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1:検査装置、10:照射部、20:撮像部、30:判定部、40:表示部、50:シート(対象物)

Claims (7)

  1. 対象物の欠陥を検査する検査装置であって、
    前記対象物を、RGB値を含む色情報を有する画像情報として撮像可能な撮像部と、
    前記撮像部によって撮像された画像情報の前記色情報に基づいて前記対象物が欠陥を有するか否かを判定する判定部とを備え、
    前記判定部は、サポートベクタマシンを用いて前記対象物の欠陥が存在していない領域の各画素のR値からR値用の境界を決定し、各画素のG値をからG値用の境界を決定し、各画素のB値からB値用の境界を決定するための学習を行う処理と、
    前記撮像部で撮像された画像情報に含まれている画素ごとに、R値と前記R値用の境界の比較結果と、G値と前記G値用の境界の比較結果と、B値と前記B値用の境界の比較結果とに基づいて欠陥であるか否かを判定するフィルタ処理とを行うように構成された、検査装置。
  2. 前記色情報が、さらにHSL値を含む、請求項1に記載の検査装置。
  3. 前記色情報が、さらにXYZ値を含む、請求項1または2に記載の検査装置。
  4. 前記判定部は、前記対象物の欠陥が存在していない領域の前記色情報と、さらに欠陥が存在している領域の前記色情報とに基づいて、前記フィルタ処理を行うように構成された、請求項1~3のいずれかに記載の検査装置。
  5. 前記判定部は、前記フィルタ処理を行った後、さらに欠陥の形状に応じたフィルタ処理を行うように構成された、請求項1~のいずれかに記載の検査装置。
  6. 前記判定部は、前記撮像部で撮像された画像情報の全画素について画素ごとに欠陥であるか否かが判定された結果をマッピングするように構成された請求項1~のいずれかに記載の検査装置。
  7. 請求項1~のいずれかの検査装置を用いて対象物の欠陥を検査する検査方法であって、
    前記対象物を、前記色情報を含む画像情報として撮像し、撮像された画像情報の全画素について画素ごとに欠陥であるか否かを判定することによって、前記対象物が欠陥を有するか否かを判定する、検査方法。
JP2016226037A 2016-11-21 2016-11-21 検査装置及び検査方法 Active JP7185388B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016226037A JP7185388B2 (ja) 2016-11-21 2016-11-21 検査装置及び検査方法
CN201710838642.2A CN108090890B (zh) 2016-11-21 2017-09-18 检查装置以及检查方法
US15/728,905 US10891725B2 (en) 2016-11-21 2017-10-10 Inspection apparatus and inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016226037A JP7185388B2 (ja) 2016-11-21 2016-11-21 検査装置及び検査方法

Publications (2)

Publication Number Publication Date
JP2018084431A JP2018084431A (ja) 2018-05-31
JP7185388B2 true JP7185388B2 (ja) 2022-12-07

Family

ID=62147094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016226037A Active JP7185388B2 (ja) 2016-11-21 2016-11-21 検査装置及び検査方法

Country Status (3)

Country Link
US (1) US10891725B2 (ja)
JP (1) JP7185388B2 (ja)
CN (1) CN108090890B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6630912B1 (ja) * 2019-01-14 2020-01-15 株式会社デンケン 検査装置及び検査方法
US11295439B2 (en) * 2019-10-16 2022-04-05 International Business Machines Corporation Image recovery
KR102326955B1 (ko) * 2020-04-10 2021-11-16 주식회사 뷰웍스 디스플레이 장치 분석 시스템 및 그것의 색상 분석 방법
US11216932B1 (en) * 2021-03-26 2022-01-04 Minds AI Technologies Ltd Electronic substrate defect detection
EP4325206A1 (en) 2022-08-18 2024-02-21 F. Hoffmann-La Roche AG Method for compensating defective partitions of a microfluidic chip

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011141809A (ja) 2010-01-08 2011-07-21 Sumitomo Electric Ind Ltd 画像データ分析装置及び画像データ分析方法
US20120163698A1 (en) 2010-12-22 2012-06-28 Kla-Tencor Mie Gmbh Method for Inspection and Detection of Defects on Surfaces of Disc-Shaped Objects and Computer System with a Software Product for Carrying out the Method
JP2016181098A (ja) 2015-03-24 2016-10-13 株式会社Screenホールディングス 領域検出装置および領域検出方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3759842B2 (ja) * 1998-09-17 2006-03-29 大日本スクリーン製造株式会社 画像上の傷部分判定装置、方法および記憶媒体
JP3583684B2 (ja) * 2000-01-12 2004-11-04 シャープ株式会社 画像欠陥検出装置および画像欠陥検出方法
US6954678B1 (en) * 2002-09-30 2005-10-11 Advanced Micro Devices, Inc. Artificial intelligence system for track defect problem solving
GB2393887B (en) * 2002-10-04 2005-10-26 Criterion Software Ltd Three-dimensional computer graphics
CN100472205C (zh) * 2005-02-21 2009-03-25 欧姆龙株式会社 基板检查方法和装置、及其检查逻辑设定方法和装置
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
JP2008175549A (ja) * 2007-01-16 2008-07-31 Olympus Corp 欠陥検出装置および欠陥検出方法
JP4840327B2 (ja) * 2007-10-22 2011-12-21 株式会社デンソー 外観検査方法
JP4743230B2 (ja) * 2008-06-16 2011-08-10 パナソニック電工株式会社 外観検査方法及び外観検査装置
JP2011196685A (ja) * 2010-03-17 2011-10-06 Sharp Corp 欠陥検出装置、欠陥修復装置、表示パネル、表示装置、欠陥検出方法、プログラム
JP2013098267A (ja) * 2011-10-31 2013-05-20 Hitachi High-Technologies Corp 半導体パターン検査装置
JP6025489B2 (ja) * 2012-10-11 2016-11-16 株式会社ニューフレアテクノロジー 検査装置および検査装置システム
JP6191622B2 (ja) * 2013-01-16 2017-09-06 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
JP6295798B2 (ja) * 2014-04-11 2018-03-20 住友電気工業株式会社 検査方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011141809A (ja) 2010-01-08 2011-07-21 Sumitomo Electric Ind Ltd 画像データ分析装置及び画像データ分析方法
US20120163698A1 (en) 2010-12-22 2012-06-28 Kla-Tencor Mie Gmbh Method for Inspection and Detection of Defects on Surfaces of Disc-Shaped Objects and Computer System with a Software Product for Carrying out the Method
JP2016181098A (ja) 2015-03-24 2016-10-13 株式会社Screenホールディングス 領域検出装置および領域検出方法

Also Published As

Publication number Publication date
US20180144461A1 (en) 2018-05-24
CN108090890B (zh) 2023-06-06
JP2018084431A (ja) 2018-05-31
US10891725B2 (en) 2021-01-12
CN108090890A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
JP7185388B2 (ja) 検査装置及び検査方法
JP6969439B2 (ja) 外観検査装置、及び外観検査装置の照明条件設定方法
JP4882529B2 (ja) 欠陥検出方法および欠陥検出装置
KR102003781B1 (ko) 초분광영상화 기법을 이용한 글라스(Glass) 결함 검출 장치
JP2008170325A (ja) シミ欠陥検出方法およびシミ欠陥検出装置
US8330948B2 (en) Semiconductor test instrument and the method to test semiconductor
JP6052590B2 (ja) 自動車車体の表面検査装置および表面検査方法
JP2019160999A (ja) 欠陥検査装置、及び欠陥検査方法
JP2006303491A (ja) ウェハの検査方法
WO2017169242A1 (ja) 欠陥検査装置、及び欠陥検査方法
JP5641545B2 (ja) 薄膜の表面検査方法および検査装置
WO2013077282A1 (ja) 液晶表示パネルの検査方法
JP2009229197A (ja) 線状欠陥検出方法および線状欠陥検出装置
JP2004212311A (ja) ムラ欠陥の検出方法及び装置
JP4244046B2 (ja) 画像処理方法および画像処理装置
JP2019207114A (ja) ダル仕上げ材表面の良否判定方法及び良否判定装置
JP6647903B2 (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2009216485A (ja) 微小物体の形状不良判定検査装置
JP5326990B2 (ja) 塗布状態検査装置及び方法並びにプログラム
JP5620139B2 (ja) タイヤの外観検査方法及び外観検査装置
JP2007285868A (ja) 輝度勾配検出方法、欠陥検出方法、輝度勾配検出装置および欠陥検出装置
JP2008026147A (ja) カラーフィルタの検査装置及びカラーフィルタの検査方法
JP2018105631A (ja) 金属帯表面欠陥の検査装置および検査方法
JP2004226272A (ja) シミ欠陥の検出方法及び装置
JP2006145228A (ja) ムラ欠陥検出方法及び装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180713

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210614

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211015

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211015

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211025

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211029

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211112

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211119

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220107

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220603

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220708

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220930

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221028

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221125

R150 Certificate of patent or registration of utility model

Ref document number: 7185388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150