JP6970550B2 - 欠陥検査システム及び欠陥検査方法 - Google Patents

欠陥検査システム及び欠陥検査方法 Download PDF

Info

Publication number
JP6970550B2
JP6970550B2 JP2017142929A JP2017142929A JP6970550B2 JP 6970550 B2 JP6970550 B2 JP 6970550B2 JP 2017142929 A JP2017142929 A JP 2017142929A JP 2017142929 A JP2017142929 A JP 2017142929A JP 6970550 B2 JP6970550 B2 JP 6970550B2
Authority
JP
Japan
Prior art keywords
image
line
divided
inspection target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017142929A
Other languages
English (en)
Other versions
JP2019023589A (ja
Inventor
麻耶 尾崎
修 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Chemical Co Ltd
Original Assignee
Sumitomo Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Chemical Co Ltd filed Critical Sumitomo Chemical Co Ltd
Priority to JP2017142929A priority Critical patent/JP6970550B2/ja
Priority to KR1020180082657A priority patent/KR20190011200A/ko
Priority to CN201810793863.7A priority patent/CN109297971B/zh
Priority to TW107125180A priority patent/TWI797145B/zh
Publication of JP2019023589A publication Critical patent/JP2019023589A/ja
Application granted granted Critical
Publication of JP6970550B2 publication Critical patent/JP6970550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Textile Engineering (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、欠陥検査システム及び欠陥検査方法に関する。
検査対象の撮像画像に基づいて検査対象の欠陥を検査する欠陥検査システムとして、例えば、偏光フィルム及び位相差フィルム等の光学フィルム、電池のセパレータに用いられる積層フィルム等の欠陥を検出する欠陥検査システムが知られている。この種の欠陥検査システムは、搬送方向にフィルムを搬送し、フィルムの２次元画像を離散時間ごとに撮像し、撮像した２次元画像に基づいて欠陥検査を行う。例えば、特許文献１のシステムは、２次元画像を搬送方向に並列する複数のラインに分割し、離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像を生成する。ライン分割画像は、輝度変化を強調した欠陥強調処理画像に処理される。欠陥強調処理画像について、検査対象における同じ位置を撮像した欠陥強調処理画像の画像データの画素の値同士が積算されることにより統合される。これにより、フィルムの欠陥の有無や位置が容易に特定される。
特許第４７２６９８３号明細書
ところで、フィルムの欠陥には、突出した凸欠陥や窪んだ凹欠陥等の種別がある。欠陥検査システムにおいては、欠陥の有無や位置のみならず、欠陥の種別も識別されることが望ましい。しかし、上記技術においては、欠陥強調処理画像の画像データの画素の値同士が積算されることにより統合されているため、欠陥の突出や窪みの情報は消滅してしまうか打ち消し合い、欠陥の種別を識別することは難しく、改善が望まれている。
そこで本発明は、欠陥の種別を認識し易くなる欠陥検査システム及び欠陥検査方法を提供することを目的とする。
本発明は、検査対象に光を照射する光源と、光源から検査対象に照射されて検査対象を透過又は反射した光による２次元画像を離散時間ごとに撮像する撮像部と、光源及び撮像部に対して検査対象を搬送方向に相対的に搬送する搬送部と、撮像部により撮像された２次元画像の画像データを処理する画像処理部とを備え、撮像部は、２次元画像における搬送方向と合致する方向に輝度が変化する２次元画像を撮像し、画像処理部は、２次元画像を搬送方向に並列する複数のラインに分割し、撮像部により離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像の画像データに処理するライン分割処理部と、ライン分割処理部により処理されたライン分割画像のそれぞれを予め定めた規則に従って２以上のライン分割画像群に分類する分類部と、分類部により同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの画素の値同士を統合し、ライン分割画像群ごとに画像統合データを生成する統合部と、統合部により生成されたライン分割画像群ごとの画像統合データを予め定めた規則に従って分割して出力する分割出力部とを有する欠陥検査システムである。
この構成によれば、検査対象に光を照射する光源と、光源から検査対象に照射されて検査対象を透過又は反射した光による２次元画像を離散時間ごとに撮像する撮像部と、光源及び撮像部に対して検査対象を搬送方向に相対的に搬送する搬送部と、撮像部により撮像された２次元画像の画像データを処理する画像処理部とを備えた欠陥検査システムにおいて、撮像部により、２次元画像における搬送方向と合致する方向に輝度が変化する２次元画像が撮像され、画像処理部のライン分割処理部により、２次元画像が搬送方向に並列する複数のラインに分割され、撮像部により離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像の画像データに処理されるため、同じ検査対象が撮像された画像であってもライン分割画像のそれぞれは異なる輝度を有する画像となる。また、画像処理部の分類部により、ライン分割処理部により処理された異なる輝度を有するライン分割画像のそれぞれが予め定めた規則に従って２以上のライン分割画像群に分類され、画像処理部の統合部により、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの画素の値同士が統合され、ライン分割画像群ごとに画像統合データが生成され、画像処理部の分割出力部により、統合部により生成されたライン分割画像群ごとの画像統合データが予め定めた規則に従って分割して出力されるため、画像データの画素の値同士が統合された画像統合データであっても、予め定めた規則に従って分割して出力されることにより予め定めた規則に従った分割ごとに画像統合データの画像の見え方が異なるものとなるため、画像統合データにおける検査対象の欠陥の種別を認識し易くなる。
この場合、撮像部で離散時間ごとに撮像される２次元画像は、明部と、暗部と、明部と暗部との間の境界部とを有し、搬送部は、撮像部に対して検査対象を明部、暗部及び境界部に交わる搬送方向に相対的に搬送することが好適である。
この構成によれば、撮像部で離散時間ごとに撮像される２次元画像は、明部と、暗部と、明部と暗部との間の境界部とを有し、搬送部により、撮像部に対して検査対象が明部、暗部及び境界部に交わる搬送方向に相対的に搬送されるため、離散時間ごとに撮像された一連の２次元画像における検査対象の各部位が明部、暗部及び境界部のいずれかに入る。このため、分割出力部により出力される画像データが画像データの画素の値同士が統合された画像統合データであっても、予め定めた規則に従った分割ごとの画像統合データの画像の見え方がさらに異なるものとなるため、画像統合データにおける検査対象の欠陥の種別をより認識し易くなる。
この場合、分類部は、ライン分割処理部により処理されたライン分割画像のそれぞれを、２次元画像のそれぞれにおける明部のラインを時系列順に並列させたライン分割画像のライン分割画像群、２次元画像のそれぞれにおける暗部のラインを時系列順に並列させたライン分割画像のライン分割画像群並びに２次元画像のそれぞれにおける境界部のラインを時系列順に並列させたライン分割画像のライン分割画像群に分類することが好適である。
この構成によれば、分類部により、ライン分割処理部により処理されたライン分割画像のそれぞれが、２次元画像のそれぞれにおける明部のラインを時系列順に並列させたライン分割画像のライン分割画像群、２次元画像のそれぞれにおける暗部のラインを時系列順に並列させたライン分割画像のライン分割画像群及び２次元画像のそれぞれにおける境界部のラインを時系列順に並列させたライン分割画像のライン分割画像群に分類されるため、分割出力部により出力される画像データが画像データの画素の値同士が統合された画像統合データであっても、明部、暗部及び境界部のライン分割画像群ごとに分割して出力されることによりライン分割画像群ごとに画像統合データの画像の見え方がさらに異なるものとなるため、画像統合データにおける検査対象の欠陥の種別をより認識し易くなる。
また、光源と検査対象との間に位置し、光源から検査対象に照射される光の一部を遮光することにより、撮像部で離散時間ごとに撮像される２次元画像に明部と暗部と境界部とを形成する遮光体をさらに備え、搬送部は、光源、遮光体及び撮像部に対して検査対象を明部、暗部及び境界部に交わる搬送方向に相対的に搬送してもよい。
この構成によれば、遮光体により２次元画像に明部と暗部と境界部とを容易に形成することができ、離散時間ごとに撮像された一連の２次元画像における検査対象の各部位が明部、暗部及び境界部のいずれかに入るようにすることができる。
また、分割出力部は、統合部により生成されたライン分割画像群ごとの画像統合データを、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の明閾値以上である画素、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の暗閾値以下である画素並びに検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度の変化の幅が任意の変化閾値以上である画素のそれぞれに分割して出力することが好適である。
この構成によれば、分割出力部により、統合部により生成されたライン分割画像群ごとの画像統合データが、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の明閾値以上である常に明るい画素、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の暗閾値以下である常に暗い画素並びに検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度の変化の幅が任意の変化閾値以上である明暗の変化に富んだ画素のそれぞれに分割して出力されるため、ライン分割画像群ごとに画像統合データの画像の明部、暗部及び境界部での見え方が把握し易くなるため、画像統合データにおける検査対象の欠陥の種別をさらに認識し易くなる。
この場合、分割出力部は、統合部により生成されたライン分割画像群ごとの画像統合データを、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の明閾値以上である画素、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の暗閾値以下である画素並びに検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度の変化の幅が任意の変化閾値以上である画素のそれぞれを互いに異なる色に着色した着色部として分割して出力することが好適である。
この構成によれば、分割出力部により、統合部により生成されたライン分割画像群ごとの画像統合データが、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の明閾値以上である常に明るい画素、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の暗閾値以下である常に暗い画素並びに検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度の変化の幅が任意の変化閾値以上である明暗の変化に富んだ画素のそれぞれが互いに異なる色に着色された着色部として分割して出力される。これにより、ライン分割画像群ごとに画像統合データの画像の明部、暗部及び境界部での見え方が色彩により把握し易くなるため、画像統合データにおける検査対象の欠陥の種別をさらに認識し易くなる。
また、分割出力部は、統合部により生成されたライン分割画像群ごとの画像統合データを、ライン分割画像群ごとに分割して出力することが好適である。
この構成によれば、画像データの画素の値同士が統合された画像統合データであっても、ライン分割画像群ごとに分割して出力されることによりライン分割画像群ごとに画像統合データの画像の見え方が異なるものとなるため、画像統合データにおける検査対象の欠陥の種別を認識し易くなる。
また、分割出力部は、統合部により生成されたライン分割画像群ごとの画像統合データを、ライン分割画像群の間の予め定めた閾値ごとに分割して出力することが好適である。
この構成によれば、画像データの画素の値同士が統合された画像統合データであっても、ライン分割画像群の間の予め定めた閾値ごとに分割して出力されることによりライン分割画像群の間の予め定めた閾値ごとに画像統合データの画像の見え方が異なるものとなるため、画像統合データにおける検査対象の欠陥の種別を認識し易くなる。
また、統合部は、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの画素の輝度の基準値に対する高低に応じて画素に正負の符号を有する差分値を付与し、検査対象における同じ位置を撮像した画像データの画素の差分値同士を統合して、ライン分割画像群ごとに画像統合データを生成することが好適である。
この構成によれば、統合部は、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの画素の輝度の基準値に対する高低に応じて画素に正負の符号を有する差分値を付与し、検査対象における同じ位置を撮像した画像データの画素の差分値同士を統合して、ライン分割画像群ごとに画像統合データを生成するため、簡単な演算により、ライン分割画像群ごとに、検査対象における同じ位置を撮像した画像データの画素の輝度の基準値に対する高低が強調された画像統合データを生成することができる。
また、統合部は、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの互いに隣接する画素の輝度変化を強調する強調処理を施し、検査対象における同じ位置を撮像した画像データの画素の強調処理を施された値同士を統合して、ライン分割画像群ごとに画像統合データを生成することが好適である。
この構成によれば、統合部は、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの互いに隣接する画素の輝度変化を強調する強調処理を施し、検査対象における同じ位置を撮像した画像データの画素の強調処理を施された値同士を統合して、ライン分割画像群ごとに画像統合データを生成するため、簡単な演算により、ライン分割画像群ごとに、検査対象における同じ位置を撮像した画像データの互いに隣接する画素の輝度変化が強調された画像統合データを生成することができる。
また、統合部により生成されたライン分割画像群ごとの画像統合データに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別する解析部をさらに備えることが好適である。
この構成によれば、解析部により、統合部により生成されたライン分割画像群ごとの画像統合データに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別が識別されるが、画像データの画素の値同士が統合された画像統合データは、ライン分割画像群ごとに画像データの画素の値同士が統合されているため、当該画像統合データに対する機械学習の結果に基づいて欠陥の種別が識別されることになるため、検査対象の欠陥の種別の識別精度を向上させることができる。
一方、本発明は、欠陥検査システムの光源から検査対象に光を照射する照射工程と、欠陥検査システムの撮像部により、照射工程により光源から検査対象に照射されて検査対象を透過又は反射した光による２次元画像を離散時間ごとに撮像する撮像工程と、欠陥検査システムの搬送部により、光源及び撮像部に対して検査対象を搬送方向に相対的に搬送する搬送工程と、欠陥検査システムの画像処理部により、撮像工程で撮像された２次元画像の画像データを処理する画像処理工程とを備え、撮像工程では、２次元画像における搬送方向と合致する方向に輝度が変化する２次元画像を撮像し、画像処理工程では、２次元画像を搬送方向に並列する複数のラインに分割し、撮像部により離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像の画像データに処理するライン分割処理工程と、ライン分割工程で処理されたライン分割画像のそれぞれを予め定めた規則に従って２以上のライン分割画像群に分類する分類工程と、分類工程で同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの画素の値同士を統合し、ライン分割画像群ごとに画像統合データを生成する統合工程と、統合工程で生成されたライン分割画像群ごとの画像統合データを予め定めた規則に従って分割して出力する分割出力工程とを有する欠陥検査方法である。
この場合、照射工程では、撮像工程で離散時間ごとに撮像される２次元画像は、明部と、暗部と、明部と暗部との境界部とを有し、搬送工程では、撮像部に対して検査対象を明部、暗部及び境界部に交わる搬送方向に相対的に搬送することが好適である。
この場合、分類工程では、ライン分割処理工程で処理されたライン分割画像のそれぞれを、２次元画像のそれぞれにおける明部のラインを時系列順に並列させたライン分割画像のライン分割画像群、２次元画像のそれぞれにおける暗部のラインを時系列順に並列させたライン分割画像のライン分割画像群並びに２次元画像のそれぞれにおける境界部のラインを時系列順に並列させたライン分割画像のライン分割画像群に分類することが好適である。
また、照射工程では、光源と検査対象との間に位置し、光源から検査対象に照射される光の一部を遮光する遮光体により、撮像工程で離散時間ごとに撮像される２次元画像に明部と暗部と境界部を形成し、搬送工程では、光源、遮光体及び撮像部に対して検査対象を明部、暗部及び境界部に交わる搬送方向に相対的に搬送することが好適である。
また、分割出力工程では、統合工程で生成されたライン分割画像群ごとの画像統合データを、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の明閾値以上である画素、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の暗閾値以下である画素並びに検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度の変化の幅が任意の変化閾値以上である画素のそれぞれに分割して出力することが好適である。
この場合、分割出力工程では、統合工程で生成されたライン分割画像群ごとの画像統合データを、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の明閾値以上である画素、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の暗閾値以下である画素並びに検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度の変化の幅が任意の変化閾値以上である画素のそれぞれを互いに異なる色に着色した着色部として分割して出力することが好適である。
また、分割出力工程では、統合工程で生成されたライン分割画像群ごとの画像統合データを、ライン分割画像群ごとに分割して出力することが好適である。
また、分割出力工程は、統合工程により生成されたライン分割画像群ごとの画像統合データを、ライン分割画像群の間の予め定めた閾値ごとに分割して出力することが好適である。
また、統合工程では、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの画素の輝度の基準値に対する高低に応じて画素に正負の符号を有する差分値を付与し、検査対象における同じ位置を撮像した画像データの画素の差分値同士を統合して、ライン分割画像群ごとに画像統合データを生成することが好適である。
また、統合工程では、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの互いに隣接する画素の輝度変化を強調する強調処理を施し、検査対象における同じ位置を撮像した画像データの画素の強調処理を施された値同士を統合して、ライン分割画像群ごとに画像統合データを生成することが好適である。
また、統合工程で生成されたライン分割画像群ごとの画像統合データに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象の欠陥の種別を識別する解析工程をさらに備えることが好適である。
本発明の欠陥検査システム及び欠陥検査方法によれば、欠陥の種別を認識し易くなる。
実施形態に係る欠陥検査システムを示す斜視図である。 図１の欠陥検査システムの光源、撮像部、遮光体及び検査対象の配置を示す図である。 図１の欠陥検査システムの画像処理部の詳細を示すブロック図である。 実施形態に係る欠陥検査方法の工程を示すフローチャートである。 図４の画像処理工程の詳細を示すフローチャートである。 （Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）及び（Ｇ）は、図１の欠陥検査システムの画像処理部のライン分割処理部で処理される画像を示す図である。 （Ａ）は時系列の２次元画像を示す図であり、（Ｂ）は各位置のラインを時系列順に並列させたライン分割画像のそれぞれを示す図であり、（Ｃ）は（Ｂ）のライン分割画像のそれぞれが検査対象の同じ位置を示すように時刻をずらした位置合わせ画像を示す図である。 （Ａ）、（Ｂ）及び（Ｃ）は、図１の欠陥検査システムの画像処理部の分類部で処理される画像を示す図であり、（Ｄ）、（Ｅ）及び（Ｆ）は、図１の欠陥検査システムの画像処理部の統合部で処理される画像を示す図である。 図１の欠陥検査システムの分割出力部により、図８（Ｄ）の画像統合データの画素のそれぞれが互いに異なる色に着色した着色部として出力された状態を示す図である。 畳み込みニューラルネットワークを示す図である。
以下、図面を参照して本発明の欠陥検査システム及び欠陥検査方法の好適な実施形態について詳細に説明する。図１及び図２に示すように、本発明の実施形態に係る欠陥検査システム１は、光源２、撮像部３、搬送部４、画像処理部５、遮光体６、平行光レンズ７及び解析部８を備えている。本実施形態の欠陥検査システムは、偏光フィルム及び位相差フィルム等の光学フィルム、電池のセパレータに用いられる積層フィルム等のフィルムを検査対象Ｔとし、検査対象Ｔの欠陥を検出する。検査対象Ｔは、搬送部４の搬送方向Ｘに延在し、搬送方向Ｘに直交する幅方向Ｙに予め設定された幅を有する。検査対象Ｔに生じる欠陥とは、所望の状態とは異なる状態を指すものであり、例えば、異物、打痕、気泡（成形時に生じる物等）、異物気泡（異物の混入により生じる物等）、傷、クニック（折り目痕等により生じる物等）、及びスジ（厚さの違いにより生じる物等）が挙げられる。欠陥検査システム１は、これらの欠陥の種別を識別する。
図１及び図２に示すように、光源２は検査対象Ｔに光を照射する。光源２は、幅方向Ｙに平行な線状な光を照射するように配置されている。光源２としては、メタルハライドランプ、ハロゲン伝送ライト、蛍光灯など、検査対象Ｔであるフィルムの組成および性質に影響を与えない光を照射するものであれば、特に限定されない。
撮像部３は、光源２から検査対象Ｔに照射されて検査対象Ｔを透過又は反射した光による２次元画像を離散時間ごとに撮像する。撮像部３は、複数の光学部材と光電変換素子とを有している。光学部材は、光学レンズ、シャッター等から構成され、検査対象Ｔであるフィルムを透過した光を光電変換素子の表面に結像させる。光電変換素子は、２次元画像を撮像するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（ComplementaryMetal-Oxide Semiconductor）等の撮像素子で構成されるエリアセンサである。撮像部３は、色彩を有さない２次元画像及び色彩を有する２次元画像のいずれを撮像するものでもよい。
搬送部４は、光源２及び撮像部３に対して検査対象Ｔを搬送方向Ｘに相対的に搬送する。搬送部４は、例えば、検査対象Ｔであるフィルムを搬送方向Ｘに搬送する送出ローラと受取ローラを備え、ロータリーエンコーダなどにより搬送距離を計測する。本実施形態では、搬送部４による検査対象Ｔの搬送速度は、搬送方向Ｘに２〜１００ｍ／分程度に設定される。搬送部４における搬送速度は、画像処理部５及び解析部８によって設定及び制御される。
画像処理部５は、撮像部３により撮像された２次元画像の画像データを処理する。画像処理部５は、２次元画像データの画像処理を行うものであれば、特に限定されるものではなく、例えば、画像処理ソフトウェアがインストールされたＰＣ（パーソナルコンピュータ）、画像処理回路が記述されたＦＰＧＡ（Field Programmable Gate Array）を搭載する画像キャプチャボード等を適用することができる。
遮光体６は、光源２と検査対象Ｔとの間に位置し、光源２から検査対象Ｔに照射される光の一部を遮光することにより、撮像部３で離散時間ごとに撮像される２次元画像に明部と、暗部と、明部と暗部との間の境界部を形成する。遮光体６により、撮像部３は、２次元画像における搬送方向Ｘと合致する方向に輝度が変化する２次元画像を撮像する。より具体的には、搬送部４は、光源２、平行光レンズ７、遮光体６、及び撮像部３に対して検査対象Ｔを明部と暗部と境界部とに交わる搬送方向Ｘに相対的に搬送する。本実施形態では、境界部の長手方向は搬送方向Ｘに垂直な幅方向Ｙに平行である。なお、撮像部３が２次元画像における搬送方向Ｘと合致する方向に輝度が変化する２次元画像を撮像することが可能であれば、遮光体６を備えなくてもよい。平行光レンズ７は、光源２から検査対象Ｔ及び遮光体６に照射される光の進行方向を平行にする。平行光レンズ７は、例えば、テレセントリック光学系により構成することができる。
以下、画像処理部５の詳細について説明する。図３に示すように、画像処理部５は、ライン分割処理部９と分類部１０と統合部１１と分割出力部１２とを有する。ライン分割処理部９は、２次元画像を搬送方向Ｘに並列する複数のラインに分割し、撮像部３により離散時間ごとに撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列させたライン分割画像の画像データに処理する。
分類部１０は、ライン分割処理部９により処理されたライン分割画像のそれぞれを予め定めた規則に従って２以上のライン分割画像群に分類する。統合部１１は、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの画素の値同士を統合し、ライン分割画像群ごとに画像統合データを生成する。
より具体的には、統合部１１は、ライン分割処理部９により処理されたライン分割画像のそれぞれを、２次元画像のそれぞれにおける明部のラインを時系列順に並列させたライン分割画像のライン分割画像群、２次元画像のそれぞれにおける暗部のラインを時系列順に並列させたライン分割画像のライン分割画像群並びに２次元画像のそれぞれにおける境界部のラインを時系列順に並列させたライン分割画像のライン分割画像群に分類する。
また、統合部１１は、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの画素の輝度の基準値に対する高低に応じて画素に正負の符号を有する差分値を付与し、検査対象における同じ位置を撮像した画像データの画素の差分値同士を統合して、ライン分割画像群ごとに画像統合データを生成する。あるいは、統合部１１は、同じライン分割画像群に分類されたライン分割画像のそれぞれについて、検査対象における同じ位置を撮像した画像データの互いに隣接する画素の輝度変化を強調する強調処理を施し、検査対象における同じ位置を撮像した画像データの画素の強調処理を施された値同士を統合して、ライン分割画像群ごとに画像統合データを生成する。
分割出力部１２は、統合部１１により生成されたライン分割画像群ごとの画像統合データを予め定めた規則に従って分割して出力する。より具体的には、分割出力部１２は、統合部１１により生成されたライン分割画像群ごとの画像統合データを、ライン分割画像群ごとに分割して出力する。あるいは、分割出力部は、統合部により生成されたライン分割画像群ごとの画像統合データを、ライン分割画像群の間の予め定めた閾値ごとに分割して出力する。予め定めた閾値とは、例えば、ライン分割画像群に属するライン分割画像の画素の輝度等である。
また、分割出力部１２は、統合部１１により生成されたライン分割画像群ごとの画像統合データをライン分割画像群ごとに分割し、検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の明閾値以上である画素、検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の暗閾値以下である画素並びに検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度の変化の幅が任意の変化閾値以上である画素のそれぞれに分割して出力する。
さらに、分割出力部１２は、統合部１１により生成されたライン分割画像群ごとの画像統合データを、検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の明閾値以上である画素、検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度が任意の暗閾値以下である画素並びに検査対象における同じ位置を撮像した画像統合データの画素であって明部、暗部及び境界部での輝度の変化の幅が任意の変化閾値以上である画素のそれぞれを互いに異なる色に着色した着色部として分割して出力する。
図２に戻り、画像処理部５に接続された解析部８は、例えば、ＰＣ（パーソナルコンピュータ）等からなる。解析部８は、統合部１１により生成されたライン分割画像群ごとの画像統合データに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥の種別を識別する。機械学習の結果を蓄積したデータは、解析部８を含むＰＣのハードディスク等の記憶装置に記憶され、機械学習の結果に伴い更新される。
なお、本実施形態では、ライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータとは、欠陥検査システム１の内部の撮像部３で離散時間ごとに撮像された一連の２次元画像が処理されたライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータの他に、欠陥検査システム１の外部で別途作成されたライン分割画像に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータも含まれる。つまり、本実施形態では、欠陥検査システム１の内部で機械学習がなされた状態で欠陥の種別が識別される態様の他に、欠陥検査システム１の内部では未だ機械学習がなされていない状態で欠陥検査システム１の外部で別途作成された機械学習の結果を蓄積したデータに基づいて欠陥の種別が識別される態様も含まれる。
また、解析部８は、画像処理部５により識別された欠陥の種別をＬＣ（Liquid Crystal）表示パネル、プラズマ表示パネル、ＥＬ（ElectroLuminescence）表示パネル等に表示する。なお、画像処理部５が欠陥の種別を識別し、処理された画像を表示する解析部８をその内部に有していてもよい。
以下、本実施形態の欠陥検査方法について説明する。図４に示すように、欠陥検査システム１の光源２から検査対象Ｔに光を照射する照射工程が行われる（Ｓ１）。図６（Ａ）に示すように、照射工程では、光源２と検査対象Ｔとの間に位置し、光源２から検査対象Ｔに照射される光の一部を遮光する欠陥検査システム１の遮光体６により、撮像工程で離散時間ごとに撮像される２次元画像Ｆ（ｔ１）に、明部ｌと、暗部ｄと、明部ｌと暗部ｄとの間の境界部ｂとが形成される。図６（Ａ）に示すように、時刻ｔ＝ｔ１における２次元画像Ｆ（ｔ１）は、光源２からの光が遮光体６により遮光されるため、搬送方向Ｘの下流側に至るにつれて２次元画像Ｆ（ｔ１）内の明度が高くなる。また、２次元画像Ｆ（ｔ１）には、検査対象Ｔのフィルム上の欠陥Ｄが写っている。時刻ｔ＝ｔ２，ｔ３，…，ｔｍにおける２次元画像Ｆ（ｔ２），Ｆ（ｔ３），…，Ｆ（ｔｍ）についても同様である（ｍは任意の自然数。）。
図４に示すように、欠陥検査システム１の撮像部３により、照射工程により光源２から検査対象Ｔに照射されて検査対象Ｔを透過又は反射した光による２次元画像Ｆ（ｔ１）を離散時間ごとに撮像する撮像工程が行われる（Ｓ２）。図６（Ａ）に示すように、撮像工程では、遮光体６により光源２から検査対象Ｔに照射される光の一部が遮光されるため、２次元画像Ｆ（ｔ１）における搬送方向Ｘと合致する方向に輝度が変化する２次元画像Ｆ（ｔ１）が撮像される。時刻ｔ＝ｔ２，ｔ３…ｔｍにおける２次元画像Ｆ（ｔ２），Ｆ（ｔ３），…，Ｆ（ｔｍ）についても同様である。
また、図４に示すように、欠陥検査システム１の搬送部４により、光源２及び撮像部３に対して検査対象Ｔを搬送方向Ｘに相対的に搬送する搬送工程が行われる（Ｓ３）。図６（Ａ）に示すように、搬送工程では、光源２、平行光レンズ７、遮光体６及び撮像部３に対して検査対象Ｔを明部ｌと暗部ｄと境界部ｂとに交わる搬送方向Ｘに相対的に搬送する。本実施形態では、境界部ｂは搬送方向Ｘに直交する幅方向Ｙに平行であるが、境界部ｂと搬送方向Ｘとのなす角度は９０°以外でもよい。また、境界部ｂは必ずしも厳密なものではなく、境界部とは、明部ｌが含む２次元画像Ｆ（ｔ１）の最も輝度が大きい部位と暗部ｄが含む２次元画像Ｆの最も輝度が小さい部位との中間の部位を意味する。
図４に示すように、欠陥検査システム１の画像処理部５により、撮像工程で撮像された２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）の画像データを処理する画像処理工程が行われる（Ｓ４）。以下、画像処理工程の詳細について説明する。図５に示すように、画像処理工程では、欠陥検査システム１の画像処理部５のライン分割処理部９により、ライン分割処理工程が行われる（Ｓ４１）。図６（Ｂ）に示すように、ライン分割処理工程では、ライン分割処理部９は、２次元画像Ｆ（ｔ１）を搬送方向Ｘに並列する複数の１番目のラインＬ１（ｔ１）〜ｊ番目のラインＬｊ（ｔ１）〜ｋ番目のラインＬｋ（ｔ１）に分割する（ｊ及びｋは任意の自然数、ｊ≦ｋ）。ラインＬ１（ｔ１）〜ラインＬｋ（ｔ１）の搬送方向Ｘの幅は、時刻ｔ１，時刻ｔ２，…，時刻ｔｊ，…，時刻ｔｍのそれぞれの１フレーム間隔において、検査対象Ｔが搬送方向Ｘに搬送される距離と同一である。時刻ｔ＝ｔ２，ｔ３…ｔｍにおける２次元画像Ｆ（ｔ２），Ｆ（ｔ３），…，Ｆ（ｔｍ）についても同様の処理が行われる。
ライン分割処理部９は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）を撮像工程で離散時間ごとに撮像された２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）のそれぞれにおける同じ位置のラインＬ１（ｔ１），Ｌ１（ｔ２），Ｌ１（ｔ３）等を時系列順に並列させたライン分割画像の画像データに処理する。１番目のライン分割画像を例に挙げて説明する。図６（Ｃ）に示すように、ライン分割処理部９は、離散時間ごとに撮像された２次元画像Ｆ（ｔ１），Ｆ（ｔ２），Ｆ（ｔ３），…のそれぞれにおける搬送方向Ｘの最も下流側の１番目のラインＬ１（ｔ１），Ｌ１（ｔ２），Ｌ１（ｔ３），…を時系列順（搬送方向Ｘ）に並列させる。図６（Ｄ）に示すように、ライン分割処理部９は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）のそれぞれにおける１番目のラインＬ１（ｔ１）〜Ｌ１（ｔｍ）を時系列順に並列させて、１番目のライン分割画像ＤＬ１（ｔ１）を生成する。
図６（Ｅ）、図６（Ｆ）及び図６（Ｇ）に示すように、ライン分割処理部９は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）のそれぞれにおける１番目のラインＬ１（ｔ１）〜Ｌ１（ｔｍ），…，ｊ番目のラインＬｊ（ｔ１）〜Ｌｊ（ｔｍ），…，ｋ番目のラインＬｋ（ｔ１）〜Ｌｋ（ｔｍ）にも同様の処理を行い、１番目のライン分割画像ＤＬ１（ｔ１），…，ｊ番目のライン分割画像ＤＬＪ（ｔ１），…，ｋ番目のライン分割画像ＤＬｋ（ｔ１）を生成する。図６（Ｅ）に示すように、ライン分割画像ＤＬ１（ｔ１）は、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｋ）における明部ｌの位置のラインＬ１（ｔ１）〜Ｌ１（ｔｋ）を時系列順に並列させたものである。
図７（Ａ）及び図７（Ｂ）に示すように、ライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）は、離散時間ごとに撮像された２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）のそれぞれにおける同じ位置のラインＬ１（ｔ１）〜Ｌｋ（ｔ１）のそれぞれを時系列順に並列させたものであるから、同じ時刻の範囲のライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）は検査対象Ｔの異なる位置を示しており、ライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）の中の欠陥Ｄの位置もそれぞれずれている。そこで、本実施形態では、それぞれ異なる時刻の範囲で撮像された２次元画像のそれぞれにおける同じ位置のラインを時系列順に並列されたライン分割画像を作成することにより、ライン分割画像のそれぞれが検査対象Ｔの同じ位置を示すように位置合わせを行う。
図７（Ａ）に示すように、撮像工程で２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）が離散時間ごとに撮像される。検査対象Ｔは搬送方向Ｘに搬送されていくため、２次元画像Ｆ（ｔ１）〜Ｆ（ｔｍ）の中の欠陥Ｄの位置はそれぞれずれている。図７（Ｂ）に示すように、上述したようにして、ライン分割画像ＤＬ１（ｔ１）〜ＤＬｊ（ｔ１）〜ＤＬｋ（ｔ１）が生成される。同じ時刻の範囲のライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）は検査対象Ｔの異なる位置を示しているため、ライン分割画像ＤＬ１（ｔ１）〜ＤＬｋ（ｔ１）の中の欠陥Ｄの位置もそれぞれずれている。
搬送方向Ｘの下流側から１番目のラインＬ１（ｔ１）〜Ｌ１（ｔｍ）に対して、例えば、同じ時刻の範囲の搬送方向Ｘの下流側からｊ番目のラインＬｊ（ｔ１）〜Ｌｊ（ｔｍ）は、（ｊ−１）分のフレーム間隔に検査対象Ｔが搬送される距離だけ検査対象Ｔの搬送方向Ｘの上流側の位置を示している。したがって、図７（Ｃ）に示すように、１番目のラインＬ１（ｔｍ）〜Ｌ１（ｔ（ｍ＋（ｍ−１）））のライン分割画像ＤＬ１（ｔｍ）に対して、例えば、ｊ番目のラインのライン分割画像については、時刻ｔ１〜時刻ｔｍの範囲に対して（ｊ−１）分のフレーム間隔の時間だけ遡った時刻ｔ（ｍ−（ｊ−１））〜時刻ｔ（ｍ＋（ｍ−ｊ））の範囲のライン分割画像ＤＬｊ（ｔ（ｍ−（ｊ−１）））が検査対象Ｔの同じ位置を示すことになる。
同様に、１番目のラインＬ１（ｔｍ）〜Ｌ１（ｔ（ｍ＋（ｍ−１）））のライン分割画像ＤＬ１（ｔｍ）に対して、例えば、ｋ番目のラインのライン分割画像については、時刻ｔ１〜時刻ｔｍの範囲に対して（ｋ−１）分のフレーム間隔の時間だけ遡った時刻ｔ（ｍ−（ｋ−１））〜時刻ｔ（ｍ＋（ｍ−ｋ））の範囲のライン分割画像ＤＬｋ（ｔ（ｍ−（ｋ−１）））が検査対象Ｔの同じ位置を示すことになる。
あるいは、１番目のラインＬ１（ｔ１）〜Ｌ１（ｔ（１＋（ｍ−１）））のライン分割画像ＤＬ１（ｔ１）に対して、例えば、ｊ番目のラインのライン分割画像については、時刻ｔ（１−（ｊ−１））〜時刻ｔ（１＋（ｍ−ｊ））の範囲のライン分割画像ＤＬｊ（ｔ（１−（ｊ−１）））が検査対象Ｔの同じ位置を示す。また、１番目のラインＬ１（ｔ１）〜Ｌ１（ｔ（１＋（ｍ−１）））のライン分割画像ＤＬ１（ｔ１）に対して、例えば、ｋ番目のラインのライン分割画像については、時刻ｔ（１−（ｋ−１））〜時刻ｔ（１＋（ｍ−ｋ））の範囲のライン分割画像ＤＬｋ（ｔ（１−（ｋ−１）））が検査対象Ｔの同じ位置を示す。このように時刻の範囲をずらすことにより、ライン分割画像のそれぞれが検査対象Ｔの同じ位置を示すように位置合わせを行うことができる。
例えば、図６（Ｆ）に示すライン分割画像ＤＬｊ（ｔ（１−（ｊ−１）））は、２次元画像Ｆ（ｔ（１−（ｊ−１）））〜Ｆ（ｔ（ｍ−（ｊ−１）））における境界部ｂの位置のラインＬｊ（ｔ（１−（ｊ−１）））〜Ｌｊ（ｔ（ｍ−（ｊ−１）））を時系列順に並列させたものである。また、図６（Ｇ）に示すライン分割画像ＤＬ（ｋ−２）（ｔ（１−（ｋ−３）））は、２次元画像Ｆ（ｔ（１−（ｋ−３）））〜Ｆ（ｔ（ｍ−（ｋ−３）））における暗部ｄの位置のラインＬ（ｋ−２）（ｔ（１−（ｋ−３）））〜Ｌｋ（ｔ（ｍ−（ｋ−３）））を時系列順に並列させたものである。
なお、位置ずれの量が既知の場合や、ライン分割画像のサイズが欠陥に対して十分大きな場合は必ずライン分割画像内に欠陥が収まるため、位置合わせをしなくても欠陥が含まれるライン分割画像を機械学習のために使用することが可能である。したがって、このような場合には、位置合わせは行われなくともよい。
図５に示すように、画像処理工程では、欠陥検査システム１の画像処理部５の分類部１０により、分類工程が行われる（Ｓ４２）。分類工程では、分類部１０は、ライン分割工程で処理されたライン分割画像ＤＬ１（ｔ１）等のそれぞれを予め定めた規則に従って２以上のライン分割画像群に分類する。
図８（Ａ）に示すように、分類工程では、分類部１０は、ライン分割処理工程で処理されたライン分割画像ＤＬ１（ｔ１）等のそれぞれを、２次元画像Ｆ（ｔ１）等のそれぞれにおける明部ｌのラインＬ１（ｔ１）…，Ｌ２（ｔ０）…，Ｌ３（ｔ（−１））…等を時系列順に並列させたライン分割画像ＤＬ１（ｔ１），ＤＬ２（ｔ０），ＤＬ３（ｔ（−１）），…のライン分割画像群Ｇ１（ｔ１）に分類する。
図８（Ｂ）に示すように、分類工程では、分類部１０は、ライン分割処理工程で処理されたライン分割画像ＤＬｊ（ｔ（１−（ｊ−１）））等のそれぞれを、２次元画像Ｆ（ｔ（１−（ｊ−１）））等のそれぞれにおける境界部ｂのラインＬｊ（ｔ（１−（ｊ−１）））…，Ｌ（ｊ＋１）（ｔ（１−ｊ））…，Ｌ（ｊ＋２）（ｔ（１−（ｊ＋１）））…等を時系列順に並列させたライン分割画像ＤＬｊ（ｔ（１−（ｊ−１））），ＤＬ（ｊ＋１）（ｔ（１−ｊ）），ＤＬ（ｊ＋２）（ｔ（１−（ｊ＋１）））…のライン分割画像群Ｇ２（ｔ（１−（ｊ−１）））に分類する。
図８（Ｃ）に示すように、分類工程では、分類部１０は、ライン分割処理工程で処理されたライン分割画像ＤＬ（ｋ−２）（ｔ（１−（ｋ−３）））等のそれぞれを、２次元画像Ｆ（ｔ（１−（ｋ−３）））等のそれぞれにおける暗部ｄのラインＬ（ｋ−２）（ｔ（１−（ｋ−３）））…，Ｌ（ｋ−１）（ｔ（１−（ｋ−２））…，Ｌｋ（ｔ（１−（ｋ−１）））…等を時系列順に並列させたライン分割画像ＤＬ（ｋ−２）（ｔ（１−（ｋ−３））），ＤＬ（ｋ−１）（ｔ（１−（ｋ−２））），ＤＬｋ（（１−（ｋ−１）））…のライン分割画像群Ｇ３（ｔ（１−（ｋ−３）））に分類する。
図５に示すように、画像処理工程では、欠陥検査システム１の画像処理部５の統合部１１により、統合工程が行われる（Ｓ４３）。図８（Ｄ）に示すように、統合工程では、統合部１１は、同じライン分割画像群Ｇ１（ｔ１）に分類されたライン分割画像ＤＬ１（ｔ１），ＤＬ２（ｔ０），ＤＬ３（ｔ（−１）），…のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの画素の値同士を統合し、ライン分割画像群Ｇ１（ｔ１）ごとに画像統合データＣ１（ｔ１）を生成する。
図８（Ｅ）に示すように、統合工程では、統合部１１は、同じライン分割画像群Ｇ２（ｔ（１−（ｊ−１）））に分類されたライン分割画像ＤＬｊ（ｔ（１−（ｊ−１））），ＤＬ（ｊ＋１）（ｔ（１−ｊ）），ＤＬ（ｊ＋２）（ｔ（１−（ｊ＋１）））…のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの画素の値同士を統合し、ライン分割画像群Ｇ２（ｔ（１−（ｊ−１）））ごとに画像統合データＣ２（ｔ（１−（ｊ−１）））を生成する。
図８（Ｆ）に示すように、統合工程では、統合部１１は、同じライン分割画像群Ｇ３（ｔ（１−（ｋ−３）））に分類されたライン分割画像ＤＬ（ｋ−２）（ｔ（１−（ｋ−３））），ＤＬ（ｋ−１）（ｔ（１−（ｋ−２））），ＤＬｋ（（１−（ｋ−１）））…のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの画素の値同士を統合し、ライン分割画像群Ｇ３（ｔ（１−（ｋ−３）））ごとに画像統合データＣ３（ｔ（１−（ｋ−３）））を生成する。
統合工程では、統合部１１は、同じライン分割画像群Ｇ１（ｔ１）等に分類されたライン分割画像ＤＬ１（ｔ１），ＤＬ２（ｔ０），ＤＬ３（ｔ（−１））…等のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの画素の輝度の基準値に対する高低に応じて画素に正負の符号を有する差分値を付与し、検査対象Ｔにおける同じ位置を撮像した画像データの画素の差分値同士を統合して、ライン分割画像群Ｇ１（ｔ１）等ごとに画像統合データＣ１（ｔ１）等を生成してもよい。
あるいは、統合工程では、統合部１１は、同じライン分割画像群Ｇ１（ｔ１）等に分類されたライン分割画像ＤＬ１（ｔ１），ＤＬ２（ｔ０），ＤＬ３（ｔ（−１））…等のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの互いに隣接する画素の輝度変化を強調する強調処理を施し、検査対象Ｔにおける同じ位置を撮像した画像データの画素の強調処理を施された値同士を統合して、ライン分割画像群Ｇ１（ｔ１）等ごとに画像統合データＣ１（ｔ１）等を生成してもよい。なお、図８（Ｄ）、図８（Ｅ）及び図８（Ｆ）に示した例は、あくまでも模式図であり、現実の画像統合データＣ１（ｔ１）等の見え方は、欠陥Ｄの形状等によって異なる。
図５に示すように、画像処理工程では、欠陥検査システム１の画像処理部５の分割出力部１２により、分割出力工程が行われる（Ｓ４４）。分割出力工程では、分割出力部１２は、統合工程で生成されたライン分割画像群Ｇ１（ｔ１）等ごとの画像統合データＣ１（ｔ１）等を予め定めた規則に従って分割して出力する。例えば、分割出力工程では、分割出力部１２は、統合工程で生成されたライン分割画像群Ｇ１（ｔ１）等ごとの画像統合データＣ１（ｔ１）等をライン分割画像群Ｇ１（ｔ１）等ごとに分割して出力する。まず、分割出力工程では、分割出力部１２は、統合工程で生成されたライン分割画像群Ｇ１（ｔ１）等ごとの画像統合データＣ１（ｔ１）等をライン分割画像群Ｇ１（ｔ１）等ごとに分割する。
図９に示すように、分割出力工程では、分割出力部１２は、検査対象Ｔにおける同じ位置を撮像した画像統合データＣ１（ｔ１）等の画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度が任意の明閾値以上である画素、検査対象Ｔにおける同じ位置を撮像した画像統合データＣ１（ｔ１）等の画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度が任意の暗閾値以下である画素並びに検査対象Ｔにおける同じ位置を撮像した画像統合データＣ１（ｔ１）等の画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度の変化の幅が任意の変化閾値以上である画素のそれぞれを、赤色に着色された着色部Ｒ、青色に着色された着色部Ｂ及び緑色に着色された着色部Ｇのそれぞれとして出力する。
例えば、分割出力部１２は、検査対象Ｔにおける同じ位置を撮像した画像統合データＣ１（ｔ１）等の画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度が明閾値以上であり常に明るい画素のそれぞれを着色部Ｒに割り当て、検査対象Ｔにおける同じ位置を撮像した画像統合データＣ１（ｔ１）等の画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度が暗閾値以下であり常に暗い画素のそれぞれを着色部Ｂに割り当て、検査対象Ｔにおける同じ位置を撮像した画像統合データＣ１（ｔ１）等の画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度の変化の幅が変化閾値以上である明暗の変化に富んだ画素のそれぞれを着色部Ｇに割り当てることができる。
着色部Ｒ、着色部Ｂ及び着色部Ｇの割り当てはどのように設定してもよい。また、明閾値、暗閾値及び変化閾値はどのようにも設定することができるが、一般に、明閾値≧暗閾値である。
例えば、分割出力工程では、分割出力部１２は、統合工程で生成されたライン分割画像群Ｇ１（ｔ１）等ごとの画像統合データＣ１（ｔ１）等を、ライン分割画像群Ｇ１（ｔ１）等の間の予め定めた閾値ごとに分割して出力してもよい。
図４に示すように、欠陥検査システム１の解析部８により、統合工程で生成されたライン分割画像群Ｇ１（ｔ１）等ごとの画像統合データＣ１（ｔ１）等に含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥Ｄの種別を識別する解析工程が行われる（Ｓ５）。機械学習は、例えば、畳み込みニューラルネットワークが行われる。なお、機械学習により欠陥の種別を識別可能であれば、畳み込みニューラルネットワーク以外のニューラルネットワークやその他の手法を用いることも可能である。
図１０に示すように、畳み込みニューラルネットワーク１００は、入力層１１０、隠れ層１２０及び出力層１３０を備えている。入力層１１０には、欠陥検査システム１の画像処理部５により、統合工程で生成されたライン分割画像群Ｇ１（ｔ１），Ｇ２（ｔ（１−（ｊ−１））），Ｇ３（ｔ（１−（ｋ−３）））等ごとの画像統合データＣ１（ｔ１），Ｃ２（ｔ（１−（ｊ−１））），Ｃ３（ｔ（１−（ｋ−３）））が入力される。隠れ層１２０は、重みフィルタｆによる画像処理が行われる畳み込み層１２１，１２３と、畳み込み層１２１，１２３から出力された二次元配列を縦横に小さくして有効な値を残す処理を行うプーリング層１２２と、各層の重み係数ｎが更新される全結合層１２４とを有する。出力層１３０では、機械学習による欠陥Ｄの種別の識別結果が出力される。畳み込みニューラルネットワーク１００では、出力された識別結果と正解値との誤差を逆方向Ｒに逆伝播することによって各層の重みが学習される。
例えば、解析部８に予め複数の画像統合データＣ１（ｔ１）を欠陥Ｄの種別の識別の正解とともに入力して学習させておくことにより、新たに入力された画像統合データＣ１（ｔ１）等に含まれる物が特定の欠陥Ｄの種別であるかどうかが順次識別され、識別結果が順次出力される。順次出力された識別結果と正解との誤差は逆方向Ｒに逆伝播され、各層の重み係数ｎが順次更新され、データとして蓄積される。各相の重みが順次更新された状態で、さらに新たに入力された画像統合データＣ１（ｔ１）等に含まれる物が特定の欠陥の種別であるかどうかが順次識別され、識別結果が順次出力され、順次出力された識別結果と正解との誤差に基づいて各層の重み係数ｎが順次更新され、データとして蓄積されることが繰り返されることにより、識別結果と正解との誤差が小さくなり、欠陥Ｄの種別の識別の精度が向上する。
本実施形態では、検査対象Ｔに光を照射する光源２と、光源２から検査対象Ｔに照射されて検査対象Ｔを透過又は反射した光による２次元画像Ｆ（ｔ１）を離散時間ごとに撮像する撮像部３と、光源２及び撮像部３に対して検査対象Ｔを搬送方向Ｘに相対的に搬送する搬送部４と、撮像部３により撮像された２次元画像Ｆ（ｔ１）の画像データを処理する画像処理部５とを備えた欠陥検査システム１において、撮像部３により、２次元画像Ｆ（ｔ１）における搬送方向Ｘと合致する方向に輝度が変化する２次元画像Ｆ（ｔ１）が撮像され、画像処理部５のライン分割処理部９により、２次元画像Ｆ（ｔ１）が搬送方向Ｘに並列する複数のラインＬ１（ｔ１）等に分割され、撮像部３により離散時間ごとに撮像された２次元画像Ｆ（ｔ１）のそれぞれにおける同じ位置のラインＬ１（ｔ１）等を時系列順に並列させたライン分割画像ＤＬ１（ｔ１）等の画像データに処理されるため、同じ検査対象Ｔが撮像された画像であってもライン分割画像ＤＬ１（ｔ１）等のそれぞれは異なる輝度を有する画像となる。
また、画像処理部５の分類部１０により、ライン分割処理部９により処理された異なる輝度を有するライン分割画像ＤＬ１（ｔ１）等のそれぞれが予め定めた規則に従って２以上のライン分割画像群Ｇ１（ｔ１）等に分類され、画像処理部５の統合部１１により、同じライン分割画像群Ｇ１（ｔ１）等に分類されたライン分割画像ＤＬ１（ｔ１）等のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの画素の値同士が統合され、ライン分割画像群Ｇ１（ｔ１）等ごとに画像統合データＣ１（ｔ１）等が生成され、画像処理部５の分割出力部１２により、統合部１１により生成されたライン分割画像群Ｇ１（ｔ１）等ごとの画像統合データＣ１（ｔ１）等が予め定めた規則に従って分割して出力されるため、画像データの画素の値同士が統合された画像統合データＣ１（ｔ１）等であっても、予め定めた規則に従って分割して出力されることにより予め定めた規則に従った分割ごとに画像統合データＣ１（ｔ１）等の画像の見え方が異なるものとなるため、画像統合データＣ１（ｔ１）等における検査対象Ｔの欠陥Ｄの種別を認識し易くなる。
また、本実施形態によれば、撮像部３で離散時間ごとに撮像される２次元画像Ｆ（ｔ１）は、明部ｌと、暗部ｄと、明部ｌと暗部ｄとの間の境界部ｂとを有し、搬送部４により、撮像部３に対して検査対象が明部ｌ、暗部ｄ及び境界部ｂに交わる搬送方向Ｘに相対的に搬送されるため、離散時間ごとに撮像された一連の２次元画像Ｆ（ｔ１）…における検査対象Ｔの各部位が明部ｌ、暗部ｄ及び境界部ｂのいずれかに入る。このため、分割出力部１２により出力される画像データが画像データの画素の値同士が統合された画像統合データであっても、予め定めた規則に従った分割ごとの画像統合データの画像の見え方がさらに異なるものとなるため、画像統合データにおける検査対象Ｔの欠陥Ｄの種別をより認識し易くなる。
また、本実施形態によれば、分類部１０により、ライン分割処理部９により処理されたライン分割画像のそれぞれが、２次元画像Ｆ（ｔ１）等のそれぞれにおける明部ｌのラインを時系列順に並列させたライン分割画像ＤＬ１（ｔ１）のライン分割画像群Ｇ１（ｔ１）、２次元画像Ｆ（ｔ１）等のそれぞれにおける暗部ｄのラインを時系列順に並列させたライン分割画像ＤＬ（ｋ−２）（ｔ（１−（ｋ−３）））のライン分割画像群Ｇ３（ｔ（１−（ｋ−３）））及び２次元画像Ｆ（ｔ１）等のそれぞれにおける境界部ｂのラインを時系列順に並列させたライン分割画像ＤＬｊ（ｔ（１−（ｊ−１）））のライン分割画像群Ｇ２（ｔ（１−（ｊ−１）））に分類されるため、分割出力部１２により出力される画像データが画像データの画素の値同士が統合された画像統合データであっても、明部ｌ、暗部ｄ及び境界部ｂのライン分割画像群Ｇ１（ｔ１）等ごとに分割して出力されることによりライン分割画像群Ｇ１（ｔ１）等ごとに画像統合データの画像の見え方がさらに異なるものとなるため、画像統合データにおける検査対象Ｔの欠陥Ｄの種別をより認識し易くなる。
また、本実施形態によれば、遮光体６により２次元画像Ｆ（ｔ１）等に明部ｌと暗部ｄと境界部ｂとを容易に形成することができ、離散時間ごとに撮像された一連の２次元画像Ｆ（ｔ１）…における検査対象Ｔの各部位が明部ｌ、暗部ｄ及び境界部ｂのいずれかに入るようにすることができる。
また、本実施形態によれば、分割出力部１２により、統合部１１により生成されたライン分割画像群Ｇ１（ｔ１）等ごとの画像統合データが、検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度が任意の明閾値以上である常に明るい画素、検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度が任意の暗閾値以下である常に暗い画素並びに検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度の変化の幅が任意の変化閾値以上である明暗の変化に富んだ画素のそれぞれに分割して出力されるため、ライン分割画像群Ｇ１（ｔ１）等ごとに画像統合データの画像の明部ｌ、暗部ｄ及び境界部ｂでの見え方が把握し易くなるため、画像統合データにおける検査対象Ｔの欠陥Ｄの種別をさらに認識し易くなる。
また、本実施形態によれば、分割出力部１２により、統合部１１により生成されたライン分割画像群Ｇ１（ｔ１）等ごとの画像統合データが、検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度が任意の明閾値以上である常に明るい画素、検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度が任意の暗閾値以下である常に暗い画素並びに検査対象Ｔにおける同じ位置を撮像した画像統合データの画素であって明部ｌ、暗部ｄ及び境界部ｂでの輝度の変化の幅が任意の変化閾値以上である明暗の変化に富んだ画素のそれぞれが互いに異なる色に着色された着色部Ｒ，Ｇ，Ｂとして分割して出力される。これにより、ライン分割画像群Ｇ１（ｔ１）等ごとに画像統合データの画像の明部ｌ、暗部ｄ及び境界部ｂでの見え方が色彩により把握し易くなるため、画像統合データにおける検査対象Ｔの欠陥Ｄの種別をさらに認識し易くなる。
また、本実施形態によれば、画像データの画素の値同士が統合された画像統合データであっても、ライン分割画像群Ｇ１（ｔ１）等ごとに分割して出力されることによりライン分割画像群Ｇ１（ｔ１）等ごとに画像統合データの画像の見え方が異なるものとなるため、画像統合データにおける検査対象Ｔの欠陥Ｄの種別を認識し易くなる。
また、本実施形態によれば、画像データの画素の値同士が統合された画像統合データであっても、ライン分割画像群Ｇ１（ｔ１）等の間の予め定めた閾値ごとに分割して出力されることによりライン分割画像群Ｇ１（ｔ１）等の間の予め定めた閾値ごとに画像統合データの画像の見え方が異なるものとなるため、画像統合データにおける検査対象Ｔの欠陥Ｄの種別を認識し易くなる。
また、本実施形態によれば、統合部１１は、同じライン分割画像群Ｇ１（ｔ１）等に分類されたライン分割画像ＤＬ１（ｔ１）等のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの画素の輝度の基準値に対する高低に応じて画素に正負の符号を有する差分値を付与し、検査対象Ｔにおける同じ位置を撮像した画像データの画素の差分値同士を統合して、ライン分割画像群Ｇ１（ｔ１）等ごとに画像統合データＣ１（ｔ１）等を生成するため、簡単な演算により、ライン分割画像群Ｇ１（ｔ１）等ごとに、検査対象Ｔにおける同じ位置を撮像した画像データの画素の輝度の基準値に対する高低が強調された画像統合データＣ１（ｔ１）等を生成することができる。
また、本実施形態によれば、統合部１１は、同じライン分割画像群Ｇ１（ｔ１）等に分類されたライン分割画像ＤＬ１（ｔ１）のそれぞれについて、検査対象Ｔにおける同じ位置を撮像した画像データの互いに隣接する画素の輝度変化を強調する強調処理を施し、検査対象Ｔにおける同じ位置を撮像した画像データの画素の強調処理を施された値同士を統合して、ライン分割画像群Ｇ１（ｔ１）等ごとに画像統合データＣ１（ｔ１）等を生成するため、簡単な演算により、ライン分割画像群Ｇ１（ｔ１）等ごとに、検査対象Ｔにおける同じ位置を撮像した画像データの互いに隣接する画素の輝度変化が強調された画像統合データＣ１（ｔ１）等を生成することができる。
また、本実施形態によれば、解析部８により、統合部１１により生成されたライン分割画像群Ｇ１（ｔ１）等ごとの画像統合データに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて検査対象Ｔの欠陥Ｄの種別が識別されるが、画像データの画素の値同士が統合された画像統合データは、ライン分割画像群Ｇ１（ｔ１）等ごとに画像データの画素の値同士が統合されているため、当該画像統合データＣ１（ｔ１）等に対する機械学習の結果に基づいて欠陥の種別が識別されることになるため、検査対象Ｔの欠陥Ｄの種別の識別精度を向上させることができる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく様々な形態で実施される。例えば、上記実施形態では、検査対象Ｔがフィルムである場合について中心に説明したが、本発明の欠陥検査システム及び欠陥検査方法は、例えば、生産ラインにおいて、容器に充填された液体の充填量検査に適用することができる。本実施形態の欠陥検査システム１及び欠陥検査方法により、容器内の所望の位置まで液体が到達していないか、あるいは、液体が容器内の所望の位置を超えていないか等の欠陥を検出することができる。
また、本実施形態の欠陥検査システム１及び欠陥検査方法は、生産ラインにおいて、ガラス製品等の割れやキズ等の外観検査に適用することができる。ガラス製品に割れやキズ等の欠陥が有る場合には輝度が他の部位よりも高くなることを利用して欠陥を抽出することができる。
１…欠陥検査システム、２…光源、３…撮像部、４…搬送部、５…画像処理部、６…遮光体、７…平行光レンズ、８…解析部、９…ライン分割処理部、１０…分類部、１１…統合部、１２…分割出力部、１００…畳み込みニューラルネットワーク、１１０…入力層、１２０…隠れ層、１２１，１２３…畳み込み層、１２２…プーリング層、１２４…全結合層、１３０…出力層、Ｔ…検査対象、Ｘ…搬送方向、Ｙ…幅方向、Ｆ（ｔ１）…２次元画像、ｌ…明部、ｄ…暗部、ｂ…境界部、Ｄ…欠陥、ＤＬ１（ｔ１）…ライン分割画像、Ｌ１（ｔ１）…ライン、Ｇ１（ｔ１）…ライン分割画像群、Ｃ１（ｔ１）…画像統合データ、Ｒ，Ｇ，Ｂ…着色部、ｆ…重みフィルタ、ｎ…重み係数、Ｒ…逆方向。

Claims (22)

  1. 検査対象に光を照射する光源と、
    前記光源から前記検査対象に照射されて前記検査対象を透過又は反射した前記光による２次元画像を離散時間ごとに撮像する撮像部と、
    前記光源及び前記撮像部に対して前記検査対象を搬送方向に相対的に搬送する搬送部と、
    前記撮像部により撮像された前記２次元画像の画像データを処理する画像処理部と、
    を備え、
    前記撮像部は、
    前記２次元画像における前記搬送方向と合致する方向に輝度が変化する前記２次元画像を撮像し、
    前記画像処理部は、
    前記２次元画像を前記搬送方向に並列する複数のラインに分割し、前記撮像部により前記離散時間ごとに撮像された前記２次元画像のそれぞれにおける同じ位置の前記ラインを時系列順に並列させたライン分割画像の前記画像データに処理するライン分割処理部と、
    前記ライン分割処理部により処理された前記ライン分割画像のそれぞれを予め定めた規則に従って２以上のライン分割画像群に分類する分類部と、
    前記分類部により同じ前記ライン分割画像群に分類された前記ライン分割画像のそれぞれについて、前記検査対象における同じ位置を撮像した前記画像データの画素の値同士を統合し、前記ライン分割画像群ごとに画像統合データを生成する統合部と、
    前記統合部により生成された前記ライン分割画像群ごとの前記画像統合データを予め定めた規則に従って分割して出力する分割出力部と、
    を有する、欠陥検査システム。
  2. 前記撮像部で離散時間ごとに撮像される前記２次元画像は、明部と、暗部と、前記明部と前記暗部との間の境界部とを有し、
    前記搬送部は、
    前記撮像部に対して前記検査対象を前記明部、前記暗部及び前記境界部に交わる前記搬送方向に相対的に搬送する、請求項１に記載の欠陥検査システム。
  3. 前記分類部は、
    前記ライン分割処理部により処理された前記ライン分割画像のそれぞれを、前記２次元画像のそれぞれにおける前記明部の前記ラインを時系列順に並列させた前記ライン分割画像の前記ライン分割画像群、前記２次元画像のそれぞれにおける前記暗部の前記ラインを時系列順に並列させた前記ライン分割画像の前記ライン分割画像群並びに前記２次元画像のそれぞれにおける前記境界部の前記ラインを時系列順に並列させた前記ライン分割画像の前記ライン分割画像群に分類する、請求項２に記載の欠陥検査システム。
  4. 前記光源と前記検査対象との間に位置し、前記光源から前記検査対象に照射される前記光の一部を遮光することにより、前記撮像部で離散時間ごとに撮像される前記２次元画像に前記明部と前記暗部と前記境界部とを形成する遮光体をさらに備え、
    前記搬送部は、
    前記光源、前記遮光体及び前記撮像部に対して前記検査対象を前記明部、前記暗部及び前記境界部に交わる前記搬送方向に相対的に搬送する、請求項２又は３に記載の欠陥検査システム。
  5. 前記分割出力部は、
    前記統合部により生成された前記ライン分割画像群ごとの前記画像統合データを、前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度が任意の明閾値以上である前記画素、前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度が任意の暗閾値以下である前記画素並びに前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度の変化の幅が任意の変化閾値以上である前記画素のそれぞれに分割して出力する、請求項２〜４のいずれか１項に記載の欠陥検査システム。
  6. 前記分割出力部は、
    前記統合部により生成された前記ライン分割画像群ごとの前記画像統合データを、前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度が任意の明閾値以上である前記画素、前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度が任意の暗閾値以下である前記画素並びに前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度の変化の幅が任意の変化閾値以上である前記画素のそれぞれを互いに異なる色に着色した着色部として分割して出力する、請求項５に記載の欠陥検査システム。
  7. 前記分割出力部は、
    前記統合部により生成された前記ライン分割画像群ごとの前記画像統合データを、前記ライン分割画像群ごとに分割して出力する、請求項１〜６のいずれか１項に記載の欠陥検査システム。
  8. 前記分割出力部は、
    前記統合部により生成された前記ライン分割画像群ごとの前記画像統合データを、前記ライン分割画像群の間の予め定めた閾値ごとに分割して出力する、請求項１〜６のいずれか１項に記載の欠陥検査システム。
  9. 前記統合部は、
    同じ前記ライン分割画像群に分類された前記ライン分割画像のそれぞれについて、前記検査対象における同じ位置を撮像した前記画像データの前記画素の輝度の基準値に対する高低に応じて前記画素に正負の符号を有する差分値を付与し、前記検査対象における同じ位置を撮像した前記画像データの前記画素の前記差分値同士を統合して、前記ライン分割画像群ごとに画像統合データを生成する、請求項１〜８のいずれか１項に記載の欠陥検査システム。
  10. 前記統合部は、
    同じ前記ライン分割画像群に分類された前記ライン分割画像のそれぞれについて、前記検査対象における同じ位置を撮像した前記画像データの互いに隣接する前記画素の輝度変化を強調する強調処理を施し、前記検査対象における同じ位置を撮像した前記画像データの画素の前記強調処理を施された値同士を統合して、前記ライン分割画像群ごとに画像統合データを生成する、請求項１〜８のいずれか１項に記載の欠陥検査システム。
  11. 前記統合部により生成された前記ライン分割画像群ごとの前記画像統合データに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記検査対象の欠陥の種別を識別する解析部をさらに備えた、請求項１〜１０のいずれか１項に記載の欠陥検査システム。
  12. 欠陥検査システムの光源から検査対象に光を照射する照射工程と、
    前記欠陥検査システムの撮像部により、前記照射工程により前記光源から前記検査対象に照射されて前記検査対象を透過又は反射した前記光による２次元画像を離散時間ごとに撮像する撮像工程と、
    前記欠陥検査システムの搬送部により、前記光源及び前記撮像部に対して前記検査対象を搬送方向に相対的に搬送する搬送工程と、
    前記欠陥検査システムの画像処理部により、前記撮像工程で撮像された前記２次元画像の画像データを処理する画像処理工程と、
    を備え、
    前記撮像工程では、
    前記２次元画像における前記搬送方向と合致する方向に輝度が変化する前記２次元画像を撮像し、
    前記画像処理工程では、
    前記２次元画像を前記搬送方向に並列する複数のラインに分割し、前記撮像部により前記離散時間ごとに撮像された前記２次元画像のそれぞれにおける同じ位置の前記ラインを時系列順に並列させたライン分割画像の前記画像データに処理するライン分割処理工程と、
    前記ライン分割処理工程で処理された前記ライン分割画像のそれぞれを予め定めた規則に従って２以上のライン分割画像群に分類する分類工程と、
    前記分類工程で同じ前記ライン分割画像群に分類された前記ライン分割画像のそれぞれについて、前記検査対象における同じ位置を撮像した前記画像データの画素の値同士を統合し、前記ライン分割画像群ごとに画像統合データを生成する統合工程と、
    前記統合工程で生成された前記ライン分割画像群ごとの前記画像統合データを予め定めた規則に従って分割して出力する分割出力工程と、
    を有する、欠陥検査方法。
  13. 前記照射工程では、
    前記撮像工程で離散時間ごとに撮像される前記２次元画像は、明部と、暗部と、前記明部と前記暗部との境界部とを有し、
    前記搬送工程では、
    前記撮像部に対して前記検査対象を前記明部、前記暗部及び前記境界部に交わる前記搬送方向に相対的に搬送する、請求項１２に記載の欠陥検査方法。
  14. 前記分類工程では、
    前記ライン分割処理工程で処理された前記ライン分割画像のそれぞれを、前記２次元画像のそれぞれにおける前記明部の前記ラインを時系列順に並列させた前記ライン分割画像の前記ライン分割画像群、前記２次元画像のそれぞれにおける前記暗部の前記ラインを時系列順に並列させた前記ライン分割画像の前記ライン分割画像群並びに前記２次元画像のそれぞれにおける前記境界部の前記ラインを時系列順に並列させた前記ライン分割画像の前記ライン分割画像群に分類する、請求項１３に記載の欠陥検査方法。
  15. 前記照射工程では、
    光源と検査対象との間に位置し、前記光源から前記検査対象に照射される光の一部を遮光する遮光体により、前記撮像工程で離散時間ごとに撮像される前記２次元画像に前記明部と前記暗部と前記境界部を形成し、
    前記搬送工程では、
    前記光源、前記遮光体及び前記撮像部に対して前記検査対象を前記明部、前記暗部及び前記境界部に交わる前記搬送方向に相対的に搬送する、請求項１３又は１４に記載の欠陥検査方法。
  16. 前記分割出力工程では、
    前記統合工程で生成された前記ライン分割画像群ごとの前記画像統合データを、前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度が任意の明閾値以上である前記画素、前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度が任意の暗閾値以下である前記画素並びに前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度の変化の幅が任意の変化閾値以上である前記画素のそれぞれに分割して出力する、請求項１３〜１５のいずれか１項に記載の欠陥検査方法。
  17. 前記分割出力工程では、
    前記統合工程で生成された前記ライン分割画像群ごとの前記画像統合データを、前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度が任意の明閾値以上である前記画素、前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度が任意の暗閾値以下である前記画素並びに前記検査対象における同じ位置を撮像した前記画像統合データの前記画素であって前記明部、前記暗部及び前記境界部での輝度の変化の幅が任意の変化閾値以上である前記画素のそれぞれを互いに異なる色に着色した着色部として分割して出力する、請求項１６に記載の欠陥検査方法。
  18. 前記分割出力工程では、
    前記統合工程で生成された前記ライン分割画像群ごとの前記画像統合データを、前記ライン分割画像群ごとに分割して出力する、請求項１２〜１７のいずれか１項に記載の欠陥検査方法。
  19. 前記分割出力工程は、
    前記統合工程により生成された前記ライン分割画像群ごとの前記画像統合データを、前記ライン分割画像群の間の予め定めた閾値ごとに分割して出力する、請求項１２〜１７のいずれか１項に記載の欠陥検査方法。
  20. 前記統合工程では、
    同じ前記ライン分割画像群に分類された前記ライン分割画像のそれぞれについて、前記検査対象における同じ位置を撮像した前記画像データの前記画素の輝度の基準値に対する高低に応じて前記画素に正負の符号を有する差分値を付与し、前記検査対象における同じ位置を撮像した前記画像データの前記画素の前記差分値同士を統合して、前記ライン分割画像群ごとに画像統合データを生成する、請求項１２〜１９のいずれか１項に記載の欠陥検査方法。
  21. 前記統合工程では、
    同じ前記ライン分割画像群に分類された前記ライン分割画像のそれぞれについて、前記検査対象における同じ位置を撮像した前記画像データの互いに隣接する前記画素の輝度変化を強調する強調処理を施し、前記検査対象における同じ位置を撮像した前記画像データの画素の前記強調処理を施された値同士を統合して、前記ライン分割画像群ごとに画像統合データを生成する、請求項１２〜１９のいずれか１項に記載の欠陥検査方法。
  22. 前記統合工程で生成された前記ライン分割画像群ごとの前記画像統合データに含まれる欠陥の種別の識別に関する機械学習の結果を蓄積したデータに基づいて前記検査対象の欠陥の種別を識別する解析工程をさらに備えた、請求項１２〜２１のいずれか１項に記載の欠陥検査方法。
JP2017142929A 2017-07-24 2017-07-24 欠陥検査システム及び欠陥検査方法 Active JP6970550B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017142929A JP6970550B2 (ja) 2017-07-24 2017-07-24 欠陥検査システム及び欠陥検査方法
KR1020180082657A KR20190011200A (ko) 2017-07-24 2018-07-17 결함 검사 시스템 및 결함 검사 방법
CN201810793863.7A CN109297971B (zh) 2017-07-24 2018-07-18 缺陷检查系统及缺陷检查方法
TW107125180A TWI797145B (zh) 2017-07-24 2018-07-20 缺陷檢查系統及缺陷檢查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017142929A JP6970550B2 (ja) 2017-07-24 2017-07-24 欠陥検査システム及び欠陥検査方法

Publications (2)

Publication Number Publication Date
JP2019023589A JP2019023589A (ja) 2019-02-14
JP6970550B2 true JP6970550B2 (ja) 2021-11-24

Family

ID=65172597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017142929A Active JP6970550B2 (ja) 2017-07-24 2017-07-24 欠陥検査システム及び欠陥検査方法

Country Status (4)

Country Link
JP (1) JP6970550B2 (ja)
KR (1) KR20190011200A (ja)
CN (1) CN109297971B (ja)
TW (1) TWI797145B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786827B (zh) * 2021-09-15 2022-12-11 和碩聯合科技股份有限公司 測試資料產生方法以及測試資料產生裝置
CN113628212B (zh) * 2021-10-12 2022-03-11 高视科技(苏州)有限公司 不良偏光片识别方法、电子设备和存储介质
CN115829907B (zh) * 2022-04-18 2024-02-23 宁德时代新能源科技股份有限公司 对复合料带的隔膜进行缺陷检测的方法、装置、系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3476913B2 (ja) * 1994-07-08 2003-12-10 オリンパス株式会社 欠陥種別判定装置及びプロセス管理システム
JPH09284749A (ja) * 1996-04-12 1997-10-31 Furukawa Electric Co Ltd:The トンネル内壁面の撮影方法とそれを用いた撮影装置
JP4220595B2 (ja) * 1998-08-10 2009-02-04 株式会社日立製作所 欠陥の分類方法並びに教示用データ作成方法
DE19962122A1 (de) * 1998-12-21 2000-09-14 Hottinger Maschb Gmbh Verfahren und Vorrichtung zur Objekterkennung
JP2001134763A (ja) * 1999-11-09 2001-05-18 Hitachi Ltd 撮像画像に基づく欠陥の分類方法、および、その結果の表示方法
JP2004163416A (ja) * 2002-10-23 2004-06-10 Nippon Steel Corp 欠陥検査装置
EP1625388A1 (de) * 2003-05-19 2006-02-15 Micro-Epsilon Messtechnik GmbH & Co. KG Verfahren und vorrichtung zur optischen qualitätsprüfung von objekten mit vor-zugsweise kreisförmig umlaufendem rand
JP2004354250A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP4694914B2 (ja) * 2005-08-03 2011-06-08 昭和電工株式会社 表面検査方法および同装置
JP4753019B2 (ja) * 2005-10-18 2011-08-17 東洋製罐株式会社 ネックリング検査装置及びネックリング検査方法
JP4739044B2 (ja) * 2006-02-09 2011-08-03 三菱原子燃料株式会社 外観検査装置
JP4367474B2 (ja) * 2006-10-03 2009-11-18 横河電機株式会社 欠陥検査装置
JP4652391B2 (ja) * 2006-12-08 2011-03-16 株式会社東芝 パターン検査装置、及び、パターン検査方法
JP2008175588A (ja) * 2007-01-16 2008-07-31 Kagawa Univ 外観検査装置
JP4726983B2 (ja) * 2009-10-30 2011-07-20 住友化学株式会社 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
JP2011145305A (ja) * 2011-04-12 2011-07-28 Sumitomo Chemical Co Ltd 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
CN104956210B (zh) * 2013-01-30 2017-04-19 住友化学株式会社 图像生成装置、缺陷检查装置以及缺陷检查方法
CN104101611A (zh) * 2014-06-06 2014-10-15 华南理工大学 一种类镜面物体表面光学成像装置及其成像方法
WO2016121878A1 (ja) * 2015-01-29 2016-08-04 株式会社デクシス 光学式外観検査装置、及びこれを用いた光学式外観検査システム
CN104751474A (zh) * 2015-04-13 2015-07-01 上海理工大学 一种级联式快速图像缺陷分割方法

Also Published As

Publication number Publication date
TWI797145B (zh) 2023-04-01
KR20190011200A (ko) 2019-02-01
CN109297971A (zh) 2019-02-01
CN109297971B (zh) 2022-10-21
JP2019023589A (ja) 2019-02-14
TW201908717A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
TW201809640A (zh) 缺陷檢查系統、薄膜製造裝置及缺陷檢查方法
JP6970550B2 (ja) 欠陥検査システム及び欠陥検査方法
TWI484161B (zh) 缺陷檢查系統及使用於該缺陷檢查系統之缺陷檢查用攝影裝置、缺陷檢查用畫像處理裝置、缺陷檢查用畫像處理程式、記錄媒體及缺陷檢查用畫像處理方法
JP2019023587A (ja) 欠陥検査システム及び欠陥検査方法
KR102168143B1 (ko) 화상 생성 장치, 결함 검사 장치 및 결함 검사 방법
CN112243519A (zh) 光学测试件的材料测试
JP6973623B2 (ja) 学習済みモデルの生成方法、学習済みモデル、表面欠陥検出方法、鋼材の製造方法、合否判定方法、等級判定方法、表面欠陥判定プログラム、合否判定プログラム、判定システム、及び鋼材の製造設備
JP6355316B2 (ja) 光透過性フィルムの欠陥検出方法
WO2014003994A1 (en) Image enhancement methods
JP6970549B2 (ja) 欠陥検査システム及び欠陥検査方法
JP7415286B2 (ja) カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
KR101828536B1 (ko) 패널 검사 방법 및 장치
CN111133301B (zh) 具有光学水印的检查设备
CN107727654B (zh) 膜层检测方法、装置及膜层检测系统
JP7293907B2 (ja) 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム
JP5463159B2 (ja) 透明容器の識別方法
CN112791983A (zh) 成件货物扫描组件
LU502889B1 (de) Method for processing at least one image
Toxqui-Quitl et al. Bottle inspector based on machine vision

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211029

R150 Certificate of patent or registration of utility model

Ref document number: 6970550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350