JP6588675B2 - 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP6588675B2
JP6588675B2 JP2019504344A JP2019504344A JP6588675B2 JP 6588675 B2 JP6588675 B2 JP 6588675B2 JP 2019504344 A JP2019504344 A JP 2019504344A JP 2019504344 A JP2019504344 A JP 2019504344A JP 6588675 B2 JP6588675 B2 JP 6588675B2
Authority
JP
Japan
Prior art keywords
image processing
image
individually
processing unit
imaging units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019504344A
Other languages
English (en)
Other versions
JPWO2018163572A1 (ja
Inventor
林　健吉
健吉 林
洋介 成瀬
洋介 成瀬
慶延 岸根
慶延 岸根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6588675B2 publication Critical patent/JP6588675B2/ja
Publication of JPWO2018163572A1 publication Critical patent/JPWO2018163572A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045—Correction of measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、複数の撮像部から画像データを取得し、各撮像部により撮像されている対象を画像処理によって検査、計測又は認識する画像処理システム、画像処理装置、画像処理方法及び画像処理プログラムに関する。
複数の撮像部から画像データを取得し、各撮像部により撮像されている対象を画像処理によって検査、計測又は認識する技術が知られている。
たとえば、特許文献１、２等には、検査対象を複数の撮像部によって撮像し、各撮像部から得られた画像データを画像処理して、外観の良否、傷の有無等を検査する技術が記載されている。
また、特許文献３には、計測対象を複数の撮像部によって撮像し、各撮像部から得られた画像データを画像処理して、位置、寸法等を計測する技術が記載されている。
また、特許文献４、５等には、複数の撮像部によって撮像して得られた画像データを画像処理して、撮像された対象に記されている文字等を認識する技術が記載されている。
特開２００１−１５３６２５号公報 特開平７−２７７１４号公報 特開２００８−２８１３４８号公報 特開平８−５３１６号公報 特開２０１５−１９７７８０号公報
ところで、複数の撮像部を使用して検査等する場合、各撮像部の性能が揃っていないと、各撮像部から得られる画像データの品質にバラツキが生じる。たとえば、個々の撮像部で使用する撮像レンズに個体差があると、各撮像部から得られる画像データの品質にバラツキが生じる。各撮像部から得られる画像データの品質にバラツキがあると、後段の検査等の結果に影響が生じる。
撮像部を構成するカメラには、通常、個体差があり、完全に同じ性能の撮像部を複数揃えるのは難しい。特に、完全に同じ性能の撮像レンズを複数揃えるのは難しい。
また、各撮像部を個別に調整して、性能を揃えることもできるが、調整には多大な手間と時間を要するという問題がある。特に、個体差のある撮像レンズを使用している場合に、その性能を揃えるには、多大な手間と時間を要する。
また、後段の検査等の判定基準等を個別に調整することもできるが、その調整にも多大な手間と時間を要するという問題がある。特に、非常に多くのパラメータが存在する場合、その１つ１つを調整するのは現実的ではない。また、後段の検査等の処理において、機械学習等を使用している場合には、パラメータを調整すると、思わぬ悪影響が現れる場合もある。また、後段の検査等の処理において、ニューラルネットワークを用いた機械学習等を使用している場合には、撮像部の個体差ごとに学習させ直すのは大変な手間がかかる。
本発明は、このような事情に鑑みてなされたもので、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して対象を適切に検査、計測又は認識できる画像処理システム、画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
上記課題を解決するための手段は、次のとおりである。
（１）複数の撮像部と、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理部と、第１画像処理部から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理部と、を備え、第１画像処理部は、複数の撮像部が同一対象を撮像した場合に、第２画像処理部の結果が所望の範囲内において一致するように、複数の撮像部から取得した画像データを個別に補正する、画像処理システム。
本態様によれば、画像処理部として、第１画像処理部及び第２画像処理部が備えられる。第１画像処理部は、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化、たとえば、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する。第２画像処理部は、第１画像処理部から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する。第１画像処理部は、単に個々の撮像部に起因する像劣化を補正するのではなく、後段の検査等を考慮して補正する。すなわち、像劣化を完全に解消するように補正するのではなく、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように補正する。これにより、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して、精度よく対象を検査等できる。また、検査等で行う画像処理については、変更を加える必要がないので、検査等のアルゴリズムが未知（いわゆるブラックボックス）であっても使用できる。更に、撮像部に起因する像劣化を直接操作できるため、高い自由度をもって調整できる。
なお、「同一対象」には、実質的に同一とみなせる範囲のものが含まれる。すなわち、ここにおける同一は、ほぼ同一の概念を含むものである。たとえば、同じ形状、外観ではあるが異なるもの（たとえば、複数のネジ等）を撮像する場合も同一対象の撮像に含まれる。
また、「所望の範囲内において一致」とは、検査等に要求される精度のレベルにおいて一致させることを意味するものである。したがって、望ましくは、検査等の結果が一致するように補正することであるが、一定の範囲内において誤差が許容される。すなわち、ほぼ一致するように補正されればよい。
第１画像処理部で行う補正としては、たとえば、像の歪みの補正、解像の補正、像倍率の補正、分光透過率の補正等が挙げられる。
（２）複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理部を更に備え、第１画像処理部は、第３画像処理部から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する、上記（１）の画像処理システム。
本態様によれば、第３画像処理部が更に備えられる。第３画像処理部は、複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する。第１画像処理部は、第３画像処理部から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。これにより、撮像環境の相違によって生じる画質のバラツキを補正できる。
第３画像処理部による補正としては、たとえば、明るさの補正、ホワイトバランスの補正等が挙げられる。
（３）第１画像処理部は、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、上記（１）又は（２）の画像処理システム。
本態様によれば、第１画像処理部において、個々の撮像部に備えられた光学系に起因する像劣化が画像処理によって個別に補正される。たとえば、光学系に起因して発生するディストーション、解像低下等が画像処理によって補正される。これにより、個体差のある撮像レンズを使用した場合であっても、適切に検査等できる。
（４）第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部を更に備え、パラメータ設定部は、第２画像処理部による検査、計測又は認識の結果に基づいて、パラメータを設定する、上記（１）から（３）のいずれか一の画像処理システム。
本態様によれば、第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部が更に備えられる。パラメータ設定部は、第２画像処理部による検査等の結果に基づいて、パラメータを設定する。すなわち、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように、第１画像処理部が行う画像処理のパラメータを設定する。
（５）パラメータ設定部は、パラメータを変化させた場合の第２画像処理部の結果の変化に基づいて、パラメータを最適化する、上記（４）の画像処理システム。
本態様によれば、パラメータを変化させた場合の第２画像処理部の検査等の結果の変化を観測することにより、パラメータが最適化される。たとえば、パラメータを微小に変化させて、第２処理部の検査等の結果がどのように変化するかを測定し、その測定結果に基づいてパラメータを最適化する。
（６）パラメータ設定部は、勾配法によりパラメータを最適化する、上記（４）の画像処理システム。
本態様によれば、パラメータを最適化する手法として、勾配法が採用される。
（７）複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理部と、第１画像処理部から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理部と、を備え、第１画像処理部は、複数の撮像部が同一対象を撮像した場合に、第２画像処理部の結果が所望の範囲内において一致するように、複数の撮像部から取得した画像データを個別に補正する、画像処理装置。
本態様によれば、画像処理部として、第１画像処理部及び第２画像処理部が備えられる。第１画像処理部は、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。第２画像処理部は、第１画像処理部から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する。第１画像処理部は、単に個々の撮像部に起因する像劣化を補正するのではなく、後段の検査等を考慮して補正する。すなわち、像劣化を完全に解消するように補正するのではなく、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように補正する。これにより、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して、精度よく対象を検査等できる。また、検査等で行う画像処理については、変更を加える必要がないので、検査等のアルゴリズムが未知（いわゆるブラックボックス）であっても使用できる。更に、撮像部に起因する像劣化を直接操作できるため、高い自由度をもって調整できる。
（８）複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理部を更に備え、第１画像処理部は、第３画像処理部から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する、上記（７）の画像処理装置。
本態様によれば、第３画像処理部が更に備えられる。第３画像処理部は、複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する。第１画像処理部は、第３画像処理部から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。これにより、撮像環境の相違によって生じる画質のバラツキを補正できる。
（９）第１画像処理部は、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、上記（７）又は（８）の画像処理装置。
本態様によれば、第１画像処理部において、個々の撮像部に備えられた光学系に起因する像劣化が画像処理によって個別に補正される。
（１０）第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部を更に備え、パラメータ設定部は、第２画像処理部による検査、計測又は認識の結果に基づいて、パラメータを設定する、上記（７）から（９）のいずれか一の画像処理装置。
本態様によれば、第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部が更に備えられる。パラメータ設定部は、第２画像処理部による検査等の結果に基づいて、パラメータを設定する。すなわち、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように、第１画像処理部が行う画像処理のパラメータを設定する。
（１１）複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理工程と、第１画像処理工程による補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理工程と、を含み、第１画像処理工程は、複数の撮像部が同一対象を撮像した場合に、第２画像処理工程による検査、計測又は認識の結果が所望の範囲内において一致するように、複数の撮像部から取得した画像データを個別に補正する、画像処理方法。
本態様によれば、複数の撮像部から取得した画像データを画像処理して、撮像されている対象を検査等する画像処理工程として、第１画像処理工程及び第２画像処理工程を備える。第１画像処理工程は、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。第２画像処理工程は、第１画像処理工程による補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する。第１画像処理工程は、単に個々の撮像部に起因する像劣化を補正するのではなく、後段の検査等を考慮して補正する。すなわち、像劣化を完全に解消するように補正するのではなく、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように補正する。これにより、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して、精度よく対象を検査等できる。また、検査等によって行う画像処理については、変更を加える必要がないので、検査等のアルゴリズムが未知（いわゆるブラックボックス）であっても使用できる。更に、撮像部に起因する像劣化を直接操作できるため、高い自由度をもって調整できる。
（１２）複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理工程を更に含み、第３画像処理工程の後に第１画像処理工程が実行される、上記（１１）の画像処理方法。
本態様によれば、第３画像処理工程が更に含まれる。第３画像処理工程は、複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する。第１画像処理工程は、第３画像処理工程の後に実施される。これにより、撮像環境の相違によって生じる画質のバラツキを補正できる。
（１３）第１画像処理工程により行われる画像処理のパラメータを設定するパラメータ設定工程を更に備え、パラメータ設定工程は、第２画像処理工程による検査、計測又は認識の結果に基づいて、パラメータを設定する、上記（１１）又は（１２）の画像処理方法。
本態様によれば、第１画像処理工程により行われる画像処理のパラメータを設定するパラメータ設定工程が更に含まれる。パラメータは、検査等の結果に基づいて設定される。すなわち、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように、検査等の結果に基づいて、パラメータを設定する。
（１４）第１画像処理工程は、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、上記（１１）から（１３）のいずれか一の画像処理方法。
本態様によれば、第１画像処理工程において、個々の撮像部に備えられた光学系に起因する像劣化が画像処理によって個別に補正される。
（１５）複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理機能と、第１画像処理機能による補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理機能と、をコンピュータに実現させる画像処理プログラムであって、第１画像処理機能は、複数の撮像部が同一対象を撮像した場合に、第２画像処理機能による検査、計測又は認識の結果が所望の範囲内において一致するように、複数の撮像部から取得した画像データを個別に補正する、画像処理プログラム。
本態様によれば、画像処理機能として、第１画像処理機能及び第２画像処理機能が備えられる。第１画像処理機能は、複数の撮像部から画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。第２画像処理機能は、第１画像処理機能から補正後の画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する。第１画像処理機能は、単に個々の撮像部に起因する像劣化を補正するのではなく、後段の検査等を考慮して補正する。すなわち、像劣化を完全に解消するように補正するのではなく、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように補正する。これにより、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して、精度よく対象を検査等できる。また、検査等によって行う画像処理については、変更を加える必要がないので、検査等のアルゴリズムが未知（いわゆるブラックボックス）であっても使用できる。更に、撮像部に起因する像劣化を直接操作できるため、高い自由度をもって調整できる。
（１６）複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理機能を更に備え、第１画像処理機能は、第３画像処理機能から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する、上記（１５）の画像処理プログラム。
本態様によれば、第３画像処理機能が更に備えられる。第３画像処理機能は、複数の撮像部から画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する。第１画像処理機能は、第３画像処理機能から補正後の画像データを個別に取得し、個々の撮像部に起因する像劣化を画像処理によって個別に補正する。これにより、撮像環境の相違によって生じる画質のバラツキを補正できる。
（１７）第１画像処理機能が行う画像処理のパラメータを設定するパラメータ設定機能を更に備え、パラメータ設定機能は、第２画像処理機能による検査、計測又は認識の結果に基づいて、パラメータを設定する、上記（１５）又は（１６）の画像処理プログラム。
本態様によれば、第１画像処理機能が行う画像処理のパラメータを設定するパラメータ設定機能が更に備えられる。パラメータ設定機能は、第２画像処理機能による検査等の結果に基づいて、パラメータを設定する。すなわち、複数の撮像部が同一対象を撮像した場合に、検査等の結果が所望の範囲内において一致するように、第１画像処理機能が行う画像処理のパラメータを設定する。
（１８）第１画像処理機能は、個々の撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、上記（１５）から（１７）のいずれか一の画像処理プログラム。
本態様によれば、第１画像処理機能によって、個々の撮像部に備えられた光学系に起因する像劣化が画像処理によって個別に補正される。
本発明によれば、各撮像部の性能に個体差がある場合であっても、複数の撮像部を使用して対象を適切に検査、計測又は認識できる。
本発明に係る画像処理システムが適用された検査システムの一例を示すシステム構成図 検査対象である基板の一例を示す平面図 検査装置が備える機能のブロック図 同一対象を撮像した場合に第１カメラ及び第２カメラから取得されるオリジナルの画像データの一例を示す図 台形歪み補正後の画像データの一例を示す図 検査結果が同じになるように補正した場合の画像データの一例を示す図 第２の実施の形態の検査装置が備える機能のブロック図 パラメータを最適化する処理の手順を示すフローチャート
以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。
◆◆第１の実施の形態◆◆
［検査システムの構成］
図１は、本発明に係る画像処理システムが適用された検査システムの一例を示すシステム構成図である。
同図に示すように、本実施の形態の検査システム１は、コンベヤ２によって連続的に搬送される基板Ｂを連続的に検査するシステムとして構成される。特に、本実施の形態の検査システム１は、基板Ｂの長さを検査するシステムとして構成される。すなわち、基板Ｂの長さが、あらかじめ定められた基準を満たすか否かを検査するシステムとして構成される。
《検査対象》
図２は、検査対象である基板の一例を示す平面図である。
同図に示すように、検査対象である基板Ｂは、平面視において、横長の矩形状である。
検査システム１は、基板Ｂの縦方向の長さ（短辺の長さ）Ｌを計測し、計測した長さＬが、あらかじめ定められた基準を満たすか否かを判定する。また、その判定結果に基づいて、基板Ｂの合否を判定する。すなわち、計測した長さＬが基準を満たせば合格（ＯＫ）、満たさなければ不合格（ＮＧ（NG：No Good））と判定する。
基準は一定の幅をもって設定される。たとえば、合格とする長さの範囲をＬｍｉｎ≦Ｌ≦Ｌｍａｘとする。この場合、計測した長さＬが、Ｌｍｉｎ以上、Ｌｍａｘ以下の場合に合格とされる。
検査の際には、ラベルＬｂの判別も行われる。すなわち、基板Ｂに、どのようなラベルが付されているかが判別される。
《システム構成》
図１に示すように、検査システム１は、コンベヤ２によって搬送される基板Ｂを撮像する２台のカメラ１０Ａ、１０Ｂと、２台のカメラ１０Ａ、１０Ｂから画像データを個別に取得して、撮像されている基板Ｂを画像処理により検査する検査装置１００と、を備えて構成される。
〈コンベヤ〉
コンベヤ２は、検査対象の基板Ｂを所定の搬送経路に沿って搬送する。本実施の形態では、基板Ｂを直線に沿って水平に搬送する。
基板Ｂは、コンベヤ２の上に２列に並べられて搬送される。また、基板Ｂは、各列において、一定の間隔によって配置されて搬送される。
なお、図２において、矢印Ｆｄによって示す方向が、基板Ｂの搬送方向である。基板Ｂは、短辺と平行に搬送される。
〈カメラ〉
２台のカメラ１０Ａ、１０Ｂは、複数の撮像部の一例である。２台のカメラ１０Ａ、１０Ｂは、コンベヤ２による基板Ｂの搬送経路上に設置される。以下、２台のカメラ１０Ａ、１０Ｂを区別するため、一方のカメラ１０Ａを第１カメラ１０Ａとし、他方のカメラ１０Ｂを第２カメラ１０Ｂとする。
〔第１カメラ〕
第１カメラ１０Ａは、撮像した画像をデジタルデータとして出力する。第１カメラ１０Ａは、撮像レンズ１２Ａ及びカメラ本体１４Ａにより構成される。
撮像レンズ１２Ａは、光学系の一例である。本実施の形態の撮像レンズ１２Ａは、単焦点の撮像レンズであり、絞り及びフォーカス機構を備える。撮像レンズ１２Ａは、マウントを介してカメラ本体１４Ａに着脱自在に装着される。
カメラ本体１４Ａは、撮像レンズ１２Ａにより結像された像を撮像し、デジタルの画像データとして出力する。カメラ本体１４Ａには、撮像レンズ１２Ａで結像された像を撮像する手段として、イメージセンサが備えられる。また、カメラ本体１４Ａには、イメージセンサから出力される信号を処理して画像データを生成する手段として、信号処理部が備えられる。イメージセンサには、たとえば、ＣＭＯＳ（CMOS: Complementary Metal Oxide Semiconductor）、ＣＣＤ（CCD: Charged Coupled Device）等の固体撮像素子が使用される。
第１カメラ１０Ａは、コンベヤ２によって２列において搬送される基板Ｂのうち一方側の列（図１において左側の列）の基板Ｂを撮像する。したがって、第１カメラ１０Ａは、一方側の列の基板Ｂを撮像できる位置に設置される。この位置は検査対象とする基板Ｂの全体像を１フレームに収めて撮像できる位置である。
〔第２カメラ〕
第２カメラ１０Ｂの構成は、第１カメラ１０Ａの構成と同じである。すなわち、撮像レンズ１２Ｂ及びカメラ本体１４Ｂにより構成される。撮像レンズ１２Ｂの仕様及びカメラ本体１４Ｂの仕様も、第１カメラ１０Ａの撮像レンズ１２Ａの仕様及びカメラ本体１４Ａの仕様と同じである。
第２カメラ１０Ｂは、コンベヤ２によって２列において搬送される基板Ｂのうち他方側の列（図１において右側の列）の基板Ｂを撮像する。したがって、第２カメラ１０Ｂは、他方側の列の基板Ｂを撮像できる位置に設置される。この位置は検査対象とする基板Ｂの全体像を１フレームに収めて撮像できる位置である。
〈検査装置〉
検査装置１００は、画像処理装置の一例である。検査装置１００は、第１カメラ１０Ａ及び第２カメラ１０Ｂから画像データを取得し、得られた画像データを個別に画像処理して、撮像されている基板Ｂを検査する。すなわち、撮像されている基板Ｂの長さＬを計測し、計測した長さＬが基準を満たすか否か判定して、合否を判定する。
検査装置１００は、ＣＰＵ（CPU：Central Processing Unit）、ＲＡＭ（RAM：Random Access Memory）、ＲＯＭ（ROM：Read Only Memory）を備えたコンピュータにより構成される。すなわち、コンピュータが所定のプログラムを実行することにより、検査装置１００として機能する。コンピュータには、たとえば、パーソナルコンピュータ等を使用できる。
図３は、検査装置が備える機能のブロック図である。
同図に示すように、検査装置１００は、第１カメラ１０Ａ及び第２カメラ１０Ｂから取得した画像データを補正処理する画像補正処理部１０２としての機能（第１画像処理機能）と、画像補正処理部１０２から補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する検査処理部１０４としての機能（第２画像処理機能）と、画像補正処理部１０２が行う画像処理（画像補正処理）のパラメータを設定するパラメータ設定部１０６としての機能（パラメータ設定機能）と、を備える。これらの機能は、検査装置１００を構成するコンピュータが、所定のプログラム（画像処理プログラム等）を実行することにより提供される。プログラムは、たとえば、ＲＯＭに格納される。
〔画像補正処理部〕
画像補正処理部１０２は、第１画像処理部の一例である。画像補正処理部１０２は、第１カメラ１０Ａから取得した画像データを補正処理する第１画像補正処理部１０２Ａ及び第２カメラ１０Ｂから取得した画像データを補正処理する第２画像補正処理部１０２Ｂを備える。
第１画像補正処理部１０２Ａは、第１カメラ１０Ａの画像データを取得し、第１カメラ１０Ａに起因する像劣化を画像処理により補正する。
ここで、第１カメラ１０Ａに起因する像劣化には、像の歪み、解像の低下等、さまざまな種類のものが存在する。
第１画像補正処理部１０２Ａが補正する対象は、第１カメラ１０Ａに起因する像劣化のすべてではなく、後段の検査に影響を及ぼす像劣化が対象となる。
本実施の形態の検査システム１では、基板Ｂの長さＬを検査するので、長さＬの検査に影響を及ぼす像劣化が補正される。長さＬの検査に影響を及ぼす像劣化は、主として像の歪みである。このため、本実施の形態の検査システム１では、第１画像補正処理部１０２Ａにおいて、像の歪みが補正される。補正は発生している歪みの種類に応じて行われる。たとえば、ディストーションが生じている場合は、ディストーション補正が行われる。また、台形歪みが生じている場合は台形歪み補正が行われる。補正には、公知の画像処理手法が採用される。
また、ここでの補正は、像劣化を完全に除去することを目的とするものではなく、使用するカメラの性能差による検査結果のバラツキを低減させることを目的として行われる。すなわち、同一対象を第１カメラ１０Ａ及び第２カメラ１０Ｂで撮像した場合に、その検査結果を所望の範囲内において一致させることを目的として行われる。この点については、後述する。
第２画像補正処理部１０２Ｂは、第２カメラ１０Ｂの画像データを取得し、第２カメラ１０Ｂに起因する像劣化を画像処理により補正する。補正する対象は、第１画像補正処理部１０２Ａと同じであり、像の歪みである。
〔検査処理部〕
検査処理部１０４は、第２画像処理部の一例である。検査処理部１０４は、第１画像補正処理部１０２Ａから補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する第１検査処理部１０４Ａ及び第２画像補正処理部１０２Ｂから補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する第２検査処理部１０４Ｂを備える。
第１検査処理部１０４Ａは、第１画像補正処理部１０２Ａから補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する。また、第１検査処理部１０４Ａは、検査と同時に基板Ｂに付されているラベルＬｂを判別する。すなわち、どのようなラベルが付されているかを画像処理によって認識し、判別する。
第１検査処理部１０４Ａが行う検査は、上記のように、基板Ｂの長さＬの検査である。すなわち、撮像されている基板Ｂの長さＬが基準を満たしているか否かを検査する。第１検査処理部１０４Ａは、まず、得られた画像データから基板Ｂを抽出する。次いで、抽出した基板Ｂの縦方向の長さＬを画像処理によって計測する。次いで、計測により得られた基板Ｂの長さＬが基準を満たしているか否かを判定する。基準を満たしていれば、合格と判定する。一方、基準を満たしていなければ、不合格と判定する。検査対象の抽出及び計測には、公知の画像処理手法が採用される。ラベルＬｂの判別も公知の画像処理手法が採用される。
第２検査処理部１０４Ｂは、第２画像処理部の一例である。第２検査処理部１０４Ｂは、第２画像補正処理部１０２Ｂから補正後の画像データを取得し、撮像されている基板Ｂを画像処理によって検査する。また、第２検査処理部１０４Ｂは、検査と同時に基板Ｂに付されているラベルＬｂを判別する。
第２検査処理部１０４Ｂが行う検査は、第１検査処理部１０４Ａと同様に、基板Ｂの長さＬの検査である。また、その検査手法も第１検査処理部１０４Ａと同じである。すなわち、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂは、取得した画像データに対して同じ画像処理を行って撮像されている基板Ｂを検査する。第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂは、取得した画像データに対して同じ画像処理を行って基板Ｂに付されているラベルＬｂを判別する。
〔パラメータ設定部〕
パラメータ設定部１０６は、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂが行う画像処理（画像補正処理）のパラメータを個別に設定する。パラメータは、第１カメラ１０Ａ及び第２カメラ１０Ｂで同一対象を撮像した場合に、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果が、所望の範囲内において一致するように設定する。
ここで、「所望の範囲内において一致」とは、検査等で要求される精度のレベルにおいて一致させることを意味するものである。したがって、望ましくは、検査等の結果が一致するように補正することであるが、一定の範囲内において誤差が許容される。すなわち、ほぼ一致するように補正されればよい。また、ここでの同一対象には、実質的に同じ対象とみなせる場合が含まれる。
このようにパラメータを設定し、画像データを補正することにより、個体差のあるカメラを使用した場合であっても、精度よく対象を検査できる。以下、この点について、詳説する。
［画像補正処理部による補正の概念］
第１カメラ１０Ａ及び第２カメラ１０Ｂは、同じ仕様のカメラが使用される。使用するカメラの性能に差がない場合、第１カメラ１０Ａから得られる画像データの品質と第２カメラ１０Ｂから得られる画像データの品質は実質的に一致する。この場合、同一対象を第１カメラ１０Ａ及び第２カメラ１０Ｂによって撮像すれば、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果（基板の合否の判定結果及びラベルの判別結果）は実質的に一致する。
しかし、通常、カメラには個体差が存在する。第１カメラ１０Ａと第２カメラ１０Ｂとで使用するカメラの性能に差が存在すると、第１カメラ１０Ａから得られる画像データの品質と第２カメラ１０Ｂから得られる画像データの品質に差が生じる。この場合、同一対象を撮像した場合であっても、第１検査処理部１０４Ａの検査結果と第２検査処理部１０４Ｂの検査結果との間には差が生じ得る。
本実施の形態の検査装置１００では、このカメラの性能の差によって生じる検査結果の差を第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂによる補正処理によって解消する。すなわち、使用するカメラの性能に差が存在する場合であっても、検査結果に差が生じないように、事前に第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて処理対象の画像データを補正する。これにより、第１カメラ１０Ａ及び第２カメラ１０Ｂの性能に差がある場合であっても、その画像データを用いて精度よく対象を検査できる。
なお、ここでのカメラの性能の差には、装着された撮像レンズの光学性能の差に基づく性能差の他、マウントの精度に基づく性能差、カメラ本体への撮像レンズの装着精度に基づく性能差、カメラ内部のイメージセンサの傾き、感度等に基づく性能差等も含まれる。マウントの精度の差、装着の精度の差、イメージセンサの傾き等によって光軸のズレ、傾き等が生じ、検査結果に差が生じ得るからである。また、カメラに備えられているイメージセンサの感度の差によっても、検査結果に差が生じ得るからである。
以下、具体例を挙げて、画像補正処理部が行う補正について説明する。ここでは、台形歪みを補正する場合を例に説明する。
図４は、同一対象を撮像した場合に第１カメラ及び第２カメラから取得されるオリジナルの画像データの一例を示す図である。同図（Ａ）は、第１カメラ１０Ａから取得されるオリジナルの画像データの一例を示している。また、同図（Ｂ）は、第２カメラ１０Ｂから取得されるオリジナルの画像データの一例を示している。
図４に示すように、オリジナルの画像データは、第１カメラ１０Ａ及び第２カメラ１０Ｂの双方において台形歪みが発生している。ただし、第２カメラ１０Ｂから取得される画像データｉ０ｂの方が、第１カメラ１０Ａから取得される画像データｉ０ａよりも歪み量が大きい。
なお、図４（Ａ）、（Ｂ）には、比較のため、歪みが発生しない場合に撮像される基板の像を破線で重ねて表示している。
図５は、台形歪み補正後の画像データの一例を示す図である。同図（Ａ）は、第１カメラ１０Ａから取得された画像データに対して台形歪み補正を施した場合の一例を示している。また、同図（Ｂ）は、第２カメラ１０Ｂから取得された画像データに対して台形歪み補正を施した場合の一例を示している。
図５は、検査結果を考慮せずに各画像データを補正した場合の例である。この場合、各画像データは独立して補正され、歪みを完全に除去するように補正される。すなわち、各画像データにおいて、完全に理想的な画像形状に補正される。この結果、同図（Ａ）に示すように、第１カメラ１０Ａの補正後の画像データｉ１ａは、実際の基板の形状と同じ矩形状に補正される。また、同図（Ｂ）に示すように、第２カメラ１０Ｂの補正後の画像データｉ１ｂも実際の基板の形状と同じ矩形状に補正される。
このように補正された画像データｉ１ａ、ｉ１ｂに基づいて、基板を検査すると、基板Ｂの長さＬの検査については、両者の検査結果を一致させることができる。
しかし、基板Ｂに付されたラベルＬｂの判別の結果については、両者の結果に差が生じ得る。これは次の理由による。オリジナルの画像データは、第１カメラ１０Ａの画像データｉ０ａよりも第２カメラ１０Ｂの画像データｉ０ｂの方が、歪み量が大きい（図４参照）。このため、完全に歪みを除去するように補正すると、補正後の画像データは、第１カメラ１０Ａの補正後の画像データｉ１ａよりも第２カメラ１０Ｂの補正後の画像データｉ１ｂの方が、補正量が大きくなる。この結果、第２カメラ１０Ｂの補正後の画像データｉ１ｂは解像が低下し、ラベルＬｂの判別ができない事態が生じ得る。
図６は、検査結果が同じになるように補正した場合の画像データの一例を示す図である。同図（Ａ）は、第１カメラ１０Ａから取得された画像データに対して補正した場合の一例を示している。また、同図（Ｂ）は、第２カメラ１０Ｂから取得された画像データに対して補正した場合の一例を示している。なお、同図（Ａ）、（Ｂ）には、比較のため、歪みを完全に補正した場合の基板の像を破線で重ねて表示している。
図６（Ａ）、（Ｂ）に示すように、検査結果が同じになるように補正すると、第１カメラ１０Ａの補正後の画像データｉ２ａ及び第２カメラ１０Ｂの補正後の画像データｉ２ｂは、ほぼ同じ画像データとなる。
検査結果が同じになるように補正する場合、図６（Ａ）、（Ｂ）に示すように、歪みの残存が許容される場合がある。すなわち、検査結果が同じになるように補正する場合、検査結果に影響を及ぼさない項目については、劣化の残存が許容される。本例では、基板Ｂの縦方向の長さＬの検査なので、基板Ｂの横方向の歪みは許容される。一方、ラベルＬｂの判別に影響を及ぼすため、補正が制限される。すなわち、ラベルＬｂの判別が可能な範囲で補正が行われる。
このように、本実施の形態の検査システム１では、第１カメラ１０Ａ及び第２カメラ１０Ｂで同一対象を撮像した場合に、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果に差が生じないように、すなわち、所望の範囲内において一致するように、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて画像データを補正する。
パラメータ設定部１０６は、そのような補正が行われるように、画像処理のパラメータを設定する。すなわち、同一対象を撮像した場合に、検査結果を所望の範囲内において一致させるようなパラメータを設定する。
パラメータは、たとえば、検査結果をフィードバックして設定する。たとえば、すべてのパラメータを順番に微小変化させて検査結果がどのように変化するかに基づいて、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂに設定する画像処理のパラメータを最適化する。この場合、感度がない、すなわち、変更しても検査結果に影響しないパラメータは、変更しないようにすることが好ましい。
検査結果がどのように変化するかは、たとえば、パラメータの変化に対する検査結果の差の偏微分を求めて観測する。
また、パラメータを最適化する際は、たとえば、検査結果の確率分布が、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂにおいてほぼ同じになるようにする。
このようにパラメータを微小変化させて、パラメータを最適化する手法には、公知の最適化手法を採用できる。たとえば、公知の勾配法による最適化手法を採用することができる。ただし、感度がない場合にパラメータが動かない必要があるため、ＤＬＳ（DLS：Dumped Least Squares／減衰最小自乗法）のように、正則化項を含む手法を採用することが好ましい。
なお、単に検査結果が同じになるようにパラメータを設定すると、本来、合格とすべきところを不合格と判定してしまう事態が生じ得る。このため、パラメータを設定する場合は、検査の正確性も考慮する。たとえば、正確な検査結果を用意し、その検査結果と同じになるように、パラメータを設定する。本例の場合、たとえば、第１検査処理部１０４Ａの検査結果が正しいことを保証し、第２検査処理部１０４Ｂの検査結果が第１検査処理部１０４Ａの検査結果とほぼ一致するように、パラメータを設定する。
［検査システムの作用］
《初期設定》
まず、初期設定として、パラメータ設定部１０６において、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂが行う画像処理のパラメータが設定される。すなわち、第１カメラ１０Ａ及び第２カメラ１０Ｂで同一対象を撮像した場合に第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果が、ほぼ一致するように、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂの画像処理のパラメータが調整され、かつ、設定される。これにより、たとえば、装着された撮像レンズに個体差がある場合などのように、第１カメラ１０Ａ及び第２カメラ１０Ｂの性能に差がある場合であっても、適切に検査できる。
《検査の処理手順》
検査は、コンベヤ２の上を２列で搬送される基板Ｂを第１カメラ１０Ａ及び第２カメラ１０Ｂによって撮像することにより行われる。
第１カメラ１０Ａ及び第２カメラ１０Ｂから出力された画像データは、検査装置１００に取り込まれ、検査に供される。検査装置１００は、次の手順（画像処理方法）によって画像データを処理し、撮像されている基板を検査する。
検査装置１００に取り込まれた第１カメラ１０Ａの画像データ及び第２カメラ１０Ｂの画像データは、まず、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて、光学系に起因する像劣化が画像処理によって補正される（第１画像処理工程）。本例では、台形歪みが補正される。この際、第１カメラ１０Ａから取得された画像データは、第１画像補正処理部１０２Ａにおいて画像処理されて、台形歪みが補正される。また、第２カメラ１０Ｂから取得された画像データは、第２画像補正処理部１０２Ｂにおいて画像処理されて、台形歪みが補正される。
ここで、上記のように、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて行う画像処理のパラメータは事前に設定される（パラメータ設定工程）。このパラメータは、同一対象を撮像した場合に、検査結果がほぼ一致するように設定される。第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂは、設定されたパラメータに従って画像データを画像処理し、画像に生じた台形歪みを補正する。
第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて台形歪みが補正された第１カメラ１０Ａの画像データ及び第２カメラ１０Ｂの画像データは、次に、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂに加えられ、検査に供される（第２画像処理工程）。
第１検査処理部１０４Ａは、第１画像補正処理部１０２Ａにおいて補正処理された画像データを取得して、取得した画像データを画像処理して、撮像されている基板の長さを検査する。より詳しくは、撮像されている基板の縦方向の長さＬを計測し、あらかじめ設定された基準を満たしているか否かを判定して、基板の合否を判定する。また、取得した画像データを画像処理して、基板に付されているラベルを判別する。
第２検査処理部１０４Ｂは、第２画像補正処理部１０２Ｂにおいて補正処理された画像データを取得して、取得した画像データを画像処理して、撮像されている基板の長さを検査する。また、取得した画像データを画像処理して、基板に付されているラベルを判別する。
ここで、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂにおいて処理対象とする画像データは、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂにおいて補正処理された画像データであり、同一対象を撮像した場合にほぼ同じ結果が得られるように補正された画像データである。このため、第１カメラ１０Ａ及び第２カメラ１０Ｂの性能に差がある場合であっても、個々のカメラで対象を適切に検査できる。
このように、本実施の形態の検査システム１によれば、複数のカメラを使用して検査する場合であっても、個々のカメラにおいて、適切に対象を検査できる。特に、個体差のあるカメラを使用した場合であっても、適切に対象を検査できる。また、個々のカメラにおいて、個体差のある撮像レンズを使用した場合であっても、適切に対象を検査できる。
また、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂにおいて行う処理については変更を加える必要がないので、検査のアルゴリズムが未知（いわゆるブラックボックス）であっても適用できる。このことは、検査に機械学習等の手法を採用している場合に特に有効である。
また、本実施の形態の検査システム１によれば、カメラに起因する像劣化を直接操作できるため、高い自由度をもって調整できる。
◆◆第２の実施の形態◆◆
図７は、第２の実施の形態の検査装置が備える機能のブロック図である。
同図に示すように、本実施の形態の検査装置１１０は、前処理部１１２を更に備えている点で上記第１の実施の形態の検査装置１００と相違する。したがって、ここでは、前処理部１１２の機能についてのみ説明する。
前処理部１１２は、第３画像処理部の一例である。前処理部１１２は、第１カメラ１０Ａ及び第２カメラ１０Ｂから取得した画像データを前処理する。ここでの前処理とは、画像データを画像補正処理部１０２において補正処理する前に所定の画像処理を施すことを意味する。具体的には、撮像環境の相違によって第１カメラ１０Ａ及び第２カメラ１０Ｂの間において生じた画質のバラツキを画像処理によって補正し、均一化する処理を行う。撮像環境の相違によって生じる画質のバラツキには、たとえば、画像の明るさバラツキ、色調のバラツキ等が挙げられる。
前処理部１１２は、第１前処理部１１２Ａ及び第２前処理部１１２Ｂを備える。第１前処理部１１２Ａは、第１カメラ１０Ａから取得した画像データを画像処理して、その画質を補正する。第２前処理部１１２Ｂは、第２カメラ１０Ｂから取得した画像データを画像処理して、その画質を補正する。たとえば、第１カメラ１０Ａの撮像領域と第２カメラ１０Ｂの撮像領域における照明光の当たり方が異なることにより、撮像される画像の明るさに差が生じる場合、前処理部１１２において画像の明るさが補正される。
このように、前処理部１１２は、撮像環境の相違によって生じる画質のバラツキを画像処理によって補正し、均一化する（第３画像処理工程）。画像補正処理部１０２は、この前処理部１１２において処理された画像を取り込み、補正処理する（第１画像処理工程）。これにより、撮像環境の相違によって生じる画質のバラツキを除去でき、対象をより適切に検査できる。
前処理部１１２の機能（第３画像処理機能）は、検査装置１１０を構成するコンピュータが、所定のプログラム（画像処理プログラム等）を実行することにより提供される。
なお、前処理部１１２の機能は、第１カメラ１０Ａ及び第２カメラ１０Ｂに備えてもよい。すなわち、第１カメラ１０Ａ及び第２カメラ１０Ｂのカメラ本体１４Ａ、１４Ｂに備えられた信号処理部に前処理部１１２の機能を備えてもよい。
◆◆その他の実施の形態◆◆
［撮像された対象に対する処理］
上記実施の形態では、対象を検査するシステムに本発明を適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。この他、たとえば、対象を計測、認識等するシステム、装置等に適用できる。
対象を計測するシステム、装置等とは、対象が撮像された画像データを取得し、画像処理によって対象を計測するシステム、装置等をいう。計測には、たとえば、長さの計測、面積の計測、色の計測、位置の計測などが挙げられる。
対象を認識するシステム、装置等とは、対象が撮像された画像データを取得し、画像処理によって対象を認識するシステム、装置等をいう。認識には、たとえば、文字の認識、図形の認識、外観形状の認識、特定対象物の認識などが挙げられる。
また、上記実施の形態では、検査として、対象の長さを検査する場合を例に説明したが、検査の種類は、これに限定されるものではない。たとえば、外観形状の検査、表面性状の検査、位置の検査、サイズの検査、種類の検査等、画像処理を用いた種々の検査に本発明は適用できる。また、検査に伴い計測、認識等の処理が画像処理によって行われる場合には、それらの処理にも本発明は適用できる。
［検査等を行うシステムの構成］
上記実施の形態では、コンベヤによって搬送される対象を順次撮像し、処理する場合を例に説明したが、検査等を行うシステムの構成は、これに限定されるものではない。この他、たとえば、車両に複数台のカメラを設置し、人等を認識するシステム等にも本発明は適用できる。
また、上記実施の形態では、各カメラが異なる対象を撮像する構成としているが、各カメラが同じ対象を撮像し、検査等するシステムにも本発明は適用できる。また、同じ対象の異なる部位を複数のカメラで撮像し、検査等するシステムにも本発明は適用できる。たとえば、１枚の基板の表面を複数の領域に分割し、各領域を異なるカメラで撮像して、キズの有無、異物の有無等を検査するシステムに本発明を適用できる。
また、上記実施の形態では、カメラが２台の場合を例に説明したが、使用するカメラの数は、特に限定されるものではない。複数台のカメラが使用されていればよい。また、撮像レンズは、カメラ本体に一体的に組み付けられていてもよい。
また、本発明は、ウェブ等の連続物を検査等する場合にも適用できる。たとえば、連続して搬送されるウェブの表面を複数台のカメラで撮像し、キズの有無等を検査したり、所定の間隔で表示されたマーク等を認識、判別等したりする場合にも適用できる。
［画像補正処理部（第１画像処理部）の補正対象］
上記のように、画像補正処理部１０２では、後段の検査等の結果に影響を及ぼす像劣化が画像処理によって補正される。
たとえば、対象に付された文字、図形等を認識するシステム、対象の位置合わせ、位置決め等を行うために対象の位置を計測するシステム等においては、主として、光学系に起因する画像の歪み、解像の低下等が認識結果に影響を及ぼす。したがって、この種のシステムでは、主として、光学系に起因する画像の歪み、解像が補正される。画像の歪みは、たとえば、公知のディストーション補正の技術、上記の台形歪み補正の技術等、公知の歪み補正の技術を用いて補正される。解像は、たとえば、公知の点像復元処理の技術を用いて補正される。点像とは、点物体が撮像レンズを通して得られる光学像のことである。撮像レンズに収差、回折があると、点が点にならず広がった点像（ボケた点像）が得られる。すなわち、点像は、撮像レンズの光学的な劣化状態を表わす。点像復元処理は、光学的な劣化を元の状態に近づける画像処理である。
また、対象の形状を計測、検査等するシステムでは、主として、光学系に起因する画像の歪みが処理結果に影響を及ぼす。したがって、この種のシステムにおいては、主として、光学系に起因する画像の歪みが補正される。
また、対象の面積、長さ等を計測、検査等するシステムでは、主として、光学系に起因する画像の歪み、各光学系の像倍率の差が、処理結果に影響を及ぼす。したがって、この種のシステムにおいては、主として、光学系に起因する画像の歪み、像倍率が補正される。像倍率は、たとえば、画像データを拡縮処理（電子ズーム、デジタルズームなどともいう。）することにより補正する。
また、対象の色を計測、検査等するシステムでは、主として、各光学系の分光透過率の差が処理結果に影響を及ぼす。したがって、この種のシステムにおいては、主として、分光透過率の差が補正される。
［その他の実施の形態］
上記実施の形態では、第１画像処理部、第２画像処理部、第３画像処理部及びパラメータ設定部をコンピュータによって構成しているが、第１画像処理部、第２画像処理部、第３画像処理部及びパラメータ設定部を実現するためのハードウェア的な構成は、これに限定されるものではない。これらの処理部等は、各種のプロセッサーによって構成できる。各種のプロセッサーには、ソフトウェア（プログラム）を実行して各種の処理を行う処理部として機能する汎用的なプロセッサーであるＣＰＵ、ＦＰＧＡ（FPGA：Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサーであるＰＬＤ（PLD：Programmable Logic Device）、ＡＳＩＣ（ASIC：Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサーである専用電気回路などが含まれる。
一つの処理部は、これら各種のプロセッサーのうちの一つにより構成されていてもよいし、同種又は異種の二つ以上のプロセッサーにより構成されていてもよい。たとえば、複数のＦＰＧＡで構成されてもよいし、ＣＰＵ及びＦＰＧＡの組み合わせで構成されてもよい。
また、複数の処理部を一つのプロセッサーによって構成してもよい。複数の処理部を一つのプロセッサーによって構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、一つ以上のＣＰＵとソフトウェアとの組合せで一つのプロセッサーを構成し、このプロセッサーが複数の処理部として機能する形態がある。第２に、システムオンチップ（SoC：System On Chip）などに代表されるように、複数の処理部を含むシステム全体の機能を一つのＩＣチップ（IC：Integrated Circuit）で実現するプロセッサーを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサーを一つ以上用いて構成される。
更に、これらの各種のプロセッサーのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
以下、上記第１の実施の形態の検査システム１において、第１検査処理部１０４Ａ及び第２検査処理部１０４Ｂの検査結果が、所望の範囲内において一致するように、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂが行う画像処理のパラメータを設定する場合の一実施例を説明する。
なお、本例では、第１画像補正処理部１０２Ａ及び第２画像補正処理部１０２Ｂが台形歪み補正を行う場合を例に説明する。
また、本例では、勾配法により各パラメータを最適化する場合を例に説明する。
［台形歪み補正］
一般に、台形歪みは、射影変換によって補正される。
入力画像の点(x0,y0)を点(x1,y1)の位置に変換する場合、座標変換は、次式で定義される。
x1 = (a1*x0+b1*y0+c1) / (a0*x0+b0*y0+c0)；
y1 = (a2*x0+b2*y0+c2) / (a0*x0+b0*y0+c0)、
なお、式中の*は乗算を意味する（以下同様）。
パラメータをまとめてパラメータベクトルθ=(a0,b0,c0,a1,b1,c1,a2,b2,c2)として表記する。
［記号の定義］
IAn : n番目の教師画像（合否の判定結果が既知の第１カメラ１０Ａにより撮影された画像、1≦n≦N）；
TAn : n番目の教師画像の合否の判定結果（合格の場合：1、不合格の場合：0）；
MAm,MBm : m番目の結果一致のための比較画像（1≦m≦M、M>>N、M≧dimθ)；なお、dimθはθベクトルのディメンションである。
Y = g(X|θ) : 入力画像Xを補正して画像Yに変換する画像補正処理（θはパラメータベクトル）；
D = f(X) : 入力画像Xが合格である確率（0≦D≦1）を返す識別アルゴリズム（検査アルゴリズム）。
［準備すべきパラメータ］
Δθ : パラメータの微少変化量；
Vth : 所望とされる結果一致の程度を示す閾値；
Tth : 非線形最適化打ち切り閾値；
λ : 第１カメラおける判定結果の精度と第１、第２カメラ間の判定結果の一致の程度のバランスを定義する定数；
θ0 : 初期パラメータベクトル；
ε : 最急降下法の更新量。
［変数の説明］
θ : 現在のパラメータベクトル；
itr : 非線形最適化の反復の回数。
［実施手順］
図８は、画像処理のパラメータを最適化する処理の手順を示すフローチャートである。
画像処理のパラメータを最適化する手順は、次のとおりである。
（１）初期パラメータを設定（ステップＳ１）
まず、初期パラメータベクトルθ0を設定する（θ ← θ0）。また、非線形最適化の反復の回数itrを１に設定する（itr ← 1）。
（２）教師のある画像すべての合否判定結果を取得（ステップＳ２）
次に、教師のある画像すべての合否の判定結果を確率YAnとして取得する。
YAn = f(g(IAn|θ))
（３）比較画像のすべての合否判定結果を取得（ステップＳ３）
次に、比較画像のすべての合否の判定結果を確率ZAm、ZBmとして取得する。
ZAm = f(g(MAm|θ))
ZBm = f(g(MBm|θ))
（４）評価基準Ｖの値を算出（ステップＳ４）
次に、評価基準Ｖの値を算出する。評価基準Ｖは、次式のように、交差エントロピーとカルバック情報量のλ倍の和として定義される。
V = (-1/N) * Σn TAn*log(YAn) + λ * (-1/M) * Σm ZBm*log(ZAm)
（５）判定（ステップＳ５）
次に、算出した評価基準Ｖの値と閾値Vthとを比較し、算出した評価基準Ｖの値が閾値Vth未満か否かを判定する。算出した評価基準Ｖの値が、閾値未満（V<Vth）の場合、正常終了する。
（６）判定（ステップＳ６）
上記ステップＳ５の判定において、算出した評価基準Ｖの値が閾値以上（V≧Vth）の場合、非線形最適化の反復の回数itrと閾値Tthとを比較し、非線形最適化の反復の回数itrが閾値Tthを超えているか否かを判定する。非線形最適化の反復の回数itrが閾値Tthを超えている場合（itr>Tth）、所望の補正効果は得られないものとして処理を中断する。この場合、補正アルゴリズム、撮像系の見直しが必要となる。
（７）パラメータを微小変化（ステップＳ７）
上記ステップＳ６において、非線形最適化の反復の回数itrが閾値以下（itr≦Tth）の場合、パラメータを微小変化させる。この処理は、次の手順で行われる。
パラメータベクトルθのi番目の要素にΔθ加算したパラメータベクトルをθ+Δθiと表記する。1≦i≦dimθ のすべてのiについて、パラメータをθ+Δθiに置き換え、上記ステップＳ２〜Ｓ４の計算を繰り返し、各場合の評価基準Vの値Viを求める。
YAni = f(g(IAn|θ+Δθi))；
ZAmi = f(g(MAm|θ+Δθi))；
ZBmi = f(g(MBm|θ+Δθi))；
Vi = (-1/N) * Σn TAni*log(YAni) + λ * (-1/M) * Σm ZBmi*log(ZAmi)。
次に、評価基準Ｖのパラメータベクトルθによる勾配の近似を得る。
dVi/dθ = (Vi-V)/Δθ；
dV/dθ = (dV1/dθ, dV2/dθ, ... , dVk/dθ), k=dimθ、
次に、評価基準Ｖの値が小さくなる方向にθを移動させる。
θ←θ-ε*dV/dθ、
以上によってパラメータを微小変化させる処理が完了する。
パラメータを微小変化させた後、上記ステップＳ２に戻り、ステップＳ２以降の処理を再度実行する。正常終了又は処理が中断されるまでステップＳ２〜Ｓ７の処理が繰り返し実施される。
以上のようにして画像処理のパラメータを最適化することにより、検査結果を所望の範囲内において一致させることができる。一方、準備にコストがかかる判定教師データの数を大幅に抑えることができる。
１ 検査システム
２ コンベヤ
１０Ａ 第１カメラ
１０Ｂ 第２カメラ
１２Ａ 第１カメラの撮像レンズ
１２Ｂ 第２カメラの撮像レンズ
１４Ａ 第１カメラのカメラ本体
１４Ｂ 第２カメラのカメラ本体
１００ 検査装置
１０２ 画像補正処理部
１０２Ａ 第１画像補正処理部
１０２Ｂ 第２画像補正処理部
１０４ 検査処理部
１０４Ａ 第１検査処理部
１０４Ｂ 第２検査処理部
１０６ パラメータ設定部
１１０ 検査装置
１１２ 前処理部
１１２Ａ 第１前処理部
１１２Ｂ 第２前処理部
Ｂ 基板
Ｆｄ 基板の搬送方向
Ｌｂ ラベル
ｉ０ａ、ｉ０ｂ、ｉ１ａ、ｉ１ｂ、ｉ２ａ、ｉ２ｂ 画像データ
Ｓ１〜Ｓ７ 画像処理のパラメータを最適化する処理の手順

Claims (18)

  1. 複数の撮像部と、
    複数の前記撮像部から画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理部と、
    前記第１画像処理部から補正後の前記画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理部と、
    を備え、
    前記第１画像処理部は、複数の前記撮像部が複数の同じ形状または／及び外観である実質的な同一対象を個別に撮像した場合に、前記第２画像処理部の結果が所望の範囲内において一致するように、複数の前記撮像部から取得した画像データを個別に補正する、
    画像処理システム。
  2. 複数の前記撮像部から前記画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理部を更に備え、
    前記第１画像処理部は、前記第３画像処理部から補正後の前記画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する、
    請求項１に記載の画像処理システム。
  3. 前記第１画像処理部は、個々の前記撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、
    請求項１又は２に記載の画像処理システム。
  4. 前記第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部を更に備え、
    前記パラメータ設定部は、前記第２画像処理部による検査、計測又は認識の結果に基づいて、前記パラメータを設定する、
    請求項１から３のいずれか１項に記載の画像処理システム。
  5. 前記パラメータ設定部は、パラメータを変化させた場合の前記第２画像処理部の結果の変化に基づいて、前記パラメータを最適化する、
    請求項４に記載の画像処理システム。
  6. 前記パラメータ設定部は、勾配法により前記パラメータを最適化する、
    請求項４に記載の画像処理システム。
  7. 複数の撮像部から画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理部と、
    前記第１画像処理部から補正後の前記画像データを個別に取得し、
    撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理部と、
    を備え、
    前記第１画像処理部は、複数の前記撮像部が複数の同じ形状または／及び外観である実質的な同一対象を個別に撮像した場合に、前記第２画像処理部の結果が所望の範囲内において一致するように、複数の前記撮像部から取得した画像データを個別に補正する、
    画像処理装置。
  8. 複数の前記撮像部から前記画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理部を更に備え、
    前記第１画像処理部は、前記第３画像処理部から補正後の前記画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する、
    請求項７に記載の画像処理装置。
  9. 前記第１画像処理部は、個々の前記撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、
    請求項７又は８に記載の画像処理装置。
  10. 前記第１画像処理部が行う画像処理のパラメータを設定するパラメータ設定部を更に備え、
    前記パラメータ設定部は、前記第２画像処理部による検査、計測又は認識の結果に基づいて、前記パラメータを設定する、
    請求項７から９のいずれか１項に記載の画像処理装置。
  11. 複数の撮像部から画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理工程と、
    前記第１画像処理工程による補正後の前記画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理工程と、
    を含み、
    前記第１画像処理工程は、複数の前記撮像部が複数の同じ形状または／及び外観である実質的な同一対象を個別に撮像した場合に、前記第２画像処理工程による検査、計測又は認識の結果が所望の範囲内において一致するように、複数の前記撮像部から取得した画像データを個別に補正する、
    画像処理方法。
  12. 複数の前記撮像部から前記画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理工程を更に含み、
    前記第３画像処理工程の後に前記第１画像処理工程が実行される、
    請求項１１に記載の画像処理方法。
  13. 前記第１画像処理工程により行われる画像処理のパラメータを設定するパラメータ設定工程を更に備え、
    前記パラメータ設定工程は、第２画像処理工程による検査、計測又は認識の結果に基づいて、前記パラメータを設定する、
    請求項１１又は１２に記載の画像処理方法。
  14. 前記第１画像処理工程は、個々の前記撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、
    請求項１１から１３のいずれか１項に記載の画像処理方法。
  15. 複数の撮像部から画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する第１画像処理機能と、
    前記第１画像処理機能による補正後の前記画像データを個別に取得し、撮像されている対象を画像処理によって個別に検査、計測又は認識する第２画像処理機能と、
    をコンピュータに実現させる画像処理プログラムであって、
    前記第１画像処理機能は、複数の前記撮像部が複数の同じ形状または／及び外観である実質的な同一対象を個別に撮像した場合に、前記第２画像処理機能による検査、計測又は認識の結果が所望の範囲内において一致するように、複数の前記撮像部から取得した画像データを個別に補正する、
    画像処理プログラム。
  16. 複数の前記撮像部から前記画像データを個別に取得し、撮像環境の相違によって生じた画質のバラツキを画像処理によって個別に補正し均一化する第３画像処理機能を更に備え、
    前記第１画像処理機能は、前記第３画像処理機能から補正後の前記画像データを個別に取得し、個々の前記撮像部に起因する像劣化を画像処理によって個別に補正する、
    請求項１５に記載の画像処理プログラム。
  17. 前記第１画像処理機能が行う画像処理のパラメータを設定するパラメータ設定機能を更に備え、
    前記パラメータ設定機能は、前記第２画像処理機能による検査、計測又は認識の結果に基づいて、前記パラメータを設定する、
    請求項１５又は１６に記載の画像処理プログラム。
  18. 前記第１画像処理機能は、個々の前記撮像部に備えられた光学系に起因する像劣化を画像処理によって個別に補正する、
    請求項１５から１７のいずれか１項に記載の画像処理プログラム。
JP2019504344A 2017-03-10 2017-12-26 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム Active JP6588675B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017046594 2017-03-10
JP2017046594 2017-03-10
PCT/JP2017/046519 WO2018163572A1 (ja) 2017-03-10 2017-12-26 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP6588675B2 true JP6588675B2 (ja) 2019-10-09
JPWO2018163572A1 JPWO2018163572A1 (ja) 2019-11-21

Family

ID=63448728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019504344A Active JP6588675B2 (ja) 2017-03-10 2017-12-26 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20190378259A1 (ja)
JP (1) JP6588675B2 (ja)
CN (1) CN110402577B (ja)
WO (1) WO2018163572A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US11381737B2 (en) * 2018-03-28 2022-07-05 Sony Corporation Arithmetic device and arithmetic method
CN113259580B (zh) * 2020-02-12 2024-08-02 中电科海洋信息技术研究院有限公司 光电监控系统拍摄参数自校正方法、装置、设备和介质
KR102566873B1 (ko) * 2020-09-08 2023-08-14 한화시스템 주식회사 적외선 촬영 장치 및 이의 제조 방법
CN113218952B (zh) 2021-04-25 2022-11-01 华南理工大学 Ic封装载板多尺度外观缺陷检测方法、装置、设备和介质
CN115880574B (zh) * 2023-03-02 2023-06-16 吉林大学 一种水下光学图像轻量化目标识别方法、设备和介质

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537669A (en) * 1993-09-30 1996-07-16 Kla Instruments Corporation Inspection method and apparatus for the inspection of either random or repeating patterns
US5825483A (en) * 1995-12-19 1998-10-20 Cognex Corporation Multiple field of view calibration plate having a reqular array of features for use in semiconductor manufacturing
US6806903B1 (en) * 1997-01-27 2004-10-19 Minolta Co., Ltd. Image capturing apparatus having a γ-characteristic corrector and/or image geometric distortion correction
US6151406A (en) * 1997-10-09 2000-11-21 Cognex Corporation Method and apparatus for locating ball grid array packages from two-dimensional image data
US6915007B2 (en) * 1998-01-16 2005-07-05 Elwin M. Beaty Method and apparatus for three dimensional inspection of electronic components
US7653237B2 (en) * 1998-01-16 2010-01-26 Scanner Technologies Corporation Method of manufacturing ball array devices using an inspection apparatus having two or more cameras and ball array devices produced according to the method
US6915006B2 (en) * 1998-01-16 2005-07-05 Elwin M. Beaty Method and apparatus for three dimensional inspection of electronic components
JP3994217B2 (ja) * 1998-05-28 2007-10-17 株式会社ニコン 画像処理による異常点位置検出システム
DE19903486C2 (de) * 1999-01-29 2003-03-06 Leica Microsystems Verfahren und Vorrichtung zur optischen Untersuchung von strukturierten Oberflächen von Objekten
US6323776B1 (en) * 1999-12-21 2001-11-27 Snap-On Technologies, Inc. Method and apparatus of automatically identifying faults in a machine vision measuring system
JP2001201324A (ja) * 2000-01-20 2001-07-27 Minolta Co Ltd 形状計測装置
US6809809B2 (en) * 2000-11-15 2004-10-26 Real Time Metrology, Inc. Optical method and apparatus for inspecting large area planar objects
US7170677B1 (en) * 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
US7525659B2 (en) * 2003-01-15 2009-04-28 Negevtech Ltd. System for detection of water defects
JP4095491B2 (ja) * 2003-05-19 2008-06-04 本田技研工業株式会社 距離測定装置、距離測定方法、及び距離測定プログラム
DE10359415A1 (de) * 2003-12-16 2005-07-14 Trimble Jena Gmbh Verfahren zur Kalibrierung eines Vermessungsgeräts
US20090136117A1 (en) * 2004-10-26 2009-05-28 May High-Tech Solutions Ltd. Method and apparatus for residue detection on a polished wafer
SG138491A1 (en) * 2006-06-21 2008-01-28 Generic Power Pte Ltd Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components
US7664608B2 (en) * 2006-07-14 2010-02-16 Hitachi High-Technologies Corporation Defect inspection method and apparatus
WO2008130907A1 (en) * 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to identify individuals
FR2923054B1 (fr) * 2007-10-24 2009-12-11 Centre Nat Rech Scient Procede et dispositif de reconstruction du volume d'un objet a partir d'une sequence d'images de coupes dudit objet
JP5466377B2 (ja) * 2008-05-16 2014-04-09 株式会社日立ハイテクノロジーズ 欠陥検査装置
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
TWI436831B (zh) * 2009-12-10 2014-05-11 Orbotech Lt Solar Llc 真空處理裝置之噴灑頭總成
JP5824364B2 (ja) * 2010-06-17 2015-11-25 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
JP5306298B2 (ja) * 2010-09-01 2013-10-02 株式会社東芝 画像処理装置
US9129277B2 (en) * 2011-08-30 2015-09-08 Digimarc Corporation Methods and arrangements for identifying objects
US8655068B1 (en) * 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
JP2013211707A (ja) * 2012-03-30 2013-10-10 Clarion Co Ltd カメラキャリブレーション装置
JP2014035261A (ja) * 2012-08-08 2014-02-24 Sony Corp 情報処理方法、情報処理装置、プログラム、撮像装置、検査方法、検査装置、及び基板の製造方法
EP2911116A4 (en) * 2012-10-18 2016-09-07 Konica Minolta Inc PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM
JP6003578B2 (ja) * 2012-11-26 2016-10-05 株式会社ニコン 画像生成方法及び装置
JP6119235B2 (ja) * 2012-12-20 2017-04-26 株式会社リコー 撮像制御装置、撮像システム、撮像制御方法およびプログラム
US9285296B2 (en) * 2013-01-02 2016-03-15 The Boeing Company Systems and methods for stand-off inspection of aircraft structures
EP2757524B1 (en) * 2013-01-16 2018-12-19 Honda Research Institute Europe GmbH Depth sensing method and system for autonomous vehicles
US9917998B2 (en) * 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
CN104581136B (zh) * 2013-10-14 2017-05-31 钰立微电子股份有限公司 图像校准系统和立体摄像机的校准方法
US9233688B2 (en) * 2014-01-30 2016-01-12 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
US9704232B2 (en) * 2014-03-18 2017-07-11 Arizona Board of Regents of behalf of Arizona State University Stereo vision measurement system and method
WO2015190013A1 (ja) * 2014-06-10 2015-12-17 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP6546826B2 (ja) * 2015-10-08 2019-07-17 株式会社日立パワーソリューションズ 欠陥検査方法、及びその装置
JP6546509B2 (ja) * 2015-10-28 2019-07-17 株式会社ニューフレアテクノロジー パターン検査方法及びパターン検査装置
US9978147B2 (en) * 2015-12-23 2018-05-22 Intel Corporation System and method for calibration of a depth camera system
US20170374331A1 (en) * 2016-06-27 2017-12-28 Intel Corporation Auto keystone correction and auto focus adjustment
JP2018055429A (ja) * 2016-09-29 2018-04-05 ファナック株式会社 物体認識装置および物体認識方法
US20180159469A1 (en) * 2016-12-01 2018-06-07 Bt Imaging Pty Ltd Determining the condition of photovoltaic modules
US10572982B2 (en) * 2017-10-04 2020-02-25 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens

Also Published As

Publication number Publication date
JPWO2018163572A1 (ja) 2019-11-21
US20190378259A1 (en) 2019-12-12
CN110402577B (zh) 2021-06-22
WO2018163572A1 (ja) 2018-09-13
CN110402577A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
JP6588675B2 (ja) 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム
JP7087397B2 (ja) 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
TWI706485B (zh) 光學晶粒對資料庫檢查
CN107533759B (zh) 对于关注图案图像群体的异常检测
US10964014B2 (en) Defect detecting method and defect detecting system
US9689805B2 (en) Systems and methods eliminating false defect detections
KR100598381B1 (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
US11774371B2 (en) Defect size measurement using deep learning methods
US10430938B2 (en) Method of detecting defects in an object
TW201839383A (zh) 用於缺陷偵測之動態注意區
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5178781B2 (ja) センサ出力データの補正装置及びセンサ出力データの補正方法
JP4331558B2 (ja) 被検査物の外観検査方法及び外観検査装置
JP4629086B2 (ja) 画像欠陥検査方法および画像欠陥検査装置
WO2006073155A1 (ja) パターン欠陥検査のための装置、その方法及びそのプログラムを記録したコンピュータ読取り可能な記録媒体
Haefner Best practices for imaging system MTF measurement
JP4367474B2 (ja) 欠陥検査装置
JP4653340B2 (ja) ３板式ｃｃｄカメラを用いた缶外観検査装置
Kostrin et al. Application of an Automated Optoelectronic System for Determining Position of an Object
KR102295631B1 (ko) 분광특성지수를 이용한 초분광영상 활용 방법
KR102730800B1 (ko) 기판의 결함 검사 장치, 기판의 결함 검사 방법 및 기억 매체
RU2351091C2 (ru) Способ автоматического определения и коррекции радиальной дисторсии на цифровом изображении
WO2023110123A1 (en) Method for processing image data, image processor unit and computer program
JP2024533867A (ja) 所定の搬送アイテムが監視領域内に配置されているかどうかを判定する方法
JP2008089471A (ja) 欠陥検査装置

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20190806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190807

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190912

R150 Certificate of patent or registration of utility model

Ref document number: 6588675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250