JP6568672B2 - System and method for detecting defects on specular surfaces in a vision system - Google Patents

System and method for detecting defects on specular surfaces in a vision system Download PDF

Info

Publication number
JP6568672B2
JP6568672B2 JP2016221074A JP2016221074A JP6568672B2 JP 6568672 B2 JP6568672 B2 JP 6568672B2 JP 2016221074 A JP2016221074 A JP 2016221074A JP 2016221074 A JP2016221074 A JP 2016221074A JP 6568672 B2 JP6568672 B2 JP 6568672B2
Authority
JP
Japan
Prior art keywords
optical
illumination
light
camera
illuminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016221074A
Other languages
Japanese (ja)
Other versions
JP2017111121A (en
Inventor
ロスタミ,ファリボーズ
エフ. フィルヘイバー,ジョン
エフ. フィルヘイバー,ジョン
キアン,フェン
Original Assignee
コグネックス・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201562255360P priority Critical
Priority to US62/255,360 priority
Priority to US201562274094P priority
Priority to US62/274,094 priority
Priority to US201662404431P priority
Priority to US62/404,431 priority
Priority to US15/349,131 priority patent/US20170236266A1/en
Priority to US15/349,131 priority
Application filed by コグネックス・コーポレイション filed Critical コグネックス・コーポレイション
Publication of JP2017111121A publication Critical patent/JP2017111121A/en
Application granted granted Critical
Publication of JP6568672B2 publication Critical patent/JP6568672B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21Polarisation-affecting properties
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901Optical details; Scanning details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901Optical details; Scanning details
    • G01N21/8903Optical details; Scanning details using a multiple detector array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/149Beam splitting or combining systems operating by reflection only using crossed beamsplitting surfaces, e.g. cross-dichroic cubes or X-cubes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8829Shadow projection or structured background, e.g. for deflectometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8841Illumination and detection on two sides of object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8848Polarisation of light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901Optical details; Scanning details
    • G01N2021/8908Strip illuminator, e.g. light tube
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N2021/8924Dents; Relief flaws

Description

関連出願
本出願は2015年11月13日に出願された同時係属米国特許仮出願第62/255360号「ビジョンシステムで鏡面上の欠陥を検出するためのシステム及び方法」、2015年12月31日に出願された米国特許仮出願第62/274094号「ビジョンシステムで鏡面上の欠陥を検出するためのシステム及び方法」、及び2016年10月5日に出願された米国特許仮出願第62/404431号「ビジョンシステムで鏡面上の欠陥を検出するためのシステム及び方法の利益を主張するものであり、その教示内容は参照により本明細書に組み込まれる。
技術分野
RELATED APPLICATIONS This application is a co-pending US Provisional Application No. 62 / 255,360, “System and Method for Detecting Specular Defects in a Vision System,” filed November 13, 2015, December 31, 2015. US Provisional Application No. 62 / 274,944 entitled “System and Method for Detecting Specular Defects with a Vision System”, and US Provisional Patent Application No. 62/404431, filed Oct. 5, 2016. No. "claims the benefits of a system and method for detecting specular defects in a vision system, the teachings of which are incorporated herein by reference.
Technical field
本発明はオブジェクトの表面を検査するためのマシンビジョンシステム、より具体的には鏡面を検査するビジョンシステムに関する。   The present invention relates to a machine vision system for inspecting the surface of an object, and more particularly to a vision system for inspecting a mirror surface.
本明細書で「ビジョンシステム」とも呼ばれるマシンビジョンシステムは、製造環境において多様なタスクを実行するために使用されている。一般にビジョンシステムは、製造中のオブジェクトを包含するシーンのグレースケール又はカラー画像を取得する画像センサ(又は「イメージャ」)を備えた1台以上のカメラからなる。オブジェクトの画像を分析してデータ/情報をユーザ及び関連する製造工程に提供できる。画像によって生み出されたデータは通常はビジョンシステムにより1台以上のビジョンシステムプロセッサで分析及び処理され、ビジョンシステムプロセッサはそれ専用に製造されているか、又は汎用コンピュータ(例えばPC、ラップトップ、タブレット又はスマートフォン)内で作成される1以上のソフトウェアアプリケーションの一部であることができる。ビジョンシステムによって実行される一部のタイプのタスクは、静止している面又は動いている面(搬送)、例えばコンベヤ又はモーションステージの上のオブジェクト及び表面の検査を含んでいてもよい。   Machine vision systems, also referred to herein as “vision systems”, are used to perform a variety of tasks in a manufacturing environment. In general, a vision system consists of one or more cameras equipped with an image sensor (or “imager”) that captures a grayscale or color image of a scene containing the object being manufactured. The image of the object can be analyzed to provide data / information to the user and associated manufacturing process. The data produced by the images is usually analyzed and processed by a vision system on one or more vision system processors, which are either manufactured for it or are general purpose computers (eg PCs, laptops, tablets or smartphones). ) Can be part of one or more software applications created within. Some types of tasks performed by the vision system may include inspection of objects and surfaces on stationary or moving surfaces (conveyance), such as conveyors or motion stages.
鏡面仕上げのオブジェクトで表面検査を実行することは、ビジョンシステムにとって難題であり得る。一般に、表面からの反射は欠陥及び表面欠点(例えば小さい凹部/谷部及び/又は凸部/丘部)を引き起こすことがあり、これらは周囲の表面に対する小さいエリアにおける傾斜の小さい差を表すが、カメラに進入する大量の反射光によって消し去られると見られる。鏡面上の表面欠点の検出を試みるための1つの技術は、暗視野照明を使用するものであり、オブジェクトに投影された照明光は対物レンズに集められない。これは光を散乱させるどんな表面欠点も目立たせるのに役立つ。しかしながらこの技術は、オブジェクトとカメラアセンブリとの間の相対運動を含む環境では設定及び使用の点で制限がある。   Performing surface inspection on mirror-finished objects can be a challenge for vision systems. In general, reflections from the surface can cause defects and surface defects (e.g. small depressions / valleys and / or protrusions / hills), which represent a small difference in slope in a small area relative to the surrounding surface, It seems to be erased by a large amount of reflected light entering the camera. One technique for attempting to detect surface imperfections on specular surfaces uses dark field illumination, and the illumination light projected onto the object is not collected by the objective lens. This helps to highlight any surface defects that scatter light. However, this technique is limited in terms of setup and use in environments that involve relative movement between the object and the camera assembly.
本発明は、ナイフエッジ技術を用いて鏡面上の鏡面欠陥を検出して撮像するためのシステムと方法を提供することによって先行技術の短所を克服する。ここにおいてカメラアパーチャ又は外部デバイスは光路内に物理的ナイフエッジ構造を形成するように設定され、ナイフエッジ構造は照明された所定の傾斜度の鏡面からの反射光線を効果的に遮断し、異なる傾斜で偏向された光線がビジョンシステムカメラセンサに到達するのを可能にする。一実施形態において照明は光学系によって集光されて、検査中の表面の区域より大きい面積で照明器から進出し、表面の区域に収束する。光は(鏡面)区域によって反射されて、カメラの入射アパーチャの近傍か、又はカメラ内部のアパーチャ絞り(例えば調節可能なアイリス)上のスポットに収束し続ける。いずれかの位置で、光表面の平坦部から反射される光はほとんどがナイフエッジ又はアパーチャ絞りによって遮断される。逆に欠陥の傾斜部から反射する光はほとんどが入射アパーチャ内に反射される。照明ビームはカメラの光軸に対して傾斜して、検査中の表面に対する適当な入射角度を提供する。例示的に、照明器は偏光された光をオブジェクトの表面に伝達する直線偏光子を含んでいてもよい。オブジェクトは多層であってよく、(例えば偏光層)を含んでいてもよい。偏光された光は表面からカメラセンサ/カメラ光学系で交差偏光子内に反射される。例示的に、表面は静止して2Dセンサ配列によって取得されてよく、又は表面はカメラに対して相対的に動くことができ、この場合はカメラはライン走査カメラ又はライン走査センサと定義され得る。   The present invention overcomes the disadvantages of the prior art by providing a system and method for detecting and imaging specular defects on a specular surface using knife edge technology. Here the camera aperture or external device is set up to form a physical knife edge structure in the optical path, which effectively blocks the reflected light from the illuminated mirror surface of a given tilt and has a different tilt. Allows the light beam deflected in to reach the vision system camera sensor. In one embodiment, the illumination is collected by an optical system and advances from the illuminator with a larger area than the area of the surface under inspection and converges to the area of the surface. The light is reflected by the (specular) area and continues to converge to a spot near the entrance aperture of the camera or on an aperture stop (eg, an adjustable iris) inside the camera. At either position, most of the light reflected from the flat portion of the light surface is blocked by the knife edge or aperture stop. On the contrary, most of the light reflected from the inclined portion of the defect is reflected in the incident aperture. The illumination beam is tilted with respect to the optical axis of the camera to provide an appropriate angle of incidence with respect to the surface under inspection. Illustratively, the illuminator may include a linear polarizer that transmits polarized light to the surface of the object. The object may be multi-layered and may include (eg, a polarizing layer). Polarized light is reflected from the surface by the camera sensor / camera optics into the crossed polarizer. Illustratively, the surface may be acquired stationary by a 2D sensor array, or the surface may move relative to the camera, in which case the camera may be defined as a line scan camera or a line scan sensor.
例示的な実施形態において、オブジェクトの鏡面上の欠陥を撮像するためのシステム及び方法が提供される。表面は、画像センサと光学系を有し且つ光軸を規定するビジョンシステムカメラによって撮像される。照明器アセンブリは、光軸に対して平行でない表面に構造化光線を所定の角度で投影する。ナイフエッジ部材は、光学系の最大視野の一部を可変に塞ぐ光学系と関連付けられている。ナイフエッジ部材と所定の角度はそれぞれ、光学系を通してセンサに反射される光が実質的に表面上の欠陥特徴の傾斜した丘部と谷部若しくはリップル及び波形から伝達されて、反射光がナイフエッジ部材によって塞がれた傾斜した欠陥特徴を包囲するように設定されている。例示的に、ナイフエッジ部材は光学系内の可変アパーチャを含み、所定の角度は平坦な表面からの表面変形の傾斜と関連付けられている。実施形態において、センサは2Dセンサであり及びオブジェクトはカメラに対して静止している。或いは、センサはライン走査カメラ構成と定義され、オブジェクトはカメラに対して動いており、照明器アセンブリは、照明のラインを表面に投影する。ライン照明器を使用することにより、動いている部品の検査及び2Dセンサからの単一の画像によってカバーされるフィールドよりはるかに大きい部品の検査が可能になる。実施形態において、照明は可視光に加えて、実質的に赤外光又は近赤外光波長レンジと定義され、オブジェクトは反射防止コーティング及び/又は偏光層を含む層と定義され得る。この場合に、照明は偏光されることができ、照明器の光学系は偏光フィルタを含む。非制限的な例として、オブジェクトはAMOLEDディスプレイであることができ、偏光層は1/4λリターダであり、偏光フィルタは交差偏光フィルタと定義される。照明器は偏光照明のための偏光子を含んでよく、照明器の光学系は偏光フィルタを含む。照明源はナイフエッジ構造の近傍のポイントに向かって収束する集光ビームと定義できる。ナイフエッジ構造は光学系の前方の光路上(光学系とオブジェクトの間)に位置決めされた外部構造であることができる。例示的に、照明器アセンブリはビジョンシステムカメラの光軸上にあるビームスプリッタを通して光を投影し、照明器アセンブリからの軸外照明はビームスプリッタにより光軸と一致するオブジェクト表面に向けて投影される。別の実施形態では、照明器アセンブリは複数の照明源と定義され、各々光をそれぞれのビームスプリッタ内に投影し、各ビームスプリッタはビジョンシステムカメラの光軸上にあって、各照明源から出る軸外照明はビームスプリッタによりそれぞれ光軸と一致するオブジェクト表面に向けて投影される。 In an exemplary embodiment, a system and method for imaging a specular defect on an object is provided. The surface is imaged by a vision system camera having an image sensor and an optical system and defining an optical axis. The illuminator assembly projects structured light at a predetermined angle onto a surface that is not parallel to the optical axis. The knife edge member is associated with an optical system that variably blocks a part of the maximum field of view of the optical system. The knife edge member and the predetermined angle, respectively, cause the light reflected by the sensor through the optical system to be transmitted substantially from the sloped hills and valleys or ripples and ripples of the defect feature on the surface, and the reflected light is the knife edge. It is set to surround the tilted defect feature blocked by the member. Illustratively, the knife edge member includes a variable aperture in the optical system, and the predetermined angle is associated with a slope of the surface deformation from a flat surface. In an embodiment, the sensor is a 2D sensor and the object is stationary with respect to the camera. Alternatively, the sensor is defined as a line scan camera configuration, the object is moving relative to the camera, and the illuminator assembly projects a line of illumination onto the surface. Using a line illuminator allows inspection of moving parts and inspection of parts much larger than the field covered by a single image from a 2D sensor. In embodiments, illumination can be defined as a substantially infrared or near infrared wavelength range in addition to visible light, and an object can be defined as a layer that includes an anti-reflective coating and / or a polarizing layer. In this case, the illumination can be polarized and the illuminator optics includes a polarizing filter. As a non-limiting example, the object can be an AMOLED display, the polarizing layer is a 1 / 4λ retarder, and the polarizing filter is defined as a crossed polarizing filter. The illuminator may include a polarizer for polarized illumination, and the illuminator optics includes a polarizing filter. The illumination source can be defined as a focused beam that converges toward a point in the vicinity of the knife edge structure. The knife edge structure can be an external structure positioned on the optical path in front of the optical system (between the optical system and the object). Illustratively, the illuminator assembly projects light through a beam splitter that is on the optical axis of the vision system camera, and off-axis illumination from the illuminator assembly is projected by the beam splitter toward the object surface that coincides with the optical axis. . In another embodiment, the illuminator assembly is defined as a plurality of illumination sources, each projecting light into a respective beam splitter, each beam splitter being on the optical axis of the vision system camera and exiting from each illumination source Off-axis illumination is projected by the beam splitter toward the object surface that coincides with the optical axis.
例示的に、ナイフエッジ部材は光軸上に置かれた光学系内の隠蔽構造体であることができる。隠蔽構造体は光学系の前面に隣接して設けられたマスク素子上にある。隠蔽構造体は特徴と関連付けられた散乱光を選択的に強化又は抑制するように配置され得る。隠蔽構造体は光学系の延長方向にわたって延びるラインと定義され、光学系上の焦点を合わせた照明スポットのサイズと相対的である延長の方向に対して横断方向の幅を有することができる。延長の方向は特徴の向きによって定義され得る。マスク素子は周囲のラインの対向する各側で周囲の不透明な区域及びラインと不透明な区域との間の線状アパーチャを含む。隠蔽構造体はほぼ光軸上にセンタリングされたディスクを含み、1以上の特徴のサイズと相対的である直径を有する。環状区域はディスクを包囲でき、ディスクと環状区域の内周との間の環状アパーチャを規定できる。環状区域は散乱光を抑制するように配置され得る。例示的に、マスク素子はスナップ式又はねじ式のレンズカバーの少なくとも1つであることができ、アップリケは光学系の前面上に置かれ、可変パターン電気光学機構は光学系上に置かれている。実施形態において、配置構成は光学系と関連して置かれた第1の偏光子と、照明器と関連して置かれた第2の偏光子を含んでいてもよい。   Illustratively, the knife edge member can be a concealment structure in an optical system placed on the optical axis. The masking structure is on a mask element provided adjacent to the front surface of the optical system. The obscuring structure may be arranged to selectively enhance or suppress scattered light associated with the feature. A concealment structure is defined as a line extending across the extension direction of the optical system and can have a width transverse to the direction of extension relative to the size of the focused illumination spot on the optical system. The direction of extension can be defined by the orientation of the feature. The mask element includes a surrounding opaque area and a linear aperture between the line and the opaque area on opposite sides of the surrounding line. The concealment structure includes a disk centered about the optical axis and has a diameter that is relative to the size of one or more features. The annular area can surround the disk and can define an annular aperture between the disk and the inner periphery of the annular area. The annular area can be arranged to suppress scattered light. Illustratively, the mask element can be at least one of a snap-on or screw-type lens cover, the applique is placed on the front surface of the optical system, and the variable pattern electro-optic mechanism is placed on the optical system. . In an embodiment, the arrangement may include a first polarizer placed in association with the optical system and a second polarizer placed in association with the illuminator.
以下に本発明について添付の図面を参照して説明する。   The present invention will be described below with reference to the accompanying drawings.
例示的な静止したオブジェクトの欠陥のある表面の画像を取得する、2Dピクセル配列を有するカメラを備え、オブジェクトの鏡面上の表面変形欠陥特徴を解像するように配置された照明器及びアパーチャ制御を含む例示的なビジョンシステムのブロック図である。Illuminator and aperture control arranged to resolve surface deformation defect features on a mirror surface of an object with a camera having a 2D pixel array to acquire an image of an exemplary stationary object's defective surface 1 is a block diagram of an exemplary vision system that includes.
例示的な動いているオブジェクトの欠陥のある表面の画像を取得する、ライン走査(1D)ピクセル配列を有するカメラを備え、オブジェクトの鏡面上の表面変形欠陥特徴を解像するように配置された照明器及びアパーチャ制御を含む例示的なビジョンシステムのブロック図である。Illumination with a camera having a line scan (1D) pixel array that captures an image of a defective surface of an exemplary moving object and is arranged to resolve surface deformation defect features on the specular surface of the object 1 is a block diagram of an exemplary vision system that includes instrument and aperture control.
図1又は図2の配置構成に従い表面上の変形表面特徴を解像するためにナイフエッジ効果を適用するブロック図である。FIG. 3 is a block diagram applying a knife edge effect to resolve deformed surface features on the surface according to the arrangement of FIG. 1 or FIG.
AMOLEDディスプレイの方式による例示的な偏光層を含む複数の層を含めるように構成された例示的なオブジェクトを走査する、図2のビジョンシステム配置構成のブロック図であり、オブジェクトは少なくとも1層に丘欠陥特徴と谷欠陥特徴を含んでいる。FIG. 3 is a block diagram of the vision system arrangement of FIG. 2 scanning an example object configured to include multiple layers including an example polarizing layer in accordance with an AMOLED display scheme, the object being at least one hill in the layer Includes defect and valley defect features.
照明の光路及び丘欠陥特徴に対して取得された反射光を示す、ビジョンシステム配置構成及び図4の例示的な走査されたオブジェクトの側面図である。FIG. 5 is a side view of the vision system arrangement and the example scanned object of FIG. 4 showing reflected light acquired for illumination light paths and hill defect features.
照明の光路及び谷欠陥特徴に対して取得された反射光を示す、ビジョンシステム配置構成及び図4の例示的な走査されたオブジェクトの側面図である。FIG. 5 is a side view of the vision system arrangement and the example scanned object of FIG. 4 showing reflected light acquired for illumination light path and valley defect features.
例示的な実施形態によるカメラ及び光学系と組み合わせた外部ナイフエッジ構造の使用を示すビジョンシステム配置構成の側面図である。2 is a side view of a vision system arrangement showing the use of an external knife edge structure in combination with a camera and optics according to an exemplary embodiment. FIG.
別の実施形態による複数の照明源及び関連するナイフエッジアセンブリを示す、ビジョンシステム配置構成及び例示的な走査されたオブジェクトの側面図である。FIG. 5 is a side view of a vision system arrangement and an exemplary scanned object showing multiple illumination sources and associated knife edge assemblies according to another embodiment.
1個の照明器を用い、カメラの光軸と一致する軸外照明を提供するビームスプリッタを含む、図1の説明に従って作動するビジョンシステムのブロック図である。2 is a block diagram of a vision system that operates in accordance with the description of FIG. 1 using a single illuminator and including a beam splitter that provides off-axis illumination that coincides with the optical axis of the camera. 2個の照明器を用い、カメラの光軸と一致する軸外照明を提供するビームスプリッタを含む、図1の説明に従って作動するビジョンシステムのブロック図である。FIG. 2 is a block diagram of a vision system that operates in accordance with the description of FIG. 1 using two illuminators and including a beam splitter that provides off-axis illumination that coincides with the optical axis of the camera.
本明細書の実施形態によるビジョンシステムを用いて、それぞれ周囲の表面上にシャドウグラフの形式で示された可視の欠陥特徴を有する例示的なオブジェクト表面の画像の表現である。2 is a representation of an image of an exemplary object surface having visible defect features, each shown in the form of a shadow graph on a surrounding surface, using a vision system according to embodiments herein.
一実施形態による軸外照明及びナイフエッジ構成を用いて、オブジェクトの鏡面上の波形を決定するための手順のフローチャートである。6 is a flowchart of a procedure for determining a waveform on an object's specular surface using off-axis illumination and a knife edge configuration according to one embodiment.
平滑な表面特徴と波状の表面特徴の組合せ、波状の表面特徴及び平滑な表面特徴からの応答を示す画像明度の例示的なヒストグラムである。FIG. 4 is an exemplary histogram of image brightness showing a combination of smooth and wavy surface features, wavy surface features and responses from smooth surface features. FIG. 平滑な表面特徴と波状の表面特徴の組合せ、波状の表面特徴及び平滑な表面特徴からの応答を示す画像明度の例示的なヒストグラムである。FIG. 4 is an exemplary histogram of image brightness showing a combination of smooth and wavy surface features, wavy surface features and responses from smooth surface features. FIG. 平滑な表面特徴と波状の表面特徴の組合せ、波状の表面特徴及び平滑な表面特徴からの応答を示す画像明度の例示的なヒストグラムである。FIG. 4 is an exemplary histogram of image brightness showing a combination of smooth and wavy surface features, wavy surface features and responses from smooth surface features. FIG.
一実施形態により表面のラインを照明及び走査するための照明器及び画像センサの例示的な光学的配置構成である。2 is an exemplary optical arrangement of an illuminator and an image sensor for illuminating and scanning a surface line according to one embodiment.
図16の斜視図である。FIG. 17 is a perspective view of FIG. 16.
カメラの光学系アセンブリの前方又は内部に置かれ固定又は可変フィルタ部材を含みマスクの形式によるナイフエッジ部材を用いる、例示的な実施形態による例示的なビジョンシステムカメラ及び照明器の説明図である。FIG. 5 is an illustration of an exemplary vision system camera and illuminator according to an exemplary embodiment that is placed in front of or within a camera optics assembly and uses a knife edge member in the form of a mask that includes a fixed or variable filter member.
例示的な線状アパーチャ内の不透明な中心線を定義する、図18の例示的なカメラと共に使用するためのマスクの正面図である。FIG. 19 is a front view of a mask for use with the example camera of FIG. 18 that defines an opaque centerline within the example linear aperture.
光学系アセンブリの中心に配置された例示的な円形ディスク部材を定義するマスクの正面図である。FIG. 5 is a front view of a mask defining an exemplary circular disc member positioned in the center of the optics assembly.
例示的な不透明なディスク部材と、これと環状アパーチャによって分離された外側環状部材の正面図であり、各部材は所定の直径を定義する。1 is a front view of an exemplary opaque disk member and an outer annular member separated by an annular aperture, each member defining a predetermined diameter. FIG. 例示的な不透明なディスク部材と、これと環状アパーチャによって分離された外側環状部材の正面図であり、各部材は所定の直径を定義する。1 is a front view of an exemplary opaque disk member and an outer annular member separated by an annular aperture, each member defining a predetermined diameter. FIG. 例示的な不透明なディスク部材と、これと環状アパーチャによって分離された外側環状部材の正面図であり、各部材は所定の直径を定義する。1 is a front view of an exemplary opaque disk member and an outer annular member separated by an annular aperture, each member defining a predetermined diameter. FIG. 例示的な不透明なディスク部材と、これと環状アパーチャによって分離された外側環状部材の正面図であり、各部材は所定の直径を定義する。1 is a front view of an exemplary opaque disk member and an outer annular member separated by an annular aperture, each member defining a predetermined diameter. FIG. 例示的な不透明なディスク部材と、これと環状アパーチャによって分離された外側環状部材の正面図であり、各部材は所定の直径を定義する。1 is a front view of an exemplary opaque disk member and an outer annular member separated by an annular aperture, each member defining a predetermined diameter. FIG.
図18のビジョンシステムカメラと照明器の配置構成によって撮像された例示的なオブジェクト(例えばタッチスクリーン面)の画像であり、その上に波状の表面詳細を示す。FIG. 19 is an image of an exemplary object (eg, a touch screen surface) imaged by the vision system camera and illuminator arrangement of FIG. 18 with wavy surface details shown thereon.
図18のビジョンシステムカメラと照明器の配置構成によって撮像された、図26の例示的なオブジェクトの画像であり、タッチスクリーン面(例えばセンサ配列)上により微細な詳細を示す。FIG. 27 is an image of the exemplary object of FIG. 26 taken with the vision system camera and illuminator arrangement of FIG. 18, showing finer details on the touch screen surface (eg, sensor array).
図18のビジョンシステムカメラと照明器の配置構成によって撮像された、図26の例示的なオブジェクトの画像であり、図27に示されたセンサ配列の極めて精確な詳細を示す。FIG. 27 is an image of the exemplary object of FIG. 26 taken with the vision system camera and illuminator arrangement of FIG. 18, showing very precise details of the sensor array shown in FIG. タッチスクリーンのセンサマトリックス/配列の詳細についての説明図である。It is explanatory drawing about the detail of the sensor matrix / array of a touch screen. マスクと撮像技術を用いて達成できる詳細度の例についての説明図である。It is explanatory drawing about the example of the detail level which can be achieved using a mask and an imaging technique.
I.システムの概観         I. System overview
図1は、例示的な実施形態による例示的なビジョンシステム配置構成100のブロック図であり、シーンは定置ビジョンシステムカメラ120を基準に配置された静止した鏡面オブジェクト110を包含している。この実施形態では、ビジョンシステムカメラ120は(例えば)方形配置によるピクセルのNXM配列を有する2次元(2D)画像センサSを含んでいる。カメラは、任意の許容可能なレンズアセンブリ(例えばCマウント、Fマウント又はM12ベースレンズ)を含んでいてもよい光学系パッケージを有する。この実施形態では、レンズは手動又は自動アパーチャ制御−例えば可変アイリス−を含んでおり、ユーザ又は他の外部コントローラは適当なアパーチャ設定124を入力できる(以下に説明する)。センサSと光学系OCは共に、一般にオブジェクト110の一般化された表面に対して垂直な光軸OAを規定する。一実施形態において配置構成100は、光の(例えば光学系OIにより)コリメートされたビーム132を表面110に投影する照明器130を含む。ビーム132は、大部分オブジェクトに達して、残りのシーンに拡大しないように適合されている。ビーム132は、オブジェクト110の鏡面の一般化された平面に対して角度Aに向けられている。この角度Aは垂直面Nに対して直角ではない(典型的には鋭角)。垂直面Nは一般にカメラ光軸OAに対して平行である。   FIG. 1 is a block diagram of an exemplary vision system arrangement 100 according to an exemplary embodiment, where a scene includes a stationary specular object 110 positioned with respect to a stationary vision system camera 120. In this embodiment, the vision system camera 120 includes a two-dimensional (2D) image sensor S having an NXM array of pixels in a (for example) square arrangement. The camera has an optics package that may include any acceptable lens assembly (eg, C mount, F mount, or M12 base lens). In this embodiment, the lens includes manual or automatic aperture control—for example, a variable iris—and a user or other external controller can input the appropriate aperture setting 124 (described below). Both sensor S and optical system OC define an optical axis OA that is generally perpendicular to the generalized surface of object 110. In one embodiment, the arrangement 100 includes an illuminator 130 that projects a collimated beam 132 of light (eg, by the optical system OI) onto the surface 110. Beam 132 is adapted to reach most objects and not expand into the rest of the scene. The beam 132 is directed at an angle A with respect to the generalized plane of the mirror surface of the object 110. This angle A is not perpendicular to the vertical plane N (typically an acute angle). The vertical plane N is generally parallel to the camera optical axis OA.
図示されているように、オブジェクト110の表面は下方に渦を巻いた谷部(「凹部」とも呼ぶ」)又は上方に突き出た丘部(「凸部」とも呼ぶ)であることができる欠陥特徴140を含んでおり、これらは以下に説明する配置構成及び技術を用いて効果的に撮像される。例示的な実施形態で照明されたシーン及びオブジェクト110からの画像データ140は、ビジョンシステムプロセッサ150に伝達される。プロセッサ150は、1以上のカメラアセンブリに直接統合でき、又は図示されているように、適当なユーザインタフェース(例えばマウス162、キーボード164)とディスプレイ機能(スクリーン及び/又はタッチスクリーン166)を備えた別個のコンピューティングデバイス160内に設けることができる。コンピューティングデバイス160はサーバー、PC、ラップトップ、タブレット、スマートフォン又は専用に製造された処理デバイス、並びに他のタイプのプロセッサ及びこれに付随する記憶装置、ネットワーキング構成、データストレージなどを含んでいてもよいが、これは当業者には自明であろう。   As illustrated, the surface of the object 110 can be a defect feature that can be a downwardly swirling valley (also referred to as a “concave”) or a hill protruding upward (also referred to as a “convex”). 140, which are effectively imaged using the arrangements and techniques described below. Image data 140 from the illuminated scene and object 110 in the exemplary embodiment is communicated to the vision system processor 150. The processor 150 can be integrated directly into one or more camera assemblies or, as shown, a separate user interface (eg, mouse 162, keyboard 164) and a display function (screen and / or touch screen 166). Within the computing device 160. The computing device 160 may include servers, PCs, laptops, tablets, smartphones or specially manufactured processing devices, as well as other types of processors and associated storage, networking configurations, data storage, etc. However, this will be obvious to those skilled in the art.
ビジョンシステムプロセス(プロセッサ)150は、多様な機能的ソフトウェアプロセス及びモジュールを含んでいてもよい。プロセス/モジュールは、カメラ/センサ及び照明器130の種々のパラメータに対するコントローラ152を(照明制御情報170を介して)含んでいてもよい。ビジョンシステムプロセス(プロセッサ)150は、種々のビジョンツール152、例えば特徴検出器(例えばエッジ検出器、コーナ検出器、ブロブツールなど)も含んでいる。これらのツールは画像の表面特徴を解析して、照明及び以下に説明する光学的条件の下で(例えば)欠陥特徴140を探すために使用される。ビジョンシステムプロセッサは、表面上の欠陥を探して特定する種々のツール154を使用する欠陥探知器/探知モジュール156も含んでいる。欠陥は定量化でき、相応の情報172を処理プロセス(例えば部品拒否及びアラートプロセス)174に伝達され得る。   The vision system process (processor) 150 may include a variety of functional software processes and modules. The process / module may include a controller 152 (via illumination control information 170) for various parameters of the camera / sensor and illuminator 130. The vision system process (processor) 150 also includes various vision tools 152, such as feature detectors (eg, edge detectors, corner detectors, blob tools, etc.). These tools are used to analyze the surface features of the image and look for defect features 140 (for example) under illumination and optical conditions described below. The vision system processor also includes a defect detector / detection module 156 that uses various tools 154 to locate and identify defects on the surface. Defects can be quantified and corresponding information 172 can be communicated to a processing process (eg, part rejection and alert process) 174.
以下に述べるように、種々の実施形態でカメラ120は(光路内に)偏光フィルタPを含んでいてもよい。偏光された光線を表面に伝達するために、照明器上に他のフィルタPIを設けることができる。   As described below, in various embodiments, the camera 120 may include a polarizing filter P (in the optical path). Another filter PI can be provided on the illuminator to transmit the polarized light beam to the surface.
図2を参照すると、ビジョンシステム配置構成200が示されており、鏡面を有する例示的なオブジェクト200は、撮像されたシーンにわたり運動方向(矢印M)に沿って向けられている。例示的に、オブジェクトはモーションステージ又はコンベヤを含み得る搬送装置212によって動かされる。この実施形態ではカメラ220はセンサS1と光学系OC1を含んでいる。この実施形態では例示的にセンサS1はピクセルの1D配列(又は1列のピクセルがアドレス指定された2D配列)として配置されており、それによりライン走査カメラを定義する。一実施形態において、カメラは2Dピクセル配列の1以上のラインを読み出すことを可能にするように作動できる。そのような構成において、技術当業者には自明であるべき時間領域法を用いてラインからのピクセル情報を単一の画像に結合できる。このようにしてオブジェクトは機械的に走査でき、その一方でイメージャが漸進的に走査された部品の画像を連続的に読み出して形成する。従って画像の寸法は、撮像システム又は検出器の高コントラストの面積よりはるかに大きくてもよい。代替的な実施形態において、撮像/照明システムは部品が静止したまま一体として走査できることに留意されたい。従ってライン走査は、高いコントラストがスポット又は区域に集中される図1の静止した配置構成と反対に、しばしば無制限のサイズのエリアにわたり高コントラストを提供できる。しかしながら、動いているオブジェクト構成も静止したオブジェクト構成も特定の用途でそれぞれ利点がある。   Referring to FIG. 2, a vision system arrangement 200 is shown, with an exemplary object 200 having a specular surface oriented along the direction of motion (arrow M) over the imaged scene. Illustratively, the object is moved by a transport device 212 that may include a motion stage or conveyor. In this embodiment, the camera 220 includes a sensor S1 and an optical system OC1. In this embodiment, sensor S1 is exemplarily arranged as a 1D array of pixels (or a 2D array in which a column of pixels is addressed), thereby defining a line scan camera. In one embodiment, the camera is operable to allow reading one or more lines of a 2D pixel array. In such an arrangement, the pixel information from the line can be combined into a single image using time domain methods that should be obvious to those skilled in the art. In this way, the object can be mechanically scanned, while the imager progressively scans the images of the parts that have been scanned progressively. Thus, the dimensions of the image may be much larger than the high contrast area of the imaging system or detector. It should be noted that in an alternative embodiment, the imaging / illumination system can be scanned as one piece with the parts stationary. Thus, line scanning can often provide high contrast over an area of unlimited size, as opposed to the stationary arrangement of FIG. 1 where high contrast is concentrated in spots or areas. However, both moving and stationary object configurations have advantages for specific applications.
光学系OC1は上述したようにアパーチャ制御224を含んでいる。シーンは、例示的光のライン232をオブジェクト210のシーン及び表面に投影する照明器230によって照明される。特に、ラインはセンサピクセル配列の延長方向に対して平行に、且つ運動の方向Mに対して直角に延びている。カメラセンサS1及び光学系OC1の光軸OA1は、一般にオブジェクトの一般化された表面に対して直角/垂直であり、投影された光の「扇」は表面に対する垂直面N1に対して直角ではない角度(鋭角)1に向けられている。カメラは画像データ240を一連の走査ラインの形式でビジョンシステムプロセス(プロセッサ)250に伝達する。プロセス(プロセッサ)は上述したプロセス(プロセッサ)150(図1)と同様に作動する。この実施形態では、搬送装置も運動情報(例えばエンコーダのクリック又はパルスの形式)242をプロセス(プロセッサ)250に伝達する。この情報は各走査ラインをオブジェクトの物理的座標空間に対して(例えば各パルスと関連した運動方向Mにおける所定の物理的運動増分に基づいて)登録するために用いられる。これによりプロセス(プロセッサ)250が一連の1Dピクセルラインからオブジェクトの2D画像を構成することが可能になる。プロセス(プロセッサ)250は、適当な処理デバイス(図示されていないが上記のデバイス160と同様)の一部であってよい。プロセス(プロセッサ)250は、照明制御270も提供し、イメージャ及び照明制御252、ビジョンシステムツール254及び欠陥探知器256の作動に基づいてオブジェクト表面に対する適当な欠陥情報を供給する。これらは上述したプロセス(プロセッサ)150(図1)におけるものと同様に作動する。カメラ光学系は偏光子P1を含むことができ、照明器230も同様に偏光子を含むことができ、その機能は以下に説明する。   The optical system OC1 includes the aperture control 224 as described above. The scene is illuminated by an illuminator 230 that projects an exemplary line of light 232 onto the scene and surface of the object 210. In particular, the lines extend parallel to the direction of extension of the sensor pixel array and perpendicular to the direction of movement M. The optical axis OA1 of the camera sensor S1 and the optical system OC1 is generally perpendicular / perpendicular to the generalized surface of the object, and the “fan” of the projected light is not perpendicular to the normal plane N1 relative to the surface. It is oriented at an angle (acute angle) 1. The camera communicates image data 240 to a vision system process (processor) 250 in the form of a series of scan lines. The process (processor) operates similarly to the process (processor) 150 (FIG. 1) described above. In this embodiment, the conveyor also communicates motion information (eg, in the form of encoder clicks or pulses) 242 to the process (processor) 250. This information is used to register each scan line with respect to the physical coordinate space of the object (eg, based on a predetermined physical motion increment in the motion direction M associated with each pulse). This allows the process (processor) 250 to construct a 2D image of the object from a series of 1D pixel lines. The process (processor) 250 may be part of a suitable processing device (not shown but similar to device 160 described above). Process (processor) 250 also provides illumination control 270 to provide appropriate defect information for the object surface based on the operation of imager and illumination control 252, vision system tool 254 and defect detector 256. These operate in the same manner as in the process (processor) 150 (FIG. 1) described above. The camera optics can include a polarizer P1, and the illuminator 230 can also include a polarizer, the function of which will be described below.
一実施形態において、照明器はLED駆動、光ファイバー照明器又はその他の許容可能な照明器であることができる。いずれかの配置構成において、光は可視光、赤外光又は近赤外光、及びその他の波長で提供されてよい。種々の実施形態で、オブジェクトとカメラとの間の相対運動はオブジェクトを動かすことによって、カメラを動かすことによって、又はオブジェクトとカメラの両方を動かすことによって達成できることに留意されたい。動きは直線状でも弓状でもよい。   In one embodiment, the illuminator can be an LED driven, fiber optic illuminator or other acceptable illuminator. In either arrangement, light may be provided at visible light, infrared light or near infrared light, and other wavelengths. Note that in various embodiments, the relative motion between the object and the camera can be achieved by moving the object, by moving the camera, or by moving both the object and the camera. The movement may be linear or arcuate.
II.光学的関係         II. Optical relationship
凹部及び丘欠陥などの表面変形を含む鏡面を有するオブジェクトの画像を取得するための2つの例示的な配置構成100及び200を説明したので、ここで種々の例示的な表面と関連したシステムの作動について詳細に説明する。以下の記述は両構成に該当する。図3の例示的な(模式的)配置構成300に図示されているように、丘部312と谷部314を含む例示的な表面310が、直角ではない角度に向けられた光源によって照明される。照明器320は表面上310で照明されたスポットによるエリア(幅ISで表す)より一般に大きいエリア(幅IAで表す)を規定する。この照明されたスポット又は表面が検査される区域であり、丘部と谷部を含むことがある。照明器320内の適当な集光光学系(慣用的であってよい)に基づいてスポットに収束される照明の光線322及び反射された光線324は、いずれかのカメラの入射アパーチャの近傍か、又はカメラ内部のアパーチャ絞り上にあるスポット326まで収束し続ける。いずれかの位置で、表面から反射された光は主としてナイフエッジ構造330及び/又はアパーチャ絞り(例えば可変レンズアイリス)によって遮断される。照明ビームとカメラ光軸342は互いに及び表面310に対して相対的に傾いていることに基づいて、丘欠陥と谷欠陥の傾斜部から反射する光(光線344)は、ほとんどがナイフエッジ構造330のそばで光学系340の入射アパーチャ内に反射されてセンサ350に到達する。各欠陥の反対側のスロープに当たる光は全部射アパーチャ/光学系340から離れ及び/又はナイフエッジ構造330内に反射される(光線360)。   Having described two exemplary arrangements 100 and 200 for acquiring images of objects having specular surfaces including surface deformations such as recesses and hill defects, the operation of the system in connection with various exemplary surfaces will now be described. Will be described in detail. The following description applies to both configurations. As illustrated in the exemplary (schematic) arrangement 300 of FIG. 3, an exemplary surface 310 that includes hills 312 and valleys 314 is illuminated by a light source directed at a non-normal angle. . The illuminator 320 defines an area (represented by the width IA) that is generally larger than the area (represented by the width IS) due to the spot illuminated on the surface 310. This illuminated spot or surface is the area to be examined and may include hills and valleys. The illumination beam 322 and the reflected beam 324 focused on the spot based on suitable collection optics (which may be conventional) in the illuminator 320 are either near the incident aperture of either camera, Or it continues to converge to the spot 326 on the aperture stop inside the camera. At either location, the light reflected from the surface is blocked primarily by the knife edge structure 330 and / or the aperture stop (eg, variable lens iris). Based on the illumination beam and camera optical axis 342 being tilted relative to each other and the surface 310, most of the light reflected from the slopes of the hill and valley defects (ray 344) is the knife edge structure 330. Near the incident aperture of the optical system 340 and reaches the sensor 350. All light striking the slope on the opposite side of each defect is separated from the firing aperture / optical system 340 and / or reflected into the knife edge structure 330 (ray 360).
その結果生じる表面310上の区域の画像370はシャドウグラフの形式を有しており、撮像された丘部372は、一方の半分が(対向するスロープから進入する光線344に基づいて)明るく、他方の半分が(反対側のスロープからの遮断された光線360に基づいて)暗い。これに対して撮像された谷部は、一方の半分が(遮断された光線360に基づいて)暗く、反対側の半分が(対向するスロープからの光線344に基づいて)明るい。このシステムはどちらの半分が暗く、どちらの半分が明るいかに基づいて丘部を谷部から識別できる。即ち、図示されている左半分の光は丘部を表し、右半分の光は谷部を表している。丘部と谷部を囲む区域は、暗いフィールド又はスロープ反射区域より明度が低いフィールドであってよい。この効果の結果としてカメラ光軸に対向するスロープは反射光を光軸に集中し、このスロープ(一次導関数)における偏差は欠陥に対する明度の高いコントラスト変化を生む傾向がある。これに対して欠陥を包囲する区域からの光はナイフエッジの傾きと遮断効果を組み合わせることによって効果的に減衰される(明度が数桁小さい)。   The resulting image 370 of the area on the surface 310 has the form of a shadow graph, with the imaged hill 372 having one half bright (based on rays 344 entering from the opposite slope) and the other Are dark (based on the blocked ray 360 from the opposite slope). In contrast, the imaged trough is dark on one half (based on blocked light beam 360) and bright on the other half (based on light beam 344 from the opposite slope). The system can distinguish hills from valleys based on which half is dark and which half is bright. That is, the left half light shown represents a hill, and the right half light represents a valley. The area surrounding the hills and valleys may be a dark field or a field with a lower brightness than the slope reflection area. As a result of this effect, the slope opposite the camera optical axis concentrates the reflected light on the optical axis, and deviations in this slope (first derivative) tend to produce a contrast change with high brightness for the defect. In contrast, light from the area surrounding the defect is effectively attenuated (lightness is several orders of magnitude smaller) by combining the knife edge tilt and the blocking effect.
配置構成300のセットアップが表面に対するカメラの傾きと間隔を基準にして照明ビームの適当な間隔と傾きを伴うことは当業者には自明であろう。次に外部構造を位置決めし、又は調節可能なアイリスを動かすことによるナイフエッジの設定を用いて、撮像されたフィールドにおける欠陥を強化するために必要な光の遮断の望ましいレベルを導出する。   Those skilled in the art will appreciate that the setup of the arrangement 300 involves the proper spacing and tilt of the illumination beam relative to the tilt and spacing of the camera relative to the surface. Knife edge settings by positioning the external structure or moving the adjustable iris are then used to derive the desired level of light blocking necessary to enhance defects in the imaged field.
III.その他の応用         III. Other applications
上記のビジョンシステム配置構成は、多様なオブジェクト及び表面で作動できる。配置構成400のライン走査バージョンが図4に示されており、ライン走査ビジョンシステムカメラ220(図2で既述)は、上述したように動いてライン照明器230の下を通過するオブジェクト420(動きM)を撮像する。例示的な実施形態において、照明器230は直線偏光子PI1を含むことができ、カメラ光学系OC1は交差偏光フィルタP1を含んでいてもよい。例を挙げると、オブジェクトは層状鏡面、例えばAMOLEDディスプレイであることができる。この例は、ガラス又はサファイア最上層424の上に施した反射防止コーティング422を含む。これは偏光子及び/又は他のフィルタ及び能動ディスプレイ層428の上にあるコーティング426をカバーする。能動層428は、層の上にある例示的な丘欠陥430と、層の下にある谷欠陥440を含む。   The vision system arrangement described above can work with a variety of objects and surfaces. A line scan version of the arrangement 400 is shown in FIG. 4, where the line scan vision system camera 220 (described above in FIG. 2) moves as described above and passes through the object 420 (motion) passing under the line illuminator 230. M). In the exemplary embodiment, the illuminator 230 may include a linear polarizer PI1, and the camera optics OC1 may include a cross polarization filter P1. By way of example, the object can be a layered mirror, such as an AMOLED display. This example includes an anti-reflective coating 422 applied over a glass or sapphire top layer 424. This covers the coating 426 overlying the polarizer and / or other filters and active display layer 428. The active layer 428 includes an exemplary hill defect 430 above the layer and a valley defect 440 below the layer.
カメラ光軸OA1に対して傾きAP1にある照明器光線510を示す図5及び図6も参照すると、例示的な(能動)MOLED層428は慣用的な偏光回転層、例えば1/4λリターダであることができる。従って配置構成400は偏光された照明ビーム510を伝送することによってオブジェクト固有の特性を活用できる。最上面は典型的には一部の照明光510を通してフレネル反射によって反射する。この光はほとんどがカメラ光学系OC1の入射アパーチャのエッジによって遮断される。このアパーチャに進入できた残りの光は、入射アパーチャで照明偏光子PI1に対して90度に向けられた交差偏光子P1によって遮断される。最上層422、424に透過した照明光は1/4λリターダを通過して、能動表面428に反射し、その後で2度目に1/4λリターダを通過して、第1の通過の後で直線偏光から円偏光に変換し、それから第2の通過で90度回転して直線偏光に戻る。この反射光線520は表面から出て偏光子P1を通過してカメラ光学系OC1の入射アパーチャに入る。このようにして、欠陥(図5に示す丘部430及び図6に示す谷部440)を包含する層に到達する光だけが画像センサによって受光され、この受光された(フィルタリングされた)光は次いでナイフエッジにより解像されて傾斜した欠陥特徴が識別される。   Referring also to FIGS. 5 and 6 which show the illuminator beam 510 at an inclination AP1 with respect to the camera optical axis OA1, the exemplary (active) MOLED layer 428 is a conventional polarization rotation layer, eg, a 1 / 4λ retarder. be able to. Thus, the arrangement 400 can take advantage of object-specific properties by transmitting a polarized illumination beam 510. The top surface typically reflects through part of the illumination light 510 by Fresnel reflection. Most of this light is blocked by the edge of the incident aperture of the camera optical system OC1. The remaining light that can enter this aperture is blocked by the crossed polarizer P1 that is directed at 90 degrees to the illumination polarizer PI1 at the incident aperture. Illumination light transmitted through the top layers 422, 424 passes through the 1 / 4λ retarder, reflects off the active surface 428, then passes through the 1 / 4λ retarder for the second time, and is linearly polarized after the first pass. To circularly polarized light and then rotated 90 degrees on the second pass back to linearly polarized light. The reflected light beam 520 exits from the surface, passes through the polarizer P1, and enters the incident aperture of the camera optical system OC1. In this way, only the light reaching the layer containing the defects (hill 430 shown in FIG. 5 and valley 440 shown in FIG. 6) is received by the image sensor, and this received (filtered) light is The defect features that are resolved and tilted by the knife edge are then identified.
オブジェクトの表面上には種々異なる塗膜やコーティング層(例えば反射防止コーティング層422)が存在するため、赤外光又は近赤外光の波長レンジ/波長帯にある照明ビーム510を設けることが望ましい場合がある。鏡面(例えばMOLEDディスプレイなど)上のほとんどのコーティング及び塗膜は、可視光スペクトル内の光をフィルタリングするために用いられる。従って赤外光又は近赤外光照明器を使用すると、伝達される照明光の波長の方が長いためにこれらのコーティング又は塗膜層のフィルタリング効果が克服される。任意の許容可能な配置構成のナイフエッジ構造KE1は、カメラ光学系OC1と共同して設けられることに留意されたい。一実施形態において、これはレンズと偏光子P1の間に配置できる。以下に説明するように実施形態において、ナイフエッジは偏光子と統合され得る。   Since there are different coatings and coating layers (eg anti-reflection coating layer 422) on the surface of the object, it is desirable to provide an illumination beam 510 in the wavelength range / wavelength band of infrared light or near infrared light. There is a case. Most coatings and coatings on mirror surfaces (such as MOLED displays) are used to filter light in the visible light spectrum. Therefore, the use of infrared or near infrared illuminators overcomes the filtering effect of these coatings or coating layers due to the longer wavelength of transmitted illumination light. Note that the knife edge structure KE1 of any acceptable arrangement is provided in conjunction with the camera optics OC1. In one embodiment, this can be placed between the lens and the polarizer P1. As described below, in embodiments, the knife edge may be integrated with a polarizer.
図7を参照すると、ナイフエッジ構造は様々な方法でカメラ及び光学系の光路に適用できることが想定されている。刃712とブラケット714を有する基本的なナイフエッジ構造710が、ビジョンシステムカメラ730のレンズ光学系720の前部に組み付けられた状態で示されている。ナイフエッジ構造は全体アパーチャACの一部を塞いでおり、それにより照明器750の傾斜した照明ビーム740が表面760に反射すると相互作用する。   Referring to FIG. 7, it is envisaged that the knife edge structure can be applied to the optical path of cameras and optics in various ways. A basic knife edge structure 710 having a blade 712 and a bracket 714 is shown assembled to the front of the lens optics 720 of the vision system camera 730. The knife edge structure occludes a portion of the overall aperture AC, thereby interacting when the tilted illumination beam 740 of the illuminator 750 reflects off the surface 760.
図8は、配置構成800の他の実施形態を示しており、1対の照明アセンブリ810及び812は、それぞれの光のビーム820及び822を欠陥を含む鏡面830に投影する。各ビーム820、822は、ビジョンシステムカメラ850の光学系852とセンサ854の光軸に対して異なる向き(それぞれの角度840及び842)で傾けられている。従って光は異なるスロープ(潜在的に丘部と谷部の反対側のスロープ)によって反射される。1対の対応するナイフエッジ構造860及び862は、光学系の前方入口に配置されて反射されたビーム820及び822をそれぞれ塞ぐ。或いは、光学系(レンズ)アセンブリ852の調節可能な(両矢870)アイリス872によって両ビームに対してナイフエッジを設けることができる。追加の(2以上の)照明器を使用して他の傾き角度で表面を照明でき、及び適当なナイフエッジ構造を採用できることに留意されたい。   FIG. 8 illustrates another embodiment of an arrangement 800 in which a pair of illumination assemblies 810 and 812 project respective beams of light 820 and 822 onto a specular surface 830 that includes a defect. Each beam 820, 822 is tilted at different orientations (respective angles 840 and 842) with respect to the optical system 852 of the vision system camera 850 and the optical axis of the sensor 854. Thus, light is reflected by different slopes (potentially slopes on opposite sides of hills and valleys). A pair of corresponding knife edge structures 860 and 862 are placed at the front entrance of the optical system to block the reflected beams 820 and 822, respectively. Alternatively, knife edges can be provided for both beams by an adjustable (double arrow 870) iris 872 of the optics (lens) assembly 852. Note that additional (two or more) illuminators can be used to illuminate the surface at other tilt angles and a suitable knife edge structure can be employed.
一般に、レンズアパーチャの調節は多様な方法で達成できる。レンズ本体に調整リングが設けられている場合、ユーザはそれを回転させながら、欠陥の適当な高コントラスト像が達成されるまで例示的なオブジェクトのディスプレイを観察することができる。このプロセスは、レンズ及び/又はカメラアセンブリが電気機械的に(又は他の方法で)駆動されるアイリスを含んでいる場合は自動的に実行できる。ビジョンシステムプロセッサを使用して、取得された画像内でどの設定が最も高いコントラスト差を与える欠陥を可能にするかを決定することによってアパーチャ設定を最適化できる。   In general, adjustment of the lens aperture can be accomplished in a variety of ways. If the lens body is provided with an adjustment ring, the user can rotate it and observe the display of the exemplary object until a suitable high contrast image of the defect is achieved. This process can be performed automatically if the lens and / or camera assembly includes an iris that is driven electromechanically (or otherwise). A vision system processor can be used to optimize aperture settings by determining which settings allow the defect that gives the highest contrast difference in the acquired image.
ここで図9及び図10を参照すると、(それぞれ)ビジョンシステムカメラ910及び2Dピクセル配列を有する光学系912を備えた例示的なビジョンシステム900及び1000を示している。これらのビジョンシステムは例示的な鏡面を有する静止オブジェクト920の2D画像を取得し、1個の照明器930(図9)又は複数(例えば2個)の照明器1030及び1032(図10)を含んでおり、各々軸外照明を提供して上述した鏡面オブジェクト920の上又は下にある丘欠陥特徴と谷欠陥特徴を照明できる。光学系912と関連付けられている開口アイリス又は他の構造は上述したナイフエッジ(一般的に部材KE2で表す)を提供する。照明器930、1030及び1032はそれぞれLED照明器(例示的な軸外LED940と光学系942によって示す)、ファイバーバンドル照明器又はその他の許容可能な前方照明器であってよい。慣用的設計のビームスプリッタ950、1050及び1052は各光軸960、1060と一致して置かれており、照明器はビームを軸960、1060に対して90度の角度で投影し、入射光線を2以上のビームに分割できるプレート、キューブ、プリズム又はその他のデバイスであることができ、同じ屈折力を有しても有しなくともよく、90度の角度で向けられても向けられなくともよい。このようにして軸外照明はイメージャの光軸と一致するようになる。このことはよりコンパクトな設計を可能にし、潜在的に照明器をカメラ光学系と統合することを可能にする。図9では1個の照明器930が使用されているのに対し、(例えば)互いに反対側から照明する2個の照明器1030、1032(図10)を使用して表面上の欠陥のより統一的な画像を生成する。ビームスプリッタはレンズなども含め種々の偏光フィルタ及び他の光調整コンポーネントを含み得ることに留意されたい。例えばカメラ光学系912と共同して偏光子P2を含んでいてもよい。照明器930、1030は光路内に対応する偏光子PI2を含むことができ、照明器1032はその光路内に対応する偏光子PI3を含む。偏光子は上述したように配置されて機能する(図5参照)。   9 and 10, exemplary vision systems 900 and 1000 with a vision system camera 910 and an optical system 912 having a 2D pixel array (respectively) are shown. These vision systems acquire 2D images of a stationary object 920 having an exemplary specular surface and include one illuminator 930 (FIG. 9) or multiple (eg, two) illuminators 1030 and 1032 (FIG. 10). Each can provide off-axis illumination to illuminate hill and valley defect features above or below the specular object 920 described above. An aperture iris or other structure associated with optical system 912 provides the knife edge described above (generally represented by member KE2). Illuminators 930, 1030, and 1032 may each be an LED illuminator (shown by exemplary off-axis LED 940 and optics 942), a fiber bundle illuminator, or other acceptable front illuminator. Conventionally designed beam splitters 950, 1050 and 1052 are placed in alignment with each optical axis 960, 1060, and the illuminator projects the beam at an angle of 90 degrees with respect to the axes 960, 1060 and emits incident light. It can be a plate, cube, prism or other device that can be split into two or more beams and may or may not have the same refractive power and may or may not be oriented at an angle of 90 degrees . In this way, off-axis illumination coincides with the optical axis of the imager. This allows for a more compact design and potentially allows the illuminator to be integrated with the camera optics. In FIG. 9, a single illuminator 930 is used, whereas using two illuminators 1030 and 1032 (FIG. 10) that illuminate from opposite sides (for example), more uniform defects on the surface. A typical image. It should be noted that the beam splitter may include various polarizing filters and other light conditioning components including lenses. For example, the polarizer P2 may be included in cooperation with the camera optical system 912. The illuminators 930, 1030 can include a corresponding polarizer PI2 in the optical path, and the illuminator 1032 includes a corresponding polarizer PI3 in the optical path. The polarizer is arranged and functions as described above (see FIG. 5).
IV.結果         IV. result
図11は、一実施形態によるビジョンシステムによって生み出されるディスプレイ画像1100の図式的な表現を示す。画像は複数の表面(又は表面下)欠陥1110、1120、1130、1140、1150及び1160が特定されたオブジェクト表面を表している。これらの例示的な欠陥はそれぞれ谷部(1110、1120、1130及び1140)又は丘部(1150及び1160)であり、丘部又は谷部のいすれが照明されるかによってそれらの明るい半分と暗い半分が異なる方向に向けられている。しかしながら各丘部と各谷部はサイズ/形状にかかわらず、照明の傾きの結果として共通の向きの明るい半分と暗い半分を示している。更にビジョンシステムプロセスは欠陥に関係する画像データを用いて、それらが潜在的に許容可能なサイズを表しているか決定できる。   FIG. 11 shows a schematic representation of a display image 1100 produced by a vision system according to one embodiment. The image represents the object surface where a plurality of surface (or subsurface) defects 1110, 1120, 1130, 1140, 1150 and 1160 are identified. These exemplary defects are valleys (1110, 1120, 1130, and 1140) or hills (1150 and 1160), respectively, and their bright halves and darks depend on whether the hills or valleys are illuminated. Half are directed in different directions. However, each hill and trough, regardless of size / shape, shows a bright half and a dark half in a common orientation as a result of the illumination tilt. Furthermore, the vision system process can use the image data related to the defects to determine if they represent a potentially acceptable size.
V.波状表面特徴の検出及び評価         V. Detection and evaluation of wavy surface features
上述したシステム及び方法を用いて、鏡面オブジェクト上の起伏する、波打つ若しくは波状の表面特徴の形式による欠点/欠陥を決定できる。例を挙げると、平坦なパネルスクリーンは丘部又はくぼみよりも、(ある程度連続的な)波打つ(波状の)特徴の区域を有することがある。一部の波形は受け入れ可能であるが、そのような特徴がリップルの面積又は大きさ(振幅)の点で過剰であれば許容閾値を超えてオブジェクトは欠陥があると見なされることが想定されている。   Using the systems and methods described above, defects / defects in the form of undulating, wavy or wavy surface features on specular objects can be determined. By way of example, a flat panel screen may have areas of undulating (waving) features (somewhat continuous) rather than hills or depressions. Some waveforms are acceptable, but it is assumed that if such features are excessive in terms of ripple area or magnitude (amplitude), the object is considered defective beyond the acceptable threshold. Yes.
図12は、鏡面の波形が決定及び評価される手順1200を示す。手順1200のステップ1210で、画像システムは一般的に上述したように軸外照明とナイフエッジ構造を用いて、場合によっては波状の鏡面オブジェクト表面の画像を取得する。この画像は同時に適当なレンズを用いて全オブジェクトについて取得でき、又はライン走査方式(以下に説明する)で取得できる。照明とナイフエッジの配置構成は表面に投影された光のほとんどを画像センサ光学系から、若しくはナイフエッジ構造内に反射させ、波又はリップルのスロープに基づいて反射光の一部は画像センサ内に向けられる。その結果としてより暗いフィールドによって囲まれた明るいリップル(例えばライン)が生じる。明るいラインとして現れる一連のそのようなリップルは、取得された画像内で定義される。   FIG. 12 shows a procedure 1200 in which the specular waveform is determined and evaluated. At step 1210 of the procedure 1200, the imaging system generally acquires an image of a possibly wavy specular object surface using off-axis illumination and a knife edge structure as described above. This image can be acquired for all objects at the same time using an appropriate lens, or it can be acquired in a line scanning manner (described below). The illumination and knife edge arrangement reflects most of the light projected onto the surface from the image sensor optics or into the knife edge structure, and some of the reflected light is reflected in the image sensor based on the wave or ripple slope. Directed. The result is a bright ripple (eg, a line) surrounded by a darker field. A series of such ripples appearing as bright lines is defined in the acquired image.
例示的な実施形態において、取得された画像データには種々の画像処理手順、例えばガウス平滑化プロセスを加えることができる。   In an exemplary embodiment, various image processing procedures, such as a Gaussian smoothing process, can be applied to the acquired image data.
手順1200のステップ1220で、取得された画像内のピクセルの全体画像明度マップに統計的解析を実施して、例えば画像内のピクセル(グレースケール)明度とピクセル頻度を対比したヒストグラムを作成できる。図13を参照すると、両平滑な表面特徴と波状表面特徴の両方を有する画像のヒストグラムが示されている。一般的に平滑区域は高い頻度の明度分布が密集していることを示している。逆に、波状区域は低い頻度で明度が広く拡散していることを示している(ヒストグラムのエリア1310及び1320)。それゆえ波状区域は図14の比較的広いヒストグラム1400によって表すことができるのに対し、平滑区域は比較的狭いヒストグラム1500によって表すことができる。これは取得された画像の平滑区域と波状区域を解析するための多種多様な統計的技術の1つであり、一般的にはあるピクセル明度値の発生の程度を用いることに留意されたい。   At step 1220 of the procedure 1200, a statistical analysis may be performed on the overall image brightness map of pixels in the acquired image to create a histogram that compares, for example, pixel (grayscale) brightness in the image and pixel frequency. Referring to FIG. 13, a histogram of an image having both smooth and wavy surface features is shown. In general, smooth areas show a high density of lightness distribution. Conversely, the wavy area shows that the lightness is widely diffused with low frequency (histogram areas 1310 and 1320). Thus, the wavy area can be represented by the relatively wide histogram 1400 of FIG. 14 while the smooth area can be represented by the relatively narrow histogram 1500. Note that this is one of a wide variety of statistical techniques for analyzing the smoothed and wavy areas of the acquired image, typically using the degree of occurrence of a certain pixel brightness value.
再び図12の手順1200を参照すると、例えばヒストグラムにおける明度値の分布が評価される(ステップ1230)。評価はヒストグラム解析を含むことができ、(例えば)ピクセル値のグレースケールレベル分布が計算されてヒストグラム尾部が生成される。手順1200は次いで(例えば)ヒストグラム尾部が平均値が許容可能な範囲内にあるか計算することによって波状欠陥又は他の欠陥が存在するか決定する(決定ステップ1250)。波形/欠陥が存在する(例えばヒストグラム尾部が平均値の範囲外にある)場合、手順1200はステップ1260に分岐する。例を挙げると、尾部が範囲外にある各ヒストグラムに対する画像に閾値を適用できる。この閾値はユーザが設定するか、又は自動的に決定できる。次いで閾値画像内のすべての欠陥のサイズと位置を測定する。何らかの欠陥(又は欠陥の集合)を測定した結果、所定のメトリック(ユーザが定義するか自動的に設定される)を超過していたら、手順1200はオブジェクト表面上の特定の欠陥及び/又はそのような欠陥の位置を指示する。手順は他のアクション、例えば部品拒否又はアラームの発生を取ることもできる(ステップ1270)。逆に、ヒストグラム尾部によって波形及び/又は欠陥が指示されない場合は、オブジェクトは許容可能と見なされ、一般的に実質的な欠陥はない。このことは指示され及び/又はアクションは取られない(ステップ1280)。   Referring again to procedure 1200 of FIG. 12, for example, the distribution of brightness values in the histogram is evaluated (step 1230). Evaluation can include histogram analysis, where (for example) a grayscale level distribution of pixel values is calculated to generate a histogram tail. Procedure 1200 then determines (for example) whether a wavy defect or other defect is present by calculating whether the histogram tail is within an acceptable range (decision step 1250). If a waveform / defect exists (eg, the histogram tail is outside the average range), the procedure 1200 branches to step 1260. For example, a threshold can be applied to an image for each histogram whose tail is out of range. This threshold is set by the user or can be determined automatically. The size and position of all defects in the threshold image are then measured. If the measurement of any defect (or set of defects) exceeds a predetermined metric (defined by the user or set automatically), then the procedure 1200 may identify a specific defect on the object surface and / or Indicate the location of the defect. The procedure can also take other actions, such as part rejection or alarm generation (step 1270). Conversely, if the waveform tail and / or defects are not indicated by the histogram tail, the object is considered acceptable and generally has no substantial defects. This is indicated and / or no action is taken (step 1280).
鏡面オブジェクト上の波状表面特徴を評価するための上述した手順(1200)は、ライン走査プロセスの方式で実行できる。図16及び図17はそれぞれ配置構成1600及び1700を示しており、例示的な波状表面特徴1720(図17)を有するオブジェクト1610は、画像センサLSの視野(ライン1630)にわたり既知の(例えばエンコーダを介して)運動(両矢M)に沿って向けられている。走査運動MOは、相反する方向のいずれか一方又は相反する方向の両方が該当することに留意されたい。画像センサLSはカメラLSC内にあり、ライン走査センサとして構成されており、1列のピクセルでオブジェクト表面から反射された画像を取得できるようにされている。カメラ視野1630の区域は、ハウジングLIH内のライン照明源LIによって提供される軸外照明によって照明される。この照明源(LI)は任意の許容可能な光構成、例えばLEDのラインであってよい。光は、所望の幅WIと不定の長さの照明区域(運動方向MOに対して横断方向のオブジェクト表面にわたる)を提供する慣用的な設計と形状の円筒レンズ1650によって集束される。例示的な実施形態において、照明ラインの幅WIは数ミリメートル以下であることができるが、走査の解像度に依存してこれより狭くても広くてもよいことに留意されたい。長さは光源LIと円筒レンズ1650の対応する長さによって決定される。円筒レンズは、包囲されたレンズホルダ1640によって照明源LIから離して配置されて、照明源LIとオブジェクトの表面1610との間で所望の焦点距離を提供する。例示的な実施形態において、円筒レンズ1650はレンズホルダ1640によって表面内のラインに焦点を合わせる距離に離された半円筒レンズとして定義され得る。図示されているように光の軸外投影は、放射された光1652(図17に図示された面又は扇として投影)の大部分を画像センサ光学系(例えばレンズアパーチャ)LA及び/又は何らかの外部ナイフエッジ構造の外側に反射させる(ライン1654)。傾斜した表面によって反射されて受光される光1656は、図示されているようにライン走査カメラLSCによって受光される。例示的な実施形態では、包囲されたレンズホルダ1670の端部に置かれた他の円筒レンズ1660が、受光した光をカメラ光学系(ナイフエッジ構造LA)及びライン走査センサLSに集束させる。当業者には図示された円筒レンズの他に多様なカメラ光学系配置構成が自明であろう。図16に示されているように、照明源LIの光路内に(光路に沿った様々な位置に)偏光子PI4を設けることができる。同様に、センサLSの受光された光路内に偏光子P3を設けることができる。これらの部材も設けられているが、見やすくするために図17の配置構成1700には図示されていない。   The procedure (1200) described above for evaluating wavy surface features on a specular object can be performed in a line scanning process manner. FIGS. 16 and 17 show arrangements 1600 and 1700, respectively, where an object 1610 having an exemplary wavy surface feature 1720 (FIG. 17) is known over the field of view (line 1630) of the image sensor LS (eg, an encoder). Through) the movement (both arrows M). It should be noted that the scanning motion MO applies to either one of the opposite directions or both directions. The image sensor LS is in the camera LSC and is configured as a line scanning sensor so that an image reflected from the surface of the object can be acquired by one column of pixels. The area of the camera field 1630 is illuminated by off-axis illumination provided by a line illumination source LI in the housing LIH. This illumination source (LI) may be any acceptable light configuration, for example a line of LEDs. The light is focused by a cylindrical lens 1650 of conventional design and shape that provides a desired width WI and an indefinite length illumination zone (over the object surface transverse to the direction of motion MO). It should be noted that in the exemplary embodiment, the width WI of the illumination line can be several millimeters or less, but can be narrower or wider depending on the resolution of the scan. The length is determined by the corresponding length of the light source LI and the cylindrical lens 1650. The cylindrical lens is placed away from the illumination source LI by an enclosed lens holder 1640 to provide the desired focal length between the illumination source LI and the surface 1610 of the object. In the exemplary embodiment, cylindrical lens 1650 may be defined as a semi-cylindrical lens separated by a lens holder 1640 at a distance that focuses on a line in the surface. As shown, the off-axis projection of the light is a large fraction of the emitted light 1652 (projected as a surface or fan illustrated in FIG. 17) image sensor optics (eg, lens aperture) LA and / or some external Reflect outside the knife edge structure (line 1654). Light 1656 reflected and received by the inclined surface is received by the line scanning camera LSC as shown. In the exemplary embodiment, another cylindrical lens 1660 placed at the end of the enclosed lens holder 1670 focuses the received light onto the camera optics (knife edge structure LA) and the line scan sensor LS. Various camera optical system arrangements will be apparent to those skilled in the art in addition to the illustrated cylindrical lens. As shown in FIG. 16, a polarizer PI4 can be provided in the optical path of the illumination source LI (at various positions along the optical path). Similarly, a polarizer P3 can be provided in the optical path received by the sensor LS. These members are also provided, but are not shown in the arrangement 1700 of FIG. 17 for ease of viewing.
円筒レンズ形状が用いられているが、代替配置構成において多様な横断面形状、例えば放物面を採用できることに留意されたい。同様に、照明光を集束させるために、レンズの代わりに又はレンズに加えて鏡を使用できる。有利には、照明配置構成は全表面が一貫して高い明度を達成し、走査された各ラインが表面の局所的スロープを完全に表現することを保証する。この配置構成も有利には、任意のサイズ表面が撮像されてくぼみ、丘部及び波形について解析されることが可能にする。例えばタブレット若しくはラップトップのスクリーン、又は大型の薄型フラットパネルテレビは、十分長いライン照明アセンブリとオブジェクト表面にわたる1以上のライン走査カメラを設けることによって解析できる。各カメラは全体オブジェクトの部分を撮像して表面の別個の評価又はつなぎ合わせた評価を提供できる。   Note that although cylindrical lens shapes are used, various cross-sectional shapes, such as paraboloids, can be employed in alternative arrangements. Similarly, a mirror can be used instead of or in addition to the lens to focus the illumination light. Advantageously, the illumination arrangement ensures that the entire surface consistently achieves high brightness and that each scanned line fully represents the local slope of the surface. This arrangement also advantageously allows any size surface to be imaged and analyzed for indentations, hills and waveforms. For example, a tablet or laptop screen, or a large thin flat panel television can be analyzed by providing a sufficiently long line lighting assembly and one or more line scanning cameras across the object surface. Each camera can image a portion of the entire object and provide a separate or stitched evaluation of the surface.
オブジェクトの大きいエリアは、例えばフレネルレンズ又は他の光学的配置構成と共同して照明器を用いる代替実施形態において撮像できることが明確に想定されていることにも留意された。   It was also noted that it is clearly envisioned that a large area of the object can be imaged in an alternative embodiment using an illuminator in conjunction with, for example, a Fresnel lens or other optical arrangement.
VI.ライン、ディスク及び環状光学系マスク         VI. Line, disc and ring optics mask
図18は、一般化されたビジョンシステム配置構成1800の例示的な実施形態の模式図を示しており、画像センサ1820と光学系アセンブリ1830を備えたビジョンシステムカメラアセンブリ1810を含んでいる。センサ1820は(図示されているように)一般的に上述した方法でビジョンシステムプロセス(プロセッサ)と相互接続されており、センサ1820によって取得された画像で適当なビジョンシステムタスクを実行する。光学系アセンブリ1830は任意の許容可能な可変又は固定焦点及び/又は可変又は固定アパーチャレンズユニット、又はレンズユニットの組み合わせ、例えば慣用的なM12ベース、Fマウント又はCマウントレンズであってよい。   FIG. 18 shows a schematic diagram of an exemplary embodiment of a generalized vision system arrangement 1800 including a vision system camera assembly 1810 with an image sensor 1820 and an optics assembly 1830. Sensor 1820 is interconnected with a vision system process (processor) in a manner generally described above (as shown) to perform the appropriate vision system tasks on the images acquired by sensor 1820. The optics assembly 1830 may be any acceptable variable or fixed focus and / or variable or fixed aperture lens unit, or a combination of lens units, such as a conventional M12 base, F mount or C mount lens.
例示的な実施形態によれば、光学系/レンズアセンブリ1830の前面1832を固定又は可動マスクアセンブリ1840でカバーすることができる。マスクアセンブリ1840はねじ式若しくはスナップ式であってよく、又はレンズアセンブリ1830の前にブラケット(図示せず)を介して組み付けることができる。マスクアセンブリ1840は粘着アップリケ又はコーティングとしてレンズアセンブリの前面(又は他の面)に直接付けることもできる。ねじ式アタッチメントの場合、マスクアセンブリ1840は種々のレンズ構成と併せて使用するために他の慣用的フィルタと同様に作動でき、慣用的なレンズフィルタマウントに装着するように適合できる。   According to an exemplary embodiment, the front surface 1832 of the optics / lens assembly 1830 can be covered with a fixed or movable mask assembly 1840. Mask assembly 1840 may be screwed or snapped, or may be assembled via a bracket (not shown) in front of lens assembly 1830. The mask assembly 1840 can also be applied directly to the front surface (or other surface) of the lens assembly as an adhesive applique or coating. In the case of a threaded attachment, the mask assembly 1840 can operate like other conventional filters for use with various lens configurations and can be adapted to attach to a conventional lens filter mount.
随意に、マスクアセンブリ1840は.所望に応じて手動又は自動で(例えばソレノイド、サーボ、ステッパなどを介して)レンズの光路内又は光路外に設けることができる。マスクアセンブリは(例えば)電気光学機構であってもよく、随意の制御回路1850を介して所望のサイズと形状の完全に透明なパターンと部分的に不透明なパターンとの間で変化できる。非制限的な例として、マスクアセンブリ1840は窓(典型的に円形)を有することができ、これはLCDシャッタ、又は他の形式の設定可能な窓を含む。   Optionally, mask assembly 1840 includes: It can be provided manually or automatically (eg, via a solenoid, servo, stepper, etc.) in or out of the optical path of the lens as desired. The mask assembly may be an electro-optic mechanism (for example) and can be varied between a fully transparent pattern and a partially opaque pattern of desired size and shape via an optional control circuit 1850. As a non-limiting example, the mask assembly 1840 can have a window (typically circular), which includes an LCD shutter, or other type of configurable window.
配置構成1800は、上述した照明器1860を含んでおり、これは光を表面1870の全体面に対して直角ではない角度(図示されている)で投影するように向けられている。この例では、表面1870は少なくとも1つの方向に沿った一連の丘部1872とその間に介在する凹み部1874からなる波形をなしている。斜めの光が丘部と凹み部に当たって散乱し、その光の一部がカメラ光学系アセンブリ1830に進入する。マスクアセンブリ1840はその種々の形式でナイフエッジ部材として規定され、散乱光の多くを減衰して所定の制限された角度範囲の光だけをセンサ1820に向ける。この実施形態ではマスクカバー/コーティングは破線1880で表されており、これは中央のカバーされた区域1882と外側のカバーされた区域1884を含み、中央のカバーされた区域1882と外側のカバーされた区域1884の間には、表面1870から反射した光線1890が通過する開いたアパーチャがある。種々の実施形態で、偏光子PI5は照明器1860と共同して設けられており、対応する偏光子P4は光学系/レンズアセンブリと共同して設けることができる。偏光子は上述したように配置されて機能することができる(例えば図5参照)。   Arrangement 1800 includes an illuminator 1860 as described above, which is directed to project light at an angle (not shown) that is not perpendicular to the entire surface 1870. In this example, the surface 1870 is corrugated comprising a series of hills 1872 along at least one direction and a recess 1874 interposed therebetween. The oblique light hits the hill and the recess and is scattered, and a part of the light enters the camera optical system assembly 1830. Mask assembly 1840 is defined as a knife edge member in its various forms and attenuates much of the scattered light to direct only light in a predetermined limited angular range to sensor 1820. In this embodiment, the mask cover / coating is represented by dashed line 1880, which includes a central covered area 1882 and an outer covered area 1884, with the central covered area 1882 and the outer covered area. Between areas 1884 is an open aperture through which light rays 1890 reflected from surface 1870 pass. In various embodiments, the polarizer PI5 is provided in conjunction with the illuminator 1860, and the corresponding polarizer P4 can be provided in conjunction with the optics / lens assembly. The polarizer can be arranged and function as described above (see, for example, FIG. 5).
図19は、例示的な実施形態によるビジョンシステム配置構成1900のより詳細な例を示す。この実施形態は、上で図9に示され説明されたのと同様のビームスプリッタと偏光子構成を含んでいる。具体的には、配置構成1900はカメラアセンブリ1910とレンズ/光学系1920を含む。レンズ/光学系1920は、本明細書の実施形態によるマスクアセンブリ1930を含む。マスクアセンブリ1940の前には偏光子P5があり、上述した原理に従って作動する。ビームスプリッタ1950が設けられており、これを通して検査中のオブジェクト1960から反射した光はカメラ1910に伝達される。照明アセンブリ1970が設けられている。照明アセンブリ1970は照明源1972と集光レンズ1974を含む。偏光子PI6は集光レンズの前に置かれている。偏光子P5はその表面上にマスクパターンを含むことができ、アセンブリはレンズ1920の前面にねじ式又はスナップ式アタッチメントとして設けることができるることに留意されたい。   FIG. 19 shows a more detailed example of a vision system arrangement 1900 according to an exemplary embodiment. This embodiment includes a beam splitter and polarizer configuration similar to that shown and described above in FIG. Specifically, the arrangement 1900 includes a camera assembly 1910 and a lens / optical system 1920. The lens / optical system 1920 includes a mask assembly 1930 according to embodiments herein. In front of the mask assembly 1940 is a polarizer P5, which operates according to the principles described above. A beam splitter 1950 is provided through which light reflected from the object 1960 under inspection is transmitted to the camera 1910. A lighting assembly 1970 is provided. The illumination assembly 1970 includes an illumination source 1972 and a condenser lens 1974. The polarizer PI6 is placed in front of the condenser lens. Note that the polarizer P5 can include a mask pattern on its surface, and the assembly can be provided as a screw-type or snap-on attachment to the front surface of the lens 1920.
例示的な実施形態による他のビジョンシステム配置構成2000。配置構成2000は、カメラアセンブリ2010とレンズ/光学系2020を含む。レンズ/光学系2020は本明細書の実施形態によるマスクアセンブリ2030を含む。マスクのアセンブリ2040の前には上述した原理に従って作動する偏光子P6が設けられている。ビームスプリッタ2050が設けられており、これを通して検査中のオブジェクト2060から反射した光はカメラ2010に伝達される。この実施形態では、集光レンズ2070はビームスプリッタ2050とオブジェクト2060の間に置かれている。集光器は照明アセンブリ2080と共同して作動し、照明アセンブリ2080は照明源2082、集束レンズ2084及び偏光子PI7を含む。集束レンズ2084、集光レンズ2070及びその他の光学的コンポーネントは、当業者には自明な既知の光学系原理に従って寸法設計及び配置できることに留意されたい。   Another vision system arrangement 2000 according to an exemplary embodiment. The arrangement 2000 includes a camera assembly 2010 and a lens / optical system 2020. The lens / optical system 2020 includes a mask assembly 2030 according to embodiments herein. In front of the mask assembly 2040 is a polarizer P6 which operates according to the principles described above. A beam splitter 2050 is provided through which light reflected from the object 2060 under inspection is transmitted to the camera 2010. In this embodiment, the condenser lens 2070 is placed between the beam splitter 2050 and the object 2060. The concentrator operates in conjunction with the illumination assembly 2080, which includes an illumination source 2082, a focusing lens 2084, and a polarizer PI7. It should be noted that the focusing lens 2084, the condenser lens 2070, and other optical components can be dimensioned and arranged according to known optical principles that will be apparent to those skilled in the art.
上述した種々のマスクアセンブリの中央カバー区域と外側カバー区域は、多様な幾何学的形状、サイズ及び関係であってよい。適当なマスクの選定は経験に基づいて行うか、又は検査中の所定の表面に対して最良画像を得るための試行錯誤によって行うことができる。これは種々のタイプの/サイズのマスクパターンを提示する図21−図27に更に詳細に示されている。   The central cover area and the outer cover area of the various mask assemblies described above can be a variety of geometric shapes, sizes and relationships. Selection of an appropriate mask can be based on experience or by trial and error to obtain the best image for a given surface under inspection. This is illustrated in more detail in FIGS. 21-27, which present various types / sizes of mask patterns.
図21を参照して、ナイフエッジ部材を生成するマスク2100の一形式は、透明な線状アパーチャ2120内で中心に位置する中央の不透明なライン2110を規定する。透明なアパーチャ2120を囲んでいるマスクの残りの外側エリア2130は不透明である。ライン2110、2120は一般に表面の特徴的な波形の延長方向(ある場合)に対して平行に向けられており、この形式のマスクはそのような条件では最も効果的である。より一般的に、延長の方向は所望の表面特徴を強化又は抑制するために(例えばマスクを回転させて)選ばれる。配置構成の機能をよりよく理解するために非制限的な例を挙げると、アパーチャWLAの幅は可変であり、例えば直径D0が50〜55ミリメートルのレンズに対して5〜10ミリメートルであり、中央の不透明なラインWLは1〜5ミリメートルである。一般に、ラインの幅WLは照明から集束されたスポットの幅に一致するように寸法設計される。以下のマスク構成(図22−図27)は類似のレンズ直径D0を前提としていることに留意されたい。全体寸法はレンズの直径の大小に比例して変化し得る。   Referring to FIG. 21, one type of mask 2100 that produces knife edge members defines a central opaque line 2110 that is centrally located within a transparent linear aperture 2120. The remaining outer area 2130 of the mask surrounding the transparent aperture 2120 is opaque. Lines 2110, 2120 are generally oriented parallel to the characteristic corrugated extension direction (if any) of the surface, and this type of mask is most effective in such conditions. More generally, the direction of extension is chosen (eg, by rotating the mask) to enhance or suppress the desired surface features. To better understand the function of the arrangement, to give a non-limiting example, the width of the aperture WLA is variable, for example 5-10 mm for a lens with a diameter D0 of 50-55 mm, The opaque line WL is 1 to 5 millimeters. In general, the line width WL is dimensioned to match the width of the spot focused from the illumination. Note that the following mask configurations (FIGS. 22-27) assume a similar lens diameter D0. The overall dimensions can vary in proportion to the size of the lens diameter.
図22は、直径DD(5〜10ミリメートル)の中央の不透明な円形(隠蔽)ディスク2210からなるマスク2200を示す。このディスクは配置構成に所望のナイフエッジ部材を提供する。一般に、ディスクのサイズは強化又は抑制すべき表面特徴(例えば欠陥)のサイズに一致するように選ばれる。この例示的なマスク配置構成2200はレンズの縁(破線の円2230)に外側の不透明な区域がなく透明であることに留意されたい。この基本的なナイフエッジ部材は、表面上の種々の方向に向いてよい丘部と凹み部から所定の角度範囲内で光を受光できるようにする。   FIG. 22 shows a mask 2200 consisting of a central opaque circular (hidden) disk 2210 of diameter DD (5-10 millimeters). This disc provides the desired knife edge member for the arrangement. In general, the size of the disc is chosen to match the size of the surface features (eg, defects) to be enhanced or suppressed. Note that this exemplary mask arrangement 2200 is transparent with no outer opaque area at the lens edge (dashed circle 2230). This basic knife edge member allows light to be received within a predetermined angular range from hills and depressions that may be oriented in various directions on the surface.
図23は、直径DD1(約9ミリメートル)を有する中央の不透明な(隠蔽)ディスク2310と、内径DA(約14ミリメートル)を有する外側の不透明な環状区域2330を規定するマスク2300を示す。ディスク径DD1と外側区域2330との差から透明な環状窓2320が生まれ、表面から反射された光はこれを通過できる。特に、中央の隠蔽形ディスクの直径はナイフエッジ部材の方式で光の減衰度を規定し、外側の環状区域の直径は解像力を増すために光学系の共焦点効果を規定する。   FIG. 23 shows a mask 2300 defining a central opaque (hiding) disk 2310 having a diameter DD1 (about 9 millimeters) and an outer opaque annular area 2330 having an inner diameter DA (about 14 millimeters). The difference between the disc diameter DD1 and the outer area 2330 creates a transparent annular window 2320 through which light reflected from the surface can pass. In particular, the diameter of the central concealed disk defines the attenuation of light in the manner of a knife edge member, and the diameter of the outer annular area defines the confocal effect of the optical system to increase the resolution.
中央の隠蔽ディスクと外側の環状区域を有し、それらの間に環状アパーチャを規定するマスクの構成2400、2500、2600及び2700の更に別の例が、それぞれ図24、図25、図26及び図27に示されている。非制限的な例として、マスクの2400のディスク径DD2は約5〜6ミリメートル、外側環状区域の内径DA1は約8〜9ミリメートルである。マスク2500のディスク径DD3は約3〜4ミリメートル、外側環状区域の内径DA2は約5〜6ミリメートルである。マスク2600のディスク径DD4は約3〜4ミリメートル、外側環状区域の内径DA3は約8〜9ミリメートルである。加えて、マスク2700のディスク径DD5は約5−6ミリメートル、外側環状区域の内径DA4は約10−12ミリメートルである。これらの寸法は広範に可能な寸法の例にすぎず、検査角度の下に置かれた表面の個々の特徴や、ビジョンシステム配置構成における照明の明度及び/又は波長に応じて調整できる。   Further examples of mask arrangements 2400, 2500, 2600 and 2700 having a central concealment disk and an outer annular area and defining an annular aperture therebetween are shown in FIGS. 24, 25, 26 and 2, respectively. 27. As a non-limiting example, the disk 2400 disk diameter DD2 of the mask is about 5-6 millimeters and the inner diameter DA1 of the outer annular section is about 8-9 millimeters. The mask 2500 has a disk diameter DD3 of about 3-4 millimeters and an outer annular section inner diameter DA2 of about 5-6 millimeters. The mask 2600 has a disk diameter DD4 of about 3-4 millimeters, and an outer annular section inner diameter DA3 of about 8-9 millimeters. In addition, the disk diameter DD5 of the mask 2700 is about 5-6 millimeters and the inner diameter DA4 of the outer annular section is about 10-12 millimeters. These dimensions are merely examples of the widest possible dimensions and can be adjusted depending on the individual characteristics of the surface placed under the inspection angle and the brightness and / or wavelength of the illumination in the vision system arrangement.
一般的に上述したように、マスクは多様な技術(例えばスクリーンプリント、フォトリソグラフィ、パターンを印刷又は成形した透明な塗膜の塗布など)を用いて適当なパターンを有するコーティングを施すことによってフィルタ状のガラス表面に構成できる。固定したマスクパターンをカメラの光学系に塗布するために、多様な技術を使用できることは当業者には自明であろう。同様にやはり上述したように、マスクは、例えばピクセルで表された表面を含む能動部品であることができる。マスクパターンの所望の形状とサイズを生成するために、ビジョンシステムプロセッサと別個であるか、又はその一部であるコントローラが能動マスクの個々のピクセルをアドレス指定する。特に、コントローラは、ユーザ又は自動化されたビジョンシステムプロセスが(例えばコントラストに基づいて)最良のパターン設定を決定するまで、種々の構成を通過するように適合できる。パターンは形状が図21−図27に示した形状と類似しているか、又はユニークな表面特徴及び/又は波形パターンと一致するより複雑な形状を有することができる。   In general, as described above, the mask is formed into a filter by applying a coating having an appropriate pattern using various techniques (for example, screen printing, photolithography, application of a transparent coating on which a pattern is printed or formed). The glass surface can be configured. Those skilled in the art will appreciate that a variety of techniques can be used to apply the fixed mask pattern to the camera optics. Also as described above, the mask can be an active component that includes a surface, eg, represented by pixels. To generate the desired shape and size of the mask pattern, a controller that is separate from or part of the vision system processor addresses the individual pixels of the active mask. In particular, the controller can be adapted to go through various configurations until a user or automated vision system process determines the best pattern settings (eg, based on contrast). The pattern can have a more complex shape that is similar in shape to that shown in FIGS. 21-27 or that matches a unique surface feature and / or corrugated pattern.
ある実施形態において、1以上のビジョンシステムプロセッサと相互接続された複数のカメラを使用できることに留意されたい。各カメラは、異なるサイズ及び/又は構成のマスク(例えば異なるサイズの隠蔽ディスク)を用いて類似の角度又は異なる角度からオブジェクト表面の画像を取得でき、表面の複数の画像を解析でき、異なるサイズ、形状及び/又は向きの波形特徴が適当に撮像されることを確保できる。同様に、マスクが可変である(光学系の前面に異なるマスクを置くか、又はマスクのパターンを変化させる)場合も、複数の画像を取得して解析できる。   Note that in some embodiments, multiple cameras interconnected with one or more vision system processors can be used. Each camera can acquire images of the object surface from similar or different angles using different sized and / or configured masks (eg, different sized concealment disks), can analyze multiple images of the surface, It can be ensured that waveform features of shape and / or orientation are properly imaged. Similarly, when the mask is variable (a different mask is placed on the front surface of the optical system or the mask pattern is changed), a plurality of images can be acquired and analyzed.
図28の画像2800を参照して、ハンドヘルデバイスの慣用的タッチスクリーンが、上述した実施形態によるマスクを用いて撮像されて示されている。この画像では表面の波形を明確に識別できるが、裸眼若しくはより慣用的なにはビジョンシステム配置構成には比較的平坦な特徴ない表面に見える。図29では、画像2900は更に一般には見えない、この例ではタッチスクリーンのセンサマトリックス/配列2910の詳細を示している。更に、本文書に記載したマスクと撮像技術を用いて達成できる詳細度が、図30の画像の例で示されており、図29の配列2910の個々のワイヤ3010がタッチスクリーンの区域の近接撮影で明瞭に識別できる。   Referring to image 2800 of FIG. 28, a conventional touch screen of a handheld device is shown imaged using a mask according to the embodiments described above. Although this image can clearly identify the waveform of the surface, it appears as a relatively flat featureless surface to the naked eye or, more commonly, to a vision system arrangement. In FIG. 29, the image 2900 is not more generally visible, and in this example details of the touchscreen sensor matrix / array 2910 are shown. Further, the level of detail that can be achieved using the mask and imaging techniques described in this document is shown in the example image of FIG. 30, where the individual wires 3010 of the array 2910 of FIG. Can be clearly identified.
VII.結論         VII. Conclusion
上述したシステム及び方法が、多様な多層及び単層鏡面上の丘欠陥と谷欠陥及びリップル/波形欠陥を含むスロープ欠陥を特定するための効果的な技術を提供することは明らかであろう。適当な波長の照明光とフィルタ(例えば種々の偏光子)を適用することによって、システム及び方法は種々のコーティングや層を有する表面を効果的に画像できる。望ましく、例示的なナイフエッジ構成は欠陥のスロープ(一次導関数)を識別して、丘部又は谷部から反射する光を、欠陥のどちら側にあるかによって背景よりも明るく又は暗く見せることができる。欠陥のサイズは潜在的に欠陥のスロープに比例的に連動している。小さい欠陥は小さいスロープを有し、それは照明光線を背景からわずかな量しか偏向させないであろう。光源の空間的な広がりが小さければ検査中の表面から反射した後に小さい焦点にもたらすことが可能となり、欠陥光を遮断することなく背景を遮断することが容易になる。しかしながら光源を大きくすれば、生産環境で生じる可能性のある表面傾斜ランダム試験のネガティブな影響は減少するが、欠陥コントラストが低下するという犠牲を伴う。従ってナイフエッジは背景光線を遮断することにより望ましくコントラストを強める。加えて、例示的にスロープと形状と偏光検出の組み合わせを使用することにより、背景光のほとんどは反射されてカメラのアパーチャから除去されるが、傾斜した欠陥からの光はカメラ内に高コントラストで集束される。更に例示的な配置構成により、一般にライン走査カメラと集束した照明ラインを用いて鏡面のサイズを広範に変化させることが可能になる。本文書に記載した実施形態は、特定の表面波形の極めて微細な表示を可能にするナイフエッジ部材及び他の部材(例えば共焦点部材)を含むマスクも提供する。   It will be apparent that the systems and methods described above provide an effective technique for identifying slope defects, including hill and valley defects and ripple / waveform defects on a variety of multilayer and single-layer mirrors. By applying appropriate wavelengths of illumination light and filters (eg, various polarizers), the system and method can effectively image surfaces with various coatings and layers. Desirably, the exemplary knife edge configuration identifies the slope of the defect (first derivative) and makes the light reflected from the hills or valleys appear brighter or darker than the background depending on which side of the defect it is. it can. The size of the defect is potentially proportional to the slope of the defect. A small defect will have a small slope, which will deflect a small amount of illumination light from the background. If the spatial extent of the light source is small, it is possible to bring it to a small focal point after reflection from the surface being inspected, and it becomes easy to block the background without blocking defect light. However, increasing the light source reduces the negative effects of surface tilt random testing that may occur in the production environment, but at the cost of reduced defect contrast. Thus, the knife edge desirably enhances contrast by blocking background light. In addition, by using an exemplary combination of slope, shape and polarization detection, most of the background light is reflected and removed from the camera aperture, while light from tilted defects is in high contrast in the camera. Focused. Furthermore, the exemplary arrangement allows the size of the mirror surface to be widely varied, typically using a line scan camera and a focused illumination line. The embodiments described herein also provide a mask that includes a knife edge member and other members (e.g., confocal members) that allow for very fine display of a particular surface waveform.
以上、本発明の例示的な実施形態を詳細に説明した。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するのに適する限り、別の記載された実施形態の特徴と組み合わされてよい。更に、上に本発明の装置と方法の多数の別個の実施形態を記したが、ここに記載されたものは本発明の原理の応用を例示したものに過ぎない。例えば本明細書中で使用される「プロセス」及び/又は「プロセッサ」という言葉は広く電子ハードウェア及び/又はソフトウェアをベースとする多様な機能及びコンポーネントント(或いは機能的「モジュール」又は「エレメント」と呼ぶことがある)を含むものと解釈されるべきである。更に、図示されたプロセス又はプロセッサは他のプロセス及び/又はプロセッサと組み合わせ、又は種々のサブプロセス又はサブプロセッサに分割されてよい。そのようなサブプロセス及び/又はサブプロセッサは、本明細書に記載された実施形態に従って多様に組み合わせることができる。同様に、本明細書中の何らかの機能、プロセス及び/又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組合せを用いて実施できることが明確に想定されている。更に、本明細書で使用される様々な方向及び/又は向きを表す用語、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」及びこれに類するものは、相対的な表現法として用いられているに過ぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表すものではない。加えて、与えられた測定、値又は特徴に関して「実質的に」又は「近似的に」という言葉が用いられている場合、それは所期の結果を達成するための通常の操作範囲内にある量を指しているが、システムに許容された誤差の範囲内の固有の不正確さや誤りに起因するある程度のばらつきを含む(例えば1−5パーセント)。従ってこの説明は例示の方法によるものであり、本発明の範囲を別途制限することを意味するものではない。   The exemplary embodiments of the present invention have been described in detail above. Various modifications and additions can be made without departing from the spirit and scope of the invention. The features of each of the various embodiments described above may be combined with the features of other described embodiments as long as they are suitable to provide a combination of multiple features in the related new embodiment. Furthermore, while a number of separate embodiments of the apparatus and method of the present invention have been described above, what has been described is merely illustrative of the application of the principles of the present invention. For example, as used herein, the term “process” and / or “processor” refers to a wide variety of functions and components based on electronic hardware and / or software (or functional “modules” or “elements”). Should be construed as including). Further, the illustrated process or processor may be combined with other processes and / or processors or divided into various sub-processes or sub-processors. Such sub-processes and / or sub-processors can be variously combined according to the embodiments described herein. Similarly, any functions, processes, and / or processors herein may be implemented using electronic hardware, software, or a combination of hardware and software comprising non-transitory computer readable media of program instructions. Assumed. Further, terms used in the present specification to represent various directions and / or orientations, such as “vertical”, “horizontal”, “top”, “bottom”, “bottom”, “top”, “side” , "Front", "Rear", "Left", "Right" and the like are only used as relative expressions and are based on a fixed coordinate system such as the direction of gravity action. Does not represent an absolute orientation. In addition, when the term “substantially” or “approximately” is used with respect to a given measurement, value or characteristic, it is an amount that is within the normal operating range to achieve the desired result. , But includes some variation due to inherent inaccuracies and errors within the tolerance of the system (eg, 1-5 percent). Accordingly, this description is by way of example only and is not meant to otherwise limit the scope of the present invention.
以下に特許請求の範囲を記載する。

The claims are described below.

Claims (26)

  1. 画像センサと光学系を有し、光軸を定義し、表面を撮像するように向けられている、ビジョンシステムカメラと、
    構造化光線を、前記光軸に対して非平行な所定の角度で前記表面に投影する照明器アセンブリと、
    前記光学系の最大視野の一部を可変に塞ぐ前記光学系と関連付けられたナイフエッジ部材とを有し、
    前記ナイフエッジ部材と上記の所定の角度はそれぞれ、前記光学系を通して前記画像センサに反射される光が実質的に表面上の特徴の傾斜した丘部と谷部から伝達されて、傾斜した丘部と谷部を包囲する区域からの反射光は前記ナイフエッジ部材によって塞がれるように設定されている、
    オブジェクトの鏡面上の欠陥を撮像するためのシステム。
    A vision system camera, having an image sensor and an optical system, defining an optical axis and oriented to image a surface;
    An illuminator assembly that projects structured light onto the surface at a predetermined angle non-parallel to the optical axis;
    A knife edge member associated with the optical system that variably blocks a portion of the maximum field of view of the optical system;
    Wherein each knife edge member and the predetermined angle described above, the light reflected to the image sensor is transferred from the inclined lands feature on substantially the surface valleys through the optical system, the inclined lands The reflected light from the area surrounding the valley is set to be blocked by the knife edge member ,
    A system for imaging defects on an object's specular surface.
  2. 前記ナイフエッジ部材は前記光学系内の可変アパーチャを含む、請求項1に記載のシステム。 The knife edge member comprises a variable aperture in the optical system, the system according to claim 1.
  3. 上記の所定の角度は前記丘部と谷部の傾斜と関連付けられている、請求項1に記載のシスム。   The system of claim 1, wherein the predetermined angle is associated with an inclination of the hill and valley.
  4. 前記画像センサは2Dセンサであり、前記オブジェクトはカメラに対して静止している、請求項1に記載のシステム。 Wherein the image sensor is a 2D sensor, the object is stationary relative to the camera system of claim 1.
  5. 前記画像センサはライン走査カメラ構成と定義され、前記オブジェクトはカメラに対して動いている、請求項1に記載のシステム。 Wherein the image sensor is defined as a line scan camera arrangement, the object is moving relative to the camera system of claim 1.
  6. 前記照明器アセンブリは照明のラインを表面に投影する、請求項5に記載のシステム。 The system of claim 5, wherein the illuminator assembly projects a line of illumination onto a surface.
  7. 前記照明は実質的に赤外光又は近赤外光の波長レンジと定義される、請求項6に記載のシステム。 The system of claim 6, wherein the illumination is defined as a wavelength range of substantially infrared light or near infrared light.
  8. 前記オブジェクトは反射防止コーティングを含む層と定義される、請求項7に記載のシステム。 The system of claim 7, wherein the object is defined as a layer comprising an anti-reflective coating.
  9. 前記層は偏光層を含み、前記照明は偏光され、照明器の光学系は偏光フィルタを含む、請求項8に記載のシステム。 It said layers comprising a polarizing layer, the illumination is polarized illuminator optical system includes a polarizing filter system of claim 8,.
  10. 前記オブジェクトはAMOLEDディスプレイであり、前記偏光層は1/4λリターダであり、前記偏光フィルタは交差偏光フィルタと定義される、請求項9に記載のシステム。 The object is AMOLED display, the polarizing layer is 1 / 4.lamda retarder, the polarization filter is defined as cross polarized filters, according to claim 9 system.
  11. 照明器は偏光照明のための偏光子を含み、照明器の光学系は偏光フィルタを含む、請求項6に記載のシステム。 The system of claim 6, wherein the illuminator includes a polarizer for polarized illumination, and the illuminator optics includes a polarizing filter.
  12. 照明源は前記ナイフエッジ部材の近傍のポイントに向かって収束する集光ビームと定義される、請求項1に記載のシステム。 The system of claim 1, wherein the illumination source is defined as a focused beam that converges toward a point in the vicinity of the knife edge member .
  13. 前記ナイフエッジ部材前記光学系の前方の光路上に位置決めされた外部構造と定義される、請求項1に記載のシステム。 The knife edge member is defined as an external structure that is positioned in front of the optical path of the optical system, according to claim 1 system.
  14. 前記照明器アセンブリはビジョンシステムカメラの光軸上にあるビームスプリッタを通して光を投影し、前記照明器アセンブリからの軸外照明はビームスプリッタにより光軸と一致する前記オブジェクト表面に向けて投影される、請求項1に記載のシステム。 The illuminator assembly projects a light through a beam splitter located on the optical axis of the vision system camera, axis illumination from the illuminator assembly is projected toward the object surface which is coincident with the optical axis by the beam splitter, The system of claim 1.
  15. 前記照明器アセンブリは複数の照明源と定義され、各々光をそれぞれのビームスプリッタ内に投影し、各ビームスプリッタはビジョンシステムカメラの光軸上にあって、各照明源から出る軸外照明はビームスプリッタによりそれぞれ光軸と一致する前記オブジェクト表面に向けて投影される、請求項1に記載のシステム。 The illuminator assembly is defined as a plurality of illumination sources, each projecting light into a respective beam splitter, each beam splitter being on the optical axis of the vision system camera, and off-axis illumination coming from each illumination source is a beam is projected toward the object surface, respectively aligned with the optical axis by the splitter system according to claim 1.
  16. 撮像レンズはラインを撮像するレンズと定義され、前記照明器アセンブリは表面に投影し、次いで反射後に撮像レンズの入射アパーチャに入らないラインに焦点を合わせる、請求項5に記載のシステム。 6. The system of claim 5, wherein an imaging lens is defined as a lens that images a line, and the illuminator assembly projects onto a surface and then focuses on a line that does not enter the imaging lens's incident aperture after reflection.
  17. 前記照明器アセンブリはラインに焦点を合わせるための円筒レンズを含む、請求項16に記載のシステム。 The system of claim 16, wherein the illuminator assembly includes a cylindrical lens for focusing on a line.
  18. 特徴は表面の区域における波形と定義され、更に前記画像センサによって取得された画像内のピクセル明度値の分布を決定して分布を閾値値と比較する解析及び評価プロセスを含む、請求項1に記載のシステム。 The feature is defined as a waveform in a region of a surface, and further comprises an analysis and evaluation process that determines a distribution of pixel brightness values in an image acquired by the image sensor and compares the distribution to a threshold value. System.
  19. 分布は画像内のピクセル明度値と頻度を対比した少なくとも1つのヒストグラムによって規定される、請求項18に記載のシステム。   The system of claim 18, wherein the distribution is defined by at least one histogram contrasting pixel brightness values and frequency in the image.
  20. 前記ナイフエッジ部材は光軸上に置かれた前記光学系内の隠蔽構造体と定義され、隠蔽構造体は前記光学系の前面に隣接して設けられたマスク素子上にあり、隠蔽構造体は特徴と関連付けられた散乱光を選択的に強化又は抑制するように配置されている、請求項1に記載のシステム。 The knife edge member is defined as hidden structure placed on the optical axis in the optical system, hidden structure is on the mask element provided adjacent to the front surface of the optical system, hidden structure The system of claim 1, wherein the system is arranged to selectively enhance or suppress scattered light associated with the feature.
  21. 前記隠蔽構造体は前記光学系の延長方向にわたって延びるラインと定義され、前記光学系上の焦点を合わせた照明スポットのサイズと相対的である延長の方向に対して横断方向の幅を有し、延長の方向は特徴の向きによって定義される、請求項20に記載のシステム。 The concealed structure is defined as a line extending across the extension direction of the optical system, has a width transverse to the direction of extension focus is the relative size of the illumination spot combined on the optical system, 21. The system of claim 20, wherein the direction of extension is defined by the feature orientation.
  22. 前記マスク素子は周囲のラインの対向する各側で周囲の不透明な区域及びラインと不透明な区域との間の線状アパーチャを含む、請求項21に記載のシステム。 The system of claim 21, wherein the mask element includes a surrounding opaque area on each opposite side of the surrounding line and a linear aperture between the line and the opaque area.
  23. 前記隠蔽構造体はほぼ光軸上にセンタリングされた円形ディスクを含み、1以上の特徴のサイズと相対的な直径を有する、請求項20に記載のシステム。 21. The system of claim 20, wherein the concealment structure includes a circular disk centered approximately on the optical axis and having a size and a relative diameter of one or more features.
  24. 更に前記円形ディスクを包囲する環状区域を含み、それらの間に環状アパーチャを定義し、環状区域は散乱光を抑制するように配置されている、請求項23に記載のシステム。 24. The system of claim 23, further comprising an annular area surrounding the circular disk , defining an annular aperture therebetween, the annular area being arranged to suppress scattered light.
  25. 前記マスク素子はスナップ式又はねじ式のレンズカバーと定義され、アップリケは前記光学系の前面上に置かれ、可変パターン電気光学機構は前記光学系上に置かれている、請求項20に記載のシステム。 The mask element is defined as a lens cover of the snap-on or screw-on applique is placed on the front surface of the optical system, variable pattern electrooptic mechanism is placed on the optical system, according to claim 20 system.
  26. 更に前記光学系と関連して置かれた第1の偏光子と、照明器と関連して置かれた第2の偏光子とを含む、請求項20に記載のシステム。 21. The system of claim 20, further comprising a first polarizer placed in association with the optical system and a second polarizer placed in association with an illuminator.
JP2016221074A 2015-11-13 2016-11-12 System and method for detecting defects on specular surfaces in a vision system Active JP6568672B2 (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US201562255360P true 2015-11-13 2015-11-13
US62/255,360 2015-11-13
US201562274094P true 2015-12-31 2015-12-31
US62/274,094 2015-12-31
US201662404431P true 2016-10-05 2016-10-05
US62/404,431 2016-10-05
US15/349,131 US20170236266A1 (en) 2015-11-13 2016-11-11 System and method for detecting defects on a specular surface with a vision system
US15/349,131 2016-11-11

Publications (2)

Publication Number Publication Date
JP2017111121A JP2017111121A (en) 2017-06-22
JP6568672B2 true JP6568672B2 (en) 2019-08-28

Family

ID=59050504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016221074A Active JP6568672B2 (en) 2015-11-13 2016-11-12 System and method for detecting defects on specular surfaces in a vision system

Country Status (3)

Country Link
JP (1) JP6568672B2 (en)
KR (1) KR101945927B1 (en)
CN (1) CN106959293B (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107179323B (en) * 2017-07-25 2019-11-08 常州工程职业技术学院 A kind of suspension disc insulator visible detection method
CN108106549B (en) * 2017-11-24 2019-10-18 清华大学 A kind of motor rotor magnetic steel piece assembles the structure light detection method of radial defect
CN108519064B (en) * 2018-04-20 2019-12-03 天津工业大学 A kind of reflective suppressing method applied to multi-frequency three-dimensional measurement
WO2020020130A1 (en) * 2018-07-27 2020-01-30 深圳中科飞测科技有限公司 Light emitting device, optical detection system, optical detection device and optical detection method
US10755403B2 (en) * 2018-08-17 2020-08-25 The Boeing Company Apparatus and methods for shot peening evaluation
CN111183351A (en) * 2018-09-11 2020-05-19 合刃科技(深圳)有限公司 Image sensor surface defect detection method and detection system
KR20200050497A (en) 2018-11-01 2020-05-12 에스케이하이닉스 주식회사 Method of detecting printing defects on photoresist pattern
CN110095472B (en) * 2019-05-08 2019-12-13 湖北工业大学 HDRI-based high-reflectivity metal surface defect detection method and system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61176805A (en) * 1985-01-31 1986-08-08 Nec Corp Instrument for measuring defect size of photomask
JPH03115844A (en) * 1989-09-29 1991-05-16 Asahi Glass Co Ltd Detection of surface defect
US7126699B1 (en) * 2002-10-18 2006-10-24 Kla-Tencor Technologies Corp. Systems and methods for multi-dimensional metrology and/or inspection of a specimen
EP1718954A4 (en) * 2004-01-22 2010-08-11 Wintriss Engineering Corp Illumination system for material inspection
JP2009092426A (en) * 2007-10-04 2009-04-30 Nippon Steel Corp Surface inspection method and surface inspection device
CN101576509B (en) * 2009-06-16 2011-04-27 华南理工大学 Method and device for automatically detecting surface defects of spherules based on machine vision
US8750596B2 (en) * 2011-08-19 2014-06-10 Cognex Corporation System and method for identifying defects in a material
US10365298B2 (en) * 2013-11-25 2019-07-30 Technion Research & Development Foundation Limited Optical knife-edge detector with large dynamic range

Also Published As

Publication number Publication date
KR101945927B1 (en) 2019-02-08
KR20170056472A (en) 2017-05-23
CN106959293A (en) 2017-07-18
JP2017111121A (en) 2017-06-22
CN106959293B (en) 2020-09-25

Similar Documents

Publication Publication Date Title
US9910139B2 (en) Methods and systems for LIDAR optics alignment
JP2016183978A (en) System and method for inspecting wafers
US9952151B2 (en) Surface features by azimuthal angle
TW511038B (en) High contrast, low distortion optical acquisition systems for image capturing
ES2207754T3 (en) Procedure and system to form images of an object or of a configuration.
US7649628B2 (en) Optical inspection of test surfaces
US7782451B2 (en) Device for and method of inspecting surface condition having different curvatures
US7557935B2 (en) Optical coordinate input device comprising few elements
US9863889B2 (en) System and method for inspecting a wafer
KR101102627B1 (en) Systems and methods for identifying foreign objects and debrisfod and defects during fabrication of a composite structure
US7075662B2 (en) Method for three-dimensional inspection using patterned light projection
JP3020462U (en) Automatic photomask inspection device
US6686602B2 (en) Patterned wafer inspection using spatial filtering
JP5866704B2 (en) System and method for capturing illumination reflected in multiple directions
FI125320B (en) EVENTS AND SIMILAR OPTICAL MEASUREMENT PROCEDURES
TWI512865B (en) Wafer edge inspection
JP5934874B2 (en) System and method for inspecting a wafer
JP4135603B2 (en) Two-dimensional spectroscopic device and film thickness measuring device
US6822734B1 (en) Apparatus and method for fabricating flat workpieces
US10455137B2 (en) Auto-focus system
TWI339347B (en) Method and device for optical navigation
US7420542B2 (en) Apparatus for capturing and analyzing light and method embodied therein
JP3385442B2 (en) Inspection optical system and inspection device
CN102037309B (en) Optical inspection probe
US6324020B1 (en) Method and apparatus for reduction of trapezoidal distortion and improvement of image sharpness in an optical image capturing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180831

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190803

R150 Certificate of patent or registration of utility model

Ref document number: 6568672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150