JP7413293B2 - 複数タイプの光を用いるビジョン検査のためのシステム及び方法 - Google Patents

複数タイプの光を用いるビジョン検査のためのシステム及び方法 Download PDF

Info

Publication number
JP7413293B2
JP7413293B2 JP2021010501A JP2021010501A JP7413293B2 JP 7413293 B2 JP7413293 B2 JP 7413293B2 JP 2021010501 A JP2021010501 A JP 2021010501A JP 2021010501 A JP2021010501 A JP 2021010501A JP 7413293 B2 JP7413293 B2 JP 7413293B2
Authority
JP
Japan
Prior art keywords
light
sub
type
types
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021010501A
Other languages
English (en)
Other versions
JP2021117232A5 (ja
JP2021117232A (ja
Inventor
ケンプフ トルステン
リュッテン イェンス
ハールトゥ ミヒャエル
ヌニンク ローレンス
Original Assignee
コグネックス・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コグネックス・コーポレイション filed Critical コグネックス・コーポレイション
Publication of JP2021117232A publication Critical patent/JP2021117232A/ja
Publication of JP2021117232A5 publication Critical patent/JP2021117232A5/ja
Application granted granted Critical
Publication of JP7413293B2 publication Critical patent/JP7413293B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21Polarisation-affecting properties
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N21/3151Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using two sources of radiation of different wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1734Sequential different kinds of measurements; Combining two or more methods
    • G01N2021/1736Sequential different kinds of measurements; Combining two or more methods with two or more light sources
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8848Polarisation of light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/062LED's
    • G01N2201/0626Use of several LED's for spatial resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination

Description

<関連出願の相互参照>
本出願は、2020年1月27日に出願された「複数タイプの光を用いるビジョン検査のためのシステム及び方法」と称される米国仮出願第62/966,323号の利益を主張し、当該仮出願の全内容はここに引用することにより盛り込まれているものとする。
<連邦政府の支援による研究に関する言明>
該当無し。
本技術は、画像を取得及び分析するように構成されたマシンビジョンシステムを含むイメージングシステムに関する。いくつかの実例は、表面特徴によって与えられるマーキング又は構造物の分析に有用であり得るものを含む、物体の表面特徴の画像を取得するように構成されたイメージングシステムに特に関連する。
マシンビジョンシステムは、一般に、物体又はシンボルの画像を取り込み、画像を分析して物体を識別したりシンボルをデコードしたりするために使用されるように構成されている。したがって、マシンビジョンシステムは、一般に、画像取得及び画像処理のための1つ又は複数の装置を含む。従来の用途では、これらの装置を使用して画像を取得したり、取得した画像を分析したりすることができ、これには、部品のコンプライアンスの評価又は画像内のバーコード、テキスト若しくはその他の記号のデコードを目的とするものも含まれる。状況によっては、マシンビジョン及びその他のイメージングシステムを使用し、物体の画像を取得して、製造された輪郭、表面の欠陥、隆起、凹み又は他のシンボルマーキングを含む物体の表面の特徴を識別又は分析することができ、あるいはそのような表面の特徴に対処することができる。
一部の用途では、ターゲットの画像、特にターゲット(例えば、箱又は製造された部品などの物体)の表面上の特徴の画像を取得することが有用である場合がある。但し、照明に関する考慮事項及びその他の要因により、表面特徴の適切なレベルの詳細を含む画像を取得することが困難な場合がある。例えば、工場内の設定における照明条件が悪いと、物体の表面上の特定の構造の輪郭について詳細のレベルが比較的低い画像が生成される可能性がある。これに関して、特定の表面特徴が、適切な高コントラストで画像に示されなかったり、画像内で見られなかったり、あるいは画像に対し所望の分析を完了することができる程度に適切に表現されなかったりする場合がある。
いくつかの従来のアプローチは、複数の画像取得を介して(即ち、異なる時間間隔にわたって実行されるように)物体の複数の画像を取得することによってこの問題に対処してきた。これらのアプローチは、場合によっては適切なレベルの表面詳細を含む画像が得られるものの、いくつかの点で制限される場合がある。例えば、(例えば、コンベヤ上で)移動している物体に対する複数の画像取得の実行は、さまざまな角度から取得される画像を組み合わせる際に計算の複雑さが増す点と、複数の画像を組み合わせても一部の表面特徴が依然として適切に示されない可能性がある点とにおいて困難な場合がある。
開示された技術の実施形態は、上記の及び他の問題に対処して、ターゲット(例えば、ターゲット物体)の表面特徴の画像の改善された取得を提供することができる。例えば、いくつかの実施形態は、画像化されるターゲットに異なる方向から投射される(例えば、物体の異なる側から同時に投射される)異なるタイプの光を使用して単回画像取得を実行できるシステム及び対応する方法を提供する。その結果、単回画像取得から得られたデータをさまざまなタイプの光について分析して、画像化されるターゲットの表面特徴を高レベルで詳細に示す1つの画像を生成することができる。いくつかの実施形態では、異なるタイプの光は、異なる偏光方向(例えば、3つ又は4つの角度的にオフセットされた偏光方向)の光であってもよいが、他のアプローチも可能である。いくつかの実施形態では、システムは、単回画像取得から詳細な表面画像を生成するために、検査の種類又は他の所望の分析に応じて、2つ、3つ、4つ又はそれ以上のタイプの光を対応する数の方向から投射するように構成されてもよい。
したがって、開示された技術のいくつかの実施形態を使用して、物体の表面特徴に関する非常に高レベルの詳細を有する物体の画像を迅速かつ効率的に生成することができる。場合によっては、本明細書に詳細に記載するような異なるタイプの光の革新的な使用により、本技術の実施形態は、比較的安価なフィルタ及び照明装置を使用して実施することができる。さらに、多くの場合、詳細な表面画像を単回画像取得のみで生成することができる。したがって、いくつかの実施形態は、静止ターゲットに対する実施と比べて計算負荷又は必要とされる機器を実質的に(例えば、全く)増やさずに、移動しているターゲットに対して容易かつ効率的に適用することができる。
本明細書に開示されるいくつかの実施形態は、表面検査装置、並びにイメージングセンサ及び照明構成体を備えたイメージング(例えば、マシンビジョン)システムなどのシステムとして主に提示される。当業者であれば、対応する実施形態(及び他のもの)を、関連するシステムの性能に応じて、画像取得の自動制御及び必要に応じて画像分析を伴うコンピュータ実行方法などの方法として実行できることを認識するであろう。これに関して、特に明記しない限り、開示されたシステムについての本明細書での説明は、開示されたシステムを使用して意図された機能を実行する対応する方法の開示を本質的に含む。
同様に、当業者であれば、本明細書に方法として主に提示される実施形態がシステムとして実施され得ることを認識するであろう。例えば、本明細書に開示されるさまざまな方法は、関連する方法の1つ又は複数の動作を実施するように構成されたイメージングハードウェアを備えたマシンビジョンシステムを使用して実施することができ、これは、異なるタイプの光で異なる方向から表面を照らす照明構成体の電子制御を介して行うこと、ターゲットから反射された光のそれぞれを利用する単回画像取得を1つの時点で実行するためのイメージング装置の電子制御を介して行うことを含む。
上記の議論と一貫して、本技術のいくつかの実施形態は、物体の表面の表面特徴の画像を取得する方法を含む。表面は、少なくとも3つのタイプの光で少なくとも3つの方向から同時に照らすことができ、それぞれのタイプの光は、少なくとも3つの方向のうちの異なる方向から(例えば、物体の異なる側から)表面を照らすよう構成されている。照らされた表面の単回画像取得を実行することができ、これは、少なくとも3つのサブ画像を取得することを含み、少なくとも3つのサブ画像はそれぞれ、少なくとも3つのタイプの光のうちの異なるタイプの光を使用して、かつ、他の少なくとも2つのタイプの光を少なくとも部分的に除外して(例えば、少なくとも部分的にフィルタで除去して)、取得される。その後、3次元検査のために、少なくとも3つのサブ画像に基づいて、表面特徴を含む表面の画像を生成することができる。
本技術のいくつかの実施形態は、物体の表面の表面特徴の画像を取得するためのイメージングシステムを含む。1つ又は複数の光源は、少なくとも3つのタイプの光で少なくとも3つの方向から表面を同時に照らすように構成することができ、少なくとも3つのタイプの光はそれぞれ、少なくとも3つのタイプの光のうちの他のタイプの光とはタイプが異なるものであり、少なくとも3つの方向のうちの異なる方向から表面を照らすものである。1つ又は複数のイメージングセンサを、照らされた表面の単回画像取得を実行するよう構成することができ、これは、少なくとも3つのサブ画像を取得することを含む。少なくとも3つのサブ画像はそれぞれ、少なくとも3つのタイプの光のうちの別々のタイプの光を使用し、かつ、少なくとも2つの他のタイプの光を(例えば、適切な光フィルタを使用することによって)少なくとも部分的に除外して、取得することができる。また、1つ又は複数の処理装置を、少なくとも3つのサブ画像に基づいて表面特徴を含む表面の画像を生成するように構成することができる。
本技術のいくつかの実施形態は、物体の表面の表面特徴の画像を取得する別の方法を含む。表面は、第1の方向からの第1のタイプの光と第2の方向からの第2のタイプの光とで同時に照らすことができ、第1のタイプの光と第2のタイプの光は互いに異なり、第1の方向と第2の方向は互いに異なる。照らされた表面の単回画像取得は、以下の工程を含んで実行することができ、即ち、第1のサブ画像を、第1のタイプの光を使用してかつ第2のタイプの光を少なくとも部分的に除外して、取得することと、第2のサブ画像を、第2のタイプの光を使用してかつ第1のタイプの光を少なくとも部分的に除外して、取得することと、を含んで、実行することができる。表面特徴を含む表面の画像は、第1のサブ画像及び第2のサブ画像に基づいて生成することができる。
本技術のいくつかの実施形態は、物体の表面の表面特徴の画像を取得するためのイメージングシステムを含む。1つ又は複数の光源を、第1の方向からの第1のタイプの光及び第2の方向からの第2のタイプの光を用いて表面を同時に照らすように構成することができ、第1のタイプの光と第2のタイプの光は互いに異なっており、第1の方向と第2の方向は互いに異なっている。1つ又は複数のイメージングセンサは、表面の第1のサブ画像及び第2のサブ画像を同時に取得するように構成することができ、第1のサブ画像は、第1のタイプの光を使用してかつ第2のタイプの光を少なくとも部分的に除外して、取得され、第2のサブ画像は、第2のタイプの光を使用してかつ第1のタイプの光を少なくとも部分的に除外して、取得される。1つ又は複数の処理装置を、第1のサブ画像及び第2のサブ画像に基づいて表面特徴を含む表面の画像を生成するように構成することができる。
本技術のいくつかの実施形態は、表面検査装置を含む。イメージング装置は、ピクセル検出器の少なくとも3つのサブセットを含む1つ又は複数のイメージングセンサを含むことができる。照明構成体は、少なくとも3つの方向から少なくとも3つのタイプの光でターゲット領域を照らすように配置された1つ又は複数の光源を含むことができ、少なくとも3つのタイプの光はそれぞれ、少なくとも2つの他のタイプの光に対して異なる偏光方向を有するとともに、少なくとも3つの方向のうち、少なくとも2つの他のタイプの光とは異なる別の方向からターゲット領域に向けられる。フィルタ構成体は、ピクセル検出器の少なくとも3つのサブセットのうちの対応する1つに対して、少なくとも3つのタイプの光のそれぞれを選択的にフィルタリングするように配置することができる。1つ又は複数の処理デバイスは、ターゲット領域内の物体の単回取得を実行するように構成することができ、これは、ピクセル検出器の少なくとも3つのサブセットに対応する少なくとも3つのサブ画像を取得することを含む。
本技術のいくつかの実施形態は、物体の表面特徴を分析するためのイメージングシステムを含む。レンズ構成体は、画像取得のための光軸を画定することができる。1つ又は複数のイメージングセンサは、レンズ構成体及び光軸と整列させることができる。照明システムは、光軸の第1の側に位置する第1の照明アレイと、光軸の第2の側に位置する第2の照明アレイと、光軸の第3の側に位置する第3の照明アレイと、を有することができる。1つ又は複数の処理装置は以下のようにして表面特徴を分析するよう構成することができ、即ち、照明システムを制御して、同時に、第1の照明アレイによって第1のタイプの光で物体を照らし、第2の照明アレイによって第2のタイプの光で物体を照らし、第3の照明アレイによって第3のタイプの光で物体を照らし、1つ又は複数のイメージングセンサから、第1のサブ画像データ、第2のサブ画像データ及び第3のサブ画像データを受け取り、表面特徴を分析するために、第1のサブ画像、第2のサブ画像及び第3のサブ画像をまとめて分析し、これにより、表面特徴を分析するよう構成され、前記第1のタイプの光、前記第2のタイプの光及び前記第3のタイプの光のうちの光の各タイプは、前記第1のタイプの光、前記第2のタイプの光及び前記第3のタイプの光のうちの光の他のタイプと異なっており、前記第1のサブ画像データ、前記第2のサブ画像データ及び前記第3のサブ画像データは、前記第1のタイプの光、前記第2のタイプの光及び前記第3のタイプの光のうちの各タイプの光を用いて、かつ、前記第1のタイプの光、前記第2のタイプの光及び前記第3のタイプの光のうちの前記各タイプの光以外を少なくとも部分的に除外することで、1つ又は複数のイメージングセンサによって取得される。
上記の及び関連する目的を達成するために、本技術の実施形態は、以下で十分に説明される特徴を含む。以下の記載及び添付の図面は、本技術の特定の例示的な態様を詳細に説明している。しかしながら、これらの態様は、本技術の原理を採用可能なさまざまな方法を示すものであるが、ほんの一部を示すものである。本技術の他の態様、利点及び新規の特徴が、本技術の以下の詳細な説明から図面と併せて考慮することで明らかになるであろう。
本技術は、さまざまな変更及び代替形態の影響を受けやすいが、その特定の実施形態は、例として図面に示され、本明細書で詳細に説明されている。しかしながら、特定の実施形態についての本明細書の説明は、開示された特定の形態に本技術を限定することを意図するものではなく、特許請求の範囲によって定義される本技術の精神及び範囲内にある全ての変更物、同等物及び代替物を網羅することを意図することは理解されるであろう。
本技術のいくつかの実施形態に係る、照明構成体及びイメージング装置を備えるイメージングシステムの略図である。 本技術のいくつかの実施形態に基づきそれぞれ生成及び取得された、物体の表面特徴の画像の例と3つの関連するサブ画像の例を示す。 従来のイメージングシステムを用いて取得及び生成された複数の画像の例を示す。 図3Aに示すものと同様の物体の表面特徴の画像の例と3つの関連するサブ画像の例を示し、これらは本技術のいくつかの実施形態に基づきそれぞれ生成及び取得されたものである。 本技術のいくつかの実施形態に係る、照明構成体及びイメージング装置を含む別のイメージングシステムの略図である。 本技術のいくつかの実施形態に係るシステム(及び方法)において使用されるイメージングセンサの態様の略図である。 本技術のいくつかの実施形態に係る照明アタッチメントを有するイメージング装置の正面図である。 本技術のいくつかの実施形態に係る照明構成体及びイメージング装置を含むシステム(及び方法)において使用されるさらに別のイメージングシステムの略図である。 本技術のいくつかの実施形態に係る、画像の取得及び分析の方法の略図である。
主題技術のさまざまな態様について添付の図面を参照して説明する。ここで、複数の図において同様の参照符号は同様の要素に対応する。しかしながら、特定の方法の動作の特定の順序を示す図面における描写を含む以下の図面及びこれに関連する詳細な説明は、請求された技術的事項を開示された特定の形態に限定することを意図しないことは理解されるであろう。むしろ、その意図は請求された技術的事項の精神及び範囲に含まれる全ての改良物、同等物及び代替物を網羅する。
いくつかの実施形態では、本開示に係る方法のコンピュータ化された実現を含む本開示の態様は、処理装置(例えば、直列若しくは並列汎用チップ又は専用プロセッサチップ、シングルコア又はマルチコアチップ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ、制御ユニットの任意のさまざまな組み合わせ、算術論理ユニット、プロセッサレジスタなど)、コンピュータ(例えば、メモリに動作可能に接続された処理装置)又は本明細書に詳しく記載した態様を実現するための別の電子操作コントローラを制御するためのソフトウェア、ファームウェア、ハードウェア又はこれらの任意の組み合わせを製造するための標準的なプログラミング又はエンジニアリング技術を用いて、システム、方法、装置又は製造品として実現することができる。したがって、例えば、本開示の実施形態は、処理装置がコンピュータ可読媒体からの命令を読み取ることで命令を実行できるように、非一時的なコンピュータ可読媒体において実体的に具現化される一組の命令として実現することができる。本開示のいくつかの実施形態は、以下の記載と一致するように、自動化装置などの制御装置、さまざまなコンピュータハードウェア、ソフトウェア、ファームウェアなどを含む専用又は汎用コンピュータなどを含む(又は利用する)ことができる。具体的な例として、制御装置は、プロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ、プログラマブルロジックコントローラ、ロジックゲートなど、及び適切な機能の実装について当該技術分野で知られている他の典型的なコンポーネント(例えば、メモリ、通信システム、電源、ユーザインターフェイス及びその他のインプットなど)。
本明細書で使用される「製造品」という用語は、任意のコンピュータ可読装置からアクセス可能なコンピュータプログラム、キャリア(例えば、非一時的信号)、又は媒体(例えば、非一時的媒体)を包含することを意図している。例えば、コンピュータ可読媒体には、磁気記憶装置(例えば、ハードディスク、フロッピーディスク、磁気ストリップなど)、光ディスク(例えば、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)など)、スマートカード及びフラッシュメモリ装置(例えば、カード、スティックなど)が含まれるが、これらに限定されない。さらに、搬送波を使用して、電子メールの送受信又はインターネットやローカルエリアネットワーク(LAN)などのネットワークへのアクセスに使用されるようなコンピュータ可読電子データを伝送できることは、理解されるであろう。当業者であれば、請求された主題の範囲又は精神から逸脱することなく、これらの構成に多くの修正を加えることができることを認識するであろう。
本開示に係る方法の特定の動作又はそれらの方法を実行するシステムの特定の動作は、図面において概略的に表されている場合があり、あるいは本明細書において説明されている。特に明記又は限定されていない限り、特定の空間的順序での特定の動作についての図面での表現は、必ずしもそれらの動作が特定の空間的順序に対応する特定のシーケンスで実行されなければならないわけではない。同様に、図面に示される又は本明細書に開示される特定の動作は、本開示の特定の実施形態に適切なように、明示的に図示又は記載されているものとは異なる順序で実行することができる。さらに、いくつかの実施形態では、特定の動作は、専用の並列処理装置又は大規模システムの一部として相互運用するように構成された別個のコンピューティングデバイスによって並列で実行することができる。
コンピュータによる実現の文脈で本明細書において使用される場合、特に明記又は限定されていない限り、「コンポーネント」、「システム」、「モジュール」などの用語は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの組み合わせ又は実行中のソフトウェアを含むコンピュータ関連システムの一部又は全部を包含することを意図する。例えば、コンポーネントは、処理装置、処理装置によって実行されている(又は実行可能な)プロセス、物体、実行可能ファイル、実行スレッド、コンピュータプログラム又はコンピュータであり得るが、これらに限定されない。例として、コンピュータ上で実行されているアプリケーションとコンピュータの両方をコンポーネントとすることができる。1つ又は複数のコンポーネント(又はシステム、モジュールなど)は、プロセス又は実行スレッド内に存在してもよく、又は1つのコンピュータにローカライズされてもよく、又は2つ以上のコンピュータ若しくは他の処理装置間で分散していてもよく、又は別のコンポーネント(又はシステム、モジュールなど)に含まれていてもよい。
本明細書で使用する場合、特に明記又は限定されていない限り、「単回画像取得」は、1つの時点で(例えば、1つのイメージング装置又はイメージング装置のグループについての1回の露光に対応する1つの時間間隔にわたって)実行されるターゲットの画像取得を指す。いくつかの実施形態では、単回画像取得は、単一画像が1回の露光で取得されるように、1つのイメージングセンサを使用して実行することができる。いくつかの実施形態では、単回画像取得は、複数のイメージングセンサを使用して、各イメージングセンサが1回の露光でそれぞれのサブ画像を取得するようにして実行することができる。この後者のシナリオに関して、例えば、物体からの光は、1回の露光の一部としてイメージングシステムに入射することができるが、(例えば、ビームスプリッタを使用して)ルーティングされるか又は選択的にフィルタリングされて、違う方法で複数のイメージングセンサに当たってもよい。
本明細書で使用する場合、特に明記又は限定されていない限り、特定の「タイプ」の光についての説明は、公知の技術を使用して別のタイプの光からフィルタリングで取り出す又は分離できる区別可能な特性を示す光を指す。例えば、(例えば、第1の偏光フィルタを使用して)第1の偏光方向の偏光状態とされた光は、(例えば、第2の偏光フィルタを使用して)第2の異なる偏光方向の偏光状態とされた光とは異なるタイプである。同様に、第1の波長(例えば、可視色)の光は、第2の異なる波長(例えば、近赤外)の光とは異なるタイプである。場合によっては、非重複タイプ(つまり、共通の定義特性を共有しないタイプ)の光を提供するように異なる光源を構成することができる。例えば、第1の偏光方向を有する光源は、第2の異なる偏光方向を有する光源に対して非重複タイプの光を提供することができる。同様に、重複しない波長帯域内の光を提供する異なる光源も、非重複タイプの光を提供することができる。いくつかの実施形態では、光のタイプは実質的に非重複である場合があり、即ち、互いに比較したときに関連する特性が90%異なる場合がある。例えば、実質的に重複しない波長帯域は、それらの帯域幅の10%未満については重複してもよい。
本明細書で使用する場合、特に明記又は限定されていない限り、「サブ画像」は、単回画像取得中に取得されるピクセルデータのアレイを指すが、単回画像取得中に取得される全てのピクセルデータを表すわけではない。例えば、単回画像取得の場合、ターゲットを照らす光をさまざまな偏光方向の偏光状態としたり、さまざまな色を通過させるようにフィルタリングしたり、さまざまなタイプの光を提供するように制御したりすることができる。ターゲットで反射した後、特定のタイプの光を選択的にフィルタリング又は通過させてからイメージングセンサ(又は異なるイメージングセンサ)のさまざまな部分に当てることができるため、さまざまなタイプの光を使用してさまざまなサブ画像を取得することができる。いくつかの実施形態では、1つの画像化チップが、(例えば、統合フィルタアレイ又は他のフィルタのアレイによって)ピクセル検出器のサブセットに細分されたピクセル検出器を含んでもよく、ピクセル検出器の各サブセットが、単回画像取得の一部として各サブ画像についてのデータを提供することができる。いくつかの実施形態では、サブ画像は、単回画像取得における関連するフィールド・オブ・ビュー全体に及ぶピクセルデータを含んでもよく、これは、1つの画像チップが、各々が異なるサブ画像を取得するピクセル検出器のサブセットに分割された場合も含む。
一般に、上にも記載したように、本開示の実施形態は、物体の表面特徴の詳細な分析に使用できる画像を含む物体の画像を取得するためのシステム及び方法を含むことができる。いくつかの実施形態では、取得された画像は、取得された画像のグレー値の差異として表面特徴の表面傾斜の差異を正確に表すことなどによって、高度のコントラスト及び精度で3次元表面特徴を表すことができる。したがって、いくつかの実施形態は、同じように有用な画像を提供するために複数の画像取得を必要とし得る従来のイメージングシステム及び方法に対する改善を提供することができる。
特に、いくつかの実施形態は、異なる方向からの異なるタイプの光でターゲット物体を照らすように構成された装置(又はその工程を含む方法)を含む。単回画像取得を用いて(即ち、単回で)、光をイメージングシステムで受信してターゲット物体の複数のサブ画像を取得することができ、それぞれのサブ画像は、光タイプ間の区別可能な非重複(光タイプ同士が区別可能で重複していない)を伴って取得される。換言すれば、それぞれのサブ画像の取得に使用される特定の光のタイプは、単回画像取得に使用される他の光のタイプと完全に又は実質的に重複しなくてもよく、これを達成するやり方としては、1つ又は複数の特定のタイプの光を、1つ又は複数の他の特定の光のタイプの光よりも大きな程度、少なくとも部分的に除外することを含む。場合によっては、光タイプ間の区別可能な非重複は、特定のサブ画像の光の強度の少なくとも30%が、同じ単回画像取得において照明に使用された他の光タイプと重複しない特定の光タイプによってもたらされることを示す。場合によっては、光タイプ間の区別可能な非重複は、特定のサブ画像が、特定のタイプの光を主に(例えば、70%を超えて、80%を超えて又は90%を超えて)使用して取得されることを示す。しかしながら、特に明記又は限定されていない限り、以下の説明において特定の光のタイプを主に使用する実例を参照している場合、これはより広義に区別可能な非重複の特定の光のタイプが使用される代替形態が本質的に含まれるものと理解すべきである。
光のタイプ間の区別可能な非重複を伴って(例えば、主に1つの光のタイプで)取得されると、次にサブ画像をまとめて(例えば、画像差し引き、画像足し合わせ、フォトメトリックステレオ分析などの公知の手法を使用して)順番に処理することができ、これにより単回画像取得からターゲット物体の単一画像が生成される。関連する特定の光タイプ及び照明方向が使用されて異なるサブ画像が取得されることから、サブ画像はそれぞれ、特定の表面特徴を特定のかたちで表し得る。同様に、複数のサブ画像に基づいて単一画像を生成すると、ターゲット物体の表面特徴のコントラスト、解像度及びその他の表現品質を、生成された単一画像において特に高いコントラスト、解像度及び一般的品質(例えば、単一画像のグレー値の差異として表される傾きの差異)で表すことができる。
本明細書で使用する場合、単一画像の「生成」はさまざまな方法で実施することができる。いくつかの実例では、複数のサブ画像からのピクセルデータを組み合わせて(例えば、ピクセルの値を足し合わせて)、別々に保存された画像ファイル又は物体とすることができ、これにより、別々に保存された画像ファイル又は物体の任意の所与のピクセルが、サブ画像の対応するピクセルの組み合わせからのデータを表すことができる。いくつかの実例では、複数のサブ画像からのピクセルデータは、必ずしも別々の画像ファイル又は物体を保存しなくても、画像分析作業中にまとめて考慮されてもよい。例えば、画像化イベントの分析の際に、サブ画像の対応するピクセルの組み合わせの値を考慮することによって、画像化されたシーンの任意の所与のピクセルの分析を行うことができる。これに関して、サブ画像とは別に別個の画像ファイル又は物体が全体として保存されていない場合でも、画像分析のために複数のサブ画像から単一画像が生成されたと見なすことができる。
図1は、本技術の実施形態による画像取得のために構成されたマシンビジョンシステム100の概略図である。図示の実施形態では、マシンビジョンシステム100は、ターゲット領域104の画像を取得するように構成されたイメージング装置102を含む。通常、イメージング装置102を含む本明細書で説明するイメージング装置は、少なくとも1つのイメージングセンサ(例えば、CCD、CMOS又は他の公知のセンサ)と、少なくとも1つのイメージングセンサと光学的に整列した少なくとも1つのレンズ構成体と、イメージングセンサに対して計算動作を実行する(例えば、照明、画像露光時間若しくは他のコンポーネントを制御するため又は関連するデータ処理タスクを実行するため)ように構成された少なくとも1つの制御装置(例えば、処理装置106)と、を備える。いくつかの実施形態では、レンズ構成体は固定焦点レンズを含むことができる。いくつかの実施形態では、レンズ構成体は、液体レンズ又は公知のタイプの機械調整レンズなどの可変焦点レンズを含むことができる。
いくつかの実施形態では、イメージング装置は画像処理装置として構成することができ、画像処理装置は、関連する(例えば、統合された)イメージングセンサ及びレンズ構成体によって取得された画像を処理するように動作することができる。例えば、イメージング装置102は、画像の取得を制御し、関連するイメージングセンサから受信した画像データを処理するための(例えば、シンボルを識別及び復号するための)コンピューティングデバイスとして構成される。いくつかの実施形態では、イメージング装置は、さらなる処理のために、画像データ(例えば、バイナリピクセル値)を(例えば、クラウドコンピューティングシステム又はローカルネットワークシステム内の)リモート処理装置に通信するように構成することができる。これに関して、場合によっては照明、画像取得又は取得後の画像処理の任意の組み合わせを制御することができる処理装置106は、イメージング装置102の本体部の中に完全に収容することができ、あるいは全体又は一部を遠隔配置して、イメージング装置102にリンクされているネットワーク又は通信チャネルの一部として含むことができる。
物体の表面の高品質の画像を提供するために、マシンビジョンシステム100は、異なる方向からターゲット領域104に投射される異なるタイプの光でターゲット領域104を照らすように構成された照明構成体108を含む。特に、図示の例では、照明構成体108は、ターゲット領域104の4つの異なる側から4つの異なるタイプの光110a~110dをターゲット領域104に同時に投射することができるリングライトとして構成される。このように、ターゲット領域104内のボックス112又は他の物体を、ボックス112の4つの異なる側から4つのタイプの光110a~110dで同時に照らすことができる。
いくつかの実施形態では、異なるタイプの光を比較的大きな入射角で投射することにより、リングライト構成体又は他の同様の構成体(例えば、制御可能なミラーシステム)によって容易に提供され得るように、高品質の画像を得ることができる。しかしながら、他の実施形態では、細かい表面の詳細を示す画像を取得するために物体の照明を改善することもできる構成体を含む他の構成体も可能である。例えば、実例におけるいくつかの照明構成体又は方法は、照明構成体108として、異なる(又は同じ)タイプの光又は多数のタイプの光を(例えば、少なくとも3つの光のタイプを)同時に投射するように構成することができる。同様に、実例におけるいくつかの照明構成体又は方法は、異なる(又は同じ)タイプの光を異なる(又は同じ)数の方向(例えば、少なくとも3つの異なる方向)から同時に投射するように構成することができる。いくつかの実施形態では、照明構成体108について図示したものとは異なる構成の光源を使用することができる。例えば、リングライトの代わりに、いくつかの実施形態では、照明構成体108と同様に設置される非リングライト、イメージング装置用の照明アタッチメント、イメージング装置に統合された照明構成体、1つ又は複数の固定又は可動ミラーを備えた照明構成体などを含むことができる。いくつかの実施形態では、イメージング装置又はより大きなマシンビジョンシステムは、物体を複数の側から照らすように構成された複数の照明アレイを備えた照明システムを含むことができる。例えば、照明システムは、画像化のために光軸の第1の側、第2の側及び第3の側に配置された1つ又は複数の光源の第1のアレイ、第2のアレイ及び第3のアレイ(例えば、アレイごとに複数の光源を有する)を含むことができる。
さまざまな照明構成体及び制御アプローチが可能であるが、いくつかの構成体又はアプローチが特定のコンテキスト又は目標に特に適している場合がある。例えば、3次元(3D)分析が望まれる場合には、通常、少なくとも4つのタイプの光を少なくとも4つの異なる方向から投射されるように使用する必要がある。対照的に、2次元(2D)又は1次元(1D)分析が望まれる場合には、通常、少なくとも3つ又は少なくとも2つの異なる方向から投射されるように少なくとも3つ又は少なくとも2つのタイプの光を使用する必要がある。
画像取得中、処理装置106は、照明構成体108及びイメージング装置102を制御して、1つのイメージング方向から(即ち、光軸114に沿って)、ターゲット領域104の単回画像取得を実行することができる。例えば、イメージング装置102は、その中の1つ又は複数のイメージングセンサが、照明構成体108によってボックス112の4つのそれぞれの側からボックス112に投射された4つのタイプの光110a~110dにさらされるよう、制御することができる。
場合によっては、図1に示すように、照明構成体108は、単回画像取得のためにボックス112が4つの異なる側から4つの異なるタイプの光で照らされるように(ボックス112は1箇所にある)、ボックス112の4つの垂直に対向する側から、ボックス112に、4つのタイプの光110a~110dを同時に投射するように制御されてもよい。これに対応して、異なるタイプの光110a~110dを選択的に除外(例えば、フィルタリング)することにより、イメージング装置102は、単回画像取得の一部としてボックス112の4つの異なるサブ画像を取得することができ、各サブ画像は、ボックス112を、対応する照明方向から主に投射されたように、上記のタイプの光110a~110dのうちの特定の1つのタイプの光によって、主に照らされた(例えば、全強度の50%~70%以上で照らされた)ように表現する。(上で大まかに記載したように、図1に関して説明した実例と同様の実例又は本明細書で一般に開示された実例を含むいくつかの実例では、異なるサブ画像を、単に異なるタイプの光で主に照らして取得するのではなく、異なる光タイプ間の区別可能な非重複を伴って取得することができる。)画像分析の公知の技術を使用して、単回画像取得で取得されたように、それぞれのサブ画像からのピクセルデータに基づいて表面の単一画像を生成することができる。
通常、異なるタイプの光は、公知の種類の光源及びフィルタ材料若しくは構造を含むさまざまな方法で生成することができる。いくつかの実施形態は、異なる種類の光源(例えば、異なる波長に調整されたLED)を含むことができる。いくつかの実施形態は、一種類の光源からなる光アレイを含む、1つ又は複数の光アレイに関連する1つ又は複数のフィルタの構成体を含むことができる。いくつかの実施形態は、異なる偏光方向の光を提供することによって異なるタイプの光を提供するように構成することができる。
これに関して、例えば、照明構成体108は、照明構成体108が4つの異なる偏光方向(例えば、約180度若しくは他の間隔にわたる範囲で均等に又は任意に配される方向)の複数のタイプの光110a~110d、又は他の態様で区別可能な複数のタイプの光を投射することを可能にすることができるフィルタ(図示せず)を含み得る。いくつかの実施形態では、偏光の使用が特に有用となる場合があり、これは、このアプローチが、画像化されたターゲットの特定の表面上の色的な特徴によるサブ画像データのコンタミ又は他の品質の低下(例えば、損失)を回避し得るからである。しかしながら、他の実施形態では他のタイプの光を有益に使用することができ、このような他のタイプの光としては、任意に配された区別可能な非重複偏光方向で異なる方向から投射される光、主に(例えば、70%以上)異なる波長帯域内にある光(例えば、主に赤、主に青及び主に緑の可視光)、又は波長帯域に対して区別可能な非重複を示す光を含む。さらに、以下でも説明するように、別の実施形態では、さまざまな異なる数の光タイプ(例えば、任意の数の異なる偏光方向のセットを有する、異なる数のタイプの偏光状態)を、使用することができる。
通常、異なるタイプの光を、好ましくは(例えば、主に)、さまざまな手法を使用して関連する異なるサブ画像の取得に利用することができる。例えば、物体と関連するイメージングセンサとの間に1つ又は複数の適切なフィルタを(例えば、フィルタリング層として)配置、構成することによって、適切なサブ画像の取得のために異なるタイプの光をフィルタリングすることができる。以下でも説明するように、さまざまな異なるフィルタ配置が可能である。例えば、異なる光タイプを提供するためのフィルタのセットを、イメージング装置に統合でき、又はより大きなイメージングシステムの別個のコンポーネントとして配置することができる。いくつかの実施形態では、フィルタは定置式でもよく、イメージング装置又は照明構成体に永久的又は取り外し可能に固定することができる。
いくつかの実施形態では、特殊な光又はイメージングセンサを使用して、異なるタイプの光のサブ画像を提供及び取得することができる。いくつかの実施形態では、異なるタイプの光を提供するために別個の(又は統合された)フィルタと併用するために配置されるものを含む、画像化のための汎用照明構成体を使用することができる。例えば、取り外し可能な(又は他の)フィルタの第1のセットを従来の光源とターゲット領域との間に配置することができるとともに、取り外し可能な(又は他の)フィルタの第2のセットをターゲット領域と従来のイメージングセンサ(又は複数のセンサ)との間に配置することができる。場合によっては、フィルタを汎用照明構成体とともに使用して、さまざまな偏光状態(例えば、さまざまな方向の線形偏光、楕円偏光又は円偏光)、さまざまな色又はその他のさまざまな特性の光を投射することができる。
上で示唆したように、異なる光タイプに関連する異なるサブ画像は、関連するターゲットの組み合わされた(例えば、足し合わせ又は差し引きにより組み合わされた)画像を生成するために、さまざまな方法で処理することができる。通常、ピクセル検出器の集合アレイを備えた1つ又は複数のイメージングセンサは、ピクセル検出器の対応するサブセットで、異なるかたちでフィルタリングされた入射光を受け取ることができる。ピクセルデータの対応する混合ストリームを提供するイメージングセンサによる場合を含め、必要に応じて、ピクセル検出器のサブセットのそれぞれのピクセルデータは、対応するサブ画像として識別する(例えば、対応するサブ画像に分離する)ことができ、このサブ画像はそれぞれ主に(あるいはそうでなければ、例えば、区別可能な非重複の光に基づき)、特定のタイプの光及び特定の照明方向との関連でターゲットを表す。サブ画像が識別(例えば、分離)されると、1つ又は複数のサブ画像のピクセルデータを、1つ又は複数の他のサブ画像の空間的に対応するピクセルデータから、さまざまな組み合わせで差し引くことなどによって、サブ画像の対応するピクセルを組み合わせることができる。いくつかの実施形態では、「複数の画像から表面配向を決定するための測光法」(Woodham、Robert J.、Optical Engineering、19(1)、191139(1980))に記載されているものを含む、測光ステレオ分析から引き出された技術をこの目的に使用することができ、当該文献は参照により本明細書に盛り込まれているものとする。
図1に示す例では、イメージング装置102は、移動物体の画像が取得される動作に使用できるような固定位置イメージング装置として示されている。例えば、ターゲット領域104は、コンベヤ(図示せず)上に配置されてもよく、あるいは「提示」モードスキャンのための領域であってもよく、当該スキャンではユーザが物体をターゲット領域に移動させることでスキャンするために物体を提示する。いくつかの実施形態では、マシンビジョンシステム100は、ポータブル(例えば、ハンドヘルド)ビジョン装置を含むことができる。例えば、イメージング装置102及び照明構成体108を、移動物体又は静止物体に使用することができるハンドヘルドリーダの一部として含めることができる。いくつかの実施形態では、照明構成体(例えば、照明構成体108)は、ハンドヘルド装置又は他の装置のための取り外し可能なアタッチメントとして構成することができる。
上でも説明したように、いくつかの実施形態は、特に、移動物体が画像化される(あるいは、同等に、移動イメージング装置が使用される)コンテキストに関連して、従来のアプローチに対する改善を提供し得る。例えば、対応する1つの視点からの単回画像取得でサブ画像を取得する能力(例えば、上で説明したようなもの)により、いくつかの実施形態は、移動物体の複数の画像取得を必要とする従来のアプローチに固有の困難を回避することができる。場合によっては、上でも説明したように、これらの困難には、異なる時間での複数の画像取得に必然的に関連する、物体に対する異なるイメージング角度を計算で調整する必要があることを含む場合があり、一部の表面特徴の正確な表現がかなり複雑になる場合がある。対照的に、本明細書に開示されるいくつかの実施形態は、表面の詳細を単純に抽出又は強調するために、単回画像取得から複数のサブ画像をまとめて分析することができ、この際、各サブ画像は同じイメージング角度(imaging perspective)から(即ち、サブ画像間で物体の相対的な移動なしで)ターゲットを表現する。
図2は、本発明のいくつかの実施形態に基づきそれぞれ取得及び生成された、物体のサブ画像120a,120b,120cの例示的なセットと、例示的な画像122とを示す。例えば、マシンビジョンシステム100を使用して、サブ画像120a~120cのそれぞれを取得することができ、これらはそれぞれ、上記のタイプの光110a~110cの1つに対応している(図1参照)。次に、サブ画像120a~120cに基づき、処理装置106(図1参照)によって画像122を生成することができる。画像122内における物体上の表面特徴124の解像度は、サブ画像120a~120cのいずれか1つと比べかなり改善されていることが分かる。
上記したように、生成画像122は、場合によっては、別個の画像ファイル又は物体として(例えば、メモリに)独立して格納されてもよい。場合によっては、図2に示すような生成画像122は、単純に、サブ画像120a~120cによって集合的に提供された画像データの表現であり得、必ずしも1つのファイル又は物体として格納されることなく分析され得る。例えば、上でも説明したように、サブ画像120a~120cの対応するピクセルは、生成画像122のピクセルのアレイ全体を個別のファイル又は物体として集合的に保存することなく、生成画像122のピクセルとして集合的に(例えば、足し合わされて)分析されてもよい。これに関して、例えば、サブ画像120a~120cからの画像データの集合的な分析の結果は、場合によっては生成画像122の可視表現で提示することができ、場合によっては1つ又は複数のサブ画像の可視表現で提示することができ、場合によっては他のかたちで(例えば、画像化された物体の態様を特徴付ける統計的又は絶対的パラメータとして)提示することができる。
場合によっては、1つ又は複数の追加のサブ画像(図示せず)を取得し使用して、画像122を、光タイプ110d(図1参照)に基づく第4のサブ画像(図示せず)などとして、生成することができる。場合によっては、より少ない数のサブ画像を取得し使用して、画像122を生成することができるが、これは解像度又は3次元的な詳細を正確に表現する能力の相対的な損失に対応し得る。
上でも説明したように、いくつかの実施形態で使用される異なるタイプの光は、異なるタイプの偏光状態に対応することができる。例えば、マシンビジョンシステム100(図1参照)では、照明構成体108を、光タイプ110a,110dを、互いに対して垂直な向きの偏光として提供するように構成してもよい。したがって、表面特徴124の対向側から主に照らされたサブ画像120b及び120cは、主に垂直に偏光された光を使用して取得することができる。同様に、光タイプ110b,110cは、互いに垂直でかつ光タイプ110a,110dに対して45度回転された偏光方向を有する偏光として提供することができる。したがって、サブ画像120b,120cについて主に利用される光に対して45度回転され、さらに必要に応じて別の反対の角度からのサブ画像(図示せず)についての光に対して垂直に偏光された、主に偏光された光を使用して、サブ画像120aを取得することができる。以下でも説明するように、いくつかの実施形態では、この構成は、反対の照明方向から特定のサブ画像への(例えば、光タイプ110cからサブ画像120bへの)光の漏れを最小限に抑えることができ、これによって、表面の特徴の解像度を最大化することができる。しかしながら、他の実施形態では他の構成が可能である。
上でも説明したように、異なる方向から投射された異なる偏光状態の光を使用する単回画像取得を含む本明細書に記載のシステム及び方法は、従来のアプローチに対して顕著な改善をもたらすことができる。この改善の例を、図3A及び図3Bに示す。図3Aは、従来のイメージングシステムを使用して取得された、物体134のサブ画像130a~130cのセット及び関連する生成画像132を示す。これに対して、図3Bは、開示された実施形態に係るイメージングシステム(例えば、マシンビジョンシステム100)を使用して取得された、物体のサブ画像140a~140cのセット及び関連する生成画像142を示す。いくつかの実施形態では、サブ画像140a~140cは、異なる方向から投射された、異なる偏光方向又は異なる波長帯域を有する光を使用してそれぞれ取得することができるが、他のアプローチ(例えば、他の異なるタイプの光を使用するアプローチ)も可能である。
生成画像132,142を参照すると、物体134の表面特徴は、画像142においてかなりより大きなコントラスト及び細かさで表現されていることが分かる。特に、物体134の表面特徴の表面傾斜が、生成画像142において、高レベルの細かさで、画像内のグレー値の差異として(例えば、より明るいグレー値が、より大きな表面傾斜に対応)、表現されているが、他の実施形態では他のアプローチが使用されてもよい。同様に、画像内で表現された3D表面特徴の検査を含む、マシンビジョン手法を使用する表面特徴の分析は、画像132に関してよりも、画像142に関してより効率的かつ首尾よく進む場合がある。
いくつかの実施形態では、上でも説明したように、複数のタイプの光が複数の方向から投射されて複数のサブ画像を提供する単回画像取得は、1つのイメージング装置を備える固定体又は可動体イメージング装置を使用して行うことができる。そのような構成の例を図4に示す。特に、マシンビジョンシステム150は、リングライト158として構成された照明構成体によって照らされるようなターゲット領域154の画像を取り込むように構成された1つの(例えば、固定位置の)イメージング装置152を含む。リングライト158は、イメージング領域154内の物体162の4つの側から4つの異なるタイプの光160a~160dを提供するように構成され、これは、光源のアレイ(図示せず)と、光源とターゲット領域154との間のリングライト158のそれぞれの側に配置された4つの別個の表面前フィルタ166a~166dと、によって提供される。さらに、1つ又は複数の表面後フィルタ168の構成体が、ターゲット領域154と1つのイメージングセンサ170との間の光軸164に沿って配置される。特に、1つ又は複数の表面後フィルタ168は、それぞれのタイプの光160a~160dを、イメージングセンサ170のピクセル検出器(図示せず)のそれぞれのサブセットに当てるために選択的に主に通過させるように構成される。したがって、イメージング装置152は、1つの光軸164に沿った単回画像取得を介して、物体162の表面の4つの異なるサブ画像(図示せず)を取得することができ、これらはそれぞれ、異なるタイプの光及び異なる照明方向によって主に情報が与えられる。次に、(例えば、上記のように)物体162の表面特徴の1つの詳細画像を生成するために、サブ画像をまとめて処理することができる。
いくつかの実施形態では、複数のイメージングセンサをイメージング装置152の一部として提供することができる。いくつかの実施形態では、異なる偏光状態又は異なる波長の光タイプを使用することができ、又は異なる数の光タイプ若しくは関連する照明方向を使用することができる。いくつかの実施形態では、異なる光タイプの数は、照明方向の数に正確に対応しなくてもよい。いくつかの実施形態では、照明構成体は、イメージング装置152に統合されることなどによって、リングライト158とは構造的に異なったものとされてもよい。いくつかの実施形態では、イメージング装置152、及び適当な場合にはリングライト158又は他の照明構成体を、ハンドヘルド表面検査装置に含むなどして、移動可能に構成することができる。いくつかの実施形態では、(複数の)表面後フィルタ168を、イメージングセンサ170のピクセル検出器サブセットのそれぞれに対応する異なるフィルタリング領域を有する単層フィルタとして構成することができる。いくつかの実施形態では、1つ又は複数の表面後フィルタを、他のかたちで構成することができ、これには、特定のピクセル検出器のサブセットを主に照らすための特定のタイプの光を通過させるためにアレイに配置された複数のフィルタのセットとして、又は多層単一フィルタとして構成することなどが含まれる。
図5Aは、本技術の実施形態に係るマシンビジョンシステム150、マシンビジョンシステム100又は他のイメージングシステムの一部として使用することができる例示的なイメージングセンサ180を示す。特に、イメージングセンサ180は、複数のスーパーピクセル検出器アレイ182のアレイを含む。さらに、スーパーピクセル検出器アレイ182はそれぞれ、関連する(例えば、統合された)フィルタアレイ184を有する複数のピクセル検出器(例えば、少なくとも3つのピクセル検出器)を含み、フィルタアレイ184は、主に特定の別個のタイプの光を選択的に通過させて、各検出器アレイ182内のピクセル検出器の各1つ(又は2つ以上)によって感知されるように配置されたフィルタを含む。(上で大まかに説明したように、いくつかのフィルタ構成体は、光タイプ間の区別可能な非重複を伴うサブ画像の取得を可能にするように構成することができ、これには、主に1つのタイプの光が特定のピクセル検出器のセットを照らすこととなるもの以外の構成が含まれる)。
図示の実施形態では、各検出器アレイ182は、4つのピクセル検出器サブセット182a~182dを含み、各ピクセル検出器サブセットは、特定の単回画像取得のための関連するサブ画像(図示せず)の各ピクセルのデータを提供するように構成されているが、他の構成も可能である。同様に、各フィルタアレイ184は4つの異なるフィルタ186a~186dを含み、フィルタはそれぞれ、異なるタイプの光を主に通過させるように構成されているが、他の構成も可能である(区別可能に重複していない光タイプを通過させる他の構成を含む)。したがって、単回画像取得動作が、4つの異なる照明方向から画像化されるターゲットに投射された可能性があるものを含む4つの異なるタイプの光を受け付ける場合、イメージングセンサ180は、ターゲットの4つの異なるサブ画像のデータを取得及び出力することができ、各サブ画像は主に特定のタイプの光及び照明方向を使用して取得される。次に、サブ画像をさまざまな方法で(例えば、上で説明したような方法で)一緒に処理して、ターゲットの表面特徴の詳細を適切に表現する1つの結合画像を生成することができる。
さまざまなフィルタタイプが可能であるが、図示の例では、フィルタアレイ184は、異なる偏光方向の光をフィルタリングするように構成される。特に、フィルタアレイ184は、4つの異なる直線偏光方向のそれぞれを有する光を選択的に主に通過させて、4つの異なるピクセル検出器のサブセット182a~182dにそれぞれ当てるようにし、同時に他の偏光方向の光をフィルタリングするように構成されているが、他の構成も可能である。さらに、フィルタアレイ184は、約180度にわたる範囲に配された(例えば、図示するように、45度の差で規則的に配された)偏光方向を有する光を主に通過させるように構成される。繰り返しではあるが他の構成も可能であるものの、この種の配置は、あるタイプの光(例えば、特定の偏光方向の光)が、別のタイプの光(例えば、別の偏光方向の光)に主に関連するサブ画像に漏れることを最小限にとどめるために有用である場合がある。よって、これは、サブ画像に基づき生成される、結果として得られる画像の品質を改善するのに役立つ場合がある。
さらに、上でも説明したように、異なる偏光状態の光の使用は、関連データの損失又はターゲットの表面色による誤ったデータの包含を回避するのに役立つ場合がある。しかしながら、他の実施形態では他の構成が可能である。例えば、フィルタアレイ184が偏光フィルタアレイとして示されているものの、異なる色(即ち、波長帯域)又は他のタイプの光のための同様な構成を有するベイヤーフィルタ(例えば、フィルタアレイごとに3つのピクセル検出器サブセットを有するもの)などの他のフィルタタイプも可能である。
図示したように、検出器アレイ182は、それ自体が、イメージングセンサ180全体にわたって規則的なインターリーブパターンで配列されている。しかしながら、他の実施形態では他の構成が可能である。例えば、いくつかの構成は、特定のタイプの光のための複数のピクセル検出器が互いにすぐ隣に隣接して配置されている、ピクセル検出器のサブセットのアレイを含み得る。いくつかの実施形態では、ピクセル検出器サブセットアレイの考え得るパターンは、使用される光のタイプの数に基づき制限され得る。いくつかの実施形態では、特定の画像取得に使用できる光のタイプの数よりも多くのピクセル検出器のサブセット(例えば、関連するフィルタを備えたもの)を含むことができる。例えば、検出器アレイ182は、4つの異なるタイプの光を別々に検出するように構成されるが、イメージングセンサ180は、いくつかの実施形態において、異なる数の光タイプ(例えば、少なくとも3つのタイプの光)を用いて画像(及びサブ画像)を取得することができる。
図5Bは、(例えば、上でも大まかに説明した)単一の生成画像を生成するための単回画像取得の一部として、物体の異なるサブ画像を取得するために、イメージングセンサ及び適切なフィルタ(例えば、図5Aに示すようなもの)と組み合わせて使用できる統合照明アタッチメント192を備えた例示的なイメージング装置190を示す。特に、照明装置192は統合光源194(例えば、単色又は多色LEDアレイ)のセットを含み、統合光源194のセットは、イメージング装置190の画像取得開口部196及びレンズ構成体198(これらは共に非図示のイメージング軸を画定する)の周囲の異なるそれぞれの側に配置されている。さらに、イメージング装置190の取り外し可能なカバー200はフィルタ202a~202dのセットを含み、フィルタ202a~202dのセットは、カバー200がイメージング装置190に取り付けられたときに光源194を覆うように構成されている。したがって、イメージング装置190は、4つの異なる方向から(例えば、物体の4つの異なる側から)投射される4つの異なるタイプの光で特定の物体(図5Bには示していない)を照らすことができる。したがって、イメージングセンサ180(図5Aを参照)を用いて、単回画像取得からの入射光がフィルタリングされて、4つのサブ画像を提供することができ、サブ画像はそれぞれ、4つのフィルタ202a~202dのうちの別々のフィルタからの光とそれぞれ主に関連付けられる。その後、4つのサブ画像をまとめて処理して、詳細な表面表現を含む画像を生成することができる。
図示の実施形態では、離散的な光源の4つの離散的なセットの4つのフィルタ202a~202dが、カバー200の4つの離散的な部分の上に4つの離散的な四分儀を伴うアレイに配置される。同様に、4つのフィルタ202a~202dはそれぞれ、異なる偏光方向を有する離散的フィルタリング領域を提供し、対向するフィルタ202a,202d及び202b,202cは、互いに対して垂直な偏光方向を提供する。いくつかの実施形態では、上でも説明したように、この配置は、表面特徴の特に高品質の画像をもたらす場合があり、これには、対向方向からターゲットへの最も相対的に区別可能な光タイプ(例えば、垂直偏光方向の光)の投射に起因する、対向方向からの光の特定のサブ画像へ漏れが可能限り最小限となる結果としてもたらされる場合が含まれる。
しかしながら、他の実施形態では、他のタイプのフィルタ又は他の数若しくは他の構成のフィルタリング領域が可能である。例えば、いくつかの構成では、垂直に配向された偏光フィルタを、互いに隣接して配置するか、あるいは他のかたちで、結果として得られる光タイプが隣接する方向からターゲットに投射されることを可能にするように配置してもよい。場合によっては、そのような構成は特定の表面タイプ、特徴又は配向について有用となる場合がある。さらに、別の例として、いくつかの実施形態では、角度範囲の周りで任意に配される偏光方向を含む、異なる偏光方向の任意のセットを効果的に有する複数の光タイプを使用することができる。
図5Aと図5Bの比較において示すように、フィルタアレイ184の偏光方向(又は方向)は、フィルタ202a~202dの偏光方向と実質的に同一であり、それぞれが180度にわたる範囲で45度相対的に分離している(即ち、業界内で一般に許容される製造公差と同一である)。さらに、ピクセル検出器のサブセット182a~182dのそれぞれに対するフィルタアレイ184の偏光方向は、フィルタ202a~202dのうちの対応する1つの偏光方向と実質的に同相であるように構成される。いくつかの実施形態では、これにより、関連するサブ画像のそれぞれについて、特定のタイプの入射光を最大限使用することが可能となり得る。しかしながら、他の実施形態では他の構成が可能である。例えば、イメージングセンサ(又は複数のイメージングセンサ)についてのフィルタの偏光方向は、対応する入射光のタイプの偏光方向と位相がずれるように回転させることができる。これに関して、イメージングセンサ(又は複数のイメージングセンサ)についての偏光方向間の相対的な分離が入射光のタイプの偏光方向間の相対的分離と同じである限り、いくつかの構成において、適切に良好な画質を維持することができる。同様の考慮事項は、直線偏光ではなく楕円偏光又は円偏光を利用する実施形態であって、この点以外は図5A及び図5Bに示すものと同様の構成を含む実施形態における、他のタイプの光に関しても適用することができる。
場合によっては、上でも示唆したように、サブ画像を取得するために異なるタイプの光を主に使用して(又は区別可能な非重複を伴って)いるにもかかわらず、異なるサブ画像間で共通のデータがいくらかある場合がある。例えば、フィルタアレイ182(図5A参照)の偏光フィルタは、特定の偏光方向の光を主に通過させるように配置され、類似した方向(例えば、45度異なる)の偏光状態とされた光も特定のフィルタをいくらか通過することができる。したがって、特定の方向の偏光状態とされ、特定の方向から物体に投射される一部の光は、物体で反射し、異なる偏光方向及び異なる投射方向を有する光に主に関連するサブ画像の一部としてピクセル検出器によって取得され得る。メインのタイプの光(例えば、特定の偏光方向)がサブ画像内で優勢である場合を含め、場合によっては、上述のサブ画像の処理を、別のタイプの追加の光を効果的に無視しながら(例えば、ピクセル検出器のサブセットに当たる全ての光が1つのタイプのみであると仮定することによって)行うことができる。しかしながら、いくつかの実施形態では、これに関して追加の処理ステップを設けることができる。
また、上で説明したように、いくつかの実施形態では、複数のイメージングセンサでサブ画像を取得するように構成することができる。例えば、いくつかの実施形態は複数のイメージング装置を含むことができ、各イメージング装置は、少なくとも1つのタイプの光及び少なくとも1つの対応する照明方向に主に関連付けられる少なくとも1つのサブ画像を取得するように構成された少なくとも1つのイメージングセンサを有する。同様に、いくつかの実施形態は、複数のイメージングセンサを備えた単一イメージング装置を含むことができ、各イメージングセンサは、少なくとも1つのタイプの光及び少なくとも1つの対応する照明方向に関連付けられる少なくとも1つのサブ画像を取得するように構成される。
図6は、開示された技術の一実施形態による例示的なマシンビジョンシステム220を示し、マシンビジョンシステム220は、別個のイメージングセンサ224a~224dをそれぞれが有する複数のイメージング装置222a~222dを備えている。またマシンビジョンシステム220はリングライト226を含み、リングライト226は、4つの異なるタイプの光228a~228dを4つの対応する方向からターゲット領域230に投射するように構成されるが、他の照明構成体も可能である。この構成により、単回画像取得のために投射されるような上記のタイプの光228a~228dは、ターゲット領域230内の物体232で反射して、最初に1つの光軸234に沿ってイメージング装置222a~222dに向かって進むことができる。光軸234に沿って配置され、あらゆるさまざまな公知のタイプのビームスプリッタとして構成することができる第1のビームスプリッタ236に光が到達すると、光を2つの別個の(例えば、垂直な)経路に分割することができる。次に、これらの経路はそれぞれ別のビームスプリッタ238,240と交差し、その結果、光が合計4つの別個の光軸にさらに分割され、それぞれが、イメージング装置222a~222dそれぞれのレンズ構成体及びイメージングセンサ224a~224dと整列している。
さらに、4つの別個のフィルタ242a~242dのそれぞれが、これらの4つの光軸のそれぞれに沿って配置されている。したがって、単回画像取得の一部としてマシンビジョンシステムへの組み込みが認められているような4つ(又はそれ以下)の特定のタイプのうちの各タイプの光は、イメージングセンサ224a~224dのうちの特定の関連する1つのイメージングセンサによる特定のサブ画像の取得のために主に通過することができる。次に、電子コントローラ(図示せず)が、単回集合画像取得においてイメージング装置222a~222dによって別個に取得されて得られたサブ画像をまとめて処理して、物体232の表面特徴の高品質表現を有する結合画像を生成することができる。
別の実施形態では、図6に示す原理は、複数の(例えば、少なくとも3つの)サブ画像を取得するために、複数の(例えば、少なくとも3つの異なる)タイプの光を1つ又は複数のイメージングセンサに向けるためのビームスプリッタの使用を含み、この原理を、本明細書に記載の他の例示的な構成と組み合わせて又はこれに代えて、実施することができる。同様に、図6ではイメージング装置222a~222dは別個の装置として示されているものの、いくつかの実施形態は同様の内部構成を有するより大きなイメージング装置を含むことができ、このイメージング装置においては、複数のイメージングセンサのそれぞれ又は1つのイメージングセンサの複数のサブセクションのそれぞれが、単回画像取得のために、それぞれのタイプの光及び関連するそれぞれの照明方向を使用してそれぞれのサブ画像を取得するように構成されている。同様に、フィルタ242a~242dはイメージング装置222a~222dの外側に配置されるように示されているが(例えば、取り外し可能なカバーを使用する結果そうなる可能性がある)、他の構成のフィルタは、特定のサブ画像を取得するために特定のタイプの光を選択的に主に通過させるために(そして選択的に他のタイプの光を主に除外するために)、さまざまなイメージング軸に沿ってさまざまな他の位置に配置することができる。他の実施形態ではビームスプリッタの他の構成も使用することができ、そして、光シールド244a~244dなどの遮蔽構成体を含む他のコンポーネントを、必要に応じて特定のビームスプリッタ又は他のイメージング装置に関連付けることができ、これによりサブ画像取得のための関連情報を確実に伝えることができる。
上での議論と一致して、いくつかの実施形態は、開示されたマシンビジョンシステム100,150,220(又は他のシステム)の1つ又は複数を使用して実施し得るものを含む、物体の表面の表面特徴の画像を取得する方法を含むことができる。図6に概略的に示すように、例えば、異なるそれぞれの方向からの複数のタイプの光、例えば、第1の方向からの第1のタイプの光及び第2の異なる方向からの第2の異なるタイプの光で、表面を同時に照らすことができる(300)。次に、照らされた表面の単回画像取得を実行することができ(310)、これは例えば、第1のタイプの光を使用し、第2のタイプの光を少なくとも部分的に除外して、第1のサブ画像を取得し、そして、第2のタイプの光を使用し、第1のタイプの光を少なくとも部分的に除外して、第2のサブ画像を取得することを含む。第1のサブ画像及び第2のサブ画像に基づいて、関心のある表面特徴を含む表面の画像を生成することができる(320)。最後に、必要に応じて、生成された(320)画像を、任意のさまざまな公知の画像分析手法を使用して分析することができる(330)。
いくつかの実例では、以下でさらに詳細に説明するように、上記方法は他の態様を含むことができる。
いくつかの実例では、第1のサブ画像を取得することは、第2のタイプの光をフィルタリングして第2のタイプの光を少なくとも部分的に第1のサブ画像から除外することを含んでもよく、
第2のサブ画像を取得することは、第1のタイプの光をフィルタリングして第1のタイプの光を少なくとも部分的に第2のサブ画像から除外することを含んでもよい。
いくつかの実例では、単回画像取得は、1つ又は複数のイメージングセンサを使用して実行することができる。第1のサブ画像は、第2のタイプの光が1つ又は複数のイメージングセンサに到達する前に、第2のタイプの光をフィルタリングすることに基づいて取得することができる。第2のサブ画像は、第1のタイプの光が1つ又は複数のイメージングセンサに到達する前に、第1のタイプの光をフィルタリングすることに基づいて取得することができる。
いくつかの実例では、第1のタイプの光は第1の偏光方向で偏光されてもよく、第2のタイプの光は、第1の偏光方向とは異なる第2の偏光方向で偏光されてもよい。
いくつかの実例では、第1のタイプの光及び第2のタイプの光は直線偏光の偏光状態とすることができる。
いくつかの実例では、第1のタイプの光及び第2のタイプの光は円偏光の偏光状態とすることができる。
いくつかの実例では、第1のタイプの光及び第2のタイプの光は、楕円偏光の偏光状態とすることができる。
いくつかの実例では、第1の偏光方向は、第2の偏光方向に対して少なくとも45度オフセットされていてもよい。
いくつかの実例では、第1のタイプの光は、第1の偏光フィルタを使用して表面に到達する前に偏光されてもよく、第2のタイプの光は、第2の偏光フィルタを使用して表面に到達する前に偏光されてもよく、第1の偏光フィルタ及び第2の偏光フィルタは、互いに対して第1の角度偏光分離を有する。
いくつかの実例では、第1のサブ画像は、第2のタイプの光が表面を離れた後、第3の偏光フィルタを用いて第2のタイプの光をフィルタリングすることに基づいて取得することができ、第2のサブ画像は、第1のタイプの光が表面を離れた後、第4の偏光フィルタを用いて第1のタイプの光をフィルタリングすることに基づいて取得することができる。第3の偏光フィルタ及び第4の偏光フィルタは、互いに対して、第1の角度偏光分離と同じ(又は異なる)第2の角度偏光分離を有することができる。
いくつかの実例では、第3の偏光フィルタ及び第4の偏光フィルタは、第1の偏光フィルタ及び第2の偏光フィルタに対してそれぞれ位相シフトされていてもよい。
いくつかの実例では、第1のタイプの光は、主に第1の波長帯域内であってもよく、第2のタイプの光は、主に、第1の波長帯域と重複しない第2の波長帯域内にあってもよい。
いくつかの実例では、第1のタイプの光及び第2のタイプの光で表面を照らすと同時に、第3の方向から第3のタイプの光で表面を照らすことができる。第3のタイプの光は、第1のタイプの光及び第2のタイプの光とは異なってもよく、第3の方向は第1の方向及び第2の方向とは異なってもよい。これに関して、単回画像取得を実行することは、第3のタイプの光を使用して第3のサブ画像を取得することをさらに含むことができる。表面の画像の生成は、さらに第3のサブ画像に基づくことができる。
いくつかの実例では、第1のタイプの光、第2のタイプの光及び第3のタイプの光で表面を照らすと同時に、第4の方向から第4のタイプの光で表面を照らすことができる。第4のタイプの光は、第1のタイプの光、第2のタイプの光及び第3のタイプの光とは異なってもよく、第4の方向は、第1の方向、第2の方向及び第3の方向とは異なってもよい。これに関して、単回画像取得の実行は、第4のタイプの光を使用して第4のサブ画像を取得することを含むことができる。表面の画像の生成は、さらに第4のサブ画像に基づくことができる。
いくつかの実例では、第1のタイプの光及び第2のタイプの光は、リングライトを使用して提供することができる。
いくつかの実例では、第1のサブ画像及び第2のサブ画像は、1つのイメージングセンサで受信された光に基づいて取得することができる。第1のサブ画像は、1つのイメージングセンサのピクセル検出器の第1のサブセットに対して第2のタイプの光をフィルタリングすることに基づいて取得することができる。第2のサブ画像は、センサのピクセル検出器の第2のサブセットに対して第1のタイプの光をフィルタリングすることに基づいて取得することができる。
いくつかの実例では、第1のサブ画像及び第2のサブ画像は、第1のイメージングセンサ及び第2のイメージングセンサで受信された光にそれぞれ基づいて取得することができる。
いくつかの実例では、第1のサブ画像は、第2のタイプの光が第1のイメージングセンサに到達する前に第2のタイプの光をフィルタリングすることに基づいて取得することができる。第2のサブ画像は、第1のタイプの光が第2のイメージングセンサに到達する前に第1のタイプの光をフィルタリングすることに基づいて取得することができる。
いくつかの実施形態は、物体の表面の表面特徴の画像を取得するためのイメージングシステムを含むことができ、その例は、本明細書に開示されるマシンビジョンシステム100,150,220(又は他のシステム)のうちの1つ又は複数によって表現されているか、あるいはその変形形態に適用可能である。1つ又は複数の光源は、第1の方向からの第1のタイプの光と第2の方向からの第2のタイプの光で同時に表面を照らすように構成することができる。第1のタイプの光と第2のタイプの光、第1の方向と第2の方向は、互いに異なる可能性がある。1つ又は複数のイメージングセンサは、表面の第1のサブ画像及び第2のサブ画像を同時に取得するように構成することができる。第1のサブ画像は、第1のタイプの光を使用し、第2のタイプの光を少なくとも部分的に除外して取得することができ、第2のサブ画像は、第2のタイプの光を使用し、第1のタイプの光を少なくとも部分的に除外して取得することができる。1つ又は複数の処理装置は、第1のサブ画像及び第2のサブ画像に基づいて表面特徴を含む表面の画像を生成するように構成することができる。
いくつかの実施形態では、イメージングシステムは、以下でさらに詳細に説明するように、他の態様を含むことができる。
いくつかの実施形態では、1つ又は複数の光源は、第1の偏光方向を有する第1のタイプの光を提供し、そして第1の偏光方向とは異なり得る第2の偏光方向を有する第2のタイプの光を提供するように構成することができる。
いくつかの実施形態では、トーン又は複数のフィルタを、1つ又は複数のイメージングセンサと表面との間に配置することができる。1つ又は複数のフィルタは、第2のサブ画像及び第1のサブ画像に対して第1のタイプの光及び第2のタイプの光をそれぞれフィルタリングするように構成することができる。
いくつかの実施形態では、1つ又は複数のフィルタは、第1のサブ画像を取得するための第1の偏光方向の光を通過させるように構成された第1の表面後偏光フィルタと、第2のサブ画像を取得するための第2の偏光方向の光を通過させるように構成された第2の表面後偏光フィルタと、を含むことができる。
いくつかの実施形態では、第1の偏光方向は、第2の偏光方向に対して少なくとも45度オフセットされてもよい。
いくつかの実施形態では、第1の偏光方向は、第2の偏光方向に対して90度オフセットされてもよい。
いくつかの実施形態では、第1の偏光フィルタ又は第2の偏光フィルタのうちの少なくとも1つは直線偏光フィルタとしてもよい。
いくつかの実施形態では、第1の偏光フィルタ又は第2の偏光フィルタのうちの少なくとも1つは円形偏光フィルタとしてもよい。
いくつかの実施形態では、第1の偏光フィルタ又は第2の偏光フィルタのうちの少なくとも1つは楕円偏光フィルタとしてもよい。
いくつかの実施形態では、第1の表面前フィルタ及び第2の表面前フィルタは、1つ又は複数の光源からの光に第1の偏光方向及び第2の偏光方向をそれぞれ与えるように構成することができる。
いくつかの実施形態では、第1の表面前フィルタ及び第2の表面前フィルタは、それぞれ、第1の表面後フィルタ及び第2の表面後フィルタに対して位相シフトされたものとすることができる。
いくつかの実施形態では、1つ又は複数のフィルタは、第1のサブ画像の取得のために第1の波長帯域の光を通過させるように構成された第1の表面後偏光フィルタと、第2のサブ画像の取得のために第2の波長帯域の光を通過させるように構成された第2の表面後偏光フィルタと、を含むことができる。
いくつかの実施形態では、1つ又は複数の光源は、第3の方向からの第3のタイプの光及び第4の方向からの第4のタイプの光で、同時に、表面をさらに照らすように構成することができる。また、1つ又は複数のイメージングセンサは、表面の第3のサブ画像及び第4のサブ画像を同時に取得するよう構成することができる。第3のサブ画像は第3のタイプの光を使用して取得することができ、第4のサブ画像は第4のタイプの光を使用して取得することができる。1つ又は複数の処理装置は、第3のサブ画像及び第4のサブ画像にも基づいて表面の画像を生成するように構成することができる。
いくつかの実施形態では、第1のタイプの光、第2のタイプの光、第3のタイプの光及び第4のタイプの光は、第1の偏光方向、第2の偏光方向、第3の偏光方向及び第4の偏光方向をそれぞれ有することができる。第1の方向、第2の方向、第3の方向及び第4の方向は、物体の第1の側、第2の側、第3の側及び第4の側に対応することができる。
いくつかの実施形態では、第1の側は第3の側の反対にあってもよく、第1の偏光方向は第3の偏光方向に垂直でもよい。
いくつかの実施形態では、第2の側は第4の側の反対にあってもよく、第2の偏光方向は第4の偏光方向に垂直でもよい。
いくつかの実施形態では、1つ又は複数のイメージングセンサは、ピクセル検出器の第1のサブセット及び第2のサブセット上で第1のサブ画像及び第2のサブ画像を取得するように構成された1つのイメージングセンサを含むことができる。
いくつかの実施形態では、1つ又は複数のフィルタは、ピクセル検出器の第1のサブセットに対して第2のタイプの光をフィルタリングし、ピクセル検出器の第2のサブセットに対して第1のタイプの光をフィルタリングするように構成することができる。
いくつかの実施形態では、1つ又は複数のイメージングセンサは、第1のサブ画像を取得するように構成された第1のイメージングセンサと、第2のサブ画像を取得するように構成された第2のイメージングセンサと、を含むことができる。
いくつかの実施形態では、ビームスプリッタは、表面から受け取った光を第1のイメージングセンサ及び第2のイメージングセンサに向けるように構成することができる。第1のフィルタは、第1のイメージングセンサに対して第2のタイプの光をフィルタリングするように構成することができる。第2のフィルタは、第2のイメージングセンサに対して第1のタイプの光をフィルタリングするように構成することができる。
いくつかの実施形態は表面検査装置を含むことができ、その例は、本明細書に開示されるマシンビジョンシステム100,150,220(又は他のシステム)のうちの1つ若しくは複数を利用することができる、又はそれにより表現できる、又はそれのバリエーションに適用することができる。イメージング装置は、ピクセル検出器の少なくとも3つのサブセットを含む1つ又は複数のイメージングセンサを含むことができる。照明構成体は、少なくとも3つの方向から少なくとも3つのタイプの光でターゲット領域を照らすように配置された1つ又は複数の光源を含むことができる。少なくとも3つのタイプの光のうちの各々は、他の少なくとも2つのタイプの光とは異なる偏光方向を有することができるとともに、少なくとも3つの方向のうち、上記他の少なくとも2つのタイプの光とは異なる別の方向からターゲット領域に向けられてもよい。フィルタ構成体は、少なくとも3つのタイプの光の各々を、ピクセル検出器の少なくとも3つのサブセットのうちの対応する1つに対して選択的にフィルタリングするように配置することができる。1つ又は複数の処理装置は、ターゲット領域内の物体の単回取得を実行するように構成することができ、これにはピクセル検出器の少なくとも3つのサブセットに対応する少なくとも3つのサブ画像の取得が含まれる。
いくつかの実施形態では、表面検査装置は、以下でさらに詳しく説明するように、他の態様を含むことができる。
いくつかの実施形態では、イメージング装置は、少なくとも3つのサブ画像の各々に基づいて物体の表面の画像を生成するように構成することができる1つ又は複数の処理装置をさらに含むことができる。画像を生成することは、少なくとも1つのサブ画像のうちの1つにおけるピクセル値を、少なくとも1つのサブ画像のうちの別の1つにおけるピクセル値から差し引くことを含むことができる。
いくつかの実施形態では、照明構成体はライトリングであってもよい。
いくつかの実施形態では、照明構成体は、1つ又は複数のイメージングセンサを囲むイメージング本体部に取り外し可能に固定されるように構成され得る照明アタッチメントであってもよい。
いくつかの実施形態では、照明アタッチメントは、画像取得開口部の周囲に配置された光源のアレイと、光源のアレイと整列された少なくとも3つの偏光フィルタと、を含むことができる。
いくつかの実施形態では、照明アタッチメントは、4つのタイプの偏光を提供することができるよう光源のアレイと整列した4つの偏光フィルタを含むことができる。1つ又は複数のイメージングセンサは、ピクセル検出器の4つのサブセットを含むことができる。ターゲット領域内の物体の単回取得の実行は、ピクセル検出器の4つのサブセットに対応する4つのサブ画像を取得することを含むことができる。
いくつかの実施形態では、アタッチメントである偏光フィルタはそれぞれ、異なる偏光方向を有することができる。
いくつかの実施形態では、アタッチメントである偏光フィルタの第1のアタッチメント偏光フィルタ及び第2のアタッチメント偏光フィルタは、画像取得開口部の対向する第1の側及び第2の側に配置することができ、互いに対して垂直な偏光方向を有することができる。
いくつかの実施形態では、アタッチメントである偏光フィルタの第3のアタッチメント偏光フィルタ及び第4のアタッチメント偏光フィルタは、画像取得開口部における、対向する第1の側及び第2の側とは別の、対向する第3の側及び第4の側に配置することができ、互いに対して垂直な偏光方向を有することができる。
いくつかの実施形態では、イメージング装置は、ピクセル検出器の4つのサブセットを含むことができ、フィルタ構成体は、アタッチメントである偏光フィルタからの偏光を通過させるようにそれぞれが構成された4つのセンサ偏光フィルタを含むことができる。
いくつかの実施形態では、センサ偏光フィルタの各々は、アタッチメントである偏光フィルタの各々と同相であってもよい。
いくつかの実施形態では、アタッチメントである偏光フィルタは照明アタッチメントから取り外し可能であり、これにより光源のアレイからの光について、偏光状態を再設定可能とすることができる。
いくつかの実施形態では、ピクセル検出器の4つのサブセットを1つのイメージングセンサに含めることができる。
いくつかの実施形態では、ピクセル検出器の4つのサブセットそれぞれを、異なるイメージングセンサに含めることができる。複数のビームスプリッタを配置して、物体から反射された光をピクセル検出器の4つのサブセットのそれぞれに向けることができる。
上に開示された特定の実施形態は単なる例にすぎず、本技術は、本明細書において教示された内容の利益を得る当業者に明らかな、異なる、しかし同等のかたちで修正及び実施され得る。さらに、以下の特許請求の範囲に記載されている場合を除き、本明細書に示されている構造又は設計の詳細は、限定を意図していない。したがって、上に開示された特定の実施形態が変更又は修正され得、そのようなバリエーションは全て、本技術の範囲内であり精神に含まれるものと考えられることは明らかである。したがって、本明細書で求める保護は以下の特許請求の範囲に記載される通りのものである。

Claims (17)

  1. 物体の表面の表面特徴の画像を取得する方法であって、
    少なくとも3つのタイプの光で少なくとも3つの方向から前記表面を同時に照らす工程と、
    1つ又は複数のイメージングセンサを含む単一イメージング装置を用いて、照らされた前記表面の単回画像取得を実行する工程であって、少なくとも3つのサブ画像を取得することを含む工程と、
    前記少なくとも3つのサブ画像に基づいて、3次元検査のための前記表面特徴を含む前記表面の画像を生成する工程と、を有し、
    前記同時に照らす工程において、前記少なくとも3つのタイプの光はそれぞれ、前記少なくとも3つの方向のうちの別々の方向から前記表面を照らし、
    前記単回画像取得を実行する工程において、前記少なくとも3つのサブ画像はそれぞれ、前記少なくとも3つのタイプの光のうちの別々のタイプの光を用いてかつ他の少なくとも2つのタイプの光を少なくとも部分的に除外して、取得され
    前記単一イメージング装置の複数の光源のセットと、前記単一イメージング装置のカバー上に設けられかつ前記複数の光源のセットを覆う複数のフィルタのセットと、を用いて、前記表面が前記少なくとも3つのタイプの光で同時に照らされる、方法。
  2. 前記少なくとも3つのタイプの光はそれぞれ、異なる偏光方向を有し、
    前記少なくとも3つのタイプの光は、直線偏光、楕円偏光又は円偏光のうちの少なくとも1つである、請求項1に記載の方法。
  3. 前記少なくとも3つのタイプの光は、それぞれが異なる偏光方向を有する少なくとも4つのタイプの光を含み、
    前記単回画像取得は、少なくとも4つのサブ画像の取得を含み、
    前記少なくとも4つのサブ画像はそれぞれ、前記少なくとも4つのタイプの光のうちの別々のタイプの光を用いて取得され、
    前記表面の前記画像を生成する工程は、前記少なくとも4つのサブ画像に基づいて行われる、請求項2に記載の方法。
  4. 前記少なくとも4つのタイプの光で前記表面を同時に照らす工程は、
    第1の偏光方向の光、第2の偏光方向の光、第3の偏光方向の光及び第4の偏光方向の光で、第1の側、第2の側、第3の側及び第4の側から、それぞれ、前記表面を照らすことを含み、
    前記第1の側は前記第3の側の反対にあり、前記第2の側は前記第4の側の反対にある、請求項に記載の方法。
  5. 前記第1の偏光方向と前記第3の偏光方向は90度異なり、
    前記第2の偏光方向と前記第4の偏光方向は90度異なる、請求項に記載の方法。
  6. 前記少なくとも3つのサブ画像は、1つのイメージングセンサにおいて、前記表面から受け取った光に基づき取得され、
    前記サブ画像のうちの第1のサブ画像は、前記1つのイメージングセンサのピクセル検出器のうちの第1のサブセットに対して、第2のタイプの光及び第3のタイプの光を少なくとも部分的に除外することに基づいて取得され、
    前記サブ画像のうちの第2のサブ画像は、前記1つのイメージングセンサのピクセル検出器のうちの第2のサブセットに対して、第1のタイプの光及び第3のタイプの光を少なくとも部分的に除外することに基づいて取得され、
    前記サブ画像のうちの第3のサブ画像は、前記1つのイメージングセンサのピクセル検出器のうちの第3のサブセットに対して、第1のタイプの光及び第2のタイプの光を少なくとも部分的に除外することに基づいて取得される、請求項に記載の方法。
  7. 前記少なくとも3つのサブ画像は、3つ以上のイメージングセンサにおいて、前記表面から受け取った光に基づき取得され、
    前記サブ画像のうちの第1のサブ画像は、前記イメージングセンサのうちの第1のイメージングセンサに対して、第2のタイプの光及び第3のタイプの光を少なくとも部分的に除外することに基づいて取得され、
    前記サブ画像のうちの第2のサブ画像は、前記イメージングセンサのうちの第2のイメージングセンサに対して、第1のタイプの光及び第3のタイプの光を少なくとも部分的に除外することに基づいて取得され、
    前記サブ画像のうちの第3のサブ画像は、前記イメージングセンサのうちの第3のイメージングセンサに対して、第1のタイプの光及び第2のタイプの光を少なくとも部分的に除外することに基づいて取得される、請求項に記載の方法。
  8. 物体の表面の表面特徴の画像を取得するためのイメージングシステムであって、
    少なくとも3つのタイプの光で少なくとも3つの方向から前記表面を同時に照らすよう構成された1つ又は複数の光源と、
    照らされた前記表面の単回画像取得を実行するよう構成された1つ又は複数のイメージングセンサと、
    カバーと、
    1つ又は複数の処理装置と、を有し、
    前記少なくとも3つのタイプの光はそれぞれ、前記少なくとも3つのタイプの光のうちの他のタイプの光とは異なるとともに、前記少なくとも3つの方向のうちの別々の方向から前記表面を照らすものであり、
    前記単回画像取得には少なくとも3つのサブ画像の取得が含まれ、当該少なくとも3つのサブ画像はそれぞれ、前記少なくとも3つのタイプの光のうちの異なるタイプの光を用いてかつ他の少なくとも2つのタイプの光を少なくとも部分的に除外して取得されるものであり、
    前記1つ又は複数の処理装置は、前記表面特徴を含む前記表面の画像であって、前記表面特徴の表面傾斜の差異を当該画像内のグレー値の差異として表している画像を、前記少なくとも3つのサブ画像に基づいて生成するよう構成され、
    前記1つ又は複数の光源は、照明アタッチメントに含まれる複数の光源を含み、
    前記1つ又は複数のイメージングセンサは、単一イメージング装置内にあり、前記照明アタッチメントに取り付けられており、
    前記カバーは前記照明アタッチメントに取り付けられており、前記複数の光源を覆うように構成された複数のフィルタを含む、イメージングシステム。
  9. 前記少なくとも3つのタイプの光はそれぞれ、異なる偏光方向を有し、
    前記少なくとも3つのタイプの光はそれぞれ、直線偏光である、請求項に記載のイメージングシステム。
  10. 前記少なくとも3つのタイプの光は、少なくとも4つのタイプの光を含み、
    前記単回画像取得は少なくとも4つのサブ画像の取得を含み、
    前記少なくとも4つのサブ画像はそれぞれ、前記少なくとも4つのタイプの光のうちの別々のタイプの光を用いてかつ他の少なくとも3つのタイプの光を少なくとも部分的に除外して取得されるものであり、
    前記1つ又は複数の処理装置は、前記少なくとも4つのサブ画像に基づいて前記表面の前記画像を生成するよう構成されている、請求項に記載のイメージングシステム。
  11. 前記少なくとも4つのタイプの光はそれぞれ、異なる偏光方向を有する、請求項1に記載のイメージングシステム。
  12. 前記1つ又は複数の光源は、第1の偏光方向の光、第2の偏光方向の光、第3の偏光方向の光及び第4の偏光方向の光で、第1の側、第2の側、第3の側及び第4の側から、前記表面を同時に照らすよう構成されている、請求項1に記載のイメージングシステム。
  13. 前記第1の側は前記第3の側の反対にあり、前記第2の側は前記第4の側の反対にあり、
    前記第1の偏光方向と前記第3の偏光方向は90度異なり、
    前記第2の偏光方向と前記第4の偏光方向は90度異なる、請求項1に記載のイメージングシステム。
  14. 前記3つのタイプの光に対応する少なくとも3つの偏光配向を提供するよう構成された1つ又は複数の表面前フィルタと、
    前記少なくとも3つのサブ画像のれぞれの取得のために、前記少なくとも3つの偏光配向の各々を選択的に通過させるよう構成された1つ又は複数の表面後フィルタと、をさらに備える、請求項8に記載のイメージングシステム。
  15. 前記1つ又は複数のイメージングセンサは、前記少なくとも3つのサブ画像の各々を、それぞれが取得するよう構成された少なくとも3つのイメージングセンサであり、
    前記イメージングシステムは、前記表面からの光を前記少なくとも3つのイメージングセンサの各々に向けるよう配置された1つ又は複数のビームスプリッタをさらに備える、請求項1に記載のイメージングシステム。
  16. 前記1つ又は複数のイメージングセンサは、前記少なくとも3つのサブ画像の各々を取得するよう構成された1つのイメージングセンサである、請求項1に記載のイメージングシステム。
  17. 物体の表面特徴を分析するためのイメージングシステムであって、
    前記イメージングシステムは、単一イメージング装置を備え、
    前記単一イメージング装置は、
    画像取得のための光軸を画定するレンズ構成体と、
    前記レンズ構成体及び前記光軸と整列した1つ又は複数のイメージングセンサと、
    前記単一イメージング装置内に組み込まれた照明システムであって、前記光軸の第1の側に位置する第1の照明アレイと、前記光軸の第2の側に位置する第2の照明アレイと、前記光軸の第3の側に位置する第3の照明アレイと、を有する照明システムと、
    前記照明システムに取り付けられたカバーであって、前記第1の照明アレイを覆うように構成された第1のフィルタと、前記第2の照明アレイを覆うように構成された第2のフィルタと、前記第3の照明アレイを覆うように構成された第3のフィルタと、を含むカバーと、
    1つ又は複数の処理装置と、を有し、
    前記1つ又は複数の処理装置は、
    前記照明システムを制御して、前記第1の照明アレイによって第1のタイプの光で前記物体を照らすことと、前記第2の照明アレイによって第2のタイプの光で前記物体を照らすことと、前記第3の照明アレイによって第3のタイプの光で前記物体を照らすことと、を同時に行わせ、
    前記1つ又は複数のイメージングセンサから、第1のサブ画像データ、第2のサブ画像データ及び第3のサブ画像データを受け取り、
    前記表面特徴を分析するために、前記第1のサブ画像、前記第2のサブ画像及び前記第3のサブ画像をまとめて分析し、これにより、前記表面特徴を分析するよう構成され、
    前記第1のタイプの光、前記第2のタイプの光及び前記第3のタイプの光のうちのそれぞれのタイプの光は、前記第1のタイプの光、前記第2のタイプの光及び前記第3のタイプの光のうちの他のタイプの光とタイプが異なっており、
    前記第1のサブ画像データ、前記第2のサブ画像データ及び前記第3のサブ画像データは、前記第1のタイプの光、前記第2のタイプの光及び前記第3のタイプの光のうちの各タイプの光を用いて、かつ、前記第1のタイプの光、前記第2のタイプの光及び前記第3のタイプの光のうちの前記各タイプの光以外を少なくとも部分的に除外することで、前記1つ又は複数のイメージングセンサによって取得される、イメージングシステム。
JP2021010501A 2020-01-27 2021-01-26 複数タイプの光を用いるビジョン検査のためのシステム及び方法 Active JP7413293B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062966323P 2020-01-27 2020-01-27
US62/966,323 2020-01-27

Publications (3)

Publication Number Publication Date
JP2021117232A JP2021117232A (ja) 2021-08-10
JP2021117232A5 JP2021117232A5 (ja) 2023-04-28
JP7413293B2 true JP7413293B2 (ja) 2024-01-15

Family

ID=74285413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021010501A Active JP7413293B2 (ja) 2020-01-27 2021-01-26 複数タイプの光を用いるビジョン検査のためのシステム及び方法

Country Status (5)

Country Link
US (1) US11651505B2 (ja)
EP (1) EP3855170A1 (ja)
JP (1) JP7413293B2 (ja)
KR (2) KR102558937B1 (ja)
CN (1) CN113256552A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023167984A1 (en) * 2022-03-02 2023-09-07 Cognex Corporation System and method for use of polarized light to image transparent materials applied to objects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168382A1 (en) 2011-06-22 2014-06-19 Dongguk University Gyeongju Campus Industry-Academy Cooperation Foundation Method and system for reliable 3d shape extraction of metal surface
JP2019217179A (ja) 2018-06-22 2019-12-26 カシオ計算機株式会社 診断支援装置
WO2021117633A1 (ja) 2019-12-13 2021-06-17 ソニーグループ株式会社 撮像装置、情報処理装置、撮像方法、および情報処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844104B2 (en) * 2002-09-23 2010-11-30 Hermann Tropf Method for establishing a data collection and method and device for gripping an object
US7285767B2 (en) 2005-10-24 2007-10-23 General Electric Company Methods and apparatus for inspecting an object
EP3828519A3 (en) 2007-05-31 2021-10-06 Panasonic Intellectual Property Management Co., Ltd. Image processing device
JP5365644B2 (ja) 2011-01-13 2013-12-11 オムロン株式会社 はんだ付け検査方法、およびはんだ付け検査機ならびに基板検査システム
US20130070140A1 (en) * 2011-09-21 2013-03-21 Robert Gove Image sensors with multiple lenses of varying polarizations
TWI482054B (zh) * 2012-03-15 2015-04-21 Wen Chieh Geoffrey Lee 具有多數個彩色光源的高解析度與高敏感度移動偵測器
JP6403445B2 (ja) 2014-06-09 2018-10-10 株式会社キーエンス 検査装置、検査方法およびプログラム
KR102223279B1 (ko) * 2014-07-08 2021-03-05 엘지전자 주식회사 측정장치 및 이를 구비하는 웨어러블 디바이스
US10502556B2 (en) * 2016-07-20 2019-12-10 Mura Inc. Systems and methods for 3D surface measurements
US10951888B2 (en) * 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168382A1 (en) 2011-06-22 2014-06-19 Dongguk University Gyeongju Campus Industry-Academy Cooperation Foundation Method and system for reliable 3d shape extraction of metal surface
JP2019217179A (ja) 2018-06-22 2019-12-26 カシオ計算機株式会社 診断支援装置
WO2021117633A1 (ja) 2019-12-13 2021-06-17 ソニーグループ株式会社 撮像装置、情報処理装置、撮像方法、および情報処理方法

Also Published As

Publication number Publication date
CN113256552A (zh) 2021-08-13
KR20230128430A (ko) 2023-09-05
US20210233267A1 (en) 2021-07-29
KR20210096572A (ko) 2021-08-05
JP2021117232A (ja) 2021-08-10
US11651505B2 (en) 2023-05-16
KR102558937B1 (ko) 2023-07-21
EP3855170A1 (en) 2021-07-28

Similar Documents

Publication Publication Date Title
US10401228B2 (en) Simultaneous capturing of overlay signals from multiple targets
JP5733032B2 (ja) 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
Cao et al. A prism-mask system for multispectral video acquisition
JP4897987B2 (ja) 色合い測定システム
JP6364777B2 (ja) 画像データ取得システム及び画像データ取得方法
WO2020168094A1 (en) Simultaneous depth profile and spectral measurement
US10126709B2 (en) Apparatus and method for performing in-line lens-free digital holography of an object
WO2014011182A1 (en) Convergence/divergence based depth determination techniques and uses with defocusing imaging
KR101087180B1 (ko) 신뢰성 있는 금속 표면 3차원 형상 추출 기법 및 시스템
JP7413293B2 (ja) 複数タイプの光を用いるビジョン検査のためのシステム及び方法
JP4447970B2 (ja) 物体情報生成装置および撮像装置
US8018586B2 (en) Metrology of thin film devices using an addressable micromirror array
WO2019057879A1 (en) PHOTOMETRIC STEREO SYSTEM AND METHOD FOR INSPECTING OBJECTS USING A SINGLE CAMERA AND COMPUTER PROGRAM
JP6587959B2 (ja) 肌画像生成装置、肌画像生成装置の作動方法、および肌画像生成処理プログラム
WO2018057579A1 (en) Machine vision spectral imaging
US20210293723A1 (en) Optical inspection device
JP6508763B2 (ja) 表面検査装置
JP7136064B2 (ja) 被検査体の表面検査装置および被検査体の表面検査方法
KR102194261B1 (ko) 멀티포인트 편광 정보를 이용한 에지 및 표면 상태 검사 장치 및 방법
KR101223800B1 (ko) Rgb 컬러가 적용된 모아레를 이용한 형상 측정장치
KR101606720B1 (ko) 3차원 표면 측정 장치 및 방법
KR101164208B1 (ko) 기판 검사장치
JP2020139822A (ja) 検査装置、検査システム及び検査方法
JP7413234B2 (ja) 光学撮像装置、光学検査装置、および、光学検査方法
JP2024043331A (ja) 光学検査プログラム、光学検査システム、光学検査システムのための処理装置、及び、光学検査方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230420

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231227

R150 Certificate of patent or registration of utility model

Ref document number: 7413293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150