JP7257162B2 - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
JP7257162B2
JP7257162B2 JP2019021810A JP2019021810A JP7257162B2 JP 7257162 B2 JP7257162 B2 JP 7257162B2 JP 2019021810 A JP2019021810 A JP 2019021810A JP 2019021810 A JP2019021810 A JP 2019021810A JP 7257162 B2 JP7257162 B2 JP 7257162B2
Authority
JP
Japan
Prior art keywords
light
unit
image data
measured
structured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019021810A
Other languages
English (en)
Other versions
JP2020128931A (ja
Inventor
修平 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2019021810A priority Critical patent/JP7257162B2/ja
Priority to US16/727,961 priority patent/US10909702B2/en
Priority to CN202010080761.8A priority patent/CN111551130A/zh
Priority to DE102020201476.0A priority patent/DE102020201476A1/de
Publication of JP2020128931A publication Critical patent/JP2020128931A/ja
Application granted granted Critical
Publication of JP7257162B2 publication Critical patent/JP7257162B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509Color coding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/845Objects on a conveyor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8829Shadow projection or structured background, e.g. for deflectometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8845Multiple wavelengths of illumination or detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、測定対象物の高さを検査する検査装置に関する。
三角測距方式の検査装置においては、投光部により測定対象物の表面に光が照射され、その反射光が1次元または2次元に配列された画素を有する受光部により受光される。受光部により得られる受光量分布のデータに基づいて、測定対象物の高さ画像を示す高さデータが生成される。このような高さデータは、工場等の生産現場において、生産された測定対象物の高さを検査(インライン検査)するために用いられることがある。
ところで、上記の検査装置においては、高さデータに加えて測定対象物の画像を示すテクスチャ画像データを取得することができれば、測定対象物についてより多くの情報を把握することが可能になる。
例えば、特許文献1に記載された検査装置においては、三次元計測用照射手段により測定対象物に三次元計測用の光が照射された状態で、CCD(電荷結合素子)カメラにより測定対象物が撮像される。この撮像により得られる画像データに基づいて測定対象物の三次元データが生成される。また、その検査装置においては、二次元撮像用照射手段により測定対象物に撮像用の光が照射された状態で、CCDカメラにより測定対象物が撮像される。この撮像により得られる画像データに基づいて測定対象物の表面を表す二次元データが生成される。
三次元データに対して二次元データがマッピングされることにより、濃淡情報を有する高さ画像が表示手段に表示される。このようにして表示される高さ画像によれば、測定対象物の質感および現実感の把握がしやすくなる。
特開2006-284215号公報
特許文献1に記載された検査装置を例えばベルトコンベアを流れる測定対象物の検査に用いるためには、ベルトコンベアの上方に三次元計測用照射手段、二次元計測用照射手段およびCCDカメラの設置スペースを確保する必要がある。この場合、検査装置のレイアウトの自由度を向上させるために、検査装置の小型化が望まれる。
また、上記の検査装置においては、三次元データを得るための撮像と二次元データを得るための撮像とが、互いに異なる2つの照射手段を用いて個別に行われる。そのため、一方の照射手段と他方の照射手段との間で測定対象物の表面上の照射可能な領域に差が生じる可能性がある。この場合、生成された三次元データにおける測定不可能な領域と二次元データにおける撮像不可能な領域との整合が取れない。それにより、測定対象物の形状および表面状態について正確な情報を把握することが難しい。
本発明の目的は、小型化を実現しつつ測定対象物の形状および表面状態の正確な把握を容易にする検査装置を提供することである。
(1)本発明に係る検査装置は、互いに異なる波長を有する複数の光をそれぞれ出射するとともに、出射された複数の光が予め定められた共通の光路を進行するように設けられた複数の光源と、共通の光路上に設けられ、共通の光路を進行する光を受けるとともに、受けた光に基づいて構造化光および一様光を選択的に生成し、生成された構造化光または一様光が共通の光路を進行して測定対象物に照射されるように構成されたパターン生成部と、をそれぞれ有するとともに、測定対象物に対して互いに異なる方向から光を出射する複数の照明部と、複数の照明部のそれぞれが有する複数の光源のうち少なくとも1つの光源から光を出射させるとともに、少なくとも1つの光源から出射された光を用いて位相シフトさせつつ複数の構造化光が生成されるように複数の光源およびパターン生成部を制御し、複数の光源から複数の波長をそれぞれ有する複数の一様光が順次生成されるように複数の光源およびパターン生成部を制御する投光制御部と、測定対象物から反射される複数の構造化光を順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成し、測定対象物から反射される複数の一様光を順次受光することにより測定対象物の画像を示す複数のテクスチャ画像データを順次生成する撮像部と、複数の照明部のそれぞれから出射され、測定対象物から反射された複数の構造化光を順次受光して、撮像部により生成された複数のパターン画像データに基づいて、当該複数の照明部のそれぞれに対応して生成された測定対象物の高さ画像を示す複数の高さデータを生成し、当該複数の高さデータを合成することにより合成高さデータを生成するとともに、当該複数の照明部のそれぞれから出射され、測定対象物から反射された複数の一様光を順次受光して、撮像部により生成された複数のテクスチャ画像データを合成することにより、当該複数の照明部のそれぞれに対応して生成された測定対象物の画像を複数の波長に対応する複数の色で示す複数のカラーテクスチャ画像データを生成し、当該複数のカラーテクスチャ画像データを合成することにより合成カラーテクスチャ画像データを生成する画像データ生成部と、合成高さデータに基づいて測定対象物の高さ方向であるZ方向に関する検査を実行し、合成カラーテクスチャ画像データに基づいて測定対象物のX方向またはY方向に関する検査を実行する検査部とを備える。
その検査装置においては、複数の光源のうち少なくとも1つの光源から光が出射される。出射された少なくとも1つの光がパターン生成部に入射することにより、位相シフトされつつ生成される複数の構造化光が測定対象物に順次照射される。このとき、測定対象物から反射される複数の構造化光が撮像部により順次受光され、複数のパターン画像データが順次生成される。複数の照明部のそれぞれに対応して生成された複数のパターン画像データに基づいて複数の高さデータが生成される。複数の高さデータが合成され、合成高さデータが生成される。
また、複数の照明部のそれぞれにおいて、複数の光源から互いに異なる波長を有する複数の光が順次出射されてパターン生成部に入射する。それにより、互いに異なる波長を有する複数の一様光がパターン生成部から測定対象物に順次照射される。測定対象物から反射される複数の一様光が撮像部により順次受光され、各照明部から複数の一様光が出射されるごとに、当該照明部に対応する複数のテクスチャ画像データが順次生成される。各照明部から複数の一様光が出射されるごとに、生成された複数のテクスチャ画像データが合成されることにより当該照明部に対応する複数のカラーテクスチャ画像データが生成される。複数のカラーテクスチャ画像データが合成され、合成テクスチャ画像データが生成される。合成高さデータと合成カラーテクスチャ画像データとに基づいて測定対象物の検査が実行される。
この場合、パターン生成部および撮像部は、高さデータおよびカラーテクスチャ画像データを生成するために共通に用いられる。それにより、高さデータを生成するための構成と、カラーテクスチャ画像データを生成するための構成とを個別に用意する必要がない。具体的には、測定対象物に構造化光を照射する投光系と、測定対象物に一様光を照射する投光系とを個別に用意する必要がない。また、測定対象物から反射する構造化光を受光する受光系と、測定対象物から反射する一様光を受光する受光系とを個別に用意する必要がない。それにより、高さデータおよびカラーテクスチャ画像データを生成するための複数の投受光系の部品点数を低減することができる。したがって、検査装置の小型化および低コスト化が可能になる。
また、上記の構成によれば、高さデータの生成に用いられる構造化光と、カラーテクスチャ画像データの生成に用いられる一様光とは、共通の光路を進行して測定対象物に照射される。それにより、高さデータの生成時とカラーテクスチャ画像データの生成時との間で、測定対象物上に形成される影等の領域に差が生じない。したがって、高さデータにおける測定不可能な領域とカラーテクスチャ画像データにおける測定不可能な領域とは、整合が取れた状態で維持される。その結果、高さデータおよびカラーテクスチャ画像データに基づいて、測定対象物の形状および表面状態について正確な情報を容易に把握することが可能になる。
(2)複数の光源は、緑色光を出射する光源、青色光を出射する光源および赤色光を出射する光源を含み、投光制御部は、複数の光源から緑色光、青色光および赤色光を出射させるとともに、出射された緑色光、青色光および赤色光から得られる白色光を用いて位相シフトさせつつ複数の構造化光が生成されるように複数の光源およびパターン生成部を制御してもよい。
測定対象物の色によっては、当該測定対象物に特定の波長の光が照射されても、照射された光が測定対象物の表面で吸収される場合がある。この場合、複数の構造化光を測定対象物に照射しても、測定対象物において反射される構造化光の量が小さいことにより高さデータを得ることができない可能性がある。
上記の構成によれば、高さデータを生成する際に、複数の波長の成分を含む白色の複数の構造化光が測定対象物に照射される。それにより、測定対象物の色によらず、少なくとも一部の波長の成分を測定対象物の表面で反射させることができる。その結果、高さデータを生成可能な測定対象物上の範囲が拡大される。
(3)検査装置は、上下方向に延びる光軸を有する受光レンズを含み、測定対象物から上方に反射される構造化光または一様光を撮像部へ導く受光光学系をさらに備え、複数の照明部のそれぞれは、複数の光源からそれぞれ出射される複数の光が共通の光路を上方から下方に進行するように複数の光源を保持する保持部材と、複数の光源からそれぞれ出射されて上方から下方に進行する複数の光を受光レンズの光軸から遠ざかるように斜め上方へ反射する反射部材とをさらに有し複数の照明部のそれぞれにおいて、パターン生成部は、反射部材により反射される複数の光の少なくとも一部を受光レンズの光軸に近づくように斜め下方に反射することにより構造化光および一様光を選択的に生成する光生成面を有してもよい。
この場合、複数の照明部のそれぞれにおいて、保持部材により保持される複数の光源から出射される複数の光の各々は、共通の光路を上方から下方に進行し、反射部材により受光レンズの光軸から遠ざかるように斜め上方に反射される。反射部材により反射された光の少なくとも一部は、光生成面により受光レンズの光軸に近づくように斜め下方に反射される。このとき、光生成面において反射される光は、構造化光または一様光として測定対象物に照射される。測定対象物から上方に反射される構造化光または一様光は、受光光学系を通して撮像部に入射する。
上記の構成によれば、複数の照明部のそれぞれにおいて、複数の光に共通の光路が折り返されている。それにより、測定対象物に構造化光および一様光を照射するための構成が、その照射方向に大型化することが抑制される。また、上記の構成によれば、受光光学系の光軸に対して直交する方向において、複数の光源、保持部材および反射部材は、パターン生成部と受光光学系の光軸との間に位置する。それにより、受光光学系の光軸に対して直交する方向におけるパターン生成部と受光光学系の光軸との間の空間を有効利用することができる。
したがって、複数の照明部、受光光学系および撮像部を含む複数の投受光系の構成をよりコンパクト化することができる。
(4)複数の照明部のそれぞれは、受光レンズの光軸に近づくように斜め下方に延びる光軸を有する投光レンズを含み、光生成面により生成された構造化光または一様光を測定対象物へ導く投光光学系をさらに有し、測定対象物は予め定められた載置面上に載置され、複数の照明部のそれぞれにおいて、パターン生成部および投光光学系は、パターン生成部の光生成面と載置面とが投光光学系の主平面に関してシャインプルーフの原理に従うように配置されてもよい。
この場合、光生成面において生成された構造化光または一様光は、投光光学系を通して測定対象物に照射される。ここで、パターン生成部の光生成面と載置面とが、投光光学系の主平面に関してシャインプルーフの原理に従うので、載置面上に光生成面の全体の焦点を合わせることができる。したがって、投光レンズのf値を小さくする場合でも載置面上に光生成面全体の焦点が合うので、より明るくなるように照明を設計することができる。
(5)検査装置は、複数の照明部、受光光学系および撮像部を収容するケーシングをさらに備えてもよい。
この場合、複数の照明部、受光光学系および撮像部を含む複数の投受光系を、ケーシング内にコンパクトに収容することができる。したがって、ケーシングの小型化が可能となり、ケーシングの設置スペースを低減することができる。さらに、検査装置の設置等の取り扱いが容易になる。
本発明によれば、検査装置の小型化が実現されるとともに測定対象物の形状および表面状態の正確な把握が容易になる。
本発明の一実施の形態に係る検査装置の構成を示すブロック図である。 図1のヘッド部の基本的な内部構成を説明するための模式図である。 三角測距方式の原理を説明するための図である。 図1の検査装置により実行される検査処理の一例を示すフローチャートである。 構造化光の照射方向および一様光の照射方向と測定対象物上の測定不可能な領域との関係を説明するための図である。 パターン生成部および投光レンズの好ましい位置関係を示す図である。 第1の変形例に係る検査装置の構成を示すブロック図である。 第2の変形例に係る検査装置の構成を示すブロック図である。
以下、本発明の一実施の形態に係る検査装置について図面を参照しながら説明する。
(1)検査装置の構成
図1は、本発明の一実施の形態に係る検査装置の構成を示すブロック図である。図1に示すように、検査装置300は、ヘッド部100、コントローラ部200、操作部310および表示部320を備える。コントローラ部200は、プログラマブルロジックコントローラ等の外部機器400に接続される。
図1に太い矢印で示すように、複数の測定対象物Sが、ヘッド部100の下方の空間を通過するようにベルトコンベア301により順次搬送される。各測定対象物Sがヘッド部100の下方の空間を通過する際には、当該測定対象物Sがヘッド部100の下方の所定の位置で一時的に静止するように、ベルトコンベア301が一定時間停止する。
ヘッド部100は、例えば投受光一体の撮像デバイスであり、照明部110、撮像部120および演算部130がヘッドケーシング100c内に収容された構成を有する。照明部110は、赤色、青色、緑色または白色の光であって、かつ、任意のパターンを有する光とパターンを有しない一様な光とを、選択的に斜め上方から測定対象物Sに照射可能に構成される。以下、任意のパターンを有する光を構造化光と呼び、一様な光を一様光と呼ぶ。照明部110の構成については後述する。
撮像部120は、撮像素子121および受光レンズ122,123を含む。受光レンズ122,123のうち少なくとも受光レンズ122は、テレセントリックレンズである。測定対象物Sにより上方に反射された構造化光または一様光は、撮像部120の受光レンズ122,123により集光および結像された後、撮像素子121により受光される。撮像素子121は、例えばモノクロCCD(電荷結合素子)であり、各画素から受光量に対応するアナログの電気信号を出力することにより画像データを生成する。撮像素子121は、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。
本実施の形態においては、構造化光が測定対象物Sに照射されたときの測定対象物Sの画像を示す画像データをパターン画像データと呼ぶ。これに対し、赤色、青色または緑色のいずれかの波長を有する一様光が測定対象物Sに照射されたときの測定対象物Sの画像を示す画像データをテクスチャ画像データと呼ぶ。
演算部130は、例えばFPGA(フィールドプログラマブルゲートアレイ)により実現され、撮像処理部131、画像データ生成部132、記憶部133および出力処理部134を含む。本実施の形態においては、演算部130はFPGAにより実現されるが、本発明はこれに限定されない。演算部130は、CPU(中央演算処理装置)およびRAM(ランダムアクセスメモリ)により実現されてもよいし、マイクロコンピュータにより実現されてもよい。
撮像処理部131は、照明部110および撮像部120の動作を制御する。画像データ生成部132は、複数のパターン画像データに基づいて測定対象物Sの高さ画像を示す高さデータを生成する。また、画像データ生成部132は、赤色、青色および緑色の一様光により生成された赤色、青色および緑色のテクスチャ画像データを合成することにより、測定対象物Sのカラー画像を示すカラーテクスチャ画像データを生成する。記憶部133は、撮像部120により生成された複数のパターン画像データおよびテクスチャ画像データを一時的に記憶する。また、記憶部133は、画像データ生成部132により生成された高さデータおよびカラーテクスチャ画像データを一時的に記憶する。出力処理部134は、記憶部133に記憶された高さデータまたはカラーテクスチャ画像データを出力する。演算部130の詳細については後述する。
コントローラ部200は、ヘッド制御部210、画像メモリ220および検査部230を含む。ヘッド制御部210は、外部機器400により与えられる指令に基づいて、ヘッド部100の動作を制御する。画像メモリ220は、演算部130により出力された高さデータまたはカラーテクスチャ画像データを記憶する。
検査部230は、使用者により指定された検査内容に基づいて、画像メモリ220に記憶された高さデータまたはカラーテクスチャ画像データについてエッジ検出または寸法計測等の処理を実行する。また、検査部230は、計測値を所定のしきい値と比較することにより、測定対象物Sの良否を判定し、判定結果を外部機器400に与える。
コントローラ部200には、操作部310および表示部320が接続される。操作部310は、キーボード、ポインティングデバイスまたは専用のコンソールを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。使用者は、操作部310を操作することにより、コントローラ部200に所望の検査内容を指定することができる。
表示部320は、例えばLCD(液晶ディスプレイ)パネルまたは有機EL(エレクトロルミネッセンス)パネルにより構成される。表示部320は、画像メモリ220に記憶された高さデータに基づく高さ画像を表示する。また、表示部320は、画像メモリ220に記憶されたカラーテクスチャ画像データに基づく測定対象物Sのカラー画像を表示する。さらに、表示部320は、検査部230による測定対象物Sの判定結果を表示する。
(2)ヘッド部100の基本的な内部構成
図2は、図1のヘッド部100の基本的な内部構成を説明するための模式図である。図2に示すように、撮像部120は、ヘッドケーシング100cの内部で受光レンズ122,123の共通の光軸ax0が上下方向に延びるように固定されている。撮像素子121は、受光レンズ122,123の共通の光軸ax0上で下方から上方に進行する光を受けるように、受光レンズ122,123の上方に固定されている。また、本例では、演算部130は、基板に実装された状態で撮像部120の上方に位置するように、ヘッドケーシング100c内で固定されている。
ヘッドケーシング100c内では、水平方向において撮像部120に隣り合うように照明部110が設けられている。照明部110は、光源111,112,113、ダイクロイックミラー114,115、照明レンズ116、ミラー117、パターン生成部118、投光レンズ119、第1の保持部材110aおよび第2の保持部材110bを含む。
第1の保持部材110aは、光源111,112,113、ダイクロイックミラー114,115および照明レンズ116を一体的に保持する。第2の保持部材110bは、ミラー117、パターン生成部118および投光レンズ119を一体的に保持する。第1の保持部材110aは、第2の保持部材110bの上方に位置するように第2の保持部材110bに接続される。第1の保持部材110aおよび第2の保持部材110bは、互いに接続された状態で、撮像部120と一定の位置関係を有するように、ヘッドケーシング100c内で固定されている。
光源111,112,113は、例えばLED(発光ダイオード)であり、緑色光、青色光および赤色光をそれぞれ出射する。各光源111~113はLED以外の他の光源であってもよい。
ダイクロイックミラー114は、光源111により出射された緑色光と光源112により出射された青色光とが重ね合わせ可能となるように第1の保持部材110aにより保持される。ダイクロイックミラー115は、ダイクロイックミラー114により重ね合わされた光と光源113により出射された赤色光とが重ね合わせ可能となるように第1の保持部材110aにより保持される。これにより、光源111~113から緑色光、青色光および赤色光が同時に出射される際には、それらの光が共通の光路上で重ね合わされ、白色光が生成される。
また、本実施の形態において、光源111~113およびダイクロイックミラー114,115は、光源111~113によりそれぞれ出射される複数の光が共通の光路を上方から下方に進行するように、第1の保持部材110aにより保持される。
照明レンズ116は、ダイクロイックミラー115の下方の位置で、ダイクロイックミラー115を通過または反射した光を集光するように、第1の保持部材110aにより保持される。ヘッドケーシング100c内において、照明レンズ116により集光される光はさらに上方から下方に向かって進行する。
ミラー117は、照明レンズ116を通過した光を撮像部120の光軸ax0から遠ざけつつ斜め上方へ反射するように第2の保持部材110bにより保持される。パターン生成部118は、ミラー117により反射される光を受けるように、第2の保持部材110bにより保持される。パターン生成部118は、例えばDMD(デジタルマイクロミラーデバイス)であり、受けた光の少なくとも一部を撮像部120の光軸ax0に近づくように斜め下方に反射することにより構造化光および一様光を選択的に生成する光生成面を有する。パターン生成部118は、LCDまたはLCOS(反射型液晶素子)であってもよい。
投光レンズ119は、当該投光レンズ119の光軸ax1が撮像部120の光軸ax0に近づきつつ斜め下方に延びるように第2の保持部材110bにより保持される。本実施の形態においては、投光レンズ119は、パターン生成部118からの光を拡大しつつ図1の測定対象物Sに照射する。なお、投光レンズ119は、テレセントリック光学系を含んでもよく、パターン生成部118からの構造化光または一様光を拡大するとともに平行化して測定対象物Sに照射可能に構成されてもよい。
上記の構成によれば、光源111,112,113から出射される複数の光に共通の光路が折り返されて測定対象物Sに照射される。それにより、第1の保持部材110aにより保持される各光学系が、第2の保持部材110bに保持される投光レンズ119の光軸ax1上に並ばない。したがって、測定対象物Sに構造化光および一様光を照射するための構成が、その照射方向に大型化することが抑制されている。
また、上記の構成によれば、撮像部120の光軸ax0に直交する方向において、第1の保持部材110aにより保持される各光学系は、パターン生成部118と撮像部120の光軸ax0との間に位置する。それにより、撮像部120の光軸ax0に直交する方向におけるパターン生成部118と撮像部120の光軸ax0との間の空間を有効利用することができる。したがって、ヘッドケーシング100c内で照明部110および撮像部120がコンパクトに配置されるので、ヘッド部100の小型化が実現されるとともにヘッド部100のレイアウトの自由度が向上する。
図1の演算部130の撮像処理部131は、後述する検査処理のフローに従って、光源111~113による光の出射を個別に制御する。また、照明部110から出射される光に所望のパターンが付与されるようにパターン生成部118を制御する。これにより、照明部110は、白色でかつ所定のパターンを有する構造化光と、緑色、青色または赤色の一様光とを選択的に出射する。さらに、撮像処理部131は、後述する検査処理のフローに従って、照明部110における構造化光または一様光の出射に同期して測定対象物Sを撮像するように撮像部120を制御する。
(3)高さデータの生成
検査装置300においては、ヘッド部100に固有の三次元座標系(以下、装置座標系と呼ぶ。)が定義される。本例の装置座標系は、原点と互いに直交するX軸、Y軸およびZ軸とを含む。以下の説明では、装置座標系のX軸に平行な方向をX方向と呼び、Y軸に平行な方向をY方向と呼び、Z軸に平行な方向をZ方向と呼ぶ。X方向およびY方向は、ベルトコンベア301の上面(以下、基準面と呼ぶ。)に平行な面内で互いに直交する。Z方向は、基準面に対して直交する。
ヘッド部100においては、三角測距方式により測定対象物Sの高さ画像を示す高さデータが生成される。図3は、三角測距方式の原理を説明するための図である。図3には、X方向、Y方向およびZ方向がそれぞれ矢印で示される。図3に示すように、照明部110の光学系(図2の投光レンズ119)の光軸ax1と撮像部120の光学系(図2の受光レンズ122,123)の光軸ax0との間の角度αが予め設定される。角度αは、0度よりも大きく90度よりも小さい。
ヘッド部100の下方に測定対象物Sが存在しない場合、照明部110から出射される光は、基準面Rの点Oにより反射され、撮像部120に入射する。一方、ヘッド部100の下方に測定対象物Sが存在する場合、照明部110から出射される光は、測定対象物Sの表面の点Aにより反射され、撮像部120に入射する。これにより、測定対象物Sが撮像され、測定対象物Sの画像を示す画像データが生成される。
点Oと点Aとの間のX方向における距離をdとすると、基準面Rに対する測定対象物Sの点Aの高さhは、h=d÷tan(α)により与えられる。演算部130は、撮像部120により生成される画像データに基づいて、距離dを算出する。また、演算部130は、算出された距離dに基づいて、測定対象物Sの表面の点Aの高さhを算出する。測定対象物Sの表面の全ての点の高さを算出することにより、光が照射された全ての点について装置座標系で表される座標を特定することができる。それにより、測定対象物Sの高さデータが生成される。
測定対象物Sの表面の全ての点に光を照射するために、照明部110から種々の構造化光が出射される。本実施の形態においては、Y方向に平行でかつX方向に並ぶような直線状の断面を有する縞状の構造化光(以下、縞状光と呼ぶ。)が、その空間位相が変化されつつ照明部110から複数回出射される。また、Y方向に平行な直線状の断面を有しかつ明部分と暗部分とがX方向に並ぶコード状の構造化光(以下、コード状光と呼ぶ。)が、その明部分および暗部分がグレイコード状に変化されつつ照明部110から複数回出射される。
(4)検査処理
図4は、図1の検査装置300により実行される検査処理の一例を示すフローチャートである。以下、図1に示される検査装置300の各構成要素および図4のフローチャートを用いて検査処理を説明する。まず、ヘッド部100において、撮像処理部131は、所定のパターンを有する白色の構造化光を出射するように照明部110を制御する(ステップS1)。また、撮像処理部131は、ステップS1における構造化光の出射と同期して測定対象物Sを撮像するように撮像部120を制御する(ステップS2)。これにより、測定対象物Sのパターン画像データが撮像部120により生成される。
次に、撮像処理部131は、直前のステップS2で生成されたパターン画像データを記憶部133に記憶させる(ステップS3)。また、撮像処理部131は、所定の回数撮像が実行されたか否かを判定する(ステップS4)。所定の回数撮像が実行されていない場合、撮像処理部131は、構造化光のパターンを変更するように図2のパターン生成部118を制御し(ステップS5)、ステップS1に戻る。ここで、構造化光のパターンを変更することには、構造化光のパターンの位相をシフトさせることも含まれる。所定の回数撮像が実行されるまで、ステップS1~S5が繰り返される。これにより、パターンが変化されつつ縞状光およびコード状光が測定対象物Sに順次照射されたときの複数のパターン画像データが記憶部133に記憶される。なお、縞状光とコード状光とは、いずれが先に出射されてもよい。
ステップS4で、所定の回数撮像が実行された場合、画像データ生成部132は、記憶部133に記憶された複数のパターン画像データについて演算を行うことにより、高さデータを生成する(ステップS6)。その後、出力処理部134は、ステップS6で生成された高さデータをコントローラ部200に出力する(ステップS7)。これにより、コントローラ部200の画像メモリ220に高さデータが蓄積される。
次に、撮像処理部131は、図2の複数の光源111,112,113のうち一の光源を選択するとともに選択された一の光源に対応する色の一様光を出射するように照明部110を制御する(ステップS8)。また、撮像処理部131は、ステップS8における一様光の出射と同期して測定対象物Sを撮像するように撮像部120を制御する(ステップS9)。これにより、一の光源に対応する色のテクスチャ画像データが撮像部120により生成される。
続いて、撮像処理部131は、直前のステップS9で生成されたテクスチャ画像データを記憶部133に記憶させる(ステップS10)。また、撮像処理部131は、全光源111~113を用いた撮像が実行されたか否かを判定する(ステップS11)。全光源111~113を用いた撮像が実行されていない場合、撮像処理部131は、直前のステップS7の処理後で光が出射されていない1または複数の光源から光を出射する光源を決定し(ステップS12)、ステップS8に戻る。全光源111~113を用いた撮像が実行されるまで、ステップS8~S12が繰り返される。これにより、測定対象物Sに照射される光の色が変化されつつ一様光が測定対象物Sに順次照射されたときの複数のテクスチャ画像データが記憶部133に記憶される。
ステップS11で、全光源111~113を用いた撮像が実行された場合、画像データ生成部132は、記憶部133に記憶された複数のテクスチャ画像データを合成することにより、カラーテクスチャ画像データを生成する(ステップS13)。その後、出力処理部134は、ステップS13で生成されたカラーテクスチャ画像データをコントローラ部200に出力する(ステップS14)。これにより、コントローラ部200の画像メモリ220にカラーテクスチャ画像データが蓄積される。
次に、コントローラ部200において、検査部230は、ステップS7,S14で画像メモリ220に蓄積された高さデータおよびカラーテクスチャ画像データに画像処理を実行する(ステップS15)。これにより、使用者により予め指定された検査内容に基づいて、高さデータまたはカラーテクスチャ画像データにおける所定部分の計測が実行される。具体的には、高さ方向(Z方向)に関する計測は高さデータを用いて行われ、X方向またはY方向に関する計測はカラーテクスチャ画像データを用いて行われる。
続いて、検査部230は、ステップS15で得られた計測値を所定のしきい値と比較することにより測定対象物Sの良否を判定し(ステップS16)、計測処理を終了する。
ここで、検査部230は、ステップS16における判定結果を表示部320に表示してもよいし、外部機器400に与えてもよい。また、検査部230は、上記ステップS6の処理で生成される高さデータに基づく高さ画像を表示部320に表示させることができる。さらに、表示部320は、上記ステップS13で生成されるカラーテクスチャ画像データに基づく測定対象物Sのカラー画像を表示部320に表示させることができる。
上記の検査処理においては、ステップS1~S7が実行された後にステップS8~S14が実行されるが、本発明はこれに限定されない。ステップS8~S14が実行された後にステップS1~S7が実行されてもよい。また、ステップS7,S14は、計測が実行される前におけるいずれの時点で実行されてもよく、他の処理と並列的に実行されてもよい。
(5)実施の形態の効果
(a)上記のヘッド部100においては、複数の光源111,112,113から緑色光、青色光および赤色光が出射され、白色光が生成される。生成された白色光がパターン生成部118に入射することにより、生成される複数の構造化光が測定対象物Sに順次照射される。このとき、測定対象物Sから反射される複数の構造化光が撮像部120により順次受光され、複数のパターン画像データが順次生成される。生成された複数のパターン画像データに基づいて高さデータが生成される。
また、複数の光源111,112,113から緑色光、青色光および赤色光が順次出射されてパターン生成部118に入射する。このときパターン生成部118が入射した緑色光、青色光および赤色光を反射することにより、緑色光、青色光および赤色光の一様光が測定対象物Sに順次照射される。測定対象物Sから反射される複数の一様光が撮像部120により順次受光され、複数のテクスチャ画像データが順次生成される。生成された複数のテクスチャ画像データが合成されることによりカラーテクスチャ画像データが生成される。高さデータとカラーテクスチャ画像データとに基づいて測定対象物Sの検査が実行される。
この場合、パターン生成部118および撮像部120は、高さデータおよびカラーテクスチャ画像データを生成するために共通に用いられる。それにより、高さデータを生成するための構成と、カラーテクスチャ画像データを生成するための構成とを個別に用意する必要がない。具体的には、測定対象物Sに構造化光を照射する投光系と、測定対象物Sに一様光を照射する投光系とを個別に用意する必要がない。また、測定対象物Sから反射する構造化光を受光する受光系と、測定対象物Sから反射する一様光を受光する受光系とを個別に用意する必要がない。それにより、高さデータおよびカラーテクスチャ画像データを生成するための複数の投受光系の部品点数を低減することができる。したがって、検査装置300のヘッド部100の小型化および低コスト化が可能になる。
(b)また、上記の構成によれば、高さデータの生成に用いられる構造化光と、カラーテクスチャ画像データの生成に用いられる一様光とは、共通の光路を進行して測定対象物Sに照射される。これにより得られる効果について説明する。
図5は、構造化光の照射方向および一様光の照射方向と測定対象物S上の測定不可能な領域との関係を説明するための図である。図5(a)に、参考例として測定対象物Sに構造化光を照射する照明部110Pと、測定対象物Sに一様光を照射する照明部110Qとを個別に用いて高さデータおよびテクスチャ画像データを生成する例が示される。
図5(a)の例では、照明部110P,110Qおよび撮像部120が互いに干渉することを防止するために、照明部110P,110Qおよび撮像部120が、水平方向に並ぶように配置されている。このような構成によれば、測定対象物Sの形状によっては、測定対象物Sに対して構造化光が照射される場合と、測定対象物Sに対して一様光が照射される場合とで、測定対象物S上に形成される影の領域が異なることになる。この場合、高さデータにおける測定不可能な領域とカラーテクスチャ画像データにおける測定不可能な領域との整合が取れない。
図5(b)に、本実施の形態に係る検査装置300において、測定対象物Sに構造化光および一様光を選択的に照射する照明部110を用いて高さデータおよびテクスチャ画像データを生成する例が示される。図5(b)に示されるように、本実施の形態に係る照明部110によれば、構造化光および一様光を測定対象物Sにそれぞれ照射する構成が共通化されている。それにより、測定対象物Sに対する構造化光および一様光の照射方向が一致する。このような構成によれば、測定対象物Sの形状によらず、測定対象物Sに対して構造化光が照射される場合と、測定対象物Sに対して一様光が照射される場合とで、測定対象物S上に形成される影の領域が一致することになる。したがって、高さデータにおける測定不可能な領域とカラーテクスチャ画像データにおける測定不可能な領域とは、整合が取れた状態で維持される。その結果、高さデータおよびカラーテクスチャ画像データに基づいて、測定対象物Sの形状および表面状態について正確な情報を容易に把握することが可能になる。
(c)上記の照明部110においては、高さデータの生成時に白色光の構造化光が測定対象物Sに照射される。
測定対象物Sの色によっては、当該測定対象物Sに特定の波長の光が照射されても、照射された光が測定対象物Sの表面で吸収される場合がある。この場合、特定の波長の構造化光を測定対象物Sに照射しても、測定対象物Sにおいて反射される構造化光の量が小さいことにより高さデータを得ることができない可能性がある。
上記の構成によれば、高さデータを生成する際に、複数の波長の成分を含む白色の複数の構造化光が測定対象物Sに照射される。それにより、測定対象物Sの色によらず、少なくとも一部の波長の成分を測定対象物Sの表面で反射させることができる。その結果、高さデータを生成可能な測定対象物S上の範囲が拡大される。
(d)上記のヘッド部100においては、高さデータおよびカラーテクスチャ画像データを生成するための複数の投受光系が、ヘッドケーシング100c内にコンパクトに収容される。したがって、ヘッド部100の小型化が可能となり、ヘッド部100の設置スペースを低減することができる。さらに、ヘッド部100の設置等の取り扱いが容易になる。
(6)パターン生成部118および投光レンズ119の好ましい位置関係
以下の説明では、ベルトコンベア301の上面に測定対象物Sが載置されていない状態で、照明部110から構造化光または一様光が照射されるベルトコンベア301の上面上の領域を照射領域と呼ぶ。
ヘッド部100においては、三角測距方式の形状測定を行うために、照明部110の光軸ax1が撮像部120の光軸ax0に対して傾斜する。このような構成においては、投光レンズ119の像側および物側の焦点面がその光軸ax1に対して直交していると、ベルトコンベア301の上面上にパターン生成部118の光生成面全体の焦点を合わせることができない。
そこで、上記のヘッド部100においては、パターン生成部118および投光レンズ119は、測定対象物Sが載置されるベルトコンベア301の上面に対してシャインプルーフの原理に従って配置されることが好ましい。
図6は、パターン生成部118および投光レンズ119の好ましい位置関係を示す図である。図6の例では、シャインプルーフの原理に従ってパターン生成部118の光生成面118S、投光レンズ119およびベルトコンベア301の上面の配置が定められている。
具体的には、投光レンズ119の主平面を含む面PP、パターン生成部118の光生成面118Sを含む面ISおよびベルトコンベア301の上面を含む面SSが共通の直線LP上で互いに交差するように、パターン生成部118および投光レンズ119が配置されている。
光生成面118Sが投光レンズ119の像側の焦点面に含まれかつベルトコンベア301の上面が投光レンズ119の物側の焦点面に含まれる場合、ベルトコンベア301の上面の照射領域301Sに光生成面118S全体の焦点が合う。したがって、投光レンズ119のf値を小さくする場合でも照射領域301Sに光生成面118S全体の焦点が合うので、より明るくなるように照明を設計することができる。
(7)変形例
(a)ヘッド部100は1個の照明部110および1個の撮像部120を含むが、本発明はこれに限定されない。図7は、第1の変形例に係る検査装置300の構成を示すブロック図である。図7に示すように、第1の変形例におけるヘッド部100は、4個の照明部110を含む。なお、図7においては、演算部130の図示が省略されている。
以下の説明では、4個の照明部110を区別する場合は、4個の照明部110をそれぞれ照明部110A~110Dと呼ぶ。照明部110A~110Dは、互いに同一の構造を有し、90度間隔で撮像部120を取り囲むように設けられる。具体的には、照明部110Aと照明部110Bとは、撮像部120を挟んで対向するように配置される。また、照明部110Cと照明部110Dとは、撮像部120を挟んで対向するように配置される。さらに、4個の照明部110A~110Dおよび撮像部120は、演算部130とともにヘッドケーシング100c内に収容されている。
この構成においては、4個の照明部110A~110Dにより測定対象物Sに対して互いに異なる4つの方向から光を出射することができる。それにより、いずれかの照明部110から出射される光により測定不可能な部分がある場合でも、その測定不可能な部分の形状を他の照明部110から出射される光を用いて測定することができる。そこで、4個の照明部110A~110Dにそれぞれ対応して生成された高さデータを合成することにより、測定不可能な部分がより低減された合成高さデータを生成することができる。また、4個の照明部110A~110Dにそれぞれ対応して生成されたカラーテクスチャ画像データを合成することにより、測定不可能な部分がより低減されたカラーテクスチャ画像データを生成することができる。
(b)上記のヘッド部100においては、撮像部120の光軸ax0が上下方向に延び、照明部110の光軸ax1が光軸ax0に対して傾斜するが、本発明はこれに限定されない。ヘッド部100は、照明部110および撮像部120の位置関係が上記の例とは逆になるように構成されてもよい。すなわち、ヘッド部100は、照明部110の光軸ax1が上下方向に延び、撮像部120の光軸ax0が光軸ax1に対して傾斜するように構成されてもよい。
また、この場合、1個の照明部110に対して、複数の撮像部120が設けられてもよい。図8は、第2の変形例に係る検査装置300の構成を示すブロック図である。図8に示すように、第2の変形例におけるヘッド部100は、4個の撮像部120を含む。なお、図8においては、演算部130の図示が省略されている。
以下の説明では、4個の撮像部120を区別する場合は、4個の撮像部120をそれぞれ撮像部120A~120Dと呼ぶ。撮像部120A~120Dは、互いに同一の構造を有し、90度間隔で照明部110を取り囲むように設けられる。具体的には、撮像部120Aと撮像部120Bとは、照明部110を挟んで対向するように配置される。また、撮像部120Cと撮像部120Dとは、照明部110を挟んで対向するように配置される。さらに、4個の撮像部120A~120Dおよび照明部110は、演算部130とともにヘッドケーシング100c内に収容されている。
この構成においては、4個の撮像部120A~120Dにより測定対象物Sに対して互いに異なる4つの方向から測定対象物Sを撮像することができる。それにより、いずれかの撮像部120から撮像不可能な部分がある場合でも、その撮像不可能な部分を他の撮像部120により撮像することができる。そこで、4個の撮像部120A~120Dにそれぞれ対応して生成された高さデータを合成することにより、測定不可能な部分がより低減された合成高さデータを生成することができる。また、4個の撮像部120A~120Dにそれぞれ対応して生成されたカラーテクスチャ画像データを合成することにより、測定不可能な部分がより低減されたカラーテクスチャ画像データを生成することができる。
(8)他の実施の形態
(a)上記実施の形態においては、高さデータを生成するために白色の構造化光が測定対象物Sに照射されるが、本発明はこれに限定されない。高さデータを生成するための構造化光として、白色の構造化光に限らず、赤色、青色、緑色またはそれらのうち2つが組み合わされた色の構造化光が用いられてもよい。この場合、構造化光の色は、使用者により選択可能であってもよい。これにより、使用者は、測定対象物Sの色、表面状態および形状等に応じて、適切な波長を有する光を用いて測定対象物Sの高さを検査することができる。
このように、構造化光の色を選択可能とする場合には、選択された色に応じて検査装置300のキャリブレーションが行われることが好ましい。それにより、色収差等の影響が除去された高さデータを生成することが可能になる。
(b)上記実施の形態に係る照明部110においては、光源111,112,113に共通の光路が、ミラー117およびパターン生成部118により折り曲げられるが、本発明はこれに限定されない。
光源111,112,113に共通の光路は、折り曲げられることなく直線状に延びてもよい。この場合、上記の照明部110からミラー117が不要となる。また、この場合、パターン生成部118としてLCD等の透過型の素子を用いる。それにより、照明部110の構造が単純化する。
(9)請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明する。上記実施の形態においては、測定対象物Sが測定対象物の例であり、光源111,112,113が複数の光源の例であり、パターン生成部118がパターン生成部の例であり、撮像処理部131が投光制御部の例であり、撮像部120が撮像部の例であり、画像データ生成部132が画像データ生成部の例であり、検査部230が検査部の例であり、検査装置300が検査装置の例である。
また、受光レンズ122,123が受光レンズおよび受光光学系の例であり、第1の保持部材110aが保持部材の例であり、ミラー117が反射部材の例であり、パターン生成部118の光生成面118Sが光生成面の例であり、投光レンズ119が投光レンズおよび投光光学系の例であり、ベルトコンベア301の上面が載置面の例であり、ヘッドケーシング100cがケーシングの例であり、複数の照明部110,110A~110Dが複数の照明部の例である。
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
(10)参考形態
(10-1)本参考形態に係る検査装置は、互いに異なる波長を有する複数の光をそれぞれ出射するとともに、出射された複数の光が予め定められた共通の光路を進行するように設けられた複数の光源と、共通の光路上に設けられ、共通の光路を進行する光を受けるとともに、受けた光に基づいて構造化光および一様光を選択的に生成し、生成された構造化光または一様光が共通の光路を進行して測定対象物に照射されるように構成されたパターン生成部と、複数の光源のうち少なくとも1つの光源から光を出射させるとともに、少なくとも1つの光源から出射された光を用いて位相シフトさせつつ複数の構造化光が生成されるように複数の光源およびパターン生成部を制御し、複数の光源から複数の波長をそれぞれ有する複数の一様光が順次生成されるように複数の光源およびパターン生成部を制御する投光制御部と、測定対象物から反射される複数の構造化光を順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成し、測定対象物から反射される複数の一様光を順次受光することにより測定対象物の画像を示す複数のテクスチャ画像データを順次生成する撮像部と、複数のパターン画像データに基づいて測定対象物の高さ画像を示す高さデータを生成するとともに、複数のテクスチャ画像データを合成することにより測定対象物の画像を複数の波長に対応する複数の色で示すカラーテクスチャ画像データを生成する画像データ生成部と、高さデータとカラーテクスチャ画像データとに基づいて測定対象物の検査を実行する検査部とを備える。
その検査装置においては、複数の光源のうち少なくとも1つの光源から光が出射される。出射された少なくとも1つの光がパターン生成部に入射することにより、位相シフトされつつ生成される複数の構造化光が測定対象物に順次照射される。このとき、測定対象物から反射される複数の構造化光が撮像部により順次受光され、複数のパターン画像データが順次生成される。生成された複数のパターン画像データに基づいて高さデータが生成される。
また、複数の光源から互いに異なる波長を有する複数の光が順次出射されてパターン生成部に入射する。それにより、互いに異なる波長を有する複数の一様光がパターン生成部から測定対象物に順次照射される。測定対象物から反射される複数の一様光が撮像部により順次受光され、複数のテクスチャ画像データが順次生成される。生成された複数のテクスチャ画像データが合成されることによりカラーテクスチャ画像データが生成される。高さデータとカラーテクスチャ画像データとに基づいて測定対象物の検査が実行される。
この場合、パターン生成部および撮像部は、高さデータおよびカラーテクスチャ画像データを生成するために共通に用いられる。それにより、高さデータを生成するための構成と、カラーテクスチャ画像データを生成するための構成とを個別に用意する必要がない。具体的には、測定対象物に構造化光を照射する投光系と、測定対象物に一様光を照射する投光系とを個別に用意する必要がない。また、測定対象物から反射する構造化光を受光する受光系と、測定対象物から反射する一様光を受光する受光系とを個別に用意する必要がない。それにより、高さデータおよびカラーテクスチャ画像データを生成するための複数の投受光系の部品点数を低減することができる。したがって、検査装置の小型化および低コスト化が可能になる。
また、上記の構成によれば、高さデータの生成に用いられる構造化光と、カラーテクスチャ画像データの生成に用いられる一様光とは、共通の光路を進行して測定対象物に照射される。それにより、高さデータの生成時とカラーテクスチャ画像データの生成時との間で、測定対象物上に形成される影等の領域に差が生じない。したがって、高さデータにおける測定不可能な領域とカラーテクスチャ画像データにおける測定不可能な領域とは、整合が取れた状態で維持される。その結果、高さデータおよびカラーテクスチャ画像データに基づいて、測定対象物の形状および表面状態について正確な情報を容易に把握することが可能になる。
(10-2)複数の光源は、緑色光を出射する光源、青色光を出射する光源および赤色光を出射する光源を含み、投光制御部は、複数の光源から緑色光、青色光および赤色光を出射させるとともに、出射された緑色光、青色光および赤色光から得られる白色光を用いて位相シフトさせつつ複数の構造化光が生成されるように複数の光源およびパターン生成部を制御してもよい。
測定対象物の色によっては、当該測定対象物に特定の波長の光が照射されても、照射された光が測定対象物の表面で吸収される場合がある。この場合、複数の構造化光を測定対象物に照射しても、測定対象物において反射される構造化光の量が小さいことにより高さデータを得ることができない可能性がある。
上記の構成によれば、高さデータを生成する際に、複数の波長の成分を含む白色の複数の構造化光が測定対象物に照射される。それにより、測定対象物の色によらず、少なくとも一部の波長の成分を測定対象物の表面で反射させることができる。その結果、高さデータを生成可能な測定対象物上の範囲が拡大される。
(10-3)検査装置は、上下方向に延びる光軸を有する受光レンズを含み、測定対象物から上方に反射される構造化光または一様光を撮像部へ導く受光光学系と、複数の光源からそれぞれ出射される複数の光が共通の光路を上方から下方に進行するように複数の光源を保持する保持部材と、複数の光源からそれぞれ出射されて上方から下方に進行する複数の光を受光レンズの光軸から遠ざかるように斜め上方へ反射する反射部材とをさらに備え、パターン生成部は、反射部材により反射される複数の光の少なくとも一部を受光レンズの光軸に近づくように斜め下方に反射することにより構造化光および一様光を選択的に生成する光生成面を有してもよい。
この場合、保持部材により保持される複数の光源から出射される複数の光の各々は、共通の光路を上方から下方に進行し、反射部材により受光レンズの光軸から遠ざかるように斜め上方に反射される。反射部材により反射された光の少なくとも一部は、光生成面により受光レンズの光軸に近づくように斜め下方に反射される。このとき、光生成面において反射される光は、構造化光または一様光として測定対象物に照射される。測定対象物から上方に反射される構造化光または一様光は、受光光学系を通して撮像部に入射する。
上記の構成によれば、複数の光に共通の光路が折り返されている。それにより、測定対象物に構造化光および一様光を照射するための構成が、その照射方向に大型化することが抑制される。また、上記の構成によれば、受光光学系の光軸に対して直交する方向において、複数の光源、保持部材および反射部材は、パターン生成部と受光光学系の光軸との間に位置する。それにより、受光光学系の光軸に対して直交する方向におけるパターン生成部と受光光学系の光軸との間の空間を有効利用することができる。
したがって、複数の光源、保持部材、反射部材、パターン生成部、受光光学系および撮像部を含む複数の投受光系の構成をよりコンパクト化することができる。
(10-4)検査装置は、受光レンズの光軸に近づくように斜め下方に延びる光軸を有する投光レンズを含み、光生成面により生成された構造化光または一様光を測定対象物へ導く投光光学系をさらに備え、測定対象物は予め定められた載置面上に載置され、パターン生成部および投光光学系は、パターン生成部の光生成面と載置面とが投光光学系の主平面に関してシャインプルーフの原理に従うように配置されてもよい。
この場合、光生成面において生成された構造化光または一様光は、投光光学系を通して測定対象物に照射される。ここで、パターン生成部の光生成面と載置面とが、投光光学系の主平面に関してシャインプルーフの原理に従うので、載置面上に光生成面の全体の焦点を合わせることができる。したがって、投光レンズのf値を小さくする場合でも載置面上に光生成面全体の焦点が合うので、より明るくなるように照明を設計することができる。
(10-5)検査装置は、複数の光源、保持部材、反射部材、パターン生成部、投光光学系、受光光学系および撮像部を収容するケーシングをさらに備えてもよい。
この場合、複数の光源、保持部材、反射部材、パターン生成部、投光光学系、受光光学系および撮像部を含む複数の投受光系を、ケーシング内にコンパクトに収容することができる。したがって、ケーシングの小型化が可能となり、ケーシングの設置スペースを低減することができる。さらに、検査装置の設置等の取り扱いが容易になる。
100…ヘッド部,100c…ヘッドケーシング,110,110A~110D,110P,110Q…照明部,110a…第1の保持部材,110b…第2の保持部材,111,112,113…光源,114,115…ダイクロイックミラー,116…照明レンズ,117…ミラー,118…パターン生成部,118S…光生成面,119…投光レンズ,120,120A~120D…撮像部,121…撮像素子,122,123…受光レンズ,130…演算部,131…撮像処理部,132…画像データ生成部,133…記憶部,134…出力処理部,200…コントローラ部,210…ヘッド制御部,220…画像メモリ,230…検査部,300…検査装置,301…ベルトコンベア,301S…照射領域,310…操作部,320…表示部,400…外部機器,ax0,ax1…光軸,S…測定対象物

Claims (5)

  1. 互いに異なる波長を有する複数の光をそれぞれ出射するとともに、出射された複数の光が予め定められた共通の光路を進行するように設けられた複数の光源と、前記共通の光路上に設けられ、前記共通の光路を進行する光を受けるとともに、受けた光に基づいて構造化光および一様光を選択的に生成し、生成された構造化光または一様光が前記共通の光路を進行して測定対象物に照射されるように構成されたパターン生成部と、をそれぞれ有するとともに、測定対象物に対して互いに異なる方向から光を出射する複数の照明部と、
    前記複数の照明部のそれぞれが有する前記複数の光源のうち少なくとも1つの光源から光を出射させるとともに、前記少なくとも1つの光源から出射された光を用いて位相シフトさせつつ複数の構造化光が生成されるように前記複数の光源および前記パターン生成部を制御し、前記複数の光源から前記複数の波長をそれぞれ有する複数の一様光が順次生成されるように前記複数の光源および前記パターン生成部を制御する投光制御部と、
    測定対象物から反射される前記複数の構造化光を順次受光することにより測定対象物の画像を示す複数のパターン画像データを順次生成し、測定対象物から反射される前記複数の一様光を順次受光することにより測定対象物の画像を示す複数のテクスチャ画像データを順次生成する撮像部と、
    前記複数の照明部のそれぞれから出射され、測定対象物から反射された前記複数の構造化光を順次受光して、前記撮像部により生成された前記複数のパターン画像データに基づいて、当該複数の照明部のそれぞれに対応して生成された測定対象物の高さ画像を示す複数の高さデータを生成し、当該複数の高さデータを合成することにより合成高さデータを生成するとともに、当該複数の照明部のそれぞれから出射され、測定対象物から反射された前記複数の一様光を順次受光して、前記撮像部により生成された前記複数のテクスチャ画像データを合成することにより、当該複数の照明部のそれぞれに対応して生成された測定対象物の画像を複数の波長に対応する複数の色で示す複数のカラーテクスチャ画像データを生成し、当該複数のカラーテクスチャ画像データを合成することにより合成カラーテクスチャ画像データを生成する画像データ生成部と、
    前記合成高さデータに基づいて測定対象物の高さ方向であるZ方向に関する検査を実行し、前記合成カラーテクスチャ画像データに基づいて測定対象物のX方向またはY方向に関する検査を実行する検査部とを備える、検査装置。
  2. 前記複数の光源は、緑色光を出射する光源、青色光を出射する光源および赤色光を出射する光源を含み、
    前記投光制御部は、前記複数の光源から緑色光、青色光および赤色光を出射させるとともに、出射された緑色光、青色光および赤色光から得られる白色光を用いて位相シフトさせつつ複数の構造化光が生成されるように前記複数の光源および前記パターン生成部を制御する、請求項1記載の検査装置。
  3. 上下方向に延びる光軸を有する受光レンズを含み、測定対象物から上方に反射される構造化光または一様光を前記撮像部へ導く受光光学系をさらに備え、
    前記複数の照明部のそれぞれは、
    前記複数の光源からそれぞれ出射される複数の光が前記共通の光路を上方から下方に進行するように前記複数の光源を保持する保持部材と、
    前記複数の光源からそれぞれ出射されて上方から下方に進行する複数の光を前記受光レンズの光軸から遠ざかるように斜め上方へ反射する反射部材とをさらに有し
    前記複数の照明部のそれぞれにおいて、前記パターン生成部は、前記反射部材により反射される複数の光の少なくとも一部を前記受光レンズの光軸に近づくように斜め下方に反射することにより構造化光および一様光を選択的に生成する光生成面を有する、請求項1または2記載の検査装置。
  4. 前記複数の照明部のそれぞれは、前記受光レンズの光軸に近づくように斜め下方に延びる光軸を有する投光レンズを含み、前記光生成面により生成された構造化光または一様光を測定対象物へ導く投光光学系をさらに有し
    測定対象物は予め定められた載置面上に載置され、
    前記複数の照明部のそれぞれにおいて、前記パターン生成部および前記投光光学系は、前記パターン生成部の前記光生成面と前記載置面とが前記投光光学系の主平面に関してシャインプルーフの原理に従うように配置される、請求項3記載の検査装置。
  5. 前記複数の照明部、前記受光光学系および前記撮像部を収容するケーシングをさらに備える、請求項4記載の検査装置。
JP2019021810A 2019-02-08 2019-02-08 検査装置 Active JP7257162B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019021810A JP7257162B2 (ja) 2019-02-08 2019-02-08 検査装置
US16/727,961 US10909702B2 (en) 2019-02-08 2019-12-27 Inspection device
CN202010080761.8A CN111551130A (zh) 2019-02-08 2020-02-05 检查装置
DE102020201476.0A DE102020201476A1 (de) 2019-02-08 2020-02-06 Inspektionsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019021810A JP7257162B2 (ja) 2019-02-08 2019-02-08 検査装置

Publications (2)

Publication Number Publication Date
JP2020128931A JP2020128931A (ja) 2020-08-27
JP7257162B2 true JP7257162B2 (ja) 2023-04-13

Family

ID=71739048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019021810A Active JP7257162B2 (ja) 2019-02-08 2019-02-08 検査装置

Country Status (4)

Country Link
US (1) US10909702B2 (ja)
JP (1) JP7257162B2 (ja)
CN (1) CN111551130A (ja)
DE (1) DE102020201476A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113396312B (zh) * 2018-10-12 2024-03-01 电力研究所有限公司 用于在光学失真介质中测量表面特性的方法
CN113032919B (zh) * 2021-03-12 2022-03-04 奥特斯科技(重庆)有限公司 部件承载件制造方法、处理系统、计算机程序和系统架构

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012211873A (ja) 2011-03-31 2012-11-01 Panasonic Corp 3次元計測装置
JP2012243097A (ja) 2011-05-19 2012-12-10 Panasonic Corp 投影装置およびその方法、並びに投影装置を用いた形状認識装置およびその方法
JP2015001381A (ja) 2013-06-13 2015-01-05 ヤマハ発動機株式会社 3次元形状測定装置
JP2017142188A (ja) 2016-02-12 2017-08-17 Ckd株式会社 三次元計測装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138201A (ja) * 1995-11-15 1997-05-27 Mitsubishi Electric Corp 表面検査装置
US6618123B2 (en) * 2000-10-20 2003-09-09 Matsushita Electric Industrial Co., Ltd. Range-finder, three-dimensional measuring method and light source apparatus
JP3878023B2 (ja) * 2002-02-01 2007-02-07 シーケーディ株式会社 三次元計測装置
JP4610393B2 (ja) 2005-03-31 2011-01-12 シーケーディ株式会社 検査装置
JP4885154B2 (ja) * 2007-01-31 2012-02-29 国立大学法人東京工業大学 複数波長による表面形状の測定方法およびこれを用いた装置
CN101666620A (zh) * 2009-09-27 2010-03-10 合肥工业大学 多光源并行共焦显微探测系统
JP6029394B2 (ja) 2012-09-11 2016-11-24 株式会社キーエンス 形状測定装置
US9261358B2 (en) * 2014-07-03 2016-02-16 Align Technology, Inc. Chromatic confocal system
CN104079904A (zh) * 2014-07-17 2014-10-01 广东欧珀移动通信有限公司 一种彩色图像生成方法及装置
JP2017020873A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 被計測物の形状を計測する計測装置
CN105180838B (zh) * 2015-09-29 2019-01-04 南京理工大学 一种基于dlp投影仪的快速条纹投影系统
JP2018063156A (ja) * 2016-10-12 2018-04-19 株式会社キーエンス 形状測定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012211873A (ja) 2011-03-31 2012-11-01 Panasonic Corp 3次元計測装置
JP2012243097A (ja) 2011-05-19 2012-12-10 Panasonic Corp 投影装置およびその方法、並びに投影装置を用いた形状認識装置およびその方法
JP2015001381A (ja) 2013-06-13 2015-01-05 ヤマハ発動機株式会社 3次元形状測定装置
JP2017142188A (ja) 2016-02-12 2017-08-17 Ckd株式会社 三次元計測装置

Also Published As

Publication number Publication date
CN111551130A (zh) 2020-08-18
DE102020201476A1 (de) 2020-08-13
JP2020128931A (ja) 2020-08-27
US20200258246A1 (en) 2020-08-13
US10909702B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
US10788318B2 (en) Three-dimensional shape measurement apparatus
US8928892B2 (en) Wavefront analysis inspection apparatus and method
KR101207198B1 (ko) 기판 검사장치
JP2016136132A (ja) 構造化光プロジェクタおよびそうしたプロジェクタを含む3次元スキャナ
JP3878165B2 (ja) 三次元計測装置
JP6462823B2 (ja) 画像検査装置
US11493331B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device
JP6791631B2 (ja) 画像生成方法及び検査装置
JP7257162B2 (ja) 検査装置
US11170518B2 (en) Inspection device for generating height data of a measurement target
JP2019144203A (ja) 画像検査装置および画像検査方法
JP2019144202A (ja) 画像検査装置および画像検査方法
US20200363619A1 (en) Chromatic Confocal System and method for inspecting an object
JP2015045575A (ja) 光干渉測定装置
JP6234253B2 (ja) 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
JP7266416B2 (ja) 検査装置
KR20080088946A (ko) 입체 형상 검사 장치 및 그를 이용한 입체 형상 검사 방법
JP7022661B2 (ja) 形状測定装置および形状測定方法
JPH05340725A (ja) 外観検査装置
JP7176969B2 (ja) 検査装置
JP7247031B2 (ja) 検査装置
JP7199243B2 (ja) 検査装置
JP2020128971A (ja) 検査装置
KR20080089314A (ko) 입체 형상 검사 장치 및 그를 이용한 입체 형상 검사 방법
JP2020128933A (ja) 検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230403

R150 Certificate of patent or registration of utility model

Ref document number: 7257162

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150