JPWO2011064969A1 - 検査装置、三次元形状測定装置、構造物の製造方法 - Google Patents

検査装置、三次元形状測定装置、構造物の製造方法 Download PDF

Info

Publication number
JPWO2011064969A1
JPWO2011064969A1 JP2011543100A JP2011543100A JPWO2011064969A1 JP WO2011064969 A1 JPWO2011064969 A1 JP WO2011064969A1 JP 2011543100 A JP2011543100 A JP 2011543100A JP 2011543100 A JP2011543100 A JP 2011543100A JP WO2011064969 A1 JPWO2011064969 A1 JP WO2011064969A1
Authority
JP
Japan
Prior art keywords
unit
image
shape measuring
measurement
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011543100A
Other languages
English (en)
Inventor
青木 洋
洋 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2011064969A1 publication Critical patent/JPWO2011064969A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10TTECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00Metal working
    • Y10T29/49Method of mechanical manufacture
    • Y10T29/49764Method of mechanical manufacture with testing or indicating

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

分解能の制約等から小さな傷や穴を検出する事が困難な場合があった。そのために、本発明を例示する検査装置の一態様は、被検面(11)の形状を測定する面形状測定部(21、13、205、206)と、互いに異なる複数の方向から前記被検面を照明して前記被検面の光強度分布を検出する画像検出部(205、206、27)とを備える。

Description

本発明は、被測定対象の欠陥検査を行う検査装置、三次元形状測定装置及び構造物の製造方法に関する。
従来から測定対象物の三次元形状測定を行う装置として、特許文献1に示すような装置が知られている。
特開2009−150773号公報
しかしながら、三次元形状測定装置では分解能の制約等から小さな傷や穴を検出する事が困難な場合があった。
本発明は3次元形状測定装置のみでは発見が困難であった傷や穴を検出可能な検査装置、3次元形状測定装置、構造物の製造方法を提供することを目的とする。
本発明を例示する検査装置の一態様は、被検面の形状を測定する面形状測定手段と、互いに異なる複数の方向から前記被検面を照明して前記被検面の光強度分布を検出する画像検出手段と、前記面形状測定手段及び前記画像検出手段を制御して前記被検面の良否の判定を行う制御手段とを備える。
第1実施形態の欠陥検査装置の機械的構成を示す斜視図である。 第1実施形態の欠陥検査装置の全体構成図である。 補助光源27−1〜27−8及び結像光学系25をステージ12の側から見た図である。 補助光源27−1〜27−8の光軸と結像光学系25の光軸との関係を説明する図である。 第1実施形態のCPU15による欠陥検査処理のフローチャートである。 光強度分布測定処理のフローチャートである。 面形状測定処理のフローチャートである。 ステップS3を説明する図である。 ステップS8を説明する図である。 第2実施形態の欠陥検査装置の機械的構成を示す斜視図である。 第2実施形態の欠陥検査装置の全体構成図である。 第2実施形態のCPU15による欠陥検査処理のフローチャート(前半)である。 第2実施形態のCPU15による欠陥検査処理のフローチャート(後半)である。 第2実施形態のステップS3を説明する図である。 ステップS101、S102を説明する図である。 構造物製造システム200のブロック構成図である。 構造物製造システム200による処理の流れを示したフローチャートである。
[第1実施形態]
以下、第1実施形態の装置として欠陥検査装置であり三次元形状測定装置を説明する。本実施形態の装置は欠陥検査に用いれば欠陥検査装置であり、欠陥検査を行わなければ三次元形状測定装置である。以下の説明では、簡略の為、欠陥検査装置として説明を行うが、三次元形状測定装置も同じ装置構成である。
図1は、本実施形態の欠陥検査装置の機械的構成を示す斜視図である。図1に示すとおり欠陥検査装置は、例えば工業製品又は部品からなる被検物11を載置するステージ12と、互いに固定された投影部13及び撮像部14とを備える。投影部13の光軸(投影光学系24の光軸)と撮像部14の光軸(後述する結像光学系25の光軸)との間には角度がつけられており、両者の光軸は、ステージ12の基準面上で交差している。このうち撮像部14の光軸はステージ12の基準面に対して垂直である。なお、撮像部14の光軸を垂直にする代わりに投影部13の光軸を基準面に対して垂直にすることも可能である。但し、以下では撮像部14の光軸の方が垂直である場合を例にあげて説明する。
ステージ12は、撮像部14の光軸と平行な軸の周りに被検物11を回転させるθステージ12θと、撮像部14の光軸と垂直な所定方向(X方向)に向けて被検物11をシフトさせるXステージ12Xと、θステージ12θの回転軸とX方向との双方に対して垂直な所定方向(Y方向)に向けて被検物11をシフトさせるYステージ12Yとを備える。
投影部13は、ステージ12上の一部の領域(照明領域)を斜め方向から照明する光学系であって、照明素子22と、パターン形成部23と、投影光学系24とをこの順で配置している。なお、本実施形態の被検物11のサイズは、投影部13の照明領域内に被検物11の全体が収まる程度に小さいものと仮定しているが、より大きな被検物であってもステージ12を移動させながら検査や測定を行うことが可能である。
投影部13のパターン形成部23は、透過率あるいは反射率分布が可変のパネル(透過型液晶素子、反射型液晶素子、DMD(Digital Mirror Device、デジタルミラーデバイス)など)であり、そのパネルへ縞模様パターン(正弦格子パターン)を表示することにより、パターン形成部23から被検物へ向かう照明光束の断面強度分布を正弦波状とする。なお、反射型のパネルを用いた場合は光源の位置が変わるが当業者が適宜変更可能である。本実施形態では透過型のパネルを用いた場合を例にあげて説明を行う。パターン形成部23に表示される正弦格子パターンの格子方向は、投影部13の光軸と撮像部14の光軸とを含む面に対して垂直に配置される。また、パターン形成部23の表示面上の中央近傍に位置する基準点は、ステージ12の基準面上の基準点(撮像部14の光軸と投影部13の光軸との交差点)に対して光学的に共役であり、ステージ12の照明領域内に配置された被検物11の表面(被検面)には、正弦格子パターンが投影光学系24によって投影される。なお、被検面上に正弦格子パターンを投影できるのであれば、パターン形成部23の基準点とステージ12の基準点とが完全な共役関係になっていなくとも構わない。
撮像部14は、ステージ12上の照明領域の像(光強度分布)を検出する光学系であって、被検面上に投影されたパターンを撮像素子26に結像する結像光学系25と、結像光学系25が結像した像を撮像して画像を取得する撮像素子26とが順に配置される。撮像素子26の撮像面上の中央近傍に位置する基準点は、ステージ12の前述した基準点と光学的に共役であり、撮像素子26は、ステージ12の照明領域内に配置された被検物11の被検面の画像を取得することができる。なお、被検面の画像を十分なコントラストで取得することができるのであれば、撮像素子26の基準点とステージ12の基準点とが完全な共役関係になっていなくとも構わない。
また、結像光学系25のステージ側のレンズ面の周りには、補助光源27−1〜27−8が設けられており、これらの補助光源27−1〜27−8は、結像光学系25の視野を互いに異なる方向から照明する。
なお、撮像素子26は、これらの補助光源27−1〜27−8の発光波長と、投影部13の光源(図2の符号21)の発光波長との双方に対して感度を有している。
ここで、補助光源27−1〜27−8のうち少なくとも1つを点灯すると共に、投影部13の光源(図2の符号21)を消灯した状態で撮像素子26から画像を取得すると、正弦格子パターンの投影されてない被検面の画像(=被検面の光強度分布情報を含んだ画像)を取得することができる。以下、この画像を「二次元画像」と称す。
さらに、補助光源27−1〜27−8の間で点灯する補助光源を切り替えながら二次元画像の取得を繰り返せば、照明方向の異なる複数の二次元画像I〜Iを取得することができる(以下、M番目の補助光源27−Mのみを点灯して取得した二次元画像を「二次元画像I」とおく。)。
一方、補助光源27−1〜27−8の全てを消灯すると共に、投影部13の光源(図2の符号21)を点灯した状態で撮像素子26から画像を取得すると、正弦格子パターンの投影された被検面の画像(=被検面の面形状情報を含んだ画像)を取得することができる。以下、この画像を「縞画像」と称す。
さらに、正弦格子パターンの位相をシフトさせながら縞画像の取得を繰り返せば、被検面の面形状データDを既知とするための情報が揃う。
図2は、欠陥検査装置の全体構成図である。図2において図1に示した要素と同じものには同じ符号を付した。図2に示すとおり投影部13には、投影部13の光源であるメイン光源21が連結されている。このメイン光源21は、パターン投影型の面形状測定に使用されるものなので、例えば、LED、ハロゲンランプ、メタルハライドランプなどの一般的な光源を適用することができる。メイン光源21から射出した光は、光ファイバ21’を介して照明素子22に導入される。なお、ここでは光ファイバ21’を使用した例を示すが、光ファイバを使用せずにLEDなどの光源を図1の符号22で示した位置へ配置してもよい。LEDとパターン形成部23との間には任意の照明素子22を配置可能である。また、照明素子22は、一つの素子として図示しているが複数の光学素子からなる照明光学系で構成されても構わない。その場合、例えば、均一照明を行うためのフライアイレンズやロッドインテグレータ等を用いた照明光学系を配置可能である。
このメイン光源21と、投影部13のパターン形成部23と、撮像部14の撮像素子26と、撮像部14の補助光源27−1〜27−8とは、それぞれコンピュータ100の制御部101に接続されている。
制御部101は、メイン光源21をオン/オフ(点灯/消灯)するタイミングと、パターン形成部23に表示される正弦格子パターンの位相と、撮像素子26による画像の取得タイミングと、補助光源27−1〜27−8の各々をオン/オフ(点灯/消灯)するタイミングとを制御する。また、制御部101は、ステージ12の座標(ステージ座標)を必要に応じて検知することも可能である。
コンピュータ100には、制御部101の他に、欠陥検査装置の全体を統括するCPU15と、記憶部16と、モニタ17と、入力部18とが備えられる。記憶部16には、CPU15の動作プログラムが予め格納されており、CPU15は、その動作プログラムに従って動作する。例えば、CPU15は、制御部101に対して各種の指示を与えることにより欠陥検査装置の各部を駆動制御する。また、例えば、CPU15は、欠陥検査装置の各部を駆動制御することによって取得した画像に基づき被検物11の良否判定を行う。
また、記憶部16には、上述した動作プログラムの他に、CPU15の動作に必要な各種の情報も予め格納されている。
記憶部16に予め格納される情報の1つに、二次元画像Iの種類数と同数の良品画像IMR(M=1〜8)がある(図8の右側を参照。)。M番目の良品画像IMRは、M番目の二次元画像Iの良品画像であって、例えば、被検物11の代わりに被検物11と同じ仕様の良品をステージ12へ載置し、その状態でM番目の補助光源27−Mのみを点灯して取得した二次元画像である。なお、良品画像IMRは、被検物11の設計データ欠陥検査装置の設計データから演算により作成することもできる。
また、記憶部16に予め格納される情報の1つに、良品形状データDがある(後述する図9の右側を参照。)。良品形状データDは面形状データDの良品データであって、例えば、被検物11の代わりに、被検物11と同じ仕様の良品をステージ12へ載置し、その状態で取得された面形状データである。なお、良品形状データDは、被検物11の設計データ及び欠陥検査装置の設計データから演算により作成することもできる。
図3(a)は、補助光源27−1〜27−8及び結像光学系25をステージ12の側から見た図である。図3(a)に示すとおり補助光源27−1〜27−8は、結像光学系25のステージ側のレンズ面の周りに等間隔で配置された面光源であって、その仕様は互いにほぼ共通である。
補助光源27−1〜27−8の各々の光軸は、図4(a)に示すとおり結像光学系25の光軸に対して所定角度だけ傾斜しており、ステージ12の基準面11P上でその光軸と交差している。なお、その交差位置は、投影部13の光軸と撮像部14の光軸とが交差する位置とほぼ同じである。
また、図3(a)に示すとおり、補助光源27−1〜27−8の各々は、複数の砲弾型LEDを二次元状に密に配列することによって面光源を成している。砲弾型LEDはその先端がレンズ形状となっており各々のLEDから射出した光を測定面に照明する。このような補助光源27−1〜27−8の各々がステージ12上に形成する照明領域は、照度がほぼ均一となる。
なお、図3(a)は模式図なので、補助光源27−1〜27−8の各々に配列されるLEDの個数は、図3(a)に示すものと同じとは限らない。但し、個数が多いほど、照度均一性の高い領域を広範囲にすることができる。
なお、複数のLEDを密に配置する代わりに、図3(b)に示すように8つの補助光源27a−1〜27a−8を結像光学系25の周囲に配置する構成としても良い。この光源はLEDの他に各種の光源を使用可能である。
更に、複数の光源の切り替えはできないが、図3(c)に示すように、一つの円環状の補助光源27bを配置する構成としてもよい。この場合は、一つの光源ではあるが、同時に複数方向から被検面に光を照明することが可能である。
また、図示はしていないが、ビームスプリッタを用いて落斜照明を行う構成とすることも可能である。本実施形態では複数の光源の数を8としたが、これより少ない数や多い数の光源を配置してもよい。
更に、図4(b)に示すように補助光源27と被検面11との間に別途照明光学系31を配置する構成とする事も可能である。この場合は補助光源27としては砲弾型のLEDではなく他のLEDを使用することが可能である。
また、補助光源27−1〜27−8の各々は光強度分布測定(二次元画像の取得)に使用されるものなので、個々のLEDとしては、例えば白色LEDなどを適用することが可能である。
図5は、CPU15による欠陥検査処理のフローチャートである。以下、図5の各ステップを順に説明する。
ステップS1:CPU15は、図6に示す光強度分布測定処理を実行することにより、照明方向の互いに異なる複数の二次元画像I〜Iを取得し、記憶部16へ格納する。なお、図6の詳細は後述する。
ステップS2:CPU15は、画像番号Mを初期値(1)に設定する。
ステップS3:CPU15は、記憶部16からM番目の二次元画像IとM番目の良品画像IMRとを読み出し、これら2つの画像の相関度を示す評価値を算出する(図8参照。)。
なお、評価値の算出に当たり、CPU15は、二次元画像Iと良品画像IMRとの少なくとも一方へ前処理(例えば回転処理やシフト処理など)を施すことにより、二次元画像Iの分布域と良品画像IMRの分布域とを揃えておく。
また、評価値の算出は、二次元画像I及び良品画像IMRの部分領域毎に行われても、全領域に対して行われてもよいが、ここでは簡単のため全領域に対して行われるものとする。
ステップS4:CPU15は、ステップS3にて算出した評価値を閾値と比較し、閾値未満であった場合には被検物11が規格外であると即座に判断してステップS11へ移行し、閾値以上であった場合には被検物11が規格内である可能性が残っていると判断してステップS5へ移行する。
ステップS5:CPU15は、画像番号Mが最終値Mmaxに達したか否かを判別し、達していない場合にはステップS6へ移行し、達していた場合にはステップS7へ移行する。なお、ここでは補助光源の個数を「8」としたので、最終値Mmaxも「8」となる。
ステップS6:CPU15は、画像番号MをインクリメントしてからステップS3へ戻る。したがって、CPU15は、被検物11が規格外であると判断するか、又は、画像番号Mが「8」に達するまで、二次元画像と良品画像との比較(評価値の算出)を図8(a)、(b)、(c)、…のとおり繰り返す。
ステップS7:CPU15は、図7に示す形状測定処理を実行することにより、被検面の面形状データDを取得し、記憶部16へ格納する。なお、図7の詳細は後述する。
ステップS8:CPU15は、記憶部16から面形状データDと良品形状データDとを読み出し、これらの2つのデータの相関度を示す評価値を算出する(図9を参照。)。
なお、評価値の算出に当たり、CPU15は、面形状データDと良品形状データDとの少なくとも一方へ前処理(例えば、回転処理やシフト処理など)を施すことにより、面形状データDの分布域と良品形状データDの分布域とを揃えておく。
また、評価値の算出は、面形状データD及び良品形状データDの部分毎に行われても、全体に対して行われてもよいが、ここでは簡単のため全体に対して行われるものとする。
また、評価値としては、相関度を示す評価値の他に、面形状データと良品形状データとの差分から求まる欠陥部分の深さや体積を定量値化したものなどを使用することも可能である。
ステップS9:CPU15は、ステップS8にて算出した評価値を閾値と比較し、閾値未満であった場合には被検物11が規格外であると判断してステップS11へ移行し、閾値以上であった場合には被検物11が規格内であると判断してステップS10へ移行する。なお、本ステップで使用される閾値は、記憶部16に予め格納されているものとする。
ステップS10:CPU15は、被検物11が良品である旨の検査結果をモニタ17へ表示し、フローを終了する。
ステップS11:CPU15は、被検物11が不良品である旨の検査結果をモニタ17へ表示し、フローを終了する。
以上、本実施形態の欠陥検査装置は、被検物面の光強度分布と被検物面の面形状との双方を測定し、光強度分布と面形状との双方が規格内であったときにしか被検物11を良品と判定しないので、光強度分布しか測定しない場合、又は面形状しか測定しない場合と比較して検査精度が高い。
しかも、本実施形態の欠陥検査装置は、光強度分布を測定するに当たり、互いに異なる複数の方向から被検物面を照明するので、被検物面の形状に影響されることなく、被検物面のテクスチャーに関する欠陥を検知することができる。また、このような照明は欠陥を強調することができるので、小さな欠陥をも確実に検知することが可能である(因みに、照明方向を一方向のみとした場合には、被検面上で陰となる部分が発生するため、その部分のテクスチャーに関する欠陥が見落とされる虞がある。)。
また、本実施形態の欠陥検査装置は、光強度分布測定と面形状測定とに結像光学系25及び撮像素子26を共用するので、部品点数の増大を抑えながら検査精度の向上を達成することができる。
上述の実施形態では欠陥検査装置、或いは三次元形状測定装置として、ステージ12を配置したが、測定対象物に対して装置を自由に移動させられるように、所謂、ポータブルな装置として構成することも可能である。この場合は、ステージ12は不要であり、図1に示した筐体30を支持体31から分離し、筐体30を自由に移動させられるように構成すればよい。
上述の実施形態では光源21と光源27として波長が異なる光源を用いたため、波長分離して画像を取得可能な構成とすれば二次元画像の取得と三次元形状測定を同時に行うことも可能である。更に2つの光源の波長を同じにすることも可能である。
[光強度分布測定処理]
図6は、CPU15による光強度分布測定処理のフローチャートである。以下、図6の各ステップを順に説明する。
ステップS111:CPU15は、画像番号Mを初期値(1)に設定する。
ステップS112:CPU15は、M番目の補助光源27−Mをオンするよう制御部101へ指示する。制御部101は、M番目の補助光源27−Mをオンし、他の補助光源及びメイン光源21についてはオフの状態を保つ。
ステップS113:CPU15は、画像を取得するよう制御部101へ指示する。制御部101は、撮像素子26を駆動して1フレーム分の二次元画像Iを取得すると、その二次元画像IをCPU15へ送信する。
ステップS114:CPU15は、M番目の補助光源27−Mをオフするよう制御部101へ指示する。制御部101は、M番目の補助光源27−Mをオフし、他の補助光源及びメイン光源21についてはオフの状態を保つ。
ステップS115:CPU15は、画像番号Mが最終値Mmax(ここでは「8」)に達したか否かを判別し、達していない場合にはステップS116へ移行し、達していた場合には、フローを終了する。
ステップS116:CPU15は、画像番号MをインクリメントしてからステップS112へ戻る。したがって、CPU15は、点灯される補助光源を切り替えながら二次元画像Iの取得を8回繰り返し、照明方向の互いに異なる8枚の二次元画像I〜Iを取得する。
尚、上述の説明では複数光源の全てを独立して照明するようにしたが、複数の光源のうち任意の光源のみを用いて検査や測定を行ってもよい。また、複数の光源を同時に発光させてもよい。異なる方向からの照明により小さな傷や穴が強調されるため、二次元画像取得により容易に傷や穴を検出することが可能となる。面形状測定(三次元形状測定)を行うと同時に傷や穴のチェックを行うことが可能となる。この場合、欠陥検査を必ずしも行う必要は無く、三次元形状測定(面形状測定)に加えて傷や穴等と検出するのみでよい。
[面形状測定処理]
図7は、CPU15による面形状測定処理のフローチャートである。以下、図7の各ステップを順に説明する。
ステップS71:CPU15は、位相番号mを初期値(1)に設定する。
ステップS72:CPU15は、メイン光源21をオンするよう制御部101へ指示する。制御部101は、メイン光源21をオンし、補助光源27−1〜27−8についてはオフの状態を保つ。
ステップS73:CPU15は、正弦格子パターンの位相を、(m−1)π/2で表される値に設定するよう制御部101へ指示する。制御部101は、パターン形成部23に表示される正弦格子パターンの位相を(m−1)π/2に設定する。
ステップS74:CPU15は、画像を取得するよう制御部101へ指示する。制御部101は、撮像素子26を駆動して1フレーム分の縞画像ISmを取得すると、その縞画像ISmをCPU15へ送信する。
ステップS75:CPU15は、位相番号mが最終値mmax(ここでは「4」とする。)に達したか否かを判別し、達していない場合にはステップS76へ移行し、達していた場合にはステップS77へ移行する。
ステップS76:CPU15は、位相番号mをインクリメントしてからステップS73へ戻る。したがって、CPU15は、正弦格子パターンの位相をπ/2ずつシフトさせながら縞画像ISmの取得を4回繰り返し、位相の互いに異なる複数の縞画像IS1〜IS4を取得する。
ステップS77:CPU18は、メイン光源21をオフするよう制御部101へ指示する。制御部101は、メイン光源21をオフし、補助光源27−1〜27−8についてはオフの状態を保つ。
ステップS78:CPU18は、縞画像IS1〜IS4の解析に当たり、画素番号iを初期値(1)に設定する。
ステップS79:CPU18は、縞画像IS1〜IS4のうちi番目の画素に関する一連の画素値IS1i〜IS4iを参照し、それらを以下の式へ当てはめることによりi番目の画素の初期位相φの値を算出する。
Figure 2011064969
ステップS791:CPU18は、画素番号iが最終値imaxに達したか否かを判別し、達していない場合にはステップS792へ移行し、達していた場合にはステップS793へ移行する。なお、画素番号iが最終値imaxは、縞画像の取得に使用された撮像素子の画素数であって、例えば、imax=200×200=40000である。
ステップS792:CPU18は、画素番号iをインクリメントしてからステップS79へ戻る。したがって、CPU15は、初期位相φの値を全ての画素番号i(i=1〜40000)についてそれぞれ算出する。
ステップS793:CPU18は、以上のステップで算出した初期位相φの値を画素番号順に並べることにより位相分布を取得し、その位相分布に対してアンラップ処理(=オフセット分布を加算する位相接続処理。)を施す。なお、アンラップ処理に使用されるオフセット分布は、欠陥検査装置の設計データにより決まるものであって、記憶部16に予め格納されている値である。その後、CPU18は、アンラップ処理後の位相分布を、被検面の高さ分布データ(面形状データD)へと変換する。
上述の説明では、パターン投影法として位相シフト法と呼ばれる手法を用いているが、縞画像の取得数は4枚に限られず、5,7,9,11枚等より多く(あるいは少ない)の枚数の縞画像面形状測定を行う事が可能であり、周知の方法を適宜用いることが可能である。
[第1実施形態の補足]
なお、第1実施形態の欠陥検査装置は、光強度分布に基づく判定(ステップS1〜S6)を先に行い、面形状に基づく判定(ステップS7〜S9)を後に行ったが、その順序を反転させてもよい。
また、第1実施形態の欠陥検査装置は、光強度分布に基づく判定(ステップS1〜S6)と面形状に基づく判定(ステップS7〜S9)とを順に行うこととし、かつ先の判定結果が「規格外」となった場合には、後の判定を行うことなく即座に被検物11を不良品とみなしたが、次のとおり変形してもよい。
すなわち、第1実施形態の欠陥検査装置は、光強度分布に基づく評価値と面形状に基づく評価値との双方を算出してから、それらの評価値の双方に基づき被検物11の良否判定(総合的な判定)を行ってもよい。なお、総合的な判定は、例えば、複数の評価値の重み付け平均値を予め用意した閾値と比較することなどにより行うことができる。
[第2実施形態]
以下、本発明の第2実施形態として欠陥検査装置を説明する。本実施形態の欠陥検査装置も、第1実施形態の欠陥検査装置と同様、工業製品又は工業部品の欠陥検査に使用されるものであるが、被検物11のサイズが大きい場合に特に有効なものである。ここでは、第1実施形態の欠陥検査装置との相違点のみを説明する。
図10は、本実施形態の欠陥検査装置の機械的構成を示す斜視図であり、図11は、本実施形態の欠陥検査装置の全体構成図である。図10において図1と同じ要素には同じ符号を付し、図11において図2と同じ要素には同じ符号を付した。
図10、図11に示すとおり、本実施形態の欠陥検査装置の撮像部14’は補助光源を備えておらず、その代わり、二次元画像の検出に専用の撮像部200が撮像部14’とは別に備えられる。これによって、投影部13及び撮像部14’は、面形状測定に専用の光学系となる。
撮像部200の視野(=ステージ12上で撮像部200が検知可能な領域)は、撮像部14’の視野(=ステージ12上で撮像部14’が検知可能な領域)よりも大きく、撮像部14’の視野に収まらないような大きいサイズの被検物11をも一括に捕らえることができる。
撮像部200の光軸は、撮像部14’の光軸と平行であり、かつ撮像部14’の光軸から所定距離だけ離れた位置に配置されている。所定距離は、撮像部14’の視野(ステージ12上で縞画像化可能な領域)が、撮像部200の視野(ステージ12上で二次元画像化可能な領域)から外れるよう十分に広く設定されている。
なお、図10、図11では、撮像部200の光軸は、撮像部14’の光軸及び投影部13の光軸が存在するのと同じ平面上に存在しているものと仮定し、撮像部14’の光軸から撮像部200の光軸へと向かう方向を「Y方向」と仮定した。
なお、この場合、本実施形態の欠陥検査装置は、面形状測定と光強度分布測定との間で測定方法を切り換える際に、Yステージ12Yを駆動して被検物11をY方向へ前述した光軸のズレ量の分だけ移動させればよい。よって、本実施形態の記憶部16には、測定方法を切り換える際に必要なステージ移動量(ステージオフセット量)の情報が予め格納されているものとする。
さて、撮像部200には、ステージ12で発生した反射光を結像する結像光学系202と、結像光学系202が結像した像を撮像して画像を取得する撮像素子201とが順に配置される。
このうち撮像素子201の撮像面は、ステージ12の基準面と光学的に共役である。よって、撮像素子201は、ステージ12のうち、撮像部200の光軸近傍に配置された被検物11の被検面の画像を取得することができる。
また、結像光学系202のステージ12側のレンズ面の周りには、補助光源203−1〜203−8が設けられており、これらの補助光源203−1〜203−8は、結像光学系202の視野を互いに異なる方向から照明することができる。
なお、本実施形態の補助光源203−1〜203−8の結像光学系202に対する機能は、第1実施形態の補助光源27−1〜27−8の結像光学系25に対する機能と同じであり、その変形例も同様であるのでここでは説明を省略する。
但し、本実施形態において補助光源203−1〜203−8の設け先となる結像光学系202の径は、第1実施形態において補助光源27−1〜27−8の設け先となった結像光学系25の径よりも大きいので、本実施形態における補助光源203−1〜203−8の個々のサイズは、第1実施形態における補助光源27−1〜27−8の個々のサイズより大きいことが望ましい。
なお、本実施形態における補助光源の個々のサイズを大きくする代わりに、本実施形態における補助光源の個数を、第1実施形態における補助光源の個数より多くしてもよい。但し、以下では、簡単のため、本実施形態における補助光源の個数を第1実施形態における補助光源の個数と同じと仮定する。
また、撮像部200の撮像素子201は、少なくとも、補助光源203−1〜203−8の発光波長に対して感度を有していればよい。一方、撮像部14’の撮像素子26は、少なくとも、投影部13の光源(メイン光源21)の発光波長に対して感度を有していればよい。
図12、図13は、本実施形態のCPU15による欠陥検査処理のフローチャートである。以下、図12、図13の各ステップを順に説明する。なお、欠陥検査処理の開始時点では、被検物11が撮像部200の視野内に収まるような位置でステージ12が停止しているものとする。
ステップS1:CPU15は、図6に示す光強度分布測定処理を実行することにより、照明方向の互いに異なる複数の二次元画像I〜Iを取得し、記憶部16へ格納する。但し、本実施形態の光強度分布測定処理では、撮像素子26を駆動する代わりに撮像素子201を駆動し、補助光源27−1〜27−8を駆動する代わりに補助光源203−1〜203−8を駆動することになる。
ステップS2:CPU15は、画像番号Mを初期値(1)に設定する。
ステップS3:CPU15は、記憶部16からM番目の二次元画像IとM番目の良品画像IMRとを読み出し、二次元画像Iと良品画像IMRとの少なくとも一方へ前処理(例えば回転処理やシフト処理など)を施すことにより、二次元画像Iの分布域と良品画像IMRの分布域とを揃える。
続いて、CPU15は、処理後の二次元画像I及び良品画像IMR上に、図14に示すとおり着目画素Pを設定すると共に、その着目画素Pを中心とした局所領域A(例えば数画素×数画素の正方領域)を設定し、二次元画像Iにおける局所領域Aと、良品画像IMRにおける同じ領域Aとの相関度を、二次元画像Iの着目画素Pに関する評価値として算出する。
さらに、CPU15は、このような評価値の算出を、着目画素Pの位置を二次元画像I上で移動させながら繰り返すことにより、二次元画像Iの画素毎に評価値を算出する。
ステップS101:CPU15は、ステップS3にて算出した、各画素の評価値をそれぞれの閾値と比較し、閾値未満であるような画素の座標(画素座標)を、欠陥候補座標としてピックアップする(図15(a)を参照。)。
ステップS5:CPU15は、画像番号Mが最終値Mmaxに達したか否かを判別し、達していない場合にはステップS6へ移行し、達していた場合にはステップS102へ移行する。
ステップS6:CPU15は、画像番号MをインクリメントしてからステップS3へ戻る。したがって、CPU15は、画像番号Mが「8」に達するまで、欠陥候補座標のピックアップ(ステップS3)を繰り返す。これによって、欠陥候補座標が蓄積されていく。
ステップS102:CPU15は、以上のステップでピックアップされた全ての欠陥候補座標を参照し、それらの欠陥候補座標の全てを座標空間上で囲うのに必要な矩形枠の最小個数を求め、これを測定番号nの最終値nmaxとする(図15(b)を参照)。但し、本ステップで想定される矩形枠のサイズは、撮像部14’の視野と同サイズの物体を結像光学系202が撮像素子201上に投影したときの投影像のサイズと同じに設定される。
さらに、CPU15は、それらの欠陥候補座標の全てを囲うのに必要な1又は複数の矩形枠に対して測定番号n=1〜nmaxをラベリングし(図15(c)を参照。)、nmax個の矩形枠B〜Bnmaxの各々の中心座標を、測定座標c〜cnmaxとして求め、記憶部16へ格納する。
ステップS103:CPU15は、ステップS102で求めた最終値nmaxの値がゼロであるか否かを判別し、ゼロであった場合には被検物11が規格外である可能性は無いと即座に判断してステップS10へ移行し、ゼロでなかった場合には被検物11が規格外である可能性があると判断してステップS104へ移行する。
ステップS104:CPU15は、測定方法を切り換えるべく、ステージオフセット量の情報を記憶部16から読み出し、そのステージオフセット量と共にステージの移動指示を制御部101へ与える。制御部101の指示の下、ステージ12は、ステージオフセット量の分だけ被検物11をシフトさせ、被検物11のうち撮像部200の光軸上に位置していた部分を撮像部14’の光軸上に位置させる。以下、この状態におけるステージ座標を基準(原点)としてステージ12が駆動されるものとする。
ステップS105:CPU15は、測定番号nを初期値(1)に設定する。
ステップS106:CPU15は、n番目の測定座標cを記憶部16から読み出し、被検面のうち測定座標cに対応する部分を撮像部14’の光軸上に配置するために必要なステージ座標の目標値を算出する(この算出は、測定座標cと、欠陥検査装置の設計データとに基づき行われる。)。そして、CPU15は、算出した目標値と共にステージの移動指示を制御部101へ与える。制御部101の指示の下、ステージ12は、ステージ座標が目標値となるよう被検物11をシフトさせる。
ステップS7:CPU15は、図7に示す形状測定処理を実行することにより、被検面のうち撮像部14’の視野によって捕らえられた部分の面形状データDを取得し、記憶部16へ格納する。この面形状データDは、被検物面のうち測定座標cに対応する部分の面形状データである。以下、これを「部分形状データD」と称す。
ステップS107:CPU15は、測定番号nが最終値nmaxに達したか否かを判別し、達していなかった場合にはステップS108へ移行し、達していた場合にはステップS8へ移行する。
ステップS108:CPU15は、測定番号nをインクリメントしてからステップS106へ戻る。したがって、CPU15は、被検物面に関する1又は複数の部分形状データD〜Dを取得する。
ステップS8:CPU15は、記憶部16から部分形状データD〜Dと、良品形状データDとを読み出すと共に、部分形状データD〜Dを測定座標c〜cの位置関係で配列することにより、被検物11の全体の面形状データDを作成する。但し、この面形状データDには、欠落している部分が存在している可能性がある。続いて、CPU15は、作成した面形状データDと良品形状データDとの少なくとも一方へ前処理(例えば、回転処理、シフト処理、拡大縮小処理など)を施すことにより、面形状データDの分布域と良品形状データDの分布域とを揃える。
さらに、CPU15は、良品形状データDのうち部分形状データDに対応する部分の形状を示すデータと、その部分形状データDとの相関度を示す評価値を算出する。この評価値が、部分形状データDの評価値である。さらに、CPU15は、このような評価値の算出を、部分形状データD〜Dの各々について同様に行う。これによって、部分形状データD〜Dの各々の評価値が算出される。
なお、本ステップでは、部分形状データD〜Dを繋ぎ合わせて面形状データDを作成してから評価値を算出したが、部分形状データD〜Dの各々と良品形状データDの対応部分とを直接的に比較することにより評価値を算出してもよい。
また、本ステップでは、被検面の部分毎(部分形状データ毎)に評価値を算出したが、面形状データDの全体についての評価値を算出してもよい。但し、以下の説明では、評価値は被検面の部分毎(部分形状データ毎)に算出されたものと仮定する。
また、評価値としては、相関度を示す評価値の他に、面形状データ(又は部分形状データ)と良品形状データとの差分から求まる欠陥部分の深さや体積を定量値化したものなどを使用することも可能である。
ステップS9:CPU15は、ステップS8にて算出した評価値をそれぞれの閾値と比較し、閾値未満の評価値が存在した場合には被検物11が規格外であると判断してステップS11へ移行し、閾値未満の評価値が存在しなかった場合には被検物11が規格内であると判断してステップS10へ移行する。
ステップS10:CPU15は、被検物11が良品である旨の検査結果をモニタ17へ表示し、フローを終了する。
ステップS11:CPU15は、被検物11が不良品である旨の検査結果をモニタ17へ表示し、フローを終了する。
以上、本実施形態の欠陥検査装置は、光強度分布測定の視野を面形状測定の視野より広く設定しているので、面形状測定の解像度を、光強度分布測定の解像度よりも高くすることができる。そして、本実施形態の欠陥検査装置は、被検物11のうち光強度分布による仮判定で欠陥候補とみなされなかった部分については、面形状測定の対象から外す。したがって、面形状測定による判定(つまり比較的高精度な判定)は、効率的に行われる。
次に、第1の実施形態又は第2の実施形態による三次元形状測定装置、検査装置を備える構造物製造システムについて説明する。
図16は、構造物製造システム200のブロック構成図である。構造物製造システム200は、三次元形状測定装置1と、設計装置210と、成形装置220と、制御装置230と、リペア装置240と含んで構成される。
設計装置210は、構造物の形状に関する設計情報を作製し、作製した設計情報を成形装置220に送信する。また、設計装置210は、作成した設計情報を制御装置230の後述する座標記憶部231に記憶させる。ここで、設計情報とは例えば、構造物の各位置の座標を示す情報である。
成形装置220は、設計装置210から入力された設計情報に基づいて上記構造物を作製する。成形装置220の成形工程には、鋳造、鍛造、または切削等が含まれる。
三次元形状測定装置1は、第1の実施形態において説明したように、作製された前記構造物(測定対象物11)の座標(三次元形状)を測定し、測定した座標を示す情報(形状情報)を制御装置230へ送信する。
制御装置230は、座標記憶部231と、検査部232とを備える。座標記憶部231には、前述の通り、設計装置210から受信した設計情報が記憶される。検査部232は、座標記憶部231から設計情報を読み出し、三次元形状測定装置1から受信した座標を示す情報(形状情報)と座標記憶部231から読み出した設計情報とを比較する。
そして、検査部232は、比較結果に基づき、構造物が設計情報通りに成形されたか否かを判定する。換言すれば、検査部232は、作成された構造物が良品であるか否かを判定する。また、検査部232は、構造物が設計情報通りに成形されていない場合、修復可能であるか否か判定する。修復できる場合、検査部232は、比較結果に基づき、不良部位と修復量を算出し、リペア装置240に不良部位を示す情報と修復量を示す情報とを送信する。
更に本実施形態の装置を検査装置として用いる場合には、二次元画像による欠陥検査のみを用いるあるいは併用して良否判断を行ってもよい。
リペア装置240は、制御装置230から受信した不良部位を示す情報と修復量を示す情報とに基づき、構造物の不良部位を加工する。
図17は、構造物製造システム200による処理の流れを示したフローチャートである。
まず、ステップS401において、設計装置210が、構造物の形状に関する設計情報を作製する。次に、ステップS402において、成形装置220は、設計情報に基づいて上記構造物を作製する。次に、ステップS403において、三次元形状測定装置1は、作製された上記構造物の形状を測定する。次に、ステップS404において、制御装置230の検査部232は、三次元形状測定装置1で得られた形状情報と、上記設計情報とを比較することにより、構造物が設計情報通りに作成されたか否か検査する。
次に、ステップS405において、制御装置230の検査部232は、作成された構造物が良品であるか否かを判定する。そして、作成された構造物が良品である場合には、構造物製造システム200はその処理を終了する。一方、作成された構造物が良品でない場合には、ステップS406へ移行する。
なお、上述の二次元画像による欠陥の良否判定のみで判定する場合にはステップS405の後、終了となる。
ステップS406において、制御装置230の検査部232は、作成された構造物が修復できるか否か判定する。作成された構造物が修復できる場合にはステップS407へ移行し、作成された構造物が修復できない場合には構造物製造システム200はその処理を終了する。ステップS407において、リペア装置240は、構造物の再加工を実施し、ステップS403の処理に戻る。
以上により、構造物製造システム200は作成された構造物が良品であるか否か判定することができる。また、構造物製造システム200は、構造物が良品でない場合、構造物の再加工を実施し、修復することができる。
なお、本実施形態におけるリペア装置240が実行するリペア工程は、成形装置220が成形工程を再実行する工程に置き換えられてもよい。その際には、制御装置230の検査部232が修復できると判定した場合、成形装置220は、成形工程(鍛造、切削等)を再実行する。具体的には、例えば、成形装置220は、構造物において本来切削されるべき箇所であって切削されていない箇所を切削する。これにより、構造物製造システム200は、構造物を正確に作成することができる。
また、前述の形状測定処理に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、三次元形状測定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
[各実施形態の補足]
なお、上述した何れかの実施形態の欠陥検査装置は、被検面の光強度分布として、照明方向の異なる複数の二次元画像I〜Iを取得したが、二次元画像I〜Iの代わりに、照明方向が全方向である1枚の二次元画像Iallを取得してもよい。この二次元画像Iallは、補助光源27−1〜27−8の全てを同時に点灯させた状態で取得される二次元画像のことである。なお、その場合、欠陥検査装置は、二次元画像Iallの良品画像を予め用意しておき、その良品画像とその二次元画像Iallとを比較することにより、その二次元画像Iallに関する評価値を算出することになる。
また、上述した何れかの実施形態の欠陥検査装置は、被検面の光強度分布として、照明方向の異なる複数の二次元画像I〜Iを取得したが、二次元画像I〜Iに加えて、照明方向が全方向である1枚の二次元画像Iallを取得してもよい。なお、その場合、欠陥検査装置は、二次元画像I〜Iに関する評価値と、二次元画像Iallに関する評価値との双方を算出することになる。
また、上述した何れかの実施形態の欠陥検査装置は、被検面の光強度分布として、照明方向の異なる複数の二次元画像I〜Iを取得したが、照明方向と照明波長との組み合わせの異なる複数の二次元画像を取得してもよい。なお、その場合、欠陥検査装置は、複数の良品画像として、照明方向と照明波長との組み合わせの異なる複数の良品画像を用意しておけばよい。
また、上述した何れかの実施形態の欠陥検査装置は、補助光源の個数(すなわち画像番号Mの最終値Mmax)を8としたが、他の個数(4、16など)としてもよい。
また、上述した何れかの実施形態の欠陥検査装置は、面形状測定のタイプとしてパターン投影型を採用したが、他のタイプ、例えば、プローブ法、光切断法、モアレ法の何れかが採用されてもよい。
また、上述した何れかの実施形態の欠陥検査装置は、被検物11の1つの面のみを検査対象としたが、被検物11の複数の面を検査対象としてもよい。
また、上述した何れかの実施形態の欠陥検査装置は、二次元画像を良品画像と比較する際に、テンプレートマッチング、画像プロファイル比較、二値化処理による欠陥検出などの公知の何れかの手法を採用することができる。
また、上述した何れかの実施形態の欠陥検査装置においては、CPU15の動作の一部を制御部101に実行させてもよい。また、制御部101の動作の一部又は全部をCPU15に実行させてもよい。
11…被検物、12…ステージ、13…投影部、14…撮像部、27−1〜27−8…補助光源
本発明を例示する検査装置の一態様は、被検面の形状を測定する面形状測定部と、互いに異なる複数の方向から前記被検面を照明して前記被検面の光強度分布を検出する画像検出部とを備える。
本発明を例示する三次元形状測定装置の一態様は、被検面の形状を測定する面形状測定部と、互いに異なる複数の方向から前記被検面を照明して前記被検面の光強度分布を検出する画像検出部とを備える。
本発明を例示する構造物の製造方法の一態様は、構造物の形状に関する設計情報を作製する設計工程と、前記設計情報に基づいて前記構造物を作製する成形工程と、作製された前記構造物の形状を、三次元形状測定装置の一態様を用いて算出する測定工程と、前記測定工程で得られた形状情報と、前記設計情報とを比較する検査工程とを有する。
本発明を例示する検査装置の一態様は、被検面の形状を測定する面形状測定部と、前記被検面を照明して前記被検面の光強度分布を検出する画像検出部と、前記画像検出部で検出された光強度分布に基づき、前記被検面における前記面形状測定部の測定対象を設定する制御部とを備える。
本発明を例示する三次元形状測定装置の一態様は、被検面の形状を測定する面形状測定部と、前記被検面を照明して前記被検面の光強度分布を検出する画像検出部と、前記画像検出部で検出された光強度分布に基づき、前記被検面における前記面形状測定部の測定対象を設定する制御部とを備える。
本発明を例示する構造物の製造方法の一態様は、構造物の形状に関する設計情報を作製する設計工程と、前記設計情報に基づいて前記構造物を作製する成形工程と、作製された前記構造物の形状を三次元形状測定装置の一態様を用いて算出する測定工程と、前記測定工程で得られた形状情報と、前記設計情報とを比較する検査工程とを有する。
投影部13のパターン形成部23は、透過率あるいは反射率分布が可変のパネル(透過型液晶素子、反射型液晶素子、DMD(Digital Mirror Device、デジタルミラーデバイス)など)であり、そのパネルへ縞模様パターン(正弦状パターン)を表示することにより、パターン形成部23から被検物へ向かう照明光束の断面強度分布を正弦波状とする。なお、反射型のパネルを用いた場合は光源の位置が変わるが当業者が適宜変更可能である。本実施形態では透過型のパネルを用いた場合を例にあげて説明を行う。パターン形成部23に表示される正弦状パターンの格子方向は、投影部13の光軸と撮像部14の光軸とを含む面に対して垂直に配置される。また、パターン形成部23の表示面上の中央近傍に位置する基準点は、ステージ12の基準面上の基準点(撮像部14の光軸と投影部13の光軸との交差点)に対して光学的に共役であり、ステージ12の照明領域内に配置された被検物11の表面(被検面)には、正弦状パターンが投影光学系24によって投影される。なお、被検面上に正弦状パターンを投影できるのであれば、パターン形成部23の基準点とステージ12の基準点とが完全な共役関係になっていなくとも構わない。
撮像部14は、ステージ12上の照明領域の像(光強度分布)を検出する光学系であって、被検面上に投影されたパターンを撮像素子26に結像する結像光学系25と、結像光学系25が結像した像を撮像して投影パターンの画像を取得する撮像素子26とが順に配置される。撮像素子26の撮像面上の中央近傍に位置する基準点は、ステージ12の前述した基準点と光学的に共役であり、撮像素子26は、ステージ12の照明領域内に配置された被検物11の被検面の画像を取得することができる。なお、被検面の画像を十分なコントラストで取得することができるのであれば、撮像素子26の基準点とステージ12の基準点とが完全な共役関係になっていなくとも構わない。
また、結像光学系25のステージ側のレンズの周りには、補助光源27−1〜27−8が設けられており、これらの補助光源27−1〜27−8は、結像光学系25の視野を互いに異なる方向から照明する。
ここで、補助光源27−1〜27−8のうち少なくとも1つを点灯すると共に、投影部13の光源(図2の符号21)を消灯した状態で撮像素子26から画像を取得すると、正弦状パターンの投影されてない被検面の画像(=被検面の光強度分布情報を含んだ画像)を取得することができる。以下、この画像を「二次元画像」と称す。
一方、補助光源27−1〜27−8の全てを消灯すると共に、投影部13の光源(図2の符号21)を点灯した状態で撮像素子26から画像を取得すると、正弦状パターンの投影された被検面の画像(=被検面の面形状情報を含んだ画像)を取得することができる。以下、この画像を「縞画像」と称す。
さらに、正弦状パターンの位相をシフトさせながら縞画像の取得を繰り返せば、被検面の面形状データDを既知とするための情報が揃う。
制御部101は、メイン光源21をオン/オフ(点灯/消灯)するタイミングと、パターン形成部23に表示される正弦状パターンの位相と、撮像素子26による画像の取得タイミングと、補助光源27−1〜27−8の各々をオン/オフ(点灯/消灯)するタイミングとを制御する。また、制御部101は、ステージ12の座標(ステージ座標)を必要に応じて検知することも可能である。
記憶部16に予め格納される情報の1つに、二次元画像Iの種類数と同数の良品画像(設計形状品画像)MR(M=1〜8)がある(図8の右側を参照。)。M番目の良品画像IMRは、M番目の二次元画像Iの良品画像であって、例えば、被検物11の代わりに被検物11と同じ仕様の良品をステージ12へ載置し、その状態でM番目の補助光源27−Mのみを点灯して取得した二次元画像である。なお、良品画像IMRは、被検物11の設計データ欠陥検査装置の設計データから演算により作成することもできる。
図3(a)は、補助光源27−1〜27−8及び結像光学系25をステージ12の側から見た図である。図3(a)に示すとおり補助光源27−1〜27−8は、結像光学系25のステージ側のレンズの周りに等間隔で配置された面光源であって、その仕様は互いにほぼ共通である。
また、図3(a)に示すとおり、補助光源27−1〜27−8の各々は、複数の砲弾型LEDを二次元状に密に配列することによって面光源を成している。砲弾型LEDはその先端がレンズ作用のある形状となっており各々のLEDから射出した光を測定面に照明する。このような補助光源27−1〜27−8の各々がステージ12上に形成する照明領域は、照度がほぼ均一となる。
更に、図4(b)に示すように補助光源27と被検面11との間に別途照明光学系32を配置する構成とする事も可能である。この場合は補助光源27としては砲弾型のLEDではなく他のLEDを使用することが可能である。
尚、上述の説明では複数光源の全てを独立して照明するようにしたが、複数の光源のうち任意の光源のみを用いて検査や測定を行ってもよい。また、複数の光源を同時に発光させてもよい。異なる方向からの照明により小さな傷や穴が強調されるため、二次元画像取得により容易に傷や穴を検出することが可能となる。面形状測定(三次元形状測定)を行うと同時に傷や穴のチェックを行うことが可能となる。この場合、欠陥検査を必ずしも行う必要は無く、三次元形状測定(面形状測定)に加えて傷や穴等検出するのみでよい。
ステップS73:CPU15は、正弦状パターンの位相を、(m−1)π/2で表される値に設定するよう制御部101へ指示する。制御部101は、パターン形成部23に表示される正弦状パターンの位相を(m−1)π/2に設定する。
ステップS76:CPU15は、位相番号mをインクリメントしてからステップS73へ戻る。したがって、CPU15は、正弦状パターンの位相をπ/2ずつシフトさせながら縞画像ISmの取得を4回繰り返し、位相の互いに異なる複数の縞画像IS1〜IS4を取得する。
ステップS77:CPU15は、メイン光源21をオフするよう制御部101へ指示する。制御部101は、メイン光源21をオフし、補助光源27−1〜27−8についてはオフの状態を保つ。
ステップS78:CPU15は、縞画像IS1〜IS4の解析に当たり、画素番号iを初期値(1)に設定する。
ステップS79:CPU15は、縞画像IS1〜IS4のうちi番目の画素に関する一連の画素値IS1i〜IS4iを参照し、それらを以下の式へ当てはめることによりi番目の画素の初期位相φの値を算出する。
ステップS791:CPU15は、画素番号iが最終値imaxに達したか否かを判別し、達していない場合にはステップS792へ移行し、達していた場合にはステップS793へ移行する。なお、画素番号i最終値imaxは、縞画像の取得に使用された撮像素子の画素数であって、例えば、imax=200×200=40000である。
ステップS792:CPU15は、画素番号iをインクリメントしてからステップS79へ戻る。したがって、CPU15は、初期位相φの値を全ての画素番号i(i=1〜40000)についてそれぞれ算出する。
ステップS793:CPU15は、以上のステップで算出した初期位相φの値を画素番号順に並べることにより位相分布を取得し、その位相分布に対してアンラップ処理(=オフセット分布を加算する位相接続処理。)を施す。なお、アンラップ処理に使用されるオフセット分布は、欠陥検査装置の設計データにより決まるものであって、記憶部16に予め格納されている値である。その後、CPU15は、アンラップ処理後の位相分布を、被検面の高さ分布データ(面形状データD)へと変換する。
また、結像光学系202のステージ12側のレンズの周りには、補助光源203−1〜203−8が設けられており、これらの補助光源203−1〜203−8は、結像光学系202の視野を互いに異なる方向から照明することができる。

Claims (17)

  1. 被検面の形状を測定する面形状測定部と、
    互いに異なる複数の方向から前記被検面を照明して前記被検面の光強度分布を検出する画像検出部と、
    を有する検査装置。
  2. 前記面形状測定部及び前記画像検出部を制御して前記被検面の良否の判定を行う制御部を
    有する請求項1に記載の検査装置。
  3. 請求項1または請求項2に記載の検査装置において、
    前記面形状測定部は、
    パターン投影型の面形状測定装置であって、
    前記画像検出部の検出部と前記面形状測定部の検出部とは、
    互いの光学系の少なくとも一部を共有している
    ことを特徴とする検査装置。
  4. 請求項1乃至請求項3のいずれか1項に記載の検査装置において、
    前記面形状測定部の視野よりも前記画像検出部の視野の方が広く設定されている
    ことを特徴とする検査装置。
  5. 請求項1乃至請求項4のいずれか1項に記載の検査装置において、
    前記制御部は、
    前記面形状測定部により前記被検面の形状の良否判定を行うと共に、前記画像検出部により前記被検面の光強度分布の良否判定を行い、それら2種類の良否判定の結果に基づき前記被検面の総合的な良否判定を行う
    ことを特徴とする検査装置。
  6. 請求項4に記載の検査装置において、
    前記制御部は、
    前記画像検出部により前記被検面上で光強度分布が良好な部分を見出し、前記面形状測定部の測定対象からその部分を排除する
    ことを特徴とする検査装置。
  7. 被検面の形状を測定する面形状測定部と、
    互いに異なる複数の方向から前記被検面を照明して前記被検面の光強度分布を検出する画像検出部と、
    を有する三次元形状測定装置。
  8. 請求項1に記載の三次元形状測定装置であって、
    前記面形状測定部は、測定対象にパターンを投影するパターン投影部と、前記測定対象に投影されたパターンを撮像面に結像するパターン結像部とを有する三次元形状測定装置。
  9. 請求項7または請求項8に記載の三次元形状測定装置であって、
    同一時間に前記複数の方向から被検面を照明する制御部を有する三次元形状測定装置。
  10. 請求項7乃至請求項9のいずれか1項に記載の三次元形状測定装置であって、
    複数の光源を更に有し、各光源は前記パターン結像光学系の光軸を中心として前記互いに異なる複数の方向から前記被検面を照明するように配置される三次元形状測定装置。
  11. 請求項7乃至請求項10のいずれか1項に記載の三次元形状測定装置であって、
    前記面形状測定部と前記画像検出部は一つの筐体内に収納されている三次元形状測定装置。
  12. 請求項7乃至請求項11のいずれか1項に記載の三次元形状測定装置であって、
    異なる時間に異なる方向から被検面を照明する制御部を有する三次元形状測定装置。
  13. 請求項7乃至請求項12のいずれか1項に記載の三次元形状測定装置であって、
    前記画像検出部により検出された光強度分布からなる二次元画像を記憶する記憶部を有する三次元形状測定装置。
  14. 構造物の形状に関する設計情報を作製する設計工程と、
    前記設計情報に基づいて前記構造物を作製する成形工程と、
    作製された前記構造物の形状を請求項7乃至請求項13のいずれか1項に記載の三次元形状測定装置を用いて算出する測定工程と、
    前記測定工程で得られた形状情報と、前記設計情報とを比較する検査工程と、
    を有することを特徴とする構造物の製造方法。
  15. 前記検査工程の比較結果に基づいて実行され、前記構造物の再加工を実施するリペア工程を有することを特徴とする請求項11に記載の構造物の製造方法。
  16. 前記リペア工程は、前記成形工程を再実行する工程であることを特徴とする請求項15に記載の構造物の製造方法。
  17. 前記リペア工程は、前記検査工程の比較結果に基づいて、前記構造物の不良部位を加工する工程であることを特徴とする請求項15に記載の構造物の製造方法。
JP2011543100A 2009-11-30 2010-11-18 検査装置、三次元形状測定装置、構造物の製造方法 Pending JPWO2011064969A1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009271328 2009-11-30
JP2009271328 2009-11-30
JP2010241263 2010-10-27
JP2010241263 2010-10-27
PCT/JP2010/006774 WO2011064969A1 (ja) 2009-11-30 2010-11-18 検査装置、三次元形状測定装置、構造物の製造方法

Publications (1)

Publication Number Publication Date
JPWO2011064969A1 true JPWO2011064969A1 (ja) 2013-04-11

Family

ID=44066083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011543100A Pending JPWO2011064969A1 (ja) 2009-11-30 2010-11-18 検査装置、三次元形状測定装置、構造物の製造方法

Country Status (6)

Country Link
US (1) US8514389B2 (ja)
EP (1) EP2508871A4 (ja)
JP (1) JPWO2011064969A1 (ja)
KR (1) KR20120088773A (ja)
CN (1) CN102822666A (ja)
WO (1) WO2011064969A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014224803A (ja) * 2013-04-26 2014-12-04 本田技研工業株式会社 ワーク品質判定方法及びワーク品質判定システム
JP2016200510A (ja) * 2015-04-10 2016-12-01 株式会社東芝 き裂検査装置およびき裂検査方法
JP2019002834A (ja) * 2017-06-16 2019-01-10 株式会社オプトン 検査装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201331547A (zh) * 2011-11-01 2013-08-01 尼康股份有限公司 形狀測定裝置、構造物製造系統、形狀測定方法、構造物製造方法、程式及記錄媒體
WO2013173452A2 (en) * 2012-05-15 2013-11-21 The Procter & Gamble Company Method for quantitatively determining eyelash clumping
DE102013217422A1 (de) 2013-09-02 2015-03-05 Carl Zeiss Industrielle Messtechnik Gmbh Koordinatenmessgerät und Verfahren zur Vermessung und mindestens teilweisen Erzeugung eines Werkstücks
WO2015104799A1 (ja) * 2014-01-08 2015-07-16 ヤマハ発動機株式会社 外観検査装置および外観検査方法
JP6234253B2 (ja) * 2014-01-31 2017-11-22 株式会社キーエンス 画像検査装置、画像検査方法及び画像検査プログラム並びにコンピュータで読み取り可能な記録媒体
KR101436145B1 (ko) * 2014-02-14 2014-09-01 국방과학연구소 제조된 탄약신관 안전상태 자동검사방법
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Screenホールディングス 検査装置および検査方法
JP6516453B2 (ja) * 2014-11-26 2019-05-22 株式会社ミツトヨ 画像測定装置及び測定装置
KR101660452B1 (ko) * 2014-12-01 2016-09-28 아진산업(주) 스폿 용접건의 용접팁 검사장치
JP6040215B2 (ja) * 2014-12-25 2016-12-07 株式会社日立製作所 検査方法
JP6669444B2 (ja) * 2015-06-29 2020-03-18 株式会社ミツトヨ 造形装置、及び造形方法
JP6532325B2 (ja) * 2015-07-09 2019-06-19 キヤノン株式会社 被計測物の形状を計測する計測装置
JP2017083419A (ja) * 2015-10-22 2017-05-18 キヤノン株式会社 計測装置および方法、物品製造方法、較正マーク部材、加工装置、ならびに加工システム
US9747683B2 (en) * 2015-12-21 2017-08-29 General Electric Company Methods and systems for detecting component wear
JPWO2017183181A1 (ja) * 2016-04-22 2019-02-28 オリンパス株式会社 三次元形状測定装置
US10345714B2 (en) * 2016-07-12 2019-07-09 Cymer, Llc Lithography optics adjustment and monitoring
JP6846003B2 (ja) * 2016-09-13 2021-03-24 大日本印刷株式会社 造形物検査装置、造形物検査制御装置および造形物検査方法
JP6972586B2 (ja) * 2017-03-08 2021-11-24 トヨタ自動車株式会社 歯面形状管理方法
JP6308637B1 (ja) * 2017-05-08 2018-04-11 国立大学法人福井大学 特徴量を用いた3次元計測方法およびその装置
EP3641965B1 (de) 2017-06-20 2024-03-20 Carl Zeiss Industrielle Messtechnik GmbH Verfahren und vorrichtung zur additiven fertigung
WO2019206903A1 (en) 2018-04-23 2019-10-31 Carl Zeiss Industrial Metrology, Llc Method and arrangement for producing a workpiece by using adaptive closed-loop control of additive manufacturing techniques
WO2020038573A1 (en) * 2018-08-23 2020-02-27 Abb Schweiz Ag Method for inspection of a target object, control system and inspection system
JP7193308B2 (ja) * 2018-11-09 2022-12-20 株式会社キーエンス プロファイル測定装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003279314A (ja) * 2002-03-27 2003-10-02 Minolta Co Ltd 投影装置、および照射装置
JP2005030812A (ja) * 2003-07-08 2005-02-03 Nippon Steel Corp 鋼板表面の検査方法、システム、画像処理装置、及びコンピュータプログラム
JP2008203034A (ja) * 2007-02-19 2008-09-04 Olympus Corp 欠陥検出装置および欠陥検出方法
JP2009002796A (ja) * 2007-06-21 2009-01-08 Kokusai Gijutsu Kaihatsu Co Ltd 検査装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956963B2 (en) * 1998-07-08 2005-10-18 Ismeca Europe Semiconductor Sa Imaging for a machine-vision system
US6291816B1 (en) * 1999-06-08 2001-09-18 Robotic Vision Systems, Inc. System and method for measuring object features with coordinated two and three dimensional imaging
US6654488B1 (en) * 1999-07-01 2003-11-25 International Business Machines Corporation Fill pattern inspection
JP3996728B2 (ja) * 2000-03-08 2007-10-24 株式会社日立製作所 表面検査装置およびその方法
JP3878033B2 (ja) * 2002-02-28 2007-02-07 シーケーディ株式会社 三次元計測装置
DE10308258A1 (de) * 2003-02-25 2004-09-02 Leica Microsystems Jena Gmbh Vorrichtung und Verfahren zur Dünnschichtmetrologie
JP2005321319A (ja) * 2004-05-10 2005-11-17 Fujitsu Ltd 表面検査装置および表面検査方法
SG121898A1 (en) * 2004-10-06 2006-05-26 Generic Power Pte Ltd System for 2-D and 3-D vision inspection
KR100672818B1 (ko) * 2006-01-26 2007-01-22 주식회사 고영테크놀러지 3차원형상 측정방법
US8050486B2 (en) * 2006-05-16 2011-11-01 The Boeing Company System and method for identifying a feature of a workpiece
JP2008045883A (ja) * 2006-08-10 2008-02-28 I-Pulse Co Ltd 検査方法および検査装置
JP4777310B2 (ja) * 2007-07-31 2011-09-21 シャープ株式会社 検査装置、検査方法、検査システム、カラーフィルタの製造方法、検査装置制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
KR100939537B1 (ko) * 2007-12-14 2010-02-03 (주) 인텍플러스 표면 형상 측정 시스템 및 그를 이용한 측정 방법
JP5352997B2 (ja) 2007-12-20 2013-11-27 株式会社ニコン 三次元形状計測装置、三次元形状計測方法およびプログラム
US8854610B2 (en) * 2008-02-26 2014-10-07 Koh Young Technology Inc. Apparatus and method for measuring a three-dimensional shape

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003279314A (ja) * 2002-03-27 2003-10-02 Minolta Co Ltd 投影装置、および照射装置
JP2005030812A (ja) * 2003-07-08 2005-02-03 Nippon Steel Corp 鋼板表面の検査方法、システム、画像処理装置、及びコンピュータプログラム
JP2008203034A (ja) * 2007-02-19 2008-09-04 Olympus Corp 欠陥検出装置および欠陥検出方法
JP2009002796A (ja) * 2007-06-21 2009-01-08 Kokusai Gijutsu Kaihatsu Co Ltd 検査装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014224803A (ja) * 2013-04-26 2014-12-04 本田技研工業株式会社 ワーク品質判定方法及びワーク品質判定システム
JP2016200510A (ja) * 2015-04-10 2016-12-01 株式会社東芝 き裂検査装置およびき裂検査方法
JP2019002834A (ja) * 2017-06-16 2019-01-10 株式会社オプトン 検査装置

Also Published As

Publication number Publication date
US20120236318A1 (en) 2012-09-20
EP2508871A1 (en) 2012-10-10
US8514389B2 (en) 2013-08-20
EP2508871A4 (en) 2017-05-10
WO2011064969A1 (ja) 2011-06-03
CN102822666A (zh) 2012-12-12
KR20120088773A (ko) 2012-08-08

Similar Documents

Publication Publication Date Title
WO2011064969A1 (ja) 検査装置、三次元形状測定装置、構造物の製造方法
JP6447637B2 (ja) 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法
JP5546103B2 (ja) 透明又は反射部品を制御するための装置
JP5632650B2 (ja) マルチイメージフェーズシフト解析を用いた検査システム及び方法
JP6394514B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
CN107462581A (zh) 缺陷检测方法以及缺陷检测装置
KR20160090359A (ko) 표면 결함 검출 방법 및 표면 결함 검출 장치
US20110311132A1 (en) Wavefront analysis inspection apparatus and method
US20120007956A1 (en) Evaluation of the Relief of a Tire Surface by Active Stereovision
JP4847128B2 (ja) 表面欠陥検査装置
JP5119602B2 (ja) 周期性パターンの欠陥検査方法及び欠陥検査装置
JP2011089981A (ja) 検査システム及び検査方法
JP2007322162A (ja) 3次元形状測定装置及び3次元形状測定方法
KR20170009524A (ko) 검사 시스템 및 검사 방법
JP2007183225A (ja) 光照射装置、面形状検査システム、および面形状検査方法
JP2012047673A (ja) 検査装置及び検査方法
WO2016208622A1 (ja) 表面欠陥検出装置および表面欠陥検出方法
JP2006010392A (ja) 貫通穴計測システム及び方法並びに貫通穴計測用プログラム
KR20040020261A (ko) 영상입력에 의한 구조물의 균열 탐지장치 및 방법
JP2014240766A (ja) 表面検査方法および表面検査装置
JP2009097977A (ja) 外観検査装置
TWI428568B (zh) 測距方法、測距系統與其處理軟體
JP2012093234A (ja) 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム
KR20170124509A (ko) 검사 시스템 및 검사 방법
JP5367292B2 (ja) 表面検査装置および表面検査方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140610