JP6276092B2 - 検査システムおよび検査方法 - Google Patents

検査システムおよび検査方法 Download PDF

Info

Publication number
JP6276092B2
JP6276092B2 JP2014074788A JP2014074788A JP6276092B2 JP 6276092 B2 JP6276092 B2 JP 6276092B2 JP 2014074788 A JP2014074788 A JP 2014074788A JP 2014074788 A JP2014074788 A JP 2014074788A JP 6276092 B2 JP6276092 B2 JP 6276092B2
Authority
JP
Japan
Prior art keywords
image
polarization
light
inspected
polarized light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014074788A
Other languages
English (en)
Other versions
JP2015197340A (ja
Inventor
栗原 徹
徹 栗原
安藤 繁
繁 安藤
礼彦 吉村
礼彦 吉村
良浩 関根
良浩 関根
雅人 山内
雅人 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Elemex Corp
University of Tokyo NUC
Original Assignee
Ricoh Elemex Corp
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Elemex Corp, University of Tokyo NUC filed Critical Ricoh Elemex Corp
Priority to JP2014074788A priority Critical patent/JP6276092B2/ja
Publication of JP2015197340A publication Critical patent/JP2015197340A/ja
Application granted granted Critical
Publication of JP6276092B2 publication Critical patent/JP6276092B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明の実施形態は、検査システムおよび検査方法に関する。
従来、被検査体に光を照射し、当該被検査体の表面からの反射光を画像データとして撮像し、当該画像データの輝度変化等に基づいて、被検査体の異常を検出する技術が提案されている。
その際に被検査体に照射する光の強度を周期的に変化させ、撮像された画像データの輝度変化に基づいて、異常を検出する技術が提案されている。
特開2014−2125号公報
被検査体の被検査面は、例えば、下地、下地の上で塗装が行われた面、さらにこの上に透明な層等のような複数の層から構成される場合がある。このような場合、いずれの層に異常が存在するかを検出することができれば、より正確に異常検出を行うことができる。
実施形態の検査システムは、複数の層からなる被検査面に対して所定の入射角で照射光を出射する照明部と、前記照射光から所定の偏光成分を透過させる第1偏光フィルタと、前記被検査面に照射される前記照射光の偏光成分の反射光から所定の偏光成分を透過させる第2偏光フィルタと、前記第2偏光フィルタから透過した反射光の偏光成分によって前記被検査面を撮像する撮像部と、前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像部で撮像された撮像画像が、前記複数の層の少なくともいずれの層の画像であるかを判定する判定部と、を備えた。また、前記被検査面は、下地と、前記下地の上に塗装された塗装面と、前記塗装面の上で透明なクリア層とからなる。また、前記所定の入射角は、前記照射光のP偏光のすべてが前記クリア層の表面で反射しない角度である。そして、前記判定部は、前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像画像が、前記クリア層の表面の画像か、前記塗装面の画像か、前記下地の画像かの少なくともいずれかを判定する。
図1は、実施形態1の検査システムの構成例を示した図である。 図2は、空気とガラスの界面の反射率と入射角の関係の一例を示すグラフである。 図3は、実施形態1におけるS偏光入射の状態の一例を示す図である。 図4は、実施形態1におけるS偏光入射で、S偏光受光の場合の撮像画像の観察状態の一例を示す図である。 図5は、実施形態1におけるS偏光入射で、P偏光受光の場合の撮像画像の観察状態の一例を示す図である。 図6は、実施形態1におけるP偏光入射の状態の一例を示す図である。 図7は、実施形態1におけるP偏光入射で、S偏光受光の場合の撮像画像の観察状態の一例を示す図である。 図8は、実施形態1におけるP偏光入射で、P偏光受光の場合の撮像画像の観察状態の一例を示す図である。 図9は、実施形態1における偏光情報と反射光の層との関係の一例を示す図である。 図10は、実施形態1にかかる検査処理の流れの一例を示すシーケンス図である。 図11は、実施形態1にかかる画像判定処理の手順の一例を示すフローチャートである。 図12は、実施形態2の検査システムの構成例を示した図である。 図13は、実施形態2の時間相関カメラの構成を示したブロック図である。 図14は、実施形態2の時間相関カメラで時系列順に蓄積されたフレームを表した概念図である。 図15は、実施形態2の照明装置が照射する縞パターンの一例を示した図である。 図16は、実施形態2の時間相関カメラによる、被検査体の異常の第1の検出例を示した図である。 図17は、図5に示される異常が被検査体にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。 図18は、実施形態2の時間相関カメラによる、被検査体の異常の第2の検出例を示した図である。 図19は、実施形態2の時間相関カメラによる、被検査体の異常の第3の検出例を示した図である。 図20は、実施形態2の照明制御部が照明装置に出力する縞パターンの例を示した図である。 図21は、実施形態2のスクリーンを介した後の縞パターンを表した波の形状の例を示した図である。 図22は、実施形態2の異常検出処理部における振幅に基づく異常検出処理の手順を示すフローチャートである。 図23は、実施形態2の異常検出処理部における、位相に基づく異常検出処理の手順を示すフローチャートである。 図24は、実施形態2の異常検出処理部における振幅および強度に基づく異常検出処理の手順を示すフローチャートである。 図25は、実施形態2の検査システムにおける被検査体の検査処理の手順を示すフローチャートである。
(実施形態1)
図1は、実施形態1の検査システムの構成例を示した図である。図1に示されるように、実施形態1の検査システムは、PC100と、カメラ10と、照明装置120と、スクリーン130と、アーム140と、第1偏光フィルタ160と、第2偏光フィルタ170とを備えている。
アーム140は、被検査体150を固定するために用いられ、PC100からの制御に応じて、カメラ10が撮影可能な被検査体150の表面を変化させる。
照明装置120は、被検査体150に光を照射する装置である。スクリーン130は、照明装置120から出力された光を拡散させた上で、被検査体150に対して面的に光を照射する。ここで、照明装置120は、照明光のP偏光のすべてが後述する被検査面のクリア層の表面で反射しない角度の入射角で、照明光を被検査面に照射する。この入射角の詳細については後述する。
本実施形態のスクリーン130は、照明装置120から入力された光を、面的に被検査体150に照射する。
第1偏光フィルタ160は、スクリーン130の被検査体側の面の近傍に設けられ、スクリーン130から面的に照射された照射光から所定方向の偏光を透過する。本実施形態では、第1偏光フィルタ160は、所定方向の偏光として、S偏光とP偏光とを切替えて透過するようになっている。ここで、第1偏光フィルタ160は、取り外し可能となっており、照明光を偏光せずに被検査体150の被検査面に照射する場合には、検査者は第1偏光フィルタ160をスクリーン130の前から取り外す。
第2偏光フィルタ170は、カメラ10のレンズの前に設けられ、被検査体150の被検査面からの反射光から所定方向の偏光を透過する。本実施形態では、第2偏光フィルタ170は、所定方向の偏光として、S偏光とP偏光とを切替えて透過するようになっている。なお、第1偏光フィルタ160、第2偏光フィルタ170のそれぞれについて、S偏光透過の状態、P偏光透過の状態を示す情報を偏光情報と呼ぶ。
なお、第1偏光フィルタ160および第2偏光フィルタ170によるS偏光とP偏光の切替えは、検査者が手動で第1偏光フィルタ160、第2偏光フィルタ170のそれぞれを回転操作すること等により行われる。ただし、これに限定されるものではなく、PC100からの指令のより、第1偏光フィルタ160、第2偏光フィルタ170のそれぞれを回転移動すること等により、S偏光とP偏光とを切り返す手段等を設けるように構成してもよい。
また、照明装置120とスクリーン130との間に、集光用のフレネルレンズ等の光学系部品を設けるように構成してもよい。
なお、本実施形態は、照明装置120とスクリーン130とを組み合わせて、面的な照明部を構成する例について説明するが、このような組み合わせに制限するものではなく、例えば、LEDを面的に配置して照明部を構成してもよい。
PC100は、機能的構成としては、図1に示すように、アーム制御部101と、照明制御部102と、判定部103と、異常検出処理部105と、メモリ107とを主に備えている。PC100のハードウェア構成としては、CPU、RAMやROM等のメモリ107、キーボードやマウスなどの入力デバイス、ディスプレイなどの表示デバイス等を備えた通常のコンピュータの構成である。
メモリ107には、第1偏光フィルタ160、第2偏光フィルタ170のそれぞれの偏光情報、すなわち、P偏光透過の状態か、S偏光透過の状態かを時系列に記憶している。このメモリ107への偏光情報の登録は、検査者が入力デバイスを介して手動で行う他、第1偏光フィルタ160、第2偏光フィルタ170をPC100が切り換える場合には、PC100によりメモリ107に登録するように構成してもよい。
アーム制御部101は、被検査体150のカメラ10による撮像対象となる表面を変更するために、アーム140を制御する。本実施形態では、PC100において、被検査体の撮影対象となる表面を複数設定しておく。そして、カメラ10が被検査体150の撮影が終了する毎に、アーム制御部101が、当該設定に従って、カメラ10が設定された表面を撮影できるように、アーム140が被検査体150を移動させる。なお、本実施形態は撮影が終了する毎にアームを移動させ、撮影が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム140を駆動させてもよい。なお、アーム140は、搬送部、移動部、位置変更部、姿勢変更部等とも称されうる。
照明制御部102は、被検査体150を検査するために照明装置120の照射を制御する。本実施形態の照明制御部102は、無地のパターンの照明光を照射するように照明装置120を制御する。
判定部103は、カメラ10から撮像画像を取得し、メモリ107から第1偏光フィルタ160、第2偏光フィルタ170のそれぞれの偏光情報を取得する。そして、判定部103は、当該偏光情報に基づいて、撮像画像が被検査面を構成する複数の層のいずれの層からの反射光で撮像されたか、すなわち撮像画像が複数の層のいずれの層の画像であるかを判定する。以下、かかる判定を画像判定という。
異常検出処理部105は、判定部103による判定結果と撮像画像から被検査面の層ごとの欠陥を検出する。なお、本実施形態では、異常検出の手法については、公知の手法を用いることができる。
ここで、画像判定の詳細について説明する。被検査面は、下地の上に塗装された面と、塗装された面の上で透明にコーティングされたたクリア層とからなっている。ここで、下地の上には塗装面として塗装によるメタリック粒子が存在する。以下、下地と塗装面のメタリック粒子とを総称して内層と呼ぶ。
判定部103は、第1偏光フィルタ160の偏光情報成分と第2偏光フィルタ170の偏光情報とに基づいて、撮像画像がクリア層の表面からの反射光で撮像された画像(クリア層表面の撮像画像)か、内層のメタリック粒子からの反射光で撮像された画像(内層表面の撮像画像)か、下地からの反射光で撮像された画像(下地の撮像画像)かを判定する。
これ以降、照明光が第1偏光フィルタ160によってS偏光として出射して被検査面に入射する場合をS偏光入射といい、照明光が第1偏光フィルタ160によってP偏光として出射して被検査面に入射する場合をP偏光入射という。また、第1偏光フィルタ160を設けずに照明光を被検査体150に照射した場合を偏光無し入射と呼ぶ。
また、被検査面からの反射光を第2偏光フィルタ170によりS偏光としてカメラ10で撮像される場合をS偏光受光といい、被検査面からの反射光を第2偏光フィルタ170でP偏光としてカメラ10で撮像される場合をP偏光受光という。
照明光の被検査面への入射角について説明する。図2は、空気とガラスの界面の反射率と入射角の関係を示すグラフである。図2では、S偏光とP偏光の入射角に対する反射率の関係を示している。不図示ではあるが、空気とアルミ等の金属の界面での反射率は、S偏光、P偏光のいずれも高い反射率を示すが、空気とガラス等の誘電体の界面の反射率は、図2に示すようになる。図2からわかるように、S偏光の反射率は、入射角が0°から90°に増加するに従って増加するが、P偏光の反射率は、入射角が0°で約5%で、入射角が増加するに従って徐々に減少し、入射角が約60°のときにP偏光の反射率は0となる。その後、入射角が増加するに従って、反射率は急激に増加する。
本実施形態では、P偏光の反射率が0になるときの入射角(図2の例では60°)で照明光を被検査面に照射するように照明装置120を構成している。このため、被検査面に照射されたP偏光は、クリア層表面で反射せずに、クリア層内部を透過し、内層に達することになる。
照明光が第1偏光フィルタ160によってS偏光として出射して被検査面に入射する場合(S偏光入射)について説明する。図3は、実施形態1におけるS偏光入射の状態の一例を示す図である。
図3に示すように、第1偏光フィルタ160より出射された照明光のS偏光は、クリア層の表面で反射してS偏光の状態でカメラ10に向かう光と、クリア層内部を透過して内層表面のメタリック粒子で反射してS偏光の状態でカメラ10に向かう光と、内層の内部に入り込んで内層内部で多数の反射を繰り返して、その結果無偏光となって内層、クリア層から出射しカメラ10に向かう光とに分かれる。
図4は、実施形態1におけるS偏光入射で、S偏光受光の場合の撮像画像の観察状態の一例を示す図である。S偏光入射、かつS偏光受光は、第1偏光フィルタ160でS偏光を透過し、第2偏光フィルタ170でS偏光を透過して観察する場合である。
この場合には、カメラ10は、クリア層の表面からの反射光(S偏光)を、第2偏光フィルタ170を介してS偏光で撮像して観察するので、図4に示すように、クリア層表面の反射光が観察される。また、カメラ10は、内層の表面からの反射光(S偏光)を、第2偏光フィルタ170を介してS偏光で撮像して観察するので、図4に示すように、内層の表面に存在するメタリック粒子が観察される。さらに、内層の内部に透過したS偏光は、内部で多数の反射で無偏光となり、内層、クリア層から出射されるので第2偏光フィルタ170を介して、下地の反射光として観察される。
図5は、実施形態1におけるS偏光入射で、P偏光受光の場合の撮像画像の観察状態の一例を示す図である。S偏光入射、かつP偏光受光は、第1偏光フィルタ160でS偏光を透過し、第2偏光フィルタ170でP偏光を透過して観察する場合である。
この場合には、図5に示すように、クリア層の表面からの反射光(S偏光)および内層の表面に存在するメタリック粒子からの反射光(S偏光)のいずれも、P偏光を透過する第2偏光フィルタ170で遮断され、カメラ10では受光されない。一方、内層の内部に透過したS偏光は、内部で多数の反射で無偏光となり、内層、クリア層から出射されるので、第2偏光フィルタ170を介して、下地の反射光として観察される。
次に、照明光が第1偏光フィルタ160によってP偏光として出射して被検査面に入射する場合(P偏光入射)について説明する。図6は、実施形態1におけるP偏光入射の状態の一例を示す図である。
図6に示すように、第1偏光フィルタ160より出射された照明光のP偏光は、上述のようにP偏光の反射率が0となる入射角で被検査面に照射されるので、クリア層の表面を反射せずに、クリア層内部を透過する。そして、内層表面のメタリック粒子で反射してP偏光の状態でカメラ10に向かう光と、内層の内部に入り込んで内層内部で多数の反射を繰り返して、その結果無偏光となって内層、クリア層から出射しカメラ10に向かう光とに分かれる。
図7は、実施形態1におけるP偏光入射で、S偏光受光の場合の撮像画像の観察状態の一例を示す図である。P偏光入射、かつS偏光受光は、第1偏光フィルタ160でP偏光を透過し、第2偏光フィルタ170でS偏光を透過して観察する場合である。
この場合には、P偏光はクリア層の表面から反射しないので、図7に示すように、クリア層表面の反射光は観察されない。また、カメラ10は、内層の表面からの反射光(P偏光)を、第2偏光フィルタ170を介してS偏光で撮像して観察するので、図7に示すように、内層の表面に存在するメタリック粒子からの反射光は第2偏光フィルタ170で遮断され、メタリック粒子もカメラ10で観察することはできない。一方、内層の内部に透過したP偏光は、内部で多数の反射で無偏光となって、内層、クリア層から出射されるので第2偏光フィルタ170を介して、下地の反射光として観察される。
図8は、実施形態1におけるP偏光入射で、P偏光受光の場合の撮像画像の観察状態の一例を示す図である。P偏光入射、かつP偏光受光は、第1偏光フィルタ160でP偏光を透過し、第2偏光フィルタ170でP偏光を透過して観察する場合である。
この場合には、図8に示すように、P偏光はクリア層の表面から反射しないので、クリア層表面の反射光は観察されない。また、カメラ10は、内層の表面からの反射光(P偏光)を、第2偏光フィルタ170を介してP偏光で撮像して観察するので、図8に示すように、内層の表面に存在するメタリック粒子が観察される。さらに、内層の内部に透過したP偏光は、内部で多数の反射で無偏光となり、内層、クリア層から出射されるので第2偏光フィルタ170を介して、下地の反射光として観察される。
以上により、判定部103は、カメラ10で撮像された撮像画像に対して、偏光情報、すなわち、S偏光入射かつS偏光観察、S偏光入射かつP偏光観察、P偏光入射かつS偏光観察、P偏光入射かつP偏光観察、P偏光入射かつ無偏光観察、P偏光入射かつ無偏光観察に応じて、撮像画像がいずれの層の反射光で撮像された画像であるか、すなわち撮像画像がいずれの層の画像であるかを判定する。
図9は、実施形態1における偏光情報と反射光の層との関係を示す図である。図9では、S偏光入射、P偏光入射、偏光無し入射のそれぞれの場合において、S偏光受光、P偏光受光で観察される反射光が被検査面のいずれの層からの反射光となるかを示している。
判定部103は、図9に示すように、S偏光入射でS偏光受光の場合、撮像画像がクリア層表面の反射光と内層(メタリック粒子および下地)からの反射光で撮像された画像、すなわち、クリア層表面、メタリック粒子および下地の画像であると判断する。また、判定部103は、S偏光入射でP偏光受光の場合、図9に示すように、撮像画像が下地からの反射光で撮像された画像、すなわち、下地の画像であると判断する。
また、判定部103は、P偏光入射でS偏光受光の場合、図9に示すように、撮像画像が下地からの反射光で撮像された画像、すなわち、下地の画像であると判断する。また、判定部103は、P偏光入射でP偏光受光の場合、図9に示すように、撮像画像が下地からの反射光で撮像された画像、すなわち、下地の画像であると判断する。
さらに、判定部103は、偏光無し入射でS偏光受光の場合には、図9に示すように、撮像画像がクリア層表面の反射光と内層(メタリック粒子および下地)からの反射光で撮像された画像、すなわち、クリア層表面、メタリック粒子および下地の画像であると判断する。判定部103は、偏光無し入射でP偏光受光の場合には、図9に示すように、撮像画像が内層(メタリック粒子および下地)からの反射光で撮像された画像、すなわち、メタリック粒子および下地の画像であると判断する。
次に、以上のように構成された本実施形態の検査システムのPC100による被検査体150の検査処理について説明する。図10は、実施形態1にかかる検査処理の流れを示すシーケンス図である。
なお、本実施形態では、スクリーン130の前に設置された第1偏光フィルタ160の偏光の状態をS偏光を透過またはP偏光を透過のいずれかに固定し、カメラ10の前に設けられた第2偏光フィルタ170の偏光を切替えるものとする。
また、照明装置120からは無地のパターンの照明光がスクリーン130に対して照射されているものとする。
まず、検査者は、カメラ10側において、第2偏光フィルタの偏光状態を切り換える(ステップS1011)。そして、カメラ10は、被検査体150の被検査面からの反射光を、第2偏光フィルタ170を介して受光し、これにより被検査面を撮像する(ステップS1012)。そして、カメラ10は撮像画像データをPC100に出力する(ステップS1013)。
上記ステップS1011からS1013までの処理は、被検査面の同じ領域に対して、第2偏光フィルタ170を異なる偏光状態で2回繰り返して実行される。例えば、1回目の処理では第2偏光フィルタ170をS偏光を透過するようにしてS偏光受光とし、2回目の処理では、第2偏光フィルタ170をP偏光を透過するように切り換えてP偏光受光とする等である。これにより、S偏光受光とP偏光受光とで2枚の撮像画像データが得られ、PC100に出力されることになる。
PC100は、2枚の撮像画像データをカメラ10から受け取る(ステップS1101)。そして、判定部103が2枚の撮像画像データに対して画像判定処理を実行する(ステップS1002)。
図11は、実施形態1の画像判定処理の手順を示すフローチャートである。判定部103は、メモリ107に設定された第1偏光フィルタ160の偏光情報、第2偏光フィルタ170の偏光情報を取得する(ステップS11)。ここで、第2偏光フィルタ170の偏光情報については、1枚目の撮像画像データの撮像時の偏光情報、2枚目の撮像画像データの撮像時の偏光情報をそれぞれ取得する。
そして、判定部103は、1枚目の撮像画像データに対して、第1偏光フィルタ160の偏光情報、第2偏光フィルタ170の1枚目の撮像画像データの撮像時の偏光情報から、反射光の判定を行う(ステップS12)。すなわち、1枚目の撮像画像データがいずれかの層からの反射光で撮像された画像かを判定する。判定の手法は、図2の表に基づいて上述したとおりに行われる。これにより、判定結果として1枚目の撮像画像データを撮像した層が得られる。
次に、判定部103は、2枚目の撮像画像データに対して、第1偏光フィルタ160の偏光情報、第2偏光フィルタ170の2枚目の撮像画像データの撮像時の偏光情報から、反射光の判定を行う(ステップS13)。すなわち、2枚目の撮像画像データがいずれかの層からの反射光で撮像された画像かを判定する。これにより、判定結果として2枚目の撮像画像データを撮像した層が得られる。
次に、判定部103は、1枚目の撮像画像データと2枚目の撮像画像データの差分である差分画像を生成する(ステップS14)。そして,判定部103は、この差分画像を撮像した反射光を判定する(ステップS15)。
このように差分画像を求めて反射光の判定を行うのは、以下の理由による。例えば、1枚目の撮像画像データの撮像の際において、第1偏光フィルタ160の偏光情報がS偏光透過であり、第2偏光フィルタ170の偏光情報がS偏光透過である場合、すなわち、S偏光入射でS偏光観察の場合、判定部103は、図2の表に示すとおり、1枚目の撮像が画像データは、クリア層表面の撮像画像、内層表面のメタリック粒子の撮像画像、および下地の撮像画像であると判定する。すなわち、1枚目の撮像画像データだけでは、特定の層に絞り込むことができない。
一方、被検査面の同じ領域を撮像した2枚目の撮像画像データの撮像の際において、第1偏光フィルタ160の偏光情報がS偏光透過であり、第2偏光フィルタ170の偏光情報がP偏光透過である場合、すなわち、S偏光入射でP偏光観察の場合、判定部103は、図2の表に示すとおり、2枚目の撮像が画像データは、下地の撮像画像であると判定する。
このため、1枚目の撮像画像データと2枚目の撮像画像データとの差分をとると、差分画像では、下地部分が除去されることになり、クリア層表面から反射光とメタリック粒子からの反射光による画像が得られることになり、少なくともクリア層の画像と下地の画像とを分離することが可能となる。この場合、ステップS15では、差分画像の反射光を、クリア層表面から反射光とメタリック粒子からの反射光と特定する。
そして、判定部103は、1枚目の撮像画像データ、1枚目の撮像画像データ、差分画像を、それぞれの判定結果と対応付けて異常判定処理部105に出力する(ステップS16)。
図10に戻り、ステップS1002の画像判定処理が終了したら、異常検出処理部105は、画像判定の判定結果を用いて被検査面に欠陥が存在するか否かの異常検出処理を実行する(ステップS1003)。すなわち、画像判定の結果、撮像画像がクリア層、下地層のいずれの画像であるわかるため、異常検出処理部105は、被検査面のクリア層での欠陥の有無、被検査面の下地での欠陥の有無を検出することが可能となる。そして、異常検出処理部105は、異常検出結果を、PC1100が備える(図示しない)表示装置に出力する(ステップS1004)。
アーム制御部101は、当該被検査体の検査が終了したか否かを判定する(ステップS1005)。検査が終了していないと判定した場合(ステップS1005:No)、アーム制御部101が、予め定められた設定に従って、次の検査対象となる被検査体の表面が、カメラ10で撮影できるように、アームの移動制御を行う(ステップS1006)。
一方、アーム制御部101が当該被検査体の検査が終了したと判定した場合(ステップS1005:Yes)、処理は終了する。
このように本実施形態では、PC100の判定部103が、第1偏光フィルタ160の偏光情報、第2偏光フィルタ170の偏光情報から、S偏光入射かつS偏光観察、S偏光入射かつP偏光観察、P偏光入射かつS偏光観察、P偏光入射かつP偏光観察、P偏光入射かつ無偏光観察、P偏光入射かつ無偏光観察のいずれのパターンかを判断する。そして、異常検出処理部105は、当該パターンにより、反射光が被検査面を構成するクリア層、内層、下地のいずれの層からの反射光であるかを判断した上で、欠陥検出を行っている。このため、本実施形態によれば、より正確な欠陥検査を行うことができる。
本実施形態では、第1偏光フィルタ160の偏光状態を固定とし切り換えないようにしていたが、これに限定されるものではなく、第1偏光フィルタ160の偏光状態を切り換えるように構成してもよい。
また、本実施形態では、クリア層と内層の撮像画像と下地の撮像画像という2枚の撮像画像の差分をとって、クリア層の画像を得てから、異常検出処理を各層毎に行っているが、これに限定されるものではない。例えば、クリア層と内層の撮像画像で異常検出処理を行い、下地の撮像画像で異常検出処理を行い、その検出結果の差分でクリア層における欠陥の有無や欠陥の数を判断するように、判定部103および異常検出処理部105を構成してもよい。
(実施形態2)
本実施形態では、時間相関カメラを用いた検査システムにおいて、偏光情報を用いて被検査面のうちいずれの層の撮像画像かを判断して、欠陥の有無等の異常検出を行っている。すなわち、本実施形態の検査システムは、実施形態1のカメラに代えて時間相関カメラを用い、縞パターンの照明光を被検査面に照射する。
図12は、本実施形態の検査システムの構成例を示した図である。図12に示されるように、本実施形態の検査システムは、PC1100と、時間相関カメラ110と、照明装置120と、スクリーン130と、アーム140と、第1偏光フィルタ160と、第2偏光フィルタ170とを備えている。
アーム140は、被検査体150を固定するために用いられ、PC1100からの制御に応じて、時間相関カメラ110が撮影可能な被検査体150の表面の位置と向きを変化させる。
照明装置120は、被検査体150に光を照射する装置であって、PC1100からの縞パターンに従って、照射する光の強度を領域単位で制御できる。さらに、照明装置120は、周期的な時間の遷移に従って当該領域単位の光の強度を制御できる。換言すれば、照明装置120は、光の強度の周期的な時間変化及び空間変化を与えることができる。なお、具体的な光の強度の制御手法については後述する。
スクリーン130は、照明装置120から出力された光を拡散させた上で、被検査体150に対して面的に光を照射する。本実施形態のスクリーン130は、照明装置120から入力された周期的な時間変化及び空間変化が与えられた光を、面的に被検査体150に照射する。なお、照明装置120とスクリーン130との間には、集光用のフレネルレンズ等の光学系部品(図示されず)が設けられてもよい。
なお、本実施形態は、照明装置120とスクリーン130とを組み合わせて、光強度の周期的な時間変化及び空間変化を与える面的な照明部を構成する例について説明するが、このような組み合わせに制限するものではなく、例えば、LEDを面的に配置して照明部を構成してもよい。
第1偏光フィルタ160は、実施形態1と同様に、スクリーン130の被検査体側の面の近傍に設けられ、スクリーン130から面的に照射された照射光から、S偏光とP偏光とを切替えて透過する。第2偏光フィルタ170は、時間相関カメラ110のレンズの前に設けられ、被検査体150の被検査面からの反射光から、S偏光とP偏光とを切替えて透過するようになっている。
時間相関カメラ110は、光学系210と、イメージセンサ220と、データバッファ230と、制御部240と、参照信号出力部250と、を備えている。図13は、本実施形態の時間相関カメラ110の構成を示したブロック図である。
光学系210は、撮影レンズ等を含み、時間相関カメラ110の外部の被写体(被検査体を含む)からの光束を透過し、その光束により形成される被写体の光学像を結像させる。
イメージセンサ220は、光学系210を介して入射された光の強弱を光強度信号として画素毎に高速に出力可能なセンサとする。
本実施形態の光強度信号は、検査システムの照明装置120が被写体(被検査体を含む)に対して光を照射し、当該被写体からの反射光を、イメージセンサ220が受け取ったものである。
イメージセンサ220は、例えば従来のものと比べて高速に読み出し可能なセンサであり、行方向(x方向)、列方向(y方向)の2種類の方向に画素が配列された2次元平面状に構成されたものとする。そして、イメージセンサ220の各画素を、画素P(1,1),……,P(i,j),……,P(X,Y)とする(なお、本実施形態の画像サイズをX×Yとする。)。なお、イメージセンサ220の読み出し速度を制限するものではなく、従来と同様であってもよい。
イメージセンサ220は、光学系210によって透過された、被写体(被検査体を含む)からの光束を受光して光電変換することで、被写体から反射された光の強弱を示した光強度信号(撮影信号)で構成される、2次元平面状のフレームを生成し、制御部240に出力する。本実施形態のイメージセンサ220は、読み出し可能な単位時間毎に、当該フレームを出力する。
本実施形態の制御部240は、例えばCPU、ROM、及びRAM等で構成され、ROMに格納された検査プログラムを実行することで、転送部241と、読出部242と、強度画像用重畳部243と、第1の乗算器244と、第1の相関画像用重畳部245と、第2の乗算器246と、第2の相関画像用重畳部247と、画像出力部248と、を実現する。なお、CPU等で実現することに制限するものではなく、FPGA、またはASICで実現してもよい。
転送部241は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、データバッファ230に、時系列順に蓄積する。
データバッファ230は、イメージセンサ220から出力された、光強度信号で構成されたフレームを、時系列順に蓄積する。
図14は、本実施形態の時間相関カメラ110で時系列順に蓄積されたフレームを表した概念図である。図14に示されるように、本実施形態のデータバッファ230には、時刻t(t=t0,t1,t2,……,tn)毎の複数の光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)の組み合わせで構成された複数のフレームFk(k=1,2,……,n)が、時系列順に蓄積される。なお、時刻tで作成される一枚のフレームは、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)で構成される。
本実施形態の光強度信号(撮像信号)G(1,1,t),……,G(i,j,t),……,G(X,Y,t)には、フレーム画像Fk(k=1,2,……,n)を構成する各画素P(1,1),……,P(i,j),……,P(X,Y)が対応づけられている。
イメージセンサ220から出力されるフレームは、光強度信号のみで構成されており、換言すればモノクロの画像データとも考えることができる。なお、本実施形態は、解像度、感度、及びコスト等を考慮して、イメージセンサ220がモノクロの画像データを生成する例について説明するが、イメージセンサ220としてモノクロ用のイメージセンサに制限するものではなく、カラー用のイメージセンサを用いても良い。
図13に戻り、本実施形態の読出部242は、データバッファ230から、光強度信号G(1,1,t),……,G(i,j,t),……,G(X,Y,t)をフレーム単位で、時系列順に読み出して、第1の乗算器244と、第2の乗算器246と、強度画像用の重畳部と、に出力する。
本実施形態の時間相関カメラ110は、読出部242の出力先毎に画像データを生成する。換言すれば、時間相間カメラは、3種類の画像データを作成する。
本実施形態の時間相関カメラ110は、3種類の画像データとして、強度画像データと、2種類の時間相関画像データと、を生成する。なお、本実施形態は、3種類の画像データを生成することに制限するものではなく、強度画像データを生成しない場合や、1種類又は3種類以上の時間相関画像データを生成する場合も考えられる。
本実施形態のイメージセンサ220は、上述したように単位時間毎に、光強度信号で構成されたフレームを出力している。しかしながら、通常の画像データを生成するためには、撮影に必要な露光時間分の光強度信号が必要になる。そこで、本実施形態では、強度画像用重畳部243が、撮影に必要な露光時間分の複数のフレームを重畳して、強度画像データを生成する。なお、強度画像データの各画素値(光の強度を表す値)G(x,y)は、以下に示す式(1)から導き出すことができる。なお、露光時間は、t0とtnの時間差とする。
Figure 0006276092
これにより、従来のカメラの撮影と同様に、被写体(被検査体を含む)が撮影された強度画像データが生成される。そして、強度画像用重畳部243は、生成した強度画像データを、画像出力部248に出力する。
時間相関画像データは、時間遷移に応じた光の強弱の変化を示す画像データである。つまり、本実施形態では、時系列順のフレーム毎に、当該フレームに含まれる光強度信号に対して、時間遷移を示した参照信号を乗算し、参照信号と光強度信号と乗算結果である時間相関値で構成された、時間相関値フレームを生成し、複数の時間相関値フレームを重畳することで、時間相関画像データを生成する。
ところで、時間相関画像データを用いて、被検査体の異常を検出するためには、イメージセンサ220に入力される光強度信号を、参照信号に同期させて変化させる必要がある。このために、照明装置120が、上述したように、スクリーン130を介して周期的に時間変化および縞の空間的な移動を与えるような、面的な光の照射を行うこととした。
本実施形態では、2種類の時間相関画像データを生成する。参照信号は、時間遷移を表した信号であればよいが、本実施形態では、複素正弦波e-jωtを用いる。なお、角周波数ω、時刻tとする。参照信号を表す複素正弦波e-jωtが、上述した露光時間(換言すれば強度画像データ、時間相関画像を生成するために必要な時間)の一周期と相関をとるように、角周波数ωが設定されるものとする。換言すれば、照明装置120およびスクリーン130等の照明部によって形成された面的かつ動的な光は、被検査体150の表面(反射面)の各位置で第一の周期(時間周期)での時間的な照射強度の変化を与えるとともに、表面に沿った少なくとも一方向に沿った第二の周期(空間周期)での空間的な照射強度の増減分布を与える。この面的な光は、表面で反射される際に、当該表面のスペック(法線ベクトルの分布等)に応じて複素変調される。時間相関カメラ110は、表面で複素変調された光を受光し、第一の周期の参照信号を用いて直交検波(直交復調)することにより、複素信号としての時間相関画像データを得る。このような複素時間相関画像データに基づく変復調により、表面の法線ベクトルの分布に対応した特徴を検出することができる。
複素正弦波e-jωtは、e-jωt=cos(ωt)―j・sin(ωt)と表すこともできる。従って、時間相関画像データの各画素値C(x,y)は、以下に示す式(2)から導き出すことができる。
Figure 0006276092
本実施形態では、式(2)において、実数部を表す画素値C1(x,y)と、虚数部を表す画素値C2(x,y)と、に分けて2種類の時間相関画像データを生成する。
このため、参照信号出力部250は、第1の乗算器244と、第2の乗算器246と、に対してそれぞれ異なる参照信号を生成し、出力する。本実施形態の参照信号出力部250は、複素正弦波e-jωtの実数部に対応する第1の参照信号cosωtを第1の乗算器244に出力し、複素正弦波e-jωtの虚数部に対応する第2の参照信号sinωtを第2の乗算器246に出力する。このように本実施形態の参照信号出力部250は、互いにヒルベルト変換対をなす正弦波および余弦波の時間関数として表される2種類の参照信号を出力する例について説明するが、参照信号は時間関数のような時間遷移に応じて変化する参照信号であればよい。
そして、第1の乗算器244は、読出部242から入力されたフレーム単位で、当該フレームの光強度信号毎に、参照信号出力部250から入力された複素正弦波e-jωtの実数部cosωtを乗算する。
第1の相関画像用重畳部245は、撮影に必要な露光時間分の複数のフレームについて、第1の乗算器244の乗算結果を画素毎に重畳する処理を行う。これにより、第1の時間相関画像データの各画素値C1(x,y)が、以下の式(3)から導出される。
Figure 0006276092
そして、第2の乗算器246は、読出部242から入力されたフレームの光強度信号に対して、参照信号出力部250から入力された複素正弦波e-jωtの虚数部sinωtを乗算する。
第2の相関画像用重畳部247は、撮影に必要な露光時間分の複数のフレームについて、第2の乗算器246の乗算結果を画素毎に重畳する処理を行う。これにより、第2の時間相関画像データの各画素値C2(x、y)が、以下の式(4)から導出される。
Figure 0006276092
上述した処理を行うことで、2種類の時間相関画像データ、換言すれば2自由度を有する時間相関画像データを生成できる。
また、本実施形態は、参照信号の種類を制限するものでない。例えば、本実施形態では、複素正弦波e-jωtの実部と虚部の2種類の時間相関画像データを作成するが、光の振幅と、光の位相と、による2種類の画像データを生成してもよい。
なお、本実施形態の時間相関カメラ110は、時間相関画像データとして、複数系統分作成可能とする。これにより、例えば複数種類の幅の縞が組み合わされた光が照射された際に、上述した実部と虚部とによる2種類の時間相関画像データを、縞の幅毎に作成可能とする。このために、時間相関カメラ110は、2個の乗算器と2個の相関画像用重畳部とからなる組み合わせを、複数系統分備えるとともに、参照信号出力部250は、系統毎に適した角周波数ωによる参照信号を出力可能とする。
そして、画像出力部248が、2種類の時間相関画像データと、強度画像データと、をPC1100に出力する。これにより、PC1100が、2種類の時間相関画像データと、強度画像データと、を用いて、被検査体の異常を検出する。そのためには、被写体に対して光を照射する必要がある。
本実施形態の照明装置120は、高速に移動する縞パターンを照射する。図15は、本実施形態の照明装置120が照射する縞パターンの一例を示した図である。図15に示す例では、縞パターンをx方向にスクロール(移動)させている例とする。白い領域が縞に対応した明領域、黒い領域が縞と縞との間に対応した間隔領域(暗領域)である。
本実施形態では、時間相関カメラ110が強度画像データ及び時間相関画像データを撮影する露光時間で、照明装置120が照射する縞パターンが一周期分移動させる。これにより、照明装置120は、光の強度の縞パターンの空間的な移動により光の強度の周期的な時間変化を与える。本実施形態では、図15の縞パターンが一周期分移動する時間を、露光時間と対応させることで、時間相関画像データの各画素には、少なくとも、縞パターン一周期分の光の強度信号に関する情報が埋め込まれる。
図15に示されるように、本実施形態では、照明装置120が矩形波に基づく縞パターンを照射する例について説明するが、矩形波以外を用いてもよい。本実施形態では、照明装置120がスクリーン130を介して照射されることで、矩形波の明暗の境界領域をぼかすことができる。
本実施形態では、照明装置120が照射する縞パターンをA(1+cos(ωt+kx)と表す。すなわち、縞パターンには、複数の縞が反復的に(周期的に)含まれる。なお、被検査体に照射される光の強度は0〜2Aの間で調整可能とし、光の位相kxとする。kは、縞の波数である。xは、位相が変化する方向である。
そして、フレームの各画素の光強度信号f(x,y,t)の基本周波数成分は、以下の式(5)として表すことができる。式(5)で示されるように、x方向で縞の明暗が変化する。
f(x,y,t)=A(1+cos(ωt+kx))
=A+A/2{ej(ωt+kx)+e-j(ωt+kx)}……(5)
式(5)で示されるように、照明装置120が照射する縞パターンの強度信号は、複素数として考えることができる。
そして、イメージセンサ220には、当該照明装置120からの光が被写体(被検査体を含む)から反射して入力される。
したがって、イメージセンサ220に入力される光強度信号G(x,y,t)を、照明装置120が照射された際のフレームの各画素の光強度信号f(x,y,t)とできる。そこで、強度画像データを導出するための式(1)に式(5)を代入すると、式(6)を導出できる。なお、位相kxとする。
Figure 0006276092
式(6)から、強度画像データの各画素には、露光時間Tに、照明装置120が出力している光の強度の中間値Aを乗じた値が入力されていることが確認できる。さらに、時間相関画像データを導出するための式(2)に式(5)を代入すると、式(7)を導出できる。なお、AT/2を振幅とし、kxを位相とする。
Figure 0006276092
これにより、式(7)で示された複素数で示された時間相関画像データは、上述した2種類の時間相関画像データと置き換えることができる。つまり、上述した実部と虚部とで構成される時間相関画像データには、検査体に照射された光強度変化における位相変化と振幅変化とが含まれている。換言すれば、本実施形態のPC1100は、2種類の時間相関画像データに基づいて、照明装置120から照射された光の位相変化と、光の振幅変化と、を検出できる。そこで、本実施形態のPC1100が、時間相関画像データ及び強度画像データに基づいて、画素毎に入る光の振幅を表した振幅画像データと、画素毎に入る光の位相変化を表した位相画像データと、を生成する。
さらに、PC1100は、生成した振幅画像データと位相画像データとに基づいて、被検査体の異常を検出する。
ところで、被検査体の表面形状に凹凸に基づく異常が生じている場合、被検査体の表面の法線ベクトルの分布には異常に対応した変化が生じている。また、被検査体の表面に光を吸収するような異常が生じている場合、反射した光の強度に変化が生じる。法線ベクトルの分布の変化は、光の位相変化及び振幅変化のうち少なくともいずれか一つとして検出される。そこで、本実施形態では、時間相関画像データ及び強度画像データを用いて、法線ベクトルの分布の変化に対応した、光の位相変化及び振幅変化のうち少なくともいずれか一つを検出する。これにより、表面形状の異常を検出可能となる。次に、被検査体の異常、法線ベクトル、及び光の位相変化又は振幅変化の関係について説明する。
図16は、第1の実施形態の時間相関カメラ110による、被検査体の異常の第1の検出例を示した図である。図16に示される例では、被検査体500に突形状の異常501がある状況とする。当該状況においては、異常501の点502の近傍領域においては、法線ベクトル521、522、523が異なる方向を向いていることを確認できる。そして、当該法線ベクトル521、522、523が異なる方向を向いていることで、異常501から反射した光に拡散(例えば、光511、512、513)が生じ、時間相関カメラ110のイメージセンサ220の任意の画素531に入る縞パターンの幅503が広くなる。
図17は、図16に示される異常501が被検査体500にある場合に、当該異常に応じて変化する、光の振幅の例を表した図である。図17に示される例では、光の振幅を実部(Re)と、虚部(Im)に分けて2次元平面上に表している。図17では、図16の光511、512、513に対応する光の振幅611、612、613として示している。そして、光の振幅611、612、613は互いに打ち消し合い、イメージセンサ220の当該任意の画素531には、振幅621の光が入射する。
したがって、図17に示される状況で、検査体500の異常501が撮像された領域で振幅が小さいことが確認できる。換言すれば、振幅変化を示した振幅画像データで、周囲と比べて暗くなっている領域がある場合に、当該領域で光同士の振幅の打ち消し合いが生じていると推測できるため、当該領域に対応する被検査体500の位置で異常501が生じていると判断できる。
本実施形態の検査システムは、図16の異常501のように傾きが急峻に変化しているものに限らず、緩やかに変化する異常も検出できる。図18は、第1の実施形態の時間相関カメラ110による、被検査体の異常の第2の検出例を示した図である。図18に示される例では、正常な場合は被検査体の表面が平面(換言すれば法線が平行)となるが、被検査体700に緩やかな勾配701が生じた状況とする。このような状況においては、勾配701上の法線ベクトル721、722、723も同様に緩やかに変化する。したがって、イメージセンサ220に入力する光711、712、713も少しずつずれていく。図18に示される例では、緩やかな勾配701のために光の振幅の打ち消し合いは生じないため、図16、図17で表したような光の振幅はほとんど変化しない。しかしながら、本来スクリーン130から投影された光が、そのままイメージセンサに平行に入るはずが、緩やかな勾配701のために、スクリーン130から投影された光が平行の状態でイメージセンサに入らないために、光に位相変化が生じる。従って、光の位相変化について、周囲等との違いを検出することで、図18に示したような緩やかな勾配701による異常を検出できる。
また、被検査体の表面形状(換言すれば、被検査体の法線ベクトルの分布)以外にも異常が生じる場合がある。図19は、第1の実施形態の時間相関カメラ110による、被検査体の異常の第3の検出例を示した図である。図19に示される例では、被検査体800に汚れ801が付着しているため、照明装置120から照射された光が吸収あるいは拡散反射し、時間相関カメラ110の、汚れ801を撮影している任意の画素領域では光がほとんど強度変化しない例を表している。換言すれば、汚れ801を撮影している任意の画素領域では、光強度は位相打ち消しを起こし振動成分がキャンセルされ、ほとんど直流的な明るさになる例を示している。
このような場合、汚れ801を撮影している画素領域においては、光の振幅がほとんどないため、振幅画像データを表示した際に、周囲と比べて暗くなる領域が生じる。したがって、当該領域に対応する被検査体800の位置に、汚れ等の異常801があることを推定できる。
このように、本実施形態では、時間相関画像データに基づいて、光の振幅の変化と、光の位相の変化と、を検出することで、被検査体に異常があることを推定できる。
図12に戻り、PC1100について説明する。PC1100は、検出システム全体の制御を行う。PC1100は、アーム制御部101と、照明制御部102と、制御部1103と、を備える。
アーム制御部101は、被検査体150の時間相関カメラ110による撮像対象となる表面を変更するために、アーム140を制御する。本実施形態では、PC1100において、被検査体の撮影対象となる表面を複数設定しておく。そして、時間相関カメラ110が被検査体150の撮影が終了する毎に、アーム制御部101が、当該設定に従って、時間相関カメラ110が設定された表面を撮影できるように、アーム140が被検査体150を移動させる。なお、本実施形態は撮影が終了する毎にアームを移動させ、撮影が開始する前に停止させることを繰り返すことに制限するものではなく、継続的にアーム140を駆動させてもよい。なお、アーム140は、搬送部、移動部、位置変更部、姿勢変更部等とも称されうる。
照明制御部102は、被検査体150を検査するために照明装置120が照射する縞パターンを出力する。本実施形態の照明制御部102は、少なくとも3枚以上の縞パターンを、照明装置120に受け渡し、当該縞パターンを露光時間中に切り替えて表示するように照明装置120に指示する。
図20は、照明制御部102が照明装置120に出力する縞パターンの例を示した図である。図20(B)に示す矩形波に従って、図20(A)に示す黒領域と白領域とが設定された縞パターンが出力されるように、照明制御部102が制御を行う。
本実施形態で照射する縞パターン毎の縞の間隔は、検出対象となる異常(欠陥)の大きさに応じて設定されるものとしてここでは詳しい説明を省略する。
また、縞パターンを出力するための矩形波の角周波数ωは、参照信号の角周波数ωと同じ値とする。
図20に示されるように、照明制御部102が出力する縞パターンは、矩形波として示すことができるが、スクリーン130を介することで、縞パターンの境界領域をぼかす、すなわち、縞パターンにおける明領域(縞の領域)と暗領域(間隔の領域)との境界での光の強度変化を緩やかにする(鈍らせる)ことで、正弦波に近似させることができる。図21は、スクリーン130を介した後の縞パターンを表した波の形状の例を示した図である。図21に示されるように波の形状が、正弦波に近づくことで、計測精度を向上させることができる。また、縞に明度が多段階に変化するグレー領域を追加したり、グラデーションを与えたりしてもよい。また、カラーの縞を含む縞パターンを用いてもよい。
図12に戻り、制御部1103は、振幅−位相画像生成部104と、異常検出処理部105と、判定部1104を備える。制御部1103は、第1偏光フィルタ160および第2偏光フィルタ170の各偏光情報から、時間相関カメラ110から入力された強度画像データと時間相関画像データとが、被検査面のクリア層、下地のいずれの画像であるかを判定し、強度画像データと時間相関画像データとにより、被検査体150の検査対象面の法線ベクトルの分布と対応した特徴であって、周囲との違いによって異常を検出する特徴を算出するための処理を行う。なお、本実施形態は、検査を行うために、複素数で示した時間相関画像データ(複素時間相関画像データと称す)の代わりに、複素数相関画像データの実部と虚部とで分けた2種類の時間相関画像データを、時間相関カメラ110から受け取る。
振幅−位相画像生成部104は、時間相関カメラ110から入力された強度画像データと、時間相関画像データと、に基づいて、振幅画像データと、位相画像データと、を生成する。
振幅画像データは、画素毎に入る光の振幅を表した画像データとする。位相画像データは、画素毎に入る光の位相を表した画像データとする。
本実施形態は振幅画像データの算出手法を制限するものではないが、例えば、振幅−位相画像生成部104は、2種類の時間相関画像データの画素値C1(x,y)及びC2(x,y)から、式(8)を用いて、振幅画像データの各画素値F(x,y)を導き出せる。
Figure 0006276092
そして、本実施形態では、振幅画像データの画素値(振幅)と、強度画像データの画素値と、に基づいて、異常が生じている領域があるか否かを判定できる。例えば、強度画像データの画素値(AT)を2で除算した値と、振幅画像データの振幅(打ち消し合いが生じない場合にはAT/2となる)と、がある程度一致する領域は異常が生じていないと推測できる。一方、一致していない領域については、振幅の打ち消しが生じていると推測できる。なお、具体的な手法については後述する。
同様に、振幅−位相画像生成部104は、画素値C1(x,y)及びC2(x,y)から、式(9)を用いて、位相画像データの各画素値P(x,y)を導き出せる。
Figure 0006276092
判定部1104は、メモリ107から第1偏光フィルタ160、第2偏光フィルタ170のそれぞれの偏光情報を取得し、当該偏光情報に基づいて、時間相関カメラ110から取得した各画像が被検査面を構成する複数の層のいずれの層からの反射光で撮像されたか、すなわち撮像画像が複数の層のいずれの層の画像であるかの画像判定を行う。ここで、画像判定の詳細については、実施形態1と同様に行われるため、説明を省略する。
異常検出処理部105は、振幅−位相画像生成部104により生成された振幅画像データ、及び位相画像データにより、検査対称面の法線ベクトルの分布と対応した特徴であって、周囲との違いによって、被検査体150の異常に関連する特徴を検出する。本実施形態では、法線ベクトルの分布に対応した特徴として、複素時間相関画像の振幅の分布を用いた例について説明する。なお、複素時間相関画像の振幅の分布とは、複素時間相関画像の各画素の振幅の分布を示したデータであり、振幅画像データに相当する。本実施形態では、異常検出は、判定部1104による判定結果である、クリア層、下地ごとに行われる。
次に、本実施形態の異常検出処理部105における振幅に基づく異常検出処理について説明する。図22は、本実施形態の異常検出処理部105における当該処理の手順を示すフローチャートである。
まず、異常検出処理部105は、振幅画像データの各画素に格納された、光の振幅値(を表した画素値)から、当該画素を基準(例えば中心)として、N×N領域の平均振幅値を減算し(ステップS1101)、振幅の平均差分画像データを生成する。振幅の平均差分画像データは、振幅の勾配に対応する。なお、整数Nは実施の態様に応じて適切な値が設定されるものとする。
次に、異常検出処理部105は、減算により生成された振幅の平均差分画像データに対して、予め定められた振幅の閾値を用いたマスク処理を行う(ステップS1102)。
さらに、異常検出処理部105は、平均差分画像データのマスク領域内について画素毎に標準偏差を算出する(ステップS1103)。なお、本実施形態では、標準偏差に基づいた手法について説明するが、標準偏差を用いた場合に制限するものではなく、例えば平均値等を用いてもよい。
そして、異常検出処理部105は、平均を引いた振幅画素値が−4.5δ(δ:標準偏差)より小さい値の画素を、異常(欠陥)がある領域として検出する(ステップS1104)。
上述した処理手順により、各画素の振幅値(換言すれば、振幅の分布)から、被検査体の異常を検出できる。しかしながら、本実施形態は、複素時間相関画像の振幅の分布から異常を検出することに制限するものではない。検査対称面の法線ベクトルの分布と対応した特徴として、位相の分布の勾配を用いてもよい。そこで、次に位相の分布の勾配を用いた例について説明する。
次に、本実施形態の異常検出処理部105における位相に基づく異常検出処理について説明する。図23は、本実施形態の異常検出処理部105における当該処理の手順を示すフローチャートである。
まず、異常検出処理部105は、位相画像データの画素毎の光の位相値(を表した画素値)から、当該画素を基準(例えば中心)として、N×N領域の平均位相値を減算し(ステップS1201)、位相の平均差分画像データを生成する。位相の平均差分画像データは、位相の勾配に対応する。
次に、異常検出処理部105は、減算により生成された位相の平均差分画像データの大きさ(絶対値)と、閾値とを比較し、平均差分画像データの大きさが閾値以上となる画素を、異常(欠陥)のある画素として検出する(ステップS1202)。
このS1202の検出結果により、異常検出処理部105は、平均差分画像データの正負、すなわち、画素の位相値と平均位相値との大小関係によって、凹凸を判別することができる(ステップS1203)。画素の位相値と平均位相値とのどちらが大きい場合に凸となるかは、各部の設定によって変化するが、大小関係が異なると、凹凸が異なる。
なお、他の手法によって得られた位相の分布の勾配から、異常を検出することができる。例えば、異常検出処理部105は、別の手法として、正規化された時間相関画像データのN×Nの領域の平均ベクトルと、正規化された各画素のベクトルとの差の大きさが、閾値よりも大きい場合に、異常(欠陥)がある画素として検出することができる。また、位相の分布の勾配に限られず、位相の分布に対応する情報に基づいて被検査体の異常を検出すればよい。
次に、本実施形態の異常検出処理部105における振幅および強度に基づく異常検出処理について説明する。図24は、本実施形態の異常検出処理部105における当該処理の手順を示すフローチャートである。
まず、異常検出処理部105は、時間相関画像データと強度画像データとから、各画素について、次の式(10)を用いて、振幅(を表す画素値)C(x,y)(式(7)参照)と強度(を表す画素値)G(x,y)(式(6)参照)との比R(x,y)を算出する(ステップS1301)。
R(x,y)=C(x,y)/G(x,y)……(10)
次に、異常検出処理部105は、比R(x,y)と閾値とを比較し、比R(x,y)の値が対応する閾値以下となる画素を、異常(欠陥)のある画素として検出する(ステップS1302)。また、異常検出処理部105は、比R(x,y)と閾値とを比較し、比R(x,y)の値が対応する別の閾値以上となる画素を、ムラ(汚れ等)のある画素として検出する(ステップS1303)。法線ベクトルの分布の異常により、振幅の打ち消し合い(減殺)が顕著となった場合には、強度に比べて振幅がより大きく下がる。一方、法線ベクトルの分布にはそれほどの異常は無いものの被検査体150の表面の汚れ等によって光の吸収が顕著となった場合には、振幅に比べて強度がより大きく下がる。よって、異常検出処理部105は、ステップS1302およびステップS1303による異常種別の検出が可能となる。
次に、本実施形態の検査システムにおける被検査体の検査処理について説明する。図25は、本実施形態の検査システムにおける上述した処理の手順を示すフローチャートである。なお、被検査体150は、すでにアーム140に固定された状態で、検査の初期位置に配置されているものとする。
また、本実施形態でも、スクリーン130の前に設置された第1偏光フィルタ160の偏光の状態をS偏光を透過またはP偏光を透過のいずれかに固定し、時間相関カメラ110の前に設けられた第2偏光フィルタ170の偏光を切替えるものとする。
本実施形態のPC1100が、照明装置120に対して、被検査体を検査するための縞パターンを出力する(ステップS1401)。
照明装置120は、PC1100から入力された縞パターンを格納する(ステップS1421)。そして、照明装置120は、格納された縞パターンを、時間遷移に従って変化するように表示する(ステップS1422)。なお、照明装置120が表示を開始する条件は、縞パターンが格納された際に制限するものではなく、例えば検査者が照明装置120に対して開始操作を行った際でもよい。
そして、検査者は、時間相関カメラ110側において、第2偏光フィルタ170の偏光状態を切り換える(ステップS1011)。
そして、PC1100の制御部1103が、時間相関カメラ110に対して、撮影の開始指示を送信する(ステップS1402)。
次に、時間相関カメラ110が、送信されてきた撮影指示に従って、被検査体150を含む領域について撮像を開始する(ステップS1411)。次に、時間相関カメラ110の制御部240が、強度画像データと、時間相関画像データと、を生成する(ステップS1412)。そして、時間相関カメラ110の制御部240が、強度画像データと、時間相関画像データと、を、PC1100に出力する(ステップS1413)。
上記ステップS1011およびS1411からS1413までの処理は、被検査面の同じ領域に対して、第2偏光フィルタ170を異なる偏光状態で2回繰り返して実行される。例えば、1回目の処理では第2偏光フィルタ170をS偏光を透過するようにしてS偏光受光とし、2回目の処理では、第2偏光フィルタ170をP偏光を透過するように切り換えてP偏光受光とする等である。
PC1100の制御部1103は、強度画像データと、時間相関画像データと、を受け取る(ステップS1403)。そして、振幅−位相画像生成部104は、受け取った強度画像データと時間相関画像データとから、振幅画像データと、位相画像データとを生成する(ステップS1404)。
判定部103が、2枚の強度画像に対して画像判定処理を実行する(ステップS1002)。画像判定処理は実施形態1と同様に行われる。
そして、異常検出処理部105が、判定部1104の判定結果と、振幅画像データと、位相画像データとに基づいて、被検査体の異常検出制御を行う(ステップS1405)。すなわち、画像判定の結果、各画像がクリア層、下地層のいずれの画像であるわかるため、異常検出処理部105は、被検査面のクリア層での欠陥の有無、被検査面の下地での欠陥の有無を検出することが可能となる。そして、異常検出処理部105は、異常検出結果を、PC1100が備える(図示しない)表示装置に出力する(ステップS1406)。
異常検出結果の出力例としては、強度画像データを表示するとともに、振幅画像データと位相画像データとに基づいて異常が検出された領域に対応する、強度画像データの領域を、検査者が異常を認識できるように装飾表示するなどが考えられる。また、視覚に基づく出力に制限するものではなく、音声等で異常が検出されたことを出力してもよい。
制御部1103は、当該被検査体の検査が終了したか否かを判定する(ステップS1407)。検査が終了していないと判定した場合(ステップS1407:No)、アーム制御部101が、予め定められた設定に従って、次の検査対象となる被検査体の表面が、時間相関カメラ110で撮影できるように、アームの移動制御を行う(ステップS1408)。アームの移動制御が終了した後、制御部1103が、再び時間相関カメラ110に対して、撮影の開始指示を送信する(ステップS1402)。
一方、制御部1103は、当該被検査体の検査が終了したと判定した場合(ステップS1407:Yes)、終了指示を時間相関カメラ110に対して出力し(ステップS1409)、処理を終了する。
そして、時間相関カメラ110は、終了指示を受け付けたか否かを判定する(ステップS1414)。終了指示を受け付けていない場合(ステップS1414:No)、再びステップS1011から処理を行う。一方、終了指示を受け付けた場合(ステップS1414:Yes)、処理を終了する。
なお、照明装置120の終了処理は、検査者が行ってもよいし、他の構成からの指示に従って終了してもよい。
このように本実施形態では、時間相関カメラを用いた検査システムにおいて、時間相関画像を用いて欠陥の有無等の異常検出を行う場合に、偏光情報を用いて被検査面のうちいずれの層の画像かを判断した上で異常検出を行っているので、外乱光が多い環境で検査処理を実行する場合でも、外乱光の影響を最小限にして安定した欠陥検査を行うことができ、より正確な欠陥検出を行うことができる。
なお、本実施形態では、時間相関カメラ110を用いて生成された強度画像データと、時間相関画像データと、を生成する例について説明した。しかしながら、強度画像データと、時間相関画像データと、を生成するために時間相関カメラ110を用いることに制限するものではなく、それと等価な動作をする撮像システムを用いてもよい。例えば、通常のデジタルスチルカメラが生成した画像データを出力し、情報処理装置が、デジタルスチルカメラが生成した画像データを、フレーム画像データとして用いて参照信号を重畳することで、時間相関画像データを生成してもよいし、イメージセンサ内で光強度信号に参照信号を重畳するようなデジタルカメラを用いて、時間相関画像データを生成しても良い。
本実施形態では、周囲との違いに基づいて、異常に関連する特徴を検出する例について説明したが、周囲との違いに基づいて当該特徴を検出することに制限するものではなく、参照形状のデータ(参照データ、例えば、時間相関データや、振幅画像データ、位相画像データ等)との差異に基づいて当該特徴を検出してもよい。この場合、参照データの場合とで、空間位相変調照明(縞パターン)の位置合わせおよび同期が必要となる。
本実施形態では、x方向に縞パターンを動かして、被検査体の異常(欠陥)を検出する例について説明したが、これに限定されるものではない。例えば、x方向に垂直なy方向で急峻に法線の分布が変化する異常(欠陥)が被検査体に生じている場合、x方向に縞パターンを動かすよりも、y方向に縞パターンを動かす方が欠陥の検出が容易になる場合があり、このような場合には、x方向に移動する縞パターンと、y方向に移動する縞パターンとを、交互に切り替えるように構成してもよい。照明制御部102が照明装置120に出力する縞パターンをx方向及びy方向に同時に動かすように構成してもよい。
また、本実施形態では、照明装置120が、x方向に縞の幅が一種類の縞パターンを表示する例について説明したが、これに限定されるものではない。例えば、x方向の縞の幅を複数種類にするように構成してもよい。
また、本実施形態では、S偏光入射とP偏光入射を別個に行っていたが、これに限定されるものではなく、被検査体150へのS偏光入射とP偏光入射とを同時に行うように構成してもよい。例えば、照明装置120からの照射光をハーフミラー等で2光束に分離して、それぞれの光束を別個のスクリーンに投影する。そして、一方のスクリーンからの光束を偏光フィルタでS偏光として被検査体150に照射し、他方のスクリーンからの光束を偏光フィルタでS偏光として被検査体150に照射することで、S偏光入射とP偏光入射を同時に行うように構成することができる。この場合、さらに、S偏光の周波数とP偏光の周波数とを異なるように構成することができる。これにより、S偏光入射とP偏光入射とを切り換える必要がなくなり、検査効率を向上させることが可能となる。
上述した実施形態のPC100で実行される検査プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、上述した実施形態のPC100で実行される検査プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施形態のPCで実行される検査プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本発明のいくつかの実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10…カメラ、100,1100…PC、110…時間相関カメラ、101…アーム制御部、102…照明制御部、103、1104…判定部、104…位相画像生成部、105…異常検出処理部、110…時間相関カメラ、120…照明装置、130…スクリーン、140…アーム、160…第1偏光フィルタ、170…第2偏光フィルタ、210…光学系、220…イメージセンサ、230…データバッファ、240…制御部、241…転送部、242…読出部、243…強度画像用重畳部、244…第1の乗算器、245…第1の相関画像用重畳部、246…第2の乗算器、247…第2の相関画像用重畳部、248…画像出力部、250…参照信号出力部、1103…制御部。

Claims (9)

  1. 複数の層からなる被検査面に対して所定の入射角で照射光を出射する照明部と、
    前記照射光から所定の偏光成分を透過させる第1偏光フィルタと、
    前記被検査面に照射される前記照射光の偏光成分の反射光から所定の偏光成分を透過させる第2偏光フィルタと、
    前記第2偏光フィルタから透過した反射光の偏光成分によって前記被検査面を撮像する撮像部と、
    前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像部で撮像された撮像画像が、前記複数の層の少なくともいずれの層の画像であるかを判定する判定部と、を備え
    前記被検査面は、下地と、前記下地の上に塗装された塗装面と、前記塗装面の上で透明なクリア層とからなり、
    前記所定の入射角は、前記照射光のP偏光のすべてが前記クリア層の表面で反射しない角度であり、
    前記判定部は、前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像画像が、前記クリア層の表面の画像か、前記塗装面の画像か、前記下地の画像かの少なくともいずれかを判定する、検査システム。
  2. 前記判定部は、前記第1偏光フィルタによる偏光成分がS偏光であり、前記第2偏光フィルタによる偏光成分がS偏光である場合に、前記撮像画像が前記クリア層の表面、前記塗装面および前記下地の画像であると判定する、
    請求項に記載の検査システム。
  3. 前記判定部は、前記第1偏光フィルタによる偏光成分がS偏光であり、前記第2偏光フィルタによる偏光成分がP偏光である場合に、前記撮像画像が前記下地の画像であると判定する、
    請求項またはに記載の検査システム。
  4. 前記判定部は、前記第1偏光フィルタによる偏光成分がP偏光であり、前記第2偏光フィルタによる偏光成分がS偏光である場合に、前記撮像画像が前記下地の画像であると判定する、
    請求項のいずれか一つに記載の検査システム。
  5. 前記判定部は、前記第1偏光フィルタによる偏光成分がP偏光であり、前記第2偏光フィルタによる偏光成分がP偏光である場合に、前記撮像画像が前記塗装面および前記下地の画像であると判定する、
    請求項のいずれか一つに記載の検査システム。
  6. 前記照明部は、光の強度の周期的な時間変化および空間変化を与える面的な照明部であり、
    前記検査システムは、
    時間相関カメラまたはそれと等価な動作をする撮像システムによって時間相関画像を生成する時間相関画像生成部と、
    前記時間相関画像より、検査対象面の法線ベクトルの分布と対応した特徴であって、周囲との違いおよび参照表面との違いのうち少なくとも一方によって前記検査対象面の異常に関連する特徴を算出する、演算処理部と、
    前記判定部による判定結果と前記演算処理部により算出された特徴に基づいて、前記検査対象面の異常を検出する異常検出処理部と、
    をさらに備えた請求項1〜のいずれか一つに記載の検査システム。
  7. 前記時間相関画像生成部は、複素時間相関画像を生成し、
    前記特徴は、前記複素時間相関画像の位相の分布に対応する、請求項に記載の検査システム。
  8. 前記時間相関画像生成部は、複素時間相関画像を生成し、
    前記特徴は、前記複素時間相関画像の振幅の分布に対応する、
    請求項またはに記載の検査システム。
  9. 下地と、前記下地の上に塗装された塗装面と、前記塗装面の上で透明なクリア層と、の複数の層からなる被検査面に対して、照射光のP偏光のすべてが前記クリア層の表面で反射しない角度である所定の入射角で照射光を出射し、
    第1偏光フィルタにより、前記照射光から所定の偏光成分を透過させ、
    第2偏光フィルタにより、前記被検査面に照射される前記照射光の偏光成分の反射光から所定の偏光成分を透過させ、
    前記第2偏光フィルタから透過した反射光の偏光成分によって前記被検査面を撮像し、
    前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像された撮像画像が前記複数の層の少なくともいずれの層の画像であるかを判定する際に、前記第1偏光フィルタによる偏光成分と前記第2偏光フィルタによる偏光成分とに基づいて、前記撮像画像が、前記クリア層の表面の画像か、前記塗装面の画像か、前記下地の画像かの少なくともいずれかを判定する、
    ことを含む検査方法。
JP2014074788A 2014-03-31 2014-03-31 検査システムおよび検査方法 Expired - Fee Related JP6276092B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014074788A JP6276092B2 (ja) 2014-03-31 2014-03-31 検査システムおよび検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014074788A JP6276092B2 (ja) 2014-03-31 2014-03-31 検査システムおよび検査方法

Publications (2)

Publication Number Publication Date
JP2015197340A JP2015197340A (ja) 2015-11-09
JP6276092B2 true JP6276092B2 (ja) 2018-02-07

Family

ID=54547130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014074788A Expired - Fee Related JP6276092B2 (ja) 2014-03-31 2014-03-31 検査システムおよび検査方法

Country Status (1)

Country Link
JP (1) JP6276092B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017101979A (ja) * 2015-11-30 2017-06-08 リコーエレメックス株式会社 検査システム
JP2017101977A (ja) * 2015-11-30 2017-06-08 リコーエレメックス株式会社 検査システムおよび検査方法
JP6781430B2 (ja) * 2016-09-05 2020-11-04 リコーエレメックス株式会社 検査システム
WO2023171203A1 (ja) * 2022-03-08 2023-09-14 パナソニックIpマネジメント株式会社 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09269296A (ja) * 1996-03-29 1997-10-14 Ishizuka Glass Co Ltd シートのコーティング欠陥検査装置
JPH11295240A (ja) * 1998-04-10 1999-10-29 Nkk Corp 表面疵検査装置及びその方法
JP3676092B2 (ja) * 1998-09-28 2005-07-27 株式会社リコー 表面欠陥検査装置
JP2002107304A (ja) * 2000-09-29 2002-04-10 Sumitomo Osaka Cement Co Ltd 複屈折性検査対象物の検査装置
JP2002214150A (ja) * 2001-01-17 2002-07-31 Nippon Steel Corp 絶縁皮膜被覆鋼板の疵検査方法およびその装置
JP4640254B2 (ja) * 2006-05-15 2011-03-02 トヨタ自動車株式会社 擦傷の測定装置と測定方法
US20080212096A1 (en) * 2007-03-01 2008-09-04 Deepak Kumar Property determination with light impinging at characteristic angle
JP2011002240A (ja) * 2009-06-16 2011-01-06 Olympus Corp 三次元形状測定方法および装置
JP5994419B2 (ja) * 2012-06-21 2016-09-21 富士通株式会社 検査方法及び検査装置

Also Published As

Publication number Publication date
JP2015197340A (ja) 2015-11-09

Similar Documents

Publication Publication Date Title
JP6316068B2 (ja) 検査システムおよび検査方法
JP6433268B2 (ja) 検査システムおよび検査方法
JP6542586B2 (ja) 検査システム
JP6553412B2 (ja) 検査システム
WO2018159825A1 (ja) 検査システムおよび検査方法
JP6276092B2 (ja) 検査システムおよび検査方法
JP6682251B2 (ja) 検査システム、及び検査方法
JP6420131B2 (ja) 検査システム、及び検査方法
JP2016109462A (ja) 検査システムおよびフレキシブル照明装置
JP2017101977A (ja) 検査システムおよび検査方法
JP6909378B2 (ja) 検査システム
JP2017101979A (ja) 検査システム
JP2018115937A (ja) 検査システム
JP6902684B2 (ja) 画像処理装置および検査システム
JP6703415B2 (ja) 検査装置及び検査方法
JP6781430B2 (ja) 検査システム
JP2018116026A (ja) 照明装置および透過部材
JP6909377B2 (ja) 検査システムおよび検査方法
JP6826813B2 (ja) 検査装置及び検査方法
JP2020012816A (ja) 検査システムおよび検査方法
JP6529247B2 (ja) 較正システムおよび検査システム
JP2018112470A (ja) 検査システムおよび検査方法
JP2018205039A (ja) 画像処理装置および検査システム
JP2024017231A (ja) 検査システムおよび検査方法
JP2019039685A (ja) 検査システムおよび検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180111

R150 Certificate of patent or registration of utility model

Ref document number: 6276092

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees