JP6738730B2 - 欠陥検査システム及び方法 - Google Patents

欠陥検査システム及び方法 Download PDF

Info

Publication number
JP6738730B2
JP6738730B2 JP2016525093A JP2016525093A JP6738730B2 JP 6738730 B2 JP6738730 B2 JP 6738730B2 JP 2016525093 A JP2016525093 A JP 2016525093A JP 2016525093 A JP2016525093 A JP 2016525093A JP 6738730 B2 JP6738730 B2 JP 6738730B2
Authority
JP
Japan
Prior art keywords
light sources
sample
array
illumination
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016525093A
Other languages
English (en)
Other versions
JP2016534329A (ja
JP2016534329A5 (ja
Inventor
シュグアング カイ
シュグアング カイ
マーク クリストフ イェーガー
マーク クリストフ イェーガー
ウェイシ ジョウ
ウェイシ ジョウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of JP2016534329A publication Critical patent/JP2016534329A/ja
Publication of JP2016534329A5 publication Critical patent/JP2016534329A5/ja
Application granted granted Critical
Publication of JP6738730B2 publication Critical patent/JP6738730B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8803Visual inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8809Adjustment for highlighting flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/063Illuminating optical parts
    • G01N2201/0633Directed, collimated illumination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing

Description

本発明は、サンプルの表面欠陥の検出を可能にするためにシート材料サンプルを照明するための欠陥検査システム及び方法に関する。
表面の傷の検査を可能にするためにシート材料サンプルを照光することが知られている。
1つの特定の例は、例えば自動車車体等、塗装された表面に関するものであり、塗料又はその下の表面が傷を検査される。大半の自動車製造業者は、ロボット機構及び自動塗装システムを使用して塗料の様々な塗膜を塗布して自動車車体に塗装表面を生成し、次いでこの自動車車体が、自動車完成品を製造するために使用される。そのようなシステムは概して満足の行く働きをするが、大半の製造業者は、塗装作業の品質審査を行った後、塗装された車体を承認して、車完成品に組み立てる。
品質制御は、人間による目視検査、又はカメラによって捕捉された画像の自動画像処理に基づくことがある。
人間による検査プロセスは、典型的には、各自動車車体がコンベアに沿って移動しているときに作業者が自動車車体の周りを自ら移動し、複数の異なる生じ得る傷に関して自動車車体を目視で調べることを含む。
通常、作業者は、自動車車体全体を評価するために、短時間(例えば数分)しか与えられない。一般に、各車体の周りを作業者が歩くのに十分な空間を有する塗装検査ステーションが存在する。光が多ければ多いほど傷を視覚的に識別するのが容易になるという理解に基づいて、標準的な手法は、検査プロセス中に車体にできるだけ多くの直射光を提供するものである。車体を照明することに重点が置かれている。
検査作業者は、数十の異なるタイプの傷又は欠陥を監視しなければならない。例えば、車体金属の盛り上がった部分や凹んだ部分等、下層の傷が存在する場合、これは通常、塗装作業において盛り上がった部分や凹んだ部分としてそれぞれ反映される。また、塗装前又は塗装中に車体に付着し得る汚れや他の粒子といった物が、顕著な傷の原因となる。
現在、自動車塗装作業は、マルチコートである。例えば、(時として「E」コートと呼ばれる)かなり艶消し仕上げされた第1のコート又は中性色防錆剤が金属に塗布される。プライマコート(通常は、幾分艶消し仕上げした中性色、又は最終的な車の色と同じ色)が、第1のコートに塗布される。最後に、1つ又は複数のトップコート、例えばベースコートとクリアコートとが、プライマコートの上に塗布され得る。
通常、第1のコートは、一様性、傷、及び外来物質を検査される。プライマコートは、金属の傷、平坦性、一様性、汚れ、空洞、亀裂、凹凸に関して分析される。トップコートは、高反射表面を形成し、これは、平坦性、白傷、条痕、渦模様、及び他の傷に関して検査される。
傷が識別された場合、作業者がその場で傷を研磨除去することを試みるか、又は車体が組立てラインから塗装修理用の別の場所に牽引されなければならない。
良好な照明ソリューションを提供することが、自動車工場での作業者が欠陥を早期に効果的に検出する助けとなり得る。しかし、車体に光を浴びせる現在の手法は理想的なものとは判明しておらず、作業者は時として、車体の欠陥を検出するのに目よりも手を頼りにする。
本発明は、特許請求の範囲によって規定される。
本発明の第1の態様によれば、サンプルの表面欠陥の人間による目視検査用の欠陥検査システムであって、
一平面内に形成された光源のアレイを備える、サンプルの表面を照光するための照明システムであって、光源のアレイが、上記平面内のサンプルに向かう照光方向の範囲を規定し、この範囲が少なくとも90度に及ぶ照明システムと、
シーケンスで(順次に)サンプルの各点が単一入射方向での最大光源強度で照光され、最大光源強度が提供される方向が時間と共に変化して前記範囲に及ぶように、シーケンスで動作するように光源を制御するための制御装置と
を備える欠陥検査システムが提供される。
本発明の第2の態様によれば、サンプルの表面欠陥の自動検査用の欠陥検査システムであって、
一平面内に形成された光源のアレイを備える、サンプルの表面を照光するための照明システムであって、光源のアレイが、上記平面内のサンプルに向かう照光方向の範囲を規定し、この範囲が少なくとも90度に及ぶ照明システムと、
シーケンスでサンプルの各点が単一入射方向での最大光源強度で照光され、最大光源強度が提供される方向が時間と共に変化して前記範囲に及ぶように、シーケンスで動作するように光源を制御するための制御装置と、
少なくとも1つのカメラと、
光源動作シーケンスで連続する画像を撮影するようにカメラを制御するための制御装置と、
画像を処理して少なくとも1つの差分画像を導出し、差分画像に基づいて欠陥検出を提供するためのプロセッサとを備え、差分画像が、他では滑らかな表面上のランダムに存在する表面欠陥によって引き起こされる陰影位置の変化を強調する
欠陥検査システムが提供される。
どちらの態様においても、サンプルは、好ましくは、シート材料を備えるか、シート表面を有する物体を備え、そのようなサンプルは、滑らかな表面(平らな面又は滑らかに湾曲された表面)を有するように意図されているが、ランダムに存在する表面欠陥を有し、そこで表面の滑らかさが乱されていることがある。照明システムは、これらの表面欠陥によって陰影が生成されるようにする。次いで、照光方向の変化により生じる陰影位置の変化が容易に識別され得る。
そのような変化は、人間による目視検査システムでは視覚的に識別され得て、又は捕捉された画像の相違の識別に基づいて画像処理によって識別され得る。これらの画像の相違は、陰影が投影される方向の変化により生じる。自動手法では、欠陥を検出するために1つ又は複数の差分画像が使用され得る。欠陥の外観は、シーケンス中の異なる照明条件毎に変化し、一方、欠陥のない表面は、画像のはるかに小さい変化を有する。従って、1つ又は複数の差分画像を閾値と比較することによって、欠陥を自動的に検出することが可能である。
どちらの態様でも、本発明は、表面欠陥によって投影される陰影の位置がそれらの表面欠陥を識別するために使用されるシステムを提供する。移動する主照光方向を提供することによって、投影される陰影が時間と共に移動し、これは、人間によって又はカメラを使用して欠陥をより容易に識別できるようにする。
光源の面は、(既知の様式で)分析されるべきサンプルの周りにガントリを形成することができ、光源は全て、サンプルを照光するために内方向に向けられる。しかし、単に全ての光源を一度に同じ強度で点灯させてサンプルに光を浴びせるのではなく、時間と共に変化する指向性照明が提供される。このようにすると、全ての他の方向よりも強度が高い主方向を有する照明によって、サンプル上の全ての位置が照光され、この主方向は時間と共に変化する。特定の方向又は方向範囲内での指向性照明によって、欠陥がより容易に観察されることが判明している。
本発明は、例えば車体表面での欠陥の可視性が改良されるようにし、それにより、作業者が欠陥をより容易に且つより効果的に見付けることができる。
角度範囲は、サンプルの性質によって決まる。単一の平らな表面に関しては、90度の範囲が適切であり得る。例えば側部及び上部又は底部を有するようなより3次元の物体に関しては、少なくとも135度、又は更には少なくとも180度(これは、地面から上へ物体を取り囲むガントリに対応する)等、より大きな範囲が相応しい。
制御装置は、シーケンスで、1つの光源をオンに切り替えて設定輝度にし、他の光源をオフに切り替える又は減光させるように光源のアレイを制御するように適合され得る。これは最も基本的な手法を提供し、この場合、任意の時点において、作動されている光源によって照光されるサンプルの部分は、(光源が点光源である又はコリメートされた光源であるので)一方向からのみ又は主として一方向から直射光を受け取る。しかし、これは、検査プロセスが長時間かかることがある。
従って、好ましい構成では、制御装置は、光源の出力の強度を変えるように光源を制御するように適合され、これにより、各光源は、シーケンスでそれぞれの時点で他の光源よりも大きい強度を有する。
この手法は、照明分布の滑らかな動的な変化を提供することができる。欠陥の検出可能性は、異なる時点で異なる角度からの主照明を有することによって改良される。光源の強度の変化は、シーケンスに従ったものでよい。このシーケンスは、異なる時点に異なる欠陥が全体的な背景から目に見えるようにし、欠陥を検出できる機会が増やされる。例えば、光源は、全てが同じ周期を有するが、異なる位相である正弦波強度プロファイルで照光され得る。これは、サンプルの全ての領域が検査され得るように高い全体的な照光レベルを維持するが、時間と共に変化する主照光方向を有する。
光源のアレイは、光源のサブアレイを複数備えることができ、各サブアレイがそれぞれの平面内に形成され、異なるサブアレイに関する平面は平行又は略平行であり、従って法線方向は一列である(直線でも曲線でもよい)。これは、例えば、一連の照明ガントリを画定し得る。
システムは、好ましくは、サンプルプラットフォームを備え、ここで、サンプルプラットフォームは、上記平面に垂直な方向で照明システムに対して可動である。光源のその(又は各)アレイは、それらの平面内で照光を提供するが、移動軸に沿って前後に照光を提供することもでき、従って照光される領域が重なり合う。移動は、連続的でも段階的でもよい。
システムは、車体パネル塗装作業検査システムを備えることがある。例えば、車は、検査領域を通して比較的ゆっくりとした速度、例えば5cm/秒で前進され得る。照明強度は、約6秒の周期で変化し得る。
しかし、本発明は、検査されるべき滑らかな表面を有するサンプル用の任意の検査システムに適用され得る。サンプルは、シート材料、又は滑らかな表面仕上げを有することを必要とされる中実体でよい。
また、本発明は、サンプルの欠陥の人間による目視検査を可能にするためにサンプルの表面に照明を提供する方法であって、
一平面内に形成された光源のアレイを使用してサンプルの表面を照光するステップであって、光源のアレイが、上記平面内のサンプルに向かう照光方向の範囲を規定し、この範囲が少なくとも90度に及ぶステップと、
任意の時点に、サンプルの照光される各点が光源のアレイからの直射光によって照光され、最大光源強度が単一の入射方向で提供され、最大光源強度が提供される方向が時間と共に変化して前記範囲に及ぶように、シーケンス中に動作するように光源を制御するためのステップと
を含む方法を提供する。
また、本発明は、サンプルの欠陥の自動検査を可能にするためにサンプルの表面に照明を提供する方法であって、
一平面内に形成された光源のアレイを使用してサンプルの表面を照光するステップであって、光源のアレイが、上記平面内のサンプルに向かう照光方向の範囲を規定し、この範囲が少なくとも90度に及ぶステップと、
シーケンスでサンプルの各点が単一入射方向での最大光源強度で照光され、最大光源強度が提供される方向が時間と共に変化して前記範囲に及ぶように、シーケンスで動作するように光源を制御するステップと、
光源動作シーケンスで連続するカメラ画像を撮影するステップと、
画像を処理して、少なくとも1つの差分画像を導出するステップであって、差分画像が、他では滑らかな表面上のランダムに存在する表面欠陥によって引き起こされる陰影位置の変化を強調するステップと、
差分画像に基づいて欠陥検出を提供するステップと
を含む方法を提供する。
次に、添付図面を参照して本発明の幾つかの例を詳細に述べる。
全方向から照光された欠陥と、一方向から照光された欠陥とを示し、単一方向照光が欠陥検出を改良することを示す図である。 異なるタイプの欠陥が異なる照光方向から最も容易に検出され得ることを示す図である。 本発明のシステムで使用するための照明アレイの一例、及び関連のタイミングを示す図である。 自動車車体塗装ステーションで使用される本発明の照明システムを示す図である。 使用され得る照光装置に関する極性光強度分布を示す図である。 カメラを使用する不良検出の自動方法を示す流れ図である。 異なるライト設定に関する第1及び第2のカメラ画像を概略的に示し、不良検出を可能にする差分画像を示す図である。
本発明は、シート材料サンプルの欠陥を検査するための欠陥検査システムを提供する。光源のアレイが使用され、異なる光源が、異なる方向からサンプルに光を提供する。照光の主方向は最高強度で規定され、この方向は時間と共に変化する。ブランケット照光(blanket illumination)ではなく、変化する指向性照光を提供することによって、欠陥の検出がより容易になる。特に、異なる照光方向毎に、陰影の投影のされ方が変化する。これは、変化する像をもたらし、この像は、目視検査中に検出する、又は捕捉されたカメラ画像を処理する自動システムに基づいて検出するのがより容易である。
図1(a)は、全方向から照光された欠陥10を示す。これは、所与の方向(例えば上)から見たとき、低いコントラストをもたらす。図1(b)は、一方向から照光された同じ欠陥10を示す。これらの図は、単一方向の照光が欠陥検出を改良することを示す。
従って、指向性照明を提供することで欠陥のコントラストを大幅に向上させることができることが分かる。従って、全方向から光を提供する典型的な照明ソリューションは、欠陥の濃い陰影を生成することができないので、これらの欠陥と背景とのコントラストを改良するのに最適な条件ではない。対照的に、特定の方向から光を提供することは、欠陥がより明瞭に見えるようにコントラストを向上させることができる。
図2は、異なるタイプの欠陥が異なる照光方向から最も容易に検出され得ることを示す。
図2(a)は、2つの欠陥、即ち凹み12と盛り上がった隆起部14とを有するサンプルを示す。符号「a」〜「f」として示される6つの照光方向が規定される。図2(b)は、これらの欠陥に関する、6つの異なる照光方向に基づく(実験として行われた)輝度コントラストの測定を示す。プロット12’は、凹みに関するコントラストを示し、プロット14’は、隆起部に関するコントラストを示し、プロット16は、全てのライトがオンに切り替えられている状態に基づく基準コントラストを示す。
全てのライトがオンであるときの欠陥のコントラストは最高ではないことが分かる。特定の方向からの光の提供が、それらの欠陥によって生み出されるコントラストをより高くする。更に、異なるタイプの欠陥毎に、最良の照明条件が異なる。図2(b)は、凹み12に関しては方向「c」が最良のコントラストを提供し、一方、隆起部に関しては方向「f」が最良のコントラストを提供することを示す。
現実のサンプルでは、欠陥の形状及び位置はランダムであり予測不能であり、従って、固定照明条件は、全ての欠陥タイプに関して欠陥検出を最適化することは可能でない。
様々なタイプの欠陥の可視性を改良するために、本発明の照明システムは、サンプル上での照明分布を系統的に変化させる。
図3は、本発明のシステムで使用するための照明アレイの一例、及び関連のタイミングを示す。
最も単純な実装形態では、サンプルに光を提供する光源のアーチが1つだけ存在する。しかし、図3は、3つのアーチを示し、各アーチが3つの光源を備える。合計で9つの光源が、番号L1〜L9を付されている。
各アーチは、一平面内に形成された光源のサブアレイを備える。光源は、アーチ内に位置決めされたサンプルに向けて内方向に光を放出する。図示される例では、光源はそれぞれストリップの形態であり、このストリップは、本質的に単一の照光方向となるように、(図1(b)に示されるように)実質的にコリメートされた光を放出する。コリメートされていない点光源が直射光を内方向に向けることもでき、それにより、サンプル上の任意の点がやはり一方向のみで(即ち、点光源とサンプル上のそれぞれの点との間のベクトルに沿って)光を受け取ることに留意されたい。
光源のアレイは、サンプルに向かう照光方向の範囲を規定する。この範囲の大きさは、サンプルの性質に応じて決まる。範囲は、少なくとも90度(サンプルに対する垂線方向の各側で少なくとも45度)に及ぶ。サンプルを取り囲むように意図されたアーチでは、角度範囲は180度に近付く。この範囲は、図3にθとして示され、この例では約135度である。
異なる光源からの照光によって、光は、利用可能な範囲にわたる様々な角度で提供され得る。
当然、光は、サンプルの表面の各部に全方向からは達しないことがある。例えば、左向きのパネルは、右からの光によっては照光されない。従って、光源は、角度θの全範囲を走査するが、サンプルの表面上の各点は、より小さい入射光角度範囲しか受けないことがある。
図3での複数のアーチは、矢印30によって示される方向に沿って位置合わせされ、この方向は、サンプルと照明構成との相対運動の方向に対応する。この相対運動は、照明構成が、シーケンス中のサンプルの異なる部分及びシーケンス中の異なるサンプルの検査を可能にするように使用されることを意味する。
光源は、シーケンスで動作するように制御され、これにより、シーケンスでサンプルの各点が単一入射方向での最大光源強度で照光される。この方向は、時間と共に変化して、範囲θに及ぶ。
最も単純な実装形態では、ある時点で、1つの光源のみ(又は各アーチの1つの光源のみ)が完全にオンに切り替えられる。この場合、最大の照光はその光源の輝度であり、他の光源は全てゼロ出力である。
しかし、図3は、より改良された制御手法を示す。
図3でのタイミング図は、時間tに対して強度Iをプロットする。この図は、光源L1に関する正弦波強度プロファイルを示す。図示されるように、全ての他の光源は、位相をシフトされた同じ周期及び振幅の正弦波強度プロファイルを提供するように制御される。タイミング図を無駄に見づらくしないように、光源L2〜L9に関する強度プロファイルの最大値のみが示されている。周期は、数秒程度、例えば1秒〜20秒の範囲内でよく、各特定の指向特性での検査のために幾らかの時間を提供する。
一連の各時点で、最大強度を有する1つの光源が存在し、全ての他の光源は、より低い強度を有する(例えば、L1に関して時点t)。これらの各時点で、光源の視野内のサンプルの各点が、単一入射方向での最大光源強度で照光される。この方向は、時間と共に変化する。図3で分かるように、2つの隣接する光源が等しい(最大ではない)強度を有する中間の時点が存在する。1つの光源のみが最大強度を提供しているときには、その光源が主照光方向を提供するとみなされ得るが、全ての他の光源(最小強度に設定され、この最小値がゼロであるような光源は除く)が、全体的な照光レベルに寄与している。
指向性強度の相違が、強調された陰影、従って改良された欠陥検出をやはり可能にする。
複数のアーチを使用することによって、強度は、動きベクトル30に垂直な平面にわたってのみならず、動きベクトル30の方向に沿っても変化する。位相シフトされた一連の正弦関数が、水平向きと垂直向きとの両方で非常に滑らかな光分布変化を生み出す。任意の欠陥形状は、指向性照明がその特定の欠陥に最も適したものとなる特定の瞬間に容易に検出され得る。
図4は、自動車車体塗装ステーションで使用される本発明の照明システムを示す。
車両車体40がサンプルプラットフォームに取り付けられ、サンプルプラットフォームは、紙面に垂直な方向で(即ちベクトル30の方向に沿って)照明システムに対して相対運動可能である。
図4は、光源44のアーチを1つだけ示す。上述したように、ただ1つのアーチが存在しても、複数のアーチが存在してもよい。
光源は、上記のシーケンス制御を提供するように制御装置46によって制御される。
本発明は、溶接、塗装場、及び組立ラインでの欠陥検出に使用され得る。本発明は、製造プロセスにおいてより早期に不良が発見されるようにし、これにより、製造サイクルにおいて必要以上に後の段階で欠陥を修理する必要をなくすことでコストを削減することができる。
目視検査システムに関して、本発明は、検出を単純化し、これにより、作業者の経験にあまり依存せずに検出を行うことができる。
本発明のシステムを実装するための多くの方法が存在する。本発明の概念は、最高輝度の照光ビームが発する単一の方向が存在するというものである。この最高輝度の照光ビームを全角度範囲に及ぶように走査させることによって、特定の欠陥を検出するのに最も適した角度が得られる。
上で説明したように、最も単純な実装形態では、ある時点に、1つの主光源がオンに切り替えられ得る。これは、光源の視野内のサンプルの部分を照光する全ての直射光(即ち反射を受けない)が、指向性ビームで照光されることを意味する。点光源に関して、この方向は、サンプル上の異なる点毎に異なる。代替として、ある出力領域(ストリップ等)を有するコリメートされた光源が使用され得て、それにより、入射方向は、その光源によって照光されるサンプル上の全ての点に関して同じである。
検査用のライトストリップは市販されている。例えば、Philips社の塗装検査照光装置SM300C及びSM301Cが使用され得る。これらは、(一部)コリメートされた出力を有するストリップライトを備える。光出力は完全にはコリメートされない。これは、特に、作業領域をくまなく照光するために、1つのストリップからの光出力領域が(相対運動の方向に沿った)次のストリップの光出力領域と交わる必要があるからである。照光装置は、垂線放出方向でピーク強度を有するが、垂線放出方向の両側に、より低い強度の光の広がりが存在する。例えば、図5は、これらのストリップ照光装置に関する極性光強度分布を示す。ビーム角度が狭ければ狭いほど、本発明によって望まれる陰影効果は大きくなるが、ターゲット領域を照光するためには、より大きいビーム角度が望まれる。従って、折衷点が見付けられる。
従って、本発明は、完全にコリメートされた光出力を必要としない。そうではなく、サンプル上の特定の点への照光が全ての他の方向よりも高い強度を有する方向が存在する。一般に、より高い強度の照光は、光出力表面に対して垂線方向に光源から放出される光に関するものである。
シーケンスで(1時点に1つずつ)光源を動作させることによって、サンプル上の各点がシーケンスで1組の入射角度から照光され、最高強度が受け取られる入射方向は時間と共に変化する。
一方、上記の例は、全ての光源を同時に、しかし異なる強度で動作させ、これにより、特定の時点で、入射光が最高強度を有する1つの入射方向が存在し、この最高強度の光が、他の方向からのより低い強度の照光に対して陰影を生じる。これは、より迅速な検査プロセスを可能にする。なぜなら、ある光源が短時間だけ最高強度を保った後、シーケンス中の次の光源が最高強度を取ることができるからである。最小光源強度はゼロでよいが、そうではなく非ゼロの最小値でもよい。
本発明は、(サンプルの相対運動の方向に垂直な単一平面内で)ただ1組の光源として実装され得る。上の例は、光源のアレイの複数の平面を利用し、これもサンプル検査時間を短縮する。
本発明は、欠陥の目視検査を可能にするために使用され得る。しかし、カメラ及び画像処理を使用する自動欠陥検査のための照光を提供するためにも使用され得る。自動欠陥検査も、コントラストプロファイルの分析に基づくことができ、従って、本発明の照明構成は、自動欠陥検出システムの欠陥検出率も同様に改良することができる。
自動欠陥検査システムでは、車体(又は他の物体の)画像シーケンスを記録するために1組のカメラが使用され得る。例えば、アーチ内の各光源向きに関連付けられるカメラが存在してよく、それにより、それらのカメラが合わさって、検査される物体の周りに視野を有する。光源のアーチと同様に、単一のカメラガントリが存在してよく、又は複数のカメラガントリが存在してもよい。
車体表面上の照明分布は、上で説明した様式で変化される。次いで、カメラによって捕捉された画像シーケンスに適用される画像処理が使用されて、記録された画像シーケンスの変化を検出する。これらの変化は、様々な欠陥が異なる画像照明条件毎に異なる見え方であることによるものである。上で説明したように、不良(引掻き傷、瘤部)の外観は、使用される光分布に応じて変化し、一方、不良のない表面の外観は、実質的に変わらない。その結果、個々のカメラの画像シーケンスの分析は、このシーケンス中で有意な相違が存在するかどうかチェックするために使用され得る。有意な相違が検出された場合、これは欠陥の存在を示す。
図6は、この欠陥検出法を概説する流れ図である。これは、各カメラに適用し得る。
ステップ60でプロセスが始まる。ステップ62で、少なくとも1回の完全な照明変化サイクルに関して、画像シーケンスが記録される。ステップ64に正規化ステップが示されており、例えば中央値を引くことによって、異なる光レベルを考慮に入れる。
ステップ66で画像シーケンスが解析され、そこから、ステップ68で1組の差分値が導出される。各差分値は、差分画像内の画像コンテンツの量の尺度である。ステップ70で、これらの差分値が閾値と比較され、これにより、1対の画像の相違が閾値を超えた場合、欠陥が検出され(ステップ72)、一方、画像の対が(又は解析される画像の複数の対がどれも)閾値を超える相違を生み出さない場合、欠陥は検出されない(ステップ74)。ステップ76でプロセスが終了する。
差分画像、及びそれらの画像コンテンツの尺度は、標準的な画像処理によって見出され得る。処理される画像の数は光源の数に対応することがあり、従って、各光源がその最大強度であるときに1つの光源が処理される。しかし、全ての差分画像が導出される必要はないことがある。例えば、差分画像は、カメラの視野内にある物体の部分に面する光源に関してのみ必要とされ得る。図4を参照すると、カメラが車の片側を撮像している場合、その側にある2つの光源がそれらの最大出力を有するときの画像間の相違のみが必要とされ得る。従って、理論上は、シーケンス中の画像の全ての対の間で差分画像が解析され得るが、処理されるべき画像対が光源とカメラとの相対位置に応じて選択される場合には、より少ない画像処理が実現され得る。最低限、ただ1対の画像が、カメラに関する差分画像を導出するために2つの異なる照明条件に基づいて解析される必要がある。
図7は、異なるライト設定に関する特定のカメラに関する第1及び第2の画像80、82を概略的に示す。各画像内に引掻き傷が見られる。引掻き傷は、照明方向によって異なる位置(及びコントラスト)を有する陰影として見られるので、参照番号84として示される差分画像が存在する。
この差分画像は、画像コンテンツのレベルの指標を導出するために処理される。これは、画像内の最大輝度、又は最も暗い画像領域と最も明るい画像領域との間の最大の差に基づいていてよい。より複雑な画像処理が使用されてもよい。次いで、画像コンテンツのレベルを示す値が、閾値と比較される。閾値は、欠陥のない表面に関する予想レベルに基づいて選択され、解析される異なる物品毎に異なる。
従って、差分画像は、他では滑らかな表面上のランダムに存在する表面欠陥によって引き起こされる陰影位置の変化を強調する。
照明方向の制御は、光源から放出され、一度も反射されない光にのみ当てはまる。これは、上の論述での「直射」照明によって意味されるものである。反射によって引き起こされる他の照光が存在するが、これは常に、直射照光よりも低い強度のものである。更に、反射は、検査システム用のエンクロージャを無反射のものとしてデザインすることによって減少され得る。
制御装置は、必要とされる様々な機能を行うために、ソフトウェア及び/又はハードウェアとして多くの態様で実装され得る。プロセッサが、制御装置の一例であり、必要とされる機能を実施するためにソフトウェア(例えば、マイクロコード)を使用してプログラムされ得る1つ又は複数のマイクロプロセッサを採用する。しかし、制御装置は、プロセッサの採用を伴って実装されても伴わずに実装されてもよく、また、幾つかの機能を行うための専用ハードウェアと、他の機能を行うためのプロセッサ(例えば、1つ又は複数のプログラムされたマイクロプロセッサ及び関連の回路構成)との組合せとしても実装され得る。
図3は、1アーチにつき3つの光源を有する構成を示し、図4は、1アーチにつき5つの光源を示す。光源の数が多ければ多いほど、提供される異なる照光方向の数が多くなる。例として、1台の車を覆うために、1アーチにつき6つの照光装置を有する6つのアーチが存在し得る。例えば、複数の車が一列に並べられている検査領域に関しては、はるかに長い連なりが存在し得る。
本発明は、シート材料を備える、又はシート表面を有するサンプルに特に興味深く、そのようなサンプルは、滑らかな表面(平らな面でも滑らかに湾曲された表面でもよい)を有するように意図されているが、ランダムに存在する表面欠陥を有し、そこで表面の滑らかさが乱されていることがある。表面は、形作られたプロファイルを有することがあるが、識別されている欠陥のスケールでは滑らかであることが意図される。これらの欠陥は、例えば、塗装された表面の盛り上がった隆起部、又は窪みを含むことがあり得て、それらは、例えば捕捉された粒子と同様のスケール(例えば0.5mm未満)を有することがある。
図4のシステムは、制御装置を利用する。制御装置のために採用され得る構成要素は、限定はしないが、従来のマイクロプロセッサ、特定用途向け集積回路(ASIC)、及びフィールドプログラマブルゲートアレイ(FPGA)を含む。
様々な実装形態において、プロセッサ又は制御装置は、1つ又は複数の記憶媒体、例えば、RAM、PROM、EPROM、及びEEPROM等の揮発性及び不揮発性コンピュータメモリに関連付けられ得る。記憶媒体は、1つ又は複数のプログラムで符号化され得て、プログラムは、1つ又は複数のプロセッサ及び/又は制御装置で実行されるときに、必要とされる機能を実施する。様々な記憶媒体が、プロセッサ又は制御装置内部に固定され得、又は移植可能であり得、それにより、記憶媒体に記憶されている1つ又は複数のプログラムがプロセッサ又は制御装置にロードされ得る。
開示される実施形態に対する他の変形は、図面、本開示、及び添付の特許請求の範囲の検討から当業者によって理解され、特許請求される発明を実践する際に実施され得る。特許請求の範囲において、用語「備える」は、他の要素又はステップを除外せず、「a」または「an」は、複数を除外しない。特定の手段が相互に異なる従属請求項に記載されていることだけでは、これらの手段の組合せが有利に使用され得ないことを示さない。特許請求の範囲内の任意の参照符号は、範囲を限定するものとみなされるべきではない。

Claims (13)

  1. サンプルの表面欠陥の人間による目視検査用の欠陥検査システムであって、前記欠陥検査システムは、
    一平面内に形成された光源のアレイを備える、サンプルの表面を照光するための照明システムであって、前記光源のアレイが、前記平面内のサンプルに向かう照光方向の範囲を規定し、この範囲が少なくとも90度に及ぶ照明システムと、
    前記光源の出力の強度を滑らかに動的に変えるように前記アレイ内の光源を制御する制御装置であって、各光源は、前記サンプルの各点が、シーケンス内のそれぞれの時点で単一入射方向での最大光源強度を持つ照明分布で照光されるように、前記シーケンス内の前記それぞれの時点で他の光源よりも大きい強度を有し、前記最大光源強度が提供される方向が時間と共に変化して前記照光方向の範囲に及ぶ、制御装置と、
    を備える、欠陥検査システム。
  2. サンプルの表面欠陥の自動検査用の欠陥検査システムであって、前記欠陥検査システムは、
    一平面内に形成された光源のアレイを備える、サンプルの表面を照光するための照明システムであって、前記光源のアレイが、前記平面内のサンプルに向かう照光方向の範囲を規定し、この範囲が少なくとも90度に及ぶ照明システムと、
    前記光源の出力の強度を滑らかに動的に変えるように前記アレイ内の光源を制御する制御装置であって、各光源は、前記サンプルの各点が、シーケンス内のそれぞれの時点で単一入射方向での最大光源強度を持つ照明分布で照光されるように、前記シーケンス内の前記それぞれの時点で他の光源よりも大きい強度を有し、前記最大光源強度が提供される方向が時間と共に変化して前記照光方向の範囲に及ぶ、制御装置と、
    少なくとも1つのカメラと、
    光源動作シーケンスで連続する画像を撮影するようにカメラを制御するためのコントローラと、
    画像を処理して少なくとも1つの差分画像を導出し、前記差分画像に基づいて欠陥検出を提供するためのプロセッサとを備え、
    前記差分画像が、他では滑らかな表面上のランダムに存在する表面欠陥によって引き起こされる陰影位置の変化を強調する、
    欠陥検査システム。
  3. 前記照光方向の範囲は、少なくとも135度、又は更には少なくとも180度の範囲である、請求項1又は2に記載の欠陥検査システム。
  4. 前記光源は、全てが同じ周期を有するが、異なる位相である正弦波強度プロファイルで前記光源の強度を変化するように前記光源のアレイを制御する、請求項1乃至3の何れか一項に記載の欠陥検査システム。
  5. 前記平面に垂直な方向で前記照明システムに対して可動であるサンプルプラットフォームをさらに備える、請求項1乃至4の何れか一項に記載の欠陥検査システム。
  6. 前記光源のアレイは、前記光源のサブアレイを複数備え、各サブアレイがそれぞれの平面内に形成され、異なるサブアレイに関する平面の法線方向は一列である、請求項1乃至5の何れか一項に記載の欠陥検査システム。
  7. 前記制御装置は、それぞれのシーケンスに応じて前記それぞれの平面内に形成される前記光源のサブアレイからの前記光源の前記出力の強度を徐々に変え、前記それぞれのシーケンス内のそれぞれの時点で、前記サブアレイからの各光源は前記サブアレイからの他の光源よりも大きい強度を有する、請求項6に記載の欠陥検査システム。
  8. 車体パネル塗装作業検査システムを備える、請求項1乃至7の何れか一項に記載の欠陥検査システム。
  9. サンプルの欠陥の人間による目視検査を可能にするためにサンプルの表面に照明を提供する方法であって、当該方法は、
    一平面内に形成された光源のアレイを使用して前記サンプルの表面を照光するステップであって、前記光源のアレイが、前記平面内の前記サンプルに向かう照光方向の範囲を規定し、この範囲が少なくとも90度に及ぶステップと、
    前記光源の出力の強度を滑らかに動的に変えるように前記アレイ内の光源を制御するステップであって、各光源は、前記サンプルの各点が、シーケンス内のそれぞれの時点で単一入射方向での最大光源強度を持つ照明分布で照光されるように、前記シーケンス内の前記それぞれの時点で他の光源よりも大きい強度を有し、前記最大光源強度が提供される方向が時間と共に変化して前記照光方向の範囲に及ぶ、ステップと、
    を含む、方法。
  10. サンプルの欠陥の自動検査を可能にするためにサンプルの表面に照明を提供する方法であって、
    一平面内に形成された光源のアレイを使用して前記サンプルの表面を照光するステップであって、前記光源のアレイが、前記平面内の前記サンプルに向かう照光方向の範囲を規定し、この範囲が少なくとも90度に及ぶステップと、
    前記光源の出力の強度を滑らかに動的に変えるように前記アレイ内の光源を制御するステップであって、各光源は、前記サンプルの各点が、シーケンス内のそれぞれの時点で単一入射方向での最大光源強度を持つ照明分布で照光されるように、前記シーケンス内の前記それぞれの時点で他の光源よりも大きい強度を有し、前記最大光源強度が提供される方向が時間と共に変化して前記照光方向の範囲に及ぶ、ステップと、
    光源動作シーケンスで連続するカメラ画像を撮影するステップと、
    画像を処理して、少なくとも1つの差分画像を導出するステップであって、前記差分画像が、他では滑らかな表面上のランダムに存在する表面欠陥によって引き起こされる陰影位置の変化を強調するステップと、
    前記差分画像に基づいて欠陥検出を提供するステップと、
    を含む、方法。
  11. 全てが同じ周期を有するが異なる位相である正弦波強度プロファイルで、前記光源の強度を変えるように前記光源のアレイを制御するステップを有する、請求項9又は10に記載の方法。
  12. 前記平面に対して垂直な方向に前記光源のアレイに対して前記サンプルを移動させるステップを有する、請求項9乃至11の何れか一項に記載の方法。
  13. 光源のサブアレイを複数備える光源のアレイを使用して前記サンプルを照明するステップを有し、各サブアレイがそれぞれの平面内に形成され、異なるサブアレイに関する平面は平行である、請求項9乃至12の何れか一項に記載の方法。
JP2016525093A 2013-10-24 2014-10-13 欠陥検査システム及び方法 Active JP6738730B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN2013001283 2013-10-24
CNPCT/CN2013/001283 2013-10-24
EP13195318 2013-12-02
EP13195318.4 2013-12-02
PCT/EP2014/071826 WO2015058982A1 (en) 2013-10-24 2014-10-13 Defect inspection system and method

Publications (3)

Publication Number Publication Date
JP2016534329A JP2016534329A (ja) 2016-11-04
JP2016534329A5 JP2016534329A5 (ja) 2017-11-24
JP6738730B2 true JP6738730B2 (ja) 2020-08-12

Family

ID=51691043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016525093A Active JP6738730B2 (ja) 2013-10-24 2014-10-13 欠陥検査システム及び方法

Country Status (6)

Country Link
US (1) US10036712B2 (ja)
EP (1) EP3060902B1 (ja)
JP (1) JP6738730B2 (ja)
CN (1) CN106415248B (ja)
ES (1) ES2907258T3 (ja)
WO (1) WO2015058982A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6399437B2 (ja) * 2014-06-04 2018-10-03 パナソニックIpマネジメント株式会社 制御装置及びそれを用いた作業管理システム
JP2017067633A (ja) * 2015-09-30 2017-04-06 キヤノン株式会社 検査装置および物品製造方法
GB201706800D0 (en) * 2017-04-28 2017-06-14 Gould Daniel George Method and apparatus for vehicle damage mapping
US20190238796A1 (en) 2017-05-11 2019-08-01 Jacob Nathaniel Allen Object Inspection System And Method For Inspecting An Object
WO2019163556A1 (ja) * 2018-02-22 2019-08-29 パナソニックIpマネジメント株式会社 検査装置及び検査方法
IT201800006253A1 (it) * 2018-06-12 2019-12-12 Metodo e impianto per la localizzazione di punti su una superficie complessa nello spazio
CN111323433A (zh) * 2018-12-13 2020-06-23 深圳中科飞测科技有限公司 检测装置及其检测方法
CN109342320A (zh) * 2018-12-13 2019-02-15 深源恒际科技有限公司 汽车外观损伤检测识别硬件系统
US20220189030A1 (en) * 2019-03-22 2022-06-16 Basf Coatings Gmbh Method and system for defect detection in image data of a target coating
DE102022108158A1 (de) 2022-04-05 2023-10-05 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Ermitteln einer Bauteilausrichtung
CN117347383A (zh) * 2023-12-06 2024-01-05 中材新材料装备科技(天津)有限公司 一种硅酸钙板表面缺陷检测与自动修复系统及方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1832867A (en) * 1926-05-26 1931-11-24 Tar & Petroleum Process Compan Oven or retort for treating tarry matter and the like
US4920385A (en) * 1984-02-14 1990-04-24 Diffracto Ltd. Panel surface flaw inspection
JPS6216459U (ja) * 1985-07-15 1987-01-31
DE3712513A1 (de) 1987-04-13 1988-11-03 Roth Electric Gmbh Verfahren und vorrichtung zur erkennung von oberflaechenfehlern
US5237404A (en) * 1990-06-28 1993-08-17 Mazda Motor Corporation Inspection apparatus with improved detection of surface defects over large and curved surfaces
US5248919A (en) * 1992-03-31 1993-09-28 Lutron Electronics Co., Inc. Lighting control device
JPH08184567A (ja) 1994-10-05 1996-07-16 Musco Corp 鏡面反射性又は半鏡面反射性表面を点検するための装置及び方法
JPH1075051A (ja) * 1996-07-05 1998-03-17 Toyota Motor Corp 外観検査装置
WO1999022224A1 (en) * 1997-10-29 1999-05-06 Vista Computer Vision Ltd. Illumination system for object inspection
JPH11281581A (ja) * 1998-03-27 1999-10-15 Suzuki Motor Corp 表面欠陥検査装置,表面欠陥検査方法及び表面欠陥検査用のプログラムを記録したコンピュータ読み取り可能な記録媒体
US6100990A (en) * 1999-06-14 2000-08-08 Ford Motor Company Method and apparatus for determining reflective optical quality using gray-scale patterns
US6788411B1 (en) * 1999-07-08 2004-09-07 Ppt Vision, Inc. Method and apparatus for adjusting illumination angle
US6525331B1 (en) * 1999-12-01 2003-02-25 Nanyang Technological University Ball grid array (BGA) package on-line non-contact inspection method and system
US6901160B2 (en) * 2000-04-28 2005-05-31 Electro Scientific Industries Directional lighting and method to distinguish three dimensional information
JP2005531000A (ja) * 2002-06-21 2005-10-13 プレスコ テクノロジー インコーポレーテッド 機械視覚システムのためのパターン化された照明方法および装置
US8395577B2 (en) * 2004-05-04 2013-03-12 Sharp Laboratories Of America, Inc. Liquid crystal display with illumination control
US7525669B1 (en) * 2004-07-09 2009-04-28 Mohsen Abdollahi High-speed, scanning phase-shifting profilometry using 2D CMOS sensor
MX2007012533A (es) 2005-04-14 2007-12-06 Koninkl Philips Electronics Nv Luminaria y aparato de iluminacion para inspeccion.
JP2007240432A (ja) 2006-03-10 2007-09-20 Omron Corp 欠陥検査装置および欠陥検査方法
JP5481012B2 (ja) * 2006-06-05 2014-04-23 吉郎 山田 表面検査装置
JP2010519515A (ja) * 2007-02-16 2010-06-03 スリーエム イノベイティブ プロパティズ カンパニー 自動検査用に材料を照明するための方法及び装置
US7551274B1 (en) * 2007-02-28 2009-06-23 Lite Sentry Corporation Defect detection lighting system and methods for large glass sheets
JP4784555B2 (ja) * 2007-05-25 2011-10-05 トヨタ自動車株式会社 形状評価方法、形状評価装置および三次元検査装置
WO2011144964A1 (en) 2010-05-17 2011-11-24 Ford Espana S.L. Inspection system and method of defect detection on specular surfaces
JP2012127682A (ja) * 2010-12-13 2012-07-05 Hitachi High-Technologies Corp 欠陥検査方法及びその装置
JP5741186B2 (ja) * 2011-04-26 2015-07-01 富士通株式会社 欠陥検査装置及び欠陥検査方法
FI125320B (en) * 2012-01-05 2015-08-31 Helmee Imaging Oy ORGANIZATION AND SIMILAR METHOD FOR OPTICAL MEASUREMENTS
EP2693167A3 (en) 2012-08-02 2014-04-09 Cornelius Hahlweg Optical device and method for measuring microscopic structures
FR2998982B1 (fr) * 2012-11-30 2015-01-09 Centre Nat Detudes Spatiales Cnes Dispositif de chrono-datation optique, systeme de prise de vues et procede de chrono-datation optique associes
US9341578B2 (en) * 2014-10-06 2016-05-17 GM Global Technology Operations LLC LED-based inspection of a painted surface finish

Also Published As

Publication number Publication date
EP3060902A1 (en) 2016-08-31
ES2907258T3 (es) 2022-04-22
WO2015058982A1 (en) 2015-04-30
US10036712B2 (en) 2018-07-31
JP2016534329A (ja) 2016-11-04
CN106415248B (zh) 2020-08-18
CN106415248A (zh) 2017-02-15
EP3060902B1 (en) 2021-12-08
US20160266046A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
JP6738730B2 (ja) 欠陥検査システム及び方法
US5636024A (en) Apparatus and method of inspection of specular and semi-specular surfaces
US8050486B2 (en) System and method for identifying a feature of a workpiece
ES2765493T3 (es) Procedimiento y sistema para inspeccionar superficies
KR101500375B1 (ko) 차체 도장 외관 검사장치
US9007458B2 (en) Method for monitoring the quality of the primer layer applied to a motor-vehicle body prior to painting
US20130057678A1 (en) Inspection system and method of defect detection on specular surfaces
JP2016534329A5 (ja)
CN104583904B (zh) 用于输入对机动车部件的控制命令的方法
JP2008202949A (ja) 欠陥検査方法および欠陥検査装置
JP2017120232A (ja) 検査装置
JP6837738B2 (ja) 表面特性を決定する多段階方法および調査装置
JP2012063190A (ja) 表面凸凹検出装置および表面凸凹検出方法
JP3661466B2 (ja) 塗装ムラ検査装置および方法
US9575004B2 (en) Automated low cost method for illuminating, evaluating, and qualifying surfaces and surface coatings
KR102117697B1 (ko) 표면검사 장치 및 방법
JP2008215875A (ja) 成形体の検査方法およびこの方法を用いた検査装置
JP2938953B2 (ja) 表面欠陥検査装置
Tornero et al. Quality control of car-bodies based on artificial vision
WO2023120243A1 (ja) 表面検査装置、表面検査方法、欠陥自動修理システム及びプログラム
KR20140116590A (ko) 자동차 프레임의 도장면 검사장치
JP7242418B2 (ja) 表面検査方法とその装置
KR20160132208A (ko) 조명 제어를 이용한 압연 소재의 결함 탐상 장치
JPS6312488Y2 (ja)
JP2021056898A (ja) 画像処理方法、画像処理装置、ロボットシステム、ロボットシステムを用いた物品の製造方法、検査方法、制御プログラム及び記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171012

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180530

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190531

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6738730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250