JP6347841B2 - 加工ヘッドに形成されている開口部の縁部輪郭を識別するための方法及び加工機械 - Google Patents

加工ヘッドに形成されている開口部の縁部輪郭を識別するための方法及び加工機械 Download PDF

Info

Publication number
JP6347841B2
JP6347841B2 JP2016550567A JP2016550567A JP6347841B2 JP 6347841 B2 JP6347841 B2 JP 6347841B2 JP 2016550567 A JP2016550567 A JP 2016550567A JP 2016550567 A JP2016550567 A JP 2016550567A JP 6347841 B2 JP6347841 B2 JP 6347841B2
Authority
JP
Japan
Prior art keywords
image
images
processing
opening
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016550567A
Other languages
English (en)
Other versions
JP2017507030A (ja
Inventor
レガート ボリス
レガート ボリス
ノイデック ゼバスティアン
ノイデック ゼバスティアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trumpf Werkzeugmaschinen SE and Co KG
Original Assignee
Trumpf Werkzeugmaschinen SE and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trumpf Werkzeugmaschinen SE and Co KG filed Critical Trumpf Werkzeugmaschinen SE and Co KG
Publication of JP2017507030A publication Critical patent/JP2017507030A/ja
Application granted granted Critical
Publication of JP6347841B2 publication Critical patent/JP6347841B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/14Working by laser beam, e.g. welding, cutting or boring using a fluid stream, e.g. a jet of gas, in conjunction with the laser beam; Nozzles therefor
    • B23K26/1462Nozzles; Features related to nozzles
    • B23K26/1494Maintenance of nozzles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03Observing, e.g. monitoring, the workpiece
    • B23K26/032Observing, e.g. monitoring, the workpiece using optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Plasma & Fusion (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Laser Beam Processing (AREA)

Description

本発明は、加工ヘッドに形成されている開口部の縁部輪郭、特に加工ノズルの開口部の縁部輪郭を識別するための方法に関する。また本発明は、加工機械にも関する。
加工ノズル、特に、切断ノズルは、レーザ加工プロセス、特にレーザ切断プロセスにおいて、均一且つ高品質の切断結果を達成するために使用される。レーザビーム及びプロセスガスビームが通過する加工ノズルの開口部幾何学、特に加工ノズルの開口部の縁部輪郭は、ガス流に直接的に作用するので、従って、加工結果に直接的に影響を及ぼす。加工プロセスにおいては、加工ノズルが摩耗する。摩耗は、加工材料のスラグが付着する際、また加工材料の溶解物の飛沫が付着する際に生じるか、又は、レーザビームが僅かに接触すること又はレーザビームが後方反射することによる燃焼時に生じるか、また、加工ノズルがワークピース又はその他の構成部材と衝突することによって生じると考えられる。この摩耗によって、加工ノズルの縁部輪郭が変化し、例えば(円形の)丸い幾何学形状とは異なる形状になる可能性がある。これによって、切断結果が方向に依存して変化する可能性がある。
切断結果に及ぼされる悪影響に対応するために、加工ノズル又は加工ノズルの開口部を衝突後にユーザによって手動で検査することが公知である。しかしながらこのことは、時間とコストを要するレーザ加工機械の非稼働時間の原因となる。
独国特許出願公開第4336136号明細書より、レーザビーム加工装置の加工状態を検出するための方法と装置が公知となっている。ワークピースに由来する、切断ヘッドのいわゆるノズル穴を通過して出射されたビームの測定によって、自発的な材料除去プロセスの発生を検出することができる。また、切断ヘッドノズルの、レーザビームのビーム軸からのずれも検出され、必要であればそのずれを補償することができる。
欧州特許出願公開第1600247号明細書からは、切断ノズル開口部を光学的な検査装置を用いて検査することが公知である。切断ノズルの検査は、切断ノズルを外側から又は下方から照明することによって行われる。切断ノズルの画像がカメラを用いて撮影され、ノズル開口部の直径又はその平均値が検出される。切断ノズルの開口部の真円度が許容範囲外にある場合には、警告を発することができる。
発明の課題
本発明が基礎とする課題は、従来技術の欠点を解消することができる方法及び加工機械を提供することである。特に、障害に対する、縁部輪郭の識別のロバスト性が改善されるべきである。
発明の対象
この課題は、加工ヘッドに形成されている開口部、特に加工ノズルの開口部の縁部輪郭を識別するための方法によって解決され、この方法においては、開口部を介して観察される、加工ヘッドから距離を置いて設けられており、有利には照明される基準面の部分領域と、開口部を包囲する、加工ヘッドにおける領域と、をそれぞれが含んでいる複数の画像が時間的に連続して撮影され、画像の撮影時点間に、基準面の輝度特性が変更され、また、撮影された画像の比較評価によって、縁部輪郭が識別される。
本発明の方法によってもたらされる利点は、機械を動作させながら、即ち加工プロセスを行いながらそれと同時に、方法を実施することができるということである。このようにして、場合によっては生じる欠陥(例えば、加工ヘッドとワークピースの衝突に起因する加工ヘッドの開口部の変形)を即座に識別することができ、また、その欠陥に早期に介入又は反応して、更なるワークピースの加工時の欠陥商品の発生を回避することができる。更に比較評価によって、縁部輪郭を識別する際の向上した精度、並びに、例えば開口部の内側において生じる反射のような障害に対する識別の高いロバスト性を達成することができる。これを下記において説明する。
加工ヘッドにおける開口部の縁部輪郭を識別するためには、開口部に対応付けられている画像領域と、加工ヘッドに対応付けられている画像領域との間に輝度コントラストを生じさせることが必要である。この輝度コントラストは、通常の場合、加工ノズルの開口部を、加工ノズルの開口部によって画定される外部の均一な照明装置でもって、若しくは、内側から又は外側から照明することによって形成される。例えば、外部の照明をLED照明によって行うことができる。LED照明は、拡散プレートを用いることによって、加工ノズルの開口部を可能な限り均一に照明する。上記において述べたように、機械が動作している間の検出が所望される場合には、加工すべきワークピースの表面を照明する必要がある。この照明を、例えば、LED、レーザダイオード又はその他の照明源の、レーザビームと同軸の照明ビーム、又は観察部に入力される照明ビームによって行うことができる。粗い(金属製の)ワークピース表面又はノズル表面のその種の照明は、一般的に完全に均一には行われない。何故ならば、反射度がそのような表面の局所的な面法線の方向又は角度に大きく依存するからである(これに関しては例えば独国特許出願公開第1020005010381号公報を参照されたい)。これによって、自動化された画像処理においては加工ノズル又は開口部に一義的に対応付けることができない領域が開口部の縁部に生じる。
評価又は画像処理のために2つ以上の画像を使用することによって、本発明において提案されるように、加工ヘッド又は加工ノズルが一定の照明条件で照明され、その一方で、開口部を介して観察される基準面の輝度特性が画像を撮影する度に変更される場合には、縁部輪郭の識別を改善することができる。このようにして、比較評価の際に、撮影された全ての画像が同一の輝度又は類似の輝度を示し、且つ、加工ノズル又は加工ヘッドに対応付けられる領域を識別することができる。更に、撮影毎に変化し、加工ヘッド又は加工ノズルにおける開口部に対応付けられる領域を識別することができる。評価の際に複数の画像を考慮することによって、縁部輪郭を識別する際の精度を連続的に高めることができる。
1つの有利なヴァリエーションにおいては、輝度特性を変更するために、基準面と加工ヘッドとが、特に開口部を横切る方向において、即ち水平方向において相互に相対的に移動される。基準面は、どの表面でもそうであるように、粗さ又は非平坦性を有している。相対運動によって、連続的に撮影される画像においては、基準面のその都度異なる部分領域が開口部を介して観察されるので、基準面の粗さに起因し且つ位置に依存する輝度差は、連続して撮影される複数の画像にわたり変動する。基準面の照明は、有利には、基準面に対して垂直に又はほぼ垂直に延びる方向から均一に、例えば加工ノズルの開口部を介して行われるか、又は、加工ノズルを包囲するリング状の照明の形で行われる。
1つの別の有利なヴァリエーションにおいては、基準面が加工すべきワークピースの表面を形成している。このヴァリエーションは、開口部の縁部輪郭の本発明による識別をワークピース加工中に行うことができるので特に有利である。上記において述べたように、通常は金属製のワークピースの表面が十分な粗さを有しているので、撮影された複数の画像においては、ワークピースと加工ヘッドの相対運動に起因する、粗いワークピース表面の輝度差の変動を測定することができる。
また有利には、1つのヴァリエーションにおいては、基準面の輝度特性を変更するために、基準面の照明が時間的に変更される。輝度特性を時間的に変更するために、照明装置の照明強度を、種々の撮影時点にわたり変化させることができる、及び/又は、複数の撮影時点にわたり局所的に変化する照明強度を有している照明パターンを設けることができる。択一的に、例えば照明ビームの照明強度を複数の撮影時点にわたり時間的及び/又は局所的に変更することによって、基準面自体に由来する、又は基準面によって反射された照明ビームの輝度特性も変更することができる。それらのいずれの場合においても、必要に応じて、加工ヘッドに対する基準面の相対運動を省略することができる。
有利には、1つの別のヴァリエーションにおいては、開口部を通過して出射される加工ビーム、特にレーザビームに同軸の観察方向に沿って、画像が撮影される。この場合、観察方向は典型的には開口部の縁部輪郭に対して垂直に延びているので、縁部輪郭を正確に識別することができる。また、加工ビームに同軸に延びる観察方向からは、縁部輪郭の場合によっては存在する欠陥又はずれを非常に簡単に識別することができる。
1つの有利なヴァリエーションにおいては、開口部を通過して出射される照明ビーム、特にレーザビームに同軸又はほぼ同軸な照明方向に沿って、基準面の照明が行われる。このようにして、基準面の照明が、開口部を介して、即ち内側から外側に向かって行われる。この場合、(付加的な)外部の照明装置は必要ない。またこの場合、照明ビームと加工ビーム若しくはレーザビームとは、典型的には少なくとも部分的に重畳する。
有利には、1つのヴァリエーションにおいて、比較評価の際に、撮影された複数の画像のうちの2つの画像から、少なくとも1つの差分画像が形成される。差分画像を形成する際に、静的な障害(例えば、加工ノズルにおける内部反射)が減算され、それによって、例えば基準面の運動に起因する、観察される基準面における輝度変化のみが残存する。通常の場合、1つ又は複数の差分画像が、その都度、画像の絶対的な減算、特にピクセル毎の減算によって形成される。撮影時点n毎に、先行の時点n−m(m=1,2,...)に撮影された画像B(n−m)を用いる減算によって、ちょうど1つの差分画像D(n)が形成される。しかしながらまた、撮影時点n毎に複数の差分画像D(n)が形成されることも考えられ、それらの差分画像D(n)はそれぞれ、撮影時点nに撮影された画像B(n)と、先行の時点n−mに撮影された画像B(n−m)とから、ピクセル毎の減算によって取得される。即ち、D(n)=B(n)−B(n−m)(但し、m=1,2,...)が当てはまる。
1つの発展形態においては、少なくとも1つの差分画像を形成する前に、画像処理アルゴリズムを用いて画像が処理される。ピクセル毎の減算を行う前にその種の処理を行うことは、僅かな画像位置変化又は輝度変化(揺らぎ)を補償するためには好適であると考えられる。そのような揺らぎは、連続する2つの撮影時点間に生じ、また撮影された画像全体、即ち、加工ヘッド又は開口部外の領域に対応付けられている画像領域にも影響を及ぼす。例えば、画像検出装置の検出面の位置の極僅かな変化が生じ、それによって、撮影された画像が検出面に対して相対的にずれる可能性がある。その種のずれを撮影された複数の画像間の相互相関によって識別することができ、また適切な画像シフトによって補償することができる。例えばバックグラウンドノイズによって惹起される、撮影された画像間の輝度の揺らぎを、適切なフィルタリングによって、例えばメディアンフィルタ又は平均値フィルタを使用して補償調整することができる。
特に有利な1つのヴァリエーションにおいては、少なくとも2つの差分画像から1つの結果画像E(n)が形成され、この結果画像E(n)について縁部輪郭の識別が行われる。例えば、複数の差分画像を必要に応じて重み付けして加算することによって、その種の結果画像を形成することができる。その種の結果画像の形成によって、リングメモリにはもはや存在しない複数の画像から算出された差分画像も、縁部輪郭の識別の際に考慮することができる。
1つの発展形態においては、結果画像E(n)が、所定数mの、連続する撮影時点n,n−1,...,n−m+1に撮影された画像B(n)から、式:E(n)=B(n)−B(n−1)+B(n)−B(n−2)+...+B(n)−B(n−m+1)、即ち、E(n)=D(n)+D(n)+...+Dm−1(n)から形成される。これによって、計算時間に関して効果的な、撮影された画像の解析を行うことができる。結果画像を形成するための、所定数mの画像を、例えば、リングメモリに保持することができる。
1つの別の発展形態においては、結果画像E(n)が、所定数mの、異なる撮影時点n,n−1,...に撮影された差分画像の平滑平均値として形成される。平滑平均値としての結果画像E(n)の決定は、一般的に、式E(n)=1/m*(D(n)+D(n−1)+...+D(n−m+1))に従い行われ、この場合、標準化(1/m)は省略することができる。
1つの別の発展形態においては、結果画像E(n)が、式:E(n)=α*E(n−1)+(1−α)*D(n)に従い形成される。ここでαは、減衰因子として使用される定数であり、且つ、0<α<1であり、またD(n)は差分画像を表す。α<0.5の場合には、比較的古い差分画像は結果画像E(n)の形成時に、比較的新しい差分画像ほど強く重み付けされない。減衰因子αに関する適切な値を、例えば、経験に基づき決定することができる。α=0の場合には、結果画像E(n)は、最新の撮影時点nにおける差分画像D(n)に対応する。
更に有利な1つのヴァリエーションにおいては、縁部輪郭を識別するために、結果画像E(n)、又は場合によっては差分画像D(n)(α=0、上記を参照されたい)がバイナリ画像に変換される。バイナリ画像を、例えば2値化処理によって、即ち、閾値との比較によって、結果画像から形成することができる。バイナリ画像においては、開口部を包囲する領域が典型的には黒く現れ、また開口部自体は比較的高い輝度を有しているので白く現れる。
1つの有利なヴァリエーションにおいては、結果画像又はバイナリ画像において縁部輪郭を識別するために、幾何学識別のためのアルゴリズム、特にハフ(Hough)アルゴリズム、最小二乗誤差アルゴリズム又はRANSAC(random sample consensus)アルゴリズムが使用される。その種のアルゴリズムは、結果画像又はバイナリ画像を基礎として、適切な誤差最小化アルゴリズムによって縁部輪郭を検出又は識別することができる。
最後に、本方法の1つの有利なヴァリエーションにおいては、縁部輪郭を識別するために、10個から50個の画像、有利には10個から40個の画像が撮影される。縁部輪郭を識別するために使用される画像の数とは、評価のために(リング)メモリに供給され、また差分画像の形成に用いられる画像の数mと解される。更に上記において述べたように、撮影される画像の数を増やすことによって、縁部輪郭を識別する精度を連続的に高めることができる。更に、ワークピース表面の照明条件の可能な限り大きな変化によって、特に上述の有利な実施の形態においては、連続する2つの撮影時点間のワークピースの大きい相対的なシフトによって、差分画像が少数であっても識別精度を改善することができる。
また本発明は、コンピュータプログラムがデータ処理装置において実行される場合、本発明による方法の全てのステップの実施に適合されているコード手段を有しているコンピュータプログラム製品にも関する。データ処理装置は、例えば、加工ヘッドを有している加工機械に収容されている開ループ及び閉ループ制御装置及び/又は評価装置であっても良いし、典型的には加工機械の一部である外部の装置であっても良い。
上記の課題は、以下の特徴を備えている加工機械によっても解決される、即ち、加工ヘッドと、加工ヘッドにおける開口部、特に加工ヘッドに取り付けられている加工ノズルにおける開口部に形成されている縁部輪郭と、開口部を介して観察される、加工ヘッドから距離を置いて設けられている基準面の部分領域と、開口部を包囲する、加工ヘッドにおける領域と、をそれぞれが含んでいる複数の画像を時間的に連続して撮影する画像検出装置と、撮影された複数の画像の比較評価によって、縁部輪郭を識別するために形成又はプログラミングされている評価装置と、を備えている加工機械であって、特にその評価装置及び/又は開ループ及び/又は閉ループ制御装置が、画像の撮影時点間に基準面の輝度特性を変更するように構成又はプログラミングされている加工機械によって解決される。この加工機械では、縁部輪郭を識別する際の高い精度及び障害に対する高いロバスト性に関して、本発明による方法と実質的に同じ利点が得られる。
1つの有利な実施の形態においては、画像検出装置が、有利には開口部を通過して出射される加工ビーム、特にレーザビームに同軸の観察方向から少なくとも2つの画像を撮影するための結像光学系を有している。加工ヘッドに統合されているその種の結合光学系によって、加工ヘッドは比較的コンパクトに構成されている。また、その種の統合された結合光学系によって、観察方向が加工ビームに同軸に延びる場合には、縁部輪郭の非常に正確な識別を実現することができる。
1つの別の有利な実施の形態においては、加工機械が、有利には開口部を通過して出射される加工ビーム、特にレーザビームに同軸の照明方向に沿って基準面を照明するための照明装置を有している。開口部を介する基準面の同軸の照明は小型の構造様式で実現される。
1つの別の実施の形態においては、加工機械が更に、加工ヘッドから距離を置いてワークピースを載置するためのワークピース載置面を有している。この場合、ワークピースのワークピース表面が基準面を形成しているので、基準面を別個に設けることは省略することができる。しかしながら択一的に、必要に応じて、縁部輪郭を識別するための別個の基準面を加工機械に設けることもできる。もっともこの場合には、通常、ワークピース加工中の縁部輪郭の識別は不可能である。
1つの有利な実施の形態においては、加工機械が更に、ワークピースと加工ヘッドとの間で相対運動を生じさせるための運動装置を有している。運動装置は、例えば、加工ヘッドを1つ又は複数の空間方向に移動させるように構成されている。択一的又は付加的に、ワークピース載置面上のワークピース及び/又はワークピース載置面自体を、少なくとも1つの空間方向に移動させ、これによって相対運動を生じさせることもできる。
本発明の更なる利点は、以下の説明及び図面より明らかになる。同様に、上述の特徴及び下記において更に説明する特徴を、単独で使用することができるか、又は複数の特徴を任意に組み合わせて使用することができる。図示及び説明する複数の実施の形態は、排他的な列記とみなされるべきではなく、むしろ本発明を説明するための例示的な特徴を有しているものとみなされるべきである。
加工ヘッドを備えている本発明による加工機械を示す。 画像検出装置を用いて撮影された2つの画像並びにそれらの画像から形成された差分画像を示す。 画像検出装置を用いて撮影された5つの画像、それら5つの画像から形成された差分画像、並びに、その差分画像から形成された結果画像を示す。
図面に関する以下の説明において、同一の構成部材又は機能が等しい構成部材に対しては同一の参照番号を付している。
図1には、加工機械1の例示的な構造が示されている。この加工機械1は、レーザビーム2を、加工ヘッド3によって加工されるワークピース4に焦点合わせするための加工ヘッド3を含んでいる。図示の例において、レーザビーム2はCOレーザによって形成される。択一的に、例えば固体レーザによってレーザビーム2を形成することもできる。レーザビーム2は、例えばレーザ溶接プロセス又はレーザ切断プロセスの形態での、ワークピース4におけるワークピース加工を実施するために、フォーカシングレンズ5の形態の焦点合わせ素子を用いてワークピース4に焦点合わせされる。加工ヘッド3は、更に、加工ノズル6を含んでいる。図示の例においては、フォーカシングレンズ5は、加工ノズル6を通過するレーザビーム2の焦点を、厳密に言えば、加工ノズル6の内面における開口部7を通過するレーザビーム2の焦点をワークピース4に合わせ、しかも、図示の例においては、ワークピース4の上面に形成されているワークピース表面8に焦点を合わせる。加工ノズル6の開口部7のワークピース側の端部には、リング状に延びる縁部輪郭9が形成されている。ワークピース4のワークピース表面8は、縁部輪郭9を識別するための後述の方法に関する基準面を形成している。必要に応じてこの方法を、ワークピース4には形成されておらず、この目的のために加工機械1に固有に設けられている基準面においても実施することができる。
また図1からは、部分透過性に形成されている偏向ミラー10が見て取れ、この偏向ミラー10は入射したレーザビーム2を透過させ、且つ、プロセスの監視にとって重要な(例えば可視波長範囲にある)観察ビームを、別のフォーカシングレンズ11を介して別の部分透過性の偏向ミラー12へと反射させる。別の部分透過性の偏向ミラー12は、観察ビームを、加工ヘッド3のカメラとして形成されている画像検出装置13へと反射させる。この画像検出装置13は、ワークピース表面8の複数の画像を時間的に連続して撮影する。即ち、ワークピース表面8又は加工ノズル6のワークピース側の開口部7が、画像検出装置13の検出面20に結像される。
加工ヘッド3は更に照明装置14を含んでおり、この照明装置14は、加工ヘッド3から距離を置いて設けられているワークピース表面8又は基準面を照明するために使用される。照明装置14は、開口部7を通過して出射されるレーザビーム2に同軸の照明方向15に沿って、ワークピース表面8を照明ビーム16でもって照明するように構成されている。照明ビーム16は、例えば、別の部分透過性の偏向ミラー12を透過して、加工ノズル6の開口部7を通過してワークピース4へと偏向される。観察ビーム17を画像検出装置13に供給するため、又は、照明ビーム16をワークピース4に供給するために、部分透過性の偏向ミラー10,12の代わりに、偏光選択性のビームスプリッタ、スクレイパーミラー、又は入射したビームを縁部領域からのみ反射させる穴付きミラーを使用することもできる。観察を実現するために、レーザビーム2のビーム路において側方に設けられている1つ又は複数のミラー又は段付きミラーも使用することができる。
照明装置14として、例えばダイオードレーザ又はLEDを設けることができ、それらを図1において示されているように、レーザビーム軸18に同軸に配置することができるが、しかしながらそれらを軸外に配置しても良い。照明装置14を例えば、加工ヘッド3外(特に加工ヘッドの3の近傍に)配置し、ワークピース4に向けることもできる。場合によっては、加工ヘッド3を照明装置14なしでも動作させることができる。
画像検出装置13は、特に、観察ビーム路17において別の部分透過性の偏光ミラー12の後段に配置されている、幾何学的に高解像度のカメラとして形成されている。カメラはハイスピードカメラであって良い。図示の例では、画像検出装置13による画像の撮影が、落射照明方式で、可視波長領域において行われる。落射照明での撮影を行うために、紫外線領域又は近赤外線領域での画像の撮影も可能である。図1に示した例では、別のビーム成分又は波長成分が画像検出装置13による検出から排除されるべき場合には、画像検出装置13の手前にフィルタを配置することができる。フィルタを、例えば、狭帯域バンドパスフィルタとして形成することができる。
画像検出装置13は、2つの部分透過性の偏向ミラー10,12及び別のフォーカシングレンズ11を含む結像光学系19を有しており、この結像光学系19によって、開口部7を介して観察及び照明されるワークピース表面8の実質的に円形の部分領域21も開口部7を包囲する加工ノズル6の領域22も含んでいる画像B(n),B(n−1),...(図2を参照されたい)が画像検出装置13の検出面20において形成される。結合光学系19は、開口部7を通過して出射されるレーザビーム2に同軸に延びる観察方向23から画像B(n),B(n−1)を撮影するために使用される。
加工機械1は、更に、ワークピーステーブル25の形態のワークピース載置面上に載置されたワークピース4と加工ヘッド3との間で相対運動を生じさせるための運動装置24を含んでいる。図示の例においては、ワークピース4がワークピーステーブル25上に固定されて載置されている。可動に支承されている加工ヘッド3を、運動装置24の1つ又は複数のアクチュエータ26を用いて3つの空間方向XYZに移動させることができる。この際、加工ヘッド3を、開口部7を横切る方向に(図1においてはX方向及び/又はY方向に)移動させることができる。加工ヘッド3を移動させる代わりに、及び/又は、加工ヘッド3の移動に加えて、ワークピース4もワークピーステーブル25と一緒に、及び/又は、ワークピーステーブル25に対して相対的に移動させることができる。加工機械1は、更に、PC等の形態の評価装置27並びに開ループ又は閉ループ制御装置28を含んでおり、それらは信号技術的に相互に接続されている。
以下では、図1及び図2に基づき、加工機械1の評価装置27において、種々の撮影時点nに撮影された画像B(n),B(n−1),...の比較評価によって縁部輪郭9をどのように識別することができるかを説明する。フレームレート、即ち、連続する2つの画像の撮影時点間の時間間隔は、典型的には、ミリ秒のオーダにあり、他方、個々の画像B(n)の撮影(照明時間)は、撮影される画像B(n)のモーションブラーを回避するために遙に短く、典型的にはマイクロ秒の範囲にある。画像B(n),B(n−1),...のそれぞれ2つの撮影時点n,n−1の間に、例えばワークピース表面8及び加工ヘッド3が開口部7を横切るように相互に相対的に移動されることによって、ワークピース表面8の輝度特性が変更される。この際、照明されるワークピース表面8は、どの表面でもそうであるように、粗さを有しているので、ワークピース表面8の観察される部分領域21の画像B(n)は、位置に依存して異なる輝度を有しているパターンを生じさせるということが利用される。このパターンは、図2において、観察される部分領域21内の白黒パターンとして簡略化されて示されている。観察方向23を横切る方向において行われる、開口部7とワークピース表面8の相対運動によって、連続的な撮影時点n,n−1間ではワークピース表面8の輝度特性が変更され、厳密に言えば、ワークピース表面8の観察される部分領域21の輝度特性が変更される。このことは、図2において、画像B(n),B(n−1)の部分領域21の白黒パターンの変化から見て取れる。
択一的又は付加的に、ワークピース表面8の輝度特性を変更するために、照明装置14によるワークピース表面8の照明を時間的に変更することができる。このために、照明ビーム16の照明強度を、照明装置14を用いて時間的に、また必要に応じて位置に依存して、連続する撮影時点n,n−1,...間で変更することができる。
2つの画像B(n),B(n−1)に関して図2において例示的に図示されているように、縁部輪郭9を識別するために、先ず、絶対的なピクセル毎の減算によって差分画像D(n)が形成される。これによって、例えば加工ノズル6における内部反射29のような静的な障害が減算され、ワークピース表面8の可動の部分領域21における画像変化だけが差分画像D(n)に含まれたままとなる。差分画像D(n)を形成する前に、必要に応じて、画像B(n),B(n−1)の前処理を行い、撮影時点間に生じる輝度の揺らぎの影響又は全体の画像B(n),B(n−1)の画像シフトの影響を補償することができる。差分画像D(n)を、時間的に直接連続していない撮影時点n,n−mに撮影された(即ちm=2,3,...)2つの画像B(n),B(n−m)から形成することができる。
縁部輪郭9の識別を、必要に応じて、差分画像D(n)に基づき直接的に行うことができる。しかしながら有利には、縁部輪郭9の識別は、同一の撮影時点nに撮影された少なくとも2つの差分画像D(n)から、又は、異なる撮影時点n,n−1に撮影された2つの差分画像D(n),D(n−1),...から形成される結果画像E(n)に基づき行われる。
前者の場合には、撮影時点nに複数の差分画像D(n)が形成される。それらの差分画像D(n)は、それぞれ、撮影時点nに撮影された画像B(n)と、先行の時点n−mに撮影された画像B(n−m)とから、ピクセル毎の減算によって取得される。即ち、D(n)=B(n)−B(n−m)、但し、m=1,2,...が当てはまる。
図3においては、複数m個の連続して撮影された5つの画像B(n),B(n−1),B(n−2),B(n−3),B(n−4)から1つの結果画像E(n)が形成されることが示されている(ここでは、m=5)。これについては次式が当てはまる:
E(n)=B(n)−B(n−1)+B(n)−B(n−2)+...+B(n)−B(n−m+1)、又は、
E(n)=D(n)+D(n)+D(n)+D(n)
つまり、同一の撮影時点nに対応付けられている複数の差分画像D(n)から1つの結果画像E(n)が形成されている。
縁部輪郭9の識別又は結果画像E(n)の形成のために評価される画像B(n),B(n−1)の数は、通常の場合、図3に示した数より多く、約10から50の間、有利には約20から40の間である。
択一的に、結果画像を例えば次式に従い形成することができる:
E(n)=α*E(n−1)+(1−α)*D(n)
ここで、αは(通常は一定の)減衰因子0<α<1を表し、この減衰因子は比較的古い結果画像の関連性を考慮する。この場合、撮影時点n毎に、上述のやり方で形成される差分画像D(n)が1つだけ対応付けられる。減衰因子αに関する最適値を、例えば、経験に基づき求めることができる。このために、既知の幾何学を有している縁部輪郭9を測定することができ、その際、縁部輪郭9の識別が、減衰因子αに対して異なる値を用いて何度も実施される。減衰因子αに関する最適値は、縁部輪郭9の既知の幾何学との一致が最大となる値である。
減衰因子を使用する代わりに、異なる撮影時点n,n−1に対応付けられた、所定数m個の画像B(n),B(n−1)に対応する複数の差分画像D(n),D(n−1),...から成る平滑平均値として、結果画像E(n)を形成することができる。つまり、次式に従い結果画像E(n)が形成される:
E(n)=1/m*(D(n)+D(n−1)+....+D(n−m+1))
上記のやり方で形成された結果画像E(n)においては、輝度の適切な閾値を用いて結果画像E(n)の2値化を行うことによって、各画素が同じ輝度値を有している第1の画像領域を、その第1の画像領域の輝度値とは異なる輝度値を有している第2の画像領域と区別することができる。2値化された結果画像BI(n)(図3を参照されたい)において、又は、場合によっては結果画像E(n)自体において、(ほぼ円形の)縁部輪郭9を、輪郭識別のためのアルゴリズムを用いて、例えばハフアルゴリズム、最小二乗誤差アルゴリズム又はRANSACアルゴリズムを用いて識別することができる。
上述の方法は、機械を動作させながら、即ち、加工機械1を用いて実行されるレーザ加工プロセス中に実施することができるので、例えば、加工ノズル6とワークピース4の衝突に起因する加工ノズル6の開口部7の幾何学の変化を迅速に識別することができ、また、加工プロセスを早期に中断し、それによって欠陥商品を低減することができる。比較評価によって、縁部輪郭を識別する際の精度及び結像の障害(例えば内部反射の形態の障害)に対するそのロバスト性を高めることができる。また本方法を、異なる表面特性を有しているワークピース又はワークピース材料を用いても高い信頼性で実施することができる。択一的又は付加的に、上述の方法を用いることによって、加工ヘッド3に形成されており、且つ、開口部に隣接して配置されているコンポーネント又はその他の静的な幾何学の縁部輪郭を識別することができる。

Claims (21)

  1. 加工ヘッド(3)に形成されている開口部(7)縁部輪郭(9)を識別するための方法において、
    前記開口部(7)を介して観察される、前記加工ヘッド(3)から距離を置いて設けられている基準面(8)の部分領域(21)と、前記開口部(7)を包囲する、前記加工ヘッド(3)における領域(22)と、をそれぞれが含んでいる複数の画像(B(n),B(n−1),...)を時間的に連続して撮影し、その際、前記画像(B(n),B(n−1),...)の撮影時点(n,n−1)間に、前記基準面(8)の輝度特性を変更し、
    撮影された前記画像(B(n),B(n−1),...)の比較評価によって、前記縁部輪郭(9)を識別する、
    ことを特徴とする、方法。
  2. 前記輝度特性を変更するために、前記基準面(8)と前記加工ヘッド(3)とを、互に相対的に移動させる、請求項1に記載の方法。
  3. 前記基準面(8)は、加工すべきワークピース(4)の表面である、請求項1又は2に記載の方法。
  4. 前記基準面(8)の前記輝度特性を変更するために、前記基準面(8)の照明を時間的に変更する、請求項1乃至3のいずれか1項に記載の方法。
  5. 前記開口部(7)を通過して出射される加工ビーム同軸の観察方向(23)に沿って、前記画像(B(n),B(n−1),...)を撮影する、請求項1乃至4のいずれか1項に記載の方法。
  6. 前記開口部(7)を通過して出射される加工ビーム同軸の照明方向(15)に沿って、前記基準面(8)の照明を行う、請求項1乃至5のいずれか1項に記載の方法。
  7. 前記比較評価の際に、撮影された前記画像のうちのそれぞれ2つの画像(B(n),B(n−1);B(n),B(n−2);B(n),B(n−3),...)から少なくとも1つの差分画像(D(n))を形成する、請求項1乃至6のいずれか1項に記載の方法。
  8. 前記少なくとも1つの差分画像(D(n))を形成する前に、撮影された前記画像間における画像位置変化又は輝度変化を補償するための画像処理アルゴリズムを用いて、前記画像(B(n),B(n−1);B(n),B(n−2);B(n),B(n−3),...)を処理する、請求項7に記載の方法。
  9. 前記差分画像のうちの少なくとも2つの差分画像(D(n),D(n−1),...)から1つの結果画像(E(n))を形成し、該結果画像(E(n))について前記縁部輪郭(9)の識別を行う、請求項7又は8に記載の方法。
  10. 所定数(m)の、連続する撮影時点(n,n−1,...,n−m+1)に撮影された画像B(n)から、式:E(n)=B(n)−B(n−1)+B(n)−B(n−2)+...+B(n)−B(n−m+1)に従い、前記結果画像E(n)を形成する、請求項9に記載の方法。
  11. 所定数(m)の、異なる撮影時点(n,n−1,...)に撮影された差分画像(D(n),D(n−1),...)の平滑平均値として、前記結果画像(E(n))を形成する、請求項9に記載の方法。
  12. 前記結果画像(E(n))を、式:E(n)=α*E(n−1)+(1−α)*D(n)に従い形成する、但し、αは定数であり、D(n)は差分画像を表す、請求項9に記載の方法。
  13. 前記縁部輪郭(9)を識別するために、前記結果画像(E(n))をバイナリ画像(BI(n))に変換する、請求項9乃至12のいずれか1項に記載の方法。
  14. 前記縁部輪郭(9)を識別するために、前記結果画像(E(n))又は前記バイナリ画像(BI(n))において、幾何学識別のためのアルゴリズムを使用する、請求項13に記載の方法。
  15. 前記縁部輪郭(9)を識別するために、10個から50個の画像(B(n),B(n−1),...)撮影する、請求項1乃至14のいずれか1項に記載の方法。
  16. コンピュータプログラムがデータ処理装置において実行される場合、請求項1乃至15のいずれか1項に記載の方法の全てのステップの実施に適合されているコード手段を有していることを特徴とする、コンピュータプログラム
  17. 加工機械(1)において、
    加工ヘッド(3)と、
    前記加工ヘッド(3)における開口部(7)形成されている縁部輪郭(9)と、
    前記開口部(7)を介して観察される、前記加工ヘッド(3)から距離を置いて設けられている基準面(8)の部分領域(21)と、前記開口部(7)を包囲する、加工ヘッド(3)における領域(22)と、をそれぞれが含んでいる複数の画像(B(n),B(n−1),...)を時間的に連続して撮影する画像検出装置(13)と、
    撮影された前記画像(B(n),B(n−1),...)の比較評価によって、前記縁部輪郭(9)を識別する評価装置(27)と、
    を備えており、
    前記加工機械(1)は、前記画像(B(n),B(n−1),...)の撮影時点間に前記基準面(8)の輝度特性を変更するように構成されている、
    ことを特徴とする、加工機械(1)。
  18. 前記画像検出装置(13)は、察方向(23)から少なくとも2つの画像(B(n),B(n−1),...)を撮影するための結像光学系(19)を有している、請求項17に記載の加工機械。
  19. 更に、明方向(15)に沿って前記基準面(8)を照明する照明装置(14)を備えている、請求項17又は18に記載の加工機械。
  20. 更に、前記加工ヘッド(3)から距離を置いてワークピース(4)を載置するためのワークピース載置面(25)を備えている、請求項17乃至19のいずれか1項に記載の加工機械。
  21. 更に、前記ワークピース(4)と前記加工ヘッド(3)との間で相対運動を生じさせるための運動装置(24)を備えている、請求項20に記載の加工機械。
JP2016550567A 2014-02-06 2015-02-04 加工ヘッドに形成されている開口部の縁部輪郭を識別するための方法及び加工機械 Active JP6347841B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014202176.6 2014-02-06
DE102014202176.6A DE102014202176B4 (de) 2014-02-06 2014-02-06 Verfahren zum Identifizieren einer Randkontur einer an einem Bearbeitungskopf gebildeten Öffnung und Bearbeitungsmaschine
PCT/EP2015/052238 WO2015117979A1 (de) 2014-02-06 2015-02-04 Verfahren zum identifizieren einer randkontur einer an einem bearbeitungskopf gebildeten öffnung und bearbeitungsmaschine

Publications (2)

Publication Number Publication Date
JP2017507030A JP2017507030A (ja) 2017-03-16
JP6347841B2 true JP6347841B2 (ja) 2018-06-27

Family

ID=52573650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016550567A Active JP6347841B2 (ja) 2014-02-06 2015-02-04 加工ヘッドに形成されている開口部の縁部輪郭を識別するための方法及び加工機械

Country Status (5)

Country Link
EP (1) EP3102361B1 (ja)
JP (1) JP6347841B2 (ja)
CN (1) CN105993033B (ja)
DE (1) DE102014202176B4 (ja)
WO (1) WO2015117979A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016211935B4 (de) * 2016-06-30 2019-06-06 Sauer Gmbh Vorrichtung und Verfahren zur Prozessüberwachung bei einem Auftragschweiß-Verfahren
DE102016219927B4 (de) 2016-10-13 2018-08-30 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Vorrichtung und Verfahren zur Überwachung eines thermischen Schneidprozesses
CN106885526A (zh) * 2017-02-09 2017-06-23 浙江大学台州研究院 轴内孔直径测量方法
DE102017102762B4 (de) 2017-02-13 2023-06-15 Precitec Gmbh & Co. Kg Verfahren zum Erkennen von Fügepositionen von Werkstücken und Laserbearbeitungskopf mit einer Vorrichtung zur Durchführung dieses Verfahrens
WO2019110114A1 (en) * 2017-12-07 2019-06-13 Bystronic Laser Ag Device for monitoring beam treatment of a workpiece and use thereof, device for beam treatment of a workpiece and use thereof, method for monitoring beam treatment of a workpiece, method for beam treatment of a workpiece
DE102018111473B4 (de) * 2018-05-14 2022-01-13 Trumpf Laser- Und Systemtechnik Gmbh Verfahren und Erfassungseinrichtung zur Ermittlung der Konturtreue einer kinematischen Baugruppe
CN110906875B (zh) * 2019-11-26 2021-07-06 湖北工业大学 一种孔径测量的视觉处理方法
CN113139943B (zh) * 2021-04-22 2022-08-12 苏州华兴源创科技股份有限公司 开口圆环工件外观缺陷检测方法、系统及计算机存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2720744B2 (ja) * 1992-12-28 1998-03-04 三菱電機株式会社 レーザ加工機
JP3058791B2 (ja) * 1994-01-31 2000-07-04 東芝テック株式会社 画像認識装置の図形の切出し方法
DE10054756C1 (de) * 2000-11-04 2002-07-25 Messer Cutting & Welding Gmbh Verschleißkontroll-Einrichtung für Schneiddüsen von Laserschneidmaschinen
JP2005334922A (ja) * 2004-05-26 2005-12-08 Yamazaki Mazak Corp レーザ加工機におけるノズルチェック装置
DE102005010381B4 (de) * 2005-03-07 2007-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Vermessung von Phasengrenzen eines Werkstoffes bei der Bearbeitung mit einem Bearbeitungsstrahl sowie zugehörige Vorrichtung
FR2911081A1 (fr) * 2007-01-10 2008-07-11 Safmatic Sa Installation et procede de detection optique des deteriorations d'une buse laser
CN101642848B (zh) * 2008-08-04 2013-08-21 通用电气公司 激光加工系统及方法
KR101700896B1 (ko) * 2008-11-21 2017-01-31 프레시텍 게엠베하 운트 코 카게 공작물 레이저 가공 작업 모니터 방법 및 장치와 그 장치를 구비한 레이저 가공 헤드
DE102011003717A1 (de) * 2011-02-07 2012-08-09 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Vorrichtung und Verfahren zur Überwachung und insbesondere zur Regelung eines Laserschneidprozesses
KR101078975B1 (ko) * 2011-03-22 2011-11-01 (주) 골프존 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
JP2012225716A (ja) * 2011-04-18 2012-11-15 Nagoya Electric Works Co Ltd 基板の外観検査装置および外観検査方法

Also Published As

Publication number Publication date
DE102014202176A1 (de) 2015-08-06
EP3102361A1 (de) 2016-12-14
WO2015117979A1 (de) 2015-08-13
CN105993033B (zh) 2020-05-26
JP2017507030A (ja) 2017-03-16
EP3102361B1 (de) 2022-03-30
DE102014202176B4 (de) 2015-10-22
CN105993033A (zh) 2016-10-05

Similar Documents

Publication Publication Date Title
JP6347841B2 (ja) 加工ヘッドに形成されている開口部の縁部輪郭を識別するための方法及び加工機械
US20200110025A1 (en) Multi-Parameter Inspection Apparatus for Monitoring of Manufacturing Parts
KR102156686B1 (ko) 레이저 용접에서 고온 균열들의 검출
US20190232434A1 (en) Determining and regulating a focal position of a processing beam
CA2465231C (en) Method and device for evaluation of jointing regions on workpieces
US7989730B2 (en) Method and device for determining the lateral relative displacement between a processing head and a workpiece
EP2792447B1 (en) Laser welding position-detecting device and welding position-detecting method
CA3020046A1 (en) Method and device for measuring the depth of the vapor capillary during a machining process with a high energy beam
JP2018039028A (ja) レーザ加工機、及びレーザ加工方法
US20210356408A1 (en) Multi-Parameter Inspection Apparatus for Monitoring of Manufacturing Parts
JP2014226728A (ja) 不完全切断を識別するための方法および装置
WO2017145518A1 (ja) レーザ加工機における加工ノズル検査装置及び方法
CN113784832A (zh) 工件的增材制造的监控和过程控制
KR101203210B1 (ko) 결함 검사장치
JP5263051B2 (ja) レーザ溶接機におけるレーザ照射点検出装置及びシーム位置検出装置
TWI607253B (zh) 自動對焦系統、方法及影像檢測儀器
US9200978B2 (en) Establishing a wear state of a cutting nozzle
JP7390498B2 (ja) 機械学習を用いてのレーザ加工プロセスの品質管理
JP2008157788A (ja) 表面検査方法及び表面検査装置
JP2018205011A (ja) ねじ形状測定装置および方法
KR101879066B1 (ko) 소재 형상 측정장치
CN116056832A (zh) 用于分析用于激光加工过程的工件表面的方法和用于分析工件表面的分析设备
CN110382159B (zh) 用于识别工件接合位置的方法和激光加工头
JP2005300884A (ja) マスク検査装置およびマスク検査方法
Ono et al. Twin-illumination and subtraction technique for detection of concave and convex defects on steel pipes in hot condition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180529

R150 Certificate of patent or registration of utility model

Ref document number: 6347841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250