JP6627389B2 - 傷検出方法および傷検出装置 - Google Patents

傷検出方法および傷検出装置 Download PDF

Info

Publication number
JP6627389B2
JP6627389B2 JP2015198358A JP2015198358A JP6627389B2 JP 6627389 B2 JP6627389 B2 JP 6627389B2 JP 2015198358 A JP2015198358 A JP 2015198358A JP 2015198358 A JP2015198358 A JP 2015198358A JP 6627389 B2 JP6627389 B2 JP 6627389B2
Authority
JP
Japan
Prior art keywords
mark
billet
edge
photographing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015198358A
Other languages
English (en)
Other versions
JP2017072435A (ja
Inventor
将紀 橋場
将紀 橋場
陽二 小澤
陽二 小澤
久二和 伊熊
久二和 伊熊
友樹 森
友樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daido Steel Co Ltd
Original Assignee
Daido Steel Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daido Steel Co Ltd filed Critical Daido Steel Co Ltd
Priority to JP2015198358A priority Critical patent/JP6627389B2/ja
Publication of JP2017072435A publication Critical patent/JP2017072435A/ja
Application granted granted Critical
Publication of JP6627389B2 publication Critical patent/JP6627389B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、傷検出方法および傷検出装置に関し、さらに詳しくは、鋼片の表面に形成された傷を検出するための検出方法および検出装置に関する。
分塊圧延等を経て製造された鋼片の表面には、製造工程に由来する傷が不可避的に残ってしまう。その傷が製品の特性や外観に影響を与えるのを防止するため、傷を検出し、グラインダ等を用いてその傷の除去が行われることが多い。鋼片表面の傷を検出するために、例えば、特許文献1に示されるように、蛍光磁粉探傷が広く用いられている。蛍光磁粉探傷においては、蛍光物質を含んだ磁粉材料を、磁化した鋼片の表面に散布し、紫外光を鋼片の表面に照射しながら、傷が形成された部位に凝集された磁粉材料が発する蛍光を検知することで、傷を検出する。
特開2001−281226号公報
特許文献1に示されるように、従来一般に蛍光磁粉探傷を行う場合には、磁化して磁粉材料を散布した鋼片の表面に対して、暗室内で紫外光を光源としてCCDカメラを用いて撮影を行い、得られた画像における蛍光の分布パターンに対して画像解析を行うことで、傷を検出する。しかし、紫外光照射下で撮影されたカメラ画像においては、磁粉材料が発する蛍光以外にも、鋼片の端縁の部位が明るく検出されることがあり、鋼片の端縁を傷であると誤って検出してしまう可能性がある。撮影用の紫外光源が劣化し、照度が低下すると、励起される蛍光強度が小さくなり、このような誤検知が特に起こりやすくなる。また、紫外光照射下で撮影した画像では、鋼片の端縁の位置を明確に検出しにくいため、端縁の位置を基準に、傷が形成されている位置を見積もろうとしても、正確な見積もりが行いにくくなる。
このように、従来一般の蛍光磁粉探傷法においては、傷と端縁を弁別したうえで、鋼片の端縁を基準として、傷が形成されている位置を特定することが困難であった。特に、鋼片をローラテーブル等でカメラに対して移動させながら撮影を行う場合など、鋼片に大きな振動が加えられる状況では、撮影された画像において、端縁の位置がずれてしまい、傷の正確な検出とその位置の見積もりにおける困難性は一層高まる。
本発明が解決しようとする課題は、鋼片の端縁との関係性において、鋼片の表面に形成された傷を高い精度で検出し、位置を見積もることができる傷検出方法および傷検出装置を提供することにある。
上記課題を解決するために、本発明にかかる傷検出方法は、鋼片の表面において、傷が形成された箇所に、可視域の色を有する着色剤を用いて所定のパターンを有するマークを記入するマーキング工程と、前記鋼片を画像撮影装置に対して相対的に移動方向に移動させながら、前記画像撮影装置によって、端縁を含む前記鋼片の表面を可視域でカラー撮影する撮影工程と、前記撮影工程で得られた画像において、前記端縁を検出する端縁検出工程と、前記マークのパターンおよび前記端縁を基準とした位置を検出するマーク検出工程と、を有することを要旨とする。
ここで、前記鋼片を前記移動方向に移動させるとよい。
また、前記鋼片は、長手方向軸の周りに複数の面を有する柱状体であり、前記撮影工程において、前記長手方向軸を前記移動方向として、前記複数の面のそれぞれを異なる画像撮影装置で撮影するとよい。
前記撮影工程において、撮影される前記鋼片の表面を挟んで一方側に、前記画像撮影装置と、前記鋼片に第一の光を照射する第一の光源と、を配置するとともに、他方側に、前記鋼片に第二の光を照射する第二の光源を配置し、前記第二の光の色は、前記第一の光が照射された際に撮影される前記鋼片の前記着色剤が付着していない部位の色と異なっているとよい。
この場合、前記第一の光は白色光であり、前記第二の光は青色の光であるとよい。
前記マーキング工程において、蛍光物質を含んだ磁粉材料を、磁化した前記鋼片の表面に散布してから、前記磁粉材料の蛍光を励起可能な励起光を前記鋼片の表面に照射して、作業者が蛍光を目視することで、前記傷を判別し、前記マークを記入するとよい。
前記撮影工程において、前記移動方向に沿った前記鋼片の端縁である側方端縁を撮影し、前記マーク検出工程において、前記画像における前記側方端縁と前記マークの間の距離に基づいて、前記側方端縁を基準とした前記マークの位置を見積もるとよい。
前記撮影工程において、前記移動方向に沿った前記鋼片の移動量を記録しながら撮影を行うとともに、前記移動方向に沿って前端側および後端側に位置する前記鋼片の端縁である前方端縁および後方端縁を撮影し、前記マーク検出工程において、前記前方端縁または後方端縁を基準とした前記マークの位置を、前記撮影工程において前記前方端縁と前記後方端縁と前記マークが付された部位のそれぞれに対応づけて記録された前記移動量に基づいて見積もるとよい。
前記マーク検出工程において、前記鋼片の全体の大きさを考慮して、前記鋼片全体における前記マークの位置を見積もるとよい。
本発明にかかる傷検出装置は、上記のような傷検出方法を実施することを要旨とする。
ここで、前記撮影工程を実施するために、前記傷検出装置は、前記画像撮影装置に加え、前記鋼片を前記移動方向に移動させるローラテーブルと、前記鋼片の前記移動方向に沿った移動量を追跡するエンコーダと、を有するとよい。
上記発明にかかる傷検出方法においては、傷が形成された部位を示すマークが可視域の色を有する着色剤を用いて付されているため、端縁を含んだ鋼片の表面を撮影手段によって撮影した際に、マークと鋼片の端縁の両方を、カラー画像で明確に区別して認識することができる。さらに、マークが撮影されるのと同じ画像の中に、鋼片の端縁が撮影されていることにより、鋼片と画像撮影装置の間の相対移動に伴って、鋼片と画像撮影装置との間に振動が発生しても、鋼片の端縁とマークの間の位置関係を正確に評価することができる。これにより、鋼片の端縁との関係において、傷が形成されている部位を精度よく検出し、鋼片全体におけるその位置を見積もることができる。また、鋼片の端縁を撮影して、端縁を基準にマークの位置を見積もることで、鋼片の寸法の変化等により、画像上の端縁の位置が変化しても、マークの位置を見積もることができる。
ここで、鋼片を移動方向に移動させる場合には、画像撮影装置を移動させる場合に比べて、移動に伴う振動が大きくなり、得られる画像に影響を与えやすい。しかし、同じ画像内に鋼片の端縁とマークの両方を撮影することにより、鋼片の振動がマークの位置の見積もりに与える影響を、小さく抑えることができる。
また、鋼片が、長手方向軸の周りに複数の面を有する柱状体である場合に、撮影工程において、長手方向軸を移動方向として、複数の面のそれぞれを異なる画像撮影装置で撮影するようにすれば、鋼片を長手方向に移動させながら一度に各面を撮影し、各面に形成された傷を検出することができる。
撮影工程において、撮影される鋼片の表面を挟んで一方側に、画像撮影装置と、鋼片に第一の光を照射する第一の光源と、を配置するとともに、他方側に、鋼片に第二の光を照射する第二の光源を配置し、第二の光の色が、第一の光が照射された際に撮影される鋼片の着色剤が付着していない部位の色と異なっている場合には、撮影工程において、鋼片の背景が鋼片の色と異なる第二の光に照明された状態の画像が得られる。鋼片の色と背景の色とのコントラストにより、鋼片の端縁を精度よく検出することができる。
この場合、第一の光が白色光であり、第二の光が青色の光である場合には、黒色またはそれに近い色を有する鋼片とのコントラストにより、鋼片の端縁を特に精度よく検出することができる。
マーキング工程において、蛍光物質を含んだ磁粉材料を、磁化した鋼片の表面に散布してから、磁粉材料の蛍光を励起可能な励起光を鋼片の表面に照射して、作業者が蛍光を目視することで、傷を判別し、マークを記入する場合には、カメラで蛍光を検出し、画像解析によって自動的に傷に対応する蛍光を検出する場合よりも正確に、端縁と傷を区別して、傷の部位にマーキングを施すことができる。また、傷が形成された範囲や傷の深さも判別しやすい。さらに、磁粉が固着した部位や、油が付着している部位、表面に段差が存在している部位等、傷以外に由来して磁粉が集合して蛍光を発している部位と、傷との区別もつけやすい。
撮影工程において、移動方向に沿った鋼片の端縁である側方端縁を撮影し、マーク検出工程において、画像における側方端縁とマークの間の距離に基づいて、側方端縁を基準としたマークの位置を見積もる場合には、側方端縁とマークを同時に撮影した画像から両者の間の距離を見積もるので、振動等の影響によらず、鋼片の幅方向における傷の位置を精度よく知ることができる。
撮影工程において、移動方向に沿った鋼片の移動量を記録しながら撮影を行うとともに、移動方向に沿って前端側および後端側に位置する鋼片の端縁である前方端縁および後方端縁を撮影し、マーク検出工程において、前方端縁または後方端縁を基準としたマークの位置を、撮影工程において前方端縁と後方端縁とマークが付された部位のそれぞれに対応づけて記録された移動量に基づいて見積もる場合には、鋼片が移動方向に長い場合であっても、移動方向に沿った傷の位置を精度よく見積もることができる。
マーク検出工程において、鋼片の全体の大きさを考慮して、鋼片全体におけるマークの位置を見積もる場合には、鋼片の寸法が変化し、画像上における鋼材の大きさが変化したとしても、端縁と傷の間の距離の絶対値を正確に見積もることができる。
上記発明にかかる傷検出装置によると、上記のような傷検出方法を実施できるので、鋼片の端縁との関係性において、鋼片の表面に形成された傷を高い精度で検出し、位置を見積もることが可能である。
ここで、撮影工程を実施するために、傷検出装置が、画像撮影装置に加え、鋼片を移動方向に移動させるローラテーブルと、鋼片の移動方向に沿った移動量を追跡するエンコーダと、を有する場合には、ローラテーブルで鋼片を移動させ、その移動を追跡しながら撮影工程を実施することで、鋼片が長い場合にも、各部の傷を検出し、その位置を見積もることができる。
本発明の一実施形態にかかる傷検出方法の概略を示すフロー図である。 本発明の一実施形態にかかる傷検出装置の構成の概略を示す図である。 上記傷検出装置の撮影部を示す正面図であり、鋼片の移動方向前方から見た状態を示している。 上記撮影部を示す(a)上面図および(c)側面図であり、それぞれ図3中のA−A矢視およびB−B矢視に対応している。 端縁検出工程およびマーク検出工程を説明する概略図であり、(a)は撮影画像、(b)は端縁検出画像、(c)はマーク検出画像、(d)は傷マップを示している。
以下、本発明の一実施形態にかかる傷検出方法および傷検出装置について、図面を参照しながら説明する。
[傷検出方法および傷検出装置の概要]
本発明の一実施形態にかかる傷検出方法は、鋼片の表面に形成された傷を検出するものである。そして、本発明の一実施形態にかかる傷検出装置は、その傷検出方法を実施することができる装置である。ここでは、検査対象として、長手方向に沿った面を4つ有する略四角柱形の長尺状の鋼片Sを想定する。鋼片Sは、分塊圧延等を経て製造されており、その表面に、製造工程等に由来する傷を有している。鋼片Sの表面は、黒色、または灰色や黒褐色など黒色に近い色を有している。
本発明の一実施形態にかかる傷検出方法は、図1に概略を示すように、鋼片Sに対して、マーキング工程P1と、撮影工程P2と、端縁検出工程P3と、マーク検出工程P4と、をこの順に実施するものである。本発明の一実施形態にかかる傷検出装置1は、本検出方向の各工程P1〜P4を実施できるように、図2に示すとおり、マーキング部10と、撮影部20と、制御部30と、を有している。鋼片Sは、ローラテーブル40に載置され、マーキング部10および撮影部20を順に移動される。ローラテーブル40には、エンコーダ41が設けられており、ローラテーブル40によって鋼片Sが移動した距離が記録される。
マーキング工程P1は、マーキング部10において実施される。最初に、鋼片Sを磁化したうえで、鋼片Sの表面に蛍光物質を含んだ磁粉材料12を散布する。次に、暗室15内で紫外光13を照射しながら、作業者が、磁粉材料12を散布した鋼片Sの表面を目視し、蛍光を観察することで、鋼片Sの表面の傷を検知する。そして、チョーク14で、傷の存在を示す所定のパターンのマークを、鋼片Sの表面の傷を検知した箇所に記入する。
撮影工程P2は、撮影部20において実施される。撮影部20においては、鋼片Sの表面に可視光(白色光)wを照射しながら、端縁S2〜S5を含む鋼片Sの表面をカメラcによって撮影する。撮影は、ローラテーブル40によって鋼片Sを移動方向xに移動させながら行う。得られた画像は、コンピュータ等の演算・制御手段よりなる制御部30に送られる。
そして、制御部30において、撮影部20で撮影された画像に対して、端縁検出工程P3とマーク検出工程P4が実施される。端縁検出工程P3においては、画像中で、鋼片Sの端縁S2〜S5を検出する。マーク検出工程P4では、マーキング工程P1においてチョーク14で付されたマークを、画像中で検出し、そのパターンを判別する。また、端縁検出工程P3で検出した鋼片Sの端縁S2〜S5を基準として、各マークが付されている位置(座標)を検出する。各マークは傷に対応する位置に付されているので、マーク検出工程P4を実施することで、鋼片Sの表面に形成された傷を検出し、鋼片Sにおけるその位置を知ることができる。
傷検出装置1において鋼片Sの表面の傷を検出した後、検出された傷の情報に基づいて、傷除去装置100において、傷除去工程P’を実施することができる。傷除去装置100は、制御部30に運転を制御される自動グラインダ101を備えている。この場合、鋼片Sは、撮影部20において撮影工程P2を実施された後、そのままローラテーブル40によって、傷除去装置100に搬送される。そして、検出した傷の情報を基に、制御部30が自動グラインダ101を制御する。自動グラインダ101によって、傷が形成された部位に対して選択的に、また各部位の傷の深さに応じた程度で研削を行うことで、過不足なく鋼片Sの表面を研削し、傷を除去することができる。
次に、傷検出方法の各工程および傷検出装置1の各部について、詳細に説明する。
[マーキング工程およびマーキング部]
上記のように、マーキング工程P1においては、磁化した鋼片Sの4つの表面に、磁粉材料12を散布し、紫外光13を照射しながら、作業者が目視にて蛍光磁粉探傷を行い、判別した傷に対してマーキングを行う。磁粉材料12は、磁粉と蛍光物質を含んでなり、液体に懸濁された状態で、スプレー11から散布される。
本マーキング工程P1において行う蛍光磁粉探傷は、特許文献1等に開示された従来一般のカメラを用いた蛍光磁粉探傷と同様の原理を利用している。簡単に説明すると、強磁性体である鋼片Sに磁束が飽和に近づく程度の磁界を印加すると、傷等の表面欠陥部において、磁束が空気中に漏洩し、漏洩磁場が発生する。この状態において磁粉材料12を散布すると、磁場が漏洩している欠陥部およびその近傍に磁粉材料12が凝集される。ここに磁粉材料12の蛍光を励起可能な励起光として紫外光13を照射すると、磁粉材料12が可視域(例えば緑色)の蛍光を発する。蛍光を目視によって検出することで、磁粉材料12が凝集した位置、つまり傷が形成された位置を検出することができる。蛍光の空間パターンは、傷の形状および傷の範囲を反映し、蛍光の強度は、傷の深さを反映する。
作業者は、目視された蛍光の空間パターンおよび強度に基づいて、傷が存在すると判断した位置に、傷の種類および深さに応じたマークを、鋼片Sの表面にチョーク14で記入する。具体的なマークのパターンは、任意に定めればよいが、例えば、蛍光が直線状に観測された場合に、線状傷が形成されていると判断し、観測された直線に沿った方向の直線状のマークを記入するようにすればよい(図5のマークM1参照)。一方、ある範囲に蛍光が広がっている場合には、傷が特定の範囲に多発した範囲傷であるとみなし、その範囲を円形または楕円形に近似できる囲み図形で囲むようにすればよい(図5のマークM2参照)。そして、傷が深いと判断した場合には、線状傷を示す直線に交差して、あるいは範囲傷を示す囲み図形の内側の領域を占めるように、「/」の印を記入すればよい。特に傷が深い場合には、同様に「×」の印を記入すればよい(図5のマークM1参照)。
マークの記入は、チョーク14に限らず、可視域の色を有する着色剤を用いて行うことができる。例えば、チョーク14以外に、インク、ペンキ、色のついたテープ等を用いることができる。色は、反射によるものでも、蛍光等の発光によるものでもかまわず、鋼片Sの表面に記載されたマークが、撮影工程P2において白色光wを照射した際に、磁粉材料12よりも明瞭にカメラcで観測されるものであればよい。好適な色として、黄色を例示することができるが、黄色に限らず、緑色等、他の色も用いることができる。
[撮影工程および撮影部]
ここで、撮影工程P2および撮影部20の詳細について説明する。ここでは、図3,4に示すように、ローラテーブル40による移動方向をx方向、上下方向をz方向とし、それらに直交する方向をy方向として説明を行う。四角柱状の鋼片Sは、長手方向軸をx軸に平行に向け、4つの面をxy平面およびxz平面に平行に向けて配置されている。
撮影部20は、四角柱状の鋼片Sの長手方向軸に沿った4つの面に対応して、4組の照明・撮影装置を有する。各照明・撮影装置は、カメラ(画像撮影装置)21c〜24cと、白色光源(第一の光源)21w〜24wと、青色光源(第二の光源)21b〜24bの組よりなっている。本明細書および図において、各組を構成するカメラ及び光源を、対応する番号(21〜24)で示している。各カメラ21c〜24cおよび光源21w〜24w,21b〜24bは、固定されていてもよいが、鋼片Sの寸法が変化しても好条件で撮影が行えるように、それぞれ、対向して設けられた2台のうち少なくとも一方が、位置調整可能に設置されていることが好ましい。例えば、鋼片の側方の一方側(+y方向)に設置されたカメラ24cおよび白色光源24w、そして青色光源22bのみ位置固定とし、残りを全て位置調整可能とする構成を挙げることができる。
カメラ21c〜24cは、可視域の画像をラインスキャンによってカラー撮影することができるCCDカメラ(カラーラインカメラ)よりなる。白色光源21w〜24wは、可視域の白色光を照射する光源であり、例えば、ライン状の白色LED照明よりなる。青色光源21b〜24bは、青色の光を照射する光源であり、例えば、ライン状の青色LED照明よりなる。本明細書において、青色とは、一般に認識されているように、概ね450〜490nmの波長に対応する。
図3,4に示すように、4台のカメラ21c〜24cは、鋼片Sの長手方向軸(x方向)に沿った4つの面をそれぞれ撮影できるように、長手方向軸を中心に、各面の外側に離れた位置に配置されている。4台のカメラ21c〜24cは、鋼片Sの各面に対して、同一のx位置において、x方向に直交する方向の線状の画像(ライン画像)を取得するラインスキャンを行う。カメラ21c〜24cの視野は、x方向に沿った鋼片Sの端縁である側方端縁S2,S3と、側方端縁S2,S3の外側の背景部Bを含むように設定されている(図5(a)参照)。鋼片Sを挟んでカメラ21c〜24cと対向する部位に青色光源21b〜24bを配置する等の目的から、図4に示すように、各カメラ21c〜24cは、光軸を撮影対象の鋼片Sの面に対してx方向に傾斜させて配置されている。各カメラ21c〜24cは、制御部30によって制御され、また、得られた画像データを制御部30に出力する。なお、図3,4ではローラテーブル40の図示を省略しているが、ローラテーブル40が鋼片Sの下側に配置されたカメラ23cによる撮影を妨げないように、カメラ23cの位置が設定されている。
白色光源21w〜24wは、各カメラ21c〜24cに隣接して設置されている。白色光源21w〜24wは、カメラ21c〜24cの光軸と異なる方向から、鋼片Sの表面においてカメラ21c〜24cが撮影する部位を、ライン状に照明する。鋼片Sの面を両側の側方端縁S2,S3を含んで良好な条件で撮影できるように、白色光源21w〜24wは、鋼片Sの面の幅方向(y方向)全域を照射することが好ましい。
青色光源21b〜24bは、撮影対象である鋼片Sの面を挟んで、カメラ21c〜24cおよび白色光源21w〜24wと反対側において、カメラ21c〜24cの光軸上に配置されている。青色光源21b〜24bは、青色の光を鋼片Sに撮影対象の面の背方から照射し、カメラ21c〜24cで撮影している領域の背景を青色に照明する。青色光源21b〜24bが、鋼片Sの幅よりも広い領域に光を照射することで、カメラ21c〜24cで撮影される画像において、鋼片Sの側方端縁S2,S3の外側の背景部Bが青く撮影される。あるカメラ(例えば22c)に対応する青色光源(22b)が、隣接する別のカメラ(24c)で撮影される画像に与える影響を抑えるために、青色光源21b〜24bと、それぞれに隣接するカメラ21c〜24cとは、鋼片Sの面に対して正反射の関係にならないように配置されることが好ましい。
カメラ21c〜24cと白色光源21w〜24wは、粉塵等の侵入を防ぐ筐体f1に1組ずつ収容されている。青色光源21b〜24bも単独で筐体f2に収容されている。各筐体f1,f2において、カメラ21c〜24cおよび光源21w〜24w,21b〜24bの正面側は、可視光に対して透明なガラス面gよりなっている。ガラス面gは、反射防止等の観点から、カメラ21c〜24cおよび光源21w〜24w,21b〜24bの光軸に直交する方向からずらして配置されており、鋼片Sの下側(−z方向)に配置された筐体f1,f2については、ガラス面gの汚染の影響を回避するために、ガラス面gが上下方向に立てて設けられている。カメラ21c〜24cと白色光源21w〜24wを収容する筐体f1の内部には、カメラ21c〜24cを冷却する冷却機構faが設けられている。
このように、撮影部20においては、白色光源21w〜24wと青色光源21b〜24bで鋼片Sを照明しながら、各カメラ21c〜24cによって、鋼片Sの各面の撮影を行う。この間、鋼片Sは、ローラテーブル40によってx方向に連続的に移動されており、カメラ21c〜24cによって撮影される鋼片Sのx軸方向の位置が、順次変化する。撮影は、x軸方向に沿って前方(+x方向)に位置する鋼片Sの前方端縁S4よりも前方側から、後方(−x方向)に位置する鋼片Sの後方端縁S5よりも後方側まで、鋼片Sの全長よりも長い領域にわたって行う。この間、エンコーダ41によって、ローラテーブル40による鋼片Sの移動を追跡しておく。そして、制御部30において、カメラ21c〜24cで各画像を取得した時のx方向の位置に対応づけて、鋼片Sのx方向の移動量、直接的にはエンコーダ41が出力したカウント数を記録しておく。
カメラ21c〜24cで順次ラインスキャンによって撮影した画像(ライン画像)は、制御部30に送られ、制御部30においてつなぎ合わせられる。すると、図5(a)に示すように、鋼片Sのそれぞれの面を撮影した2次元的な撮影画像I1が得られる。撮影画像I1には、鋼片Sの表面S1が黒に近い色で写っており、その中に、マーキング工程P1で記入されたマークM1,M2が、使用したチョーク14に対応する色(ここでは黄色)で写っている。また、鋼片Sの四方の端縁S2〜S5の外側の領域は、青色光源21b〜24bによる照明のため、青色かそれに近い色で写っている。磁粉材料12は、鋼片Sと同様に、黒に近い色を有しており、可視域の光を照射されても蛍光を発しないので、撮影画像I1には明瞭に写らない。
[端縁検出工程]
端縁検出工程P3では、制御部30において、上記撮影工程P2で得られた図5(a)のような撮影画像I1に対して、画像解析を行い、撮影画像I1中から鋼片Sの端縁S2〜S5を抽出する。上記のように、得られた画像においては、鋼片Sの端縁S2〜S5より外側の背景部Bが青く写っており、鋼片Sの表面S1が黒またはそれに近い色で写っている。つまり、鋼片Sの端縁S2〜S5を境に、青色と黒色のコントラストが生じている。このコントラストを利用して、各ラインスキャンに対応するラインLごとに、画像の幅方向(例えばy方向)に沿って、側方端縁S3,4がどの位置に存在するかを検出する。この操作を、長さ方向全体にわたる各ラインLに対して行うことで、鋼片Sの長手方向全域にわたって、側方端縁S2,S3を検出することができる。同様に、前方端縁S4および後方端縁S5(図5では不図示)についても、画像の長さ方向(x方向)に沿ってどの位置に存在するかを検出する。なお、図5(a)では、図示の簡素化のため、ラインLは、一部のみ、また相互の間隔を空けて表示している。
しかし、図5(a)に示すように、撮影画像I1においては、ローラテーブル40で移動される際の鋼片Sの振動に伴い、各ラインL間で、撮影された側方端縁S2,S3の位置にずれが生じており、側方端縁S2,S3が直線状になっていない。実際の側方端縁S2,S3は直線であるので、各ラインLで検出された側方端縁S2,S3の位置を直線状に揃えるように、各ラインLにおけるライン画像をy方向にずらす補正を行う。そして、補正後の画像から、青色で表示された背景部Bを除去することで、図5(b)に示すようような、直線状の側方端縁S2,S3を有する端縁検出画像I2を得ることができる。なお、図5(a)では、側方端縁S2,S3のずれを、実際よりも大きく示している。
[マーク検出工程]
次いで、制御部30において、端縁検出工程P3で得られた図5(b)のような端縁検出画像I2に対して、画像処理によってマークの検出を行う。
具体的には、黒色の鋼片Sの表面S1の中で、マークを付したチョーク14の色(例えば黄色)で写っている領域を、色の差を利用して抽出する。これにより、図5(c)に示したようなマーク検出画像I3を得る。マーク検出画像I3中には、マーキング工程P1において、傷が存在する位置に、傷の形状および深さに対応させて付したマークが表されている。図5(c)の例では、深い線状傷の存在を示す直線状のマークに「×」印を付加したマークM1と、浅い範囲傷を示す楕円状の囲み図形よりなるマークM2が表されている。
マーク検出画像I3中において、各マークM1,M2が存在する位置のx座標およびy座標が、鋼片Sの端縁S2〜S5を基準としたそのマークM1,M2の位置を示している。つまり、鋼片Sの前方端縁S4の端部の座標を原点O(0,0)(つまり、x=0,y=0)として、マーク検出画像I3中に存在するマークM1,M2上の各点の座標が、マーク検出画像I3中における前方端縁S4および側方端縁S3からのそれぞれx方向およびy方向に沿った距離によって表現される。ここでは、マークM1の中心に位置する点C(x1,y1)を例にとる。
点C(x1,y1)の側方端縁S3からの距離はy1となる。一方、前方端縁S4からの距離はx1となる。ここで得られる側方端縁S3からの距離y1は、あるラインLにおいて撮影されたライン画像において、側方端縁S3とその点Cとの間の距離として、直接的に見積もられる。ライン画像中には、両側の側方端縁S2,S3がともに写っているので、距離y1は、鋼片S全体の幅方向において、点Cが占める相対的な位置を直接的に示す。
一方、同時に撮影された画像中に点Cおよび前方端縁S4と後方端縁S5が含まれるわけではなく、前方端縁S4から点Cまでの距離x1は、画像情報のみから直接的には見積もられず、点Cを含むライン画像の撮影時に対応するエンコーダ41のカウント数(つまり鋼片Sの移動量)と、前方端縁S4および後方端縁S5の撮影時に対応するエンコーダ41のカウント数に基づいて見積もられる。つまり、前方端縁S4と後方端縁S5の撮影時に対応するカウント数の間に線形の関係を想定し、点Cのライン画像の撮影時に対応するカウント数をその線形の関係に当てはめることで、鋼片S全体の長手方向において、点Cが占める相対的な位置を示す距離x1を求めることができる。
上記のように、点Cについて、鋼片S全体の幅および長さを基準とした各端縁S2〜S5からの相対的な距離は、カメラ21c〜24cによって撮影された画像情報、およびエンコーダ41によって記録された鋼片Sの移動量に関する情報から、直接的に知ることができる。しかし、端縁S2〜S5から点Cまでの絶対的な距離は、これらの情報だけでは正確に知ることができない。画像上に写った鋼片Sの寸法は、必ずしも実寸どおりではないからである。特に、傷の検出を受ける鋼片Sの寸法が変更されうる場合には、撮影工程P2において、鋼片Sの寸法に応じて良好な撮影が行えるように、カメラ21c〜24cの位置や撮影条件を調整しており、画像上に写った鋼片Sの大きさと、実際の鋼片Sの寸法との対応関係が変化する。そこで、制御部30に、カメラ21c〜24cおよびエンコーダ41からの情報とは別に、鋼片Sの実際の寸法に関する情報を入力し、その情報を考慮して、上記で得られた相対的な座標の情報を、絶対値としての距離の情報に変換すればよい。例えば、検査装置よりも上流に、寸法計測装置(不図示)を設け、その情報を制御部30に入力するように構成すればよい。
さらに、傷検出装置1における傷検出の後に、傷除去装置100による傷の除去を行う場合には、マーク検出工程P4において、傷除去装置100に対する指令を構成するために、図5(d)に示したような傷マップI4を作製する。傷マップI4においては、マーク検出画像I3中でマークM1,M2の位置およびパターンによって表現された情報が、傷そのものを示す情報として表現される。つまり、画像解析により、各マークM1,M2の図形パターンを認識し、傷の形状および深さの情報に変換して、それぞれの位置に2次元のマップに表す。具体的には、画像解析により、直線や囲み図形、そして「×」印等、傷の形状や深さを示すパターンの図形的な特徴を認識し、マーキング工程P1を実行するために予め定めておいた傷の状態とマークの対応関係に基づいて、検出された各マークM1,M2がそれら規定のパターンのいずれに当たるかを判別することで、マークM1,M2のパターンを傷の状態に翻訳する。例えば、線状傷を示す直線状のマークM1を認識すると、そのマークM1が付された位置と方向を反映した線状傷D1の情報をマップI4上に記録する。また、範囲傷を示す囲み図形のマークM2を認識すると、そのマークM2が付された位置と図形に囲まれた領域の大きさを反映した範囲傷D2の情報をマップ上に記録する。さらに、マークM1に重畳された深い傷を示す「×」印に対応して、線状傷D1の領域に対しては、傷除除去装置において、研削を3回繰り返すという情報を記録する。範囲傷D2については、「×」印も「/」印も付されていない浅い傷であることに対応し、研削を1回のみ行うという情報を記録する。
[傷検出方法および傷検出装置の特性]
特許文献1に記載されているような従来一般の蛍光磁粉探傷においては、磁粉材料が発する蛍光を、紫外光を光源として直接カメラで検出することで、鋼片の表面の傷を検出していた。これに対し、上記実施形態においては、蛍光磁粉探傷を利用するものの、傷に対応する信号として蛍光を直接カメラで検出するのではなく、マーキング工程P1において、可視域の光を有するマークの情報に一旦変換している。そして、撮影工程P2において、可視域でのカラー撮影によって、そのマークを検出することで、傷を検出している。
従来のように、紫外線で励起した蛍光をカメラで観測する場合、紫外線を照射して暗室内でカメラ撮影を行うことになるので、色の情報を実質的に傷の判別に用いることができず、カメラ視野内の各点における光の有無と、光の分布パターンのみによって、傷とそれ以外の構造を区別することが必要となる。この場合、上記のように、鋼片Sの端縁S2〜S5や、磁粉材料12の(鋼材Sの磁束と無関係な)固着や油の付着、鋼片Sの表面の段差等、傷以外の要因で磁粉材料12が集合している箇所の蛍光を、傷の部位の蛍光と区別するのが困難な場合があり、これらの構造を傷であると誤検知する可能性がある。また、鋼片Sの端縁S2〜S5を基準として傷の位置を見積もる場合に、端縁S2〜S5を傷と区別して明確に検出することが困難であるので、傷の位置を高精度に見積もることができない。
一方、上記実施形態のように、蛍光の情報を可視域の色を有するマークの情報に変換して、可視域の光を照射しながら、可視域でカラー撮影することで、色の違いを利用しながら、傷を表すマークと鋼片Sの端縁S2〜S5を明確に区別することができる。そして、そのように明確に検出した端縁S2〜S5を基準として傷の位置を見積もることで、続く傷の除去等の工程において、信頼性の高い基礎情報として用いることができる。また、人間の視覚による認識とカメラ撮影による画像解析との特性の違いに起因して、蛍光磁粉探傷を目視にて行うことで、カメラを用いる場合と比較して、傷に由来する蛍光と、鋼片Sの端縁S2〜S5や、磁粉材料12の固着や油の付着、表面の段差等、傷以外の構造に起因する蛍光を、比較的明確に区別することができる。傷が形成された範囲の広さや傷の深さも認識しやすい。このように、紫外域で励起される蛍光の情報を可視域のマークの情報に変換して検出することで、誤検知の確率を減らし、傷の存在とその位置を高精度で検出することができる。
また、上記実施形態においては、マークを付した鋼片Sの表面をカメラ21c〜24cで撮影するに際し、撮影の視野の中に、鋼片Sの両側の側方端縁S2,S3を含ませている。上記のように、鋼片Sをローラテーブル40でカメラ21c〜24cに対して移動させながら撮影を行う場合には、鋼片Sの移動に伴う振動が大きく、カメラ21c〜24cの視野の中で、鋼片Sの位置がずれやすくなっているが、視野内に側方端縁S2,S3を含ませて撮影を行うことで、このずれがマークの位置の見積もりに及ぼす影響を小さく抑えることができる。つまり、鋼片Sが振動したとしても、x方向のある位置において、ラインスキャンによって得られた単一のライン画像の中では、側方端縁S2,S3とマークを構成する着色部の位置についての相対関係がずれることはなく、側方端縁S2,S3からマークまでの距離、つまり側方端縁S2,S3を基準としたマークの位置が正確に画像に反映されるからである。そして、端縁検出工程P3において、図5(b)のような端縁検出画像I2を得る際に、ラインLごとの側方端縁S2,S3の位置のずれを補正しておけば、次のマーク検出工程P4におけるマークの存在と位置の検出を高精度に行うことができる。
上記実施形態においては、撮影工程P2を実行している間、カメラ21c〜24cは固定しておき、鋼片Sをローラテーブル40で移動させたが、この形態に限られず、鋼片Sとカメラ21c〜24cの間で相対的な移動を行えばよく、逆に鋼片Sは固定し、カメラ21c〜24cを鋼片Sの長手方向に沿って移動させることでも、長尺の鋼片Sに対して、長手方向全体の撮影を行うことができる。この場合にも、上記のように、可視域の色でマークを付した鋼片Sの表面を側方端縁S2,S3も含んでカラー撮影する方法を採用することで、カメラ21c〜24cの振動の影響を避けながら、マークの存在および位置の検出を実行することができる。しかし、長く、重量も大きい鋼片Sを移動させる場合の方が、カメラ21c〜24cを移動させる場合よりも、移動に伴う振動が大きくなるので、上記のような撮影方法によって振動による影響を低減する効果が大きく享受される。また、鋼片Sを移動させる場合に、ローラテーブル40ではなく、走行台車等、レールを利用した設備を用いて移動させることも考えられるが、ローラテーブル40を用いる場合の方が、移動される鋼片Sにおける振動が大きいので、上記のような撮影方法による振動低減の効果が一層大きくなる。
さらに、上記実施形態においては、青色光源21b〜24bを用いて、鋼片Sの端縁S2〜S5の外側の背景部Bを青色に照明しながら撮影を行うことで、端縁S2〜S5の検出の精度を高めている。これは、黒またはそれに近い色を有する鋼片Sと、鋼片Sの外側の背景部Bの色のコントラストが青い光によって高められるからである。青色光源21b〜24bを用いなかったとして、鋼片Sの背景部Bに写り込むされる背景物としては、ローラテーブル40、工場の床面や壁面、工場内の他の装置等を挙げることができるが、鋼片Sの検査を行うような工場内において、通常、これらの背景物は、黒や灰色等、暗い色であることが多い。青色光源21b〜24bを用いず、白色光源21w〜24wのみを用いて撮影を行った場合には、黒またはそれに近い色の鋼片Sと、それに類似した色の背景物との間で、画像中の境界が明確に認識されにくくなる。これに対して、背景部Bを青色に写らせることで、鋼片Sの内外の境界が明確に認識されるようになる。なお、鋼片Sの背景部Bを照明する光(第二の光)の色は、必ずしも青色に限られず、白色光(第一の光)が照射された際にカメラ21c〜24cで撮影される鋼片Sのチョークが付着していない部位の色と異なる色であれば、利用することができる。ただし、第二の光と鋼片Sの色とのコントラストが、背景物と鋼片Sの色のコントラストより大きいことが好ましい。また、チョーク14で付されたマークと背景部Bの間の誤検知を避けるため、第二の光の色は、鋼片Sの表面におけるチョーク14の色(上記実施形態では黄色)と異なっていることが好ましい。青色以外に好適に採用される色としては、赤色を挙げることができる。
上記実施形態においては、鋼片Sの表面を撮影した画像の中に、側方端縁S2,S3も含めることで、側方端縁S2,S3を基準としたマークの位置を見積もるとともに、前方端縁S4と後方端縁S5も撮影して、それらおよび各マークを撮影した時に対応するエンコーダ41のカウント数に基づいて、前方端縁S4(または後方端縁S5)を基準としたマークの位置を見積もっている。このように、鋼片Sの各方向の端縁S2〜S5を基準として、2次元座標としてマークの位置を見積もることで、鋼片Sが長い場合にも、傷の位置を精度よく見積もり、続く傷除去工程P’での傷の除去を正確に行うことが可能となる。特に、鋼片Sの種類の違い等により、鋼片S全体の寸法が変化する可能性がある場合にも、側方端縁S2,S3および前方端縁S4、後方端縁S5を画像において検出し、それらをx方向の座標の基準とすることで、鋼片S全体における傷の相対的な位置を評価することができる。さらに、上流の寸法測定装置等で計測された鋼片S全体の寸法を反映させて、絶対的な長さを単位として座標を見積もることで、鋼片Sの寸法が変化しても、絶対値としての傷の位置を正確に知ることができ、続く傷除去工程P’での選択的な傷の除去について、簡便性と精度を高めることができる。
さらに、上記実施形態においては、柱状の鋼片Sの4つの面を、4台のカメラ21c〜24cそれぞれで同時に撮影している。これにより、一度鋼片Sをx方向に移動させるだけで、各面の傷の検査を同時に行うことができるので、例えば、1面ずつ順に撮影する場合と比較して、撮影工程P2が簡素なものとなっている。カメラ21c〜24cや光源21w〜24w,21b〜24bの少なくとも一部を位置調整可能としておくことで、鋼片Sの寸法が変わっても、各カメラ21c〜24cで撮影される視野の中に、鋼片Sの各面を側方端縁S2,S3を含めて撮影し、良好な画像を取得することができる。
以上、本発明の実施形態について詳細に説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の改変が可能である。
1 傷検査装置
10 マーキング部
12 磁粉材料
13 紫外光
14 チョーク
20 撮影部
21c〜24c カメラ
21w〜24w 白色光源
21b〜24b 青色光源
30 制御部
c カメラ
w 白色光源
f1,f2 筐体
g ガラス面
40 ローラテーブル
41 エンコーダ
100 傷除去装置
S 鋼片
S1 表面
S2,S3 側方端縁
S4 前方端縁
S5 後方端縁
M1,M2 マーク

Claims (9)

  1. 長手方向軸の周りに複数の面を有する柱状体である鋼片の表面において、傷が形成された箇所に、可視域の色を有する着色剤を用いて所定のパターンを有するマークを記入するマーキング工程と、
    前記鋼片を画像撮影装置に対して相対的に前記長手方向軸に沿った移動方向に移動させながら、前記画像撮影装置によって、端縁を含む前記鋼片の表面を可視域でカラー撮影する撮影工程と、
    前記撮影工程で得られた画像において、前記端縁を検出する端縁検出工程と、
    前記マークのパターンおよび前記端縁を基準とした位置を検出するマーク検出工程と、を有し、
    前記撮影工程においては、前記鋼片の前記複数の面のそれぞれに対応して設けられた、複数の組の照明・撮影装置を用いて、前記複数の面のそれぞれを異なる前記画像撮影装置で撮影し、
    各組の前記照明・撮影装置として、その組の前記画像撮影装置で撮影される前記鋼材の面を挟んで一方側に、前記画像撮影装置と、前記鋼片に第一の光を照射する第一の光源と、を配置するとともに、他方側に、前記鋼片に第二の光を照射する第二の光源を配置し、
    前記第二の光の色は、前記第一の光が照射された際に撮影される前記鋼片の前記着色剤が付着していない部位の色と異なっており、前記鋼片の色と前記第二の光の色とのコントラストにより、前記鋼片の前記端縁の検出精度が高められ、
    各組の前記照明・撮影装置の前記第二の光源は、隣接して配置された他の組の前記撮影装置と、前記鋼材の面に対して正反射の関係にならないように配置され、該第二の光源が該他の組の撮影装置で撮影される画像に与える影響が、抑えられることを特徴とする傷検出方法。
  2. 前記鋼片を前記移動方向に移動させることを特徴とする請求項1に記載の傷検出方法。
  3. 前記第一の光は白色光であり、前記第二の光は青色の光であることを特徴とする請求項1また2に記載の傷検出方法。
  4. 前記マーキング工程において、蛍光物質を含んだ磁粉材料を、磁化した前記鋼片の表面に散布してから、前記磁粉材料の蛍光を励起可能な励起光を前記鋼片の表面に照射して、作業者が蛍光を目視することで、前記傷を判別し、前記マークを記入することを特徴とする請求項1からのいずれか1項に記載の傷検出方法。
  5. 前記撮影工程において、前記移動方向に沿った前記鋼片の端縁である側方端縁を撮影し、
    前記マーク検出工程において、前記画像における前記側方端縁と前記マークの間の距離に基づいて、前記側方端縁を基準とした前記マークの位置を見積もることを特徴とする請求項1からのいずれか1項に記載の傷検出方法。
  6. 前記撮影工程において、前記移動方向に沿った前記鋼片の移動量を記録しながら撮影を行うとともに、前記移動方向に沿って前端側および後端側に位置する前記鋼片の端縁である前方端縁および後方端縁を撮影し、
    前記マーク検出工程において、前記前方端縁または後方端縁を基準とした前記マークの位置を、前記撮影工程において前記前方端縁と前記後方端縁と前記マークが付された部位のそれぞれに対応づけて記録された前記移動量に基づいて見積もることを特徴とする請求項1からのいずれか1項に記載の傷検出方法。
  7. 前記マーク検出工程において、前記鋼片の全体の大きさを考慮して、前記鋼片全体における前記マークの位置を見積もることを特徴とする請求項1からに記載の傷検出方法。
  8. 請求項1からに記載の傷検出方法を実施することを特徴とする傷検出装置。
  9. 前記撮影工程を実施するために、前記照明・撮影装置に加え、前記鋼片を前記移動方向に移動させるローラテーブルと、前記鋼片の前記移動方向に沿った移動量を追跡するエンコーダと、を有することを特徴とする請求項に記載の傷検出装置。
JP2015198358A 2015-10-06 2015-10-06 傷検出方法および傷検出装置 Active JP6627389B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015198358A JP6627389B2 (ja) 2015-10-06 2015-10-06 傷検出方法および傷検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015198358A JP6627389B2 (ja) 2015-10-06 2015-10-06 傷検出方法および傷検出装置

Publications (2)

Publication Number Publication Date
JP2017072435A JP2017072435A (ja) 2017-04-13
JP6627389B2 true JP6627389B2 (ja) 2020-01-08

Family

ID=58538273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015198358A Active JP6627389B2 (ja) 2015-10-06 2015-10-06 傷検出方法および傷検出装置

Country Status (1)

Country Link
JP (1) JP6627389B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287304B1 (ko) * 2021-02-09 2021-08-09 나우 주식회사 맞춤형 자분탐상 장치 및 이를 이용한 자분탐상 방법
CN114965487B (zh) * 2022-06-10 2024-06-14 招商局重庆交通科研设计院有限公司 一种隧道典型病害自动监测设备的标定方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS514047A (en) * 1974-07-01 1976-01-13 Nippon Steel Corp Kinzokuhenno hyomenketsukanbuteireho
JP4980443B2 (ja) * 2010-04-21 2012-07-18 本田技研工業株式会社 金属ベルト端部の表面の傷を検査する検査方法

Also Published As

Publication number Publication date
JP2017072435A (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
CN107735674B (zh) 表面缺陷检测装置、表面缺陷检测方法及钢材的制造方法
CN107860311B (zh) 操作三角测量法激光扫描器以识别工件的表面特性的方法
US10989672B2 (en) Defect inspection device, defect inspection method, and program
IT201700002416A1 (it) Apparecchiatura mobile automatizzata per il rilevamento e la classificazione dei danni sulla carrozzeria
KR20180069695A (ko) 강제 스트립의 검사방법
JP6989444B2 (ja) 作業端末、漏油検出装置、及び、漏油検出方法
CN102224412A (zh) 成形片材的缺陷检查装置
JP2017009523A (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP2008309603A (ja) 蛍光探傷方法および蛍光探傷装置
JP6930926B2 (ja) 欠陥検査装置、方法およびプログラム
JP2020008501A (ja) 表面欠陥検出装置及び表面欠陥検出方法
WO2016208626A1 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
CN111220581A (zh) 荧光渗透检查系统和方法
JP4045742B2 (ja) 非破壊検査方法およびその装置
JP6627389B2 (ja) 傷検出方法および傷検出装置
JP4151306B2 (ja) 被検査物の検査方法
CN107408204A (zh) 使用图案化光提供深度图的方法和系统
JP2005283599A (ja) 欠陥検査方法,欠陥検査装置及び欠陥検査支援方法
JP2021174785A (ja) 異物検査システム、異物検査方法、プログラム及び半導体製造装置
JP6387909B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP2009139365A (ja) 透光性物品の欠陥検査装置及び欠陥検査方法
JP2014224686A (ja) 微粒子検出装置および微粒子検出方法
JP2007205868A (ja) 光学式形状検査装置及び方法
JP2015200544A (ja) 表面凹凸検査装置及び表面凹凸検査方法
JP2019066222A (ja) 外観検査装置および外観検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180608

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190528

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191118

R150 Certificate of patent or registration of utility model

Ref document number: 6627389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150