JPWO2018168700A1 - 帯状体の蛇行量測定方法および装置並びに帯状体の蛇行異常検出方法および装置 - Google Patents

帯状体の蛇行量測定方法および装置並びに帯状体の蛇行異常検出方法および装置 Download PDF

Info

Publication number
JPWO2018168700A1
JPWO2018168700A1 JP2019505972A JP2019505972A JPWO2018168700A1 JP WO2018168700 A1 JPWO2018168700 A1 JP WO2018168700A1 JP 2019505972 A JP2019505972 A JP 2019505972A JP 2019505972 A JP2019505972 A JP 2019505972A JP WO2018168700 A1 JPWO2018168700 A1 JP WO2018168700A1
Authority
JP
Japan
Prior art keywords
strip
meandering
imaging means
illumination
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019505972A
Other languages
English (en)
Other versions
JP6677344B2 (ja
Inventor
酒井 純
純 酒井
中島 透
透 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Publication of JPWO2018168700A1 publication Critical patent/JPWO2018168700A1/ja
Application granted granted Critical
Publication of JP6677344B2 publication Critical patent/JP6677344B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/028Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B21MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21BROLLING OF METAL
    • B21B37/00Control devices or methods specially adapted for metal-rolling mills or the work produced thereby
    • B21B37/68Camber or steering control for strip, sheets or plates, e.g. preventing meandering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B21MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21BROLLING OF METAL
    • B21B38/00Methods or devices for measuring, detecting or monitoring specially adapted for metal-rolling mills, e.g. position detection, inspection of the product
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Metal Rolling (AREA)

Abstract

撮像手段や照明への粉塵の付着を抑制することにより動作不良や誤検出の事態を低減することが可能で、かつ、撮像手段や照明への熱負荷を低減してコスト上昇を抑えることが可能な帯状体の蛇行量測定方法を提供する。帯状体の搬送時における蛇行量を測定する蛇行量測定方法は、帯状体の一側方に、撮像手段をその光軸が帯状体のパスライン平面に対して傾いた状態で配置することと、帯状体の他側方に、撮像手段から見て帯状体の背後から帯状体に光を照射する照明を配置することと、撮像手段により帯状体の両エッジを含むように帯状体の斜め側方から撮像することと、撮像手段で撮像された画像を用いて帯状体のエッジを検出するとともに、検出した帯状体のエッジ位置情報に基づき帯状体の基準位置からの蛇行量を算出することと、を含む。

Description

この発明は、帯状体の搬送時における蛇行量を測定する方法および装置に関し、更には、その測定結果に基づき帯状体の蛇行異常を検出する方法および装置に関する。
帯状体の1つである鋼板の製造においては、鋼板が長距離に亘って搬送される場合がある。例えば、圧延等が行われた鋼板を焼鈍する連続焼鈍設備では、鋼板を焼鈍するための炉が設けられており、この炉内には鋼板の搬送方向上流側から加熱帯、均熱帯、冷却帯等が順に設けられている。ところで、鋼板を上下に折り返しながら焼鈍を行う縦型炉の場合には、デフレクタロールやステアリングロール等によって、走行する鋼板の中心位置を修正することができるが、鋼板を折り返すことなく真直ぐ搬送しながら焼鈍を行う図1に示すような水平型の炉の場合には、デフレクタロールやステアリングロールがないため、その分鋼板は蛇行し易くなる。そして、蛇行が過大となると、蛇行した鋼板がライン近傍の架台や柱などの設備に接触して板破断等の重大なトラブルに進展する虞があるため、これを未然に防止すべく鋼板の異常蛇行を検出することが重要となる。
従来、走行する鋼板の蛇行を検出する方法として、鋼板をCCDカメラ等の撮像手段を用いて撮像し、撮像された画像を画像処理して鋼板のエッジ位置を自動検出し、このエッジ位置の、基準位置からのずれを蛇行量として求める方法がある。
この種の技術として、下記特許文献1では、鋼板の両エッジの上方にCCDカメラをそれぞれ配置するとともに、各CCDカメラに対応して鋼板の背後に光源をそれぞれ配置し、光源からCCDカメラに向かって光を照射することで鋼板のエッジ検出を行う方法が提案されている。
特開平4−225107号公報
しかしながら、特許文献1の方法では、CCDカメラを鋼板の真上に設置するとともに、光源を鋼板の真下に設置する構成であるため、鋼板の搬送に伴って飛散する金属粉などの粉塵がCCDカメラのレンズや光源に付着し易く、動作不良や誤検出などの原因となる。これを回避するためには、CCDカメラ等をライン外に引き出し可能な台車上に設置して、CCDカメラ等に付着した粉塵を操業中においても定期的に除去できるようにすることが考えられるが、このような対策は、台車や台車をガイドするレールの敷設、台車を設置するための既設床面の確保、梁の改造、場合によっては既設パスラインの変更を要し、投資費用が過大となる難点があった。加えて、CCDカメラおよび光源は、鋼板からの熱の影響を受け易い場所に設置されているため、鋼板からの熱で加熱されて早期に故障する虞があり、あるいはCCDカメラ等を冷却して保護するための水冷設備を別途設ける必要がある。
この発明は、上記従来技術の問題を解消し、撮像手段や照明への粉塵の付着を抑制することにより動作不良や誤検出の事態を低減することが可能で、かつ、撮像手段や照明への熱負荷を低減してコスト上昇を抑えることが可能な帯状体の蛇行量測定方法および装置並びに帯状体の蛇行異常検出方法および装置を提供することを目的とする。
上記課題を解決するこの発明の蛇行量測定方法は、帯状体の搬送時における蛇行量を測定する蛇行量測定方法であって、帯状体の一側方に、撮像手段をその光軸が帯状体のパスライン平面に対して傾いた状態で配置し、帯状体の他側方に、撮像手段から見て帯状体の背後から帯状体に光を照射する照明を配置し、撮像手段により帯状体の両エッジを含むように帯状体の斜め側方から撮像し、撮像手段で撮像された画像を用いて帯状体のエッジを検出するとともに、検出した帯状体のエッジ位置情報に基づき帯状体の基準位置からの蛇行量を算出するものである。
なお、この発明の蛇行量測定方法にあっては、照明と撮像手段とを、帯状体の搬送方向における同一位置に配置し、照明の光軸を撮像手段の光軸に対して帯状体の搬送方向上流側または下流側へずらすことが好ましい。
また、この発明の蛇行量測定方法にあっては、帯状体の蛇行量を前記検出した帯状体のエッジ位置情報から回帰的に求めることが好ましい。
上記課題を解決するこの発明の蛇行量測定装置は、帯状体の搬送時における蛇行量を測定する蛇行量測定装置であって、帯状体の一側方に配置されるとともにその光軸が帯状体のパスライン平面に対して傾けられ、帯状体の両エッジを含むように帯状体を斜め側方から撮像する撮像手段と、帯状体の他側方に配置され、撮像手段から見て帯状体の背後から帯状体に光を照射する照明と、撮像手段で撮像された画像を処理して帯状体のエッジを検出するとともに、検出した帯状体のエッジ位置情報に基づき帯状体の基準位置からの蛇行量を算出する画像処理装置と、を備えるものである。
なお、この発明の蛇行量測定装置にあっては、照明と撮像手段とは、帯状体の搬送方向における同一位置に配置され、照明の光軸は撮像手段の光軸に対して帯状体の搬送方向上流側または下流側へずらされていることが好ましい。
また、この発明の蛇行量測定装置にあっては、前記画像処理装置は、帯状体の蛇行量を前記検出した帯状体のエッジ位置情報から回帰的に求めるよう構成されていることが好ましい。
上記課題を解決するこの発明の蛇行異常検出方法は、上記いずれかに記載の蛇行量測定方法で測定した蛇行量が所定の異常判定値を超えた場合に蛇行異常と判定するものである。
上記課題を解決するこの発明の蛇行異常検出装置は、上記いずれかに記載の蛇行量測定装置を備え、画像処理装置が、測定した蛇行量が所定の異常判定値を超えた場合に蛇行異常と判定するよう構成されているものである。
この発明の蛇行量測定方法および装置にあっては、照明が帯状体のエッジから光を透過させるように光を照射し、撮像手段が帯状体をそのエッジを含むように撮像し、画像処理装置がこの画像に基づきエッジを検出するとともに、検出したエッジ位置情報に基づき帯状体の蛇行量を測定する。そして、この発明の蛇行異常検出方法および装置にあっては、測定した蛇行量を所定の異常判定値と比較して蛇行異常か否かを判定する。
ここで、この発明の蛇行量測定方法および装置並びに蛇行異常検出方法および装置では、撮像手段が帯状体の一側方に配置されるとともに照明が帯状体の他側方に配置されるので、つまり、撮像手段および照明が帯状体の真上および真下に位置しないので、鋼板の搬送に伴って飛散する粉塵等が撮像手段のレンズや照明に付着して動作不良となる事態を低減することができる。このため、撮像手段や照明をライン外に引き出すための台車やレール、およびそれに伴う既存設備の改造を不要とすることができ、装置導入に要する費用を低く抑えることができる。さらに、帯状体が高温な場合でも、撮像手段および照明が設置される帯状体の側方は、帯状体の真上または真下に比べて温度が低いため、撮像手段や照明用の水冷設備を不要とすることができる。また、撮像手段および照明をライン外に配置することで、撮像手段や照明の修理や調整を操業停止まで待たず操業中に行うことができるので、容易にメンテナンスを行うことができるという利点もある。
したがってこの発明によれば、上記従来技術の問題を解消し、撮像手段や照明への粉塵の付着を抑制することにより動作不良や誤検出の事態を低減することが可能で、かつ、撮像手段や照明への熱負荷を低減してコスト上昇を抑えることが可能な帯状体の蛇行量測定方法および装置並びに帯状体の蛇行異常検出方法および装置を提供することができる。
図1は、この発明の一実施形態の蛇行量測定装置および蛇行異常検出装置を適用する連続焼鈍設備の水平型の炉体部を模式的に示した図である。 図2は、この発明の一実施形態の蛇行量測定装置を備えるこの発明の一実施形態の蛇行異常検出装置の構成図である。 図3は、図2の蛇行異常検出装置が設置された搬送ラインを示し、(a)は搬送方向の正対面を示す図であり、(b)は平面図である。 図4は、この発明の一実施形態の蛇行異常検出方法における各手順および処理を示したフロー図である。 図5は、実際の帯状体のエッジ位置と撮像手段における撮像素子上の帯状体のエッジ位置の画素数との対応関係を示した図である。 図6は、この発明の一実施形態の蛇行異常検出装置におけるモニタ上に、撮像手段により撮像した画像とともに、自動検出したエッジ位置を通る検出線を表示した画面例である。 図7は、この発明の他の実施形態の蛇行量測定方法および装置ならびに蛇行異常検出方法および装置に従い、撮像手段で検出した帯状体のエッジ位置の画素数(画素位置)から蛇行量を回帰的に求める際に使用する回帰式を、実験結果に基づき構築する方法を説明する図である。 図8は、回帰式を得るための実験結果の一例を示すグラフである。 図9は、この発明の一実施形態の蛇行異常検出装置により検出した蛇行量の経時的な変化を示すトレンドグラフである。
以下、この発明の実施の形態を図面に基づき詳細に説明する。ここで、図1は、この発明の一実施形態の蛇行量測定装置および蛇行異常検出装置を適用する連続焼鈍設備の水平型の炉体部を模式的に示した図である。
連続焼鈍設備は、ペイオフリール等を有する図示しない入側設備と、巻取リール等を有する図示しない出側設備との間に、図1に示すような炉体部1を備えており、図示例の炉体部は鋼板を真直ぐ搬送しながら焼鈍を行う水平型であり、デフレクタロールやステアリングロールがないため蛇行が生じ易い。そこで、この実施形態では、鋼板を炉体部1に搬入する前に鋼板の蛇行量を測定するとともに異常な蛇行を検出するため、炉体部1の手前に蛇行異常検出装置10を設けている。
この実施形態の蛇行異常検出装置10は、蛇行量測定装置12としての機能をも有し、搬送ロール上を走行する帯状体の一例としての鋼板の蛇行量を測定し、測定した蛇行量に基づき蛇行異常を検出するものであり、その構成例を図2に示すように、主として、撮像手段としての、鋼板を連続的に撮像可能なCCDカメラやCMOSカメラ等のデジタル式のカメラ14と、照明16と、画像処理装置18と、電源20と、モニタ22とからなる。
カメラ14は、鋼板の一側方(例えばドライブ側)に、その光軸14cが鋼板のパスライン平面PLに対して傾いた状態で配置されており、具体的には、図3の配置例に示すように、搬送方向に隣り合う搬送ロール24,24間に位置する、架台の鉛直部分にクランプ等を介して固定することができる。ここで、上記パスライン平面PLとは、搬送方向に隣り合う2つの搬送ロール24,24の共通する接平面のうち、上側、つまり搬送される帯状体(ここでは鋼板)の下面が通過する接平面を意味している。
パスライン平面PLに対するカメラ14の光軸14cの傾斜角度θは10度以上60度以下とすることが好ましい。その理由は、傾斜角度θが10度を下回るとカメラ14の撮像面内での鋼板の両エッジ同士の間隔が狭くなり過ぎる結果、画像処理時に鋼板のエッジを正確に検出できない虞があるからであり、一方、傾斜角度θが60度を超えるとカメラ14の設置位置が高くなり、それに伴い鋼板までの距離が増大するので、エッジの検出精度が低下する虞があるとともに、カメラ14を高い位置に設置するために架台等の改造が必要となる場合があり、コスト高につながるからである。図3では一例としてカメラ14の光軸14cをパスライン平面PLに対して約20度傾斜させた場合を示している。
照明16は、例えば複数個のLEDが一列に整列されたバータイプのLEDライトであり、鋼板の他側方(カメラが設けられている側の反対側であり、この例ではオペレーション側)に配置されて、カメラ14からみて鋼板の背後から鋼板に光を照射するものである。照明16にはLEDライトに限定されず、バータイプの蛍光ランプ等を用いてもよい。照明16は、搬送方向に隣り合う搬送ロール24,24間に位置する柱等にクランプ等を介して固定することができ、図3(a)に示す正面視においてカメラ14に相対するようパスライン平面PLに対して傾斜させて設置することが好ましい。照明16は、鋼板の幅よりも大きな照射範囲を有して照射した光の一部が鋼板のエッジの外側を透過するよう構成されている。しかし、照明16の長さが大きすぎる場合には、照明16の上部がパスライン平面PLより上方へ突出し、この突出部分から照射された光が鋼板の上面に反射して正確なエッジ検出を行い得なくなる虞があるため、照明16の当該突出部分にカバー26を被せて光を遮断しておくことが好ましい。
図3(b)に搬送ラインの平面図を示すように、照明16とカメラ14は、鋼板の搬送方向における同一位置に配置されている。そのため、図3(a)に仮想太線で示すように、何等かの原因で鋼板が搬送中に浮き上がったり傾斜したりすると、照明16からの光が鋼板の上面に反射し、その反射光がカメラ14に入射して鋼板のエッジ位置において透過してきた光と一直線につながるため、鋼板のエッジを検出できないあるいは誤検出の原因となる場合がある。そこでこの実施形態では、照明16の光軸16cを平面視でカメラ14の光軸14cに対して搬送方向上流側または下流側(図示例では上流側)へ角度αだけずらすようにしている。このように照明16の光軸16cをカメラ14の光軸14cに対してずらすことで、鋼板が搬送中に浮き上がったり傾斜したりし、照明16からの光が鋼板の上面に反射したとしてもその反射光をカメラに入射させないあるいは入射させ難くすることができるため、鋼板のエッジ検出のS/Nを向上することができる。なお、この角度αは、1〜10度とすることが好ましく、図示例では5度としている。その理由は、角度αが1度未満であると鋼板の上面からの反射光がカメラ14に入射するのを抑制する効果が十分得られない虞があり、一方、角度αが10度を超えると照明16から照射され鋼板のエッジを透過する光の輝度が不足し、エッジの検出精度が低下する虞があるからである。
画像処理装置18は、各種プログラム等が格納されたメモリやこれらのプログラムを実行するCPU等からなるコンピュータで構成され、カメラ14で撮像された画像を処理することによりエッジを自動検出する機能と、検出したエッジから鋼板の蛇行量を測定する機能と、その結果をモニタ等に出力する機能を有する。したがって、画像処理装置18は、カメラ14および照明16と協働してこの発明の一実施形態の蛇行量測定装置12を構成するものである。画像処理装置18はさらに、測定した蛇行量に基づき蛇行が異常か否かを判定する機能と、異常と判定した場合にはライン制御装置へライン減速信号などを出力する機能を有する。したがって、画像処理装置18は、カメラ14および照明16と協働してこの発明の一実施形態の蛇行異常検出装置10を構成するものでもある。
モニタ22には、カメラ14で撮像した画像を表示させるのに加えて、その画像上に検出したエッジ位置を通り搬送方向に沿って延びる検出線を重ねて表示させることができる(図6参照)。また、モニタ22には、あらかじめ任意に設定することができる蛇行量「大」に対応した判定線を例えば黄色点線で表示させたり、あらかじめ任意に設定することができる蛇行量「異常」に対応した判定線を例えば赤色点線で表示させたりすることができる。さらに、検出線が上記黄色点線や赤色点線の判定線を超えた場合に検出線の色を黄色や赤色等に変化させオペレータに蛇行量「大」や「異常」を視覚的に知覚させるようにしてもよい。また、モニタ22には、蛇行量の測定にあたり設定した各種定数の設定表(下記表1参照)や蛇行量の経時的な変化を示すトレンドグラフ(図9参照)等を常時あるいは選択的に表示させることもできる。
図4は、画像処理装置18を用いて行うこの発明の一実施形態の蛇行量測定方法および蛇行異常検出方法の各手順および処理を示すフローチャートである。
まず、ステップS1では、カメラ14により鋼板の両エッジを含むように鋼板を斜め側方から連続的に撮影し、画像を取得する。
ステップS2では、ステップS1で取得した画像を処理して鋼板の両エッジを検出する。
ステップS3では、ステップS2で検出された鋼板の両エッジの位置および鋼板の中央位置を算出する。鋼板の両エッジ位置および中央位置は、パスライン平面PLに対するカメラ14の光軸14cの傾斜を勘案して次のように求めることができる。図5は、カメラ14の撮像素子においてエッジ位置を示す画素数Pとパスライン平面上の実際のエッジ位置との関係を模式的に説明する図である。
まず、カメラ14の光軸14cがパスライン平面PLと交わる点を原点Oとする。この実施形態では、原点Oは、鋼板の許容される最大蛇行時に鋼板の、カメラ14からみて手前側のエッジ(以下、単に手前側エッジともいう。)が位置する点でもある。なお、原点Oの位置はこれに限定されず、例えば帯状体のパスラインの幅方向中央位置としてもよい。
そして、カメラ14の撮像素子の上下方向の画素数(撮像素子の縦方向のサイズ)をPvとし、焦点距離をfとし、ワーキングディスタンスをWDとし、撮像素子上のエッジ位置の画素数をPとし、カメラ14の光軸14cとパスライン平面PLとがなす角度をθとすると、原点Oからパスライン平面PLに沿った鋼板幅方向上のエッジ位置までの距離Yp,Ydはそれぞれ、次式により求めることができる。Ypは、原点Oから手前側エッジまでのパスライン平面に沿った距離であり、Ydは、原点Oから奥側のエッジ(以下、単に奥側エッジともいう。)までのパスライン平面に沿った距離である。
Figure 2018168700
また、原点Oから鋼板の幅方向中央位置までの距離Ycは、Yc=(Yp+Yd)/2により求めることができる。
したがって、手前側エッジの位置情報から求めることができる鋼板の蛇行量Spは、原点Oから手前側エッジの基準位置までの距離をYpbとすると、Sp=Yp−Ypbとなる。同様に、奥側エッジの位置情報から求めることができる鋼板の蛇行量Sdは、原点Oから奥側エッジの基準位置までの距離をYdbとすると、Sd=Yd−Ydbとなる。鋼板の幅方向中央位置の情報から求めることができる鋼板の蛇行量Scは、原点Oから鋼板の幅方向中央の基準位置までの距離をYcbとすると、Sc=Yc−Ycbとなる。
検出したエッジ位置(検出点)を通り搬送方向に延びる検出線は、図6に示すようにモニタ22内に例えば緑色破線で表示させることができる。検出線は、図6(a)に示すように鋼板のエッジに沿うように撮像された画像の横方向に対して傾けて表示させることができ、あるいは同図(b)に示すように画像の横方向に平行に表示させることができる。また、検出線の長さを短くし、各検出線の中心が検出点に一致するよう表示させることもできる。また、測定した蛇行量についてもモニタ内に表示させることができる。
次に、ステップS4では、ステップS3で測定した蛇行量のうち少なくとも1つに基づき蛇行異常の判定を行う。具体的には、測定した蛇行量とあらかじめ設定することができる所定の判定値とを比較し、測定した蛇行量が所定の判定値を超えた場合に蛇行「大」あるいは「異常」と判定する。蛇行異常と判定される(ステップS4で「YES」)場合には、ステップS5において警報ランプを作動させる等のアラーム発信を行うとともに、ライン制御装置へライン減速信号やライン停止信号などの蛇行異常回避のための制御信号を出力する。また、蛇行異常を検出した場合には、モニタ22において各エッジ位置を示す緑色の検出線を黄色や赤色に変化させることもできる。
ステップS4において、蛇行量が所定の判定値以下であり、許容範囲内であると判定される(ステップS4で「NO」)場合にはステップS1に戻り、上記処理を継続する。
以上のような処理によって、鋼板の蛇行量を測定するとともに蛇行異常を検出することができる。
また、この実施形態の蛇行異常検出方法および装置によれば、カメラ14および照明16をライン外(鋼板の側方)に配置する構成としたので、鋼板の搬送に伴って飛散する粉塵等がカメラ14のレンズや照明16に付着して動作不良となる事態を低減することができる。このため、カメラ14や照明16をライン外に引き出すための台車やレール、またそれに伴う既存設備の改造を不要とすることができ、装置導入に要する費用を低く抑えることができる。さらに、鋼板が高温である場合においても、カメラ14および照明16が設置された鋼板の側方は鋼板の真上または真下に比べて温度が低いため、カメラ14や照明16用の水冷設備を不要とすることができる。また、カメラ14および照明16をライン外に配置することで、カメラ14や照明16の修理や調整を操業停止まで待たず操業中に行うことができるので、メンテナンスを容易に行うことができるという利点もある。
図7は、この発明の他の実施形態の蛇行量測定方法および装置ならびに蛇行異常検出方法および装置に従い、カメラ14で検出した鋼板のエッジ位置の画素数(画素位置)から蛇行量を回帰的に求める際に使用する回帰式を、実験結果に基づき構築する方法を説明する図であり、図8は、その実験結果を例示す図である。なお、先の実施形態と同様の部材または要素には同じ符号を用い、説明は省略する。
先の実施形態では、ステップS3において、鋼板の蛇行量を、パスライン平面PLに対するカメラ14の光軸14cの傾きθを勘案して、上記数1により幾何学的に求めたが、本実施形態の蛇行量測定方法および装置12ならびに蛇行異常検出方法および装置10では、鋼板のカメラ14で検出した鋼板のエッジ位置の画素数(画素位置)を回帰式に当てはめて蛇行量を求める。この回帰式は、例えば、図7に示すように、実際の設備において搬送ロール24上に鋼板(サンプル片でもよい)をその幅方向中央位置が基準位置と一致するように載置し、蛇行量測定に用いる実際のカメラ14で鋼板を撮像して鋼板のエッジ検出位置の画素数(画素位置)を取得し、次いで、鋼板を左右に少しずつ(例えば50mmずつ)ずらし、ずらす毎に鋼板のエッジ検出位置の画素数を取得することで求めることができる。図8は、一例として、幅825mmの鋼板のサンプル片を用い、該サンプル片を搬送ロール24上で左右に50mmずつ、左右各側で最大250mmまでずらしてエッジ検出位置の画素数を測定した結果を示すグラフである。このグラフ中、縦軸は、サンプル片のずらし量(蛇行量)であって、マイナスはサンプル片をカメラ14からみて手前側へずらした場合を示し、プラスはサンプル片をカメラ14からみて奥側へずらした場合を示している。横軸はエッジ検出位置の画素数を示している。この実験結果では、回帰式として、y=-0.0092x2+30.108x-24094を得たが、回帰式の各係数は、同一設備を用いたとしても鋼板の幅寸法等によって異なるため、搬送する鋼板の種類毎に実験的に回帰式を求めておき、画像処理装置18のメモリに記憶させておくことが好ましい。
本実施形態の蛇行量測定方法および装置12ならびに蛇行異常検出方法および装置10では、画像処理装置18は、図4のステップS2で鋼板のエッジ検出位置の画素数を求め、ステップS3において、この画素数を回帰式のxに代入することで蛇行量を算出するよう構成されている。したがって、本実施形態の蛇行量測定方法および装置12ならびに蛇行異常検出方法および装置10によれば、設備によっては計測が困難なワーキングディスタンス(WD)やカメラ14の傾きθ(図5参照)等の計測を省略して、より簡便に蛇行量を求めることができる。なお、本実施形態において、ステップS3以外は、先の実施形態と同じであるので、ここでの説明は省略する。
なお、鋼板の蛇行量を鋼板のエッジ検出位置の画素数から回帰的に求める場合には、鋼板の両側部のエッジ検出位置の画素数を用いてもよいが、片方の側部のエッジ検出位置の画素数を用いてもよく、この場合、カメラ14に近い側(カメラ14からみて手前側)のエッジ検出位置の画素数を用いる方が、誤差が小さく好ましい。
この発明の実施例として、図2に示す機器構成からなる蛇行量測定装置12を用い、板幅1000mm、板厚0.5mm、表面温度150℃の鋼板の蛇行量を測定したので以下説明する。
ここでは、撮像手段として上下方向(縦方向)の画素数が4096画素、水平方向(横方向)の画素数が5104画素のCCDカメラ(エリアカメラ)14を用いた。また、鋼板のパスライン平面PLに対するCCDカメラ14の光軸14cの傾きθは20度とした。また、照明16には、長さ2000mmのバータイプのLEDライトを用い、CCDカメラ14と相対するようにパスライン平面PLに対して20度傾けるとともに、照明16の光軸16cが搬送方向上流側へ5度ずれるように設置した。
鋼板の手前側エッジの基準位置Ypbは原点Oから417mmの位置とし、鋼板の中央基準位置Ycbは原点Oから917mmの位置とし、鋼板の奥側エッジの基準位置Ydbは原点Oから1417mmの位置とした。
また、この実施例において、蛇行量測定および蛇行異常検出にあたり設定した各種定数は表1に示す定数設定表のとおりとした。なお、表中の各判定値は原点Oから距離である。
Figure 2018168700
上記構成および設定の蛇行異常検出装置10を用いて蛇行量の測定および蛇行異常の検出を行ったところ、手前側(ドライブ側)エッジ位置の検出精度約1.25mm(画素分解能約1.25mm)、奥側(オペレーション側)エッジ位置の検出精度約5mm(画素分解能約5mm)でエッジをそれぞれ自動検出することができた。また、図9のトレンドグラフに示すように、鋼板の各エッジ位置および中央位置において蛇行量の経時的な変化を確認することができた。
したがって、各々1台のCCDカメラ14および照明16を用いる簡便な装置構成で鋼板の蛇行を検出することができた。また、CCDカメラ14および照明16は、比較的温度の低い鋼板の側方に配置されているため、CCDカメラ14および照明16の水冷は不要であった。さらに、CCDカメラ14のレンズおよび照明16への粉塵等の付着はほとんど確認されなかった。さらに、照明16の光軸16cを搬送方向上流側へ5度ずらしたことから、照明16の反射光の、CCDカメラ14への入光を防止することができ、エッジ検出を良好に行うことができた。
この発明によれば、帯状体の蛇行を検出するための撮像手段と照明をライン外(帯状体の側方)に配置するとともに、撮像手段をパスライン平面に対して傾けた状態で帯状体を撮影するようにしたことから、撮像手段や照明への粉塵の付着を抑制することにより動作不良や誤検出の事態を低減することが可能で、かつ、撮像手段や照明への熱負荷を低減してコスト上昇を抑えることが可能となった。
10 蛇行異常検出装置
12 蛇行量測定装置
14 カメラ
16 照明
18 画像処理装置
20 電源
22 モニタ
24 搬送ロール
26 カバー

Claims (8)

  1. 帯状体の搬送時における蛇行量を測定する蛇行量測定方法であって、
    帯状体の一側方に、撮像手段をその光軸が帯状体のパスライン平面に対して傾いた状態で配置し、
    帯状体の他側方に、前記撮像手段から見て帯状体の背後から帯状体に光を照射する照明を配置し、
    前記撮像手段により帯状体の両エッジを含むように帯状体の斜め側方から撮像し、
    前記撮像手段で撮像された画像を用いて帯状体のエッジを検出するとともに、検出した帯状体のエッジ位置情報に基づき帯状体の基準位置からの蛇行量を算出することを特徴とする蛇行量測定方法。
  2. 前記照明と前記撮像手段とを、帯状体の搬送方向における同一位置に配置し、
    前記照明の光軸を前記撮像手段の光軸に対して帯状体の搬送方向上流側または下流側へずらすことを特徴とする請求項1に記載の蛇行量測定方法。
  3. 帯状体の蛇行量を前記検出した帯状体のエッジ位置情報から回帰的に求めることを特徴とする、請求項1または2に記載の蛇行量測定方法。
  4. 帯状体の搬送時における蛇行量を測定する蛇行量測定装置であって、
    帯状体の一側方に配置されるとともにその光軸が帯状体のパスライン平面に対して傾けられ、帯状体の両エッジを含むように帯状体を斜め側方から撮像する撮像手段と、
    帯状体の他側方に配置され、前記撮像手段から見て帯状体の背後から帯状体に光を照射する照明と、
    前記撮像手段で撮像された画像を処理して帯状体のエッジを検出するとともに、検出した帯状体のエッジ位置情報に基づき帯状体の基準位置からの蛇行量を算出する画像処理装置と、を備えることを特徴とする蛇行量測定装置。
  5. 前記照明と前記撮像手段とは、帯状体の搬送方向における同一位置に配置され、
    前記照明の光軸は前記撮像手段の光軸に対して帯状体の搬送方向上流側または下流側へずらされていることを特徴とする請求項4に記載の蛇行量測定装置。
  6. 前記画像処理装置は、帯状体の蛇行量を前記検出した帯状体のエッジ位置情報から回帰的に求めるよう構成されていることを特徴とする、請求項4または5に記載の蛇行量測定装置。
  7. 請求項1から3までの何れか一項に記載の蛇行量測定方法で測定した蛇行量が所定の異常判定値を超えた場合に蛇行異常と判定することを特徴とする蛇行異常検出方法。
  8. 請求項4から6までの何れか一項に記載の蛇行量測定装置を備え、
    前記画像処理装置は、測定した蛇行量が所定の異常判定値を超えた場合に蛇行異常と判定するよう構成されていることを特徴とする蛇行異常検出装置。
JP2019505972A 2017-03-14 2018-03-09 帯状体の蛇行量測定方法および装置並びに帯状体の蛇行異常検出方法および装置 Active JP6677344B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017048550 2017-03-14
JP2017048550 2017-03-14
PCT/JP2018/009252 WO2018168700A1 (ja) 2017-03-14 2018-03-09 帯状体の蛇行量測定方法および装置並びに帯状体の蛇行異常検出方法および装置

Publications (2)

Publication Number Publication Date
JPWO2018168700A1 true JPWO2018168700A1 (ja) 2019-06-27
JP6677344B2 JP6677344B2 (ja) 2020-04-08

Family

ID=63522113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019505972A Active JP6677344B2 (ja) 2017-03-14 2018-03-09 帯状体の蛇行量測定方法および装置並びに帯状体の蛇行異常検出方法および装置

Country Status (9)

Country Link
US (1) US11055858B2 (ja)
EP (1) EP3581880B1 (ja)
JP (1) JP6677344B2 (ja)
KR (1) KR102281150B1 (ja)
CN (1) CN110382999B (ja)
BR (1) BR112019017815B1 (ja)
RU (1) RU2720450C1 (ja)
TW (1) TWI683988B (ja)
WO (1) WO2018168700A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084798B (zh) * 2019-04-25 2021-10-22 广州富港万嘉智能科技有限公司 一种瓜果的方位检测及调整方法、装置和存储介质
JP6801833B1 (ja) * 2019-07-22 2020-12-16 Jfeスチール株式会社 熱間圧延鋼帯の蛇行制御方法、蛇行制御装置及び熱間圧延設備
CN113112470B (zh) * 2021-04-08 2023-12-15 揭阳市柏亿不锈钢有限公司 一种基于人工智能的冷轧过程钢材弯曲检测分析方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6254109A (ja) * 1985-03-28 1987-03-09 Sumitomo Metal Ind Ltd 帯状体の巾・蛇行測定装置
JPH03109105U (ja) * 1990-02-26 1991-11-08
JPH09189545A (ja) * 1996-01-11 1997-07-22 Toshiba Mach Co Ltd 距離測定装置
JPH10318719A (ja) * 1997-05-15 1998-12-04 Mitsubishi Heavy Ind Ltd 板幅・蛇行検出方法及び装置
JP2002181513A (ja) * 2000-12-19 2002-06-26 Suzuki Makoto 半透明部材の端部検出装置及び方法
JP2011099821A (ja) * 2009-11-09 2011-05-19 Sumitomo Metal Ind Ltd 板材の光学式形状測定方法及び測定装置
JP2012251816A (ja) * 2011-06-01 2012-12-20 Toshiba Mitsubishi-Electric Industrial System Corp 形状測定装置
WO2013011586A1 (ja) * 2011-07-21 2013-01-24 株式会社ニレコ 帯状体の端部位置検出装置及び帯状体の端部位置検出方法
WO2013080093A1 (en) * 2011-11-29 2013-06-06 Hennecke Systems Gmbh Inspection system
JP2014122832A (ja) * 2012-12-21 2014-07-03 Nihon Yamamura Glass Co Ltd 金属酸化物被膜の膜厚測定装置および膜厚検査装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4490617A (en) 1979-11-26 1984-12-25 European Electronic Systems Limited Optical width measuring system using two cameras
JPH0498971A (ja) 1990-08-16 1992-03-31 Nec Corp イメージスキャナ
JPH04225107A (ja) 1990-12-27 1992-08-14 Kawasaki Steel Corp 帯板の蛇行量検出方法及び装置
DE19517194A1 (de) * 1995-05-11 1996-11-14 Giesecke & Devrient Gmbh Vorrichtung und Verfahren zur Prüfung von Blattgut, wie z.B. Banknoten oder Wertpapiere
KR100568973B1 (ko) * 1999-03-18 2006-04-07 제이에프이 스틸 가부시키가이샤 결함 마킹방법 및 장치
JP2001051556A (ja) 1999-08-16 2001-02-23 Nec Niigata Ltd 画像形成装置における感光体ベルトの蛇行量検出方法、感光体ベルトの蛇行補正方法および感光体ベルトの蛇行補正装置
AU2001288641A1 (en) * 2000-09-01 2002-03-13 Mark M. Abbott Optical system for imaging distortions in moving reflective sheets
CN1699915A (zh) * 2001-03-06 2005-11-23 东丽株式会社 显示板的检查方法和检查装置以及制造方法
JP4225107B2 (ja) * 2003-05-08 2009-02-18 東レ株式会社 水溶性ポリエステル組成物
US7157726B2 (en) * 2004-01-16 2007-01-02 Fuji Photo Film Co., Ltd. Method and apparatus for measuring shape of sheet
TWI251661B (en) 2005-02-02 2006-03-21 China Steel Corp Measuring system and methodology for profile of steel bloom
TW200835563A (en) * 2007-02-16 2008-09-01 China Steel Corp Optical system to detect the shape, holes, and edge crack of steel belt
WO2008107892A1 (en) * 2007-03-06 2008-09-12 Advanced Vision Technology (Avt) Ltd. System and method for detecting the contour of an object on a moving conveyor belt
US8126364B2 (en) 2007-10-01 2012-02-28 Fuji Xerox Co., Ltd. Endless member drive apparatus and image forming apparatus
KR100928803B1 (ko) * 2007-11-29 2009-11-25 주식회사 포스코 연연속 열간 압연공정에서의 강판의 접합부 검출 장치 및방법
JP4636117B2 (ja) * 2008-05-09 2011-02-23 トヨタ自動車株式会社 蛇行制御システムおよび蛇行制御方法
JP4572955B2 (ja) 2008-05-28 2010-11-04 富士ゼロックス株式会社 ベルト蛇行補正装置及びこれを用いた画像形成装置
JP4666272B1 (ja) * 2009-10-19 2011-04-06 住友金属工業株式会社 板材の平坦度測定方法及びこれを用いた鋼板の製造方法
JP2011189602A (ja) * 2010-03-15 2011-09-29 Seiko Epson Corp 位置補正装置及び記録装置
KR101441226B1 (ko) * 2010-05-18 2014-09-17 신닛테츠스미킨 카부시키카이샤 판재의 평탄도 측정 방법 및 이것을 이용한 강판의 제조 방법
JP5453350B2 (ja) 2011-06-23 2014-03-26 株式会社 システムスクエア 包装体の検査装置
JP5967042B2 (ja) * 2013-09-12 2016-08-10 Jfeスチール株式会社 レーザ溶接良否判定装置及びレーザ溶接良否判定方法
KR101859315B1 (ko) * 2014-05-30 2018-05-18 제이에프이 스틸 가부시키가이샤 열연 강판의 제조 방법, 강판 절단 위치 설정 장치, 강판 절단 위치 설정 방법, 및 강판 제조 방법
PL3076148T3 (pl) 2015-03-31 2019-10-31 Trioptics Gmbh Urządzenie i sposób pomiaru właściwości odwzorowania optycznego systemu odwzorowującego
WO2018150586A1 (ja) * 2017-02-20 2018-08-23 Primetals Technologies Japan株式会社 板エッジ検出装置及び板エッジ検出方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6254109A (ja) * 1985-03-28 1987-03-09 Sumitomo Metal Ind Ltd 帯状体の巾・蛇行測定装置
JPH03109105U (ja) * 1990-02-26 1991-11-08
JPH09189545A (ja) * 1996-01-11 1997-07-22 Toshiba Mach Co Ltd 距離測定装置
JPH10318719A (ja) * 1997-05-15 1998-12-04 Mitsubishi Heavy Ind Ltd 板幅・蛇行検出方法及び装置
JP2002181513A (ja) * 2000-12-19 2002-06-26 Suzuki Makoto 半透明部材の端部検出装置及び方法
JP2011099821A (ja) * 2009-11-09 2011-05-19 Sumitomo Metal Ind Ltd 板材の光学式形状測定方法及び測定装置
JP2012251816A (ja) * 2011-06-01 2012-12-20 Toshiba Mitsubishi-Electric Industrial System Corp 形状測定装置
WO2013011586A1 (ja) * 2011-07-21 2013-01-24 株式会社ニレコ 帯状体の端部位置検出装置及び帯状体の端部位置検出方法
WO2013080093A1 (en) * 2011-11-29 2013-06-06 Hennecke Systems Gmbh Inspection system
JP2014122832A (ja) * 2012-12-21 2014-07-03 Nihon Yamamura Glass Co Ltd 金属酸化物被膜の膜厚測定装置および膜厚検査装置

Also Published As

Publication number Publication date
EP3581880A1 (en) 2019-12-18
BR112019017815A2 (pt) 2020-03-31
CN110382999A (zh) 2019-10-25
CN110382999B (zh) 2021-06-15
EP3581880B1 (en) 2022-02-09
WO2018168700A9 (ja) 2018-11-08
EP3581880A4 (en) 2020-02-26
US11055858B2 (en) 2021-07-06
BR112019017815B1 (pt) 2023-11-07
RU2720450C1 (ru) 2020-04-29
KR20190116403A (ko) 2019-10-14
WO2018168700A1 (ja) 2018-09-20
US20200082550A1 (en) 2020-03-12
JP6677344B2 (ja) 2020-04-08
TWI683988B (zh) 2020-02-01
KR102281150B1 (ko) 2021-07-22
TW201837423A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
KR101441226B1 (ko) 판재의 평탄도 측정 방법 및 이것을 이용한 강판의 제조 방법
JP6677344B2 (ja) 帯状体の蛇行量測定方法および装置並びに帯状体の蛇行異常検出方法および装置
JP2010266430A (ja) 鋼板表面欠陥検査方法および装置
KR20090071186A (ko) 슬라브 측면 흠 검출 장치
JP6575232B2 (ja) 鋼板形状測定装置及びその方法、並びにそれらを用いた鋼板製造装置及びその方法
KR20190013600A (ko) 광학필름 결함 검출 장치 및 광학필름 결함 검출 방법
WO2018150586A1 (ja) 板エッジ検出装置及び板エッジ検出方法
JP2011209041A (ja) 表面検査装置および表面検査方法
KR100856276B1 (ko) 압연 소재 두께 측정 장치
JP5233372B2 (ja) 鋼板の反り検出システム及び方法
JP2007333732A (ja) 表面検査システム及び表面検査システムの検査性能の診断方法
JP4559972B2 (ja) 圧延コイルの内径つぶれ検出方法および装置
JP2007205868A (ja) 光学式形状検査装置及び方法
JP2007139630A (ja) 表面検査装置および方法
JPH09305737A (ja) レーザー式本数カウント装置
JP4884540B2 (ja) 基板検査装置及び基板検査方法
JP2000088526A (ja) チェーンコンベアの異常診断方法及び装置
KR20170074317A (ko) 슬라브의 형상 및 표면 측정장치 및 방법
JP4216784B2 (ja) パンタグラフのすり板検査装置
JP2015081838A (ja) 凹み缶・座屈缶検査装置
JP6146389B2 (ja) 鋼材表面検査装置及びその方法
KR20200062081A (ko) 광학 표시 패널의 손상 검사 방법
JP2000346810A (ja) リードフレームばたつき防止機構及びリードフレーム検査装置
JPH0618228A (ja) 製品の切断長さ測定装置
KR20230096051A (ko) 용접 강관의 심부 및 가열부의 위치 검출 장치, 용접 강관의 제조 설비, 용접 강관의 심부 및 가열부의 위치 검출 방법, 용접 강관의 제조 방법 및 용접 강관의 품질 관리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6677344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250