JP6881109B2 - 長尺材の長さ測定方法及び装置 - Google Patents

長尺材の長さ測定方法及び装置 Download PDF

Info

Publication number
JP6881109B2
JP6881109B2 JP2017134410A JP2017134410A JP6881109B2 JP 6881109 B2 JP6881109 B2 JP 6881109B2 JP 2017134410 A JP2017134410 A JP 2017134410A JP 2017134410 A JP2017134410 A JP 2017134410A JP 6881109 B2 JP6881109 B2 JP 6881109B2
Authority
JP
Japan
Prior art keywords
long material
face
captured image
length
imaging means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017134410A
Other languages
English (en)
Other versions
JP2019013970A (ja
Inventor
源二郎 加治
源二郎 加治
雅樹 田中
雅樹 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP2017134410A priority Critical patent/JP6881109B2/ja
Publication of JP2019013970A publication Critical patent/JP2019013970A/ja
Application granted granted Critical
Publication of JP6881109B2 publication Critical patent/JP6881109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、熱間状態の長尺材の長さを精度良く測定可能な方法及び装置に関する。
マンネスマン−マンドレルミル方式による継目無管の製造においては、まず素材の丸ビレットを回転炉床式加熱炉で加熱した後、穿孔機でプラグと圧延ロールにより丸ビレットを穿孔圧延して中空素管を製造する。次に、中空素管の内面にマンドレルバーを串状に挿入し、複数の圧延スタンドを備えるマンドレルミルで外面を圧延ロールで拘束して延伸圧延することにより、所定の肉厚まで減肉する。次いで、マンドレルバーを引き抜いた後、減肉された中空素管を複数の圧延スタンドを備えるストレッチレデューサ等の定径圧延機で所定外径に定径圧延することで、製品としての継目無管を得る。
上記の製造工程において、マンドレルミル出側から定径圧延機入側までの間に位置する熱間状態の中空素管(継目無管)の長さは、定径圧延機の制御に用いられるため、できるだけ精度良く測定することが望まれている。
従来、熱間状態の継目無管のような長尺材の長さを測定する方法として、長尺材を該長尺材の長手方向に略直交する方向から撮像手段で撮像し(長尺材から発生する自発光を受光して結像し)、撮像画像内における長尺材の端部の端面の位置を検出することで、長尺材の長さを算出する方法が提案されている(例えば、特許文献1〜3参照)。
マンドレルミル出側から定径圧延機入側までの間に位置する熱間状態の継目無管の長さについても、特許文献1〜3に記載のような自発光の撮像画像を用いた従来の長さ測定方法を適用することで、ある程度精度良く長さを測定可能である。
しかしながら、種々の外径や肉厚を有する継目無管が同一の製造工程で製造される場合、加熱炉で丸ビレットを一定の温度に加熱したとしても、継目無管の外径や肉厚に応じて、温度低下の速さが異なることで長さ測定時の温度が比較的大きく変化する。このため、撮像手段で受光する自発光の強度も大きく変化することになる。これに起因して、撮像手段の露光時間が一定であると、継目無管の端部が明るく撮像される場合(温度が高い場合)と、継目無管が暗く撮像される場合(温度が低い場合)とが混在することになる。
そして、本発明者らが検討したところ、継目無管の端部が過度に明るく撮像される場合、マンドレルミル出側から定径圧延機入側までの間に位置する継目無管の搬送機構(例えば、継目無管を下方から支持する受け台)からの反射光を受光している画素領域を継目無管の端部に相当する画素領域だと誤認識してしまい、その結果、継目無管の端面の位置を正確に検出できないケースのあることがわかった。
また、継目無管の端部が過度に暗く撮像される場合、継目無管の端面よりも内側に位置する画素領域を端面に相当する画素領域だと誤認識してしまい、その結果、継目無管の端面の位置を正確に検出できないケースのあることがわかった。
特開2013−221757号公報 特開2013−221758号公報 特開2016−90443号公報
本発明は、上記従来技術の問題点を解決するべくなされたものであり、長さ測定時の温度が比較的大きく変化する場合であっても、熱間状態の長尺材の長さを精度良く測定可能な方法及び装置を提供することを課題とする。
前記課題を解決するため、本発明者らは鋭意検討した結果、撮像手段の露光時間を変更して同じ長尺材の端部を撮像した場合、長尺材の温度に関わらず、露光時間を長くすればするほど、撮像画像を構成する各画素の濃度値は、上限に達しない限り(飽和しない限り)、いずれの画素についても増加する又は一定のままであるが、長尺材の端部に相当する画素領域と、長尺材の端部以外の要素(長尺材の搬送機構など)に相当する画素領域とでは、濃度値の変化の度合いが異なることを知見した。具体的には、撮像手段の露光時間を長くすれば、長尺材の端部に相当する画素領域の方が、長尺材の端部以外の要素に相当する画素領域よりも濃度値の増加量が大きいことを知見した。このため、露光時間の異なる条件で撮像した2つの撮像画像の差分画像を利用すれば、増加量の差異が顕在化するため、長尺材の端部以外の要素に相当する画素領域を長尺材の端部に相当する画素領域であると誤認識するおそれが大幅に低減し、長尺材の端面の位置を精度良く検出できることに想到した。
本発明は、上記本発明者らの知見に基づき完成したものである。
すなわち、前記課題を解決するため、本発明は、熱間状態で自発光している長尺材の端部を該長尺材の長手方向に略直交する方向から撮像手段で撮像することで撮像画像を取得する撮像工程と、前記撮像工程で取得した前記長尺材の端部の撮像画像に基づき、該撮像画像内における前記長尺材の端面の位置を検出する端面位置検出工程と、前記端面位置検出工程で検出した前記長尺材の端面の位置に基づき、前記長尺材の長さを算出する長さ算出工程とを含む、長尺材の長さ測定方法を提供する。
前記撮像工程において、複数の異なる露光時間が設定された前記撮像手段で撮像することで、前記設定された複数の露光時間に応じた複数枚の撮像画像を取得する。
前記端面位置検出工程は、前記撮像工程で取得した前記複数枚の撮像画像のうち何れか2つの撮像画像の差分画像に基づき、前記長尺材の端面の位置を検出するための判定領域を決定する判定領域決定手順と、前記撮像工程で取得した前記複数枚の撮像画像の前記判定領域決定手順で決定した前記判定領域内に位置する画素の濃度値に基づき、前記複数枚の撮像画像のうち前記長尺材の端面位置を検出するのに最適な撮像画像を選択する最適撮像画像選択手順と、前記最適撮像画像選択手順で選択した前記撮像画像に基づき、前記長尺材の端面の位置を検出する端面位置検出手順とを含む。
本発明に係る長尺材の長さ測定方法によれば、撮像工程において、複数の異なる露光時間に応じた複数枚の長尺材の端部の撮像画像を取得する。そして、端面位置検出工程の判定領域決定手順において、取得した複数枚の撮像画像のうち何れか2つの撮像画像の差分画像に基づき、長尺材の端面の位置を検出するための判定領域を決定する。差分画像を構成する各画素の濃度値は、露光時間の変化に伴う各画素の濃度値の変化の度合いを示すものである。前述のように、長尺材の端部に相当する画素領域と、長尺材の端部以外の要素に相当する画素領域とでは、濃度値の変化の度合いが異なるため、差分画像における各画素の濃度値によって、長尺材の端部に相当する画素領域を比較的精度良く特定可能である。このため、判定領域決定手順において、長尺材の端部に相当する画素領域、ひいては長尺材の端面の位置を検出するための判定領域(長尺材の端部の端面に相当する画素を含む画素領域)を精度良く決定可能である。
次いで、本発明に係る長尺材の長さ測定方法によれば、端面位置検出工程の最適撮像画像選択手順において、取得した複数枚の撮像画像の判定領域内に位置する画素の濃度値に基づき、複数枚の撮像画像のうち長尺材の端面位置を検出するのに最適な撮像画像を選択する。具体的には、例えば、判定領域内に位置する長尺材の端部に相当する画素領域の濃度値と、判定領域内に位置する長尺材の端部以外の要素に相当する画素領域の濃度値との差が最も大きくなっている撮像画像(コントラストが最も高い撮像画像)を選択すれば、端面位置検出工程の端面位置検出手順において、長尺材の端部の端面の位置を最も精度良く検出可能だと考えられる。
以上のように、本発明に係る長尺材の長さ測定方法によれば、長さ測定時の温度が比較的大きく変化する場合であっても、熱間状態の長尺材の長さを精度良く測定可能である。
本発明に係る長尺材の長さ測定方法において、長尺材の長さに応じて長尺材の両方の端部の位置が変化する場合には、撮像手段によって長尺材の両方の端部を撮像する必要があるが、長尺材の一方の端部の位置を固定できる場合には、他方の端部のみを撮像するだけで長尺材の長さを算出可能である。
すなわち、好ましくは、前記撮像工程において、前記長尺材の一方の端部の位置を固定し、前記長尺材の他方の端部を前記撮像手段で撮像し、前記端面位置検出工程において、前記撮像工程で取得した前記長尺材の他方の端部の前記撮像画像に基づき、前記撮像画像内における前記長尺材の他方の端部の端面の位置を検出し、前記長さ算出工程において、前記撮像工程で前記長尺材の他方の端部を撮像した前記撮像手段の位置と、前記端面位置検出工程で検出した前記撮像画像内における前記長尺材の他方の端部の端面の位置とに基づき、前記長尺材の長さを算出する。
上記の好ましい方法によれば、長尺材の他方の端部のみを撮像するだけで良いため、長さ測定に要する時間を短縮することが可能である。また、一方の端部を固定するための装置を常設する等により、いつも同じ位置で一方の端部を固定すれば、長さ測定の精度を向上させることが可能である。さらに、両方の端部を撮像する必要がないため、撮像手段に要するコストを削減可能である。
本発明に係る長尺材の長さ測定方法において、測定分解能を高めるには、撮像手段の視野を狭くする必要がある。このため、長尺材の長さの変動範囲が広い場合には、位置を固定した単一の撮像手段の視野内に全ての長尺材の端部が収まらない場合がある。したがい、撮像手段の視野をある程度狭くして測定分解能を高めると共に、変動範囲の広い長尺材の長さを測定可能にするには、長尺材の長手方向に沿って異なる位置に複数の撮像手段を配置し、何れかの撮像手段で長尺材の端部を撮像することが好ましい。また、例えば振動等により撮像手段の視線方向が変化したとき、撮像手段の視野が広すぎると、視野の中央の領域で撮像した場合と視野の端の領域で撮像した場合とで、長尺材の端部の位置を異なる位置として検出してしまい、長さ測定の精度に影響を与えるおそれがある。この点でも、長尺材の長手方向に沿って異なる位置に複数の撮像手段を配置し、何れかの撮像手段で長尺材の端部を撮像することが好ましい。
すなわち、好ましくは、前記撮像工程において、前記長尺材の長手方向に沿って異なる位置に複数の撮像手段を配置し、該複数の撮像手段で前記長尺材をそれぞれ撮像することで、該複数の撮像手段毎に撮像画像を取得し、前記端面位置検出工程において、前記複数の撮像手段毎に取得した撮像画像のうち前記長尺材の端部を含む撮像画像に基づき、該撮像画像内における前記長尺材の端面の位置を検出し、前記長さ算出工程において、前記複数の撮像手段のうち前記長尺材の端部を含む撮像画像を取得した撮像手段の位置と、前記端面位置検出工程で検出した前記撮像画像内における前記長尺材の端面の位置とに基づき、前記長尺材の長さを算出する。
上記の好ましい方法によれば、測定分解能を高めると共に、変動範囲の広い長尺材の長さを測定可能である。
本発明に係る長尺材の長さ測定方法における、端面位置検出工程の判定領域決定手順及び最適撮像画像選択手順として、具体的には以下の手順を例示可能である。
すなわち、前記判定領域決定手順において、前記何れか2つの撮像画像の差分画像を、前記何れかの2つの撮像画像のうち何れか一方の撮像画像に繰り返し加算することで、濃度値が上限に達する画素領域を前記長尺材に相当する画素領域と判定し、該判定した前記長尺材に相当する画素領域の端に位置する画素に基づき、前記判定領域を決定することが考えられる。
また、前記最適撮像画像選択手順において、前記複数枚の撮像画像のうち前記判定領域内に位置する画素の濃度値の前記長尺材の長手方向についての微分値の絶対値が最大となる撮像画像を前記最適な撮像画像として選択することが可能である。
本発明に係る長尺材の長さ測定方法を適用する長尺材としては、マンドレルミル出側から定径圧延機入側までの間に位置する継目無管を例示できる。
また、前記課題を解決するため、本発明は、熱間状態で自発光している長尺材の端部を該長尺材の長手方向に略直交する方向から撮像し、撮像画像を取得する撮像手段と、前記撮像手段で取得した前記長尺材の端部の撮像画像に基づき、該撮像画像内における前記長尺材の端面の位置を検出する端面位置検出工程と、前記端面位置検出工程で検出した前記長尺材の端面の位置に基づき、前記長尺材の長さを算出する長さ算出工程とを実行する信号処理手段とを備え、前記撮像手段は、複数の異なる露光時間が設定されており、前記設定された複数の露光時間に応じた複数枚の撮像画像を取得し、前記信号処理手段が実行する前記端面位置検出工程は、前記撮像手段が取得した前記複数枚の撮像画像のうち何れか2つの撮像画像の差分画像に基づき、前記長尺材の端面の位置を検出するための判定領域を決定する判定領域決定手順と、前記撮像手段が取得した前記複数枚の撮像画像の前記判定領域決定手順で決定した前記判定領域内に位置する画素の濃度値に基づき、前記複数枚の撮像画像のうち前記長尺材の端面位置を検出するのに最適な撮像画像を選択する最適撮像画像選択手順と、前記最適撮像画像選択手順で選択した前記撮像画像に基づき、前記長尺材の端面の位置を検出する端面位置検出手順とを含む、ことを特徴とする長尺材の長さ測定装置としても提供される。
本発明によれば、長さ測定時の温度が比較的大きく変化する場合であっても、熱間状態の長尺材の長さを精度良く測定可能である。
本発明の一実施形態に係る長尺材の長さ測定装置の概略構成を示す模式図である。 図1に示す測定位置Mにおける搬送機構の一部(受け台、ガイド)の概略構成を示す模式図である。 本発明の一実施形態に係る長尺材の長さ測定方法の概略工程を示すフロー図である。 図3に示す撮像工程S1で撮像される各露光時間に応じた撮像画像の例を示す。 従来の判定領域決定手順で決定された判定領域の例を示す図である。 本発明者らが行った調査の結果を示す図である。 図3に示す判定領域決定手順S21を説明する説明図である。 図3に示す端面位置検出手順S23で用いる最適撮像画像の決定方法を説明する説明図である。
以下、添付図面を適宜参照しつつ、本発明の一実施形態に係る長尺材の長さ測定方法及び長さ測定装置について、長尺材がマンドレルミル出側から定型圧延機(ストレッチレデューサ)入側までの間に位置する継目無管(中空素管)である場合を例に挙げて説明する。
図1は、本発明の一実施形態に係る長尺材の長さ測定装置(以下、適宜、単に「長さ測定装置」という)の概略構成を示す模式図である。図1に示す太線矢符は、材料(継目無管及び丸ビレット)の搬送経路を示す。
図1に示すように、マンネスマン−マンドレルミル方式による継目無管の製造においては、まず素材の丸ビレットを回転炉床式加熱炉3で加熱した後、穿孔機4でプラグと圧延ロールにより丸ビレットを穿孔圧延して中空素管Pを製造する。次に、中空素管Pの内面にマンドレルバーBを串状に挿入し、複数の圧延スタンドを備えるマンドレルミル5で外面を圧延ロールで拘束して延伸圧延することにより、所定の肉厚まで減肉する。次いで、マンドレルバーBを図1に示す破線矢符の方向(図1の左側)に引き抜いた後、減肉された中空素管Pを再加熱炉6で加熱し、複数の圧延スタンドを備えるストレッチレデューサ7で所定外径に定径圧延することで、製品としての継目無管Pを得る。以下では、中空素管と継目無管とを区別することなく、いずれも継目無管と称する。
本実施形態に係る長さ測定装置100は、上記の製造工程において、マンドレルミル5出側からストレッチレデューサ7入側までの間に位置する測定位置Mで継目無管Pの長さを測定する装置である。測定位置Mは、継目無管PからマンドレルバーBを引き抜く位置である。測定位置Mでは、マンドレルバーBの引き抜き動作に伴い、継目無管Pが長手方向に移動し、継目無管Pの一方の端面(図1の左側の端面)がストリッパー81に当接する。すなわち、測定位置Mでは、継目無管Pの長さに関わらず継目無管Pの一方の端部の位置(長手方向についての位置)が固定され、継目無管Pの長さに応じて他方の端部(図1の右側の端部)の位置が変化することになる。したがい、本実施形態に係る長さ測定装置100は、継目無管Pの一方の端部の位置が固定された状態で継目無管Pの長さを測定することになる。
図1に示すように、本実施形態に係る長さ測定装置100は、撮像手段1と、信号処理手段2とを備えている。
撮像手段1は、熱間状態の継目無管Pの端部を継目無管Pの長手方向に略直交する方向(径方向)から撮像し、撮像画像を取得する手段である。
本実施形態では、前述のように、継目無管Pの一方の端部の位置が固定されているため、撮像手段1は、継目無管Pの他方の端部を撮像し得る位置に配置されている。本実施形態では、継目無管Pの長手方向に沿って異なる位置に複数(本実施形態では8つ)の撮像手段1a〜1hが配置されており、複数の撮像手段1a〜1hが継目無管Pをそれぞれ撮像することで、複数の撮像手段1a〜1h毎に撮像画像が取得される。本実施形態では、複数の撮像手段1a〜1hの配置位置は固定されているが、調整可能に配置することも可能である。
撮像手段1としては、例えば、露光時間を設定可能な2次元CMOSカメラを好適に用いることができる。撮像手段1は、継目無管Pから発生する自発光(赤外光)を受光して結像するため、自発光以外の外乱光が受光されるのを極力回避できるように、赤外光のみを透過させる波長選択フィルタを具備することが好ましい。
例えば、測定位置Mにおいて、一つの撮像手段1の視野幅を約4000mmに設定し、隣り合う撮像手段1の視野幅のオーバラップ量を約200mmにすることで、8つの撮像手段1a〜1hにより、変動範囲が約30000mmの継目無管Pの長さを約2mm/画素の分解能で測定可能である。
信号処理手段2は各撮像手段1に接続されており、信号処理手段2には各撮像手段1で取得した継目無管Pの他方の端部の撮像画像が入力される。信号処理手段2は、例えば、後述する撮像工程以降の各工程を実行するためのプログラムがインストールされたコンピュータで構成される。
図2は、測定位置Mにおける搬送機構の一部(受け台、ガイド)の概略構成を示す模式図である。図2(a)は平面図であり、図2(b)は図2(a)に示すAA線矢視断面図である。
図2に示すように、測定位置Mにおいて、継目無管Pは受け台82によって下方から支持される。この受け台82は、継目無管Pの長手方向に沿った複数箇所に設けられている。また、マンドレルバーBを引き抜く際に継目無管Pが長手方向に移動するが、その際に継目無管Pが径方向に過度にずれないようにガイド83が設けられている。各撮像手段1で取得した撮像画像には、特に受け台82からの反射光を受光している画素領域が含まれる場合がある。
以下、上記の構成を有する長さ測定装置100を用いた長さ測定方法について説明する。
図3は、本発明の一実施形態に係る長尺材の長さ測定方法の概略工程を示すフロー図である。
図3に示すように、本実施形態に係る長さ測定方法は、撮像工程S1と、端面位置検出工程S2と、長さ算出工程S3とを含んでいる。以下、各工程S1〜S3について、順に説明する。
<撮像工程S1>
撮像工程S1では、撮像手段1によって熱間状態の継目無管Pの端部(他方の端部)を継目無管Pの長手方向に略直交する方向から撮像することで撮像画像を取得する。本実施形態では、継目無管Pの長手方向に沿って8つの撮像手段1a〜1hが配置されているため、継目無管Pの長さに応じて、何れかの撮像手段1によって継目無管Pの端部が撮像されることになる。なお、継目無管Pの端部を撮像した撮像手段1以外の撮像手段1については、継目無管Pの端部よりも内側の部位が撮像されるか、或いは、継目無管P以外の要素(背景のみの場合も含む)が撮像されることになる。
撮像手段1には、複数の異なる露光時間が設定されている。本実施形態では、32μsec、0.01sec、0.02sec、0.03sec、0.04sec、0.05sec、0.06sec、0.07sec、0.08sec、0.09sec、0.10secの計11通りの露光時間が設定されている。本実施形態の撮像工程S1では、各撮像手段1によって、設定された11通りの露光時間に応じた複数枚の撮像画像を順次取得する。撮像手段1が8つで、露光時間が11通りであるため、合計88枚の撮像画像が取得されることになる。
図4は、撮像工程S1で撮像される各露光時間に応じた撮像画像の例を示す。図4に示す撮像画像は、便宜上、上下の画素領域を適宜トリミングして表示している。図4(a)の撮像画像が最も露光時間が短く、撮像画像内に継目無管Pに相当する画素領域を視認できない。しかしながら、図4(b)、図4(c)と露光時間が長くなるにつれて、継目無管Pに相当する明るい(濃度値の大きな)画素領域が増加し、最も露光時間の長い図4(k)の撮像画像では、継目無管P以外の要素も明るい画素領域となっている。後述のように、本実施形態に係る長さ測定方法では、図4に示すような露光時間の異なる複数枚の撮像画像のうち、継目無管Pの端面位置を検出するのに最適な撮像画像を選択して用いることになる。
<端面位置検出工程S2>
端面位置検出工程S2では、撮像工程S1で取得した継目無管Pの端部(他方の端部)の撮像画像に基づき、信号処理手段2が、撮像画像内における継目無管Pの端面の位置(他方の端部の端面の位置)を検出する。本実施形態では、複数の撮像手段1毎に撮像画像を取得するため、信号処理手段2は、複数の撮像手段1毎に取得した撮像画像のうち、後述のようにして判定した継目無管Pの端部を含む撮像画像に基づき、撮像画像内における継目無管Pの端面の位置を検出する。
具体的には、端面位置検出工程S2では、信号処理手段2は、判定領域決定手順S21と、最適撮像画像選択手順S22と、端面位置検出手順S23とを実行する。以下、端面位置検出工程S2で実行する各手順S21〜S23について、順に説明する
(判定領域決定手順S21)
判定領域決定手順S21では、継目無管Pの端面の位置を検出するための判定領域を決定する。ここで、本実施形態の判定領域決定手順S21について説明する前に、従来の判定領域決定手順(本発明者らが本発明に想到するに至る過程で検討した判定領域決定手順)について説明する。
本実施形態では、種々の外径や肉厚を有する継目無管Pが同一の製造工程で製造されるため、加熱炉3で丸ビレットを一定の温度に加熱したとしても、継目無管Pの外径や肉厚に応じて、温度低下の速さが異なることで長さ測定時の温度が比較的大きく変化する。このため、撮像手段1で受光する自発光の強度も大きく変化することになる。これに起因して、撮像手段1の露光時間が一定であると、継目無管Pの端部が明るく撮像される場合(温度が高い場合)と、継目無管Pが暗く撮像される場合(温度が低い場合)とが混在することになる。
図5は、従来の判定領域決定手順で決定された判定領域の例を示す図である。図5に示す撮像画像は、便宜上、継目無管Pの端部近傍以外の画素領域を適宜トリミングして表示している。図5(a)は適切な明るさで撮像された継目無管Pの端部の撮像画像の例を、図5(b)は過度に明るく撮像された継目無管Pの端部の撮像画像の例を、図5(c)は過度に暗く撮像された継目無管Pの端部の撮像画像の例を示す。図5(a)〜(c)に示す破線で囲んだ領域が、従来の判定領域決定手順で決定された判定領域である。従来の判定領域決定手順では、0.01secの露光時間で撮像した撮像画像について、継目無管Pの径方向に複数形成され継目無管Pの長手方向に延びる画素ライン毎に、継目無管Pの長手方向の端面側(図5の右側)から内側(図5の左側)に向けて順に各画素の濃度値(8ビットで量子化した場合、0(黒)〜255(白)の範囲の値)を所定のしきい値(例えば、20)と比較し、所定のしきい値以上の濃度値となった画素を基準にして、両側に所定の範囲(例えば、50画素)を判定領域としていた。
従来の判定領域決定手順でも、図5(a)に示すような適切な明るさで撮像された撮像画像の場合、継目無管Pの端部の端面に相当する画素を含む画素領域を判定領域として決定できており、特に問題は生じない。しかしながら、図5(b)に示すような過度に明るく撮像された撮像画像の場合、受け台82からの反射光を受光している画素領域を判定領域として決定してしまい(判定領域内に継目無管Pの端部の端面に相当する画素が含まれない)、その結果、継目無管Pの端面の位置を正確に検出できないケースのあることがわかった。また、図5(c)に示すような過度に暗く撮像された撮像画像の場合も、継目無管Pの端面よりも内側に位置する画素領域を判定領域として決定してしまい(判定領域内に継目無管Pの端部の端面に相当する画素が含まれない)、その結果、継目無管の端面の位置を正確に検出できないケースのあることがわかった。
上記従来の判定領域決定手順の問題を解決するため、本発明者らは鋭意検討を行った。
具体的には、前述の図5(b)に示すような過度に明るく(継目無管Pの温度が高く)、受け台82が視野に入っている撮像画像が取得される継目無管Pについて、露光時間を前述の11通りに変更して撮像した場合に、撮像画像における継目無管Pの端部に相当する画素領域の濃度値(平均濃度値)と、継目無管Pの端部以外の要素(受け台82)に相当する画素領域の濃度値(平均濃度値)とが、どのように変化するかについて調査した。
同様に、前述の図5(c)に示すような過度に暗い(継目無管Pの温度が低い)撮像画像が取得される継目無管Pについて、露光時間を変更して撮像した場合に、撮像画像における継目無管Pの端部に相当する画素領域の濃度値(平均濃度値)と、継目無管Pの端部以外の要素に相当する画素領域の濃度値(平均濃度値)とが、どのように変化するかについて調査した。
図6は、上記調査の結果を示す図である。図6(a)は過度に明るい(継目無管Pの温度が高い)撮像画像についての濃度値の変化の例を、図6(b)は過度に暗い(継目無管Pの温度が低い)撮像画像についての濃度値の変化の例を示す。図6の横軸は、11通りの露光時間でそれぞれ撮像した撮像画像の順番を示し、1枚目の撮像画像が最も短い露光時間(32μsec)で撮像した撮像画像であり、順に露光時間が長くなり、最後の11枚目の撮像画像が最も長い露光時間(0.10sec)で撮像した撮像画像である。
図6に示すように、継目無管Pの温度に関わらず(図6(a)、(b)の双方について)、露光時間を長くすればするほど、撮像画像を構成する各画素の濃度値は、上限(255)に達しない限り(飽和しない限り)、いずれの画素についても増加する又は一定のままであるが、継目無管Pの端部に相当する画素領域(図6中、「〇」でプロット)と、継目無管Pの端部以外の要素に相当する画素領域(図6中、「△」でプロット)とでは、濃度値の変化の度合いが異なることがわかった。具体的には、撮像手段1の露光時間を長くすれば、継目無管Pの端部に相当する画素領域の方が、継目無管Pの端部以外の要素に相当する画素領域よりも濃度値の増加量が大きいことがわかった。このため、露光時間の異なる条件で撮像した2つの撮像画像の差分画像を利用すれば、増加量の差異が顕在化するため、継目無管Pの端部以外の要素に相当する画素領域を継目無管Pの端部に相当する画素領域であると誤認識して、従来の図5(b)、(c)に示すような判定領域内に継目無管Pの端部の端面に相当する画素が含まれないおそれが大幅に低減し、継目無管Pの端面の位置を精度良く検出できることに想到した。
上記本発明者らの知見に基づき、本実施形態の判定領域決定手順S21では、信号処理手段2が、撮像工程S1で取得した露光時間の異なる複数枚の撮像画像のうち何れか2つの撮像画像の差分画像に基づき、判定領域を決定する。以下、図7を適宜参照しつつ、本実施形態の判定領域決定手順S21について具体的に説明する。
図7は、本実施形態の判定領域決定手順S21を説明する説明図である。本実施形態の判定領域決定手順S21では、信号処理手段2は、図7(a)に示すような濃度値を有する2枚目の撮像画像(露光時間0.01sec)と、図7(b)に示すような濃度値を有する3枚目の撮像画像(露光時間0.02sec)との差分画像(図7(c))を作成する。
そして、本実施形態の判定領域決定手順S21では、信号処理手段2が、図7(d)に示すように、何れか2つの撮像画像の差分画像を、何れかの2つの撮像画像のうち何れか一方の撮像画像に繰り返し加算する。本実施形態の判定領域決定手順S21では、2枚目の撮像画像と3枚目の撮像画像との差分画像を、3枚目の撮像画像に繰り替えし加算する。これにより、濃度値が上限(255)に達する画素領域を継目無管Pに相当する画素領域と判定する。具体的には、繰り返し加算しても濃度値が上限に達する画素領域が増えなくなった時点で加算を終了し、その直前の加算で上限に達している画素領域を継目無管Pに相当する画素領域と判定する。図7(d)に示す例では、20回加算しても濃度値が上限に達する画素領域が増えなくなるため、直前の19回の加算で上限に達している画素領域(太線で囲った凸状の画素領域)が継目無管Pに相当する画素領域と判定されることになる。
次いで、本実施形態の判定領域決定手順S21では、判定した継目無管Pに相当する画素領域の端に位置する画素(図7において最も右側に位置する画素)に基づき、判定領域を決定する。具体的には、図7(e)に示すように、継目無管Pに相当する画素領域の端に位置する画素(図7(e)において太線で囲った画素)を基準として、継目無管Pの長手方向の両側に所定の範囲(図7(e)に示す例では両側にそれぞれ5画素の範囲)を判定領域として決定する。
以上に説明した判定領域決定手順S21は、撮像手段1a〜1hで撮像した全ての撮像画像について実行する。
(最適撮像画像選択手順S22)
最適撮像画像選択手順S22では、信号処理手段2は、撮像工程S1で取得した露光時間の異なる複数枚(11枚)の撮像画像の判定領域決定手順S21で決定した判定領域内に位置する画素の濃度値に基づき、複数枚の撮像画像のうち継目無管Pの端面位置を検出するのに最適な撮像画像を選択する。すなわち、判定領域決定手順S21で判定領域を決定するのに用いる撮像画像は、前述のように2枚目の撮像画像及び3枚目の撮像画像だけであるが、決定した判定領域は、最適撮像画像選択手順S22において1枚目〜11枚目の全ての撮像画像に対して用いる。
具体的には、本実施形態の最適撮像画像選択手順S22では、複数枚(11枚)の撮像画像のうち、判定領域内に位置する画素の濃度値の継目無管Pの長手方向についての微分値の絶対値が最大となる撮像画像を最適な撮像画像として選択する。より具体的には、判定領域内に位置する各画素にソーベルフィルタのような微分フィルタを適用することで継目無管Pの長手方向についての微分値を画素毎に算出し、算出した微分値の絶対値を判定領域内に位置する全ての画素について加算した場合に、加算値が最大となる撮像画像を最適な撮像画像として選択する。このようにして選択した撮像画像は、判定領域内に位置する継目無管Pの端部に相当する画素領域の濃度値と、判定領域内に位置する継目無管Pの端部以外の要素に相当する画素領域の濃度値との差が最も大きくなっている(コントラストが最も高い)撮像画像であると考えられるため、後述の端面位置検出手順S23において、継目無管Pの端部の端面の位置を最も精度良く検出可能だと考えられる。
以上に説明した最適撮像画像選択手順S22も、撮像手段1a〜1hで撮像した全ての撮像画像について実行する。これにより、撮像手段1a〜1h毎に最適撮像画像が選択される。
(端面位置検出手順S23)
端面位置検出手順S23では、信号処理手段2は、最適撮像画像選択手順S22で選択した撮像画像に基づき、継目無管Pの端面の位置を検出する。具体的には、まず、撮像手段1a〜1h毎に選択された最適撮像画像のうち、継目無管Pの端面の位置を検出するのに用いる撮像画像を決定する。
図8は、端面位置検出手順S23で用いる最適撮像画像の決定方法を説明する説明図である。図8(a)〜図8(c)は、それぞれ同じ継目無管Pを異なる撮像手段1で撮像することで取得された最適撮像画像を模式的に示している。図8に示すように、端面位置検出手順S23で用いる最適撮像画像を決定するにあたり、信号処理手段2は、最適撮像画像における継目無管Pの長手方向に沿った両端近傍に画素領域A、Bを設定し、画素領域A、B内に位置する画素の濃度値(平均濃度値など)を算出する。
図8(a)に示すように、画素領域A内に位置する画素の濃度値G(A)及び画素領域B内に位置する画素の濃度値G(B)の双方が所定のしきい値Th以上である場合、この最適撮像画像には継目無管Pの端部が撮像されておらず、継目無管Pの端部よりも内側の部位が撮像されていると判定可能である。したがい、信号処理手段2は、図8(a)に示すような最適撮像画像を端面位置検出手順S23では用いない。
図8(c)に示すように、画素領域A内に位置する画素の濃度値G(A)及び画素領域B内に位置する画素の濃度値G(B)の双方が所定のしきい値Th未満である場合も、この最適撮像画像には継目無管Pの端部が撮像されておらず、継目無管P以外の要素が撮像されていると判定可能である。したがい、信号処理手段2は、図8(c)に示すような最適撮像画像を端面位置検出手順S23では用いない。
図8(b)に示すように、画素領域A内に位置する画素の濃度値G(A)が所定のしきい値Th以上であり、画素領域B内に位置する画素の濃度値G(B)が所定のしきい値Th未満である場合、この最適撮像画像には、画素領域Aと画素領域Bとの間に端面が位置する継目無管Pの端部が撮像されていると判定可能である。したがい、信号処理手段2は、図8(b)に示すような最適撮像画像を端面位置検出手順S23で用いることを決定する。
信号処理手段2は、上記のようにして用いることを決定した図8(b)に示すような最適撮像画像(撮像手段1a〜1hのうちのいずれかの撮像手段で撮像した最適撮像画像)に基づき、継目無管Pの端面の位置を検出する。
具体的には、例えば、図8(b)に示すような最適撮像画像を所定のしきい値で2値化し、2値化された画素領域(継目無管Pの端部に相当する画素領域)の最も右側に位置する画素を継目無管Pの端面の位置として検出可能である。この検出手順で検出される端面位置の分解能は画素単位であるため、サブピクセル処理を適用することで、端面位置検出の分解能を高めることも可能である。適用するサブピクセル処理としては、例えば、最適撮像画像において、継目無管Pの径方向に複数形成され継目無管Pの長手方向に延びる画素ライン毎に、画素の濃度値の継目無管Pの長手方向についての微分値の絶対値を算出し、算出した微分値の絶対値の分布を曲線(例えば、正規分布曲線)で近似し、この近似曲線のピーク位置を継目無管Pの端面の位置として検出する処理が考えられる。
信号処理手段2は、端面位置検出工程S2として、以上に説明した判定領域決定手順S21、最適撮像画像選択手順S22及び端面位置検出手順S23を実行した後、最後に長さ算出工程S3を実行する。
<長さ算出工程S3>
長さ算出工程S3では、信号処理手段2が、端面位置検出工程S2で検出した継目無管Pの端面の位置に基づき、継目無管Pの長さを算出する。具体的には、複数(8つ)の撮像手段1a〜1hのうち継目無管Pの他方の端部を含む撮像画像(端面位置検出手順S23で用いることを決定した最適撮像画像)を取得した撮像手段1の位置と、端面位置検出工程S2で検出した撮像画像内における継目無管Pの他方の端部の端面の位置とに基づき、継目無管Pの長さを算出する。図1に示すように、継目無管Pの他方の端部を含む撮像画像を取得した撮像手段1が撮像手段1eであり、撮像手段1eが継目無管Pの一方の端部の端面の位置(ストリッパー81に当接する位置)から距離L0だけ離れた位置に配置され、撮像画像内における継目無管Pの他方の端部の端面の位置が撮像画像の中心から距離L1だけ継目無管Pの一方の端部側に離れているとすれば、継目無管Pの長さLは、以下の式(1)で算出可能である。
L=L0−L1 ・・・(1)
以上に説明した本実施形態に係る長さ測定装置100を用いた長さ測定方法によれば、撮像工程S1において、複数の異なる露光時間に応じた複数枚の継目無管Pの端部の撮像画像を取得する。そして、端面位置検出工程S2の判定領域決定手順S21において、取得した複数枚の撮像画像のうち何れか2つの撮像画像の差分画像に基づき、継目無管Pの端面の位置を検出するための判定領域を決定する。差分画像を構成する各画素の濃度値は、露光時間の変化に伴う各画素の濃度値の変化の度合いを示すものである。継目無管Pの端部に相当する画素領域と、継目無管Pの端部以外の要素に相当する画素領域とでは、濃度値の変化の度合いが異なる(図6参照)ため、差分画像における各画素の濃度値によって、継目無管Pの端部に相当する画素領域を比較的精度良く特定可能である。このため、判定領域決定手順S21において、継目無管Pの端部に相当する画素領域、ひいては継目無管Pの端面の位置を検出するための判定領域(継目無管Pの端部の端面に相当する画素を含む画素領域)を精度良く決定可能である。
次いで、本実施形態に係る長さ測定方法によれば、端面位置検出工程S2の最適撮像画像選択手順S22において、取得した複数枚の撮像画像の判定領域内に位置する画素の濃度値に基づき、複数枚の撮像画像のうち継目無管Pの端面位置を検出するのに最適な撮像画像を選択する。具体的には、判定領域内に位置する継目無管Pの端部に相当する画素領域の濃度値と、判定領域内に位置する継目無管Pの端部以外の要素に相当する画素領域の濃度値との差が最も大きくなっている撮像画像(コントラストが最も高い撮像画像)を選択するため、端面位置検出工程S2の端面位置検出手順S23において、継目無管Pの端部の端面の位置を最も精度良く検出可能であると考えられる。
以上のように、本実施形態に係る長さ測定方法によれば、長さ測定時の温度が比較的大きく変化する場合であっても、熱間状態の継目無管Pの長さを精度良く測定可能である。
本実施形態に係る長さ測定方法を用いて継目無管Pの長さを測定したところ、13864本の継目無管Pに対して、端面の位置を正確に検出できなかったのはわずか5本に過ぎず、測長成功率は99.96%であった。このような高い測長成功率であれば、本実施形態に係る長さ測定方法を実用化する上で支障がないといえる。
なお、本実施形態では、長尺材が継目無管Pである場合を例に挙げて説明したが、本発明の適用先はこれに限るものではなく、溶接管や丸ビレットなど、熱間状態である限りにおいて、種々の長尺材に適用可能である。
また、本実施形態では、測定位置Mにおいて、継目無管Pの一方の端部の位置が固定され、他方の端部の位置が変化する場合を例に挙げて説明したが、本発明は必ずしもこれに限るものではない。例えば、継目無管Pの長さに応じて継目無管Pの両端部の位置が変化する測定位置で長さを測定する場合にも、本発明は適用可能である。この場合、例えば、撮像工程S1において、継目無管Pの他方の端部だけではなく一方の端部も撮像可能なように、撮像手段1を継目無管Pの両端部近傍にそれぞれ配置し、両端部の撮像画像に対して各工程S2、S3を実行することで、継目無管Pの長さを測定可能である。
さらに、本実施形態では、継目無管Pの端部を撮像するために、複数の撮像手段1a〜1hを配置する場合を例に挙げて説明したが、本発明は必ずしもこれに限るものではない。例えば、測定位置Mにおける継目無管Pの長さがある程度予測できる場合には、継目無管Pの端部を撮像する撮像手段1の位置(継目無管Pの長手方向についての位置)を1軸ステージ等で変更可能な構成を採用し、予測した継目無管Pの長さに応じて、継目無管Pの端部が撮像できるように撮像手段1の位置を変更し、この位置変更後の撮像手段1で取得した撮像画像に対して各工程S2、S3を実行することで、継目無管Pの長さを測定することも可能である。
1・・・撮像手段
2・・・信号処理手段
100・・・長さ測定装置
P・・・継目無管(長尺材)

Claims (6)

  1. 熱間状態で自発光している長尺材の端部を該長尺材の長手方向に略直交する方向から撮像手段で撮像することで撮像画像を取得する撮像工程と、
    前記撮像工程で取得した前記長尺材の端部の撮像画像に基づき、該撮像画像内における前記長尺材の端面の位置を検出する端面位置検出工程と、
    前記端面位置検出工程で検出した前記長尺材の端面の位置に基づき、前記長尺材の長さを算出する長さ算出工程とを含み、
    前記撮像工程において、複数の異なる露光時間が設定された前記撮像手段で撮像することで、前記設定された複数の露光時間に応じた複数枚の撮像画像を取得し、
    前記端面位置検出工程は、
    前記撮像工程で取得した前記複数枚の撮像画像のうち何れか2つの撮像画像の差分画像に基づき、前記長尺材の端面の位置を検出するための判定領域を決定する判定領域決定手順と、
    前記撮像工程で取得した前記複数枚の撮像画像の前記判定領域決定手順で決定した前記判定領域内に位置する画素の濃度値に基づき、前記複数枚の撮像画像のうち前記長尺材の端面位置を検出するのに最適な撮像画像を選択する最適撮像画像選択手順と、
    前記最適撮像画像選択手順で選択した前記撮像画像に基づき、前記長尺材の端面の位置を検出する端面位置検出手順とを含む、
    ことを特徴とする長尺材の長さ測定方法。
  2. 前記撮像工程において、前記長尺材の一方の端部の位置を固定し、前記長尺材の他方の端部を前記撮像手段で撮像し、
    前記端面位置検出工程において、前記撮像工程で取得した前記長尺材の他方の端部の前記撮像画像に基づき、前記撮像画像内における前記長尺材の他方の端部の端面の位置を検出し、
    前記長さ算出工程において、前記撮像工程で前記長尺材の他方の端部を撮像した前記撮像手段の位置と、前記端面位置検出工程で検出した前記撮像画像内における前記長尺材の他方の端部の端面の位置とに基づき、前記長尺材の長さを算出する、
    ことを特徴とする請求項1に記載の長尺材の長さ測定方法。
  3. 前記撮像工程において、前記長尺材の長手方向に沿って異なる位置に複数の撮像手段を配置し、該複数の撮像手段で前記長尺材をそれぞれ撮像することで、該複数の撮像手段毎に撮像画像を取得し、
    前記端面位置検出工程において、前記複数の撮像手段毎に取得した撮像画像のうち前記長尺材の端部を含む撮像画像に基づき、該撮像画像内における前記長尺材の端面の位置を検出し、
    前記長さ算出工程において、前記複数の撮像手段のうち前記長尺材の端部を含む撮像画像を取得した撮像手段の位置と、前記端面位置検出工程で検出した前記撮像画像内における前記長尺材の端面の位置とに基づき、前記長尺材の長さを算出する、
    ことを特徴とする請求項1又は2に記載の長尺材の長さ測定方法。
  4. 前記判定領域決定手順において、前記何れか2つの撮像画像の差分画像を、前記何れかの2つの撮像画像のうち何れか一方の撮像画像に繰り返し加算することで、濃度値が上限に達する画素領域を前記長尺材に相当する画素領域と判定し、該判定した前記長尺材に相当する画素領域の端に位置する画素に基づき、前記判定領域を決定し、
    前記最適撮像画像選択手順において、前記複数枚の撮像画像のうち前記判定領域内に位置する画素の濃度値の前記長尺材の長手方向についての微分値の絶対値が最大となる撮像画像を前記最適な撮像画像として選択する、
    ことを特徴とする請求項1から3の何れかに記載の長尺材の長さ測定方法。
  5. 前記長尺材は、マンドレルミル出側から定径圧延機入側までの間に位置する継目無管である、
    ことを特徴とする請求項1から4の何れかに記載の長尺材の長さ測定方法。
  6. 熱間状態で自発光している長尺材の端部を該長尺材の長手方向に略直交する方向から撮像し、撮像画像を取得する撮像手段と、
    前記撮像手段で取得した前記長尺材の端部の撮像画像に基づき、該撮像画像内における前記長尺材の端面の位置を検出する端面位置検出工程と、前記端面位置検出工程で検出した前記長尺材の端面の位置に基づき、前記長尺材の長さを算出する長さ算出工程とを実行する信号処理手段とを備え、
    前記撮像手段は、複数の異なる露光時間が設定されており、前記設定された複数の露光時間に応じた複数枚の撮像画像を取得し、
    前記信号処理手段が実行する前記端面位置検出工程は、
    前記撮像手段が取得した前記複数枚の撮像画像のうち何れか2つの撮像画像の差分画像に基づき、前記長尺材の端面の位置を検出するための判定領域を決定する判定領域決定手順と、
    前記撮像手段が取得した前記複数枚の撮像画像の前記判定領域決定手順で決定した前記判定領域内に位置する画素の濃度値に基づき、前記複数枚の撮像画像のうち前記長尺材の端面位置を検出するのに最適な撮像画像を選択する最適撮像画像選択手順と、
    前記最適撮像画像選択手順で選択した前記撮像画像に基づき、前記長尺材の端面の位置を検出する端面位置検出手順とを含む、
    ことを特徴とする長尺材の長さ測定装置。
JP2017134410A 2017-07-10 2017-07-10 長尺材の長さ測定方法及び装置 Active JP6881109B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017134410A JP6881109B2 (ja) 2017-07-10 2017-07-10 長尺材の長さ測定方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017134410A JP6881109B2 (ja) 2017-07-10 2017-07-10 長尺材の長さ測定方法及び装置

Publications (2)

Publication Number Publication Date
JP2019013970A JP2019013970A (ja) 2019-01-31
JP6881109B2 true JP6881109B2 (ja) 2021-06-02

Family

ID=65356359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017134410A Active JP6881109B2 (ja) 2017-07-10 2017-07-10 長尺材の長さ測定方法及び装置

Country Status (1)

Country Link
JP (1) JP6881109B2 (ja)

Also Published As

Publication number Publication date
JP2019013970A (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
CN106104262B (zh) 钢管检查方法及装置、制造系统及方法、缺陷部位确定法
EP2080569B1 (en) Device and method for monitoring manufacturing status of seamless pipe and seamless pipe manufacturing facility
CN103930233B (zh) 缝焊操作的监视装置、方法、程序以及存储介质
JP4956673B2 (ja) エンドレス熱間圧延工程における鋼板の接合部の検出装置及び方法
JP2007132757A (ja) 外観検査方法および同装置
US20070286472A1 (en) Method and apparatus for identifying repeated patterns
CN104245222A (zh) 用于在管焊接设备上进行型材管的纵缝焊接的方法和装置
JP4389869B2 (ja) 継目無管の製造方法
JP6881109B2 (ja) 長尺材の長さ測定方法及び装置
JP4994950B2 (ja) 圧延材の表面疵検査方法及び表面疵検査装置
JP2005534613A (ja) 光ファイバプレフォームを伸長するための処理法および装置
JP6381583B2 (ja) 板位置測定装置、板ずれ制御装置及び板ずれ計算方法
JP6199799B2 (ja) 自発光材料画像処理装置及び自発光材料画像処理方法
JP3797064B2 (ja) 鋼板の製造装置
FI115561B (fi) Menetelmä kuvantavasti mitatun informaation ajalliseksi synkronoimiseksi
JP2012159431A (ja) 尾端クロップ検出装置及び熱間圧延設備
EP1329709B1 (en) Method to detect defects in the shape of a rolled product and relative device
KR101290424B1 (ko) 열화상을 이용한 압연소재의 변형량측정장치 및 그 제어방법
EP2957860A1 (en) Shape measuring device
RU2722957C1 (ru) Способ управления процессом высокочастотной сварки труб и устройство для его осуществления
CN112313019B (zh) 钢材非压下部宽度检测装置及其检测方法
JP6572774B2 (ja) 孔型ロールの状態測定装置
KR100711403B1 (ko) 선재 사상압연 구간에서 선재의 장력 측정장치
JP2006263796A (ja) 管材の外面疵検出方法及び装置
JP2011196768A (ja) 線材の探傷方法および探傷装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210419

R151 Written notification of patent or utility model registration

Ref document number: 6881109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151