JP6863383B2 - 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体 - Google Patents

欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体 Download PDF

Info

Publication number
JP6863383B2
JP6863383B2 JP2018537184A JP2018537184A JP6863383B2 JP 6863383 B2 JP6863383 B2 JP 6863383B2 JP 2018537184 A JP2018537184 A JP 2018537184A JP 2018537184 A JP2018537184 A JP 2018537184A JP 6863383 B2 JP6863383 B2 JP 6863383B2
Authority
JP
Japan
Prior art keywords
displacement
observation
partial
specific section
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018537184A
Other languages
English (en)
Other versions
JPWO2018043251A1 (ja
Inventor
巡 高田
巡 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018043251A1 publication Critical patent/JPWO2018043251A1/ja
Application granted granted Critical
Publication of JP6863383B2 publication Critical patent/JP6863383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/32Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring the deformation in a solid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/30Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Description

本発明は、トンネル、橋梁といった構造物、大型の機械等の欠陥を検出するための、欠陥検出装置及び欠陥検出方法に関し、更には、これらを実現するためのプログラムを格納したコンピュータ読み取り可能記録媒体に関する。
橋梁、トンネルといった巨大なインフラ構造物等においては、その安全性を維持することに加え、運用停止時間を最小化することも強く求められている。このため、運用を止めることなく正確に欠陥を発見できる点検診断手法が必要とされている。また、こうした設備は、多くの場合、点検員が容易に近づけない場所に設置されている。これらの点から、点検診断手法として、遠隔から非接触で効率的に点検できる手法が提案されている(例えば、特許文献1参照)。
具体的には、特許文献1は、カメラで撮影された動画から構造物の劣化状態を診断する装置を開示している。特許文献1に開示された装置は、まず、動画から、フレーム毎に、構造物上に設定された複数の測定点それぞれにおける、振動波形を計測し、計測した振動波形の特徴量を算出する。次に、特許文献1に開示された装置は、算出した特徴量の変化が一定条件を満たす領域を特定し、特定した領域を対象に欠陥が発生しているかどうかを判定する。
このように、特許文献1に開示された装置を用いれば、遠隔から非接触で効率的に構造物を点検することができる。
特開2015−102363号公報 特開2004−325209号公報 国際公開第2006/132203号
ところで、特許文献1に開示された装置によって、構造物の欠陥の有無を確実に判定するためには、対象となる構造物に、ある程度の外力が印加されていることが必要となる。
言い換えると、特許文献1に開示された装置では、外力の印加されていない状況で欠陥判定を行ってしまった場合、欠陥があったとしても、誤って「欠陥なし」の誤判定を下してしまう可能性がある。
このため、特許文献1に開示された装置によって欠陥を発見するためには、装置の操作者によって構造物に外力が印加されているかどうかを判断するか、このような状態を検知する装置を設置するかの、いずれかが必要となる。しかしながら、これらの場合、人的コスト、装置コストが増加するという別の問題が発生してしまう。
本発明の目的の一例は、上記問題を解消し、構造物の欠陥判定において、コストの上昇及び誤判定の発生を抑制し得る、欠陥検出装置、欠陥検出方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における欠陥検出装置は、
対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する前記対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測する、全体変位計測手段と、
前記観測装置によって観測が行なわれている期間のうち、計測された前記全体変位が特定の状態である特定区間を検出する、特定区間検出手段と、
前記観測データに基づいて、検出された前記特定区間における、前記対象物上に設定された複数点の変位を、部分変位として計測する、部分変位計測手段と、
前記部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた前記部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、前記対象物の欠陥を検出する、欠陥検出手段と、
を備えている、ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における欠陥検出方法は、
(a)対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する前記対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測し、
(b)前記観測装置によって観測が行なわれている期間のうち、計測された前記全体変位が特定の状態である特定区間を検出し、
(c)前記観測データに基づいて、検出された前記特定区間における、前記対象物上に設定された複数点の変位を、部分変位として計測し、
(d)前記部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた前記部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、前記対象物の欠陥を検出する、
ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能記録媒体は、
コンピュータに、
(a)対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する前記対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測する、ステップと、
(b)前記観測装置によって観測が行なわれている期間のうち、計測された前記全体変位が特定の状態である特定区間を検出する、ステップと、
(c)前記観測データに基づいて、検出された前記特定区間における、前記対象物上に設定された複数点の変位を、部分変位として計測する、ステップと、
(d)前記部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた前記部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、前記対象物の欠陥を検出する、ステップと、
を実行させるプログラムを非一時的に格納することを特徴とする。
以上のように、本発明によれば、構造物の欠陥判定において、コストの上昇及び誤判定の発生を抑制することができる。
図1は、本発明の実施の形態における欠陥検出装置の概略構成を示すブロック図である。 図2は、本発明の実施の形態における欠陥検出装置の具体的構成を示すブロック図である。 図3は、本発明の実施の形態で計測された全体変位の一例を示す図である。 図4(a)〜図4(d)は、構造物の異常状態を説明するための図であり、それぞれ、状態が異なる場合について示している。 図5は、本発明の実施の形態における欠陥検出装置の動作を示すフロー図である。 図6は、本発明の実施の形態における欠陥検出装置を実現するコンピュータの一例を示すブロック図である。
(実施の形態)
以下、本発明の実施の形態における欠陥検出装置、欠陥検出方法、及びプログラムについて、図1〜図6を参照しながら説明する。
[装置構成]
最初に、図1を用いて、本実施の形態における欠陥検出装置の構成について説明する。図1は、本発明の実施の形態における欠陥検出装置の概略構成を示すブロック図である。
図1に示す、本実施の形態における欠陥検出装置10は、トンネル、橋梁といった構造物、大型の機械等を対象物として、その欠陥を検出するための装置である。図1に示すように、欠陥検出装置10は、全体変位計測部11と、特定区間検出部12と、部分変位計測部13と、欠陥検出部14とを備えている。
全体変位計測部11は、対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測する。特定区間検出部12は、観測装置によって観測が行なわれている期間のうち、計測された全体変位が特定の状態である特定区間を検出する。なお、「特定の状態」とは、例えば、対象物に一定の外力が印加され、それに応じた全体変位が生じている状態が挙げられる。
部分変位計測部13は、観測データに基づいて、検出された特定区間における、対象物上に設定された複数点の変位を、部分変位として計測する。欠陥検出部14は、部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、対象物の欠陥を検出する。
このように、欠陥検出装置10は、対象物の全体の動きの変位に基づいて、対象物に荷重が加わる等している区間、即ち、特定区間を検出し、この特定区間に対して、欠陥検出を行なっている。このため、欠陥検出装置10によれば、誤判定の発生が抑制される。また、欠陥検出装置10によれば、装置の操作者によって構造物に外力が印加されているかどうかを判断する必要も、このような状態を検知する装置を設置する必要もなくなるので、対象物の欠陥判定におけるコストの上昇も抑制される。
続いて、図2を用いて、本実施の形態における欠陥検出装置10の具体的構成について説明する。図2は、本発明の実施の形態における欠陥検出装置の具体的構成を示すブロック図である。
図2に示すように、本実施の形態では、欠陥検出装置10には、撮像装置20と測距装置30とが接続されている。撮像装置20及び測距装置30は、観測装置として機能する。また、図2には、欠陥検出の対象となる対象物として、構造物40が示されている。図2の例では、構造物40は、橋梁であり、2点支持された梁状の構造を有している。構造物40の上を車両が通過している時が、構造物40に外力が印加されている時である。また、この時、構造物40には振動が生じることになる。
撮像装置20は、図2の例では、構造物40の下面を撮影できるように配置されている。撮像装置20は、設定されたフレームレートで撮影を行ない、構造物の下面の画像データを連続して欠陥検出装置10に出力する。
撮像装置20の具体例としては、デジタルカメラ、デジタルカムコーダが挙げられる。
また、撮像装置20において、画素ピッチ、レンズ焦点距離、画素数、フレームレート等が特に限定されることはない。
また、本実施の形態では、撮像装置20は、構造物の表面変位の空間2次元分布の時系列信号を計測できるものであれば良く、時系列に沿って画像データを取得する装置(即ち、上述のデジタルカメラ、ビデオカメラ)に限定されない。
撮像装置20としては、他に、アレイ状のレーザドップラセンサ、アレイ状の歪ゲージ、アレイ状の振動センサ、アレイ状の加速度センサ等を備えた装置が挙げられる。即ち、撮像装置20は、アレイ状の表面変位センサ、アレイ状の表面歪計測センサを備えた装置であっても良い。このような装置が用いられる場合、これらアレイ状のセンサから得られる空間2次元の時系列信号が、「時系列画像(画像情報)」として扱われる。
測距装置30は、当該測距装置30から構造物40までの距離を測定する。測距装置30の具体例としては、レーザー距離計、超音波距離計などの各種計測器が挙げられる。また、測距装置30は、設定された間隔で、測定した距離の計測値を特定する距離データを、連続して欠陥検出装置10に出力する。
また、図2に示すように、本実施の形態においては、欠陥検出装置10は、上述した全体変位計測部11、特定区間検出部12、部分変位計測部13、及び欠陥検出部14に加えて、データ取得部15と、フィルタリング部16も備えている。
データ取得部15は、撮像装置20から出力された画像データと、測距装置30から出力された距離データとを、観測データとして取得する。また、データ取得部15は、本実施の形態では、観測データのうち、距離データを全体変位計測部11に渡し、画像データをフィルタリング16を経由して、部分変位計測部13に渡す。
全体変位計測部11は、本実施の形態では、構造物40の全体の動きのうち、構造物40の表面の法線方向の動きを検出し、検出した法線方向の動きの変位を、全体変位として計測する。具体的には、全体変位計測部11は、距離データに基づいて、構造物40の下面から測距装置30(観測点)までの距離を特定し、特定した距離を全体変位として計測する。また、このとき計測された全体変位は、構造物40の下面の法線方向における変位であり、構造物40の撓みに対応している。
また、特定区間検出部12は、本実施の形態では、撮像装置20及び測距装置30によって観測が行なわれている期間のうち、全体変位が最大値となる時点と全体変位が最小値となる時点とに基づいて規定された区間を、特定の状態にある特定区間として検出する。
ここで、図3を用いて、全体変位計測部11によって計測された全体変位と、特定区間検出部12によって検出される特定区間とについて説明する。図3は、本発明の実施の形態で計測された全体変位の一例を示す図である。図3において、縦軸は観測点から構造物40の下面までの距離を示し、横軸は時間を示している。
図3に示すように、構造物40は、それにかかる荷重に応じて撓むため、観測点から構造物40の下面までの距離は変化する。そして、この距離が最大値となったときに構造物40の全体変位(撓み)は最小値となる。一方、この距離が最小値となったときに構造物40の全体変位(撓み)は最大値となる。
そして、距離が最大値から最小値となるまでの区間に着目すると、この区間において、構造物40の状態は、外力が印加されていない状態から外力が印加されている状態に変化していると考えられる。従って、特定区間検出部12は、例えば、距離が最大値となった時点から、距離が最小値となった時点までの区間を特定区間として検出する。
また、特定区間検出部12は、距離が最大値となった時点から距離が最小値となった時点までの区間よりも、設定された範囲内で短い区間又は長い区間を、特定区間として検出することもできる。なお、範囲は、その後の処理で支障が生じないように適宜設定される。
更に、特定区間検出部12は、距離の平均変化速度を算出することによって、特定区間を検出することもできる。具体的には、特定区間検出部12は、先ず、設定された時間窓毎に、平均変化速度を算出し、各時間窓のうち、平均変化速度が閾値を超える時間窓を特定する。次に、特定区間検出部12は、特定した時間窓の前後において、平均変化速度の符号が変化する時間窓を特定し、特定した前の時間窓の開始点を特定区間の開始点とし、特定した後の時間窓の終了点を特定区間の終了点とする。
フィルタリング部16は、観測データのうち、特定区間に出力された観測データのみを、部分変位計測部13に渡す。具体的には、本実施の形態では、フィルタリング部16は、データ取得部15から画像データを受け取り、受け取った画像データのなかから、特定区間の間に出力された画像データのみを抽出し、抽出した画像データのみを部分変位計測部13に渡す。
部分変位計測部13は、本実施の形態では、観測データとして、特定区間の間に出力された画像データを用い、この画像データに基づいて、特定区間における、構造物40に設定された複数点の変位を、部分変位として計測する。つまり、部分変位計測部13は、全体変位が最小値となった時点から全体変位が最大値となった時点までの画像データに基づいて、部分変位を計測する。
具体的には、外力が印加された構造物40は振動するため、それに伴って、構造物40上に設定された各点も振動する。このため、部分変位計測部13は、特定区間の間に連続して出力されてくる画像データ上で、構造物40上に設定された各点を追跡し、各点の変位として、各点の振動波形を計測する。また、部分変位計測部13は、振動波形の代わりに、画像データ毎に、各点の画像上の座標を計測しても良い。
また、本実施の形態では、部分変位計測部13は、特定区間の間に出力された画像データのうち、一部の画像データのみを選択的に用いて、部分変位を計測しても良い。例えば、部分変位計測部13は、全体変位が最大値となった時点の画像データと、全体変位が最小値となった時点の画像データとを用い、前者と後者との差分を求め、求めた差分から、部分変位を計測することもできる。なお、全体変位が最大値となった時点の画像データ及び全体変位が最小値となった時点の画像データは、1フレーム分の画像データに限定されず、設定された複数フレーム分の画像データであっても良い。
欠陥検出部14は、本実施の形態では、例えば、まず、構造物40の点毎に、振動波形に基づいて特徴量を算出する。特徴量としては、振動波形の最大振幅、位相、振動波形の周波数スペクトル、固有周波数等が挙げられる。次いで、欠陥検出部14は、算出した各点の特徴量をクラスタリングする。クラスタリングの手法としては、最短距離法、最長距離法、メジアン法、重心法、群平均法、ウォード法、可変法、K−Means法、自己組織化マップ法等が挙げられる。
続いて、欠陥検出部14は、クラスタリングの結果に基づき、画像データによって特定される画像を複数の部分領域に分割する。具体的には、欠陥検出部14は、同じクラスタに属する点が同じ部分領域に属するように、画像を分割する。このとき、画像の分割には、領域成長法、分割統合法といった既存のアルゴリズムを利用することができる。その後、欠陥検出部14は、分割した画像に基づいて欠陥を検出する。
ここで、図4(a)〜(d)を用いて、構造物40に生じる各種の異常と、異常が生じた場合の構造物40の状態とについて説明する。図4(a)〜図4(d)は、構造物の異常状態を説明するための図であり、それぞれ、状態が異なる場合について示している。
また、図4(a)〜(d)に示された構造物40は、図2の例と同様に、2点支持された梁状の構造物であり、各図において構造物40は側面図で示されている。更に、図4(a)〜(d)において、構造物40の下に示された矩形の図形は、分割された画像の一例を示している。
ところで、構造物40に異常が発生しておらず、構造物40が健全であれば、図4(a)に示すように、構造物40の上面からの垂直荷重に対し、構造物の上面には圧縮応力が、下面には引張応力がそれぞれ働く。この場合、画像は、応力の向きに応じて分割される。
これに対して、図4(b)に示すように、構造物40の下面にひび割れが存在する場合、ひび割れ部分では、荷重による開き変位が大きくなる。一方、ひび割れ部分の周辺では、ひび割れ部分により応力の伝達がないため、画像の分割は、図4(a)に示す健全な状態とは異なる状態となる。
また、図4(c)に示すように、構造物40の下面側の内部に剥離が存在する場合に、構造物40を下面から観察すると、図4(b)に示したひび割れが発生した場合と同様の外観が観察される。しかしながら、剥離が存在する場合は、剥離している部分とその上部との間で応力が伝達されない状態となる。そのため、荷重の前後において、剥離している部分は一定方向に一定量だけ平行移動するだけであり、剥離している部分においては、部分変位は発生しない。よって、画像は、荷重の前後における剥離している部分に合わせて、分割されることになる。
また、図4(d)に示すように、構造物40の内部に、空洞が存在する場合、内部の空洞では応力の伝達が阻止されるため、構造物40の下面における応力は小さくなる。よって、画像から特定される部分変位も小さくなることから、画像は、内部の空洞に合わせて分割されることになる。
また、部分変位計測部13が、上述したように、部分変位として、各点の画像上の座標を計測している場合は、欠陥検出部14は、部分変位の経時変化、即ち、各点の位置の経時変化を特定する。そして、この場合、欠陥検出部14は、各点の位置の経時変化から、各点の移動方向及び移動量を求め、これらをクラスタリングする。そして、この場合も、欠陥検出部14は、クラスタリングの結果に基づき、画像データによって特定される画像を複数の部分領域に分割する。その後、欠陥検出部14は、分割した画像に基づいて欠陥を検出する。
また、図2に示した例では、測距装置30は、全体変位として、構造物40の下面の法線方向の動きを捉えるため、この法線方向に沿って設置されているが、本実施の形態はこの態様に限定されるものではない。本実施の形態では、測距装置30は、全体変位を捉えることができるのであれば、どのような配置であっても良い。例えば、測距装置30は、構造物40の下面の法線に対して傾斜した状態で配置されても良い。但し、この場合は、法線に対する測距方向の傾斜角度が、傾斜計等のデバイスによって特定されている必要がある。
また、本実施の形態では、全体変位として、構造物の下面の動き以外の動きが捉えられても良い。つまり、全体変位は、構造物40の欠陥が生じやすい部分の動きから捉えられれば良く、例えば、構造物40の上面又は側面の動きから捉えられていても良い。この場合、測距装置30は、構造物40の上面又は側面の動きが捉えられるように配置される。
また、図2に示した例では、測距装置30によって全体変位が計測されているが、本実施の形態はこの態様に限定されるものではない。本実施の形態では、全体変位の計測も撮像装置20によって行なわれていても良い。この場合、全体変位計測部11は、撮像装置20から連続して送られてくる画像データ毎に、構造物40の特定の部分の画像上での大きさを測定し、測定した大きさに基づいて、構造物40の下面から撮像装置20(観測点)までの距離を特定し、特定した距離を全体変位として計測する。
また、図2の例では、部分変位計測部13は、構造物40上に設定された点の振動波形を計測していることから、本実施の形態では、撮像装置20の代わりに、レーザドップラ振動計、接触型の振動計等が用いられても良い。
[装置動作]
次に、本発明の実施の形態における欠陥検出装置10の動作について図5を用いて説明する。図5は、本発明の実施の形態における欠陥検出装置の動作を示すフロー図である。
以下の説明においては、適宜図1〜図4を参酌する。また、本実施の形態では、欠陥検出装置10を動作させることによって、欠陥検出方法が実施される。よって、本実施の形態における欠陥検出方法の説明は、以下の欠陥検出装置10の動作説明に代える。
最初に、図5に示すように、欠陥検出装置10において、全体変位計測部11は、測距装置30から出力された距離データに基づいて、構造物40の下面から測距装置30(観測点)までの距離を、構造物40の全体変位として、設定された時間間隔で計測する(ステップA1)。時間間隔は、例えば、構造物40の全体変位の典型的な周期等に応じて設定される。
次に、全体変位計測部11は、ステップA1の実行開始から設定時間が経過すると、ステップA1による計測において、最大値及び最小値が計測されているかどうかを判定する(ステップA2)。具体的には、全体変位計測部11は、図3に示すように、計測値をグラフ化した場合に、設定時間に対して一定以上の大きさでの凸形状が観測されたか否かや、グラフの低周波成分を抽出し、注目時間区間内で凸形状が観測されたか否か等を判定する。全体変位計測部11は、上方向及び下方向の上述した凸形状が観測された場合に、最大値及び最小値が計測されていると判定する。
また、計測値をグラフ化した場合に、上述した凸形状が求められない場合が想定される。この場合には、全体変位計測部11は、設定時間で計測された計測値の中で最大の値又は最小の値を変位の最小値又は最大値として、最大値及び最小値が計測されていると判定してもよい。
さらに、全体変位計測部において、計測値に含まれる外乱による誤検出を避けるための工夫が行われてもよい。例えば、上記のように得られた最大値と最小値との差が所定値未満の場合には、全体変位計測部11は、最大値及び最小値が計測されていないと判定してもよい。
ステップA2の判定の結果、最大値及び最小値が計測されていない場合は、全体変位計測部11は、再度ステップA1を実行する。一方、ステップA2の判定の結果、最大値及び最小値が計測されている場合は、全体変位計測部11は、そのことを特定区間検出部12に通知する。
次に、特定区間検出部12は、全体変位計測部11から通知を受けると、撮像装置20及び測距装置30によって観測が行なわれている期間のうち、全体変位が最大値となる時点と全体変位が最小値となる時点とで規定された区間を、特定区間として検出する(ステップA3)。
次に、フィルタリング部16は、撮像装置20から出力された観測データのうち、ステップA3で検出された特定区間に出力された画像データのみを抽出し、これを部分変位計測部13に渡す(ステップA4)。
次に、部分変位計測部13は、ステップA4で抽出された画像データに基づいて、特定区間における、構造物40に設定された複数点の変位を、部分変位として計測する(ステップA5)。具体的には、部分変位計測部13は、画像データ上で、構造物40上に設定された各点を追跡し、各点の変位として、各点の振動波形を計測する。
次に、欠陥検出部14は、部分変位の空間分布を求め、求めた部分変位の空間分布に基づいて、構造物40の欠陥を検出する(ステップA6)。具体的には、欠陥検出部14は、構造物40の各点の特徴量を算出し、これらをクラスタリングし、クラスタリングの結果に基づき、画像を複数の部分領域に分割する。そして、欠陥検出部14は、分割した画像に基づいて欠陥を検出する。
次に、欠陥検出部14は、欠陥検出の結果を、記憶装置(図2において図示せず)に記録する(ステップA7)。ステップA7の実行後、欠陥検出装置10における処理は終了する。その後、撮像装置20、測距装置30、及び欠陥検出装置10が、構造物40の別の位置、又は他の構造物の傍に設置されると、再度、ステップA1〜A7が実行される。
[実施の形態における効果]
以上のように、本実施の形態によれば、構造物40に外力が印加されている特定区間を抽出し、この特定区間において欠陥検出が行なわれるので、誤判定の発生が抑制される。
更に、特定区間における欠陥検出が終了すれば、構造物の別の箇所、又は別の構造物について、新たに欠陥検出を開始できるので、欠陥検出全体にかかる時間の短縮化が図られる。
また、操作者によって構造物40に外力が印加されているかどうかを判断する必要も、外力の印加を検知する装置を設置する必要もなく、構造物40の欠陥判定におけるコストの上昇も抑制される。
[プログラム]
本実施の形態におけるプログラムは、コンピュータに、図5に示すステップA1〜A7を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における欠陥検出装置10と欠陥検出方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、全体変位計測部11、特定区間検出部12、部分変位計測部13、欠陥検出部14、データ取得部15及びフィルタリング部16として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、全体変位計測部11、特定区間検出部12、部分変位計測部13、欠陥検出部14、データ取得部15及びフィルタリング部16のいずれかとして機能しても良い。
ここで、本実施の形態におけるプログラムを実行することによって、欠陥検出装置10を実現するコンピュータについて図6を用いて説明する。図6は、本発明の実施の形態における欠陥検出装置を実現するコンピュータの一例を示すブロック図である。
図6に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記録媒体が挙げられる。
なお、本実施の形態における欠陥検出装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、欠陥検出装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
この発明の一部又は全部は、以下の付記のようにも記載されうるが、いかに限られない。
(付記1)
対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する前記対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測する、全体変位計測手段と、
前記観測装置によって観測が行なわれている期間のうち、計測された前記全体変位が特定の状態である特定区間を検出する、特定区間検出手段と、
前記観測データに基づいて、検出された前記特定区間における、前記対象物上に設定された複数点の変位を、部分変位として計測する、部分変位計測手段と、
前記部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた前記部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、前記対象物の欠陥を検出する、欠陥検出手段と、
を備えている、ことを特徴とする欠陥検出装置。
(付記2)
前記特定区間検出手段が、前記観測装置によって観測が行なわれている期間のうち、前記全体変位が最大値となる時点と前記全体変位が最小値となる時点とに基づいて規定された区間を、前記特定区間として検出する、
付記1に記載の欠陥検出装置。
(付記3)
前記観測データのうち、前記特定区間に出力された観測データのみを、前記部分変位計測手段に渡す、フィルタリング手段を、更に備えている、
付記1又は2に記載の欠陥検出装置。
(付記4)
前記全体変位計測手段が、前記対象物の全体の動きのうち、前記対象物の表面の法線方向の動きを検出し、検出した前記法線方向の動きの変位を、全体変位として計測する、
付記1から3のいずれかに記載の欠陥検出装置。
(付記5)
前記部分変位計測手段が、前記全体変位が最大値となった時点の観測データと、前記全体変位が最小値となった時点の観測データとに基づいて、前記部分変位を計測する、
付記2に記載の欠陥検出装置。
(付記6)
(a)対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する前記対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測し、
(b)前記観測装置によって観測が行なわれている期間のうち、計測された前記全体変位が特定の状態である特定区間を検出し、
(c)前記観測データに基づいて、検出された前記特定区間における、前記対象物上に設定された複数点の変位を、部分変位として計測し、
(d)前記部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた前記部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、前記対象物の欠陥を検出する、
ことを特徴とする欠陥検出方法。
(付記7)
前記(b)において、前記観測装置によって観測が行なわれている期間のうち、前記全体変位が最大値となる時点と前記全体変位が最小値となる時点とに基づいて規定された区間を、前記特定区間として検出する、
付記6に記載の欠陥検出方法。
(付記8)
(e)前記観測データのうち、前記特定区間に出力された観測データのみを、前記部分変位の計測に利用する、
付記6又は7に記載の欠陥検出方法。
(付記9)
前記(a)において、前記対象物の全体の動きのうち、前記対象物の表面の法線方向の動きを検出し、検出した前記法線方向の動きの変位を、全体変位として計測する、
付記6から8のいずれかに記載の欠陥検出方法。
(付記10)
前記(c)において、前記全体変位が最大値となった時点の観測データと、前記全体変位が最小値となった時点の観測データとに基づいて、前記部分変位を計測する、
付記7に記載の欠陥検出方法。
(付記11)
コンピュータに、
(a)対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する前記対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測する、ステップと、
(b)前記観測装置によって観測が行なわれている期間のうち、計測された前記全体変位が特定の状態である特定区間を検出する、ステップと、
(c)前記観測データに基づいて、検出された前記特定区間における、前記対象物上に設定された複数点の変位を、部分変位として計測する、ステップと、
(d)前記部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた前記部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、前記対象物の欠陥を検出する、ステップと、
を実行させるプログラムを格納したコンピュータ読み取り可能記録媒体。
(付記12)
前記(b)のステップにおいて、前記観測装置によって観測が行なわれている期間のうち、前記全体変位が最大値となる時点と前記全体変位が最小値となる時点とに基づいて規定された区間を、前記特定区間として検出する、
付記11に記載のコンピュータ読み取り可能記録媒体。
(付記13)
前記コンピュータに、
(e)前記観測データのうち、前記特定区間に出力された観測データのみを、前記部分変位の計測に利用する、
付記11又は12に記載のコンピュータ読み取り可能記録媒体。
(付記14)
前記(a)のステップにおいて、前記対象物の全体の動きのうち、前記対象物の表面の法線方向の動きを検出し、検出した前記法線方向の動きの変位を、全体変位として計測する、
付記11から13のいずれかに記載のコンピュータ読み取り可能記録媒体。
(付記15)
前記(c)のステップにおいて、前記全体変位が最大値となった時点の観測データと、前記全体変位が最小値となった時点の観測データとに基づいて、前記部分変位を計測する、
付記12に記載のコンピュータ読み取り可能記録媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2016年8月31日に出願された日本出願特願2016−169751を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上のように、本発明によれば、構造物の欠陥判定において、コストの上昇及び誤判定の発生を抑制することができる。本発明は、トンネル、橋梁等の構造物の状態の判定が必要な分野に有用である。
10 欠陥検出装置
11 全体変位計測部
12 特定区間検出部
13 部分変位計測部
14 欠陥検出部
15 データ取得部
16 フィルタリング部
20 撮像装置
30 測距装置
40 構造物
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス

Claims (7)

  1. 対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する前記対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測する、全体変位計測手段と、
    前記観測装置によって観測が行なわれている期間のうち、計測された前記全体変位が特定の状態である特定区間を検出する、特定区間検出手段と、
    前記観測データに基づいて、検出された前記特定区間における、前記対象物上に設定された複数点の変位を、部分変位として計測する、部分変位計測手段と、
    前記部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた前記部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、前記対象物の欠陥を検出する、欠陥検出手段と、
    を備えている、ことを特徴とする欠陥検出装置。
  2. 前記特定区間検出手段が、前記観測装置によって観測が行なわれている期間のうち、前記全体変位が最大値となる時点と前記全体変位が最小値となる時点とに基づいて規定された区間を、前記特定区間として検出する、
    請求項1に記載の欠陥検出装置。
  3. 前記観測データのうち、前記特定区間に出力された観測データのみを、前記部分変位計測手段に渡す、フィルタリング手段を、更に備えている、
    請求項1又は2に記載の欠陥検出装置。
  4. 前記全体変位計測手段が、前記対象物の全体の動きのうち、前記対象物の表面の法線方向の動きを検出し、検出した前記法線方向の動きの変位を、全体変位として計測する、
    請求項1から3のいずれかに記載の欠陥検出装置。
  5. 前記部分変位計測手段が、前記全体変位が最大値となった時点の観測データと、前記全体変位が最小値となった時点の観測データとに基づいて、前記部分変位を計測する、
    請求項2に記載の欠陥検出装置。
  6. (a)対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する前記対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測し、
    (b)前記観測装置によって観測が行なわれている期間のうち、計測された前記全体変位が特定の状態である特定区間を検出し、
    (c)前記観測データに基づいて、検出された前記特定区間における、前記対象物上に設定された複数点の変位を、部分変位として計測し、
    (d)前記部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた前記部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、前記対象物の欠陥を検出する、
    ことを特徴とする欠陥検出方法。
  7. コンピュータに、
    (a)対象物を観測する観測装置から出力された観測データに基づいて、観測点に対する前記対象物の全体の動きの変位を、全体変位として、設定された時間間隔で計測する、ステップと、
    (b)前記観測装置によって観測が行なわれている期間のうち、計測された前記全体変位が特定の状態である特定区間を検出する、ステップと、
    (c)前記観測データに基づいて、検出された前記特定区間における、前記対象物上に設定された複数点の変位を、部分変位として計測する、ステップと、
    (d)前記部分変位の経時変化及び空間分布のうち少なくとも一方を求め、求めた前記部分変位の経時変化及び空間分布のうち少なくとも一方に基づいて、前記対象物の欠陥を検出する、ステップと、
    を実行させるプログラム。
JP2018537184A 2016-08-31 2017-08-23 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体 Active JP6863383B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016169751 2016-08-31
JP2016169751 2016-08-31
PCT/JP2017/030159 WO2018043251A1 (ja) 2016-08-31 2017-08-23 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018043251A1 JPWO2018043251A1 (ja) 2019-06-27
JP6863383B2 true JP6863383B2 (ja) 2021-04-21

Family

ID=61300860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537184A Active JP6863383B2 (ja) 2016-08-31 2017-08-23 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体

Country Status (3)

Country Link
US (1) US10788320B2 (ja)
JP (1) JP6863383B2 (ja)
WO (1) WO2018043251A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596873A (zh) * 2018-03-14 2018-09-28 浙江大学山东工业技术研究院 基于高度直方图分割的耐火砖深度缺陷的识别方法
US11867592B2 (en) * 2019-03-01 2024-01-09 Nec Corporation Structure displacement amount measurement apparatus
WO2020194540A1 (ja) * 2019-03-26 2020-10-01 日本電気株式会社 構造物の変位計測装置
WO2020194539A1 (ja) * 2019-03-26 2020-10-01 日本電気株式会社 構造物の変位計測装置
JP6641056B1 (ja) * 2019-07-16 2020-02-05 株式会社東芝 機器の異常診断方法および機器の異常診断システム
CN110553935B (zh) * 2019-10-16 2021-11-02 浙江科技学院 一种动态冲切切缝方法
JP7400566B2 (ja) * 2020-03-18 2023-12-19 セイコーエプソン株式会社 計測方法、計測装置、計測システム及び計測プログラム
JP2021147819A (ja) 2020-03-18 2021-09-27 セイコーエプソン株式会社 計測方法、計測装置、計測システム及び計測プログラム
JP7375637B2 (ja) * 2020-03-18 2023-11-08 セイコーエプソン株式会社 計測方法、計測装置、計測システム及び計測プログラム
JP2021148537A (ja) 2020-03-18 2021-09-27 セイコーエプソン株式会社 計測方法、計測装置、計測システム及び計測プログラム
JP7447586B2 (ja) * 2020-03-18 2024-03-12 セイコーエプソン株式会社 計測方法、計測装置、計測システム及び計測プログラム
JP7396139B2 (ja) 2020-03-18 2023-12-12 セイコーエプソン株式会社 計測方法、計測装置、計測システム及び計測プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4958306A (en) * 1988-01-06 1990-09-18 Pacific Northwest Research & Development, Inc. Pavement inspection apparatus
US5157619A (en) * 1988-10-31 1992-10-20 Westinghouse Electric Corp. Abnormal thermal loading effects monitoring system
IL149587A (en) * 2001-05-11 2005-11-20 Orbotech Ltd Optical inspection system employing a staring array scanner
JP4114792B2 (ja) 2003-04-24 2008-07-09 国際航業株式会社 構造物変位計測装置および構造物変位計測方法
US20090105589A1 (en) 2005-06-07 2009-04-23 Takashi Osaka Ultrasonic diagnostic apparatus and method of acquiring ultrasonic elastic image
US7323868B2 (en) * 2005-09-21 2008-01-29 General Dynamics Advanced Information Systems, Inc. System and method for temperature independent measurement of standoff distance using an eddy current sensor
JP4828274B2 (ja) * 2006-03-27 2011-11-30 株式会社エヌ・ティ・ティ・データ 構造物異常判別システム及び構造物異常判別方法ならびにプログラム
JP5909890B2 (ja) * 2011-06-23 2016-04-27 株式会社大林組 変位観測方法および変位観測システム
JP5741313B2 (ja) * 2011-08-12 2015-07-01 株式会社大林組 モード解析方法、モード解析システム、変位計測方法、および変位計測システム
JP6379475B2 (ja) * 2013-11-22 2018-08-29 日本電気株式会社 振動解析装置
JP6481297B2 (ja) * 2014-09-08 2019-03-13 オムロン株式会社 モニタリング装置、モニタリングシステム、およびモニタリング方法
JP2016084579A (ja) 2014-10-23 2016-05-19 国立研究開発法人産業技術総合研究所 構造物のたわみ量分布監視方法及び監視装置
US10108325B2 (en) * 2014-12-11 2018-10-23 Rdi Technologies, Inc. Method of analyzing, displaying, organizing and responding to vital signals

Also Published As

Publication number Publication date
US20190212141A1 (en) 2019-07-11
WO2018043251A1 (ja) 2018-03-08
JPWO2018043251A1 (ja) 2019-06-27
US10788320B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
JP6863383B2 (ja) 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体
US10371510B2 (en) Structure status determination device, status determination system, and status determination method
JP6364845B2 (ja) 振動計測装置
JP6485454B2 (ja) 情報処理装置
US10190992B2 (en) Structure status determination device, status determination system, and status determination method
JP6954368B2 (ja) 変位成分検出装置、変位成分検出方法、及びプログラム
KR101063565B1 (ko) 실시간 영상처리를 이용한 진동측정 시스템 및 방법
KR101174105B1 (ko) 비접촉식 구조물 변위 측정용 파라미터 데이터 생성 방법
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
WO2020179188A1 (ja) 構造物の変位量計測装置
WO2017179535A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2020044725A1 (ja) 検査装置及び検査方法
JP2006293820A (ja) 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP5151845B2 (ja) 画像処理によるパンタグラフの鉛直加速度測定装置および測定方法
JP6954367B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
WO2020255728A1 (ja) 振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
US20220050009A1 (en) Structure deflection measurement apparatus
US10846819B2 (en) Method and apparatus to infer structural stresses with visual image and video data
JP2021043089A (ja) 振動試験解析装置および振動試験解析方法
WO2021029206A1 (ja) 画像処理装置
WO2018207528A1 (ja) 構造物異常診断装置
JPWO2020174834A1 (ja) 変位・重量対応付け装置
JP7215492B2 (ja) 検査装置
US11913889B2 (en) Prediction device for predicting a growth direction of a crack in a subject and prediction method
US20230111602A1 (en) Abnormality determination system, imaging device and abnormality determination method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210315

R150 Certificate of patent or registration of utility model

Ref document number: 6863383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150