JP6954367B2 - 計測システム、補正処理装置、補正処理方法、及びプログラム - Google Patents
計測システム、補正処理装置、補正処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6954367B2 JP6954367B2 JP2019554071A JP2019554071A JP6954367B2 JP 6954367 B2 JP6954367 B2 JP 6954367B2 JP 2019554071 A JP2019554071 A JP 2019554071A JP 2019554071 A JP2019554071 A JP 2019554071A JP 6954367 B2 JP6954367 B2 JP 6954367B2
- Authority
- JP
- Japan
- Prior art keywords
- measuring device
- vibration
- measuring
- displacement
- devices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Studio Devices (AREA)
Description
本発明は、計測システム、それに用いられる補正処理装置及び補正処理方法に関し、更には、これらを実現するためのプログラムに関する。
従来から、対象物の機械振動を遠隔から非接触で計測する技術が提案されている。このような技術によれば、振動検出用のセンサの取り付け及び取り外しが不要となり、効率的な振動計測が可能となるため、特に橋梁・道路・建築物・設備などのインフラ構造物の維持管理及び異常検知などの分野でニーズがある。
例えば、特許文献１は、撮像装置を用いた振動計測装置を開示している。特許文献１に開示された振動計測装置は、撮像装置から対象物の時系列画像を取得し、取得した時系列画像に対して画像処理を行なって、対象物の振動を計測する。但し、特許文献１に開示された振動計測装置では、画像内の２次元の方向での振動成分しか計測できず、撮像装置の光軸方向の振動成分を計測できないという問題がある。
これに対して、特許文献２は、撮像装置に加えて、レーザ距離計及び超音波距離計などの距離測定装置を用いた振動計測装置を開示している。特許文献２に開示された振動計測装置によれば、画像内の２次元の方向での振動成分だけでなく、距離測定装置によって撮像装置の光軸方向における振動成分も計測できるため、３次元方向において対象物の振動を計測することができる。
ところで、振動計測の対象物がインフラ構造物である場合は、振動計測装置は、インフラ構造物の構造上、振動を受けやすい場所に設置されるので、それ自体が振動してしまうことがある。例えば、対象物が橋梁である場合は、振動計測装置は、橋梁の点検路又は橋梁の構造部材に設置されることがあり、その場合、車輌等が通過して橋梁が揺れると、振動計測装置自体も振動してしまう。そして、振動計測装置自体が振動してしまうと、自身の振動が、対象物の振動に重畳されて観察されるため、対象物の振動成分のみを正確に計測することが困難となる。
本発明の目的の一例は、上記問題を解消し、対象物の振動を計測する計測装置の設置場所が振動を受けやすい場所であっても、対象物の振動を正確に測定し得る、計測システム、補正処理装置、補正処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における計測システムは、
対象物の振動を計測する計測装置と、前記計測装置を撮影するように配置される撮像装置と、補正処理装置とを備え、
前記補正処理装置は、
前記撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、
を備えている、
ことを特徴とする。
対象物の振動を計測する計測装置と、前記計測装置を撮影するように配置される撮像装置と、補正処理装置とを備え、
前記補正処理装置は、
前記撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、
を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における補正処理装置は、対象物の振動を計測する計測装置によって計測された振動を補正するための装置であって、
前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、
を備えている、
ことを特徴とする。
前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、
を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における補正処理方法は、対象物の振動を計測する計測装置によって計測された振動を補正するための方法であって、
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、
を有する、
ことを特徴とする。
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、
を有する、
ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、対象物の振動を計測する計測装置によって計測された振動をコンピュータによって補正するためのプログラムであって、
前記コンピュータに、
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、
を実行させることを特徴とする。
前記コンピュータに、
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、
を実行させることを特徴とする。
以上のように本発明によれば、対象物の振動を計測する計測装置の設置場所が振動を受けやすい場所であっても、対象物の振動を正確に測定することができる。
（実施の形態）
以下、本発明の実施の形態における、計測システム、補正処理装置、補正処理方法、及びプログラムについて、図１〜図８を参照しながら説明する。
以下、本発明の実施の形態における、計測システム、補正処理装置、補正処理方法、及びプログラムについて、図１〜図８を参照しながら説明する。
［装置構成］
最初に、図１を用いて、本実施の形態における、計測システム及び補正処理装置の概略構成について説明する。図１は、本発明の実施の形態における計測システム及び補正処理装置の概略構成を示す構成図である。
最初に、図１を用いて、本実施の形態における、計測システム及び補正処理装置の概略構成について説明する。図１は、本発明の実施の形態における計測システム及び補正処理装置の概略構成を示す構成図である。
図１に示す、本実施の形態における計測システム１００は、対象物４０の振動を計測するためのシステムである。本実施の形態において、対象物４０としては、たとえば、橋梁、道路、建築物、設備等のインフラ構造物が挙げられる。
また、図１に示すように、計測システム１００は、計測装置２０と、撮像装置３０と、補正処理装置１０とを備えている。このうち、計測装置２０は、対象物４０の振動を計測する装置である。撮像装置３０は、計測装置２０を撮影するように配置されている。
補正処理装置１０は、変位算出部１１と、移動量算出部１２と、補正処理部１３とを備えている。変位算出部１１は、撮像装置３０から出力されてきた、計測装置２０の時系列画像から、計測装置２０の変位を算出する。
移動量算出部１２は、算出された計測装置２０の変位に基づいて、撮像装置３０を基準とした計測装置２０の移動量を算出する。補正処理部１３は、算出された計測装置２０の移動量を用いて、計測装置２０が計測した対象物４０の振動を補正する。
このように、本実施の形態では、対象物４０の振動によって生じた計測装置２０の移動量、即ち、計測装置２０自体の振動量が算出される。そして、補正により、計測装置２０が計測した振動から計測装置２０自体の振動量がキャンセルされる。このため、本実施の形態によれば、対象物４０の振動を計測する計測装置２０の設置場所が振動を受けやすい場所であっても、対象物４０の振動を正確に測定することができる。
続いて、図２〜図４を用いて、本実施の形態における計測システム及び補正処理装置の構成についてより具体的に説明する。図２は、本発明の実施の形態における計測システムの全体構成をより具体的に示す構成図である。図３は、本発明の実施の形態における補正処理装置の構成をより具体的に示すブロック図である。図４は、本発明の実施の形態における計測システムを橋梁の振動計測に用いた場合を説明する図である。
図２に示すように、本実施の形態においては、計測システム１００は、計測装置及び撮像装置をそれぞれ複数備えている。図２の例では、計測システム１００は、計測装置２０ａ及び２０ｂと、撮像装置３０ａ及び３０ｂとを備えている。なお、以下の説明において、いずれかの計測装置を区別しない場合は、単に「計測装置２０」と表記し、いずれかの撮像装置を区別しない場合は、単に「撮像装置３０」と表記する。
また、本実施の形態では、対象物４０は橋梁であり、計測装置２０ａ及び２０ｂは、橋梁の上部構造、例えば、桁、床版等の下面の所定の領域（以下「計測対象領域」と表記する）における振動を計測している。更に、計測装置２０ａ及び２０ｂそれぞれは、互いに間隔をおいて、対象物４０の異なる部位における振動を計測できるように配置されている。
また、本実施の形態では、計測装置２０ａ及び２０ｂによって計測される振動の方向は、計測対象領域上の直交する２方向と、計測対象領域に対して垂直な方向（法線方向）との３方向に設定されている。
更に、計測装置２０ａ及び２０ｂは、３方向の振動を計測するため、計測対象領域を撮影する撮像装置（撮像装置３０とは異なる）と、計測装置から計測対象領域までの距離を測定する距離計とを備えている。そして、計測装置２０ａ及び２０ｂは、自身の撮像装置が出力した画像から、計測対象領域上の直交する２方向における振動を計測し、距離計によって計測された距離から、計測対象領域の法線方向における振動を計測する。
また、計測装置２０ａ及び２０ｂは、計測した３方向の振動を特定する振動データを、補正処理装置１０に入力する。なお、本実施の形態では、計測装置２０ａ及び２０ｂの構成は、図２に示した構成に限定されない。計測装置２０ａ及び２０ｂは、撮像装置（撮像装置３０とは異なる）のみで構成されていても良い。この場合、計測装置２０ａ及び２０ｂは、それぞれが備える撮像装置で撮影された画像から、３方向の振動を特定する。
また、図２に示すように、本実施の形態では、撮像装置３０ａは、計測装置２０ａに対応し、対応する計測装置２０ａに、別の計測装置２０ｂを撮影できるように固定されている。同様に、撮像装置３０ｂは、計測装置２０ｂに対応し、対応する計測装置２０ｂに、別の計測装置２０ａを撮影するように固定されている。
このような構成により、本実施の形態では、図３に示すように、補正処理装置１０において、変位算出部１１は、撮像装置３０毎に、各撮像装置３０が撮影している計測装置２０の時系列画像から、計測装置２０の変位を算出する。また、移動量算出部１２は、計測装置２０毎に、各計測装置２０について算出された変位に基づいて、それを撮影した撮像装置３０を基準とした各計測装置２０の移動量を算出する。更に、補正処理部１３は、計測装置２０毎に、算出された各計測装置２０の移動量を用いて、その計測装置２０が計測した対象物４０の振動を補正する。
続いて、上述した図３を用いて、補正処理装置１０における処理について以下に具体的に説明する。まず、補正処理装置１０において、変位算出部１１は、撮像装置３０毎に、それが出力する時系列画像を取得し、任意の時刻に撮像された画像を基準画像とし、それ以外を処理画像とする。そして、変位算出部１１は、処理画像毎に基準画像上の少なくとも１つ以上の特定の領域（以下「特定領域」と表記する）に対して変位を算出する。
具体的には、変位算出部１１は、まず、処理画像上の特定領域と基準画像上の特定領域とを対比して、処理画像において、基準画像の特定領域に最も類似している領域の位置を特定して、特定領域の変位（ｄ１ｘ、ｄ１ｙ）を算出する。類似している領域の位置の特定手法としては、例えば、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-means Normalized Cross-Correlation）等の類似度相関関数を用いて、最も相関が高い位置（座標）を探索する手法が挙げられる。
また、最も類似している領域の位置特定においては、最も相関が高い位置（座標）と、その位置（座標）の前後左右の位置（座標）における領域の類似度相関関数を利用し、この算出した類似度相関関数を用いて、直線フィッティング、曲線フィッティング、パラボラフィッティングなどの手法を適用しても良い。これにより、より精度良く、サブピクセル精度で類似している領域の位置（座標）を算出できることになる。
次いで、変位算出部１１は、特定領域の法線方向の変位ｄ１ｚを算出するため、基準画像を予め定められた倍率で拡大又は縮小することによって画像群（以下「基準画像群」と表記する）を作成する。このとき、変位算出部１１は、先に算出した変位（ｄ１ｘ、ｄ１ｙ）に基づいて、基準画像群を構成する各画像の拡大又は縮小の中心位置を設定して、基準画像群を作成する。
続いて、変位算出部１１は、処理画像の特定領域に対応する領域と基準画像群を構成する各画像の特定領域との類似度を算出する。このときの類似度の算出は、例えば、ＳＡＤ、ＳＳＤ、ＮＣＣ、ＺＮＣＣ等の先に述べた類似度相関関数を用いて行なうことができる。そして、変位算出部１１は、基準画像群を構成する画像の中から最も類似度が高い画像、即ち、相関が高い画像を特定し、特定した画像の拡大率又は縮小率（以下「倍率」と表記する）を、特定領域の法線方向の変位を示す量（ｄ１ｚ）として算出する。
また、変位算出部１１は、最も類似度が高い画像を特定した後、基準画像群の中から、特定した画像の前後の倍率の画像を選択し、特定した画像と選択した画像との類似度相関関数を算出し、算出した類似度相関関数を用いて、直線フィッティング、曲線フィッティングなどの手法を適用して、法線方向の変位を示す量（ｄ１ｚ）となる倍率を算出することもできる。これにより、より精度良く、法線方向の変位を示す量として、倍率（ｄ１ｚ）を算出できることになる。このようにして処理画像毎の変位（ｄ１ｘ、ｄ１ｙ）、および法線方向の変位を示す量として倍率（ｄ１ｚ）を算出する。
また、変位算出部１１は、変位の精度を高めるため、上述の処理を複数回実行することができる。具体的には、変位算出部１１は、先に算出した倍率ｄ１ｚの影響を考慮して、基準画像群を構成する画像の中から、倍率ｄ１ｚに対応する画像を選択し、選択した画像を新たな基準画像とする。次いで、変位算出部１１は、処理画像と新たな基準画像上の特定の領域とを対比して、処理画像において、新たな基準画像の特定の領域に最も類似している領域を特定し、その位置を求めて、特定の領域の変位（ｄ２ｘ、ｄ２ｙ）を検出する。
次いで、変位算出部１１は、新たに検出した変位（ｄ２ｘ、ｄ２ｙ）に基づいて、基準画像群を構成する各画像の拡大又は縮小の中心位置を設定し、新たな基準画像群を作成する。そして、変位算出部１１は、処理画像の特定領域に対応する領域と新たな基準画像群を構成する各画像の特定領域との類似度を算出し、新たな基準画像群を構成する画像の中から最も類似度が高い画像を特定する。その後、変位算出部１１は、特定した画像の倍率を、特定領域の法線方向の変位を示す量（ｄ２ｚ）として算出する。
このように、１回目の処理では、法線方向の変位を示す倍率であるｄ１ｚが考慮されていない状態で、変位（ｄ１ｘ、ｄ１ｙ）が算出されているのに対して、２回目の処理では、倍率ｄ１ｚが考慮された状態で、変位（ｄ２ｘ、ｄ２ｙ）が算出される。このため、２回目の処理で算出された変位（ｄ２ｘ、ｄ２ｙ）の方が、変位の算出する精度が向上することになる。また、同様な処理を複数回実行する場合は、変位の精度が向上することになる。
なお、上述の例では、処理の繰り返し回数は２回であるが、特に限定されるものではない。繰り返しの回数は、予め設定された回数であっても良いし、結果に応じて適宜設定されても良い。また、算出された変位の値が閾値に到達するまで繰り返される態様であっても良い。
また、以降の説明では、ある処理画像において最終的に得られる変位として、変位（ｄｎｘ、ｄｎｙ）、および法線方向の変位を示す量として倍率（ｄｎｚ）と表記する。時系列画像に対して同様に変位を算出した結果は、時間変化する値として扱うことができるため、それぞれ変位（ｄｎｘ（ｔ）、ｄｎｙ（ｔ））、および倍率（ｄｎｚ（ｔ））と表記する。
移動量算出部１２は、変位算出部１１で算出された各計測装置における、変位（ｄｎｘ（ｔ）、ｄｎｙ（ｔ））及び倍率（ｄｎｚ（ｔ））と、撮像装置における撮影情報とから、撮像装置を基準とした計測装置の移動量を算出する。撮像装置の撮影情報としては、固体撮像素子の１画素のサイズ、画素数、レンズの焦点距離、レンズの主点から計測装置までの距離、撮影フレームレート等が挙げられる。
具体的には、移動量算出部１２は、図４の例であれば、振動計測装置における、計測対象領域に対して垂直な方向（法線方向）の移動量と、橋梁の幅方向における移動量とを、変位（ｄｎｘ（ｔ）、ｄｎｙ（ｔ））から算出する。また、移動量算出部１２は、振動計測装置における、橋梁の長手方向における移動量を、倍率（ｄｎｚ（ｔ））から算出する。また、移動量算出部１２は、時系列画像を構成するフレーム毎に移動量を算出するため、各移動量は、フレームレートの逆数をサンプリング間隔とした振動情報として扱うことができる。
補正処理部１３は、計測装置２０ａ及び２０ｂそれぞれ毎に、計測された対象物４０の振動と、移動量算出部１２で算出した移動量とを用いて、計測された振動を補正する。
ここで、図４を用いて、本実施の形態における計測システム１００の具体的な適用例について説明する。図４に示すように、対象物４０が橋梁である場合は、図４に示すように、計測装置２０ａ及び２０ｂは、橋梁である対象物４０の長手方向に沿って、間隔をおいて配置される。また、計測装置２０ａ及び２０ｂは、それぞれ、橋梁の床版の下面の異なる部位における振動を計測する。
この場合、補正処理装置１０において、補正処理部１３は、橋梁の全体渡って取り付けられたセンサ又はスイッチ等によって、橋梁の荷重が加えられている箇所を特定でき、よって、特定した箇所に最も近い部位の振動を計測している計測装置２０ａを特定する。
次いで、補正処理部１３は、特定した計測装置２０ａが計測した振動を、これを撮影している撮像装置３０ｂから出力される時系列画像を用いて補正する。図４の例では、計測装置２０ａの計測対象領域の上で加重が加えられているので、補正処理部１３は、計測装置２０ａによって計測された振動を、撮像装置３０ｂから出力された時系列画像を用いて補正する。
このように、図４の例によれば、対象物４０である橋梁の振動を箇所毎に正確に測定することができる。また、図４の例においては、計測装置２０ａ及び２０ｂの２つの計測装置しか例示されていないが、本実施の形態において、計測装置の数は特に限定されない。本実施の形態では、計測装置の数は、対象物の大きさに合わせて適宜設定される。また、この場合、撮像装置３０の数も適宜設定される。
［装置動作］
次に、本発明の実施の形態における計測システム１００及び補正処理装置１０の動作について図５用いて説明する。図５は、本発明の実施の形態における補正処理装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、補正処理装置１０を動作させることによって、補正処理方法が実施される。よって、本実施の形態における補正処理方法の説明は、以下の補正処理装置の動作説明に代える。
次に、本発明の実施の形態における計測システム１００及び補正処理装置１０の動作について図５用いて説明する。図５は、本発明の実施の形態における補正処理装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、補正処理装置１０を動作させることによって、補正処理方法が実施される。よって、本実施の形態における補正処理方法の説明は、以下の補正処理装置の動作説明に代える。
図５に示すように、最初に、補正処理装置１０において、補正処理部１３は、対象物４０である橋梁に設置されているセンサから、橋梁の荷重が加えられている箇所を特定し、特定した箇所に最も近い部位の振動を計測している計測装置２０を特定する（ステップＡ１）。
次に、変位算出部１１は、ステップＡ１で特定した計測装置２０を撮影している撮像装置３０を特定し、特定した撮像装置が出力する時系列画像の画像データを取得する（ステップＡ２）。具体的には、撮像装置３０は、設定されたフレームレートで画像データを出力しているので、変位算出部１１は、所定の期間となるまで、又は所定のフレーム数に到達するため、時系列画像の画像データを取得する。
次に、変位算出部１１は、取得した時系列画像のうち、任意の時刻に撮像された１枚の画像を基準画像とし、それ以外を処理画像とし、両者を対比することによって、画像の水平方向（Ｘ方向）における特定領域の変位と、画像の垂直方向（Ｙ方向）における特定領域の変位とを算出する（ステップＡ３）。このとき算出される変位は、画像の水平方向及び垂直方向に対応する方向における、計測装置２０を撮影している撮像装置３０を基準とした、この計測装置２０の変位に該当する。
具体的には、ステップＡ２では、上述したように、変位算出部１１は、処理画像と基準画像上の特定の領域とを対比して、処理画像において、基準画像の特定の領域に最も類似している領域の位置を特定する。類似している領域の位置の特定手法としては、例えば、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-means Normalized Cross-Correlation）等の類似度相関関数を用いて、最も相関が高い位置（座標）を探索する手法が挙げられる。
また、変位算出部１１は、算出精度を高めるため、必要に応じて、最も類似度が高い位置の前後左右の位置における類似度相関関数を用いて、直線フィッティング、曲線フィッティング、パラボラフィッティングなどの手法を適用することもできる。このようにして得られた位置が、画像の水平方向及び垂直方向に対応する、撮像装置３０に対する計測装置２０の変位（ｄ１ｘ、ｄ１ｙ）として算出される。
次に、変位算出部１１は、処理画像、基準画像、およびステップＡ３で算出した計測装置２０の変位（ｄ１ｘ、ｄ１ｙ）を用いて、計測対象領域の法線方向（Ｚ方向）の変位を示す倍率ｄ１ｚを算出する（ステップＡ４）。
具体的には、ステップＡ３では、上述したように、変位算出部１１は、基準画像を予め定められた倍率で拡大又は縮小することによって基準画像群を作成し、処理画像の特定領域に対応する領域と、基準画像群を構成する各画像の特定領域との類似度を算出する。このときの類似度の算出は、例えば、ＳＡＤ、ＳＳＤ、ＮＣＣ、ＺＮＣＣ等の先に述べた類似度相関関数を用いて行なうことができる。
そして、変位算出部１１は、基準画像群を構成する画像の中から最も類似度が高い画像、即ち、相関が高い画像を特定し、特定した画像の倍率を、特定領域の法線方向の変位の量を示す倍率（ｄ１ｚ）として算出する。
更に、変位算出部１１は、必要に応じて、最も類似度が高い画像の前後の倍率の画像における類似度相関関数を算出し、それらを用いて、直線・曲線フィッティングなどの手法を用いて精度よく倍率を算出してもよい。この処理の結果、得られた倍率を、計測装置２０の特定領域の法線方向の変位を示す倍率（ｄ１ｚ）として算出する。また、これらのステップＡ３及びＡ４の処理は２回以上繰り返し行われてもよい。
次に、移動量算出部１２は、ステップＡ３で算出した水平方向および垂直方向の変位（ｄ１ｘ、ｄ１ｙ）と、ステップＡ４で算出した倍率ｄ１ｚと、撮像装置３０の撮影情報とを用いて、計測装置２０の実際の移動量を算出する（ステップＡ５）。
具体的には、撮像装置３０の固体撮像素子の１画素のサイズ（１画素当りのピッチ）をｄ［ｍｍ］、レンズの焦点距離をｆ［ｍｍ］、レンズの主点から計測装置２０までの距離をＬ［ｍｍ］、撮影フレームレートをＦＰＳ［ｆｐｓ］とする。この場合、撮影画像上での１画素のサイズＤ［ｍｍ／ｐｉｘｅｌ］は、下記の数１によって算出される。
（数１）
Ｄ＝ｄ×（Ｌ／ｆ）
Ｄ＝ｄ×（Ｌ／ｆ）
ここで、ステップＡ３で算出された変位がｄｎｘ［ｐｉｘｅｌ］、ｄｎｙ［ｐｉｘｅｌ］、ステップＡ４で算出された倍率がｄｎｚ［倍率］であるとする。この場合、移動量算出部１２は、以下の数２〜数４によって、撮像装置３０に対する計測装置２０の実際の移動量［ｍｍ］を算出する。ここで、時系列画像の水平方向に対応する計測装置２０の移動方向を「面内水平方向」とし、時系列画像の垂直方向に対応する計測装置２０の移動方向を「面内垂直方向」とする。
（数２）
計測装置の面内水平方向の実際の移動量［ｍｍ］＝ｄｎｘ×Ｄ
計測装置の面内水平方向の実際の移動量［ｍｍ］＝ｄｎｘ×Ｄ
（数３）
計測装置の面内垂直方向の実際の移動量［ｍｍ］＝ｄｎｙ×Ｄ
計測装置の面内垂直方向の実際の移動量［ｍｍ］＝ｄｎｙ×Ｄ
（数４）
計測装置の法線方向の実際の移動量［ｍｍ］＝（１／ｄｎｚ−１）×Ｌ
計測装置の法線方向の実際の移動量［ｍｍ］＝（１／ｄｎｚ−１）×Ｌ
また、時系列画像から算出した変位及び倍率に対して、移動量を算出する場合、データとしては、撮影フレームレートの逆数（１／ＦＰＳ）の時間間隔毎に移動量が得られることとなる。そのため、得られたデータは、撮影フレームレートの逆数をサンプリング間隔とした振動情報として扱うことができる。
次に、補正処理部１３は、計測装置２０から取得した振動データで特定される振動を、ステップＡ５で得られた移動量を用いて、撮像装置３０を基準とした対象物４０の振動に補正する（ステップＡ６）。また、補正処理部１３は、補正後の振動を特定するデータを出力する。
具体的には、補正処理部１３は、計測装置２０から振動データを取得し、取得した振動データから、撮像装置３０を基準とした計測対象領域の移動量を特定する。そして、補正処理部１３は、特定した移動量から、ステップＡ５で算出した計測装置２０の移動量を減算することによって、対象物４０の振動を算出する。
［実施の形態における効果］
以上のように本実施の形態では、計測装置２０が計測した振動の値は、振動の影響を受けていない撮像装置３０を基準とした値に補正される。従って、計測装置２０の設置場所が振動を受けやすい場所であっても、対象物４０の振動を正確に測定することが可能となる。また、本実施の形態では、振動は、３方向において補正されているが、これに限定されず、１方向のみにおいて補正されていても良い。
以上のように本実施の形態では、計測装置２０が計測した振動の値は、振動の影響を受けていない撮像装置３０を基準とした値に補正される。従って、計測装置２０の設置場所が振動を受けやすい場所であっても、対象物４０の振動を正確に測定することが可能となる。また、本実施の形態では、振動は、３方向において補正されているが、これに限定されず、１方向のみにおいて補正されていても良い。
［変形例１］
以下に、本実施の形態の変形例１について図６を用いて説明する。図６は、本発明の実施の形態における計測システムの変形例１を示す構成図である。図１〜図５に示した例では、計測装置２０毎に、１つの撮像装置３０が利用されているが、本実施の形態は、この態様に限定されず、例えば、複数の計測装置２０が一つの撮像装置３０によって撮影されている態様であっても良い。
以下に、本実施の形態の変形例１について図６を用いて説明する。図６は、本発明の実施の形態における計測システムの変形例１を示す構成図である。図１〜図５に示した例では、計測装置２０毎に、１つの撮像装置３０が利用されているが、本実施の形態は、この態様に限定されず、例えば、複数の計測装置２０が一つの撮像装置３０によって撮影されている態様であっても良い。
図６に示すように、本変形例１では、計測装置２０ａ及び２０ｂは、１台の撮像装置３０によって撮影されている。撮像装置３０は、広角レンズを備え、一度に２台の計測装置を撮影できるように配置されていても良いし、撮影方向の変更が可能な回転テーブル等を備え、２台の計測装置２０ａ及び２０ｂを交互に撮影できるように構成されていても良い。但し、撮像装置３０は、対象物４０の振動の影響を受けない場所に設置されているとする。
図６に示す本変形例１においても、撮像装置３０からの時系列画像によって、計測装置２０自体の振動量を算出できるので、補正により、計測装置２０が計測した振動から計測装置２０自体の振動量をキャンセルできる。このため、本変形例１を採用することによっても、計測装置２０の設置場所が振動を受けやすい場所において、対象物４０の振動を正確に測定することができる。
［変形例２］
続いて、本実施の形態の変形例２について図７を用いて説明する。図７は、本発明の実施の形態における計測システムの変形例２を示す構成図である。なお、図７においては、計測装置２０及び撮像装置３０は、側面から見た状態ではなく、上面から見た状態で示されている。また、図７においては、対象物４０の外形のみが破線で示されている。本変形例２においても、変形例１と同様に、一台の撮像装置３０は、２台の計測装置を撮影している。
続いて、本実施の形態の変形例２について図７を用いて説明する。図７は、本発明の実施の形態における計測システムの変形例２を示す構成図である。なお、図７においては、計測装置２０及び撮像装置３０は、側面から見た状態ではなく、上面から見た状態で示されている。また、図７においては、対象物４０の外形のみが破線で示されている。本変形例２においても、変形例１と同様に、一台の撮像装置３０は、２台の計測装置を撮影している。
図７に示すように、本変形例２では、複数の計測装置２０が、対象物４０である橋梁の長手方向に沿って二列となり、且つ、一方の列の計測装置２０と他方の列の２つの計測装置２０とが、共通の正三角形の頂点に位置するように、配置されている。
また、複数の撮像装置３０それぞれは、対応する計測装置２０に固定されている。但し、各撮像装置３０は、対応する計測装置２０が位置する列とは別の列に位置している、２つの計測装置２０を撮影するように、対応する計測装置２０に固定されている。
図７に示す本変形例２においても、撮像装置３０からの時系列画像によって、計測装置２０自体の振動量を算出できるので、補正により、計測装置２０が計測した振動から計測装置２０自体の振動量をキャンセルできる。このため、本変形例２を採用することによっても、計測装置２０の設置場所が振動を受けやすい場所において、対象物４０の振動を正確に測定することができる。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図５に示すステップＡ１〜Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における補正処理装置１０と補正処理方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、変位算出部１１、移動量算出部１２、及び補正処理部１３として機能し、処理を行なう。
本実施の形態におけるプログラムは、コンピュータに、図５に示すステップＡ１〜Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における補正処理装置１０と補正処理方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、変位算出部１１、移動量算出部１２、及び補正処理部１３として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、変位算出部１１、移動量算出部１２、及び補正処理部１３のいずれかとして機能しても良い。
ここで、本実施の形態におけるプログラムを実行することによって、補正処理装置１０を実現するコンピュータについて図８を用いて説明する。図８は、本発明の実施の形態における補正処理装置を実現するコンピュータの一例を示すブロック図である。
図８に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact DiskRead Only Memory）などの光学記録媒体が挙げられる。
なお、本実施の形態における補正処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、補正処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１３）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
対象物の振動を計測する計測装置と、前記計測装置を撮影するように配置される撮像装置と、補正処理装置とを備え、
前記補正処理装置は、
前記撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、
を備えている、
ことを特徴とする計測システム。
対象物の振動を計測する計測装置と、前記計測装置を撮影するように配置される撮像装置と、補正処理装置とを備え、
前記補正処理装置は、
前記撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、
を備えている、
ことを特徴とする計測システム。
（付記２）
前記計測装置及び前記撮像装置が、それぞれ複数備えられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測し、
前記補正処理装置において、
前記変位算出部が、複数の前記撮像装置それぞれ毎に、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記移動量算出部が、複数の前記計測装置それぞれ毎に、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記補正処理部が、複数の前記計測装置それぞれ毎に、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
付記１に記載の計測システム。
前記計測装置及び前記撮像装置が、それぞれ複数備えられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測し、
前記補正処理装置において、
前記変位算出部が、複数の前記撮像装置それぞれ毎に、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記移動量算出部が、複数の前記計測装置それぞれ毎に、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記補正処理部が、複数の前記計測装置それぞれ毎に、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
付記１に記載の計測システム。
（付記３）
前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測し、
前記補正処理装置において、前記補正処理部が、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
付記２に記載の計測システム。
前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測し、
前記補正処理装置において、前記補正処理部が、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
付記２に記載の計測システム。
（付記４）
複数の前記計測装置が、前記橋梁の長手方向に沿って二列となり、且つ、一方の列の前記計測装置と他方の列の２つの前記計測装置とが、共通の正三角形の頂点に位置するように、配置され、
複数の前記撮像装置それぞれは、対応する前記計測装置が位置する列とは別の列に位置している、２つの前記計測装置を撮影するように、対応する前記計測装置に固定されている、
付記３に記載の計測システム。
複数の前記計測装置が、前記橋梁の長手方向に沿って二列となり、且つ、一方の列の前記計測装置と他方の列の２つの前記計測装置とが、共通の正三角形の頂点に位置するように、配置され、
複数の前記撮像装置それぞれは、対応する前記計測装置が位置する列とは別の列に位置している、２つの前記計測装置を撮影するように、対応する前記計測装置に固定されている、
付記３に記載の計測システム。
（付記５）
対象物の振動を計測する計測装置によって計測された振動を補正するための装置であって、
前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、
を備えている、
ことを特徴とする補正処理装置。
対象物の振動を計測する計測装置によって計測された振動を補正するための装置であって、
前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、
を備えている、
ことを特徴とする補正処理装置。
（付記６）
前記計測装置及び前記撮像装置が、それぞれ複数用いられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測している場合において、
前記変位算出部が、複数の前記撮像装置それぞれ毎に、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記移動量算出部が、複数の前記計測装置それぞれ毎に、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記補正処理部が、複数の前記計測装置それぞれ毎に、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
付記５に記載の補正処理装置。
前記計測装置及び前記撮像装置が、それぞれ複数用いられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測している場合において、
前記変位算出部が、複数の前記撮像装置それぞれ毎に、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記移動量算出部が、複数の前記計測装置それぞれ毎に、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記補正処理部が、複数の前記計測装置それぞれ毎に、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
付記５に記載の補正処理装置。
（付記７）
前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測している場合において、
前記補正処理部が、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
付記６に記載の補正処理装置。
前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測している場合において、
前記補正処理部が、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
付記６に記載の補正処理装置。
（付記８）
対象物の振動を計測する計測装置によって計測された振動を補正するための方法であって、
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、
を有する、
ことを特徴とする補正処理方法。
対象物の振動を計測する計測装置によって計測された振動を補正するための方法であって、
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、
を有する、
ことを特徴とする補正処理方法。
（付記９）
前記計測装置及び前記撮像装置が、それぞれ複数用いられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測している場合において、
前記（ａ）のステップにおいて、複数の前記撮像装置それぞれ毎に、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記（ｂ）のステップにおいて、複数の前記計測装置それぞれ毎に、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記（ｃ）のステップにおいて、複数の前記計測装置それぞれ毎に、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
付記８に記載の補正処理方法。
前記計測装置及び前記撮像装置が、それぞれ複数用いられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測している場合において、
前記（ａ）のステップにおいて、複数の前記撮像装置それぞれ毎に、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記（ｂ）のステップにおいて、複数の前記計測装置それぞれ毎に、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記（ｃ）のステップにおいて、複数の前記計測装置それぞれ毎に、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
付記８に記載の補正処理方法。
（付記１０）
前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測している場合において、
前記（ｃ）のステップにおいて、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
付記９に記載の補正処理方法。
前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測している場合において、
前記（ｃ）のステップにおいて、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
付記９に記載の補正処理方法。
（付記１１）
対象物の振動を計測する計測装置によって計測された振動をコンピュータによって補正するためのプログラムであって、
前記コンピュータに、
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、
を実行させるプログラム。
対象物の振動を計測する計測装置によって計測された振動をコンピュータによって補正するためのプログラムであって、
前記コンピュータに、
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、
を実行させるプログラム。
（付記１２）
前記計測装置及び前記撮像装置が、それぞれ複数用いられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測している場合において、
前記（ａ）のステップにおいて、複数の前記撮像装置それぞれ毎に、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記（ｂ）のステップにおいて、複数の前記計測装置それぞれ毎に、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記（ｃ）のステップにおいて、複数の前記計測装置それぞれ毎に、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
付記１１に記載のプログラム。
前記計測装置及び前記撮像装置が、それぞれ複数用いられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測している場合において、
前記（ａ）のステップにおいて、複数の前記撮像装置それぞれ毎に、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記（ｂ）のステップにおいて、複数の前記計測装置それぞれ毎に、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記（ｃ）のステップにおいて、複数の前記計測装置それぞれ毎に、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
付記１１に記載のプログラム。
（付記１３）
前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測している場合において、
前記（ｃ）のステップにおいて、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
付記１２に記載のプログラム。
前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測している場合において、
前記（ｃ）のステップにおいて、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
付記１２に記載のプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように本発明によれば、対象物の振動を計測する計測装置の設置場所が振動を受けやすい場所であっても、対象物の振動を正確に測定することができる。本発明は、橋梁・道路・建築物・設備などのインフラ構造物の維持管理及び異常検知などの分野に有用である。
１０ 補正処理装置
１１ 変位算出部
１２ 移動量算出部
１３ 補正処理部
２０、２０ａ、２０ｂ 計測装置
３０、３０ａ、３０ｂ 撮像装置
４０ 対象物
１００ 計測システム
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
１１ 変位算出部
１２ 移動量算出部
１３ 補正処理部
２０、２０ａ、２０ｂ 計測装置
３０、３０ａ、３０ｂ 撮像装置
４０ 対象物
１００ 計測システム
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
Claims (9)
- 対象物の振動を計測する計測装置と、前記計測装置を撮影するように配置される撮像装置と、補正処理装置とを有し、
前記補正処理装置は、
前記撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、を有する、
さらに、前記計測装置及び前記撮像装置が、それぞれ複数備えられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測し、
前記補正処理装置において、
前記変位算出部が、複数の前記撮像装置ごとに、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記移動量算出部が、複数の前記計測装置ごとに、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記補正処理部が、複数の前記計測装置ごとに、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
計測システム。 - 前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測し、
前記補正処理装置において、前記補正処理部が、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
請求項１に記載の計測システム。 - 複数の前記計測装置が、前記橋梁の長手方向に沿って二列となり、且つ、一方の列の前記計測装置と他方の列の２つの前記計測装置とが、共通の正三角形の頂点に位置するように、配置され、
複数の前記撮像装置それぞれは、対応する前記計測装置が位置する列とは別の列に位置している、２つの前記計測装置を撮影するように、対応する前記計測装置に固定されている、
請求項２に記載の計測システム。 - 対象物の振動を計測する計測装置によって計測された振動を補正するための装置であって、
前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、変位算出部と、
前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、移動量算出部と、
算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、補正処理部と、
を備え、
さらに、前記計測装置及び前記撮像装置が、それぞれ複数用いられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測している場合において、
前記変位算出部が、複数の前記撮像装置ごとに、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記移動量算出部が、複数の前記計測装置ごとに、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記補正処理部が、複数の前記計測装置ごとに、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
ことを特徴とする補正処理装置。 - 前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測している場合において、
前記補正処理部が、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
請求項４に記載の補正処理装置。 - 対象物の振動を計測する計測装置によって計測された振動を補正するための方法であって、
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、を有し、
さらに、前記計測装置及び前記撮像装置が、それぞれ複数用いられ、
複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測している場合において、
前記（ａ）のステップにおいて、複数の前記撮像装置ごとに、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記（ｂ）のステップにおいて、複数の前記計測装置ごとに、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記（ｃ）のステップにおいて、複数の前記計測装置ごとに、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
補正処理方法。 - 前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測している場合において、
前記（ｃ）のステップにおいて、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
請求項６に記載の補正処理方法。 - 対象物の振動を計測する計測装置によって計測された振動をコンピュータによって補正するためのプログラムであって、
前記コンピュータに、
（ａ）前記計測装置を撮影するように配置された撮像装置から出力されてきた、前記計測装置の時系列画像から、前記計測装置の変位を算出する、ステップと、
（ｂ）前記変位に基づいて、前記撮像装置を基準とした前記計測装置の移動量を算出する、ステップと、
（ｃ）算出された前記計測装置の移動量を用いて、前記計測装置が計測した前記対象物の振動を補正する、ステップと、を実行させ、
前記計測装置及び前記撮像装置が、それぞれ複数用いられ、
さらに、複数の前記撮像装置それぞれが、いずれかの前記計測装置に対応し、対応する前記計測装置に、別の前記計測装置を撮影するように固定され、
複数の前記計測装置それぞれは、互いに間隔をおいて、前記対象物の異なる部位における振動を計測している場合において、
前記（ａ）のステップにおいて、複数の前記撮像装置ごとに、当該撮像装置が撮影している前記計測装置の時系列画像から、前記計測装置の変位を算出し、
前記（ｂ）のステップにおいて、複数の前記計測装置ごとに、当該計測装置の前記変位に基づいて、当該計測装置を撮影した前記撮像装置を基準とした当該計測装置の移動量を算出し、
前記（ｃ）のステップにおいて、複数の前記計測装置ごとに、算出された当該計測装置の移動量を用いて、当該計測装置が計測した前記対象物の振動を補正する、
プログラム。 - 前記対象物が橋梁であり、
複数の前記計測装置が、前記橋梁の長手方向に沿って、間隔をおいて配置され、それぞれ、前記橋梁の床版の下面の異なる部位における振動を計測している場合において、
前記（ｃ）のステップにおいて、前記橋梁における荷重が加えられた箇所に最も近い部位の振動を計測している前記計測装置を特定し、特定した前記計測装置が計測した振動を補正する、
請求項８に記載のプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/040945 WO2019097577A1 (ja) | 2017-11-14 | 2017-11-14 | 計測システム、補正処理装置、補正処理方法、及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019097577A1 JPWO2019097577A1 (ja) | 2020-11-26 |
| JP6954367B2 true JP6954367B2 (ja) | 2021-10-27 |
Family
ID=66539435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019554071A Active JP6954367B2 (ja) | 2017-11-14 | 2017-11-14 | 計測システム、補正処理装置、補正処理方法、及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11519780B2 (ja) |
| JP (1) | JP6954367B2 (ja) |
| WO (1) | WO2019097577A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6954382B2 (ja) * | 2018-01-23 | 2021-10-27 | 日本電気株式会社 | 振動信頼度算出装置、振動信頼度算出方法、及びプログラム |
| JP7357836B2 (ja) | 2019-12-17 | 2023-10-10 | 株式会社竹中工務店 | 画像処理装置及び画像処理プログラム |
| WO2022195998A1 (ja) * | 2021-03-15 | 2022-09-22 | 日本電気株式会社 | 異常検出装置、異常検出方法、及びプログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4005795B2 (ja) | 2001-11-21 | 2007-11-14 | 株式会社東芝 | 振動計測装置及び記憶媒体 |
| JP4058421B2 (ja) | 2004-03-30 | 2008-03-12 | 株式会社東芝 | 振動計測装置及びその計測方法 |
| JP4533090B2 (ja) | 2004-05-14 | 2010-08-25 | キヤノン株式会社 | 指標較正装置および情報処理方法 |
| US7613361B2 (en) | 2004-05-14 | 2009-11-03 | Canon Kabushiki Kaisha | Information processing method and device |
| US9560246B2 (en) * | 2012-12-14 | 2017-01-31 | The Trustees Of Columbia University In The City Of New York | Displacement monitoring system having vibration cancellation capabilities |
| JP6364845B2 (ja) | 2014-03-18 | 2018-08-01 | 日本電気株式会社 | 振動計測装置 |
| US10108325B2 (en) * | 2014-12-11 | 2018-10-23 | Rdi Technologies, Inc. | Method of analyzing, displaying, organizing and responding to vital signals |
| JPWO2016152075A1 (ja) * | 2015-03-20 | 2018-01-18 | 日本電気株式会社 | 構造物の状態判定装置と状態判定システムおよび状態判定方法 |
| ES2686470T3 (es) * | 2015-12-10 | 2018-10-18 | Airbus Defence and Space GmbH | Dispositivo modular para un análisis de vibraciones de vídeo a alta velocidad |
| JP6589672B2 (ja) * | 2016-02-08 | 2019-10-16 | コニカミノルタ株式会社 | 移動量検出器、およびそれを備えた画像形成装置 |
| WO2017179535A1 (ja) | 2016-04-15 | 2017-10-19 | 日本電気株式会社 | 構造物の状態判定装置と状態判定システムおよび状態判定方法 |
| JP7067479B2 (ja) * | 2016-09-21 | 2022-05-16 | 日本電気株式会社 | 変位計測装置、変位計測システム、変位計測方法及びプログラム |
| JP6322817B1 (ja) * | 2017-01-25 | 2018-05-16 | パナソニックＩｐマネジメント株式会社 | 剛性測定装置および剛性測定方法 |
-
2017
- 2017-11-14 JP JP2019554071A patent/JP6954367B2/ja active Active
- 2017-11-14 WO PCT/JP2017/040945 patent/WO2019097577A1/ja active Application Filing
- 2017-11-14 US US16/763,073 patent/US11519780B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11519780B2 (en) | 2022-12-06 |
| US20200348168A1 (en) | 2020-11-05 |
| WO2019097577A1 (ja) | 2019-05-23 |
| JPWO2019097577A1 (ja) | 2020-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6767642B2 (ja) | 測定装置および測定方法 | |
| JP6954368B2 (ja) | 変位成分検出装置、変位成分検出方法、及びプログラム | |
| CN111263142B (zh) | 一种摄像模组光学防抖的测试方法、装置、设备及介质 | |
| JP5909890B2 (ja) | 変位観測方法および変位観測システム | |
| WO2018043251A1 (ja) | 欠陥検出装置、欠陥検出方法、及びコンピュータ読み取り可能記録媒体 | |
| JP6954367B2 (ja) | 計測システム、補正処理装置、補正処理方法、及びプログラム | |
| US20060215881A1 (en) | Distance measurement apparatus, electronic device, distance measurement method, distance measurement control program and computer-readable recording medium | |
| JP6813025B2 (ja) | 状態判定装置、状態判定方法、及びプログラム | |
| JP6954451B2 (ja) | 振動計測システム、振動計測装置、振動計測方法、及びプログラム | |
| JP6996569B2 (ja) | 計測システム、補正処理装置、補正処理方法、及びプログラム | |
| JP5267100B2 (ja) | 運動推定装置及びプログラム | |
| JP6954369B2 (ja) | 振動計測装置、振動計測方法、及びプログラム | |
| JP6960047B2 (ja) | 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体 | |
| JP6954452B2 (ja) | 振動計測システム、振動計測装置、振動計測方法、及びプログラム | |
| JP6602089B2 (ja) | 画像処理装置及びその制御方法 | |
| JP6897448B2 (ja) | 線幅推定プログラム、装置、及び方法 | |
| JP4468019B2 (ja) | 画像処理装置 | |
| KR102049666B1 (ko) | 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치 | |
| JP6954382B2 (ja) | 振動信頼度算出装置、振動信頼度算出方法、及びプログラム | |
| WO2020129715A1 (ja) | 画像補正装置、画像補正方法、及びプログラム | |
| CN116007518A (zh) | 基于机器视觉的隔震结构支座形变监测方法、装置及计算机设备 | |
| JP2016224647A (ja) | 画像処理プログラム、画像処理方法、及び画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200508 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200508 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210913 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6954367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |