JPWO2019186984A1 - 振動計測システム、振動計測装置、振動計測方法、及びプログラム - Google Patents

振動計測システム、振動計測装置、振動計測方法、及びプログラム Download PDF

Info

Publication number
JPWO2019186984A1
JPWO2019186984A1 JP2020508780A JP2020508780A JPWO2019186984A1 JP WO2019186984 A1 JPWO2019186984 A1 JP WO2019186984A1 JP 2020508780 A JP2020508780 A JP 2020508780A JP 2020508780 A JP2020508780 A JP 2020508780A JP WO2019186984 A1 JPWO2019186984 A1 JP WO2019186984A1
Authority
JP
Japan
Prior art keywords
vibration
image
measurement target
target surface
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020508780A
Other languages
English (en)
Other versions
JP6954451B2 (ja
Inventor
中野　学
学 中野
太田　雅彦
雅彦 太田
遊哉 石井
遊哉 石井
一仁 村田
一仁 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019186984A1 publication Critical patent/JPWO2019186984A1/ja
Application granted granted Critical
Publication of JP6954451B2 publication Critical patent/JP6954451B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

振動計測装置１０は、構造物４０の計測対象面を撮影する撮像装置２０から、光学装置１０によってパターン光が投影された計測対象面の画像をパターン画像として取得し、パターン画像から、パターン光を検出する、検出部３１と、パターン光に基づいて、撮像面の法線と計測対象面の法線との角度を推定する、推定部３２と、この角度を用いて、撮影された画像を、計測対象面の法線と撮像装置２０の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部３３と、変換された画像を用いて、構造物４０の振動を計測する、振動計測部３４と、を備えている。

Description

本発明は、画像処理を用いてインフラ構造物等の構造体の振動を計測するための、振動計測システム、振動計測装置、及び振動計測方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
従来から、対象物の機械振動を遠隔から非接触で計測する技術が提案されている。このような技術によれば、振動検出用のセンサの取り付け及び取り外しが不要となり、効率的な振動計測が可能となるため、特に橋梁・道路・建築物・設備などのインフラ構造物の維持管理及び異常検知などの分野でニーズがある。
例えば、特許文献１は、撮像装置を用いた振動計測装置を開示している。特許文献１に開示された振動計測装置は、撮像装置から対象物の時系列画像を取得し、取得した時系列画像に対して画像処理を行なって、対象物の振動を計測する。
また、特許文献２は、撮像装置に加えて、レーザ距離計又は超音波距離計等の距離測定装置も備えた振動計測装置を開示している。特許文献２に開示された振動計測装置によれば、画像内の２次元の方向での振動成分だけでなく、距離測定装置によって撮像装置の光軸方向における振動成分も計測できるため、３次元方向において対象物の振動を計測することができる。
ところで、特許文献１及び２に開示された振動計測装置によって振動計測の精度を高めるためには、撮像装置と撮影対象面とを正対させ、撮像装置の撮像面と撮影対象面とを並行にする必要がある。しかし、撮像装置の設置は通常人手によって行われており、更に、計測対象となるインフラ構造物が設置されている場所は平面であるとは限らないことから、作業者が、正確に、撮像装置の撮像面と撮影対象面とを正対させることは極めて困難である。
これに対して、例えば、特許文献３は、撮像装置と計測対象面とを正対させることなく、対象物の振動を正確に計測するための手法を提案している。具体的には、特許文献３に開示された手法では、予め、計測対象となるインフラ構造物の測面等に、鉛直方向に変化する繰り返し模様が付与されたマーカが複数個取り付けられる。次いで、撮影された動画データから、各マーカにおける繰り返し模様の変化量を算出し、更に、算出された各マーカの変化量から、対象物の振動の補正量が算出される。特許文献３に開示された手法によれば、撮像装置の撮像面と撮影対象面とが並行になっていない場合であっても、振動計測の精度が高められると考えられる。
特開２００３−１５６３８９号公報 特開２００５−２８３４４０号公報 特開２０１７−１４２１８５号公報
しかしながら、上記特許文献３に開示された手法を実施するためには、対象物であるインフラ構造物に複数のマーカを取り付ける必要がある。そして、マーカの取り付けは人手によって行う必要があり、更に、設置には危険が伴うことから、上記特許文献３に開示された手法の実施には、多額の、人的コスト、時間的コスト、及び金銭的コストがかかってしまう。
本発明の目的の一例は、上記問題を解消し、人手による作業を必要とすることなく、精度の高い振動計測を実行し得る、振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
上記目的を達成するため、本発明の一側面における振動計測システムは、構造物の振動を計測するためのシステムであって、
前記構造物の計測対象面にパターン光を投影する、光学装置と、
前記計測対象面を撮影する、撮像装置と、
振動計測装置と、を備え、
前記振動計測装置は、
前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出部と、
検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定部と、
推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部と、
変換された前記画像を用いて、前記構造物の振動を計測する、振動計測部と、
を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における振動計測装置は、構造物の振動を計測するための装置であって、
前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出部と、
検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定部と、
推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部と、
変換された前記画像を用いて、前記構造物の振動を計測する、振動計測部と、
を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における振動計測方法は、構造物の振動を計測するための方法であって、
（ａ）光学装置によって、前記構造物の計測対象面にパターン光を投影する、ステップと、
（ｂ）撮像装置によって、前記計測対象面を撮影する、ステップと、
（ｃ）前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｄ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｅ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｆ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を有する、
ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって構造物の振動を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｂ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｃ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｄ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とする。
以上のように、本発明によれば、人手による作業を必要とすることなく、精度の高い振動計測を実行することができる。
図１は、本発明の実施の形態における振動計測システム及び振動計測装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における振動計測装置の構成をより具体的に示すブロック図である。 図３は、本発明の実施の形態において用いられるパターン画像の一例を示す図である。 図４は、本発明の実施の形態において行われる角度の推定処理を説明する説明図である。 図５は、本発明の実施の形態における振動計測装置の角度及び距離の推定処理時の動作を示すフロー図である。 図６は、本発明の実施の形態における振動計測装置の振動計測処理時の動作を示すフロー図である。 図７は、本発明の実施の形態における振動計測装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
以下、本発明の実施の形態における、振動計測システム、振動計測装置、振動計測方法、及びプログラムについて、図１〜図７を参照しながら説明する。
［システム構成］
最初に、図１を用いて、本実施の形態における振動計測システム及び振動計測装置の概略構成について説明する。図１は、本発明の実施の形態における振動計測システム及び振動計測装置の概略構成を示すブロック図である。
図１に示す、本実施の形態における振動計測システム１００は、構造物４０の振動を計測するためのシステムである。本実施の形態において、構造物４０としては、たとえば、橋梁、道路、建築物、設備等のインフラ構造物が挙げられる。
図１に示すように、振動計測システム１００は、光学装置１０と、撮像装置２０と、振動計測装置３０とを備えている。光学装置１０は、構造物４０の計測対象面にパターン光を投影する装置である。撮像装置２０は、計測対象面を撮影するための装置である。振動計測装置３０は、構造物の振動を計測するための装置である。
また、図１に示すように、振動計測装置３０は、検出部３１と、推定部３２と、画像変換部３３と、振動計測部３４とを備えている。
検出部３１は、撮像装置２０から、パターン光が投影された計測対象面の画像をパターン画像として取得し、このパターン画像から、投影されたパターン光を検出する。推定部３２は、検出されたパターン光に基づいて、撮像装置２０の撮像面の法線と計測対象面の法線との角度を推定する。
画像変換部３３は、推定された角度を用いて、撮像装置２０による撮影によって得られた画像を、計測対象面の法線と撮像装置２０の撮像面の法線とが一致した場合に得られる画像に変換する。振動計測部３４は、変換された画像を用いて、構造物の振動を計測する。
このように、本実施の形態では、撮像装置２０の撮像面と計測対象面との角度が推定され、この角度を用いて、計測対象面の画像が変換される。よって、本実施の形態では、撮像装置２０が、計測対象面に正対していない場合でも、人手による作業を必要とすることなく、精度の高い振動計測を実行することができる。
続いて、図１に加えて、図２及び図３を用いて、本実施の形態における振動計測システム１００及び振動計測装置３０の構成についてより具体的に説明する。図２は、本発明の実施の形態における振動計測装置の構成をより具体的に示すブロック図である。図３は、本発明の実施の形態において用いられるパターン画像の一例を示す図である。図４は、本発明の実施の形態において行われる角度の推定処理を説明する説明図である。
まず、本実施の形態では、計測対象面は、例えば、構造物４０が橋梁であるとすると、橋梁の下面の領域（床版）に設定される。この場合、光学装置１０及び撮像装置２０は、橋梁の下面の領域に向けて設置される。
本実施の形態では、光学装置１０としては、レーザ照射装置が用いられる。また、レーザ照射装置である光学装置１０は、計測対象面に、複数のレーザ光による集光スポットを、パターン光として投影する。
本実施の形態では、撮像装置２０としては、デジタルカメラが用いられる。撮像装置２０は、計測対象面の画像データを、設定間隔で連続的に出力する。撮像装置２０が出力した画像データは、振動計測装置３０に入力される。
また、図２に示すように、本実施の形態では、振動計測装置３０は、上述した、検出部３１、推定部３２、画像変換部３３、及び振動計測部３４に加えて、データ格納部３５を備えている。データ格納部３５は、後述する、推定部３２によって推定された角度及び距離を格納する。
検出部３１は、撮像装置２０がパターン光の投影されている計測対象面の画像を撮影すると、その撮影によって得られた画像（パターン画像２１）を取得する。図３に示すように、本実施の形態では、パターン画像２１には、複数の集光スポット２２が存在している。
更に、検出部３１は、パターン画像２１から、予め設定されている集光スポット２２の特徴量に基づいて、集光スポット２２を検出し、検出した各集光スポット２２の位置座標（Ｘ、Ｙ）を特定する。また、図３において、Ｘ軸は、撮像面における水平方向を示し、Ｙ軸は、撮像面における垂直方向を示し、Ｚ軸は撮像面における法線方向を示している。
推定部３２は、本実施の形態では、検出された集光スポット２２に基づいて、撮像装置２０の撮像面の法線と計測対象面の法線との角度θを推定し、更に、撮像装置２０の撮像面から計測対象面までの距離ｄも推定する。また、推定された角度θ及び距離では、データ格納部３５に格納される。
具体的には、推定部３２は、集光スポット２２毎に、各集光スポットの位置座標と、レーザ光の中心位置座標と、計測対象面の法線との関係を示す式を設定する。そして、推定部３２は、集光スポット毎に設定した式それぞれを用いて、距離ｄ及び角度θを推定する。ここで、図４を用いて、角度θ及び距離ｄの推定処理について、より詳細に説明する。
図４に示すように、まず、３次元座標の原点Ｏを撮像装置２０の中心に設定する。また、図４において、「ｉ」は、光学装置１０から照射されるレーザ光の識別番号を示している。集光スポット２２を形成する各レーザ光は、レーザ中心Ｘｉから照射され、方向ｌｉに沿って進み、点（交差点）ｐｉで観測平面Πと交差する。
観測平面Πは、計測対象面に相当し、撮像装置２０から距離ｄ離れたところに位置している。また、観測平面Πの法線ｎは、撮像装置２０の撮像面の法線（カメラ光軸）に対して、角度θで傾斜している。また、交差点ｐｉは、画像上で点ｍｉとして射影される。
そして、レーザ中心Ｘｉ、方向ｌｉ、及びｍｉは、予め設定されるので、推定部３２は、図４に示す、ｔ、ｐｉ、ｄ、ｎ、及びθを推定する。
ここで、交差点ｐｉは下記の数１によって示すことができる。そして、交差点ｐｉは観測平面Π上の点でもあるので、ｎＴ（ｐｉ−ｑ）＝０を満たす。よって、当該式と数１とに基づきpiを消去すると数２が導かれ、さらに、数１からｔを消去すると、下記の数３が導かれる。
Figure 2019186984
Figure 2019186984
Figure 2019186984
上記数３により、交差点ｐｉは、ｎとｄとで表される関数となるため、ｎ及びｄを求める必要がある。ここで、撮像装置２０の内部のカメラパラメータが、３×３の行列Ｋであり、集光スポット２２を形成するレーザ光の数がＮ個であるとすると、下記の数４を最小化するｎ及びｄを求めれば良い。
Figure 2019186984
具体的には、未知数は法線ｎの成分であるｎｘ及びｎｙと、距離ｄとの３個であり、また、一組の｛ｍｉ、ｐｉ｝からは２つの拘束が発生する。従って、レーザ光が最低２本であれば、線形化して初期値を推定できるので、ニュートン法などにより、再投影誤差を最小化すれば、法線ｎ及び距離ｄを求めることができる。
また、法線及び距離ｄが求められると、撮像装置２０の撮像面の法線（カメラ光軸）の逆方向が、［０，０，−１］であるので、推定部３２は、逆コサイン関数（ａｒｃｃｏｓ）から、角度θを求めることができる。
画像変換部３３は、撮像装置２０から、振動計測用に撮影された画像の画像データが出力されてくると、これを取得する。そして、画像変換部３３は、推定された角度θを用いて、取得した画像データの画像を、計測対象面の法線ｎと撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する。更に、画像変換部３３は、本実施の形態では、推定された距離ｄも用い、変換画像の大きさも調整する。また、撮像装置２０は、時系列に沿って、連続して画像データを出力するため、画像変換部３３も、時系列に沿って、連続して画像の変換を実行する。
具体的には、画像変換部３３は、まず、推定された角度θと法線ｎとを用いて、写像変換行列Ｈを算出し、次いで、算出した写像変換行列Ｈを用いて、振動計測用に撮影された画像を変換する。また、写像変換行列Ｈの算出は、例えば、下記の数５及び数６を用いて行われる。更に、写像変換行列Ｈとしては、下記の参考文献の１００頁に記載のＨ又はＨ’を利用できる。
（参考文献）徐剛、「写真から作る3次元CG」（近代科学社、2001年）
また、下記の数５において、Ｘは、計測対象面の任意の点Ａにおける、撮像装置２０の座標系での座標である。Ｘ’は、変換後の画像を撮影したと仮定される撮像装置（以下「仮想撮像装置」とする。）の座標系での点Ａの座標ある。また、Ｒは、撮像装置２０と仮想撮像装置との間の回転行列であり、ｔは、並進ベクトルである。ｄ’は、仮想撮像装置と計測対象面との距離であり、ｄ’＝ｄｃｏｓθとなる。なお、図４において、仮想撮像装置は破線によって示されている。
Figure 2019186984
Figure 2019186984
振動計測部３４は、まず、画像変換部３３によって変換された画像（以下「変換画像」と表記する）から、計測対象面の面方向における変位を算出する。次に、振動計測部３４は、変換画像及び面方向における変位から、計測対象面の法線方向における変位を算出する。その後、振動計測部３４は、面方向における変位、及び法線方向における変位から、構造物４０の振動を算出する。ここで、変換画像における、水平方向をＸ’とし、垂直方向をＹ’とし、変換画像における法線方向をＺ’として、以下に、振動計測部３４による処理について具体的に説明する。
具体的には、振動計測部３４は、任意の時刻の変換画像を基準画像とし、それ以外を処理画像とする。そして、振動計測部３４は、処理画像毎に、基準画像上の注目領域、すなわち画像内での計測対象領域を含む特定の領域（以下「特定領域」と表記する）を探索して、面方向における変位（ｄ１ｘ’、ｄ１ｙ’）を算出する。
また、振動計測部３４は、特定領域の法線方向の変位ｄ１ｚ’を算出するため、基準画像を予め定められた倍率で拡大及び縮小することによって画像群（以下「基準画像群」と表記する）を作成する。このとき、振動計測部３４は、先に算出した面方向における変位（ｄ１ｘ’、ｄ１ｙ’）に基づいて、基準画像の拡大画像及び縮小画像の中心位置を設定して、基準画像群を作成する。
続いて、振動計測部３４は、処理画像毎に、拡大画像及び縮小画像に照合し、最も照合度合の高い拡大画像又は縮小画像を特定する。照合度合の高い画像の特定は、例えば、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等の類似度相関関数を用いて行なうことができる。そして、振動計測部３４は、基準画像群を構成する画像の中から最も類似度が高い画像、即ち、相関が高い画像を特定し、特定した画像の拡大率又は縮小率（以下「倍率」と表記する）を、特定領域の法線方向の変位を示す量（ｄ１ｚ’）として算出する。
また、以降の説明では、ある処理画像において最終的に得られる変位は、変位（ｄｎｘ’、ｄｎｙ’）と、法線方向の変位を示す量である倍率（ｄｎｚ’）とで表される。時系列画像に対して同様に変位を算出した結果は、時間変化する値として扱うことができるため、変位（ｄｎｘ’（ｔ）、ｄｎｙ’（ｔ））、および倍率（ｄｎｚ’（ｔ））と表記する。
更に、振動計測部３４は、特定領域の面方向における変位と撮像装置２０の撮影情報とに基づいて、構造物４０上の計測対象領域の面方向における振動を算出する。続いて、振動計測部３４は、特定領域の法線方向における変位と撮像装置２０から構造物４０までの距離ｄ’とに基づいて、計測対象面の法線方向における振動を算出する。
具体的には、特定領域の面方向における変位（ｄｎｘ’（ｔ）、ｄｎｙ’（ｔ））は、ピクセル単位で算出されている。従って、振動計測部３４は、下記の数７及び数８に示すように、Ｘ’方向及びＹ’方向それぞれにおける撮像装置２０の撮像素子の１ピクセル当たりの長さ（Ｄｘ、Ｄｙ）［ｍｍ／ｐｉｘｅｌ］を用いて、Ｘ方向及びＹ方向それぞれにおける移動量（△ｘ’、△ｙ’）［ｍｍ］を算出する。また、撮像素子の１ピクセル当たりの長さ（Ｄｘ、Ｄｙ）［ｍｍ／ｐｉｘｅｌ］は、撮像素子の画素ピッチ（ｐｘ、ｐｙ）［ｍｍ］と、レンズの焦点距離ｆ［ｍｍ］と、レンズの主点から計測対象領域までの距離Ｌ［ｍｍ］とを用いて、下記の数９及び数１０から算出できる。なお、Ｌ＝ｄ’（＝ｄｃｏｓθ）である。
Figure 2019186984
Figure 2019186984
Figure 2019186984
Figure 2019186984
また、特定領域の法線方向における変位は、倍率として算出されている。従って、振動計測部３４は、下記の数１１に示すように、撮像素子の主点から特定領域までの距離Ｌ［ｍｍ］を用いて、Ｚ’方向（法線方向）における移動量△ｚ’［ｍｍ］を算出する。
Figure 2019186984
また、このようにして得られた計測対象面の移動量（△ｘ’、△ｙ’、△ｚ’）は、時系列画像を撮影したフレーム毎に得られている。よって、時系列画像毎に得られた各移動量は、撮影フレームレートの逆数をサンプリング間隔とした計測対象面を表している。このため、振動計測部３４で算出した時系列画像毎に得られた各移動量は、Ｘ’方向、Ｙ’方向、及びＺ’方向それぞれについての計測対象領域の振動情報(振動波形)として扱うことができる。
［装置動作］
次に、本実施の形態における振動計測システム１００の動作について図５及び６を用いて説明する。以下の説明においては、適宜図１〜図４を参酌する。また、本実施の形態では、振動計測システム１００を動作させることによって、振動計測方法が実施される。よって、本実施の形態における振動計測方法の説明は、以下の振動計測システム１００の動作説明に代える。
まず、図５を用いて、振動計測装置３０による角度及び距離の推定処理について説明する。図５は、本発明の実施の形態における振動計測装置の角度及び距離の推定処理時の動作を示すフロー図である。
図５に示すように、最初に、振動計測装置３０は、光学装置１０に、パターン光の照射を指示する（ステップＡ１）。これにより、構造物４０の計測対象面に、パターン光が投影される。
次に、振動計測装置３０は、撮像装置２０に、撮影を指示する（ステップＡ２）。これにより、撮像装置２０は、パターン光が投影されている計測対象面を撮影し、撮影によって得られた画像（パターン画像）を振動計測装置３０に出力する。
次に、検出部３１は、撮像装置２０から、パターン画像を取得し、取得したパターン画像から、パターン光を検出する（ステップＡ３）。具体的には、ステップＡ３では、検出部３１は、パターン画像２１から、集光スポット２２を検出し、検出した各集光スポット２２の位置座標（Ｘ、Ｙ）を特定する。
次に、推定部３２は、ステップＡ３で検出されたパターン光に基づいて、撮像装置２０の撮像面の法線と計測対象面との角度θを推定し、更に、撮像装置２０の撮像面から計測対象面までの距離ｄも推定する（ステップＡ４）。また、推定部３２は、推定した角度θと距離ｄとをデータ格納部３５に格納する。ステップＡ４の実行により、角度及び距離の推定処理は終了する。
続いて、図６を用いて、振動計測装置３０による振動計測処理について説明する。図６は、本発明の実施の形態における振動計測装置の振動計測処理時の動作を示すフロー図である。
図６に示すように、最初に、振動計測装置３０において、画像変換部３３は、撮像装置２０が出力する計測対象面の画像データを取得する（ステップＢ１）。
次に、画像変換部３３は、ステップＢ１で取得した画像データの画像を、図５に示したステップＡ４で推定された角度及び距離を用いて、計測対象面の法線と撮像装置２０の撮像面の法線とが一致した場合に得られる画像に変換する（ステップＢ２）。
具体的には、画像変換部３３は、図５に示したステップＡ４の実行後、ステップＢ２の実行前に、推定された角度及び距離を用いて写像変換行列Ｈを算出する。そして、ステップＢ２においては、画像変換部３３は、写像変換行列Ｈを用いて、画像変換を実行する。
また、ステップＢ１及びＢ２は、予め設定されている時間の間、又は、予め設定されている数の画像データの変換が終了するまで、実行される。
次に、振動計測部３４は、ステップＢ２で変換された画像（変換画像）から、計測対象面の面方向における変位を算出する（ステップＢ３）。
次に、振動計測部３４は、変換画像、及びステップＢ３で算出した面方向における変位から、計測対象面の法線方向における変位を算出する（ステップＢ４）。
その後、振動計測部３４は、ステップＢ３で算出した面方向における変位、及びステップＢ４で算出した法線方向における変位から、構造物４０の振動を算出する（ステップＢ５）。
［実施の形態による効果］
以上のように、本実施の形態では、撮像装置２０の撮像面と計測対象面との角度、及び撮像面から計測対象面までの距離が推定され、推定されたデータに基づいて、自動的に、撮影された画像が変換される。本実施の形態によれば、撮像装置２０が、計測対象面に正対していない場合でも、人手による作業を必要とすることなく、精度の高い振動計測を実行することができる。
［変形例］
続いて、本実施の形態における変形例について説明する。上述した例では、画像変換部３３は、推定された距離ｄも用いて、変換画像の大きさの調整を行っているが、本変形例では、大きさの調整を行わない態様とすることができる。
本変形例では、画像変換部３３は、推定された角度θのみを用いて、取得した画像データの画像を、計測対象面の法線ｎと撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する。
具体的には、本変形例では、画像変換部３３は、推定された角度θと、撮像装置２０の撮像面の法線（カメラ光軸）が傾斜している向きとに基づいて、撮像装置２０の座標系を、仮想撮像装置の座標系に変換する式を作成する。そして、画像変換部３３は、作成した式を用いて、画像変換を行う。
また、本変形例では、振動計測部３４は、振動を計測する際に、推定された距離ｄ及び角度θを用いて、構造物４０の振動を補正する。具体的には、仮想撮像装置の撮像面から計測対象面までの距離ｄ’（＝ｄｃｏｓθ）と、撮像装置２０の撮像面から計測対象面までの距離ｄとの比を求め、求めた比に基づいて、基準画像及び処理画像それぞれを縮小する。その後、振動計測部３４は、縮小した基準画像及び処理画像を用いて、面方向及び法線方向における変位を算出し、更に振動も算出する。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図５に示すステップＡ１〜Ａ４、図６に示すステップＢ１〜Ｂ５実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における振動計測装置３０を実現することができる。この場合、コンピュータのプロセッサは、検出部３１、推定部３２、画像変換部３３、及び振動計測部３４として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、検出部３１、推定部３２、画像変換部３３、及び振動計測部３４のいずれかとして機能しても良い。
ここで、本実施の形態におけるプログラムを実行することによって、振動計測装置３０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における振動計測装置を実現するコンピュータの一例を示すブロック図である。
図７に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
なお、本実施の形態における振動計測装置３０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、振動計測装置３０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１６）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
構造物の振動を計測するためのシステムであって、
前記構造物の計測対象面にパターン光を投影する、光学装置と、
前記計測対象面を撮影する、撮像装置と、
振動計測装置と、を備え、
前記振動計測装置は、
前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出部と、
検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定部と、
推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部と、
変換された前記画像を用いて、前記構造物の振動を計測する、振動計測部と、
を備えている、
ことを特徴とする振動計測システム。
（付記２）
付記１に記載の振動計測システムであって、
前記推定部が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記振動計測部が、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
ことを特徴とする、振動計測システム。
（付記３）
付記１に記載の振動計測システムであって、
前記推定部が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記画像変換部が、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
ことを特徴とする、振動計測システム。
（付記４）
付記２または３に記載の振動計測システムであって、
前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影し、
前記推定部が、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
ことを特徴とする、振動計測システム。
（付記５）
構造物の振動を計測するための装置であって、
前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出部と、
検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定部と、
推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部と、
変換された前記画像を用いて、前記構造物の振動を計測する、振動計測部と、
を備えている、
ことを特徴とする振動計測装置。
（付記６）
付記５に記載の振動計測装置であって、
前記推定部が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記振動計測部が、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
ことを特徴とする、振動計測装置。
（付記７）
付記５に記載の振動計測装置であって、
前記推定部が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記画像変換部が、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
ことを特徴とする、振動計測装置。
（付記８）
付記６または７に記載の振動計測装置であって、
前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影している場合に、
前記推定部が、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
ことを特徴とする、振動計測装置。
（付記９）
構造物の振動を計測するための方法であって、
（ａ）光学装置によって、前記構造物の計測対象面にパターン光を投影する、ステップと、
（ｂ）撮像装置によって、前記計測対象面を撮影する、ステップと、
（ｃ）前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｄ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｅ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｆ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を有する、
ことを特徴とする振動計測方法。
（付記１０）
付記９に記載の振動計測方法であって、
前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記（ｆ）のステップにおいて、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
ことを特徴とする、振動計測方法。
（付記１１）
付記９に記載の振動計測方法であって、
前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記（ｅ）のステップにおいて、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
ことを特徴とする、振動計測方法。
（付記１２）
付記１０または１１に記載の振動計測方法であって、
前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影する場合に、
前記（ｄ）のステップにおいて、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
ことを特徴とする、振動計測方法。
（付記１３）
コンピュータによって構造物の振動を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｂ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｃ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｄ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１４）
付記１３に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記（ｆ）のステップにおいて、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
（付記１５）
付記１３に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記（ｅ）のステップにおいて、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
（付記１６）
付記１４または１５に記載のコンピュータ読み取り可能な記録媒体であって、
前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影する場合に、
前記（ｄ）のステップにおいて、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように、本発明によれば、人手による作業を必要とすることなく、精度の高い振動計測を実行することができる。本発明は、インフラ構造物といった構造物の振動計測において有用である。
１０ 光学装置
２０ 撮像装置
３０ 振動計測装置
３１ 検出部
３２ 推定部
３３ 画像変換部
３４ 振動計測部
４０ 構造物
１００ 振動計測システム
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
本発明は、画像処理を用いてインフラ構造物等の構造体の振動を計測するための、振動計測システム、振動計測装置、及び振動計測方法に関し、更には、これらを実現するためのプログラムに関する。
本発明の目的の一例は、上記問題を解消し、人手による作業を必要とすることなく、精度の高い振動計測を実行し得る、振動計測システム、振動計測装置、振動計測方法、及びプログラムを提供することにある。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって構造物の振動を計測するためのプログラムであって、
前記コンピュータに、
（ａ）前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｂ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｃ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｄ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を実行させる、
ことを特徴とする。
図１に示すように、振動計測システム１００は、光学装置１０と、撮像装置２０と、振動計測装置３０とを備えている。光学装置１０は、構造物４０の計測対象面にパターン光を投影する装置である。撮像装置２０は、計測対象面を撮影するための装置である。振動計測装置３０は、構造物４０の振動を計測するための装置である。
続いて、図１に加えて、図２〜図４を用いて、本実施の形態における振動計測システム１００及び振動計測装置３０の構成についてより具体的に説明する。図２は、本発明の実施の形態における振動計測装置の構成をより具体的に示すブロック図である。図３は、本発明の実施の形態において用いられるパターン画像の一例を示す図である。図４は、本発明の実施の形態において行われる角度の推定処理を説明する説明図である。
推定部３２は、本実施の形態では、検出された集光スポット２２に基づいて、撮像装置２０の撮像面の法線と計測対象面の法線との角度θを推定し、更に、撮像装置２０の撮像面から計測対象面までの距離ｄも推定する。また、推定された角度θ及び距離ｄは、データ格納部３５に格納される。
Figure 2019186984
Figure 2019186984
（付記１３）
コンピュータによって構造物の振動を計測するためのプログラムであって、
前記コンピュータに、
（ａ）前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｂ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｃ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｄ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を実行させる、プログラム。
（付記１４）
付記１３に記載のプログラムであって、
前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記（ｆ）のステップにおいて、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
ことを特徴とする、プログラム。
（付記１５）
付記１３に記載のプログラムであって、
前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
前記（ｅ）のステップにおいて、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
ことを特徴とする、プログラム。
（付記１６）
付記１４または１５に記載のプログラムであって、
前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影する場合に、
前記（ｄ）のステップにおいて、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
ことを特徴とする、プログラム。

Claims (16)

  1. 構造物の振動を計測するためのシステムであって、
    前記構造物の計測対象面にパターン光を投影する、光学装置と、
    前記計測対象面を撮影する、撮像装置と、
    振動計測装置と、を備え、
    前記振動計測装置は、
    前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出手段と、
    検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定手段と、
    推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換手段と、
    変換された前記画像を用いて、前記構造物の振動を計測する、振動計測手段と、
    を備えている、
    ことを特徴とする振動計測システム。
  2. 請求項１に記載の振動計測システムであって、
    前記推定手段が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    前記振動計測手段が、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
    ことを特徴とする、振動計測システム。
  3. 請求項１に記載の振動計測システムであって、
    前記推定手段が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    前記画像変換手段が、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
    ことを特徴とする、振動計測システム。
  4. 請求項２または３に記載の振動計測システムであって、
    前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影し、
    前記推定手段が、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
    ことを特徴とする、振動計測システム。
  5. 構造物の振動を計測するための装置であって、
    前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出手段と、
    検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定手段と、
    推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換手段と、
    変換された前記画像を用いて、前記構造物の振動を計測する、振動計測手段と、
    を備えている、
    ことを特徴とする振動計測装置。
  6. 請求項５に記載の振動計測装置であって、
    前記推定手段が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    前記振動計測手段が、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
    ことを特徴とする、振動計測装置。
  7. 請求項５に記載の振動計測装置であって、
    前記推定手段が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    前記画像変換手段が、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
    ことを特徴とする、振動計測装置。
  8. 請求項６または７に記載の振動計測装置であって、
    前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影している場合に、
    前記推定手段が、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
    ことを特徴とする、振動計測装置。
  9. 構造物の振動を計測するための方法であって、
    （ａ）光学装置によって、前記構造物の計測対象面にパターン光を投影する、ステップと、
    （ｂ）撮像装置によって、前記計測対象面を撮影する、ステップと、
    （ｃ）前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
    （ｄ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
    （ｅ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
    （ｆ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
    を有する、
    ことを特徴とする振動計測方法。
  10. 請求項９に記載の振動計測方法であって、
    前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    前記（ｆ）のステップにおいて、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
    ことを特徴とする、振動計測方法。
  11. 請求項９に記載の振動計測方法であって、
    前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    前記（ｅ）のステップにおいて、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
    ことを特徴とする、振動計測方法。
  12. 請求項１０または１１に記載の振動計測方法であって、
    前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影する場合に、
    前記（ｄ）のステップにおいて、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
    ことを特徴とする、振動計測方法。
  13. コンピュータによって構造物の振動を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータに、
    （ａ）前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
    （ｂ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面との角度を推定する、ステップと、
    （ｃ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
    （ｄ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
    を実行させる命令を含む、プログラムを記録している、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  14. 請求項１３に記載のコンピュータ読み取り可能な記録媒体であって、
    前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    前記（ｆ）のステップにおいて、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
    ことを特徴とする、コンピュータ読み取り可能な記録媒体。
  15. 請求項１３に記載のコンピュータ読み取り可能な記録媒体であって、
    前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    前記（ｅ）のステップにおいて、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
    ことを特徴とする、コンピュータ読み取り可能な記録媒体。
  16. 請求項１４または１５に記載のコンピュータ読み取り可能な記録媒体であって、
    前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影する場合に、
    前記（ｄ）のステップにおいて、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
    ことを特徴とする、コンピュータ読み取り可能な記録媒体。
JP2020508780A 2018-03-29 2018-03-29 振動計測システム、振動計測装置、振動計測方法、及びプログラム Active JP6954451B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013506 WO2019186984A1 (ja) 2018-03-29 2018-03-29 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019186984A1 true JPWO2019186984A1 (ja) 2021-03-11
JP6954451B2 JP6954451B2 (ja) 2021-10-27

Family

ID=68059631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020508780A Active JP6954451B2 (ja) 2018-03-29 2018-03-29 振動計測システム、振動計測装置、振動計測方法、及びプログラム

Country Status (3)

Country Link
US (1) US11768102B2 (ja)
JP (1) JP6954451B2 (ja)
WO (1) WO2019186984A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7172305B2 (ja) * 2018-09-03 2022-11-16 セイコーエプソン株式会社 三次元計測装置およびロボットシステム
CN114061738B (zh) * 2022-01-17 2022-05-17 风脉能源（武汉）股份有限公司 一种基于标定板位姿计算的风机塔筒基础环振动监测方法
CN117615244B (zh) * 2024-01-22 2024-04-02 四川群源科技有限公司 一种摄像设备的驱动方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082614A (ja) * 1996-09-10 1998-03-31 Niyuujietsuku:Kk モアレ縞を使った微小変位計測装置
JP2007278951A (ja) * 2006-04-10 2007-10-25 Alpine Electronics Inc 車体挙動測定装置
JP2015087135A (ja) * 2013-10-29 2015-05-07 株式会社明電舎 微小変位計測システム
JP2017075887A (ja) * 2015-10-16 2017-04-20 株式会社ニコン 振動検出装置、検査装置、振動検出方法、及び振動検出プログラム
JP2017142185A (ja) * 2016-02-10 2017-08-17 国立研究開発法人産業技術総合研究所 変位測定装置、変位測定方法およびそのプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4005795B2 (ja) 2001-11-21 2007-11-14 株式会社東芝 振動計測装置及び記憶媒体
JP4058421B2 (ja) 2004-03-30 2008-03-12 株式会社東芝 振動計測装置及びその計測方法
JP6253368B2 (ja) * 2013-11-25 2017-12-27 キヤノン株式会社 三次元形状計測装置およびその制御方法
JP2018503106A (ja) * 2014-12-27 2018-02-01 ガーディアン オプティカル テクノロジーズ リミテッドＧｕａｒｄｉａｎ Ｏｐｔｉｃａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｔｄ． 表面振動を検出するためのシステムおよび方法
DE102018202559A1 (de) * 2018-02-20 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtungen und verfahren zur vibrationsanalyse
WO2019186985A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082614A (ja) * 1996-09-10 1998-03-31 Niyuujietsuku:Kk モアレ縞を使った微小変位計測装置
JP2007278951A (ja) * 2006-04-10 2007-10-25 Alpine Electronics Inc 車体挙動測定装置
JP2015087135A (ja) * 2013-10-29 2015-05-07 株式会社明電舎 微小変位計測システム
JP2017075887A (ja) * 2015-10-16 2017-04-20 株式会社ニコン 振動検出装置、検査装置、振動検出方法、及び振動検出プログラム
JP2017142185A (ja) * 2016-02-10 2017-08-17 国立研究開発法人産業技術総合研究所 変位測定装置、変位測定方法およびそのプログラム

Also Published As

Publication number Publication date
JP6954451B2 (ja) 2021-10-27
US20210033451A1 (en) 2021-02-04
WO2019186984A1 (ja) 2019-10-03
US11768102B2 (en) 2023-09-26

Similar Documents

Publication Publication Date Title
JP6954451B2 (ja) 振動計測システム、振動計測装置、振動計測方法、及びプログラム
JP5388921B2 (ja) ３次元距離計測装置及びその方法
JP5909890B2 (ja) 変位観測方法および変位観測システム
JP5111447B2 (ja) カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびプログラムを記録した記録媒体
WO2019097578A1 (ja) 変位成分検出装置、変位成分検出方法、及びコンピュータ読み取り可能な記録媒体
JP4005795B2 (ja) 振動計測装置及び記憶媒体
JP2008299458A (ja) 車両監視装置および車両監視方法
JP4058421B2 (ja) 振動計測装置及びその計測方法
JP6954367B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
JPWO2008032375A1 (ja) 画像補正装置及び方法、並びにコンピュータプログラム
KR102271251B1 (ko) 영상처리기반 비접촉식 구조물 변위 측정 시스템 및 방법
JP6954452B2 (ja) 振動計測システム、振動計測装置、振動計測方法、及びプログラム
JP6996569B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
US11391621B2 (en) Vibration measurement apparatus, vibration measurement method, and computer-readable recording medium
WO2020255728A1 (ja) 振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
WO2020255231A1 (ja) 変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体
JP6954382B2 (ja) 振動信頼度算出装置、振動信頼度算出方法、及びプログラム
KR102302337B1 (ko) 십자형 레이저 이미지를 이용한 촬영 대상면의 기울림 각도 측정장비, 이를 이용한 촬영 대상면 기울림 각도 측정방법 및 이를 이용한 균열조사 장치
JP6091092B2 (ja) 画像処理装置、及び画像処理方法
JP2012122734A (ja) 移動体位置推定装置及び移動体位置推定方法
JP2012122848A (ja) 角度測定装置、角度の測定方法、及びプログラム
JP2024035530A (ja) 測位方法、測位処理装置、および測位システム
KR20190057511A (ko) 자동 주차 제어 장치 및 방법과 이에 관한 기록매체
Habib et al. Optical remote sensing systems for structural deflection measurement and crack characterization

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210913

R150 Certificate of patent or registration of utility model

Ref document number: 6954451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150