JP6960047B2 - 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体 - Google Patents

振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6960047B2
JP6960047B2 JP2020513199A JP2020513199A JP6960047B2 JP 6960047 B2 JP6960047 B2 JP 6960047B2 JP 2020513199 A JP2020513199 A JP 2020513199A JP 2020513199 A JP2020513199 A JP 2020513199A JP 6960047 B2 JP6960047 B2 JP 6960047B2
Authority
JP
Japan
Prior art keywords
analysis
vibration
axis
subject
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020513199A
Other languages
English (en)
Other versions
JPWO2019198534A1 (ja
Inventor
圭祐 大森
圭 徳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2019198534A1 publication Critical patent/JPWO2019198534A1/ja
Application granted granted Critical
Publication of JP6960047B2 publication Critical patent/JP6960047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体に関する。
本願は、2018年4月10日に、日本に出願された特願2018−075567に優先権を主張し、その内容をここに援用する。
被写体の振動を解析する技術として、被写体に加速度センサなどのセンサを設置し、センサが出力する振動情報に基づいて被写体の振動を解析する技術、被写体にレーザ光を照射して反射した反射光の情報に基づいて解析する技術、および、撮像装置によって撮像した被写体の動画像(映像)を解析する技術などがある。映像を解析する技術は、遠隔から計測可能である点および被写体内の複数箇所を解析可能である点において、有用である。
上述のような被写体の振動を解析する技術として、例えば、特許文献1には、撮像した振動測定対象物の測定対象部の時系列画像に基づいて測定対象部の振動分析を行う技術が開示されている。
特開2003−156389号公報(2003年5月30日公開)
しかしながら、特許文献1に記載の技術は、必ずしも好適に被写体の振動を解析することができるわけではない。
本発明は上記課題に鑑みてなされたものであり、被写体の振動を好適に解析可能な振動解析装置およびその関連技術を提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係る振動解析装置は、ユーザの操作に応じて解析軸を設定する解析軸設定部と、被写体の映像に基づいて、前記被写体における前記解析軸に沿った振動を解析する振動解析部と、前記振動解析部による解析結果を出力する出力部と、を備えている。
本発明の一態様に係る振動解析装置は、解析軸を設定する解析軸設定部と、被写体の映像に基づいて、前記被写体における前記解析軸に沿った振動を解析する振動解析部と、前記被写体の画像に前記解析軸を重畳して表示するとともに、前記振動解析部による解析結果を表示する表示部と、を備えている。
本発明の一態様に係る振動解析装置の制御方法は、被写体の振動を解析する振動解析装置の制御方法であって、前記振動解析装置が、ユーザの操作に応じて解析軸を設定する解析軸設定工程と、前記振動解析装置が、前記被写体の映像に基づいて、該被写体における前記解析軸に沿った振動を解析する振動解析工程と、前記振動解析装置が、前記振動解析工程における解析結果を出力する出力工程と、を包含する。
本発明の一態様によれば、被写体の振動を好適に解析可能な振動解析装置およびその関連技術を提供することができる。
実施形態1に係る振動解析システムの構成を示す機能ブロック図である。 実施形態1に係る振動解析装置の制御処理の流れの一例を示すフローチャートである。 被写体の映像を示す図である。 実施形態1に係る振動解析装置による振動の解析結果の一例を示す図である。 解析軸をY軸およびX軸以外の方向に設定する一例について説明するための図である。 解析軸をY軸およびX軸以外の方向に設定した場合の振動の解析結果の一例を示す図である。 実施形態1に係る振動解析装置による振動の解析結果の一例を示す図である。 解析軸をY軸およびX軸以外の方向に変更した場合の振動の解析結果の一例を示す図である。 実施形態1に係る振動解析装置による振動の解析結果の一例を示す図である。 図9に示す振動の周波数と強度との関係を示すグラフである。 周波数ごとに解析した振動の解析結果の一例を示す図である。 解析軸の方向を、X軸方向からX軸方向とY軸方向との中間の方向に変更した場合について説明するための図である。 被写体の映像の一例を示す図である。 撮像部と被写体との位置関係の一例を示す図である。 被写体の映像の一例を示す図である。 被写体の映像の一例を示す図である。 被写体の映像の一例を示す図である。 被写体の映像の一例を示す図である。 表示部に表示される画像の一例を示す図である。 表示部に表示される画像の一例を示す図である。
<実施形態1>
以下、本発明の一実施形態(実施形態1)に係る振動解析システム1、振動解析装置60および振動解析装置60の制御方法について、図1〜12に基づいて詳細に説明する。
〔振動解析システム1〕
まず、図1に基づいて、本発明の一実施形態に係る振動解析システム1の構成の一例について説明する。図1は、実施形態1に係る振動解析システム1の構成を示す機能ブロック図である。図1に示すように、振動解析システム1は、撮像部10、操作部20、表示部30、記憶部40、制御部50および振動解析装置60を備えている。また、図1において、振動解析装置60は、撮像部10、操作部20、表示部30、記憶部40および制御部50に接続されている。
[撮像部10]
撮像部10は、被写体を撮像するものであり、撮像した被写体の映像(解析対象である振動する被写体を含む映像)を入力映像として振動解析装置60に送信する。
ここで、被写体の映像を好適に撮像するために、撮像部10は固定されていることが好ましい。ただし、例えば被写体が橋梁など、地上に固定した撮像部10から撮像する際に被写体が死角となる場合、および、撮像部10を固定した状態で撮像するのが難しいものである場合、撮像部10はドローンなどの飛行装置(駆動装置)に設けて当該飛行装置と共に撮像部10を移動させてもよい。このように撮像部10を移動させながら被写体を撮像した場合でも、後述するように、入力映像上の背景の不動点に対する被写体の解析領域の変位量に基づいて被写体を解析することで、好適に被写体の振動を解析することができる。
[操作部20]
操作部20は、ユーザの操作の入力を受け付けるものであり、例えば、タッチパネルまたはマウスなどによって実現される。操作部20がタッチパネルであり、ユーザが当該タッチパネルを介して入力映像を入力する操作を行った場合、当該タッチパネルを備えた表示部30に入力映像が表示される。
[表示部30]
表示部30は、各種画像を表示するものである。表示部30は、例えば、撮像部10が撮像した被写体の映像、および、出力部64が出力した振動解析部63による解析結果を表示する。なお、上述の例では、表示部30は、振動解析装置60の外部の振動解析システム1に備えられているが、振動解析装置60が表示部30を備えていてもよい。この場合も上述の例と同様に振動解析部63による解析結果を表示することができる。
[記憶部40]
記憶部40は、例えば、制御部50が実行する各種の制御プログラムなどを記憶するものであり、例えばハードディスクおよびフラッシュメモリなどの不揮発性の記憶装置によって構成される。記憶部40には、例えば、入力映像、出力映像、被写体の解析領域、解析軸および解析結果などが記憶される。
[制御部50]
制御部50は、撮像部10、操作部20、表示部30、記憶部40および振動解析装置60などの各機能ブロックを統括的に制御するものである。
[振動解析装置60]
振動解析装置60は、入力映像における被写体の振動を解析し、解析結果を出力するものである。ここでは、入力映像が、撮像部10によって撮像された映像である場合について説明するが、記憶部40に保存された映像、ネットワーク経由で取得した映像、または、取り外し可能な記憶デバイスに保存された映像でもよい。また、振動解析装置60は、CPU、GPU、FPGAおよびASICなどのソフトウェアまたはハードウェアによって構成され、制御部50などと同じデバイスによって動作させることも可能である。図1に示すように、振動解析装置60は、解析領域設定部61と、解析軸設定部62と、振動解析部63と、出力部64とを備えている。
(解析領域設定部61)
解析領域設定部61は、振動解析装置60に入力された入力映像の中から、振動する被写体の少なくとも一部の領域であって、当該振動の解析対象となる解析領域を設定する。解析領域設定部61は、目的に応じて、例えば、被写体上の1または複数の点(画素)、振動する被写体のエッジなどの線、被写体の一部の領域または被写体全体の領域(全画素)などを解析領域として設定することができる。
一態様において、解析領域設定部61は、被写体の映像に応じて解析領域を設定する。この場合、解析領域設定部61は、入力映像内から振動する部位を検出し、検出した被写体上の点、線および領域を解析領域に設定してもよい。
また、別の一態様において、解析領域設定部61は、ユーザの操作に応じて解析領域を設定する。この場合、解析領域設定部61は、操作部20を介して入力されたユーザの入力情報に応じて解析領域を設定してもよい。例えば、制御部50によって表示部30に入力映像が表示されており、ユーザは、操作部20を介して、表示部30に表示された入力映像における被写体の一部の領域を指定する。そして、解析領域設定部61は、入力された当該被写体の一部の領域を解析領域として設定する。
(解析軸設定部62)
解析軸設定部62は、振動解析部63が被写体の振動を解析するための解析軸を設定する。一態様において、解析軸設定部62は、被写体の映像に応じて解析軸を設定する。この場合、解析軸設定部62は、解析領域設定部61が設定した解析領域が振動する方向を解析し、その解析結果に基づいて解析軸を設定してもよい。
また、別の一態様において、解析軸設定部62は、ユーザの操作に応じて解析軸を設定する。この場合、解析軸設定部62は、操作部20を介して入力されたユーザの入力情報に応じて解析軸の方向を設定してもよい。例えば、表示部30に解析軸の方向の候補が黒点から回転可能に延びる複数の矢印として表示されており、ユーザは、操作部20、または、タッチパネルなどの操作部20を備える表示部30を介して解析軸の方向を指定する。そして、解析軸設定部62は、指定された方向に解析軸を設定する。
ここで、解析軸が映像の長手方向や短手方向等、固定した方向に設定される場合、被写体の振動を好適に推定することが困難な場合がある。これに対し、上述のように、解析軸設定部62が、被写体の映像またはユーザの操作に応じて、解析軸の方向を変更可能な状態で解析軸を設定することで、好適な方向に沿った解析軸を設定することができる。その結果、被写体の振動を好適に解析することができる。
(振動解析部63)
振動解析部63は、入力映像に基づいて、被写体における解析軸に沿った振動を解析する。例えば、振動解析部63は、解析領域設定部61によって設定された解析領域上に設定された解析軸に沿った振動を解析してもよい。より具体的には、振動解析部63は、撮像部10によって時系列に沿って撮像された被写体の各フレーム画像における解析領域の変位量を算出する。これにより、振動解析部63は、変位量の他に、当該解析領域の変位方向、変位速度および減衰量などの振動情報を算出し、当該振動情報を解析する。
振動解析部63は、各フレーム画像における解析領域の変位量を、例えば、ブロックマッチングのような既知の方法を用いて算出することができる。また、振動解析部63は、所定のフレーム画像を基準画像とし、基準画像上で設定した点などの解析領域に対応する他のフレーム画像上の点の位置を算出することができる。これにより、基準画像における解析領域に対する他のフレーム画像の解析領域の変位量を算出し、解析領域の時系列に沿った変位量を算出することができる。また、振動解析部63は、解析領域の時系列に沿った変位量を解析することで、解析領域の変位方向、変位速度および減衰量などを算出することができる。
なお、上述の例では、振動解析部63は、撮像部10によって撮像された振動する被写体の映像に基づいて、振動の解析を行っているが、本実施形態ではこれに限定されない。本実施形態では、振動解析部63は、撮像部10によって撮像された被写体の映像でなくてもよく、予め撮像された被写体の映像に基づいて、振動の解析を行ってもよい。
(出力部64)
出力部64は、振動解析部63による解析結果を表示部30などの振動解析装置60の外部に出力する。例えば、出力部64は、振動解析部63によって解析された、振動の変位量などの振動の解析結果を表示部30に表示するための画像を生成し、当該画像データを表示部30に出力する。出力部64は、入力映像に振動解析部63によって解析された解析結果を重畳した画像を出力してもよいし、解析結果のみを示す画像を出力してもよい。これにより、好適に振動の解析結果を表示することができる。出力部64が生成する画像の詳細については後述する。
〔振動解析装置60の制御処理〕
次に、図2を用いて、本実施形態に係る振動解析装置60の制御処理(振動解析装置の制御方法)の流れを説明する。図2は、振動解析装置60の制御処理の流れの一例を示すフローチャートである。振動解析装置60は、被写体の映像が入力された場合に、以下のステップS201〜ステップS204の処理を開始する。
ステップS201において、振動解析装置60の解析領域設定部61は、被写体の映像を入力映像として取得し、当該入力映像における被写体の解析領域を設定する。
ステップS202において、解析軸設定部62は、解析領域設定部61が設定した解析領域に対し、被写体の映像またはユーザの操作に応じて解析軸を設定する(解析軸設定工程)。
ステップS203において、振動解析部63は、被写体の映像に基づいて、被写体の解析領域における、解析軸に沿った振動を解析する(振動解析工程)。
ステップS204において、出力部64は、ステップS203において解析された被写体の解析領域の変位量および変位方向などの解析結果を出力する(出力工程)。
〔振動解析装置60による振動の解析の詳細〕
続いて、振動解析装置60による振動の解析の詳細について以下の処理例1を用いて説明する。
[処理例1]
(振動解析装置60による解析軸の設定および振動の解析)
図3を用いて、振動解析装置60による解析軸の設定および振動の解析の一例について説明する。図3の(a)、(b)および(c)は、それぞれ、撮像部10によって撮像された橋梁(被写体)303の入力映像(映像)300、301および302を示す図である。入力映像300、301および302は1つの動画像(映像)の1フレームであり、それぞれ、撮像された時間が異なる。また、橋梁303は振動しており、入力映像300では橋梁303の橋桁304はたわんでいないが、入力映像301では橋桁304が下向きにたわんでおり、入力映像302では橋桁が上向きにたわんでいる。本処理例では、振動解析装置60の解析軸設定部62は、図3に示す橋梁303のように入力映像302の上下方向(Y軸方向)に振動する被写体の撮像した映像に応じてY軸方向に解析軸を設定し、振動解析部63は当該解析軸に沿った振動を解析する。入力映像300における破線の矩形で示す領域は、解析領域設定部61によって設定する解析領域305を示している。入力映像301および302における破線の矩形で示す領域である解析領域306および307は、入力映像300における解析領域305に対応する領域を示している。振動解析部63は、解析領域305の位置を基準位置とし、解析領域305に対する解析領域306および307の変位量に基づいて、橋梁303の解析領域305の振動を解析することができる。例えば、入力映像301における橋梁303が最も下側にたわんだ状態であり、入力映像302における橋梁303が最も上側にたわんだ状態である場合、振動解析部63は、解析領域305に対する解析領域307の変位量から解析領域305に対する解析領域306の変位量を減算することで、解析領域305の振動の振幅(最大−最小)を算出できる。
なお、上述の例では、振動解析部63は、解析領域305と306および307とに基づいて、解析領域305の変位量を解析しているが、本実施形態ではこれに限定されない。本実施形態では、振動解析部63は、入力映像内の背景の不動点に対する解析領域305の変位量を算出してもよい。これによっても、振動解析部63は、解析領域305の変位量を算出し、解析領域305の振動を好適に算出することができる。
このように、振動解析部63が被写体の解析領域の変位量(被写体の変位量)に基づいて振動を解析することで、当該解析領域の振動の振幅などを解析結果として得ることができる。これにより、より好適に被写体の振動を解析することができる。
(振動解析装置60による解析領域の変位量の算出方法)
以下に、所定の解析領域に対応する解析領域の変位量の算出方法について具体的に説明する。振動解析部63は、映像に基づいて解析領域の変位量を算出する場合、まず、解析領域を含む被写体の映像のうち、所定のフレーム画像を基準画像とする。続いて、振動解析部63は、他のフレーム画像における、当該基準画像の解析領域に対応する領域(対応領域)を探索し、基準画像の解析領域に対する他のフレーム画像の対応領域の変位量を算出する。
対応領域の探索方法としては、例えば、ブロックマッチング法を挙げることができる。ブロックマッチング法とは、画像間の類似度を評価する方法であり、他のフレーム画像から、基準画像における所定の領域と最も類似度の高い領域を探索する方法である。類似度の高い領域を探索する方法としては、例えば、SAD(Sum of Absolute Difference)およびSSD(Sum of Squared Difference)などの評価関数を用いる方法が挙げられる。SADは、基準画像と他のフレーム画像との画素値または輝度値の差異の絶対値の総和が最小となる領域を、最も類似度の高い領域として選択するのに用いられる関数である。SSD(Sum of Squared Difference)は、基準画像および他のフレーム画像の画素値または輝度値の差異の二乗の総和が最小となる領域を最も類似度の高い領域として選択するのに用いられる関数である。ブロックマッチング法では、類似度の高い領域を探索する方向として、フレーム画像の画素の配列方向(例えば、横軸(X軸)方向および縦軸(Y軸)方向の少なくとも一方)に設定することが好ましい。これにより、設定した探索方向における、基準画像の所定の領域に対する他のフレーム画像の変位量を算出することができる。また、類似度の高い領域を探索する方法として、フレーム画像の配列方向である2方向(例えば、X軸方向とY軸方向)に設定し、類似度の高い領域を探索すれば、フレーム画像面内での2次元の変位量を算出することができる。
また、他の対応領域を探索する方法としては、例えば、位相相関限定法を挙げることができる。位相相関限定法を用いることで、2枚の画像をフーリエ変換して算出した位相成分の積を逆フーリエ変換して位相限定相関関数を算出することができる。これにより、移動限定相関関数のピーク座標から2枚の画像の相対的な位置のずれを算出することができる。位相相関限定法は、基準画像と他のフレーム画像との画像間の明るさの変化に強いという利点がある。一方、上述のブロックマッチング法は、基準画像と他のフレーム画像との画素値または輝度値の差異を参照するため、画像間の明るさの変化の影響を受けやすい。例えば、屋外において被写体の映像を撮像した場合、同じ位置から被写体を撮像する場合でも、当該被写体の映像の明るさが異なってしまうことがある。そこで、ブロックマッチング法を用いる場合は、比較する2枚の画像間の明るさの差が小さくなるように、例えば、2枚の画像の全体の明るさを平均して画素値を調整した上で対応領域の探索を行うことが好ましい。また、基準画像を所定のフレーム画像に固定せず、例えば、時系列的に前後に並ぶ2枚の画像を比較して明るさの差分を計算し、最終的に時系列的に最初のフレーム画像からの明るさの差分を算出することが好ましい。これにより、画像間の明るさの差の影響を低減することができるため、結果的に、好適に解析領域の変位量を算出することができる。なお、時系列的に前後に並ぶ2枚の画像を逐次比較する場合は、算出した2枚の画像における解析領域の変位量を加算していくことで、基準画像である最初のフレームの画像における解析領域の変位量を算出することができる。
(振動解析装置60による振動の解析)
次に、処理例1における振動解析装置60による振動の解析について、図4を用いて具体的に説明する。図4は、実施形態1に係る振動解析装置60による振動の解析結果の一例を示す図である。具体的には、図4の(a)は、Y軸方向における解析領域305の時間に対する変位量の変化を示す図であり、図4の(b)は、X軸方向における解析領域305の時間に対する変位量の変化を示す図である。入力映像300における解析領域305の変位量を算出することで、図4の(a)および(b)に示すように、Y軸方向およびX軸方向の2方向の振動という振動の解析結果を得ることができる。また、図4の(a)および(b)に示す振動の解析結果から、Y軸方向の振動の振幅のほうがX軸方向の振動の振幅よりも大きく、Y軸方向の振動の周期と、X軸方向の振動の周期とが等しいことが分かる。
上述の例では、解析軸を図4のY軸およびX軸の2方向に設定し、Y軸およびX軸に沿った振動の解析結果を出力しているが、本実施形態ではこれに限定されない。本実施形態では、解析軸をY軸およびX軸以外の方向に設定し、当該方向に沿った振動の解析結果を出力してもよい。以下、解析軸をY軸およびX軸以外の方向に設定した場合について図5を用いて説明する。図5は、解析軸をY軸およびX軸以外の方向に設定する一例について説明するための図である。図5に示すように、解析領域305における解析軸の方向は、Y’軸方向およびX’軸方向に設定されている。図5に示す方向に解析軸を設定した場合の解析軸に沿った振動の解析結果を図6に示す。図6は、解析軸をY軸およびX軸以外の方向に設定した場合の振動の解析結果の一例について図である。具体的には、図6は、入力映像300における解析領域305の変位量を示す図である。より具体的には、図6の(a)は、Y’軸方向における解析領域305の時間に対する変位量の変化を示す図であり、図6の(b)は、X’軸方向における解析領域305の時間に対する変位量の変化を示す図である。図6の(a)から、解析領域305はY’軸方向に振動しており、当該振動の振幅は、図4に示すX軸方向およびY軸方向の画素の配列方向における振動の振幅より大きいことが分かる。一方、図6の(b)から、解析領域305はX’軸方向には振動しておらず、振幅はゼロであることが分かる。すなわち、図5に示す解析領域305は、Y’軸方向に一次元振動していることが分かる。したがって、解析軸を設定する方向によっては、映像上の解析領域の振動の振幅の最大値が大きくなる効果が得られる。また、上述のように、被写体の解析領域が一次元振動している場合には、当該解析領域が振動している方向に解析軸を設定して振動を解析することで、当該振動の振幅が最大となる解析結果を得ることができるため、好適である。
[処理例2]
処理例1では、被写体の解析領域の変位量から振動の振幅および周期(振動数)などが分かる解析結果が得られた場合について説明しているが、解析領域の変位量から振動の振幅および周期(振動数)などが分かる解析結果を得られない場合もある。以下、解析領域の変位量から振動の振幅および周期(振動数)などが分かる解析結果を得にくい場合について図7および8を用いて具体的に説明する。図7は、実施形態1に係る振動解析装置60による振動の解析結果の一例を示す図である。具体的には、図7の(a)は、Y軸方向におけるある解析領域の時間に対する変位量の変化を示す図であり、図7の(b)は、X軸方向におけるある解析領域の時間に対する変位量の変化を示す図である。図7からは、ある解析領域がY軸方向およびX軸方向の両方とも振動していることは分かるが、図7からは、当該振動が映像内をどのような振幅および振動数で振動しているのかを推定するのは困難である。
このように、ある方向に設定した解析軸で振動の変位量を解析した結果からは振幅および振動数などの振動情報を推定することが困難な場合には、解析軸設定部62は、被写体の映像またはユーザの操作に応じて少なくとも1つの解析軸の方向を別の方向に変更することが好ましい。以下、解析軸設定部62が、解析軸の方向を別の方向に変更し、振動解析部63が、変更後の解析軸に沿った解析領域の変位量を算出する場合について、図8を用いて説明する。図8は、解析軸をY軸およびX軸以外の方向に変更した場合の振動の解析結果の一例を示す図である。具体的には、図8の(a)は、Y軸を45度回転させた方向であるY’軸方向におけるある解析領域の時間に対する変位量の変化を示す図である。図8の(b)は、X軸を45度回転させた方向であるX’軸方向におけるある解析領域の時間に対する変位量の変化を示す図である。図8の(a)から、Y’軸方向における振動は、振幅は小さく振動数は大きく、図8の(b)から、X’軸方向における振動は、振幅は大きく振動数は小さいことが分かる。このことから、ある方向に設定した解析軸に沿った振動の変位量からは振動数および振幅などの振動情報を推定することが困難な場合には、複数の解析軸を適切な方向に変更することで、複数の振動を好適に分離して解析することができ、好適に分離された複数の振動から、振動数および振幅などの解析結果を得ることができる。複数の解析軸を適切な方向に変更する例として、解析軸設定部62は、被写体の映像に応じて、振動の振幅が映像の画素の配列方向の振幅より大きくなる方向に解析軸の一つを設定したり、振動の振幅が最大となる方向に解析軸の一つを設定したりすることを挙げることができる。このように、被写体の映像に応じて解析軸をより好適な方向に設定することで、被写体の振動をより好適に解析することができる。
[処理例3]
処理例2では、Y軸方向およびX軸方向共に、ある解析領域の変位量から映像内をどのような振幅および振動数で振動しているかを推定することが困難な場合について説明している。これに対し、一方の解析軸の方向における解析領域の変位量から振幅および振動数などの振動情報を推定することができ、他方の解析軸の方向における解析領域の変位量から振幅および振動数などの振動情報を推定することが困難な場合がある。この場合、処理例2とは別の方法によって、両方の解析軸の方向における解析領域の変位量から振動の振幅および振動数を解析することができる。以下、一方の解析軸の方向における解析領域の変位量から振幅および振動数などの振動情報を推定することが困難な場合に、処理例2とは別の方法によって当該振動の振幅および振動数などの解析結果を得る方法について、図9〜11を用いて具体的に説明する。
図9は、実施形態1に係る振動解析装置60による振動の解析結果の一例を示す図である。具体的には、図9の(a)は、Y軸方向におけるある解析領域の時間に対する変位量の変化を示す図であり、図9の(b)は、X軸方向におけるある解析領域の時間に対する変位量の変化を示す図である。図9からは、ある解析領域がY軸方向およびX軸方向の両方とも振動していることは分かるが、図9の(a)からは、当該振動がY軸方向にどのように振動しているのかを推定するのは困難である。
このように、一方の解析軸に沿った方向における振動情報を推定することが困難な場合には、振動解析部63は、振動を周波数ごとに解析することが好ましい。また、解析軸設定部62は、当該周波数ごとの振動の解析結果に基づいて、少なくとも1つの解析軸の方向を別の方向に変更することが好ましい。これにより、解析軸がより好適な方向に変更されるため、振動解析部63は、被写体の振動をより好適に解析することができる。以下、振動解析部63が、振動を周波数ごとに解析し、解析軸設定部62が、当該周波数ごとの振動の解析結果に基づいて、解析軸の方向を別の方向に変更する例について、図10〜12を用いて説明する。
図10は、図9に示す振動の周波数と強度との関係を示すグラフである。具体的には、図10の(a)は、図9の(a)に示すY軸方向における振動の周波数と強度との関係を示すグラフであり、図10の(b)は、図9の(b)に示すX軸方向における振動の周波数と強度との関係を示すグラフである。図10の(a)に示すように、Y軸方向における振動は、低周波数域と高周波数域との2つの異なる周波数域において高い強度のピークがあり、X軸方向における振動は、1つの周波数域において高い強度のピークがある。また、Y軸方向における2つのピーク周波数のうち、低周波数域のピーク周波数は、X軸方向におけるピーク周波数と同一である。したがって、Y軸方向における2つのピーク周波数のうち、高周波数域のピーク周波数の振動は、Y軸方向における固有の振動であると考えられる。
次に、振動解析部63が、図10の(a)に示すY軸方向における低周波数の振動と、高周波数の振動との2つに分離した場合について、図11を用いて説明する。図11は、周波数ごとに解析した振動の解析結果の一例を示す図である。具体的には、図11の(a)は、Y軸方向固有の高周波数の振動の解析結果を示しており、図11の(b)は、Y軸方向における低周波数の振動の解析結果を示す図である。ここで、図11(b)に示す低周波数の高振幅な振動は、図9(b)に示すX軸方向における振動と同じ周波数であることから、同一の振動である可能性がある。このように、X軸方向における振動とY軸方向における振動とが同一の振動である可能性がある場合、解析軸設定部62は、少なくとも1つの解析軸の方向を、X軸方向とY軸方向との間の方向に変更してもよい。以下に、図12を用いて、解析軸設定部62が、解析軸の方向を、X軸方向とY軸方向との間の方向に変更した場合について図12を用いて説明する。図12は、解析軸の方向を、X軸方向からX軸方向とY軸方向との間の方向に変更した場合について説明するための図である。具体的には、図12の(a)は、解析軸設定部62が、X軸方向およびY軸方向の両方向において観測された低周波数の振動の解析軸の沿う方向を、X軸からX軸に対して45度回転した方向であるX’軸方向に変更することを示す図である。図12の(b)は、X’方向における周波数の振動の解析結果を示す図である。図12の(b)に示すように、X軸方向およびY軸方向で観測された低周波数の振動は、X軸に対して45度回転した方向に沿った1つの振動として表わすことが可能である。このように、図9に示す振動は、Y軸方向に沿った振動、および、X軸に対して45度回転したX’軸方向に沿った振動という、2つの方向において独立に振動する2つの振動に分離することができる。このように、解析軸設定部62は、複数の解析軸を設定する場合に、必ずしも直交する方向に沿うように複数の解析軸を設定する必要はなく、処理例3に示すように、互いの解析軸のなす角が90度でない2つの解析軸、すなわち、直交しない二つの解析軸を設定してもよい。これにより、直交する解析軸を設定した場合に少なくとも一方の解析軸に沿った方向における振動情報を推定することが困難な場合に、解析軸をより好適な方向に変更できることがある。このように解析軸が好適な方向に変更されることで、振動解析部63は、被写体の振動をより好適に解析することができる。
なお、上述の例では、一方の解析軸の方向における解析領域から振動の振幅および振動数を推定することが困難な場合について説明しているが、本実施形態ではこれに限定されない。本実施形態では、処理例2のように入力映像の縦方向(Y軸方向)および横方向(X軸方向)の両方向における解析領域から振動の振幅および振動数などを推定することが困難な場合に、振動解析部63が当該解析領域の振動を周波数ごとに解析してもよい。そして、解析軸設定部62が周波数ごとの振動の解析結果に基づいて、少なくとも1つの解析軸の方向を別の方向に変更してもよい。これによっても、上述の例と同様に好適に被写体の振動を解析することができる。
〔実施形態1に係る振動解析システム1の効果〕
以上のように、実施形態1に係る振動解析システム1は、解析軸を変更可能に設定することで、複数の振動を分離して観測したり、振幅の大きな方向で観測したりすることができる。これにより、被写体の振動を好適に解析することができる。
<実施形態2>
上述の実施形態1に係る振動解析システム1では、解析軸設定部62は、1次元方向または2次元方向に解析軸を設定している。ただし、実施形態2に係る振動解析システム2(不図示)のように、振動解析装置70(不図示)における解析軸設定部72(不図示)は、3次元方向に解析軸を設定してもよい。
以下、実施形態2に係る振動解析システム2について図13〜16に基づいて説明する。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔振動解析システム2〕
振動解析システム2は、実施形態1に係る振動解析装置60の代わりに、振動解析装置70を備えている。この点以外は、振動解析システム2は、実施形態1に係る振動解析システム1と同様の構成である。
〔振動解析装置70〕
振動解析装置70は、実施形態1における解析軸設定部62および振動解析部63の代わりに、解析軸設定部72および振動解析部73(不図示)を備えている。この点以外は、振動解析装置70は、実施形態1に係る振動解析装置60と同様の構成である。
(解析軸設定部72)
解析軸設定部72は、撮像部10と被写体との間の距離に関する距離情報を取得する距離情報取得部720(不図示)を備えている。解析軸設定部72は、当該距離情報に応じて解析軸を設定する。
なお、距離情報取得部720は、撮像部10と被写体との間の距離、および、撮像部10に対する被写体の3次元位置情報などの距離情報を公知の方法によって取得することができる。例えば、撮像部10がステレオカメラなどの視点の異なる2つのカメラを備えているとする。この場合、距離情報取得部720は、当該カメラの焦点距離などを参照し、当該2つのカメラで撮像した映像(画像)の視差から、カメラから被写体までの距離を算出することができる。これにより、距離情報取得部720は、カメラから被写体までの距離と被写体の画像上の位置とに基づいて被写体の3次元位置情報を取得することができる。また、レーザ光を被写体に照射し、当該レーザ光の反射光の到達時間に基づいて撮像部10から被写体までの距離を算出し、当該距離に基づいて、被写体の3次元位置情報を取得することができる。
(振動解析部73)
振動解析部73は、被写体の3次元的な変位量に基づいて被写体の振動を解析する。これにより、2次元の映像における被写体の振動を解析した場合に振動情報を推定するのが困難な場合であっても、振動解析部73は、被写体の3次元位置情報などに基づいて被写体の振動を解析できる。例えば、振動解析部73は、被写体の3次元位置情報を参照することで、解析領域の入力映像上での変位量を3次元空間上での振動の振幅に換算することができる。その結果、振動解析部73は、被写体の3次元空間上の振動方向および振幅などを解析することができるため、より好適に被写体の振動を解析することができる。
〔振動解析装置70による振動の解析の詳細〕
以下、実施形態2に係る振動解析装置70による振動の解析の詳細について以下の処理例4を用いて説明する。
[処理例4]
(解析軸設定部72が解析軸を設定する被写体)
解析軸設定部72が解析軸を設定する被写体の例について、図13を用いて説明する。図13は、被写体の映像の一例を示す図である。具体的には、図13は、撮像部10によって撮像された橋梁(被写体)1301の入力映像1300を示す図である。図13におけるx軸、y軸およびz軸は、それぞれ3次元空間における解析軸の方向を示している。x軸方向は橋梁1301の長手方向に平行な方向であり、y軸方向は鉛直方向であり、z軸方向は橋梁1301の短手方向であってx軸に垂直な方向である。橋梁1301は、橋梁1301に対して斜め下から見上げる方向であって、橋梁1301の長手方向(x軸方向)に対して斜め方向から撮像されている。
(撮像部10と橋梁1301との位置関係)
次に、撮像部10と橋梁1301との位置関係の例について、図14を用いて説明する。図14は、撮像部10と被写体との位置関係の一例を示す図である。具体的には、図14の(a)および(b)は、入力映像1300を撮像する撮像部10と橋梁1301との位置関係を示す図である。図14の(a)は、橋梁1301および撮像部10をy軸方向における上方から下方に見た俯瞰図であるxz平面図1400を示している。図14の(a)に示すように、撮像部10は、z軸に対しx軸方向に傾いた方向から橋梁1301を撮像している。図14の(b)は、橋梁1301の長手方向(x軸方向)から見たyz平面図1401を示している。図14の(b)に示すように、撮像部10は、z軸に対しy軸方向に傾いた方向から橋梁1301を撮像している。すなわち、撮像部10は、橋梁1301を斜め下から見上げる方向から撮像している。
(振動解析装置70による解析軸の設定および振動の解析)
次に、振動解析装置70による解析軸の設定および振動の解析について説明する。橋梁1301は、鉛直方向であって、橋梁1301の長手方向であるx軸に垂直な方向であるy軸方向および橋梁1301の短手方向であって、橋梁1301の面に水平な方向であるz軸方向に振動している。図13および14から明らかなように、撮像部10による橋梁1301の撮像方向は、入力映像1300内における被写体の振動方向に対して垂直方向でもなければ一致もしていない。そのため、撮像部10は、橋梁1301の振動の解析にとって好適な位置から橋梁1301を撮像できていない。したがって、実施形態1のように、2次元の入力映像に応じて解析軸を設定する場合、撮像部10と被写体との位置関係によっては、必ずしも橋梁1301の振動を好適に解析することができない可能性がある。ここで、解析軸設定部72は、撮像部10に対する橋梁1301の3次元位置情報などの距離情報を取得する距離情報取得部720を備えており、解析軸設定部72は、当該距離情報に応じて解析軸を設定することができる。そのため、撮像部10による橋梁1301の撮像方向が、入力映像1300内における被写体の振動方向に対し、垂直方向でもなければ一致もしていない場合であっても、振動解析部73は、被写体の3次元位置情報などの被写体の3次元的な変位量に基づいて橋梁1301の振動を好適に解析することができる。
(振動解析装置70による解析軸の設定および振動の解析の具体例1)
図15を用いて、振動解析装置70による解析軸の設定および振動の解析の具体例1について説明する。図15は、被写体の映像の一例を示す図である。具体的には、図15は、図13と同様に橋梁1301が撮像された入力映像1300を示す図である。図15に示すように、入力映像1300には、破線の矩形で示す3つの解析領域1302、1303および1304が設定されている。
以下、橋梁1301のy軸方向の解析軸に沿った振動を解析する場合について説明する。図14にて説明したように、撮像部10は、橋梁1301に対して斜め下から見上げる方向から橋梁1301を撮像しているため、入力映像1300における鉛直方向と3次元空間における鉛直方向(y軸方向)とは一致しない。したがって、入力映像1300に応じて入力映像1300における鉛直方向に解析軸を設定し、当該解析軸に沿った振動を解析しても、3次元空間における橋梁1301の鉛直方向の振動を正確に解析することはできない。また、撮像部10は、z軸に対しx軸方向に傾いた方向から橋梁1301を撮像している。そのため、入力映像1300上の異なる領域が同一の振幅で振動した場合であっても、入力映像1300の右側のほうが入力映像1300上での変位量が大きくなり、入力映像1300の左側のほうが入力映像1300上での変位量が小さくなる。例えば、図15の解析領域1302、1303および1304を用いて説明すると、3つの解析領域の振動の振幅が同じである場合、入力映像1300上での変位量は解析領域1304が最も大きく、解析領域1302が最も小さくなる。したがって、橋梁1301の位置に応じた振動の振幅の違いを解析するには、入力映像1300上での解析領域1302、1303および1304の変位量ではなく、3次元空間における解析領域1302、1303および1304の振動の振幅を解析する必要がある。
ここで、解析軸設定部72における距離情報取得部720は、撮像部10から橋梁1301における解析領域1302、1303および1304までのそれぞれの距離を取得し、解析領域1302、1303および1304の3次元位置情報を取得する。これにより、解析軸設定部72は、3次元空間における鉛直方向であるy軸方向に解析軸を設定することができる。また、振動解析部73は、解析軸の方向であるy軸方向に沿ってこれらの解析領域の振動を解析することができる。
このように、被写体に対して撮像部10が略正対していない場合(撮像部10と被写体とを結ぶ方向に解析軸の一つを設定していない場合)であっても、被写体の異なる複数の解析領域における3次元空間上の振幅を比較したり、各解析領域における振動の振幅を解析したりすることができる。
(振動解析装置70による解析軸の設定および振動の解析の具体例2)
上述の具体例1では、被写体に対して撮像部10が正対していない場合における振動解析装置70による解析軸の設定および振動の解析について説明している。ただし、撮像部10と被写体とは略正対していてもよい。以下、図16を用いて撮像部10と被写体とが略正対している場合(撮像部10と被写体とを結ぶ方向に解析軸の一つを設定した場合)における、振動解析装置70による解析軸の設定および振動の解析の具体例2について説明する。図16は、被写体の映像の一例を示す図である。具体的には、図16は、橋梁1301がz軸方向から撮像された入力映像1500を示す図である。図16に示すように、撮像部10の光軸はz軸方向を向いており、撮像部10は被写体に正対して橋梁1301を撮像している。このように、撮像部10が橋梁1301に正対して橋梁1301を撮像する場合、入力映像1500における橋梁1301の奥行方向(3次元空間におけるz軸方向)は撮像部10の光軸と一致する。そのため、入力映像1500に基づいてz軸方向に沿った振動を解析することは容易ではない。
ここで、解析軸設定部72における距離情報取得部720は、撮像部10から橋梁1301までの距離を取得し、橋梁1301の3次元位置情報を取得する。これにより、解析軸設定部72がz軸方向に解析軸を設定した場合であっても、振動解析部73は、橋梁1301の3次元位置情報に基づき、撮像部10の光軸と同じ方向に振動する橋梁1301の振動を解析することができる。
このように、解析軸設定部72が、撮像部10と被写体とを結ぶ方向に解析軸の一つを設定した場合であっても、振動解析部73は、被写体の3次元位置情報などの被写体の3次元的な変位量に基づいて、当該被写体の振動を好適に解析することができる。
<実施形態3>
上述の実施形態1および2に係る振動解析システム1および2では、解析軸設定部62および72は、全ての解析領域に対して同一の方向の解析軸を設定している。ただし、実施形態3に係る振動解析システム3(不図示)のように、振動解析装置80(不図示)における解析軸設定部82(不図示)は、複数の解析領域のそれぞれに対し、異なる解析軸を設定してもよい。
以下、実施形態3に係る振動解析システム3について図17および18に基づいて説明する。なお、説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔振動解析システム3〕
振動解析システム3は、実施形態1に係る振動解析装置60の代わりに、振動解析装置80を備えている。この点以外は、振動解析システム3は、実施形態1に係る振動解析システム1と同様の構成である。
〔振動解析装置80〕
振動解析装置80は、実施形態1における解析軸設定部62および振動解析部63の代わりに、解析軸設定部82および振動解析部83(不図示)を備えている。この点以外は、振動解析装置80は、実施形態1に係る振動解析装置60と同様の構成である。
(解析軸設定部82)
解析軸設定部82は、被写体の複数の解析領域のそれぞれに対し、入力映像に応じて解析軸を設定する。例えば、解析軸設定部82は、入力映像における被写体の解析領域ごとに全て異なる方向の解析軸を設定してもよいし、全ての解析領域に同一の方向の解析軸を設定してもよい。また、解析軸設定部82は、一部の解析領域同士において同一の方向の解析軸を設定し、一部の解析領域同士において異なる方向の解析軸を設定してもよい。これにより、解析軸設定部82は、より好適に解析軸を設定することができる。
(振動解析部83)
振動解析部83は、解析領域ごとに、入力映像に基づいて被写体における解析軸に沿った振動を解析する。これにより、振動解析部83は、より好適に被写体の解析領域における振動を解析することができる。
〔振動解析装置80による振動の解析の詳細〕
以下、実施形態3に係る振動解析装置80による振動の解析の詳細について以下の処理例5および6を用いて説明する。
[処理例5]
図17を用いて、振動解析装置80による解析軸の設定および振動の解析の一例について説明する。図17は、被写体の映像の一例を示す図である。具体的には、図17は、撮像部10によって自動車(被写体)1601が撮像された入力映像1600を示す図である。図17に示すように、入力映像1600には、破線の矩形で示す3つの解析領域1602、1603および1604が設定されている。自動車1601のように多数の部品から構成される被写体、および、被写体内に複数の振動源が存在する被写体などは、必ずしも被写体全体が同一の方向に振動しているとは限らず、被写体の位置によって異なる方向に振動している場合がある。例えば、図17に示す解析領域1602が入力映像1600上で左上から右下の方向に振動しており、解析領域1603が入力映像1600上で上下方向(Y軸方向)に振動している場合、これら2つの解析領域が振動する方向が異なる。
ここで、解析軸設定部82は、入力映像1600に応じて、解析領域1602に対しては左上から右下の方向に解析軸を設定し、解析領域1603に対して入力映像1600におけるY軸方向に解析軸をそれぞれ設定する。また、振動解析部83は、解析領域1602および解析領域1603のそれぞれに設定された解析軸に沿ってこれらの解析領域の振動を解析する。このように、振動解析部83が、解析領域1602および1603のそれぞれが振動する方向と同じ方向に解析軸を設定することで、振動解析部83は、それぞれの解析領域において振幅が最大となる振動を解析することができる。これにより、より好適に解析領域の振動を解析することができる。
なお、上述の例では、解析軸設定部82は、複数の解析領域のそれぞれに対し、2次元の入力映像1600に応じて解析軸を設定しているが、本実施形態ではこれに限定されない。本実施形態では、実施形態2における解析軸設定部72のように3次元方向に解析軸を設定してもよい。例えば、図17における解析領域1604が、入力映像1600の奥行方向(Z軸方向)に振動している場合は、入力映像1600に応じて解析軸を設定して解析領域1604の振動を解析することは難しい。ただし、解析軸設定部82が解析軸設定部72のように、距離情報に応じてZ軸方向に解析軸を設定することで、振動解析部83が解析領域1604の3次元位置情報に基づいて解析領域1604の振動を解析することができる。このように、解析軸設定部82が映像の奥行方向に解析軸を設定した場合であっても、振動解析部83は解析領域1604の3次元的な変位量に基づいて、解析領域1604の振動も好適に解析することができる。
[処理例6]
解析軸設定部82は、解析領域ごとの映像情報に応じて、解析軸を設定してもよい。以下、図18を用いて、振動解析装置80による解析軸の設定および振動の解析の一例について説明する。図18は、被写体の映像の一例を示す図である。具体的には、図18は、図3および5と同様に、撮像部10によって橋梁(被写体)303が撮像された入力映像300を示す図である。図18に示すように、入力映像300には破線の矩形で示す3つの解析領域1701、1702および1703が設定されている。
例えば、解析領域1701は入力映像300の縦方向(Y軸方向)に沿ったエッジを有する領域であることから、解析軸設定部82は、横方向(X軸方向)に解析軸を設定する。振動解析部83は、X軸方向の解析軸に沿った解析領域1701の変位量を算出することで振動を解析する。一般的に、映像の縦方向にエッジを有する領域は、縦方向に類似した模様が連続する可能性が高いため、ブロックマッチング法により、当該領域における縦方向の変位量を正確に算出することが難しい。そのため、当該領域の変位量の算出誤差が大きくなり、深度の解析結果の誤差も大きくなる可能性がある。一方で、縦方向にエッジを有する領域は、エッジの方向に垂直な横方向には類似した模様が連続していないため、横方向の変位量を精度良く算出できる可能性が高い。そのため、上述のように、解析軸設定部82が、エッジの方向に垂直な横方向における解析領域1701の変位量を算出することで、振動解析部83は解析領域1701の横方向の振動を解析結果として得ることができる。これにより、好適に振動を解析することができる。
同様に、解析領域1702は、映像の横方向(X軸方向)に沿ったエッジを有する領域であることから、解析軸設定部82は、Y軸方向に解析軸を設定する。振動解析部83は、Y軸方向の解析軸に沿った解析領域1703の変位量を算出することで振動を解析する。また、解析領域1703は、X軸方向およびY軸方向に沿ったエッジを有する領域であることから、解析軸設定部82は、X軸方向およびY軸方向の2方向に解析軸を設定してもよいし、いずれか1方向に解析軸を設定してもよい。これらの場合も、上述の例と同様に好適に振動を解析することができる。
また、上述の例では、解析軸設定部82は、解析領域ごとに、エッジの方向という映像情報に応じて、解析軸を設定しているが、本実施形態ではこれに限定されない。本実施形態では、解析軸設定部82は、入力映像全体における特徴点に応じて解析軸を設定してもよい。一般的に、被写体は長手方向に垂直な方向に振動しやすいことから、解析軸設定部82は、被写体の長手方向に垂直な方向に解析軸を設定してもよい。例えば、図18における入力映像300における橋梁303は入力映像300の横方向(X軸方向)に対して長い横長の被写体であるため、入力映像300の上下方向(Y軸方向)に振動している可能性が高い。そのため、解析軸設定部82がY軸方向に解析軸を設定し、振動解析部83がY軸方向の解析軸に沿った橋梁303の変位量を算出することで、振幅の大きい方向の振動の解析を行うことができるため、好適に振動を解析することができる。
<実施形態4>
実施形態4に係る振動解析システム4(不図示)のように、表示部130(不図示)は、被写体の映像に解析軸を重畳して表示してもよい。
以下、実施形態4に係る振動解析システム4について図19および20に基づいて説明する。なお、説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔振動解析システム4〕
振動解析システム4は、実施形態1における表示部30の代わりに、表示部130を備えている。この点以外は、振動解析システム4は、実施形態1に係る振動解析システム1と同様の構成である。
[表示部130]
表示部130は、被写体の映像に解析軸を重畳して表示する。
〔表示部130による画像の表示の詳細〕
以下、表示部130による画像の表示の詳細について以下の処理例7を用いて説明する。
[処理例7]
(表示部130による画像の表示の具体例1)
図19を用いて、表示部130による画像の表示の具体例1について説明する。図19は、表示部130に表示される画像の一例を示す図である。具体的には、図19は、画像1800を示している。画像1800には、撮像部10によって橋梁1301が撮像された入力映像1900が表示されている。また、入力映像1900における、黒点の解析領域1901および1902には解析軸が当該黒点を中心として回転可能な矢印として重畳して表示されている。解析領域における振動の方向が表示部の映像に表示されていない場合、ユーザは当該解析領域における振動の方向を容易に認識することができない。これに対し、本実施形態では、入力映像1900における解析領域1901および1902に解析軸が矢印として重畳して表示されている。このように、被写体の解析領域上に解析軸を重畳して表示することで、当該解析領域における振動の方向をユーザに容易に認識させることができる。
また、画像1800には、解析領域1901の変位量である振動の解析結果のグラフ(解析結果)1903、および、解析領域1902の変位量である振動の解析結果のグラフ(解析結果)1904も表示されている。そのため、例えば、解析領域1901および解析領域1902の少なくとも一方の解析軸の方向をユーザが変更した場合、変更された解析軸および変更された解析結果のグラフが連動して表示部130の画像1800に表示される。そのため、解析軸ごとに当該解析軸を設定した場合の解析結果をユーザは容易に認識することができる。
(表示部130による画像の表示の具体例2)
上述の具体例1では、表示部130は、1つの解析領域に対して1つの解析軸を表示している。ただし、1つの解析領域に対して複数の解析軸を重畳して表示するなど、表示部130に複数の解析軸を表示し、当該複数の解析軸のそれぞれに沿った振動の解析結果を表示部130に別々に表示してもよい。以下、図20を用いて、表示部130による画像の表示の具体例2について説明する。
図20は、表示部130に表示される画像の一例を示す図である。具体的には、図20の(a)は、画像2000を示している。画像2000には、撮像部10によって橋梁1301が撮像された入力映像2100が表示されている。また、入力映像2100における、黒点の解析領域2101には2つの解析軸が2本の矢印として重畳して表示されている。図20の(b)は、解析領域2101付近の拡大図を示しており、2本の矢印は、上下方向(入力映像2100上のY軸方向)の解析軸2101aおよび左右斜め方向の解析軸2101bを示している。また、画像2000には、解析領域2101の変位量であって、解析軸2101aに沿った振動の解析結果のグラフ1903、および解析軸2101bに沿った振動の解析結果のグラフ2102も表示されている。
図20の(a)に示すように、表示部130は、1つの解析領域2101に重畳して表示されている複数の解析軸2101aおよび2101bのそれぞれに対応する振動の解析結果を画像2000に別々に表示している。これにより、1つの解析領域に複数の解析軸が設定されている場合など、表示部130に複数の解析軸を表示されていても、それぞれの振動の解析結果をユーザに容易に認識させることができる。
また、表示部130は、解析領域2101上に重畳される複数の解析軸を、解析軸ごとに別々の色で表示してもよい。1つの解析領域に複数の解析軸が重畳される場合、解析軸ごとに別々の色で表示することで、複数の解析軸をユーザが区別しやすくなる。また、表示部130は、解析軸に対応する解析結果のグラフも解析軸の色に対応する色となるように表示してもよい。例えば、表示部130は、解析軸2101aおよび解析軸2101aに沿った振動の解析結果のグラフ1903を暖色系の色で表示し、解析軸2101bおよび解析軸2101bに沿った振動の解析結果のグラフ2102を寒色系に色で表示してもよい。また、表示部130は、解析軸2101aおよび解析軸2101aに沿った振動の解析結果のグラフ1903をモノクロで表示し、解析軸2101bおよび解析軸2101bに沿った振動の解析結果のグラフ2102をカラーで表示してもよい。このように、解析軸に対応する解析結果のグラフも解析軸の色に対応する色となるように表示することで、ある解析軸に対応する解析結果をユーザに容易に認識させることができる。
なお、上述の例では、表示部130は解析領域に対し、2次元方向の解析軸を表示しているが、本実施形態ではこれに限定されない。本実施形態では、表示部130は、入力画像上の縦軸(Y軸)および横軸(X軸)の代わりに、図13のx軸、y軸およびz軸のように、3次元空間における解析軸を表示してもよい。この場合、解析軸設定部62は、実施形態2における解析軸設定部72として機能し、3次元方向に解析軸を設定すればよい。このように、表示部130が解析領域に対し、3次元方向の解析軸を表示した場合であっても、解析領域における振動の方向をユーザに容易に認識させることができる。
〔実施形態4に係る振動解析システム4の効果〕
以上のように、実施形態4に係る振動解析システム4は、表示部130が被写体の映像に解析軸を重畳して表示する。これにより、ある解析領域における解析軸の方向をどの方向に設定したのかをユーザに容易に認識させることができる。また、表示部130が、解析軸が重畳された入力映像と当該解析軸に沿った解析結果とを同時に画像として表示することで、ある振動の解析結果がどの方向に沿った振動の解析結果であるのかをユーザに容易に認識させることができる。
〔ソフトウェアによる実現例〕
振動解析装置60、70、80の制御ブロック(特に解析領域設定部61、解析軸設定部62、72、82、振動解析部63、73、83および出力部64)は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field Programmable Gate Array)など、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、振動解析装置60、70、80は、各機能を実現するソフトウェアである振動解析プログラムの命令を実行するCPU、上記振動解析プログラムおよび各種データがコンピュータ(もしくはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、ならびに、上記振動解析プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記振動解析プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記振動解析プログラムは、該振動解析プログラムを伝送可能な任意の伝送媒体(通信ネットワークまたは放送波など)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記振動解析プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る振動解析装置(60、70、80)は、ユーザの操作に応じて解析軸(1901、1902、2101、2101a、2101b)を設定する解析軸設定部(62、72、82)と、被写体(橋梁303、1301、自動車1601)の映像(入力映像300、301、302、1300、1500、1600、1900、2100)に基づいて、前記被写体における前記解析軸に沿った振動を解析する振動解析部(63、73、83)と、前記振動解析部による解析結果(解析結果のグラフ1903、1904、2102)を出力する出力部(64)と、を備えている。
上記の構成によれば、被写体の振動を好適に解析することができる。
本発明の態様2に係る振動解析装置は、上記態様1において、前記振動解析部は、前記振動による、前記被写体の変位量に基づいて前記振動を解析してもよい。
上記の構成によれば、振動解析部が被写体の変位量に基づいて振動を解析することで、当該被写体の振動の振幅などを解析結果として得ることができる。これにより、より好適に被写体の振動を解析することができる。
本発明の態様3に係る振動解析装置は、上記態様1または2において、前記振動解析部は、前記被写体の3次元的な変位量に基づいて前記振動を解析してもよい。
上記の構成によれば、被写体の3次元空間上の振動方向および振幅などを解析することができるため、より好適に被写体の振動を解析することができる。
本発明の態様4に係る振動解析装置は、上記態様3において、前記解析軸設定部は、前記被写体を撮像する撮像部と前記被写体とを結ぶ方向に前記解析軸の一つを設定してもよい。
上記の構成によれば、撮像部と被写体とを結ぶ方向に解析軸の一つを設定した場合であっても、振動解析部は、被写体の3次元位置情報などの距離情報に応じて、当該被写体の振動を好適に解析することができる。
本発明の態様5に係る振動解析装置は、上記態様1〜4のいずれか1つにおいて、前記解析軸設定部は、前記被写体の複数の部位のそれぞれに対し、解析軸を設定してもよい。
上記の構成によれば、解析軸設定部が被写体の複数の部位のそれぞれに対し、解析軸を設定することで、より好適に解析軸を設定することができる。そのため、振動解析部は、より好適に被写体の振動を解析することができる。
本発明の態様6に係る振動解析装置は、上記態様1〜5のいずれか1つにおいて、前記解析軸設定部は、直交しない二つの解析軸を設定してもよい。
上記の構成によれば、直交する解析軸を設定した場合に少なくとも一方の解析軸に沿った方向における振動の振動情報を推定するのが困難な場合に、解析軸をより好適な方向に変更できることがある。このように解析軸が好適な方向に変更されることで、振動解析部は、被写体の振動をより好適に解析することができる。
本発明の態様7に係る振動解析装置は、上記態様1〜6のいずれか1つにおいて、前記振動解析部は、前記振動を周波数ごとに解析してもよい。
上記の構成によれば、少なくとも一方の解析軸に沿った方向における振動の振動情報を推定するのが困難な場合であっても、解析部が周波数ごとに振動を解析した解析結果に基づいて、解析軸設定部は、解析軸の方向を好適な方向に変更できる、これにより、被写体の振動をより好適に解析することができる。
本発明の態様8に係る振動解析装置は、解析軸を設定する解析軸設定部と、被写体の映像に基づいて、前記被写体における前記解析軸に沿った振動を解析する振動解析部と、前記被写体の画像に前記解析軸を重畳して表示するとともに、前記振動解析部による解析結果を表示する表示部(30、130)と、を備えている。
上記の構成によれば、被写体の振動を好適に解析することができる。また、被写体の振動の方向をどの方向に設定したのかをユーザに容易に認識させることができる。
本発明の態様9に係る振動解析装置は、上記態様8において、前記解析軸設定部は、前記被写体の映像に応じて解析軸を設定してもよい。
被写体の映像に応じて解析軸を設定した場合も、被写体の振動を好適に解析することができる。
本発明の態様10に係る振動解析装置は、上記態様9において、前記解析軸設定部は、前記振動の振幅が前記映像の画素の配列方向の振幅より大きくなる方向に前記解析軸の一つを設定してもよい。
上記の構成によれば、解析軸をより好適な方向に設定することで、被写体の振動をより好適に解析することができる。
本発明の態様11に係る振動解析装置は、上記態様9または10において、前記解析軸設定部は、前記振動の振幅が最大となる方向に前記解析軸の一つを設定してもよい。
上記の構成によれば、解析軸をより好適な方向に設定することで、被写体の振動をより好適に解析することができる。
本発明の態様12に係る振動解析装置は、上記態様8〜11のいずれか1つにおいて、前記表示部は、複数の解析軸を表示し、該複数の解析軸のそれぞれに沿った振動の解析結果を別々に表示してもよい。
上記の構成によれば、表示部に複数の解析軸が設定されている場合であっても、それぞれの振動の解析結果をユーザに容易に認識させることができる。
本発明の態様13に係る振動解析装置の制御方法は、被写体の振動を解析する振動解析装置の制御方法であって、前記振動解析装置が、ユーザの操作に応じて解析軸を設定する解析軸設定工程と、前記振動解析装置が、前記被写体の映像に基づいて、該被写体における前記解析軸に沿った振動を解析する振動解析工程と、前記振動解析装置が、前記振動解析工程における解析結果を出力する出力工程と、を包含する。
上記の構成によれば、本発明の一態様に係る振動解析装置と同様の効果を奏する。
上記の構成によれば、本発明の一態様に係る振動解析装置と同様の効果を奏する。
さらに、本発明の各態様に係る振動解析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記振動解析装置が備える各部(ソフトウェア要素)として動作させることにより前記振動解析装置をコンピュータにて実現させる振動解析装置の振動解析プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
例えば、実施形態3に開示された技術的手段は入力画像に応じて実施されるものであり、実施形態4に開示された技術的手段はユーザの操作に応じて実施されるものであることから、これらの技術的手段をそのまま組み合わせることはできない。ただし、切り替えボタン(不図示)などの公知の技術的手段を用いて、実施形態3に開示された技術的手段と、実施形態4に開示された技術的手段とを切り替えることができる。そのため、実施形態1〜4に開示された技術的手段のそれぞれを、切り替えボタンなどの公知の技術的手段を用いることで、任意に組み合わせることができ、このような技術的手段も本発明の技術的範囲に含まれる。

Claims (15)

  1. ユーザの操作に応じて解析軸を設定する解析軸設定部と、
    被写体の映像に基づいて、前記被写体における前記解析軸に沿った振動を解析する振動解析部と、
    前記振動解析部による解析結果を出力する出力部と、を備えていることを特徴とする振動解析装置。
  2. 前記振動解析部は、前記振動による前記被写体の変位量に基づいて前記振動を解析することを特徴とする請求項1に記載の振動解析装置。
  3. 前記振動解析部は、前記被写体の3次元的な変位量に基づいて前記振動を解析することを特徴とする請求項1または2に記載の振動解析装置。
  4. 前記解析軸設定部は、前記被写体を撮像する撮像部と前記被写体とを結ぶ方向に前記解析軸の一つを設定することを特徴とする請求項3に記載の振動解析装置。
  5. 前記解析軸設定部は、前記被写体の複数の部位のそれぞれに対し、解析軸を設定することを特徴とする請求項1〜4のいずれか1項に記載の振動解析装置。
  6. 前記解析軸設定部は、直交しない二つの解析軸を設定することを特徴とする請求項1〜5のいずれか1項に記載の振動解析装置。
  7. 前記振動解析部は、前記振動を周波数ごとに解析することを特徴とする請求項1〜6のいずれか1項に記載の振動解析装置。
  8. 解析軸を設定する解析軸設定部と、
    被写体の映像に基づいて、前記被写体における前記解析軸に沿った振動を解析する振動解析部と、
    前記被写体の画像に前記解析軸を重畳して表示するとともに、前記振動解析部による解析結果を表示する表示部と、を備えていることを特徴とする振動解析装置。
  9. 前記解析軸設定部は、前記被写体の映像に応じて解析軸を設定することを特徴とする請求項8に記載の振動解析装置。
  10. 前記解析軸設定部は、前記振動の振幅が前記映像の画素の配列方向の振幅より大きくなる方向に前記解析軸の一つを設定することを特徴とする請求項9に記載の振動解析装置。
  11. 前記解析軸設定部は、前記振動の振幅が最大となる方向に前記解析軸の一つを設定することを特徴とする請求項9または10に記載の振動解析装置。
  12. 前記表示部は、複数の解析軸を表示し、該複数の解析軸のそれぞれに沿った振動の解析結果を別々に表示することを特徴とする請求項8〜11のいずれか1項に記載の振動解析装置。
  13. 被写体の振動を解析する振動解析装置の制御方法であって、
    前記振動解析装置が、ユーザの操作に応じて解析軸を設定する解析軸設定工程と、
    前記振動解析装置が、前記被写体の映像に基づいて、該被写体における前記解析軸に沿った振動を解析する振動解析工程と、
    前記振動解析装置が、前記振動解析工程における解析結果を出力する出力工程と、を包含することを特徴とする振動解析装置の制御方法。
  14. 請求項1に記載の振動解析装置としてコンピュータを機能させるための振動解析プログラムであって、前記解析軸設定部と、前記振動解析部と、前記出力部として前記コンピュータを機能させるための振動解析プログラム。
  15. 請求項14に記載の振動解析プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2020513199A 2018-04-10 2019-03-28 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体 Active JP6960047B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018075567 2018-04-10
JP2018075567 2018-04-10
PCT/JP2019/013665 WO2019198534A1 (ja) 2018-04-10 2019-03-28 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019198534A1 JPWO2019198534A1 (ja) 2021-04-08
JP6960047B2 true JP6960047B2 (ja) 2021-11-05

Family

ID=68163629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020513199A Active JP6960047B2 (ja) 2018-04-10 2019-03-28 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US20210125340A1 (ja)
JP (1) JP6960047B2 (ja)
CN (1) CN111936830A (ja)
WO (1) WO2019198534A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114485908B (zh) * 2022-01-27 2023-08-15 上海智元信息科技有限公司 一种基于微机电系统的振动测量ic芯片
CN116818397B (zh) * 2023-08-31 2023-11-14 湖南东数交通科技有限公司 基于机器视觉的中小跨径桥梁快速荷载试验方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05203662A (ja) * 1992-01-27 1993-08-10 Fujikura Ltd 圧電型振動センサ
JPH09185455A (ja) * 1996-01-08 1997-07-15 Canon Inc 図形処理方法及びその装置
KR20110024522A (ko) * 2009-09-02 2011-03-09 한국원자력연구원 영상신호에서 커브피팅을 이용한 진동 측정 방법 및 시스템
JP5507760B2 (ja) * 2012-01-17 2014-05-28 パナソニック株式会社 電子機器
CN104541497B (zh) * 2012-05-23 2018-11-20 杭州美盛红外光电技术有限公司 影像记录装置和影像记录方法
CN105163055A (zh) * 2014-05-29 2015-12-16 杭州美盛红外光电技术有限公司 动态记录装置、回放装置及动态记录方法、回放方法
CN104048744B (zh) * 2014-07-08 2017-03-08 安徽常春藤光电智能科技有限公司 一种非接触式的基于影像的实时在线振动测量方法
CN106605401A (zh) * 2014-07-21 2017-04-26 迷你尛斯私人有限公司 图像捕获设备及方法
WO2016027296A1 (ja) * 2014-08-19 2016-02-25 アルウェットテクノロジー株式会社 干渉型振動観測装置、振動観測プログラムおよび振動観測方法
JP6436743B2 (ja) * 2014-11-26 2018-12-12 キヤノン株式会社 画像情報処理装置、画像情報処理方法およびプログラム、並びに撮像装置
WO2016170723A1 (ja) * 2015-04-20 2016-10-27 パナソニックIpマネジメント株式会社 振動可視化素子、振動計測システム、及び振動計測方法
EP3179440B1 (en) * 2015-12-10 2018-07-11 Airbus Defence and Space Modular device for high-speed video vibration analysis
WO2017122641A1 (ja) * 2016-01-15 2017-07-20 富士フイルム株式会社 計測支援装置及び計測支援方法
JP6565037B2 (ja) * 2016-02-10 2019-08-28 国立研究開発法人産業技術総合研究所 変位測定装置、変位測定方法およびそのプログラム

Also Published As

Publication number Publication date
WO2019198534A1 (ja) 2019-10-17
US20210125340A1 (en) 2021-04-29
JPWO2019198534A1 (ja) 2021-04-08
CN111936830A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
JP6195915B2 (ja) 画像計測装置
CN104103030B (zh) 图像分析方法、照相机装置、控制装置及控制方法
US9514537B2 (en) System and method for adaptive depth map reconstruction
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
US10776937B2 (en) Image processing apparatus and image processing method for setting measuring point to calculate three-dimensional coordinates of subject image with high reliability
JP2006277666A (ja) 表示画面上位置解析装置及び表示画面上位置解析プログラム
US11494975B2 (en) Method for analyzing three-dimensional model and device for analyzing three-dimensional model
JP6960047B2 (ja) 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体
US20180020203A1 (en) Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
JP2019129482A (ja) 画像処理装置
US9521397B2 (en) System and method for selecting a two-dimensional region of interest using a range sensor
JP4877243B2 (ja) 対応点探索装置および該方法
JP6954367B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
Shang et al. Multi-point vibration measurement for mode identification of bridge structures using video-based motion magnification
EP3051492A1 (en) Method and apparatus for determining disparity
JP2013038454A (ja) 画像処理装置および方法、並びにプログラム
JP2013258583A (ja) 撮像画像表示装置、撮像画像表示方法、プログラム
KR20170093421A (ko) 영상 처리 장치에 의해 수행되는 영상에서 관심 객체를 판별하는 방법, 영상 처리 장치 및 컴퓨팅 장치
JP5728399B2 (ja) 計測装置、方法及びプログラム
US20210304417A1 (en) Observation device and observation method
Kalutskiy et al. Method of moving object detection from mobile vision system
JP5086120B2 (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP2015001791A (ja) 画像解析装置
JP2005228150A (ja) 画像照合装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211008

R150 Certificate of patent or registration of utility model

Ref document number: 6960047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150