JP7287463B2 - データ符号化装置、データ通信システム、データ通信方法、及びプログラム - Google Patents

データ符号化装置、データ通信システム、データ通信方法、及びプログラム Download PDF

Info

Publication number
JP7287463B2
JP7287463B2 JP2021528082A JP2021528082A JP7287463B2 JP 7287463 B2 JP7287463 B2 JP 7287463B2 JP 2021528082 A JP2021528082 A JP 2021528082A JP 2021528082 A JP2021528082 A JP 2021528082A JP 7287463 B2 JP7287463 B2 JP 7287463B2
Authority
JP
Japan
Prior art keywords
reference signal
time
displacement
data
plane displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021528082A
Other languages
English (en)
Other versions
JPWO2020255232A1 (ja
JPWO2020255232A5 (ja
Inventor
巡 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020255232A1 publication Critical patent/JPWO2020255232A1/ja
Publication of JPWO2020255232A5 publication Critical patent/JPWO2020255232A5/ja
Priority to JP2023084086A priority Critical patent/JP7485155B2/ja
Application granted granted Critical
Publication of JP7287463B2 publication Critical patent/JP7287463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、対象物の画像から得られた面内変位のデータを符号化又は復号するための、データ符号化装置、データ復号装置、データ通信システム、及びデータ通信方法に関し、更には、これらを実現するためのプログラムに関する。
従来から、橋梁などの構造物の状態を非接触によって判定する技術が提案されている(例えば、特許文献1参照)。このような判定技術によれば、点検員は、構造物に接触することなく、構造物の点検を行うことができる。このような判定技術は、点検員が容易に近づけない場所に接地されている構造物に対して特に有用である。
特許文献1は、橋梁等の構造物を被写体とした画像から、判定対象となっている部分の面内変位成分を導出し、導出した面内変位成分に基づいて、構造物の状態を判定する装置を開示している。
具体的には、特許文献1に開示された装置は、まず、可視カメラから、複数の画像を時系列に沿って取得する。そして、特許文献1に開示された装置は、取得した画像のオプティカルフローから、又は画像相関法によって得た変位ベクトル場から、判定対象となる面全体の変位に起因する成分を差し引くことで、面内変位成分を導出する。
次いで、特許文献1に開示された装置は、導出した面内変位成分から、面内変位分布を求め、求めた面内変位分布と、基準となる面内変位分布とを比較する。このとき、ひび割れによる開口などの損傷が発生していると、2つの面内分布に相違点が生じるため、特許文献1に開示された装置は、比較結果から、ひび割れ等の欠陥を検出する。
国際公開第2016/152075
ところで、特許文献1に開示された装置によって導出された面内変位成分のデータは、記録のために、データサーバ等に、ネットワークを介して伝送され、そこで蓄積される。しかしながら、このようにして得られた面内変位成分のデータには、データ量が非常に大きいという特性があり、ネットワークを介した伝送及び蓄積を行うために多大なコストを要するという問題がある。
例えば、構造物を撮影した動画像データの条件が、画素数2048×2048、フレームレート80fps、時間10秒間であるとする。この場合、各画素座標についてX方向及びY方向の変位(各32bit浮動小数点)が得られるとすると、面内変位成分のデータのデータ量は、約26GBとなる。
また、従来から、動画像データの圧縮形式としては、MPEGが知られており、このような圧縮形式を用いて、面内変位成分のデータに対して圧縮を行えば、コストを削減できるとも考えられる。しかしながら、MPEGは、時系列の2次元データを効率的に圧縮するための圧縮方式であるのに対して、面内変位成分のデータは、浮動小数点形式の入力信号で構成されている。このため、コストを削減できても、高い圧縮率で圧縮した時に生じる歪みにより、損傷検知による状態の判断の際において精度が大きく低下する可能性がある。
また、解像度を間引く(縮小する)などの方法を用いて、データのサイズを削減することも可能ではあるが、損傷検知の際の十分な空間分解能を保ちつつ、コスト低減が可能な実用レベルまでデータのサイズを削減することは困難である。
本発明の目的の一例は、上記問題を解消し、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図り得る、データ符号化装置、データ復号装置、データ通信システム、データ通信方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面におけるデータ符号化装置は、
対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出部と、
前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力部と、
を備えている、ことを特徴とする。
上記目的を達成するため、本発明の一側面におけるデータ復号装置は、
対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得部と、
取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号部と、
を備えている、
ことを特徴とする。
上記目的を達成するため、本発明の一側面におけるデータ通信システムは、データ符号化装置とデータ復号装置とを備え、
前記データ符号化装置は、
対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出部と、
前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力部と、を備え、
前記データ復号装置は、
対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得部と、
取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号部と、を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面におけるデータ通信方法は、データ符号化装置とデータ復号装置と用いたデータ通信方法であって、
(a)前記データ符号化装置によって、対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(b)前記データ符号化装置によって、前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
(c)前記データ符号化装置によって、前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
(d)前記データ復号装置によって、対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、ステップと、
(e)前記データ復号装置によって、取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、ステップと、
を有する、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面における第1のプログラムは、
コンピュータに、
(a)対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(b)前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
(c)前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
を実行させることを特徴とする。
更に、上記目的を達成するため、本発明の一側面における第2のプログラムは、
コンピュータに、
(a)対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、ステップと、
(b)取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、ステップと、
を実行させることを特徴とする。
以上のように、本発明によれば、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図ることができる。
図1は、本発明の実施の形態におけるデータ通信システムの構成を示すブロック図である。 図2は、本発明の実施の形態におけるデータ通信システムの構成をより具体的に示すブロック図である。 図3は、対象物の計測対象領域を撮影した際に、ある点における撮像装置の撮像面上で観測される変位に含まれる成分を説明した図である。 図4は、計測対象領域を撮影した画像上の特定領域で観察される変位(δxij,δyij)の2次元空間分布の様子を模擬的に示した図である。 図5(a)~図5(c)は、それぞれ、本発明の実施の形態において回帰係数算出部によって行われる処理を説明するための図である。 図6は、本発明の実施の形態におけるデータ符号化装置の動作を示すフロー図である。 図7は、本発明の実施の形態におけるデータ復号装置の動作を示すフロー図である。 図8は、本発明の実施の形態におけるデータ符号化装置又はデータ復号装置を実現するコンピュータの一例を示すブロック図である。
(実施の形態)
以下、本発明の実施の形態における、データ符号化装置、データ復号装置、データ通信システム、データ通信方法、及びプログラムについて、図1~図8を参照しながら説明する。
[システム構成]
最初に、図1を用いて、本実施の形態におけるデータ符号化装置、データ復号装置、及びデータ通信システムの構成について説明する。図1は、本発明の実施の形態におけるデータ通信システムの構成を示すブロック図である。
図1に示す本実施の形態におけるデータ通信システム10は、対象物の画像から得られた面内変位のデータのデータ通信を行うためのシステムである。図1に示すように、データ通信システム10は、データ符号化装置20と、データ復号装置30とを備えている。また、データ符号化装置20とデータ復号装置30とは、インターネット等のネットワーク40を介して接続されている。
また、図1に示すデータ符号化装置20は、対象物の画像から得られた面内変位のデータを符号化する装置である。図1に示すように、データ符号化装置20は、参照信号生成部21と、回帰係数算出部22と、データ出力部23と、を備えている。
このうち、参照信号生成部21は、面全体変位と面内変位とから、対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する。
また、回帰係数算出部22は、参照信号と面内変位とを用いて、参照信号のレベルの時系列変化と面内変位の時系列変化との連動度を示す、回帰係数を算出する。データ出力部23は、参照信号及び回帰係数を、面内変位を示すデータとして、データ復号装置30に出力する。
また、図2に示すデータ復号装置30は、データ符号化装置20から出力された、面内変位を示すデータを復号する装置である。図2に示すデータ復号装置30は、データ取得部31と、データ復号部32とを備えている。
データ取得部31は、データ符号化装置20によって出力された、参照信号及び回帰係数を取得する。データ復号部32は、参照信号及び回帰係数を用いて、対象物の特定表面における面内変位を復元する。
このように、本実施の形態では、面内変位を示すデータは、それ自体のサイズを削減するのではなく、参照信号と回帰係数とに変換されてから伝送される。従って、本実施の形態によれば、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図ることが可能となる。
次に、図2~図5を用いて、本実施の形態における、データ符号化装置20、データ復号装置30、及びデータ通信システム10の構成及び機能についてより詳細に説明する。図2は、本発明の実施の形態におけるデータ通信システムの構成をより具体的に示すブロック図である。
図2に示すように、本実施の形態では、面内変位が計測される対象物は、橋梁60であり、橋梁60を通過する車両61による加重によって、橋梁60が撓んだときに、橋梁60に設定された計測対象領域における面内変位が計測される。計測対象領域としては、橋梁の桁、床版等が挙げられる。
また、図2に示すように、データ符号化装置20には、撮像装置50が接続されている。撮像装置50は、動画を撮影可能なカメラであり、時系列画像をフレーム毎に出力する。具体的には、撮像装置50は、設定間隔をおいて、撮影を行い、撮影した画像の画像データを連続的に出力する。本実施の形態では、図2に示すように、撮像装置50は、橋梁60の計測対象領域である床版(底面)を撮影できるように、配置されている。
更に、図2に示すように、本実施の形態では、データ符号化装置20は、上述した、参照信号生成部21、回帰係数算出部22、及びデータ出力部23に加えて、画像データ取得部24と、面全体変位計測部25と、面内変位計測部26と、記憶部27とを備えている。
画像データ取得部24は、撮像装置50から画像データが出力されると、出力された画像データを取得し、取得した画像データを、面全体変位計測部25と、面内変位計測部26とに出力する。
面全体変位計測部25は、対象物の時系列画像から、対象物の特定表面における面全体変位を計測する。本実施の形態では、面全体変位計測部25は、撮像装置50が出力する時系列画像を取得し、任意の時刻に撮像された画像を基準画像とし、それ以外を処理画像とする。そして、面全体変位計測部25は、基準画像内での特定表面上の計測対象領域に対応する領域(以下「特定領域」と表記する)の各点について、処理画像毎に、処理画像内で対応する位置をそれぞれ探索して、変位を算出する。このようにして算出された処理画像毎の特定領域に対する変位が、変位分布となる。
具体的には、面全体変位計測部25は、特定領域内のある箇所(座標)に最も類似している処理画像における箇所(座標)を探索して、特定した箇所(座標)の変位を算出する。類似している箇所の特定手法としては、例えば、ある箇所(座標)、およびその周辺の座標の輝度値を用いて、SAD(Sum of Squared Difference)、SSD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)、ZNCC(Zero-means Normalized Cross-Correlation)等の類似度相関関数を用いて、最も相関が高い位置(座標)を探索する手法が挙げられる。
このような算出処理を、特定領域内の各座標に対して繰り返し実施することで、その処理画像における特定領域に対する変位の分布を得ることができる。また同様の処理を、処理画像毎に行うことで、処理画像毎に特定領域に対する変位分布を得ることができる。ここで、計測対象領域の特定の座標を(i,j))とし、算出される変位を(δxij, δyij)と表記することとする。
続いて、面全体変位計測部25は、算出した変位(δxij,δyij)と、撮影情報とから、計測対象領域の面方向における移動量(Δx、Δy)と法線方向における移動量(Δz)とを算出する。また、面全体変位計測部25は、算出した変位(δxij,δyij)と、移動量(Δx、Δy、Δz)が、面全体変位となる。また、面全体変位計測部25は、算出した変位(δxij,δyij)と、移動量(Δx、Δy、Δz)とを、面全体変位情報として、記憶部27に格納する。撮影情報としては、撮像装置50における固体撮像素子の1画素のサイズ、レンズの焦点距離、撮像装置50から計測対象領域までの撮像距離、撮影フレームレート、等が挙げられる。
面内変位計測部26は、面全体変位計測部25によって計算された移動量(Δx、Δy、Δz)と時系列画像とから、橋梁60の特定表面における面内変位を計測する。ここで、面内変位については、(δδxij ,δδyij)と表記する。
続いて、図3及び図4を用いて、面全体変位計測部25及び面内変位計測部26における処理について具体的に説明する。図3は、対象物の計測対象領域を撮影した際に、ある点における撮像装置の撮像面上で観測される変位に含まれる成分を説明した図である。また、図3では、対象物である橋梁60が、通過する車両61によって、負荷を受け、その結果、計測対象領域が3次元方向に移動量(Δx、Δy、Δz)分だけ移動した状態を示している。
ここで、撮像装置50の撮像面の中心、つまりレンズの光軸と撮像面との交点となる撮像中心にあたる点を原点とした座標系を考える。この座標系において、撮像装置50の撮像面上の座標(i, j)の点Aにおいて観測される変位(δxij,δyij)について考える。なお、撮像装置50の撮像面上の座標(i, j)は、撮影された画像上の座標に置き換えることもできる。
図3の状態では、橋梁60の計測対象領域には、画面上の水平方向及び垂直方向(X,Y方向)と、法線方向(Z方向)において、移動量(Δx、Δy、Δz)が発生している。計測対象領域は、画面内の水平方向及び垂直方向(X,Y方向)に移動した分(Δx、Δy)だけ、撮像装置50の撮像面に対して平行に移動する。また、法線方向(Z方向)に移動した分(Δz)だけ撮像装置50に近づく。そのため、撮像距離は移動量Δzだけ短くなる。
これにより、図3に示すように、撮像装置50の撮像面に対して水平方向(X方向)における計測対象領域の移動量Δxによって生じる変位δxとは別に、移動量Δzによる変位δzxijが生じる。同様に、撮像装置50の撮像面には、画面に対して垂直方向(Y方向)における撮像装置50の移動量Δyによって生じる変位δyとは別に、移動量Δzによる変位δzyijも生じる。
また、橋梁60が負荷を受けたことによって計測対象領域の表面が変形した場合(ΔΔXij,ΔΔYij)、それに伴って撮像装置50の撮像面には、面内変位(δδxij,δδyij)も重ね合わされる。
ここで、計測対象領域の表面の変形に伴う面内変位(δδxij ,δδyij)は、例えば、ひび割れのような欠陥がない健全な領域では、表面の変位は連続的に変化するのに対し、ひび割れをまたぐ領域では表面の変位は連続的に変化せずに不連続に変化する。このように、欠陥がない健全な領域と何らかの欠陥がある領域とでは、表面の変位の分布が異なるという特徴を示す。
そして、計測対象領域では、発生する全ての変位が足し合わされて、合成ベクトルとなって観察される。すなわち、点A(i, j)で観測される変位(δxij,δyij)は、後述の図4に示すように、以下の数1及び数2によって表すことができる。
Figure 0007287463000001
Figure 0007287463000002
ここで、レンズの主点から計測対象領域までの撮像距離をL、撮像装置50のレンズ焦点距離をf、撮像中心からの座標を(i,j)とすると、対象物60の面方向の移動(Δx, Δy)に伴う変位(δx, δy)、法線方向の移動(Δz)に伴う変位(δzxij,δzyij)は、それぞれ、下記の数3、数4で表される。
Figure 0007287463000003
Figure 0007287463000004
計測対象領域がすべて同じ3次元の動きをしていると仮定すると、上記の数3及び数4で示される面方向の移動(Δx, Δy)に伴う変位(δx, δy)は、点Aの座標によらず一定であることがわかる。また、法線方向の移動(Δz)に伴う変位(δzxij ,δzyij)は、点Aの座標が原点から離れるほど大きくなることがわかる。一方、計測対象領域の面内変位(δδxij ,δδyij)は、点Aの座標の座標によらず、表面のひび割れなどの欠陥の位置などに応じて連続・不連続な変位の分布を示す。
図4は、計測対象領域を撮影した画像上の特定領域で観察される変位(δxij,δyij)の2次元空間分布(以下、変位分布とする)の様子を模擬的に示した図である。図4に示すように面全体変位計測部25が算出する特定領域の各座標の変位(δxij,δyij)を変位ベクトルとして表記する。この場合、変位ベクトルは、画面全体で一様な方向及び大きさで観察される面方向の移動(Δx, Δy)に伴う変位(δx, δy)と、画面の撮像中心から放射状のベクトル群として観察される法線方向の移動(Δz)に伴う変位(δzxij ,δzyij)と、計測対象領域の表面の変形に伴う面内変位(δδxij ,δδyij)との合成成分として表される。
続いて、面方向の移動(Δx,Δy)に伴う変位 (δx, δy)を算出する方法について説明する。図4に示すように、面方向の移動(Δx, Δy)に伴う変位(δx, δy)は、基本的には画面全体で一様な方向及び大きさで観察される。そこで、面全体変位計測部25によって、撮像中心を中心とした特定領域の各座標において算出された変位(δxij,δyij)に、変位の方向によってプラスマイナスを付加し、これを変位ベクトルとする。そして、対象となる各座標における変位ベクトルを全て足し合わせ、平均を算出することにより、面方向の移動(Δx, Δy)に伴う変位(δx,δy)が算出される。
次に、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)を算出する方法について述べる。まず、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)のみが発生する状態を考える。そのベクトルの大きさR(i,j)は、特定領域の移動量Δzが特定領域内で一定であれば、下記の数5に示すように、撮像中心からの距離に比例した値となる。また、下記の数6に示すように比例定数をkと置けば、数5は、数7のようにも表される。
Figure 0007287463000005
Figure 0007287463000006
Figure 0007287463000007
一方、実際に、面全体変位計測部25によって最初に算出される変位(δxij,δyij)は、図4に示すように、合成ベクトル(図4:超太実線の矢印)で構成されている。そして、この合成ベクトル(δxij,δyij)は、図4からもわかるとおり、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)(図3、図4:中実線の矢印)と、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)(図3、図4:太実線の矢印)と、計測対象領域の表面の変形及び変位に伴う面内変位(δδxij ,δδyij)(図3、図4:細実線の矢印)とを含んでいる。
従って、この合成ベクトル(δxij,δyij)から、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)を減算して得られたベクトルは、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)と、面内変位(δδxij ,δδyij)との合成ベクトルに相当する。
よって、ある座標(i,j)における法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyijj)と面内変位(δδxij ,δδyij)との合成ベクトルをRmes(i ,j)とすると、これらは下記の数8で表すことができる。
Figure 0007287463000008
ところで、面内変位(δδxij ,δδyij)は、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)及び法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)に比べると、十分に小さいとみなせる。そのため、支配的な成分である面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)及び法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)に着目すると、上記の数8は、下記の数9のように表すことができる。
Figure 0007287463000009
この場合、座標(i, j)におけるRmes(i ,j)は、法線方向の移動(Δz)に伴う変位ベクトル成分(δzxij ,δzyij)とほぼ等しいとして扱うことができる。このとき、法線方向の移動量Δzを与えた時の変位ベクトルは、数6~数8に示すR(i, j)で表される。
このため、面全体変位計測部25は、数9によって求めた変位ベクトルの大きさRmes(i ,j)を用いて、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)による変位ベクトルの大きさR(i ,j)の拡大・縮小の割合を推定する。具体的には、面全体変位計測部25は、下記の数10に示す評価関数E(k)を最少にする比例定数kを求めることによって、R(i ,j)の倍率を推定する。
Figure 0007287463000010
従って、面全体変位計測部25は、上記の数10に最小2乗法を適用して、比例定数kを算出する。また、評価関数E(k)としては、上記の数10に示したRmes(i ,j)とR(i ,j)との差の2乗和以外に、絶対値和、他の累乗和等が用いられていても良い。
そして、面全体変位計測部25は、算出した比例定数kを、拡大・縮小の割合を示す定数として、上記数7に適用して、移動量Δzを算出する。そして、面全体変位計測部は、算出したΔzと、面方向の移動(Δx, Δy)に伴う変位(δx,δy)と、撮影情報とを、上記数3に適用することによって、移動量Δx及びΔyも算出する。
また、面全体変位計測部25は、撮像装置50による撮影の毎、即ち、時系列画像のフレーム毎に、計測対象領域の面方向における移動量と、計測対象領域の法線方向における移動量とを算出する。そして、面全体変位計測部25は、時系列画像のフレーム毎に算出した移動量を、面全体変位情報として、記憶部27に格納する。また、この場合、面全体変位情報は、撮影の時間間隔をサンプリング間隔とした時系列信号として扱うことができる。
面内変位計測部26は、面全体変位と対象物の時系列画像とから、対象物の特定表面における面内変位を計測する。本実施の形態では、面内変位計測部26は、面全体変位計測部25によって算出された計測対象領域の面方向における移動量(Δx, Δy)、及び計測対象領域の法線方向における移動量(Δz)を用いて、最初に算出された変位(変位ベクトル(δxij,δyij)から、計測対象領域の面内変位(δδxij ,δδyij)を算出する。また、面内変位の算出は、時系列画像のフレーム毎に行われている。
図4によると、面内変位(δδxij ,δδyij)を算出するためには、面内変位計測部26によって算出された変位ベクトル(δxij,δyij)から、計測対象領域の移動量(Δx ,Δy ,Δz)によって発生する変位成分を減算すれば良いことが分かる。つまり、面内変位計測部26は、下記の数11及び数12を用いることによって、面内変位(δδxij ,δδyij)を算出する。
また、面内変位計測部26は、撮像装置50によって撮影が行われる度に、即ち、時系列に沿って、面内変位(δδxij ,δδyij)を算出する。そして、面内変位計測部26は、時系列画像のフレーム毎に算出した面内変位を、面内変位情報として、記憶部27に格納する。また、この場合、面内変位情報は、撮影の時間間隔をサンプリング間隔とした時系列信号として扱うことができる。なお、本明細書においては、面内変位情報は、「面内変位信号」とも表記する。
Figure 0007287463000011
Figure 0007287463000012
参照信号生成部21は、本実施の形態では、対象物の特定表面上の注目点の特定方向における面内変位から、注目点の特定方向における歪みの時系列変化ε(t)を算出し、算出した歪みの時系列変化ε(t)を示す信号を、参照信号として生成する。
具体的には、予め、データ通信システム10の操作者等によって、特定表面上の計測対象領域において注目点が指定される。図2に示すように、対象物が橋梁60であり、計測対象領域が床版である場合は、床版上の点が注目点として指定される。
参照信号生成部21は、注目点が指定されると、注目点を取り囲む複数の点(例えば4点)を決定する。ここで、各点で囲まれた領域を「局所領域」とする。次に、参照信号生成部21は、記憶部27から、決定した点それぞれにおける面内変位情報を取得する。
そして、特定方向についても、注目点と同様に、予め指定されている場合は、参照信号生成部21は、取得した各点の面内変位情報を用いて、局所領域の特定方向における長さの変化率を求め、求めた変化率を歪みの時系列変化ε(t)とする。
一方、特定方向が予め指定されていない場合は、参照信号生成部21は、取得した各点の面内変位情報を用いて、特異値分解を実施することによって、局所領域の最も変化の大きい方向を特定する。そして、参照信号生成部21は、特定した方向における局所領域の長さの変化率を求め、求めた変化率を歪みの時系列変化ε(t)とする。
その後、参照信号生成部21は、算出した歪みの時系列変化から得られた参照信号を、参照信号情報として、記憶部27に格納する。
回帰係数算出部22は、本実施の形態では、特定表面上の計測対象領域の点(i,j)毎に、回帰係数を算出する。回帰係数算出部22は、まず、記憶部27に格納されている面内変位情報から、面内変位の時系列変化を特定し、記憶部27に格納されている参照信号情報から、参照信号のレベルの時系列変化を特定する。そして、回帰係数算出部22は、特定表面上の計測対象領域の点(i,j)毎に、特定した参照信号のレベルの時系列変化と、同じく特定した面内変位の時系列変化とから、両者の連動度を示す回帰係数を算出する。
ここで、図5を用いて、回帰係数算出部22による処理について説明する。図5(a)~図5(c)は、それぞれ、本発明の実施の形態において回帰係数算出部によって行われる処理を説明するための図である。
具体的には、最初に回帰係数算出部22は、図5(a)に示すように、参照信号のレベルの時系列変化と、特定の点(i,j)における面内変位(δδxij ,δδyij)の時系列変化とを特定する。また、このとき特定される面内変位は、x方向における面内変位δδxij 及びy方向における面内変位δδyijのうちいずれか一方であっても良いし、両方であっても良い。前者の場合、一方の面内変位としては、例えば、対象物が橋梁60であれば、橋梁60の長手方向における面内変位が挙げられる。また、後者の場合は、x方向における面内変位δδxij とy方向における面内変位δδyijとの平均の面内変位が、特定されても良い。
次いで、回帰係数算出部22は、図5(b)に示すように、点(i,j)毎に、時系列に沿って、即ち、時系列画像のフレーム毎に、参照信号と面内変位とを比較する。そして、回帰係数算出部22は、図5(c)に示すように、点(i,j)毎に、参照信号のレベルの時系列変化と面内変位の時系列変化との関係を示す回帰直線を求め、更に、その傾きを回帰係数として算出する。また、回帰直線の算出、及び回帰係数の算出は、x方向及びy方向それぞれについて行われており、実際には、x方向における回帰係数と、y方向における回帰係数とが算出されている。
データ出力部23は、本実施の形態では、記憶部27に格納されている参照信号情報と、点(i,j)毎に算出された回帰係数とを、面内変位を示すデータとして、ネットワーク40を介して、データ復号装置30へと出力する。
データ復号装置30は、本実施の形態では、例えば、PC(Personal Computer)、スマートフォン、タブレット型端末、といった端末装置のオペレーティングシステム上に、プログラムによって構築されている。データ復号装置30は、端末装置の表示装置33に接続されている。
データ復号装置30において、データ取得部31は、データ符号化装置20のデータ出力部23から出力されてきた、参照信号情報と、点(i,j)毎に算出された回帰係数とを取得する。
データ復号部32は、本実施の形態では、点(i,j)毎に、時系列に沿って、参照信号情報で特定される参照信号のレベルに、回帰係数を乗算することによって、橋梁60の計測対象領域での面内変位を復元する。また、データ復号部32は、復元した面内変位を表示するための画像データを生成し、生成した画像データを表示装置33に出力して、その画面上に面内変位を表示させる。
[装置動作]
次に、本発明の実施の形態におけるデータ通信システム10の動作について図6及び図7を用いて説明する。以下においては、適宜図1~図5を参照しながら、データ符号化装置20及びデータ復号装置30それぞれの動作を説明する。また、本実施の形態1では、データ通信システム10、即ち、データ符号化装置20及びデータ復号装置30を動作させることによって、データ通信方法が実施される。よって、本実施の形態におけるデータ通信方法の説明は、以下のデータ符号化装置20及びデータ復号装置30の動作説明に代える。
最初に図6を用いて、データ符号化装置20の動作について説明する。図6は、本発明の実施の形態におけるデータ符号化装置の動作を示すフロー図である。
図6に示すように、最初に、画像データ取得部24は、撮像装置50から時系列画像の画像データが出力されると、出力された画像データを取得し、取得した画像データを、フレーム毎に、面全体変位計測部25及び面内変位計測部26に出力する(ステップA1)。
次に、面全体変位計測部25は、ステップA1によって時系列画像の画像データが出力されてくると、フレーム毎に、対象物である橋梁60の計測対象領域の面全体変位を計測する(ステップA2)。また、面全体変位計測部25は、計測結果を、面全体変位情報として、記憶部27に格納する。
次に、面内変位計測部26は、ステップA1で出力されてきた時系列画像の画像データと、ステップA2で計測された面全体変位とを用いて、フレーム毎に、対象物である橋梁60の計測対象領域における面内変位を計測する(ステップA3)。また、面内変位計測部26は、計測結果を、面内変位情報として、記憶部27に格納する。
次に、参照信号生成部21は、ステップA2で計測された面全体変位と、ステップA3で計測された面内変位とから、対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する(ステップA4)。また、参照信号生成部21は、生成した参照信号を、参照信号情報として、記憶部27に格納する。
次に、回帰係数算出部22は、ステップA4で生成された参照信号と、ステップA3で計測された面内変位とを用いて、特定表面上の計測対象領域の点(i,j)毎に、参照信号のレベルの時系列変化と面内変位の時系列変化との連動度を示す、回帰係数を算出する(ステップA5)。
次に、データ出力部23は、ステップA4で生成された参照信号と、ステップA5で算出された点(i,j)毎の回帰係数とを、面内変位を示すデータとして、ネットワーク40を介して、データ復号装置30に送信する(ステップA6)。ステップA6の実行により、データ符号化装置20での処理は終了する。
続いて、図7を用いて、データ復号装置30の動作について説明する。図7は、本発明の実施の形態におけるデータ復号装置の動作を示すフロー図である。
図7に示すように、最初に、データ復号装置30において、データ取得部31は、データ符号化装置20から送信されてきた、面内変位を示すデータ、即ち、参照信号及び点(i,j)毎の回帰係数を取得する(ステップB1)。
次に、データ復号部32は、ステップB1で取得された参照信号及び点(i,j)毎の回帰係数を用いて、対象物の特定表面における面内変位を復元する(ステップB2)。
その後、データ復号部32は、復元した面内変位を表示するための画像データを生成し、生成した画像データを表示装置33に出力して、その画面上に面内変位を表示させる(ステップB3)。ステップB3の実行により、データ復号装置30における処理は終了する。
(実施の形態における効果)
以上のように本実施の形態1によれば、面内変位を示すデータ自体を削減することなく、そのデータ量を小さくすることができる。本実施の形態によれば、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図ることが可能となる。
また、本実施の形態において、面内変位を示すデータとして送信される点(i,j)毎の回帰係数は、浮動小数点の画素表現に対応した画像圧縮方式(JPEC-XR等)を用いて圧縮することができる。この場合は、面内変位を示すデータを更に圧縮することができる。
加えて、面内変位を示すデータとして送信される参照信号は、浮動小数点に対応したオーディオ圧縮方式(MPEG4-ALS等)を用いて圧縮することができる。この場合も、面内変位を示すデータを更に圧縮することができる。
[変形例1]
次に、本発明の実施の形態の変形例1~変形例4について説明する。まず、本変形例1では、面全体変位計測部25が、対象物の特定表面の面内方向、及び対象物に印加される外力の印加方向において、面全体変位を計測することが条件となる。なお、上述した実施の形態では、対象物が橋梁60であり、外力の印加方向が法線方向であるので、上記条件は満たされている。
そして、本変形例1においては、参照信号生成部21は、外力印加方向における面全体変位の時系列変化D(t)を算出し、算出した面全体変位の時系列変化を示す信号を、参照信号として生成する。具体的には、信号生成部13は、面全体変位情報から、面全体変位計測部25によって計測された、法線方向における移動量(Δz)の時系列変化を特定し、この特定した移動量(Δz)の時系列変化D(t)を参照信号とする。
本変形例1によれば、上述した実施の形態と異なり、注目点の指定、更には、特定方向の指定が必要ないため、橋梁60の点検員における負担が軽減される。なお、本変形例1は、撮像装置50が、外力の影響を受けにくいところに十分に固定されており、且つ、外力による応力変動と外力の印加方向における面全体変位とが連動している、場合に有用である。
[変形例2]
本変形例2では、参照信号生成部21は、まず、面内変位を用いて、対象物の特定表面における局所歪みを算出し、更に、局所歪みを特定表面全体について積算して、対象物の特定表面全体における歪みの時系列変化を算出する。そして、参照信号生成部21は、算出した歪みの時系列変化を示す信号を、参照信号として生成する。
具体的には、参照信号生成部21は、画像データのフレーム毎に、計測対象領域の座標(i,j)での局所的な変形状態から局所歪みε(t,i,j)を求めるため、まず、座標(i,j)を取り囲む複数の点(例えば4点)を決定する。ここでの各点で囲まれた領域も「局所領域」とする。
次いで、参照信号生成部21は、記憶部17から、決定した点それぞれにおける面内変位情報を取得し、取得した各点の面内変位情報を用いて、特異値分解を実施することによって、局所領域の最も変化の大きい方向を特定する。そして、参照信号生成部21は、特定した方向における局所領域の長さの変化率を求め、求めた変化率を局所歪みs(t,i,j)とする。
続いて、参照信号生成部21は、局所歪みs(t,i,j)を、計測対象領域全体に亘って積算して、計測対象領域の全体にわたる歪み量S(t)を算出し、算出した歪み量S(t)を参照信号とする。本変形例2では、参照信号は、局所歪みから求められるため、本変形例2は、撮像装置50の固定が不十分な場合、外力による応力変動と外力の印加方向における面全体変位との連動性が低い場合にも有用である。
[変形例3]
本変形例3でも、変形例2と同様に、参照信号生成部21は、座標(i,j)を取り囲む複数の点(例えば4点)を決定し、記憶部17から、決定した点それぞれにおける面内変位情報を取得する。但し、本変形例3では、変形例2と異なり、参照信号生成部21は、取得した各点の面内変位情報を用いて、局所領域における局所変形を示す特異値σ1、σ2(σ1≧σ2)及び特異ベクトルv1を求める。なお、ここでの特異ベクトルv1は、特異値σ1に対応する左特異ベクトルとするが、本変形例3では、それ以外の特異ベクトルが選ばれるように決められていても良い。
次いで、参照信号生成部21は、数13を用いて、局所領域での局所的な開口方向及び大きさを表す局所開口ベクトルvop(t,i,j)を算出する。
Figure 0007287463000013
次に、参照信号生成部21は、算出した局所開口ベクトルの主成分分析を行って、第1主成分を特定する。具体的には、参照信号生成部21は、時刻tにおけるvop(t,i,j)による点群の分布を入力として、点群の最大の広がり方向を、主成分分析により導出する。更に、参照信号生成部21は、主成分分析により得られた第1主成分軸の標準偏差をS(t)とし、これを参照信号とする。本変形例3では、主成分分析を用いることにより、面内変位に含まれるノイズに対して、より頑健な参照信号を得ることができる。
[変形例4]
本変形例4では、変形例2と同様に、参照信号生成部21は、まず、座標(i,j)毎に局所歪みs(t,i,j)を算出する。また、参照信号生成部21は、変形例1と同様に、外力印加方向における面全体変位の時系列変化D(t)も算出する。続いて、参照信号生成部21は、座標(i,j)毎に、局所歪みs(t,i,j)と時系列変化D(t)との回帰係数w(i,j)を算出する。
続いて、参照信号生成部21は、変形例3と同様に、上記数1を用いて、局所領域での局所的な開口方向及び大きさを表す局所開口ベクトルvop(t,i,j)を算出する。
次に、参照信号生成部21は、第1主成分となる局所開口ベクトルvop(t,i,j)それぞれに、重みとして、回帰係数w(i,j)を乗算する。更に、参照信号生成部21は、時刻tにおける重み乗算後の局所開口ベクトルvop(t,i,j)に対して、変形例3と同様の主成分分析を行う。主成分分析により得られた第1主成分軸の標準偏差をS(t)とし、これを参照信号とする。本変形例4では、外力と連動度の低い点において、局所開口ベクトルの主成分分析への寄与度を下げることにより、面内変位に含まれるノイズに対してより頑健な参照信号を得ることができる。
[プログラム]
本実施の形態における第1のプログラムは、コンピュータに、図6に示すステップA1~A6を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるデータ符号化装置20を実現することができる。この場合、コンピュータのプロセッサは、参照信号生成部21、回帰係数算出部22、データ出力部23、画像データ取得部24、面全体変位計測部25、及び面内変位計測部26として機能し、処理を行なう。
また、本実施の形態における第1のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、参照信号生成部21、回帰係数算出部22、データ出力部23、画像データ取得部24、面全体変位計測部25、及び面内変位計測部26のいずれかとして機能しても良い。
本実施の形態における第2のプログラムは、コンピュータに、図7に示すステップB1~B3を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるデータ復号化装置30を実現することができる。この場合、コンピュータのプロセッサは、データ取得部31及びデータ復号部32として機能し、処理を行なう。
また、本実施の形態における第2のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部31及びデータ復号部32のいずれかとして機能しても良い。
ここで、本実施の形態における第1のプログラムを実行することによって、データ符号化装置20を実現するコンピュータと、第本実施の形態における第2のプログラムを実行することによって、データ復号装置30を実現するコンピュータとについて図8を用いて説明する。
図8は、本発明の実施の形態におけるデータ符号化装置又はデータ復号装置を実現するコンピュータの一例を示すブロック図である。図8に示すように、コンピュータ110は、CPU(CentralProcessing Unit)111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。また、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGA(Field-Programmable Gate Array)を備えていても良い。
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体が挙げられる。
なお、本実施の形態におけるデータ符号化装置20及びデータ復号装置30は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、データ符号化装置20及びデータ復号装置30は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する(付記1)~(付記21)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出部と、
前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力部と、
を備えている、ことを特徴とするデータ符号化装置。
(付記2)
付記1に記載のデータ符号化装置であって、
前記対象物の前記時系列画像から、前記面全体変位を計測する、面全体変位計測部と、
前記面全体変位及び前記時系列画像から、前記面内変位を計測する、面内変位計測部と、
を更に備えている、
ことを特徴とするデータ符号化装置。
(付記3)
付記1または2に記載のデータ符号化装置であって、
前記面内変位が、前記対象物の特定表面上の点毎に、計測されている場合に、
前記回帰係数算出部が、前記点毎に、前記参照信号と当該点における前記面内変位とを用いて、前記回帰係数を算出し、
前記データ出力部が、前記点毎に、当該点における前記参照信号及び前記回帰係数を出力する、
ことを特徴とするデータ符号化装置。
(付記4)
付記1~3のいずれかに記載のデータ符号化装置であって、
前記参照信号生成部が、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ符号化装置。
(付記5)
付記1~3のいずれかに記載のデータ符号化装置であって、
前記面全体変位が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、計測されている場合に、
前記参照信号生成部が、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ符号化装置。
(付記6)
付記1~3のいずれかに記載のデータ符号化装置であって、
前記参照信号生成部が、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ符号化装置。
(付記7)
対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得部と、
取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号部と、
を備えている、
ことを特徴とするデータ復号装置。
(付記8)
データ符号化装置とデータ復号装置とを備え、
前記データ符号化装置は、
対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出部と、
前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力部と、を備え、
前記データ復号装置は、
対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得部と、
取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号部と、を備えている、
ことを特徴とするデータ通信システム。
(付記9)
データ符号化装置とデータ復号装置と用いたデータ通信方法であって、
(a)前記データ符号化装置によって、対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(b)前記データ符号化装置によって、前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
(c)前記データ符号化装置によって、前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
(d)前記データ復号装置によって、対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、ステップと、
(e)前記データ復号装置によって、取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、ステップと、
を有する、ことを特徴とするデータ通信方法。
(付記10)
付記9に記載のデータ通信方法であって、
(f)前記データ符号化装置によって、前記対象物の前記時系列画像から、前記面全体変位を計測する、ステップと、
(g)前記データ符号化装置によって、前記面全体変位及び前記時系列画像から、前記面内変位を計測する、ステップと、
を更に有する、
ことを特徴とするデータ通信方法。
(付記11)
付記9または10に記載のデータ通信方法であって、
前記面内変位が、前記対象物の特定表面上の点毎に、計測されている場合に、
前記(b)のステップにおいて、前記点毎に、前記参照信号と当該点における前記面内変位とを用いて、前記回帰係数を算出し、
前記(c)のステップにおいて、前記点毎に、当該点における前記参照信号及び前記回帰係数を出力する、
ことを特徴とするデータ通信方法。
(付記12)
付記9~11のいずれかに記載のデータ通信方法であって、
前記(a)のステップにおいて、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ通信方法。
(付記13)
付記9~11のいずれかに記載のデータ通信方法であって、
前記面全体変位が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、計測されている場合に、
前記(a)のステップにおいて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ通信方法。
(付記14)
付記9~11のいずれかに記載のデータ通信方法であって、
前記(a)のステップにおいて、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ通信方法。
(付記15)
コンピュータに、
(a)対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(b)前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
(c)前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
を実行させる、プログラム。
(付記16)
付記15に記載のプログラムであって、
記コンピュータに、
(d)前記対象物の前記時系列画像から、前記面全体変位を計測する、ステップと、
(e)前記面全体変位及び前記時系列画像から、前記面内変位を計測する、ステップと、
更に実行させる、
ことを特徴とするプログラム
(付記17)
付記15または16に記載のプログラムであって、
前記面内変位が、前記対象物の特定表面上の点毎に、計測されている場合に、
前記(b)のステップにおいて、前記点毎に、前記参照信号と当該点における前記面内変位とを用いて、前記回帰係数を算出し、
前記(c)のステップにおいて、前記点毎に、当該点における前記参照信号及び前記回帰係数を出力する、
ことを特徴とするプログラム
(付記18)
付記15~17のいずれかに記載のプログラムであって、
前記(a)のステップにおいて、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするプログラム
(付記19)
付記15~17のいずれかに記載のプログラムであって、
前記面全体変位が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、計測されている場合に、
前記(a)のステップにおいて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするプログラム
(付記20)
付記15~17のいずれかに記載のプログラムであって、
前記(a)のステップにおいて、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするプログラム
(付記21)
コンピュータに、
(a)対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、ステップと、
(b)取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、ステップと、
を実行させる、プログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように、本発明によれば、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図ることができる。本発明は、本発明は、橋梁などの構造物の状態を画像から判定するシステムに有用である。
10 データ通信システム
20 データ符号化装置
21 参照信号生成部
22 回帰係数算出部
23 データ出力部
24 画像データ取得部
25 面全体変位計測部
26 面内変位計測部
27 記憶部
30 データ復号装置
31 データ取得部
32 データ復号部
33 表示装置
40 ネットワーク
50 撮像装置
60 橋梁
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス

Claims (11)

  1. 対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記時系列画像と、を用いて算出した、前記対象物の特定表面における面内変位から、予め指定された注目点における歪みの時系列変化を算出し、算出した前記注目点における前記歪みの時系列変化を示す信号を、参照信号とする、参照信号生成手段と、
    前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出手段と、
    前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力手段と、
    を備えている、ことを特徴とするデータ符号化装置。
  2. 請求項1に記載のデータ符号化装置であって、
    前記対象物の前記時系列画像から、前記面全体変位を計測する、面全体変位計測手段と、
    前記面全体変位及び前記時系列画像から、前記面内変位を計測する、面内変位計測手段と、
    を更に備えている、
    ことを特徴とするデータ符号化装置。
  3. 請求項1または2に記載のデータ符号化装置であって、
    前記面内変位が、前記対象物の特定表面上の点毎に、計測されている場合に、
    前記回帰係数算出手段が、前記点毎に、前記参照信号と当該点における前記面内変位とを用いて、前記回帰係数を算出し、
    前記データ出力手段が、前記点毎に、当該点における前記参照信号及び前記回帰係数を出力する、
    ことを特徴とするデータ符号化装置。
  4. 請求項1に記載のデータ符号化装置であって、
    前記参照信号生成手段が、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とするデータ符号化装置。
  5. データ符号化装置とデータ復号装置とを備え、
    前記データ符号化装置は、
    対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記時系列画像と、を用いて算出した、前記対象物の特定表面における面内変位から、予め指定された注目点における歪みの時系列変化を算出し、算出した前記注目点における前記歪みの時系列変化を示す信号を、参照信号とする、参照信号生成手段と、
    前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出手段と、
    前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力手段と、を備え、
    前記データ復号装置は、
    対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得手段と、
    取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号手段と、を備えている、
    ことを特徴とするデータ通信システム。
  6. データ符号化装置とデータ復号装置と用いたデータ通信方法であって、
    (a)前記データ符号化装置によって、対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記時系列画像と、を用いて算出した、前記対象物の特定表面における面内変位から、予め指定された注目点における歪みの時系列変化を算出し、算出した前記注目点における前記歪みの時系列変化を示す信号を、参照信号とし、
    (b)前記データ符号化装置によって、前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出し、
    (c)前記データ符号化装置によって、前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力し、
    (d)前記データ復号装置によって、対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得し、
    (e)前記データ復号装置によって、取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、
    ことを特徴とするデータ通信方法。
  7. コンピュータに、
    (a)対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記時系列画像と、を用いて算出した、前記対象物の特定表面における面内変位から、予め指定された注目点における歪みの時系列変化を算出し、算出した前記注目点における前記歪みの時系列変化を示す信号を、参照信号とする、ステップと、
    (b)前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
    (c)前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
    を実行させる、プログラム。
  8. 対象物の時系列画像から、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記対象物の特定表面における面全体変位が計測されている場合に、前記対象物の特定表面における面全体変位を用いて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、参照信号として生成する、参照信号生成手段と、
    前記参照信号と前記対象物の特定表面における面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出手段と、
    前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力手段と、
    を備えている、ことを特徴とするデータ符号化装置。
  9. データ符号化装置とデータ復号装置とを備え、
    前記データ符号化装置は、
    対象物の時系列画像から、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記対象物の特定表面における面全体変位が計測されている場合に、前記対象物の特定表面における面全体変位を用いて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、参照信号として生成する、参照信号生成手段と、
    前記参照信号と前記対象物の特定表面における面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出手段と、
    前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力手段と、を備え、
    前記データ復号装置は、
    対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得手段と、
    取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号手段と、を備えている、
    ことを特徴とするデータ通信システム。
  10. データ符号化装置とデータ復号装置と用いたデータ通信方法であって、
    (a)対象物の時系列画像から、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記対象物の特定表面における面全体変位が計測されている場合に、
    前記データ符号化装置によって、前記対象物の特定表面における面全体変位を用いて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、参照信号として生成し、
    (b)前記データ符号化装置によって、前記参照信号と前記対象物の特定表面における面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出し、
    (c)前記データ符号化装置によって、前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力し、
    (d)前記データ復号装置によって、対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得し、
    (e)前記データ復号装置によって、取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、
    ことを特徴とするデータ通信方法。
  11. コンピュータに、
    (a)対象物の時系列画像から、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記対象物の特定表面における面全体変位が計測されている場合に、前記対象物の特定表面における面全体変位を用いて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、参照信号として生成する、ステップと、
    (b)前記参照信号と前記対象物の特定表面における面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
    (c)前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
    を実行させる、プログラム。
JP2021528082A 2019-06-17 2019-06-17 データ符号化装置、データ通信システム、データ通信方法、及びプログラム Active JP7287463B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023084086A JP7485155B2 (ja) 2023-05-22 データ符号化プログラム、及びデータ符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/023983 WO2020255232A1 (ja) 2019-06-17 2019-06-17 データ符号化装置、データ復号装置、データ通信システム、データ通信方法、及びコンピュータ読み取り可能な記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023084086A Division JP7485155B2 (ja) 2023-05-22 データ符号化プログラム、及びデータ符号化装置

Publications (3)

Publication Number Publication Date
JPWO2020255232A1 JPWO2020255232A1 (ja) 2020-12-24
JPWO2020255232A5 JPWO2020255232A5 (ja) 2022-03-11
JP7287463B2 true JP7287463B2 (ja) 2023-06-06

Family

ID=74037607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021528082A Active JP7287463B2 (ja) 2019-06-17 2019-06-17 データ符号化装置、データ通信システム、データ通信方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7287463B2 (ja)
WO (1) WO2020255232A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008232998A (ja) 2007-03-23 2008-10-02 Osaka Univ 構造物の応力変動分布の測定方法およびその測定装置、ならびに構造物の欠陥検出方法および構造物の危険性把握方法
US20100310128A1 (en) 2009-06-03 2010-12-09 Athanasios Iliopoulos System and Method for Remote Measurement of Displacement and Strain Fields
JP2011257389A (ja) 2010-05-14 2011-12-22 West Japan Railway Co 構造物変位量測定方法
JP2016176806A (ja) 2015-03-20 2016-10-06 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2019055419A1 (en) 2017-09-15 2019-03-21 Qualcomm Incorporated TECHNIQUES AND APPARATUS FOR TRANSMITTING ACTIVATION SIGNAL

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054419A1 (ja) * 2017-09-12 2019-03-21 日本電気株式会社 状態判定装置、状態判定方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008232998A (ja) 2007-03-23 2008-10-02 Osaka Univ 構造物の応力変動分布の測定方法およびその測定装置、ならびに構造物の欠陥検出方法および構造物の危険性把握方法
US20100310128A1 (en) 2009-06-03 2010-12-09 Athanasios Iliopoulos System and Method for Remote Measurement of Displacement and Strain Fields
JP2011257389A (ja) 2010-05-14 2011-12-22 West Japan Railway Co 構造物変位量測定方法
JP2016176806A (ja) 2015-03-20 2016-10-06 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2019055419A1 (en) 2017-09-15 2019-03-21 Qualcomm Incorporated TECHNIQUES AND APPARATUS FOR TRANSMITTING ACTIVATION SIGNAL

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阪上隆英, 西村隆, 久保司郎, 崎野良比呂, 石野和成,自己相関ロックイン赤外線サーモグラフィ法による疲労き裂の遠隔非破壊検査技術の開発(第1報、溶接試験片を用いた基礎的検討),日本機械学会論文集(A編),日本,日本機械学会,2016年12月25日,72巻724号,50-57頁,https://doi.org/10.1299/kikaia.72.1860

Also Published As

Publication number Publication date
WO2020255232A1 (ja) 2020-12-24
JPWO2020255232A1 (ja) 2020-12-24
JP2023103459A (ja) 2023-07-26

Similar Documents

Publication Publication Date Title
Feng et al. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection–A review
Jana et al. Computer vision‐based real‐time cable tension estimation in Dubrovnik cable‐stayed bridge using moving handheld video camera
JP6954368B2 (ja) 変位成分検出装置、変位成分検出方法、及びプログラム
Khaloo et al. Pixel‐wise structural motion tracking from rectified repurposed videos
Sun et al. Non-contact optical sensing of asphalt mixture deformation using 3D stereo vision
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
Curt et al. An algorithm for structural health monitoring by digital image correlation: Proof of concept and case study
Hosseinzadeh et al. Pixel-based operating modes from surveillance videos for structural vibration monitoring: A preliminary experimental study
JP7156529B2 (ja) 変位測定装置、変位測定方法、およびプログラム
JP7287463B2 (ja) データ符号化装置、データ通信システム、データ通信方法、及びプログラム
US11846498B2 (en) Displacement amount measuring device, displacement amount measuring method, and recording medium
Merainani et al. Subspace-based modal identification and uncertainty quantification from video image flows
CN110532725B (zh) 基于数字图像的工程结构力学参数识别方法及系统
JP7485155B2 (ja) データ符号化プログラム、及びデータ符号化装置
US11365963B2 (en) State determination apparatus, state determination method, and computer-readable recording medium
Miao et al. Phase-based vibration imaging for structural dynamics applications: Marker-free full-field displacement measurements with confidence measures
JP6996569B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
JP7238984B2 (ja) 振動計測装置、振動計測方法、及びプログラム
JP6954382B2 (ja) 振動信頼度算出装置、振動信頼度算出方法、及びプログラム
Shen et al. Obtaining four-dimensional vibration information for vibrating surfaces with a Kinect sensor
US11972554B2 (en) Bearing displacement detection device and method
Li et al. Super-sensitivity full-field measurement of structural vibration with an adaptive incoherent optical method
Yang et al. A novel phase-based video motion magnification method for non-contact measurement of micro-amplitude vibration
Chang et al. Microscopic and Macroscopic Measurements of Poisson's Ratio of ASTM B557M Using Digital Image Correlation and Local Search Algorithm.
Feng Switching from Vitamin K Antagonists to Non-vitamin K Oral Anticoagulants, Drug-Drug Interactions, and Health Outcomes among Working-Age Adults with Atrial Fibrillation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R151 Written notification of patent or utility model registration

Ref document number: 7287463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151