JP7485155B2 - Data encoding program and data encoding device - Google Patents
Data encoding program and data encoding device Download PDFInfo
- Publication number
- JP7485155B2 JP7485155B2 JP2023084086A JP2023084086A JP7485155B2 JP 7485155 B2 JP7485155 B2 JP 7485155B2 JP 2023084086 A JP2023084086 A JP 2023084086A JP 2023084086 A JP2023084086 A JP 2023084086A JP 7485155 B2 JP7485155 B2 JP 7485155B2
- Authority
- JP
- Japan
- Prior art keywords
- displacement
- time series
- series change
- reference signal
- plane displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006073 displacement reaction Methods 0.000 claims description 361
- 230000008859 change Effects 0.000 claims description 110
- 238000005259 measurement Methods 0.000 description 56
- 238000003384 imaging method Methods 0.000 description 44
- 239000013598 vector Substances 0.000 description 43
- 238000004891 communication Methods 0.000 description 41
- 238000000034 method Methods 0.000 description 31
- 238000004364 calculation method Methods 0.000 description 23
- 230000004048 modification Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、対象物の画像から得られた面内変位のデータを符号化又は復号するための、データ符号化装置、データ復号装置、データ通信システム、及びデータ通信方法に関し、更には、これらを実現するためのプログラムに関する。 The present invention relates to a data encoding device, a data decoding device, a data communication system, and a data communication method for encoding or decoding in-plane displacement data obtained from an image of an object, and further relates to a program for implementing these.
従来から、橋梁などの構造物の状態を非接触によって判定する技術が提案されている(例えば、特許文献1参照)。このような判定技術によれば、点検員は、構造物に接触することなく、構造物の点検を行うことができる。このような判定技術は、点検員が容易に近づけない場所に接地されている構造物に対して特に有用である。 Technologies have been proposed for determining the condition of structures such as bridges without contact (see, for example, Patent Document 1). With such determination technologies, inspectors can inspect the structure without touching it. Such determination technologies are particularly useful for structures that are grounded in places that inspectors cannot easily reach.
特許文献1は、橋梁等の構造物を被写体とした画像から、判定対象となっている部分の面内変位成分を導出し、導出した面内変位成分に基づいて、構造物の状態を判定する装置を開示している。
具体的には、特許文献1に開示された装置は、まず、可視カメラから、複数の画像を時系列に沿って取得する。そして、特許文献1に開示された装置は、取得した画像のオプティカルフローから、又は画像相関法によって得た変位ベクトル場から、判定対象となる面全体の変位に起因する成分を差し引くことで、面内変位成分を導出する。
Specifically, the device disclosed in
次いで、特許文献1に開示された装置は、導出した面内変位成分から、面内変位分布を求め、求めた面内変位分布と、基準となる面内変位分布とを比較する。このとき、ひび割れによる開口などの損傷が発生していると、2つの面内分布に相違点が生じるため、特許文献1に開示された装置は、比較結果から、ひび割れ等の欠陥を検出する。
Next, the device disclosed in
ところで、特許文献1に開示された装置によって導出された面内変位成分のデータは、記録のために、データサーバ等に、ネットワークを介して伝送され、そこで蓄積される。しかしながら、このようにして得られた面内変位成分のデータには、データ量が非常に大きいという特性があり、ネットワークを介した伝送及び蓄積を行うために多大なコストを要するという問題がある。
Incidentally, the data of the in-plane displacement components derived by the device disclosed in
例えば、構造物を撮影した動画像データの条件が、画素数2048×2048、フレームレート80fps、時間10秒間であるとする。この場合、各画素座標についてX方向及びY方向の変位(各32bit浮動小数点)が得られるとすると、面内変位成分のデータのデータ量は、約26GBとなる。 For example, suppose the conditions for video data of a structure are 2048 x 2048 pixels, a frame rate of 80 fps, and a duration of 10 seconds. In this case, if displacements in the X and Y directions (each 32-bit floating point) are obtained for each pixel coordinate, the amount of data for the in-plane displacement components will be approximately 26 GB.
また、従来から、動画像データの圧縮形式としては、MPEGが知られており、このような圧縮形式を用いて、面内変位成分のデータに対して圧縮を行えば、コストを削減できるとも考えられる。しかしながら、MPEGは、時系列の2次元データを効率的に圧縮するための圧縮方式であるのに対して、面内変位成分のデータは、浮動小数点形式の入力信号で構成されている。このため、コストを削減できても、高い圧縮率で圧縮した時に生じる歪みにより、損傷検知による状態の判断の際において精度が大きく低下する可能性がある。 In addition, MPEG has long been known as a compression format for video data, and it is thought that costs can be reduced by compressing the in-plane displacement component data using such a compression format. However, while MPEG is a compression method for efficiently compressing two-dimensional time-series data, the in-plane displacement component data consists of input signals in floating-point format. For this reason, even if costs can be reduced, there is a possibility that the accuracy of determining the condition through damage detection will be significantly reduced due to the distortion that occurs when compressing at a high compression rate.
また、解像度を間引く(縮小する)などの方法を用いて、データのサイズを削減することも可能ではあるが、損傷検知の際の十分な空間分解能を保ちつつ、コスト低減が可能な実用レベルまでデータのサイズを削減することは困難である。 In addition, while it is possible to reduce the size of the data by using methods such as thinning (reducing) the resolution, it is difficult to reduce the data size to a practical level that allows for cost reduction while maintaining sufficient spatial resolution for damage detection.
本発明の目的の一例は、上記問題を解消し、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図り得る、データ符号化装置、データ復号装置、データ通信システム、データ通信方法、及びプログラムを提供することにある。 One example of the object of the present invention is to provide a data encoding device, a data decoding device, a data communication system, a data communication method, and a program that can solve the above problems and reduce the costs of transmission and storage while maintaining sufficient spatial resolution in encoding or decoding data indicating in-plane displacement extracted from an image.
上記目的を達成するため、本発明の一側面におけるデータ符号化装置は、
対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出部と、
前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力部と、
を備えている、ことを特徴とする。
In order to achieve the above object, a data encoding device according to one aspect of the present invention comprises:
a reference signal generating unit that generates a reference signal whose level changes according to a stress generated on the specific surface of the object, based on an overall surface displacement on the specific surface of the object measured from time-series images of the object and an in-plane displacement on the specific surface of the object measured from the overall surface displacement and the time-series images;
a regression coefficient calculation unit that calculates a regression coefficient indicating a degree of correlation between a time series change in a level of the reference signal and a time series change in the in-plane displacement, using the reference signal and the in-plane displacement;
a data output unit that outputs the reference signal and the regression coefficient as data indicating the in-plane displacement;
The present invention is characterized in that it is equipped with:
上記目的を達成するため、本発明の一側面におけるデータ復号装置は、
対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得部と、
取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号部と、
を備えている、
ことを特徴とする。
In order to achieve the above object, a data decoding device according to one aspect of the present invention comprises:
a data acquisition unit that acquires a reference signal whose level changes in accordance with stress generated on a specific surface of the object, and a regression coefficient that indicates a degree of correlation between a time series change in the level of the reference signal and a time series change in an in-plane displacement on the specific surface of the object;
a data decoding unit that reconstructs an in-plane displacement on a specific surface of the object using the acquired reference signal and the regression coefficients;
Equipped with
It is characterized by:
上記目的を達成するため、本発明の一側面におけるデータ通信システムは、データ符号化装置とデータ復号装置とを備え、
前記データ符号化装置は、
対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出部と、
前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力部と、を備え、
前記データ復号装置は、
対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得部と、
取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号部と、を備えている、
ことを特徴とする。
In order to achieve the above object, a data communication system according to one aspect of the present invention comprises a data encoding device and a data decoding device,
The data encoding device comprises:
a reference signal generating unit that generates a reference signal whose level changes according to a stress generated on the specific surface of the object, based on an overall surface displacement on the specific surface of the object measured from time-series images of the object and an in-plane displacement on the specific surface of the object measured from the overall surface displacement and the time-series images;
a regression coefficient calculation unit that calculates a regression coefficient indicating a degree of correlation between a time series change in a level of the reference signal and a time series change in the in-plane displacement, using the reference signal and the in-plane displacement;
a data output unit that outputs the reference signal and the regression coefficient as data indicating the in-plane displacement;
The data decoding device comprises:
a data acquisition unit that acquires a reference signal whose level changes in accordance with stress generated on a specific surface of the object, and a regression coefficient that indicates a degree of correlation between a time series change in the level of the reference signal and a time series change in an in-plane displacement on the specific surface of the object;
and a data decoding unit that uses the acquired reference signal and the regression coefficients to reconstruct an in-plane displacement on the specific surface of the object.
It is characterized by:
また、上記目的を達成するため、本発明の一側面におけるデータ通信方法は、データ符号化装置とデータ復号装置と用いたデータ通信方法であって、
(a)前記データ符号化装置によって、対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(b)前記データ符号化装置によって、前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
(c)前記データ符号化装置によって、前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
(d)前記データ復号装置によって、対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、ステップと、
(e)前記データ復号装置によって、取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、ステップと、
を有する、ことを特徴とする。
In order to achieve the above object, a data communication method according to one aspect of the present invention is a data communication method using a data encoding device and a data decoding device, comprising:
(a) generating, by the data encoding device, a reference signal whose level changes in accordance with a stress generated on the specific surface of the object, from an overall surface displacement on the specific surface of the object measured from time-series images of the object, and an in-plane displacement on the specific surface of the object measured from the overall surface displacement and the time-series images;
(b) calculating, by the data encoding device, a regression coefficient indicating a degree of correlation between a time series change in a level of the reference signal and a time series change in the in-plane displacement, using the reference signal and the in-plane displacement;
(c) outputting, by the data encoding device, the reference signal and the regression coefficients as data indicating the in-plane displacement;
(d) acquiring, by the data decoding device, a reference signal whose level changes in accordance with the stress generated on the specific surface of the object, and a regression coefficient indicating a degree of correlation between a time series change in the level of the reference signal and a time series change in the in-plane displacement on the specific surface of the object;
(e) recovering, by the data decoding device, an in-plane displacement on a specific surface of the object using the acquired reference signal and the regression coefficients;
The present invention is characterized in that it has the following features:
更に、上記目的を達成するため、本発明の一側面における第1のプログラムは、
コンピュータに、
(a)対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(b)前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
(c)前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
を実行させることを特徴とする。
Furthermore, in order to achieve the above object, a first program according to one aspect of the present invention comprises:
On the computer,
(a) generating a reference signal whose level changes in accordance with a stress generated on a specific surface of the object from an overall surface displacement on the specific surface of the object measured from time-series images of the object and an in-plane displacement on the specific surface of the object measured from the overall surface displacement and the time-series images;
(b) calculating a regression coefficient indicating a degree of correlation between a time series change in a level of the reference signal and a time series change in the in-plane displacement, using the reference signal and the in-plane displacement;
(c) outputting the reference signal and the regression coefficients as data indicative of the in-plane displacement;
The present invention is characterized in that the above-mentioned is executed.
更に、上記目的を達成するため、本発明の一側面における第2のプログラムは、
コンピュータに、
(a)対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、ステップと、
(b)取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、ステップと、
を実行させることを特徴とする。
Furthermore, in order to achieve the above object, a second program according to one aspect of the present invention comprises:
On the computer,
(a) acquiring a reference signal whose level changes in accordance with stress generated on a specific surface of an object, and a regression coefficient indicating a degree of correlation between a time series change in the level of the reference signal and a time series change in an in-plane displacement on the specific surface of the object;
(b) recovering an in-plane displacement of a particular surface of the object using the acquired reference signal and the regression coefficients;
The present invention is characterized in that the above-mentioned is executed.
以上のように、本発明によれば、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図ることができる。 As described above, according to the present invention, when encoding or decoding data indicating in-plane displacement extracted from an image, it is possible to reduce the costs of transmission and storage while maintaining sufficient spatial resolution.
(実施の形態)
以下、本発明の実施の形態における、データ符号化装置、データ復号装置、データ通信システム、データ通信方法、及びプログラムについて、図1~図8を参照しながら説明する。
(Embodiment)
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A data encoding device, a data decoding device, a data communication system, a data communication method, and a program according to embodiments of the present invention will be described below with reference to FIGS.
[システム構成]
最初に、図1を用いて、本実施の形態におけるデータ符号化装置、データ復号装置、及びデータ通信システムの構成について説明する。図1は、本発明の実施の形態におけるデータ通信システムの構成を示すブロック図である。
[System configuration]
First, the configurations of a data encoding device, a data decoding device, and a data communication system according to the present embodiment will be described with reference to Fig. 1. Fig. 1 is a block diagram showing the configuration of a data communication system according to the embodiment of the present invention.
図1に示す本実施の形態におけるデータ通信システム10は、対象物の画像から得られた面内変位のデータのデータ通信を行うためのシステムである。図1に示すように、データ通信システム10は、データ符号化装置20と、データ復号装置30とを備えている。また、データ符号化装置20とデータ復号装置30とは、インターネット等のネットワーク40を介して接続されている。
The
また、図1に示すデータ符号化装置20は、対象物の画像から得られた面内変位のデータを符号化する装置である。図1に示すように、データ符号化装置20は、参照信号生成部21と、回帰係数算出部22と、データ出力部23と、を備えている。
The
このうち、参照信号生成部21は、面全体変位と面内変位とから、対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する。
Of these, the reference
また、回帰係数算出部22は、参照信号と面内変位とを用いて、参照信号のレベルの時系列変化と面内変位の時系列変化との連動度を示す、回帰係数を算出する。データ出力部23は、参照信号及び回帰係数を、面内変位を示すデータとして、データ復号装置30に出力する。
The regression
また、図2に示すデータ復号装置30は、データ符号化装置20から出力された、面内変位を示すデータを復号する装置である。図2に示すデータ復号装置30は、データ取得部31と、データ復号部32とを備えている。
The
データ取得部31は、データ符号化装置20によって出力された、参照信号及び回帰係数を取得する。データ復号部32は、参照信号及び回帰係数を用いて、対象物の特定表面における面内変位を復元する。
The
このように、本実施の形態では、面内変位を示すデータは、それ自体のサイズを削減するのではなく、参照信号と回帰係数とに変換されてから伝送される。従って、本実施の形態によれば、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図ることが可能となる。 In this way, in this embodiment, the data indicating the in-plane displacement is not reduced in size itself, but is converted into a reference signal and a regression coefficient before being transmitted. Therefore, according to this embodiment, it is possible to reduce the costs of transmission and storage while maintaining sufficient spatial resolution in encoding or decoding data indicating the in-plane displacement extracted from an image.
次に、図2~図5を用いて、本実施の形態における、データ符号化装置20、データ復号装置30、及びデータ通信システム10の構成及び機能についてより詳細に説明する。図2は、本発明の実施の形態におけるデータ通信システムの構成をより具体的に示すブロック図である。
Next, the configurations and functions of the
図2に示すように、本実施の形態では、面内変位が計測される対象物は、橋梁60であり、橋梁60を通過する車両61による加重によって、橋梁60が撓んだときに、橋梁60に設定された計測対象領域における面内変位が計測される。計測対象領域としては、橋梁の桁、床版等が挙げられる。
As shown in FIG. 2, in this embodiment, the object for which in-plane displacement is measured is a
また、図2に示すように、データ符号化装置20には、撮像装置50が接続されている。撮像装置50は、動画を撮影可能なカメラであり、時系列画像をフレーム毎に出力する。具体的には、撮像装置50は、設定間隔をおいて、撮影を行い、撮影した画像の画像データを連続的に出力する。本実施の形態では、図2に示すように、撮像装置50は、橋梁60の計測対象領域である床版(底面)を撮影できるように、配置されている。
As shown in FIG. 2, an
更に、図2に示すように、本実施の形態では、データ符号化装置20は、上述した、参照信号生成部21、回帰係数算出部22、及びデータ出力部23に加えて、画像データ取得部24と、面全体変位計測部25と、面内変位計測部26と、記憶部27とを備えている。
Furthermore, as shown in FIG. 2, in this embodiment, the
画像データ取得部24は、撮像装置50から画像データが出力されると、出力された画像データを取得し、取得した画像データを、面全体変位計測部25と、面内変位計測部26とに出力する。
When image data is output from the
面全体変位計測部25は、対象物の時系列画像から、対象物の特定表面における面全体変位を計測する。本実施の形態では、面全体変位計測部25は、撮像装置50が出力する時系列画像を取得し、任意の時刻に撮像された画像を基準画像とし、それ以外を処理画像とする。そして、面全体変位計測部25は、基準画像内での特定表面上の計測対象領域に対応する領域(以下「特定領域」と表記する)の各点について、処理画像毎に、処理画像内で対応する位置をそれぞれ探索して、変位を算出する。このようにして算出された処理画像毎の特定領域に対する変位が、変位分布となる。
The entire surface
具体的には、面全体変位計測部25は、特定領域内のある箇所(座標)に最も類似している処理画像における箇所(座標)を探索して、特定した箇所(座標)の変位を算出する。類似している箇所の特定手法としては、例えば、ある箇所(座標)、およびその周辺の座標の輝度値を用いて、SAD(Sum of Squared Difference)、SSD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)、ZNCC(Zero-means Normalized Cross-Correlation)等の類似度相関関数を用いて、最も相関が高い位置(座標)を探索する手法が挙げられる。
Specifically, the entire surface
このような算出処理を、特定領域内の各座標に対して繰り返し実施することで、その処理画像における特定領域に対する変位の分布を得ることができる。また同様の処理を、処理画像毎に行うことで、処理画像毎に特定領域に対する変位分布を得ることができる。ここで、計測対象領域の特定の座標を(i,j))とし、算出される変位を(δxij, δyij)と表記することとする。 By repeatedly performing this calculation process for each coordinate in the specific region, it is possible to obtain the distribution of displacement for the specific region in the processed image. In addition, by performing the same process for each processed image, it is possible to obtain the distribution of displacement for the specific region for each processed image. Here, the specific coordinates of the measurement target region are represented as (i,j) and the calculated displacement is represented as (δx ij , δy ij ).
続いて、面全体変位計測部25は、算出した変位(δxij,δyij)と、撮影情報とから、計測対象領域の面方向における移動量(Δx、Δy)と法線方向における移動量(Δz)とを算出する。また、面全体変位計測部25は、算出した変位(δxij,δyij)と、移動量(Δx、Δy、Δz)が、面全体変位となる。また、面全体変位計測部25は、算出した変位(δxij,δyij)と、移動量(Δx、Δy、Δz)とを、面全体変位情報として、記憶部27に格納する。撮影情報としては、撮像装置50における固体撮像素子の1画素のサイズ、レンズの焦点距離、撮像装置50から計測対象領域までの撮像距離、撮影フレームレート、等が挙げられる。
Next, the entire surface
面内変位計測部26は、面全体変位計測部25によって計算された移動量(Δx、Δy、Δz)と時系列画像とから、橋梁60の特定表面における面内変位を計測する。ここで、面内変位については、(δδxij ,δδyij)と表記する。
The in-plane
続いて、図3及び図4を用いて、面全体変位計測部25及び面内変位計測部26における処理について具体的に説明する。図3は、対象物の計測対象領域を撮影した際に、ある点における撮像装置の撮像面上で観測される変位に含まれる成分を説明した図である。また、図3では、対象物である橋梁60が、通過する車両61によって、負荷を受け、その結果、計測対象領域が3次元方向に移動量(Δx、Δy、Δz)分だけ移動した状態を示している。
Next, the processing in the entire surface
ここで、撮像装置50の撮像面の中心、つまりレンズの光軸と撮像面との交点となる撮像中心にあたる点を原点とした座標系を考える。この座標系において、撮像装置50の撮像面上の座標(i, j)の点Aにおいて観測される変位(δxij,δyij)について考える。なお、撮像装置50の撮像面上の座標(i, j)は、撮影された画像上の座標に置き換えることもできる。
Here, consider a coordinate system whose origin is the center of the imaging surface of the
図3の状態では、橋梁60の計測対象領域には、画面上の水平方向及び垂直方向(X,Y方向)と、法線方向(Z方向)において、移動量(Δx、Δy、Δz)が発生している。計測対象領域は、画面内の水平方向及び垂直方向(X,Y方向)に移動した分(Δx、Δy)だけ、撮像装置50の撮像面に対して平行に移動する。また、法線方向(Z方向)に移動した分(Δz)だけ撮像装置50に近づく。そのため、撮像距離は移動量Δzだけ短くなる。
In the state shown in Figure 3, the measurement target area of the
これにより、図3に示すように、撮像装置50の撮像面に対して水平方向(X方向)における計測対象領域の移動量Δxによって生じる変位δxとは別に、移動量Δzによる変位δzxijが生じる。同様に、撮像装置50の撮像面には、画面に対して垂直方向(Y方向)における撮像装置50の移動量Δyによって生じる変位δyとは別に、移動量Δzによる変位δzyijも生じる。
3, a displacement δzxij due to a movement amount Δz occurs in addition to a displacement δx caused by a movement amount Δx of the measurement target region in the horizontal direction (X direction) relative to the imaging surface of the
また、橋梁60が負荷を受けたことによって計測対象領域の表面が変形した場合(ΔΔXij,ΔΔYij)、それに伴って撮像装置50の撮像面には、面内変位(δδxij,δδyij)も重ね合わされる。
Furthermore, when the
ここで、計測対象領域の表面の変形に伴う面内変位(δδxij ,δδyij)は、例えば、ひび割れのような欠陥がない健全な領域では、表面の変位は連続的に変化するのに対し、ひび割れをまたぐ領域では表面の変位は連続的に変化せずに不連続に変化する。このように、欠陥がない健全な領域と何らかの欠陥がある領域とでは、表面の変位の分布が異なるという特徴を示す。 Here, the in-plane displacement (δδx ij , δδy ij ) accompanying deformation of the surface of the measurement target area changes continuously in a sound area without defects such as cracks, whereas in an area spanning a crack, the surface displacement does not change continuously but changes discontinuously. Thus, sound areas without defects and areas with some kind of defect have different distributions of surface displacement.
そして、計測対象領域では、発生する全ての変位が足し合わされて、合成ベクトルとなって観察される。すなわち、点A(i, j)で観測される変位(δxij,δyij)は、後述の図4に示すように、以下の数1及び数2によって表すことができる。
In the measurement target area, all the generated displacements are added together and observed as a resultant vector. That is, the displacement (δx ij , δy ij ) observed at point A(i,j) can be expressed by the following
ここで、レンズの主点から計測対象領域までの撮像距離をL、撮像装置50のレンズ焦点距離をf、撮像中心からの座標を(i,j)とすると、対象物60の面方向の移動(Δx, Δy)に伴う変位(δx, δy)、法線方向の移動(Δz)に伴う変位(δzxij,δzyij)は、それぞれ、下記の数3、数4で表される。
Here, if the imaging distance from the principal point of the lens to the measurement target area is L, the lens focal length of the
計測対象領域がすべて同じ3次元の動きをしていると仮定すると、上記の数3及び数4で示される面方向の移動(Δx, Δy)に伴う変位(δx, δy)は、点Aの座標によらず一定であることがわかる。また、法線方向の移動(Δz)に伴う変位(δzxij ,δzyij)は、点Aの座標が原点から離れるほど大きくなることがわかる。一方、計測対象領域の面内変位(δδxij ,δδyij)は、点Aの座標の座標によらず、表面のひび割れなどの欠陥の位置などに応じて連続・不連続な変位の分布を示す。 If we assume that the entire measurement target area is moving in the same three-dimensional manner, it can be seen that the displacements (δx, δy) associated with the movement in the planar direction (Δx, Δy) shown in the above equations 3 and 4 are constant regardless of the coordinates of point A. It can also be seen that the displacements (δzx ij , δzy ij ) associated with the movement in the normal direction (Δz) become larger the farther the coordinates of point A are from the origin. On the other hand, the in-plane displacements (δδx ij , δδy ij ) of the measurement target area show a distribution of continuous and discontinuous displacements depending on the position of defects such as surface cracks, regardless of the coordinates of point A.
図4は、計測対象領域を撮影した画像上の特定領域で観察される変位(δxij,δyij)の2次元空間分布(以下、変位分布とする)の様子を模擬的に示した図である。図4に示すように面全体変位計測部25が算出する特定領域の各座標の変位(δxij,δyij)を変位ベクトルとして表記する。この場合、変位ベクトルは、画面全体で一様な方向及び大きさで観察される面方向の移動(Δx, Δy)に伴う変位(δx, δy)と、画面の撮像中心から放射状のベクトル群として観察される法線方向の移動(Δz)に伴う変位(δzxij ,δzyij)と、計測対象領域の表面の変形に伴う面内変位(δδxij ,δδyij)との合成成分として表される。
Fig. 4 is a diagram showing a simulated two-dimensional spatial distribution (hereinafter, referred to as displacement distribution) of displacements (δx ij , δy ij ) observed in a specific region on an image captured of the measurement target region. As shown in Fig. 4, the displacements (δx ij , δy ij ) of each coordinate of the specific region calculated by the entire surface
続いて、面方向の移動(Δx,Δy)に伴う変位 (δx, δy)を算出する方法について説明する。図4に示すように、面方向の移動(Δx, Δy)に伴う変位(δx, δy)は、基本的には画面全体で一様な方向及び大きさで観察される。そこで、面全体変位計測部25によって、撮像中心を中心とした特定領域の各座標において算出された変位(δxij,δyij)に、変位の方向によってプラスマイナスを付加し、これを変位ベクトルとする。そして、対象となる各座標における変位ベクトルを全て足し合わせ、平均を算出することにより、面方向の移動(Δx, Δy)に伴う変位(δx,δy)が算出される。
Next, a method for calculating the displacement (δx, δy) associated with the movement (Δx, Δy) in the planar direction will be described. As shown in FIG. 4, the displacement (δx, δy) associated with the movement (Δx, Δy) in the planar direction is basically observed in a uniform direction and magnitude across the entire screen. Therefore, the entire planar
次に、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)を算出する方法について述べる。まず、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)のみが発生する状態を考える。そのベクトルの大きさR(i,j)は、特定領域の移動量Δzが特定領域内で一定であれば、下記の数5に示すように、撮像中心からの距離に比例した値となる。また、下記の数6に示すように比例定数をkと置けば、数5は、数7のようにも表される。 Next, a method for calculating a displacement vector (δzx ij , δzy ij ) associated with a movement (Δz) in the normal direction will be described. First, consider a state in which only a displacement vector (δzx ij , δzy ij ) associated with a movement (Δz) in the normal direction occurs. If the amount of movement Δz of a specific region is constant within the specific region, the magnitude R(i,j) of that vector will be a value proportional to the distance from the center of imaging, as shown in the following equation 5. Furthermore, if a proportionality constant is set to k as shown in the following equation 6, equation 5 can also be expressed as equation 7.
一方、実際に、面全体変位計測部25によって最初に算出される変位(δxij,δyij)は、図4に示すように、合成ベクトル(図4:超太実線の矢印)で構成されている。そして、この合成ベクトル(δxij,δyij)は、図4からもわかるとおり、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)(図3、図4:中実線の矢印)と、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)(図3、図4:太実線の矢印)と、計測対象領域の表面の変形及び変位に伴う面内変位(δδxij ,δδyij)(図3、図4:細実線の矢印)とを含んでいる。
Meanwhile, the displacements (δx ij , δy ij ) actually calculated first by the entire-plane
従って、この合成ベクトル(δxij,δyij)から、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)を減算して得られたベクトルは、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)と、面内変位(δδxij ,δδyij)との合成ベクトルに相当する。 Therefore, the vector obtained by subtracting the displacement vector (δx, δy) associated with the in-plane movement (Δx, Δy) from this resultant vector (δx ij , δy ij ) corresponds to the resultant vector of the displacement vector (δzx ij , δzy ij ) associated with the movement in the normal direction (Δz) and the in-plane displacement (δδx ij , δδy ij ).
よって、ある座標(i,j)における法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyijj)と面内変位(δδxij ,δδyij)との合成ベクトルをRmes(i ,j)とすると、これらは下記の数8で表すことができる。
Therefore, if the resultant vector of the displacement vector (δzx ij , δzy ijj ) and the in-plane displacement (δδx ij , δδy ij ) associated with a movement (Δz) in the normal direction at a certain coordinate (i, j) is defined as R mes (i, j), these can be expressed by the
ところで、面内変位(δδxij ,δδyij)は、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)及び法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)に比べると、十分に小さいとみなせる。そのため、支配的な成分である面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)及び法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)に着目すると、上記の数8は、下記の数9のように表すことができる。
この場合、座標(i, j)におけるRmes(i ,j)は、法線方向の移動(Δz)に伴う変位ベクトル成分(δzxij ,δzyij)とほぼ等しいとして扱うことができる。このとき、法線方向の移動量Δzを与えた時の変位ベクトルは、数6~数8に示すR(i, j)で表される。 In this case, R mes (i, j) at coordinates (i, j) can be treated as being approximately equal to the displacement vector components (δzx ij , δzy ij ) associated with the movement (Δz) in the normal direction. In this case, the displacement vector when a movement amount Δz in the normal direction is given is expressed by R(i, j) shown in Equations 6 to 8.
このため、面全体変位計測部25は、数9によって求めた変位ベクトルの大きさRmes(i ,j)を用いて、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)による変位ベクトルの大きさR(i ,j)の拡大・縮小の割合を推定する。具体的には、面全体変位計測部25は、下記の数10に示す評価関数E(k)を最少にする比例定数kを求めることによって、R(i ,j)の倍率を推定する。
For this reason, the entire surface
従って、面全体変位計測部25は、上記の数10に最小2乗法を適用して、比例定数kを算出する。また、評価関数E(k)としては、上記の数10に示したRmes(i ,j)とR(i ,j)との差の2乗和以外に、絶対値和、他の累乗和等が用いられていても良い。
Therefore, the entire surface
そして、面全体変位計測部25は、算出した比例定数kを、拡大・縮小の割合を示す定数として、上記数7に適用して、移動量Δzを算出する。そして、面全体変位計測部は、算出したΔzと、面方向の移動(Δx, Δy)に伴う変位(δx,δy)と、撮影情報とを、上記数3に適用することによって、移動量Δx及びΔyも算出する。
Then, the entire surface
また、面全体変位計測部25は、撮像装置50による撮影の毎、即ち、時系列画像のフレーム毎に、計測対象領域の面方向における移動量と、計測対象領域の法線方向における移動量とを算出する。そして、面全体変位計測部25は、時系列画像のフレーム毎に算出した移動量を、面全体変位情報として、記憶部27に格納する。また、この場合、面全体変位情報は、撮影の時間間隔をサンプリング間隔とした時系列信号として扱うことができる。
Furthermore, the entire surface
面内変位計測部26は、面全体変位と対象物の時系列画像とから、対象物の特定表面における面内変位を計測する。本実施の形態では、面内変位計測部26は、面全体変位計測部25によって算出された計測対象領域の面方向における移動量(Δx, Δy)、及び計測対象領域の法線方向における移動量(Δz)を用いて、最初に算出された変位(変位ベクトル(δxij,δyij)から、計測対象領域の面内変位(δδxij ,δδyij)を算出する。また、面内変位の算出は、時系列画像のフレーム毎に行われている。
The in-plane
図4によると、面内変位(δδxij ,δδyij)を算出するためには、面内変位計測部26によって算出された変位ベクトル(δxij,δyij)から、計測対象領域の移動量(Δx ,Δy ,Δz)によって発生する変位成分を減算すれば良いことが分かる。つまり、面内変位計測部26は、下記の数11及び数12を用いることによって、面内変位(δδxij ,δδyij)を算出する。
4, it can be seen that in order to calculate the in-plane displacement (δδx ij , δδy ij ), it is sufficient to subtract the displacement component generated by the movement amount (Δx, Δy, Δz) of the measurement target region from the displacement vector (δx ij , δy ij ) calculated by the in-plane
また、面内変位計測部26は、撮像装置50によって撮影が行われる度に、即ち、時系列に沿って、面内変位(δδxij ,δδyij)を算出する。そして、面内変位計測部26は、時系列画像のフレーム毎に算出した面内変位を、面内変位情報として、記憶部27に格納する。また、この場合、面内変位情報は、撮影の時間間隔をサンプリング間隔とした時系列信号として扱うことができる。なお、本明細書においては、面内変位情報は、「面内変位信号」とも表記する。
Furthermore, the in-plane
参照信号生成部21は、本実施の形態では、対象物の特定表面上の注目点の特定方向における面内変位から、注目点の特定方向における歪みの時系列変化ε(t)を算出し、算出した歪みの時系列変化ε(t)を示す信号を、参照信号として生成する。
In this embodiment, the reference
具体的には、予め、データ通信システム10の操作者等によって、特定表面上の計測対象領域において注目点が指定される。図2に示すように、対象物が橋梁60であり、計測対象領域が床版である場合は、床版上の点が注目点として指定される。
Specifically, a point of interest is specified in advance in a measurement target area on a specific surface by an operator of the
参照信号生成部21は、注目点が指定されると、注目点を取り囲む複数の点(例えば4点)を決定する。ここで、各点で囲まれた領域を「局所領域」とする。次に、参照信号生成部21は、記憶部27から、決定した点それぞれにおける面内変位情報を取得する。
When a point of interest is specified, the reference
そして、特定方向についても、注目点と同様に、予め指定されている場合は、参照信号生成部21は、取得した各点の面内変位情報を用いて、局所領域の特定方向における長さの変化率を求め、求めた変化率を歪みの時系列変化ε(t)とする。
As for the specific direction, if it has been specified in advance, like the focus point, the
一方、特定方向が予め指定されていない場合は、参照信号生成部21は、取得した各点の面内変位情報を用いて、特異値分解を実施することによって、局所領域の最も変化の大きい方向を特定する。そして、参照信号生成部21は、特定した方向における局所領域の長さの変化率を求め、求めた変化率を歪みの時系列変化ε(t)とする。
On the other hand, if a specific direction is not specified in advance, the
その後、参照信号生成部21は、算出した歪みの時系列変化から得られた参照信号を、参照信号情報として、記憶部27に格納する。
Then, the reference
回帰係数算出部22は、本実施の形態では、特定表面上の計測対象領域の点(i,j)毎に、回帰係数を算出する。回帰係数算出部22は、まず、記憶部27に格納されている面内変位情報から、面内変位の時系列変化を特定し、記憶部27に格納されている参照信号情報から、参照信号のレベルの時系列変化を特定する。そして、回帰係数算出部22は、特定表面上の計測対象領域の点(i,j)毎に、特定した参照信号のレベルの時系列変化と、同じく特定した面内変位の時系列変化とから、両者の連動度を示す回帰係数を算出する。
In this embodiment, the regression
ここで、図5を用いて、回帰係数算出部22による処理について説明する。図5(a)~図5(c)は、それぞれ、本発明の実施の形態において回帰係数算出部によって行われる処理を説明するための図である。
Here, the processing by the regression
具体的には、最初に回帰係数算出部22は、図5(a)に示すように、参照信号のレベルの時系列変化と、特定の点(i,j)における面内変位(δδxij ,δδyij)の時系列変化とを特定する。また、このとき特定される面内変位は、x方向における面内変位δδxij 及びy方向における面内変位δδyijのうちいずれか一方であっても良いし、両方であっても良い。前者の場合、一方の面内変位としては、例えば、対象物が橋梁60であれば、橋梁60の長手方向における面内変位が挙げられる。また、後者の場合は、x方向における面内変位δδxij とy方向における面内変位δδyijとの平均の面内変位が、特定されても良い。
Specifically, the regression
次いで、回帰係数算出部22は、図5(b)に示すように、点(i,j)毎に、時系列に沿って、即ち、時系列画像のフレーム毎に、参照信号と面内変位とを比較する。そして、回帰係数算出部22は、図5(c)に示すように、点(i,j)毎に、参照信号のレベルの時系列変化と面内変位の時系列変化との関係を示す回帰直線を求め、更に、その傾きを回帰係数として算出する。また、回帰直線の算出、及び回帰係数の算出は、x方向及びy方向それぞれについて行われており、実際には、x方向における回帰係数と、y方向における回帰係数とが算出されている。
Next, as shown in FIG. 5(b), the regression
データ出力部23は、本実施の形態では、記憶部27に格納されている参照信号情報と、点(i,j)毎に算出された回帰係数とを、面内変位を示すデータとして、ネットワーク40を介して、データ復号装置30へと出力する。
In this embodiment, the
データ復号装置30は、本実施の形態では、例えば、PC(Personal Computer)、スマートフォン、タブレット型端末、といった端末装置のオペレーティングシステム上に、プログラムによって構築されている。データ復号装置30は、端末装置の表示装置33に接続されている。
In this embodiment, the
データ復号装置30において、データ取得部31は、データ符号化装置20のデータ出力部23から出力されてきた、参照信号情報と、点(i,j)毎に算出された回帰係数とを取得する。
In the
データ復号部32は、本実施の形態では、点(i,j)毎に、時系列に沿って、参照信号情報で特定される参照信号のレベルに、回帰係数を乗算することによって、橋梁60の計測対象領域での面内変位を復元する。また、データ復号部32は、復元した面内変位を表示するための画像データを生成し、生成した画像データを表示装置33に出力して、その画面上に面内変位を表示させる。
In this embodiment, the
[装置動作]
次に、本発明の実施の形態におけるデータ通信システム10の動作について図6及び図7を用いて説明する。以下においては、適宜図1~図5を参照しながら、データ符号化装置20及びデータ復号装置30それぞれの動作を説明する。また、本実施の形態1では、データ通信システム10、即ち、データ符号化装置20及びデータ復号装置30を動作させることによって、データ通信方法が実施される。よって、本実施の形態におけるデータ通信方法の説明は、以下のデータ符号化装置20及びデータ復号装置30の動作説明に代える。
[Device Operation]
Next, the operation of the
最初に図6を用いて、データ符号化装置20の動作について説明する。図6は、本発明の実施の形態におけるデータ符号化装置の動作を示すフロー図である。
First, the operation of the
図6に示すように、最初に、画像データ取得部24は、撮像装置50から時系列画像の画像データが出力されると、出力された画像データを取得し、取得した画像データを、フレーム毎に、面全体変位計測部25及び面内変位計測部26に出力する(ステップA1)。
As shown in FIG. 6, first, when image data of a time-series image is output from the
次に、面全体変位計測部25は、ステップA1によって時系列画像の画像データが出力されてくると、フレーム毎に、対象物である橋梁60の計測対象領域の面全体変位を計測する(ステップA2)。また、面全体変位計測部25は、計測結果を、面全体変位情報として、記憶部27に格納する。
Next, when the image data of the time-series image is output by step A1, the entire surface
次に、面内変位計測部26は、ステップA1で出力されてきた時系列画像の画像データと、ステップA2で計測された面全体変位とを用いて、フレーム毎に、対象物である橋梁60の計測対象領域における面内変位を計測する(ステップA3)。また、面内変位計測部26は、計測結果を、面内変位情報として、記憶部27に格納する。
Next, the in-plane
次に、参照信号生成部21は、ステップA2で計測された面全体変位と、ステップA3で計測された面内変位とから、対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する(ステップA4)。また、参照信号生成部21は、生成した参照信号を、参照信号情報として、記憶部27に格納する。
Next, the reference
次に、回帰係数算出部22は、ステップA4で生成された参照信号と、ステップA3で計測された面内変位とを用いて、特定表面上の計測対象領域の点(i,j)毎に、参照信号のレベルの時系列変化と面内変位の時系列変化との連動度を示す、回帰係数を算出する(ステップA5)。
Next, the regression
次に、データ出力部23は、ステップA4で生成された参照信号と、ステップA5で算出された点(i,j)毎の回帰係数とを、面内変位を示すデータとして、ネットワーク40を介して、データ復号装置30に送信する(ステップA6)。ステップA6の実行により、データ符号化装置20での処理は終了する。
Next, the
続いて、図7を用いて、データ復号装置30の動作について説明する。図7は、本発明の実施の形態におけるデータ復号装置の動作を示すフロー図である。
Next, the operation of the
図7に示すように、最初に、データ復号装置30において、データ取得部31は、データ符号化装置20から送信されてきた、面内変位を示すデータ、即ち、参照信号及び点(i,j)毎の回帰係数を取得する(ステップB1)。
As shown in FIG. 7, first, in the
次に、データ復号部32は、ステップB1で取得された参照信号及び点(i,j)毎の回帰係数を用いて、対象物の特定表面における面内変位を復元する(ステップB2)。
Next, the
その後、データ復号部32は、復元した面内変位を表示するための画像データを生成し、生成した画像データを表示装置33に出力して、その画面上に面内変位を表示させる(ステップB3)。ステップB3の実行により、データ復号装置30における処理は終了する。
Then, the
(実施の形態における効果)
以上のように本実施の形態1によれば、面内変位を示すデータ自体を削減することなく、そのデータ量を小さくすることができる。本実施の形態によれば、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図ることが可能となる。
(Effects of the embodiment)
As described above, according to the first embodiment, it is possible to reduce the amount of data indicating in-plane displacement without reducing the data itself. According to the present embodiment, it is possible to reduce the cost of transmission and storage while maintaining sufficient spatial resolution in encoding or decoding data indicating in-plane displacement extracted from an image.
また、本実施の形態において、面内変位を示すデータとして送信される点(i,j)毎の回帰係数は、浮動小数点の画素表現に対応した画像圧縮方式(JPEC-XR等)を用いて圧縮することができる。この場合は、面内変位を示すデータを更に圧縮することができる。 In addition, in this embodiment, the regression coefficients for each point (i, j) transmitted as data indicating in-plane displacement can be compressed using an image compression method (JPEC-XR, etc.) that supports floating-point pixel representation. In this case, the data indicating in-plane displacement can be further compressed.
加えて、面内変位を示すデータとして送信される参照信号は、浮動小数点に対応したオーディオ圧縮方式(MPEG4-ALS等)を用いて圧縮することができる。この場合も、面内変位を示すデータを更に圧縮することができる。 In addition, the reference signal transmitted as data indicating the in-plane displacement can be compressed using an audio compression method that supports floating point (such as MPEG4-ALS). In this case, the data indicating the in-plane displacement can be further compressed.
[変形例1]
次に、本発明の実施の形態の変形例1~変形例4について説明する。まず、本変形例1では、面全体変位計測部25が、対象物の特定表面の面内方向、及び対象物に印加される外力の印加方向において、面全体変位を計測することが条件となる。なお、上述した実施の形態では、対象物が橋梁60であり、外力の印加方向が法線方向であるので、上記条件は満たされている。
[Modification 1]
Next, modified examples 1 to 4 of the embodiment of the present invention will be described. First, in this modified example 1, the condition is that the entire surface
そして、本変形例1においては、参照信号生成部21は、外力印加方向における面全体変位の時系列変化D(t)を算出し、算出した面全体変位の時系列変化を示す信号を、参照信号として生成する。具体的には、信号生成部13は、面全体変位情報から、面全体変位計測部25によって計測された、法線方向における移動量(Δz)の時系列変化を特定し、この特定した移動量(Δz)の時系列変化D(t)を参照信号とする。
In this first modified example, the reference
本変形例1によれば、上述した実施の形態と異なり、注目点の指定、更には、特定方向の指定が必要ないため、橋梁60の点検員における負担が軽減される。なお、本変形例1は、撮像装置50が、外力の影響を受けにくいところに十分に固定されており、且つ、外力による応力変動と外力の印加方向における面全体変位とが連動している、場合に有用である。
In this modified example 1, unlike the above-described embodiment, there is no need to specify a point of interest, or even a specific direction, which reduces the burden on the inspector of the
[変形例2]
本変形例2では、参照信号生成部21は、まず、面内変位を用いて、対象物の特定表面における局所歪みを算出し、更に、局所歪みを特定表面全体について積算して、対象物の特定表面全体における歪みの時系列変化を算出する。そして、参照信号生成部21は、算出した歪みの時系列変化を示す信号を、参照信号として生成する。
[Modification 2]
In the present modified example 2, the reference
具体的には、参照信号生成部21は、画像データのフレーム毎に、計測対象領域の座標(i,j)での局所的な変形状態から局所歪みε(t,i,j)を求めるため、まず、座標(i,j)を取り囲む複数の点(例えば4点)を決定する。ここでの各点で囲まれた領域も「局所領域」とする。
Specifically, in order to obtain the local strain ε(t,i,j) from the local deformation state at the coordinate (i,j) of the measurement target region for each frame of image data, the
次いで、参照信号生成部21は、記憶部17から、決定した点それぞれにおける面内変位情報を取得し、取得した各点の面内変位情報を用いて、特異値分解を実施することによって、局所領域の最も変化の大きい方向を特定する。そして、参照信号生成部21は、特定した方向における局所領域の長さの変化率を求め、求めた変化率を局所歪みs(t,i,j)とする。
Then, the reference
続いて、参照信号生成部21は、局所歪みs(t,i,j)を、計測対象領域全体に亘って積算して、計測対象領域の全体にわたる歪み量S(t)を算出し、算出した歪み量S(t)を参照信号とする。本変形例2では、参照信号は、局所歪みから求められるため、本変形例2は、撮像装置50の固定が不十分な場合、外力による応力変動と外力の印加方向における面全体変位との連動性が低い場合にも有用である。
Then, the reference
[変形例3]
本変形例3でも、変形例2と同様に、参照信号生成部21は、座標(i,j)を取り囲む複数の点(例えば4点)を決定し、記憶部17から、決定した点それぞれにおける面内変位情報を取得する。但し、本変形例3では、変形例2と異なり、参照信号生成部21は、取得した各点の面内変位情報を用いて、局所領域における局所変形を示す特異値σ1、σ2(σ1≧σ2)及び特異ベクトルv1を求める。なお、ここでの特異ベクトルv1は、特異値σ1に対応する左特異ベクトルとするが、本変形例3では、それ以外の特異ベクトルが選ばれるように決められていても良い。
[Modification 3]
In this modification 3, similarly to the modification 2, the reference
次いで、参照信号生成部21は、数13を用いて、局所領域での局所的な開口方向及び大きさを表す局所開口ベクトルvop(t,i,j)を算出する。
Next, the reference
次に、参照信号生成部21は、算出した局所開口ベクトルの主成分分析を行って、第1主成分を特定する。具体的には、参照信号生成部21は、時刻tにおけるvop(t,i,j)による点群の分布を入力として、点群の最大の広がり方向を、主成分分析により導出する。更に、参照信号生成部21は、主成分分析により得られた第1主成分軸の標準偏差をS(t)とし、これを参照信号とする。本変形例3では、主成分分析を用いることにより、面内変位に含まれるノイズに対して、より頑健な参照信号を得ることができる。
Next, the reference
[変形例4]
本変形例4では、変形例2と同様に、参照信号生成部21は、まず、座標(i,j)毎に局所歪みs(t,i,j)を算出する。また、参照信号生成部21は、変形例1と同様に、外力印加方向における面全体変位の時系列変化D(t)も算出する。続いて、参照信号生成部21は、座標(i,j)毎に、局所歪みs(t,i,j)と時系列変化D(t)との回帰係数w(i,j)を算出する。
[Modification 4]
In this modification 4, similarly to modification 2, the reference
続いて、参照信号生成部21は、変形例3と同様に、上記数1を用いて、局所領域での局所的な開口方向及び大きさを表す局所開口ベクトルvop(t,i,j)を算出する。
Next, the reference
次に、参照信号生成部21は、第1主成分となる局所開口ベクトルvop(t,i,j)それぞれに、重みとして、回帰係数w(i,j)を乗算する。更に、参照信号生成部21は、時刻tにおける重み乗算後の局所開口ベクトルvop(t,i,j)に対して、変形例3と同様の主成分分析を行う。主成分分析により得られた第1主成分軸の標準偏差をS(t)とし、これを参照信号とする。本変形例4では、外力と連動度の低い点において、局所開口ベクトルの主成分分析への寄与度を下げることにより、面内変位に含まれるノイズに対してより頑健な参照信号を得ることができる。
Next, the reference
[プログラム]
本実施の形態における第1のプログラムは、コンピュータに、図6に示すステップA1~A6を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるデータ符号化装置20を実現することができる。この場合、コンピュータのプロセッサは、参照信号生成部21、回帰係数算出部22、データ出力部23、画像データ取得部24、面全体変位計測部25、及び面内変位計測部26として機能し、処理を行なう。
[program]
The first program in this embodiment may be a program that causes a computer to execute steps A1 to A6 shown in Fig. 6. By installing and executing this program in a computer, the
また、本実施の形態における第1のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、参照信号生成部21、回帰係数算出部22、データ出力部23、画像データ取得部24、面全体変位計測部25、及び面内変位計測部26のいずれかとして機能しても良い。
The first program in this embodiment may be executed by a computer system constructed by multiple computers. In this case, for example, each computer may function as any one of the reference
本実施の形態における第2のプログラムは、コンピュータに、図7に示すステップB1~B3を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるデータ復号化装置30を実現することができる。この場合、コンピュータのプロセッサは、データ取得部31及びデータ復号部32として機能し、処理を行なう。
The second program in this embodiment may be a program that causes a computer to execute steps B1 to B3 shown in FIG. 7. By installing this program in a computer and executing it, the
また、本実施の形態における第2のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部31及びデータ復号部32のいずれかとして機能しても良い。
The second program in this embodiment may be executed by a computer system constructed by multiple computers. In this case, for example, each computer may function as either the
ここで、本実施の形態における第1のプログラムを実行することによって、データ符号化装置20を実現するコンピュータと、第本実施の形態における第2のプログラムを実行することによって、データ復号装置30を実現するコンピュータとについて図8を用いて説明する。
Here, a computer that realizes the
図8は、本発明の実施の形態におけるデータ符号化装置又はデータ復号装置を実現するコンピュータの一例を示すブロック図である。図8に示すように、コンピュータ110は、CPU(CentralProcessing Unit)111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。また、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGA(Field-Programmable Gate Array)を備えていても良い。
Figure 8 is a block diagram showing an example of a computer that realizes a data encoding device or a data decoding device according to an embodiment of the present invention. As shown in Figure 8, the
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
The
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
Specific examples of the
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
The data reader/
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体が挙げられる。
Specific examples of the
なお、本実施の形態におけるデータ符号化装置20及びデータ復号装置30は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、データ符号化装置20及びデータ復号装置30は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
In addition, the
上述した実施の形態の一部又は全部は、以下に記載する(付記1)~(付記21)によって表現することができるが、以下の記載に限定されるものではない。 A part or all of the above-described embodiment can be expressed by (Appendix 1) to (Appendix 21) described below, but is not limited to the following description.
(付記1)
対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出部と、
前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力部と、
を備えている、ことを特徴とするデータ符号化装置。
(Appendix 1)
a reference signal generating unit that generates a reference signal whose level changes according to a stress generated on the specific surface of the object, based on an overall surface displacement on the specific surface of the object measured from time-series images of the object and an in-plane displacement on the specific surface of the object measured from the overall surface displacement and the time-series images;
a regression coefficient calculation unit that calculates a regression coefficient indicating a degree of correlation between a time series change in a level of the reference signal and a time series change in the in-plane displacement, using the reference signal and the in-plane displacement;
a data output unit that outputs the reference signal and the regression coefficient as data indicating the in-plane displacement;
A data encoding device comprising:
(付記2)
付記1に記載のデータ符号化装置であって、
前記対象物の前記時系列画像から、前記面全体変位を計測する、面全体変位計測部と、
前記面全体変位及び前記時系列画像から、前記面内変位を計測する、面内変位計測部と、
を更に備えている、
ことを特徴とするデータ符号化装置。
(Appendix 2)
2. A data encoding device according to
an entire surface displacement measuring unit that measures the entire surface displacement from the time-series images of the object;
an in-plane displacement measuring unit that measures the in-plane displacement from the entire-plane displacement and the time-series images;
The device further comprises:
2. A data encoding device comprising:
(付記3)
付記1または2に記載のデータ符号化装置であって、
前記面内変位が、前記対象物の特定表面上の点毎に、計測されている場合に、
前記回帰係数算出部が、前記点毎に、前記参照信号と当該点における前記面内変位とを用いて、前記回帰係数を算出し、
前記データ出力部が、前記点毎に、当該点における前記参照信号及び前記回帰係数を出力する、
ことを特徴とするデータ符号化装置。
(Appendix 3)
3. A data encoding device according to
When the in-plane displacement is measured for each point on a particular surface of the object,
the regression coefficient calculation unit calculates, for each of the points, the regression coefficient by using the reference signal and the in-plane displacement at the point;
the data output unit outputs, for each of the points, the reference signal and the regression coefficient at that point.
A data encoding device comprising:
(付記4)
付記1~3のいずれかに記載のデータ符号化装置であって、
前記参照信号生成部が、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ符号化装置。
(Appendix 4)
A data encoding device according to any one of
the reference signal generating unit calculates a time series change in distortion of the point of interest in the specific direction from the in-plane displacement of the point of interest on the specific surface in the specific direction, and generates a signal indicating the calculated time series change in distortion as the reference signal.
2. A data encoding device comprising:
(付記5)
付記1~3のいずれかに記載のデータ符号化装置であって、
前記面全体変位が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、計測されている場合に、
前記参照信号生成部が、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ符号化装置。
(Appendix 5)
A data encoding device according to any one of
When the entire surface displacement is measured in an in-plane direction of the specific surface of the object and in an application direction of an external force applied to the object,
the reference signal generation unit calculates a time series change of the entire surface displacement in the application direction, and generates, as the reference signal, a signal indicating the calculated time series change of the entire surface displacement.
2. A data encoding device comprising:
(付記6)
付記1~3のいずれかに記載のデータ符号化装置であって、
前記参照信号生成部が、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ符号化装置。
(Appendix 6)
A data encoding device according to any one of
the reference signal generating unit calculates a local strain on the specific surface of the object using the in-plane displacement, and further calculates a time series change in strain on the entire specific surface of the object by integrating the local strain over the entire specific surface, and generates a signal indicating the calculated time series change in strain as the reference signal.
2. A data encoding device comprising:
(付記7)
対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得部と、
取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号部と、
を備えている、
ことを特徴とするデータ復号装置。
(Appendix 7)
a data acquisition unit that acquires a reference signal whose level changes in accordance with stress generated on a specific surface of the object, and a regression coefficient that indicates a degree of correlation between a time series change in the level of the reference signal and a time series change in an in-plane displacement on the specific surface of the object;
a data decoding unit that reconstructs an in-plane displacement on a specific surface of the object using the acquired reference signal and the regression coefficients;
Equipped with
A data decoding device comprising:
(付記8)
データ符号化装置とデータ復号装置とを備え、
前記データ符号化装置は、
対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、回帰係数算出部と、
前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、データ出力部と、を備え、
前記データ復号装置は、
対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、データ取得部と、
取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、データ復号部と、を備えている、
ことを特徴とするデータ通信システム。
(Appendix 8)
A data encoding device and a data decoding device are provided,
The data encoding device comprises:
a reference signal generating unit that generates a reference signal whose level changes according to a stress generated on the specific surface of the object, based on an overall surface displacement on the specific surface of the object measured from time-series images of the object and an in-plane displacement on the specific surface of the object measured from the overall surface displacement and the time-series images;
a regression coefficient calculation unit that calculates a regression coefficient indicating a degree of correlation between a time series change in a level of the reference signal and a time series change in the in-plane displacement, using the reference signal and the in-plane displacement;
a data output unit that outputs the reference signal and the regression coefficient as data indicating the in-plane displacement;
The data decoding device comprises:
a data acquisition unit that acquires a reference signal whose level changes in accordance with stress generated on a specific surface of the object, and a regression coefficient that indicates a degree of correlation between a time series change in the level of the reference signal and a time series change in an in-plane displacement on the specific surface of the object;
and a data decoding unit that uses the acquired reference signal and the regression coefficients to reconstruct an in-plane displacement on the specific surface of the object.
A data communication system comprising:
(付記9)
データ符号化装置とデータ復号装置と用いたデータ通信方法であって、
(a)前記データ符号化装置によって、対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(b)前記データ符号化装置によって、前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
(c)前記データ符号化装置によって、前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
(d)前記データ復号装置によって、対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、ステップと、
(e)前記データ復号装置によって、取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、ステップと、
を有する、ことを特徴とするデータ通信方法。
(Appendix 9)
A data communication method using a data encoding device and a data decoding device, comprising:
(a) generating, by the data encoding device, a reference signal whose level changes in accordance with a stress generated on the specific surface of the object, from an overall surface displacement on the specific surface of the object measured from time-series images of the object, and an in-plane displacement on the specific surface of the object measured from the overall surface displacement and the time-series images;
(b) calculating, by the data encoding device, a regression coefficient indicating a degree of correlation between a time series change in a level of the reference signal and a time series change in the in-plane displacement, using the reference signal and the in-plane displacement;
(c) outputting, by the data encoding device, the reference signal and the regression coefficients as data indicating the in-plane displacement;
(d) acquiring, by the data decoding device, a reference signal whose level changes in accordance with the stress generated on the specific surface of the object, and a regression coefficient indicating a degree of correlation between a time series change in the level of the reference signal and a time series change in the in-plane displacement on the specific surface of the object;
(e) recovering, by the data decoding device, an in-plane displacement on a specific surface of the object using the acquired reference signal and the regression coefficients;
A data communication method comprising the steps of:
(付記10)
付記9に記載のデータ通信方法であって、
(f)前記データ符号化装置によって、前記対象物の前記時系列画像から、前記面全体変位を計測する、ステップと、
(g)前記データ符号化装置によって、前記面全体変位及び前記時系列画像から、前記面内変位を計測する、ステップと、
を更に有する、
ことを特徴とするデータ通信方法。
(Appendix 10)
10. The data communication method according to claim 9, further comprising:
(f) measuring the overall surface displacement from the time series images of the object by the data encoding device;
(g) measuring the in-plane displacement from the entire-plane displacement and the time-series images by the data encoding device;
Further comprising
A data communication method comprising:
(付記11)
付記9または10に記載のデータ通信方法であって、
前記面内変位が、前記対象物の特定表面上の点毎に、計測されている場合に、
前記(b)のステップにおいて、前記点毎に、前記参照信号と当該点における前記面内変位とを用いて、前記回帰係数を算出し、
前記(c)のステップにおいて、前記点毎に、当該点における前記参照信号及び前記回帰係数を出力する、
ことを特徴とするデータ通信方法。
(Appendix 11)
11. The data communication method according to claim 9, further comprising:
When the in-plane displacement is measured for each point on a particular surface of the object,
In the step (b), the regression coefficient is calculated for each of the points using the reference signal and the in-plane displacement at the point;
In the step (c), the reference signal and the regression coefficient at each point are output.
A data communication method comprising:
(付記12)
付記9~11のいずれかに記載のデータ通信方法であって、
前記(a)のステップにおいて、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ通信方法。
(Appendix 12)
A data communication method according to any one of Supplementary Notes 9 to 11,
In the step (a), a time series change in distortion of the point of interest in the specific direction is calculated from the in-plane displacement of the point of interest on the specific surface in the specific direction, and a signal indicating the calculated time series change in distortion is generated as the reference signal.
A data communication method comprising:
(付記13)
付記9~11のいずれかに記載のデータ通信方法であって、
前記面全体変位が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、計測されている場合に、
前記(a)のステップにおいて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ通信方法。
(Appendix 13)
A data communication method according to any one of Supplementary Notes 9 to 11,
When the entire surface displacement is measured in an in-plane direction of the specific surface of the object and in an application direction of an external force applied to the object,
In the step (a), a time series change of the entire surface displacement in the application direction is calculated, and a signal indicating the calculated time series change of the entire surface displacement is generated as the reference signal.
A data communication method comprising:
(付記14)
付記9~11のいずれかに記載のデータ通信方法であって、
前記(a)のステップにおいて、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするデータ通信方法。
(Appendix 14)
A data communication method according to any one of Supplementary Notes 9 to 11,
In the step (a), a local strain on the specific surface of the object is calculated using the in-plane displacement, and the local strain is further integrated over the entire specific surface to calculate a time series change in strain on the entire specific surface of the object, and a signal indicating the calculated time series change in strain is generated as the reference signal.
A data communication method comprising:
(付記15)
コンピュータに、
(a)対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と、前記面全体変位及び前記時系列画像から計測された、前記対象物の特定表面における面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(b)前記参照信号と前記面内変位とを用いて、前記参照信号のレベルの時系列変化と前記面内変位の時系列変化との連動度を示す、回帰係数を算出する、ステップと、
(c)前記参照信号及び前記回帰係数を、前記面内変位を示すデータとして出力する、ステップと、
を実行させる、プログラム。
(Appendix 15)
On the computer,
(a) generating a reference signal whose level changes in accordance with a stress generated on a specific surface of the object from an overall surface displacement on the specific surface of the object measured from time-series images of the object and an in-plane displacement on the specific surface of the object measured from the overall surface displacement and the time-series images;
(b) calculating a regression coefficient indicating a degree of correlation between a time series change in a level of the reference signal and a time series change in the in-plane displacement, using the reference signal and the in-plane displacement;
(c) outputting the reference signal and the regression coefficients as data indicative of the in-plane displacement;
A program to execute.
(付記16)
付記15に記載のプログラムであって、
前記コンピュータに、
(d)前記対象物の前記時系列画像から、前記面全体変位を計測する、ステップと、
(e)前記面全体変位及び前記時系列画像から、前記面内変位を計測する、ステップと、
を更に実行させる、
ことを特徴とするプログラム。
(Appendix 16)
16. The program according to claim 15,
The computer includes:
(d) measuring the overall surface displacement from the time series images of the object;
(e) measuring the in-plane displacement from the entire-plane displacement and the time-series images;
Further execute
A program characterized by:
(付記17)
付記15または16に記載のプログラムであって、
前記面内変位が、前記対象物の特定表面上の点毎に、計測されている場合に、
前記(b)のステップにおいて、前記点毎に、前記参照信号と当該点における前記面内変位とを用いて、前記回帰係数を算出し、
前記(c)のステップにおいて、前記点毎に、当該点における前記参照信号及び前記回帰係数を出力する、
ことを特徴とするプログラム。
(Appendix 17)
17. The program according to claim 15 or 16,
When the in-plane displacement is measured for each point on a particular surface of the object,
In the step (b), the regression coefficient is calculated for each of the points using the reference signal and the in-plane displacement at the point;
In the step (c), the reference signal and the regression coefficient at each point are output.
A program characterized by:
(付記18)
付記15~17のいずれかに記載のプログラムであって、
前記(a)のステップにおいて、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするプログラム。
(Appendix 18)
The program according to any one of appendices 15 to 17,
In the step (a), a time series change in distortion of the point of interest in the specific direction is calculated from the in-plane displacement of the point of interest on the specific surface in the specific direction, and a signal indicating the calculated time series change in distortion is generated as the reference signal.
A program characterized by:
(付記19)
付記15~17のいずれかに記載のプログラムであって、
前記面全体変位が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、計測されている場合に、
前記(a)のステップにおいて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするプログラム。
(Appendix 19)
The program according to any one of appendices 15 to 17,
When the entire surface displacement is measured in an in-plane direction of the specific surface of the object and in an application direction of an external force applied to the object,
In the step (a), a time series change of the entire surface displacement in the application direction is calculated, and a signal indicating the calculated time series change of the entire surface displacement is generated as the reference signal.
A program characterized by:
(付記20)
付記15~17のいずれかに記載のプログラムであって、
前記(a)のステップにおいて、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするプログラム。
(Appendix 20)
The program according to any one of appendices 15 to 17,
In the step (a), a local strain on the specific surface of the object is calculated using the in-plane displacement, and the local strain is further integrated over the entire specific surface to calculate a time series change in strain on the entire specific surface of the object, and a signal indicating the calculated time series change in strain is generated as the reference signal.
A program characterized by:
(付記21)
コンピュータに、
(a)対象物の特定表面に発生する応力に合わせてレベルが変化する参照信号、及び前記参照信号のレベルの時系列変化と前記対象物の特定表面における面内変位の時系列変化との連動度を示す回帰係数、を取得する、ステップと、
(b)取得された、前記参照信号及び前記回帰係数を用いて、前記対象物の特定表面における面内変位を復元する、ステップと、
を実行させる、プログラム。
(Appendix 21)
On the computer,
(a) acquiring a reference signal whose level changes in accordance with stress generated on a specific surface of an object, and a regression coefficient indicating a degree of correlation between a time series change in the level of the reference signal and a time series change in an in-plane displacement on the specific surface of the object;
(b) recovering an in-plane displacement of a particular surface of the object using the acquired reference signal and the regression coefficients;
A program to execute.
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 The present invention has been described above with reference to the embodiment, but the present invention is not limited to the above embodiment. Various modifications that can be understood by a person skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
以上のように、本発明によれば、画像から抽出した面内変位を示すデータの符号化又は復号において、十分な空間分解能を保ちつつ、伝送及び蓄積にかかるコストの低減を図ることができる。本発明は、本発明は、橋梁などの構造物の状態を画像から判定するシステムに有用である。 As described above, according to the present invention, in encoding or decoding data indicating in-plane displacement extracted from an image, it is possible to reduce the costs of transmission and storage while maintaining sufficient spatial resolution. The present invention is useful for systems that determine the condition of structures such as bridges from images.
10 データ通信システム
20 データ符号化装置
21 参照信号生成部
22 回帰係数算出部
23 データ出力部
24 画像データ取得部
25 面全体変位計測部
26 面内変位計測部
27 記憶部
30 データ復号装置
31 データ取得部
32 データ復号部
33 表示装置
40 ネットワーク
50 撮像装置
60 橋梁
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
REFERENCE SIGNS
112
Claims (10)
対象物の時系列画像に基づいて、前記対象物の特定表面における面全体変位を、前記対象物に印加される外力の印加方向において計測する手段と、
前記対象物の時系列画像と前記対象物に印加される外力の印加方向における面全体変位とに基づいて、前記対象物の特定表面における面内変位を算出する手段と、
前記対象物に印加される外力の印加方向における面全体変位に基づいて、前記印加方向における面全体変位の時系列変化を算出する手段と、
前記印加方向における面全体変位の時系列変化と前記面内変位とに基づいて、前記印加方向における面全体変位の時系列変化と前記面内変位の時系列変化との相関を算出する手段と、
前記印加方向における面全体変位の時系列変化と前記相関に基づいた値を出力する手段として、動作させるデータ符号化プログラム。 One or more computers,
a means for measuring a displacement of an entire surface of a specific surface of the object in a direction of application of an external force to the object based on time-series images of the object;
a means for calculating an in-plane displacement on a specific surface of the object based on time-series images of the object and an overall surface displacement in an application direction of an external force applied to the object;
a means for calculating a time series change in an overall surface displacement in an application direction of an external force applied to the object based on the overall surface displacement in the application direction;
means for calculating a correlation between the time series change of the entire-surface displacement in the application direction and the time series change of the in-plane displacement based on the time series change of the entire-surface displacement in the application direction and the in-plane displacement;
a data encoding program that operates as a means for outputting a value based on a time series change in the overall surface displacement in the application direction and the correlation.
対象物の時系列画像から計測された、前記対象物の特定表面における面全体変位と前記時系列画像とを用いて算出した、前記対象物の特定表面における面内変位から、予め指定された注目点における歪みの時系列変化を算出し、算出した前記注目点における前記歪みの時系列変化を示す信号を、参照信号として算出する手段として、
動作させる、請求項1に記載のデータ符号化プログラム。 The computer further comprises:
a means for calculating a time series change in distortion at a pre-specified attention point from an in-plane displacement at a specific surface of the object, the in-plane displacement being calculated using an entire surface displacement at the specific surface of the object measured from time series images of the object and the time series images, and calculating a signal indicating the calculated time series change in distortion at the attention point as a reference signal;
2. The data encoding program according to claim 1, which is operated.
請求項2に記載のデータ符号化プログラム。 the means for calculating a correlation between the time series change in the entire surface displacement in the application direction and the time series change in the in-plane displacement calculates a correlation between the time series change in the level of the reference signal based on the time series change in the entire surface displacement in the application direction and the time series change in the in-plane displacement;
3. The data encoding program according to claim 2 .
請求項1に記載のデータ符号化プログラム。 the means for outputting a value based on the time series change of the entire surface displacement in the application direction and the correlation outputs the value based on the time series change of the entire surface displacement in the application direction and the correlation to a decoding device that decodes the value into an in-plane displacement on the specific surface of the object.
2. The data encoding program according to claim 1.
請求項1に記載のデータ符号化プログラム。 The correlation-based value is a regression coefficient.
2. The data encoding program according to claim 1.
前記対象物の時系列画像と前記対象物に印加される外力の印加方向における面全体変位とに基づいて、前記対象物の特定表面における面内変位を算出する手段と、
前記対象物に印加される外力の印加方向における面全体変位に基づいて、前記印加方向における面全体変位の時系列変化を算出する手段と、
前記印加方向における面全体変位の時系列変化と前記面内変位とに基づいて、前記印加方向における面全体変位の時系列変化と前記面内変位の時系列変化との相関を算出する手段と、
前記印加方向における面全体変位の時系列変化と前記相関に基づいた値を出力する手段と、
を備えている、データ符号化装置。 a means for measuring a displacement of an entire surface of a specific surface of the object in a direction of application of an external force to the object based on time-series images of the object;
a means for calculating an in-plane displacement on a specific surface of the object based on time-series images of the object and an overall surface displacement in an application direction of an external force applied to the object;
a means for calculating a time series change in an overall surface displacement in an application direction of an external force applied to the object based on the overall surface displacement in the application direction;
means for calculating a correlation between the time series change of the entire-surface displacement in the application direction and the time series change of the in-plane displacement based on the time series change of the entire-surface displacement in the application direction and the in-plane displacement;
a means for outputting a value based on a time series change in the overall surface displacement in the application direction and the correlation;
A data encoding device comprising:
更に備えている、請求項6に記載のデータ符号化装置。 a means for calculating a time series change in distortion at a pre-specified attention point from an in-plane displacement at a specific surface of the object, the in-plane displacement being calculated using a whole surface displacement at the specific surface of the object measured from time series images of the object and the time series images, and calculating a signal indicating the calculated time series change in distortion at the attention point as a reference signal;
The data encoding device of claim 6 further comprising:
請求項7に記載のデータ符号化装置。 the means for calculating a correlation between the time series change in the entire surface displacement in the application direction and the time series change in the in-plane displacement calculates a correlation between the time series change in the level of the reference signal based on the time series change in the entire surface displacement in the application direction and the time series change in the in-plane displacement;
8. A data encoding device according to claim 7 .
請求項6に記載のデータ符号化装置。 the means for outputting a value based on the time series change of the entire surface displacement in the application direction and the correlation outputs the value based on the time series change of the entire surface displacement in the application direction and the correlation to a decoding device that decodes the value into an in-plane displacement on the specific surface of the object.
7. A data encoding device according to claim 6.
請求項6に記載のデータ符号化装置。 The correlation-based value is a regression coefficient.
7. A data encoding device according to claim 6.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023084086A JP7485155B2 (en) | 2019-06-17 | 2023-05-22 | Data encoding program and data encoding device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/023983 WO2020255232A1 (en) | 2019-06-17 | 2019-06-17 | Data encoding device, data decoding device, data communication system, data communication method, and computer-readable recording medium |
JP2021528082A JP7287463B2 (en) | 2019-06-17 | 2019-06-17 | DATA ENCODER, DATA COMMUNICATION SYSTEM, DATA COMMUNICATION METHOD, AND PROGRAM |
JP2023084086A JP7485155B2 (en) | 2019-06-17 | 2023-05-22 | Data encoding program and data encoding device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021528082A Division JP7287463B2 (en) | 2019-06-17 | 2019-06-17 | DATA ENCODER, DATA COMMUNICATION SYSTEM, DATA COMMUNICATION METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023103459A JP2023103459A (en) | 2023-07-26 |
JP7485155B2 true JP7485155B2 (en) | 2024-05-16 |
Family
ID=74037607
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021528082A Active JP7287463B2 (en) | 2019-06-17 | 2019-06-17 | DATA ENCODER, DATA COMMUNICATION SYSTEM, DATA COMMUNICATION METHOD, AND PROGRAM |
JP2023084086A Active JP7485155B2 (en) | 2019-06-17 | 2023-05-22 | Data encoding program and data encoding device |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021528082A Active JP7287463B2 (en) | 2019-06-17 | 2019-06-17 | DATA ENCODER, DATA COMMUNICATION SYSTEM, DATA COMMUNICATION METHOD, AND PROGRAM |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7287463B2 (en) |
WO (1) | WO2020255232A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008232998A (en) | 2007-03-23 | 2008-10-02 | Osaka Univ | Method and device for measuring stress fluctuation distribution of structure, defect detecting method of structure, and risk assessing method of structure |
US20100310128A1 (en) | 2009-06-03 | 2010-12-09 | Athanasios Iliopoulos | System and Method for Remote Measurement of Displacement and Strain Fields |
JP2011257389A (en) | 2010-05-14 | 2011-12-22 | West Japan Railway Co | Structure displacement measuring method |
JP2016176806A (en) | 2015-03-20 | 2016-10-06 | 日本電気株式会社 | State determination device, state determination system and state determination method for structure |
WO2019054419A1 (en) | 2017-09-12 | 2019-03-21 | 日本電気株式会社 | State determining device, state determining method, and computer-readable recording medium |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10743257B2 (en) | 2017-09-15 | 2020-08-11 | Qualcomm Incorporated | Techniques and apparatuses for wakeup signal transmission |
-
2019
- 2019-06-17 JP JP2021528082A patent/JP7287463B2/en active Active
- 2019-06-17 WO PCT/JP2019/023983 patent/WO2020255232A1/en active Application Filing
-
2023
- 2023-05-22 JP JP2023084086A patent/JP7485155B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008232998A (en) | 2007-03-23 | 2008-10-02 | Osaka Univ | Method and device for measuring stress fluctuation distribution of structure, defect detecting method of structure, and risk assessing method of structure |
US20100310128A1 (en) | 2009-06-03 | 2010-12-09 | Athanasios Iliopoulos | System and Method for Remote Measurement of Displacement and Strain Fields |
JP2011257389A (en) | 2010-05-14 | 2011-12-22 | West Japan Railway Co | Structure displacement measuring method |
JP2016176806A (en) | 2015-03-20 | 2016-10-06 | 日本電気株式会社 | State determination device, state determination system and state determination method for structure |
WO2019054419A1 (en) | 2017-09-12 | 2019-03-21 | 日本電気株式会社 | State determining device, state determining method, and computer-readable recording medium |
Non-Patent Citations (1)
Title |
---|
阪上隆英, 西村隆, 久保司郎, 崎野良比呂, 石野和成,自己相関ロックイン赤外線サーモグラフィ法による疲労き裂の遠隔非破壊検査技術の開発(第1報、溶接試験片,日本機械学会論文集(A編),日本,日本機械学会,2016年12月25日,72巻724号,50-57頁,https://doi.org/10.1299/kikaia.72.1860 |
Also Published As
Publication number | Publication date |
---|---|
WO2020255232A1 (en) | 2020-12-24 |
JP7287463B2 (en) | 2023-06-06 |
JP2023103459A (en) | 2023-07-26 |
JPWO2020255232A1 (en) | 2020-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Feng et al. | Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection–A review | |
JP6954368B2 (en) | Displacement component detection device, displacement component detection method, and program | |
Khaloo et al. | Pixel‐wise structural motion tracking from rectified repurposed videos | |
Zhao et al. | Video‐based multiscale identification approach for tower vibration of a cable‐stayed bridge model under earthquake ground motions | |
JP6813025B2 (en) | Status determination device, status determination method, and program | |
Sun et al. | Non-contact optical sensing of asphalt mixture deformation using 3D stereo vision | |
WO2020255728A1 (en) | Vibration measurement device, vibration measurement method, and computer-readable storage medium | |
JP2020134242A (en) | Measuring method, measuring device and program | |
US11846498B2 (en) | Displacement amount measuring device, displacement amount measuring method, and recording medium | |
Azimbeik et al. | Improved image-based, full-field structural displacement measurement using template matching and camera calibration methods | |
Hosseinzadeh et al. | Pixel-based operating modes from surveillance videos for structural vibration monitoring: A preliminary experimental study | |
Chou et al. | Out-of-plane modal property extraction based on multi-level image pyramid reconstruction using stereophotogrammetry | |
Merainani et al. | Subspace-based modal identification and uncertainty quantification from video image flows | |
Wang et al. | Effects of compressed speckle image on digital image correlation for vibration measurement | |
JP7485155B2 (en) | Data encoding program and data encoding device | |
Havaran et al. | Extraction of the structural mode shapes utilizing image processing method and data fusion | |
JP7156529B2 (en) | Displacement measuring device, displacement measuring method, and program | |
US11365963B2 (en) | State determination apparatus, state determination method, and computer-readable recording medium | |
JPWO2019097576A1 (en) | Measurement system, correction processing device, correction processing method, and program | |
US20220005223A1 (en) | Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium | |
WO2016142965A1 (en) | Video processing device, video processing method, and storage medium storing video processing program | |
JP6954382B2 (en) | Vibration reliability calculation device, vibration reliability calculation method, and program | |
Li et al. | Super-sensitivity full-field measurement of structural vibration with an adaptive incoherent optical method | |
JP6780639B2 (en) | Image analysis device, image analysis method, and image analysis program | |
JP7211271B2 (en) | Image selection method, image selection program, and image selection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7485155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |