JPWO2020044866A1 - 変位計測装置及び変位計測方法 - Google Patents

変位計測装置及び変位計測方法 Download PDF

Info

Publication number
JPWO2020044866A1
JPWO2020044866A1 JP2020540147A JP2020540147A JPWO2020044866A1 JP WO2020044866 A1 JPWO2020044866 A1 JP WO2020044866A1 JP 2020540147 A JP2020540147 A JP 2020540147A JP 2020540147 A JP2020540147 A JP 2020540147A JP WO2020044866 A1 JPWO2020044866 A1 JP WO2020044866A1
Authority
JP
Japan
Prior art keywords
image
displacement
noise
machine learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020540147A
Other languages
English (en)
Other versions
JP7281660B2 (ja
Inventor
晃浩 野田
晃浩 野田
今川　太郎
太郎 今川
日下　博也
博也 日下
悠樹 丸山
悠樹 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020044866A1 publication Critical patent/JPWO2020044866A1/ja
Application granted granted Critical
Publication of JP7281660B2 publication Critical patent/JP7281660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D22/00—Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0041—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Structural Engineering (AREA)
  • Electromagnetism (AREA)
  • Civil Engineering (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

変位計測装置（１００）は、対象物（３００）を含む、ノイズが乗った１の画像から、対象物（３００）を含む、ノイズが乗った、又はノイズが除去された１以上の画像を生成するよう学習された第１機械学習モデル（１０）と、対象物（３００）を含む、ノイズが乗った第１の画像と、対象物（３００）を含む、ノイズが乗った第２の画像とを取得する第１取得部（２０）と、第１機械学習モデル（１０）を利用して、第１の画像から、対象物（３００）を含むＭ（Ｍは２以上の整数）のテンプレート画像を生成し、第２の画像から、対象物（３００）を含むＭのターゲット画像を生成する第１生成部（３０）と、Ｍのテンプレート画像と、Ｍのターゲット画像とから、対象物（３００）のＭの仮想変位を算出する仮想変位算出部（４０）と、Ｍの仮想変位に対して統計処理を行い、対象物（３００）の変位を算出する変位算出部（５０）と、を備える。

Description

計測対象となる対象物の変位を検出する変位検出装置及び変位検出方法に関する。
従来、計測対象となる対象物を撮像した第１の画像と第２の画像とから、その対象物の変位を計測する技術が知られている。
特開２００６−２５４３４９号公報
計測対象となる対象物の撮像において、撮像する画像に、例えば、撮像装置と対象物との間の空間における、熱、風等による大気の揺らぎに起因するノイズ、降雨時における落下中の水滴に起因するノイズ等が乗ってしまうことがある。
従来の技術では、対象物の変位の計測において、計測に利用する画像にノイズが乗っていると、ノイズが乗っていない場合に比べて、その計測精度が低下してしまう。
そこで、本発明は、対象物を含む、ノイズが乗った第１の画像と第２の画像とから、その対象物の変位を計測する場合において、従来よりも高精度に変位を計測することができる変位計測装置及び変位計測方法を提供することを目的とする。
本開示の一態様に係る変位計測装置は、計測対象となる対象物を含む、ノイズが乗った１の画像から、前記対象物を含む、ノイズが乗った、又はノイズが除去された１以上の画像を生成するよう学習された第１機械学習モデルと、前記対象物を含む、ノイズが乗った第１の画像と、前記対象物を含む、ノイズが乗った第２の画像とを取得する第１取得部と、前記第１機械学習モデルを利用して、前記第１の画像から、前記対象物を含むＭ（Ｍは２以上の整数）のテンプレート画像を生成し、前記第２の画像から、前記対象物を含むＭのターゲット画像を生成する第１生成部と、前記Ｍのテンプレート画像と、前記Ｍのターゲット画像とから、前記対象物のＭの仮想変位を算出する仮想変位算出部と、前記Ｍの仮想変位に対して統計処理を行い、前記対象物の変位を算出する変位算出部と、を備える。
また、本開示の一態様に係る変位計測方法は、計測対象となる対象物を含む、ノイズが乗った第１の画像と、前記対象物を含む、ノイズが乗った第２の画像とを取得し、前記対象物を含む、ノイズが乗った１の画像から、前記対象物を含む、ノイズが乗った、又はノイズが除去された１以上の画像を生成するよう学習された第１機械学習モデルを利用して、前記１の第１の画像から、前記対象物を含むＭ（Ｍは２以上の整数）のテンプレート画像を生成し、前記第２の画像から、前記対象物を含むＭのターゲット画像を生成し、前記Ｍのテンプレート画像と、前記Ｍのターゲット画像とから、前記対象物のＭの仮想変位を算出し、前記Ｍの仮想変位に対して統計処理を行い、前記対象物の変位を算出する。
本開示の一態様に係る変位計測装置及び変位計測方法によれば、対象物を含む、ノイズが乗った第１の画像と第２の画像とから、その対象物の変位を計測する場合において、従来よりも高精度に変位を計測することができる。
図１Ａは、真の変位とノイズあり変位との関係の一例を模式的に示す概念図である。 図１Ｂは、ノイズが乗った複数のテンプレート画像と、ノイズが乗った複数のターゲット画像とから、真の変位を再現する様子を模式的に示す概念図である。 図２は、実施の形態１に係る変位計測システムの一構成例を示す外観図である。 図３は、実施の形態１に係る変位計測装置の構成を示すブロック図である。 図４は、実施の形態１に係る第１学習モデルが学習する様子の一例を示す模式図である。 図５は、実施の形態１に係る第１生成部が、Ｍのテンプレート画像とＭのターゲット画像とを生成する様子の一例を示す模式図である。 図６は、実施の形態１に係る仮想変位算出部が、Ｍの仮想変位を算出する様子の一例を示す模式図である。 図７は、実施の形態１に係る変位算出部が、変位を算出する様子の一例を示す模式図である。 図８は、実施の形態１に係る第１学習処理のフローチャートである。 図９は、実施の形態１に係る第１変位計測処理のフローチャートである。 図１０は、実施の形態２に係る変位計測装置の構成を示すブロック図である。 図１１は、実施の形態２に係る第１機械学習モデルの構成の一例を示す模式図である。 図１２は、実施の形態２に係る第１機械学習モデルが学習する様子の一例を示す模式図である。 図１３は、実施の形態２に係る第２学習処理のフローチャートである。 図１４は、実施の形態３に係る変位計測装置の構成を示すブロック図である。 図１５は、実施の形態３に係る第３学習処理のフローチャートである。 図１６は、実施の形態４に係る変位計測装置の構成を示すブロック図である。 図１７は、実施の形態４に係る第１生成部の構成を示すブロック図である。
（本開示の一態様を得るに至った経緯）
計測対象となる対象物を撮像した第１の画像と第２の画像とから、その対象物の変位を計測する場合において、それらの画像にノイズが乗っている場合と、ノイズが乗っていない場合とで、計測結果として得られる変位に差が生じてしまうことがある。ここで、画像に乗ってしまうノイズとしては、例えば、撮像装置と対象物との間の空間における、熱、風等による大気の揺らぎに起因するノイズ、降雨時における落下中の水滴に起因するノイズ等が考えられる。
図１Ａは、ノイズが乗らない画像から計測結果として得られる対象物の変位（以下、「真の変位」とも呼ぶ。）と、ノイズが乗った画像から計測結果として得られる対象物の変位（以下、「ノイズあり変位」とも呼ぶ。）との関係の一例を模式的に示す概念図である。
図１Ａに示されるように、ノイズが乗った１の撮像されたテンプレート画像と、ノイズが乗った１の撮像されたターゲット画像とから得られるノイズあり変位は、真の変位に対する誤差を含む場合がある。
発明者は、ノイズが乗った１の撮像された画像は、取り得る様々なノイズパターンのうちのある１のパターンのノイズが乗った瞬間に撮像された画像であるにすぎないと考えた。そして、発明者は、ノイズが乗った１の撮像されたテンプレート画像から、取り得る様々なノイズパターンのノイズが乗った複数のテンプレート画像を再現し、ノイズが乗った１の撮像されたターゲット画像から、取り得る様々なノイズパターンのノイズが乗った複数のターゲット画像を再現することができれば、取り得る様々なノイズパターンに対応する、複数のノイズあり変位を再現することができると考えた。そして、再現された複数のノイズあり変位に対して、統計処理を行うことで、真の変位を復元することができるのではないかと考えた。
図１Ｂは、ノイズが乗った複数のテンプレート画像と、ノイズが乗った複数のターゲット画像とから、真の変位を再現する様子を模式的に示す概念図である。
図１Ｂに示されるように、複数のノイズあり変位が、真の変位に対して統計的な分布（例えば、ガウス分布）を示す場合には、複数のノイズあり変位に対して統計処理を行うことで、真の変位を再現することができる。
発明者は、上記考えに基づいて、下記変位計測装置及び変位計測方法に想到した。
本発明の一態様に係る変位計測装置は、計測対象となる対象物を含む、ノイズが乗った１の画像から、前記対象物を含む、ノイズが乗った、又はノイズが除去された１以上の画像を生成するよう学習された第１機械学習モデルと、前記対象物を含む、ノイズが乗った第１の画像と、前記対象物を含む、ノイズが乗った第２の画像とを取得する第１取得部と、前記第１機械学習モデルを利用して、前記第１の画像から、前記対象物を含むＭ（Ｍは２以上の整数）のテンプレート画像を生成し、前記第２の画像から、前記対象物を含むＭのターゲット画像を生成する第１生成部と、前記Ｍのテンプレート画像と、前記Ｍのターゲット画像とから、前記対象物のＭの仮想変位を算出する仮想変位算出部と、前記Ｍの仮想変位に対して統計処理を行い、前記対象物の変位を算出する変位算出部と、を備える。
上記変位計測装置は、ノイズが乗った１の第１オリジナル画像と、ノイズが乗った１の第２オリジナル画像とから、それぞれ、Ｍのテンプレート画像と、Ｍのターゲット画像とを生成する。そして、Ｍのテンプレート画像と、Ｍのターゲット画像とからＭの仮想変位を算出し、算出した仮想変位に対して統計処理を行って、対象物の変位を算出する。このため、上記変位計測装置によると、従来の、ノイズが乗った１の画像と、ノイズが乗った１の画像とから、統計処理を行うことなく直接的に変位を算出する変位計測装置よりも、より高精度に変位を計測することができる。
また、前記第１機械学習モデルが生成する前記１以上の画像は、ノイズが乗った画像であり、さらに、前記対象物を含む、ノイズが乗ったＮ（Ｎは２以上の整数）の画像を取得する第２取得部と、前記Ｎの画像それぞれについて、当該画像を入力とし、他のＮ−１の画像の少なくとも一部を正解として、前記第１機械学習モデルに学習させる第１学習部と、を備えるとしてもよい。これにより、第１機械学習モデルに、ノイズが乗った画像を生成するよう学習させることができるようになる。
また、前記第１機械学習モデルは、前記対象物を含む、ノイズが乗った１の画像から、前記対象物を含む、ノイズが除去された１のノイズ除去画像を生成するよう学習された第２機械学習モデルと、前記１のノイズ除去画像から、前記対象物を含む、ノイズが乗った１以上の画像を生成するよう学習された第３機械学習モデルと、を含み、前記第２取得部は、さらに、前記対象物を含む、ノイズが乗っていない１の基準画像を取得し、前記第１学習部は、前記Ｎの画像それぞれについて、当該画像を入力とし、前記１の基準画像を正解として、前記第２機械学習モデルに学習させ、前記１の基準画像を入力とし、他のＮ−１の画像の少なくとも一部を正解として前記第３機械学習モデルに学習させることで、前記第１機械学習モデルに学習させるとしてもよい。これにより、より効率的に、第１機械学習モデルに学習させることができるようになる。
また、前記第１機械学習モデルが生成する前記１以上の画像は、ノイズが除去された画像であり、さらに、前記対象物を含む、ノイズが乗ったＮ（Ｎは２以上の整数）の画像と、前記対象物を含む、ノイズが乗っていない１の基準画像とを取得する第２取得部と、前記Ｎの画像それぞれについて、当該画像を入力とし、前記１の基準画像を正解として、前記第１機械学習モデルに学習させる第２学習部と、を備えるとしてもよい。これにより、第１機械学習モデルに、ノイズが除去された画像を生成するよう学習させることができるようになる。
また、前記第１生成部は、前記対象物の概略変位を取得する概略変位取得部と、前記１の第１の画像に対して、前記概略変位に応じた量だけ画素を移動させて第１の画素移動画像を生成し、前記１の第２の画像に対して、前記概略変位に応じた量だけ画素を移動させて第２の画素移動画像を生成する第２生成部と、前記第１機械学習モデルを利用して、前記第１の画素移動画像から、前記Ｍのテンプレート画像を生成し、前記第２の画素移動画像から、前記Ｍのターゲット画像を生成する第３生成部と、を含むとしてもよい。これにより、比較的大きな変位がある場合であっても、変位を計測することができるようになる。
本発明の一態様に係る変位計測方法は、計測対象となる対象物を含む、ノイズが乗った第１の画像と、前記対象物を含む、ノイズが乗った第２の画像とを取得し、前記対象物を含む、ノイズが乗った１の画像から、前記対象物を含む、ノイズが乗った、又はノイズが除去された１以上の画像を生成するよう学習された第１機械学習モデルを利用して、前記１の第１の画像から、前記対象物を含むＭ（Ｍは２以上の整数）のテンプレート画像を生成し、前記第２の画像から、前記対象物を含むＭのターゲット画像を生成し、前記Ｍのテンプレート画像と、前記Ｍのターゲット画像とから、前記対象物のＭの仮想変位を算出し、前記Ｍの仮想変位に対して統計処理を行い、前記対象物の変位を算出する。
上記変位計測方法は、ノイズが乗った１の第１オリジナル画像と、ノイズが乗った１の第２オリジナル画像とから、それぞれ、Ｍのテンプレート画像と、Ｍのターゲット画像とを生成する。そして、Ｍのテンプレート画像と、Ｍのターゲット画像とからＭの仮想変位を算出し、算出した仮想変位に対して統計処理を行って、対象物の変位を算出する。このため、上記変位計測方法によると、従来の、ノイズが乗った１の画像と、ノイズが乗った１の画像とから、統計処理を行うことなく直接的に変位を算出する変位計測方法よりも、より高精度に変位を計測することができる。
以下、本開示の一態様に係る変位計測装置及び変位計測方法の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
なお、本開示の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
（実施の形態１）
［１−１．変位計測システムの概要］
ここでは、計測対象となる対象物の画像を複数撮像し、撮像した複数の画像から、対象物の変位を算出する変位計測システム、及びその変位計測システムを構成する変位計測装置について説明する。
図２は、実施の形態１に係る変位計測システム１の一構成例を示す外観図である。
図２に示されるように、変位計測システム１は、撮像装置２００と、変位計測装置１００とを含んで構成される。
撮像装置２００は、計測対象となる対象物３００の画像を撮像する。撮像装置２００は、例えば、固定された画角において対象物３００の画像を経時的に複数撮像する。
例えば、撮像装置２００は、変位計測装置１００が、後述の第１機械学習モデル１０を学習させようとする場合には、対象物３００に変位が生じていないとき、すなわち、対象物３００に掛かる荷重が変化していないときに、対象物３００の画像を複数撮像する。例えば、対象物３００が橋梁である場合には、撮像装置２００は、車両が橋梁を走行していないときに複数の画像を撮像する。
また、例えば、撮像装置２００は、変位計測装置１００が対象物３００の変位を計測しようとする場合には、対象物３００に変位が生じている期間中又は／及び変位が生じていない期間中に、すなわち、対象物３００に掛かる荷重が変化している期間中又は／及び荷重が変化していない期間中に、対象物３００の画像を複数撮像する。つまり、撮像装置２００は、変位計測装置１００の変位計測期間中に、対象物３００の画像を複数撮像する。例えば、対象物３００が橋梁である場合には、撮像装置２００は、車両が橋梁を走行している期間中又は／及び走行していない期間中に複数の画像を撮像する。
また、撮像装置２００は、通信機能を有し、外部の機器と通信する。外部の機器には、変位計測装置１００が含まれる。撮像装置２００は、例えば、有線通信により外部の機器と通信してもよいし、無線通信により外部の機器と通信してもよい。
撮像装置２００は、例えば、イメージセンサを備えるデジタルビデオカメラ又はデジタルスチルカメラによって実現される。
撮像装置２００により撮像される画像にノイズが乗ってしまうことがある。ここで、画像に乗ってしまうノイズとしては、例えば、撮像装置と対象物との間の空間における、熱、風等による大気の揺らぎに起因するノイズ、降雨時における落下中の水滴に起因するノイズ等が考えられる。
変位計測装置１００は、撮像装置２００によって撮像された、対象物３００を含む複数の画像から、対象物３００の変位を算出する。
また、変位計測装置１００は、通信機能を有し、外部の機器と通信する。外部の機器には、撮像装置２００が含まれる。変位計測装置１００は、例えば、有線通信により外部の機器と通信してもよいし、無線通信により外部の機器と通信してもよい。
変位計測装置１００は、例えば、プロセッサとメモリとを備えるコンピュータ装置において、プロセッサが、メモリに記憶されるプログラムを実行することによって実現される。
以下、変位計測装置１００の詳細について、図面を参照しながら説明する。
［１−２．変位計測装置１００の構成］
図３は、変位計測装置１００の構成を示すブロック図である。
図３に示されるように、変位計測装置１００は、第１機械学習モデル１０と、第１取得部２０と、第１生成部３０と、仮想変位算出部４０と、変位算出部５０と、第２取得部６０と、第１学習部７０とを含んで構成される。
第１機械学習モデル１０は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう学習された機械学習モデルである。第１機械学習モデル１０は、第１学習部７０によって学習される。第１学習部７０による第１機械学習モデル１０の学習については後述する。
第２取得部６０は、撮像装置２００から、対象物３００を含む、ノイズが乗ったＮ（Ｎは２以上の整数）の画像を取得する。第２取得部６０によって取得されるＮの画像は、後述する第１機械学習モデル１０の学習において利用される。後述する第１機械学習モデル１０の学習において利用される画像は、対象物３００に変位が生じていないときに撮像された画像であることが好ましい。このため、第２取得部６０は、対象物３００に変位が生じていないときに撮像されたＮの画像を取得する。
第１学習部７０は、第２取得部６０によって取得されたＮの画像のそれぞれについて、当該画像を入力とし、他のＮ−１の画像の少なくとも一部を正解として、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう第１機械学習モデル１０に学習させる。
図４は、第１学習部７０により、第１機械学習モデル１０が学習する様子の一例を示す模式図である。
以下、図４を用いて、第１学習部７０による第１機械学習モデル１０の学習の具体的な一例について説明する。この例では、撮像装置２００が、対象物３００に変位が生じていないとき、すなわち、対象物３００に掛かる荷重が変化していないときに、対象物３００の動画像を撮像し、第２取得部６０が、撮像装置２００によって撮像された上記動画像のうちのＮのフレームを、対象物３００を含む、ノイズが乗ったＮの画像として取得する。
図４に示されるように、第１学習部７０は、Ｎの画像それぞれについて、対象物３００が映っている画素領域の中から、１以上の計測点を設定する。ここで、１以上の計測点のそれぞれは、互いに隣接する複数の画素からなる局所領域であって、Ｎの画像に共通の位置の画素領域である。図４に示す例では、第１学習部７０は、Ｎの画像それぞれについて、計測点３０１と計測点３０２とを設定する。
そして、第１学習部７０は、Ｎの画像それぞれについて、設定した各計測点（計測点３０１、計測点３０２）に含まれる画素を学習の対象として、当該画像を入力とし、他のＮ−１の画像を正解として、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう第１機械学習モデル１０に学習させる。ここで、第１学習部７０は、例えば、計測点毎に、第１機械学習モデル１０に学習させてもよいし、全計測点同時に、第１機械学習モデル１０に学習させてもよい。
以下、第１学習部７０は、対象物３００を含む、ノイズが乗ったＭ（Ｍは２以上の整数）の画像を生成するよう第１機械学習モデル１０に学習させるとして説明する。これに対して、別の一例として、第１学習部７０は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１の画像を生成するよう第１機械学習モデル１０に学習させて、第１機械学習モデル１０は、画像を生成する際に、第１機械学習モデル１０のパラメータをそれぞれＭ回変更して動作することで、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗ったＭの画像を生成するとしてもよい。また、さらなる別の一例として、第１学習部７０は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１の画像を生成するよう第１機械学習モデル１０に学習させて、第１機械学習モデル１０は、画像を生成する際に、ＧＡＮ（Generative Adversarial Network）を用いて、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗ったＭの画像を生成するとしてもよい。
再び図３に戻って、変位計測装置１００の説明を続ける。
第１取得部２０は、撮像装置２００から、対象物３００を含む、ノイズが乗った第１の画像と、対象物３００を含む、ノイズが乗った第２の画像とを取得する。第１取得部２０によって取得される第１の画像と第２の画像とは、後述する対象物３００の変位の算出において利用される。このため、第１取得部２０は、対象物３００に変位が生じている期間中又は／及び変位が生じていない期間中に撮像された第１の画像と第２の画像とを取得する。
第１生成部３０は、第１機械学習モデル１０を利用して、第１取得部２０によって取得された第１の画像から、対象物３００を含む、ノイズが乗ったＭのテンプレート画像を生成し、第１取得部２０によって取得された第２の画像から、対象物３００を含む、ノイズが乗ったＭのターゲット画像を生成する。
図５は、第１生成部３０が、第１機械学習モデル１０を利用して、ノイズが乗った第１の画像から、ノイズが乗ったＭのテンプレート画像を生成し、ノイズが乗った第２の画像から、ノイズが乗ったＭのターゲット画像を生成する様子の一例を示す模式図である。
以下、図５を用いて、第１生成部３０による、第１機械学習モデル１０を利用した、第１の画像からのＭのテンプレート画像の生成と、第２の画像からのＭのターゲット画像の生成との具体的な一例について説明する。この例では、撮像装置２００が、対象物３００に変位が生じている期間中又は／及び変位が生じていない期間中に、すなわち、対象物３００に掛かる荷重が変化している期間中又は／及び変位が生じていない期間中に、対象物３００の動画像を撮像し、第１取得部２０が、撮像装置２００によって撮像された上記動画像のうちの１のフレームを第１の画像として取得し、他の１のフレームを第２の画像として取得する。
図５に示されるように、第１生成部３０は、第１機械学習モデル１０を利用して、第１学習部７０によって設定された各計測点（計測点３０１、計測点３０２）に含まれる画素を生成の対象として、ノイズが乗った第１の画像から、ノイズが乗ったＭのテンプレート画像を生成し、ノイズが乗った第２の画像から、ノイズが乗ったＭのターゲット画像を生成する。
再び図３に戻って、変位計測装置１００の説明を続ける。
仮想変位算出部４０は、第１生成部３０によって生成された、ノイズが乗ったＭのテンプレート画像と、ノイズが乗ったＭのターゲット画像とから、対象物３００のＭの変位を算出する。以下、仮想変位算出部４０によって、Ｍのテンプレート画像とＭのターゲット画像とから算出された対象物３００のＭの変位のことを、対象物３００のＭの仮想変位と呼ぶ。
図６は、仮想変位算出部４０が、ノイズが乗ったＭのテンプレート画像と、ノイズが乗ったＭのターゲット画像とから、Ｍの仮想変位を算出する様子の一例を示す模式図である。
以下、図６を用いて、仮想変位算出部４０による、Ｍのテンプレート画像とＭのターゲット画像とからのＭの仮想変位の算出の具体的な一例について説明する。
図６に示されるように、仮想変位算出部４０は、ノイズが乗ったＭのテンプレート画像と、ノイズが乗ったＭのターゲット画像とを１対１に対応付けてＭ組のペアを作る。そして、仮想変位算出部４０は、各ペアについて、第１学習部７０によって設定された各計測点（計測点３０１、計測点３０２）を算出の対象として、テンプレート画像とターゲット画像とにおける対象物３００の変位を仮想変位として算出する。これにより、仮想変位算出部４０は、各計測点における対象物３００のＭの仮想変位を算出する。この例では、仮想変位算出部４０は、計測点３０１における対象物３００の仮想変位として、ｘ１、ｘ２、…、ｘＭを算出し、計測点３０２における対象物３００の仮想変位として、ｙ１、ｙ２、…、ｙＭを算出する。
仮想変位算出部４０は、各ペアにおいて、テンプレート画像とターゲット画像とにおける対象物３００の変位を、例えば、デジタル画像相関法を用いて算出してもよいし、例えば、サンプリングモアレ法を用いて算出してもよい。
仮想変位算出部４０は、仮想変位として、例えば、画像における画素数を算出するとしてもよいし、例えば、実空間における距離を算出するとしてもよい。
再び図３に戻って、変位計測装置１００の説明を続ける。
変位算出部５０は、仮想変位算出部４０によって算出されたＭの仮想変位に対して統計処理を行い、対象物３００の変位を算出する。
図７は、変位算出部５０が、Ｍの仮想変位に対して統計処理を行い、対象物３００の変位を算出する様子の一例を示す模式図である。
以下、図７を用いて、変位算出部５０による、対象物３００の変位の算出の具体的な一例について説明する。この例は、変位算出部５０が、計測点３０１における対象物３００の仮想変位を算出する例であるとして説明するが、計測点３０２における対象物３００の仮想変位を算出する場合も同様であるとしてよい。
図７に示されるように、変位算出部５０は、仮想変位算出部４０によって算出された、計測点３０１における対象物３００のＭの仮想変位に対してヒストグラムを生成する。そして、そのヒストグラムから、最も頻度の多い仮想変位を特定し、特定した仮想変位を、計測点３０１における対象物３００の変位として算出する。これに対して、別の一例として、変位算出部５０は、仮想変位算出部４０によって算出された、計測点３０１における対象物３００のＭの仮想変位に対して、例えば、平均値を算出して、算出した平均値を、計測点３０１における対象物３００の変位として算出してもよいし、例えば、中央値を算出して、算出した中央値を、計測点３０１における対象物３００の変位として算出してもよいし、例えば、刈り込み平均値を算出して、算出した刈り込み平均値を、計測点３０１における対象物３００の変位として算出してもよい。また、さらなる別の一例として、変位算出部５０は、仮想変位算出部４０によって算出された、計測点３０１における対象物３００のＭの仮想変位のヒストグラムに対して、適切な関数（例えば、ガウス関数）によるフィッティングを行い、そのフィッティング結果に基づいて、計測点３０１における対象物３００の変位を算出してもよい。
［１−３．変位計測装置１００の動作］
以下、上記構成の変位計測装置１００が行う動作について説明する。
変位計測装置１００は、第１学習処理と、第１変位計測処理とを行う。以下、変位計測装置１００が行う、第１学習処理と、第１変位計測処理とについて順に説明する。
第１学習処理は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう第１機械学習モデル１０に学習させる処理である。
図８は、変位計測装置１００が行う第１学習処理のフローチャートである。
第１学習処理は、例えば、撮像装置２００が、対象物３００に変位が生じていないときに対象物３００の動画像を撮像した場合において、撮像した動画像を構成する各フレームにノイズが乗っていたときに、変位計測装置１００を利用するユーザにより、変位計測装置１００に対して、第１学習処理を開始させる旨の操作がなされることで開始される。
第１学習処理が開始されると、第２取得部６０は、撮像装置２００から、対象物３００を撮像した動画像を構成するフレームのうちのＮのフレームを、対象物３００を含む、ノイズが乗ったＮの画像として取得する（ステップＳ１００）。つまり、変位が生じていないときに撮像されたＮの画像を取得する。
ノイズが乗ったＮの画像が取得されると、第１学習部７０は、ノイズが乗ったＮの画像のうちの未選択の画像の中から、ノイズが乗った１の画像を選択する（ステップＳ１１０）。ここで、未選択の画像とは、ステップＳ１１０の処理〜ステップＳ１３０：Ｙｅｓの処理（後述）で形成されるループ処理において、過去のステップＳ１１０の処理において選択されたことのない画像のことをいう。
ノイズが乗った１の画像が選択されると、第１学習部７０は、選択されたノイズが乗った１の画像を入力とし、他の、ノイズが乗ったＮ−１の画像を正解とする、１の訓練データを生成する（ステップＳ１２０）。
１の訓練データを生成すると、第１学習部７０は、ノイズが乗ったＮの画像の中に未選択の画像が存在するか否かを調べる（ステップＳ１３０）。
ステップＳ１３０の処理において、未選択の画像が存在する場合に（ステップＳ１３０：Ｙｅｓ）、変位計測装置１００は、再びステップＳ１１０の処理に進む。
ステップＳ１３０の処理において、未選択の画像が存在しない場合に（ステップＳ１３０：Ｎｏ）、第１学習部７０は、ステップＳ１１０の処理〜ステップＳ１３０：Ｙｅｓの処理で形成されるループ処理をＮ回繰り返すことで得られたＮの訓練データを用いて、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう第１機械学習モデル１０に学習させる（ステップＳ１４０）。
ステップＳ１４０の処理が終了すると、変位計測装置１００は、その第１学習処理を終了する。
第１変位計測処理は、対象物３００を含む、ノイズが乗った第１の画像と、対象物３００を含む、ノイズが乗った第２の画像とから、対象物３００の変位を算出する処理である。
図９は、変位計測装置１００が行う第１変位計測処理のフローチャートである。
第１変位計測処理は、例えば、撮像装置２００が、対象物３００に変位が生じている期間中又は／及び変位が生じていない期間中に対象物３００の動画像を撮像した場合において、撮像した動画像を構成する各フレームにノイズが乗っていたときに、変位計測装置１００を利用するユーザにより、変位計測装置１００に対して、第１変位計測処理を開始させる旨の操作がなされることで開始される。
第１変位計測処理が開始されると、第１取得部２０は、撮像装置２００から、対象物３００を撮像した動画像を構成するフレームの中から、１のフレームを、対象物３００を含む、ノイズが乗った第１の画像として取得し、他の１のフレームを、対象物３００を含む、ノイズが乗った第２の画像として取得する（ステップＳ２００）。
ノイズが乗った第１の画像と、ノイズが乗った第２の画像とが取得されると、第１生成部３０は、第１機械学習モデル１０を利用して、ノイズが乗った第１の画像からノイズが乗ったＭのテンプレート画像を生成し、ノイズが乗った第２の画像からノイズが乗ったＭのターゲット画像を生成する（ステップＳ２１０）。
ノイズが乗ったＭのテンプレート画像と、ノイズが乗ったＭのターゲット画像とが生成されると、仮想変位算出部４０は、ノイズが乗ったＭのテンプレート画像と、ノイズが乗ったＭのターゲット画像とから、Ｍの仮想変位を算出する（ステップＳ２２０）。
Ｍの仮想変位が算出されると、変位算出部５０は、Ｍの仮想変位に対して統計処理を行い、対象物３００の変位を算出する（ステップＳ２３０）。
ステップＳ２３０の処理が終了すると、変位計測装置１００は、その第１変位計測処理を終了する。
［１−４．考察］
上述したように、変位計測装置１００は、ノイズが乗った第１の画像からノイズが乗ったＭのテンプレート画像を生成し、ノイズが乗った第２の画像からノイズが乗ったＭのターゲット画像を生成する。そして、変位計測装置１００は、ノイズが乗ったＭのテンプレート画像と、ノイズが乗ったＭのターゲット画像とから、Ｍの仮想変位を算出し、算出したＭの仮想変位に対して統計処理を行い、対象物３００の変位を算出する。このため、変位計測装置１００は、従来の、ノイズが乗った第１の画像と、ノイズが乗った第２の画像とから、統計処理を行うことなく直接的に対象物３００の変位を算出するタイプの変位計測装置よりも、精度良く変位を算出することができる。
（実施の形態２）
ここでは、実施の形態１に係る変位計測装置１００から、その構成の一部が変更された実施の形態２に係る変位計測装置について説明する。
以下、実施の形態２に係る変位計測装置について、実施の形態１に係る変位計測装置１００との相違点を中心に説明する。
［２−１．変位計測装置４００の構成］
図１０は、実施の形態２に係る変位計測装置４００の構成を示すブロック図である。
図１０に示されるように、変位計測装置４００は、実施の形態１に係る変位計測装置１００から、第１機械学習モデル１０が第１機械学習モデル４１０に変更され、第２取得部６０が第２取得部４６０に変更され、第１学習部７０が第１学習部４７０に変更されて構成される。
第１機械学習モデル４１０は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう学習された機械学習モデルであって、その内部に、第２機械学習モデルと、第３機械学習モデルとを含んで構成される。
図１１は、第１機械学習モデル４１０の構成の一例を示す模式図である。
図１１に示されるように、第１機械学習モデル４１０は、第２機械学習モデル４１１と第３機械学習モデル４１２とを含んで構成される。
第２機械学習モデル４１１は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１の画像を生成するよう学習された機械学習モデルである。第２機械学習モデル４１１は、第１学習部４７０によって学習される。第１学習部４７０による第２機械学習モデル４１１の学習については後述する。
第３機械学習モデル４１２は、対象物３００を含む、ノイズが除去された１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう学習された機械学習モデルである。第３機械学習モデル４１２は、第１学習部４７０によって学習される。第１学習部４７０による第３機械学習モデル４１２の学習については後述する。
第３機械学習モデル４１２は、学習後には、第２機械学習モデル４１１によって生成される、対象物３００を含む、ノイズが除去された１の画像が入力される。
第２取得部４６０は、撮像装置２００から、対象物３００を含む、ノイズが乗ったＮの画像と、対象物３００を含む、ノイズが除去された（すなわち、ノイズが乗っていない）１の基準画像とを取得する。第２取得部４６０によって取得されるＮの画像及び１の基準画像は、後述する第１機械学習モデル４１０の学習において利用される。後述する第１機械学習モデル４１０の学習において利用される画像は、対象物３００に変位が生じていないときに撮像された画像であることが好ましい。このため、第２取得部４６０は、対象物３００に変位が生じていないときに撮像されたＮの画像及び１の基準画像を取得する。
第２取得部４６０は、例えば、撮像装置２００が、対象物３００を含む、ノイズが除去された１の画像を撮像することが難しい場合には、撮像装置２００から取得した、対象物３００を含む、ノイズが乗ったＮの画像の加算平均を取ることで、対象物３００を含む、ノイズが除去された１の基準画像を取得するとしてもよい。また、第２取得部４６０は、例えば、ノイズが乗らないように、撮像装置２００を対象物３００の近傍に移動させた状態で撮像装置２００により撮像された、対象物３００を含む１の画像を、Ｎの画像と同じ画角に投影された画像となるように変形することで、対象物３００を含む、ノイズが除去された１の基準画像を取得するとしてもよい。
第１学習部４７０は、第２取得部４６０によって取得されたＮの画像のそれぞれについて、当該画像を入力とし、他のＮ−１の画像の少なくとも一部を正解として、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう第１機械学習モデル４１０に学習させる。より具体的には、第１学習部４７０は、第２取得部４６０によって取得されたＮの画像のそれぞれについて、当該画像を入力とし、第２取得部４６０によって取得された１の基準画像を正解として、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１の画像を生成するよう第２機械学習モデル４１１に学習させる。そして、第１学習部４７０は、第２取得部４６０によって取得された１の基準画像を入力とし、第２取得部４６０によって取得された、他のＮ−１の画像の少なくとも一部を正解として、対象物３００を含む、ノイズが除去された１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう第３機械学習モデル４１２に学習させることで、第１機械学習モデル４１０に学習させる。
図１２は、第１学習部４７０により、第１機械学習モデル４１０が学習する様子の一例を示す模式図である。
以下、図１２を用いて、第１学習部４７０による第１機械学習モデル４１０の学習の具体的な一例について説明する。この例では、撮像装置２００が、対象物３００に変位が生じていないとき、すなわち、対象物３００に掛かる荷重が変化していないときに、対象物３００の動画像を撮像し、第２取得部４６０が、撮像装置２００によって撮像された上記動画像のうちのＮのフレームを、対象物３００を含む、ノイズが乗ったＮの画像として取得する。そして、第１学習部４７０は、対象物３００を含む、ノイズが乗ったＮの画像の加算平均を取ることで、対象物３００を含む、ノイズが除去された１の基準画像を取得する。
図１２に示されるように、第１学習部４７０は、Ｎの画像及び１の基準画像のそれぞれについて、対象物３００が映っている画素領域の中から、１以上の計測点を設定する。図１２に示す例では、第１学習部４７０は、Ｎの画像及び１の基準画像のそれぞれについて、図４に示す例と同様に、計測点３０１と計測点３０２とを設定する。
そして、第１学習部４７０は、Ｎの画像それぞれについて、設定した各計測点（計測点３０１、計測点３０２）に含まれる画素を学習の対象として、当該画像を入力とし、他のＮ−１の画像を正解として、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう第１機械学習モデル１０に学習させる。
以下では、第１学習部４７０は、対象物３００を含む、ノイズが乗ったＭの画像を生成するよう第１機械学習モデル４１０に学習させるとして説明する。
より具体的には、第１学習部４７０は、Ｎの画像それぞれについて、設定した各計測点（計測点３０１、計測点３０２）に含まれる画素を学習の対象として、当該画像を入力とし、第２取得部４６０によって取得された１の基準画像を正解として、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１の画像を生成するよう第２機械学習モデル４１１に学習させる。そして、第１学習部４７０は、設定した各計測点（計測点３０１、計測点３０２）に含まれる画素を学習の対象として、第２取得部４６０によって取得された１の基準画像を入力とし、第２取得部４６０によって取得されたＮの画像を正解として、対象物３００を含む、ノイズが除去された１の画像から、対象物３００を含む、ノイズが乗ったＭの画像を生成するよう第３機械学習モデル４１２に学習させる。
［２−２．変位計測装置４００の動作］
以下、上記構成の変位計測装置４００が行う動作について説明する。
変位計測装置４００は、実施の形態１に係る変位計測装置１００が行う第１変位計測処理と同様の処理に加えて、第２学習処理を行う。以下、変位計測装置４００が行う、第２学習処理について説明する。
第２学習処理は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが乗った１以上の画像を生成するよう第１機械学習モデル４１０に学習させる処理である。
図１３は、変位計測装置４００が行う第２学習処理のフローチャートである。
第２学習処理は、例えば、撮像装置２００が、対象物３００に変位が生じていないときに対象物３００の動画像を撮像した場合において、撮像した動画像を構成する各フレームにノイズが乗っていたときに、変位計測装置１００を利用するユーザにより、変位計測装置１００に対して、第２学習処理を開始させる旨の操作がなされることで開始される。
第２学習処理が開始されると、第２取得部４６０は、撮像装置２００から、対象物３００を撮像した動画像を構成するフレームのうちのＮのフレームを、対象物３００を含む、ノイズが乗ったＮの画像として取得する（ステップＳ３００）。
対象物３００を含む、ノイズが乗ったＮの画像を取得すると、第２取得部４６０は、対象物３００を含む、ノイズが乗ったＮの画像の加算平均を取ることで、対象物３００を含む、ノイズが除去された１の基準画像を取得する（ステップＳ３１０）。
対象物３００を含む、ノイズが除去された１の基準画像を取得すると、第２取得部４６０は、ノイズが乗ったＮの画像のうちの未選択の画像の中から、ノイズが乗った１の画像を選択する（ステップＳ３２０）。ここで、未選択の画像とは、ステップＳ３２０の処理〜ステップＳ３５０：Ｙｅｓの処理（後述）で形成されるループ処理において、過去のステップＳ３２０の処理において選択されたことのない画像のことをいう。
ノイズが乗った１の画像が選択されると、第１学習部４７０は、選択されたノイズが乗った１の画像を入力とし、１の基準画像を正解とする、１の第１訓練データを生成する（ステップＳ３３０）。そして、第１学習部４７０は、１の基準画像を入力とし、選択されたノイズが乗った１の画像を正解とする、１の第２訓練データを生成する（ステップＳ３４０）。
１の第１訓練データと１の第２訓練データとを生成すると、第１学習部４７０は、ノイズが乗ったＮの画像の中に未選択の画像が存在するか否かを調べる（ステップＳ３５０）。
ステップＳ３５０の処理において、未選択の画像が存在する場合に（ステップＳ３５０：Ｙｅｓ）、変位計測装置４００は、再びステップＳ３２０の処理に進む。
ステップＳ３５０の処理において、未選択の画像が存在しない場合に（ステップＳ３５０：Ｎｏ）、第１学習部４７０は、ステップＳ３２０の処理〜ステップＳ３５０：Ｙｅｓの処理で形成されるループ処理をＮ回繰り返すことで得られたＮの第１訓練データを用いて、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１の画像を生成するよう第２機械学習モデル４１１に学習させる（ステップＳ３６０）。そして、第１学習部４７０は、ステップＳ３２０の処理〜ステップＳ３５０：Ｙｅｓの処理で形成されるループ処理をＮ回繰り返すことで得られたＮの第２訓練データを用いて、対象物３００を含む、ノイズが除去された１の画像から、対象物３００を含む、ノイズが乗ったＭの画像を生成するよう第３機械学習モデル４１２に学習させる（ステップＳ３７０）。
ステップＳ３７０の処理が終了すると、変位計測装置４００は、その第２学習処理を終了する。
［２−３．考察］
上述したように、変位計測装置４００は、実施の形態１に係る変位計測装置１００と同様に、ノイズが乗った第１の画像からノイズが乗ったＭのテンプレート画像を生成し、ノイズが乗った第２の画像からノイズが乗ったＭのターゲット画像を生成する。そして、変位計測装置４００は、ノイズが乗ったＭのテンプレート画像と、ノイズが乗ったＭのターゲット画像とから、Ｍの仮想変位を算出し、算出したＭの仮想変位に対して統計処理を行い、対象物３００の変位を算出する。このため、変位計測装置４００は、実施の形態１に係る変位計測装置１００と同様に、従来の、ノイズが乗った第１の画像と、ノイズが乗った第２の画像とから、統計処理を行うことなく直接的に対象物３００の変位を算出するタイプの変位計測装置よりも、精度良く変位を算出することができる。
（実施の形態３）
ここでは、実施の形態２に係る変位計測装置４００から、その構成の一部が変更された実施の形態３に係る変位計測装置について説明する。
以下、実施の形態３に係る変位計測装置について、実施の形態２に係る変位計測装置４００との相違点を中心に説明する。
［３−１．変位計測装置５００の構成］
図１４は、実施の形態３に係る変位計測装置５００の構成を示すブロック図である。
図１４に示されるように、変位計測装置５００は、実施の形態２に係る変位計測装置４００から、第１機械学習モデル４１０が第１機械学習モデル５１０に変更され、第１生成部３０が第１生成部５３０に変更され、仮想変位算出部４０が仮想変位算出部５４０に変更され、第１学習部４７０が第２学習部５７０に変更されて構成される。
第１機械学習モデル５１０は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１以上の画像を生成するよう学習された機械学習モデルである。第１機械学習モデル５１０は、第２学習部５７０によって学習される。
第２学習部５７０は、第２取得部４６０によって取得されたＮの画像のそれぞれについて、当該画像を入力とし、第２取得部４６０によって取得された１の基準画像を正解として、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１以上の画像を生成するよう第１機械学習モデル５１０に学習させる。
以下、図１２を流用し、図１２が、第２学習部５７０により、第１機械学習モデル５１０が学習する様子の一例を示す模式図であると読み替えて、第２学習部５７０による第１機械学習モデル５１０の学習の具体的な一例について説明する。この例では、撮像装置２００が、対象物３００に変位が生じていないとき、すなわち、対象物３００に掛かる荷重が変化していないときに、対象物３００の動画像を撮像し、第２取得部４６０が、撮像装置２００によって撮像された上記動画像のうちのＮのフレームを、対象物３００を含む、ノイズが乗ったＮの画像として取得する。そして、第２取得部４６０は、対象物３００を含む、ノイズが乗ったＮの画像の加算平均を取ることで、対象物３００を含む、ノイズが除去された１の基準画像を取得する。
図１２に示されるように、第２学習部５７０は、Ｎの画像及び１の基準画像のそれぞれについて、対象物３００が映っている画素領域の中から、１以上の計測点を設定する。図１２に示す例では、第２学習部５７０は、Ｎの画像及び１の基準画像のそれぞれについて、図４に示す例と同様に、計測点３０１と計測点３０２とを設定する。
そして、第２学習部５７０は、Ｎの画像それぞれについて、設定した各計測点（計測点３０１、計測点３０２）に含まれる画素を学習の対象として、当該画像を入力とし、第２取得部４６０によって取得された１の基準画像を正解として、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１以上の画像を生成するよう第１機械学習モデル５１０に学習させる。
以下では、第２学習部５７０は、対象物３００を含む、ノイズが除去されたＭの画像を生成するよう第１機械学習モデル５１０に学習させるとして説明する。これに対して、別の一例として、第２学習部５７０は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１の画像を生成するよう第１機械学習モデル５１０に学習させて、第１機械学習モデル５１０は、画像を生成する際に、第１機械学習モデル５１０のパラメータをそれぞれＭ回変更して動作することで、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去されたＭの画像を生成するとしてもよい。また、さらなる別の一例として、第２学習部５７０は、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１の画像を生成するよう第１機械学習モデル５１０に学習させて、第１機械学習モデル５１０は、画像を生成する際に、ＧＡＮ（Generative Adversarial Network）を用いて、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去されたＭの画像を生成するとしてもよい。
再び、図１４に戻って、変位計測装置５００の説明を続ける。
第１生成部５３０は、第１機械学習モデル５１０を利用して、第１取得部２０によって取得された第１の画像から、対象物３００を含む、ノイズが除去されたＭのテンプレート画像を生成し、第１取得部２０によって取得された第２の画像から、対象物３００を含む、ノイズが除去されたＭのターゲット画像を生成する。
第１生成部５３０は、実施の形態１に係る第１生成部３０の有する機能に対して、ノイズが乗ったＭのテンプレート画像を、ノイズが除去されたＭのテンプレート画像に読み替えて、ノイズが乗ったＭのターゲット画像を、ノイズが除去されたＭのターゲット画像に読み替えた機能と同様の機能を有する。このため、第１生成部５３０のより詳細な説明については、説明済みであるとして、その説明を省略する。
仮想変位算出部５４０は、第１生成部５３０によって生成された、ノイズが除去されたＭのテンプレート画像と、ノイズが除去されたＭのターゲット画像とから、対象物３００のＭの仮想変位を算出する。
仮想変位算出部５４０は、実施の形態１に係る仮想変位算出部４０の有する機能に対して、ノイズが乗ったＭのテンプレート画像を、ノイズが除去されたＭのテンプレート画像に読み替えて、ノイズが乗ったＭのテンプレート画像を、ノイズが除去されたＭのテンプレート画像に読み替えた機能と同様の機能を有する。このため、仮想変位算出部５４０のより詳細な説明については、説明済みであるとして、その説明を省略する。
［３−２．変位計測装置５００の動作］
以下、上記構成の変位計測装置５００が行う動作について説明する。
変位計測装置５００は、第３学習処理と、第２変位計測処理とを行う。以下、変位計測装置５００が行う、第３学習処理と、第２変位計測処理とについて順に説明する。
第３学習処理は、実施の形態２に係る第２学習処理から、その一部が変更された処理であって、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１以上の画像を生成するよう第１機械学習モデル４１０に学習させる処理である。
図１５は、変位計測装置５００が行う第３学習処理のフローチャートである。
図１５に示されるように、第３学習処理は、実施の形態２に係る第２学習処理から、ステップＳ３４０の処理とステップＳ３７０の処理とが削除され、ステップＳ３３０の処理がステップＳ４３０の処理に変更され、ステップＳ３６０の処理がステップＳ４６０の処理に変更された処理である。よって、ここでは、ステップＳ４３０の処理とステップＳ４６０の処理とを中心に説明する。
ステップＳ３２０の処理において、ノイズが乗った１の画像が選択されると、第２学習部５７０は、選択されたノイズが乗った１の画像を入力とし、１の基準画像を正解とする、１の訓練データを生成する（ステップＳ４３０）。そして、変位計測装置５００は、ステップＳ３５０の処理に進む。
ステップＳ３５０の処理において、未選択の画像が存在しない場合に（ステップＳ３５０：Ｎｏ）、第２学習部５７０は、ステップＳ３２０の処理〜ステップＳ３５０：Ｙｅｓの処理で形成されるループ処理をＮ回繰り返すことで得られたＮの訓練データを用いて、対象物３００を含む、ノイズが乗った１の画像から、対象物３００を含む、ノイズが除去された１の画像を生成するよう第１機械学習モデル５１０に学習させる（ステップＳ５６０）。
ステップＳ３７０の処理が終了すると、変位計測装置５００は、その第３学習処理を終了する。
第２変位計測処理は、実施の形態１に係る第１変位計測処理に対して、変位計測装置１００を変位計測装置５００に読み替えて、第１機械学習モデル１０を第１機械学習モデル５１０に読み替えて、第１生成部３０を第１生成部５３０に読み替えて、仮想変位算出部４０を仮想変位算出部５４０に読み替えて、ノイズが乗ったＭのテンプレート画像を、ノイズが除去されたＭのテンプレート画像に読み替えて、ノイズが乗ったＭのテンプレート画像を、ノイズが除去されたＭのテンプレート画像に読み替えた処理と同様の処理である。このため、第２変位計測処理のより詳細な説明ついては、説明済みであるとして、その説明を省略する。
［３−３．考察］
上述したように、変位計測装置５００は、ノイズが乗った第１の画像からノイズが削除されたＭのテンプレート画像を生成し、ノイズが乗った第２の画像からノイズが削除されたＭのターゲット画像を生成する。そして、変位計測装置５００は、ノイズが削除されたＭのテンプレート画像と、ノイズが削除されたＭのターゲット画像とから、Ｍの仮想変位を算出し、算出したＭの仮想変位に対して統計処理を行い、対象物３００の変位を算出する。このため、変位計測装置５００は、従来の、ノイズが乗った第１の画像と、ノイズが乗った第２の画像とから、ノイズが削除された画像を生成することなく直接的に対象物３００の変位を算出するタイプの変位計測装置よりも、精度良く変位を算出することができる。
（実施の形態４）
ここでは、実施の形態１に係る変位計測装置１００から、その構成の一部が変更された実施の形態４に係る変位計測装置について説明する。
以下、実施の形態４に係る変位計測装置について、実施の形態１に係る変位計測装置１００との相違点を中心に説明する。
［４−１．変位計測装置６００の構成］
図１６は、実施の形態４に係る変位計測装置６００の構成を示すブロック図である。
図１６に示されるように、変位計測装置６００は、実施の形態１に係る変位計測装置１００から、第１生成部３０が第１生成部６３０に変更されて構成される。
第１生成部６３０は、実施の形態１に係る第１生成部３０と同様に、第１機械学習モデル１０を利用して、第１取得部２０によって取得された第１の画像から、対象物３００を含む、ノイズが乗ったＭのテンプレート画像を生成し、第１取得部２０によって取得された第２の画像から、対象物３００を含む、ノイズが乗ったＭのターゲット画像を生成する。第１生成部６３０は、そのＭのテンプレート画像の生成方法及びＭのターゲット画像の生成方法が、実施の形態１に係る第１生成部３０と相違している。
図１７は、第１生成部６３０の構成を示すブロック図である。
図１７に示されるように、第１生成部６３０は、概略変位取得部６３１と、第２生成部６３２と、第３生成部６３３とを含んで構成される。
概略変位取得部６３１は、対象物３００の概略変位を取得する。ここで、対象物３００の概略変位とは、予め算出された、必ずしも精度の高くない対象物３００の変位である。例えば、対象物３００の概略変位は、ノイズが乗った第１の画像と、ノイズが乗った第２の画像とから、ノイズが削除された画像を生成することなく直接的に対象物３００の変位を算出するタイプの従来の変位計測装置によって算出された変位であってよい。
第２生成部６３２は、第１取得部２０によって取得された第１の画像に対して、概略変位取得部６３１によって取得された概略変位に応じた量だけ画素を移動させて第１の画素移動画像を生成し、第１取得部２０によって取得された第２の画像に対して、概略変位取得部６３１によって取得された概略変位に応じた量だけ画素を移動させて第２の画素移動画像を生成する。
第３生成部６３３は、第１機械学習モデル１０を利用して、第２生成部６３２によって生成された第１の画素移動画像から、対象物３００を含む、ノイズが乗ったＭのテンプレート画像を生成し、第２生成部６３２によって生成された第２の画素移動画像から、対象物３００を含む、ノイズが乗ったＭのターゲット画像を生成する。
［４−２．考察］
対象物３００の変位が比較的大きい場合には、計測点に含まれる画素のずれが、計測点の範囲を逸脱してしまうことがある。
これに対して、変位計測装置６００は、計測点に含まれる画素のずれが、計測点の範囲を逸脱してしまうような場合であっても、概略変位を用いて、第１の画像から、計測点における画素のずれが、計測点の範囲から逸脱していない第１の画素移動画像を生成し、第２の画像から、計測点における画素のずれが、計測点の範囲から逸脱していない第２の画素移動画像を生成することができる。そして、変位計測装置６００は、第１機械学習モデル１０を利用して、第１の画素移動画像からＭのテンプレート画像を生成し、第２の画素移動画像からＭのターゲット画像を生成する。このように、変位計測装置６００は、対象物３００の変位が比較的大きい場合であっても、対象物３００の変位を精度良く算出することができる。
なお、変位計測装置６００によって算出される、対象物３００の変位は、概略変位取得部６３１によって取得された概略変位と、対象物３００の実際の変位との差分である。このため、対象物３００の実際の変位を算出するためには、概略変位取得部６３１によって取得された概略変位と、変位計測装置６００によって算出される、対象物３００の変位とを加算する必要がある。
（他の実施の形態）
以上、本開示の１つまたは複数の態様に係る変位計測装置について、実施の形態１〜実施の形態４に基づいて説明したが、本開示は、これら実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形をこれら実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。
（１）実施の形態１において、変位計測装置１００は、一例として、対象物３００を含む、ノイズが乗ったＮの画像を取得する第２取得部６０と、第２取得部６０によって取得されたＮの画像を用いて、第１機械学習モデル１０に学習させる第１学習部７０とを含む構成であるとして説明した。これに対して、別の一例として、変位計測装置１００は、第２取得部６０と、第１学習部とを含まず、第１機械学習モデル１０に学習させることがない構成であってもよい。この場合には、変位計測装置１００は、例えば、外部装置等により予め学習させた学習済みの第１機械学習モデル１０を利用すればよい。
（２）実施の形態１において、計測対象となる対象物が、一例として、橋梁であるとして説明した。しかしながら、計測対象となる対象物は、橋梁である例に限定される必要はない。計測対象となる対象物は、例えば、橋梁以外の、ビル、鉄塔といった構造物であってもよいし、路面、ボール、動物等であってもよい。例えば、計測対象が、ボール、動物等の動く対象物である場合には、「対象物の変位」のことを「対象物の動き」と解釈してもよい。
（３）実施の形態１において、変位計測装置１００は、一例として、プロセッサとメモリとを備えるコンピュータ装置において、プロセッサが、メモリに記憶されるプログラムを実行することによって実現されるとして説明した。これに対して、別の一例として、変位計測装置１００は、それぞれがプロセッサとメモリとを備える、互いに通信可能な複数のコンピュータ装置からなるコンピューティングシステムにおいて、分散コンピューティング又はクラウドコンピューティングによって実現されるとしてもよい。
（４）実施の形態１において、変位計測装置１００は、一例として、撮像装置２００を含まない構成であるとして説明した。これに対して、別の一例として、変位計測装置１００は、撮像装置２００を含んで構成されるとしてもよい。この場合には、撮像装置２００は、変位計測装置１００の一部である撮像部として機能する。
（５）実施の形態１において、変位計測装置１００に含まれる構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
（６）本開示の一態様は、実施の形態１〜実施の形態４に係る変位計測装置だけではなく、変位計測装置に含まれる特徴的な構成部をステップとする変位計測方法であってもよい。また、本開示の一態様は、変位計測方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
本開示は、計測対象となる対象物の変位を検出する変位検出装置に広く利用可能である。
１ 変位計測システム
１０、４１０、５１０ 第１機械学習モデル
２０ 第１取得部
３０、５３０、６３０ 第１生成部
４０、５４０ 仮想変位算出部
５０ 変位算出部
６０、４６０ 第２取得部
７０、４７０ 第１学習部
１００、４００、５００、６００ 変位計測装置
２００ 撮像装置
３００ 対象物
４１１ 第２機械学習モデル
４１２ 第３機械学習モデル
５７０ 第２学習部
６３１ 概略変位取得部
６３２ 第２生成部
６３３ 第３生成部

Claims (6)

  1. 計測対象となる対象物を含む、ノイズが乗った１の画像から、前記対象物を含む、ノイズが乗った、又はノイズが除去された１以上の画像を生成するよう学習された第１機械学習モデルと、
    前記対象物を含む、ノイズが乗った第１の画像と、前記対象物を含む、ノイズが乗った第２の画像とを取得する第１取得部と、
    前記第１機械学習モデルを利用して、前記第１の画像から、前記対象物を含むＭ（Ｍは２以上の整数）のテンプレート画像を生成し、前記第２の画像から、前記対象物を含むＭのターゲット画像を生成する第１生成部と、
    前記Ｍのテンプレート画像と、前記Ｍのターゲット画像とから、前記対象物のＭの仮想変位を算出する仮想変位算出部と、
    前記Ｍの仮想変位に対して統計処理を行い、前記対象物の変位を算出する変位算出部と、を備える
    変位計測装置。
  2. 前記第１機械学習モデルが生成する前記１以上の画像は、ノイズが乗った画像であり、
    さらに、
    前記対象物を含む、ノイズが乗ったＮ（Ｎは２以上の整数）の画像を取得する第２取得部と、
    前記Ｎの画像それぞれについて、当該画像を入力とし、他のＮ−１の画像の少なくとも一部を正解として、前記第１機械学習モデルに学習させる第１学習部と、を備える
    請求項１に記載の変位計測装置。
  3. 前記第１機械学習モデルは、
    前記対象物を含む、ノイズが乗った１の画像から、前記対象物を含む、ノイズが除去された１のノイズ除去画像を生成するよう学習された第２機械学習モデルと、
    前記１のノイズ除去画像から、前記対象物を含む、ノイズが乗った１以上の画像を生成するよう学習された第３機械学習モデルと、を含み、
    前記第２取得部は、さらに、前記対象物を含む、ノイズが乗っていない１の基準画像を取得し、
    前記第１学習部は、前記Ｎの画像それぞれについて、当該画像を入力とし、前記１の基準画像を正解として、前記第２機械学習モデルに学習させ、前記１の基準画像を入力とし、他のＮ−１の画像の少なくとも一部を正解として前記第３機械学習モデルに学習させることで、前記第１機械学習モデルに学習させる
    請求項２に記載の変位計測装置。
  4. 前記第１機械学習モデルが生成する前記１以上の画像は、ノイズが除去された画像であり、
    さらに、
    前記対象物を含む、ノイズが乗ったＮ（Ｎは２以上の整数）の画像と、前記対象物を含む、ノイズが乗っていない１の基準画像とを取得する第２取得部と、
    前記Ｎの画像それぞれについて、当該画像を入力とし、前記１の基準画像を正解として、前記第１機械学習モデルに学習させる第２学習部と、を備える
    請求項１に記載の変位計測装置。
  5. 前記第１生成部は、
    前記対象物の概略変位を取得する概略変位取得部と、
    前記１の第１の画像に対して、前記概略変位に応じた量だけ画素を移動させて第１の画素移動画像を生成し、前記１の第２の画像に対して、前記概略変位に応じた量だけ画素を移動させて第２の画素移動画像を生成する第２生成部と、
    前記第１機械学習モデルを利用して、前記第１の画素移動画像から、前記Ｍのテンプレート画像を生成し、前記第２の画素移動画像から、前記Ｍのターゲット画像を生成する第３生成部と、を含む
    請求項１から請求項４のいずれか１項に記載の変位計測装置。
  6. 計測対象となる対象物を含む、ノイズが乗った第１の画像と、前記対象物を含む、ノイズが乗った第２の画像とを取得し、
    前記対象物を含む、ノイズが乗った１の画像から、前記対象物を含む、ノイズが乗った、又はノイズが除去された１以上の画像を生成するよう学習された第１機械学習モデルを利用して、前記１の第１の画像から、前記対象物を含むＭ（Ｍは２以上の整数）のテンプレート画像を生成し、前記第２の画像から、前記対象物を含むＭのターゲット画像を生成し、
    前記Ｍのテンプレート画像と、前記Ｍのターゲット画像とから、前記対象物のＭの仮想変位を算出し、
    前記Ｍの仮想変位に対して統計処理を行い、前記対象物の変位を算出する
    変位計測方法。
JP2020540147A 2018-08-30 2019-07-23 変位計測装置及び変位計測方法 Active JP7281660B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018161936 2018-08-30
JP2018161936 2018-08-30
PCT/JP2019/028739 WO2020044866A1 (ja) 2018-08-30 2019-07-23 変位計測装置及び変位計測方法

Publications (2)

Publication Number Publication Date
JPWO2020044866A1 true JPWO2020044866A1 (ja) 2021-09-02
JP7281660B2 JP7281660B2 (ja) 2023-05-26

Family

ID=69644211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020540147A Active JP7281660B2 (ja) 2018-08-30 2019-07-23 変位計測装置及び変位計測方法

Country Status (3)

Country Link
US (1) US11373295B2 (ja)
JP (1) JP7281660B2 (ja)
WO (1) WO2020044866A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067906A1 (ja) * 2021-10-22 2023-04-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015049757A1 (ja) * 2013-10-03 2015-04-09 株式会社島津製作所 変位場およびひずみ場の測定方法、および、材料試験機
JP2018028439A (ja) * 2016-08-15 2018-02-22 国立大学法人福井大学 変位を測定する方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254349A (ja) 2005-03-14 2006-09-21 Toshiba Corp 動きベクトル検出方法、動きベクトル検出装置およびコンピュータ上で動きベクトル検出処理を実行するコンピュータプログラム
US8265356B2 (en) * 2008-01-30 2012-09-11 Computerized Medical Systems, Inc. Method and apparatus for efficient automated re-contouring of four-dimensional medical imagery using surface displacement fields
WO2016022952A1 (en) * 2014-08-08 2016-02-11 Applied Research Associates, Inc. Systems, methods, and apparatuses for measuring deformation of a surface
US10380745B2 (en) * 2016-09-01 2019-08-13 Massachusetts Institute Of Technology Methods and devices for measuring object motion using camera images
WO2019106850A1 (ja) * 2017-12-01 2019-06-06 日本電気株式会社 Ｓａｒ画像解析システム、画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015049757A1 (ja) * 2013-10-03 2015-04-09 株式会社島津製作所 変位場およびひずみ場の測定方法、および、材料試験機
JP2018028439A (ja) * 2016-08-15 2018-02-22 国立大学法人福井大学 変位を測定する方法

Also Published As

Publication number Publication date
JP7281660B2 (ja) 2023-05-26
US11373295B2 (en) 2022-06-28
WO2020044866A1 (ja) 2020-03-05
US20210104032A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
JP7281661B2 (ja) 変位計測装置及び変位計測方法
Abdelhamed et al. Noise flow: Noise modeling with conditional normalizing flows
US9361510B2 (en) Efficient facial landmark tracking using online shape regression method
JP2020129276A5 (ja)
JP2020009435A (ja) 鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム
JP5839796B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7281660B2 (ja) 変位計測装置及び変位計測方法
CN112204957A (zh) 白平衡处理方法和设备、可移动平台、相机
JP7484924B2 (ja) 撮像装置、画像処理システム、画像処理方法及びプログラム
JP2009294733A (ja) 画像処理装置および画像処理方法
JP6583923B2 (ja) カメラのキャリブレーション装置、方法及びプログラム
JP2016099932A (ja) 距離検出装置
JP2015207090A (ja) 画像処理装置、及びその制御方法
JP2008276613A (ja) 移動体判定装置、コンピュータプログラム及び移動体判定方法
JP2023055848A5 (ja)
CN116309729A (zh) 目标追踪方法、装置、终端、系统及可读存储介质
JP6604783B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2023003763A (ja) 学習装置、画像処理装置、学習処理方法、及びプログラム
JP5152144B2 (ja) 画像処理装置
Kogler Design and evaluation of stereo matching techniques for silicon retina cameras
JP6074198B2 (ja) 画像処理装置及び画像処理方法
JP7365435B2 (ja) コンピュータにより実行される身体採寸方法
JP7370840B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
WO2024116996A1 (ja) 学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置
CN110956582B (zh) 一种图像处理方法、装置及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R151 Written notification of patent or utility model registration

Ref document number: 7281660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151