JP7489671B2 - 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 - Google Patents

補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 Download PDF

Info

Publication number
JP7489671B2
JP7489671B2 JP2021552097A JP2021552097A JP7489671B2 JP 7489671 B2 JP7489671 B2 JP 7489671B2 JP 2021552097 A JP2021552097 A JP 2021552097A JP 2021552097 A JP2021552097 A JP 2021552097A JP 7489671 B2 JP7489671 B2 JP 7489671B2
Authority
JP
Japan
Prior art keywords
displacement
imaging device
correction parameter
image data
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021552097A
Other languages
English (en)
Other versions
JPWO2021075090A5 (ja
JPWO2021075090A1 (ja
Inventor
晃浩 野田
太郎 今川
悠樹 丸山
博也 日下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2021075090A1 publication Critical patent/JPWO2021075090A1/ja
Publication of JPWO2021075090A5 publication Critical patent/JPWO2021075090A5/ja
Application granted granted Critical
Publication of JP7489671B2 publication Critical patent/JP7489671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置に関する。
従来、カメラで対象物を撮像した画像データと、レーザ距離計などの距離計測装置で計測した対象物までの距離測定値とを用いて、対象物の周囲の状態を非接触測定できる撮像装置が開示されている（特許文献１参照）。状態とは、例えば、対象物が橋梁である場合、橋梁の撓み量などである。
特許第５２８１６１０号公報
ところで、画像を用いた変位計測において、簡便に変位量の実寸値を計測できることが望まれる。上記特許文献１の撮像装置においては、カメラ以外に距離計測装置が必要となり、簡便に変位量の実寸値が計測できるとは言いがたい。
そこで、本開示は、画像を用いた変位計測において、変位量を実寸値に換算するための補正パラメータを簡便に算出することができる補正パラメータ算出方法等に関する。
本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得ステップと、前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する検出ステップと、前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する推定ステップと、前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出ステップと、前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データにおける前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出ステップとを含む。
本開示の一態様に係る変位量算出方法は、上記の補正パラメータ算出方法を用いて算出された前記補正パラメータを取得する第３取得ステップと、前記２以上の第２画像データを取得する第４取得ステップと、前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算ステップとを含む。
本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得部と、前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する位置検出部と、前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する位置推定部と、前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出部と、前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出部とを備える。
本開示の一態様に係る変位量算出装置は、上記の補正パラメータ算出装置を用いて算出された前記補正パラメータを取得する第２取得部と、前記２以上の第２画像データを取得する第３取得部と、前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算部とを備える。
本開示の一態様に係る補正パラメータ算出方法等によれば、画像を用いた変位計測において、変位量を実寸値に換算するための補正パラメータを簡便に算出することができる。
図１は、実施の形態に係る変位計測システムの概略構成を示す図である。 図２は、実施の形態に係る変位計測システムの機能構成を示すブロック図である。 図３は、実施の形態に係る対象物に貼り付けられているマーカの一例を示す図である。 図４は、実施の形態に係る変位計測システムの動作を示すフローチャートである。 図５は、実施の形態に係る位置検出部の検出結果を説明するための図である。 図６は、実施の形態に係る変位の実寸換算方法を説明するための図である。 図７は、実施の形態の変形例に係る変位計測システムの動作を示すフローチャートである。 図８Ａは、実施の形態の変形例に係る変位方向を考慮した変位補正を説明するための第１図である。 図８Ｂは、実施の形態の変形例に係る変位方向を考慮した変位補正を説明するための第２図である。 図９は、実施の形態の変形例に係る変位の実寸換算方法を説明するための図である。
（本開示に至った経緯）
画像を用いた変位計測において、当該画像から画像上における変位量（画素数）は計測することができるが、変位の実寸値は計測することができない。そこで、カメラから対象物までの距離を取得し、取得した距離を用いて、画像上の変位量を実寸値に変換することが行われている。例えば、特許文献１に記載の撮像装置では、対象物までの距離を計測する距離計測装置を有する構成が開示されている。そのため、計測現場においては、カメラ及び距離計測装置の２台を設置する必要がある。さらに、対象物の変位を精度よく計測するためには、カメラの光軸と距離計測装置の光軸とが平行となるようにカメラと距離計測装置とを設置することが必要となる。
また、変位の実寸値を計測する他の方法として、変位計測を行う対象物において長さが既知である特定部分を含む画像を撮像し、当該特定部分を表示する画像上の変位量と、既知の長さとに基づいて、１画素を実寸値に換算するための補正値を算出する方法がある。しかしながら、この方法では、特定部分の長さを予め取得することが必要となる。また、特定部分の長さがわからない場合、変位の実寸値の計測が行えない。
上記のように、従来の方法では、距離を計測するための距離計測装置を用意する必要がある、又は、特定部分の距離を予め取得しておく必要があるので、対象物の変位の実寸値を簡便に計測することができなかった。
そこで、発明者らは、画像を用いた変位計測において、簡便に変位量を実寸値に換算することができる補正パラメータ算出方法等について鋭意検討を行い、以下に説明する補正パラメータ算出方法等を創案した。
本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得ステップと、前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する検出ステップと、前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する推定ステップと、前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出ステップと、前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データにおける前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出ステップとを含む。
これにより、補正パラメータ算出方法を用いることで、撮像装置によりマーカを含む対象物を撮像するだけで、変位量を実寸値に換算するための補正パラメータを算出することができる。例えば、対象物までの距離を計測する距離計測装置を使用することなく、又は、対象物の特定部分の長さを予め取得することなく、補正パラメータを算出することができる。よって、補正パラメータ算出方法によれば、画像を用いた変位計測において、変位量を実寸値に換算するための補正パラメータを簡便に算出することができる。
また、例えば、さらに、前記対象物の前記変位の方向を示す変位方向情報を取得する第２取得ステップを含み、前記パラメータ算出ステップでは、さらに、前記変位方向情報を用いて前記補正パラメータを算出する。
これにより、補正パラメータ算出方法によれば、変位方向情報を用いることで、２次元空間（撮像装置の投影面）における画素変位量を、３次元空間における実寸変位量に換算することができる補正値を算出することができる。よって、補正パラメータ算出方法によれば、変位の実寸値をより精度よく計測することができる。
また、例えば、前記マーカは、前記対象物の平面部分に取り付けられており、前記変位方向情報が示す方向は、前記平面に対して定義される。
これにより、撮像装置と対象物との位置関係に関わらず、変位方向を正確に取得することができる。
また、例えば、前記マーカは、ＱＲコード（登録商標）であり、前記変位方向情報は、前記ＱＲコードに記憶されている。
これにより、補正パラメータ算出方法によれば、ＱＲコードに記憶されている変位方向情報を取得するだけで、変位の実寸値をより精度よく計測することができる。よって、補正パラメータ算出方法によれば、精度よく変位の実寸値を算出することができる補正パラメータを、より簡便に算出することができる。
本開示の一態様に係る変位量算出方法は、上記の補正パラメータ算出方法を用いて算出された前記補正パラメータを取得する第３取得ステップと、前記２以上の第２画像データを取得する第４取得ステップと、前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算ステップとを含む。
これにより、上記の補正パラメータ算出方法により算出された補正パラメータを用いて実寸変位量を計測することができるので対象物の実寸変位量を簡便に計測することができる。
本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得部と、前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する位置検出部と、前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する位置推定部と、前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出部と、前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出部とを備える。
これにより、上記の補正パラメータ算出方法と同様の効果を奏する。
本開示の一態様に係る変位量算出装置は、請求項６に記載の補正パラメータ算出装置を用いて算出された前記補正パラメータを取得する第２取得部と、前記２以上の第２画像データを取得する第３取得部と、前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算部とを備える。
これにより、上記の変位量算出方法と同様の効果を奏する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態及び変形例は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態及び変形例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
また、本明細書において、直交、等しいなどの要素間の関係性を示す用語、及び、数値は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
また、以下の明細書において、画像は、静止画像であるが動画像であってもよい。
（実施の形態）
以下、本実施の形態に係る補正パラメータ算出方法等について、図１～図６を参照しながら説明する。
［１．変位計測システムの構成］
まずは、本実施の形態に係る補正パラメータ算出方法を実行する補正パラメータ算出部１１０を備える変位計測システム１について、図１及び図２を参照しながら説明する。図１は、本実施の形態に係る変位計測システム１の概略構成を示す図である。図２は、本実施の形態に係る変位計測システム１の機能構成を示すブロック図である。
図１に示すように、本実施の形態に係る変位計測システム１は、１つの撮像装置を用いて、対象物５０の変位の実寸値を計測する情報処理システムである。対象物５０は、変位を計測する対象であり、例えば、モータなどの動作時に変位（振動など）する機器であるがこれに限定されず、例えば、インフラ構造物などの外部からの応力により変位（変形など）する構造物であってもよい。インフラ構造物は、例えば、自動車又は鉄道などの車両が走行する橋梁であってもよい。なお、本明細書における変位には、対象物５０の振動はもとより、対象物５０の変形及び位置の変化も含まれる。変位は、対象物の動きを示すとも言える。
また、本願の対象物５０の表面には、１以上のマーカ６０が取り付けられている（固定されている）。マーカ６０は、サイズが既知であり、かつ、例えば、４つ以上の座標を検出できるものであれば特に限定されないが、例えば、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード（登録商標）、ＡＲマーカ、チェスマーカなどであってもよい。以下では、マーカ６０は、ＱＲコードである例について説明する。なお、４つ以上の座標の各々は、特定の座標の一例である。
図１及び図２に示すように、変位計測システム１は、撮像装置１０と、変位計測装置２０と、出力装置３０と、入力装置４０とを備える。
撮像装置１０は、対象物５０の変位を計測するための画像を撮像する。撮像装置１０が撮像する画像は、対象物５０の変位に対する画像上の変位量（画素数）を検出するために用いられる。なお、以下において、対象物５０の変位に対する画像上の変位量を画素変位量とも記載する。また、画像は、後述する補正値を算出するために用いられてもよい。
撮像装置１０は、少なくとも１つのマーカ６０が写るように撮像する。撮像装置１０は、例えば、少なくとも１つのマーカ６０が写る位置に配置される。
撮像装置１０は、例えば、モノクロカメラである。言い換えると、画像は、例えば、モノクロ画像である。なお、撮像装置１０は、モノクロカメラであることに限定されず、カラーカメラであってもよい。撮像装置１０は、例えば、イメージセンサを有するデジタルビデオカメラ又はデジタルスチルカメラである。なお、撮像装置１０は、取得装置の一例である。
変位計測装置２０は、撮像装置１０から取得した画像データに基づいて、画像上の画素変位量を対象物５０の変位の実寸値を示す実寸変位量に換算するための補正値を算出し、算出した補正値を用いて、対象物５０の実寸変位量を出力する情報処理装置である。変位計測装置２０は、例えば、サーバ装置であってもよい。変位計測装置２０は、補正パラメータ算出部１１０と、変位検出部１２０と、変位量算出部１３０とを有する。
補正パラメータ算出部１１０は、撮像装置１０から取得した画像データに基づいて、画素変位量を実寸変位量に換算するための補正値を算出する。補正パラメータ算出部１１０は、取得部１１１と、位置検出部１１２と、位置推定部１１３と、距離算出部１１４と、補正値算出部１１５とを有する。
取得部１１１は、撮像装置１０から画像を示す画像データを取得する。取得部１１１は、無線通信又は有線通信を介して撮像装置１０と通信可能に接続される通信インターフェース（通信回路）を含んで構成される。取得部１１１は、第１取得部の一例である。
位置検出部１１２は、画像データから、マーカ６０を検出し、検出したマーカ６０に基づいて、特定の座標を検出する。位置検出部１１２は、マーカ６０に基づいて、複数の特定の座標（例えば、４つ以上の座標）を検出する。特定の座標は、撮像装置１０の位置を推定するために用いられる。撮像装置１０の位置の推定精度を向上させる観点から、特定の座標は４つ以上設けられるとよい。また、座標は、３次元座標である。
そして、位置推定部１１３は、画像データ、特定の座標を示す座標情報及び撮像装置１０の内部パラメータに基づいて、撮像装置１０の位置を推定する。なお、撮像装置１０の内部パラメータは、既知であるとする。また、内部パラメータは、例えば、３行×３列のパラメータ行列（ｃａｍｅｒａＭａｔｒｉｘ）、レンズの歪係数（ｄｉｓｔＣｏｅｆｆｓ）、焦点距離などの少なくとも１つを含む。
距離算出部１１４は、特定の座標と、撮像装置１０の位置を示す位置情報とに基づいて、撮像装置１０から対象物５０までの距離を示す距離情報（距離データ）を算出する。距離算出部１１４は、例えば、撮像装置１０から対象物５０の１以上の計測点の各々までの距離を算出する。距離算出部１１４は、例えば、対象物５０における変位を計測する１以上の計測点を含む複数の表面点までの距離を算出してもよい。そして、距離算出部１１４は、撮像装置１０から対象物５０までの距離を配列した距離マップを生成してもよい。なお、対象物５０の計測点の数は、特に限定されず、２以上であってもよい。
補正値算出部１１５は、撮像装置１０の位置、撮像装置１０から対象物５０までの距離、及び、撮像装置１０の内部パラメータに基づいて、画素変位量を実寸変位量に換算するための補正値を算出する。補正値算出部１１５による補正値の算出については、後述する。また、補正値算出部１１５は、例えば、複数の表面点の各々において、補正値を算出し、算出した補正値を配列した補正値マップを生成してもよい。なお、補正値及び補正値マップは、補正パラメータの一例である。また、補正値算出部１１５は、パラメータ算出部の一例である。
なお、補正パラメータ算出部１１０は、変位計測装置２０に内蔵されている例について説明したが、これに限定されない。補正パラメータ算出部１１０は、単独の装置として実現されてもよい。この場合は、補正パラメータ算出部１１０は、補正パラメータ算出装置として機能する。
なお、変位計測装置２０は、変位量算出装置の一例である。
変位検出部１２０は、撮像装置１０が撮像した２以上の画像データに基づいて、対象物５０の変位に対応する画像上の画素変位量（画素数）を検出する。変位検出部１２０は、例えば、計測点ごとに画素変位量を検出する。
変位量算出部１３０は、画素変位量と、補正パラメータを示す補正情報とに基づいて、画素変位量を実寸変位量に換算することで、対象物５０の実寸変位量を算出する。変位量算出部１３０は、例えば、対象物５０の複数の計測点の各々の補正値と、当該複数の計測点の各々の画素変位量とに基づいて、当該複数の計測点の各々の実寸変位量を算出する。
出力装置３０は、変位計測装置２０から実寸変位量を含む提示情報を取得し、取得した提示情報を出力する装置である。出力装置３０は、例えば、提示情報を画像として表示する表示装置である。出力装置３０は、液晶ディスプレイ等である。出力装置３０が出力した画像は作業員によって視認される。
出力装置３０は、据え置き型の装置であってもよいし、作業員が所持する携帯端末が有する装置であってもよい。携帯端末は、出力装置３０を有し、かつ、変位計測装置２０と通信可能であれば特に限定されず、例えば、スマートフォン、タブレットなどであってもよい。携帯端末が出力装置３０を有する場合、作業員は、対象物５０の周辺において、携帯端末の出力装置３０を確認することで、実寸変位量を知ることができる。なお、作業員は、ユーザの一例である。
変位計測システム１は、表示装置とともに、又は、表示装置に替えて、音を出力する装置を出力装置３０として備えていてもよい。また、変位計測システム１は、プロジェクタなどの対象物（例えば、スクリーン）に提示情報を表示する装置を出力装置３０として備えていてもよい。また、変位計測装置２０が遠隔地に配置されている場合、変位計測装置２０と出力装置３０とは、ネットワークを介して接続されていてもよい。
入力装置４０は、作業員から変位の計測における所定の情報を受け付けるユーザインタフェースである。入力装置４０は、例えば、作業員から補正値を算出するための情報を受け付けてもよいし、対象物５０の変位方向に関する情報を受け付けてもよいし、撮像装置１０の略位置に関する情報を受け付けてもよい。また、入力装置４０は、音声により所定の情報の入力を受け付けてもよい。なお、略位置は、撮像装置１０の設置位置の推定値である。
入力装置４０は、ハードウェアキー（ハードウェアボタン）、スライドスイッチ、タッチパネルなどにより実現される。入力装置４０は、据え置き型の装置であってもよいし、作業員が所持する携帯端末が有する装置であってもよい。
ここで、対象物５０に取り付けられるマーカ６０について、図３を参照しながら説明する。図３は、本実施の形態に係る対象物５０ａに貼り付けられているマーカ６０の一例を示す図である。マーカ６０は、例えば、ＱＲコードであり、対象物５０ａの表面に貼り付けられている。なお、図３では、便宜上、対象物５０ａが直方体である例について説明する。
図３に示すように、対象物５０ａには、１以上のマーカ６０ａ、６０ｂが貼り付けられる。例えば、マーカ６０ａ、６０ｂは、対象物５０ａを構成する複数の面のうち、互いに異なる面に貼り付けられている。マーカ６０ａ、６０ｂは、撮像装置１０から撮像可能な位置に貼り付けられる。また、マーカ６０ａ、６０ｂは、例えば、対象物５０ａにおける平面部分に貼り付けられるとよい。
マーカ６０ａ及び６０ｂがＱＲコードである場合、当該ＱＲコードには特に情報が記憶されていなくてもよいし、変位の許容値に関する情報などが記憶されていてもよい。
マーカ６０ａ、６０ｂは、例えば４つ以上の位置（検出点）の座標（３次元座標）が取得できるように構成される。
なお、マーカ６０ａ、６０ｂは、３次元空間上の座標を検出することができれば、対象物５０ａの曲面部分などに貼り付けられていてもよい。また、マーカ６０ａ、６０ｂは、１つの平面に複数貼り付けられていてもよい。また、マーカ６０ａ、６０ｂのそれぞれは、対象物５０ａの計測点に対応して設けられてもよい。例えば、対象物５０ａにおける変位の計測点が複数ある場合、マーカ６０ａ、６０ｂは複数の計測点のそれぞれの周囲に貼り付けられていてもよい。
マーカ６０ａ、６０ｂの形状は、四角形（例えば、正方形）であるが、これに限定されず、例えば、五角形以上の多角形（例えば、正多角形）であってもよい。
［２．変位計測システムの動作］
次に、変位計測システム１の動作について、図４～図６を参照しながら説明する。図４は、本実施の形態に係る変位計測システム１の動作を示すフローチャートである。具体的には、図４は、変位計測装置２０の動作を示すフローチャートである。また、図４に示すステップＳ１１～ステップＳ１５は、補正パラメータ算出部１１０の動作を示す。
図４に示すように、取得部１１１は、撮像装置１０から画像を示す画像データを取得する（Ｓ１１）。画像は、マーカ６０を含む。なお、取得部１１１は、補正値を算出するためには、ステップＳ１１において、少なくとも１枚の画像データを取得すればよい。また、取得部１１１は、変位を計測するためには、ステップＳ１１において、互いに異なるタイミングで撮像された２以上の画像データを取得すればよい。
取得部１１１は、複数の画像データを取得した場合、少なくとも１枚の画像データを位置検出部１１２に出力し、かつ、２以上の画像データを変位検出部１２０に出力する。取得部１１１は、位置検出部１１２及び変位検出部１２０に互いに異なる画像データを出力してもよいし、少なくとも一部が同じ画像データを出力してもよい。位置検出部１１２に出力される少なくとも１枚の画像データは、第１画像データの一例であり、変位検出部１２０に出力される２以上の画像データは、第２画像データの一例である。また、ステップＳ１１は、第１取得ステップの一例である。また、ステップＳ１１は、後述する変位量算出方法における第４取得ステップの一例であってもよい。また、取得部１１１は、２以上の第２画像データを取得する第３取得部として機能してもよい。なお、第１画像データ及び第２画像データのそれぞれは、カメラパラメータなどが同じ条件で撮像された画像を示す画像データである。
次に、位置検出部１１２は、マーカ６０を含む画像データからマーカ６０を検出し、検出したマーカ６０に基づいて、特定の座標を検出する（Ｓ１２）。位置検出部１１２は、例えば、ＱＲコードであるマーカ６０の４隅を検出し、当該４隅の座標を検出する。このように、位置検出部１１２は、ステップＳ１２において、複数の座標を検出する。位置検出部１１２は、マーカ６０に基づいて、複数の座標を設定するとも言える。
なお、ＱＲコードの読み込みが行われる場合、当該ＱＲコードの位置、外形等の検出のために、４隅にある四角形（切りだしシンボル）の検出が行われる。そのような自動検出される位置を特定の座標を検出する位置とすることで、特定の座標を検出する位置を決定する処理を省くことができる。
位置検出部１１２による座標の設定について、図５を参照しながら説明する。図５は、本実施の形態に係る位置検出部１１２の検出結果を説明するための図である。図５の紙面上の左右方向をｘ軸方向、上下方向をｙ軸方向、紙面に対する垂直方向をｚ軸方向とすると、以下で示す３次元座標（ｘ、ｙ、ｚ）の「ｘ」はｘ軸上の位置を示しており、「ｙ」はｙ軸上の位置を示しており、［ｚ］はｚ軸上の位置を示している。なお、ｘ軸方向、ｙ軸方向、及び、ｚ軸方向は、互いに直交する方向である。
図５に示すように、位置検出部１１２は、マーカ６０の４隅の検出点Ｑ１～Ｑ４を検出し、検出した検出点Ｑ１～Ｑ４の各々に座標を設定する。位置検出部１１２は検出点Ｑ１～Ｑ４の位置関係に基づいて座標を設定する。位置検出部１１２は、例えば、検出点Ｑ１～Ｑ４間の距離（例えば、検出点Ｑ１及びＱ２の間の距離）に基づいて、座標を設定する。なお、検出点Ｑ１～Ｑ４は、例えば、正方形であるＱＲコードの４隅の部分であってもよい。本実施の形態では、検出点Ｑ１及びＱ２の第１距離、検出点Ｑ２及びＱ４の第２距離、検出点Ｑ４及びＱ３の第３距離、並びに、検出点Ｑ３及びＱ１の第４距離は、互いに等しいが、これに限定されない。
位置検出部１１２は、検出点Ｑ１の座標を（０、０、０）に設定すると、当該座標を基準に、他の検出点の座標を検出点Ｑ１からの位置（距離）に応じて設定する。位置検出部１１２は、第１距離～第４距離のそれぞれが等しいので、検出点Ｑ２の座標を（１、０、０）に設定し、検出点Ｑ３の座標を（０、１、０）に設定し、検出点Ｑ４の座標を（１、１、０）に設定する。なお、検出点Ｑ１及びＱ２は図５に示す位置であり、かつ、検出点Ｑ３が検出点Ｑ１の下方の位置であって、第４距離の２倍の距離の位置である場合、位置検出部１１２は、当該検出点Ｑ３の座標を（０、２、０）に設定する。このように、位置検出部１１２は、距離の比（例えば、実寸値の比）に応じて、各検出点の座標を設定する。位置検出部１１２は、例えば、画像上における検出点間の距離（画素数）に応じて、各検出点の座標を設定してもよい。
位置検出部１１２は、特定の座標を示す座標情報を位置推定部１１３に出力する。なお、ステップＳ１２は、検出ステップの一例である。また、座標情報は、検出結果の一例である。
次に、位置推定部１１３は、画像データ（画像データ上での位置）、座標情報及び撮像装置１０の内部パラメータに基づいて、撮像装置１０の位置を推定する（Ｓ１３）。位置推定部１１３は、対象物５０の３次元位置（ここでは、マーカ６０の３次元位置）及び撮像装置１０の内部パラメータが既知である場合、ＰｎＰ問題（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ Ｐｒｏｂｌｅｍ）を解くことで撮像装置１０の位置が推定可能である。本実施の形態では、検出点が４つ（ｎ＝４）であるので、位置推定部１１３は、Ｐ４Ｐ問題を解くことで、撮像装置１０の位置を推定する。ここでの撮像装置１０の位置は、例えば、検出点Ｑ１を原点としたときの、３次元座標として表される。
位置推定部１１３は、ＰｎＰ問題を解くことで、さらに、撮像装置１０の姿勢を推定してもよい。
位置推定部１１３は、推定した撮像装置１０の位置を示す位置情報を距離算出部１１４に出力する。なお、ステップＳ１３は、推定ステップの一例である。
距離算出部１１４は、座標情報と位置情報とに基づいて、撮像装置１０から対象物５０までの距離を算出する（Ｓ１４）。距離算出部１１４は、位置情報に含まれる撮像装置１０の位置（座標）と、当該座標における距離「１」に対応する実寸の長さとに基づいて、撮像装置１０から対象物５０までの距離を算出する。これにより、撮像装置１０から見たときの対象物５０の位置が取得される。例えば、撮像装置１０から見たときの対象物５０の各計測点までの距離が取得される。座標上の距離「１」に対応する実寸の長さは、補正パラメータ算出部１１０が予め記憶していてもよいし、入力装置４０を介して取得されてもよいし、マーカ６０がＱＲコードである場合、当該ＱＲコードに記憶されていてもよい。距離算出部１１４は、撮像装置１０と対象物５０との距離を示す距離情報を補正値算出部１１５に出力する。なお、ステップＳ１４は、距離算出ステップの一例である。
補正値算出部１１５は、撮像装置１０の位置、距離情報、及び、撮像装置１０の内部パラメータに基づいて、画素変位量を実寸変位量に換算するための補正値を算出する（Ｓ１５）。補正値算出部１１５は、画像データに含まれるマーカ６０が１つである場合、例えば、対象物５０に対して１つの補正値を算出する。補正値は、例えば、計測点における１画素に対応する実寸値を示す情報を含む。ステップＳ１５は、パラメータ算出ステップの一例である。また、ステップＳ１５は、第３取得ステップの一例であってもよい。
なお、補正パラメータ算出部１１０は、複数のマーカ６０が写っている画像データを取得した場合、当該複数のマーカ６０のそれぞれに補正値を算出してもよい。複数のマーカ６０のそれぞれが対象物５０の平面であって、かつ、撮像装置１０までの距離が互いに異なる平面に取り付けられている場合、当該平面のそれぞれに補正値を算出することができるので、変位の実寸値を精度よく計測することが可能となる。
ここで、補正値算出部１１５の処理について、図６を参照しながら説明する。図６は、本実施の形態に係る変位の実寸換算方法を説明するための図である。なお、図６では、対象物５０は、撮像装置１０の投影面（撮像面）と平行な方向に変位している例を示している。図６に示す撮像装置１０の位置Ｔ（Ｔｘ、Ｔｙ、Ｔｚ）は、撮像装置１０のレンズ１１の位置を示す、光学中心Ｏは、撮像装置１０のレンズ１１の中心を示し、位置Ｐ１（ｘ、ｙ）は、対象物５０の第１時点における計測点の位置Ｍ１（Ｘ、Ｙ、Ｚ）に対応する撮像面上の位置を示し、画像上の変位（Δｘ１、Δｙ１）は、第１時点とは異なる第２時点における当該計測点の位置Ｍ２に対応する撮像面上の位置Ｐ２と位置Ｐ１との差を示す。変位（Δｘ１、Δｙ１）は、画像上の画素数である。
図６に示すように、三角形△ＯＰ１Ｐ２と三角形△ＯＭ１Ｍ２とは相似の関係にあり、補正値算出部１１５は、例えば、当該相似の関係を用いて、画素変位量を実寸変位量に換算するための補正値を算出する。撮像装置１０の投影面における画像中心（ｃｘ、ｃｙ）と光学中心Ｏとの距離を焦点距離ｆとすると、光学中心Ｏと位置Ｐ１までの距離Ｌ１は、
Ｌ１＝√（ｆ２＋ｘ２＋ｙ２） （式１）
により算出される。第１時点は、例えば、対象物５０が変位していない初期の時点である。
また、実寸変位量を変位（Ｄｘ１、Ｄｙ１）とすると、三角形△ＯＰ１Ｐ２と三角形△ＯＭ１Ｍ２との相似の関係から、光学中心Ｏと位置Ｍ１までの距離Ｌ２について、
Ｌ２：Ｌ１＝Ｄｙ１：Δｙ１＝Ｄｘ１：Δｘ１ （式２）
が成り立つ。（式２）から、距離Ｌ２、つまり、光学中心Ｏから位置Ｍ１までの距離がわかれば、実寸変位量である変位（Ｄｘ１、Ｄｙ１）を算出できることがわかる。距離算出部１１４は、計測点ごとに距離Ｌ２が異なり得るので、計測点ごとに距離Ｌ２を算出する。
補正値算出部１１５は、上記の（式２）に基づいて、補正値を算出する。（式２）より、変位Ｄｘ１を算出するための補正値は、Ｌ２／Ｌ１である。また、（式２）より、変位Ｄｙ１を算出するための補正値も、Ｌ２／Ｌ１である。
なお、画像中心（ｃｘ、ｃｙ）、及び、焦点距離ｆは、撮像装置１０の内部パラメータとして取得される。補正値算出部１１５は、チャート画像を用いて撮像装置１０の内部パラメータを算出してもよい。
補正値算出部１１５は、算出した補正値を示す補正情報を変位量算出部１３０に出力する。変位量算出部１３０は、補正値算出部１１５から補正情報を取得する。変位量算出部１３０は、補正パラメータを取得する第２取得部として機能する。
次に、変位検出部１２０は、画像データから対象物５０の変位の当該画像データ上における画素変位量を算出する（Ｓ１６）。変位検出部１２０は、例えば、撮像装置１０の投影面に投影された対象物５０の変位から画素変位量を算出する。変位検出部１２０は、例えば、対象物５０の複数の計測点ごとに、当該計測点における変位が画像上の何画素であるかを算出する。変位検出部１２０は、算出した画素変位量を変位量算出部１３０に出力する。
変位量算出部１３０は、画素変位量と、補正値とに基づいて、実寸変位量を算出する（Ｓ１７）。変位量算出部１３０は、対象物５０の複数の計測点ごとに、当該計測点における画素変位量と補正値とを演算することで当該計測点における実寸変位量を算出する。このように、変位量算出部１３０は、補正情報に基づいて、２以上の第２画像データにおける画素変位量を実寸変位量に換算する換算部として機能する。
変位量算出部１３０は、算出した実寸変位量を含む提示情報を出力装置３０に出力する（Ｓ１８）。そして、出力装置３０は、変位量算出部１３０から取得した提示情報を画像として表示する。なお、ステップＳ１８は、換算ステップの一例である。
なお、図４に示すステップＳ１１～ステップＳ１５までの動作は、対象物５０の実寸変位量を算出する処理を実行するごとに行われてもよいし、撮像装置１０の設置位置、姿勢、及び、カメラパラメータ（内部パラメータを含む）の少なくとも１つが変更されるごとに行われてもよい。また、補正値算出部１１５は、算出した補正値を記憶部（図示しない）に記憶してもよい。そして、補正値算出部１１５は、対象物５０の実寸変位量を算出する場合に、記憶部から補正値を読み出し、読み出した補正値を変位量算出部１３０に出力してもよい。つまり、補正値算出部１１５は、過去に算出した補正値を、現在の実寸変位量を算出するための補正値として用いてもよい。これにより、補正パラメータ算出部１１０の処理量を低減することができる。
上記のステップＳ１１～ステップＳ１５は、補正パラメータを算出する補正パラメータ算出方法において実行される処理である。また、上記のステップＳ１６～ステップＳ１８は、実寸変位量を算出する変位量算出方法において実行される処理である。なお、変位量算出方法は、ステップＳ１１～ステップＳ１５の処理を含んでいてもよい。
上記のように、本実施の形態に係る変位計測システム１は、撮像装置１０と、補正パラメータ算出部１１０を有する変位計測装置２０とを備える。補正パラメータ算出部１１０は、撮像装置１０から取得した画像データに含まれるマーカ６０に基づいて、撮像装置１０の位置を推定し、当該位置に基づいて画素変位量を実寸変位量に換算するための補正値を算出する。
このように、変位計測システム１によれば、他の装置（例えば、距離計測装置）などを使用することなく、撮像装置１０からマーカ６０を含む画像データを取得するだけで、補正値を算出することができるので、補正パラメータを簡便に算出することができる。
また、変位計測装置２０は、撮像装置１０が撮像した２以上の画像データを用いて、対象物５０の変位の実寸変位量を計測する。これにより、変位計測装置２０は、対象物５０の変位がレーザ距離計などを用いて計測できない程度の周期の振動であっても、実寸変位量を計測することができる。
（実施の形態の変形例）
以下、本変形例に係る補正パラメータ算出方法等について、図７～図９を参照しながら説明する。なお、以下の説明では、実施の形態との相違点を中心に説明し、実施の形態と同様の構成については同一の符号を付し、説明を省略又は簡略化する場合がある。本変形例に係る変位計測システムの構成は、実施の形態に係る変位計測システム１と同様であり、説明を省略する。
本変形例に係る変位計測システム１は、対象物５０の変位方向が撮像装置の投影面（撮像面）と水平な方向と異なる場合であっても、精度よく実寸変位量を算出することができる点に特徴を有する。図７は、本変形例に係る変位計測システム１の動作を示すフローチャートである。
図７に示すように、補正値算出部１１５は、対象物５０の変位方向情報を取得する（Ｓ２１）。補正値算出部１１５は、例えば、入力装置４０を介して変位方向情報を取得してもよい。変位方向情報は、例えば、対象物５０がモータである場合、モータの駆動部の駆動方向に基づいた変位方向を示す情報であってもよい。また、変位方向情報は、例えば、対象物５０の変位方向が設計的に予測できる場合、予測された変位方向を示す情報であってもよい。また、変位方向情報は、例えば、対象物５０が橋梁などであり、車両などから応力を受ける場合、当該応力を受ける方向（例えば、鉛直方向）を示す情報であってもよい。また、変位方向情報が示す変位方向は１つに限定されず、２つ以上（２方向以上）であってもよい。ステップＳ２１は、第２取得ステップの一例である。
なお、変位方向情報は、入力装置４０を介して取得されることに限定されない。変位方向情報は、画像データに基づいて取得されてもよい。マーカ６０がＱＲコードである場合、当該ＱＲコードに、対象物５０の変位方向に関する情報が記憶されていてもよい。補正値算出部１１５は、画像データに含まれるＱＲコードに基づいて、対象物５０の変位方向を取得してもよい。この場合、変位方向は、例えば、ＱＲコードが貼り付けられている対象物５０の面（平面）を基準とする方向である。
そして、補正値算出部１１５は、撮像装置１０の位置、距離情報、撮像装置１０の内部パラメータ、及び、変位方向情報に基づいて、画素変位量を実寸変位量に換算するための補正値を算出する（Ｓ２２）。つまり、補正値算出部１１５は、実施の形態に加えて、変位方向情報を用いて補正値を算出する。なお、ステップＳ２２は、パラメータ算出ステップの一例である。
ここで、変位方向情報を用いて変位補正を行うことについて、図８Ａ及び図８Ｂを参照しながら説明する。図８Ａは、本変形例に係る変位方向を考慮した変位補正を説明するための第１図である。また、図８Ｂは、本変形例に係る変位方向を考慮した変位補正を説明するための第２図である。図８Ａ及び図８Ｂは、対象物５０ｂを上方からみた俯瞰図である。また、対象物５０ｂの形状は、便宜上、正方形としている。
図８Ａ及び図８Ｂに示すように、対象物５０ｂを上方からみた場合に、撮像装置１０の投影面に対して、対象物５０ｂの変位方向が当該投影面と平行ではないとき、投影面には対象物５０ｂの変位のうち、当該投影面と平行な方向における変位のみが投影される。図８Ａでは、変位方向は、紙面上の左上と右下とを結ぶ方向である。この場合、例えば、対象物５０ｂの計測点の変位がＤ１であったとすると、投影面に投影された対象物５０ｂの計測点の変位はＤ２となる。変位Ｄ２は、変位Ｄ１における投影面と平行な方向の成分となる。
また、図８Ｂでは、変位方向は、紙面上の左下と右上とを結ぶ方向である。この場合、例えば、対象物５０ｂの計測点の変位がＤ３であったとすると、投影面に投影された対象物５０ｂの計測点の変位はＤ４となる。変位Ｄ４は、変位Ｄ３における投影面と平行な方向の成分となる。例えば、変位Ｄ１の方向と、変位Ｄ３の方向とが互いに直交する方向であり、かつ、変位量が等しい場合、投影面上における変位Ｄ２及びＤ４の方向及び大きさは等しくなる。なお、変位Ｄ１及びＤ３は、実寸変位量であり、例えば、実寸値である。また、変位Ｄ２及びＤ４は、画素変位量であり、例えば、画素数である。
このように、実際の変位方向が異なる変位Ｄ１及びＤ３が、投影面上においては、同じ方向の変位として検出されることがある。これでは、投影面と水平な方向における変位については計測ができるが、投影面と垂直な方向における変位については計測ができない。
そこで、本変形例では、補正値算出部１１５は、上記でも説明したように、ステップＳ２１で対象物５０の変位方向情報を取得し、ステップＳ２２で当該変位方向情報を用いて、画像データ上における対象物５０の画素変位量を実寸変位量に換算するための補正値を算出する。ここでの補正値は、１画素に対応する実寸値、及び、変位方向を示す情報を含む。補正値は、例えば、１画素に対応する実寸値（Ｘａ、Ｙｂ、Ｚｃ）を示す情報を含んでいてもよい。実寸値Ｘａは、投影面上で１画素ずれたときの、実空間の３次元直交座標系におけるｘ軸方向への変位の実寸値を示す。実寸値Ｘｂは、投影面上で１画素ずれたときの、実空間の３次元直交座標系におけるｙ軸方向への変位の実寸値を示す。Ｘｃは、投影面上で１画素ずれたときの、実空間の３次元直交座標系におけるｚ軸方向への変位の実寸値を示す。実寸値（Ｘａ、Ｙｂ、Ｚｃ）は、補正パラメータの一例である。
ここで、補正値算出部１１５の処理について、図９を参照しながら説明する。図９は、本変形例に係る変位の実寸換算方法を説明するための図である。
図９に示すように、対象物５０の第１時点における計測点の位置Ｍ１（Ｘ、Ｙ、Ｚ）に対応する投影面上の位置Ｐ１を（ｘ、ｙ）とすると、光学中心Ｏから位置Ｐ１までの距離Ｌ１は、（式１）により算出可能である。第１時点は、例えば、対象物５０が変位していない初期の時点である。また、第１時点とは異なる第２時点における計測点の位置Ｍ３に対応する投影面上の位置Ｐ３と位置Ｐ１との差（変位）を（Δｘ２、Δｙ２）とすると、第１補正値は、（式２）により算出可能である。ここでの第１補正値は、撮像装置１０の投影面と平行な方向における変位の実寸変位量を算出可能な値である。第１補正値は、例えば、画像上の変位（Δｘ２、Δｙ２）から、実寸値の変位（Ｄｘ２、Ｄｙ２、Ｄｚ２）のうち変位（Ｄｘ２、Ｄｙ２）を算出可能な値である。
補正値算出部１１５は、算出した第１補正値と、変位方向情報とに基づいて、当該第１補正値を３次元情報である第２補正値に換算する。補正値算出部１１５は、投影面上の変位を示す２次元情報である画素変位量を３次元情報である実寸変位量に換算するための第２補正値を算出する。補正値算出部１１５は、第１補正値と、撮像装置１０の投影面及び変位方向のなす角度とに基づいて、第２補正値を算出してもよい。第２補正値は、例えば、画像上の変位（Δｘ２、Δｙ２）から実寸値の変位（Ｄｘ２、Ｄｙ２、Ｄｚ２）を算出可能な値である。なお、補正値算出部１１５が第２補正値を算出する方法は、上記に限定されない。
上記のように、本変形例に係る変位計測システム１の補正パラメータ算出部１１０は、さらに、対象物５０の変位方向を示す変位方向情報を用いて、画素変位量を実寸変位量に変換するための補正値を算出する。
これにより、変位計測システム１は、対象物５０を上方から見たときに、対象物５０が撮像装置１０の投影面と交差する方向に変位する場合に、変位方向情報を用いて補正値を算出することができるので、当該変位の実寸値を精度よく計測することができる。
（他の実施の形態）
以上、本開示の１つまたは複数の態様に係る補正パラメータ算出方法等について、実施の形態、及び、変形例（以降において、実施の形態等とも記載する）に基づいて説明したが、本開示は、この実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態等に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記実施の形態等では、撮像装置は、地面に固定されている例について説明したが、これに限定されない。撮像装置は、例えば、ドローンなどの飛行体に設けられた撮像装置であってもよい。
また、上記実施の形態等では、マーカは、ＱＲコードなどであり、対象物に貼り付けられている例について説明したが、これに限定されない。マーカは、例えば、対象物の表面に設けられた模様、文字などであってもよい。また、マーカは、例えば、対象物の表面に設けられた凹凸などであってもよい。模様、文字、及び、凹凸などにおいて、所定の位置間の距離は、予め既知である。また、マーカは、サイズが既知であるシール、貼り紙などであってもよい。例えば、マーカは、数ｃｍ四方の無地のシールなどであってもよい。
また、上記実施の形態等において、取得部は通信部である例について説明したが、これに限定されない。取得部は、例えば、記録媒体が接続される接続部であってもよい。接続部は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）が接続されるＵＳＢ端子、ＳＤカードが差し込まれるＳＤカードスロット、光ディスクが挿入される光学ドライブなどであってもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記実施の形態等における補正パラメータ算出装置は、単一の装置で実現されてもよいし、互いに接続された複数の装置で実現されてもよい。補正パラメータ算出装置が複数の装置によって実現される場合、補正パラメータ算出装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。
また、上記実施の形態等では、変位計測装置は、出力装置を有していない、つまり、変位計測装置と、出力装置とは、別体である例について説明したが、出力装置を有していてもよい。この場合には、出力装置は、変位計測装置の一部である出力部（例えば、表示部）として機能する。
また、上記実施の形態等における変位計測システムが備える装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。
また、上記実施の形態等における算出装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。
システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、変位計測装置に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。
また、本開示の一態様は、補正パラメータ算出方法及び変位量算出方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
本開示は、画像を用いた対象物の変位計測において、変位の実寸値を計測する装置等に広く利用可能である。
１ 変位計測システム
１０ 撮像装置
１１ レンズ
２０ 変位計測装置
３０ 出力装置
４０ 入力装置
５０、５０ａ、５０ｂ 対象物
６０、６０ａ、６０ｂ マーカ
１１０ 補正パラメータ算出部（補正パラメータ算出装置）
１１１ 取得部（第１取得部）
１１２ 位置検出部
１１３ 位置推定部
１１４ 距離算出部
１１５ 補正値算出部（パラメータ算出部）
１２０ 変位検出部
１３０ 変位量算出部（換算部）
ｆ 焦点距離
Ｌ１、Ｌ２ 距離
Ｍ１～Ｍ３、Ｐ１～Ｐ３、Ｔ 位置
Ｏ 光学中心
Ｑ１～Ｑ４ 検出点

Claims (7)

  1. 画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、
    特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得ステップと、
    前記対象物の変位の方向であって、前記撮像装置の撮像面と交差する変位の方向を示す変位方向情報を取得する第２取得ステップと、
    前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する検出ステップと、
    前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する推定ステップと、
    前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出ステップと、
    前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データにおける前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データと前記変位方向情報とを用いて算出するパラメータ算出ステップとを含む
    補正パラメータ算出方法。
  2. 前記変位方向情報は、入力装置を介して取得される
    請求項１に記載の補正パラメータ算出方法。
  3. 前記マーカは、前記対象物の平面部分に取り付けられており、
    前記変位方向情報が示す方向は、前記平面に対して定義される
    請求項１又は２に記載の補正パラメータ算出方法。
  4. 前記マーカは、ＱＲコード（登録商標）であり、
    前記変位方向情報は、前記ＱＲコードに記憶されている
    請求項１に記載の補正パラメータ算出方法。
  5. 請求項１～４のいずれか１項に記載の補正パラメータ算出方法を用いて算出された前記補正パラメータを取得する第３取得ステップと、
    前記２以上の第２画像データを取得する第４取得ステップと、
    前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算ステップとを含む
    変位量算出方法。
  6. 画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、
    特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得部と、
    前記対象物の変位の方向であって、前記撮像装置の撮像面と交差する変位の方向を示す変位方向情報を取得する第２取得部と、
    前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する位置検出部と、
    前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する位置推定部と、
    前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出部と、
    前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データと前記変位方向情報とを用いて算出するパラメータ算出部とを備える
    補正パラメータ算出装置。
  7. 請求項６に記載の補正パラメータ算出装置を用いて算出された前記補正パラメータを取得する第３取得部と、
    前記２以上の第２画像データを取得する第４取得部と、
    前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算部とを備える
    変位量算出装置。
JP2021552097A 2019-10-17 2020-06-26 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 Active JP7489671B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019190126 2019-10-17
JP2019190126 2019-10-17
PCT/JP2020/025232 WO2021075090A1 (ja) 2019-10-17 2020-06-26 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置

Publications (3)

Publication Number Publication Date
JPWO2021075090A1 JPWO2021075090A1 (ja) 2021-04-22
JPWO2021075090A5 JPWO2021075090A5 (ja) 2022-08-01
JP7489671B2 true JP7489671B2 (ja) 2024-05-24

Family

ID=75537583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021552097A Active JP7489671B2 (ja) 2019-10-17 2020-06-26 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置

Country Status (4)

Country Link
US (1) US11920913B2 (ja)
JP (1) JP7489671B2 (ja)
CN (1) CN114502913A (ja)
WO (1) WO2021075090A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277339A1 (ko) * 2021-07-02 2023-01-05 리얼룩앤컴퍼니 주식회사 감지표식을 이용한 장비 조립 편차 보정 및 공정 오차 보정 장치 및, 이를 이용한 조립 편차 보정 및 공정 수행 오차 보정 방법
KR102679383B1 (ko) * 2021-11-12 2024-06-28 주식회사 아이쉐어넷 거리 측정 장치 및 방법
SE2251275A1 (en) * 2022-11-01 2024-05-02 Optiload Tech Ab A displacement measuring method and a device for measuring a displacement of an object to be measured

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296248A (ja) 2006-05-02 2007-11-15 Sony Computer Entertainment Inc ゲーム装置
JP2013124972A (ja) 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 位置推定装置及び方法、並びにテレビジョン受信機
JP2015055969A (ja) 2013-09-11 2015-03-23 学校法人常翔学園 移動ロボット、移動ロボット制御システム、制御図形の表示されたシート、及びプログラム
JP2016071663A (ja) 2014-09-30 2016-05-09 株式会社Ｎｔｔドコモ 情報通信システムおよび情報読取方法
JP2017215306A (ja) 2016-02-24 2017-12-07 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5281610B2 (ja) 2010-05-14 2013-09-04 西日本旅客鉄道株式会社 レーザー距離計付き撮影装置
CN106687878B (zh) * 2014-10-31 2021-01-22 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
US10062176B2 (en) 2016-02-24 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Displacement detecting apparatus and displacement detecting method
US20190078876A1 (en) * 2016-03-29 2019-03-14 Kyb Corporation Road surface displacement detection device and suspension control method
EP3460754B1 (en) * 2016-04-22 2023-11-29 Nikon Corporation Image measurement method, image measurement program, image measurement device, and object manufacture method
WO2018124188A1 (ja) 2016-12-27 2018-07-05 Ｃｏａｉｄｏ株式会社 測定装置およびプログラム
WO2019181284A1 (ja) * 2018-03-23 2019-09-26 ソニー株式会社 情報処理装置、移動装置、および方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296248A (ja) 2006-05-02 2007-11-15 Sony Computer Entertainment Inc ゲーム装置
JP2013124972A (ja) 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 位置推定装置及び方法、並びにテレビジョン受信機
JP2015055969A (ja) 2013-09-11 2015-03-23 学校法人常翔学園 移動ロボット、移動ロボット制御システム、制御図形の表示されたシート、及びプログラム
JP2016071663A (ja) 2014-09-30 2016-05-09 株式会社Ｎｔｔドコモ 情報通信システムおよび情報読取方法
JP2017215306A (ja) 2016-02-24 2017-12-07 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法

Also Published As

Publication number Publication date
WO2021075090A1 (ja) 2021-04-22
JPWO2021075090A1 (ja) 2021-04-22
CN114502913A (zh) 2022-05-13
US11920913B2 (en) 2024-03-05
US20220205776A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
JP7489671B2 (ja) 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
JP7054803B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
JP6330987B2 (ja) 画像処理装置、画像処理方法、及び記憶媒体
JP6594039B2 (ja) 画像処理装置、方法及びプログラム
CN107025663B (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
CN108734742B (zh) 摄像头参数组算出方法、程序及装置
TWI419081B (zh) 提供擴增實境的標籤追蹤方法、系統與電腦程式產品
JP7489670B2 (ja) 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
JP6363863B2 (ja) 情報処理装置および情報処理方法
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
US9696543B2 (en) Information processing apparatus and information processing method
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
KR20160003776A (ko) 자세 추정 방법 및 로봇
US10430967B2 (en) Information processing apparatus, method, and program
JP2018190402A (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
CN109918977A (zh) 确定空闲车位的方法、装置及设备
WO2014045508A1 (ja) 検査装置、検査方法、および検査プログラム
JP6640294B1 (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
US20160292888A1 (en) Image measurement device, and recording medium
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020042575A (ja) 情報処理装置、位置合わせ方法、及びプログラム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20220323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240502

R150 Certificate of patent or registration of utility model

Ref document number: 7489671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150