JP7067479B2 - 変位計測装置、変位計測システム、変位計測方法及びプログラム - Google Patents

Description

本開示は、変位計測に関する。

特許文献１は、カメラ装置の移動による誤差分を差し引くことによる変位計測時の補正方法を開示する。また、特許文献２は、被検体と、被検体以外の不動点とを同時に撮影することによって被検体の変位等を算出する方法を開示する。なお、非特許文献１、２は、画像から物体の３次元形状を復元するためのバンドル調整について開示する。

特開２００７－２４０２１８号公報 特開２００７－３２２４０７号公報

小浜隼人、ほか５名「Affine-SIFTアルゴリズムを用いたバンドル調整法に基づく３次元形状復元」、火の国情報シンポジウム２０１２論文集、情報処理学会、２０１２年３月 岩元祐輝、ほか２名「３次元復元のためのバンドル調整の実装と評価」、情報処理学会研究報告、Vol.2011-CVIM-175、No.19、情報処理学会、２０１１年１月

特許文献１、２は、いずれも、撮影画像を用いた変位計測において、カメラの移動の影響を抑制する方法を開示している。しかし、特許文献１、２に記載された方法には、カメラの解像度が十分に高くないと、計測対象物の変位を高精度に計測することが困難であるという課題が存在する。

本開示の例示的な目的は、計測対象物の変位を高精度に計測するための技術を提供することである。

一の態様において、撮影手段により第１の時期に撮影された、第１の位置を含む画像及び第２の位置を含む画像と、当該撮影手段により第２の時期に撮影された、当該第１の位置を含む画像及び当該第２の位置を含む画像とを取得する取得手段と、前記取得された複数の画像と、前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する算出手段とを含む変位計測装置が提供される。

別の態様において、第１の位置を含む画像と第２の位置を含む画像とを、第１の時期と第２の時期とに撮影する撮影手段と、前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する算出手段とを含む変位計測システムが提供される。

さらに別の態様において、撮影手段により第１の時期に撮影された、第１の位置を含む画像及び第２の位置を含む画像と、当該撮影手段により第２の時期に撮影された、当該第１の位置を含む画像及び当該第２の位置を含む画像とを取得し、前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する
変位計測方法が提供される。

さらに別の態様において、コンピュータに、撮影手段により第１の時期に撮影された、第１の位置を含む画像及び第２の位置を含む画像と、当該撮影手段により第２の時期に撮影された、当該第１の位置を含む画像及び当該第２の位置を含む画像とを取得する処理と、前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する処理とを実行させるためのプログラムが提供される。

本開示によれば、計測対象物の変位が高精度に計測される。

図１は、変位計測装置の構成の一例を示すブロック図である。 図２Ａは、算出部により算出される変位を説明するための概念図である。 図２Ｂは、算出部により算出される変位を説明するための別の概念図である。 図３は、変位計測装置により実行される変位計測方法の一例を示すフローチャートである。 図４は、変位計測システムの構成の一例を示すブロック図である。 図５は、カメラの位置関係を例示する図である。 図６は、計測対象物と撮影位置を例示する図である。 図７は、同次変換行列を算出するためのキャリブレーションの実行方法の一例を示す説明図である。 図８は、変位計測装置が実行する変位計測処理の一例を示すフローチャートである。 図９は、変位計測システムの構成の別の例を示すブロック図である。 図１０Ａは、変位計測装置の構成の別の例を示すブロック図である。 図１０Ｂは、変位計測装置の構成のさらに別の例を示すブロック図である。 図１０Ｃは、変位計測装置の構成のさらに別の例を示すブロック図である。 図１１は、変位計測システムの構成のさらに別の例を示すブロック図である。 図１２は、変位計測システムの構成のさらに別の例を示すブロック図である。 図１３は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。

［第１実施形態］
図１は、一の実施形態に係る変位計測装置１００の構成を示すブロック図である。変位計測装置１００は、計測対象物における変位を計測するための装置である。変位計測装置１００は、取得部１１０と、算出部１２０とを少なくとも含む。

ここでいう計測対象物は、例えば、ビル、橋梁等の建造物である。いくつかの態様において、計測対象物は、その大きさに比して高精度な変位計測が要求される物体である。ただし、計測対象物は、後述される方法による変位計測が可能であれば、特定の物体に限定されない。また、計測対象物の変位は、時間（劣化等）、温度（熱膨張等）、負荷（荷重の有無等）などの要因によって生じ得るが、特定の要因に限定されない。

取得部１１０は、撮影部により撮影された画像を取得する。ここでいう撮影部は、例えば、ＣＣＤ（Charge-coupled device）イメージセンサ、ＣＭＯＳ（Complementary metal-oxide-semiconductor）イメージセンサなど、光を画素毎の画像情報に変換するための撮像素子を有するカメラを１又は複数含んで構成される。撮影部は、車両、航空機等の移動体に搭載されてもよい。

取得部１１０は、例えば、所定のフォーマットで表現された画像データの入力を受け付けることによって画像を取得する。取得部１１０により取得される画像は、可視画像であってもよいが、近赤外光等の不可視領域の波長の情報を含む画像であってもよい。また、取得部１１０により取得される画像は、モノクロ画像とカラー画像のいずれであってもよく、画素数や階調数（色深度）も特に限定されない。取得部１１０による取得は、通信回線を介した取得であってもよいし、自装置又は他の装置に含まれる記録媒体からの読み出しであってもよい。

取得部１１０は、第１の位置を含む画像と、第２の位置を含む画像とを取得する。第１の位置は、変位計測において基準とする位置である。一方、第２の位置は、第１の位置と異なる位置であり、変位計測の対象となる位置である。例えば、第１の位置は、変位が実質的に生じないか、第２の位置と比較して変位が無視できる程度に少ない位置である。第２の位置は、例えば、変位が生じやすい位置や、変位の計測が容易な位置である。以下においては、第１の位置を含む画像を「第１の画像」ともいい、第２の位置を含む画像を「第２の画像」ともいう。

第１の位置及び第２の位置は、他の位置と区別可能であれば、どのような位置であってもよい。第１の位置及び第２の位置は、いわゆるマーカのような光学的な識別を容易にする標識が設けられた位置であってもよい。あるいは、例えば計測対象物に標識を設置することが困難な場合、第１の位置及び第２の位置は、物体表面の凹凸や色の微細な相違によって光学的に識別されてもよい。

第２の位置は、計測対象物の一部である。一方、第１の位置は、計測対象物の一部であってもそうでなくてもよい。例えば、第１の位置は、計測対象物よりも変位が少ない（又は変位しない）別の物体の一部であってもよい。すなわち、第１の位置と第２の位置とは、単一の物体に含まれることを必ずしも要しない。

取得部１１０は、第１の時期に撮影された第１の画像及び第２の画像と、第２の時期に撮影された第１の画像及び第２の画像とを取得する。換言すれば、取得部１１０は、撮影されたタイミングが異なる複数の第１の画像及び第２の画像を取得する。第２の時期は、例えば、第１の時期よりも後であり、計測対象物に変位が生じている（又はその可能性がある）期間である。第１の画像及び第２の画像は、第１の時期及び第２の時期のそれぞれに複数枚撮影されてもよい。

第１の画像及び第２の画像は、例えば、特定のタイミングにおいて撮影された画像のペアである。取得部１１０は、撮影部から動画を取得し、取得された動画の特定の時点の静止画を抽出することで第１の画像及び第２の画像を取得することも可能である。例えば、取得部１１０は、複数のカメラにより撮影された複数の動画から、同一の時刻に撮影された静止画をそれぞれ抽出し、抽出されたそれぞれの静止画を第１の画像及び第２の画像として用いてもよい。あるいは、取得部１１０は、同一のタイミングで撮影されるように制御された複数のカメラで撮影された静止画のそれぞれを第１の画像及び第２の画像として用いてもよい。

算出部１２０は、計測対象物の変位を算出する。算出部１２０は、取得部１１０により取得された画像と、撮影部の構成情報に基づいて算出される関連付け情報とを用いて、第１の位置を基準とする第２の位置の変位を算出する。ここでいう変位は、第１の時期と第２の時期とで比較した場合における第２の位置の差である。

ここでいう構成情報は、例えば、第１の画像と第２の画像の撮影方向の違いや、第１の画像と第２の画像のそれぞれの撮影倍率を表す情報である。例えば、第１の画像と第２の画像とが異なるカメラにより撮影される場合、構成情報は、複数のカメラの撮影条件を表してもよい。ここでいう撮影条件は、例えば、複数のカメラの相対的な位置又は角度を含む。構成情報は、変位計測装置１００にあらかじめ記憶されていてもよいし、取得部１１０を介して第１の画像及び第２の画像とともに取得されてもよい。

関連付け情報は、例えば、同次変換行列、オイラー角、クォータニオンなどによって記述される。関連付け情報は、第１の画像の座標と第２の画像の座標とを共通の座標系を用いて記述することを可能にする。関連付け情報は、変位計測装置１００で算出されてもよいが、変位計測装置１００と異なる装置で事前に算出されてもよい。

関連付け情報は、第１の画像と第２の画像とを関連付ける。より詳細には、関連付け情報は、同一の時期に撮影された第１の画像と第２の画像とを関連付ける。関連付け情報による関連付けは、第１の画像に含まれる第１の位置と第２の画像に含まれる第２の位置とを関連付けることであるともいえる。算出部１２０は、関連付け情報を用いることにより、撮影範囲が重複していない複数の画像を関連付けることが可能である。

図２Ａ及び図２Ｂは、算出部１２０により算出される変位を説明するための概念図である。図２Ａ及び図２Ｂに示される例において、計測対象物２００は、２つのカメラによって第１の位置２０１と第２の位置２０２とが別々に撮影されるものとする。これらのカメラは、剛体等によって互いの位置関係が変化しないように固定されているものとする。図２Ａは、第１の時期における撮影を例示する。また、図２Ｂは、第２の時期における撮影を例示する。

第１のカメラは、第１の時期において第１の画像２１１を撮影し、第２の時期において第１の画像２２１を撮影する。第１の画像２１１、２２１は、第１の位置２０１を含む点において共通するが、その撮影範囲は必ずしも一致していなくてもよい。また、第２のカメラは、第１の時期において第２の画像２１２を撮影し、第２の時期において第２の画像２２２を撮影する。

第１のカメラと第２のカメラの相対的な位置関係は、第１の時期と第２の時期とにおいて変化していない。そうすると、計測対象物２００が変形していないと仮定した場合、第２の時期の第２の画像２２２において計測対象物２００が現れる位置は、図２Ｂにおいて二点鎖線で示されるように、第２の時期の第１の画像２２１と構成情報とから一意的に特定可能である。

しかし、計測対象物２００が実際には変形していたとすると、第２の画像２２２において計測対象物２００が現れる位置は、二点鎖線で示された位置と異なる位置になる。算出部１２０は、第２の画像２２２における第２の位置２０２の実際の位置と、第１の画像２２１と関連付け情報とから想定される位置との相違に基づいて、変位Ｄを算出することができる。

図３は、変位計測装置１００により実行される変位計測方法を例示するフローチャートである。変位計測装置１００は、図３の例に従って処理を実行する。

ステップＳ３１０において、取得部１１０は、第１の時期に撮影された第１の画像及び第２の画像と、第２の時期に撮影された第１の画像及び第２の画像とを取得する。なお、取得部１１０は、第１の時期に撮影された画像と第２の時期に撮影された画像とを同時に取得してもよいし、異なるタイミングで取得してもよい。ステップＳ３２０において、算出部１２０は、ステップＳ３１０において取得された第１の画像及び第２の画像と、関連付け情報とを用いて、計測対象物の変位を算出する。

以上のとおり、変位計測装置１００は、撮影部の構成情報に基づいて算出される関連付け情報を用いて計測対象物の変位を算出する構成を有する。この構成は、計測対象物の全体を撮影することなく、計測対象物の局所的な撮影による変位計測を可能にする。したがって、変位計測装置１００によれば、計測対象物の全体を撮影する場合に比べ、計測対象物を含む画像の単位面積当たりの解像度を向上させることができるため、計測対象物の変位を高精度に計測することが可能である。あるいは、変位計測装置１００は、イメージセンサの解像度を向上させなくても計測対象物の変位を高精度に計測することが可能である、ともいえる。

［第２実施形態］
図４は、別の実施形態に係る変位計測システム４００の構成を示すブロック図である。変位計測システム４００は、ＵＡＶ（Unmanned Aerial Vehicle）４１０と、変位計測装置４２０とを含む。ＵＡＶ４１０と変位計測装置４２０とは、データを無線で通信できるように構成されている。

ＵＡＶ４１０は、飛行しながら計測対象物を撮影する。ＵＡＶ４１０は、変位計測装置４２０又は他の遠隔操作機器によって遠隔操作されてもよいが、画像認識によって計測対象物の特定の位置を撮影するように構成されてもよい。また、ＵＡＶ４１０は、ホバリングしながら計測対象物の特定の位置を一定期間撮影し続けるように構成されてもよい。ＵＡＶ４１０は、撮影部４１１と、通信部４１２とを有する。

撮影部４１１は、カメラ４１１ａ、４１１ｂ及び４１１ｃをさらに有する。撮影部４１１は、カメラ４１１ａ、４１１ｂ及び４１１ｃにより撮影された画像を表す画像データを生成し、生成された画像データを通信部４１２に供給する。撮影部４１１は、変位計測装置４２０における演算処理を容易にするための周知の画像処理を実行してもよい。また、撮影部４１１は、静止画ではなく動画を撮影してもよい。

図５は、カメラ４１１ａ、４１１ｂ及び４１１ｃの位置関係を例示する図である。カメラ４１１ａ、４１１ｂ及び４１１ｃは、特定の位置関係を維持するように固定されている。例えば、図５に示される例において、カメラ４１１ａ、４１１ｂ及び４１１ｃは、撮影方向が角度θずつ異なる状態でＵＡＶ４１０に搭載される。カメラ４１１ａ、４１１ｂ及び４１１ｃは、ＵＡＶ４１０の飛行に伴う振動によって位置関係が変化しないよう、剛体等で堅固に固定される。

通信部４１２は、撮影部４１１から供給された画像データを変位計測装置４２０に送信する。通信部４１２は、撮影部４１１から供給された画像データに対して符号化等の処理を実行し、画像データを所定の通信方式に従って変位計測装置４２０に送信する。

変位計測装置４２０は、通信部４２１と、算出部４２２とを有する。通信部４２１は、ＵＡＶ４１０から画像データを受信する。通信部４２１は、通信部４１２を介して送信された画像データを算出部４２２に供給する。算出部４２２は、同次変換行列を算出する第１算出部４２２ａと、計測対象物の変位を算出する第２算出部４２２ｂとをさらに含む。同次変換行列は、第１実施形態における関連付け情報の一例に相当する。第２算出部４２２ｂは、通信部４２１から供給された画像データと、第１算出部４２２ａにより算出された同次変換行列とを用いて、計測対象物の変位を算出する。

本実施形態において、通信部４２１は、第１実施形態の変位計測装置１００における取得部１１０の一例に相当する。また、算出部４２２は、第１実施形態の変位計測装置１００における算出部１２０の一例に相当する。

なお、変位計測装置４２０は、算出部４２２により算出された変位を記録する構成を含んでもよい。例えば、変位計測装置４２０は、算出部４２２により算出された変位を日時（撮影日時）とともに記録媒体に記録する記録装置を有してもよい。あるいは、変位計測装置４２０は、算出部４２２により算出された変位に応じた情報を表示する表示装置を有してもよい。

変位計測システム４００は、以上の構成の下、計測対象物を撮影し、計測対象物の変位を算出する。具体的には、変位計測システム４００は、次のように動作することで計測対象物の変位を算出することができる。一例として、以下においては、計測対象物が橋梁であるとする。

図６は、計測対象物と撮影位置を例示する図である。この例において、変位計測システム４００は、車両の走行に伴う橋梁６００の変位、特に床版（しょうばん）の撓みを計測する。橋梁６００において、ＵＡＶ４１０により撮影される位置は、Ｐ１、Ｐ２及びＰ３である。位置Ｐ１及びＰ３は、橋脚の近傍のような、車両の走行に伴う変位がないものとみなせる位置である。位置Ｐ１及びＰ３は、カメラ４１１ａ、４１１ｃにより撮影される。これに対し、位置Ｐ２は、橋脚と橋脚の中間地点のような、車両の走行に伴う変位が比較的大きい位置である。位置Ｐ２は、カメラ４１１ｂにより撮影される。

いくつかの態様において、位置Ｐ１、Ｐ２及びＰ３は、特徴点等の基準点の抽出が容易な位置である。より詳細には、位置Ｐ１、Ｐ２及びＰ３は、他の領域との区別が容易な特定の模様又は物体を含む位置である。例えば、位置Ｐ１、Ｐ２及びＰ３は、文字や記号が描かれていたり、ある部材と別の部材の境界を含んでいたりしてもよい。

以下においては、位置Ｐ１及びＰ３のことを「基準位置」ともいう。基準位置は、第１実施形態における第１の位置の一例に相当する。また、以下においては、位置Ｐ２のことを「計測位置」ともいう。計測位置は、第１実施形態における第２の位置の一例に相当する。基準位置及び計測位置は、ある程度のサイズを有する領域であり、後述される特徴点を複数含み得る。

図６の例において、変位計測システム４００は、車両が走行しているタイミングと車両が走行していないタイミングとにおいて橋梁６００を撮影し、床版の変位を計測する。換言すれば、変位計測システム４００は、橋梁６００に対して荷重が与えられているタイミングと与えられていないタイミングとにおける床版の変位を計測する。

変位計測に際し、変位計測装置４２０は、カメラ４１１ａ、４１１ｂ及び４１１ｃの内部パラメータをあらかじめ取得する。内部パラメータは、例えば、光軸中心及び焦点距離である。内部パラメータは、カメラメーカから提供されてもよいが、内部パラメータを計算するためのキャリブレーションによってあらかじめ求められてもよい。また、変位計測装置４２０は、カメラ４１１ａ、４１１ｂ及び４１１ｃの相対的な位置及び角度を示すパラメータをあらかじめ取得する。このパラメータは、第１実施形態における構成情報の一例に相当する。

また、本実施形態において、算出部４２２は、変位計測を実行する前に、同次変換行列をあらかじめ算出する。なお、算出部４２２は、変位計測の実行中（例えば、後述のステップＳ８１０とステップＳ８２０の間）に同次変換行列を算出してもよい。算出部４２２は、例えば、以下に示されるキャリブレーションを実行することによって同次変換行列を算出することができる。

図７は、同次変換行列を算出するためのキャリブレーションの実行方法を示す説明図である。この例において、パターン７１０、７２０及び７３０は、互いの相対的な位置関係が既知である複数の標識である。パターン７１０、７２０及び７３０は、壁面に貼付されるなどして、キャリブレーションの実行時には動かないように設けられる。パターン７１０、７２０及び７３０は、特定の模様を含む画像であり、例えば、いわゆるチェスボードパターン（チェッカーボードパターンともいう。）である。

パターン７１０は、カメラ４１１ａによって撮影される。パターン７２０は、カメラ４１１ｂによって撮影される。パターン７３０は、カメラ４１１ｃによって撮影される。パターン７１０、７２０及び７３０は、位置決めされたカメラ４１１ａ、４１１ｂ及び４１１ｃが同時に撮影することができる位置に設けられる。

算出部４２２は、カメラ４１１ａ、４１１ｂ及び４１１ｃのいずれかを基準とし、基準のカメラと他のカメラの関係を示す同次変換行列を算出する。ここでは、カメラ４１１ａを基準とする。この場合、算出部４２２は、カメラ４１１ａとカメラ４１１ｂの関係を３次元的に示す４行４列の同次変換行列（以下「Ｍ_１２」という。）と、カメラ４１１ａとカメラ４１１ｃの関係を３次元的に示す４行４列の同次変換行列（以下「Ｍ_１３」という。）とをそれぞれ算出する。算出部４２２は、同次変換行列を算出する一般的かつ周知な手法のいずれかを用いて、同次変換行列Ｍ_１２、Ｍ_１３を算出することができる。

図８は、変位計測装置４２０が実行する変位計測処理を示すフローチャートである。ステップＳ８１０において、通信部４２１は、第１の画像に対応する第１の画像データと第２の画像に対応する第２の画像データとをＵＡＶ４１０から受信する。これらの画像データは、橋梁６００に特定の負荷が与えられていない時期と当該負荷が与えられている時期とにおいて、位置Ｐ１、Ｐ２及びＰ３のそれぞれを、複数の異なる撮影方向から撮影した画像を表す。ＵＡＶ４１０は、例えば、橋梁６００上を車両が走行している期間と車両が走行していない期間とにおいて撮影を実行する。これらの期間は、第１実施形態における「第１の時期」と「第２の時期」とに相当する。

例えば、ＵＡＶ４１０は、飛行中、位置Ｐ１、Ｐ２及びＰ３のそれぞれが撮影範囲から外れないように上昇又は下降することにより、複数の撮影位置において位置Ｐ１、Ｐ２及びＰ３を撮影する。換言すれば、ＵＡＶ４１０は、複数の視点から位置Ｐ１、Ｐ２及びＰ３を撮影しているともいえる。例えば、ＵＡＶ４１０は、撮影された画像の間に上昇又は下降による歪みが生じるように位置Ｐ１、Ｐ２及びＰ３のそれぞれを撮影する。

ステップＳ８１０において、通信部４２１は、カメラの数とその撮影回数の積に相当する枚数分の画像データを取得する。例えば、本実施形態の場合、ＵＡＶ４１０が有するカメラの数は、「３」である。したがって、ステップＳ８１０において取得される第１の画像及び第２の画像の総数は、撮影回数が「Ｍ」回であるとすると、「３Ｍ」である。

ステップＳ８２０において、算出部４２２は、ステップＳ８１０において受信された複数の画像データが表す第１の画像及び第２の画像のそれぞれから特徴点を抽出する。より詳細には、算出部４２２は、それぞれの画像に含まれる位置Ｐ１、Ｐ２又はＰ３から特徴点を抽出する。ステップＳ８２０において利用可能な特徴量は、例えば、ＦＡＳＴ（Features from Accelerated Segment Test）特徴量、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量といった、画像の局所的な特徴を表す特徴量である。

ステップＳ８３０において、算出部４２２は、ステップＳ８２０において抽出された特徴点を用いて、基準位置を含む第１の画像と計測位置を含む第２の画像とを関連付ける。本実施形態において、算出部４２２は、バンドル調整を拡張したアルゴリズムを用いて特徴点の３次元形状を復元することにより、第１の画像と第２の画像とを３次元的に関連付けることができる。

バンドル調整は、同一の位置を撮影した複数の画像に含まれる基準点に基づいて、撮影されたシーンの３次元形状を復元（推定）する手法である。バンドル調整は、ＳｆＭ（Structure from Motion）の要素技術の一つである。バンドル調整において、撮影された映像は、以下の（１）式の透視投影でモデル化される。

（１）式において、ｘ、ｙは、ある点の画像における位置、すなわち２次元の座標を示す。また、Ｘ、Ｙ、Ｚは、この点の空間における３次元の座標を示す。ｓ、ｆ₀は、０でない任意の比例係数である。Ｐは、投影行列と呼ばれる３行４列の行列である。

投影行列Ｐは、焦点距離をｆ、光軸中心を（ｕ₀，ｖ₀）、ワールド座標系におけるレンズの中心位置をｔ＝（ｘ_t，ｙ_t，ｚ_t）、向きを表す回転行列をＲ、単位行列をＩとしたとき、以下の（２）式によって表される。（２）式において、Ｋは、カメラに関する内部行列（内部パラメータ行列ともいう。）である。（Ｉ－ｔ）は、単位行列Ｉとｔとを列方向に並べた行列であり、（２）式においては、３行４列の行列となる。

投影行列Ｐの第ｉ行第ｊ列の要素をｐ^ijと表記すると、ｘ、ｙは、以下の（３）式によってそれぞれ表される。

ここで、シーン中のＮ個の点（Ｘ_α，Ｙ_α，Ｚ_α）を互いに異なる位置からＭ回撮影したとき、これらが第κ画像の位置（ｘ_α，ｙ_α）において観測されたとする（κ＝１，２，・・・，Ｍ、α＝１，２，・・・，Ｎ）。第κ画像に対する投影行列をＰ_κとするとき、各点の投影されるべき位置と観測位置のずれの二乗和を全点について総和したものは、以下の（４）式によって表される。この（４）式で表されるＥを再投影誤差という。

ここにおいて、Ｉ_ακは、可視化指標である。可視化指標Ｉ_ακは、点（Ｘ_α，Ｙ_α，Ｚ_α）が第κ画像に映っている場合に「１」、そうでない場合に「０」である。また、画像上のずれは、比例係数ｆ0を「１」とする距離で測ると、以下の（５）式によって表される。ここにおいて、Ｐ_κ ^ijは、投影行列Ｐ_κの第ｉ行第ｊ列の要素を表す。

一般的なＳｆＭは、１台のカメラに対して（４）式の再投影誤差を最小化する点（Ｘ_α，Ｙ_α，Ｚ_α）と投影行列Ｐ_κとを推定することがシーンの３次元形状を復元する手法であった。これに対し、本実施形態においては、複数のカメラが用いられる。本実施形態のＳｆＭは、複数のカメラが用いられることに鑑み、同次変換行列Ｍ_１γ（γはカメラの台数）を用いて一般的なＳｆＭを拡張する点に特徴を有する。

具体的には、本実施形態の投影行列Ｐ_γ（γ＝１，２，・・・，Ｌ）は、以下の（６）式のように表される。すなわち、（カメラ毎に異なる）投影行列Ｐ_γは、同次変換行列Ｍ_１γによって互いに関連付けられる。ただし、Ｍ_１１は、単位行列であるとする。

また、本実施形態の再投影誤差Ｅは、以下の（７）式のように表される。（７）式において、ｐ_αγκ、ｑ_αγκ、ｒ_αγκは、以下の（８）式のように表される。ここにおいて、Ｐ_γκ ^ijは、投影行列Ｐ_γκの第ｉ行第ｊ列の要素を表す。投影行列Ｐγκは、画像毎及びカメラ毎に求められる。また、Ｉ_αγκは、Ｉ_ακと同様の可視化指標である。

本実施形態において、算出部４２２は、観測された（ｘ_αγκ，ｙ_αγκ）に対して（７）式の再投影誤差を最小化する点（Ｘ_α，Ｙ_α，Ｚ_α）と投影行列Ｐ_γκとを算出する。（７）式は、複数台のカメラにより撮影された画像を一つの再投影誤差式によって評価することを可能にする。なお、算出部４２２は、非特許文献２に記載された周知の方法を応用することで点（Ｘ_α，Ｙ_α，Ｚ_α）及び投影行列Ｐ_γκを算出することができる。

ステップＳ８３０の処理は、以上のとおりである。このようにして第１の画像又は第２
の画像に含まれる特徴点のそれぞれが関連付けられたら、算出部４２２は、ステップＳ８４０において計測位置の変位を算出する。このとき、算出部４２２は、ＲＡＮＳＡＣ（Random Sample Consensus）などの周知のロバスト推定手法により、第１の時期（負荷がない状態）と第２の時期（負荷がある状態）とにおいて抽出された特徴点の対応関係を検索する。

なお、ステップＳ８２０において抽出された特徴点には、正対応（inlier）だけでなく誤対応（outlier）が含まれていてもよい。誤対応であると判断された特徴点は、ステップＳ８４０において、撮影されたシーンを構成する特徴点から除外される。以下においては、正対応、すなわち対応関係が正しいと判断された特徴点を「対応点」ともいう。

算出部４２２は、第１の時期において抽出されて３次元形状が推定された特徴点と、第２の時期において抽出されて３次元形状が推定された特徴点とに対して位置合わせを実行する。これらの点群同士の位置合わせには、ＩＣＰ（Iterative Closest Point）アルゴリズムなどの周知の手法が適用可能である。算出部４２２は、位置合わせ後の誤差を最小化する特徴点の組み合わせを反復的に計算する。

この位置合わせにおいて、算出部４２２は、第１の時期と第２の時期とにおいて第１の画像から抽出された対応点の間には変位がないものと仮定する。換言すれば、算出部４２２は、第１の時期と第２の時期とにおいて第１の画像から抽出された対応点の間の誤差が、これらの時期において第２の画像から抽出された対応点の間の誤差よりも十分に（すなわち無視できる程度に）小さいことを前提条件とする。このように仮定すると、計測位置の変位は、位置合わせ後に残る誤差（すなわち残差）として表すことが可能である。

以上のとおり、変位計測システム４００は、複数台のカメラ（４１１ａ、４１１ｂ、４１１ｃ）により撮影された画像を一つの再投影誤差式によって評価する構成を有する。この構成は、画像から３次元形状を復元する際に用いるカメラが１台であるという一般的なＳｆＭにおける制限を回避することを可能にする。変位計測において複数のカメラが利用可能であると、計測対象物の計測したい位置のみを局所的に撮影することが可能である。したがって、変位計測システム４００によれば、計測対象物が橋梁６００のような大きな物体であっても、計測対象物を含む画像の単位面積当たりの解像度を向上させることができるため、計測対象物の変位を高精度に計測することが可能である。

［第３実施形態］
図９は、さらに別の実施形態に係る変位計測システム９００の構成を示すブロック図である。変位計測システム９００は、ＵＡＶ９１０の構成を除き、第２実施形態の変位計測システム４００（図４参照）と同様の構成を有する。本実施形態において、第２実施形態と共通する構成の説明は、適宜省略される。

ＵＡＶ９１０は、撮影部９１１及び通信部９１２に加え、モーション制御部９１３を含む。カメラ９１１ａ、９１１ｂ及び９１１ｃは、互いの位置関係が可変に構成されている点において、第２実施形態のカメラ４１１ａ、４１１ｂ及び４１１ｃと相違する。

モーション制御部９１３は、カメラ９１１ａ、９１１ｂ及び９１１ｃの動きを制御する。モーション制御部９１３は、カメラ９１１ａ、９１１ｂ及び９１１ｃの位置又は撮影方向を制御することができる。モーション制御部９１３の制御により、カメラ９１１ａ、９１１ｂ及び９１１ｃは、互いの相対的な位置又は角度を変化させる。モーション制御部９１３は、例えば、サーボモータや直動式アクチュエータを駆動することによりカメラ９１１ａ、９１１ｂ及び９１１ｃの動きを制御する。

モーション制御部９１３による制御は、遠隔制御、すなわち変位計測装置４２０又は他の遠隔操作機器による制御であってもよい。あるいは、モーション制御部９１３による制御は、カメラ９１１ａ、９１１ｂ及び９１１ｃにより撮影された画像に基づく制御であってもよい。例えば、モーション制御部９１３は、計測対象物の特定の位置を撮影し続けるようにカメラ９１１ａ、９１１ｂ及び９１１ｃの位置又は撮影方向を制御してもよい。

モーション制御部９１３は、構成情報を通信部９１２に供給する。本実施形態の構成情報は、カメラ９１１ａ、９１１ｂ及び９１１ｃの撮影条件（相対的な位置、角度など）を示す情報を含む。例えば、構成情報は、基準とする位置からのカメラ９１１ａ、９１１ｂ及び９１１ｃの変位や回転角度を示す情報を含む。モーション制御部９１３は、構成情報を通信部９１２に常時供給する必要はなく、構成情報に変化が生じた場合のみに通信部９１２に供給してもよい。

なお、カメラ９１１ａ、９１１ｂ及び９１１ｃは、光学ズーム機能を有してもよい。すなわち、カメラ９１１ａ、９１１ｂ及び９１１ｃは、画像を光学的に拡大（又は縮小）して撮影する機構を有してもよい。この場合、カメラ９１１ａ、９１１ｂ及び９１１ｃによる撮影倍率は、独立に（すなわち他のカメラの撮影倍率によらずに）設定可能である。この場合、構成情報は、カメラ９１１ａ、９１１ｂ及び９１１ｃの撮影倍率を示す情報を含んでもよい。

通信部９１２は、画像データに加え、モーション制御部９１３から供給された構成情報を変位計測装置９２０に送信する。構成情報は、例えば、画像データのメタデータとして画像データに埋め込まれてもよい。構成情報は、カメラ９１１ａ、９１１ｂ及び９１１ｃの直前の状態からの差分を示す情報であってもよい。

変位計測装置９２０は、通信部９２１と、算出部９２２とを有する。通信部９２１は、画像データのほかに構成情報を受信する点において、第２実施形態の通信部４２１と相違する。算出部９２２は、通信部９２１により受信された構成情報に基づいて同次変換行列を算出（すなわち変更）する点において、第２実施形態の算出部４２２と相違する。

算出部９２２は、想定され得るカメラ９１１ａ、９１１ｂ及び９１１ｃの位置関係の全ての組み合わせに関して、図７のようなキャリブレーションをあらかじめ複数回実行し、当該組み合わせ毎の同次変換行列をあらかじめ算出してもよい。あるいは、算出部９２２は、構成情報の直前の状態からの変化に基づいて、変更後の同次変換行列を推定してもよい。算出部９２２は、例えば、ロボット工学におけるマニピュレータの順運動学及び逆運動学に基づいて同次変換行列を算出することが可能である。

なお、算出部９２２が実行する変位計測処理は、構成情報の変化に応じて（６）式の同次変換行列Ｍ_1γが変更され得る点のほかは、第２実施形態の変位計測処理（図８参照）と同様である。すなわち、本実施形態の同次変換行列は、モーション制御部９１３によるカメラ９１１ａ、９１１ｂ及び９１１ｃの動きの変化に応じて変更され得る。

以上のとおり、変位計測システム９００は、カメラ９１１ａ、９１１ｂ及び９１１ｃの動きを制御し、カメラ９１１ａ、９１１ｂ及び９１１ｃの動きに応じた同次変換行列を用いて計測対象物の変位を算出する構成を有する。変位計測システム９００は、第２実施形態の変位計測システム４００と同様の効果を奏することが可能である。加えて、変位計測システム９００は、カメラ９１１ａ、９１１ｂ及び９１１ｃが動かないように固定された構成でなくても計測対象物の変位を算出することが可能である。

［変形例］
本開示は、上述された第１実施形態～第３実施形態に限定されない。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせ、又は置換した形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。さらに、本開示は、これらに限らず、いわゆる当業者が把握し得る変形又は応用を適用した実施の形態を含み得る。

（変形例１）
ＵＡＶ４１０は、角速度又は加速度を計測するための構成を有してもよい。例えば、ＵＡＶ４１０は、いわゆるＩＭＵ（Inertial Measurement Unit）を含んで構成されてもよい。ＩＭＵにより計測される角速度及び加速度は、積分によってＵＡＶ４１０の角度及び
位置の変化を算出可能である。

（７）式の計算は、シーン中の点（Ｘ_α，Ｙ_α，Ｚ_α）と投影行列Ｐ_γκに含まれるレンズの中心位置ｔ及び回転行列Ｒとを求める、未知数が比較的多い最適化演算である。しかし、ＩＭＵを用いると、ＵＡＶ４１０の角度及び位置の変化からレンズの中心位置ｔ及び回転行列Ｒが算出可能であるため、これらを既知の値として扱うことが可能である。

（変形例２）
一般に、ＳｆＭにより求められたシーンの３次元位置、すなわち点（Ｘ_α，Ｙ_α，Ｚ_α）には、実世界の３次元位置とのスケールの不定性が存在する。ここでいう不定性とは、（１）式の比例係数ｓを（４）式又は（７）式の再投影誤差Ｅから一意的に特定できない性質をいう。この不定性ゆえに、算出部４２２により算出された変位は、メートル等の絶対的な長さを表す単位で記述することができず、基準となる位置との相対的な割合で表される。

算出部４２２は、絶対的な長さを表す単位で変位を表現するために、ＳｆＭにより求められるカメラの移動量と実際の移動量の比を計算してもよい。カメラの実際の移動量は、例えば、慣性センサや気圧センサを用いて求めることができる。

算出部４２２は、複数のカメラのうちの特定のカメラ（ここではカメラ４１１ａとする。）の位置を記録する。以下においては、このカメラ４１１ａの第κ画像の撮影時の位置を「ｔ_κ’」とする。また、（７）式の再投影誤差Ｅを最小化することにより求められるレンズの中心位置ｔ_κは、第κ画像の撮影時のカメラ４１１ａの位置に相当する。したがって、位置ｔ_κ’、中心位置ｔ_κ及び比例係数ｓの間には、以下の（９）式が成り立つ。

算出部４２２は、（９）式から比例係数ｓを算出することにより、例えばメートル単位の変位を算出することが可能である。具体的には、算出部４２２は、（７）式の再投影誤差Ｅを最小化することにより求められる変位に比例係数ｓを乗じることによって、変位を絶対的な長さを表す単位によって記述することが可能である。

（変形例３）
変位計測装置４２０は、複数の対応点の中から基準となる点（以下「不動点」という。）を設定してもよい。不動点は、第１の画像、すなわち基準位置を含む画像に含まれる対応点から選択される。変位計測装置４２０は、この不動点を基準としたカメラの位置を計算し、計算されたカメラの位置に基づいて、不動点でない対応点（以下「可動点」という。）の位置を計測してもよい。可動点は、第２の画像、すなわち計測位置を含む画像に含まれる対応点から選択される。

変位計測装置４２０は、不動点の位置から予想される可動点の位置と、実際に計測された可動点の位置との差分に基づいて計測対象物の変位を算出してもよい。このようにすれば、変位計測装置４２０は、可動点の変位をリアルタイムに算出することが可能である。

変位計測装置４２０において実行される処理は、具体的には以下のとおりである。まず、算出部４２２は、第１の時期において撮影された画像に基づいて、あらかじめ対応点の位置（Ｘ_α，Ｙ_α，Ｚ_α）を取得し、それぞれの位置関係を特定する（ただし、α＝１，２，・・・，Ｎ）。次に、算出部４２２は、これらの対応点の中から不動点（Ｘ_ｆ，Ｙ_ｆ，Ｚ_ｆ）と可動点（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）とを設定する。ここにおいて、ｆ及びｍは、αがとり得る値のうちの互いに重複しない値の集合である。すなわち、不動点と可動点の総和は、不動点の総数と等しい。

可動点の変位をリアルタイムに算出する場合、算出部４２２は、以下の（１０）式及び（１１）式を用いて、不動点及び可動点のそれぞれの再投影誤差Ｅ_Ｆ、Ｅ_Ｍを最小化し、それぞれのレンズの中心位置ｔ及び回転行列Ｒを推定する。このとき、対応点の位置（Ｘ_α，Ｙ_α，Ｚ_α）は既知であるため、これらの値は固定値として扱われる。

（１０）式及び（１１）式の再投影誤差を最小化すると、不動点を基準とした中心位置及び回転行列と可動点を基準とした中心位置及び回転行列とを求めることができる。以下においては、不動点を基準とした中心位置及び回転行列を、それぞれ「ｔ_Ｆ」、「Ｒ_Ｆ」と表記する。また、可動点を基準とした中心位置及び回転行列を、それぞれ「ｔ_Ｍ」、「Ｒ_Ｍ」と表記する。

これらの中心位置及び回転行列は、可動点の変位に起因する差分をそれぞれΔｔ、ΔＲとすると、以下の（１２）式のように表すことができる。これらの行列は、レンズの中心位置と回転を表す３行４列の行列（（２）式参照）に対し、逆行列を計算できるように第４行を追加して同次変換行列表現としたものである。

（１２）式に対し、可動点を基準とした中心位置及び回転行列を元とした同次変換行列の逆行列を左から乗じると、以下の（１３）式に示されるように、中心位置及び回転行列の差分の同次変換行列を求めることができる。

（１３）式のΔｔ及びΔＲは、不動点を基準とした可動点の変位を表している。すなわち、算出部４２２は、対応点の位置（Ｘ_α，Ｙ_α，Ｚ_α）を事前に取得し、以上のように動作することにより、第２の時期において撮影を複数回実行することなく可動点の変位を算出することが可能である。それゆえ、算出部４２２は、撮影位置を変えることなく、計測対象物を１回撮影するだけで、計測対象物の変位を算出することが可能である。

（変形例４）
本開示に係る基準点は、特徴量に基づく特徴点に限定されない。例えば、３次元形状を復元する手法には、特徴量ではなく画素の輝度や色を用いる手法も知られている。本開示に係る変位計測方法は、このような手法に対しても適用することが可能である。本開示に係る変位計測方法は、例えば、ＰＴＡＭ（Parallel Tracking and Mapping for Small AR Workspaces）やＬＳＤ－ＳＬＡＭ（Large-Scale Direct Monocular Simultaneous Localization and Mapping）を用いた位置推定にも適用可能である。本開示に係る基準点は、このような手法において用いられる特定の画素であってもよい。

（変形例５）
図１０Ａ、図１０Ｂ及び図１０Ｃは、第１実施形態に係る変位計測装置１００の変形例を示すブロック図である。図１０Ａに示される変位計測装置１００Ａは、取得部１０１０と、第１算出部１０２０と、第２算出部１０３０とを含む。図１０Ｂに示される変位計測装置１００Ｂは、取得部１０１０と、記憶部１０４０と、算出部１０５０とを含む。図１０Ｃに示される変位計測装置１００Ｃは、記憶部１０６０と、算出部１０５０とを含む。なお、取得部１０１０は、第１実施形態の取得部１１０と同様の構成及び機能を有する。また、算出部１０５０は、第１実施形態の算出部１２０と同様の構成及び機能を有する。

変位計測装置１００Ａにおいて、第１算出部１０２０は、関連付け情報を算出する。関連付け情報の具体的な算出方法は、第１実施形態～第３実施形態と同様でよい。第２算出部１０３０は、取得部１０１０により取得された第１の画像及び第２の画像と、第１算出部１０２０により算出された関連付け情報とを用いて、第２の位置（計測位置）の変位を算出する。第２の位置の具体的な算出方法は、第１実施形態～第３実施形態と同様でよい。

変位計測装置１００Ｂにおいて、記憶部１０４０は、関連付け情報を記憶する。記憶部１０４０は、他の装置によりあらかじめ（すなわち計測対象物の撮影前に）算出された関連情報を記憶する。したがって、変位計測装置１００Ｂは、関連付け情報を算出する必要がない。

変位計測装置１００Ｃにおいて、記憶部１０６０は、変位計測に必要な画像の全てと関連付け情報とを記憶する。記憶部１０６０は、他の装置によりあらかじめ算出された関連情報を記憶する。また、記憶部１０６０は、事前に撮影された画像を記憶する。変位計測装置１００Ｃは、変位計測装置１００Ｂと同様に、関連付け情報を算出する必要がない。

（変形例６）
本開示に係る変位計測システムは、第２実施形態又は第３実施形態の構成に限定されない。例えば、本開示に係る変位計測システムは、必ずしもＵＡＶを含まなくてもよい。

図１１は、本開示に係る変位計測システムの別の例を示すブロック図である。変位計測システム１１００は、撮影部１１１０と、算出部１１２０とを含んで構成される。変位計測システム１１００は、撮影部１１１０及び算出部１１２０が単一の装置に含まれていてもよい。あるいは、変位計測システム１１００は、変位計測システム４００と同様に、撮影部１１１０を含む移動可能な第１の装置（デジタルカメラ等）と、算出部１１２０を含む第２の装置（パーソナルコンピュータ等）とによって構成されてもよい。第１の装置と第２の装置は、無線ではなく有線で接続されてもよい。

撮影部１１１０は、第１の位置を含む第１の画像と第２の位置を含む第２の画像とを、第１の時期と第２の時期とに撮影する。算出部１１２０は、第１の画像及び第２の画像と、撮影部１１１０の構成情報に基づいて算出される関連付け情報とを用いて、第１の位置を基準とする第２の位置の変位を算出する。

図１２は、本開示に係る変位計測システムのさらに別の例を示すブロック図である。変位計測システム１２００は、ＵＡＶ１２１０と、変位計測装置１２２０とを含む。ＵＡＶ１２１０は、通信部４１２に代えてライタ部１２１１を有する点において第２実施形態のＵＡＶ４１０と相違する。変位計測装置１２２０は、通信部４２１に代えてリーダ部１２２１を有する点において第２実施形態の変位計測装置４２０と相違する。ＵＡＶ１２１０及び変位計測装置１２２０は、これらの点を除き、第２実施形態のＵＡＶ４１０及び変位計測装置４２０と共通の構成を有する。

ライタ部１２１１は、撮影部４１１から供給された画像データを着脱可能な記録媒体に記録する。この記録媒体は、例えば、いわゆるＵＳＢ（Universal Serial Bus）メモリやメモリカードである。リーダ部１２２１は、ライタ部１２１１により画像データが記録された記録媒体から画像データを読み出す。ライタ部１２１１及びリーダ部１２２１は、例えば、メモリカードのリーダライタである。

ＵＡＶ１２１０及び変位計測装置１２２０は、画像データを送受信する必要がない。ユーザは、ＵＡＶ１２１０による撮影が終了したら、画像データが記録された記録媒体をＵＡＶ１２１０から取り出し、変位計測装置１２２０に取り付ける。変位計測装置１２２０は、ユーザにより取り付けられた記録媒体から画像データを読み出し、変位を算出する。

（変形例７）
本開示に係る変位計測装置の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本開示に係る変位計測装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。

図１３は、本開示に係る変位計測装置を実現するコンピュータ装置１３００のハードウェア構成の一例を示すブロック図である。コンピュータ装置１３００は、ＣＰＵ（Central Processing Unit）１３０１と、ＲＯＭ（Read Only Memory）１３０２と、ＲＡＭ（Random Access Memory）１３０３と、記憶装置１３０４と、ドライブ装置１３０５と、通信インタフェース１３０６と、入出力インタフェース１３０７とを含んで構成される。本開示に係る変位計測装置は、図１３に示される構成（又はその一部）によって実現され得る。

ＣＰＵ１３０１は、ＲＡＭ１３０３を用いてプログラム１３０８を実行する。プログラム１３０８は、ＲＯＭ１３０２に記憶されていてもよい。また、プログラム１３０８は、メモリカード等の記録媒体１３０９に記録され、ドライブ装置１３０５によって読み出されてもよいし、外部装置からネットワーク１３１０を介して送信されてもよい。通信インタフェース１３０６は、ネットワーク１３１０を介して外部装置とデータをやり取りする。入出力インタフェース１３０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース１３０６及び入出力インタフェース１３０７は、データを取得又は出力するための構成要素として機能することができる。

なお、本開示に係る変位計測装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。例えば、本開示に係る変位計測装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。

上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、変位計測装置１００、４２０又は９２０は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置の協働によって実現されてもよい。

この出願は、２０１６年９月２１日に出願された日本出願特願２０１６－１８４４５１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００、４２０、９２０、１００Ａ、１００Ｂ、１００Ｃ、１２２０ 変位計測装置
１１０、１０１０ 取得部
１２０、４２２、９２２、１０５０、１１２０ 算出部
４００、９００、１１００、１２００ 変位計測システム
４１０、９１０、１２１０ ＵＡＶ
４１１、９１１、１１１０ 撮影部
４１１ａ、４１１ｂ、４１１ｃ、９１１ａ、９１１ｂ、９１１ｃ カメラ
９１３ モーション制御部
４２２ａ、１０２０ 第１算出部
４２２ｂ、１０３０ 第２算出部
１３００ コンピュータ装置

Claims (10)

1. 撮影手段に含まれている複数のカメラのうちの第１のカメラにより第１の時期に撮影された、変位計測において基準とする位置である第１の位置を含む画像及び当該撮影手段に含まれている前記複数のカメラのうちの第２のカメラにより前記第１の時期に撮影された、変位計測において基準とされない位置である第２の位置を含み、前記第１の位置を含まない画像と、当該撮影手段の前記第１のカメラにより第２の時期に撮影された、当該第１の位置を含む画像及び当該撮影手段の前記第２のカメラにより前記第２の時期に撮影された、当該第２の位置を含む画像とを取得する取得手段と、
   前記取得された複数の画像と、前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する算出手段と
   を備える変位計測装置。
2. 前記撮影手段は、ＵＡＶ（Unmanned Aerial Vehicle）に搭載される
   請求項１に記載の変位計測装置。
3. 前記構成情報は、前記第１のカメラ及び前記第２のカメラの撮影条件を示す情報を含む
   請求項１または請求項２に記載の変位計測装置。
4. 前記構成情報は、前記第１のカメラ及び前記第２のカメラの相対的な位置又は角度を示す情報を含む
   請求項３に記載の変位計測装置。
5. 複数のカメラを含む撮影手段と、
   前記撮影手段に含まれている前記複数のカメラのうちの第１のカメラにより第１の時期に撮影された、変位計測において基準とする位置である第１の位置を含む画像及び当該撮影手段に含まれている前記複数のカメラのうちの第２のカメラにより前記第１の時期に撮影された、変位計測において基準とされない位置である第２の位置を含み、前記第１の位置を含まない画像と、当該撮影手段の前記第１のカメラにより第２の時期に撮影された、当該第１の位置を含む画像及び当該撮影手段の前記第２のカメラにより前記第２の時期に撮影された、当該第２の位置を含む画像とを取得する取得手段と、
   前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する算出手段と
   を備える変位計測システム。
6. 前記撮影手段は、ＵＡＶ（Unmanned Aerial Vehicle）に搭載される
   請求項５に記載の変位計測システム。
7. 撮影手段に含まれている複数のカメラのうちの第１のカメラにより第１の時期に撮影された、変位計測において基準とする位置である第１の位置を含む画像及び当該撮影手段に含まれている前記複数のカメラのうちの第２のカメラにより前記第１の時期に撮影された、変位計測において基準とされない位置である第２の位置を含み、前記第１の位置を含まない画像と、当該撮影手段の前記第１のカメラにより第２の時期に撮影された、当該第１の位置を含む画像及び当該撮影手段の前記第２のカメラにより前記第２の時期に撮影された、当該第２の位置を含む画像とを取得し、
   前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する
   変位計測方法。
8. 前記撮影手段は、ＵＡＶ（Unmanned Aerial Vehicle）に搭載される
   請求項７に記載の変位計測方法。
9. コンピュータに、
   撮影手段に含まれている複数のカメラのうちの第１のカメラにより第１の時期に撮影された、変位計測において基準とする位置である第１の位置を含む画像及び当該撮影手段に含まれている前記複数のカメラのうちの第２のカメラにより前記第１の時期に撮影された、変位計測において基準とされない位置である第２の位置を含み、前記第１の位置を含まない画像と、当該撮影手段の前記第１のカメラにより第２の時期に撮影された、当該第１の位置を含む画像及び当該撮影手段の前記第２のカメラにより前記第２の時期に撮影された、当該第２の位置を含む画像とを取得する処理と、
   前記取得された複数の画像と前記撮影手段の構成情報に基づいて算出される関連付け情報とを用いて、前記第１の位置を基準とした場合の前記第１の時期における前記第２の位置と前記第２の時期における前記第２の位置との差を算出する処理と
   を実行させるためのプログラム。
10. 前記撮影手段は、ＵＡＶ（Unmanned Aerial Vehicle）に搭載される
    請求項９に記載のプログラム。

Images