JPWO2018143263A1 - 撮影制御装置、撮影制御方法及びプログラム - Google Patents

Abstract

撮影対象物の同一平面上の経時的な変化を低コストで的確に把握することを可能にする撮影制御装置、撮影制御方法及びプログラムを提供する。第１の撮影装置によって過去に撮影された第１の画像及び第２の撮影装置によって撮影された第２の画像からそれぞれ特徴点を抽出する特徴点抽出部（２４）であって、第１の画像及び第２の画像における撮影対象物の同一平面上の特徴点を抽出する特徴点抽出部（２４）と、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点との対応関係であって撮影対象物の同一平面上の特徴点同士の対応関係を取得する対応関係取得部（２６）と、撮影対象物の同一平面上の特徴点同士の対応関係に基づいて、第１の画像を撮影した場合の第１の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる第２の撮影装置の位置及び姿勢の変位量を算出する変位量算出部と、を備える。

Description

本発明は、撮影対象物の同一平面上の経時的な変化を低ハードウエアコストで的確に把握することを可能にする撮影制御装置、撮影制御方法及びプログラムに関する。

従来、撮影を制御する各種の技術が提案又は提供されてきた。

特許文献１には、非固定設置のカメラによって定点撮影を行う場合に、ＧＰＳ（global positioning system）センサ、地磁気センサ及び加速度センサを用いてカメラの現在の位置、撮影方位及び撮影傾斜角度を示す現在情報を取得し、且つ情報メモリからカメラの過去の位置、撮影方位及び撮影傾斜角度を示す過去情報を取得し、現在情報と過去情報との比較結果を撮影者に対して表示することが、記載されている。撮影者は、その表示を参照してカメラの現在の位置、撮影方位及び撮影傾斜角度を調整することにより、過去の撮影時と同一の視点から現在の撮影対象物を撮影することができる。

また社会的なインフラストラクチャーとして、橋梁、建築物といった構造物が多数存在する。これらの構造物には損傷が発生し、その損傷は進行する性質を持つため、構造物を定期的に点検する必要がある。このような点検の結果の正確性を期するため、構造物を定期的に撮影することにより構造物の損傷状態を的確に把握することが求められている。

特許文献２には、橋梁の下面近傍に張り渡された二本のケーブルに沿ってロボットを移動させて、そのロボットに搭載されたカメラによって橋梁の下面を撮影する場合に、ケーブルの回転駆動をモニタリングすることによりロボットの現在位置を測定し、ロボットを過去の撮影時の位置まで移動させることが、記載されている。

特許文献３には、二台のカメラが搭載されたロボットが自由に移動する場合に、ロボットの前方視野を連続撮像して静止物体を判断し、その静止物体の位置を基準にしてロボットの現在位置を検出することが、記載されている。また特許文献４には、回動自在なカメラが搭載されたロボットを移動させながら外観検査の対象物体を連続撮像する場合に、カメラを回動させて各画像の中心に対象物体像を位置合わせすることが、記載されている。

特開２０１０−１８３１５０号公報 特開２０１５−１１１１１１号公報 特開２００２−４８５１３号公報 特開平３−２５２８８３号公報

特許文献１に記載された技術は、カメラの位置、撮影方位及び撮影傾斜角度を取得するために、各種のセンサ（例えばＧＰＳセンサ、地磁気センサ、及び加速度センサ）をカメラごとに用意する必要がある。従って、ハードウエアのコスト及びサイズが増大してしまう問題がある。

特許文献２に記載された技術は、ロボットの移動方向がケーブルの長手方向に限定されるため、ケーブルの回転駆動をモニタリングするだけでロボットの現在位置を測定できるが、カメラの位置を二次元的に自在に制御可能な場合又はカメラの撮影方位若しくは撮影傾斜角度を自在に制御可能な場合には、適用が困難である。つまり、カメラの位置、撮影方位又は撮影傾斜角度を自在に制御可能な場合には、特許文献１に記載のように、各種のセンサを追加する必要があり、ハードウエアのコスト及びサイズが増大してしまう、と考えられる。

特許文献３は、前方視野の連続撮像により静止物体を判断してロボットの現在位置を検出する技術を開示しているが、撮影対象物の同一平面上の経時的な変化を的確に把握するための好適な構成については開示及び示唆がない。また特許文献４は、対象物体を連続撮像しながら画像の中心に対象物体像を位置合わせする技術を開示しているが、撮影対象物の同一平面上の経時的な変化を的確に把握するための好適な構成については開示及び示唆がない。そもそも特許文献３及び特許文献４は、撮影対象物の経時的な変化を平面ごとに把握することに関する記載がないといえる。

本発明は、撮影対象物の同一平面上の経時的な変化を低コストで的確に把握することを可能にする撮影制御装置、撮影制御方法及びプログラムを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る撮影制御装置は、第１の撮影装置によって撮影対象物を撮影して生成された第１の画像を取得する第１の画像取得部と、第２の撮影装置によって撮影対象物を撮影して生成された第２の画像を取得する第２の画像取得部と、第１の画像及び第２の画像からそれぞれ特徴点を抽出する特徴点抽出部であって、第１の画像及び第２の画像における撮影対象物の同一平面上の特徴点を抽出する特徴点抽出部と、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点との対応関係であって撮影対象物の同一平面上の特徴点同士の対応関係を取得する対応関係取得部と、撮影対象物の同一平面上の特徴点同士の対応関係に基づいて、第１の画像を撮影した場合の第１の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる第２の撮影装置の位置及び姿勢の変位量を算出する変位量算出部と、を備える。

本態様によれば、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点との対応関係であって撮影対象物の同一平面上の特徴点同士の対応関係が取得され、その取得された対応関係に基づいて、第１の画像を撮影した場合の第１の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる第２の撮影装置の位置及び姿勢の変位量が算出されるので、撮影装置の位置及び姿勢を検出するための各種のセンサ（例えば、ＧＰＳセンサ、地磁気センサ、加速度センサ）を省略又は少なくすることが可能であり、且つ撮影対象物の経時的な変化であって撮影対象物の同一平面上の変化を把握することが可能になる。また、第１の画像及び第２の画像の両方に存在する特徴点のみの対応関係に基づいて変位量が算出されるので、撮影対象物に新たな損傷が生じても、その新たな損傷は無視されて、的確な変位量が算出されることになる。つまり、撮影対象物の同一平面上の経時的な変化を低コストで的確に把握することが可能になる。

本発明の第２の態様に係る撮影制御装置は、変位量算出部によって算出された変位量に応じて、第２の撮影装置の位置及び姿勢の変位を制御する変位制御部を備える。

本発明の第３の態様に係る撮影制御装置は、第１の画像と第２の画像との一致度を算出する一致度算出部と、一致度を基準値と比較して、第２の撮影装置を変位させるか否かを判定する判定部と、を備え、変位制御部は、判定部によって第２の撮影装置を変位させると判定された場合には第２の撮影装置を変位させる。

本発明の第４の態様に係る撮影制御装置では、一致度算出部は、対応関係取得部によって対応付けされた特徴点同士の第１の画像における位置と第２の画像における位置との差に基づいて一致度を算出する。

本発明の第５の態様に係る撮影制御装置では、判定部によって第２の撮影装置を変位させると判定された場合には変位量を算出する。

本発明の第６の態様に係る撮影制御装置では、変位制御部によって第２の撮影装置を変位させた場合、第２の画像取得部による画像の取得、特徴点抽出部による特徴点の抽出、対応関係取得部による対応関係の取得、及び一致度算出部による一致度の算出を繰り返す。

本発明の第７の態様に係る撮影制御装置では、第１の画像及び第２の画像は、ステレオ画像であり、ステレオ画像に基づいて、第１の画像及び第２の画像における撮影対象物の平面領域を特定する平面特定部を備える。

本発明の第８の態様に係る撮影制御装置では、撮影対象物の三次元情報を取得する三次元情報取得部と、三次元情報に基づいて、第１の画像及び第２の画像における撮影対象物の平面領域を特定する平面特定部と、を備える。

本発明の第９態様に係る撮影制御装置では、平面特定部は、第１の画像における撮影対象物の平面領域を特定する第１の平面方程式と第２の画像における撮影対象物の平面領域を特定する第２の平面方程式とを算出し、対応関係取得部は、第１の平面方程式及び第２の平面方程式を用いて、撮影対象物の同一平面上の特徴点同士の対応関係を取得する。

本発明の第１０の態様に係る撮影制御装置は、第１の画像及び第２の画像から撮影対象物の損傷像を検出する損傷検出部を備え、変位量算出部は、第１の画像に非存在であり且つ第２の画像に存在する損傷像が検出された場合、損傷像を第２の画像取得部により取得される第３の画像の特定の位置に合わせる変位量を算出する。

本発明の第１１の態様に係る撮影制御装置は、表示部と、第１の画像と第２の画像とを並べて又は重ね合わせて表示部に表示させる表示制御部と、を備える。

本発明の第１２の態様に係る撮影制御方法は、第１の撮影装置によって撮影対象物を撮影して生成された第１の画像を取得するステップと、第２の撮影装置によって撮影対象物を撮影して生成された第２の画像を取得するステップと、第１の画像及び第２の画像からそれぞれ特徴点を抽出するステップであって、第１の画像及び第２の画像における撮影対象物の同一平面上の特徴点を抽出するステップと、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点との対応関係であって撮影対象物の同一平面上の特徴点同士の対応関係を取得するステップと、撮影対象物の同一平面上の特徴点同士の対応関係に基づいて、第１の画像を撮影した場合の第１の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる第２の撮影装置の位置及び姿勢の変位量を算出するステップと、を含む。

本発明の第１３の態様に係るプログラムは、第１の撮影装置によって撮影対象物を撮影して生成された第１の画像を取得するステップと、第２の撮影装置によって撮影対象物を撮影して生成された第２の画像を取得するステップと、第１の画像及び第２の画像からそれぞれ特徴点を抽出するステップであって、第１の画像及び第２の画像における撮影対象物の同一平面上の特徴点を抽出するステップと、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点との対応関係であって撮影対象物の同一平面上の特徴点同士の対応関係を取得するステップと、撮影対象物の同一平面上の特徴点同士の対応関係に基づいて、第１の画像を撮影した場合の第１の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる第２の撮影装置の位置及び姿勢の変位量を算出するステップと、をコンピュータに実行させる。

本発明よれば、撮影対象物の同一平面上の経時的な変化を低コストで的確に把握することが可能になる。

図１は、第１の実施形態における撮影制御装置の構成例を示すブロック図である。 図２は、変位量の算出の説明に用いる説明図である。 図３は、第１の実施形態における撮影制御処理例の流れを示すフローチャートである 図４は、一定範囲の説明に用いる説明図である。 図５は、第２の実施形態における撮影制御装置の構成例を示すブロック図である。 図６は、第２の実施形態における撮影制御処理例の流れを示すフローチャートである。 図７は、損傷像が非存在の第１の画像と損傷像を含む第２の画像の説明に用いる説明図である。 図８は、特徴点抽出の説明に用いる説明図である。 図９は、特徴点同士の対応付けの説明に用いる説明図である。 図１０は、第３の実施形態における撮影制御装置の構成例を示すブロック図である。 図１１は、第３の実施形態における撮影制御処理例の流れを示すフローチャートである。 図１２は、第１の画像の特徴点群の位置の修正、及び第２の画像の損傷像を第３の画像の中心位置に来させる変位量の算出の説明に用いる説明図である。 図１３は、撮影対象物の一例である橋梁の外観を示す斜視図である。 図１４は、ロボット装置の外観を示す斜視図である。 図１５は、図１４に示したロボット装置の要部断面図である。 図１６は、撮影装置の一例であるステレオカメラの外観を示す斜視図である。 図１７は、点検システムの全体構成を示す図である。 図１８は、図１７に示したロボット装置１００及び端末装置３００の要部構成例を示すブロック図である。 図１９は、ステレオカメラにより平面領域を有する撮影対象物を撮影して生成された画像を示す図である。 図２０は、平面領域の特定の説明に用いる画像である。

以下、添付図面に従って、本発明に係る撮影制御装置、撮影制御方法及びプログラムを実施するための形態について説明する。

［第１の実施形態］
図１は、第１の実施形態における撮影制御装置の構成例を示すブロック図である。

本実施形態の撮影制御装置１０Ａは、過去の撮影対象物を示す第１の画像（以下「過去の画像」ともいう）を取得する第１の画像取得部１２と、現在の撮影対象物を示す第２の画像（以下「現在の画像」ともいう）を取得する第２の画像取得部１４と、第１の画像及び第２の画像における撮影対象物の平面領域を特定する平面特定部２２と、第１の画像及び第２の画像からそれぞれ特徴点を抽出する特徴点抽出部２４であって第１の画像及び第２の画像における撮影対象物の同一平面上の特徴点を抽出する特徴点抽出部２４と、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点との対応関係であって撮影対象物の同一平面上の特徴点同士の対応関係を取得する対応関係取得部２６と、撮影対象物の同一平面上の特徴点同士の対応関係に基づいて、撮影装置６０の位置及び姿勢の変位量を算出する変位量算出部２８と、変位量算出部２８によって算出された変位量に応じて、撮影装置６０の位置及び姿勢の変位を制御する変位制御部３０と、各部を統括して制御する統括制御部３８（「判定部」の一形態である）と、各種の情報を記憶する記憶部４０と、を含んで構成される。

「第１の画像」は、過去に撮影対象物を撮影して生成された画像である。「第２の画像」は、現在の撮影対象物を撮影して生成された画像である。過去の撮影対象物の撮影に用いられた撮影装置（つまり第１の画像を生成した撮影装置）と、現在の撮影対象物の撮影に用いる撮影装置（つまり第２の画像を生成した撮影装置）とは、同一である必要はなく、異なってよい。本明細書では、過去の撮影対象物の撮影と現在の撮影対象物の撮影とで撮影装置が同じであるか異なるかに関わらず、過去の撮影対象物の撮影に用いた撮影装置６０を「第１の撮影装置」といい符号６０Ａで表し、現在の撮影対象の撮影に用いる撮影装置６０を「第２の撮影装置」といい符号６０Ｂで表すことがある。更に第１の撮影装置６０Ａと第２の撮影装置６０Ｂとは、同じ機種である必要はなく、異なる機種でもよい。また「過去の撮影対象物」と「現在の撮影対象物」とは、同一の物体であるが、損傷等に因り状態が変化している可能性がある。

また本例において「第１の画像」及び「第２の画像」は、ステレオ画像であり、それぞれ左眼画像（第１眼画像）と右眼画像（第２眼画像）とからなる。つまり本例において第１の撮影装置６０Ａ及び第２の撮影装置６０Ｂは、ステレオカメラである。

本例の第１の画像取得部１２は、データベース５０から、第１の画像を取得する。データベース５０は、第１の撮影装置６０Ａによって過去の撮影対象物を撮影して生成された第１の画像を、撮影対象物の撮影箇所に関連付けて、記憶する。第１の画像取得部１２は、例えば、ネットワークを介してデータベース５０にアクセスする通信デバイスによって構成される。

本例の第２の画像取得部１４は、第２の撮影装置６０Ｂから、第２の画像を取得する。つまり本例の第２の画像取得部１４は、第２の撮影装置６０Ｂによって現在の撮影対象物を撮影して生成された第２の画像を、第２の撮影装置６０Ｂから取得する。第２の画像取得部１４は、例えば、有線又は無線の通信を行う通信デバイスによって構成される。

本例の平面特定部２２は、第１の画像を構成するステレオ画像に基づいて、第１の画像における撮影対象物の平面領域を特定する第１の平面方程式を算出し、第２の画像を構成するステレオ画像に基づいて、第２の画像における撮影対象物の平面領域を特定する第２の平面方程式を算出する。平面領域の特定の具体例は、後に詳細に説明する。

本例の特徴点抽出部２４は、第１の画像と第２の画像とで撮影対象物の同一平面上の特徴点を抽出する。本例の特徴点抽出技術として、ＳＩＦＴ(scale invariant feature transform)、ＳＵＲＦ(speeded up robust features)、ＦＡＳＴ（features from accelerated segment test）などの公知技術を用いることができる。

本例の対応関係取得部２６は、公知のマッチング技術を用いて、撮影対象物の同一平面上の特徴点同士の対応関係を取得する。

また本例の対応関係取得部２６は、平面特定部２２によって算出された第１の平面方程式及び第２の平面方程式を用いて、撮影対象物の同一平面上の特徴点同士の対応関係を取得する。

本例の変位量算出部２８は、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点との対応関係であって撮影対象物の同一平面上の特徴点同士の対応関係に基づいて、射影変換（ホモグラフィ）行列を算出することにより、第２の撮影装置６０Ｂの位置及び姿勢の変位量を算出する。尚、対応関係取得部２６による特徴点間のマッチングと、変位量算出部２８による変位量の算出とを、同時に行ってもよい。

変位量算出部２８は、図２に例示するように、第１の画像ＩＭＧ１から抽出された特徴点と第２の画像ＩＭＧ２から抽出された特徴点との対応関係であって撮影対象物ＯＢＪの同一平面上の特徴点同士の対応関係に基づいて、三次元空間における第１の撮影装置６０Ａの位置ＣＰ１と第２の撮影装置６０Ｂの位置ＣＰ２との差分（ＣＰ２−ＣＰ１）と、第１の撮影装置６０Ａの姿勢を示す撮影傾斜角度ＣＡ１と第２の撮影装置６０Ｂの姿勢を示す撮影傾斜角度ＣＡ２との差分（ＣＡ２−ＣＡ１）とを、算出する。尚、図２に示す例では、目標となる第１の撮影装置６０Ａの撮影傾斜角度（ＣＡ１）が９０度であるため撮影方位を無視し、撮影傾斜角度の差分（ＣＡ２−ＣＡ１）のみを姿勢の差分として算出している。第１の撮影装置６０Ａの撮影傾斜角度（ＣＡ１）が９０度でない場合には、撮影方位の差分も算出して、その撮影方位の差分も姿勢の差分に含める。変位量算出部２８は、位置の差分（ＣＰ２−ＣＰ１）に基づいて第２の撮影装置６０Ｂの位置の変位量を決定し、姿勢の差分（本例ではＣＡ２−ＣＡ１）に基づいて第２の撮影装置６０Ｂの姿勢の変位量を決定することができる。変位制御部３０は、例えば、第２の撮影装置６０Ｂの位置ＣＰ２及び姿勢（本例では撮影傾斜角度ＣＡ２）を、第１の撮影装置６０Ａの位置ＣＰ１及び姿勢（本例では撮影傾斜角度ＣＡ１）に近づける制御を行う。尚、目標となる位置及び姿勢が決まっても、その目標と全く同じ位置及び姿勢に変位させることが難しい場合がある。従って、目標となる位置及び姿勢との差を一定範囲内に収めさせる変位量を算出すればよい。本例の変位量算出部２８は、第１の撮影装置６０Ａの位置及び姿勢（第１の撮影装置６０Ａによって過去の撮影対象物を撮影して第１の画像を生成した場合の第１の撮影装置６０Ａの位置及び姿勢である）との差を一定範囲内に収めさせる、第２の撮影装置６０Ｂの位置及び姿勢の変位量を算出する。

ここで位置及び姿勢の「一定範囲」は、例えば、図４に示すように、三次元空間における第１の撮影装置６０Ａの位置ＣＰ１と第２の撮影装置６０Ｂの変位後の位置ＣＰ３との差（ＣＰ３−ＣＰ１）の絶対値が閾値以内であり、且つ第１の撮影装置６０Ａの姿勢を示す角度ＣＡ１と第２の撮影装置６０Ｂの姿勢を示す角度ＣＡ３との差（ＣＡ３−ＣＡ１）の絶対値が閾値以内である場合である。

本例の変位制御部３０は、変位量算出部２８によって算出された変位量に応じて、変位駆動部７０を用いて、第２の撮影装置６０Ｂの位置及び姿勢の変位を制御する。本例の変位駆動部７０は、三次元空間における撮影装置６０の位置を変えることができる。また本例の変位駆動部７０は、撮影装置６０の撮影方位及び撮影傾斜角度をそれぞれ撮影装置６０のパン及び撮影装置６０のチルトにより変化させることができる。本明細書では、撮影装置６０の三次元空間における位置の変化、及び撮影装置６０の姿勢（撮影方位及び撮影傾斜角度）の変化を、総称して「変位」という。変位駆動の具体例は、後に詳細に説明する。

本例の統括制御部３８は、プログラムに従って、撮影制御装置１０Ａの各部を制御する。

本例の変位制御部３０、平面特定部２２、特徴点抽出部２４、対応関係取得部２６、変位量算出部２８、変位制御部３０、及び統括制御部３８は、ＣＰＵ(central processing unit）によって構成されている。

本例の記憶部４０は、一時的記憶デバイス及び非一時的記憶デバイスによって構成されている。一時的記憶デバイスは、例えば、ＲＡＭ(random access memory)である。非一時的記憶デバイスは、例えば、ＲＯＭ（read only memory）、ＥＥＰＲＯＭ(electrically erasable programmable read only memory)である。非一時的記憶デバイスは、プログラムを記憶する。

表示部４２は、各種の表示を行う。表示部４２は、液晶表示デバイス等の表示デバイスによって構成される。

指示入力部４４は、ユーザから指示の入力を受け付ける。指示入力部４４は、各種の入力デバイスを用いることができる。

表示制御部４６は、例えばＣＰＵによって構成されており、表示部４２を制御する。本例の表示制御部４６は、第１の画像と第２の画像とを並べて又は重ね合わせて表示部４２に表示させる。

図３は、第１の実施形態における撮影制御処理例の流れを示すフローチャートである。本例の撮影制御処理は、統括制御部３８等を構成するＣＰＵの制御により、プログラムに従って実行される。

まず、第１の画像取得部１２によって、過去の撮影対象物を示す第１の画像がデータベース５０から取得される（ステップＳ２）。

また、第２の画像取得部１４によって、現在の撮影対象物を示す第２の画像が撮影装置６０から取得される（ステップＳ４）。

次に、平面特定部２２によって、第１の画像における撮影対象物の平面領域が特定され、且つ第２の画像における撮影対象物の平面領域が特定される（ステップＳ６）。

次に、特徴点抽出部２４によって、第１の画像及び第２の画像から撮影対象物の同一平面上の特徴点が抽出される（ステップＳ８）。つまり、第１の画像及び第２の画像からそれぞれ特徴点を抽出する際に、撮影対象物の同一平面に対応する第１の画像の平面領域及び第２の画像の平面領域からそれぞれ特徴点を抽出する。

次に、対応関係取得部２６によって、第１の画像から抽出された特徴点と第２の画像から抽出された特徴点との対応関係であって、撮影対象物の同一平面上の特徴点同士の対応関係が取得される（ステップＳ１０）。

次に、変位量算出部２８によって、撮影対象物の同一平面上の特徴点同士の対応関係に基づいて、第２の撮影装置６０Ｂの位置及び姿勢と第１の画像を撮影時の第１の撮影装置６０Ａの位置及び姿勢との差を一定範囲内に収めさせる、第２の撮影装置６０Ｂの位置及び姿勢の変位量が算出される（ステップＳ２２）。

次に、変位制御部３０によって、算出された変位量に応じて撮影装置６０の位置及び姿勢を変位させる（ステップＳ２４）。

［第２の実施形態］
図５は、第２の実施形態における撮影制御装置１０Ｂの構成例を示すブロック図である。尚、図１に示した第１の実施形態における撮影制御装置１０Ａと同様の構成要素には、同じ符号を付してあり、既に説明した内容を以下では省略する。

本実施形態の撮影制御装置１０Ｂは、過去の撮影対象物を示す第１の画像と現在の撮影対象物を示す第２の画像との一致度を算出する一致度算出部３２を備える。

本例の一致度算出部３２は、対応関係取得部２６によって対応付けされた特徴点同士の第１の画像における位置と第２の画像における位置との差に基づいて一致度を算出する。

本例の統括制御部３８（「判定部」の一形態である）は、一致度算出部３２によって算出された一致度を基準値と比較して、第２の撮影装置６０Ｂを変位させるか否かを判定する。

本例の変位量算出部２８は、統括制御部３８（判定部）によって第２の撮影装置６０Ｂを変位させると判定された場合には変位量を算出し、統括制御部３８（判定部）によって第２の撮影装置６０Ｂを変位させないと判定された場合には変位量を算出しない。

本例の変位制御部３０は、統括制御部３８（判定部）によって第２の撮影装置６０Ｂを変位させると判定された場合には第２の撮影装置６０Ｂを変位させ、統括制御部３８（判定部）によって第２の撮影装置６０Ｂを変位させないと判定された場合には第２の撮影装置６０Ｂを変位させない。

図６は、第２の実施形態における撮影制御処理例の流れを示すフローチャートである。本例の撮影制御処理は、統括制御部３８を構成するＣＰＵの制御により、プログラムに従って実行される。尚、図３に示した第１の実施形態のフローチャートと同様のステップには、同じ符号を付してあり、既に説明した内容を以下では省略する。

ステップＳ２〜ステップＳ１０は、第１の実施形態と同様である。

図７に示すように、ステップＳ２で取得された第１の画像ＩＭＧ１にひび割れ像ＣＲ（損傷像）が存在せず、ステップＳ４で取得された第２の画像ＩＭＧ２にひび割れ像ＣＲ（損傷像）が存在するものとする。ステップＳ８の特徴点抽出において、図８に示すように、第１の画像ＩＭＧ１から特徴点Ｐ１１〜Ｐ１７が抽出され、第２の画像ＩＭＧ２から特徴点Ｐ２１〜Ｐ３０が抽出されたものとする。ステップＳ１０の対応関係取得において、図９に示すように、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とで対応する特徴点群（Ｇ１１とＧ２１、Ｇ１２とＧ２２）の特徴点同士の対応関係が取得され、第２の画像ＩＭＧ２にのみ存在するひび割れ像ＣＲ（損傷像）は無視される。

ステップＳ１２において、一致度算出部３２により、第１の画像と第２の画像との一致度が算出される。本例の一致度算出部３２は、次式に従って、評価値ＭＶを一致度として算出する。

数１において、Ｘｒｉ及びＹｒｉは、第１の画像ＩＭＧ１の各特徴点Ｐ１１〜Ｐ１７の第１の画像ＩＭＧ１における位置を示す座標である。Ｘｓｉ及びＹｓｉは、第２の画像ＩＭＧ２の各特徴点Ｐ２１〜Ｐ３０のうちひび割れ像ＣＲ（損傷像）の特徴点Ｐ２８〜Ｐ３０を除く特徴点Ｐ２１〜Ｐ２７（対応関係取得部２６によって第１の画像ＩＭＧ１の各特徴点Ｐ１１〜Ｐ１７と対応付けされた特徴点である）の第２の画像ＩＭＧ２における位置を示す座標である。ｎは、対応する特徴点の数（対応点数）である。ｉは、特徴点の識別番号であり、１からｎまでの整数である。

評価値ＭＶとして、次式を用いてもよい。

つまり、評価値ＭＶとして、対応する特徴点ごと（対応点ごと）のずれ（差分）の最大値を算出する。

対応する特徴点の数が一定である場合、次式を用いてもよい。

尚、数１、数２及び数３で示した評価値ＭＶは、値が小さいほど二つの画像が一致していることを示す。ただし、本発明はこのような場合に限定されず、値が大きいほど二つの画像が一致していることを示す評価値を用いてもよい。

次に、統括制御部３８によって、第１の画像と第２の画像との一致度が収束したか否かが判定される（ステップＳ１４）。

本例の「基準値」は、第１の画像と第２の画像とで対応する特徴点群間の画像中の位置の一致の誤差の許容値を示す閾値である。例えば、図９において、第１の画像の特徴点群Ｇ１１及びＧ１２と第２の画像の特徴点群Ｇ２１、Ｇ２２との画像中の位置の一致の程度を示す評価値ＭＶと基準値とが比較される。

本例の評価値（数１、数２又は数３の評価値ＭＶ）は値が小さいほど二つの画像が一致していることを示すので、一致度算出部３２によって算出された評価値ＭＶが基準値未満であると判定された場合（ステップＳ１４でＹｅｓの場合）、本処理を終了する。つまり、所望の位置に達したとして終了する。

ステップＳ１４で一致度が収束していないと判定された場合には、変位量算出部２８によって第２の撮影装置６０Ｂの位置及び姿勢の変位量が算出され（ステップＳ２２）、変位制御部３０によって第２の撮影装置６０Ｂの位置及び姿勢が変位させられ（ステップＳ２４）、ステップＳ４に戻る。つまり、第２の画像取得部１４による画像の取得（ステップＳ４）、平面特定部２２による平面領域の特定（ステップＳ６）、特徴点抽出部２４による特徴点の抽出（ステップＳ８）、対応関係取得部２６による第１の画像と第２の画像との特徴点の対応関係の取得（ステップＳ１０）、及び一致度算出部３２による一致度の算出（ステップＳ１２）を、繰り返す。平面領域の特定（ステップＳ６）及び特徴点の抽出（ステップＳ８）は、現在の撮影対象物を示す第２の画像のみ行えばよい。尚、ステップＳ２２及びステップＳ２４は、第１の実施形態と同様である。

尚、一致度として、値が大きいほど二つの画像が一致していることを示す評価値を用いた場合には、評価値と基準値との大小関係が逆になることに注意する。つまりステップＳ１４において、一致度を示す評価値が基準値以上である場合には一致度が収束したと判定され（ステップＳ１４でＹｅｓ）、一致度を示す評価値が基準値未満である場合には収束していないと判定される（ステップＳ１４でＮｏ）。

［第３の実施形態］
図１０は、第３の実施形態における撮影制御装置１０Ｃの構成例を示すブロック図である。尚、図１に示した第１の実施形態における撮影制御装置１０Ａと同様の構成要素には、同じ符号を付してあり、既に説明した内容を以下では省略する。

本実施形態の撮影制御装置１０Ｃは、過去の撮影対象物を示す第１の画像及び現在の撮影対象物を示す第２の画像から、撮影対象物の損傷像を検出する損傷検出部３４を備える。

本例の変位量算出部２８は、過去の撮影対象物を示す第１の画像に非存在であり且つ現在の撮影対象物を示す第２の画像に存在する損傷像が検出された場合、その検出された損傷像を第２の画像取得部１４により新たに取得される画像（以下「第３の画像」という）の特定の位置に合わせる変位量を算出する。

図１１は、第３の実施形態における撮影制御処理例の流れを示すフローチャートである。本例の撮影制御処理は、統括制御部３８等を構成するＣＰＵの制御により、プログラムに従って実行される。尚、図３に示した第１の実施形態のフローチャートと同様のステップには、同じ符号を付してあり、既に説明した内容を以下では省略する。

ステップＳ２〜ステップＳ６は、第１の実施形態と同様である。

ステップＳ７において、損傷検出部３４により、図７に示した第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２から、撮影対象物のひび割れ像ＣＲ（損傷像）を検出する。図７に示した例では、第１の画像ＩＭＧ１から損傷像が検出されず、第２の画像ＩＭＧ２から損傷像が検出される。

ステップＳ８及びステップＳ１０は、第１の実施形態と同様である。

ステップＳ１６において、統括制御部３８により、第１の画像ＩＭＧ１に非存在であり且つ第２の画像ＩＭＧ２に存在する損傷像が検出されたか否かを判定し、検出された場合にはステップＳ１８を実行する。

ステップＳ１８において、変位量算出部２８によって、図１２に示すように、過去の撮影対象物を示す第１の画像ＩＭＧ１の特徴点群の位置を修正し、ステップＳ２２にて、検出されたひび割れ像ＣＲを第２の画像取得部１４により新たに取得される画像（第３の画像）の特定の位置に合わせる変位量を算出している。図１２に示す例では、ひび割れ像ＣＲ（損傷像）が第３の画像ＩＭＧ３の左右の中心位置（撮影装置６０の画角の中心に対応する位置である）に来るように、変位量を算出する。尚、図１２において、斜線部分は第１の画像ＩＭＧ１には含まれない部分を示し、この斜線部分は変位量の算出に使用しない。

「撮影対象物の例」
図１３は、撮影対象物の一例である橋梁の外観を示す斜視図である。図１３に示す橋梁１は、主桁２、横桁３、対傾構４、及び横構５を含んで構成されている。主桁２等の上部には、コンクリート製の部材である床版６が打設されている。主桁２は、床版６上の車輌等の荷重を支える部材である。横桁３、対傾構４及び横構５は、主桁２を連結する部材である。

なお、本発明における「撮影対象物」は、橋梁に限定されない。撮影対象物は、例えば、建築物、工業製品でもよい。

［変位駆動の例］
図１４は、撮影装置の一例であるステレオカメラを搭載したロボット装置の外観を示す斜視図であり、橋梁１の主桁２間に設置されている状態に関して示している。また、図１５は、図１４に示したロボット装置の要部断面図である。

図１４及び図１５に示すロボット装置１００は、ステレオカメラ２０２を搭載し、ステレオカメラ２０２の位置（以下「撮影位置」ともいう）を制御するとともに、ステレオカメラ２０２の姿勢（撮影方位及び撮影傾斜角度）を制御し、ステレオカメラ２０２に橋梁１を撮影させる。

ロボット装置１００は、主フレーム１０２と、垂直伸延アーム１０４と、筐体１０６とを含んで構成される。筐体１０６の内側には、筐体１０６をＸ方向（本例では主フレーム１０２の長手方向、即ち主桁２の長手方向と直交する方向である）に移動させることにより、ステレオカメラ２０２をＸ方向において変位させるＸ方向駆動部１０８（図１８）と、ロボット装置１００全体をＹ方向（本例では主桁２の長手方向である）に移動させることにより、ステレオカメラ２０２をＹ方向において変位させるＹ方向駆動部１１０（図１８）と、垂直伸延アーム１０４をＺ方向（本例では垂直方向である）に伸縮させることにより、ステレオカメラ２０２をＺ方向において変位させるＺ方向駆動部１１２（図１８）とが、設けられている。

Ｘ方向駆動部１０８は、主フレーム１０２の長手方向（Ｘ方向）に配設されたボールネジ１０８Ａと、筐体１０６に配設されたボールナット１０８Ｂと、ボールネジ１０８Ａを回転させるモータ１０８Ｃとから構成され、モータ１０８Ｃによりボールネジ１０８Ａを正転又は逆転させることにより、筐体１０６をＸ方向に移動させる。

Ｙ方向駆動部１１０は、主フレーム１０２の両端にそれぞれ配設されたタイヤ１１０Ａ、１１０Ｂと、タイヤ１１０Ａ、１１０Ｂ内に配設されたモータ（図示せず）とから構成され、タイヤ１１０Ａ、１１０Ｂをモータ駆動することによりロボット装置１００全体をＹ方向に移動させる。

尚、ロボット装置１００は、主フレーム１０２の両端のタイヤ１１０Ａ、１１０Ｂが、２箇所の主桁２の下フランジ上に載置され、かつ主桁２を挟む態様で設置される。これにより、ロボット装置１００は、主桁２の下フランジに懸垂して、主桁２に沿って移動（自走）することができる。また、主フレーム１０２は、主桁２の間隔に合わせて長さが調整可能に構成されている。

垂直伸延アーム１０４は、ロボット装置１００の筐体１０６に配設されており、筐体１０６とともにＸ方向及びＹ方向に移動する。また、垂直伸延アーム１０４は、筐体１０６内に設けられたＺ方向駆動部１１２（図１８）によりＺ方向に伸縮する。

図１６に示すように、垂直伸延アーム１０４の先端には、カメラ設置部１０４Ａが設けられており、カメラ設置部１０４Ａには、パンチルト機構１２０によりパン方向（パン軸Ｐ回りの方向）及びチルト方向（チルト軸Ｔ回りの方向）に回動可能なステレオカメラ２０２が設置されている。

ステレオカメラ２０２は、視差の異なる二枚の画像（左眼画像及び右眼画像）からなるステレオ画像を撮影する第１の撮像部２０２Ａと第２の撮像部２０２Ｂとを有し、ステレオカメラ２０２による撮影範囲に対応する撮影対象物（本例では橋梁１）の第１の空間情報であって、ステレオカメラ２０２を基準にしたローカル座標系（カメラ座標系）における橋梁１の第１の空間情報を取得する第１の空間情報取得部の一部として機能し、また撮影される２つの画像のうちの少なくとも一方の画像を、点検調書に添付する「点検画像」として取得する。

また、ステレオカメラ２０２は、パンチルト駆動部２０６（図１８）から駆動力が加えられるパンチルト機構１２０により垂直伸延アーム１０４と同軸のパン軸Ｐを中心に回動し、あるいは水平方向のチルト軸Ｔを中心に回動する。これにより、ステレオカメラ２０２は任意の姿勢の撮影（任意の撮影方位の撮影及び任意の撮影傾斜角度の撮影）を行うことができる。

本例のステレオカメラ２０２の第１の撮像部２０２Ａの光軸Ｌ_１と、第２の撮像部２０２Ｂの光軸Ｌ_２とはそれぞれ平行である。また、パン軸Ｐは、チルト軸Ｔと直交している。更に、ステレオカメラ２０２の基線長（即ち、第１の撮像部２０２Ａと第２の撮像部２０２Ｂとの設置間隔）は既知である。

また、ステレオカメラ２０２を基準にしたカメラ座標系は、パン軸Ｐとチルト軸Ｔとの交点を原点Ｏｒとし、チルト軸Ｔの方向をｘ軸方向、パン軸Ｐの方向をｚ軸方向、ｘ軸及びｙ軸にそれぞれ直交する方向をｙ軸方向とする。

＜点検システムの構成例＞
図１７は、本発明に係る撮影制御装置を適用した点検システムの全体構成例を示す。図１７に示すように本例の点検システムは、データベース５０と、ステレオカメラ２０２（撮影装置６０の一形態である）を搭載したロボット装置１００と、端末装置３００と、操作コントローラ４００とを含んで構成されている。

図１８は、図１７に示したロボット装置１００及び端末装置３００の要部構成例を示すブロック図である。

図１８に示すように、ロボット装置１００は、Ｘ方向駆動部１０８、Ｙ方向駆動部１１０、Ｚ方向駆動部１１２及び位置制御部１３０と、パンチルト駆動部２０６及び姿勢制御部２１０と、カメラ制御部２０４と、ロボット側通信部２３０と、を含んで構成されている。

ロボット側通信部２３０は、端末側通信部３１０との間で双方向の無線通信を行い、端末側通信部３１０から送信される各種の指令（例えば、ステレオカメラ２０２の位置制御を指令する位置制御指令、ステレオカメラ２０２の姿勢制御を指令する姿勢制御指令、ステレオカメラ２０２の撮影を制御する撮影指令）を受信し、その受信した指令をそれぞれ対応する制御部に出力する。尚、端末装置３００の詳細については後述する。

位置制御部１３０は、ロボット側通信部２３０から入力する位置制御指令に基づいてＸ方向駆動部１０８、Ｙ方向駆動部１１０、及びＺ方向駆動部１１２を制御し、ロボット装置１００のＸ方向及びＹ方向に移動させるとともに、垂直伸延アーム１０４をＺ方向に伸縮させる（図１４参照）。

姿勢制御部２１０は、ロボット側通信部２３０から入力する姿勢制御指令に基づいてパンチルト駆動部２０６を介してパンチルト機構１２０をパン方向及びチルト方向に動作させ、ステレオカメラ２０２を所望の方向にパンチルトさせる（図１６参照）。

カメラ制御部２０４は、ロボット側通信部２３０から入力する撮影指令に基づいてステレオカメラ２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにライブビュー画像、又は点検用画像の撮影を行わせる。

橋梁１の点検時にステレオカメラ２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮影された視差の異なる左眼画像ｉＬ及び右眼画像ｉＲを示す画像データは、ロボット側通信部２３０を介して端末側通信部３１０に送信される。

端末装置３００は、端末側通信部３１０（第１の画像取得部１２及び第２の画像取得部１４の一形態である）と、端末制御部３２０（平面特定部２２、特徴点抽出部２４、対応関係取得部２６、変位量算出部２８、一致度算出部３２、損傷検出部３４、統括制御部３８、及び表示制御部４６の一形態である）と、指示入力部３３０と、表示部３４０と、記憶部３５０とを含んで構成されている。端末装置３００として、例えば、パーソナルコンピュータ、又はタブレット端末を用いることができる。

端末側通信部３１０は、ロボット側通信部２３０との間で双方向の無線通信を行い、ロボット側通信部２３０が入力する各種の情報（第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮影された画像を受信するとともに、端末制御部３２０を介して入力する指示入力部３３０での操作に応じた各種の指令をロボット側通信部２３０に送信する。

端末制御部３２０は、端末側通信部３１０を介して受信した画像を表示部３４０に出力し、表示部３４０の画面に画像を表示させる。指示入力部３３０は、ステレオカメラ２０２の位置をＸ方向、Ｙ方向及びＺ方向において変化させる位置制御指令、ステレオカメラ２０２の姿勢（撮影方位及び撮影傾斜角度）を変化させる姿勢制御指令、及びステレオカメラ２０２による画像の撮影を指令する撮影指令を出力する。点検者は、表示部３４０に表示される画像を見ながら指示入力部３３０を手動操作する。指示入力部３３０は、点検者による操作に応じてステレオカメラ２０２の位置制御指令、姿勢制御指令、及び撮影指令等の各種の指令を端末制御部３２０に出力する。端末制御部３２０は、指示入力部３３０に入力される各種の指令を端末側通信部３１０を介してロボット側通信部２３０に送信する。

また、端末制御部３２０は、記憶部３５０に記憶された情報に基づいて画像に含まれる撮影対象物（本例では橋梁１）を構成する各部材を特定する部材識別情報を取得する機能を有する。

［平面領域の特定例］
本例の第１の画像及び第２の画像はステレオ画像であり、平面特定部２２は、ステレオ画像に基づいて視差を算出し、画素位置及び視差に基づいて平面領域を特定することができる。特徴点抽出部２４は、第１の画像及び第２の画像のそれぞれから、平面特定部２２の平面特定結果に基づいて撮影対象物の同一平面における特徴点を抽出することができる。

平面領域の特定は、例えば、ＲＡＮＳＡＣ（RANDom Sample Consensus）アルゴリズムを用いて行うことができる。ＲＡＮＳＡＣアルゴリズムは、ランダムなサンプリングと、モデルパラメータ（平面を表すパラメータである）の算出と、算出したモデルパラメータの正しさの評価とを、最適な評価値が得られるまで繰り返すアルゴリズムである。以下、具体的な手順を説明する。

図１９は、ステレオカメラ２０２により平面領域を有する撮影対象物を撮影して生成されたステレオ画像のうち左眼画像ｉＬの一例を示す。

三つの平面領域（第１の平面領域Ｇ１、第２の平面領域Ｇ２、第３の平面領域Ｇ３）は、それぞれ橋梁１（撮影対象物の一例である）の平面領域である。橋梁１を構成する部材ごとに平面領域が存在する場合があり、また一つの部材が二以上の平面領域を含む場合もある。

（ステップＳ１０１）
まず、画像から、ランダムに代表点を抽出する。例えば、図２０の点ｆ１（ｕ_１，ｖ_１，ｗ_１），点ｆ２（ｕ_２，ｖ_２，ｗ_２），及び点ｆ３（ｕ_３，ｖ_３，ｗ_３）を抽出したものとする。ここで抽出された代表点は、各平面領域（幾何領域の一形態である）の平面方程式（幾何方程式の一形態である）を決定するための点であり、代表点の数が多いほど精度（信頼性）の高い平面方程式を求めることができる。尚、画像の水平方向座標をｕ_ｉ，垂直方向座標をｖ_ｉ，視差（距離相当）をｗ_ｉで表す（ｉは点番号を表す１以上の整数）。

（ステップＳ１０２）
次に、抽出した点ｆ１，ｆ２，ｆ３から平面方程式を決定する。３次元空間（ｕ，ｖ，ｗ）における平面方程式Ｆは一般に次式で表される（ａ，ｂ，ｃ，ｄは定数）。

[数４]
Ｆ＝ａ×ｕ＋ｂ×ｖ＋ｃ×ｗ＋ｄ
（ステップＳ１０３）
画像の全ての画素（ｕ_ｉ，ｖ_ｉ，ｗ_ｉ）について、数４の式の平面方程式Ｆで表される平面までの距離を算出する。距離が閾値以下なら、その画素は平面方程式Ｆで表される平面上に存在すると判断する。

（ステップＳ１０４）
平面方程式Ｆで表される平面上に存在する画素数が現在の最適解についての画素数よりも多ければ、平面方程式Ｆを最適解とする。

（ステップＳ１０５）
ステップＳ１０１〜Ｓ１０４を決められた回数繰り返す。

（ステップＳ１０６）
得られた平面方程式を解として１つの平面を決定する。

（ステップＳ１０７）
ステップＳ１０６までで決定した平面上の画素を処理対象（平面の抽出対象）から除外する。

（ステップＳ８）
ステップＳ１０１〜Ｓ１０７を繰り返し、抽出した平面が一定数を超えるか、残った画素が規定数より少なくなれば終了する。

上述の手順により、ステレオ画像から平面領域を特定することができる。図１９の例では、３つの平面領域Ｇ１，Ｇ２，及びＧ３が特定される。本例では、このように異なる平面領域を識別することにより、高精度に撮影装置の変位量を算出することができる。

［バリエーション］
前述の実施形態では、撮影装置としてステレオカメラを用い、ステレオ画像（二視点画像）を撮影する場合を例に説明したが、本発明はこのような場合に限定されない。撮影装置として非ステレオカメラを用い、単視点画像を撮影する場合にも本発明を適用可能である。

第１の画像及び第２の画像が単視点画像である場合、撮影制御装置１０（１０Ａ、１０Ｂ、１０Ｃ）に、撮影対象物の三次元情報を取得する三次元情報取得部（例えば深度センサ）を設け、平面特定部２２は、三次元情報取得部によって取得された三次元情報に基づいて、第１の画像及び第２の画像における撮影対象物の平面領域を特定する。

また前述の第２の実施形態及び第３の実施形態を組み合わせて、実施してよい。

また前述の実施形態では、撮影対象物に取り付けたロボットにおいて撮影装置の位置及び姿勢を変位させる場合を例に説明したが、本発明はこのような場合に限定されない。例えば、ドローン（無人飛行体）に撮影装置を搭載し、ドローンを制御することにより撮影装置の位置及び姿勢を変位させてもよい。

また前述の実施形態において、図１、図５及び図１０に示した、平面特定部２２、特徴点抽出部２４、対応関係取得部２６、変位量算出部２８、変位制御部３０、一致度算出部３２、損傷検出部３４、統括制御部３８、及び表示制御部４６は、次に示すような各種のプロセッサ（processor）によって構成することができる。各種のプロセッサには、ソフトウエア（プログラム）により各種の処理を実行する汎用的なプロセッサであるＣＰＵ（central processing unit）、ＦＰＧＡ（field programmable gate array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（programmable logic device：ＰＬＤ）、ＡＳＩＣ（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。前述の実施形態において、撮影制御装置１０（１０Ａ、１０Ｂ、１０Ｃ）の機能は、これら各種のプロセッサのうちの１つで実現されてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで実現する例としては、システムオンチップ（system on chip：ＳｏＣ）などに代表されるように、複数の機能を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウエア的な構造として、上述した各種のプロセッサを１つ以上用いて実現される。さらに、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。

１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
１０（１０Ａ、１０Ｂ、１０Ｃ） 撮影制御装置
１２ 第１の画像取得部
１４ 第２の画像取得部
２２ 平面特定部
２４ 特徴点抽出部
２６ 対応関係取得部
２８ 変位量算出部
３０ 変位制御部
３２ 一致度算出部
３４ 損傷検出部
３８ 統括制御部（「判定部」の一形態である）
４０ 記憶部
４２ 表示部
４４ 指示入力部
４６ 表示制御部
５０ データベース
６０ 撮影装置
６０Ａ 第１の撮影装置
６０Ｂ 第２の撮影装置
７０ 変位駆動部
１００ ロボット装置
１０２ 主フレーム
１０４ 垂直伸延アーム
１０４Ａ カメラ設置部
１０６ 筐体
１０８ Ｘ方向駆動部
１０８Ａ ボールネジ
１０８Ｂ ボールナット
１０８Ｃ モータ
１１０ Ｙ方向駆動部
１１０Ａ、１１０Ｂ タイヤ
１１２ Ｚ方向駆動部
１２０ パンチルト機構
１３０ 位置制御部
２０２ ステレオカメラ
２０２Ａ 第１の撮像部
２０２Ｂ 第２の撮像部
２０４ カメラ制御部
２０６ パンチルト駆動部
２１０ 姿勢制御部
２３０ ロボット側通信部
３００ 端末装置
３１０ 端末側通信部
３２０ 端末制御部
３３０ 指示入力部
３４０ 表示部
３５０ 記憶部
４００ 操作コントローラ
ＣＡ１ 撮影傾斜角度
ＣＡ２ 撮影傾斜角度
ＣＲ ひび割れ像
Ｇ１ 第１の平面領域
Ｇ２ 第２の平面領域
Ｇ３ 第３の平面領域
iＬ 左眼画像
ＩＭＧ１ 第１の画像
ＩＭＧ２ 第２の画像
ＩＭＧ３ 第３の画像
iＲ 右眼画像
Ｌ１、Ｌ２ 光軸
ＯＢＪ 撮影対象物
Ｐ パン軸
Ｐ１１〜Ｆ１７、Ｆ２１〜Ｆ３０ 特徴点
Ｔ チルト軸

Claims (13)

1. 第１の撮影装置によって撮影対象物を撮影して生成された第１の画像を取得する第１の画像取得部と、
   第２の撮影装置によって前記撮影対象物を撮影して生成された第２の画像を取得する第２の画像取得部と、
   前記第１の画像及び前記第２の画像からそれぞれ特徴点を抽出する特徴点抽出部であって、前記第１の画像及び前記第２の画像における前記撮影対象物の同一平面上の特徴点を抽出する特徴点抽出部と、
   前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点との対応関係であって前記撮影対象物の同一平面上の特徴点同士の対応関係を取得する対応関係取得部と、
   前記撮影対象物の同一平面上の特徴点同士の前記対応関係に基づいて、前記第１の画像を撮影した場合の前記第１の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる前記第２の撮影装置の位置及び姿勢の変位量を算出する変位量算出部と、
   を備える撮影制御装置。
2. 前記変位量算出部によって算出された前記変位量に応じて、前記第２の撮影装置の位置及び姿勢の変位を制御する変位制御部を備える、
   請求項１に記載の撮影制御装置。
3. 前記第１の画像と前記第２の画像との一致度を算出する一致度算出部と、
   前記一致度を基準値と比較して、前記第２の撮影装置を変位させるか否かを判定する判定部と、を備え、
   前記変位制御部は、前記判定部によって前記第２の撮影装置を変位させると判定された場合には前記第２の撮影装置を変位させる、
   請求項２に記載の撮影制御装置。
4. 前記一致度算出部は、前記対応関係取得部によって対応付けされた前記特徴点同士の前記第１の画像における位置と前記第２の画像における位置との差に基づいて前記一致度を算出する、
   請求項３に記載の撮影制御装置。
5. 前記変位量算出部は、前記判定部によって前記第２の撮影装置を変位させると判定された場合には前記変位量を算出する、
   請求項３又は４に記載の撮影制御装置。
6. 前記変位制御部によって前記第２の撮影装置を変位させた場合、前記第２の画像取得部による画像の取得、前記特徴点抽出部による前記特徴点の抽出、前記対応関係取得部による前記対応関係の取得、及び前記一致度算出部による前記一致度の算出を繰り返す、
   請求項３から５のうちいずれか一項に記載の撮影制御装置。
7. 前記第１の画像及び前記第２の画像は、ステレオ画像であり、
   前記ステレオ画像に基づいて、前記第１の画像及び前記第２の画像における前記撮影対象物の平面領域を特定する平面特定部を備える、
   請求項１から６のうちいずれか一項に記載の撮影制御装置。
8. 前記撮影対象物の三次元情報を取得する三次元情報取得部と、
   前記三次元情報に基づいて、前記第１の画像及び前記第２の画像における前記撮影対象物の平面領域を特定する平面特定部と、を備える、
   請求項１から６のうちいずれか一項に記載の撮影制御装置。
9. 前記平面特定部は、前記第１の画像における前記撮影対象物の平面領域を特定する第１の平面方程式と前記第２の画像における前記撮影対象物の平面領域を特定する第２の平面方程式とを算出し、
   前記対応関係取得部は、前記第１の平面方程式及び前記第２の平面方程式を用いて、前記撮影対象物の同一平面上の特徴点同士の対応関係を取得する、
   請求項７又は８に記載の撮影制御装置。
10. 前記第１の画像及び前記第２の画像から前記撮影対象物の損傷像を検出する損傷検出部を備え、
    前記変位量算出部は、前記第１の画像に非存在であり且つ前記第２の画像に存在する損傷像が検出された場合、当該損傷像を前記第２の画像取得部により取得される第３の画像の特定の位置に合わせる変位量を算出する、
    請求項１から９のうちいずれか一項に記載の撮影制御装置。
11. 表示部と、
    前記第１の画像と前記第２の画像とを並べて又は重ね合わせて前記表示部に表示させる表示制御部と、を備える、
    請求項１から１０のうちいずれか一項に記載の撮影制御装置。
12. 第１の撮影装置によって撮影対象物を撮影して生成された第１の画像を取得するステップと、
    第２の撮影装置によって前記撮影対象物を撮影して生成された第２の画像を取得するステップと、
    前記第１の画像及び前記第２の画像からそれぞれ特徴点を抽出するステップであって、前記第１の画像及び前記第２の画像における前記撮影対象物の同一平面上の特徴点を抽出するステップと、
    前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点との対応関係であって前記撮影対象物の同一平面上の特徴点同士の対応関係を取得するステップと、
    前記撮影対象物の同一平面上の特徴点同士の前記対応関係に基づいて、前記第１の画像を撮影した場合の前記第１の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる前記第２の撮影装置の位置及び姿勢の変位量を算出するステップと、
    を含む撮影制御方法。
13. 第１の撮影装置によって撮影対象物を撮影して生成された第１の画像を取得するステップと、
    第２の撮影装置によって前記撮影対象物を撮影して生成された第２の画像を取得するステップと、
    前記第１の画像及び前記第２の画像からそれぞれ特徴点を抽出するステップであって、前記第１の画像及び前記第２の画像における前記撮影対象物の同一平面上の特徴点を抽出するステップと、
    前記第１の画像から抽出された特徴点と前記第２の画像から抽出された特徴点との対応関係であって前記撮影対象物の同一平面上の特徴点同士の対応関係を取得するステップと、
    前記撮影対象物の同一平面上の特徴点同士の前記対応関係に基づいて、前記第１の画像を撮影した場合の前記第１の撮影装置の位置及び姿勢との差を一定範囲内に収めさせる前記第２の撮影装置の位置及び姿勢の変位量を算出するステップと、
    をコンピュータに実行させるプログラム。

Images