JP6560366B2 - 構造物の部材特定装置及び方法 - Google Patents

Description

本発明は構造物の部材特定装置及び方法に係り、特に橋梁等の構造物を構成する部材を特定する技術に関する。

橋梁等の社会インフラ構造物は、定期的に点検を行う必要がある。構造物の点検時には、点検時に構造物を撮影した画像（写真）とともに、「点検した部材」及び「部材の中の要素番号（位置）」を点検調書に記載する必要がある。しかしながら、橋梁のように類似部材が多い場合には、点検した部材の特定が難しいという課題があった。

従来、カメラの位置、撮影方向により実写画像の視野空間を特定し、特定した視野空間と三次元地図空間とを対応づけ、実写画像及び地図画像のいずれか一方に表示されている構造物が指定されると、他方に表示されている構造物の内で、指定された構造物に対応する構造物を強調表示（名称等の重畳表示）を行う情報表示装置が提案されている（特許文献１）。

また、部材識別情報、部材記号及び部材配筋図等が対応づけられて記録されている記憶部を有し、現場写真に含まれる部材識別情報に基づいて、現場写真に含まれる構造部材に係る部材配筋図を記憶部より特定する配筋検査支援システムが提案されている（特許文献２）。

特開２００７−１２７４３７号公報 特開２０１４−２０１４３号公報

特許文献１に記載の発明は、構造物を撮影した画像内に含まれる構造物を構成する部材を特定する識別情報を取得するものではなく、また、カメラで撮影される視野空間内の構造物のカメラ座標系での３次元空間情報を取得していない。

また、特許文献２に記載の発明は、施工された構造部材及び施工に係る情報が記載されたボードに構造部材の部材符号を表す２次元コードを貼付し、このボードを現場写真に写し込むことが前提になっており、２次元コードを介して現場写真と記憶部に記憶されている情報とを対応づけている。従って、現場写真を撮影する際に、構造部材の部材符号を表す２次元コードが貼付されたボードを準備し、このボードを現場写真に写し込む必要があり、煩雑であるという問題がある。

本発明はこのような事情に鑑みてなされたもので、構造物の点検時に撮像装置により撮影された構造物の画像に含まれる部材を示す部材識別情報を簡単かつ正確に取得することができ、点検調書の作成の効率化等を図ることができる構造物の部材特定装置及び方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る構造物の部材特定装置は、複数の部材から構成された構造物を撮影する撮像装置と、撮像装置による撮影範囲に対応する構造物の第１の空間情報であって、撮像装置を基準にしたローカル座標系における構造物の第１の空間情報を取得する第１の空間情報取得部と、ローカル座標系の空間情報をグローバル座標系の空間情報に変換する変換情報に基づいて、取得した構造物の第１の空間情報に含まれる部材を示す第１の空間情報を、グローバル座標系の第２の空間情報に変換する変換部と、グローバル座標系における構造物を構成する各部材の第３の空間情報と各部材を示す部材識別情報とが関連付けて登録された部材テーブルと、グローバル座標系に変換された部材を示す第２の空間情報と部材テーブルに登録された第３の空間情報とに基づいて第２の空間情報に対応する第３の空間情報を特定し、特定した第３の空間情報に関連付けて登録された部材識別情報を部材テーブルから取得する部材識別情報取得部と、を備え、部材識別情報取得部により取得した部材識別情報により撮像装置により撮影された画像に含まれる部材を特定する。

本発明の一の態様によれば、まず撮像装置による撮影範囲に対応する構造物の第１の空間情報であって、撮像装置を基準にしたローカル座標系における構造物の第１の空間情報を取得する。この第１の空間情報には、少なくとも点検対象の部材の第１の空間情報が含まれる。取得したローカル座標系の第１の空間情報は、変換情報に基づいてグローバル座標系の第２の空間情報に変換される。

一方、部材テーブルには、事前にグローバル座標系における構造物を構成する各部材の空間情報（第３の空間情報）と各部材を示す部材識別情報とが関連付けて登録されている。各部材の第３の空間情報としては、例えば、構造物のＣＡＤ（Computer Aided Design）図面から取得することができる各部材の図面平面範囲（部材が存在するグローバル座標系における空間範囲）、又は図面平面範囲と各部材の少なくとも一面を示す図面平面（平面方程式等により特定される平面）等を使用することができ、部材識別情報としては、部材名称（部材名称に対応する記号を含む）と要素番号とを組み合わせたものを使用することができる。

そして、第２の空間情報と部材テーブルの各部材の第３の空間情報とを比較し、第２の空間情報に対応する第３の空間情報を特定し、特定した第３の空間情報に関連付けて登録された部材識別情報を部材テーブルから取得する。これにより、構造物の点検時に撮像装置により撮影された構造物の画像に含まれる部材を示す部材識別情報を簡単かつ正確に取得することができ、これにより点検調書の作成の効率化を図ることができる。

本発明の他の態様に係る構造物の部材特定装置において、変換情報は、構造物の撮影時の撮影位置及び撮影方向を示す情報であることが好ましい。構造物の撮影時の撮影位置及び撮影方向を示す情報が得られれば、撮像装置を基準にしたローカル座標系における構造物の第１の空間情報を特定することができ、特定された第１の空間情報をグローバル座標系における空間情報（第２の空間情報）に変換することができる。

本発明の更に他の態様に係る構造物の部材特定装置において、部材識別情報取得部は、部材を示す第２の空間情報に対応する、部材が存在するグローバル座標系における第１の部材領域に基づいて部材テーブルに登録された各部材が存在する部材毎の第２の部材領域のうちから第１の部材領域に最も近似する第２の部材領域を抽出し、抽出した第２の部材領域に対応する第３の空間情報を特定することが好ましい。

本発明の更に他の態様に係る構造物の部材特定装置において、第１の空間情報又は第２の空間情報から平面領域を検出し、検出した平面領域を一つの部材を示す領域と仮定する部材特定部を備え、部材を示す第１の空間情報又は部材を示す第２の空間情報は、部材特定部により部材と仮定した平面領域を示す空間情報である。

本発明の更に他の態様に係る構造物の部材特定装置において、部材識別情報取得部は、部材と仮定した平面領域の平面を特定する第１の平面方程式に基づいて部材テーブルに登録された各部材の平面を示す第２の平面方程式のうちから第１の平面方程式に最も近似する第２の平面方程式を抽出し、抽出した第２の平面方程式に対応する平面を有する第３の空間情報を特定することが好ましい。

本発明の更に他の態様に係る構造物の部材特定装置において、部材識別情報取得部により取得した部材識別情報を出力する出力部を備えることが好ましい。出力部は、部材識別情報を記録部に出力し、表示部に出力するものを含む。

本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像と部材識別情報取得部により取得した部材識別情報とを関連付けて記録する記録部を備えることが好ましい。

本発明の更に他の態様に係る構造物の部材特定装置において、画像に含まれる部材であって、部材識別情報により特定された部材の損傷の種類及び損傷のランクのうちの少なくとも一つを入力する入力部を備え、記録部は、撮像装置により撮影された画像と関連付けて入力部により入力された損傷の種類及び損傷のランクのうちの少なくとも一つを更に記録することが好ましい。

本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像と部材識別情報取得部により取得した部材識別情報とを表示する表示部を備えることが好ましい。

本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれ、表示部に複数の部材識別情報が表示されている場合に、複数の部材識別情報から点検部材に対応する部材識別情報の選択を指示する選択指示部を備え、部材識別情報取得部は、選択指示部により選択が指示された部材識別情報を、点検部材の部材識別情報として取得することが好ましい。撮影された画像に点検部材及び非点検部材が含まれている場合、点検者は点検部材を視認することができる。従って、点検者は、表示部に複数の部材識別情報が表示されている場合、複数の部材識別情報から点検部材に対応する部材識別情報の選択を指示することができる。

本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像に基づいて損傷を有する点検部材を画像処理により特定する画像処理部を備え、部材識別情報取得部は、画像処理部により特定された点検部材に対応する部材識別情報を、点検部材の部材識別情報として取得することが好ましい。撮像装置により撮影された画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれている場合でも、点検部材を自動的に特定することができる。

本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置により撮影された画像を表示する表示部と、撮像装置により撮影された画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれ、表示部に複数の部材が表示されている場合に、点検部材又は点検部材の損傷位置を示す第１の空間情報を指定する第１の空間情報指定部と、を備え、部材識別情報取得部は、第１の空間情報指定部により指定された第１の空間情報を点検部材の部材識別情報の取得に使用することが好ましい。

本発明の更に他の態様に係る構造物の部材特定装置において、第１の空間情報取得部は、撮像装置としての機能を備えた二眼カメラを含み、二眼カメラにより撮影された２枚の視差画像から構造物の３次元座標を算出し、算出した３次元座標を構造物の第１の空間情報として取得することが好ましい。

本発明の更に他の態様に係る構造物の部材特定装置において、第１の空間情報取得部は、撮像装置としての機能を備えたタイム・オブ・フライト式カメラを含み、タイム・オブ・フライト式カメラにより撮影された構造物の３次元座標を構造物の第１の空間情報として取得することが好ましい。

本発明の更に他の態様に係る構造物の部材特定装置において、撮像装置としての機能を備えたレーザースキャナを含み、レーザースキャナが取得した構造物の３次元座標を構造物の第１の空間情報として取得することが好ましい。

本発明の更に他の態様に係る構造物の部材特定装置において、第１の空間情報取得部は、撮像装置を移動させて撮影した時系列の画像に基づいてモーションステレオ方式により算出した３次元座標を第１の空間情報として取得することが好ましい。

更に他の態様に係る発明は、複数の部材から構成された構造物を撮影する撮像装置と、グローバル座標系における構造物を構成する各部材の第３の空間情報と各部材を示す部材識別情報とが関連付けて登録された部材テーブルと、を備えた点検システムに使用される構造物の部材特定方法であって、撮像装置による撮影範囲に対応する構造物の第１の空間情報であって、撮像装置を基準にしたローカル座標系における構造物の第１の空間情報を取得するステップと、ローカル座標系の空間情報をグローバル座標系の空間情報に変換する変換情報に基づいて、取得した構造物の第１の空間情報に含まれる部材を示す第１の空間情報を、グローバル座標系の第２の空間情報に変換するステップと、グローバル座標系に変換された部材を示す第２の空間情報と部材テーブルに登録された第３の空間情報とに基づいて第２の空間情報に対応する第３の空間情報を特定し、特定した第３の空間情報に関連付けて登録された部材識別情報を部材テーブルから取得するステップと、を含み、取得した部材識別情報により撮像装置により撮影された画像に含まれる部材を特定する。

本発明の更に他の態様に係る構造物の部材特定方法において、部材識別情報を部材テーブルから取得するステップは、部材を示す第２の空間情報に基づいて部材が存在するグローバル座標系における第１の部材領域を算出するステップと、算出した第１の部材領域に基づいて部材テーブルに登録された各部材が存在する部材毎の第２の部材領域のうちから第１の部材領域に最も近似する第２の部材領域を抽出するステップと、抽出した第２の部材領域に対応する第３の空間情報を特定するステップと、を含むことが好ましい。

本発明の更に他の態様に係る構造物の部材特定方法において、第１の空間情報又は第２の空間情報から平面領域を検出し、検出した平面領域を一つの部材を示す領域と仮定するステップを含み、部材を示す第１の空間情報又は部材を示す第２の空間情報は、部材と仮定した平面領域を示す空間情報である。

本発明の更に他の態様に係る構造物の部材特定方法において、部材識別情報を部材テーブルから取得するステップは、部材を示す第２の空間情報に基づいて部材と仮定した平面領域の平面を特定する第１の平面方程式を算出するステップと、算出した第１の平面方程式に基づいて部材テーブルに登録された各部材の平面を示す第２の平面方程式のうちから第１の平面方程式に最も近似する第２の平面方程式を抽出するステップと、抽出した第２の平面方程式に対応する平面を有する第３の空間情報を特定するステップと、を含むことが好ましい。

本発明によれば、構造物の点検時に撮像装置により撮影された構造物の画像に含まれる部材を示す部材識別情報を簡単かつ正確に取得することができ、これにより点検調書の作成の効率化を図ることができる。

図１は下面側から見た橋梁の外観図である。 図２は二眼カメラを含むロボット装置の外観を示す斜視図である。 図３は図２に示したロボット装置の要部断面図である。 図４は二眼カメラ及びパンチルト機構の外観斜視図である。 図５は本発明に係る構造物の部材特定装置を含む点検システムの実施形態を示すブロック図である。 図６は図５に示した端末制御部の要部ブロック図である。 図７は図６に示した第１の空間情報取得部の構成例を示す機能ブロック図である。 図８は二眼カメラにより撮影された構造物の撮影範囲内の画像を示す図である。 図９は二眼カメラにより撮影されたカメラ座標系の計測平面と橋梁座標系の計測平面範囲との関係を示す図である。 図１０は橋梁の主桁の部材番号と橋梁座標系の図面平面範囲とを示す図である。 図１１は橋梁の主桁の要素番号と橋梁座標系の図面平面範囲とを示す図である。 図１２は橋梁の横桁の部材番号と橋梁座標系の図面平面範囲とを示す図である。 図１３は橋梁の横桁の要素番号と橋梁座標系の図面平面範囲とを示す図である。 図１４は橋梁の下横構の要素番号と橋梁座標系の図面平面範囲とを示す図である。 図１５は橋梁の上横構の要素番号と橋梁座標系の図面平面範囲とを示す図である。 図１６は計測平面と図面平面の相関が高い場合を示す図である。 図１７は計測平面と図面平面の相関が低い場合を示す図である。 図１８は計測平面と図面平面とから部材の部材識別情報を取得する他の実施形態を示す図である。 図１９は本発明に係る構造物の部材特定方法の実施形態を示すフローチャートである。 図２０は部材の要素番号リストから対応する要素番号を選択する操作画面を示す図である。

以下、添付図面に従って本発明に係る構造物の部材特定装置及び方法の実施形態について説明する。

［橋梁の構造］
図１は、検査対象物である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。

図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有し、これらがボルト、リベット又は溶接により連結されて構成されている。また、主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。

主桁２は、橋台又は橋脚の間に渡され、床版６上の車輌等の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４及び横構５は、それぞれ風及び地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。

［ロボット装置の外観］
図２は、撮像装置の一実施形態である二眼カメラを含むロボット装置の外観を示す斜視図であり、橋梁１の主桁２間に設置されている状態に関して示している。また、図３は、図２に示したロボット装置の要部断面図である。

図２及び図３に示すようにロボット装置１００は、撮像装置２００を備え、撮像装置２００の３次元空間内の位置（撮影位置）を制御するとともに、撮像装置２００による撮影方向を制御し、橋梁１の点検時に複数の部材から構成された橋梁１の任意の点検部材等を撮影するものである。

ロボット装置１００は、後に詳しく説明するが、主フレーム１０２と、垂直伸延アーム１０４と、垂直伸延アーム１０４の駆動部及び各種の制御部等が配設された筐体１０６と、筐体１０６を主フレーム１０２の長手方向（主桁２の長手方向と直交する方向）（Ｘ方向）に移動させるＸ方向駆動部１０８（図５）と、ロボット装置１００全体を主桁２の長手方向（Ｙ方向）に移動させるＹ方向駆動部１１０（図５）と、垂直伸延アーム１０４を垂直方向（Ｚ方向）に伸縮させるＺ方向駆動部１１２（図５）とを備えている。

Ｘ方向駆動部１０８は、主フレーム１０２の長手方向（Ｘ方向）に配設されたボールネジ１０８Ａと、筐体１０６に配設されたボールナット１０８Ｂと、ボールネジ１０８Ａを回転させるモータ１０８Ｃとから構成され、モータ１０８Ｃによりボールネジ１０８Ａを正転又は逆転させることにより、筐体１０６をＸ方向に移動させる。

Ｙ方向駆動部１１０は、主フレーム１０２の両端にそれぞれ配設されたタイヤ１１０Ａ、１１０Ｂと、タイヤ１１０Ａ、１１０Ｂ内に配設されたモータ（図示せず）とから構成され、タイヤ１１０Ａ、１１０Ｂをモータ駆動することによりロボット装置１００全体をＹ方向に移動させる。

尚、ロボット装置１００は、主フレーム１０２の両端のタイヤ１１０Ａ、１１０Ｂが、２箇所の主桁２の下フランジ上に載置され、かつ主桁２を挟む態様で設置される。これにより、ロボット装置１００は、主桁２の下フランジに懸垂して、主桁２に沿って移動（自走）することができる。また、主フレーム１０２は、図示しないが、主桁２の間隔に合わせて長さが調整可能に構成されている。

垂直伸延アーム１０４は、ロボット装置１００の筐体１０６に配設されており、筐体１０６とともにＸ方向及びＹ方向に移動する。また、垂直伸延アーム１０４は、筐体１０６内に設けられたＺ方向駆動部１１２（図５）によりＺ方向に伸縮する。

図４に示すように垂直伸延アーム１０４の先端には、カメラ設置部１０４Ａが設けられており、カメラ設置部１０４Ａには、パンチルト機構１２０によりパン方向及びチルト方向に回転可能な二眼カメラ２０２が設置されている。

二眼カメラ２０２は、視差の異なる２枚の視差画像（立体画像）を撮影する第１の撮像部２０２Ａと第２の撮像部２０２Ｂとを有し、二眼カメラ２０２による撮影範囲に対応する構造物（橋梁１）の第１の空間情報であって、二眼カメラ２０２を基準にしたローカル座標系（カメラ座標系）における橋梁１の第１の空間情報を取得する第１の空間情報取得部の一部として機能し、また、撮影される２つの画像のうちの少なくとも一方の画像を、点検調書に添付する「点検画像」として取得する。

また、二眼カメラ２０２は、パンチルト駆動部２０６（図５）から駆動力が加えられるパンチルト機構１２０により垂直伸延アーム１０４と同軸のパン軸Ｐを中心に回転し、あるいは水平方向のチルト軸Ｔを中心に回転する。これにより、二眼カメラ２０２は任意の姿勢にて撮影（任意の撮影方向の撮影）ができる。

本例の二眼カメラ２０２の第１の撮像部２０２Ａの光軸Ｌ_１と、第２の撮像部２０２Ｂの光軸Ｌ_２とはそれぞれ平行である。また、パン軸Ｐは、チルト軸Ｔと直交している。更に、二眼カメラ２０２の基線長（即ち、第１の撮像部２０２Ａと第２の撮像部２０２Ｂとの設置間隔）は既知である。

また、二眼カメラ２０２を基準にしたカメラ座標系は、パン軸Ｐとチルト軸Ｔとの交点を原点Ｏｒとし、チルト軸Ｔの方向をｘ軸方向、パン軸Ｐの方向をｚ軸方向、ｘ軸及びｙ軸にそれぞれ直交する方向をｙ軸方向とする。

二眼カメラ２０２の位置（カメラ座標系の原点Ｏｒの位置）であって、グローバル座標系（橋梁座標系）における位置（以下、「撮影位置」という）は、全地球測位システム（ＧＰＳ：Global Positioning System)（以下、「ＧＰＳ装置」という）により検出し、又は橋梁座標系の原点に対するロボット装置１００のＸ方向及びＹ方向に移動量、垂直伸延アーム１０４のＺ方向の移動量により検出することができる。また、二眼カメラ２０２による撮影方向は、パンチルト機構のパン角度α、チルト角度βにより検出し、又は二眼カメラ２０２に搭載した方位センサ（図示せず）により検出することができる。

＜構造物の部材特定装置を含む点検システム１０の構成＞
図５は、本発明に係る構造物の部材特定装置を含む点検システムの実施形態を示すブロック図である。

図５に示すように点検システム１０は、ロボット装置１００側のロボット制御部（移動体制御部）１３０、Ｘ方向駆動部１０８、Ｙ方向駆動部１１０及びＺ方向駆動部１１２と、撮像装置２００側の二眼カメラ２０２、撮影制御部２０４、パンチルト制御部２１０、及びパンチルト駆動部２０６と、ロボット側通信部２３０と、端末装置３００とから構成されている。

ロボット側通信部２３０は、端末側通信部３１０との間で双方向の無線通信を行い、端末側通信部３１０から送信されるロボット装置１００の移動を制御する移動指令、パンチルト機構１２０を制御するパンチルト指令、二眼カメラ２０２を制御する撮影指令等の各種の指令を受信し、受信した指令をそれぞれ対応する制御部に出力する。尚、端末装置３００の詳細については後述する。

ロボット制御部１３０は、ロボット側通信部２３０から入力する移動指令に基づいてＸ方向駆動部１０８、Ｙ方向駆動部１１０、及びＺ方向駆動部１１２を制御し、ロボット装置１００のＸ方向及びＹ方向に移動させるとともに、垂直伸延アーム１０４をＺ方向に伸縮させる（図２参照）。

パンチルト制御部２１０は、ロボット側通信部２３０から入力するパンチルト指令に基づいてパンチルト駆動部２０６を介してパンチルト機構１２０をパン方向及びチルト方向に動作させ、二眼カメラ２０２を所望の方向にパンチルトさせる（図４参照）。

撮影制御部２０４は、ロボット側通信部２３０から入力する撮影指令に基づいて二眼カメラ２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにライブビュー画像、又は点検画像の撮影を行わせる。

橋梁１の点検時に二眼カメラ２０２の第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮影された視差の異なる第１の画像Ｉ_Ｌ及び第２の画像Ｉ_Ｒを示す画像データと、二眼カメラ２０２の撮影位置（橋梁座標系におけるカメラ座標系の原点Ｏｒの位置）及び撮影方向（本例では、パン角度α及びチルト角度β）を示す情報は、それぞれロボット側通信部２３０を介して端末側通信部３１０に送信される。

端末装置３００は、点検システム１０を操作する点検者により操作されるもので、主として端末側通信部３１０と、端末制御部３２０と、操作部として機能する入力部３３０と、部材テーブル３３２、表示部３４０と、記録部３５０とから構成されており、例えば、タブレット端末を適用することができる。

端末側通信部３１０は、ロボット側通信部２３０との間で双方向の無線通信を行い、ロボット側通信部２３０が入力する各種の情報（第１の撮像部２０２Ａ及び第２の撮像部２０２Ｂにより撮影されたライブビュー画像、第１の画像Ｉ_Ｌ及び第２の画像Ｉ_Ｒを示す画像データ、二眼カメラ２０２の撮影位置及び撮影方向を示す情報）を受信するとともに、端末制御部３２０を介して入力する入力部３３０での操作に応じた各種の指令をロボット側通信部２３０に送信する。

端末制御部３２０は、端末側通信部３１０を介して受信したライブビュー画像を示す画像データを表示部３４０に出力し、表示部３４０の画面にライブビュー画像を表示させる。入力部３３０は、ロボット操作入力部、パンチルト操作入力部及び撮影操作入力部を有し、ロボット操作入力部は、ロボット装置１００（二眼カメラ２０２）をＸ方向、Ｙ方向及びＺ方向に移動させる移動指令を出力し、パンチルト操作入力部は、パンチルト機構１２０（二眼カメラ２０２）をパン方向及びチルト方向に回転させるパンチルト指令を出力し、撮影操作入力部は、二眼カメラ２０２による点検画像の撮影を指示する撮影指令を出力する。点検者は、表示部３４０に表示されるライブビュー画像を見ながら入力部３３０を手動操作し、入力部３３０は、点検者による操作に応じて二眼カメラ２０２のＸ方向、Ｙ方向及びＺ方向の移動指令、パンチルト指令、及び撮影指令等の各種の指令を端末制御部３２０に出力する。端末制御部３２０は、入力部３３０から入力する各種の指令を端末側通信部３１０を介してロボット側通信部２３０に送信する。

また、端末制御部３２０は、部材テーブル３３２に登録された情報に基づいて点検画像に含まれる構造物（橋梁１）を構成する各部材を特定する部材識別情報を取得する機能を有する。

図６は、図５に示した端末制御部３２０の要部ブロック図であり、特に点検画像に含まれる点検対象の部材を特定する部材識別情報を取得する部分に関して示している。

図６に示すように端末制御部３２０は、主として第１の空間情報取得部３２２、変換部３２４、部材識別情報取得部３２６、及び画像処理部３２８から構成されている。

第１の空間情報取得部３２２は、撮像装置２００による撮影範囲に対応する構造物の第１の空間情報であって、カメラ座標系における構造物の第１の空間情報を取得するものであり、本例では二眼カメラ２０２により撮影された視差を有する第１の画像Ｉ_Ｌ及び第２の画像Ｉ_Ｒを示す画像データに基づいて構造物の３次元座標を算出し、算出した３次元座標を構造物の第１の空間情報として取得する。

図７は、図６に示した第１の空間情報取得部３２２の構成例を示す機能ブロック図である。

図７に示すように第１の空間情報取得部３２２は、対応点検出部３２２Ａ、距離算出部３２２Ｂ、３次元座標算出部３２２Ｃ、部材特定部３２２Ｄ及び平面算出部３２２Ｅから構成されている。

対応点検出部３２２Ａは、第１の画像Ｉ_Ｌ内の複数の特徴点（例えば、画像中のエッジ等のコントラストが大きい部分）を特定し、特定した複数の特徴点にそれぞれ対応する第２の画像Ｉ_Ｒ内の対応点を検出する。

距離算出部３２２Ｂは、対応点検出部３２２Ａにより検出された一対の特徴点と対応点とのずれ量（視差量）、二眼カメラ２０２の基線長等に基づいて特徴点毎に二眼カメラ２０２（カメラ座標系の原点Ｏｒ）からの撮影距離を算出する。

３次元座標算出部３２２Ｃは、距離算出部３２２Ｂにより算出された各特徴点の撮影距離及び撮影範囲内の位置に対応する方向に基づいてカメラ座標系（直交座標系）における複数の特徴点の３次元座標を算出する。即ち、特徴点の３次元座標は、距離算出部３２２Ｂにより算出された特徴点の撮影距離（動径）と、二眼カメラ２０２の撮影範囲内の位置に対応する方向（偏角）とにより極座標で表されるが、３次元座標算出部３２２Ｃは、極座標で表される複数の特徴点の３次元座標を、カメラ座標系（直交座標系）における３次元座標に変換する。

部材特定部３２２Ｄは、第１の空間情報取得部３２２により取得された第１の空間情報から平面領域を検出し、検出した平面領域を一つの部材を示す領域と仮定するものであり、本例では、３次元座標算出部３２２Ｃにより算出された複数の特徴点の３次元座標に基づいて平面領域を検出し、平面領域（部材）毎に複数の特徴点を分類する機能を有する。

図８は、二眼カメラ２０２により撮影された構造物の撮影範囲内の画像を示す図である。

図８に示す４つの領域Ａ、Ｂ、Ｃ及びＤは、それぞれ橋梁１を構成する各部材の平面領域である。尚、１つの部材が２以上の平面領域を含む場合もある。

複数の特徴点を平面毎に分類する方法としては、複数の特徴点の３次元座標に基づいて、複数の特徴点を、互いに相関の高い３次元座標を有する特徴点群に分類する。同一平面上の特徴点は、３次元座標の各座標値が線形に変化するため、複数の特徴点を平面毎に分類することができる。

また、複数の特徴点を平面毎に分類する他の方法としては、例えば、二眼カメラ２０２の第１の撮像部２０２Ａにより撮影された第１の画像Ｉ_Ｌを画像解析し、各部材の境界線を抽出し、抽出した境界線により画成された領域を、それぞれ部材の計測平面とする。そして、複数の特徴点がいずれの領域に属するかに応じて複数の特徴点を計測平面毎に分類する。尚、複数の特徴点を計測平面毎に分類する方法は、上記の例に限定されず、種々の方法が考えられる。

平面算出部３２２Ｅは、３次元座標算出部３２２Ｃにより算出された複数の特徴点の３次元座標であって、計測平面毎に分類された複数の特徴点の３次元座標に基づいて計測平面を算出する。

ここで、計測平面の算出とは、次式に示す平面方程式を求めることをいう。

［数１］
ａ_ｒｘ_ｒ＋ｂ_ｒｙ_ｒ＋ｃ_ｒｚ_ｒ−ｄ_ｒ＝０
［数１］式において、ｘ_ｒ、ｙ_ｒ及びｚ_ｒはカメラ座標系の３軸直交方向の変数を示し、ａ_ｒ、ｂ_ｒ、ｃ_ｒ、及びｄ_ｒはそれぞれ平面方程式の係数を示す。

計測平面は同一直線上にない３点により定まるため、平面方程式を求めるためには複数の特徴点は３点以上必要であり、特徴点の数が多いほど精度（信頼性）の高い平面方程式を求めることができる。

また、平面算出部３２２Ｅは、図８に示すように各部材の計測平面に対応する複数の領域Ａ〜Ｄが存在する場合、各領域Ａ〜Ｄの平面方程式を求める。また、各領域Ａ〜Ｄのうちの領域Ａは、撮影範囲内の領域であって、領域Ｂ、Ｃ、Ｄと接する（交差する）ことで画成されている。従って、平面算出部３２２Ｅは、領域Ａに対応する計測平面を特定する際に、領域Ａに対応する平面方程式と、領域Ａの範囲とにより特定する。

ここで、領域Ａの範囲とは、次式に示すように平面方程式のｘ_ｒ，ｙ_ｒ，ｚ_ｒがとり得る範囲（以下「計測平面範囲」という）を意味する。

［数２］
ｘ_ｒｍｉｎ＜ｘ_ｒ＜ｘ_ｒｍａｘ
ｙ_ｒｍｉｎ＜ｙ_ｒ＜ｙ_ｒｍａｘ
ｚ_ｒｍｉｎ＜ｚ_ｒ＜ｚ_ｒｍａｘ
また、平面算出部３２２Ｅは、各領域Ｂ、Ｃ及びＤに対応する計測平面についても各領域の計測平面の平面方程式及び計測平面範囲により特定する。

このようにして第１の空間情報取得部３２２は、二眼カメラ２０２により撮影された視差を有する第１の画像Ｉ_Ｌ及び第２の画像Ｉ_Ｒを示す画像データに基づいて、二眼カメラ２０２の撮影範囲内の各部材の計測平面の３次元座標（平面方程式及び計測平面範囲）を、構造物の各部材の第１の空間情報として取得する。

第１の空間情報取得部３２２により取得されたカメラ座標系における構造物の各部材の第１の空間情報は、変換部３２４に出力される。

図９は、二眼カメラ２０２により撮影されたカメラ座標系（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）の計測平面と橋梁座標系（ｘ，ｙ，ｚ）の計測平面範囲との関係を示す図である。尚、図９に示す例では、ｚ方向は紙面と直交する方向である。

変換部３２４の他の入力には、橋梁座標系におけるカメラ座標系の原点Ｏｒの位置（撮影位置）を示す情報、及び二眼カメラ２０２の撮影方向（パン角度α及びチルト角度β）を示す情報が加えられており、変換部３２４は、撮影位置及び撮影方向を示す情報（変換情報）に基づいてカメラ座標系における構造物の各部材の第１の空間情報を、橋梁座標系における構造物の各部材の空間情報（第２の空間情報）に座標変換する。即ち、変換部３２４は、撮影方向を示す情報に基づいて第１の空間情報を回転移動させ、回転移動させた第１の空間情報を撮影位置の情報に基づいて平行移動させることにより、カメラ座標系の第１の空間情報を橋梁座標系の第２の空間情報に変換する。

以下に示す［数３］式及び［数４］式は、橋梁座標系に変換された「ある領域」に対する計測平面を示す平面方程式及び計測平面範囲を示す。

［数３］
ａｘ＋ｂｙ＋ｃｚ−ｄ＝０
［数４］
ｘ_ｍｉｎ＜ｘ＜ｘ_ｍａｘ
ｙ_ｍｉｎ＜ｙ＜ｙ_ｍａｘ
ｚ_ｍｉｎ＜ｚ＜ｚ_ｍａｘ
尚、［数３］式において、ｘ_、ｙ及びｚは橋梁座標系の３軸直交方向の変数を示し、ａ、ｂ、ｃ、及びｄはそれぞれ平面方程式の係数を示す。

変換部３２４により座標変換された第２の空間情報は、部材識別情報取得部３２６に出力される。

尚、本実施形態では、部材特定部３２２Ｄは、複数の特徴点のカメラ座標系の３次元座標（第１の空間情報）に基づいて平面領域を検出し、平面算出部３２２Ｅは、検出された平面領域内の複数の特徴点のカメラ座標系の３次元座標（第１の空間情報）に基づいて計測平面の第１の平面方程式及び計測平面範囲等を算出しているが、これに限らず、橋梁座標系に変換後の複数の特徴点の３次元座標（第２の空間情報）に基づいて平面領域を検出し、平面算出部３２２Ｅは、検出された平面領域内の複数の特徴点の橋梁座標系の３次元座標（第２の空間情報）に基づいて計測平面の第１の平面方程式及び計測平面範囲等を算出するようにしてもよい。

［部材識別情報取得の第１の実施形態］
部材識別情報取得部３２６は、変換部３２４から入力した第２の空間情報（橋梁座標系における計測平面を示す平面方程式及び計測平面範囲を示す情報）と、部材テーブル３３２に格納された情報とに基づいて二眼カメラ２０２により撮影された画像に含まれる部材を一意に特定する部材識別情報を部材テーブル３３２から取得する。

ここで、部材テーブル３３２について説明する。

部材テーブル３３２には、橋梁座標系における橋梁を構成する各部材の空間情報（第３の空間情報）と各部材を示す部材識別情報とが関連付けて登録されている。各部材の第３の空間情報としては、例えば、構造物（橋梁）のＣＡＤ（Computer Aided Design）図面から取得することができる各部材の図面平面範囲、又は図面平面範囲と各部材の少なくとも一面を示す図面平面（例えば、平面方程式により表される図面平面）等を使用することができ、部材識別情報としては、部材名称（部材名称に対応する記号を含む）と部材番号と要素番号とを組み合わせものを使用することができる。

図１０は、橋梁の主桁の部材番号と橋梁座標系の図面平面範囲とを示す図である。

図１０に示すように主桁（Ｍｇ）の部材番号は、Ｍｇ０１，Ｍｇ０２，Ｍｇ０３，Ｍｇ０４及びＭｇ０５により表されている。即ち、この橋梁は、Ｍｇ０１〜Ｍｇ０５により表される５本の主桁（Ｍｇ）を備えていることが分かる。

尚、図１に示したように橋梁１を構成する部材には、主桁２、横桁３、対傾構４、横構５、及び床版６等が含まれるが、各部材の種別は、部材名称に対応する部材記号（主桁（Ｍｇ：Main girder），横桁（Ｃｒ：Cross beam）、対傾構（Ｃｆ：Cross frame）、横構（上横構（Ｌｕ：Upper lateral）、下横構（Ｌｌ：Lower lateral））、床版（Ｄｓ：Deck slab）等）により表される。

図１１は、橋梁の主桁の要素番号と橋梁座標系の図面平面範囲とを示す図である。同図に示すように、４桁の数字により表された要素番号は、点検評価を行う各部位又は部材の最小評価単位の番号である。要素番号の４桁の数字の上位２桁は橋梁の長手方向の並び（行）を示し、下位２桁は橋梁の長手方向と直交する方向の並び（列）を示す。

従って、部材の種別を示す部材記号と要素番号との組み合わせにより、点検対象の部材を一意に特定することができ、部材記号と要素番号との組み合わせは、部材識別情報に対応する。

同様に、図１２は、橋梁の横桁（Ｃｒ）の部材番号と橋梁座標系の図面平面範囲とを示す図であり、図１３は橋梁の横桁（Ｃｒ）の要素番号と橋梁座標系の図面平面範囲とを示す図である。

更に図１４は、橋梁の下横構（Ｌｌ）の要素番号と橋梁座標系の図面平面範囲とを示す図であり、図１５は、橋梁の上横構（Ｌｕ）の要素番号と橋梁座標系の図面平面範囲とを示す図である。

図６に戻って、部材識別情報取得部３２６は、変換部３２４から入力した第２の空間情報（橋梁座標系における計測平面を示す平面方程式及び計測平面範囲を示す情報）と、部材テーブル３３２に格納された情報（各部材の要素番号に対応する図面平面を示す平面方程式及び図面平面範囲を示す情報と、これらの情報と関連付けられて登録された部材識別情報（本例では、部材記号＋要素番号）とに基づいて、二眼カメラ２０２により撮影された画像に含まれる部材を特定する部材識別情報を部材テーブル３３２から取得する。

具体的には、部材識別情報取得部３２６は、部材テーブル３３２に登録された「ある部材」の要素番号に対する図面平面Ｐ１、Ｐ２を示す平面方程式と図面平面範囲Ａ１，Ａ２を読み出す。図面平面Ｐ１、Ｐ２を示す平面方程式及び図面平面範囲Ａ１，Ａ２を、次式に示す。

［数５］
Ｐ１：
ａａ１・ｘ＋ｂｂ１・ｙ＋ｃｃ１・ｚ−ｄｄ１＝０
Ｐ２：
ａａ２・ｘ＋ｂｂ２・ｙ＋ｃｃ２・ｚ−ｄｄ２＝０
［数６］
Ａ１：
ｘｘ１_ｍｉｎ＜ｘ＜ｘｘ１_ｍａｘ
ｙｙ１_ｍｉｎ＜ｙ＜ｙｙ１_ｍａｘ
ｚｚ１_ｍｉｎ＜ｚ＜ｚｚ１_ｍａｘ
Ａ２：
ｘｘ２_ｍｉｎ＜ｘ＜ｘｘ２_ｍａｘ
ｙｙ２_ｍｉｎ＜ｙ＜ｙｙ２_ｍａｘ
ｚｚ２_ｍｉｎ＜ｚ＜ｚｚ２_ｍａｘ
尚、この部材は、複数の平面（２つの平面）で構成されているため、２つの図面平面Ｐ１、Ｐ２を示す平面方程式及び図面平面範囲Ａ１，Ａ２を有している。

そして、部材識別情報取得部３２６は、［数３］式に示した計測平面を示す平面方程式と、［数５］式に示した「ある部材」の図面平面を示す平面方程式とを比較し、平面方程式の一致度を求める。

例えば、部材識別情報取得部３２６は、計測平面と図面平面の相関（内積）を、次式により算出する。

そして、部材識別情報取得部３２６は、算出した相関が、例えば０．８以上の場合、同一平面として対象部材を絞り込む。

図１６は、計測平面と図面平面の相関が高い場合を示す図であり、図１７は、計測平面と図面平面の相関が低い場合を示す図である。

図１６及び図１７に示すように、計測平面と図面平面Ｐ１との相関は、計測平面と図面平面Ｐ２との相関よりも高いことが分かる。

また、本例では、計測平面と図面平面との面の傾きのみを比較しているが、平面方程式の係数ｄと係数ｄｄ１，ｄｄ２とを更に比較することにより、両者の平面の距離の一致度を求めることができ、これにより更に対象部材を絞り込むことができる。

上記の例では、計測平面と「ある部材」の図面平面との相関を求めているが、計測平面と、部材テーブルに登録された全ての部材の図面平年との相関を求め、最も相関が高い図面平面（部材テーブル３３２に登録された各部材の図面平面を示す第２の平面方程式のうちから計測平面を特定する第１の平面方程式に最も近似する第２の平面方程式を抽出し、抽出した第２の平面方程式に対応する図面平面）を求めることで、対象部材を絞り込むことができる。

また、部材識別情報取得部３２６は、上記のようにして絞り込んだ部材の中の位置を特定するために、［数４］式に示した計測平面範囲と、［数６］式等に示した図面平面範囲とを比較する。ここで、［数４］式に示した計測平面範囲は、点検部材が存在する橋梁座標系における部材領域（第１の部材領域）であり、図面平面範囲は、部材テーブル３３２に登録された各部材が存在する部材毎の部材領域（第２の部材領域）である。

そして、部材識別情報取得部３２６は、平面方程式により絞り込んだ部材の中から計測平面範囲が図面平面範囲に収まる部材を抽出し、抽出した部材に関連付けて登録された部材識別情報（要素番号）を取得する。

図５に示す端末制御部３２０は、部材識別情報取得部３２６が取得した部材識別情報を、表示部３４０及び記録部３５０に出力する出力部として機能する（図５）。

また、端末制御部３２０は、端末側通信部３１０を介して入力する第１の画像Ｉ_Ｌ及び第２の画像Ｉ_Ｒを示す画像データのうちの一方を、点検画像を示す画像データとして表示部３４０及び記録部３５０に出力する。

表示部３４０は、入力する部材識別情報及び点検画像を示す画像データに基づいて点検画像と、点検画像中の点検対象の部材の部材識別情報とを対応付けて表示する。

また、記録部３５０は、入力する部材識別情報と点検画像を示す画像データとを対応付けて記録媒体に記録する。この場合、記録部３５０は、画像データが記録される画像ファイルのヘッダ部に部材識別情報を記録することが好ましい。

［部材識別情報取得の第２の実施形態］
部材識別情報取得の第２の実施形態は、図９に示した計測平面範囲と、部材テーブル３３２に登録された各部材の図面平面範囲（［数６］式参照）とを比較し、計測平面範囲と最も近似する図面平面範囲を抽出することにより対応する部材を特定し、特定した部材に関連付けて登録された部材識別情報（要素番号）を取得する。

尚、第１の実施形態は、平面方程式により部材を絞り込むため、第２の実施形態に比べて図面平面の推定精度が高く、平面範囲の計測精度が第２の実施形態よりも低くてもよい。

［部材識別情報取得の第３の実施形態］
部材識別情報取得の第３の実施形態は、図１８に示すようにロボット装置１００に搭載された二眼カメラ２０２の位置（撮影位置）から撮影できる計測対象の部材の部材識別情報（部材種別＋要素番号）を、二眼カメラ２０２が位置する橋梁１の格間に対応付けて、部材テーブル３３２に登録しておく。

例えば、図１８には、橋梁１の格間Ｃ_１３、Ｃ_１４、Ｃ_２３及びＣ_２４が示されているが、二眼カメラ２０２が格間Ｃ_２４内に位置している場合、ここから撮影可能な部材（部材種別及び要素番号）は、以下の通りである。

主桁：Ｍｇ０２０４、Ｍｇ０３０４
横桁：Ｃｒ０２０４
下横構：Ｌｌ０２０４
従って、二眼カメラ２０２の位置から二眼カメラ２０２が橋梁１の複数の格間のうちのいずれの格間に位置しているかを検出することにより格間を特定することができ、特定した格間により計測対象の部材を絞り込むことができる。

そして、計測平面を示す平面方程式と、上記のようにして絞り込んだ部材の図面平面を示す平面方程式との比較により一の部材を特定し、特定した部材に関連付けて登録された部材識別情報（要素番号）を取得する。

また、計測平面範囲と、上記のようにして絞り込んだ部材の図面平面範囲との比較により一の部材を特定し、特定した部材に関連付けて登録された部材識別情報（要素番号）を取得する。

［構造物の部材特定方法］
図１９は、本発明に係る構造物の部材特定方法の実施形態を示すフローチャートである。

図１９において、まず、橋梁を構成する各部材の橋梁座標系における空間情報（第３の空間情報）と、各部材を示す部材識別情報（部材種別＋要素番号）とを関連付けて登録した部材テーブルを準備する（ステップＳ１０）。

次に、点検者（橋梁の点検者）は、端末装置３００によりロボット装置１００を遠隔操作し、ロボット装置１００に搭載された二眼カメラ２０２により橋梁の点検部材を撮影させる（ステップＳ１２）。

端末制御部３２０の第１の空間情報取得部３２２（図６）は、二眼カメラ２０２により撮影された視差の異なる第１の画像Ｉ_Ｌ及び第２の画像Ｉ_Ｒを入力し、入力した第１の画像Ｉ_Ｌ及び第２の画像Ｉ_Ｒに基づいて二眼カメラ２０２の撮影範囲に対応する橋梁の第１の空間情報であって、カメラ座標系における橋梁の第１の空間情報を取得する（ステップＳ１４）。

端末制御部３２０の変換部３２４は、二眼カメラ２０２の撮影位置及び撮影方向等の変換情報に基づいて、取得したカメラ座標系における橋梁の第１の空間情報を、橋梁座標系における第２の空間情報に変換する（ステップＳ１６）。

端末制御部３２０の部材識別情報取得部３２６は、橋梁座標系に変換された点検部材を示す第２の空間情報と部材テーブル３３２に登録された第３の空間情報とに基づいて第２の空間情報に対応する第３の空間情報を特定し（ステップＳ１８）、特定した第３の空間情報に関連付けて登録された部材識別情報を部材テーブル３３２から取得する（ステップＳ２０）。

端末制御部３２０から部材識別情報及び撮影した画像（第１の画像Ｉ_Ｌ及び第２の画像Ｉ_Ｒのうちの一方の画像）を入力する記録部３５０は、部材識別情報と撮影した画像（点検画像）とを関連付けて記録する。

このように点検画像（点検写真）に関連付けて点検写真に写っている点検部材の部材識別情報（部材種別及び要素番号）を記録するようにしたため、点検部材の部材識別情報を簡単かつ正確に取得することができ、点検調書の作成の効率化を図ることができる。

図２０は、部材の要素番号リストから対応する要素番号を選択する操作画面を示す図であり、表示部３４０の表示画面の一例である。

図２０に示す例では、撮像装置２００により撮影された点検画像と、点検画像に基づいて取得した点検画像中の橋梁の部材の部材識別情報（要素番号）とが表示されている。

点検画像内には、橋梁１を構成する各部材の平面領域（４つの領域Ａ〜Ｄ）が含まれており、これらの領域Ａ〜Ｄの空間情報（第１の空間情報）に基づいて特定された３つの要素番号が表示されている。

即ち、点検画像には、損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれている。点検者は、表示部３４０に複数の部材識別情報（本例では、Ｍｇ０２０４、Ｌｌ０２０４、及びＣｒ０２０４の３つの要素番号）の候補が表示されている場合に、選択指示部として機能する入力部３３０を操作し、複数の部材識別情報の候補の中から点検部材に対応する部材識別情報の選択をマウスカーソル等により指示する。

図６に示す部材識別情報取得部３２６は、入力部３３０から入力する部材識別情報の選択の指示により、点検部材の部材識別情報の候補の中から部材識別情報を特定し、これを点検部材に対する部材識別情報として取得する。

また、点検者は、図２０に示した表示部３４０の表示画面を利用して、点検部材の損傷の種類及び損傷のランクのうちの少なくとも一つを、入力部３３０を使用して入力することができる。点検部材の損傷の種類は、例えば、亀裂、ひび割れ、腐食、ゆるみ、抜け落ち、脱落、及び破断等であり、損傷のランクは、例えば、緊急対応が必要な損傷、詳細調査が必要な損傷、維持工事の対応が必要な損傷、及び補修等が必要な損傷等を示すランクである。

このようにして入力部３３０により入力された点検部材の損傷の種類及び損傷のランクのうちの少なくとも一つ情報は、撮影された画像（点検画像）に関連付けて記録部３５０に記録することが好ましい。

また、点検者は、表示部３４０に複数の部材識別情報の候補が表示されている場合に、点検部材に対応する部材識別情報を選択する代わりに、第１の空間情報指定部として機能する入力部３３０を操作し、点検部材又は点検部材の損傷位置を表示部３４０の画面上で指定することにより、点検部材又は点検部材の損傷位置を示す空間情報（第１の空間情報）を指定するようにしてもよい。

この場合、部材識別情報取得部３２６は、指定された第１の空間情報を使用して表示部３４０に表示されている複数の部材識別情報の候補の中から、指定された点検部材に対応する部材識別情報を特定し、これを点検部材に対する部材識別情報として取得する。

また、上記の例では、表示部３４０に複数の部材識別情報の候補が表示されている場合に、入力部３３０を手動操作することにより点検部材又は点検部材の損傷位置を示す第１の空間情報を指定するようにしたが、自動的に損傷を有する点検部材を特定するようにしてもよい。

図６に示した画像処理部３２８は、撮像装置２００により撮影された画像（本例では、二眼カメラ２０２の第１の撮像部２０２Ａにより撮影された第１の画像Ｉ_Ｌ）に基づいて損傷を画像処理により検出し、検出した損傷を有する点検部材を特定し、特定した点検部材の空間情報を部材識別情報取得部３２６に出力する。

部材識別情報取得部３２６は、複数の部材の第２の空間情報（複数の計測平面を示す平面方程式、複数の計測平面範囲）を入力する場合、画像処理部３２８により特定された点検部材の空間情報に基づいて一の部材（点検部材）の第２の空間情報を特定し、特定した第２の空間情報（点検部材）に対応する部材識別情報を取得する。

［撮像装置の他の実施形態］
本実施形態では、撮像装置２００として二眼カメラ２０２を使用し、二眼カメラ２０２の撮影範囲に対応する構造物（橋梁）の複数の特徴点の３次元座標（カメラ座標系）及び点検部材等の画像（点検画像）を取得するようにしているが、本発明は撮像装置として二眼カメラを使用する場合に限らず、タイム・オブ・フライト式カメラ（以下、「ＴＯＦ（Time Of Flight)カメラという」）、レーザースキャナ、又は単眼の撮像装置を移動させて連続画像を取得するモーションステレオ方式の撮像方式を適用したもの等を適用することができる。

ＴＯＦカメラは、被写体に光（近赤外のパルス光）を照射し、その反射光をセンサ（イメージセンサ）で受光するまでの時間を測定することにより被写体までの距離を求めるカメラであり、距離画像と通常の画像とを撮影することができる。ここで、距離画像とは、ＴＯＦカメラによって得られる被写体（構造物）までの距離情報の２次元分布画像のことであり、距離画像の各画素は距離情報を有する。従って、ＴＯＦカメラにより撮影された構造物の３次元座標を構造物の第１の空間情報として取得することができる。

レーザースキャナは、近赤外のレーザ光を水平及び垂直方向にスキャンニングし、距離画像を取得することができるものであり、点検画像として使用可能な赤（Ｒ）、緑（Ｇ）、青（Ｂ）画像も取得することができるものが好ましい。

また、モーションステレオ方式とは、単眼の撮像装置を移動させながら撮影した時系列の画像に基づいてオプティカルフローを求めることにより距離を推定する方式である。

［その他］
本実施形態では、撮像装置を搭載してロボット装置により橋梁を撮影するようにしたが、これに限らず、点検者が撮像装置を目的の撮影位置に持ち運び、撮像装置を点検部材に向けて撮影を行うようにしてもよく、また、撮像装置を搭載した無人飛行機（ドローン）により橋梁を撮影するようにしてもよい。但し、撮影時の撮像装置の位置（撮影位置）及び撮影方向の情報は、ＧＰＳ装置、方位センサ、及びその他の方法により取得する必要がある。

また、撮像装置により撮影された画像、距離画像、撮像装置が取得した撮影位置及び撮影方向を示す情報は、撮像装置から無線通信により取得する場合に限らず、撮像装置からから有線により、又は撮像装置の記録媒体を介して取得するようにしてもよい。

１…橋梁、２…主桁、３…横桁、４…対傾構、５…横構、６…床版、１０…点検システム、１００…ロボット装置、１０２…主フレーム、１０４…垂直伸延アーム、１０４Ａ…カメラ設置部、１０６…筐体、１０８…Ｘ方向駆動部、１０８Ａ…ボールネジ、１０８Ｂ…ボールナット、１０８Ｃ…モータ、１１０…Ｙ方向駆動部、１１０Ａ…タイヤ、１１０Ｂ…タイヤ、１１２…Ｚ方向駆動部、１２０…パンチルト機構、１３０…ロボット制御部、２００…撮像装置、２０２…二眼カメラ、２０２Ａ…第１の撮像部、２０２Ｂ…第２の撮像部、２０４…撮影制御部、２０６…パンチルト駆動部、２１０…パンチルト制御部、２３０…ロボット側通信部、３００…端末装置、３１０…端末側通信部、３２０…端末制御部、３２２…第１の空間情報取得部、３２２Ａ…対応点検出部、３２２Ｂ…距離算出部、３２２Ｃ…３次元座標算出部、３２２Ｄ…部材特定部、３２２Ｅ…平面算出部、３２４…変換部、３２６…部材識別情報取得部、３２８…画像処理部、３３０…入力部、３３２…部材テーブル、３３２Ｄ…部材特定部、３４０…表示部、３５０…記録部、Ａ…領域、Ａ１…図面平面範囲、Ａ２…図面平面範囲、Ｂ…領域、ＩＬ…第１の画像、ＩＲ…第２の画像、Ｌ１…光軸、Ｌ２…光軸、Ｏｒ…原点、Ｐ…パン軸、Ｐ１…図面平面、Ｐ２…図面平面、Ｔ…チルト軸、α…パン角度、β…チルト角度

Claims (18)

1. 複数の部材から構成された構造物を撮影する撮像装置と、
   前記撮像装置による撮影範囲に対応する前記構造物の第１の空間情報であって、前記撮像装置を基準にしたローカル座標系における前記構造物の第１の空間情報を取得する第１の空間情報取得部と、
   前記ローカル座標系の空間情報をグローバル座標系の空間情報に変換する変換情報に基づいて、前記取得した前記構造物の第１の空間情報に含まれる部材を示す第１の空間情報を、前記グローバル座標系の第２の空間情報に変換する変換部と、
   前記グローバル座標系における前記構造物を構成する各部材の第３の空間情報と各部材を示す部材識別情報とが関連付けて登録された部材テーブルと、
   前記グローバル座標系に変換された前記部材を示す第２の空間情報と前記部材テーブルに登録された第３の空間情報とに基づいて前記第２の空間情報に対応する前記第３の空間情報を特定し、前記特定した前記第３の空間情報に関連付けて登録された部材識別情報を前記部材テーブルから取得する部材識別情報取得部と、
   前記第１の空間情報又は前記第２の空間情報から平面領域を検出し、前記検出した平面領域を一つの部材を示す領域と仮定する部材特定部と、を備え、
   前記部材を示す第１の空間情報又は前記部材を示す第２の空間情報は、前記部材特定部により部材を示す領域と仮定した平面領域を示す空間情報であり、
   前記部材識別情報取得部により取得した前記部材識別情報により前記撮像装置により撮影された画像に含まれる部材を特定する構造物の部材特定装置。
2. 前記変換情報は、前記構造物の撮影時の撮影位置及び撮影方向を示す情報である請求項１に記載の構造物の部材特定装置。
3. 前記部材識別情報取得部は、前記部材を示す第２の空間情報に対応する、前記部材が存在する前記グローバル座標系における第１の部材領域に基づいて前記部材テーブルに登録された各部材が存在する部材毎の第２の部材領域のうちから前記第１の部材領域に最も近似する第２の部材領域を抽出し、前記抽出した第２の部材領域に対応する前記第３の空間情報を特定する請求項１又は２に記載の構造物の部材特定装置。
4. 前記部材識別情報取得部は、前記部材を示す領域と仮定した平面領域の平面を特定する第１の平面方程式に基づいて前記部材テーブルに登録された各部材の平面を示す第２の平面方程式のうちから前記第１の平面方程式に最も近似する第２の平面方程式を抽出し、前記抽出した第２の平面方程式に対応する平面を有する前記第３の空間情報を特定する請求項１から３のいずれか１項に記載の構造物の部材特定装置。
5. 前記部材識別情報取得部により取得した前記部材識別情報を出力する出力部を備えた請求項１から４のいずれか１項に記載の構造物の部材特定装置。
6. 前記撮像装置により撮影された前記画像と前記部材識別情報取得部により取得した前記部材識別情報とを関連付けて記録する記録部を備えた請求項１から５のいずれか１項に記載の構造物の部材特定装置。
7. 前記画像に含まれる部材であって、前記部材識別情報により特定された部材の損傷の種類及び損傷のランクのうちの少なくとも一つを入力する入力部を備え、
   前記記録部は、前記撮像装置により撮影された前記画像と関連付けて前記入力部により入力された前記損傷の種類及び前記損傷のランクのうちの少なくとも一つを更に記録する
   請求項６に記載の構造物の部材特定装置。
8. 前記撮像装置により撮影された前記画像と前記部材識別情報取得部により取得した前記部材識別情報とを表示する表示部を備えた請求項１から７のいずれか１項に記載の構造物の部材特定装置。
9. 前記撮像装置により撮影された前記画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれ、前記表示部に複数の部材識別情報が表示されている場合に、前記複数の部材識別情報から前記点検部材に対応する部材識別情報の選択を指示する選択指示部を備え、
   前記部材識別情報取得部は、前記選択指示部により選択が指示された部材識別情報を、前記点検部材の部材識別情報として取得する請求項８に記載の構造物の部材特定装置。
10. 前記撮像装置により撮影された前記画像に基づいて損傷を有する点検部材を画像処理により特定する画像処理部を備え、
    前記部材識別情報取得部は、前記画像処理部により特定された前記点検部材に対応する部材識別情報を、前記点検部材の部材識別情報として取得する請求項１から９のいずれか１項に記載の構造物の部材特定装置。
11. 前記撮像装置により撮影された画像を表示する表示部と、
    前記撮像装置により撮影された画像に損傷を有する１つの点検部材と損傷を有しない１以上の非点検部材とが含まれ、前記表示部に複数の部材が表示されている場合に、前記点検部材又は前記点検部材の損傷位置を示す前記第１の空間情報を指定する第１の空間情報指定部と、を備え、
    前記部材識別情報取得部は、前記第１の空間情報指定部により指定された前記第１の空間情報を前記点検部材の部材識別情報の取得に使用する請求項１から７のいずれか１項に記載の構造物の部材特定装置。
12. 前記第１の空間情報取得部は、前記撮像装置としての機能を備えた二眼カメラを含み、前記二眼カメラにより撮影された２枚の視差画像から前記構造物の３次元座標を算出し、前記算出した３次元座標を前記構造物の第１の空間情報として取得する請求項１から１１のいずれか１項に記載の構造物の部材特定装置。
13. 前記第１の空間情報取得部は、前記撮像装置としての機能を備えたタイム・オブ・フライト式カメラを含み、前記タイム・オブ・フライト式カメラにより撮影された前記構造物の３次元座標を前記構造物の第１の空間情報として取得する請求項１から１１のいずれか１項に記載の構造物の部材特定装置。
14. 前記第１の空間情報取得部は、前記撮像装置としての機能を備えたレーザースキャナを含み、前記レーザースキャナが取得した前記構造物の３次元座標を前記構造物の第１の空間情報として取得する請求項１から１１のいずれか１項に記載の構造物の部材特定装置。
15. 前記第１の空間情報取得部は、前記撮像装置を移動させて撮影した時系列の画像に基づいてモーションステレオ方式により算出した３次元座標を前記第１の空間情報として取得する請求項１から１１のいずれか１項に記載の構造物の部材特定装置。
16. 複数の部材から構成された構造物を撮影する撮像装置と、グローバル座標系における前記構造物を構成する各部材の第３の空間情報と各部材を示す部材識別情報とが関連付けて登録された部材テーブルと、を備えた点検システムに使用される構造物の部材特定方法であって、
    前記撮像装置による撮影範囲に対応する前記構造物の第１の空間情報であって、前記撮像装置を基準にしたローカル座標系における前記構造物の第１の空間情報を取得するステップと、
    前記ローカル座標系の空間情報をグローバル座標系の空間情報に変換する変換情報に基づいて、前記取得した前記構造物の第１の空間情報に含まれる部材を示す第１の空間情報を、前記グローバル座標系の第２の空間情報に変換するステップと、
    前記グローバル座標系に変換された前記部材を示す第２の空間情報と前記部材テーブルに登録された第３の空間情報とに基づいて前記第２の空間情報に対応する前記第３の空間情報を特定し、前記特定した前記第３の空間情報に関連付けて登録された部材識別情報を前記部材テーブルから取得するステップと、
    前記第１の空間情報又は前記第２の空間情報から平面領域を検出し、前記検出した平面領域を一つの部材を示す領域と仮定するステップと、を含み、
    前記部材を示す第１の空間情報又は前記部材を示す第２の空間情報は、前記部材を示す領域と仮定した平面領域を示す空間情報であり、
    前記取得した前記部材識別情報により前記撮像装置により撮影された画像に含まれる部材を特定する構造物の部材特定方法。
17. 前記部材識別情報を前記部材テーブルから取得するステップは、
    前記部材を示す第２の空間情報に基づいて前記部材が存在する前記グローバル座標系における第１の部材領域を算出するステップと、
    前記算出した第１の部材領域に基づいて前記部材テーブルに登録された各部材が存在する部材毎の第２の部材領域のうちから前記第１の部材領域に最も近似する第２の部材領域を抽出するステップと、
    前記抽出した第２の部材領域に対応する前記第３の空間情報を特定するステップと、
    を含む請求項１６に記載の構造物の部材特定方法。
18. 前記部材識別情報を前記部材テーブルから取得するステップは、
    前記部材を示す第２の空間情報に基づいて前記部材を示す領域と仮定した平面領域の平面を特定する第１の平面方程式を算出するステップと、
    前記算出した第１の平面方程式に基づいて前記部材テーブルに登録された各部材の平面を示す第２の平面方程式のうちから前記第１の平面方程式に最も近似する第２の平面方程式を抽出するステップと、
    前記抽出した第２の平面方程式に対応する平面を有する前記第３の空間情報を特定するステップと、
    を含む請求項１６又は１７に記載の構造物の部材特定方法。

Images