JP6734583B2 - 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム - Google Patents

橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6734583B2
JP6734583B2 JP2018030606A JP2018030606A JP6734583B2 JP 6734583 B2 JP6734583 B2 JP 6734583B2 JP 2018030606 A JP2018030606 A JP 2018030606A JP 2018030606 A JP2018030606 A JP 2018030606A JP 6734583 B2 JP6734583 B2 JP 6734583B2
Authority
JP
Japan
Prior art keywords
image
data
camera
processing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018030606A
Other languages
English (en)
Other versions
JP2019144191A (ja
Inventor
博己 渡辺
博己 渡辺
晃大 生駒
晃大 生駒
真宏 鈴村
真宏 鈴村
忍 林
忍 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gifu Prefecture
Original Assignee
Gifu Prefecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gifu Prefecture filed Critical Gifu Prefecture
Priority to JP2018030606A priority Critical patent/JP6734583B2/ja
Publication of JP2019144191A publication Critical patent/JP2019144191A/ja
Application granted granted Critical
Publication of JP6734583B2 publication Critical patent/JP6734583B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Bridges Or Land Bridges (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムに関するものであって、特に橋梁についてのひび割れの有無や損傷についての点検作業を簡単、迅速、正確かつ低コストにて実施するのに適した橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムに関するものである。
従来、特に小規模の橋梁のコンクリート製の壁面などについての点検を行う際には、現場における目視にてひび割れの寸法をクラックスケールなどにて直接実測し、チョークによるマーキングを行うとともに、スケッチと写真にてその位置と大きさを記録する方法が一般的に行われているが、かかる作業には多くの時間と労力を要し、非常に効率が悪いものとなっている。
また、国内に存在し定期的にひび割れの有無や損傷についての点検が必要な橋梁の大多数を占めるものは、長さが2m〜15m程度のものであり、桁下が数m〜10m程度のものが多く、正面から撮影した複数の画像を取得するには、足場を組んで撮影位置を移動しながら撮影する必要があり、そのような作業は困難である。
なお、橋梁のコンクリート壁面に幅0.2mmのひび割れが生じると、その深さは10cm程度あることが予測され、内部の鉄筋に腐食が発生するおそれがある。
従って、正面画像から幅0.1mm程度のひび割れの存在とその位置を検出するには、構造物の詳細画像を取得する必要がある。
長さが2m〜15m程度の小さな橋梁についてドローンを用いることは、木の枝などの障害物を避ける必要があるなど、高度な操縦テクニックを必要としたり、高価な装置が必要になるという問題がある。
従来、構造物を検査するために、移動体を用いて複数枚の画像データを取得し、それらを統合する方法が提案されているが(特許文献1〜4)、それらの方法には以下のような問題がある。
・小さな橋梁の下には通常通路が無く、移動体を適切に移動させることは困難である。
・統合する複数個の画像データは、構造物を正面から撮影したものでなければならない。・隣接する画像データに重複する部分が必要となっている。
また、上記従来の技術においては、小さな橋梁といったアクセスしにくい現場に存在する構造物について、微細なひび割れの存在と位置を特定できる簡易な画像処理システムを提供できるものではないという問題がある。
特開2012−18073号公報 特開2009−85785号公報 特開2004−37440号公報 特開2012−177569号公報
本発明が解決しようとする課題は、橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムにおいて、微細なひび割れの存在と位置を簡単、迅速、正確かつ低コストにて特定できる画像処理システム、画像処理方法及びプログラムを提供することである。
そして、本発明の目的は、アクセスしにくい現場に存在する構造物についても撮影作業を行い易く、かつ、得られた画像データを正確かつ迅速に処理できる橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムを提供することにある。
本発明の他の目的は、構造物を正面から撮影していない画像からも正面画像を取得してそれらを統合できる画像処理システム、画像処理方法及びプログラムを提供することにある。
本発明の他の目的は、隣接する画像データに重複する部分がなくても、複数の画像を統合できる画像処理システム、画像処理方法及びプログラムを提供することにある。
本発明の他の目的は、システムにおける誤差を修正できる高精度な画像処理システム、画像処理方法及びプログラムを提供することにある。
本発明の他の目的は、個々の画像に部分的に不鮮明な部分があっても、正確に正面画像を取得してそれらを統合できる画像処理システム、画像処理方法及びプログラムを提供することにある。
(1)本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
A)カメラと、4個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記4個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の4隅付近に照射されるように、4個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである撮影装置と、
B)当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
B1)前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
B2)前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係から、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出する位置姿勢推定処理と、
B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム。」を最も主要な特徴とするものである。
(2)本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
A)カメラと、4個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記4個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の4隅付近に照射されるように、4個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである撮影装置と、
B)当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
B1)前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
B2)前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出する位置姿勢推定処理と、
B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム。」であっても良い。
(3)本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
A)カメラと、4個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記4個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の4隅付近に照射されるように、4個のレーザーポインタを前記カメラの光軸を中心とする対角線上にて拡開するように配置して固定することができるものである撮影装置と、
B)当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
B1)前記撮影装置によって構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
B2)前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係から、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出する位置姿勢推定処理と、
B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム。」であっても良い。
(4)本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記データ処理装置は、前記位置姿勢推定処理において、前記照射点抽出処理によって得られた前記レーザーポインタによる4個の照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる4個の照射点の座標位置との4点の対応の内から選択される異なる3点の対応の2以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるものであっても良い。
(5)本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記カメラにより撮影された画像の画素分解能(1ピクセルあたりの実サイズ)は、0.1mm/ピクセル〜0.3mm/ピクセルの範囲内であると良い。
(6)本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記カメラにより撮影される画像の画素分解能(1ピクセルあたりの実サイズ)の範囲及び撮影時の構造物までの距離に応じて、前記カメラの有効画素数、光学ズーム倍率といったカメラのスペックを選択可能であるものであっても良い。
(7)本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記レーザーポインタによる4個の照射点は、正対する平面上において、正確には長方形又は正方形の頂点上に配置されるべきものであり、前記データ処理装置は、前記位置姿勢推定処理において、前記撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラと4個のレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正することができるものであっても良い。
(8)本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記データ処理装置は、前記画像統合処理によって得られた構造物の広範囲の正面画像から、構造物に生じているひび割れ又は剥離などの損傷の計測処理を行うことができるものであっても良い。
(9)本発明の橋梁などの構造物を検査するための画像処理システムにおいて、前記カメラは、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、前記位置姿勢推定処理によって得られた構造物との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラのズーム機構とシャッターを遠隔制御できるものであっても良い。
(10)さらに、本発明は、「請求項5に記載の画像処理システムを用いて構造物の広範囲の正面画像から構造物に生じている微細なひび割れの存在とその位置を確認することができる構造物を検査するための画像処理方法であって、
a)カメラと4個のレーザーポインタを有する撮影装置によって、構造物から離れた定位置から構造物の複数枚の画像データを取得するステップと、
b)前記データ処理装置による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中での座標位置を抽出するステップと、
c)前記データ処理装置による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出するステップと、
d)前記データ処理装置による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換するステップと、
e)前記データ処理装置による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築するステップと、
からなる構造物を検査するための画像処理方法。」である。
(11)本発明の構造物を検査するための画像処理方法において、前記データ処理装置による位置姿勢推定処理は、前記撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラと4個のレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正するステップをさらに含むものであっても良い。
(12)本発明の構造物を検査するための画像処理方法において、撮影位置から撮影される構造物の範囲は、カメラの光軸の上下左右それぞれ最大60度の範囲内となるように、構造物から離れた定位置を選定するステップをさらに含むものであると良い。
(13)さらに、本発明は、「請求項10に記載されている構造物を検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置に実行させるためのプログラム。」である。
(14)また、本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
A)カメラと、3個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記3個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の範囲内に照射されるように、3個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸の周囲に配置した三角形の頂点上に配置して固定することができるものである撮影装置と、
B)当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
B1)前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる3個の照射点の画像データ中での座標位置を抽出する照射点抽出処理と、
B2)前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる3個の照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる3個の照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データから、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出する位置姿勢推定処理と、
B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム。」である。
(1)上記のように構成した本発明は、各レーザーポインタによるレーザー光とカメラの光軸とが固定された撮影装置を用いているため、レーザーポインタによる各照射点の座標位置と、撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中におけるレーザーポインタによる各照射点の座標位置との相対的な関係から、カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出することができる。この場合、3個の照射点についての相対的な関係を用いることで、前記距離データ及び傾きデータを算出することができるため、1個の照射点が不鮮明であっても画像処理を行うことができる。
さらに、前記位置姿勢推定処理において、予め対象との位置関係が特定された状態で撮影した画像データ中におけるレーザーポインタによる各照射点の座標位置を用いているため、撮影装置におけるカメラとレーザーポインタの実際の配置状況を正確に把握でき、カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを正確に算出することができる。
また、レーザーポインタによるレーザー光が、カメラによって撮影される画像の4隅付近に照射されることで、画像データ中の撮影範囲が適切なものであることを簡単に確認でき、個々の撮影作業を迅速に行うことができるばかりか、撮影以後の画像処理作業を迅速かつ適切に進めることができる。
さらに、複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合しているため、隣接する画像データに重複する部分がなくても、複数の画像を統合することができる。
本発明は、定位置から撮影することによって得られた複数枚の画像データから構造物の広範囲の正面画像を構築することができるため、撮影装置を移動させながら撮影する作業が必須のものでは無く、アクセスしにくい現場に存在する構造物についての検査を簡単、迅速、正確かつ低コストにて行うことができる。
(2)本発明の画像処理システムにおける位置姿勢推定処理において、撮影装置におけるカメラとレーザーポインタの配置位置データを用いる場合においては、簡単かつ迅速にカメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出することができる。
(3)本発明の画像処理システムにおける撮影装置において、4個のレーザーポインタをカメラの光軸を中心とする対角線上にて拡開するように配置して固定するようにした場合には、撮影装置を小型化することができ、機動性を高めることができる。
(4)本発明の画像処理システムの位置姿勢推定処理において、4個の照射点の座標位置の内から選択される異なる3点の2以上の組み合わせから、距離データ及び傾きデータを算出する場合には、それらのデータの精度を高め、画像処理の結果の信頼性を高めることができる。
(5)本発明の画像処理システムにおいて、カメラにより撮影された画像の画素分解能(1ピクセルあたりの実サイズ)が、0.1mm/ピクセル〜0.3mm/ピクセルの範囲内である場合には、橋梁などのコンクリート壁面に生じている補修又は監視が必要な微細なひび割れの存在とその位置を検出することができる。
(6)本発明の画像処理システムにおいて、カメラにより撮影される画像の画素分解能(1ピクセルあたりの実サイズ)の範囲及び撮影時の構造物までの距離に応じて、カメラの有効画素数、光学ズーム倍率といったカメラのスペックを選択可能である場合には、検査対象となるひび割れや剥離などの大きさに応じて適切な撮影装置を構成することができ、画像処理システムのコストを削減したり、作業効率を高めることができる。
(7)本発明の画像処理システムにおいて、レーザーポインタによる4個の照射点が、正対する平面上において、正確には長方形又は正方形の頂点上に配置されるべきものである場合には、撮影範囲を正確かつ容易に決定することができ、撮影をスムーズに行うことができる。そして、画像処理における効率と正確性を高めることができる。
さらに、データ処理装置が、位置姿勢推定処理において、撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、カメラとレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正することができるものである場合には、構造物のより一層正確な正面画像を得ることができる。
(8)本発明の画像処理システムにおいて、データ処理装置が、画像統合処理によって得られた構造物の広範囲の正面画像から、構造物に生じているひび割れ又は剥離などの損傷の計測処理を行うことができるものである場合には、検査作業を容易にすることができ、補修の要否の決定や以後の監視を簡単に行うことができる。
(9)本発明の画像処理システムにおいて、カメラが、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、位置姿勢推定処理によって得られた構造物との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラのズーム機構とシャッターを遠隔制御できるものである場合には、アクセスしにくい場所にある構造物の撮影作業であっても簡単に行うことができ、検査作業を極めて効率的に行うことができる。
(10)本発明の請求項5に記載の画像処理システムを用いた構造物を検査するための画像処理方法においては、構造物の広範囲の正面画像から構造物に生じている微細なひび割れの存在とその位置を簡単、迅速、正確かつ低コストにて確認することができる。
(11)本発明の構造物を検査するための画像処理方法において、データ処理装置による位置姿勢推定処理が、撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、カメラとレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正するステップをさらに含むものである場合には、構造物のより一層正確な正面画像を得ることができる。
(12)本発明の構造物を検査するための画像処理方法において、撮影位置から撮影される構造物の範囲は、カメラの光軸の上下左右それぞれ最大60度の範囲内となるように、構造物から離れた定位置を選定するステップをさらに含むものである場合には、定位置から多くの画像データを得ることができ、かつ、それらの画像を処理することで構造物の正確な正面画像を得ることができる。
(13)本発明のプログラムは、請求項10に記載されている構造物を検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置によって実行可能であり、検査コストの削減、作業の効率化、画像処理システムのコンパクト化などを図ることができる。
(14)本発明の画像処理システムにおいて、カメラと、3個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置を用いる場合には、撮影装置を必要最小限なものとすることで簡素化及び小型化することができ、画像処理システムのコストを低減したり、撮影作業を容易にすることができる。
なお、橋梁などの構造物を検査するという目的のためには、本発明の画像処理システム、画像処理方法及びプログラムにおいて、ひび割れや損傷などの位置を厳密に特定する必要は無いため、撮影装置によって構造物を撮影する「定位置」とは、三脚によって撮影装置を支える場合に限らず、手持ちによって撮影する場合を含む。
即ち、本発明の画像処理システム、画像処理方法及びプログラムは、橋梁などの構造物を検査する際において、極めて扱い易く使い易いものとなっている。
図1は本発明を具体化した橋梁などの構造物を検査するための画像処理システムの一実施形態の概要を示す斜視図及び撮影装置によって橋梁を撮影する様子を示す平面図である。 図2は本発明を具体化した橋梁などの構造物を検査するための画像処理システムの撮影装置を示す正面図及び撮影装置によって得られる画像データの様子を示す図である。 図3は本発明を具体化した橋梁などの構造物を検査するための画像処理システムの撮影装置によって橋梁を撮影する様子を示す側面図である。 図4は本発明を具体化した橋梁などの構造物を検査するための画像処理システムの他の実施形態を示す斜視図である。 図5は本発明を具体化した橋梁などの構造物を検査するための画像処理システムによって得られる構造物の広範囲の正面画像を示す平面図である。 図6は本発明を具体化した橋梁などの構造物を検査するための画像処理システムによってカメラの位置姿勢推定処理を行う際の計算処理を説明するための図である。 図7は本発明を具体化した橋梁などの構造物を検査するための画像処理方法の手順を示すフローチャートである。 図8は本発明を具体化した橋梁などの構造物を検査するための画像処理方法において、適切な撮影位置を選定してから撮影を行う手順を示すフローチャートである。 図9は本発明を具体化した橋梁などの構造物を検査するための画像処理方法において、信頼性を高めた位置姿勢推定処理の手順を示すフローチャートである。 図10は本発明を具体化した橋梁などの構造物を検査するための画像処理方法において、レーザーポインタが3個である場合の手順を示すフローチャートである。 図11は本発明を具体化した橋梁などの構造物を検査するための画像処理方法において、得られる画像の解像度について説明するための図である。
本発明は、「橋梁などの構造物を検査するための画像処理システムであって、
A)カメラと、3個以上のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置と、
B)当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
当該データ処理装置は、
B1)前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
B2)前記複数枚の画像データのそれぞれについて、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出する位置姿勢推定処理と、
B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
を行うことができる橋梁などの構造物を検査するための画像処理システム」である。
さらに、本発明は、「上記のような画像処理システムを用いて構造物の広範囲の正面画像から構造物に生じている微細なひび割れの存在とその位置を確認することができる構造物を検査するための画像処理方法であって、
a)カメラと4個のレーザーポインタを有する撮影装置によって、構造物から離れた定位置から構造物の複数枚の画像データを取得するステップと、
b)前記データ処理装置による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中での座標位置を抽出するステップと、
c)前記データ処理装置による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出するステップと、
d)前記データ処理装置による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換するステップと、
e)前記データ処理装置による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築するステップと、
からなる構造物を検査するための画像処理方法」である。
また、本発明は、「上記のような構造物を検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置に実行させるためのプログラム」である。
そして、本発明は、以下において説明する実施形態などによって好適に具体化することができるものである。
なお、本発明において、「正面画像」とは、構造物の鉛直方向の壁面については、水平方向から見た画像であり、構造物の水平方向の底面、天井面については、直下から見た画像であり、構造物の水平方向の床面、上面については、真上から見た画像である。
以下、本発明を具体化した橋梁などの構造物を検査するための画像処理システム1の一実施形態について説明する。
図1及び図2に示すように、本発明の一実施形態の橋梁などの構造物2を検査するための画像処理システム1は、撮影装置10とデータ処理装置20とから構成される。
そして、当該撮影装置10は、1個のカメラ11と、4個のレーザーポインタLp1〜Lp4と、それらを一体的に保持することができる固定手段12と、から構成されている。
前記カメラ11は、画素数が1千万〜4千万程度のデジタルカメラを好適に用いることができるが、構造物2の検査に必要な画像解像度が低くても良い場合、又は、構造物2が小さくて接近した場所から複数枚の画像データを得られる場合には、数百万ピクセル程度の画像解像度を得られるデジタルカメラ又は携帯電話であっても良い。
前記カメラ11としては、当該カメラ11により撮影される画像の画素分解能(1ピクセルあたりの実サイズ)の範囲及び撮影時の構造物2までの距離に応じて、前記カメラ11の有効画素数、光学ズーム倍率といったカメラ11のスペックを選択可能である。
また、前記カメラ11は、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、後述する位置姿勢推定処理によって得られた構造物2との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラ11のズーム機構とシャッターを遠隔制御できるものであっても良い。
さらに、カメラ11としては、動画を撮影できる機能を有するデジタルカメラ、携帯電話、又は、図4に示すようなビデオカメラ11aであっても良い。
なお、ビデオカメラ11aによって構造物2の動画データを得る場合には、動画データ中における適宜の画像データを抽出・選択して以後の画像処理を行えば良い。
前記固定手段12は、前記4個のレーザーポインタLp1〜Lp4によるレーザー光が、前記カメラ11によって撮影される画像の4隅付近に照射されるように、4個のレーザーポインタLp1〜Lp4を前記カメラ11の光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである。
この固定手段12は、合成樹脂、軽金属又は木材などの剛性材料から構成することができ、前記カメラ11の光軸と各レーザーポインタLp1〜Lp4の光軸との位置関係が常時狂うことがないようにそれらを保持できれば良く、その形状は、長方形、正方形の他、他の四角形、X字形、円形、多角形、三角形、V字形、A字形などの枠状のもの又は板状のものなど、適宜選択可能である。
また、撮影装置10によって定位置から複数枚の画像データを得るために、固定手段12に三脚13を装着してカメラ11による撮影を行っても良い。
本発明において、各レーザーポインタLp1〜Lp4は、数メートル〜20メートル程度離れた対象物までレーザー光を照射できる1mW程度のものを好適に使用でき、視認性に優れた緑色のものが好ましい。
また、各レーザーポインタLp1〜Lp4による照射点P1〜P4の輝点形状は、真円で中心から正規分布に従うような輝度分布が好ましい。
なお、輝点の直径は、一例として、4m離れたところで4mm程度のものを用いることができる。
前記データ処理装置20としては、カメラ11によって構造物2を撮影することによって得られた画像データを記録メディアを介して、あるいは、無線又は有線にて読み込むことができるノート型パソコン21を好適に使用することができる。
次に、前記データ処理装置20について説明する。
前記データ処理装置20は、
B1)前記撮影装置10によって定位置から構造物2を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタLp1〜Lp4による各照射点P1〜P4の画像データ中における座標位置を抽出する照射点抽出処理と、
B2)前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタLp1〜Lp4による各照射点P1〜P4の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタLp1〜Lp4による各照射点の座標位置との相対的な関係から、前記カメラ11から構造物2までの距離データ及びカメラ11の3次元方向での傾きデータを算出する位置姿勢推定処理と、
B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物2の正面画像データに変換する正面画像取得処理と、
B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物2の広範囲の正面画像(図5参照)を構築する画像統合処理と、
を行うことができるものである。
前記データ処理装置20は、位置姿勢推定処理において、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタLp1〜Lp4による各照射点P1〜P4の座標位置と、前記撮影装置10におけるカメラ11とレーザーポインタLp1〜Lp4の配置位置データとから、前記カメラ11から構造物2までの距離データ及びカメラ11の3次元方向での傾きデータを算出する位置姿勢推定処理を行うものであっても良い。
ここで、前記データ処理装置20による位置姿勢推定処理は、前記レーザーポインタLp1〜Lp4による各照射点P1〜P4の内の3個の照射点の座標位置が特定できれば、前記カメラ11から構造物2までの距離データ及びカメラの3次元方向での傾きデータを算出することができる。
従って、照射点P1〜P4の内の何れか1個が不鮮明で判別困難であっても、以後の画像処理を行うことができる。
さらに、前記データ処理装置20は、前記位置姿勢推定処理において、前記照射点抽出処理によって得られた前記レーザーポインタLp1〜Lp4による4個の照射点P1〜P4の座標位置と、前記撮影装置10を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタLp1〜Lp4による4個の照射点P1〜P4の座標位置との4点の対応の内から選択される異なる3点の対応の2以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるものであっても良い。
また、本発明の好適な実施形態において、前記レーザーポインタLp1〜Lp4による4個の照射点P1〜P4は、正対する平面上において、正確には長方形又は正方形の頂点上に配置されるべきものであり、前記データ処理装置20は、前記位置姿勢推定処理において、前記撮影装置10を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラ11と4個のレーザーポインタLp1〜Lp4の光軸のズレを検出することで、構造物2の画像データ中における照射点P1〜P4の座標位置を補正することができるものであると良い。
さらに、本発明の好適な実施形態において、前記データ処理装置20は、前記画像統合処理によって得られた構造物2の広範囲の正面画像から、構造物2に生じているひび割れ5又は剥離などの損傷の計測処理を行うことができるものである。
かかる計測処理は、カメラ11と対象物との距離データ及びカメラ11の傾きデータ、並びに、画像データの解像度から、各画像データ中における損傷の座標位置(各照射点P1〜P4同士の距離)を特定できるため、可能となる。
次に、上記にて説明した本発明の「橋梁などの構造物を検査するための画像処理システム1」を用いて橋梁などの構造物2を検査するための画像処理方法について説明する。
本発明の橋梁などの構造物2を検査するための画像処理方法は、好適には、前記カメラ11により撮影された画像の画素分解能(1ピクセルあたりの実サイズ)が、0.1mm/ピクセル〜0.3mm/ピクセルの範囲内である画像処理システム1を用いて構造物2の広範囲の正面画像から構造物2に生じている微細なひび割れ5の存在とその位置を確認することができる構造物2を検査するための画像処理方法であって、図7に示すように、以下のステップS1〜S6から構成されている。
カメラ11と4個のレーザーポインタLp1〜Lp4を有する撮影装置によって、構造物2から離れた定位置から構造物2の複数枚の画像データを取得するステップS1(撮影)。
前記データ処理装置20による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタLp1〜Lp4による各照射点P1〜P4の画像データ中での座標位置を抽出するステップS2(照射点抽出処理)。
前記データ処理装置20による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタLp1〜Lp4による各照射点P1〜P4の座標位置と、前記撮影装置10を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタLp1〜Lp4による各照射点P1〜P4の座標位置との相対的な関係又は前記撮影装置におけるカメラ11とレーザーポインタLp1〜Lp4の配置位置データとから、前記カメラ11から構造物2までの距離データ及びカメラの3次元方向での傾きデータを算出するステップS3(位置姿勢推定処理)。
前記データ処理装置20による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物2の正面画像データに変換するステップS4(正面画像取得処理)。この処理は、画像の歪みと大きさを補正する処理である。
前記データ処理装置20による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物2の広範囲の正面画像を構築するステップS5(画像統合処理)。
前記画像統合処理によって得られた構造物2の広範囲の正面画像から、構造物2に生じているひび割れ5又は剥離などの損傷の計測処理を行うステップS6(ひび割れ計測処理)。
なお、本発明の構造物を検査するための画像処理方法において、前記データ処理装置による位置姿勢推定処理は、前記撮影装置10を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラ11と4個のレーザーポインタLp1〜Lp4の光軸のズレを検出するステップS0(キャリブレーション)をさらに含むものであっても良い。これにより、構造物2の画像データ中における照射点P1〜P4の座標位置を補正することができる。
さらに、本発明の構造物を検査するための画像処理方法は、撮影のステップS1の前に、撮影位置から撮影される構造物2の範囲が、カメラ11の光軸の上下左右それぞれ最大60度の範囲内となるように、構造物2から離れた定位置を選定するステップS1−0をさらに含むものであると良い(図8参照)。
なお、本発明の構造物を検査するための画像処理方法において、カメラ11による撮影位置は、1箇所に限られるものではなく、構造物2が水平方向又は上下方向に長い場合には、複数箇所から複数枚の撮影を行い、その際の移動距離を元に、又は、画像データ中の特徴点を照合することで、構造物2の広範囲の正面画像を構築することもできる。
また、本発明の構造物を検査するための画像処理方法は、前記位置姿勢推定処理のステップS3において、前記照射点抽出処理によって得られた前記レーザーポインタLp1〜Lp4による4個の照射点P1〜P4の座標位置と、前記撮影装置10を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタLp1〜Lp4による4個の照射点P1〜P4の座標位置との4点の対応の内から選択される異なる3点の対応の2以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるステップS3−1を採用しても良い(図9参照)。
次に、データ処理装置20による位置姿勢推定処理の具体的手順(計算処理理論)について以下、説明する。
図6に示すように、構造物2をカメラ11で撮影した画像データ(撮影画像)は、基準状態で撮影された画像からX軸(水平方向)及びY軸(上下方向)において回転しており、Z軸(前後方向)において移動していると考えられる。
そこで、
i)基準状態での輝点座標と回転・移動後の輝点座標の関係より、
Figure 0006734583

ii)回転と移動による距離変化により、
Figure 0006734583
上記i)とii)より、距離に関する方程式
Figure 0006734583

が成り立つので、以下のパラメータが既知であれば、方程式を解くことができる。
Figure 0006734583

の「輝点座標のペア(組み合わせ)が3点以上」
「各レーザーポインタの傾き」:
Figure 0006734583

「基準状態での撮影装置と壁面との距離」:Z
「撮影時の焦点距離」:
Figure 0006734583
ここで、本件発明の橋梁などの構造物2を検査するための画像処理システム1の一実施例について説明する(図2参照)。
<点検対象の構造物と損傷の程度>
橋梁のコンクリート壁面3における0.1mm以上の幅を有するひび割れを検出する検査のための画像処理を行う場合
<使用するカメラ>
SONY社製のデジタルカメラ:Cyber−shot DSC−RX10M4
解像度 :5472 x 3648
光学ズーム倍率:25倍まで
<画像スペック>
画像分解能 :0.2mm/pix
最大撮影可能範囲:1.1m x 0.7m
最大撮影可能距離:0.73m(25倍ズーム利用なら18.25m)
<レーザーポインタ>
水平方向60cm、上下方向45cmの長方形の頂点に配置
カメラはその長方形の中心位置に光軸が配置されるようにして固定
(この配置が、位置姿勢推定処理において利用される配置位置データとなる。)
<撮影枚数>
画像の統合を容易にするために、3割重ねながら撮影する場合
(壁面の幅/0.8)x(壁面の高さ/0.5)枚
本発明において、照射点抽出処理、位置姿勢推定処理、正面画像取得処理、画像統合処理、ひび割れ計測処理を行う「データ処理装置20」は、PC(コンピュータ)の他、タブレット、携帯電話(スマートフォン)などであってもよく、本発明のプログラムは、それらのデータ処理装置20において動作し、本発明の画像処理方法(本明細書中において説明した各ステップにおけるデータ処理)をそれらのデータ処理装置において実行することができるものである。
ここで、照射点抽出処理、正面画像取得処理、ひび割れ計測処理の個々の処理については、従来公知の画像処理方法及びプログラムを用いて当業者において容易に理解でき、かつ、処理できるものであり、詳細な説明は省略する。
本発明は、橋梁の他、堤防、ダム、道路、トンネル、建物、橋脚などの柱状物、その他の構造物2の壁面3、床面、底面4、天井面上面などを検査するための画像処理システムとして使用することができるものであり、鉛直又は水平な平面の検査に限定されるものではなく、傾斜した平面についての画像データについても正面画像として再配置して統合することができる、橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムである。
本発明は、本発明の趣旨を逸脱しない範囲で画像処理システム1に使用する撮影装置10の各部の形状、寸法、角度、設置位置、大きさなどを適宜変更して実施しても良い。
一例として、本発明の構造物を検査するための画像処理システム1は、カメラ11と、4個のレーザーポインタLp1〜Lp4と、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記4個のレーザーポインタLp1〜Lp4によるレーザー光が、前記カメラ11によって撮影される画像の4隅付近に照射されるように、4個のレーザーポインタLp1〜Lp4を前記カメラ11の光軸を中心とする対角線上にて「拡開する」ように配置して固定することができるものであっても良い。
ここで、「拡開する」とは、レーザーポインタLp1〜Lp4による各レーザー光が、カメラ11の光軸に対して一定の角度を以て広がっていくことである。
この実施形態においては、撮影装置を小型化することが可能となる。
さらに、本発明の図4に示す実施形態においては、カメラとしてのビデオカメラ11aと、3個のレーザーポインタLp1〜Lp3を保持する固定手段(図示略)を備えた撮影装置10を用いている。
この実施形態において、当該撮影装置10を構成する固定手段は、前記3個のレーザーポインタLp1〜Lp3によるレーザー光が、前記カメラ11aによって撮影される画像の範囲内に照射されるように、3個のレーザーポインタLp1〜Lp3を前記カメラ11aの光軸と平行かつ当該光軸の周囲に配置した三角形の頂点上に配置して固定することができるものである。
そして、3個のレーザーポインタLp1〜Lp3の配置は、好適実施形態として、水平方向に沿った底辺を有する正三角形の頂点上であると良い。
この実施形態の場合、本発明の構造物を検査するための画像処理方法の一実施形態は、図10に示すように、以下のステップS10〜S16から構成される。
撮影装置10を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラ11aと3個のレーザーポインタLp1〜Lp3の光軸のズレを検出するステップS10(キャリブレーション)。
これにより、構造物2の画像データ中における照射点P1〜P3の座標位置を補正することができる。
前記カメラ11aと3個のレーザーポインタLp1〜Lp3を有する撮影装置10によって、構造物2から離れた定位置から構造物2の複数枚の画像データを取得するステップS11(撮影)。
前記データ処理装置による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタLp1〜Lp3による各照射点P1〜P3の画像データ中での座標位置を抽出するステップS12(照射点抽出処理)。
前記データ処理装置20による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタLp1〜Lp3による各照射点P1〜P3の座標位置と、前記撮影装置10を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタLp1〜Lp3による各照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラ11aとレーザーポインタLp1〜Lp3の配置位置データとから、前記カメラ11aから構造物2までの距離データ及びカメラ11aの3次元方向での傾きデータを算出するステップS13(位置姿勢推定処理)。
前記データ処理装置20による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物2の正面画像データに変換するステップS14(正面画像取得処理)。
前記データ処理装置20による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物2の広範囲の正面画像を構築するステップS15(画像統合処理)。
前記画像統合処理によって得られた構造物2の広範囲の正面画像から、構造物2に生じているひび割れ5又は剥離などの損傷の計測処理を行うステップS16(ひび割れ計測処理)。
本発明の上記実施形態の構造物を検査するための画像処理方法においては、レーザーポインタLp1〜Lp3を3個のみ有する撮影装置10を用いているため、小型化及び軽量化することができ、システムの構築コストを低減することができる。
また、カメラとしてビデオカメラ11aを用いている場合には、撮影作業を迅速かつスムーズに行うことができる。
なお、ビデオカメラ11aによって構造物2の動画データを得る場合には、動画データ中における適宜の画像データを抽出・選択して以後の画像処理を行えば良い。
また、本発明の画像処理方法においては、カメラ11のズーム機能を使用することで、得られる構造物2の平面画像の解像度を簡単に変更することができる。
さらに、部分的に解像度を上げるには、ズーム倍率を高め、照射点P1〜P4の位置を撮影範囲の4隅になるべく接近させれば良い。
逆に撮影効率を高め、解像度を低下させても良い場合には、ズーム倍率を低めて構造物2の広範囲を撮影するようにすれば良く、この場合、照射点P1〜P4は、撮影範囲の4隅付近において、中央部寄りの位置に配置されることになる(図11参照)。
さらに、本発明は、画像処理システム1のカメラ11,11aとして携帯電話又はタブレット(PC)を使用し、データ処理装置20としても当該携帯電話又はタブレット(PC)を使用することで、撮影装置10によってデータ処理装置20を兼用することもできる。
その場合、本発明の橋梁などの構造物を検査するための画像処理システムを小型・軽量化でき、画像処理作業もスムーズに行うことができる。
また、本発明の画像処理システムに通信機能を持たせることができるため、遠隔地にある現場で得られたデータを無線通信にて速やかに事業所などの大きなモニタやPCの在る場所へ転送することもできる。
本発明は、信頼性及び操作性に優れ、撮影作業、画像解析作業などといった構造物の検査に要する作業及び処理を安価にて簡素化、迅速化、効率化することができる、橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラムとして産業上好適に利用可能である。
1 画像処理システム
2 構造物
3 壁面
4 底面
5 ひび割れ
10 撮影装置
11 カメラ
11a ビデオカメラ(カメラ)
12 固定手段
13 三脚
20 データ処理装置
21 ノート型パソコン(データ処理装置)
22 携帯電話(データ処理装置)
Lp1〜Lp4 レーザーポインタ
P1〜P4 照射点

Claims (14)

  1. 橋梁などの構造物を検査するための画像処理システムであって、
    A)カメラと、4個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記4個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の4隅付近に照射されるように、4個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである撮影装置と、
    B)当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
    当該データ処理装置は、
    B1)前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
    B2)前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係から、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出する位置姿勢推定処理と、
    B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
    B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
    を行うことができることを特徴とする橋梁などの構造物を検査するための画像処理システム。
  2. 橋梁などの構造物を検査するための画像処理システムであって、
    A)カメラと、4個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記4個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の4隅付近に照射されるように、4個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸を中心とする対角線上に配置して固定することができるものである撮影装置と、
    B)当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
    当該データ処理装置は、
    B1)前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
    B2)前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出する位置姿勢推定処理と、
    B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
    B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
    を行うことができることを特徴とする橋梁などの構造物を検査するための画像処理システム。
  3. 橋梁などの構造物を検査するための画像処理システムであって、
    A)カメラと、4個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記4個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の4隅付近に照射されるように、4個のレーザーポインタを前記カメラの光軸を中心とする対角線上にて拡開するように配置して固定することができるものである撮影装置と、
    B)当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
    当該データ処理装置は、
    B1)前記撮影装置によって構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中における座標位置を抽出する照射点抽出処理と、
    B2)前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係から、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出する位置姿勢推定処理と、
    B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
    B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
    を行うことができることを特徴とする橋梁などの構造物を検査するための画像処理システム。
  4. 前記データ処理装置は、前記位置姿勢推定処理において、前記照射点抽出処理によって得られた前記レーザーポインタによる4個の照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる4個の照射点の座標位置との4点の対応の内から選択される異なる3点の対応の2以上の組み合わせから、前記距離データ及び傾きデータを算出することで、それらのデータの精度を高めることができるものであることを特徴とする請求項1〜3の何れか一項に記載の構造物を検査するための画像処理システム。
  5. 前記カメラにより撮影された画像の画素分解能(1ピクセルあたりの実サイズ)は、0.1mm/ピクセル〜0.3mm/ピクセルの範囲内であることを特徴とする請求項1〜4の何れか一項に記載の構造物を検査するための画像処理システム。
  6. 前記カメラにより撮影される画像の画素分解能(1ピクセルあたりの実サイズ)の範囲及び撮影時の構造物までの距離に応じて、前記カメラの有効画素数、光学ズーム倍率といったカメラのスペックを選択可能であることを特徴とする請求項1〜5の何れか一項に記載の構造物を検査するための画像処理システム。
  7. 前記レーザーポインタによる4個の照射点は、正対する平面上において、正確には長方形又は正方形の頂点上に配置されるべきものであり、
    前記データ処理装置は、前記位置姿勢推定処理において、前記撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラと4個のレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正することができるものであることを特徴とする請求項1〜6の何れか一項に記載の構造物を検査するための画像処理システム。
  8. 前記データ処理装置は、前記画像統合処理によって得られた構造物の広範囲の正面画像から、構造物に生じているひび割れ又は剥離などの損傷の計測処理を行うことができるものであることを特徴とする請求項1〜7の何れか一項に記載の構造物を検査するための画像処理システム。
  9. 前記カメラは、無線又は有線にて接続されたモニターによって離れた場所から撮影箇所及び焦点合わせを確認でき、かつ、前記位置姿勢推定処理によって得られた構造物との相対的な位置関係からスケールの尺度が統一された画像が得られるようカメラのズーム機構とシャッターを遠隔制御できるものであることを特徴とする請求項1〜8の何れか一項に記載の構造物の詳細画像を取得するための画像処理システム。
  10. 請求項5に記載の画像処理システムを用いて構造物の広範囲の正面画像から構造物に生じている微細なひび割れの存在とその位置を確認することができる構造物を検査するための画像処理方法であって、
    a)カメラと4個のレーザーポインタを有する撮影装置によって、構造物から離れた定位置から構造物の複数枚の画像データを取得するステップと、
    b)前記データ処理装置による照射点抽出処理によって、前記複数枚の画像データのそれぞれについて、前記レーザーポインタによる各照射点の画像データ中での座標位置を抽出するステップと、
    c)前記データ処理装置による位置姿勢推定処理によって、前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる各照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる各照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データとから、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出するステップと、
    d)前記データ処理装置による正面画像取得処理によって、前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換するステップと、
    e)前記データ処理装置による画像統合処理によって、前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築するステップと、
    からなることを特徴とする構造物を検査するための画像処理方法。
  11. 前記データ処理装置による位置姿勢推定処理は、前記撮影装置を用いて予め異なる距離から正対する平面を撮影した複数枚の画像データに基づいて、距離データ及び傾きデータを算出し、前記カメラと4個のレーザーポインタの光軸のズレを検出することで、構造物の画像データ中における照射点の座標位置を補正するステップをさらに含むことを特徴とする請求項10に記載の構造物を検査するための画像処理方法。
  12. 撮影位置から撮影される構造物の範囲は、カメラの光軸の上下左右それぞれ最大60度の範囲内となるように、構造物から離れた定位置を選定するステップをさらに含むことを特徴とする請求項10又は11に記載の構造物を検査するための画像処理方法。
  13. 請求項10に記載されている構造物を検査するための画像処理方法をコンピュータ、タブレット、携帯電話などのデータ処理装置に実行させるためのプログラム。
  14. 橋梁などの構造物を検査するための画像処理システムであって、
    A)カメラと、3個のレーザーポインタと、それらを一体的に保持することができる固定手段と、からなる撮影装置であって、当該撮影装置を構成する固定手段は、前記3個のレーザーポインタによるレーザー光が、前記カメラによって撮影される画像の範囲内に照射されるように、3個のレーザーポインタを前記カメラの光軸と平行かつ当該光軸の周囲に配置した三角形の頂点上に配置して固定することができるものである撮影装置と、
    B)当該撮影装置によって得られた画像データを処理するデータ処理装置と、を備え、
    当該データ処理装置は、
    B1)前記撮影装置によって定位置から構造物を撮影することによって得られた複数枚の画像データのそれぞれについて、前記レーザーポインタによる3個の照射点の画像データ中での座標位置を抽出する照射点抽出処理と、
    B2)前記複数枚の画像データのそれぞれについて、前記照射点抽出処理によって得られた前記レーザーポインタによる3個の照射点の座標位置と、前記撮影装置を用いて予め対象との位置関係が特定された状態で撮影した画像データ中における前記レーザーポインタによる3個の照射点の座標位置との相対的な関係又は前記撮影装置におけるカメラとレーザーポインタの配置位置データから、前記カメラから構造物までの距離データ及びカメラの3次元方向での傾きデータを算出する位置姿勢推定処理と、
    B3)前記複数枚の画像データのそれぞれについて、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、スケールの尺度が統一された構造物の正面画像データに変換する正面画像取得処理と、
    B4)前記正面画像取得処理によって得られた複数枚の正面画像データを、前記位置姿勢推定処理によって得られた距離データ及び傾きデータに基づいて、再配置して統合し構造物の広範囲の正面画像を構築する画像統合処理と、
    を行うことができることを特徴とする橋梁などの構造物を検査するための画像処理システム。
JP2018030606A 2018-02-23 2018-02-23 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム Active JP6734583B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018030606A JP6734583B2 (ja) 2018-02-23 2018-02-23 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018030606A JP6734583B2 (ja) 2018-02-23 2018-02-23 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019144191A JP2019144191A (ja) 2019-08-29
JP6734583B2 true JP6734583B2 (ja) 2020-08-05

Family

ID=67772190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018030606A Active JP6734583B2 (ja) 2018-02-23 2018-02-23 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6734583B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11939443B2 (en) 2019-08-06 2024-03-26 Nippon Soda Co., Ltd. Polyphenylene ether resin composition, prepreg, metal-clad laminate
KR102321249B1 (ko) * 2019-12-17 2021-11-03 국토안전관리원 인공지능 기반의 시설물 외관 분석 방법
JP7463133B2 (ja) * 2020-03-03 2024-04-08 キヤノン株式会社 面積計測装置、面積計測方法、及びプログラム
JP7542846B2 (ja) 2020-05-25 2024-09-02 株式会社ソーシャル・キャピタル・デザイン 情報処理システム
JP7362053B2 (ja) * 2020-07-10 2023-10-17 学校法人五島育英会 落下物検知システム
KR102383439B1 (ko) * 2020-07-27 2022-04-06 이근호 구조물의 균열 측정방법 및 이를 이용한 균열 측정장치
CN113137941B (zh) * 2021-04-29 2023-03-28 荣旗工业科技(苏州)股份有限公司 一种基于点激光测试产品平面度方法
US20240223878A1 (en) * 2021-05-26 2024-07-04 Nippon Telegraph And Telephone Corporation Cracking image inspection system and method
CN115086569B (zh) * 2022-06-10 2024-04-19 湖南康桥智能科技有限公司 一种基于组网摄像机的特大桥梁底图像采集方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161068A (ja) * 1995-12-12 1997-06-20 Furukawa Electric Co Ltd:The 画像撮影方法とそれを用いた画像編集装置
JP4315545B2 (ja) * 1999-10-19 2009-08-19 Hoya株式会社 3次元画像検出システムと3次元画像検出装置
EP2939423A1 (en) * 2012-12-28 2015-11-04 Metaio GmbH Method of and system for projecting digital information on a real object in a real environment
US9285296B2 (en) * 2013-01-02 2016-03-15 The Boeing Company Systems and methods for stand-off inspection of aircraft structures
JP6091923B2 (ja) * 2013-02-22 2017-03-08 株式会社日立製作所 マルチカメラ撮影装置およびマルチカメラ撮影方法
JP2017034576A (ja) * 2015-08-05 2017-02-09 株式会社日立製作所 画像撮影システム、撮影装置、および画像処理装置
JP6937642B2 (ja) * 2017-09-22 2021-09-22 株式会社大林組 表面評価方法及び表面評価装置

Also Published As

Publication number Publication date
JP2019144191A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6734583B2 (ja) 橋梁などの構造物を検査するための画像処理システム、画像処理方法及びプログラム
Barazzetti et al. Can we use low-cost 360 degree cameras to create accurate 3D models?
JP6184237B2 (ja) 3次元データの処理装置、その処理方法及びその処理プログラム
CN108476282B (zh) 摄影辅助装置及摄影辅助方法
JP6502525B2 (ja) 物体測定装置及び物体測定方法
JP3724786B2 (ja) 構造物の移動式変位計測方法及び装置
JP2009053126A (ja) 画像測定装置
TW201418662A (zh) 遠距離量測裂縫之方法及其裝置
CN108432227B (zh) 摄影辅助装置及摄影辅助方法
CN112415010B (zh) 一种成像检测方法及系统
JP2021015081A (ja) 測量装置
CN110763697A (zh) 一种使用飞行器检测工程结构表面裂缝的方法
JP2005037366A (ja) 赤外線構造物診断システム及び赤外線構造物診断方法
CN102589529B (zh) 扫描近景摄影测量方法
KR20060117918A (ko) 비접촉 3차원 계측 방법 및 장치
JPH11337493A (ja) 画像処理による異常点位置検出システム
JP5823340B2 (ja) 配筋記録システム、配筋記録方法
JP2005300179A (ja) 赤外線構造物診断システム
JP6386393B2 (ja) コンクリート打設高さ管理方法
JP6316240B2 (ja) 測定装置及び測定方法
JP7044331B2 (ja) 橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラム
Merkle et al. Sensor evaluation for crack detection in concrete bridges
JP2007033040A (ja) 光切断法による3次元形状計測装置における光学ヘッド部のキャリブレーション方法及び装置
KR101319013B1 (ko) 레이저 조사장치를 이용한 정밀 직경 측정장치 및 측정방법
JP2016001151A (ja) 壁面画像取得装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200615

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200615

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200702

R150 Certificate of patent or registration of utility model

Ref document number: 6734583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250