JP6818066B2 - 撮影画像補正システム及び撮影画像補正方法 - Google Patents

撮影画像補正システム及び撮影画像補正方法 Download PDF

Info

Publication number
JP6818066B2
JP6818066B2 JP2019029503A JP2019029503A JP6818066B2 JP 6818066 B2 JP6818066 B2 JP 6818066B2 JP 2019029503 A JP2019029503 A JP 2019029503A JP 2019029503 A JP2019029503 A JP 2019029503A JP 6818066 B2 JP6818066 B2 JP 6818066B2
Authority
JP
Japan
Prior art keywords
image data
captured image
laser light
distance
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019029503A
Other languages
English (en)
Other versions
JP2020136960A (ja
Inventor
昌美 本澤
昌美 本澤
三馨 鈴木
三馨 鈴木
賢一 堀口
賢一 堀口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taisei Corp
Original Assignee
Taisei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taisei Corp filed Critical Taisei Corp
Priority to JP2019029503A priority Critical patent/JP6818066B2/ja
Publication of JP2020136960A publication Critical patent/JP2020136960A/ja
Application granted granted Critical
Publication of JP6818066B2 publication Critical patent/JP6818066B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、撮影画像補正システム及び撮影画像補正方法に関する。
現在、道路や橋梁、トンネルといった様々なインフラ施設の老朽化が進んでおり、改修工事が各地で行われ、また改修計画が進められている。インフラ施設の多くは鉄筋コンクリート構造物(RC構造物)や鋼構造物であるが、例えば竣工から40年以上が経過したRC構造物や鋼構造物の表面上には、様々な損傷部が存在している。この損傷部の具体例として、コンクリート表面上においては、ひび割れ、白華、遊離石灰、錆汁等が挙げられ、鋼材表面上においては、鋼材腐食や亀裂、塗膜の劣化等が挙げられる。
RC構造物や鋼構造物の改修工事や改修計画に際しては、まず、インフラ施設の技術担当者や業務委託された調査会社もしくは建設会社の技術担当者により、RC構造物や鋼構造物の表面の点検が実施される。この点検では、損傷部の定量評価が重要となる。たとえば、ひび割れや亀裂の幅や長さ、一定幅以上のひび割れや亀裂の数、遊離石灰等の形状や面積などが定量的に評価され、この定量評価に基づいて、構造物の更新施工の有無やメンテナンスの有無等が判断されることになる。ここで、観察対象物上にレーザー光を照射し、レーザー光の照射によって生じた光点を撮像画像中から検出し、検出された光点の位置に基づいて観察対象物の大きさの尺度となる目盛を撮像画像上に描画する撮像装置の目盛生成方法が提案されている(例えば、特許文献1参照)。撮像画像中に写り込んだ光点を検出し、この光点の位置に基づいて目盛幅を計算し、撮像画像上に目盛を描画することにより、観察を行いながら観察対象物の大きさの計測が可能になるとしている。
特開2014−160109号公報
構造物の点検に関し、昨今、CCDカメラ等を搭載した無人航空機(UAV(Unmanned Air Vehicle)もしくはドローンで、以下、代表して「UAV」と称する)を飛ばしてコンクリート表面や鋼材表面を撮影し、撮影画像を繋いで構造物全体の表面画像を作成する方法が用いられている。この方法によれば、延長の長いトンネル内にUAVを航行させながらトンネル表面の撮影を行うことにより、検査員が歩きながらトンネル表面の撮影を行う方法に比べて、撮影時間が格段に短くなる。また、例えば道路橋の鉄筋コンクリート製の床版の下面や、床版を支持する型鋼からなる主桁のウェブ側面等、高度の高い位置にある構造物の観察においては、UAVを航行させて撮影対象を撮影することにより、高所作業車等を利用して撮影対象に近接等して撮像する方法に比べて、簡易な方法で、かつ自由度の高い撮影が可能になる。また、高所作業車等がアクセスできない場所の撮影が可能になり、さらには、高所での検査員による撮影が不要になることで検査時の危険性も解消される。
しかしながら、UAVを用いて撮影対象を撮影する場合、UAVが蛇行することにより、撮影対象に対して正対した状態での撮影が難しくなる。尚、例えば高所作業車を利用して検査員が撮影する方法において、撮影対象に十分アクセスできないような場合には、斜め方向から撮影対象を撮影せざるを得ないことがあり、このような場合も撮影対象に対して正対した状態で撮影できないことになる。このように、正対しない状態、言い換えれば、斜め側方や斜め下方、斜め上方から撮影対象を撮影した場合に、取り込まれた撮影画像は、撮影対象の表面に存在する損傷部に関する正しい情報を提供しないことになる。例えば、撮影対象中に存在するひび割れの幅や長さは正しい定量値とならず、遊離石灰等の形状や面積も正しい定量値とならない。
そこで、撮影画像に対してあおり補正処理を実行し、例えば斜め方向からの撮影による撮影画像をあおり補正して正対画像を作成することにより、あおり補正によって作成された正対画像中に内在するひび割れ等の損傷部も正しい定量値を有することになる。
しかしながら、あおり補正処理を実行するには、撮影対象に対する正対位置に対してUAV等がどの程度ずれた位置で撮影したのかが明確でなければ、正しいあおり補正を実行することはできない。例えば、上記する特許文献1に記載の撮像装置の目盛生成方法では、撮像画像上に目盛を描画することはできるものの、正しくあおり補正処理を実行することは難しい。
本発明は上記課題に鑑みてなされたものであり、正対撮影されていない撮影画像を適正にあおり補正することができ、撮影画像中に存在する損傷部の寸法を精度よく特定することのできる、撮影画像補正システム及び撮影画像補正方法を提供することを目的としている。
前記目的を達成すべく、本発明による撮影画像補正システムの一態様は、
撮影画像データ取得装置と、撮影画像データ補正装置とを有し、
前記撮影画像データ取得装置は、
測距自在でレーザー光の照射角度変更自在な少なくとも三つのレーザー光源と、
撮影機と、を備え、
前記撮影画像データ補正装置は、
前記レーザー光源から撮影対象に照射されるレーザー光によって形成される光点を含む撮影画像データが入力される撮影画像データ入力部と、
各レーザー光源間の距離の比率で特定される正規距離比データと、前記撮影画像データ内にある各光点間の距離の比率で特定される非正規距離比データとを比較し、双方の距離比に基づいて前記撮影画像データをあおり補正して正対画像データを作成するあおり補正部と、を備えることを特徴とする。
本態様によれば、システムの構成要素である撮影画像データ取得装置が、測距自在でレーザー光の照射角度変更自在な少なくとも三つのレーザー光源を有していることにより、あおり補正の後に撮影画像データ内にある複数の光点間の実際の距離(実距離)を特定することができる。撮影画像データ取得装置が少なくとも三つのレーザー光源を備えていることにより、撮影画像データ内には少なくとも三つの光点を形成でき、この少なくとも三つの光点により、少なくとも三つの光点間距離を特定することができる。仮に二つのレーザー光源しかない場合、形成される光点も二つとなり、二以上の光点間距離が形成できないことから、距離の比率が求められない。従って、撮影画像データ取得装置は、「少なくとも三つのレーザー光源」を要する。一方、撮影画像データ取得装置では、少なくとも三つのレーザー光源がそれぞれ所定の位置においてレーザーの照射角度変更自在に存在していることにより、各レーザー光源間の距離及びその比率が特定できる。撮影画像データ取得装置が撮影対象に正対した状態で各レーザー光源からレーザー光が照射される場合、各レーザー光源間の距離の比率(正規距離比)と、撮影画像データ内にある各光点間の距離の比率(非正規距離比)は、撮影対象が平面の場合には一般に一致する。そのため、このような場合には、撮影画像データ補正装置のあおり補正部にてあおり補正を実行する必要はない。尚、このように正規距離比と非正規距離比が一致する場合でも、本明細書では、各光点間の距離の比率を「非正規距離比」とし、そのデータを「非正規距離比データ」とする。一方、撮影画像データ取得装置が撮影対象に正対していない状態で各レーザー光源からレーザー光が照射される場合は、正規距離比と非正規距離比は一致しない。そこで、あおり補正部において、双方の距離比に基づいて、撮影対象に対する撮影画像データ取得装置の撮影角度を特定する。特定された撮影角度に基づいて撮影画像データをあおり補正部にてあおり補正することにより、撮影画像データを好適に正対画像データに補正でき、そこに内在するひび割れ等の損傷部は正しい定量値を有するものとなる。
また、本発明による撮影画像補正システムの他の態様は、少なくとも三つの前記レーザー光源により、それぞれの前記レーザー光源から前記撮影対象までの距離と、各レーザー光源におけるレーザー光の照射角度と、に基づいて、前記撮影対象における各光点間の距離を特定する、実距離特定部と、
前記実距離特定部にて特定された各光点間の実際の距離データを格納する格納部と、
前記実距離特定部にて特定された各光点間の実際の距離データに基づいて前記正対画像データ内に存在する損傷部の寸法を特定する損傷部寸法特定部と、をさらに備えることを特徴とする。
本態様によれば、少なくとも三つのレーザー光源から撮影対象までの距離と各レーザー光源におけるレーザー光の照射角度とに基づいて、撮影対象における各光点間の距離を特定し、この光点間の実距離を利用して正対画像データ内の損傷部の寸法を特定することができる。
また、本発明による撮影画像補正システムの他の態様は、前記撮影画像データ取得装置が、航行機構をさらに有するUAVであることを特徴とする。
本態様によれば、航行機構を備えた撮影画像データ取得装置であるUAVを航行させながら撮影対象の撮影を行うことができるため、例えば、延長の長いトンネルの壁面の撮影や、高所の道路橋の床版等の撮影も、効率的かつ安全に行うことができる。また、航行姿勢での撮影対象の撮影ゆえに撮影画像データ取得装置がぶれたりしながら撮影を行う場合でも、あおり補正部にて撮影画像データのあおり補正を実行できるため、撮影対象に正対した状態で取得される撮影画像データと同等の正対画像データを得ることができる。
また、本発明による撮影画像補正方法の一態様は、
測距自在でレーザー光の照射角度変更自在な少なくとも三つのレーザー光源と、撮影機と、を備える撮影画像データ取得装置を使用して、少なくとも三つの光点を撮影対象に照射し、該光点を含む撮影画像データを取得する撮影画像データ取得工程と、
各レーザー光源間の距離の比率で特定される正規距離比データと、撮影画像データ内にある各光点間の距離の比率で特定される非正規距離比データとを比較し、双方の距離比に基づいて前記撮影画像データをあおり補正して正対画像データを作成するあおり補正工程と、を有することを特徴とする。
本態様によれば、測距自在でレーザー光の照射角度変更自在な少なくとも三つのレーザー光源から撮影対象にレーザー光を照射し、当該光点を含む撮影画像データを取得し、正規距離比データと非正規距離比データに基づいて撮影画像データをあおり補正することにより、高精度な正対画像データを作成することができる。
また、本発明による撮影画像補正方法の他の態様は、少なくとも三つの前記レーザー光源により、それぞれの前記レーザー光源から前記撮影対象までの距離と、各レーザー光源におけるレーザー光の照射角度と、に基づいて、前記撮影対象における各光点間の距離を特定する、実距離特定工程と、
前記実距離特定工程にて特定された各光点間の実際の距離データに基づいて前記正対画像データ内に存在する損傷部の寸法を特定する損傷部寸法特定工程と、をさらに備えることを特徴とする。
本態様によれば、少なくとも三つのレーザー光源から撮影対象までの距離と各レーザー光源におけるレーザー光の照射角度とに基づいて、撮影対象における各光点間の距離を特定し、この光点間の実距離を利用して正対画像データ内の損傷部の寸法を特定することができる。従って、例えば撮影対象内に型枠跡等の実際の寸法が分かる情報が存在しない場合でも、正対画像データ内の損傷部の寸法を精度よく特定することができる。
また、本発明による撮影画像補正方法の他の態様は、前記撮影画像データ取得装置が航行機構をさらに有しており、
前記撮影画像データ取得工程において、前記撮影画像データ取得装置を航行させながら前記撮影画像データを取得することを特徴とする。
本態様によれば、撮影画像データ取得装置を航行させながら前記撮影画像データを取得することができるため、効率的かつ安全に撮影対象の撮影を行うことができる。
以上の説明から理解できるように、本発明の撮影画像補正システム及び撮影画像補正方法によれば、正対撮影されていない撮影画像を適正にあおり補正することができ、撮影画像中に存在する損傷部の寸法を精度よく特定することができる。
実施形態に係る撮影画像補正システムの全体構成の一例を示す図である。 撮影画像データ取得装置のハードウェア構成の一例を示す図である。 操作端末のハードウェア構成の一例を示す図である。 撮影画像データ取得装置の機能構成の一例を示す図である。 撮影画像データ取得装置の外観を示す斜視図である。 撮影画像データ補正装置のハードウェア構成の一例を示す図である。 撮影画像データ補正装置の機能構成の一例を示す図である。 撮影画像補正システムにより、撮影対象における光点間の実距離が特定されることを説明する図である。 実施形態に係る撮影画像補正方法を示すフローチャートである。
以下、実施形態に係る撮影画像補正システム及び撮影画像補正方法について、添付の図面を参照しながら説明する。尚、本明細書及び図面において、実質的に同一の構成要素については、同一の符号を付することにより重複した説明を省く場合がある。
[実施形態に係る撮影画像補正システム]
<1.撮影画像補正システムの全体構成>
はじめに、図1を参照して、撮影画像補正システムの全体構成について説明する。ここで、図1は、撮影画像補正システムの全体構成の一例を示す図である。図1に示すように、撮影画像補正システム1000は、撮影画像データ取得装置100と、操作端末200と、撮影画像データ補正装置400とを有する。撮影画像データ取得装置100と操作端末200は、無線通信が可能であり、操作端末200とサーバ装置である撮影画像データ補正装置400とは、インターネットやLAN(Local Area Network)等に代表されるネットワーク300を介して通信可能となっている。撮影画像データ取得装置100で取得された撮影画像データは、操作端末200に送信され、操作端末200より、ネットワーク300を介して撮影画像データが撮影画像データ補正装置400に送信される。撮影画像データ補正装置400では、撮影画像データの補正処理が実行され、あおり補正にて作成された複数の正対画像を合成したり、正対画像データ内に存在する損傷部の定量値の算出等が実行される。尚、図示例の撮影画像データ補正システム1000は、操作端末200より、ネットワーク300を介して撮影画像データ補正装置400に対して撮影画像データの送信がおこなわれる形態であるが、撮影画像データ取得装置100で取得された撮影画像データを、SDカードやCD−ROM、USB(Universal Serial Bus)等の記録媒体に記録し、記録媒体を検査員が撮影画像データ補正装置400に入力する形態であってもよい。
<2.撮影画像データ取得装置のハードウェア構成>
次に、図2を参照して、撮影画像データ取得装置のハードウェア構成について説明する。ここで、図2は、撮影画像データ取得装置100のハードウェア構成の一例を示す図である。図2に示すように、撮影画像データ取得装置100は、コントローラ10と、撮影機11、レーザー光源12、航行機構13、GPS(Global Positioning System)14、ジャイロセンサ15、通信インターフェイス16等のハードウェアを有する。
コントローラ10は、撮影画像データ取得装置100の本体におけるコンピュータである。図2において、コントローラ10は、CPU(Central Processing Unit)101、RAM(Random Access Memory)102、ROM(Read Only Memory)103、HDD(Hard Disc Drive)104、NVRAM(Non-Volatile RAM)105等を有する。
ROM103には、各種のプログラムやプログラムによって利用されるデータ等が記憶されている。RAM102は、プログラムをロードするための記憶領域や、ロードされたプログラムのワーク領域として用いられる。CPU101は、RAM102にロードされたプログラムを処理することにより、各種の機能を実現する。HDD104には、プログラムやプログラムが利用する各種のデータ等が記憶される。NVRAM105には、各種の設定情報等が記憶される。
撮影機11は、撮影対象を撮像するハードウェアであり、CCDカメラやデジタルカメラ(一眼レフを含む)、デジタルカメラ(ハイビジョン)、デジタルビデオカメラ等からなる。レーザー光源12は、半導体レーザー光の照射源であり、様々な光色のレーザー光源を適用できる。レーザー光の光色は光線の波長によって決定され、635乃至695nmの波長の赤色レーザー光、532nmの波長の緑色レーザー光が一般的であり、その他、青色レーザー光や黄色レーザー光などもある。航行機構13は複数の回転自在なプロペラを有し、撮影画像データ取得装置100の昇降と上昇した状態での所定方向への航行を支援する。すなわち、航行機構13を有する撮影画像データ取得装置100はUAVである。
GPS14は、撮影画像データ取得装置100の位置情報(経度及び緯度)を測位する。ジャイロセンサ15は、航行時の撮影画像データ取得装置100の高度や航行姿勢等を測位し、この飛行姿勢には、例えば、撮影画像データ取得装置100の基部17(図5参照)の広幅面の三次元的な角度が測位され、基部17の広幅面の三次元的な角度に基づいて、複数のレーザー光源12のそれぞれのレーザー照射角度が特定される。撮影画像データ取得装置100が航行しながら撮影対象を撮影するに当たり、撮影画像データと、撮影が実行された際の撮影画像データ取得装置100の位置情報データや姿勢情報データ(複数のレーザー光源12のそれぞれのレーザー照射角度データ等)は、紐付けされてコントローラ10に格納される。通信インターフェイス16は、操作端末200との間で無線通信を実行するためのハードウェアである。
<3.操作端末のハードウェア構成>
次に、図3を参照して、操作端末のハードウェア構成について説明する。ここで、図3は、操作端末200のハードウェア構成の一例を示す図である。操作端末200は、PC(パーソナルコンピュータ)や、スマートフォン、タブレット端末等のデバイスである。操作端末200と撮影画像データ取得装置100のコントローラ10とは、例えば、近距離無線通信、LAN等の通信回線を介して無線通信可能に接続される。図3に示すように、操作端末200は、撮影画像データ取得装置100の航行や、複数のレーザー光源12のそれぞれのレーザー照射角度の調整、撮影対象へのレーザー光の照射、撮影対象の撮影等、撮影画像データ取得装置100に対して様々な指令信号を送信する。操作端末200はさらに、撮影画像データ取得装置100から送信されてきた撮影画像データとこの撮影画像データが取得された際の撮影画像データ取得装置100の位置情報データや姿勢情報データ(複数のレーザー光源12のそれぞれのレーザー照射角度データを含む)等を受信する。撮影画像データと、撮影が実行された際の撮影画像データ取得装置100の位置情報データや姿勢情報データは、紐付けされた状態で、ネットワーク300を介して撮影画像データ補正装置400に送信する。
図3において、操作端末200は、CPU201、メモリ202、補助記憶装置203、無線通信装置204、表示装置205、及び入力装置206等を有する。
補助記憶装置203は、操作端末200にインストールされたプログラム等を記憶する。メモリ202は、プログラムの起動指示があった際に、補助記憶装置203からプログラムを読み出して記憶する。CPU201は、メモリ202に記憶されたプログラムに従い、操作端末200の有する機能を実現する。表示装置205は、液晶ディスプレイ等からなり、たとえばタッチパネルの表示機能を担う。入力装置206は、表示装置205に対する接触体の接触を検出するセンサを有する電子部品である。接触体の接触の検出方式としては、静電方式や抵抗膜方式、光学方式などがある。この接触体として、検査員の指や専用ペン等が挙げられる。無線通信装置204は、無線LAN又は移動体通信網等において通信を行う際に必要となる、アンテナ等の電子部品である。
<4.撮影画像データ取得装置の機能構成>
次に、図4及び図5を参照して、撮影画像データ取得装置の機能構成について説明する。ここで、図4は、撮影画像データ取得装置100の機能構成の一例を示す図であり、図5は、撮影画像データ取得装置の外観を示す斜視図である。図4に示すように、撮影画像データ取得装置100は、レーザー光照射部110、測距部120、照射角度変更部130、撮影部140、航行部150、位置情報取得部160、及びデータ格納部170を有する。
レーザー光照射部110は、撮影対象に対し、検査員にて選択された光色のレーザー光を照射する。撮影対象は、例えば、RC構造物のコンクリート表面や鋼構造物の鋼材表面等である。レーザー光照射部110からレーザー光を照射した状態で、撮影対象の撮影を実行し、撮影画像データ内にレーザー光による光点を含ませる。そのため、検査員は、撮影対象表面内に同系色の領域がないと判断される光色のレーザー光を照射するレーザー光源12を、レーザー光照射部110にて設定するのが望ましい。
ここで、図5を参照して、撮影画像データ取得装置100の具体的な構成を説明する。図5に示すように、撮影画像データ取得装置100は、基部17の中央に撮影機11を搭載し、撮影機11の周囲四箇所にレーザー光源12を有している。また、基部17の下面四箇所には折り曲げ腕部があり、折り曲げ腕部の先端に航行機構13が装備されている。基部17の内部には、コントローラ10、GPS14、及びジャイロセンサ15等が内蔵されている。航行機構13は、中央のモータ13Aの回転軸に対し、180度の相対位置を有する二枚の翼13Bが取り付けられてプロペラを形成している。
四つのレーザー光源12A乃至12Dはいずれも、基部17に対してX1方向に回転自在な回転テーブル12cと、回転テーブル12cの中央位置において回動軸を介してX2方向に回動自在な回動機構12bと、回動機構12bによって回動される照射機12aとを有する。回転テーブル12cと回動機構12bはいずれも、固有のサーボモータ(図示せず)により回転もしくは回動され、各サーボモータは、操作端末200からの角度制御信号等を受信したコントローラ10により回転角度や回動角度が制御される。レーザー光源12は、回転テーブル12cの回転と回動機構12bの回動により、三次元座標において所望する様々な角度方向にレーザー光の照射方向を設定することができる。尚、図示例は四つのレーザー光源12を有する形態であるが、以下で詳説するあおり補正を実行するべく、少なくとも三つのレーザー光源を有していればよく、三つのレーザー光源を有する形態、五つ以上のレーザー光源を有する形態であってもよい。
また、各レーザー光源12A乃至12D間の距離は規定値を有しており、レーザー光源12A−12B間、レーザー光源12B−12C間、レーザー光源12C−12D間、及びレーザー光源12D−12A間の距離はそれぞれ、t1乃至t4となる。従って、各レーザー光源12間の距離比も、t1:t2:t3:t4に設定される。尚、図示例の撮影画像データ取得装置100は、基部17の下方に複数の航行機構13を有し、撮影機11が上方の撮影対象を撮影するように構成されている。例えば、道路橋を構成する鉄筋コンクリート製の床版の下面を撮影対象とする場合等に適用される。しかしながら、撮影対象に応じて、基部17に対する航行機構13の取付け態様や、撮影機11の配向態様などが適宜変更され得る。また、撮影機11は、レーザー光源12と同様に回動機構や回転機構の台座上に取付けられてもよく、撮影機11の回動や回転によって様々な角度方向の撮影対象の撮影を可能としてもよい。
図4に戻り、レーザー光照射部110により、四つのレーザー光源12A乃至12Dから四条のレーザー光が撮影対象に照射され、撮影対象の表面に四つの光点が形成される。
測距部120は、レーザー光源12の照射機12aから照射されたレーザー光が撮影対象にて反射し、戻ってくる反射光を受光し、この照射から受光までの時間もしくは照射光と反射光の位相差に基づいて照射機12aと撮影対象までの距離を測定する。
照射角度変更部130は、四つのレーザー光源12A乃至12Dから撮影対象の異なる位置にレーザー光を照射するとともに、例えば、各レーザー光の照射軌跡をレーザー光の照射方向と反対方向に延ばした際に四つの照射軌跡が一点で交わるように、各レーザー光源12の回転テーブル12c及び回動機構12bの回転と回動を制御する。以下で説明するが、図8に示すように、各レーザー光源12A乃至12Dにおけるレーザー光の照射軌跡をレーザー光の照射方向と反対方向に延ばした際に四つの照射軌跡が交点Oにて交わりながら、撮影対象の表面において四つの光点A乃至Dを形成するようにレーザー光源12A乃至12Dにおけるレーザー照射角度を調整する。
撮影部140は、レーザー光による複数の光点が表面に形成されている撮影対象の撮影を実行し、撮影画像データを取り込んでデータ格納部170に格納する。
航行部150は、航行機構13を形成するモータ13Aを駆動させ、モータ13Aの回転速度を調整することにより、航行機構13による揚力を調整し、撮影画像データ取得装置100の昇降制御を実行する。また、航行機構13の翼13Bの角度を不図示の角度調整機構等にて調整することにより、撮影画像データ取得装置100を所定方向へ所定の速度で航行させたり、所定の位置で撮影画像データ取得装置100を浮遊させた状態で航行を停止させ、撮影を実行することができる。
位置情報取得部160は、航行する撮影画像データ取得装置100の位置情報データや姿勢情報データを取得し、取得した各種のデータをデータ格納部170に格納する。この撮影画像データ取得装置100の姿勢情報データには、レーザー光源12A乃至12Dの三次元座標や、各照射機12aから撮影対象までの距離、各照射機12aのレーザー照射角度等が含まれる。例えば、浮遊し、所定位置で停止している(航行していない)状態の撮影画像データ取得装置100が、撮影部140にて撮影画像データを取得する場合に、取得された撮影画像データと、撮影時の撮影画像データ取得装置100の位置情報データ及び姿勢情報データを紐付けした状態で、データ格納部170に格納する。
<5.撮影画像データ補正装置のハードウェア構成>
次に、図6を参照して、撮影画像データ補正装置のハードウェア構成について説明する。ここで、図6は、撮影画像データ補正装置400のハードウェア構成の一例を示す図である。撮影画像データ補正装置400は、サーバー装置である。撮影画像データ補正装置400は、撮影画像データと、撮影が実行された際の撮影画像データ取得装置100の位置情報データ及び姿勢情報データとが紐付けされた状態で操作端末200から送信され、ネットワーク300を介してこれらのデータを受信する。
図6において、撮影画像データ補正装置400は、CPU401、ROM402、RAM403、無線通信装置404、及び表示装置405を有し、これらの各部がバス406にて相互に接続されている。
ROM402には、各種のプログラムやプログラムによって利用されるデータ等が記憶されている。RAM403は、プログラムをロードするための記憶領域や、ロードされたプログラムのワーク領域として用いられる。CPU401は、RAM403にロードされたプログラムを処理することにより、各種の機能を実現する。無線通信装置404は、無線LAN又は移動体通信網等において通信を行う際に必要となるアンテナ等の電子部品である。表示装置405は、液晶ディスプレイ等からなる。この表示装置405は、複数の光点を含む撮影画像を表示し、あおり補正処理されて作成される正対画像を表示し、さらには、正対画像が並べられてできる撮影対象の連続画像を表示する。また、正対画像中に存在するひび割れ等の損傷部の長さや幅等の定量値に関し、損傷部毎に算定された各種の定量値を例えば表形式で表示する。
<6.撮影画像データ補正装置の機能構成>
次に、図7及び図8を参照して、撮影画像データ補正装置の機能構成について説明する。ここで、図7は、撮影画像データ補正装置400の機能構成の一例を示す図であり、図8は、撮影画像補正システムにより、撮影対象における光点間の実距離が特定されることを説明する図である。図7に示すように、撮影画像データ補正装置400は、撮影画像データ入力部410、あおり補正部420、実距離特定部430、損傷部寸法特定部440、及びデータ格納部450を有する。
撮影画像データ入力部410は、撮影画像データと、撮影時の撮影画像データ取得装置100の位置情報データ及び姿勢情報データとを紐付けした状態で当該データを入力する。
あおり補正部420は、まず、データ格納部450に格納されている、レーザー光源12A乃至12D間の距離の比率で特定される正規距離比データを読み込む。例えば、図5を参照すると、t1:t2:t3:t4が正規距離比データとなる。次に、あおり補正部420にて読み込まれた撮影画像データ内にある、各光点間の距離の比率を特定し、これを非正規距離比データとする(例えばs1:s2:s3:s4)。撮影画像データ取得装置100が航行しながら撮影対象の撮影を行う場合、撮影画像データ取得装置100は往々にして蛇行することから、撮影対象に対して正対した状態での撮影は難しい。従って、あおり補正部420では、正規距離比データと非正規距離比データとを比較し、双方の距離比に基づいて撮影画像データをあおり補正する。すなわち、撮影画像データ内に例えば四点の光点が存在することにより、撮影画像データ内の光点間の距離の比率が特定でき、非正規距離比データと正規距離比データとの対比を行うことが可能になる。このあおり補正部420により、例えば斜め方向から撮影された撮影画像データが適正にあおり補正されてなる、正対画像データを作成する。
実距離特定部430は、各レーザー光源12A乃至12Dから撮影対象までの距離と、各レーザー光源12A乃至12Dにおけるレーザー光の照射角度と、に基づいて、撮影対象における各光点間の距離を特定する。図8に示すように、四つのレーザー光源12A乃至12Dのレーザー照射角度を調整して撮影対象の異なる位置に光点A乃至Dを形成するに当たり、各レーザー光の照射軌跡をレーザー光の照射方向と反対方向に延ばした際に四つの照射軌跡が交点Oにて交わるように角度調整が実行される。従って、撮影対象に対して任意の角度位置からレーザー光を照射している撮影画像データ取得装置100と、撮影対象の光点A乃至Dと、交点Oとにより、四つの三角形AOB、BOC、COD,DOAが形成される。
撮影画像データ取得装置100の有する測距部120により、各レーザー光源12A乃至12Dの照射機12aから撮影対象の光点A乃至Dまでの距離l1乃至l4が特定される。一方、交点Oが形成されるようにして各照射機12aの三次元的なレーザー照射角度が設定された際に、各照射機12aの照射口から回転テーブル12cまでの距離l1'乃至l4'が特定される。さらに、GPS14及びジャイロセンサ15による基部17の三次元座標および三次元角度と、各照射機12aの三次元的な照射角度に基づいて交点Oの三次元座標が特定され、各照射機12aの回転テーブル12cから交点Oまでの距離l1"乃至l4"が特定される。これら特定された距離l1乃至l4、距離l1'乃至l4'、及び距離l1"乃至l4"に基づき、各三角形の有する各辺長、すなわち、OA長さL1、OB長さL2、OC長さL3,及びOD長さL4が特定される。例えば、OA長さL1は、L1=l1+l1'+l1"により算定される。
また、各照射機12aの三次元的な照射角度は、図8に示すように、例えば、任意のXYZ座標を用いて特定することができる。図示例では、例えばレーザー光源12Aの照射角度を、(θAXY、θAYZ)にて特定している。
四つの三角形AOB、BOC、COD,DOAの各辺長とレーザー照射角度から、各三角形AOB、BOC、COD,DOAのO点を中心とした中心角θ1乃至θ4が特定され、これら特定された辺長と中心角に基づいて、撮影対象上にある光点A乃至D間の実距離T1、T2、T3、T4が特定される。尚、撮影対象がトンネル等の曲面から形成される場合は、曲面を形成する半径R等の情報をも加味して実距離T1、T2、T3、T4が特定される。
損傷部寸法特定部440は、特定されている正対画像データ内における光点間の実距離を使用して、正対画像データ内に存在する損傷部の特定を行う。図8において、撮影対象中には、損傷部の一例として多数のひび割れCLが存在している。実距離特定部430により、撮影対象上にある光点A乃至D間の実距離T1、T2、T3、T4が特定されており、損傷部寸法特定部440はこの実距離T1、T2、T3、T4の少なくとも一つを用いて、正対画像データ内に存在する損傷部の寸法(定量値)を特定する。実距離特定部430により特定される光点間の実距離を用いて損傷部の実際の寸法を特定することにより、例えば撮影対象内に型枠跡等の実際の寸法が分かる情報が存在しない場合でも、正対画像データ内の損傷部の寸法を精度よく特定することが可能になる。
[実施形態に係る撮影画像補正方法]
次に、図9を参照して、実施形態に係る撮影画像補正方法について説明する。ここで、図9は、撮影画像補正方法の一例を示すフローチャートであり、撮影画像データ取得装置100による撮影画像データの取得と、撮影画像データ補正装置400による正対画像データの作成、さらには損傷部の定量値の特定を実行する処理の流れを示している。
ステップS500において、各レーザー光源12A乃至12Dから照射されるレーザー光の照射角度の設定をおこなう。ここで、四つのレーザー光源12A乃至12Dのレーザー照射角度を調整して撮影対象の異なる位置に光点A乃至Dを形成するに当たっては、既述するように、各レーザー光の照射軌跡をレーザー光の照射方向と反対方向に延ばした際に、四つの照射軌跡が交点Oにて交わるように各レーザー光源12の角度調整が実行される。
ステップS502において、レーザー光の照射角度が設定された各レーザー光源12A乃至12Dからレーザー光を撮影対象に照射し、撮影対象の表面に少なくとも三つ以上(ここでは四つ)の光点A乃至Dを形成する。
ステップS504において、光点A乃至Dを含むように撮影対象の表面を撮影し、撮影画像データを取得するとともに、撮影画像データの確認を行う。以上、ステップS500乃至S504までが撮影画像データ取得工程となる。
ステップS506において、光点A乃至Dが内在する撮影画像データを撮影画像データ補正装置400にて取得する。ステップS506では、撮影画像データに対してあおり補正を行い、正対画像データを作成する。具体的には、レーザー光源12間の距離の比率で特定される正規距離比データと、撮影画像データ内にある各光点間の距離の比率で特定される非正規距離比データとを比較し、双方の距離比に基づいて撮影画像データに対してあおり補正を行うあおり補正工程を実行する。
例えば、図5に示す撮影画像データ取得装置100を使用する場合、正規距離比データは、t1:t2:t3:t4である。これに対し、撮影画像データ内で確認される四つの光点A乃至Dの各距離が例えばs1:s2:s3:s4であったとする。この場合、正規距離比データである、t1:t2:t3:t4と、非正規距離比データである、s1:s2:s3:s4を比較し、双方の距離比から撮影時の正対姿勢に対する傾斜角度を割出し、割出された傾斜角度を用いてあおり補正を行い、正対画像データを作成する。
ステップS508において、撮影対象における光点間の実距離を特定する、実距離特定工程を実行する。この実距離の特定においては、図8に示すように、撮影対象に対して任意の角度位置からレーザー光を照射している撮影画像データ取得装置100と、撮影対象の光点A乃至Dと、交点Oとにより、四つの三角形AOB、BOC、COD,DOAを形成する。そして、四つの三角形AOB、BOC、COD,DOAの各辺長とレーザー照射角度から、各三角形AOB、BOC、COD,DOAのO点を中心とした中心角θ1乃至θ4を特定し、これら特定された辺長と中心角に基づいて、撮影対象上にある光点A乃至D間の実距離T1、T2、T3、T4を特定する。
ステップS510において、図8に示すように撮影対象中に存在するひび割れCLや遊離石灰F等の損傷部の寸法(定量値)を、実距離特定工程にて特定されている実距離T1乃至T4等の実際の寸法を使用することにより特定する、損傷部寸法特定工程を実行する。
このように、撮影対象中に少なくとも三つ以上の光点を形成した状態で撮影画像データを取得することにより、撮影画像データに対して高精度のあおり補正を実行することができ、正対画像データを得ることができる。また、あおり補正にて得られた正対画像データ内に存在する複数の光点間の実距離を特定しておくことにより、撮影対象内に型枠跡等の実際の寸法が分かる情報が存在しない場合であっても、この光点間の実距離を用いて正対画像データ内に存在する損傷部の定量値を高精度に特定することができる。
以上、本発明の実施の形態を、図面を用いて詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
10 :コントローラ
11 :撮影機
12 :レーザー光源
12A,12B :レーザー光源
12C,12D :レーザー光源
12a :照射機
12b :回動機構
12c :回転テーブル
13 :航行機構
100 :撮影画像データ取得装置
110 :レーザー光照射部
120 :測距部
130 :照射角度変更部
140 :撮影部
150 :航行部
160 :位置情報取得部
170 :データ格納部
200 :操作端末
300 :ネットワーク
400 :撮影画像データ補正装置(サーバ装置)
410 :撮影画像データ入力部
420 :あおり補正部
430 :実距離特定部
440 :損傷部寸法特定部
1000 :撮影画像補正システム
A,B、C,D :光点

Claims (6)

  1. 撮影画像データ取得装置と、撮影画像データ補正装置とを有し、
    前記撮影画像データ取得装置は、
    測距自在でレーザー光の照射角度変更自在な少なくとも三つのレーザー光源と、
    撮影機と、を備え、
    前記撮影画像データ補正装置は、
    前記レーザー光源から撮影対象に照射されるレーザー光によって形成される光点を含む撮影画像データが入力される撮影画像データ入力部と、
    各レーザー光源間の距離の比率で特定される正規距離比データと、前記撮影画像データ内にある各光点間の距離の比率で特定される非正規距離比データとを比較し、双方の距離比に基づいて前記撮影画像データをあおり補正して正対画像データを作成するあおり補正部と、を備えることを特徴とする、撮影画像補正システム。
  2. 少なくとも三つの前記レーザー光源により、それぞれの前記レーザー光源から前記撮影対象までの距離と、各レーザー光源におけるレーザー光の照射角度と、に基づいて、前記撮影対象における各光点間の距離を特定する、実距離特定部と、
    前記実距離特定部にて特定された各光点間の実際の距離データを格納する格納部と、
    前記実距離特定部にて特定された各光点間の実際の距離データに基づいて前記正対画像データ内に存在する損傷部の寸法を特定する損傷部寸法特定部と、をさらに備えることを特徴とする、請求項1に記載の撮影画像補正システム。
  3. 前記撮影画像データ取得装置が、航行機構をさらに有するUAVであることを特徴とする、請求項1又は2に記載の撮影画像補正システム。
  4. 測距自在でレーザー光の照射角度変更自在な少なくとも三つのレーザー光源と、撮影機と、を備える撮影画像データ取得装置を使用して、少なくとも三つの光点を撮影対象に照射し、該光点を含む撮影画像データを取得する撮影画像データ取得工程と、
    各レーザー光源間の距離の比率で特定される正規距離比データと、撮影画像データ内にある各光点間の距離の比率で特定される非正規距離比データとを比較し、双方の距離比に基づいて前記撮影画像データをあおり補正して正対画像データを作成するあおり補正工程と、を有することを特徴とする、撮影画像補正方法。
  5. 少なくとも三つの前記レーザー光源により、それぞれの前記レーザー光源から前記撮影対象までの距離と、各レーザー光源におけるレーザー光の照射角度と、に基づいて、前記撮影対象における各光点間の距離を特定する、実距離特定工程と、
    前記実距離特定工程にて特定された各光点間の実際の距離データに基づいて前記正対画像データ内に存在する損傷部の寸法を特定する損傷部寸法特定工程と、をさらに備えることを特徴とする、請求項4に記載の撮影画像補正方法。
  6. 前記撮影画像データ取得装置が航行機構をさらに有しており、
    前記撮影画像データ取得工程において、前記撮影画像データ取得装置を航行させながら前記撮影画像データを取得することを特徴とする、請求項4又は5に記載の撮影画像補正方法。
JP2019029503A 2019-02-21 2019-02-21 撮影画像補正システム及び撮影画像補正方法 Active JP6818066B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019029503A JP6818066B2 (ja) 2019-02-21 2019-02-21 撮影画像補正システム及び撮影画像補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019029503A JP6818066B2 (ja) 2019-02-21 2019-02-21 撮影画像補正システム及び撮影画像補正方法

Publications (2)

Publication Number Publication Date
JP2020136960A JP2020136960A (ja) 2020-08-31
JP6818066B2 true JP6818066B2 (ja) 2021-01-20

Family

ID=72279212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019029503A Active JP6818066B2 (ja) 2019-02-21 2019-02-21 撮影画像補正システム及び撮影画像補正方法

Country Status (1)

Country Link
JP (1) JP6818066B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640791A (zh) * 2022-01-27 2022-06-17 浙江大华技术股份有限公司 镜片角度调节方法、装置、计算机设备和摄像机

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5468689B1 (ja) * 2013-02-19 2014-04-09 エーテック株式会社 撮像装置、該撮像装置の目盛生成方法、プログラム、及び記録媒体
JP2017034576A (ja) * 2015-08-05 2017-02-09 株式会社日立製作所 画像撮影システム、撮影装置、および画像処理装置
EP3392612B1 (en) * 2015-12-14 2023-05-17 Nikon-Trimble Co., Ltd. Defect detection apparatus and program

Also Published As

Publication number Publication date
JP2020136960A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
JP7175652B2 (ja) 航空機用レーザスペックルのシステム及び方法
EP3205977B1 (en) Flight plan preparing method and flying vehicle guiding system
JP7022559B2 (ja) 無人航空機の制御方法および無人航空機の制御用プログラム
JP2016111414A (ja) 飛行体の位置検出システム及び飛行体
JP6576474B2 (ja) 撮影支援装置及び撮影支援方法
JP2019128175A (ja) トンネル壁面検査装置及びトンネル壁面検査プログラム
JP2020149255A (ja) 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
CN103167232A (zh) 摄像装置、图像合成装置及图像处理方法
JP6818066B2 (ja) 撮影画像補正システム及び撮影画像補正方法
JP7060934B2 (ja) 撮影画像補正システム
JP7008736B2 (ja) 画像キャプチャ方法および画像キャプチャ装置
CN108445779A (zh) 航天光学相机内参数星上监测仿真装置及模拟仿真方法
Merkle et al. Concept of an autonomous mobile robotic system for bridge inspection
JP7165800B2 (ja) 撮影画像補正方法
JP6927943B2 (ja) 情報処理装置、飛行制御方法及び飛行制御システム
JP2023072353A (ja) 移動体の移動経路決定装置、移動体の移動経路決定方法及び移動体の移動経路決定プログラム
KR101283932B1 (ko) 짐벌 플랫폼의 지향 오차 측정 방법 및 그 장치
CN112611344B (zh) 一种自主移动式平面度检测方法、设备及存储介质
JP7044331B2 (ja) 橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラム
JP2021059925A (ja) 橋梁検査方法及び橋梁検査システム
JP2019178988A (ja) 建物の屋根勾配の測定方法
KR20230138102A (ko) 라이다 기반 실시간 항로 추적 및 가이드 시스템
JP2019016837A (ja) 撮影支援装置、及び撮影方法
KR20230138101A (ko) 무인항공기 라이다 및 카메라 모듈의 캘리브레이션 및 타임라인별 데이터 분할과 이를 활용한 이미지 내 수치측정 방법
KR20230138100A (ko) 복수의 카메라를 구비한 드론 및 그것의 촬영 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200929

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201225

R150 Certificate of patent or registration of utility model

Ref document number: 6818066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150