JP4326864B2 - コンクリート点検システムのハイビジョン画像処理方法 - Google Patents

Description

この発明は、ハイビジョンカメラによる撮影でコンクリート構造物の表面欠陥を検知するコンクリート点検システムのハイビジョン画像処理方法の技術分野に属し、更に言えば、ハイビジョンカメラで撮影した動画から表面欠陥の展開図を作成する画像処理方法に関する。

従来、トンネル覆工コンクリートなどの通常定期点検は、目視・打音検査により行うのが一般的である。しかし、その点検作業には多大な労力と時間を要する上に、個々の検査員の技量の差によるバラツキが多く、検査の精度が悪い。データがデジタル化されていない為、継続して繰り返し点検した場合でも、欠陥の変状や進展の具合を経時的に評価することは困難である。ひび割れなどの変状箇所は手書きでスケッチし、それを元に展開図を手書きで作成し、報告書にしているにすぎないからである。
そこで最近では、ハイビジョンカメラによる撮影その他の手段でコンクリート表面欠陥、内部欠陥を検知しデータ化するコンクリート点検システムの技術が研究・開発され、既に下記の特許文献１などに開示されて公知である。
ハイビジョンカメラで撮影した動画を静止画像に取り込み、展開図を作成する技術に関しても、前記特許文献１のほか、下記特許文献２にも開示されて公知である。

特開２００２−２５７７４４号公報 特開２００１−１４１６６０号公報

上述したように、ハイビジョンカメラで撮影してコンクリート表面欠陥を検知する技術は、既に公知である。しかし、撮影した画像の処理方法は、各社各様であり、未だ満足できるものは見当たらない。

例えば、上記の特許文献１には、画像機器としてハイビジョンカメラ装置が搭載されること（段落番号００５２）、そして、撮影画像の処理として、ハイビジョンカメラで撮影された画像（動画）を、静止画像に変換する旨の記載（段落番号００５９）は認められるものの、具体的に如何なる手段でどのように行うかについては開示も示唆もない。

上記特許文献２に開示された方法は、カメラの移動速度に応じて、連続した画像（動画）から複数コマ毎に画像（静止画）を抜き出し（キャプチャリング）、抜き出された静止画像を連続して並べる際に、隣接する画像（コマ）同士が僅かに重なる（ラップする）程度の連続画像が得られるように編集する（同公報の段落番号［０００９］の中段）と説明されている。更に具体的には、走行車輌のおよその速度から何コマ毎に抜き取るかを決定する手法である。しかし、特許文献２の方法は、
（イ）カメラ３１の移動速度に応じて連続した画像３４から複数コマ毎に画像３４を抜き出し、抜き出された画像３４を連続して並べたときに、隣接する画像３４どうしが僅かに重なる程度の連続画像３５が得られるように編集する。例えば、台車４１の移動速度を５ｍ／ｓｅｃ（時速１８ｋｍ）程度とし、カメラ３１の撮影速度を３０コマ／ｓｅｃ程度として、１コマが１０００ｍｍ×７００ｍｍ程度の小区分の範囲を撮影すると、４コマ毎に１コマ抜き出して並べることによって連続画像３５が得られる（以上、段落番号［０００９］の１１行〜２０行目）。
（ロ）内部壁面２０を複数台（この場合は４台）のカメラ３１によって撮像し、その画像データＲ０を画像記憶媒体３３に記憶させる・・・画像記憶媒体３３の画像データＲ０を画像編集装置５０に入力し、隣接する小区分・・毎の画像データＲ０の互いに重なる部分を削除し、・・・間違った判断をし易い部分を取り除いて必要な部分の画像データＲ１を得る（ステップ２）（以上、段落番号［００１１］の４行〜１２行目）。
と記載されている通り、いわば作業者の感性と手作業で処理する旨が記載されているのみで、画像３４から複数コマ毎に画像３４を抜き出す作業をカメラの移動速度に応じて、即ち、車輌速度の変化に応じて抜き取るコマ数を電子化処理で修正することについての具体的な技術的思想や手段は開示されておらず、点検台車の速度変化に対応できる内容になっていない。そのため走行車輌が障害物などにより速度が遅くなった場合には抜き取り枚数が多くなり、必要枚数以上の画像を取り込むことになり、合理的ではない。また、画像の合成をカメラの位置情報に基づいて行う思想がなく、目視、手動で行うものと推定される。即ち、画像の合成は、目視によりひび割れや汚れなどを頼りに手動にて合成している。したがって、大変な労力と時間を要するだけでなく、作業の品質、精度が作業者の技量に左右される欠点がある。

上記特許文献１に開示された点検用走行車輌にも、位置計測装置として回転式測距計、レーザー変位計などを搭載し、台車の位置情報を取り込むことが開示されている。しかし、点検・調査の延長線が５００ｍ〜１０００ｍにも達する場合には、位置計測装置自体の精度の如何が問題となる。また、実際の点検・調査は点検用走行車輌の前進、後進にて実施することになるので、そのようにして採取した画像の位置的整合性についても精緻な検討をする必要がある。

本発明の目的は、コンクリート点検システムのハイビジョンカメラで撮影した画像（動画）から、最少限度の静止画像を取り込こむことにより、労力、時間、コストを大幅に減縮して、判定・評価のために可視化した表面欠陥（ひび割れ）の展開図を作成する画像処理方法を提供することである。

本発明の次の目的は、ハイビジョンカメラで撮影した動画から静止画像を取り込み合成する際の位置ズレ補正（座標変換）を数値化（デジタルデータ化）し、電子化処理を可能にすることにより、画像合成を、作業者の技量に左右されることなく、高精度に能率良く行うことができ、ひいては精度の高い展開図を作成できる画像処理方法を提供することである。

上述の課題を解決するための手段として、請求項１に記載した発明に係るコンクリート点検システムのハイビジョン画像処理方法は、
コンクリート構造物の表面をコンクリート点検システムの点検用走行車輌に搭載したハイビジョンカメラで撮影した動画から静止画像を取り込むにあたり、予め設定したラップ長Ｌと、点検用走行車輌に搭載した位置計測装置から得られる軸線方向の位置情報、即ち点検用走行車輌が１秒間に走行する距離Ｘと、静止画像をキャプチャリングにより取り込むべき枚数ｎ、および一つの静止画像の幅寸法ｈ２とに基づいて、キャプチャー画像の中心座標位置Ｘｃ１〜Ｘｃｎを、次式「数１」と「数２」とで算出し、
［数１］ ｎ＝Ｘ／（ｈ２−Ｌ）
［数２］ Ｘｃｎ＝ｈ２／２＋（ｎー１）・（ｈ２−Ｌ）
その中心座標に最も近い位置の画像を静止画像として取り込み合成するステップと、
前記のようにして取り込み合成した静止画像について、コンクリート構造物の目地又はこれに代わる測量目印の画像を抽出し合成することにより得られた座標値と、現地の測量によって得られた実測座標との位置ズレ（補正量ｍ）を算出し、前記目地の間隔又は測量目印の間隔（補正間隔）において、前記補正量ｍを平均化する画像の座標変換を行い、可視化した展開図を完成するステップとから成ることを特徴とする。

請求項１に記載した発明に係るコンクリート点検システムのハイビジョン画像処理方法によれば、静止画像を取り込む枚数を最少限に少なくでき、画像合成を合理的に、且つ高精度に、極めて少ない労力で短時間に、安価に行うことができる。また、座標変換の処理によって、展開図の座標位置の正確さを合理的に高精度に行うことができる。
しかもデジタルデータ化した電子化処理を行うので、作業者の技量に左右されることのない高精度な展開図を作成して可視化できる。そして、点検作業の度にデータの更新を行うことにより、欠陥の変状や進展の具合を経時的に評価することが可能であり、剥落等の可能性予測に大いに供することができる。

次に、請求項１に記載した発明に係るコンクリート点検システムのハイビジョン画像処理方法の実施形態を説明する。
図１は、本発明に係るコンクリート点検システムにおけるハイビジョン画像処理方法の処理の流れ図を示す。各点検データを受け取るパーソナルコンピュータ等から成るデータ解析部１０の処理の流れ図である。
コンクリート点検システムの点検用走行車輌１には、上記の特許文献１に開示されたように、コンクリート表面の欠陥を撮影するハイビジョンカメラ２（ハイビジョンビデオ装置）、同じくコンクリート表層部の欠陥情報を検知する赤外線サーモグラフィー装置（赤外線カメラ３）、コンクリート表面に適度な温度変化を与える手段としての赤外線パネルヒータ４、そして、当該点検用走行車輌１および検査位置の位置情報を測定する手段としてのエンコーダ（回転式測距計）やレーザー変位計の如き位置計測装置５、その他の必要機器が搭載されている。

つまり、点検用走行車輌１の走行にしたがって、コンクリート表面の欠陥の有無をハイビジョンカメラ２で撮影し、また、前記欠陥の詳細情報、例えばひび割れが剥落につながるものか否か、或いは背面情報などのひび割れパターン情報を赤外線カメラ３でコンクリート表面の温度分布として詳しく計測する。そして、前記二つの画像情報を整合させて対比し、子細に検討吟味することにより、コンクリートの欠陥検査を可能にするのである。

前記ハイビジョンカメラ２で撮影するコンクリート表面の欠陥情報は、一例として１秒間に３０コマ（１／３０秒間隔）に区切った動画であるため、これを静止画像として取り込み（キャプチャー）、合成して目視可能な展開図とする必要がある。全ての撮影画像を合成すると、処理に多くの時間を要するし、展開図もかえって理解しずらいものとなるからである。

そこで本発明では、点検データを受け取るデータ処理解析部１０において、ハイビジョンカメラ２で撮影した動画の中から、合成して展開図を作るのに必要最少限度の枚数の画像のみを抽出する。その手法として、抽出した静止画像同士が相互に重なり合う長さ（ラップ長Ｌ）を予め設定し、上記の位置計測装置５によって得られる画像の軸線方向の位置情報に基づいて、キャプチャー画像の中心座標を算出し、その中心座標に最も近い位置の画像を静止画像として取り込むこととした。

それを図１及び図２の流れ図に基づいて説明すると、次の通りである。
（キャプチャリング手法）
先ずキャプチャーした静止画像相互間のラップ長Ｌについては、一つの静止画像の幅寸ｈ２の大きさが一例として５０ｃｍであること、及び編集、合成の精度を考慮して、例えば５ｍｍと設定する。次に、ハイビジョンカメラ２で撮影する速度は、一例として１秒間に３０コマ（１／３０秒間隔）であるから、前記の如く一つの静止画像の幅寸ｈ２（一例として５０ｃｍ）の大きさが決まっているので、点検用走行車輌１の位置計測装置５（回転式測距計、レーザー変位計など）から得られる軸線方法の位置情報により、例えば１秒間に走行する距離Ｘを算出すると、展開図を作成するのに必要な（画像の連続性確保に必要な）静止画像をキャプチャリングにより取り込むべき枚数ｎを、次式で算出できる。なお、図３中の画像の縦寸ｈ１は通例１ｍ程度の大きさである。
（数１）
ｎ＝Ｘ／（ｈ２−Ｌ）
したがって、キャプチャー画像の中心の座標位置Ｘｃ１〜Ｘｃｎは、次の式で算出できる。
（数２）
Ｘｃｎ＝ｈ２／２＋（ｎ−１）・（ｈ２−Ｌ）
かくして算出されたキャプチャー画像の中心の座標位置Ｘｃ１〜Ｘｃｎに最も近い位置の画像を動画の中から静止画像として取り込み合成する。かくすると、ラップ長Ｌの設定値が適切であるかぎり、編集・合成した展開画像（連続画像）に欠損部（展開図の不連続性）が発生することはなく、効率的に静止画像のキャプチャリングができる。

上記の画像処理は、専用ソフトを働かせた演算装置による処理として瞬時に効率よく行うこともでき、作業者の技量に左右される要因はない。

（画像座標補正手法）
点検用走行車輌１の位置計測装置５（回転式測距計、レーザー変位計など）から得られる軸線方向の位置情報は、調査の延長が５００ｍ〜１０００ｍにもなると、測定精度に問題があること（測定誤差の発生）を否めない。また、調査は、点検用走行車輌１を前進・後進させる往復動作にてハイビジョンカメラ２の撮影限界角を補完し、もってコンクリート構造物表面全面の撮影を行う手法を実施する。よって、点検用走行車輌１を前進させた際の撮影画像と、後進させた際の撮影画像の座標位置をぴたり整合させる必要がある。そうした画像座標の補正手法として、本発明では、データ処理解析部１０は、現地の測量によって得られる実測座標を利用した位置ズレ（補正量ｍ）の算出と、それに基づく補正処理を行なう。

現地の測量によって実測座標を得るための測点として、例えばトンネルの場合には、座標として既知量（一例として１０ｍピッチ）である目地の位置を座標原点ないし測点に利用することができる。コンクリート構造物の表面に目地の如き座標の測点が見当たらない場合には、これに代わる測量目印を、点検調査の開始に先立ち、予め墨出しするなどして用意する。そして、現地測量の結果を実測座標としてデータ化する。一方、上述したキャプチャリングの手法で合成した静止画像の中から測量目印である目地が写っている画像を抽出し、その合成により得られた画像上の目地座標を測定する。そして、現地測量の結果として得た目地の実測座標と、画像上の目地座標とを対照させる（加減算処理する）ことにより、画像上の目地座標の位置ズレ（補正量ｍ）を算定する。

そこで上記の目地の間隔（約１０ｍ）又はこれに代わる測量目印の間隔の範囲内において、上記のように算定した位置ズレ（補正量ｍ）を、上記段落番号００１４において説明したキャプチャリング手法で取り込んだ静止画像を合成した展開図に関して、各画像の中心座標を平均化する、画像の座標変換（又は画像座標の補正）を行う。
その結果は、図４Ａに補正前の合成画像を示し、図４Ｂに補正後の合成画像を例示したように、補正前には位置ズレを生じていたコンクリートの表面欠陥の映像がほぼ一致して見えるところとなり、画像座標補正の有効性が認められる。

上記した画像座標の補正は、具体的には画像上の目地座標と、現地測量の結果得た目地の実測座標とから算定した位置ズレ（補正量ｍ）をそれぞれ、位置情報としてマッピングすることにより、前記の座標変換の処理は、専用ソフトにより瞬時に効率よく行うことができ、作業者の技量に左右される要因はない。

上記の各ステップを経て、図１中の画像合成６の処理が高精度に完成する。
よって、コンクリート点検の評価法としては、前記のように合成された展開図の中から、ひび割れ等の欠陥部を位置座標と共に抽出する。そして、当該ひび割れ等の欠陥部を目視可能なひび割れ展開図７として画像表示システム８に表示し、評価、検討に供することになる。

（サーモグラフィデータとの共同表示）
高感度のハイビジョンカメラ２で撮影した画像によれば、コンクリートの表面欠陥の位置や形状などの情報を認知し検討することはできる。しかし、判定可能な欠陥情報は、欠陥の種類や形状、ひび割れ長さ、幅などが限度である。欠陥の深さ、角度や周辺状況などは不明である。よって、剥落の可能性があるか否かの認定、判断の情報としては、未だ不十分と言わねばならない。ここにサーモグラフィデータの有用性が認められる。
即ち、ハイビジョン画像でコンクリート表面に欠陥（異常箇所）が発見された場合には、それをサーモグラフィ画像により詳細を確認することが可能である。

サーモグラフィ画像とは、図１の点検用走行車輌１に搭載された赤外線パネルヒータ４でコンクリート表面を加熱し、同コンクリート表面から発せられる赤外線を、サーモグラフィ装置の赤外線カメラ３で撮影し、その動画を静止画像として取り込み合成すると共に、温度差データに変換し、温度差データを色分けして表示した画像を指す。

サーモグラフィ画像の展開図を作成する場合にも、上記ハイビジョン画像の処理と同様に、データ処理解析部１０によりキャプチャー画像の中心座標を算出して、必要最少限度の枚数の静止画像を取り込み合成処理する。更に測量目印が写っている画像を抽出し、合成作業により得られる画像上の座標値と、現地の測量によって得る実測座標との対比により位置ズレ（補正量ｍ）を算定し、座標変換を行い展開図を完成することにより、展開図において、ハイビジョン画像との位置的整合性を確保する。その上で、温度補正を行い、最終的に温度データの合成画像を展開図として完成し、それを画像表示システム８へ入力して表示すると、上記ハイビジョン画像の展開図との対照により、コンクリートの表面欠陥の評価、検討を詳細に行うことができる。

本発明の画像処理方法の流れ図である。 ハイビジョン画像処理方法の主要な流れ図である。 静止画像のキャプチャリング手法の説明図である。 ＡとＢは座標変換の前と後の画像の状態を示す説明図である。

符号の説明

１ 点検用走行車輌
４ ハイビジョンカメラ
Ｌ ラップ長
５ 位置計測装置
Ｘｃ１〜Ｘｃｎ 中心座標
１０ データ処理解析部

Claims (1)

1. コンクリート構造物の表面をコンクリート点検システムの点検用走行車輌に搭載したハイビジョンカメラで撮影した動画から静止画像を取り込むにあたり、予め設定したラップ長Ｌと、点検用走行車輌に搭載した位置計測装置から得られる軸線方向の位置情報、即ち点検用走行車輌が１秒間に走行する距離Ｘと、静止画像をキャプチャリングにより取り込むべき枚数ｎ、および一つの静止画像の幅寸法ｈ２とに基づいて、キャプチャー画像の中心座標位置Ｘｃ１〜Ｘｃｎを、次式「数１」と「数２」とで算出し、
   ［数１］ ｎ＝Ｘ／（ｈ２−Ｌ）
   ［数２］ Ｘｃｎ＝ｈ２／２＋（ｎー１）・（ｈ２−Ｌ）
   その中心座標に最も近い位置の画像を静止画像として取り込み合成するステップと、
   前記のようにして取り込み合成した静止画像について、コンクリート構造物の目地又はこれに代わる測量目印の画像を抽出し合成することにより得られた座標値と、現地の測量によって得られた実測座標との位置ズレ（補正量ｍ）を算出し、前記目地の間隔又は測量目印の間隔（補正間隔）において、前記補正量ｍを平均化する画像の座標変換を行い、可視化した展開図を完成するステップとから成ることを特徴とする、コンクリート点検システムのハイビジョン画像処理方法。

Images