JP5429291B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、被撮像物を撮像して得た画像データを処理する画像処理装置及び画像処理方法に関するものである。

トンネルなどの構造物において、経年劣化によってコンクリート製の壁面のひびや剥離といった変状現象が生じる。このような構造物の安全を確保するため、構造物の変状箇所の点検が行われている。点検作業は人による近接目視で行うと高コストで非効率である。

撮影にかかる時間をなるべく短くし、一般交通の妨げにならない構造物の点検手段として、車両にカメラを搭載し構造物に沿って走行しながら撮像を行うことが考えられる（例えば特許文献１）。例えば、トンネルの壁面に沿って移動しながらトンネル壁面の撮像を連続的に行い、静止画像（１フレーム分）を複数取得する。しかし、ある画像フレームを撮像する時点とその次の画像フレームを撮像する時点との間に撮影車が移動するため、取得した複数の画像フレームを方形状の枠内に配置した展開画像に写る被撮像物の位置は不正確である。さらに、例えばトンネルの壁面のように構造物が湾曲している場合や、構造物に沿って走行できない場合において、カメラと被撮像部との距離が一定ではないため、展開画像中において画像フレームごとに被撮像部の大きさが異なってしまう。

トンネルの展開画像は、トンネル壁面の変状箇所を確認するのに用いる。各フレームの接合にずれがあったり、各フレームの被撮像部の大きさが異なったりすると、検出すべき変状箇所が展開画像上に表示されなかったり、１箇所の変状箇所が展開画像上に複数個所表示されたりする。

特開２００４−０１２１５２号公報

本発明は、移動しながら被撮像物を複数回撮像することにより得られる複数の静止画像データから一枚の画像を生成する画像処理装置を提供することを目的とする。

本発明の一側面によると、
移動手段で移動しながら被撮像物を複数回撮像して得た画像データを処理する画像処理装置において、
前記移動手段に設けられ、前記移動手段で移動しながら前記被撮像物を複数回撮像して前記画像データを取得するカメラと、
前記移動手段に設けられ、所定位置から撮像位置までの前記カメラの移動量を取得する移動量取得手段と、
前記移動手段に設けられ、撮像時における前記被撮像物の被撮像部と前記カメラとの距離を取得する距離取得手段と、
前記カメラで撮像した複数の画像データのフレームを、前記所定位置から該撮像の位置までの前記カメラの移動量に基づき、前記移動手段の移動方向にそれぞれ変位する補正を行う第１処理部と、
所定の画像データのフレームのサイズと該画像データに対応する所定の距離とを基準として、前記距離取得手段により取得された距離に応じて前記カメラで撮像した画像データのフレームのサイズを拡縮する補正を行う第２処理部と、
前記第１処理部と前記第２処理部とでそれぞれ補正された複数の画像データを二次元座標上に配置して、画像を生成する第３処理部と
を備えることを特徴とする画像処理装置が提供される。

本発明の画像処理装置は、移動しながら被撮像物を複数回撮像することにより得られる複数の静止画像データから一枚の画像を生成できる。

図１は、第１実施形態の画像処理装置を示す図である。 図２は、カメラを壁面に沿って移動させながら、カメラを移動方向に対して垂直方向に壁面上を走査させて、複数の画像フレームを連続的に取得する様子を説明する模式図である。 図３は、第１実施形態の画像処理装置の正規化処理の流れを示す図である。 図４は、第１実施形態の撮像手段により取得した入力画像の座標系を示す図である。 図５は、取得した画像の、距離の正規化処理に伴う、移動方向の拡縮処理を示す図である。 図６は、移動方向の拡縮処理を行った画像の、移動量の正規化処理に伴う、移動方向の移動処理を示す図である。 図７は、拡縮処理及び移動方向の移動処理を行った画像フレームを示す図である。 図８は、壁面を垂直方向に走査して撮影を行う様子を説明する断面図である。 図９は、距離の正規化処理に伴う走査方向の拡縮を説明する断面図である。 図１０は、正規化処理後の画像を示す図である。 図１１は、取得した各画像の垂直方向の位置ｙと、正規化処理後の各画像の垂直方向の位置ｙ’との関係を示すグラフである。 図１２は、取得した画像の正規化処理のフローチャートである。 図１３は、静止画撮像から展開画像出力までのフローチャートである。 図１４は、第１実施形態の画像処理装置を用いて、図２に示される壁面を撮像し、生成した展開画像である。 図１５は、第１実施形態の変形例の画像処理装置を示す図である。 図１６は、結合処理部が移動方向に隣接する画像フレームの結合処理を行う一例を示す模式図である。 図１７は、結合処理部が移動方向に隣接する画像フレームの結合処理を行う一例を示すフローチャートである。 図１８は第２実施形態の画像処理装置の構成図である。 図１９はセントル境界を検知する手段を説明する図である。 図２０はセントル境界を検知する手段を説明する図である。 図２１はセントル境界を検知する手段を説明する図である。 図２２Ａは往路展開画像の往路展開画像５１、図２２Ｂは復路展開画像の復路展開画像５５、図２２Ｃは復路展開画像に拡縮処理を行い得られる復路展開画像５５である。 図２３Ａは、図２２Ａと同じ往路展開画像５１、図２３Ｂは、図２２Ｃと同じ拡縮処理を行った復路展開画像５５である。図２３Ｃは、往路展開画像５１と拡縮処理を行った復路展開画像５５とを結合処理して得られる往復展開画像である。 図２４は、第１の往路展開画像作成処理のフローチャートである。 図２５Ａは往路展開画像５１、図２５Ｂは復路展開画像５５、図２５Ｃは復路展開画像に拡縮処理を行い得られる復路展開画像５５である。 図２６は、第２の往路展開画像作成処理のフローチャートである。 図２７は、一般的なコンピュータを用いて実現した第１実施形態の画像処理装置の一例を示す模式図である。

図１は、第１実施形態の画像処理装置を示す図である。本実施形態の画像処理装置は、カメラ１１と、移動量取得手段１２と、距離取得手段１３とを有する。また、本実施形態の画像処理装置は、正規化処理部１４と、結合処理部１５とを有する。

カメラ１１は、移動しながら被撮像物を複数回（繰り返し）撮像し画像データを取得する手段である。カメラ１１の種類は特に限定されず、例えば、視覚センサが一次元方向に並んでいるラインセンサカメラ、視覚センサが二次元方向に並んでいるエリアセンサカメラのいずれを用いてもよい。ラインセンサカメラが撮像して得られるデータは一次元画像データであり、エリアセンサカメラが撮像して得られるデータは二次元画像データである。また、撮像対象の構造物のひびや剥離といった変状を認識しやすい点から赤外線カメラを好ましく用いることができる。

カメラ１１を移動する手段は特に限定されない。カメラ１１は例えば車などの移動手段に搭載され、移動手段を動作させることで移動する。また、カメラ１１は、移動手段により移動する方向に対して交差する方向に被撮像物を走査して撮像を行ってもよい。移動手段で移動する方向に対して交差する方向は、例えば前記移動方向に対して垂直である。例えば、移動方向に伸びる直線を中心としてカメラ１１のセンサと被撮像物とを結ぶ直線が回転するようにカメラ１１を回転させながらカメラ１１で撮像を行うことにより、被撮像物を走査できる。例えば、カメラ１１は、被撮像物の上方から下方へと１回の走査を行った後、上方から下方への走査を繰り返す。被撮像物を走査する手段は、カメラ１１に設けられたカメラ１１の向きや位置を動かす装置である。また、カメラ１１に被撮像物を走査するための作動機構が内蔵された走査型のカメラを用いてもよい。以下、本実施形態において、上記移動手段による移動方向に伸びる直線を中心としてセンサと被撮像物とを結ぶ直線を回転するように作動しながら被撮像物を撮像する、走査型のラインセンサカメラが用いられる。

移動量取得手段１２は、所定位置から撮像位置までのカメラ１１の移動量を取得する装置であり、例えば、カメラ１１がある画像を撮像してから他の画像を撮像するまでのカメラ１１の移動方向への移動量を計測する装置である。移動量は、通常、カメラ１１による画像の撮像と同期して取得される。移動量取得手段１２は、特に限定されないが、カメラ１１の移動手段による移動方向の移動量を計測する移動量センサを用いることができる。カメラ１１を車両に搭載して移動させるとき、例えば車両に設けた車速センサを移動量センサとして用いることができる。車速センサは、例えば車速パルス発生器が車軸の回転数に比例して発生させたパルス信号から、所定位置から撮像位置までの車両の移動量（例えば、ある撮像時から他の撮像時までの車両の移動量）を計測する。また、例えば距離取得手段１３として、撮像時における被撮像部とカメラ１１との距離の実測が可能な距離センサを用いるとき、移動量取得手段１２は、複数の撮像時に前記距離センサにより実測した各距離と、前記複数の撮像により得られる画像データの特徴点の変位量とから前記カメラの移動量を算出する手段であってもよい。画像データの特徴点の変位量の単位は例えばピクセル単位である。例えば、撮像素子１個の実寸サイズに特徴点の変位量との積をかけることで、ピクセル単位の変位量を現実の変位量（例えばメートル単位）に変換する。複数の撮像時にそれぞれ取得した複数の距離の平均値を算出する。そして、下記式よりカメラの移動量を算出できる。

カメラ移動量＝距離の平均値×特徴点の移動量×画素の実寸サイズ／焦点距離
距離取得手段１３は、カメラ１１が画像を撮像したときにおける、構造物の被撮像部とカメラ１１との距離を取得する装置である。距離は、通常、カメラ１１による画像の撮像と同期して取得される。距離取得手段１３は、特に限定されないが、例えば、撮像対象にレーザー光や超音波などを当て、撮像対象より反射される光の到着時刻を測ることによって物体までの距離を計測するレンジセンサ等の距離センサを用いることができる。また、例えば移動量取得手段１２として車速パルス発生器等、所定位置から撮像位置までの移動量の実測が可能な車速センサを用いるとき、距離取得手段１３は、複数の撮像時に前記移動量センサにより実測した移動量と、前記複数の撮像により得られる各画像データの中心から各画像データの特徴点までの距離とから、前記距離を算出する手段であってもよい。前記複数の撮像により得られる各画像データの中心から各画像データの特徴点までの距離（単位：ピクセル）に、画素の視野角をかけることで、各撮像位置において、特徴点に対応する被撮像物の位置とカメラ１１とがなす直線と、カメラ１１の移動手段による移動方向の直線とがなす角度をそれぞれ算出することができる。カメラ１１の移動量と各撮像位置における上記角度とから、カメラ１１から被撮像物までの距離を算出できる（三角測量）。

正規化処理部１４は、カメラ１１で撮像した複数の画像データのフレームを、所定位置から該撮像の位置までのカメラ１１の移動量に基づき、移動手段の移動方向にそれぞれ変位する補正を行う移動処理部２５（第１処理部）と、所定の画像データのフレームサイズとその画像データに対応する所定の距離とを基準として、距離取得手段１３により取得された距離に応じてカメラ１１で撮像した画像データのフレームサイズを拡縮する補正を行う拡縮処理部２４（第２処理部又は第５処理部）とを有する。正規化処理は、例えば、被撮像物を走査方向へ１回走査して得られる複数の画像フレームについてある座標軸上で行われる。正規化処理部１４の詳細は後に説明する。

結合処理部１５（第３処理部又は第６処理部）は、移動処理部２５と拡縮処理部２４とで補正された複数の画像データを二次元座標上に配置し、二次元の画像を生成する。複数の画像の撮像中に距離取得手段１３により取得されたカメラ１１の移動量から、移動方向に隣接する画像フレームの移動方向の配置位置を計算し、二次元画像データを生成することができる。距離取得手段１３のみに依存して、複数の画像フレームを二次元座標上に配置してもよいが、必要に応じて複数の画像フレームをカメラの移動方向に補正することが、得られる二次元画像に写る被撮像物のずれを少なくできる点から好ましい。このカメラの移動方向の補正の方法としては、例えば、隣接する二つの画像フレームが重なる部分の画像ピクセル値（画素値）の差分絶対値和が最小となるように補正したり、隣接する二つの画像フレームが重なる部分の画像ピクセル値の正規化相関によるマッチング法などを用いて補正したりする方法が挙げられる。なお、結合処理の一例は、図１６、図１７を用いて後述される。

また、本実施形態の画像処理装置は、二次元座標上に配置された画像（展開画像）を保存する画像保存装置１６を備えていてもよい。

図２は、カメラを壁面に沿って移動させながら、カメラを移動方向に対して垂直方向に壁面上を走査させて、複数の画像フレームを連続的に取得する様子を説明する模式図である。カメラ１１は走査型のラインセンサカメラである。カメラ１１の視覚センサは移動方向に向けて伸びるように配置される。カメラ１１は、トンネルの壁面２に沿って移動しながら壁面２を撮像する。撮像の際、カメラ１１は壁面２を上方から下方に向かって走査しながら、複数回静止画を撮像する。カメラ１１は、トンネルの一端から他端に至るまで壁面２上方から下方に向う走査を複数回行う。本実施形態において、１画素を取得可能な撮像素子を移動方向に一列に複数並べたラインセンサカメラを用いて壁面２を撮像する。図２において、被撮像部４ａ〜４ｉは隣り合う被撮像部の境界が重なっているが、隣り合う被撮像部の一部が重なるように走査しながら撮像することが好ましい。

図３は、本実施形態の画像処理装置の正規化処理の流れを示す図である。本実施形態の画像処理装置において正規化処理部１４は、拡縮処理部２４と移動処理部２５とを含んでなる。拡縮処理部２４は、カメラ１１が撮像した複数の入力画像２１と、距離取得手段１３が取得した被撮像部−カメラ１１間の距離２２とを取得する。移動処理部２５は、移動量取得手段１２が取得した、ある画像が撮像されてからその次の画像が撮像されるまでのカメラ１１の移動方向への移動量２６を取得する。

正規化処理は、画像フレームの移動方向の処理である移動方向拡縮処理Ｓ１０１および移動方向移動処理Ｓ１０２と、走査方向の処理である走査方向拡縮処理Ｓ１０３を含んでなる。拡縮処理部２４は、移動方向拡縮処理Ｓ１０１と走査方向拡縮処理Ｓ１０３とを行う。移動処理部２５は、移動方向移動処理１０２を行う。

移動方向拡縮処理Ｓ１０１、移動方向移動処理Ｓ１０２、及び走査方向拡縮処理Ｓ１０３を経た出力画像データ２７は結合処理部１５において結合され、二次元画像データが生成される。

なお、図示した各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を任意の単位で機能的または物理的に分散・統合して構成することができる。

図４は、カメラにより取得した入力画像データの座標系を示す図である。Ｘ軸は移動方向（水平方向）であり、Ｙ軸は走査方向（垂直方向）である。入力画像の横幅（スキャンラインの素子数に相当する）は２ｗであり、高さ（スキャンラインの数）をｈとし、画像上の左上の点を（−ｗ，０）、右下を（ｗ，ｈ）とする。

＜移動方向の拡縮処理＞
図５を用いて移動方向の拡縮処理を説明する。図５は、取得した画像フレームの、距離の正規化処理に伴う、移動方向の拡縮処理を示す図である。処理対象となる画像フレームｙを撮像した時の、カメラ１１と撮像された壁面３１との距離は、距離取得手段１３によりＤ（ｙ）と取得される。カメラ１１と正規化の対象となる仮想的な壁面３２との距離をＤ_０とする。本処理は、カメラ１１により得られる各画像フレームのＸ軸方向について、すべて所定の距離Ｄ_０から見たかのように補正する。具体的には、例えば下記式（１）を用いて、画像フレームｙの移動方向の拡縮処理後のＸ座標を算出する。

ここで、ｘは入力画像のＸ座標であり、ｘ_１は移動方向の拡縮処理後のＸ座標である。

＜移動方向の移動処理＞
図６及び図７を用いて移動方向の移動処理を説明する。図６は、移動方向の拡縮処理を行った画像の、移動量の正規化処理に伴う、移動方向の移動処理を示す図である。カメラ１１が壁面に沿って移動するため、各画像フレームの被撮像部は時間の経過とともに移動方向に移動する。本処理は、基準となる画像フレームのＸ軸の基準位置（例えば、画像フレーム０の中央のＸ座標（＝０））に対する、他の画像フレームのＸ軸方向の位置を算出する。画像フレームｙの、画像フレーム０に対する移動量は、移動量取得手段によりｘ_０（ｙ）（単位：ピクセル）として取得されるものとする。

他の画像フレームｙをｘ_０（ｙ）だけ平行移動することで移動方向の補正を行う。したがって、移動方向の移動処理後のＸ座標ｘ’は次式（２）の線形変換で表せる。

図７は、拡縮処理及び移動方向の移動処理を行った画像フレームを示す図である。各画像フレームｙは、画像フレーム０を基準として＋ｘ_０（ｙ）だけＸ軸方向に平行移動する。

＜走査方向の拡縮処理＞
図８及び図９を用いて、走査（垂直）方向の拡縮処理を説明する。図８は、壁面を垂直方向に走査して撮影を行う様子を説明する断面図である。図８は、壁面３１及びカメラ１１のＸ軸方向に垂直な断面を示す。カメラ１１を通るＸ軸方向の直線を中心にカメラ１１をθ_ν回転動作させるたびに静止画の撮影を行い、画像フレームｙ、画像フレームｙ＋１を順に取得する。図９は、距離の正規化処理に伴う走査方向の拡縮を説明する断面図である。本処理は、各画像フレームのＹ軸方向について、すべて所定の距離Ｄ_０から見たかのように補正する。カメラ１１の撮像中心と画像フレームｙとの距離は、距離取得手段１３によりＤ（ｙ）と取得される。各画像フレームｙの垂直視野ｒ（ｙ）は、近似的に、下記式（３）を用いて計算できる。

同様に、正規化後、つまり、カメラ１１の撮像中心からの距離がＤ_０である、距離の正規化処理後の仮想壁面３２を撮像したときの垂直視野ｒ_νは下記式（４）を用いて計算できる。

各画像フレームｙの拡縮率ｓ（ｙ）は、相似比から下記式（５）を用いて計算できる。

となる。すなわち、走査方向拡縮処理は、拡縮率Ｄ_０／Ｄ（ｙ）で各画像フレームｙを拡縮する。

画像フレームの走査方向の位置ｙと正規化後の走査方向の位置ｙ’との関係は、下記式（６）のように累積形式で表せる。

以上の、移動方向の拡縮処理、移動方向の移動処理、及び走査方向の拡縮処理によって、本実施形態の正規化処理が行われる。図１０は、正規化処理後の画像を示す図である。正規化処理後において、各画像フレームは取得画像の各画像フレームが拡縮された状態で並んでいる。

上記各処理は、本質的にはどのような順番でも行えるが、移動方向の拡縮処理と移動方向の移動処理は、垂直方向の拡縮処理の前に行うことが好ましい。移動方向の拡縮処理と移動方向の移動処理は、各画素フレームの高さがピクセル（画素）単位であると効率よく処理できる。ところが、垂直方向拡縮処理を行うと各画素フレームの高さはＤ_０／Ｄ（ｙ）となるため、移動方向の拡縮処理及び移動方向の移動処理の対象となるデータは、通常ピクセル単位ではなくなる。よって、移動方向の拡縮処理及び移動方向の移動処理が非効率になる。

また、移動方向の拡縮処理は移動方向の移動処理の前に行うことが好ましい。移動方向の移動処理を移動方向の拡縮処理の前に行うことは、移動方向の移動処理後のＸ座標ｘ’を上記式（２）を、更に下記式（７）のように変形することを意味する。

式（７）において、カッコの中のxの加算（Ｄ（ｙ）／Ｄ_０）ｘ_０（ｙ）が移動方向の移動補正である。この加算は、取得した移動量ｘ_０（ｙ）を取得した距離Ｄ（ｙ）に応じて補正することを意味するため、非効率である。

以上より、正規化処理は、移動方向の拡縮処理、移動方向の移動処理、走査方向の拡縮処理の順に行うことが好ましい。

また、上記正規化処理は取得画像の各ピクセルが正規化によって、どのピクセルに変換されるかを表している。しかし、実際に画像を変換するときは、正規化後の画像における各ピクセルが、取得画像において対応するピクセルの情報を取得する、逆変換を用いたほうが変換結果の品質が良い。

Ｘ軸方向の逆変換は、線形変換であるので、下記式（８）により解析的に求められる。

一方、Ｙ軸方向の逆変換は、画像フレームの走査方向の位置ｙと正規化後の走査方向の位置ｙ’との関係が、上記式（６）に示したように累積形式であるので数値計算で求める。

図１１は、式（６）に基づいた、取得した各画像の垂直方向の位置ｙと正規化処理後の各画像の垂直方向の位置ｙ’との関係を示すグラフである。例えばこのグラフを用いて逆変換を行うことができる。

図１２は、本実施形態の画像処理装置が、撮像後に画像の正規化処理を行うフローチャートである。まず、カメラ１１から正規化用の仮想壁面までの距離Ｄ_０を拡縮処理部２４に入力する（Ｓ２０１）。次いで、正規化処理部１４は、カメラ１１が撮像した各画像フレーム（入力画像２１）に対応する壁面距離Ｄ（ｙ）と移動量ｘ_０（ｙ）とを、距離取得手段１３と移動量取得手段１２とからそれぞれ取得する（Ｓ２０２）。次いで、拡縮処理部２４及び移動処理部２５は、上記式（８）に基づき、カメラ１１によって入力された複数の入力画像についてそれぞれ、移動方向の拡縮処理と移動方向の移動処理を行う（Ｓ２０３）。次いで、拡縮処理部２４は、Ｓ２０３において処理された各画像について、上記式（６）の逆関数を使って走査方向拡縮処理を行い、出力画像２７を出力する（Ｓ２０４）。

本実施形態の画像処理装置は、各画像の上記正規化処理を終えたあと、結合処理部１５にて正規化処理がなされた出力画像２７を結合処理することで、画像を作成しこれを出力する。

図１３は、画像データ取得から画像出力までのフローチャートである。まず、カメラ１１は、撮像対象となる構造物の画像を撮像する（Ｓ３０１）。次いで、正規化処理部１４は、取得した画像データをすべて正規化処理するまで、被撮像物の画像データを取得し、正規化処理を行う（Ｓ３０２〜Ｓ３０４）。Ｓ３０２において、被撮像物の画像データをすべて正規化処理したら、結合処理部１５は正規化した画像データを読み込み、各画像を結合し、画像を作成する（Ｓ３０５〜Ｓ３０６）。

図１４は、本実施形態の画像処理装置を用いて、図２に示される壁面を撮像し、生成した画像（展開画像）である。画像６には、図２における被撮像部４ａ〜４ｉに対応する画像フレーム７ａ〜７ｉと、壁面の模様３に対応する模様５のみが示されている。本発明の画像処理装置はトンネルに沿って移動しながら撮像する。移動速度が一定であるとは限らない。しかし、画像６に写っている壁面の模様５はずれていない。また、撮像中、移動速度や壁面までの距離が一定でなくても各画像フレームに写る撮影対象の大きさが正規化され、隣り合う画像をつなぎ合わせることができる。本実施形態の画像処理装置により得られる画像は、壁面の模様３に対応する模様５の位置を正しく認識することができる。

本実施形態の画像処理装置によれば、構造物に沿って移動しながら移動方向に対し交差する方向に走査して構造物を撮像して取得した複数の静止画像に、正規化処理及び結合処理を行うことにより、壁面の欠陥や模様の位置を正しく認識できる画像を生成できる。

なお、上述の通り、カメラ１１としてエリアセンサカメラを用いても良い。このとき、得られた各画像フレームにおいて、通常、カメラ１１と構造物の被撮像部との距離を同じ値とみなすため、各画像フレームで撮像される被撮像物の領域が大きくなるほど正規化結果の精度が低くなるおそれがあるが、構造物の撮像を短時間に行うことができる点において好ましい。

図１５は、第１実施形態の変形例の画像処理装置を示す図である。第１実施形態の撮像と同様の構成については同一の番号を付し、説明を省略する。本変形例の画像処理装置は、第１実施形態の画像処理装置と同様、カメラ１１、移動量取得手段１２、距離取得手段１３、正規化処理部１４、結合処理部１５を有する。本変形例の画像処理装置は、更に、他のカメラ１１ａと、カメラ１１ａから取得する画像を処理する正規化処理部１４ａと、カメラ１１ａがある画像を撮像してからその次の画像を撮像するまでのカメラ１１ａの移動方向への移動量又は移動速度を計測する移動量取得手段１２ａと、カメラ１１ａが画像を撮像したときにおける、構造物の被撮像部とカメラ１１ａとの距離を取得する距離取得手段１３ａとを備える。カメラ１１と、カメラ１１ａとは、撮像対象の構造物のうちそれぞれ異なる領域を走査しながら移動する。カメラ１１及び１１ａの、相対的な設置位置・視野方向・撮影タイミング差等は任意に設定することができる。正規化処理部１４、１４ａで正規化処理された各画像フレームは結合処理部１５へ入力され、結合処理が行われる。本変形例の画像処理装置によれば、上記第１実施形態と同様、壁面の欠陥や模様の位置を正しく認識できる画像を生成できる。

図１６は、結合処理部が移動方向に隣接する画像フレームの結合処理を行う一例を示す模式図である。図１６Ａのように、結合処理前における画像フレームｉの左上の頂点を（０，０）、画像フレームｉの左上の頂点を（ｘ，ｙ）とする。まず、隣接するフレーム画像の理論的な重ね合わせ位置を探索開始位置（デフォルト値）に設定する（図１６Ｂ）。このときの画像フレームｉの左上の頂点を（０，０）、画像フレームｉの左上の頂点を（ｘ_０，ｙ_０）とする。探索開始位置は、例えば車速移動情報を用いて算出可能である。次いで、移動方向に隣接する画像フレームｉ，ｊの相対位置をずらしながら、重ね合わせ具合を評価し、最も評価値の高い位置を探索する画像探索処理を実施する（図１６Ｃ）。このときの画像フレームｉの左上の頂点を（０，０）、画像フレームｉの左上の頂点を（ｘ’，ｙ’）とする。次いで、最も評価値の高い位置に基づいて、隣接フレーム画像を重ね合わせる結合処理を実施する。重ね合わせ具合の評価に、例えば、画像フレームｉ、ｊのうち重なりあった領域（評価領域）の画像ピクセルにおける画像ピクセル値の差分絶対値和を使用することができる。通常、差分絶対値和が小さいほど、画像フレームｉ、ｊはずれの量が少なく重なっていることを意味する。

重ね合わせの評価領域におけるテクスチャ特徴量が不十分な場合、探索結果の位置が誤っていることがある。重ね合わせの評価領域のテクスチャ量を事前に評価し、所定のテクスチャ量に満たないときは、画像探索処理を実施せずに、デフォルト値を採用するように構成してもよい。ここでテクスチャ特徴量は、輝度値の分散、輝度微分値の分散などが用いられる。

図１７は、結合処理部が移動方向に隣接する画像フレームの結合処理を行う一例を示すフローチャートである。画像フレームｉに対する画像フレームｊの探索開始位置を算出し（Ｓ４０１）、画像フレームｉと画像フレームｊの重ね合わせ評価領域のテクスチャ特徴量を算出する（Ｓ４０２）。テクスチャ特徴量が所定値以上（Ｓ４０３）であれば，探索処理を実施し重ねあわせ位置を出力する（Ｓ４０４）。テクスチャ特徴量が所定値未満（Ｓ４０３）であれば、探索開始位置を出力する（Ｓ４０５）。Ｓ４０４、Ｓ４０５において出力した画像フレームｉに対する画像フレームｊの位置に基づき、画像結合処理を行う（Ｓ４０６）。

図１８〜２６は、第２実施形態の画像処理装置を説明する図である。第２実施形態の画像処理装置は、セントルの境界位置を検出し、セントル境界位置の情報を活用して、セントル境界のずれのない品質の良い往復展開画像を生成する装置である。セントルとは、覆工コンクリートを打設するためのアーチ部の型枠支保工である。トンネル壁面にはトンネル円周方向に渡って直線状のコンクリートの繋ぎ目が存在する。このつなぎ目は型枠支保工の形状に由来する。本実施形態において、セントル境界はこのつなぎ目を意味する。

図１８は第２実施形態の画像処理装置の構成図である。なお、第１実施形態と同様の構成要素は同一符号を付し、説明を省略する。

第２実施形態の画像処理装置は、車などの移動装置に搭載され、トンネルを走行しながら、トンネルの壁面の片側を撮影する。第２実施形態の画像処理装置は、カメラ１１、１１ａ、距離取得手段１３、移動量取得手段１２、展開画像作成手段２０、セントル境界検出手段（検出部）２３、及び往復展開画像作成手段２８（第４処理部）を有する。カメラ１１、１１ａは、図１５の第１実施形態の変形例の画像処理装置に設けられたものと同様である。距離取得手段１３及び移動量取得手段１２は、第１実施形態におけるそれらと同様であるため説明を省略する。展開画像生成手段２０は、図１の画像処理装置における正規化処理部１４及び結合処理部１５を含む。カメラ１１、１１ａにより撮像された複数の画像フレームに対し、正規化処理部１４が移動量と距離とを用いて正規化処理を行い、結合処理部１５が正規化処理された画像フレームを結合し、展開画像を生成する。このように構成された画像処理装置によって、トンネルの片側の壁面の展開画像を作成する。本画像処理装置は、往路と復路を走行中に、それぞれ片側の壁面の画像フレーム（画像データ）を収集し、それぞれ、往路展開画像と復路展開画像とを生成する。

セントル境界検出手段２３は、作成された往路展開画像と復路展開画像から、セントル検知手段によって、セントル境界のデータを検知する。図１９〜２１はセントル境界を検知する手段を説明する図である。

図１９Ａは往路展開画像５１であり、図１９Ｃは復路展開画像５５である。往路展開画像及び復路展開画像それぞれにおいて、縦方向の一部に渡って存在する走査方向のライン５３のデータと縦方向全てに渡って存在する走査方向のライン５２のデータとは画像処理によって異なるデータとして検知できる。往路又は復路の展開画像の縦方向全てに渡って存在する走査方向のライン５２のデータをセントルの繋ぎ目を示すデータとして画像処理によって検知する。トンネル壁面の往路展開画像及び復路展開画像において、セントル境界が他の部分に対して明瞭に温度が異なるデータとして得られる点から、カメラ１１は赤外線カメラであることが、好ましい。

図１９Ｂは図１９Ａの展開画像の輝度値を水平方向に微分して得られる水平微分画像から垂直エッジ抽出を行うことにより算出した垂直エッジヒストグラムである。図１９Ｄは図１９Ｃの展開画像の輝度値を水平方向に微分して得られる水平微分画像から垂直エッジ抽出を行うことにより算出した垂直エッジヒストグラムである。図１９Ｂ及び図１９Ｄの垂直エッジヒストグラムは、横軸に水平画像位置（移動方向の画像位置）を、縦軸に微分値を表す。

また、所定の閾値ｔ以上のピークを有する水平画素位置を検出し、セントル境界位置として記憶する。これは、トンネル開口位置を基準位置として記録する。図２０Ａは、往路展開画像及び復路展開画像の垂直エッジヒストグラムから、それぞれ、所定の閾値ｔ以上のピークを有する水平画像位置をトンネルの入口から出口に向かって順に、縦に並べたテーブル４０である。なお、セントル境界は画像上で幅を有する線として観測されるため、セントル境界位置には垂直エッジヒストグラムのピークが２つ観測されるが、隣接する同程度の値を有するピークの中間値を登録するようにしてもよい。

次に、往路展開画像と復路展開画像のセントル境界位置の対応付け処理を行う。図２０Ｂは、テーブル４０から、往路・復路の展開画像それぞれにおいて、セントル境界位置が移動方向の所定の範囲内になる水平画素位置を抽出し縦に並べたテーブル４１である。また、画像データと同期して管理されているトンネル開口基準位置からの車両移動量に基づいて対応付けてもよい。また、セントルはトンネル設計仕様に基づき特定の間隔となっているため、この情報を用いて対応の精度を高めるようにしてもよい。

図２１は、セントル境界のデータを検知するフローチャートである。往路・復路の各展開画像から垂直エッジ画像を作成し（Ｓ５０１）、往路・復路毎に、垂直エッジヒストグラムを作成し（Ｓ５０２）、垂直エッジヒストグラムにおいて、微分値が所定値以上である水平画像位置を抽出し（Ｓ５０３）、往路及び復路のセントル境界位置をそれぞれ登録し（Ｓ５０４）、往路及び復路のセントル境界位置を対応付ける（Ｓ５０５）。

往復展開画像生成手段２８は、往路展開画像と復路展開画像のセントル境界位置に関し対応付けられたデータを用いて、往復展開画像を作成する。以下に、往復展開画像作成処理の実施形態を以下に示す。ここでは、往路展開画像を基準として復路展開画像を接合する説明とするが、復路展開画像を基準として往路展開画像を接合してもよい。

＜第１の往復展開画像作成処理＞
図２２Ａは往路展開画像５１、図２２Ｂは復路展開画像５５、図２２Ｃは復路展開画像に拡縮処理を行い得られる復路展開画像５５である。

［Ｓｔｅｐ１］往路のセントル境界区間［ａ_ｉ，ａ_ｉ＋１］に対応する、復路のセントル境界区間［ｂ_ｉ，ｂ_ｉ＋１］の部分展開画像の画像補正処理を行う。具体的には、移動方向にｒ＝（ａ_ｉ＋１−ａ_ｉ）／（ｂ_ｉ＋１−ｂ_ｉ）倍の拡縮処理を行う。また、移動方向および走査方向にｒ倍の拡縮処理を行ってもよい。

［Ｓｔｅｐ２］次に、往路展開画像５１と、拡縮された復路展開画像５５とを結合処理する。すなわち、画像探索処理を実施し、探索された重ね合わせ位置に基づいて結合処理を行う。結合処理は部分展開画像を単位として行うことができる。結合処理は図１６、図１７において説明したため、第２実施形態における説明を省略する。図２３Ａは、図２２Ａと同じ往路展開画像の往路展開画像５１、図２３Ｂは、図２２Ｃと同じ拡縮処理を行った復路展開画像５５である。図２３Ｃは、往路展開画像の往路展開画像５１と拡縮処理を行った復路展開画像５５とを結合処理して得られる部分往復展開画像である。

図２４は、第１の往路展開画像作成処理のフローチャートである。復路のセントル境界区間［ｂ_ｉ，ｂ_ｉ＋１］の部分展開画像をｒ倍だけ拡縮処理し（Ｓ６０１）、往路のセントル境界区間［ａ_ｉ，ａ_ｉ＋１］の部分展開画像と復路の拡縮後の部分展開画像とを結合処理する（Ｓ６０２）。セントル境界に挟まれるコンクリート壁面の画像データをすべて処理するまでＳ６０１とＳ６０２を繰り返す（Ｓ６０３）。

＜第２の往復展開画像作成処理＞
図２５Ａは往路展開画像５１、図２５Ｂは復路展開画像５５、図２５Ｃは復路展開画像に再配置処理を行い得られる復路展開画像５５である。

［Ｓｔｅｐ１］往路のセントル境界区間［ａ_ｉ，ａ_ｉ＋１］に対応する、復路のセントル境界区間［ｂ_ｉ，ｂ_ｉ＋１］の部分展開画像の再配置処理を行う。具体的には、復路展開画像５５を構成する各画像フレーム５６の移動方向の位置を、次の量ｄだけシフトする。

ｄ＝｛（ａ_ｉ＋１−ａ_ｉ）−（ｂ_ｉ＋１−ｂ_ｉ）｝／Ｎ_ｉ
Ｎ_ｉは復路のセントル境界区間［ｂ_ｉ，ｂ_ｉ＋１］に存在する移動方向のフレーム接合数である。例えば図２５Ｂに示されるセントル境界区間［ｂ_ｉ，ｂ_ｉ＋１］の部分展開画像においてフレーム接合数Ｎ_ｉは３である。

このとき、復路の部分展開画像を構成する全フレーム画像に対して実施するのではなく、復路展開画像生成処理において、テクスチャ量が不十分なために画像探索処理が未実施となった画像フレームを記憶しておき、同画像フレームに対してのみ実施してもよい。その場合、同画像フレームの移動方向の位置を次の量ｄだけシフトする。

ｄ＝｛（ａ_ｉ＋１−ａ_ｉ）−（ｂ_ｉ＋１−ｂ_ｉ）｝／Ｍ_ｉ
Ｍ_ｉは復路のセントル境界区間［ｂ_ｉ，ｂ_ｉ＋１］に存在する移動方向のフレーム結合数のうち、往路又は復路の展開画像生成処理において、画像探索処理が未実施となったフレームの数である。

［Ｓｔｅｐ２］次に、往路展開画像５１と、再配置された復路展開画像５５とを結合処理する。すなわち、画像探索処理を実施し、探索された重ね合わせ位置に基づいて、第１の往路展開画像作成処理と同様に結合処理を行う。

図２６は、第２の往路展開画像作成処理のフローチャートである。復路のセントル境界区間［ｂ_ｉ，ｂ_ｉ＋１］の部分展開画像を再配置処理し（Ｓ７０１）、往路のセントル境界区間［ａ_ｉ，ａ_ｉ＋１］の部分展開画像と復路の拡縮後の部分展開画像とを結合処理する（Ｓ７０２）。セントル境界に挟まれるコンクリート壁面の画像データをすべて処理するまで、Ｓ７０１とＳ７０２を繰り返す（Ｓ７０３）。

なお、上記第１及び第２の往復展開画像作成処理の[Ｓｔｅｐ２]において、復路の展開画像を再構築するように、部分展開画像を構築する各画像フレームの単位で画像探索処理と画像結合処理を実施してもよい。

第２実施形態の展開画像作成装置によると、トンネルの内壁全体にわたり、ずれや縮尺のばらつきを少なく被撮像物の画像データをつなぎ合わせて、品質の高い往復展開画像を生成することができる。例えば、往路と復路で、車速、又はカメラから壁面までの距離が異なったり、一定でなかったりしても、品質の高い往復展開画像を生成できる。

上記第１実施形態及び第２実施形態の画像処理装置は、例えば一般的なコンピュータを用いて実現できる。図２７は、一般的なコンピュータを用いて実現した第１実施形態の画像処理装置１００の一例を示す模式図である。コンピュータ１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６０を含む。ＣＰＵ１４０は、バス１８０を介してＲＯＭ１５０、ＲＡＭ１６０と接続される。また、コンピュータ１１０は、カメラ１１、距離取得手段１３、移動量取得手段１２、画像保存装置１６と接続されている。画像処理装置１００全体の動作はＣＰＵ１４０によって統括制御される。コンピュータ１１０は、上記正規化処理（拡縮処理及び移動処理）、結合処理を行う。ＣＰＵ１４０は、所定のプログラムに従ってカメラ１１、距離取得手段１３、移動距離取得手段１２、画像保存装置１６を制御する制御手段として機能するとともに、上記正規化処理（拡縮処理及び移動処理）及び結合処理など各種演算を実施する演算手段として機能する。ＲＡＭ１６０は、プログラムの展開領域及びＣＰＵ１４０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１５０には、ＣＰＵ１４０が実行するプログラム及び制御に必要な各種データや、カメラ１１、距離取得手段１３、移動距離取得手段１２、及び画像保存装置１６の動作に関する各種定数／情報等が格納されている。

尚、本発明は上記実施形態に限定されるものではない。矛盾のない限りにおいて、複数の実施例を組み合わせても構わない。上記実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

２ 壁面
３ 壁面の模様
４ａ〜４ｉ 被撮像部
５ 展開画像に写る壁面の模様
６ 展開画像
７ａ〜７ｉ 被撮像部４ａ〜４ｉを撮影した画像フレーム
１１ カメラ
１２ 移動量取得手段
１３ 距離取得手段
１４ 正規化処理部
１５ 結合処理部
１６ 画像保存装置
２１ 入力画像
２２ 被撮像部とカメラとの距離
２３ セントル境界検出手段
２４ 拡縮処理部
２５ 移動処理部
２６ 移動量
２７ 出力画像
２８ 往復展開画像生成手段
３１ 壁面
３２ 仮想壁面
４０、４１ テーブル
５１ 往路展開画像
５２ セントルのつなぎ目を示すライン
５３ 変状現象を示すライン
５５ 復路展開画像
５６ 画像フレーム

Claims (13)

1. 移動手段で移動しながら被撮像物を複数回撮像して得た画像データを処理する画像処理
   装置において、
   前記移動手段に設けられ、前記移動手段で移動しながら前記被撮像物を複数回撮像して
   前記画像データを取得するカメラと、
   前記移動手段に設けられ、所定位置から撮像位置までの前記カメラの移動量を取得する
   移動量取得手段と、
   前記移動手段に設けられ、撮像時における前記被撮像物の被撮像部と前記カメラとの距
   離を取得する距離取得手段と、
   前記カメラで撮像した複数の画像データのフレームを、前記所定位置から該撮像の位置
   までの前記カメラの移動量に基づき、前記移動手段の移動方向にそれぞれ変位する補正を
   行う第１処理部と、
   所定の画像データのフレームのサイズと該画像データに対応する所定の距離とを基準と
   して、前記距離取得手段により取得された距離に応じて前記カメラで撮像した画像データ
   のフレームのサイズを拡縮する補正を行う第２処理部と、
   前記第１処理部と前記第２処理部とでそれぞれ補正された複数の画像データを二次元座
   標上に配置して、画像を生成する第３処理部と
   を備え、
   前記第３処理部は、補正された画像データに基づき、テクスチャ特徴量を評価し、前記テクスチャ特徴量が所定値以上であれば、
   前記補正された画像データを用い、前記配置のときに、隣接する画像との重ね合わせ領域において、画像ピクセル値の差分の絶対値がもっとも小さくなるような画像配置位置を検索し、前記検索の結果に基づき複数の画像を配置し、
   前記テクスチャ特徴量が所定値未満であるときには、
   前記移動量に基づいて前記複数の画像を配置することを特徴とする画像処理装置。
2. 前記第２処理部は、前記カメラで撮像した画像データのフレームのサイズを前記移動手
   段による移動方向に拡縮処理する第１拡縮処理部と、前記カメラで撮像した画像データの
   フレームのサイズを前記移動方向に対して交差する方向に拡縮する第２拡縮処理部とを含
   むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１拡縮処理部は、前記第１処理部によって補正された画像データのフレームのサ
   イズを拡縮することを特徴とする請求項２に記載の画像処理装置。
4. 前記第２拡縮処理部は、前記第１拡縮処理部によって補正された画像データのフレーム
   のサイズを前記移動方向に対して交差する方向に拡縮することを特徴とする請求項３に記
   載の画像処理装置。
5. 前記第２拡縮処理部は、前記第１拡縮処理部及び前記第１処理部によって補正された画
   像データのフレームのサイズを前記移動方向に対して交差する方向に拡縮することを特徴
   とする請求項２に記載の画像処理装置。
6. 更に、前記移動手段による前記移動方向に対して交差する方向に前記被撮像物の被撮像
   部を前記カメラで走査するための走査手段を備えることを特徴とする請求項１乃至５のい
   ずれか１項に記載の画像処理装置。
7. 前記移動手段で移動する方向に対して交差する方向は、前記移動方向に対して垂直であ
   ることを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記距離取得手段は、前記被撮像物の被撮像部と前記カメラとの距離を実測する距離セ
   ンサであることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記移動量取得手段は、複数の撮像時にそれぞれ前記距離センサにより実測した前記被
   撮像物の被撮像部と前記カメラとの距離と、前記複数の撮像により得られる画像データの
   特徴点の変位量とから前記カメラの移動量を算出する手段であることを特徴とする請求項
   ８に記載の画像処理装置。
10. 前記移動量取得手段は、前記カメラの移動方向の移動量を実測する移動量センサである
    ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. 前記距離取得手段は、複数の撮像時に前記移動量センサにより実測した移動量と、前記
    複数の撮像により得られる各画像データの中心から各画像データの特徴点までの距離とか
    ら、前記被撮像物の被撮像部と前記カメラとの距離を算出する手段であることを特徴とす
    る請求項１０に記載の画像処理装置。
12. 前記被撮像物は複数の型枠を用いて形成したトンネルの内壁であり、前記カメラの移動
    方向は前記トンネルの開口部の一端から他端へ向かう方向であり、
    更に、前記壁面の一部を撮像して生成された第１の二次元画像と、前記壁面の他の部分
    を撮像して生成された第２の二次元画像とにおいて、それぞれ型枠のつなぎ目の画像デー
    タを検出する検出部と、
    前記第１の二次元画像における型枠のつなぎ目の画像データと、前記第２の二次元画像
    データにおける型枠のつなぎ目の画像データとに基づき、前記第１の二次元画像データと
    前記第２の二次元画像とを二次元座標上に配置する第４処理部と
    を備えることを特徴とする、請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 移動しながら被撮像物を複数回撮像して得た画像データを処理する画像処理方法におい
    て、
    移動しながらカメラで前記被撮像物を複数回撮像して画像データを取得する工程と、
    所定位置から撮像位置までの前記カメラの移動量を取得する工程と、
    撮像時における前記被撮像物の被撮像部と前記カメラとの距離を取得する工程と、
    前記カメラで撮像した複数の画像データのフレームを、所定位置から該撮像の位置まで
    の前記カメラの移動量に基づき、移動しながら被撮像物を複数回撮像するための移動手段の移動方向に変位する補正を行う第１処理工程と、
    所定の画像データのフレームサイズと該画像データに対応する所定の距離とを基準とし
    て、前記距離を取得する工程において取得された距離に応じて前記カメラで撮像した複数の画像データのフレームサイズを拡縮する補正を行う第２処理工程と、
    前記第１処理工程と前記第２処理工程とで補正された前記画像データを二次元座標上に
    配置して、画像を生成する第３処理工程とを備え、
    前記第３処理工程において、補正された画像データに基づき、テクスチャ特徴量を評価する工程を含み、
    前記テクスチャ特徴量が所定値以上であれば、
    前記補正された画像データを用い、前記配置のときに、隣接する画像との重ね合わせ領域において、画像ピクセル値の差分の絶対値がもっとも小さくなるような画像配置位置を検索し、前記検索の結果に基づき複数の画像を配置し、
    前記テクスチャ特徴量が所定値未満であるときには、
    前記移動量に基づいて前記複数の画像を配置することを特徴とする画像処理方法。

Images