JP7228341B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

橋梁、道路、ビル、ダム、堤防等の構造物の点検作業において、構造物の表面をカメラで撮影した画像からひび割れが自動的に検出され、そのひび割れの長さ及び幅が計測されることがある。これにより、目視でひび割れを検出する場合よりも、作業工数が削減される。

ひび割れの計測に関して、ひび割れ領域内の各画素の輝度値の合計を求め、輝度値の合計からひび割れ面積を求める、ひび割れの計測方法が知られている（例えば、特許文献１を参照）。サブピクセルサイズのひび割れ幅を検量する微細ひび割れ幅検量方法、及び、暗領域の線画像を構成する２画素をつなぐ線の勾配の分散に基づいて、暗領域を評価する画像処理プログラムも知られている（例えば、特許文献２及び特許文献３を参照）。

画像解析による被写体の測定を簡易的に行う測定装置、及び世界座標と画像座標との対応に基づいてカメラパラメータを求めるカメラキャリブレーション装置も知られている（例えば、特許文献４及び特許文献５を参照）。

特開２００３－２１４８２７号公報 特開２００５－２４１４７１号公報 特開２０１８－３６２２６号公報 特開２０１７－３３９９号公報 特開２００６－６７２７２号公報

橋梁等の構造物の表面に生じたひび割れの幅は、０．１ｍｍ単位で計測することが望ましい。しかし、０．１ｍｍの長さが１画素以上に対応するような解像度で構造物を撮影すると、１回当たりの撮影範囲が狭くなるため、構造物全体を撮影するために何回も撮影が繰り返され、作業効率が低下する。

特許文献１の計測方法では、原画像データを２値化することでひび割れ領域が判定され、ひび割れ領域内の画素の輝度値合計が求められる。そして、輝度値合計に補正係数を乗算することで、ひび割れ面積が求められ、ひび割れ面積をひび割れ長さで除算することで、ひび割れ幅が求められる。これにより、ひび割れ幅をサブピクセル単位で推定することが可能である。

しかしながら、カメラのフォーカスずれ又は画像の量子化によるボケの影響により、ひび割れ幅の計測精度が低下することがある。

なお、かかる問題は、構造物の表面に生じたひび割れの幅を計測する場合に限らず、他の物体の表面に生じた損傷の幅を計測する場合においても生ずるものである。

１つの側面において、本発明は、物体を撮影した画像から線状の損傷の幅を精度良く推定することを目的とする。

１つの案では、画像処理装置は、記憶部、抽出部、計算部、及び推定部を含む。記憶部は、撮像装置によって撮影された物体の画像を記憶する。

抽出部は、物体の画像から、線状の損傷が写っている線状領域を抽出する。計算部は、線状領域を横断する方向において線状領域に含まれる画素毎の輝度情報を加算することで、輝度情報の和を求める。推定部は、計算部が求めた輝度情報の和から、輝度情報の和と線状領域の幅との関係を示す関係式に基づいて、線状の損傷の幅を推定する。

実施形態によれば、物体を撮影した画像から線状の損傷の幅を精度良く推定することができる。

画像処理装置の機能的構成図である。 画像処理のフローチャートである。 画像処理システムの機能的構成図である。 線状領域における輝度を示す図である。 背景部分とひび割れ部分に当たる光を示す図である。 入射する光の角度範囲を示す図である。 ひび割れ内部における深さと輝度の関係を示す図である。 ひび割れ部分と背景部分に当たる光の入力範囲を示す図である。 関係式を求める方法を示す図である。 画像処理の具体例を示すフローチャートである。 方向推定処理を示す図である。 フィルタを示す図である。 背景輝度計算処理を示す図である。 輝度情報加算処理を示す図である。 最大深さを求める方法を示す図である。 ひび割れの幅を計算する方法を示す図である。 推定結果を示す図である。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
特許文献１の計測方法では、既知の面積を持つひび割れを事前に撮影した画像から、補正係数が求められる。このため、既知のひび割れを撮影した画像内のひび割れ領域のコントラストと、計測対象のひび割れを撮影した画像内のひび割れ領域のコントラストとが一致していることが、前提となる。

しかしながら、撮影条件に伴って画像のコントラストが変化すると、輝度値合計とひび割れ面積との間の関係も変化するため、事前に決定された補正係数を用いた場合、ひび割れ幅の計測精度が低下する。撮影条件が変更される度に補正係数を計算し直せば、計測精度を維持することは可能であるが、新たな撮影対象のひび割れの面積は不明であることが多く、その撮影対象に対する補正係数を求めることは困難である。

また、細いひび割れの場合、カメラのフォーカスずれ又は画像の量子化によるボケの影響によって、本来のひび割れの輝度が観測されないことが多い。このため、細いひび割れの場合、太いひび割れよりも、撮影条件に依存したコントラストの変化が大きくなり、ひび割れ幅の計測精度がさらに低下する。

図１は、実施形態の画像処理装置の機能的構成例を示している。図１の画像処理装置１０１は、記憶部１１１、抽出部１１２、計算部１１３、及び推定部１１４を含む。記憶部１１１は、撮像装置によって撮影された物体の画像１２１を記憶する。抽出部１１２、計算部１１３、及び推定部１１４は、画像１２１に対する画像処理を行う。

図２は、図１の画像処理装置１０１が行う画像処理の例を示すフローチャートである。まず、抽出部１１２は、画像１２１から、線状の損傷が写っている線状領域を抽出する（ステップ２０１）。次に、計算部１１３は、線状領域を横断する方向において線状領域に含まれる画素毎の輝度情報を加算することで、輝度情報の和を求める（ステップ２０２）。そして、推定部１１４は、計算部１１３が求めた輝度情報の和から、輝度情報の和と損傷の幅との関係を示す関係式に基づいて、線状の損傷の幅を推定する（ステップ２０３）。

図１の画像処理装置１０１によれば、物体を撮影した画像から線状の損傷の幅を精度良く推定することができる。

図３は、図１の画像処理装置１０１を含む画像処理システムの機能的構成例を示している。図３の画像処理システムは、画像処理装置３０１及び撮像装置３０２を含む。

画像処理装置３０１は、図１の画像処理装置１０１に対応し、記憶部３１１、取得部３１２、抽出部３１３、計算部３１４、推定部３１５、及び出力部３１６を含む。記憶部３１１、抽出部３１３、計算部３１４、及び推定部３１５は、図１の記憶部１１１、抽出部１１２、計算部１１３、及び推定部１１４にそれぞれ対応し、画像３２１は画像１２１に対応する。

撮像装置３０２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、物体を撮影して、物体の画像３２１を取得する。そして、撮像装置３０２は、物体の画像３２１を画像処理装置３０１へ出力する。

画像処理装置３０１の取得部３１２は、撮像装置３０２から画像３２１を取得して、記憶部３１１に格納する。抽出部３１３は、画像３２１から線状領域を抽出し、抽出した線状領域を示す領域情報３２２を生成して、記憶部３１１に格納する。例えば、撮影対象の物体は、橋梁、道路、ビル、ダム、堤防等の構造物であり、線状領域は、構造物の表面に存在するひび割れ、傷等の損傷が写っている領域である。

計算部３１４は、各線状領域に含まれる複数の画素のうち、線状領域を横断する方向における画素の輝度情報を加算することで、輝度情報の和を求め、求めた輝度情報の和を輝度総和情報３２３として記憶部３１１に格納する。

画像３２１内において、ひび割れ等の線状の損傷は、低輝度の暗い線状領域として現れることが多く、線状領域内では、損傷の浅い部分から深い部分へ向かって、連続的に輝度が減少する傾向が見られる。このため、損傷の長さ方向における輝度の変化よりも、損傷の幅方向における輝度の変化の方が大きくなる。したがって、線状領域において輝度が変化する方向を求めることで、その線状領域を横断する方向である幅方向を特定することができる。

そこで、計算部３１４は、線状領域に含まれる対象画素の輝度と、その対象画素に隣接する隣接画素の輝度とを用いて、輝度が変化する方向である輝度勾配の方向を求める。そして、計算部３１４は、求めた輝度勾配の方向を線状領域の幅方向として用いて、輝度情報の和を求める。線状領域に含まれる各画素の輝度情報としては、その画素の輝度を用いてもよく、線状領域以外の背景領域の画素の輝度とその画素の輝度との差分を用いてもよい。

推定部３１５は、記憶部３１１が記憶している関係式３２４を用いて、各線状領域の輝度総和情報３２３から、その線状領域に写っている損傷の幅を推定し、推定した幅を示す推定結果３２５を記憶部３１１に格納する。出力部３１６は、推定結果３２５を出力する。

関係式３２４は、輝度情報の和と損傷の幅との関係を示し、例えば、以下のようなパラメータを含む。
（１）物体の表面に対する撮像装置３０２の姿勢を示すパラメータ
（２）線状領域以外の背景領域の画素の輝度である背景輝度を示すパラメータ
（３）画像３２１の分解能を示すパラメータ

計算部３１４は、各線状領域の幅方向において、対象画素からその線状領域の外側へ向かって、隣接する２つの画素の輝度の差分をチェックし、輝度の差分が閾値よりも小さくなった２つの画素のうち、外側に位置する画素の輝度を求める。求められた輝度は、関係式３２４における背景輝度として用いられる。画像３２１の分解能は、１画素に対応する実空間における長さを表す。

画像処理装置３０１は、画像３２１に関する下記の性質に基づいて、損傷の幅を推定する。
（Ｃ１）画像３２１がぼけている場合と、画像３２１がぼけていない場合とで、線状領域の輝度の総和は変わらない。
（Ｃ２）ぼけている画像３２１から、線状領域の輝度の総和を計算することができる。
（Ｃ３）物体の損傷の撮影過程をモデル化することができる。
（Ｃ４）撮影過程のモデルから、画像３２１がぼけていない場合の線状領域の輝度の総和を、損傷の幅、撮像装置３０２の姿勢、背景輝度、輝度勾配の方向、及び画像３２１の分解能を用いて表すことで、関係式３２４を設定することができる。
（Ｃ５）背景輝度及び輝度勾配の方向は、画像３２１から求めることができ、撮像装置３０２の姿勢及び画像３２１の分解能は、撮影条件から取得することができる。
（Ｃ６）（Ｃ１）及び（Ｃ２）より、画像３２１がぼけていない場合の線状領域の輝度の総和が求められる。
（Ｃ７）（Ｃ４）、（Ｃ５）、及び（Ｃ６）より、関係式３２４を用いて損傷の幅を計算することができる。

まず、（Ｃ１）の性質について説明する。画像３２１のボケは、撮像装置３０２のフォーカスずれ、画像３２１の量子化等によって発生し、画像３２１内の座標ｘにおけるボケによる輝度の変化は、ボケ関数ｇ（ｘ）により表される。例えば、ボケ関数ｇ（ｘ）は、ＰＳＦ（Point Spread Function）であり、次式を満たすように規格化される。

座標ｘにおいて観測される輝度をｈ（ｘ）とすると、座標ｘに関する輝度ｈ（ｘ）の総和は、区間［-∞，∞］におけるｈ（ｘ）の積分で表される。さらに、その積分は、ぼけていない画像における輝度ｆ（ｘ）とボケ関数ｇ（ｘ）との畳み込み積分で表され、次式のように変形できる。

したがって、画像３２１がぼけている場合に観測される輝度ｈ（ｘ）の総和は、ぼけていない画像における輝度ｆ（ｘ）の総和と一致する。

図４は、ひび割れが写っている線状領域における輝度の例を示している。ｘ軸は、線状領域における輝度勾配の方向を表し、ｘ軸上の区間［ｘ１，ｘ２］は、線状領域を含む。折れ線４０１は輝度ｆ（ｘ）を表し、線分４０２はｘ＝ｘ１の直線の一部であり、線分４０３はｘ＝ｘ２の直線の一部である。曲線４０４はボケ関数ｇ（ｘ）を表し、曲線４０５は輝度ｈ（ｘ）を表す。

区間［ｘ１，ｘ２］において輝度ｆ（ｘ）を積分した結果は、ｘ軸、折れ線４０１、線分４０２、及び線分４０３によって囲まれた図形の面積Ｓ１を表す。また、区間［ｘ１，ｘ２］において輝度ｈ（ｘ）を積分した結果は、ｘ軸、曲線４０５、線分４０２、及び線分４０３によって囲まれた図形の面積Ｓ２を表す。

面積Ｓ２は、輝度ｆ（ｘ）とボケ関数ｇ（ｘ）との畳み込み積分で表され、面積Ｓ１と一致する。したがって、画像３２１がぼけている場合と、画像３２１がぼけていない場合とで、輝度勾配の方向における輝度の総和は変わらない。

次に、（Ｃ３）の性質について説明する。損傷が写っている線状領域が暗くなるのは、損傷内部では入射光の角度が制限されるため、内部まで到達する光の量が減少するからである。

図５は、背景部分とひび割れ部分に当たる光の例を示している。図５（ａ）は、背景部分に当たる環境光を示しており、図５（ｂ）は、ひび割れ部分に当たる環境光を示している。ひび割れの内部では、入射光の角度が制限されるため、内部まで到達する光の量が減少する。したがって、ひび割れの内部で減少する光の量をモデル化することで、ひび割れが写っている線状領域の輝度を求める計算式を設定できる。

次に、（Ｃ４）の性質について説明する。損傷の幅が決まっている場合、損傷内部の所定位置に入射する光の角度範囲を計算することができ、その角度範囲を用いて背景領域に対する線状領域の輝度の比率を計算することができる。

図６は、ひび割れ内部の所定位置に入射する光の角度範囲の例を示している。図６（ａ）は、ひび割れ内部の深さｈ１の位置に入射する光の角度範囲φ１を示しており、図６（ｂ）は、深さｈ２の位置に入射する光の角度範囲φ２を示しており、図６（ｃ）は、深さｈ３の位置に入射する光の角度範囲φ３を示している。この例では、ｈ１＜ｈ２＜ｈ３であり、φ１＞φ２＞φ３である。このように、深い位置ほど入射する光の角度範囲φが小さくなるため、その位置に到達する光の量が減少して、暗くなることが分かる。

図７は、ひび割れ内部における深さと輝度の関係の例を示している。グラフ７０１は、ひび割れ内部における深さｈの位置に対応する、画像３２１内の画素の輝度を表す。ひび割れ内部の輝度は、背景輝度よりも小さく、深さｈが増加するにつれて単調に減少する。グラフ７０１は、必ずしも直線ではなく、曲線であることが多い。

図８は、ひび割れ部分と背景部分に当たる光の入力範囲の例を示している。図８（ａ）は、ひび割れ内部の深さｈの位置に当たる光の入力範囲Ω１を示している。入力範囲Ω１は、深さｈの位置を中心とする球の表面のうち、ひび割れの幅ｗによって決まる領域を表している。ベクトルｎ１は、深さｈの位置における面の法線ベクトルであり、ベクトルｅは、入力光の方向を示すベクトルである。この場合、深さｈの位置における反射光の強さＦ１は、次式により表される。

式（３）の右辺は、ベクトルｅを積分変数として、ベクトルｎ１とベクトルｅとの内積を入力範囲Ω１に渡って積分した結果を表す。

図８（ｂ）は、物体の表面上の所定位置に当たる光の入力範囲Ω２を示している。入力範囲Ω２は、所定位置を中心とする半球の表面を表している。ベクトルｎ２は、所定位置における面の法線ベクトルであり、ベクトルｅは、入力光の方向を示すベクトルである。この場合、所定位置における反射光の強さＦ２は、次式により表される。

式（４）の右辺は、ベクトルｅを積分変数として、ベクトルｎ２とベクトルｅとの内積を入力範囲Ω２に渡って積分した結果を表す。物体の表面の明るさに対する、深さｈの位置の明るさの比率は、Ｆ１／Ｆ２である。

撮像装置３０２の姿勢と、線状領域における輝度勾配の方向が分かれば、線状領域に写っている損傷の最大深さを計算することができ、その最大深さを用いて関係式３２４を求めることができる。

図９は、関係式３２４を求める方法の例を示している。図９（ａ）は、撮像装置３０２撮像装置３０２から観測可能なひび割れの最大深さｈ_ｍａｘを示している。最大深さｈ_ｍａｘは、撮像装置３０２の姿勢とひび割れの幅ｗとを用いて表すことができる。

図９（ｂ）は、最大深さｈ_ｍａｘと輝度の減少量との関係を示している。グラフ７０１は、図７に示したように、深さｈの位置に対応する画素の輝度を表し、直線９０１は背景輝度を表し、直線９０２はｈ＝０の直線であり、直線９０３はｈ＝ｈ_ｍａｘの直線である。直線９０１～直線９０３とグラフ７０１によって囲まれた図形の面積Ｓ３は、背景輝度に対する線状領域の輝度の減少量を表している。

図９（ｃ）は、背景輝度に対する線状領域の輝度の減少量を示している。図４に示したように、線分４０２はｘ＝ｘ１の直線の一部であり、線分４０３はｘ＝ｘ２の直線の一部であり、曲線４０５は、輝度勾配の方向における線状領域の輝度を表す。直線９０４は背景輝度を表す。線分４０１、線分４０２、曲線４０５、及び直線９０４によって囲まれた図形の面積Ｓ４は、背景輝度に対する線状領域の輝度の減少量を表し、面積Ｓ３と一致する。

背景輝度の総和を表す長方形の面積から面積Ｓ４を減算することで、線状領域の輝度の総和を表す面積Ｓ２が求められる。したがって、面積Ｓ２及び面積Ｓ４は、ひび割れの幅、撮像装置３０２の姿勢、背景輝度、輝度勾配の方向、及び画像３２１の分解能の関数として表すことができる。このうち、未知数はひび割れの幅のみであり、それ以外のパラメータは既知である。また、面積Ｓ２は、線状領域に含まれる各画素の輝度から求めることができ、面積Ｓ４は、背景輝度と線状領域に含まれる各画素の輝度との差分から求めることができる。

したがって、各画素の輝度を輝度情報として用いるか、又は背景輝度と各画素の輝度との差分を輝度情報として用いることで、輝度情報の和と損傷の幅との関係を示す関係式３２４を求めることが可能である。

図３の画像処理装置３０１によれば、ぼけている画像３２１に写っている線状の損傷の幅を、精度良く推定することができる。画像処理装置３０１による画像処理では、損傷が写っている領域の境界画素を特定する必要がないため、サブピクセル単位で損傷の幅を計測することが可能である。また、特許文献１の計測方法とは異なり、既知のひび割れを撮影した画像から補正係数を求める必要もない。

次に、図１０から図１７までを参照しながら、図３の画像処理装置３０１が行う画像処理について、より詳細に説明する。

図１０は、画像処理装置３０１が行う画像処理の具体例を示すフローチャートである。まず、取得部３１２は、撮像装置３０２から画像３２１を取得して、記憶部３１１に格納する（ステップ１００１）。そして、抽出部３１３は、画像３２１から１つ又は複数の線状領域を抽出し、抽出した線状領域を示す領域情報３２２を生成する（ステップ１００２）。

例えば、抽出部３１３は、特許文献３に記載された技術を用いて、画像３２１から線状領域を抽出することができる。抽出部３１３は、ユーザが操作する入力装置によって画像３２１上で明示的に指定された線状領域を抽出してもよい。

次に、計算部３１４及び推定部３１５は、領域情報３２２が示す各線状領域を処理対象として、ステップ１００３～ステップ１００８の処理を行う。まず、計算部３１４及び推定部３１５は、処理対象の線状領域に含まれる各画素を処理対象として、ステップ１００３～ステップ１００７の処理を行う。

計算部３１４は、処理対象の画素（対象画素）における輝度勾配の方向を推定し（ステップ１００３）、推定した輝度勾配の方向を処理対象の線状領域の幅方向として用いて、その線状領域に対する背景輝度を求める（ステップ１００４）。そして、計算部３１４は、線状領域の幅方向における複数の画素の輝度情報を加算することで、輝度情報の和を求め、求めた輝度情報の和を示す輝度総和情報３２３を生成する（ステップ１００５）。

次に、推定部３１５は、物体の表面に対する撮像装置３０２の姿勢を示す撮影条件を取得する（ステップ１００６）。例えば、推定部３１５は、特許文献４又は特許文献５に記載された技術を用いて、撮像装置３０２の位置及び姿勢を計算することで、撮影条件を取得することができる。推定部３１５は、ユーザが操作する入力装置によって入力された撮影条件を取得してもよい。撮影条件は、画像３２１の分解能をさらに含む。

次に、推定部３１５は、関係式３２４を用いて、輝度総和情報３２３、背景輝度、及び撮影条件から、線状領域に写っている損傷の幅を推定する（ステップ１００７）。

ステップ１００３～ステップ１００７の処理は、処理対象の線状領域に含まれる画素毎に繰り返される。すべての画素に対して損傷の幅が推定された場合、推定部３１５は、推定された複数の幅から幅の代表値を求め、求めた代表値を示す推定結果３２５を生成する（ステップ１００８）。幅の代表値としては、推定された複数の幅の平均値、中央値、最頻値、最大値、最小値等を用いることができる。

ステップ１００３～ステップ１００８の処理は、画像３２１から抽出された線状領域毎に繰り返される。すべての線状領域に対して推定結果３２５が生成された場合、出力部３１６は、推定結果３２５を出力する（ステップ１００９）。

図１１は、ステップ１００３における方向推定処理の例を示している。横軸は、画像３２１の水平方向の座標ｕを表し、縦軸は、画像３２１の垂直方向の座標ｖを表す。例えば、計算部３１４は、線状領域１１０１内の対象画素１１０２を中心とする３×３の領域に対して、フィルタ処理を適用することで、輝度勾配の方向１１１１を推定することができる。そして、計算部３１４は、輝度勾配の方向１１１１を線状領域１１０１の幅方向に決定し、幅方向に垂直な方向１１１２を、線状領域１１０１の長さ方向に決定する。

図１２は、３×３のフィルタの例を示している。図１２（ａ）は、横方向ソーベルフィルタを示しており、図１２（ｂ）は、縦方向ソーベルフィルタを示している。座標ｕの座標軸と輝度勾配の方向１１１１とが成す角度θは、対象画素１１０２に対する横方向ソーベルフィルタの出力ａと、対象画素１１０２に対する縦方向ソーベルフィルタの出力ｂとを用いて、次式により表される。

θ＝ｔａｎ^－１（ｂ／ａ） （５）

この場合、計算部３１４は、式（５）を用いて、対象画素１１０２における輝度勾配の方向１１１１を示す角度θを計算する。

図１３は、ステップ１００４における背景輝度計算処理の例を示している。横軸は、線状領域の幅方向の座標ｘを表し、縦軸は輝度を表し、プロットされた複数の点は、幅方向における複数の画素それぞれの輝度を表している。

点１３０１が対象画素を表している場合、計算部３１４は、点１３０１から線状領域の外側へ向かって、背景領域に属する背景画素を探索する。例えば、計算部３１４は、ｘが増加する向きに、隣接する２つの画素の輝度の差分を順にチェックしていき、輝度の差分が閾値よりも小さくなった場合、２つの画素のうち外側に位置する画素を背景画素に決定する。

例えば、点１３０２の輝度と点１３０３の輝度との差分が閾値よりも小さい場合、計算部３１４は、外側の点１３０３が表す画素を背景画素に決定する。さらに、計算部３１４は、ｘが減少する向きに同様の探索を行って、点１３０３の反対側に位置する点１３０４を求め、点１３０４が表す画素を別の背景画素に決定する。これにより、計算部３１４は、２つの背景画素の間に存在する画素を、線状領域内の画素として特定することができる。そして、計算部３１４は、いずれかの背景画素の輝度を背景輝度に決定する。

図１４は、ステップ１００５における輝度情報加算処理の例を示している。実線の矢印は、線状領域の幅方向における各画素の輝度を表し、破線の矢印は、背景輝度と各画素の輝度との差分を表す。各画素の輝度を輝度情報として用いる場合、計算部３１４は、線状領域内の画素の実線の矢印が表す輝度の総和を、輝度情報の和として求める。一方、背景輝度と各画素の輝度との差分を輝度情報として用いる場合、計算部３１４は、線状領域内の画素の破線の矢印が表す差分の総和を、輝度情報の和として求める。

線状領域と背景領域との境界付近では、破線の矢印が表す差分が０に近いため、ステップ１００４において決定された背景画素の位置が少しずれても、破線の矢印が表す差分の総和はほとんど変化しない。このため、差分を輝度情報として用いる方が、輝度情報の和の誤差が小さくなり、推定結果３２５の精度が向上する。

図１５は、ステップ１００７の幅推定処理において、撮像装置３０２から観測可能なひび割れの最大深さｈ_ｍａｘを求める方法の例を示している。ベクトルｎ１は、深さｈ_ｍａｘの位置における面の法線ベクトルであり、ベクトルｎ２は、物体の表面上における面の法線ベクトルであり、ベクトルｐは、深さｈ_ｍａｘの位置から撮像装置３０２へ向かうベクトルである。この場合、最大深さｈ_ｍａｘは、ベクトルｐとベクトルｎ１との内積、ベクトルｐとベクトルｎ２との内積、及びひび割れの幅ｗを用いて、次式により表される。

ｈ_ｍａｘ＝（ｐ・ｎ２／ｐ・ｎ１）ｗ （６）

ベクトルｐは、物体の表面に対する撮像装置３０２の姿勢を表しており、ステップ１００６で取得された撮影条件から求めることができる。例えば、物体の表面に対する撮像装置３０２の光軸の相対的な方向を示すベクトルを、ベクトルｐとして用いてもよい。

図９に示した方法によれば、輝度情報の和Ｓとひび割れの幅ｗとの関係を示す関係式３２４として、次式が得られる。

式（７）は、輝度情報が各画素の輝度を表す場合の輝度情報の和Ｓを表し、式（８）は、輝度情報が背景輝度と各画素の輝度との差分を表す場合の輝度情報の和Ｓを表す。

Ｆ１は、深さｈの位置における反射光の強さを表し、ひび割れの幅ｗに依存する。Ｆ２は、物体の表面上における反射光の強さを表し、ひび割れの幅ｗには依存しない。Ｆ１は、式（３）により表され、Ｆ２は、式（４）により表され、ｈ_ｍａｘは、式（６）により表される。式（７）又は式（８）のいずれにおいても、ひび割れの幅ｗに依存するＦ１及びｈ_ｍａｘを用いて輝度情報の和Ｓを表すことで、輝度情報の和Ｓとひび割れの幅ｗとの関係を決定することができる。

Ｂは、ステップ１００４で求められた背景輝度を表し、ｒは、撮影条件に含まれる画像３２１の分解能を表す。背景輝度Ｂをパラメータとして用いることで、反射光の強さを表すＦ１及びＦ２を、輝度に変換することができる。

式（７）及び式（８）の右辺に含まれる未知数は、ひび割れの幅ｗのみである。したがって、式（７）又は式（８）に基づいて、輝度情報の和Ｓからひび割れの幅ｗを求める計算式を導出することができる。ステップ１００７の幅推定処理において、推定部３１５は、式（７）又は式（８）から導出した計算式を用いて、ステップ１００５で求められた輝度情報の和Ｓから、ひび割れの幅ｗを計算する。

輝度情報の和Ｓは、輝度を表す階調値の総和であるため、ひび割れの幅をサブピクセル単位で推定することができる。さらに、画像３２１の分解能をパラメータとして用いることで、サブピクセル単位のひび割れの幅を、実空間における長さに変換することができる。

図１６は、ひび割れの幅ｗを計算する方法の例を示している。横軸は、ひび割れの幅ｗを表し、縦軸は、輝度情報の和Ｓを表す。グラフ１６０１は、式（８）から導出した計算式を表し、輝度情報の和Ｓは、ひび割れの幅ｗが増加するにつれて単調に増加する。ステップ１００５で求められた輝度情報の和がＳａである場合、グラフ１６０１から、対応するひび割れの幅ｗａが求められる。

ステップ１００９において、出力部３１６は、推定結果３２５を画面上に表示してもよく、通信ネットワークを介して、推定結果３２５を表示するための表示データを、ユーザ端末へ送信してもよい。ユーザ端末は、画像処理装置３０１から受信した表示データを用いて、推定結果３２５を画面上に表示することができる。

図１７は、画像処理装置３０１又はユーザ端末の画面上に表示された推定結果３２５の例を示している。図１７（ａ）は、テーブル形式の推定結果３２５を示している。画像１７０１には、３個のひび割れが写っており、テーブル１７０２には、それぞれのひび割れの番号、位置、及び幅が含まれている。番号は、ひび割れの識別情報であり、位置は、画像１７０１内におけるひび割れの座標を表し、幅は、推定されたひび割れの幅を表す。この例では、ひび割れの幅がｍｍ単位で表示されている。

図１７（ｂ）は、ひび割れの幅毎に色分けされた推定結果３２５を示している。画像１７０１内のひび割れ１７１１、ひび割れ１７１２、及びひび割れ１７１３は、赤、緑、及び青でそれぞれ色分けされている。赤、緑、及び青のひび割れの幅は、それぞれ、０．１ｍｍ、０．２ｍｍ、及び０．３ｍｍである。

図１の画像処理装置１０１の構成は一例に過ぎず、画像処理装置１０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。

図３の画像処理システムの構成は一例に過ぎず、画像処理装置３０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、画像３２１が事前に記憶部３１１に格納されている場合は、取得部３１２を省略することができる。推定結果３２５を出力する必要がない場合は、出力部３１６を省略することができる。

図２及び図１０のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１０の画像処理において、画像３２１が事前に記憶部３１１に格納されている場合は、ステップ１００１の処理を省略することができる。画像処理装置３０１は、ステップ１００３～ステップ１００７の処理を、処理対象の線状領域に含まれるすべての画素に対して行う必要はなく、一部の画素のみに対して行ってもよい。

図４に示した輝度ｆ（ｘ）、輝度ｈ（ｘ）、及びボケ関数ｇ（ｘ）は一例に過ぎず、輝度ｆ（ｘ）、輝度ｈ（ｘ）、及びボケ関数ｇ（ｘ）は、画像３２１に応じて変化する。図５に示した環境光は一例に過ぎず、環境光は、撮影条件に応じて変化する。図６に示した光の角度範囲と、図７に示した深さと輝度の関係は一例に過ぎず、光の角度範囲、及び深さと輝度の関係は、損傷の形状に応じて変化する。

図８に示した光の入力範囲は一例に過ぎず、光の入力範囲は、物体及び損傷の形状に応じて変化する。図９に示した面積Ｓ２、面積Ｓ３、及び面積Ｓ４は一例に過ぎず、これらの面積は、画像３２１に応じて変化する。図１１に示した線状領域と図１３及び図１４に示した複数の画素の輝度は一例に過ぎず、線状領域及び画素の輝度は、画像３２１に応じて変化する。

図１２に示したフィルタは一例に過ぎず、画像処理装置３０１の構成又は条件に応じて別のフィルタを用いてもよい。図１５に示した最大深さを求める方法と図１６に示したひび割れの幅を計算する方法は一例に過ぎず、画像処理装置３０１の構成又は条件に応じて別の方法を用いてもよい。図１７に示した推定結果は一例に過ぎず、推定結果は、画像３２１に応じて変化する。

式（１）～式（８）は一例に過ぎず、画像処理装置３０１の構成又は条件に応じて別の計算式を用いてもよい。

図１８は、図１の画像処理装置１０１及び図３の画像処理装置３０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１８の情報処理装置は、ＣＰＵ（Central Processing Unit）１８０１、メモリ１８０２、入力装置１８０３、出力装置１８０４、補助記憶装置１８０５、媒体駆動装置１８０６、及びネットワーク接続装置１８０７を含む。これらの構成要素はバス１８０８により互いに接続されている。図３の撮像装置３０２は、バス１８０８に接続されていてもよい。

メモリ１８０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１８０２は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

ＣＰＵ１８０１（プロセッサ）は、例えば、メモリ１８０２を利用してプログラムを実行することにより、図１の抽出部１１２、計算部１１３、及び推定部１１４として動作する。ＣＰＵ１８０１は、メモリ１８０２を利用してプログラムを実行することにより、図３の取得部３１２、抽出部３１３、計算部３１４、及び推定部３１５としても動作する。

入力装置１８０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１８０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。出力装置１８０４は、図３の出力部３１６として用いることができる。処理結果は、推定結果３２５であってもよい。

補助記憶装置１８０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１８０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１８０５にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。補助記憶装置１８０５は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

媒体駆動装置１８０６は、可搬型記録媒体１８０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１８０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１８０９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１８０９にプログラム及びデータを格納しておき、それらをメモリ１８０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１８０２、補助記憶装置１８０５、又は可搬型記録媒体１８０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１８０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１８０７を介して受信し、それらをメモリ１８０２にロードして使用することができる。ネットワーク接続装置１８０７は、図３の出力部３１６として用いることができる。

情報処理装置は、ネットワーク接続装置１８０７を介して、ユーザ端末から画像３２１及び処理要求を受信し、推定結果３２５を表示するための表示データを、ユーザ端末へ送信することもできる。

なお、情報処理装置が図１８のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザと対話する必要がない場合は、入力装置１８０３及び出力装置１８０４を省略してもよい。可搬型記録媒体１８０９又は通信ネットワークを使用しない場合は、媒体駆動装置１８０６又はネットワーク接続装置１８０７を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１８を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置によって撮影された物体の画像を記憶する記憶部と、
前記物体の画像から、線状の損傷が写っている線状領域を抽出する抽出部と、
前記線状領域を横断する方向において前記線状領域に含まれる画素毎の輝度情報を加算することで、輝度情報の和を求める計算部と、
前記輝度情報の和から、輝度情報の和と損傷の幅との関係を示す関係式に基づいて、前記線状の損傷の幅を推定する推定部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記関係式は、前記物体の表面に対する前記撮像装置の姿勢を示すパラメータを含むことを特徴とする付記１記載の画像処理装置。
（付記３）
前記計算部は、前記線状領域に含まれる対象画素の輝度と、前記対象画素に隣接する隣接画素の輝度とを用いて、輝度が変化する方向を求め、前記輝度が変化する方向を、前記線状領域を横断する方向として用いることを特徴とする付記１又は２記載の画像処理装置。
（付記４）
前記関係式は、前記線状領域以外の背景領域の画素の輝度を示すパラメータを含み、
前記計算部は、前記輝度が変化する方向において、前記対象画素から前記線状領域の外側へ向かって、隣接する２つの画素の輝度の差分をチェックし、前記輝度の差分が閾値よりも小さくなった２つの画素のうち、外側に位置する画素の輝度を求め、
前記推定部は、前記外側に位置する画素の輝度を、前記背景領域の画素の輝度として用いることを特徴とする付記１乃至３のいずれか１項に記載の画像処理装置。
（付記５）
前記関係式は、前記線状の損傷の内部における反射光の強さと、前記物体の表面における反射光の強さと、前記撮像装置から観測可能な前記線状の損傷の最大深さとを含むことを特徴とする付記４記載の画像処理装置。
（付記６）
前記関係式は、前記物体の画像の分解能を示すパラメータを含むことを特徴とする付記１乃至５のいずれか１項に記載の画像処理装置。
（付記７）
前記画素毎の輝度情報は、前記線状領域以外の背景領域の画素の輝度と前記線状領域に含まれる各画素の輝度との差分、又は前記線状領域に含まれる各画素の輝度を表すことを特徴とする付記１乃至６のいずれか１項に記載の画像処理装置。
（付記８）
コンピュータにより実行される画像処理方法であって、
前記コンピュータが、
撮像装置によって撮影された物体の画像から、線状の損傷が写っている線状領域を抽出し、
前記線状領域を横断する方向において前記線状領域に含まれる画素毎の輝度情報を加算することで、輝度情報の和を求め、
前記輝度情報の和から、輝度情報の和と損傷の幅との関係を示す関係式に基づいて、前記線状の損傷の幅を推定する、
ことを特徴とする画像処理方法。
（付記９）
前記関係式は、前記物体の表面に対する前記撮像装置の姿勢を示すパラメータを含むことを特徴とする付記８記載の画像処理方法。
（付記１０）
前記コンピュータは、前記線状領域に含まれる対象画素の輝度と、前記対象画素に隣接する隣接画素の輝度とを用いて、輝度が変化する方向を求め、前記輝度が変化する方向を、前記線状領域を横断する方向として用いることを特徴とする付記８又は９記載の画像処理方法。
（付記１１）
前記関係式は、前記線状領域以外の背景領域の画素の輝度を示すパラメータを含み、
前記コンピュータは、前記輝度が変化する方向において、前記対象画素から前記線状領域の外側へ向かって、隣接する２つの画素の輝度の差分をチェックし、前記輝度の差分が閾値よりも小さくなった２つの画素のうち、外側に位置する画素の輝度を求め、前記外側に位置する画素の輝度を、前記背景領域の画素の輝度として用いることを特徴とする付記８乃至１０のいずれか１項に記載の画像処理方法。
（付記１２）
撮像装置によって撮影された物体の画像から、線状の損傷が写っている線状領域を抽出し、
前記線状領域を横断する方向において前記線状領域に含まれる画素毎の輝度情報を加算することで、輝度情報の和を求め、
前記輝度情報の和から、輝度情報の和と損傷の幅との関係を示す関係式に基づいて、前記線状の損傷の幅を推定する、
処理をコンピュータに実行させるための画像処理プログラム。
（付記１３）
前記関係式は、前記物体の表面に対する前記撮像装置の姿勢を示すパラメータを含むことを特徴とする付記１２記載の画像処理プログラム。
（付記１４）
前記コンピュータは、前記線状領域に含まれる対象画素の輝度と、前記対象画素に隣接する隣接画素の輝度とを用いて、輝度が変化する方向を求め、前記輝度が変化する方向を、前記線状領域を横断する方向として用いることを特徴とする付記１２又は１３記載の画像処理プログラム。
（付記１５）
前記関係式は、前記線状領域以外の背景領域の画素の輝度を示すパラメータを含み、
前記コンピュータは、前記輝度が変化する方向において、前記対象画素から前記線状領域の外側へ向かって、隣接する２つの画素の輝度の差分をチェックし、前記輝度の差分が閾値よりも小さくなった２つの画素のうち、外側に位置する画素の輝度を求め、前記外側に位置する画素の輝度を、前記背景領域の画素の輝度として用いることを特徴とする付記１２乃至１４のいずれか１項に記載の画像処理プログラム。

１０１、３０１ 画像処理装置
１１１、３１１ 記憶部
１１２、３１３ 抽出部
１１３、３１４ 計算部
１１４、３１５ 推定部
１２１、３２１、１７０１ 画像
３０２ 撮像装置
３１６ 出力部
３２２ 領域情報
３２３ 輝度総和情報
３２４ 関係式
３２５ 推定結果
４０１ 折れ線
４０２、４０３ 線分
４０４、４０５ 曲線
７０１、１６０１ グラフ
９０１～９０４ 直線
１１０１ 線状領域
１１０２ 対象画素
１１１１ 輝度勾配の方向
１１１２ 幅方向に垂直な方向
１３０１～１３０４ 点
１７０２ テーブル
１７１１～１７１３ ひび割れ
１８０１ ＣＰＵ
１８０２ メモリ
１８０３ 入力装置
１８０４ 出力装置
１８０５ 補助記憶装置
１８０６ 媒体駆動装置
１８０７ ネットワーク接続装置
１８０８ バス
１８０９ 可搬型記録媒体

Claims (9)

1. 撮像装置によって撮影された物体の画像を記憶する記憶部と、
   前記物体の画像から、線状の損傷が写っている線状領域を抽出する抽出部と、
   前記線状領域を横断する方向において前記線状領域に含まれる画素毎の輝度情報を加算することで、輝度情報の和を求める計算部と、
   前記輝度情報の和から、輝度情報の和と損傷の幅との関係を示す関係式に基づいて、前記線状の損傷の幅を推定する推定部と、
   を備え、
   前記関係式は、前記損傷の幅と、前記物体の表面に対する前記撮像装置の光軸の方向を示すパラメータと、前記撮像装置から観測可能な損傷の最大深さとの間の関係を含むことを特徴とする画像処理装置。
2. 前記撮像装置の光軸の方向を示すパラメータは、前記物体の表面に対する前記撮像装置の姿勢を表すことを特徴とする請求項１記載の画像処理装置。
3. 前記計算部は、前記線状領域に含まれる対象画素の輝度と、前記対象画素に隣接する隣接画素の輝度とを用いて、輝度が変化する方向を求め、前記輝度が変化する方向を、前記線状領域を横断する方向として用いることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記関係式は、前記線状領域以外の背景領域の画素の輝度を示すパラメータを含み、
   前記計算部は、前記輝度が変化する方向において、前記対象画素から前記線状領域の外側へ向かって、隣接する２つの画素の輝度の差分をチェックし、前記輝度の差分が閾値よりも小さくなった２つの画素のうち、外側に位置する画素の輝度を求め、
   前記推定部は、前記外側に位置する画素の輝度を、前記背景領域の画素の輝度として用いることを特徴とする請求項３記載の画像処理装置。
5. 前記関係式は、前記線状の損傷の内部における反射光の強さと、前記物体の表面における反射光の強さと、前記撮像装置から観測可能な前記線状の損傷の最大深さとを含むことを特徴とする請求項４記載の画像処理装置。
6. 前記関係式は、前記物体の画像の分解能を示すパラメータを含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画素毎の輝度情報は、前記線状領域以外の背景領域の画素の輝度と前記線状領域に含まれる各画素の輝度との差分、又は前記線状領域に含まれる各画素の輝度を表すことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. コンピュータにより実行される画像処理方法であって、
   前記コンピュータが、
   撮像装置によって撮影された物体の画像から、線状の損傷が写っている線状領域を抽出し、
   前記線状領域を横断する方向において前記線状領域に含まれる画素毎の輝度情報を加算することで、輝度情報の和を求め、
   前記輝度情報の和から、輝度情報の和と損傷の幅との関係を示す関係式に基づいて、前記線状の損傷の幅を推定し、
   前記関係式は、前記損傷の幅と、前記物体の表面に対する前記撮像装置の光軸の方向を示すパラメータと、前記撮像装置から観測可能な損傷の最大深さとの間の関係を含むことを特徴とする画像処理方法。
9. コンピュータのための画像処理プログラムであって、
   前記画像処理プログラムは、
   撮像装置によって撮影された物体の画像から、線状の損傷が写っている線状領域を抽出し、
   前記線状領域を横断する方向において前記線状領域に含まれる画素毎の輝度情報を加算することで、輝度情報の和を求め、
   前記輝度情報の和から、輝度情報の和と損傷の幅との関係を示す関係式に基づいて、前記線状の損傷の幅を推定する、
   処理を前記コンピュータに実行させ、
   前記関係式は、前記損傷の幅と、前記物体の表面に対する前記撮像装置の光軸の方向を示すパラメータと、前記撮像装置から観測可能な損傷の最大深さとの間の関係を含むことを特徴とする画像処理プログラム。

Images