JP3608106B2 - 画像処理を用いた鋼材表面の劣化度評価システム - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、鋼材の腐食状態や、溶融亜鉛メッキを施した鋼材の表面劣化状態を画像処理による色のクラスタリング結果で定量的に評価するために、鋼材表面を撮影したディジタル画像データから、色のＲ，Ｇ，Ｂ信号に基づく画像処理を用いて輝度信号Ｙと色差信号Ｃ１，Ｃ２に変換し、画像の２次元平面にプロットした分布データから、ｃ−ｍｅａｎｓ法に従ったクラスタリングを行う際、最適なクラスタ数とクラスタの初期ベクトルを効率よく与える方法を用いた、鋼材表面の劣化評価システムに関する。
【０００２】
【従来の技術】
従来、構造物の鋼材の腐食状態や、溶融亜鉛メッキを施した鋼材の表面劣化状態を評価するには、人の視覚や写真による評価に始まり、色標による評価や、超音波によって鋼材の厚さを計測するものなどがある。しかし、人の視覚に頼る調査では、同じものを評価しても定量的に判断するのは難しく、個人によってその評価が異る問題が生じる。超音波測定においては、部分部分は比較的定量的な評価が可能であるが、広い範囲になると、評価に時間と労力がかかり、構造によっては、測定できない個所も生じてくる問題があった。
【０００３】
また、鋼材の腐食状態の写真を用いて、Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色信号（以下Ｒ，Ｇ，Ｂ信号と略す）により、カラー画像処理を行ない、個人差による評価の違いを防ぐ方法を実施しても、異なる光源下で撮影されることにより鋼材の腐食状態は評価に違いを生じ、撮影条件の統一化が必要であった。このため、特許第３０１３３０１の『画像処理を用いた鋼材表面の劣化方法』では、撮影する鋼材表面の写真中にグレーカードを写しこみ、グレーカードを基準に撮影条件による明るさを補正する方法を提案している。しかしながら、この方法では、鋼材の写真にグレーカードを写しこむ難しさや、グレーカードが写っていない写真の処理ができない問題が生じた。
【０００４】
そこで、鋼材表面の写真をカラーディジタル画像に変換した後、彩度と色相を用いて処理したデータ結果から、ｃ−ｍｅａｎｓ法による鋼材表面色のクラスタリングとその最適化のための評価関数を用いた方法により、互いに似た色の画素を分類して、劣化度の評価を行う方法を提案した。しかし、一般に使用されるｃ−ｍｅａｎｓ法では、初期条件であるクラスタ数とクラスタの初期ベクトルの与え方や、与えられた画像の色相や彩度の変化が小さい場合、最終結果に抽出されない色があり、適切な評価が得られない問題が挙がった。
【０００５】
【発明が解決しようとする課題】
本発明は、従来の技術の有するこのような問題点に鑑みてなされたものであり、鋼材表面のディジタル処理された画像カラーデータを彩度と色相に変換後、彩度と色相の２次元平面にプロットしたデータを用いて、ｃ−ｍｅａｎｓ法で鋼材表面色のクラスタリングを行う場合に、効率的で精度のよいクラスタ数とクラスタの初期ベクトルを与える方法を、提案しようとするものである。
【０００６】
また、階層的手法に従い、鋼材表面の色をクラスタリングするクラスタ数とクラスタの初期ベクトルを、ｃ−ｍｅａｎｓ法を行う前に求めておく手順を踏むことで、全体の画像処理時間の効率を向上しようとするものである。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明における画像処理方法は、ディジタルカメラで撮影したものや、撮影された鋼材表面の写真（アナログ映像）を、スキャナなどを用いてディジタル映像の信号として計算機に取り込む。スキャナーで写真を取りこむ場合は、ｘ方向（横方向）およびｙ方向（縦方向）に細かく分解して、それぞれ四角で囲まれた画素を設定する。各画素は、空間サンプリングされた後、Ａ／Ｄ変換によってディジタル画像データに変換されるが、このとき画素をできるだけ小さくとることで、アナログ映像とディジタル画像データとの誤差が、小さくなる。
【０００８】
各画素の画像の明るさ（濃淡値）である階調値は、Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色信号を用いた２のｎ乗（ｎは任意数）段階で表され、表現可能な色数は、（（２のｎ乗）の３乗）色である。
【０００９】
Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色信号で表したディジタル画像データを、「数式１」に従い、輝度信号Ｙと色差信号Ｃ１，Ｃ２に変換する。ここで、輝度信号Ｙはいわゆる白黒画像に相当するものである。
【数式１】
Ｙ ＝ ０．３Ｒ ＋ ０．５９Ｇ ＋ ０．１１Ｂ
Ｃ１ ＝ Ｒ−Ｙ＝ ０．７Ｒ − ０．５９Ｇ − ０．１１Ｂ
Ｃ２ ＝ Ｂ−Ｙ＝−０．３Ｒ − ０．５９Ｇ − ０．８９Ｂ
【００１０】
「数式１」を展開すると、「数式２」のように、色差信号（Ｂ−Ｙ）を基準とした軸からの回転角度で色相Ｈを、原点からの距離Ｓで彩度を表すことができる。これにより、画像のディジタルデータから得られた各画素のデータについて、色相と彩度を２次元座標（Ｃ１−Ｃ２平面）にプロットすることができる。このとき、画像の平滑化処理を行っておけば、後処理における誤差を減少できる。さらに、前処理の段階では、全ての画素データの輝度を「数式３」により一定値に基準化することで、各画素データの色相は変わらず、彩度が変化し、基準化されたＳ’が求まる。
【数式２】
Ｓ ＝ （（Ｃ１）^２＋（Ｃ２）^２）^１／２
Ｈ ＝ ｔａｎ^−１（Ｃ１／Ｃ２）
【数式３】
Ｓ’ ＝ Ｓ×１００／Ｙ
【００１１】
このようにして、２次元平面で表された彩度Ｓ’と色相Ｈのデータについて、クラスタリング（クラスタ分析）を行う。クラスタリングとは、異質なものが混ざり合っている対象の中で、互いに似たもの同士を集めて一つのクラスタ（グループ）として、全対象をいくつかの自然な集落に分類するための手法を総称したものである。
【００１２】
本発明では、クラスタリングにおけるデータの局所的な集まりの度合いを決定する手法に距離の概念を導入し、ユークリッド距離を計算することによって類似度を評価する。すなわち、ユークリッド距離が小さければ、データ間の類似度は高く、逆にこの距離が大きければデータ間の類似度は低いとしている。このような方法は、ｃ−ｍｅａｎｓ法と呼ばれている。
【００１３】
ｃ−ｍｅａｎｓ法では、初期条件として使用するクラスタ数とクラスタの初期ベクトルを与える必要がある。クラスタ数とクラスタの初期ベクトルを求めるため、ｃ−ｍｅａｎｓ法よりクラスタリングを行うために、本発明では以下の▲１▼〜▲７▼に示した核抽出法の手順を踏む。（この概要は、図１のフローチャートに示す。）
▲１▼ 鋼材表面の色を輝度信号（Ｙ）と色差信号（Ｃ１，Ｃ２）に変換して２次元平面（Ｃ１−Ｃ２平面）に表わした画素データの分布から、クラスタリングの対象となる画素データの平均ベクトル、および標準偏差を求める。ここで、クラスタ数ｃをｃ＝１とする。
▲２▼ 画素データの分布範囲を、分割幅ｎ×ｎ（ｎは整数）の正方形のメッシュに分割し、メッシュごとに含まれる画素データ数を求める。このとき、ｉ＝１、ｊ＝１とする。分割幅はｎ＝５程度とする。分割数は多ければ多いほど精度が上がる反面、計算時間がかかる。
▲３▼ 画素データ数がｊ番目に高いメッシュを選び、その中心座標をｉ番目の核座標として抽出し、ｉ＝ｉ＋１とする。
▲４▼ ｊ＝ｊ＋１とし、画素データ数がｊ番目に高いメッシュに対して、以下の２条件と比較し、条件を満たした場合、そのメッシュの中心座標をｉ番目の核座標として抽出し、ｉ＝ｉ＋１とする。
条件１：メッシュに含まれる画素データ数が、全画素データ数の０．３％以上である。
条件２：抽出された核と、今までに抽出されていた１〜ｉ−１番目までの核との距離が、クラスタ内の画素データの標準偏差以上離れている。ただし、標準偏差値が小さい場合は、基準値を設ける。
▲５▼ 抽出する核がなくなるまで、▲４▼を繰り返す。
▲６▼ ▲５▼の作業が終了した時点の核の数ｃ＝ｉ−１をクラスタ数に、核座標をクラスタの初期ベクトルとし、ｃ−ｍｅａｎｓ法により画素データをクラスタリング（分類） する。
▲７▼ ▲６▼で得られた各々のクラスタに含まれる画素データを１つの対象データ群として、再び▲１▼〜▲５▼の処理によってさらに核の抽出を行う。ここで、核が１つしか抽出されなかったクラスタについては、そこでクラスタリングを終了する。また、２つ以上の核が抽出されたクラスタに関しては、▲６▼の作業に戻り、核が２つ以上抽出されなくなるまで、作業を繰り返す。
【００１４】
このような方法で、クラスタリングされた色を用いて鋼材表面の状態を表す場合に、鋼材表面の劣化状態を予めＣ１−Ｃ２座標で表して色で定量化しておいたものと比較することで、容易に鋼材表面の劣化状態が判る。
【作用】
【００１５】
上記の手段により、鋼材表面の劣化状態を輝度信号Ｙと色差信号Ｃ１，Ｃ２の画像処理結果で表し、▲１▼〜▲７▼に示したクラスタリングにより鋼材表面状態を複数の色で表すため、撮影条件に依存されない状態で定量的に評価でき、あらかじめ定量化してある劣化度と簡単に比較できるため、個人差による評価の違いを防げる。
【００１６】
そして、鋼材の表面全体に広がる劣化状態は、核抽出法で決定されたクラスタ数とクラスタの初期ベクトルをｃ−ｍｅａｎｓ法に与えて階層的に解析することにより、適切な色の数に分類したクラスタリングができるため、評価誤差を防ぎ、緻密な評価と定量化ができる。
【実施例】
【００１７】
以下、本発明の実施例を詳細に説明する。
鋼材表面状態を写真など紙面に現像したものは、スキャナー等で画像データを読み込み、ディジタル画像データに変換したものを使用する。図２は、ディジタルデータを鋼材表面の画像の明るさを評価するため、鋼材の表面状態を撮影した写真（図２Ａ点）を格子で仕切った図である。格子は、画素（図２Ｄ点）とも呼ばれ、画像の大きさや解像度を表す。各画素の位置における画像の明るさ（濃淡値）を、階調若しくは階調値と呼ぶ。階調画像では、階調数が大きくなるほど画質が高い。本発明では、カラー画像にＲ（赤），Ｇ（緑），Ｂ（青）の３原色信号を用いて、各画素を表して、画素の階調をＲ，Ｇ，Ｂ各８ビット、すなわち２の８乗＝２５６段階とするとき、鋼材の表面状態について表現可能な色数は、２５６の３乗＝１６７７７２１６≒１６８０万色になる。
なお、ディジタルカメラで撮影したものについては、各画素毎にディジタル化されたデータをそのまま使用できる。
【００１８】
この際、ディジタルカメラで取りこんだ画像の画素数や、スキャナーで取りこんだ画像データの画素数は、画素の大きさをできるだけ小さくすることで、ディジタル画像データと実際の鋼材表面状態との誤差が小さくなる。
【００１９】
写真やディジタルカメラの画像は、撮影状況の違いにより色の明るさの違いが生じるため、鋼管内を内視鏡で撮影した写真と、太陽の下で撮影した写真とでは、評価結果が異なると考えられる。そこで、Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色信号で表したディジタル画像データの各画素について「数式１」に従い、輝度信号Ｙと色差信号Ｃ１，Ｃ２に変換する。図３の輝度信号Ｙは、いわゆる白黒画像に相当するものである。
【００２０】
「数式１」を展開すると、「数式２」のように、色差信号（Ｃ２）を基準とした軸からの回転角度で色相Ｈを、原点からの距離で彩度Ｓを表すことができる。（図４参照）これにより、画像のディジタルデータから得られた各画素のデータは、図５に示すように色相と彩度を２次元座標（Ｃ１−Ｃ２平面）にプロットすることができる。このとき、画像の 平滑化処理を行っておけば、後処理における誤差を減少できる。さらに、前処理の段階では、全ての画素データの輝度（輝度信号Ｙ）を「数式３」により基準化（１００に基準化した場合を示す）することで、各画素データの色相は変わらず、彩度Ｓ’が変化するため、撮影条件の明るさに依存することなく、定量的に画像の色を表すことができる。
【００２１】
このようにして、図５に示すような２次元平面（Ｃ１−Ｃ２平面）で表された彩度Ｓ’と色相Ｈのデータについて、ｃ−ｍｅａｎｓ法に基づくクラスタリングを行う。ｃ−ｍｅａｎｓ法に基づくクラスタリングは、クラスタリングにおけるデータの局所的な集まりの度合いを決定する手法に距離の概念を導入し、ユークリッド距離を計算することによって類似度を評価する方法である。
【００２２】
鋼材表面における画像データの適切なクラスタリングを行うために、２次元平面（Ｃ１−Ｃ２平面）で表された彩度と色相のデータについて、▲１▼〜▲７▼の方法でクラスタ数とクラスタの初期ベクトルを求め、ｃ−ｍｅａｎｓ法により分析した結果は、例えば図５で示すようなグループＪ，Ｋ，Ｌ，Ｍで分類される。ここで、色毎のグループＪ，Ｋ，Ｌ，Ｍに分類されたクラスタ（グループ）は、▲１▼〜▲７▼の方法でクラスタリングされた結果であろ。すなわち、図５で同じ色にクラスタリングされている画像データは、図７のＰ、図８のＴの様に、同じ各クラスタであると仮定されて表される。そして各クラスタは、鋼材表面上で同じ色（劣化度）を示すものとする。
【００２３】
クラスタリングされたディジタル画像データは、それぞれに与えられた色を用いて、鋼材表面の劣化状態を表す。クラスタリング結果の例として、図６に元画像データを、図７に本発明のクラスタリングによる画像処理で表した結果を示す。図８には、元画像を図９のフローチャートで示す従来のｃ−ｍｅａｎｓ法でクラスタリングした画像処理結果を示す。元画像では、図６のＷの位置である中央左に赤っぽいまだらの部分があり、これが画像処理において特に検出したい赤錆の部分である。この部分の色のデータは、図５のＣ１−Ｃ２平面上において左上にくちばしの様に突出した部分Ｊである。従来のｃ−ｍｅａｎｓ法によるクラスタリングの画像処理結果では、図８のＵの位置に示すように、この部分を他の部分と違う色の各クラスタ（グループ）として判別できていない。これに対し、本発明のクラスタリングによる画像処理結果では、図７のＸの位置に示すように、この赤錆部分をクラスタ（グループ）として認識していることが判る。
【００２４】
クラスタリングされたデジタル画像データは、各クラスタ（グループ）毎に、その色相、彩度といった色データから、それぞれがどの腐食状態（劣化度）に含まれるかの判定を行う。判定は既存の鋼材表面の劣化状態を予めＣ１−Ｃ２座標で表して色のデータで定量化しておいたものと比較することで行われる。このとき、各クラスタの色データとして、各クラスタの輝度や色相、彩度などの平均値を用いる。比較した結果を、各劣化状態に応じて図７のＰの様に決めた色で色分けすることで、元画像の各部分の劣化状態を一目で把握することができる。
【発明の効果】
本発明は、以上に説明した手順で行うことにより、以下に記載するような効果を奏する。
【００２５】
「請求項１」の手順を踏み、鋼材表面の劣化度評価に本発明のクリスタリング方法を利用することで、劣化度の評価を撮影条件の違いや個人差に依存することなく、定量的に行うことができる。
【００２６】
また、本発明は対象データの分布特性に注目して、階層的なクラスタリング手法を用いるため、分析にかかる時間が短時間で済み、かつ画像判定に重要な、赤錆といった他の部分と色の違う箇所を確実に検出することができるため、精度のよい評価ができるようになる。
【図面の簡単な説明】
【図１】本発明による鋼材表面の劣化状況を評価するために行うクラスタリング方法を説明するためのフローチャートである。
【図２】鋼材の表面状態を撮影した写真を格子で仕切り、各画素の分割の状態を表した図である。
【図３】Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色信号から輝度信号Ｙと色差信号Ｃ１，Ｃ２から求めた彩度Ｓの関係を表した図である。
【図４】色差平面上（Ｃ１−Ｃ２平面）における色相Ｈと彩度Ｓの関係を表した図である。
【図５】画像処理の例。画像のディジタルデータから得られた各画素のデータを、色相と彩度の２次元座標（Ｃ１−Ｃ２平面）にプロットした状態と、本発明の画像処理によりクラスタリングした状態を示す図である。
【図６】画像処理の例。図５のデータの元画像データである。
【図７】画像処理の例。図５のデータを、本発明によるクラスタリングを行った結果である。
【図８】画像処理の例。図５のデータを、従来のｃ−ｍｅａｎｓ法でクラスタリングを行った結果である。
【図９】鋼材表面の劣化状況を評価するために、従来のｃ−ｍｅａｎｓ法で行うクラスタリング方法を説明するためのフローチャートである。
【符号の説明】
Ａ 写真
Ｂ カラー画像の青
Ｃ１ 色差信号
Ｃ２ 色差信号
Ｄ １画素
Ｅ 横分割数
Ｆ 縦分割数
Ｇ カラー画像の緑
Ｈ 色相
Ｊ クラスタリングされたグループ１
Ｋ クラスタリングされたグループ２
Ｌ クラスタリングされたグループ３
Ｍ クラスタリングされたグループ４
Ｐ 本発明のクラスタリングによる画像処理のクラスタ数
Ｑ 本発明のクラスタリングによる画像処理結果
Ｒ カラー画像の赤
Ｓ 彩度
Ｔ 従来のｃ−ｍｅａｎｓ法よる画像処理のクラスタ数
Ｕ 従来のｃ−ｍｅａｎｓ法により画像処理を行った赤錆部分のクラスタリング結果
Ｗ 元画像で検出したい赤錆の部分
Ｘ 本発明のクラスタリングによる画像処理で検出された赤錆部分
Ｙ 輝度信号
Ｚ 従来のｃ−ｍｅａｎｓ法により画像処理結果

Claims (1)

1. 鋼材の表面劣化度を複数のクラスタリングされた色で評価するために、鋼材の表面状態を細かい画素の集合であるディジタル画像データで表し、それぞれの画素についてＲ（赤）、Ｇ（緑）、Ｂ（青）から輝度信号（Ｙ）と色差信号（Ｃ１，Ｃ２）に変換して２次元的に表したデータ（以下、画素データと呼称）を用いて、ｃ−ｍｅａｎｓ法でクラスタリングするに際し、▲１▼〜▲７▼の手法により最適なクラスタ数とクラスタの初期ベクトルを求めて計算することを特徴とする鋼材表面の劣化度評価システム。
   ▲１▼ 鋼材表面の色を輝度信号（Ｙ）と色差信号（Ｃ１，Ｃ２）に変換して２次元平面（Ｃ１−Ｃ２平面）に表わした画素データの分布から、クラスタリングの対象となる画素データの平均ベクトル、および標準偏差を求める。ここで、クラスタ数ｃをｃ＝１とする。
   ▲２▼ 画素データの分布範囲を、分割幅ｎ×ｎ（ｎは整数）の正方形のメッシュに分割し、メッシュごとに含まれる画素データ数を求める。このとき、ｉ＝１、ｊ＝１とする。分割幅はｎ＝５程度とする。分割数は多ければ多いほど精度が上がる反面、計算時間がかかる。
   ▲３▼ 画素データ数がｊ番目に高いメッシュを選び、その中心座標をｉ番目の核座標として抽出し、ｉ＝ｉ＋１とする。
   ▲４▼ ｊ＝ｊ＋１とし、画素データ数がｊ番目に高いメッシュに対して、以下の２条件と比較し、条件を満たした場合、そのメッシュの中心座標をｉ番目の核座標として抽出し、ｉ＝ｉ＋１とする。
   条件１：メッシュに含まれる画素データ数が、全画素データ数の０．３％以上である。
   条件２：抽出された核と、今までに抽出されていた１〜ｉ−１番目までの核との距離が、クラスタ内の画素データの標準偏差以上離れている。ただし、標準偏差値が小さい場合は、基準値を設ける。
   ▲５▼ 抽出する核がなくなるまで、▲４▼を繰り返す。
   ▲６▼ ▲５▼の作業が終了した時点の核の数ｃ＝ｉ−１をクラスタ数に、核座標をクラスタの初期ベクトルとし、ｃ−ｍｅａｎｓ法により画素データをクラスタリング（分類）する。
   ▲７▼ ▲６▼で得られた各々のクラスタに含まれる画素データを１つの対象データ群として、再び▲１▼〜▲５▼の処理によってさらに核の抽出を行う。ここで、核が１つしか抽出されなかったクラスタについては、そこでクラスタリングを終了する。また、２つ以上の核が抽出されたクラスタに関しては、▲６▼の作業に戻り、核が２つ以上抽出されなくなるまで、作業を繰り返す。

Images