WO1994003871A1

WO1994003871A1 - Method and apparatus for splitting region by texture analysis

Info

Publication number: WO1994003871A1
Application number: PCT/JP1993/001068
Authority: WO
Inventors: Togo Ito
Original assignee: Kabushiki Kaisha Komatsu Seisakusho
Priority date: 1992-08-04
Filing date: 1993-07-29
Publication date: 1994-02-17
Also published as: JPH0660182A

Description

明細書

テクスチャ解析を用いた領域分割方法及び装置

技術分野

この発明は、濃淡画像をテクスチャ解析を用いて領域分割する技術に関するもので、例えばコンクリート表面などの粗面に発生した不定形の面状欠陥や汚れなどのように、背景との濃度差が十分でない閉領域の形状の抽出や種別の認識等に応用できるテクスチャ解析を用いた領域分割方法および装置に関する。

背景技術

昨今、取り出したい対象物と背景との濃度差が十分でない濃淡画像から両者のテクスチャの相違に着目して領域分割を実行する技術としてテクスチャ解析を用いた領域分割法が注目されている。

テクスチャの厳密な定義は定かではないが、 Pickettによれば、 "テクスチャは多^の要素からなり要素の各々はある程度見えるものであり、全体的に密に均質に（ときにはランダムに）配置されており、そこには明確な特徴のある繰り返しパターンが存在する" 。とされている。

かかるテクスチャ解析を用いた従来の画像処理の領域分割技術としては、 '第 7回画像工学コンファレンス論文集， pp l 3— 16, (昭 51)

「線形推定によるテクスチャ解析」，（出口，森下） • PRU91— 31， pp35-40, (91— 7)

「空間/空間周波数の特徴による画像の領域分割」（重永）

' テレビジョン誌， VOL31， No l 2 (1977) ， pp951-956 「等質領域の境界線抽出法」（安居院、細村）

などが知られている。

これらの従来技術では、まず画像を格子状などのセルに分割した後、各セル毎のテクスチャ特徴量を算出する。

そして、

(1)隣接するセルの特徴量の差を得るためのグラジェント演算等を行い、特徴量の差の大きい部分を境界としたり、

あるいは (2)算出された特徴量の値にしたがってセルを分類し、隣接するセルのうち同一の特徴量に分類されるものを併合する

などして領域分割を行うものである。

上述の従来技術によれば、画像を複数のセルに分割し、テクスチャ特徴量の近いセル同士を併合することにより領域分割するため、分割された領域の形状的な分解能は、セルの大きさと形状によって決定される。たとえば、方形状のセルを用いた場合は、領域分割後の画像は該方形の集合体のようながたがたのものとなつてしまう。

そこで、高い分解能で領域分割を所望する場合には、セルサイズを小さく設定することになるが、このことはテクスチャ特徴量を算出するための情報を減らすことになり、セル内で算出されるテクスチャ特徴量の統計的な信頼度は低いものになる。即ち、セルを小さくすることにより同一のテクスチャと判断される領域のごく一部しか特徴量を算出するための対象にしないため、局所的なテクスチャのゆらぎの影響を直接受けて不必要な併合 ·分割を行う危険性を生じる。

一方、統計的な信頼度を得る場合にはセルサイズを大きく設定することになるが、不用意にセルを大きくすると、分割された画像の形状的分解能は低い、すなわち、がたがたのものになってしまう。

このため、抽出したい画像の統計的な性質、形状、大きさに応じた適切なセルのサイズを設定する必要があるが、いかに適切なセルサイズを選択したとしても、分割領域の形状的な分解能には限度があり、セルのサイズ以上の精度は得られない。

従って、例えばコンクリート表面の面状欠陥や汚れの検査など抽出面の形状や面積が評価の重要なパラメ—タになるものに適用した場合には、従来技術による方法では十分な精度が得られないという問題がある。

この発明は上記実情に鑑みてなされたもので、比較的少ない計算量でかつセルの大きさや形状にとらわれず高い分解能で領域分割をなし得るテクスチャ解析を用いた領域分割方法及び装置を提供することを目的とする。

発明の開示

そこでこの発明は、画像を複数のセルに分割し、前記セル毎のテクスチャ特徴量を算出するとともに、当該セルに隣接するセルのうち前記算出したテクスチャ特徴量の近いものを当該セルに併合する処理を全てのセルについて行うことにより画像を前記セルを基本単位にした複数の異なる領域に分割する第 1の工程と、前記分割領域に隣接する 2つの異なるテクスチャが混在して結果的に生成されたテクスチャエッジを含む境界セルを抽出し、当該境界セルと分割領域との配置および前記テクスチヤ特徴量の関係から当該境界セル内に存在するテクスチャエツジの位置及び方向を類推する第 2の工程と、前記類推したテクスチャエツジの位置及び方向に基づき当該テクスチヤエツジの代表座標を検出する第 3の工程と、前記離散的に検出された複数のテクスチャエッジの代表座標を内挿関数を用いて補間することによりテクスチャエツジの形状復元を行う第 4の工程とを具えるようにしたことを特徴とする。

この発明によれば、画像を複数のセルに分割し、前記セル毎のテクスチャ特徴量を算出するとともに、当該セルに隣接するセルのうち前記算出したテクスチャ特徴量の近いものを当該セルに併合する処理を全てのセルについて行うことにより画像を前記セルを基本単位にした複数の異なる領域に分割する第 1の工程に、上記第 2〜第 4の工程を追加するようにしている。

すなわち、第 1〜第 4の工程では、領域分割した画像からテクスチャエッジを含む境界セルを抽出し、当該境界セルと分割領域との配置および前記テクスチャ特徴量の関係から当該境界セルの内に存在するテクスチャエッジの位置及び方向を類推し、該類推したテクスチャエッジの位置及び方向に基づき当該テクスチャエッジの代表座標を検出し、さらに該算出された複数のテクスチャエッジの代表座標を内挿関数を用いて補間することによりテクスチャエッジの形状復元を行うことにより元画像に忠実な領域分割を行うようにしている。

したがつてこの発明によれば、複数のセルに基づくテクスチャ解析による領域分割処理に、テクスチャエッジの類推処理、エッジ代表座標検出処理、内挿関数による補間処理を追加するようにしているので、セルのサイズや形状にほとんど規定されることなく、高い分解能で領域の形状を忠実に復元することができる- また、分割する領域の形状的な分解能がセルサイズに規定されにくいことから、設定するセルを大きくすることができ、これによりテクスチャエッジのゆらぎに対して安定なテクスチヤ特徴量を算出し得ることができるとともに、特徴量算出に要する計算量を低減することが可能となる。

またこの発明では、テクスチャ解析処理による領域分割処理の後、分割領域の境界部のセルとそれに隣接するセルの配置およびテクスチャ特徴量の関係からテクスチヤエツジの方向及び座標を類推するようにしているので、この類推結果から適切な方向のエツジ検出用オペレータが選択できるとともに、検出処理のための初期座標を精度良く設定することができ、これにより少ない計算量で精度の良いエッジ座標検出をなし得る。

また本発明では、検出するエツジの代表座標をエツジ検出用オペレータの 2つのセルの特徴量差最大点におけるセル境界の中心座標とする様にしているので、類推したェッジの方向と真のェッジの方向とのずれに起因する検出座標の誤差を低減することが可能となる。

図面の簡単な説明

第 1図はこの発明の実施例構成を示すプロック図、第 2図はこの発明の実施例の^理手順の概略を示すフローチヤ一ト、第 3図はこの発明の実施例の処理手順を図 1の構成例に対応づけて示したフローチヤ一ト、第 4図はテクスチャ解析処理の詳細手順を示すフローチヤ一ト、第 5図は領域分類処理の詳細手順を示すフローチャート、第 6図はエッジ類推処理の詳細手順を示すフローチャート、第 7 図はエッジ検出処理の詳細手順を示すフローチヤ—ト、第 8図は内挿関数演算処理の詳細手順を示すフローチヤ一ト、第 9図は特徴認識処理の詳細手順を示すフ口一チャート、第 1 0図はテクスチャ解析処理の説明図、第 1 1図は領域分割処理の説明図、第 1 2図はエッジ類推処理の説明図、第 1 3図はエッジ類推処理の説明図、第 1 4図はエッジ類推処理の説明図、第 1 5図はエッジ類推処理の説明図、第 1 6図はエッジ類推処理結果を示す図、第 1 7図はエッジ検出処理に用いるオペレータを例示する図、第 1 8図はエッジ検出処理の説明図、第 1 9図はェッジ検出処理の説明図、第 2 0図はエッジ検出処理の説明図、第 2 1図は内挿関数演算処理の説明図、第 2 2図は内挿関数演算処理の説明図、第 2 3図は内挿結果を示す図、第 2 4図は非線形な内挿関数演算処理を行った場合の説明図である _:

発明が実施しょうとする最良の形態以下、この発明の実施例について添付図面を参照して説明する。

図 2は、この発明の領域分割方法の一実施例の処理手順を示すフローチヤ一トである。

この発明の画像の領域分割の処理手順は、大別すると下記の 4ステージに分割される。

( 1 ) 第 1ステージ…画像の領域分割処理

まず、画像を適当な大きさの複数のセルに分割し、各セル毎のテクスチャ特徴量を算出するとともに、隣接するセルのうち性質の似たもの（テクスチャ特徴量の近いもの）を併合し大まかな領域分割を行う。

( 2 ) 第 2ステージ…テクスチャエツジの位置と方向の類推処理

次に、上記分割された領域の境界部に接するセルに着目し、当該セルとこれに接する分割領域のセルの配置およびテクスチャ特徴量の関係から或る所定の条件 ^満足した際に当該セル内に存在する可能性のあるテクスチャエッジの位置と方向を類推する。

( 3 ) 第 3ステージ…テクスチャエツジの代表座標の算出処理

次に、類推されたェッジ座標付近をさらに詳細に調べてテクスチャエツジの代表座標を検出する。

( 4 ) 第 4ステージ…内挿関数によるエッジ座標の補間処理

最後に、離散的に算出された複数の代表座標を内挿関数を用いて補間することによりセルサイズの分解能で大まかに分割された画像中の任意形状の対象物のテクスチャエッジを精度良く復元する。

かかる 4ステージの処理は、図 1に示す画像処理装置によって実行される。この画像処理装置は、画像を撮像するカメラ 1と、この画像をアナログ信号で記憶する VT R 2と、アナログ信号をデジタル信号（例えば 2 5 6諧調）に変換する VT Rインタフェース 3と、このデジタル信号を記憶するデータサーバ 4と、画像を矩形のセルに分割しテクスチャ特徴量 Tを算出するテクスチャ解析装置 5 と、大まかな領域分類を行う領域分割装置 6と、テクスチャエッジの位置と方向を類推するエツジ類推装置 7と、テクスチャエツジの座標を検出するエツジ検出装置 8と、内挿演算を行うことにより形状再現を行う内挿関数演算装置 9と、分割領域毎のテクスチヤ特徴量等を算出することにより分割領域の種別の分類を行う特徴認識装置 10と、画像を表示するディスプレイ 11および 12と、プリンタ 13、プロッタ 14と、情報を保存するマグネットテープ 15、フロッピディスク 16と、操作を行うためのキ—ボ一ドタ一ミナル 17と、これらを制御するコントローラ 20から構成される。

以下、図 2に示したステージ順に、その詳細動作を図 3〜図 9のフローチヤ一トなどを参照して説明する。

.第 1ステージ…画像の領域分割処理

(1)画像切り出し（図 3ステップ 200)

ここでは、対象とする画像が、図 10 (a) に示すように、例えばコンクリート表面などのような全領域 Kb中に不定形の面状欠陥領域などのようなテクスチャの異なる閉じた領域 Kaを含んでいる場合を考える。

閎じた領域 Kaと背景領域 Kbとはテクスチャに相違があり、どちらの領域もテクスチヤは局部的な微小なみだれはあるものの、ほぼ均一であるものとする。このような画像は、カメラ 1によって撮像された後、 VTR2にアナログ信号として記録され、さらに VTRインタフヱ一ス 3によって AZD変換された後デ —タザ一パ 4に記憶される。データサーバ 4に記憶された画像データはディスプレイ 11に表示される。

コントローラ 1は、データサーバ 4に切り出し領域（例えば 512 X 512ビットの画像）のァドレスを順次指定し、切り出した画像データをデータサーバ 4 からテクスチャ解析装置 5に順次転送させるよう制御する。（図 3ステップ 20 0、 300) 。

(2)テクスチャ解析処理（図 3ステップ 301、図 4)

テクスチャ解析装置 5は、入力された画像に対し、図 10 (b) に示すように、例えば Mx M= 32 x 32画素などのような矩形のセルを設定することにより、画像全体を mx n個の複数のセルに分割する（図 4ステップ 310) 。

このセルのサイズは、 32x 32の他に、抽出したい領域の形状や大きさ、統計的性質によって 16x 16や 64x 64などのように適当なサイズを選択することができる。このセルサイズを選択する際には、抽出した領域の形状的な高分解能を得るためにいたずらにセルサイズを小さくせずに、少なくともテクスチャのゆらぎに影響されない大きさを選ぶことが重要である。

次に、同図に示すように、各セルのテクスチャの特徴量を数学的に定義した所定の評価関数 τを用いてそれぞれ算出することにより、同図に示すような特徴量 T ( i ， j ) のマップを作成する（図 4ステップ 3 2 0、 3 3 0 ) 。

この評価関数 Tとしては、例えば

濃度共起行列、

自己相関関数、

濃度差分統計量、

ランレングス行列

フーリエ . パワースペクトル

などをパラメ一タとしたものを用いることができる。

力、かる評価関数 Tとしては、必要に応じて 1つまたは複数の上記パラメータを適宜導入するようにする。

テクスチャ解析装置 5はこのようにして算出した各セルの特 J¾量 T ( i , j ) を当該セルのアドレスとともに領域分割装置 6に転送する（図 3ステップ 4 0 0 ) =

(3)領域分割処理（図 3ステップ 4 0 1、図 5 )

領域分割装置 6では、当該セルと隣接するセルのテクスチャ特徴量の関係から切り出し領域内の大まかな領域分割を実行するとともに、領域分割結果を各セルのァドレスおよびそのテクスチャ特徴量とともにエッジ類推装置 7に転送する (図 3ステップ 4 0 1、 5 0 0 ) 。

具体的には、領域分割装置 6は、まず各切り出し領域毎にセルを単位とした特徴量 Tのヒストグラムを作成する（図 5ステップ 4 1 0 ) 。

複数の特徴量 Tが用いられる場合は、各特徴量毎にヒストグラムを作成する。つぎに、領域分割装置 6では、

(1)複数の異なる闥値を用いて各セルを特徴量毎に複数の領域（グループ）に分類することにより隣接セルの併合処理を行ったり（ステップ 4 1 1、 4 1 2、 4 1 3 )

あるいは (2)グラジェント演算等を用いて隣接するセル間の特徴量の差を算出し、この特徴量の差に応じてセルの併合非併合の判定を行う

ことにより境界を含まないセルについて大まかな領域分割を実行する。

かかる領域分割処理を、各特徴量毎に行って、その後総合的に判断することにより最終的な領域分割結果を得る。

さらに領域分割装置 6では、併合領域内に孤立セルが存在するか否かを確認し (ステップ 4 1 4、 4 1 5 ) 、孤立セルが存在する場合には、併合領域内各セル間の特徴量の分散値 cT2 Γ2は 2乗に対応する）を算出するとともに（ステップ 4 1 6 ) 、孤立セルとこれに隣接する 8つセルとの特徴量の差の最大値 max厶 Tを算出する（ステップ 4 1 7 ) 。

そして、特徴量の差の最大値 niaxA Tと分散値 σを比較し（ステップ 4 1 8 ) 、 maxA T≤n σ ( 1≤η≤3 ) の条件を満足する場合には、孤立セルを隣接セルに併合して（ステップ 4 1 9 ) 、処理を終了する。

なお、複数の特徴量を用いる場合の他の例として、例えば複数の特徴量 T a、 T b、 Tc……にそれぞれ所定の重みをつけた以下のような評価関数 Hを用い、

α、、 r '·重み

この評価関数 Hに直接閾値処理或いは差分処理実行後、閾値処理を行うことにより領域分割結果を得る手法もある。

以上のような方法を用いて領域分割した結果の予想図を図 1 1に示す。この図は、背景に対して閉曲線で囲まれる同一テクスチャの閉領域が 1つだけ存在する場合の分割結果を表したもので、この画像は、前記閉領域 Kaに対応して境界線 (テクスチャエッジ）をほとんど含まないセルの併合領域 Aと、境界線を含むことにより背景 Kbと閉領域 Kaの両方のテクスチャが混在したため結果的に生成された境界セル群 Cと、これらを除く前記背景 Kbに対応する領域 Bとに分類されている。なお、領域 Aおよび B内には、テクスチャの微小なゆらぎのために孤立する領域が存在することもあるが、これらの孤立領域は前記ステップ 4 1 7〜4 1 9の処理によって事前に領域 Aまたは領域 Bに併合される。

領域分割装置 6では、このようにして算出した領域分割結果を各セルのァドレスおよびそのテクスチャ特徴量とともにエッジ類推装置 7に転送する（図 3ステップ 500 ) 。

'第 2ステージ…テクスチャエツジの位置と方向の類推処理

(4)エッジ類推処理（図 3ステップ 501、図 6)

図 12 (a) は図 11に示した領域分類結果の一部を示したもので、この図 1 2 (a) においては、境界セル群 Cに属する各セルが図 12 (b) に示した 4つのタイプ（ァ）〜（ェ）の何れに属するかを表している。

エッジ類推装置 7では、境界セル群 Cに属する境界セルの上記タイプ分類をする前に、領域 A—領域 B間に 1セル幅相当の領域 Dが生成されたか否かを確認するようにする（図 6ステップ 510) 。

図 12 (a) において、領域 Aの境界（図中の太線）に境界セル群 Cに属するセル cが接している場合はテクスチャエツジはセル c内に存在するはずであり、また領域 Aの境界にセル cが接していない場合はテクスチャエッジはほぼこの領域 Aの境界に等しいと考えることができる。

一方、領域 Aに属するセル aおよび領域 Bに属するセル b間に生成されたセル c 'が境界セル群 Cに属するためには、セル aおよび b間にセル c，がただ 1っ存在し、且つこれらのセルのテクスチャ特徴量 T (a) 、 T (b) 、 T (c，）は、下記の条件を満足する必要がある。

T (a) <T (c'XT (b)

あるいは、

T (a) >Τ (c，）>T (b) …… （1) さらに、図 13に示すように、テクスチャエッジに直交するように設定した 2 つのセル a '·および b "の特徴量 T ( a ··)および T (b ··)の差が下式（2) の条件を満足しなければならない。

T ( a " ) - T (b -) = T (a) — T (b) … (2) この第 2ステージのエッジ類推処理では、上記（1) 式の条件を満足するものを境界セル群 Cに属するセル cと仮定して処理を実行し（図 6ステップ 520、 530、以下では上記（1) 式を満足したセル c'をセル cと同義で用いる）、 (2) 式の判定は後述する第 3ステージのテクスチャエツジの代表座標の検出処理中に実行するようにする。

次に、エッジ類推装置 7では上記（1 ) 式を満足した各セル cを、図 1 2 ( b ) に示すようなタイプ（ァ）からタイプ（ェ）のいずれかに分類し、該分類結果に基づきセル c内のテクスチャエッジの方向を類推する（図 6ステップ 5 4 0 ) 。この類推においては、セルの大きさがテクスチャエツジの実際の曲りに対して十分小さいと仮定している。

：タイプ（ァ）

このタイプは、セル cと領域 Aとが 1つの辺でのみ接している場合であり、この場合のテクスチャエツジの方向は、領域 Aとの境界辺に対して平行な方向であると類推できる。

：タイプ（ィ）

このタイプは、セル cと領域 Aとが直交する 2つの辺で接している場合であり、この場合のテクスチャエツジの方向は、上記 2つの接する辺の交点を通るセル c の対角線に対して直交する方向であると類推できる。

：タイプ（ゥ）

このタイプは、セル cと領域 Aとが 3つの辺で接している場合であり、この場合のテクスチャエツジの方向は、上記 3接辺のうちの相対する 2辺を直交する方向であると類推できる。

：タイプ（ェ）

このタイプは、セル cと領域 Aとが互いの角部で接している場合であり、この場合のテクスチャエツジの方向は、上記角部を通るセル cの対角線に対して直交する方向であると類推できる。

以上のようにして各セル内のテクスチャエツジの方向を類推する。

次に、ェッジ類推装置 7では各セル内のテクスチャエツジの位置を以下のようにして類推する。

当該境界セル cのテクスチャ特徴量 T ( c ) は、テクスチャエッジを境界とする 2つの異なるテクスチャが混在することにより結果的に生成された値であるため、セル c内に混在する領域 Aと同一のテクスチャ面積 SA (図 1 4 (a) (b)の太線枠内）を次式によって近似的に求めることができる（図 6ステップ 5 5 0 ) _c SA^SO (T (c) 一 T (b) ) / (T (a) _T (b) )

… （3)

なお、上式中の SOはセル cの面積を表す。

また、図 14 (a) は類推したテクスチャエッジの方向が図 12のタイプ（ァ）または（ゥ）の場合のテクスチャ面積 SAを示したものであり、図 14 (b) はテクスチヤエッジの方向が図 12のタイプ（ィ）または（ェ）の場合を示したものである。

そして、上記のようにして算出したテクスチャ面積 SAを用いてテクスチャエツジの位置を下記のようにして類推する（図 6ステップ 560) 。

このとき、上記テクスチャエッジの位置は、図 15に示すように、領域 Aとの境界辺からの距離 5 horまたは領域 Aとの境界点からの距離 5 incで定義する。なお、図 15 (a) は図 12のタイプ（ァ）に対応するものでこの場合距離 5 horは領域 Aの境界辺からの距離とする。図 15 (b) は図 12のタイプ（ィ）に対応するもので、距離 Sineは領域 Aとの境界辺の交差点からの距離とする。図 1 5 (c) は図 12のタイプ（ゥ）に対応するもので、距離 5 horは領域 Aとの 3つの境界辺のうちの相対していない境界辺からの距離とする。図 15 (d) は図 1 2のタイプ（ェ）に対応するもので、距離 Sineは領域 Aとの境界となる角部から— の距離とする。

そして、上記各距離 Shorまたは δ incは、セル cの面積 Soおよび上記求めたテクスチヤ面積 SAを用いて、下記（4) 式または（5) 式のようにして算出する- 5hor=SA/ (SO) ^{1 2}

… （4)

SA≤S0Z2の場合

5inc= (SA) ^1/2

SA〉S0Z2の場合

5inc= (2 SO) ^1/2— （SO— SA) ^1/2

… （5)

このようにしてセル c内のテクスチャエツジの方向および位置を大まかに類推することができる。図 16は、上記手法によって得られた或る閉領域の境界面の位置と方向を示したものである。

エツジ類推装置 7では、このようにして類推した類推結果を先の領域分類結果、各セルのァドレスおよびそのテクスチャ特徴量とともにエツジ検出装置 8に転送する（図 3ステップ 600) 。

-第 3ステージ…テクスチャエツジの代表座標の算出処理

(5)エッジ検出処理（図 3ステップ 601、図 7)

上記のようにして閉領域の境界面の方向と位置との大まかな類推ができたら、エッジ検出装置 8ではこれを初期値（起点）としてテクスチャエッジの代表座標検出処理と境界部の検定処理とを実行する。

なお、境界部検定処理とは、先の第 1ステージの領域分割処理で境界セルであると仮定したセルが、真の境界セル（領域 Aと領域 Bの 2つのテクスチャが混在して領域分割の結果生成されたセル）か、あるいは先の第（1) 式を満足するセル if 相当の実際に存在する領域であるか否かを識別する処理であり、後者のセルであると判定された場合は新たな領域 Dを形成するようにする。

まず、エッジ検出装置 8では、テクスチャエッジの正確な座標を検出するためのオペレータを選択する（図 7ステップ 610) 。エッジ検出用ォペレ一夕には、図 17に示すように、類推されたテクスチャエッジの方向別に、その傾斜角が 0 。、 45° 、 90° 、 135° のものの 4種類があり、類推されたテクスチャェッジの方向によって対応するオペレータが選択される。即ち、テクスチャエッジの方向が図 12のタイプ（ァ）又は（ゥ）に属する場合には傾斜角が 0° 、 90 ° のオペレータを各々選択し、またタイプ（ィ）または（ェ）の場合には傾斜角が 45° 、 135° のオペレータを各々選択する。これらのオペレータは、前記プロック分割のセル同様、 MxMのサイズに相当する 2つのセルで構成されている。

そして、このように選択されたオペレ一タを、図 18に示すように、類推したテクスチャエッジを起点にエッジと直交する方向（矢印 q方向）に数画素ずつ所定の範囲内で（例えば各方向に半セル分ずつ）移動し、各移動位置毎にオペレータセル内のテクスチャ特徴量 T (a ")および T (b ··)をそれぞれ算出するとともに、このテクスチャ特徴量 T (& ")ぉょび丁（b ")の差が最大になる位置を検出する。

ここで、上記ェッジ検定を行っている境界セルと仮定したセル内にテクスチャエッジが実際に存在するならば、テクスチャ特徴量 T (a ")および T (b ")の差の最大値は、下式（6) を満足するはずである。

MAX I T ( a " ) - T ( b " ) I

^ I T (aう _T (b) I … (6)

したがって、エッジ検出装置 8においては、上記（6) 式の左辺と右辺の差の 2乗値 εを下記（7) 式にしたがって算出し、該算出値 εを所定の閾値 ethと比較し、 £ <ethを満足するは、当該セルをテクスチャエッジを含む境界セルと判定する（図 7ステップ 620、 630) 。

ε = [MAX {T ( a " ) - T (b ··)} - {T (a)-T (b)} 〕 ~2

… （7)

な,お、 _2は 2乗を表している。

このようにして当該セルが境界セルであると判定されると、エッジ検出装置 8 では、テクスチャエッジの代表座標を検出する（ステップ 650)

すなわち、この場合当該境界セルのテクスチャエッジの代表座標は、図 20に示すように、テクスチャ特徴量 T (a ")および T (b ")の差が最大になるようにオペレータを位置した場合におけるオペレータの中心点とする。

前述したように、類推したテクスチャエッジの方向（=選択されたオペレータの方向）は 45° 刻みであり、実際のテクスチャエッジの方向とはずれを生じている。したがって、テクスチャエッジの代表座標を、図 20に示すように、オペレー夕のセル内のテクスチャ特徴量 T (a')および T (b')の差が最大になる位置におけるオペレータの中心点とすることによって、類推したテクスチャエツジの方向のずれに起因する検出座標の誤差を低減するようにしている。

また、上記ステップ 630において ε <£thを満足しない場合は、図 19に示すように、領域 Aと領域 Bとの間に、下記（8) 式を満足する、セル幅相当の分割すべき領域 Dが存在する可能性があるので

T (a) <T (D) <T (b)

あるいは、 T (a) >T (D) >T (b) … (8)

この場合は、図 19に示すように、領域 Aと領域 D (セル c ') との境界付近、および領域 Bと領域 D (セル c ') との境界付近にオペレータを移動して（ステップ 640) 、上記と同様な操作を繰り返すことにより、領域 Aのテクスチャ特徵量 T (a) と領域 Dのテクスチャ特徴量（D) の差が最大になる位置、および領域 Bのテクスチャ特徴量 T (b) と領域 Dのテクスチャ特徴量（D) の差が最大になる位置をそれぞれ検出するとともに、これらの検出値に基づき領域 Dを新たに領域分割する。

なお、図 19においては、領域 Aと領域 Dの境界を検出するためのオペレータの初期位置を示している。

以上の処理が終了すると、エッジ検出装置 8は、算出した代表座標を各分割領域と照合することにより（ステップ 660) 、当該代表座標が複数の閉領域の何れに釋するかを識別し、該識別結果に基ずき各代表座標にその座標が属する閉領域の所属番号を付加する。そして、これらの代表座標およびこれに付加される所属番号は内挿関数演算装置 9に転送される（図 3ステップ 700) 。

'第 4ステージ…内挿関数によるエツジ座標の補間処理

(6)内挿関数演算（図 3ステップ 701、図 8)

内挿関数演算装置 9では、上記の処理のよって離散的に算出された代表座標を内挿関数を用いて補間することにより、図 23に示すように、画像中の任意形状の対象物のテクスチャエッジを精度良く復元する（ステップ 710) 。

補間の種類としては、

スプライン補間、

Bスプライン補間、

ラグランジヱ補間、

線形補間、

ヘルミット補間

等があるが、線形補間を用いた場合には実際の領域よりも補間により求められた閉領域の面積が小さくなることが多いので、ここではスプライン関数を用いた例について説明する。まず、図 21に示すように、検出されたテクスチャエッジの代表座標べクトルが、 Q0、 Ql、 ··'、 Qn (Qn=Q0) であるとき、 n個の曲線セグメント Pi (i = 1， 2，一n) によって曲率まで連続した曲線で補間することを考える：

ここで、 Q0から Qiに至る曲線長を S iとし、 Qiにおける単位接線ベクトルを Q ' iとし、代表座標間の弦長を c i とし（図 22参照）、各代表座標間を Sをパラメ—タとする 3次曲線で内挿して、下記の（9) 〜（1 1) 式を満足する単位接線べクトル Q ' iを算出する。

Q 0

Q 1

O 2 = M B (9

Q n

ただし、

3

{ CI ( Q2 - Ql) + C2 ( Qi - Qo)}

C1C2

3

{C2² ( Q₃ - Q₂) +C3 ( Q2- Ql )}

C2 C3

B = ( 11 )

³ {C_n— (Q。- Q_n— C_n ²( Q₀ - Q_n— ₂)

Cn-lCn-2

3一 {C_n ( Qi— Q o )+ Ci ( Q₀- Q

CnC n-1 )} そして、算出された単位接線べクトル iを下記（12) 式に代入することにより、離散化されたテクスチャエッジの代表座標間を補間することができ、図 2 3に示すような形状復元ができる。

Qi-l

Qi ♦

p i(

^{) =}〔^HC H 0,] Η l,0^{(t )} H_ia( ) CiQi i-1

C i Q i' i

( 12) ここで、上記（12) 式中の tは Si-l≤S≤Si+lに対して、

S = S (i一 1) + {S i—S ( i + 1) } t (0≤ t≤ 1) としたときの媒介変数を表し、

また、 H0，0(t)、 H0，l(t)、 Hl，0(t)、 Hl，l(t)は、

H0,0(t) = 2 t 31²+ 1

H0,l(t) = -21³+3 t²

Hl,0(t)= t ³- 21²+ t

Hl，l(t)= t ³- t²

を表している。

なお、上記 Q0〜Qn、 Pi、 M、 B、 Q' i、 Hはそれぞれベクトルである：ところで、このような非線形の内挿を用いて形状を復元する場合、図 24 (a) に示すように、閉領域 Eおよび閉領域 Fが隣接している場合においては、図 24 (b) に示すように、求めた補間曲線が交差することが起こり得る。この場合には領域面積の大きい順に優先順位を設けて、上記交差により発生した不必要な額域を併合するようにする（図 8ステップ 720、 730) 。

なお、上記の内挿関数による補間演算は、所属番号の個数から面積が大きいと類推できる領域から内挿を実施するようにする。

このようにして領域分割された結果は、もう 1つのディスプレイ 12に表示されると共に、特徴認識装置 10に転送される（図 3ステップ 800) =

(7)特徴認識処理（図 3ステップ 801、図 9)

特徴認識装置 10では、例えば領域毎に面積ゃ閉曲線の長さやテクスチャ特徴量や諧調平均などを算出し（図 9ステップ 810〜840) 、それらの関係のマップを生成するなどして（ステップ 850) 、分割領域の種別（例えば面状欠陥の種類）を分類し（ステップ 860) 、認識結果をマグネットテープ 15ゃフロッピーディスク 16に保存したり（図 3ステップ 900) 、プリンタ 13やプロッタ 14やディスプレイ 12に印刷表示したりする。

以上のようにして処理を終了する（図 3ステップ 910)

なお、上記実施例において、第 3ステージのテクスチャエッジの代表座標検出処理は、テクスチャ特徴量の評価関数 Tが非線形な場合に必要なものであり、評価関数が濃度平均値などのように線形の場合は、この処理を省略することができる。

また、領域分割に用いるセルの形状も、方形に限らず、適宜の多角形を用いるようにしても良い。

産業上の利用可能性

コンクリート表面などの粗面に発生した不定形の面状欠陥や汚れなどのように、背景との濃度差が十分でない閉領域の形状の抽出や種別の認識などに利用して有用である。

Claims

請求の範囲

1 . 画像を複数のセルに分割し、前記セル毎のテクスチャ特徴量を算出するとともに、当該セルに隣接するセルのうち前記算出したテクスチャ特徴量の近いものを当該セルに併合する処理を全てのセルについて行うことにより画像を前記セルを基本単位にした複数の異なる領域に分割する第 1の工程と、

前記分割領域とこれに隣接するテクスチャエッジを含む境界セルを抽出し、当該境界セルと分割領域との配置および前記テクスチャ特徴量の関係から当該境界セル内に存在するテクスチャエツジの位置及び方向を類推する第 2の工程と、前記類推したテクスチャエッジの位置及び方向に基づき当該テクスチャエツジの代表座標を検出する第 3の工程と、

前記算出された複数のテクスチャエッジの代表座標を内挿関数を用いて補間することによりテクスチャエッジの形状復元を行う第 4の工程と、

をえるようにしたことを特徴とするテクスチャ解析を用いた領域分割方法。

2 . 前記第 1の工程では、テクスチャ特徴量に対応する所定の評価関数を定義し、前記分割したセル毎に前記評価関数値を算出し、該評価関数値を複数の閾値で闉値処理することにより画像を前記セルを基本単位にした複数の異なる領域に分割することを特徴とする請求項 1記載のテクスチャ解析を用いた領域分割方法。

3 . 前記第 1の工程では、テクスチャ特徴量に対応する所定の評価関数を定義し、前記分割したセル毎に前記評価関数値を算出し、当該セルと隣接セルとの差に応じてセルの併合を行うことにより画像を前記セルを基本単位にした複数の異なる領域に分割することを特徴とする請求項 1記載のテクスチャ解析を用いた領域分割方法。

4 . 前記第 1の工程では、画像は、背景領域に対応する第 1の領域と、この背景内に存在する閉領域に対応する第 2の領域と、前記背景領域及び前記閉領域のテクスチヤがセル内に混在することにより結果的に生成された境界セル群とに分割されることを特徴とする請求項 1記載のテクスチャ解析を用いた領域分割方法。

5 . 前記第 2の工程では、前記境界セル群に含まれる境界セルのテクスチャ特徴量を T ( c ) 、前記第 1の領域に含まれるセルのテクスチャ特徴量を T ( a ) 、前記第 2の領域に含まれるセルのテクスチャ特徴量を T ( b ) とするとき、前記第 1の領域に含まれるセルと前記第 2の領域に含まれるセルとの間に境界セルと類推される

T (a) <T (c ' ) <T (b)

または

T (a) >T (c ' ) >T (b)

の条件を満足するセル c 'がただ 1つ存在し、さらに

テクスチャエツジに直交して設定した 2つのセルのテクスチャ特徴量を T ( a ·') 、 T (b ") とするとき

T (a ·')一 T (b ") = T (a) — T (b)

が成立した場合に

当該セルを境界セルと判定することを特徴とする請求項 4記載のテクスチャ解析を用いた領域分割方法。

6. ,前記セルは方形状であり、前記第 2の工程では、前記境界セルを^下の 4つのタイプ（ァ）〜（ェ）に分類し、

：タイプ（ァ）

境界セルと前記第 2の領域とが 1つの辺でのみ接している

：タイプ（ィ）

境界セルと前記第 2の領域とが直交する 2つの辺で接している

：タイプ（ゥ）

境界セルと前記第 2の領域とが 3つの辺で接している

：タイプ（ェ）

境界セルと前記第 2の領域とが互いの角部で接している

前記タイプ（ァ）の場合はテクスチャエッジの方向を前記第 2の領域との境界辺に対して平行な方向であると類推し、前記タイプ（ィ）の場合はテクスチャェッジの方向を上記 2つの接する辺の交点を通る前記境界セルの対角線に対して直交する方向であると類推し、前記タイプ（ゥ）の場合はテクスチャエッジの方向を上記 3接辺のうちの相対する 2辺に直交する方向であると類推し、前記タイプ (ェ）の場合はテクスチャエツジの方向を上記角部を通る境界セルの対角線に対して直交する方向であると類推することを特徴とする請求項 4記載のテクスチャ解析を用いた領域分割方法。

7. 前記第 2の工程では、当該境界セルとこれを中心に隣接する 2つのセルのテクスチヤ特徴量から当該境界セル内の 2つのテクスチャの混在面積を算出し、該混在面積と当該境界セルに隣接するセルの配置関係から当該境界セル内に存在するテクスチャエツジの位置及び方向を類推する請求項 1記載のテクスチヤ解析を用いた領域分割方法。

8. 前記第 2の工程では、前記類推したテクスチャエッジに直交して当該境界セルに隣接する 2つのセルのテクスチャ特徴量を T (a) 、 T (b) とし、当該境界セルのテクスチャ特徴量を T (c) 、境界セルの面積を SOとするとき、下式にしたがって当該境界セル内に混在する特徴量 T (a) で表わされるテクスチャの面積 SAを算出し、

SA=S0 (T (c) — T (b) ) / (T (a) _T (b) )

当該境界セルが前記タイプ（ィ）または（ェ）のときは

5hor=SA/ (SO) ^1/2

にしたがってテクスチャエッジの位置 δ horを算出し、

当該境界セルが前記タイプ（ァ）または（ゥ）のときは

SA≤S0Z2の場合

Sinc= (SA) ^1/2

SA〉S0Z2の場合

5inc= (2 SO) ^1/2_ (SO— SA) ^1/2

にしたがってテクスチャエッジの位置 Sineを算出することを特徴とする請求項 6 記載のテクスチヤ解析を用いた領域分割方法。

9. 前記第 3の工程では、前記類推したテクスチャエッジの方向に直交するように 2つのセルで構成されるエツジ検出用オペレータを設定し、かつ該エツジ検出用オペレータを前記類推したテクスチャエッジの位置を初期位置として前記直交方向に移動させることによりエツジ検出用オペレータを構成する 2つのセルのテクスチヤ特徴量の差が最大になる位置を検出し、該検出した位置におけるォペレ一夕境界の中心座標を前記テクスチャエッジの代表座標とすることを特徴とする請求項 1記載のテクスチャ解析を用いた領域分割方法。

1 0 . 前記第 4の工程では、離散的に検出したテクスチャエッジの代表座標をスプラインなどの非線形の内挿関数を用いて補間することを特徴とする請求項 1記載のテクスチャ解析を用いた領域分割方法。

1 1 . 画像を複数のセルに分割し、前記セル毎のテクスチャ特徴量を算出するテクスチヤ特徴量演算手段と、

当該セルに隣接するセルのうち前記算出したテクスチャ特徴量の近いものを当該セルに併合する処理を全てのセルについて行うことにより画像を前記セルを基本単位にした複数の異なる領域に分割する画像分割手段と、

前記分割領域に隣接するテクスチャエツジを含む境界セルを抽出し、当該境界セルと分割領域との配置および前記テクスチャ特徴量の関係から当該セルの内に存在するテクスチャエツジの位置及び方向を類推するテクスチャエツジ類推手段と、

前記類推したテクスチャエツジの位置及び方向に基づき当該テクスチャエツジの代表座標を検出するテクスチャエッジ検出手段と、

前記算出された複数のテクスチャェッジの代表座標を内挿関数を用いて補間することによりテクスチャエッジの形状復元を行う補間演算手段と、

を具えるようにしたことを特徴とするテクスチャ解析を用いた領域分割装置。