JP2614864B2 - 画像の特徴抽出装置 - Google Patents

Description

【発明の詳細な説明】 A.産業上の利用分野 本発明は、画像中のエッヂ，稜，頂点，方向性などの
特徴量を抽出する特徴抽出装置に関する。

B.従来の技術 従来から画像の特徴抽出装置が種々知られている。例
えば、空間微分演算に基づく差分型の一次微分型ソーベ
ル（Sobel）オペレータによるものや、二次微分型ラプ
ラシアン（Laplacian）オペレータによるもの、あるい
は最大値オペレータによるもの等が知られている。

C.発明が解決しようとする問題点 しかしながら、従来のこれらの特徴抽出装置において
は次のような問題があった。

対象物に対する適応範囲が非常に狭い。

線や点に区別なく反応してしまい、雑音に弱い。

感度を上げるとデータ処理が煩雑となり、感度を下げ
ると重要なデータを見逃してしまうおそれがある。

対象物の明るさ、分解能、合焦状態などの撮影条件に
よって特徴抽出能力が極端に左右されてしまう。

上記〜に起因して、後処理のアルゴリズムが複雑
である。

本考案の目的は、このような問題点をすべて解決する
ことのできる画像の特徴抽出装置を提供することにあ
る。

D.問題点を解決するための手段 まず、本発明の原理について説明する。本発明者は先
に、特願昭61−170882号明細中に、次に述べる画像処理
装置を開示した。

２次元撮像素子で得られる２次元画像信号ｆ（x,y）
に対して時空間微分演算を行ない、ｘ微分値fx（x,y）,
y微分値fy（x,y）を求めるとともに、局所領域Γにおけ
るこれらの２乗和、 Sxx＝∫∫fx（x,y）²・dxdy …（１） Sxy＝∫∫fx（x,y）・fy（x,y）dxdy …（２） Syy＝∫∫fy（x,y）²・dxdy …（３） を中間演算量として求め、これらSxx,Sxy,Syyに基づい
て動情報と立体情報とを得る。

ここで、−Sxx,−Sxy,−SyyはΓの大きさをもつ短形
ウインドウ関数を用いて推定された微分相関関数と看な
せる。従って、これらSxx,Sxy,Syyが自己相関関数との
原点曲率に関係している。一般に原点曲率によって与え
られる関数形の特徴としては、 １）関数形が原点で急峻か、なだらかか（先鋭性） ２）関数形が円対称に近いか、偏平に分布しているか
（等方性ないし偏平性） ３）関数形が偏平な場合に、どの方向に偏平か（主方
向） の３種類に大別される。これらを画像のパターン的特徴
と対応させて考えると、 １）先鋭性が高い←→画像に変化の激しいパターンがあ
る（変動度） ２）等方性が高い←→画像パターンの変化が全方向に同
程度存在する（等方度） ３）偏平性が高い←→画像パターンの変化が一方向に偏
って存在する（異方度） ４）主方向 ←→画像パターンがその方向に揃っている のような性質の大小を表現している。特にSxx,Sxy,Syy
のように小領域から推定された局所相関関数から求めら
れた上記特徴量においては、線素，孤立点，エッヂ，テ
クスチャなどの局所パターンの存在に位置センシティブ
に反応する量を与える。

そこで、本発明に係る画像の特徴抽出装置は、第１図
に示すように、２次元画像信号ｆ（x,y）を微分してfx
（x,y）,fy（x,y）を演算する微分回路と、これらfx
（x,y）,fy（x,y）に基づいて微分２乗和演算を行い、
「中間演算量Sxx＝∫∫fx（x,y）²・dxdy」、「中間演
算量Sxy＝∫∫fx（x,y）・fy（x,y）dxdy」、および
「中間演算量Syy＝∫∫fy（x,y）²・dxdy」を求める積
和回路と、これらSxx,Sxy,Syyに基づいて、先鋭性、等
方性、偏平性、主方向、および最大曲率のいずれかの静
止画の画像の特徴抽出を行う特徴抽出回路とで構成され
る。

また、先鋭性として「Sxx＋Syy」を、等方性として
「Sxx・Syy−Sxy²」を、偏平性として「｛Sxx−Syy）²
＋4Sxy²｝^1/2」を、主方向として「［Sxx−Syy−｛（Sx
x−Syy）²＋４Sxy²｝^1/2］/2Sxy」を、最大曲率として
［Sxx＋Syy＋｛Sxx−Syy）²＋４Sxy²｝^1/2］/2」を、そ
れぞれ主たる演算式として含む指標を用いて静止画の特
徴抽出を行う。

E.作用 ２次元画像信号ｆ（x,y）を空間微分してfx（x,y）,f
y（x,y）を求めるとともに、これらの２乗和である中間
演算量Sxx,Sxy,Syyを求める。特徴抽出回路304は、これ
らSxx,Sxy,Syyに基づいてエッヂ，点，稜などの特徴量
を抽出する。

F.実施例 第２図〜第４図により一実施例を説明する。

第２図において、１は２次元固体撮像素子（以下、テ
レビカメラ）、２はテレビカメラ１から出力されるアナ
ログ映像信号をディジタル画像信号ｆ（x,y）〔以下、
ｆで示す〕に変換するA/D変換器、３は画像信号ｆのｘ
微分値fx（x,y）〔以下、fxで示す〕を得るｘ微分回
路、４は画像信号ｆのｙ微分値fy（x,y）〔以下、fyで
示す〕を得る微分回路、5,6はfx,fyを１画面ごとに格納
するフレームメモリである。７は、fyに基づいて（３）
式で示す演算を行ない２乗和Syyを演算する乗算累積回
路、８は、fx,fyに基づいて（２）式で示す演算を行な
い２乗和Sxyを演算する乗算累積回路、９は、fxに基づ
いて（１）式で示す演算を行ない２乗和Sxxを演算する
乗算累積回路であり、これら乗算累積回路７〜９は第３
図のように専用ハード回路として構成される。

すなわち、乗算累積回路７は、fyの２乗回路71と、こ
の演算結果に基づいてSyy演算する平滑化回路72とから
成り、乗算累積回路８は、fxとfyを乗算する乗算回路81
と、この演算結果に基づいてSxyを演算する平滑化回路7
2とから成り、乗算累積回路９は、fxの２乗回路91と、
この演算結果に基づいてSxxを演算する平滑化回路92と
から成る。平滑化回路72,82,92は例えば第４図のよう
に、画素領域Nrに相応したNr段のシフトレジスタ群201
と、加算器202と、そのレジスタのNr×Nrの領域と加算
器202とを接続するスイッチ群203とから成る。

また第２図において、10は積和制御回路であり、各平
滑化回路の制御タイミングをとるタイミング信号や平滑
化の際の画素領域の大きさを制御する画素領域制御信号
を各平滑化回路に出力するとともに、メモリアクセス制
御回路11に、タイミング信号や画素領域に応じたメモリ
アドレス信号を送る。メモリアクセス制御回路11は、積
和制御回路10から指示されたタイミングで所定のメモリ
アドレスをアクセスしてそのアドレスの微分信号を各フ
レームメモリ5,6から出力させる。

更に第２図において、12は２乗和Sxx,Sxy,Syyに基づ
いて、例えば次の（８）〜（20）式で示される特徴量を
ソフトの形態で演算するCPUである。

今、負号付き原点曲率の最大値λmaxと最小値λmin
は、 また、その方向θmax,θminは、 で示される。

また、曲面の曲がり具合をスカラー的に記述する簡便
な量としてガウス曲率が知られている。これをμと置く
と、μは曲面の最大曲率と最小曲率の積 μ＝λmaxλmin …（６） で与えられるため、自己相関関数の原点ガウス曲率は、 μ＝SxxSyy−Sxy²≧０ …（７） で示される。これらに基づいて以下のように特徴量をソ
フトウェアで演算する。

〔特徴量１〕先鋭性（変動度）： Sxx＋Syyは最大曲率λmaxと最小曲率λminの平均であ
り、また近似２次曲面のxy平面からのずれを単位円上で
積分し平均したものに比例することから、（８）式のよ
うに示すことができる。

〔特徴量２〕等方性（等方度）： SxxSyy−Sxy²≧０は原点ガウス曲率を与え、これは曲
面が両方向に曲がっているとき大きな値をとり、いずれ
かの方向でも平坦な場合に零となる。したがって（９）
式は方向性に関係なくパターン変動の等方性を評価す
る。

〔特微量３〕偏平性（異方度）： この量は最大固有値λmaxと最小固有値λminの差であ
るから、この値が大きいほど曲率に方向依存性が強いこ
とを示し、偏平度の指標となる。したっがって（10）式
は方向性に無関係にパターン変動の異方性を評価する。

〔特徴量４〕主方向： これは（5a）式，（5b）式から明らかである。

〔特徴量５〕最大曲率（最大変動）： これは（4b）式から明らかである。この特徴量は方向に
よらずパターンに強い変化がある部分に反応する。

以上の特徴量１〜５はPdire以外は濃淡²／画素長²な
いし濃淡⁴／画素長⁴の次元をもち、画像の明るさや画素
間隔によって特徴の強さが変化する。これらを正規化す
ることでパターン固有の性質のみを抜き出す特徴量が得
られる。これらを以下に示す。

〔特徴量６〕正規化変動度（エッヂ検出子）： σはほぼ画素雑音の標準偏差に相当する定数であり、
自分パラメータと考えてもよい。変動自体は何らかの比
較基準がないと正規化されない。ここではσ²がその比
較基準となっている。変動度がこの基準より十分に小さ
いときは（13）式の分母の（Sxx＋Syy）²はσ⁴に対して
無視できてPedge≒（Sxx＋Syy）²σ^-4のように変動度の
２乗に比例した値をもつ。反対に十分大きなときにはσ
⁴は（Sxx＋Syy）²に対して無視できてPedge≒１に飽和
する。このようにPedgeにおいては変動度の値が〔0,1〕
の範囲に正規化され、その分配の仕方は定数σによって
適当に調整することができる。したがってこの特徴量は
エッヂなどの濃淡がσに比例して強く変化する部分でほ
ぼ1,そうでない部分でほぼ０の半ば２値的な反応をする
演算子となる。

〔特徴量７〕正規化等方度（頂点検出子）： いま分母のσ⁴を無視して考えると、 と変形され、加法平均と乗法平均の関係により右辺は
〔0,1〕に正規化される。σ⁴の役割は（13）式と同様に
模様の絶対的変動がσより十分に小さな場合に演算子の
反応を抑制するためのものであって、（Sxx＋Syy）²が
σ⁴に対して大きいときはその影響を無視できる。した
がってこの特徴量は頂点などの濃淡が全方向に強く変化
する部分でほぼ１、そうでない部分ではたとえ一方向に
変化があってもほぼ０の半ば２値的な反応をする演算子
となる。

〔特徴量８〕正規化異方度（稜線検出子）： いま分母のσ⁴を無視して考えると、 と変形されるが、この特徴量は稜線などの濃淡が一方に
強く変化する部分でほぼ１、そうでない部分ではたとえ
全方向に変化があってもほぼ０の半ば２値的な反応をす
る演算子となる。

（13），（14），（15）式より明らかに Pcorn＋Pridg＝Pedge …（16） の関係があるから、３者のうちいずれかの２者を求めれ
ば十分である。またPcornとPridg特徴量はそれらの共通
特徴量であるPedgeを特徴の大小に応じて案分している
特徴量であることも分かる。

これらの特徴量はいわば穏やかな正規化がなされてお
り、出力に〔0,1〕の中間値をとりやすい。そこで明確
な特徴判定のためにしきい値処理を導入して２値化特性
が明瞭な特徴量も次のように表わされる。

〔特徴量６′〕２値化変動度（２値化エッヂ検出子）： σの役割は（13）式の場合とほぼ同じである。

〔特徴量７′〕しきい値型正規化等方度 （しきい値型頂点検出子）： （14）式と同じく、加法平均と乗法平均の関係により右
辺は〔0,1〕に正規化される。σ⁴の役割は（14）式と同
様に模様の絶対的変動がσより十分に小さな場合に演算
子の反応を零にすることである。

〔特微量８′〕しきい値型正規化異方度（しきい値型稜
線検出子）： これらのしきい値型特徴量もまた（17），（18），（1
9）式より明らかに Pcorn＋Pridg＝Pedge …（20） の関係を満たす。

以上の実施例の構成を時系列的に示すと第１図のよう
になる。この図にしたがって動作説明を行なう。

まず、101でテレビカメラ１による測定対象の画像を
とり込む。例えば512×512のイメージサイズの画像ｆを
取り込む。102,103において、ディジタル化された画像
信号ｆに対し、ｘ微分回路3,y微分回路４で例えば各画
素ごとにx,y微分演算を行なう。ｘ微分値fx,y微分値fy
は、フレームメモリ5,6にて１フレームごとに格納され
る。ここまでは実時間で処理される。次いで、104〜106
において、専用ハード回路である乗算累積回路７〜９は
fx,fyに基づいて、（１）〜（３）式から中間演算量Sy
y,Sxy,Sxxを演算する。すなわち、微分画像fx,fyは、そ
れぞれ２乗回路71,91で２乗されるとともに乗算回路81
で相互に乗算され、各回路91,81,71から自己・相互積画
像fx²,fxfy,fy²が出力される。これらの自己・相互積画
像fx²,fxfy,fy²はそれぞれ次段の平滑化回路92,82,72に
入力されて、各平滑化回路92,82,72からSxx,Sxy,Syyが
出力される。ここで、Sxx,Sxy,Syyは、所定の画素領域
Γ上の積分値に相当し、積和制御回路10からの画素領域
制御信号によりその積分領域が変更される。これは抽出
する特徴量に応じて最適な画素数をもつ領域を選択し、
精度の良い特徴量抽出を行なうために必要な操作であ
る。

第４図に従って平滑化回路72,82,92の動作を説明す
る。

画像Sxxをスキャンすると、シフトレジスタ群201に順
次にデータが入力される。今、画像領域がその制御信号
によりNr×Nrの数に設定されると、スイッチ群203のす
べてがオンするから、レジスタ群201のNr×Nr領域のデ
ータが加算器202で加算されて平滑化回路の出力とされ
る。一方、画素領域制御信号により画素領域が例えば５
×５となると、スイッチ群203の各スイッチがそれに相
応してオン・オフし、レジスタ群201の例えば５×５領
域データが加算器202で加算されて出力される。

このようにして得られたSxx,Sxy,SyyはCPU12に送ら
れ、（８）〜（20）式で示される特徴量のうち所望に応
じて選ばれたいくつかを演算して（第１図の特徴抽出計
算107_-1〜107_-n）出力される。例えば、構造特徴抽出で
は、エッヂ，頂点稜線の特徴量を抽出し、テキスチャ特
徴抽出では、方向性，稜線，頂点の特徴量を抽出する。

以上の実施例は、画像取込み101、微分計算102,103を
実時間処理し、積和演算104〜106は専用ハード処理にて
行ない、各特徴量抽出107_-1〜107_-nをソフト処理にて行
なうようにしたが、第１図の積和演算104〜106まで実時
間処理し、特徴量抽出演算107_-1〜107_-nを複数個のCPU
で同時ソフト処理を行なうことにより、より高速化を図
ることができる。

第５図はその一実施例を示す。第２図と同様な箇所に
は同一の符号を用いて相異する点のみ説明する。

31はｘ微分回路３で演算されて出力されるfxを乗算し
て実時間でfx²を得る乗算回路、32はｘ微分回路３およ
びｙ微分回路４で演算されて出力されるfx,fyを乗算し
て実時間でfxを得る乗算回路、33はｙ微分回路４で演算
されて出力されるfyを乗算して実時間でfy²を得る乗算
回路である。また、34〜36は、fx²,fx・fy,fy²がそれぞ
れ入力されて実時間で中間演算Sxx,Sxy,Syyを演算する
積和回路であり、１ライン遅延部LD₁〜LD_nと、各ライン
ごとの１画素遅延部D₁〜D_nと、累積部SUMとをそれぞれ
有している。37_-1〜37_-nは、各中間演算量Sxx,Sxy,Syy
がそれぞれ入力され、上記（１）〜（20）式で示される
特徴量をそれぞれソフトの形態で演算するCPUである。

この実施例では、Sxx,Sxy,Syyまで実時間処理され、
かつ各特徴量を別々のCPUにて抽出するので、非常に高
速な抽出が可能となる。

次に本発明者による実験結果について説明する。

均質な面の組み合わせで構成されるような画像、特に
ロボット視覚におけるいわゆる積み木世界の画像におい
ては、これらのオペレータは名前の通りエッヂと頂点と
稜線の検出オペレータとなる。本発明者の実験によれ
ば、 エッヂ画像は画像の変化する部分すべてに反応するた
め、例えば模様の部分でも明るくなるが、稜線画像にお
いてはこれらが弱められ構造特徴抽出に有利である。

また、稜線画像は規格化されており、後段でのしきい
値処理が不要である。従来のソベルオペレータ等では後
段にしきい値処理が必要であり、このしきい値の選択が
難しい。

頂点画像は頂点に孤立的に反応したり、文字などの密
集変化部分で明るくなる。これは画像の特徴中心の選定
に有用な情報となる。

ことが確認された。また、人物画像へ適用すると、稜線
画像は人物の輪郭に、頂点画像は特徴中心（特に目の部
分）に反応することがわかった。

更に、テキスチャ特徴抽出を確認するため、方向性，
稜線，頂点オペレータが模様を含む画像にどのように反
応するかを実験した。その結果、方向性画像では、円環
状の部分や曲線部分で濃淡が連続的に変化し、また縦，
横，斜線が方向性で明確に分離されることがわかった。
更に、稜線オペレータが文字の骨格抽出に、頂点オペレ
ータが交差点抽出に有用であることもわかった。更にま
た、稜線オペレータは線的構造が密集している場所にお
いても強く応答し、線的構造が急激に折曲がるところで
は模様の１方向変動性が失われて稜線オペレータの応答
が弱まり、その分頂点オペレータの応答が強まることが
わかった。この結果、稜線オペレータが線状テキスチャ
領域の面的検出子として、頂点オペレータがその輪郭検
出子として機能することになる。また方向性オペレータ
は線状テキスチャ領域において線素の向きを示す面的検
出子として機能する。

更に本発明は、表面にランダムドット模様を付けた立
方体と平行線状模様を付けた直方体と立方体とを用い
て、稜線オペレータと頂点オペレータによるランダムド
ットと線状模様との分離能力を確認したところ、それぞ
れの物体がはっきりと分離された。線状模様の物体にお
いて頂点オペレータが輪郭と稜線の検出子として働くと
いうことも確かめられた。さらに、方向性オペレータに
より線状模様物体の面の向きが非常にはっきりと検出さ
れることも確認できた。従来法ではこのような特徴は多
方面の微分オペレータの繰返し適用と最大判定を行なわ
ないと抽出できなかったため、このような特徴抽出が実
質上不可能であった。

G.発明の効果 以上のように本発明に係る特徴抽出装置は次のような
結果を有する。

各種対象物に対して適用でき汎用性が高い。

線，点，方向性などに別々に反応するから雑音に強
い。

従来のように感度を上げるとデータ処理が煩雑になる
ことがないから、重要なデータを採取するため十分に感
度を高めることができる。

対象物の明るさやカメラの分解能あるいは合焦状態な
どにそれほど左右されず、撮影条件の設定が従来より制
約を受けない。

以上の，などに起因して後処理のアルゴリズムが
非常に簡素化される。

【図面の簡単な説明】

第１図は発明を時系列的に説明する図である。 第２図〜第４図は一実施例を示し、第２図が全体構成の
ブロック図、第３図が乗算累積回路の詳細ブロック図、
第４図が平滑化回路を説明する図である。 第５図は他の実施例を示す全体構成図である。 301:テレビカメラ 302:微分回路 303:積和回路 304:特徴抽出回路

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】２次元画像信号ｆ（x,y）を微分してfx
   （x,y）,fy（x,y）を演算する微分回路と、これらfx
   （x,y）,fy（x,y）に基づいて微分２乗和演算を行い、
   「中間演算量Sxx＝∫∫fx（x,y）²・dxdy」、「中間演
   算量Sxy＝∫∫fx（x,y）・fy（x,y）dxdy」、および
   「中間演算量Syy＝∫∫fy（x,y）²・dxdy」を求める積
   和回路と、 これらSxx,Sxy,Syyに基づいて、先鋭性、等方性、偏平
   性、主方向、および最大曲率のいずれかの静止画の画像
   の特徴抽出を行う特徴抽出回路とを具備することを特徴
   とする画像の特徴抽出装置。
2. 【請求項２】先鋭性として「Sxx＋Syy」を、等方性とし
   て「Sxx・Syy−Sxy²」を、偏平性として「｛Sxx−Syy）
   ²＋4Sxy²｝^1/2」を、主方向として「［Sxx−Syy−｛（S
   xx−Syy）²＋４Sxy²｝^1/2］/2Sxy」を、最大曲率として
   ［Sxx＋Syy＋｛（Sxx−Syy）²＋４Sxy²｝^1/2］/2」を、
   それぞれ主たる演算式として含む指標を用いて静止画の
   特徴抽出を行うことを特徴とする特許請求の範囲第１項
   に記載の画像の特徴抽出装置。