JP4185083B2

JP4185083B2 - 形状認識装置及びその方法

Info

Publication number: JP4185083B2
Application number: JP2005272970A
Authority: JP
Inventors: 修山口; 和広福井; 恭一岡本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2005-09-20
Filing date: 2005-09-20
Publication date: 2008-11-19
Anticipated expiration: 2015-09-07
Also published as: JP2006084473A

Description

本発明は、画像処理における形状認識装置及びその方法に関する。

モデル当てはめにより形状を抽出する方法としては次のようなものがある。

テンプレートマッチングは、一定の曲線や画像としてモデルを記述し、モデルと対象画像の間の類似度を判定することによって対象認識を行う。このテンプレートマッチングには、モデルの記述として画像の明度分布をそのまま用いるものと、二値画像を用いてモデルの形状をエッジ点の集合として表現するものがある。前者は明度分布の類似度を測ることによって形状認識を行う。後者は、まず画像の明度分布に基づいてエッジの強度画像を作り、そのエッジ強度画像を二値化することによって二値画像を作る。そして、二値画像の点集合とモデルの点集合の類似度を計算するというものである。

一般化ハフ変換（例えば、非特許文献１参照）は、モデルを輪郭線上の点のリストとして記述し、その平行移動、回転、拡大縮小の表すパラメータが使われる。この変換は、パラメータ空間への”投票”によって、パターンが表すもっとも適切なパラメータの位置に局所的なピークを形成するように変換される。このハフ変換は、部分的にデータが欠けているような場合でもうまく照合が行えるといった利点がある。

次に、モデルと画像データとの適合性がある目的関数（エネルギ）によって測られ、その関数の値の最小化などによってモデルの照合が行われるものがある。

例えば最近では、非特許文献２のスネークなどがある。

これらのモデル当てはめには、生の画像データをそのまま用いるもの、または対象のもつ他の特徴、例えばエッジ強調フィルタや線強調フィルタといった低レベルの画像処理を行った画像データを使うものもある。

本発明では、エッジデータを用いて、ノイズ、外乱に強い安定した形状認識について考える。そのためにまず、物体輪郭や物体内部の構造を反映したエッジ情報を抽出する手法について挙げる。

エッジの抽出方法には、画像の明度勾配に基づく方法とエッジ近傍領域の情報に基づく方法がある。画像の明度勾配に基づく方法は、明度勾配が急激に変化する位置をエッジとして抽出するもので、１次微分型のRobertｓ、Prowitｔ、Sobel や２次微分型のLaplacian などの方法がある。エッジ近傍領域の情報に基づく方法としては、エッジモデルの当てはめを局所領域に対して行うHueckel の方法などがある。

明度勾配に基づいたエッジ抽出は、弱いエッジを抽出できないといった問題や色相画像など他のエッジ強度に拡張し難いといった問題がある。明度勾配エッジ抽出を用いた、従来法の対象認識についての問題点をまとめる。

テンプレートマッチングはテンプレートに対して、画像データにわずかな変動があった場合に弱いという特徴を持つ。一般化ハフ変換については、エッジ点の数に投票数が影響を受ける。エッジ点の有無のみが問題となり、エッジ抽出の性能の影響を非常に受ける。スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけによって、柔軟でノイズに強いという性質を持つ。しかし、なお局所的なエネルギーの最小値に落ち込むという欠点がある。

これらの問題を解決するために、エッジ近傍領域の情報に基づく方法を用いることが考えられる。エッジを画像の明度だけでなく、色、テクスチャの異なる領域間の境界としてとらえ、エッジ強度をこれら領域間の特徴量から計算する方法が、非特許文献３で提案されている。

「分離度」とは、データの集合を幾つかの部分集合に分割した場合に、それぞ
れの部分集合がどの程度分離されているかを表す量である。これは、集合全体のデータの特徴に対する部分集合のデータの特徴の割合で表され、その値は０．０〜１．０の値をとる。

今、図２のように、画像中の２つの領域を上記の２つの集合と考えた場合、分離度が大きい程、領域の境界に、強いエッジが存在することになる。つまり、ある画素を境とする２つの領域について考えると、その画素における分離度が大きければ、その画素には強いエッジが存在するということができる。

分離度Ｓは次の式で与えられる。

この手法はエッジを安定に抽出できるという利点があるものの、逆に、分離度は画像抽出量の差に依存したものではないため、対象物のエッジを抽出するためには分離度をそのまま用いるには不十分であるとの観点から、重みつき分離度（例えば、特許文献１参照）も提案されている。重みつき分離度は、対象物の存在位置、色情報、テクスチャ情報などを利用して選択的に対象物のエッジを抽出することを目的として、位置に関する重み付けと画像特徴の重み付けを分離度の式に組込んだ形をとる。
Ballard,D.H．"Generalizing the Hough transform to detect arbitary shapes" Pattern Recognition.13,111-122(1981) M．Kass,A.Witkin,D.Terzopouls，"Snakes:Active Contour Models",In Proc.1st Int.Conf.on Computer Vision,pp.259-268(1987) 領域間の分離度に基づくエッジ抽出、情報処理学会コンピュータビジョン研究会資料87-1(1994) 特願平７−７４９９号（特開平８−１９６５２０号公報）

上述した分離度を用いて適当な大きさ、形状のマスクを設定し、画像に適用し、従来法に効果的なエッジ強度画像を生成することができる。しかし、このような単純な使い方では不十分である。

図３（ａ）で示したような画像データにおける、緩やかなエッジで構成されている対象の物体認識について考える。

この図では、ア、イ、ウ、エの４点に対してエッジ強度を図３（ｂ）に示す。エッジの強度について考えると、対象を構成しているエッジ強度が図３（ｃ）のように単調に変化している場合や撮影時のボケによる影響により弱くなっている場合、二値化によりエッジ画像を作ると、閾値の設定方法によってはエッジ点と
して抽出されないこともある。

しかし、図３（ａ）のように同じように連続した弱いエッジを持つ場合は物体として認識されなければならない。

このような実際の対象としては人間の目の瞳などがある。

顔画像を通常室内環境で撮影し、撮影された瞳の形状抽出を行おうとする場合、図８において、（１）〜（３）で示すような問題が挙げられる。

ようになる。

（１）まぶた、まつげ等に瞳の一部を隠されてしまうため推定が不安定である（図８ア）。

（２）蛍光灯の写り込みにより、非常に強いエッジが画像中にできてしまう（図８イ）。

（３）虹彩と白目の間はなだらかに変化しており、弱いエッジで構成されている（図８ウ）。

従来の対象認識法は、エッジ強度、エッジ点の幾何学的配置についての考慮はなされているが、隣接するエッジ点同士の関係としてのエッジの方向性とエッジ強度の類似性には着目していない。

例えば、一般化ハフ変換におけるエッジ点同士の関係は、エッジ点の集合として表される幾何学的配置関係のみである。

また、スネークモデルは、制御点同士を結び付ける弾性エネルギ関数による関連づけや、最適化のための制御点同士の情報交換等があるが、積極的に関係情報を利用したものではない。また、楕円等の形状をパラメータ表現できる場合、楕円を構成するエッジ点を抽出し、最小自乗法等によって楕円のパラメータを求めることによって、検出を行っていた。しかし、最小自乗法による楕円の当てはめには、最小自乗法に偏差があることが知られていることや楕円の一部が隠されてしまうことによって、推定が不安定になるという問題がある。このように従来の形状抽出はノイズや外乱に弱かった。

そこで、本発明による装置では、ノイズ、外乱に強く、安定した形状認識が行えるものを提供する。

本発明は、認識対象物を擬似的に表したモデルを画像に当てはめて、その画像中に写っている前記認識対象物の形状を認識する装置であって、前記画像を入力する画像入力部と、前記モデルを前記画像に当てはめるために、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定するアフィン変換計算部と、前記パラメータに基づいてアフィン変換された前記モデルの輪郭に沿って複数の部分マスクを設定する組合せマスク構成部と、前記アフィン変換された前記モデルを前記画像に当てはめて、前記各部分マスク中の前記画像のそれぞれの分離度、若しくは、エッジ強度、又は、エッジ方向を示すエッジ特徴量を計算し、前記各エッジ特徴量から前記アフィン変換されたモデル毎の組合せエッジ特徴量を、隣接する前記部分マスク間の前記エッジ特徴量の差が小さいほど大きな値を出力する関数と前記部分マスクの前記エッジ特徴量の総和との重み付き和により計算する演算部と、前記アフィン変換計算部によって前記パラメータの設定を変化させる毎に、前記アフィン変換されたモデルの組合せエッジ特徴量を前記演算部によって計算して、前記変化したパラメータの中で最も前記組合せエッジ特徴量が高いパラメータを求める評価値計算部と、を有する形状認識装置である。

本発明によれば、最も評価の高いと判断されたパラメータに基づいて、モデルを画像に当てはめると、そのモデルの位置、姿勢、大きさで決定される箇所に、目的の形状が存在する。したがって、ロバストな形状認識が行え、さまざまな画像処理装置で応用が可能である。

以下に本発明の実施の形態における実施例を説明する。

なお、本実施例は、人間の目の瞳の部分の形状認識を行うという状況での一実施例について説明する。ＣＣＤカラーカメラを用いて取得した顔画像では、図７のように、瞳の形状が楕円として撮影される。この瞳の形状を楕円として近似しその楕円パラメータを求めることについて考える。

形状認識装置１００のブロック図を図１に示す。

画像を入力するために必要なＡ／Ｄ変換や入力変換手段と画像蓄積部からなる画像入力部１０１、取得した画像の前処理するための画像前処理部１０２、そして形状抽出を行う形状抽出部１０３から構成される。

（１）画像入力部１０１
画像入力部１０１について説明する（図４参照）。

画像入力部１０１は、カラーＣＣＤカメラ１、ビデオボード２、画像を蓄積するメモリ３からなる。なお、画像入力部１０１は、ＣＣＤカメラ１からの入力に限らずビデオ等の映像出力機器やＸ線撮影装置等で得られた画像をビデオボードの端子から入力することもできる。

（２）画像前処理部１０２
画像前処理部１０２について説明する（図５参照）。

画像入力部１０１に入力された画像を明度画像、色相画像、彩度画像といった画像に変換する演算装置４と、これら変換した画像を保存する画像蓄積部５からなる。

ＣＣＤカメラ１によって取得されたカラー画像はＲ、Ｇ、Ｂの３枚の画像からなる。演算装置４は、画像中のある一点（ｘ，ｙ）のそれぞれのＲ，Ｇ，Ｂ画像の値を、（Ｒ，Ｇ，Ｂ）として、このＲＧＢカラー空間における色表現をＨＳＶカラー空間(Computer Graphics 2nd edition(Addison Wesley)pages 592-593)やＧＨＬＳカラー空間(GLHS:A generalized Lightness,Hue,and Saturation Color Model,Haim Levkowitz and Gabor T.Herman, CVGIP Graphical Models and Image Processing(GMIP)Volume 55,Number 4,July 1993)での色表現に変換する。画像蓄積部５のメモリから、（ｘ，ｙ）の位置に対応するＲ，Ｇ，Ｂ値を読みとり、上記した変換アルゴリズムによって（Ｒ，Ｇ，Ｂ）→（Ｈ，Ｓ，Ｖ）に変換し、その（Ｈ，Ｓ，Ｖ）の値を画像蓄積部５のメモリに記憶させる。

なお、本実施例では、画像入力部１０１と画像前処理部１０２とを別の構成にしたが、これに限らず、両者を一体として画像入力部としてもよい。

（３）形状抽出部１０３
形状抽出部１０３について説明する（図６参照）。

形状抽出部１０３は３つの構成からなり、マスクを構成するマスク構成部６、
各マスク内の特徴量を抽出する特徴量抽出部７、各マスクで得られた特徴量を組み合わせて、形状抽出の評価値を計算する組合せ評価値計算部８からなる。

形状抽出部１０３については、「組合せ分離度」を用いて説明する。

なお、前記で説明した式（１）で求められる分離度を、以下で説明する「組合せ分離度」と区別するために「単純分離度」と呼ぶ。

「組合せ分離度」は先に説明した単純類似度のマスクを、エッジ方向と幾何学的位置関係を考慮して、複数個配置し、それらを関係づける評価関数によって求められる。

図９に示すように楕円状に分離度を求めるためのマスクを配置する。これを部分マスクと呼ぶ。楕円の接線方向に垂直な直線上（エッジ方向）に部分マスクを配置する。そして、各部分マスクについて、各分離度の計算を行う。組合せ分離度Ｃ（０．０≦Ｃ≦１．０）を次式のように定義する。

または、

但しＧ，Ｅは次のようにして求められる。

Ｇは隣接する部分マスク間の分離度の差をとり、その差が小さいときによい評価を与えるという、複数あるマスク間の幾何学的配置とエッジの類似度を評価する関数である。

部分マスクＭｉ（ｉ＝１〜ｎ）の単純分離度をＳ（Ｍｉ）で表す。各部分マスク間の差の絶対値を取り、１．０から引いた値を各マスク間の「類似度」として定義し、これより次式で表される。

Ｅは各部分マスクで計算された分離度の総和を取り、全体のエッジ強度を表す。

Ｇ，Ｅの値が、０≦Ｇ、Ｅ≦ｎとなるため、式（２）のように、正規化を行う。

α、βそれぞれの重みについて実験等によって決定する。一般には、α＝０．５、β＝０．５として評価する。例えば、α＝１、β＝０として、エッジ間の類似度のみを評価するようにすることも可能である。これは、あらかじめ物体の存在する位置等がわかっており、非常にエッジ間の類似度が高い場合に利用される。

式（３）は、Ｇ，Ｅのそれぞれを正規化した値を掛け合わせることによって評価しており、全体のエッジ強度とエッジ間の類似度のバランスに敏感な評価関数となる。

そして、瞳の形状を楕円として抽出する場合の形状抽出部１０３についての機能、動作の説明を行う。

（３−１）マスク構成部６
マスク構成部６は、形状記述記憶部９、アフィン変換計算部１０、組合せマスク構成部１１からなる（図１０参照）。

（３−１−１）形状記述記憶部９
形状記述記憶部９は、抽出したい形状（モデル）が格納されている。すなわち、モデルはエッジのサンプル点（ｎ個）と、その点におけるエッジの方向の情報が図１１のモデル記述テーブルに格納されている。

楕円の場合では、楕円の中心座標（ｘ０，ｙ０）、半径（長軸の長さの１／２）ｒ、長軸と短軸の比ｂ（０．０＜ｂ≦１．０）、長軸と座標系のＸ軸とのなす角θによって決定される。これらの楕円パラメータを決定し、そのサンプル点（ｘ
ｉ，ｙｉ）を与え、楕円上の点（ｘｉ，ｙｉ）におけるエッジ方向については、
中心と点（ｘｉ，ｙｉ）を結ぶ直線がＸ軸となす角度をθｐとすると、エッジ方向は、

で計算される。

例えば、図９のように、点（ｘｓ，ｙｓ）では、エッジの方向が矢印のように求められる。このエッジ方向をモデル記述テーブルに記述する。

（３−１−２）アフィン変換計算部１０
アフィン変換計算部１０について説明する。

モデルは図１２のように、画像データ中では平行移動、回転、拡大縮小されている場合がある。モデルにアフィン変換を施し、そのモデルの当てはめを行うことで変換に対応した検出を行う。

図１１のモデル記述テーブルの各点（ｘｉ，ｙｉ）に関して、アフィン変換マトリクスＡは、

を

に対して以下のようにｐ’を求める。但し、Ｔは平行移動、Ｒは回転変換、Ｚは相似変換の行列を表す。

このｐ’を別に用意する一時保管テーブルに登録する。また、このアフィン変
換の回転成分Ｒをそれぞれのエッジ方向に足し合わせて、同様に一時保管テーブ
ルに登録する。

抽出したい対象が画像データ中のどの辺りにあるかという探索範囲やどのくらいの抽出精度が必要かに応じて、変換パラメータの変動範囲を決定する。アフィン変換の平行移動成分、回転成分、拡大縮小成分においてそれぞれ、可変範囲と刻みを決定し、その範囲での変換パラメータから変換マトリクスを生成し、一時保管テーブルに登録する。

（３−１−３）組合せマスク構成部１１
組合わせマスク構成部１１について説明する。

アフィン変換計算部１０で変換された一時保管テーブルに基づいて、計算を行うマスクを設定する。例えば、分離度を用いた場合、分離度マスクは図２のようなマスクを構成する。このときマスクの方向が図９のように、楕円のパラメータ（ｘ，ｙ，ｒ，ｂ，θ）によって計算される楕円上にエッジ方向と平行となるようなマスクを構成する。マスクの大きさ、形状については取得する画像抽出量に応じて定める。なお、本実施例では、矩形のマスク領域を用いて説明する。

（３−２）特徴量抽出部７
特徴量抽出部７について説明する（図１３参照）。

特徴量抽出部７は、画像メモリ１２、演算装置１３、特徴量蓄積部１４からなる。

（３−２−１）画像メモリ１２
画像メモリ１２は、画像前処理部１０２で計算された画像を転送し保持する役割をもつ。

（３−２−２）演算装置１３
演算装置１３は、組合せマスク構成部１１において構成されたマスクにしたがって、画像メモリ１２中に蓄えられている画像の輝度、色相といった値を読みとり、マスクで定義されている特徴量を算出する。

算出された結果は、特徴量蓄積部１４に保存される。この説明では特徴量として分離度を用いているので、各部分マスクについて明度画像を用いて、それぞれ
の式（１）の分離度を計算し、それぞれの分離度が格納される。式（１）におけ
る画像抽出量Ｐｉは、本実施例では分離度を算出するための明度となる。

なお、特徴量として分離度だけではなく、他の特徴量も利用でき、これについては変形例で述べる。

（３−３）組合せ評価値計算部８
組合せ評価値計算部８は、組合せ特徴量計算部１５、評価記憶部１６、結果記憶部１７とよりなる（図１４参照）。

組合せ特徴量計算部１５は、式（２）（３）で定義される組合せ分離度Ｃを求める。組合せ分離度Ｃは、式（２）（３）のどちらか一方から演算した値を使用する。

その組合せ分離度Ｃを評価値記憶部１６に登録する。この評価値記憶部１６では、各組合せ分離度Ｃと式（７）の変換のパラメータＡを対にして記憶する。そして、一番高い組合せ分離度Ｃ（最も１に近い組合せ分離度Ｃ）を持つときのパラメータＡが結果記憶部１７に送られる。

（３−４）形状抽出部１０３の動作
図１５は、形状抽出部１０３の動作をフローチャートに示したものである。

ステップ５１では、マスク構成部６の形状記述記憶部９、アフィン変換計算部１０によって楕円のパラメータが計算される。

ステップ５２では、組合せマスク構成部１１によって、マスク生成が行われる。

ステップ５３では、特徴量抽出部１４により、部分マスクの計算が行われる。

ステップ５４では、組合せ分離度Ｃの計算が、組合せ評価値計算部１５でなされ、そして、評価値記憶部１６では、組合せ分離度Ｃの大きい順にデータをソートする。

ステップ５５では、これにより、組合せ分離度Ｃの更新が行われる。

ステップ５６では、楕円のパラメータを変化させながら、組合せ分離度Ｃの計算を行うが、探索範囲を全て終了したかどうかを判断し、終了の場合、一番高い
組合せ分離度Ｃを持つとき（最も１に近い組合せ分離度Ｃ）の楕円パラメータＡ
を結果記憶部１７に送り、ステップ５７において、その時の楕円パラメータＡを持つ検出楕円とする。終了していない場合、ステップ５１に戻り、楕円パラメータの更新を行い、処理を繰り返す。

（４）変更例
本発明は上で述べた実施例に限定されるものではない。

全体の構成についての変形例として、画像メモリが各部分に点在するが、これを一つにまとめた構成とし、各演算装置がそのメモリをアクセスできるように構成を変更してもよい。

また、ＣＣＤカメラのみの入力だけでなく、ＭＲＩ画像やＸ線ＣＴ画像、超音波画像、ＳＰＥＣＴ画像等の入力でも可能である。たとえば、人間の肝臓部分の輪郭抽出等に有効と考えられる。

画像前処理部１０２は、色空間の変換だけでなく、平滑化等のフィルタリング等の画像の変換を行うように変形できる。

特徴量抽出部７についての変形例をいくつか挙げる。

本実施例では楕円形状の抽出について述べたが、楕円形状だけに限らず、図１２のように、テーブルの構成内容により、様々な形状に対応可能である。

組合せ特徴量について次のように変形できる。

上記実施例で説明した複数のマスクで計算される特徴量から評価値を算出するだけでなく、予め決められた形状をした一つのマスクを用いて特徴量を算出し、それを評価値として用いる。この一つのマスクの形状はモデルを参考にして決定する。

例えば、図１８のような、楕円の輪郭に沿った、２つの領域の分離度を計算し、それを評価関数とする。

この場合の組合せマスク構成部の変形例は、図１８のように、一時保管テーブルに基づいて楕円の輪郭に沿って、２つの領域を設定する。各領域の面積などについては、画像抽出量に応じて定める。

また、予め決められた形状をもつマスクを一つだけ用いた方法の場合の組合せ
評価値計算部の変形例として、評価値Ｃの計算方法を（数２）についてα，β＝１，ｎ＝１，Ｇ＝０、（数３）についてｎ＝１，Ｇ＝１として、計算する。

分離度はテクスチャ画像のエッジ強度等も計算できるため、複雑なテクスチャ中の形状認識等も可能となる。また、本実施例のように明度画像のみを用いるのではなく、他の画像前処理部で得られる色相画像等を用いた、様々な分離度を計算できる。

組合せ特徴量についての計算式を次のような形に変形できる。

これにより、Ｃ’の値は、０．０〜１．０の間に収まらなくなるが、値の大きなものを形状として抽出することができる。このように、様々に評価関数を設定でき、組合せた特徴量のもっとも高い値を持つときの形状パラメータを求めることができる。

特徴量として分離度だけではなく、他の特徴量も利用できる。例えば、Sobel フィルタによるエッジ抽出によってエッジ強度を計算し、特徴量として利用する。この場合もエッジの強度の類似度を計算する。しかし、Sobel フィルタでは、分離度とは異なりマスク形状の方向性はない。そこで、計算されたエッジの方向における隣接したエッジ点の同士の類似度を計算する式を次のように定義し、隣接した２つのエッジ点のエッジ方向の角度をθ１、θ２とする。θ１、θ２が直交するとき最小となる角度間の評価関数を

のように設定し、この評価関数を組み込んだ形式に変形する。

また前述のように、分離度以外の特徴量を用いる場合、特徴量を計算するマスクが必要のない場合も存在する。マスク構成部を除いた構成に変形しても良い。

特徴量抽出部の動作は、図１５に示したように、繰り返し計算による探索だけではない。別の例として、図１６のように、予め数種類のエッジ方向のマスクを画像に適用しておき、多数のエッジ強度画像を作成しておく。そして、パラメータ空間を用意しておき、すべてのエッジ強度画像から得られた特徴量をパラメータ空間に投票を行う。そしてパラメータ空間のピークの位置を検出するといった、ハフ変換に似たアルゴリズムを用いる変形例がある。

また、本実施例は瞳の形状抽出について説明したが、先に示したように、その他の形状抽出も可能であると述べた。この時並列に異なる形状テーブルのものを探索することによって、複数形状を同時に抽出できるように拡張が可能である。具体的な応用としては、口形状を抽出する場合に有効である。図１７（ａ）（ｂ）（ｃ）（ｄ）のように、口の開け方（大きさ）に応じたいくつかの口形状モデルを用意する。そしてそれぞれに対して、図１７（ｄ）のように、分離度マスクを設定し抽出を行う。

また、一つのモデルが、画像データ中に複数の存在し、同時に複数個選択したい場合、評価値記憶部１６に記録されている候補から複数結果を出力するように、評価値記憶部１７と結果記憶部１８を変形できる。

以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。

形状認識装置のブロック図である。分離度を示す図である。弱いエッジで構成される物体の認識を示す図である。

（ａ）は、弱いエッジで構成される物体の図である。

（ｂ）は、エッジ強度を示すテーブルである。

（ｃ）は、明度分布のグラフである。
画像入力部のブロック図である。画像前処理部のブロック図である。形状抽出部のブロック図である。楕円形状として撮影される瞳を示す図である。目を取得した画像の不安定性を示す図である。

（ａ）は、目の正面図である。

（ｂ）は、明度分布のグラフである。
組合せ分離度マスクを示す図である。マスク構成部のブロック図である。モデル記述テーブルを示す図である。モデルと画像データのアフィン変換による関係を示す図である。特徴量抽出部のブロック図である。組合せ評価値計算部のブロック図である。形状抽出部のフローチャートである。形状抽出部の変形例の概念図である。口形状の検出を示す図である。変形例におけるマスク領域の説明図である。

符号の説明

１００形状認識装置
１０１画像入力部
１０２画像前処理部
１０３形状抽出部

Claims

認識対象物を擬似的に表したモデルを画像に当てはめて、その画像中に写っている前記認識対象物の形状を認識する装置であって、
前記画像を入力する画像入力部と、
前記モデルを前記画像に当てはめるために、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定するアフィン変換計算部と、
前記パラメータに基づいてアフィン変換された前記モデルの輪郭に沿って複数の部分マスクを設定する組合せマスク構成部と、
前記アフィン変換された前記モデルを前記画像に当てはめて、前記各部分マスク中の前記画像のそれぞれの分離度、若しくは、エッジ強度、又は、エッジ方向を示すエッジ特徴量を計算し、前記各エッジ特徴量から前記アフィン変換されたモデル毎の組合せエッジ特徴量を、隣接する前記部分マスク間の前記エッジ特徴量の差が小さいほど大きな値を出力する関数と前記部分マスクの前記エッジ特徴量の総和との重み付き和により計算する演算部と、
前記アフィン変換計算部によって前記パラメータの設定を変化させる毎に、前記アフィン変換されたモデルの組合せエッジ特徴量を前記演算部によって計算して、前記変化したパラメータの中で最も前記組合せエッジ特徴量が高いパラメータを求める評価値計算部と、
を有する形状認識装置。
前記マスク構成部は、前記部分マスクを前記モデルの輪郭の接線方向に垂直な直線上に、かつ、前記輪郭を跨ぐように配置する、
請求項１記載の形状認識装置。
前記演算部は、前記エッジ特徴量を前記部分マスク内の画像の明度から計算する、
請求項１記載の形状認識装置。
認識対象物を擬似的に表したモデルを画像に当てはめて、その画像中に写っている前記認識対象物の形状を認識する方法であって、
前記画像を入力する画像入力ステップと、
前記モデルを前記画像に当てはめるために、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定するアフィン変換計算ステップと、
前記パラメータに基づいてアフィン変換された前記モデルの輪郭に沿って複数の部分マスクを設定する組合せマスク構成ステップと、
前記アフィン変換された前記モデルを前記画像に当てはめて、前記各部分マスク中の前記画像のそれぞれの分離度、若しくは、エッジ強度、又は、エッジ方向を示すエッジ特徴量を計算し、前記各エッジ特徴量から前記アフィン変換されたモデル毎の組合せエッジ特徴量を、隣接する前記部分マスク間の前記エッジ特徴量の差が小さいほど大きな値を出力する関数と前記部分マスクの前記エッジ特徴量の総和との重み付き和により計算する演算ステップと、
前記アフィン変換計算ステップによって前記パラメータの設定を変化させる毎に、前記アフィン変換されたモデルの組合せエッジ特徴量を前記演算ステップによって計算して、前記変化したパラメータの中で最も前記組合せエッジ特徴量が高いパラメータを求める評価値計算ステップと、
を有する形状認識方法。
認識対象物を擬似的に表したモデルを画像に当てはめて、その画像中に写っている前記認識対象物の形状を認識するプログラムであって、
前記画像を入力する画像入力機能と、
前記モデルを前記画像に当てはめるために、前記モデルの前記画像中における位置、姿勢または大きさを決定するアフィン変換用のパラメータを設定するアフィン変換計算機能と、
前記パラメータに基づいてアフィン変換された前記モデルの輪郭に沿って複数の部分マスクを設定する組合せマスク構成機能と、
前記アフィン変換された前記モデルを前記画像に当てはめて、前記各部分マスク中の前記画像のそれぞれの分離度、若しくは、エッジ強度、又は、エッジ方向を示すエッジ特徴量を計算し、前記各エッジ特徴量から前記アフィン変換されたモデル毎の組合せエッジ特徴量を、隣接する前記部分マスク間の前記エッジ特徴量の差が小さいほど大きな値を出力する関数と前記部分マスクの前記エッジ特徴量の総和との重み付き和により計算する演算機能と、
前記アフィン変換計算機能によって前記パラメータの設定を変化させる毎に、前記アフィン変換されたモデルの組合せエッジ特徴量を前記演算機能によって計算して、前記変化したパラメータの中で最も前記組合せエッジ特徴量が高いパラメータを求める評価値計算機能と、
をコンピュータによって実現する形状認識プログラム。