JP5290915B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は画像の特徴抽出手法および該特徴抽出手法を用いた画像処理に関する。

画像中の物体の輪郭を、輪郭候補となる画素の近傍の画像特徴を利用して抽出する技術が知られている。特許文献１は、エッジ領域抽出時に注目画素周辺の所定のマスク領域内の画素の統計的特徴量と、注目画素のエッジ強度に基づき、エッジ領域とそれ以外とを識別する閾値を変化させる技術を開示する。これにより、一定の閾値を用いてエッジ領域を識別する方法に較べ、確実かつ効率的にエッジ領域を識別することができる。

また、特許文献２は、輪郭追跡方法を開示する。この方法では、画像中の物体の輪郭上の１画素を始点とし、当該画素から所定範囲内に含まれる画素を輪郭候補点とする。そして、各輪郭候補点とその周辺画素とにおける色を表す画像データに基づいて、輪郭候補点が輪郭上の点かどうかを判別し、輪郭を追跡する。

特開平８−１６７９３号公報 特開平５−３２４８３０号公報

しかしながら、特許文献１や特許文献２に開示される技術では、注目画素の近傍領域を設定する際に、適切な範囲や形状の領域を自動的に定めることができない。

特許文献１に開示する技術では、画像中の指定された点に対して、マスク領域を設定していたが、マスク領域の形状や範囲をどのようにとるかという問題が残されていた。また、背景が複雑な環境下における画像を処理の対象とする場合、境界は領域を２分するものばかりでなく、Ｔジャンクションなどの分岐点が存在する。その場合、単純な内側と外側という領域のマスク領域を設定することはできず、輪郭の形状や周辺の輝度勾配を考慮したマスク領域を設定する必要がある。

また、特許文献２に開示される技術では、輪郭候補点それぞれと各輪郭候補点の周囲の画素とにおける色を表す画像データに基づいて、輪郭候補点が輪郭上の点かどうかを判別していたが、候補点周囲の画素をどの範囲までとるかという問題が残されていた。この問題であるが、例えば、隣接画素のみをその範囲とする場合では、画像ノイズの影響を強く受ける。そのため、適切な範囲の近傍領域を設定し、その領域における画素値の平均値やヒストグラムなどの統計量を用いることでノイズの影響の軽減を図る必要がある。この場合、特に対象の輪郭付近においては、輪郭の凹凸の細かさに対して大きい領域や、輪郭の形状に対して不適切な形状の領域を設定すると、本来対象側に属する画素群のみで構成されているべき領域内に、背景側に属する画素群も混入することが起こる。そのため、この場合も同様に、輪郭の形状や周辺の輝度勾配を考慮した部分領域を設定する必要がある。

周辺の輝度勾配に応じた部分領域を設定する方法には、Harris-Affine Region Detectorが知られている。Harris-Affine Region Detectorについては、クリスチアン・ミコラスキ、コルデリア・シュミット等の「スケール及びアフィン不変注目点検出器」コンピュータビジョン国際論文誌、61(1),63から86ヘ゜ーシ゛,2004年(Krystian Mikolajczyk and Cordelia Schmidt，"Scale & Affine Invariant Interest Point Detectors,"International Journal of Computer Vision,60(1),pp.63--86, 2004.)に記載されている。

この技術は同一のシーンや物体を異なる角度から見た２つの画像があった場合に、部分画像同士の対応をとるための技術である。しかし、輪郭追跡法などのように、物体の輪郭を順次つなぎ合わせて輪郭を抽出するような手法に適用することを考えた場合、実画像中では背景が均一ではないため、部分画像の中でも対象物体に属する部分同士に関して対応をとる必要がある。

これらの点を鑑み、本発明では、輪郭抽出の際に、小領域から構成される基準領域を、対象物体の適切な範囲における輪郭の大域的な形状に応じて設定する。これにより輪郭候補点の探索範囲、および輪郭候補点が輪郭かどうかを判別する際に用いる画像特徴を適切に設定し、輪郭周辺の画素を輪郭の形状によらずに安定的に抽出する。すなわち、輪郭が滑らかな曲線と細かな凹凸を含む曲線とから構成されているような場合でも、正確に輪郭を抽出する。

上記課題を解決するための本発明は、画像中の物体の輪郭を抽出する画像処理装置であって、
前記画像から複数の境界候補点を抽出し、各境界候補点を中心とした、複数の小領域からなる基準領域を設定する領域設定手段と、
複数の前記基準領域の中から、第１の基準領域を設定する第１の基準領域設定手段と、
前記第１の基準領域に含まれる前記複数の小領域の中から第１の小領域を設定する第１の小領域設定手段と、
前記複数の基準領域の中から、前記第１の基準領域と形状に関する特徴が類似する第２の基準領域を設定する第２の基準領域設定手段と、
前記第２の基準領域に含まれる複数の小領域のうち、前記第１の小領域が有する特徴量と類似する特徴量を有する小領域を、第２の小領域として設定する第２の小領域設定手段と、
前記第１の基準領域、前記第２の基準領域、前記第１の小領域及び前記第２の小領域を関連づけて格納する記憶手段と、
前記記憶手段に格納されている情報に基づき、前記境界候補点を追跡して前記物体の輪郭を抽出する輪郭抽出手段とを備えることを特徴とする。

本発明によれば、画像中の複雑な形状の輪郭をした物体を背景中から抽出することができる。

実施形態における処理対象画像の一例を示す図。 実施形態における輪郭抽出結果の一例を示す図。 実施形態における画像処理の過程の一例を示す図。 実施形態の画像処理装置の構成例を示す図。 実施形態の画像処理装置による画像処理の一例を示す図。 実施形態の画像処理装置による画像の統合を説明する図。 実施形態における第２の基準領域の選択を説明する図。 実施形態における第２の小領域の選択を説明する図。 実施形態の画像処理装置の処理のフローチャート。

以下、添付図面を参照して、発明の実施形態を詳細に説明する。本実施形態に係る画像処理装置は、画像中の輪郭の大域的な形状に基づいて設定された、複数の小領域から構成される基準領域内の画像特徴量を用い、輪郭近傍の画素のグループ化を行う装置である。

以下、図を用いて一例を示す。本実施形態では、複数物体と背景からなる静止画像中から、色情報を利用した画像特徴に基づき、境界の近傍画素の評価を行う場合について説明する。本実施形態に関わる画像特徴は色情報を利用しているが、これに限定するものではなく、他の画像情報、例えば、輝度値や動きベクトルなど、静止画および動画より得られる画像情報ならば、これを用いることができる。

図１（ａ）は本発明が対象とする画像の一例で、図形（丸）１１０、図形（四角）１２０、図形（三角）１３０はそれぞれ異なる色情報の物体であり、それらが重なっている画像を表している。図１（ｂ）は、図形の境界近傍の境界候補点に対し、基準領域を設定した画像を表している。基準領域２１０は、丸１１０と四角１２０との境界近傍の点において設定された基準領域である。基準領域２２０はＴジャンクション近傍に位置する点において設定された基準領域である。「Ｔジャンクション」とは、図形の輪郭線同士が交差する領域である。例えば、基準領域２２０では、丸１１０の輪郭線と四角１２０の輪郭線とが交差している。

それぞれの基準領域は、周辺の色情報に対応して、さらに小さな領域へ分割されている。基準領域２１０に含まれる小領域と基準領域２２０に含まれる小領域のうち、同側にある小領域同士を比較する。比較の結果、もし両者の画像特徴量が類似するならば、基準領域２１０と基準領域２２０とは、比較に用いた小領域の画像特徴の下で同一のグループにあると判定される。この判定処理を繰り返し、最終的に図２のように各図形が有している色情報と輪郭形状の情報とを利用して輪郭をグループ化し、画像３１０から３３０を得る。

また本実施形態では、図３のように境界の形状が複雑な場合、輪郭の大域的な形状に基づいて、注目する範囲や形状を定めることで、適切な範囲の画像情報を参照して、輪郭近傍画素のグループ化を行うことができる。図３の基準領域４１０乃至４３０は、ある境界候補点を中心とし、後述する方法により設定された基準領域を示す。基準領域４１０と４２０とを比較すると、同様の大きさと形状をしているが、輪郭に沿うようにそれぞれの方向が設定されている。また、基準領域４３０を基準領域４１０や４２０と比較すると、近傍の輪郭の凹凸の細かさに応じた大きさと形状と方向に設定されている。

図４は本実施形態に係る画像処理装置１００の機能ブロック図である。当該画像処理装置１００の各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等の演算装置が実行することにより、ソフトウェア的に構成されてもよい。

画像入力部５０１は、実時間で撮影を行い画像データを生成する撮像装置であってもよいし、画像データを格納するストレージであってもよい。画像入力部５０１から入力された画像は、基準領域設定部５０２に出力される。基準領域設定部５０２は、画像入力部５０１から取得した画像中のある１点において、その点における画像特徴量が極値をとるようなスケールを求め、さらに、そのスケールに基づいた範囲の領域を設定する。

以下に具体的に方法を説明する。まず、ある点を中心とした領域の画素を用いて算出され、スカラー量として与えられる特徴量が、ガウシアン・スケール空間（Gaussian Scale Space）において極値をとるようなスケールを求める。ここでの特徴量には、例えば、輝度勾配強度やラプラシアンや各種のウェーブレット・フィルタの出力などが含まれる。ガウシアン・スケール空間については、「トニー・リンドバーグ、“自動スケール選択を用いたエッジ検出及びリッジ検出”コンピュータ・ビジョン国際論文誌、第30巻、第2号、117〜154ページ、1998年」（Tony Lindberg，”Edge Detection and Ridge Detection with Automatic Scale Selection,International Journal of Computer Vision,vol30,number2,pp117−154,1998．）に記載されている。ここで求めた極値が、所定の閾値より大きい場合、その点を境界候補点とし、その点におけるスケールに比例した大きさの円形または矩形の領域を仮領域として定める。

極値が小さく、境界候補点と判定されなかった点は、以降の処理では扱われない。次に、仮領域内の輝度値や勾配の広がり方を示す行列の固有値および固有ベクトルを求める。ここでの行列には、例えば輝度値や輝度勾配の共分散行列や二次モーメント行列などが含まれる。そして、固有ベクトルの方向を軸方向とし、対応する固有値に比例して設定された大きさを軸の長さとする楕円形領域を基準領域に定める。なお、本実施形態では、基準領域の形状を楕円としたが、長方形や、パラメタ表現された曲線で囲まれた形状など、任意の形状を用いてもよい。

次に、基準領域分割部５０３は、基準領域設定部５０２が設定した基準領域を複数の小領域に分割する。分割の具体例を図５により説明する。まず、図５（ａ）に示すように基準領域６００の中心６０１より放射状に等角度に設定した境界線によりＭ個の扇形領域６０２に分割する。次に、各扇形領域６０２の画像特徴量を算出する。本実施形態では、領域内の画素の色の平均値をＬ*ａ*ｂ*表色系で表現したものを画像特徴とするが、他の画像特徴を用いてもかまわない。次に、隣接する扇形領域６０２の類似性を評価する。例えば、ある扇形領域６０２を第１の領域とし、その色度を（Ｌ₁，ａ₁，ｂ₁）とする。また、第１の領域に隣接する第２の領域の色度を（Ｌ₂，ａ₂，ｂ₂）とする。この場合、類似度は以下の式で算出され、算出値が所定の閾値よりも小さい場合、第１の領域と第２の領域は類似と判定され、１つの領域に統合される。

｛(Ｌ₁−Ｌ₂)²＋(ａ₁−ａ₂)²＋(ｂ₁−ｂ₂)²｝^1/2
基準領域分割部５０３は、基準領域を分割して得られた小領域のうち、隣接する類似領域を１つの小領域として統合する処理を行い、最終的にｍ個（ｍ＜Ｍ、または、ｍ＝Ｍ）の複数の小領域を出力する。

次に、図５（ｂ）に示す基準領域６１０は、基準領域６００を構成する小領域６０２が統合された後の状態を示している。基準領域６１０は、最終的に小領域６１１と小領域６１２の２つの小領域に分割される。

小領域特徴抽出部５０４は、基準領域分割部５０３から出力された各小領域内における画像特徴量を算出する。ここでの画像特徴量は、基準領域分割部５０３が算出したものと同様とすることができる。但し、画像特徴量は色情報に限定されるものではなく、他の画像情報を利用して画像特徴量を算出して用いてもよい。次に、基準領域情報記憶部５０５は、基準領域の位置、境界、スケールの情報、および基準領域分割部５０３より出力されたｉ番目の小領域の位置および境界の情報と、小領域特徴抽出部５０４より出力された小領域の画像特徴とを対応づけて記憶する。なお、ｉは１からｍまでの整数のいずれかであり、ｍは対象とする基準領域を構成する小領域の個数を表す。

ここで図６を参照して具体的に説明する。まず、基準領域の位置は、図６（ａ）における基準領域の中心７０１の座標（ｘ,ｙ）である。次に、基準領域の境界は、基準領域の境界を形成する楕円の長軸長ｌ_a、短軸長ｌ_b、および長軸と画像のｘ軸とがなす角θ（−９０°＜θ＜９０°またはθ＝９０°）で表される。図６（ａ）において基準領域７００は、その長軸とｘ軸のなす角が−３０°である。また、スケールの情報は、基準領域設定部５０２によって求められた最適なスケールパラメータσである。

次に、ｉ番目の小領域の位置、境界の情報は以下のように定める。まず小領域の境界の情報について述べる。基準領域分割部５０３における処理過程において生成される中心角をＭ個に等分割した扇形に対して、基準領域７００内の楕円の長軸の正方向から反時計回りに番号を付す。図６（ｂ）では、１から８までの番号が付されている。また、最終的に統合された小領域を構成する両端の扇形の番号ｃ₁、ｃ₂を、反時計回りに出現する順に並べたものを小領域の境界の情報とする。例えば図６（ｃ）の基準領域７００において、小領域７１１は扇形５番と扇形７番を両端とするため、境界の情報は（５,７）となる。小領域７１２は扇形８番と扇形４番を両端とするため、境界の情報は（８,４）となる。

また、図６（ｃ）の基準領域７００にあるように、小領域の中心角を２等分する方向を指す単位ベクトル（ｅ₁，ｅ₂）を小領域の位置情報と定める。ｉ番目の小領域を構成する両端の扇形の番号ｃ₁, ｃ₂と、小領域の位置情報（ｅ₁，ｅ₂）と小領域内の色の色度の平均値（Ｌ，ａ，ｂ）とをひとつのベクトルｖ_i＝（ｃ₁, ｃ₂，ｅ₁，ｅ₂，Ｌ，ａ，ｂ）にまとめる。この時、基準領域情報記憶部５０５は、（ｘ,ｙ,ｌ_a,ｌ_b,θ,σ,ｖ₁，ｖ₂，・・・，ｖ_m）をひとつの構造体とし、基準領域情報として格納する。

第１の基準領域設定部５０６は、基準領域情報記憶部５０５に記憶されている基準領域のうち、比較に用いる第１の基準領域を選択する。第１の小領域設定部５０７は、第１の基準領域設定部５０６より出力された基準領域に属する小領域のうち、比較に用いる第１の小領域を定める。第２の基準領域設定部５０８は、第１の基準領域との比較対象となる第２の基準領域を定める。第２の基準領域の選定は、第１の基準領域のスケール及び形状の情報、第１の小領域の位置及び境界の情報をもとに行う。第２の基準領域は、第１の基準領域の楕円を所定割合で縮小または拡大した領域に含まれる境界候補点のうち、最も第１の基準領域と形状に関する特徴（形状と方向）が類似し、第１の基準領域との中心点間の距離が最も近い基準領域が選択される。なお、形状は基準領域の長軸と短軸との比で表すことができ、方向は、長軸または短軸の所定方向に対する傾きとして表すことができる。

ここで、図７を参照して、第２の基準領域の選択方法を具体的に説明する。図７では、第１の基準領域８０１と、その周辺の基準領域８０２、８０３、８０４が存在する場合を示している。領域８０１’は、第１の基準領域８０１を一定の割合で拡大した領域である。基準領域８０４は中心点がこの領域８０１’に含まれていないため、第２の基準領域として選択されない。また、基準領域８０２と８０３は中心点が領域８０１’に含まれているが、基準領域８０３の方が第１の基準領域８０１に類似した形状と方向を有するため、基準領域８３０が第２の基準領域として選択される。

ここで、基準領域の形状と方向の類似性の判定は、例えば、以下のようにして行われる。ある基準領域Ｒ_i関して、基準領域情報記憶部５０５の基準領域情報のうち、基準領域の境界を形成する楕円の長軸長ｌａと短軸長ｌｂの比をＳ_iとする。また角度をθ_i、スケールをσ_iとする。この時、第１の基準領域Ｒｆと該基準領域Ｒ_iとの類似度は、楕円の長短軸比Ｓ_f、角度θ_f、スケールσ_fについて以下の３つの評価式により評価される。

｜Ｓ_i−Ｓ_f｜＜Ｓ_th、｜θ_i−θ_f｜＜θ_th、｜σ_i−σ_f｜＜σ_th
ここで、Ｓ_th、θ_th、σ_thは所定の閾値である。θ_i、σ_iはそれぞれ、基準領域情報記憶部５０５に記憶されている、対応する基準領域Ｒ_iの長軸の角度、およびスケールパラメータである。この３つの評価式全てを満たすような複数の基準領域のうち、第１の基準領域との中心点間距離が最小の基準領域を第２の基準領域として選択する。

これにより、第２の基準領域を選択する際に、大域的な輪郭形状などの周辺の画像情報を考慮した選択を行うことができる。よって、単純に隣接エッジ点を探索するような輪郭追跡方法において課題であった、エッジ点の不連続性やノイズによりグルーピングが失敗するという問題が解決される。また、隣接画素のみを参照するような既存の領域成長手法と異なり、本件では境界領域を最もよく特徴づけるスケールによって定められた範囲における画像特徴量を参照することで、局所的なノイズの影響が低減される。

次に第２の小領域設定部５０９は、第１の基準領域のスケールと形状の情報、及び、第１の小領域の位置と境界の情報をもとに、第１の小領域との比較対象となる第２の小領域を定める。また、判定結果記憶部５１１にすでに判定結果がある小領域は選択対象から除く。

図８（ａ）、（ｂ）は、図１（ｂ）の基準領域２１０及び２２０を拡大して示している。基準領域２１０は、小領域９０１および９０２に分割されている。基準領域２２０は小領域９０３から９０５に分割されている。ここで基準領域２１０を第１の基準領域、小領域９０１を第１の小領域と、基準領域２２０を第２の基準領域と考える。この時、第２の小領域の候補は小領域９０３から９０５となり、第２の小領域は以下の内積演算で最も値が大きくなる領域として選択することができる。

ν₀・ν_i
ここで、ν₀，は基準領域２１０の中心を始点とし、小領域９０１の重心を終点とするベクトルである。また、ν_iは、基準領域２２０の中心を始点とし、小領域９０３から９０５のいずれかの重心を終点とするベクトルである。

特徴量比較部５１０は、第１の小領域設定部５０７によって設定された小領域内の画像特徴量と、第２の小領域設定部５０９によって設定された小領域内の画像特徴量とから類似度を算出する。算出した類似度が所定閾値以上である場合、比較した小領域同士が同一のグループに属すると判定する。類似度の算出は、例えば、基準領域分割部５０３において用いた算出手段と同様のものを用いる。判定結果記憶部５１１は、特徴量比較部５１０により類似と判定された場合に、第２の基準領域の座標、第２の小領域の番号とそれらが属すると判定されたグループの番号を関連づけて記憶する。

輪郭抽出部５１２は、判定結果記憶部５１１が記憶する情報に従い、構造体としてグループ化されている基準領域の境界候補点を追跡して、画像中の物体の輪郭を抽出する。

以上が、本実施形態にかかる画像処理装置に関する構成部分である。続いて、図１０のフローチャートを参照して、本実施形態の画像処理装置１００が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵなどにより読み出され、実行される。これにより、パーソナルコンピュータのような情報処理装置も、本実施形態の画像処理装置１００として動作可能である。まず、画像中からの特徴抽出をステップＳ１乃至Ｓ５で行い、次にステップＳ６乃至Ｓ１４において特徴量の類似度を用いて境界候補点のグルーピングを行う。

まず、Ｓ１において、基準領域設定部５０２が画像入力部５０１から入力された画像のある画素Ｐについて、楕円形状の基準領域を設定する。続くＳ２において、基準領域分割部５０３が設定された基準領域をｍ個の小領域に分割する。続いてＳ３において、Ｓ２で分割された各小領域の特徴量を抽出する。ここでの特徴量は、領域内の画素の色の平均値をＬ*ａ*ｂ*表色系で表現したものである。基準領域分割部５０３は、当該特徴量に基づき類似度の高い隣接小領域を統合する。

続いてＳ４において、Ｓ１で設定された基準領域について、基準領域情報を基準領域情報記憶部５０５に保存する。基準領域情報には、基準領域の位置、スケール、境界の形状と大きさ、及び内部の統合後の小領域の位置、境界、小領域内部の特徴量が含まれる。続くＳ５において、画面内に上記Ｓ１乃至Ｓ４の処理がなされていない画素があれば、その画素につき再びＳ１乃至Ｓ４の処理を行う。上記のＳ１乃至Ｓ５により、画像中からの特徴量抽出が完了する。

次にＳ６乃至Ｓ１４では、これら特徴量の類似度による境界候補点のグループ化を行う。まず、Ｓ６において、画像中のある基準領域Ａを第１の基準領域に設定する。この基準領域Ａは、例えば、画像から抽出した境界候補点のうち、座標の最も小さいもの（最も画像の左上にあるもの）を選ぶことができる。第１の基準領域の選択方法はこれに限定されるものではなく、基準領域の面積が最大のものや、座標が最も大きいものなどを選択してもよい。続くＳ７において、第１の基準領域の内部の小領域ａ₀を第１の小領域として設定する。この小領域ａ₀は、例えば、Ｓ１４によるチェック済み符号がついていない小領域の中で、例えば、最小番号、或いは最大番号の付された領域を含む小領域ものを選ぶことができる。

続くＳ８において、第１の基準領域の形状と方向の情報に基づいて、基準領域Ｂを、第１の基準領域との類似度を比較するための第２の基準領域に設定する。第２の基準領域の選択方法は、上述の通りである。続くＳ９において、基準領域Ｂ内の小領域ｂ_cを第２の小領域に設定する。第２の小領域ｂ_cは、例えば、第１の基準領域の中心から第１の小領域の中心を指すベクトルと、第２の基準領域の中心から第２の基準領域内の小領域ｂ_iの中心を指すベクトルとの内積が最も近いものを選ぶ。さらに、Ｓ１４によりチェック済みの符号がない小領域を小領域ｂ_cとして選択する。これによりＴジャンクションなどのようにエッジが複数に分岐し、１つのエッジ点が複数の領域にまたがるような場合においても、比較すべき小領域を正しく選択することができる。

続くＳ１０では、Ｓ９で条件に該当する小領域が選択可能だった場合はＳ１１へ、選択不可能だった場合は、処理を終了する。続くＳ１１において、第１の小領域と第２の小領域の特徴量を比較し、類似する場合は、Ｓ１２へ、類似しない場合はＳ１４へ進む。続くＳ１２では第１の基準領域、第１の小領域、第２の基準領域、第２の小領域の基準領域情報を、一つの構造体として記憶媒体に保存する。即ち、第１及び第２の基準領域についてのｘ,ｙ,ｌ_a,ｌ_b,θ,σの情報と、第１及び第２の小領域のｖ_iの情報が一つの構造体に纏められる。なお、第１の小領域と第２の小領域とが同一のグループに属する領域であることが分かればよいので、グループの番号を付すなど、構造体としての纏め方については特に限定はない。

続くＳ１３では、基準領域Ｂを新たに第１の基準領域に、小領域ｂ_cを第１の小領域に設定する。続いてＳ１４において、基準領域Ｂの小領域ｂ_cにチェック済みの符号をつける。これは、基準領域情報記憶部５０５が基準領域情報を管理する際に、各小領域の情報ｖ_iにチェック済か否かを示すフラグ領域を持たせておくことにより実現できる。その後、Ｓ１３において設定された新たな第１の基準領域および基準小領域を用いて、Ｓ５からの処理を繰り返す。

以上の処理により、境界候補点を基準として小領域がグループ化され、図１の入力画像から図３の輪郭の抽出ができる。本発明は、画像中の注目物体の切り出しや物体検出用の特徴抽出手段として用いることができる。例えば、複雑背景中に存在する人物の衣服や顔の輪郭抽出および切り出しができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 画像中の物体の輪郭を抽出する画像処理装置であって、
   前記画像から複数の境界候補点を抽出し、各境界候補点を中心とした、複数の小領域からなる基準領域を設定する領域設定手段と、
   複数の前記基準領域の中から、第１の基準領域を設定する第１の基準領域設定手段と、
   前記第１の基準領域に含まれる前記複数の小領域の中から第１の小領域を設定する第１の小領域設定手段と、
   前記複数の基準領域の中から、前記第１の基準領域と形状に関する特徴が類似する第２の基準領域を設定する第２の基準領域設定手段と、
   前記第２の基準領域に含まれる複数の小領域のうち、前記第１の小領域が有する特徴量と類似する特徴量を有する小領域を、第２の小領域として設定する第２の小領域設定手段と、
   前記第１の基準領域、前記第２の基準領域、前記第１の小領域及び前記第２の小領域を関連づけて格納する記憶手段と、
   前記記憶手段に格納されている情報に基づき、前記境界候補点を追跡して前記物体の輪郭を抽出する輪郭抽出手段と
   を備えることを特徴とする画像処理装置。
2. 第２の基準領域設定手段は、前記第１の基準領域を拡大又は縮小した場合に含まれる前記境界候補点について設定された基準領域の中から、前記第２の基準領域を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記基準領域は、前記境界候補点を中心とした楕円形を有し、
   前記形状に関する特徴には、前記楕円形を有する基準領域の長軸と短軸との比、所定方向に対する前記長軸または前記短軸の傾きが含まれる
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記領域設定手段は、前記基準領域を分割し、分割された領域のうち類似する前記特徴量を有する隣接する領域を統合して前記小領域を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第２の小領域設定手段は、前記第１の小領域の重心と前記第１の基準領域の境界候補点とを結ぶベクトルと、前記第２の基準領域に含まれる各小領域の重心と該第２の基準領域の前記境界候補点とを結ぶ各ベクトルとの内積を算出し、該内積が最大となるベクトルを有する前記第２の基準領域の小領域を前記第２の小領域に設定することを特徴とする請求項１乃至４のいずれか１項の画像処理装置。
6. 前記特徴量は、該当する領域における画素の色情報を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像中の物体の輪郭を抽出する画像処理方法であって、
   領域設定手段が、前記画像から複数の境界候補点を抽出し、各境界候補点を中心とした、複数の小領域からなる基準領域を設定する領域設定工程と、
   第１の基準領域設定手段が、複数の前記基準領域の中から、第１の基準領域を設定する第１の基準領域設定工程と、
   第１の小領域設定手段が、前記第１の基準領域に含まれる前記複数の小領域の中から第１の小領域を設定する第１の小領域設定工程と、
   第２の基準領域設定手段が、前記複数の基準領域の中から、前記第１の基準領域と形状に関する特徴が類似する第２の基準領域を設定する第２の基準領域設定工程と、
   第２の小領域設定手段が、前記第２の基準領域に含まれる複数の小領域のうち、前記第１の小領域が有する特徴量と類似する特徴量を有する小領域を、第２の小領域として設定する第２の小領域設定工程と、
   記憶手段が、前記第１の基準領域、前記第２の基準領域、前記第１の小領域及び前記第２の小領域を関連づけて格納する記憶工程と、
   輪郭抽出手段が、前記記憶手段に格納されている情報に基づき、前記境界候補点を追跡して前記物体の輪郭を抽出する輪郭抽出工程と
   を備えることを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images