JPH08335268A - 領域抽出方法 - Google Patents

Abstract

(57)【要約】 【構成】 時間的な前後関係を有する前、現フレームの
画像Ｉ_t 、Ｉ_t-1 、及び対象物輪郭Ｂ_t-1 が動きベクト
ル推定処理部１１に送られ、前−現フレーム間で輪郭の
動きベクトルを推定することによって、現フレーム上で
輪郭の推定位置である推定輪郭Ｂe を求める。この推定
輪郭Ｂe は、輪郭候補領域決定処理部１２に送られ、推
定輪郭Ｂe の周囲の画素を含む輪郭が存在する可能性の
ある領域である輪郭候補領域を現フレーム上で決定す
る。グラディエント計算処理部１３では、この決定され
た輪郭候補領域において濃度値のグラディエントベクト
ル場を求め、曲線生成処理部１４により、グラディエン
トベクトル場中のベクトルの大きさが大きいところを通
過するように閉曲線を生成し、その軌跡を現フレームに
おける対象物輪郭とする。 【効果】 対象物の輪郭の追従性がよく、処理後の修正
も容易である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理のための例え
ば動画像中の物体領域を抽出する領域抽出方法に関し、
特に、画像合成を行うときに必要な対象物の領域を指定
するマスク画像を作成する作業に利用できる領域抽出方
法に関する。

【０００２】

【従来の技術】物体領域抽出処理技術として、動画像の
なかから、対象物の領域を抽出しようとする従来技術と
しては以下のようなものがある。

【０００３】先ず、動的輪郭モデルを用いるものとし
て、文献「スネイクス：動的輪郭モデル」、“SNAKES :
Active Contour models”Kass M., Witikin A., Terzo
poulos D., Proc.1st ICCV, pp.259-268, 1987 に記載
される、スネイクス（snakes）と呼ばれる動的輪郭モデ
ルは、画像中の輪郭に収束するように移動するコントロ
ールポイントを、拘束条件によって鎖状に連結したもの
である。

【０００４】この動的輪郭モデルをフレーム間の輪郭追
跡に応用したものに、以下の文献がある。 文献(a) 「領域分割に基づく複雑物体の自動切り出し」
栄藤稔,白井良明, NICOGRAPH'92論文集, pp.8-17, 199
2、対応特許文献：特開平５−６１９７７号公報「領域
抽出装置」 文献(b) 「弾性輪郭モデルとエネルギー最小化原理によ
る輪郭追跡手法」上田修功、間瀬健二、末永康仁, 信学
誌, Vol.J-75-D-II, No.1,pp.111-120,1992 、対応特許
文献：特開平５−１２４３３号公報「動物体の輪郭追跡
方法」 これらの文献に記載された技術は、前フレームの輪郭位
置を初期値として、現フレームにおいて動的輪郭モデル
を収束させ対象物輪郭を得ようとするものである。一般
に、この手法は以下の特徴をもつ。

【０００５】動的輪郭モデルは、複数のコントロールポ
イントをスプライン曲線などを用いて連結したもので、
常に滑らかな輪郭が得られる。動的輪郭モデルの収束は
コントロールポイントを少しずつ動かしながら、モデル
のもつ評価関数の更新を行うという反復処理を行う。

【０００６】次に、動きベクトル推定を行うものとし
て、前−現フレーム間での輪郭の動きベクトルを推定す
ることによって、現フレームの輪郭位置を決める方法
が、次の文献により提案されている。

【０００７】文献(c) 「映像のための動ベクトル検出法
に関する一検討」八木伸行、田中勝行、榎並和雅、テレ
ビジョン学会誌、Vol.45, No.10,pp.1221-1229, 1991 文献(d) 特開平４−１１７０７９号公報「画像処理シス
テム」 これらの文献に記載される技術は、前-現フレーム間に
おいてブロックマッチングを行うことによって動きベク
トルを求めるものである。ブロックマッチングとは、前
画像中の注目する画素を含むブロックに、もっとも類似
したブロックを現画像中から探査する方法である。一般
に、ブロックマッチングを用いる方法は、前−現フレー
ム間で物体の動きの方向を調べるので、以前の動きとは
異なった場合においても追随性がよい、という特徴があ
る。

【０００８】また、文献(e) 「動画像合成のための対象
物の抽出とはめ込み法」井上誠喜、小山広毅、テレビジ
ョン学会誌, Vol.47, No.7, pp.999-1005, 1993, に記
載される技術は、前−現フレーム間で直接動きベクトル
を求めずに、前フレームまでの、輪郭の動きをもとにし
た予測ベクトルを用いる。この文献(e) によれば、本来
インターレース画像のフィールド単位の処理であるが、
本明細書中では、原理説明の目的上、フレーム単位とし
て説明する。ブロックマッチング法より大まかな予測に
なってしまうので、輪郭の軌跡だけの追跡は行わず、輪
郭が存在する可能性がある、ある太さをもった領域の動
き予測を行い、その領域中ではエッジ検出等で詳細に輪
郭抽出を行うという手法をとる。

【０００９】

【発明が解決しようとする課題】ところで、上述した従
来の物体領域抽出処理技術には、以下に挙げるような、
フレーム間追跡の問題や、輪郭軌跡の生成の問題があっ
た。

【００１０】先ず、フレーム間追跡の問題として、上記
文献(a),(b) の従来技術で用いられている動的輪郭モデ
ル（いわゆるsnakes）の収束は、初期値により大きく左
右される。例えば、物体位置が大きく変化した場合には
収束が悪く、しばしば誤った局所解に陥る危険がある。
上記動的輪郭モデルに弾性的な拘束条件を加えることに
よって、物体位置の大きな変化に追随できるような改良
も上記文献(b) に提案されているが、そのかわり、輪郭
形状の変形に対する柔軟性が失われるという問題があ
る。

【００１１】上記文献(e) の従来技術のような前フレー
ムまでの輪郭の動きから予測ベクトルを求める追跡方法
では、現フレームにおいて動きの方向が急激に変化した
場合に対応できないという問題がある。

【００１２】一方、上記文献(c),(d) に示す従来技術で
用いられているブロックマッチングは前−現フレームの
動きを直接調べるので、動きの変化には強い。しかし、
ブロックマッチングの方法自体に、輪郭領域ではエラー
が多いという欠点があり、従来からのブロックマッチン
グをそのまま用いるだけでは十分な正確さがえられなか
った。

【００１３】次に、輪郭軌跡の生成の問題について述べ
る。動きベクトル推定を行う方法では、動きベクトルが
得られたあとに、現フレーム上の輪郭を軌跡として得る
処理方法が軌跡の詳細さと精度を決める。上記文献(c),
(d) に示す従来技術では、動きベクトル、または動きベ
クトルに基づいて得られた変形パラメータに従って、対
象物領域を移動・変形させる。この方法は、大局的な変
形にのみ対応し、微細な変形、特に輪郭形状においては
対応できない。

【００１４】上記文献(e) の従来技術では、動きベクト
ルによる追跡の後、輪郭領域におけるエッジ検出を行
い、詳細に輪郭位置を決定する。輪郭の軌跡は画素点の
並びとして得られるため、処理後の修正が行いにくいと
いう欠点がある。また、この従来技術によるエッジ検出
方法では注目する対象物の輪郭と、それ以外の画像濃度
勾配が選択できないために、画像によっては輪郭を正確
に抽出できない問題があった。

【００１５】上記動的輪郭モデル（いわゆるsnakes）を
用いる従来技術は、輪郭を追跡した結果がそのまま輪郭
曲線として得られる。輪郭モデルをパラメトリックな曲
線で記述するので、処理後の修正は容易である。誤って
検出された箇所を局所的になおすばかりでなく、画像を
拡大・縮小したときにマスク画像もあわせて拡大・縮小
したりする必要があるなど、修正の容易さは領域抽出と
画像合成においては重要な用件である。

【００１６】本発明は、このような実情に鑑みてなされ
たものであり、上記従来の領域抽出方法の問題点を解決
し、フレーム間の輪郭の追従性能を向上し、輪郭の修正
を容易化し、輪郭形状の正確さを向上し、良好な領域抽
出結果を得ることができるような領域抽出方法の提供を
目的とする。

【００１７】

【課題を解決するための手段】本発明に係る領域抽出方
法は、上記の課題を解決するために、入力動画像の前フ
レームでの対象物輪郭の軌跡が与えられたときに、前−
現フレーム間で輪郭の動きベクトルを推定することによ
って、現フレーム上で輪郭の推定位置である推定輪郭を
求め、この推定輪郭の周囲の画素を含む輪郭が存在する
可能性のある領域である輪郭候補領域を現フレーム上で
決定し、この輪郭候補領域において濃度値のグラディエ
ントベクトル場を求め、このグラディエントベクトル場
中のベクトルの大きさが大きいところを通過するように
閉曲線を生成し、その軌跡を現フレームにおける対象物
輪郭としている。

【００１８】ここで、上記動きベクトルを推定する工程
では、与えられた上記対象物輪郭の軌跡上の特徴点を抽
出し、抽出した特徴点の動きベクトルを推定するに際し
て、比較する２ブロック間の誤差評価に対象物領域画素
の残差に重みづけするような誤差評価関数を用いた階層
的ブロックマッチングを用いて計算し、その各階層の結
果の動きベクトルに対して平滑化処理を行うことが挙げ
られる。

【００１９】また、上記輪郭候補領域を決定する工程で
は、前フレームの輪郭上のブロックと、それに対応する
現フレームの推定輪郭上のブロックとの間の平均２乗誤
差を対象物色と背景色との差で規格化した値を求め、そ
の値を用いて、現フレームの推定輪郭の周囲に形成する
輪郭候補領域の太さを調節することが挙げられる。

【００２０】上記グラディエントを計算する工程では、
現フレームの推定輪郭に対し特徴点抽出を行い、現フレ
ームの推定輪郭上の特徴点位置に従って輪郭候補領域を
小領域に分割し、その小領域ごとに現フレームにおける
輪郭の方向を推定し、その方向の勾配にのみ反応するよ
うなエッジ検出を行うことによって、輪郭候補領域のグ
ラディエントベクトル場を得ることが挙げられる。ある
いは、現フレームの推定輪郭に対し特徴点抽出を行い、
現フレームの推定輪郭上の特徴点位置に従って輪郭候補
領域を小領域に分割し、その小領域ごとに現フレームに
おける輪郭の色変化を推定し、その色変化の勾配にのみ
反応するようなエッジ検出を行うことによって、輪郭候
補領域のグラディエントベクトル場を得ることが挙げら
れる。

【００２１】さらに、上記曲線の生成工程では、現フレ
ームの輪郭領域のグラディエントベクトル場に対して、
現フレームの推定輪郭に対し特徴点抽出を行い、現フレ
ームの推定輪郭上の特徴点位置に従って輪郭候補領域を
小領域に分割し、その小領域ごとに輪郭が通過する点を
抽出し、グラディエントベクトル場ベクトルの大きさが
大きいところを通過するように生成した３次スプライン
曲線で前記通過点を連結することが挙げられる。

【００２２】

【作用】前フレームでの対象物輪郭の動きベクトルを推
定し、現フレームで輪郭が存在する可能性がある領域を
判定し、その領域内の濃度勾配が急峻なところを通過す
る３次スプライン閉曲線を得、それを現フレームの対象
物輪郭とする処理を順次フレームで行うことによって、
動画像の各フレームにおいて対象物を抽出することがで
きる。

【００２３】

【実施例】本発明に係る領域抽出方法は、前フレームで
の対象物輪郭の軌跡が与えられたときに、前−現フレー
ム間で輪郭の動きベクトルを推定することによって、現
フレーム上で輪郭の推定位置、すなわち推定輪郭を求
め、推定輪郭の周囲の画素を含む輪郭が存在する可能性
のある領域、すなわち輪郭候補領域を現フレーム上で決
定し、輪郭候補領域において濃度値のグラディエントベ
クトル場を求め、そのグラディエントベクトル場中のベ
クトルの大きさが大きいところを通過するように閉曲線
を生成し、その軌跡を現フレームにおける対象物輪郭と
する処理を行う。これによって、前−現フレーム間で輪
郭が大きく移動した時や、その動きの方向が急激に変化
した場合にも追従できる。また、各フレームの輪郭はパ
ラメトリックな曲線で記述されるので、処理後の修正を
容易にすることが出来る。

【００２４】以下、本発明に係る好ましい実施例につい
て、全体の構成、各部の詳細、効果の順に説明する。

【００２５】図１は、本発明の一実施例としての動画像
内の物体の領域抽出方法の処理の全体を示す図である。
本実施例は、対象物を含む連続した画像Ｉから対象物輪
郭Ｂを各フレームにおいてパラメトリックに表現された
閉曲線として獲得するものである。

【００２６】このような物体領域抽出処理を行うための
画像処理装置の概略構成の一例を図２に示す。

【００２７】この図２において、画像処理装置は、本実
施例の物体領域抽出に必要なあらゆる演算を行うための
ＣＰＵ（中央演算処理装置）２１と、画像Ｉ、輪郭Ｂあ
るいは処理中間結果等を保持するための外部記憶手段２
２と、画像を作成したり、軌跡を入力するためのマウ
ス、タブレットペンなどの入力手段２３と、画像を表示
するためのディスプレイなどの表示手段２４とを有して
いる。これらのＣＰＵ２１、外部記憶手段２２、入力手
段２３、表示手段２４間でのデータの送受は、バスライ
ン２５を介して行われる。

【００２８】再び図１に戻って、この図１は、上記図２
の画像処理装置の主としてＣＰＵ２１により実行される
物体領域抽出処理の、１フレームの処理を示している。
本実施例は、各フレームにおいて、前フレーム画像Ｉ
_t-1 、現フレーム画像Ｉ_t 、前フレームにおいて既に獲
得された対象物輪郭Ｂ_t-1 を入力とし、現フレームの対
象物輪郭Ｂ_t を出力とする。まず第１に、動きベクトル
推定処理部１１において、現フレームにおける対象物輪
郭の位置を、前−現フレーム間での前フレーム対象物輪
郭Ｂ_t-1 の動きベクトル推定により得、これを推定輪郭
Ｂ_e とする処理を行う。第２に、輪郭候補領域決定処理
部１２により、上記推定輪郭Ｂ_e の周囲に、対象物輪郭
が存在する可能性がある範囲を判定し、輪郭候補領域Ａ
とする処理を行う。第３に、グラディエント計算処理部
１３により、上記輪郭候補領域Ａにおいて、対象物輪郭
の正確な位置を知るために、グラディエントベクトル場
Ｇを求める処理を行う。第４に、曲線生成処理部１４に
より、対象物輪郭位置を正確に通過するよう、グラディ
エントベクトル場Ｇのベクトルの大きさが大きいところ
を通過するような閉曲線を求める処理を行う。求めた閉
曲線を現フレームの対象物輪郭Ｂ_t とする。得られた対
象物輪郭Ｂ_t は、遅延処理部１５を介して、次回の処理
において前フレームの対象物輪郭Ｂ_t-1 として用いら
れ、以後同様に処理を進める。

【００２９】なお、第１フレームに関しては本実施例と
は別の方法で対象物輪郭を与える必要がある。その方法
としては、画像をディスプレイ等に表示し、適当なグラ
フィックユーザインターフェイス（ＧＵＩ）によって輪
郭上の点をマニュアルで指定することによって、スプラ
イン曲線を発生させる曲線エディタの技術が既に公知と
なっているので利用可能である。

【００３０】また、本発明の実施例の最終的な目的とし
て、対象物領域であることを輝度の濃淡で示すマスク画
像を各フレームで得ることがある。そのマスク画像は、
対象物輪郭が閉曲線で得られれば、その内外判定、画素
の塗りつぶしアルゴリズム等公知の技術を用いることに
より生成することができるので、本実施例からマスク画
像Ｉ_m が得られるものとして説明する。したがって、以
後の処理の説明において、対象物領域の画素であるかど
うかの判別は、対象物輪郭あるいは推定輪郭が得られれ
ば判定できるものする。なお、内外判定、塗りつぶしア
ルゴリズムに関する文献としては、「コンピュータディ
スプレイによる図形処理工学」山口富士夫、日刊工業新
聞社,1981 や、「コンピュータグラフィックス原理と実
習、第２版」“Computer Graphics Principles and pra
ctice 2nd ed.”Foley, vanDam,Feiner, Hughes, ADDIS
ON-WESLWEY PUBLISHING,1990 等がある。

【００３１】ここで、データ形式等について説明する。
以降の説明において、各データは以下の形式をもつもの
である。

【００３２】先ず、「曲線」とは、対象物輪郭、推定輪
郭等は連続した３次スプラインセグメントによる閉曲線
とする。１つの３次スプラインセグメントは４つのコン
トロールポイントによって記述され、その複数のセット
で曲線を記述する連続したスプラインセグメントとは、
１つ前のp₃と次のp₀が共通なセグメントの並びである。
また、閉曲線は最終のセグメントのp₃と最初のセグメン
トのp₀が共通な曲線である。すなわち、セグメント数を
Ｋとすると、 (p₀₀,p₀₁,p₀₂,p₀₃),(p₁₀,p₁₁,p₁₂,p₁₃),(p₂₀,p₂₁,p₂₂,p₂₃),... ...,(p_K-10,p_K-11,p_K-12,p_K-13) p_i+10 ＝ p_i3 p_K-13 ＝ p₀₀ 次に、「特徴点」について説明すると、本実施例におい
て、輪郭上の特徴点は輪郭上の位置と画像上の位置の２
つの位置情報をもつデータである。輪郭上の位置とは、
輪郭の始点p₀₀ からの軌跡にそった長さである。

【００３３】次に、「輪郭候補領域」について説明す
る。本実施例において、輪郭候補領域Ａは該当する画素
位置Ａ_olのリストである。 Ａ＝｛Ａ_o0,Ａ_o1,...｝ または、輪郭候補領域Ａはさらに分割した小領域Ａ_k の
リストである。 Ａ＝｛Ａ₀,Ａ₁,...｝ 小領域Ａ_k は推定輪郭に沿った順に並んでいる。小領域
Ａ_k は該当する画素位置Ａ_klのリストである。 Ａ＝｛Ａ_k0,Ａ_k1,...｝ 次に、その他の表記については、説明のため、以下のよ
うに表記する。 画像Ｉの位置（ｉ，ｊ）の画素値：Ｉ［ｉ，ｊ］ 画像Ｉの輪郭候補領域画素位置Ａ_klの画素値：Ｉ
［Ａ_kl］ ブロック、グラディエントベクトル場の要素も同様に表
記する。

【００３４】次に、各部の詳細について説明する。先
ず、図１の動きベクトル推定処理部１１について説明す
る。

【００３５】現フレームにおける対象物輪郭の位置を、
前−現フレーム間での前フレーム対象物輪郭Ｂ_t-1 の動
きベクトル推定により得、これを推定輪郭Ｂ_e とする処
理を行う。本発明の実施例では、輪郭領域での動きベク
トル推定の精度を向上させるために、次のような動きベ
クトル推定方法を採用している。

【００３６】先ず、動きベクトル推定方法の第１の具体
例としては、画像小領域の動きベクトル推定手段である
ブロックマッチングにおいて、従来は、比較する第１の
画像Ｉ₁ 中のブロックと、第２の画像Ｉ₂ 中のブロック
の画素ごとの誤差の平均を誤差評価としていたものを、
図３に示すように、第１の画像Ｉ₁ 中画素の重要度を示
す第３の画像Ｉ₃ を与え、第３の画像による重みつき誤
差評価で行う技術を挙げることができる。

【００３７】すなわち、図３において、マッチング演算
処理部３１は、動きベクトルを求めようとする対象物を
含む第１、第２の画像Ｉ₁,Ｉ₂ と、第１の画像Ｉ₁ の対
象物領域を濃淡値で示す第３の画像Ｉ₃ と、第１の画像
Ｉ₁ の対象物の輪郭部に適当個配置されたテンプレート
と、第２の画像Ｉ₂ にテンプレートと対応して配置され
た探査範囲とを入力とし、テンプレートともっとも一致
する第２の画像Ｉ₂ 上のマッチング位置を出力とする。
また動きベクトル演算処理部３２は、テンプレートの位
置と、マッチング演算処理部３１からのマッチング位置
とを入力とし、テンプレートの動きベクトルを出力とす
る。

【００３８】これによって、従来ブロックマッチングで
は物体境界領域で、ブロックが複数の物体を含み、動き
ベクトルが一意に決定できないという問題を解決するも
のである。

【００３９】次に動きベクトル推定方法の第２の具体例
について説明する。これは、画像小領域の動きベクトル
推定手段であるブロックマッチング処理において、従来
のブロックマッチングでは、輪郭上の動きベクトルは本
来輪郭に沿って滑らかに連続するべきであるのに、一般
に、輪郭に沿って一様な画像パターンとなりやすいとい
う原因によって、動きベクトルを誤りやすかった問題
を、図４に示すように、与えられた輪郭上の動きベクト
ルの推定を階層的探査で行い、各階層間でベクトル場の
平滑化処理による動きベクトルの修正を行うことによ
り、滑らかに連続する動きベクトルを得ることを実現す
る技術である。

【００４０】すなわち、図４において、動きベクトルを
求めようとする対象物を含む第１、第２の画像Ｉ₁,Ｉ₂
は、階層化処理部４１、４２によりそれぞれ階層化され
る。この階層化処理は、原画像を最下層として、例えば
２×２の画像の平均を１つ上の層の画素としていくこと
によって、階層画像をつくることができる。階層化され
た各層の画像は、ブロックマッチング処理部４３、４
４、４５、・・・、４６により、最上層の画像から、１
つ上の階層の結果を用いて順にブロックマッチングを行
っていく。

【００４１】この図４の構成は、さらにブロックリスト
生成処理部４７および平滑化処理部４８、４９、・・・
を有している。ブロックリスト生成処理部４７は、入力
された対象物輪郭情報から、追跡する輪郭上にブロック
を配置する。また、平滑化処理部４８、４９、・・・
は、動きベクトル場の平滑化を行う。

【００４２】次に動きベクトル推定方法の第３の具体例
を、図５を参照しながら説明する。これは、画像小領域
の動きベクトル推定手段であるブロックマッチングによ
って対象物輪郭を追跡する技術において、従来では、輪
郭上のあらゆる点で動きベクトル推定を行うと処理量が
膨大であり、また輪郭上の点は必ずしも動きベクトル推
定が正確に得られない、という問題を、図５に示すよう
に、輪郭上の特徴点を抽出する手段を備え、その特徴点
に対して動きベクトル推定を行うことによって、少数の
動きベクトル推定でも高い信頼度をもって輪郭を追跡で
きることを実現する技術である。

【００４３】この図５において、動きベクトル推定処理
部５１には、動きベクトルを求めようとする対象物を含
む第１、第２の画像Ｉ₁,Ｉ₂ と、特徴点抽出処理部５２
からのテンプレートリスト及び探査範囲リストが供給さ
れている。特徴点抽出処理部５２は、与えられた対象物
輪郭情報と、上記第１の画像Ｉ₁ とから、特徴点を抽出
し、探査するブロックリストを生成する。動きベクトル
推定処理部５１は、生成されたブロックリストの動きベ
クトル場を推定する処理を行う。

【００４４】次に、図６は、上記動きベクトル推定方法
の第１〜第３の具体例を組み合わせて成る動きベクトル
推定方法の第４の具体例を示している。すなわち、輪郭
部の動きベクトル推定処理に効果的な上記第１〜第３の
３つの技術の組み合わせ方法を与えるものである。上記
第１〜第３の技術は、それぞれ輪郭部の動きベクトル推
定の精度向上について異なる効果をあげるものである。

【００４５】この図６において、階層化処理部６１、６
２は上記図４の階層化処理部４１、４２に相当するもの
であり、前フレーム画像Ｉ_t-1 と前フレーム輪郭Ｂ_t-1
とから、上記図５と共に説明した動きベクトル推定方法
の第３の具体例の技術を用いて、特徴点抽出処理部６４
により輪郭Ｂ_t-1 上の特徴点を抽出し、その特徴点の動
きベクトルを推定するために、各特徴点位置にブロック
を配置する。

【００４６】上記図４と共に説明した動きベクトル推定
方法の第２の具体例の階層的ブロックマッチングによる
探査を行うために、前フレーム画像Ｉ_t-1 、現フレーム
画像Ｉ_t 、そして前フレーム輪郭Ｂ_t-1 から得られる前
フレームマスク画像Ｉ_mt-1の階層画像を作成する。ブロ
ックマッチング処理部４３、４４、４５、・・・、４６
により、最上層から最下層まで、階層的ブロックマッチ
ングを行う。このとき、各階層のブロックマッチングの
誤差評価方法を、マスク画像Ｉ_mt-1を用いて上記図３と
共に説明した動きベクトル推定方法の第１の具体例の技
術による誤差評価を行う。また、各階層間において、平
滑化処理部４８、４９、・・・により、上記図４と共に
説明した動きベクトル推定方法の第２の具体例の技術に
よる平滑化処理を行う。

【００４７】動きベクトル推定によって、得られた特徴
点の推定移動先（以下、推定輪郭上の特徴点とよぶ）
を、補間処理部６５における曲線補間処理によって各特
徴点を通過するように連結する。与えられた各特徴点を
通過するような補間曲線の生成方法は前記文献「コンピ
ュータグラフィックス原理と実習、第２版」“Computer
Graphics Principles and practice 2nd ed.”Foley, v
anDam, Feiner,Hughes,ADDISON-WESLWEY PUBLISHING,19
90に記載のCatmull-Rom spline等がある。また、各点間
を直線で連結し推定輪郭としても構わない。

【００４８】本具体例は、上記動きベクトル推定方法の
第１〜第３の具体例で示した３つの技術の組み合わせる
ことにより、それぞれの効果によってさらに良い結果を
得ることを実現する。

【００４９】次に、輪郭候補領域決定処理部１２の具体
例について説明する。

【００５０】推定輪郭Ｂe の周囲に、対象物輪郭が存在
する可能性がある範囲を判定し、輪郭候補領域Ａとする
処理を行う。そのために推定輪郭Ｂe の真の輪郭に対す
るずれ量を見積り、そのずれ量に相当する領域の大きさ
を決める。

【００５１】図７は本実施例における輪郭候補領域決定
処理のための構成の一例を示すブロック図である。この
図７を参照しながら本処理の概要を説明する。

【００５２】第１に、評価点抽出処理部７２は、推定輪
郭Ｂe 上から、輪郭が比較的直線的で輪郭の両側の領域
の濃度が一定とみなせる点をずれ量を評価する点として
抽出する。第２に、対応点抽出処理部７１は、前フレー
ム対象物輪郭Ｂ_t-1 上の、評価点に対応する点を抽出す
る。第３に、ずれ量評価処理部７３により各評価点と対
応点間で誤差評価を行い、ずれ量を見積もる。第４に、
領域判定処理部７４により各評価点近傍の領域の大きさ
をずれ量から決定し、その範囲に属する画素位置を輪郭
候補領域とする。

【００５３】次に図８は、上述したような輪郭候補領域
決定処理の一例を説明するためのフローチャートであ
る。本処理は、前フレーム対象物輪郭Ｂ_t-1 、推定輪郭
Ｂe 、上記前フレーム対象物輪郭Ｂ_t-1 上の特徴点
ｃ_k 、Ｂe 上の特徴点ｃ_ek、特徴点数Ｋを入力とし、輪
郭候補領域Ａを出力する。本処理は、以下に説明する処
理を各特徴点間で繰り返すものである。この繰り返し
は、いわゆるＦＯＲループ８１により、特徴点数のＫ回
実行される。

【００５４】以下、ＦＯＲループ８１内でのｋ番めの特
徴点間についての処理について説明する。

【００５５】先ず、ステップＳ８２では、推定輪郭Ｂ_e
上の特徴点ｃ_ekと、ｃ_ek+1の推定輪郭上の中間点をｋ番
めの評価点ｓ_ekとする。同様に前フレーム対象物輪郭Ｂ
_t-1上の特徴点ｃ_k と、ｃ_k+1 の推定輪郭上の中間点を
ｋ番めの対応点ｓ_k とする。また、このステップＳ８２
では、評価点ｓ_ekにブロックｂ_ek、対応点ｓ_k にブロッ
クｂ_k をおき、次のステップＳ８３にて、２つのブロッ
クから正規化された２乗誤差平均の平方根（root mean
square error）NRMSE を計算し、それをブロックの大き
さ（ブロックサイズ）ＢＳで割った値をずれ量ｘとし、
ＦＯＲループ８４に移行する。NRMSE の計算方法は後述
する。

【００５６】ＦＯＲループ８４は、ループ制御変数ｉ，
ｊについて、それぞれ領域の画像サイズ（イメージサイ
ズ）ＩＳの回数の繰り返し処理を行うものであり、この
ＦＯＲループ８４内のステップＳ８５、Ｓ８６、Ｓ８７
により、画像中の各画素位置(i,j) について、その線分
ｃ_ekｃ_ek+1への距離がｘより小さいならば、その画素位
置(i,j) を輪郭候補領域と判定する。

【００５７】次に図９は、前記NRMSE の計算方法を示す
フローチャートである。この計算は前記ブロックｂ_k 、
ｂ_ekを用いて行う。この図９において、ＦＯＲループ９
１は、ループ制御変数ｉ，ｊについて、上記ブロックサ
イズＢＳの回数の繰り返し処理を行うものである。この
ＦＯＲループ９１内では、先ずステップＳ９２によりブ
ロックｂe 内の各画素値ｂe[i,j]に対し、推定輪郭Ｂe
の内側か外側かの判定を行い、分類して、ステップＳ９
３により画素値ｂe[i,j]を内側画素値の集合fgdata[ ]
に登録し、Ｓ９４により画素値ｂe[i,j]を外側画素値の
集合bgdata[ ] に登録する。

【００５８】次に、ＦＯＲループ９１の繰り返し処理が
終了した後、ステップＳ９５により全内側画素の集合fg
data[ ] の重心値をｆｇとし、全外側画素の集合bgdata
[ ]の重心値をｂｇとする。次にブロックｂe 、ブロッ
クｂの２乗誤差平均の平方根（root mean square erro
r）RMSEを、次の式により計算する。

【００５９】

【数１】 次に、ステップＳ９６により、RMSEを重心の差の大きさ
で割った値をNRMSE とする。

【００６０】NRMSE ＝ RMSE／｜fg-bg｜ 次に、上記図１のグラディエント計算処理部１３の具体
例について説明する。

【００６１】このグラディエント計算では、輪郭候補領
域Ａにおいて、対象物輪郭の正確な位置を知るために、
グラディエントベクトル場Ｇを求める処理を行う。

【００６２】図１０は、本実施例のグラディエント計算
の処理ブロック図である。本処理は以下の手順で行われ
る。第１に、特徴点抽出処理部１０１において、推定輪
郭Ｂe 上で、上記図５と共に説明した動きベクトル推定
方法の第３の具体例の技術の特徴点抽出処理を行う。第
２に、領域分割処理部１０２において、前記特徴点を境
界とするように、輪郭候補領域Ａを小領域Ａ_k に分割
し、エッジ特徴が各小領域内で一定になるようにする。
第３に、エッジ特徴推定処理部１０３において、各小領
域ごとにエッジ特徴を推定し、その特徴をもとに、エッ
ジ検出処理部１０４において、以下に示すような具体的
なエッジ検出方法を用いてグラディエントを求める。

【００６３】このエッジ検出方法の具体例について説明
する。

【００６４】先ず、エッジ検出方法の第１の具体例とし
ては、画像上の濃度勾配（グラディエント）を求める計
算方法において、従来は、画像上のあらゆる方向に均等
に注目して勾配を検出したために、注目すべき物体の輪
郭以外の濃度勾配も検出してしまっていたものを、図１
１に示すように、どの方向の濃度勾配を検出すべきかと
いう情報を与え、その情報によって検出した濃度勾配強
度を変調することによって、注目すべき方向以外の濃度
勾配を検出しないことを実現する技術である。

【００６５】すなわち、この図１１において、濃淡画像
に対し、グラディエント計算処理部１１１にてグラディ
エントを計算する。方向検出処理部１１１３でグラディ
エントベクトルの方向を検出し、それと検出すべき画像
空間上のベクトルによって選択度を、選択度判定処理部
１１４により判定する。判定されて得られた選択度に従
って、強度変調処理部１１２がグラディエント強度を変
調する。

【００６６】次に、エッジ検出方法の第２の具体例につ
いて説明する。

【００６７】このエッジ検出方法の第２の具体例は、画
像上の濃度勾配（グラディエント）を求める計算方法に
おいて、従来は、濃度空間上のあらゆる方向の濃度変化
に均等に注目して勾配を検出したために、注目すべき物
体の輪郭以外の濃度勾配も検出してしまっていたもの
を、図１２に示すように、内積計算処理部１２１とグラ
ディエント計算処理部１２２とにより、どの方向の濃度
変化を検出すべきかという情報を与え、その情報から得
られる、検出すべき濃度空間上のベクトルと、各画素の
濃度空間ベクトルの内積計算から得られる濃淡画像の濃
度勾配を求めることによって、注目すべき濃度変化以外
の濃度勾配を検出しないことを実現する技術である。

【００６８】以下に、図１３を参照しながら、グラディ
エント計算における本実施例の特徴であるところの領域
分割処理を説明する。図１３は、領域分割処理のフロー
チャートである。この図１３において、いわゆるＦＯＲ
ループ１３１では輪郭候補領域Ａの画素数Ｌの回数分の
繰り返し処理を、またＦＯＲループ１３１内のＦＯＲル
ープ１３２では特徴点数Ｋの回数分の繰り返し処理を行
っており、輪郭候補領域Ａ内の全画素Ａ_olについて、以
下の処理を行う。

【００６９】上記ＦＯＲループ１３２内では、ステップ
Ｓ１３３において、隣り合う特徴点ｃ_k 、ｃ_k+1 による
Ｋ本の線分ｃ_kｃ_k+1それぞれと画素位置Ａ_olとの距離ｄ
_k を求める。次のステップＳ１３３、Ｓ１３５では、そ
の距離ｄ_k が最も小さいものをｄ_min とし、そのときの
ｋをｍとしている。ＦＯＲループ１３２の処理が終了し
た後、ステップＳ１３６でＡ_olを領域Ａ_m に分類する。

【００７０】次に、領域分割されたそれぞれの輪郭候補
小領域Ａ_k で、エッジ検出に必要な情報を得る処理を説
明する。

【００７１】図１４は本実施例のエッジ検出情報を得る
処理のフローチャートである。本実施例では、エッジ検
出情報として、画像空間上の単位ベクトルｖ_okと、濃度
空間上の単位ベクトルｖ_ckを獲得する。

【００７２】この図１４において、いわゆるＦＯＲルー
プ１４１では、輪郭候補小領域の画素数Ｌ_k の回数分の
繰り返し処理を行っている。このＦＯＲループ１４１内
で、ステップＳ１４２では、ブロックｂe 内の各小領域
内画素Ａ_klに対し、推定輪郭Ｂe の内側か外側かの判定
を行い、分類して、ステップＳ１４３により上記Ａ_klを
内側画素値の集合fgdata[ ] に登録し、Ｓ１４４により
上記Ａ_klを外側画素値の集合bgdata[ ] に登録する。

【００７３】次に、ＦＯＲループ１４１の繰り返し処理
が終了した後、ステップＳ１４５により全内側画素の集
合fgdata[ ] の重心値をｆｇとし、全外側画素の集合bg
data[ ] の重心値をｂｇとする。

【００７４】ここで、画像空間上の単位ベクトルｖ
_okは、検出したいグラディエントの方向を与えるための
情報である。ｖ_okは各小領域Ａ_k において、２つ特徴点
で構成される線分ｃ_kｃ_k+1に直交する方向に定められ
る。濃度空間上の単位ベクトルｖ_ckは、検出したい濃度
変化の方向を与えるための情報である。ｖ_ckは、各小領
域Ａ_k において、全画素を推定輪郭Ｂe の内側と外側の
画素に分類し、それぞれに重心ｆｇ、ｂｇを求め、その
重心の差ベクトルと平行な方向にとられる（ステップＳ
１４６参照）。または、２つの重心を輝度軸に垂直な面
に投影したのち、差ベクトルを求め、それに平行な方向
にとる方法も、輝度方向のノイズ除去に有効である。

【００７５】次に、図１５に、上記図１１、図１２と共
に説明したエッジ検出方法の第１、第２の具体例の技術
を組み合わせて行う処理のブロック図を示す。組み合わ
せたグラディエント計算の手順を以下に説明する。

【００７６】この図１５において、グラディエントを求
める入力画像、検出すべき濃度空間上のベクトル、検出
すべき画像空間上のベクトルが入力として得られる。

【００７７】第１に、内積計算処理部１５１にて、検出
すべき濃度空間上のベクトルと、各画素の濃度空間ベク
トルの内積計算から濃淡画像を求める。求めた濃淡画像
に対し、グラディエント計算処理部１５２にてグラディ
エントを計算する。方向検出処理部１５４でグラディエ
ントベクトルの方向を検出し、それと検出すべき画像空
間上のベクトルによって選択度を、選択度判定処理部１
５５により判定する。判定されて得られた選択度に従っ
て、強度変調処理部１５３がグラディエント強度を変調
する。以上の処理を、各輪郭候補小領域において行う。

【００７８】以上の図１０〜図１５と共に説明したよう
に、選択的な輪郭検出を行うことができる上記エッジ検
出技術の第１、第２の具体例（図１１、図１２参照）に
対し、自動的に必要な情報を与える手段を備え、かつ、
これら２つの技術を組み合わせて用いるものである。す
なわち、本発明は、輪郭候補領域において濃度値のグラ
ディエントベクトル場を求める処理において、現フレー
ムの推定輪郭に対し、上記図５と共に説明した動きベク
トル推定方法の第３の具体例の技術による特徴点抽出を
行い、現フレームの推定輪郭上の特徴点位置に従って輪
郭候補領域を小領域に分割する。この図５の技術の特徴
点抽出は、輪郭の屈曲点と、輪郭色の変化点を抽出する
ものである。一方、上記図１１、図１２と共に説明した
エッジ検出技術では、エッジの勾配方向と色変化方向に
注目するものである。すなわち、上記図５に示す技術で
検出される特徴点は、上記図１１、図１２の技術のエッ
ジの特徴の変化する点である。よって、特徴点を境に領
域分割すれば、小領域ごとに輪郭の特徴を一定にするこ
とが出来る。小領域ごとに輪郭の特徴を調べることによ
って、正確な上記図１１、図１２のエッジ検出が可能に
なり、対象物輪郭以外の不要なグラディエント成分を抑
えることができる。

【００７９】次に、上記図１の曲線生成処理部１４の具
体例について説明する。

【００８０】この曲線生成処理においては、対象物候補
領域で求められたグラディエントベクトル場から、対象
物輪郭位置を３次スプライン曲線で抽出する。そのため
に、グラディエントベクトル場Ｇのベクトルの大きさが
大きいところを通過するような閉曲線を求める処理を行
う。求めた閉曲線を現フレームの対象物輪郭Ｂ_t とす
る。

【００８１】図１６は本実施例の曲線生成の処理ブロッ
ク図である。本処理は以下の手順で行われる。

【００８２】すなわち、図１６において、第１に、特徴
点抽出処理部１６１により、推定輪郭Ｂe 上で、上記図
５と共に説明した動きベクトル推定方法の第３の具体例
の技術による特徴点抽出処理を行う。第２に、領域分割
処理部１６２により、上記特徴点を境界とするように、
輪郭候補領域Ａを小領域Ａ_k に分割する。具体的な領域
分割方法は、上述したグラディエント計算処理における
領域分割方法と共通である。第３に、通過点抽出処理部
１６３により、各小領域ごとに通過点を１点抽出する。
抽出された通過点は、小領域の順番のとおりに順序づけ
される。第４に、ｐ_i1、ｐ_i2探査処理部１６４により、
後述するようなスプラインコントロールポイントの探査
方法によって、各セグメントごとに残りのコントロール
ポイントを求め、対象物輪郭Ｂt を得る。

【００８３】ここで、上記スプラインコントロールポイ
ントの探査方法について、図１７を参照しながら説明す
る。

【００８４】この図１７は、曲線生成方法を実現するた
めのブロック図を示し、この曲線形成方法は、ベクトル
場ベクトルの大きさがなるべく大きいところを通過する
ような３次スプライン曲線形状を探査する技術である。
それによって、図１７に示すように画像上の物体輪郭の
大体の位置を与える手段を備えることによって、画像の
グラディエントベクトル場の情報から曲線を探査し、物
体輪郭をパラメトリックな曲線で抽出することを実現す
る。

【００８５】この図１７に示す曲線生成方法は、２次元
の滑らかなベクトル場上、例えば画像の色彩を表すＲ、
Ｇ、Ｂ信号の各信号に基づいて形成される濃淡勾配ベク
トル場上をを通過する曲線を生成する曲線生成方法にお
いて、上記曲線上の所定数個の評価位置で、当該曲線の
接線と直交する単位ベクトルとベクトル場ベクトルとの
内積の関数で表される評価値を計算する評価値計算工程
と、上記評価値計算行程にて得られた上記評価値が最大
になるように曲線を決定する曲線決定工程とを有するも
のである。

【００８６】図１７において、ベクトル場は、空間例え
ば入力画像中の全ての点における各点（i,j） でのベク
トル場ベクトルＶ（i,j） を通過点抽出部１７２及びｐ
_i1，ｐ_i2探査部１７４に出力される。軌跡入力部１７１
は、例えばペン状入力装置いわゆるタブレットペンやマ
ウス等の入力手段を備えており、軌跡Ｔが曲線を得たい
大まかな領域の画素点の並びとして入力されると、該軌
跡Ｔを通過点抽出部１７２に出力する。通過点入力部１
７２では、上記軌跡Ｔから一定距離内に含まれる領域の
ベクトル場を調べて、ベクトルの大きさが所定の基準以
上である位置を通過点ｐとして抽出し、これら通過点ｐ
の位置データを順序づけ部１７３に出力する。なお、上
記各通過点ｐは、後述するように、軌跡Ｔまでの最短距
離が所定の長さよりも小さく、かつ、ベクトル場ベクト
ルの大きさが所定の大きさよりも大きい全ての点であ
る。順序づけ部１７３は、後述するように、上記通過点
ｐを軌跡Ｔの進行方向に沿った順序で並べ換えて得られ
た通過点を基準点ｐ₀₀、ｐ₁₀、ｐ₂₀、…、ｐ_K0としてｐ
_i1，ｐ_i2探査部１７４に出力する。ｐ_i1，ｐ_i2探査部１
７４は、上記評価値計算工程及び曲線決定工程を行う部
分である。評価値計算工程では、上記基準点ｐ_i0、ｐ
_(i+1)0と、上記ベクトル場ベクトルＶ（ｉ，ｊ）に基づ
いて、基準点ｐ_i0、ｐ_i3より標本点ｐ_i1、ｐ_i2を抽出
し、これら基準点及び標本点より部分曲線を生成し出力
する。なお、上記部分曲線は端部が連結されると曲線を
形成する。

【００８７】図１７によれば、軌跡入力部１７１にて使
用者により空間例えば画像内で軌跡Ｔが入力され、通過
点抽出部１７２及び順序づけ部１７３で、生成する曲線
を構成する部分曲線を生成するための基準点ｐ₀₀、
ｐ₁₀、…が、上記軌跡Ｔ及び上記ベクトル場ベクトルに
基づいて抽出される。さらに、ｐ_i1，ｐ_i2探査部１７４
にて、上記基準点ｐ₀₀、ｐ₁₀、…と上記ベクトル場ベク
トルに基づいて、上記基準点ｐ_i0、ｐ_i3間で上記標本点
ｐ_i1、ｐ_i2が取り出され、これら点により部分曲線が形
成され、部分曲線を連結して求めたい曲線が得られる。

【００８８】以下に、曲線生成における本実施例の特徴
であるところの、通過点抽出処理を説明する。図１８
は、通過点抽出処理のフローチャートである。

【００８９】この図１８において、いわゆるＦＯＲルー
プ１８１では輪郭候補小領域数Ｋの回数分の繰り返し処
理を、またＦＯＲループ１８１内のＦＯＲループ１８２
では第ｋの輪郭候補小領域Ａ_k に対応する輪郭候補小領
域の画素数Ｌ_k の回数分の繰り返し処理を行っており、
全ての輪郭候補小領域Ａ_k について、輪郭候補小領域Ａ
_k 中の各画素位置Ａ_klのグラディエント強度Ｇ[Ａ_kl]を
調べ、それが最大となる画素位置を通過点ｐ_k0とする。

【００９０】すなわち、上記ＦＯＲループ１８２内で
は、ステップＳ１８３において、上記グラディエント強
度Ｇ[Ａ_kl]の絶対値をｇとし、次のステップＳ１８４
で、この値ｇが現在までの最大値ｇ_max より大きいか否
かを判別し、ＹesのときのみステップＳ１８５に進ん
で、今回のｇをｇ_max とし、このときの画素位置Ａ_klを
上記通過点ｐ_k0としている。

【００９１】このような曲線生成方法は、上述した図１
７に示すような、グラディエントベクトル場の大きさが
大きいところを通過する曲線を生成することができる曲
線生成方法の技術に対し、曲線探査に必要なベクトル場
上の通過点列を自動的に抽出する手段を備えるものであ
る。すなわち本発明の実施例は、輪郭候補領域内のグラ
ディエントベクトル場上に曲線を生成する処理におい
て、現フレームの推定輪郭に対し、上記図５と共に説明
した技術の特徴点抽出を行い、現フレームの推定輪郭上
の特徴点位置に従って輪郭候補領域を小領域に分割し、
その小領域ごとに輪郭が通過する点を抽出する。これに
よって、小領域の配置する順に順序づけされた通過点列
が得られ、グラディエントベクトル場ベクトルの大きさ
が大きいところを通過する曲線を、上記図１７の技術に
よる３次スプライン曲線生成処理によって生成すること
ができる。上記図５の技術の特徴点抽出は、輪郭の屈曲
点を抽出するものである。一方、上記図１７の技術の曲
線生成は、通過点ごとに３次スプライン曲線が生成され
る。したがって、特徴点ごとに対応する３次スプライン
セグメントが生成できれば、輪郭上の目立った形状を再
現できることが保証される。また、屈曲箇所とスプライ
ンセグメントが１対１で対応するので、形状の複雑さに
よって、セグメント数が必要以上に多過ぎたり、足りな
かったりすることがない。

【００９２】以上説明したような本実施例の領域抽出方
法の効果について、図１９を参照しながら説明する。

【００９３】この図１９は、ある動画像に対し本実施例
を適用した結果を明瞭化するために簡略化して図示した
ものである。

【００９４】図１９の（ａ）〜（ｄ）は、動画像の連続
した４フレーム分を、主要な物体の輪郭を線画にして図
示したものである。図９の（ｅ）〜（ｈ）は、本実施例
を適用することにより抽出された対象物のマスクあるい
はシルエット画像である。この例では、画像中央の物体
ｏｂｊを対象物としている。

【００９５】この図１９の（ａ）〜（ｄ）に示されるよ
うに、対象物ｏｂｊの輪郭はそれ以外の複数の物体と接
しているので、輪郭のもつ特徴は単純ではない。このよ
うな任意の前景、背景の組み合わせをもつ輪郭であって
も、本実施例では領域抽出を行わせることができる。こ
の結果が示すように、本実施例は動画像の対象物領域を
自動的に抽出することを実現する技術である。

【００９６】

【発明の効果】本発明に係る領域抽出方法によれば、入
力動画像の前フレームでの対象物輪郭の軌跡が与えられ
たときに、前−現フレーム間で輪郭の動きベクトルを推
定することによって、現フレーム上で輪郭の推定位置で
ある推定輪郭を求め、この推定輪郭の周囲の画素を含む
輪郭が存在する可能性のある領域である輪郭候補領域を
現フレーム上で決定し、この輪郭候補領域において濃度
値のグラディエントベクトル場を求め、このグラディエ
ントベクトル場中のベクトルの大きさが大きいところを
通過するように閉曲線を生成し、その軌跡を現フレーム
における対象物輪郭としていることにより、対象物輪郭
の追従性を高め、輪郭の修正を容易化し、領域抽出結果
の向上を実現することができる。

【００９７】すなわち本発明は、前フレームでの対象物
輪郭の軌跡が与えられたときに、前−現フレーム間で輪
郭の動きベクトルを推定することによって、現フレーム
上で輪郭の推定位置、すなわち推定輪郭を求め、推定輪
郭の周囲の画素を含む輪郭が存在する可能性のある領
域、すなわち輪郭候補領域を現フレーム上で決定し、輪
郭候補領域において濃度値のグラディエントベクトル場
を求め、そのグラディエントベクトル場中のベクトルの
大きさが大きいところを通過するように閉曲線を生成
し、その軌跡を現フレームにおける対象物輪郭とする処
理を行う。これによって、前−現フレーム間で輪郭が大
きく移動した時や、その動きの方向が急激に変化した場
合にも追従できる。また、各フレームの輪郭はパラメト
リックな曲線で記述されるので、処理後の修正を容易に
することが出来る。

【００９８】また、本発明は、輪郭部の動きベクトル推
定処理に効果的な３つの動きベクトル推定技術の組み合
わせ方法を与え、これらの技術を組み合わせることによ
り、それぞれの効果によってさらに良い結果を得ること
を実現する。

【００９９】また本発明は、現フレーム上で輪郭候補領
域を求める処理において、前フレームの輪郭上のブロッ
クと、それに対応する現フレームの推定輪郭上のブロッ
クとの間の平均２乗誤差を対象物色と背景色との差で規
格化した値を求める。これによって、現フレーム上での
真の輪郭と推定輪郭のずれの大きさを見積もる処理を行
う。これによって、現フレームの推定輪郭の周囲に形成
する輪郭候補領域の太さを調節し、必要以上に領域が大
きくなり、無駄な処理が増えるのを防ぐ。

【０１００】すなわち、本発明に係る領域抽出方法によ
れば、動画像からの対象物領域抽出処理技術において、
従来技術のフレーム間の追従性能、修正の容易さ、輪郭
形状の正確さの問題を解決し、領域抽出結果の向上を実
現することができる。

【図面の簡単な説明】

【図１】本発明の領域抽出方法が適用される実施例の概
略構成を示すブロック図である。

【図２】本発明の実施例を実現するための画像処理装置
の全体の概略構成を示すブロック図である。

【図３】図１の動きベクトル推定処理部の第１の具体例
を示すブロック図である。

【図４】図１の動きベクトル推定処理部の第２の具体例
を示すブロック図である。

【図５】図１の動きベクトル推定処理部の第３の具体例
を示すブロック図である。

【図６】図１の動きベクトル推定処理部の第４の具体例
を示すブロック図である。

【図７】図１の輪郭候補領域決定処理部の具体例を示す
ブロック図である。

【図８】図７の輪郭候補領域決定処理の一例を説明する
ためのフローチャートである。

【図９】図８中のNRMSE の計算方法の一例を示すフロー
チャートである。

【図１０】図１のグラディエント計算処理部の具体例を
示すブロック図である。

【図１１】図１０のエッジ検出処理部の第１の具体例を
示すブロック図である。

【図１２】図１０のエッジ検出処理部の第２の具体例を
示すブロック図である。

【図１３】グラディエント計算における領域分割処理の
動作を説明するためのフローチャートである。

【図１４】エッジ検出情報を得る処理を説明するための
フローチャートである。

【図１５】エッジ検出処理の図１１、図１２に示す具体
例を組み合わせて行う処理を示すブロック図である。

【図１６】図１の曲線生成処理部の一例を示すブロック
図である。

【図１７】曲線生成方法が適用される構成の具体例を示
すブロック図である。

【図１８】通過点処理を説明するためのフローチャート
である。

【図１９】本実施例の効果を説明するための図である。

【符号の説明】

１１ 動きベクトル推定処理部 １２ 輪郭候補領域決定処理部 １３ グラディエント計算処理部 １４ 曲線生成処理部 ２１ ＣＰＵ（中央演算処理装置） ２２ 外部記憶手段 ２３ 入力手段 ２４ 表示手段 ２５ バスライン ３１ マッチング演算処理部 ３２ 動きベクトル演算処理部 ４１、４２、６１、６２、６３ 階層化処理部 ４３〜４６ ブロックマッチング処理部 ４８、４９ 平滑化処理部 ５１ 動きベクトル推定処理部 ５２ 特徴点抽出処理部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 入力動画像の各フレームにおいて対象物
   領域を抜き出す領域抽出方法において、 前フレームでの対象物輪郭の軌跡が与えられたときに、
   前−現フレーム間で輪郭の動きベクトルを推定すること
   によって、現フレーム上で輪郭の推定位置である推定輪
   郭を求める動きベクトル推定工程と、 上記推定輪郭の周囲の画素を含む輪郭が存在する可能性
   のある領域である輪郭候補領域を現フレーム上で決定す
   る輪郭候補領域決定工程と、 上記輪郭候補領域において濃度値のグラディエントベク
   トル場を求めるグラディエント計算工程と、 上記グラディエントベクトル場中のベクトルの大きさが
   大きいところを通過するように閉曲線を生成し、その軌
   跡を現フレームにおける対象物輪郭とする曲線生成工程
   とを有することを特徴とする領域抽出方法。
2. 【請求項２】 上記動きベクトル推定工程では、 与えられた上記対象物輪郭の軌跡上の特徴点を抽出し、
   抽出した特徴点の動きベクトルを推定するに際して、比
   較する２ブロック間の誤差評価に対象物領域画素の残差
   に重みづけするような誤差評価関数を用いた階層的ブロ
   ックマッチングを用いて計算し、その各階層の結果の動
   きベクトルに対して平滑化処理を行うことを特徴とする
   請求項１記載の物体領域抽出方法。
3. 【請求項３】 上記輪郭候補領域決定工程では、 前フレームの輪郭上のブロックと、それに対応する現フ
   レームの推定輪郭上のブロックとの間の平均２乗誤差を
   対象物色と背景色との差で規格化した値を求め、その値
   を用いて、現フレームの推定輪郭の周囲に形成する輪郭
   候補領域の太さを調節することを特徴とする請求項１記
   載の領域抽出方法。
4. 【請求項４】 上記グラディエント計算工程では、 現フレームの推定輪郭に対し特徴点抽出を行い、現フレ
   ームの推定輪郭上の特徴点位置に従って輪郭候補領域を
   小領域に分割し、その小領域ごとに現フレームにおける
   輪郭の方向を推定し、その方向の勾配にのみ反応するよ
   うなエッジ検出を行うことによって、輪郭候補領域のグ
   ラディエントベクトル場を得ることを特徴とする請求項
   １記載の領域抽出方法。
5. 【請求項５】 上記グラディエント計算工程では、 現フレームの推定輪郭に対し特徴点抽出を行い、現フレ
   ームの推定輪郭上の特徴点位置に従って輪郭候補領域を
   小領域に分割し、その小領域ごとに現フレームにおける
   輪郭の色変化を推定し、その色変化の勾配にのみ反応す
   るようなエッジ検出を行うことによって、輪郭候補領域
   のグラディエントベクトル場を得ることを特徴とする請
   求項１記載の領域抽出方法。
6. 【請求項６】 上記曲線生成工程では、 現フレームの輪郭領域のグラディエントベクトル場に対
   して、現フレームの推定輪郭に対し特徴点抽出を行い、
   現フレームの推定輪郭上の特徴点位置に従って輪郭候補
   領域を小領域に分割し、その小領域ごとに輪郭が通過す
   る点を抽出し、グラディエントベクトル場ベクトルの大
   きさが大きいところを通過するように生成した３次スプ
   ライン曲線で前記通過点を連結することを特徴とする請
   求項１記載の領域抽出方法。