JP2984652B2

JP2984652B2 - 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体

Info

Publication number: JP2984652B2
Application number: JP10162498A
Authority: JP
Inventors: 真喜子此島; 守人塩原; 厚子多田; 伊藤　　隆
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1997-08-22
Filing date: 1998-06-10
Publication date: 1999-11-29
Anticipated expiration: 2018-06-10
Also published as: US20020076108A1; JPH11238138A; US6542639B2; EP0898246A3; EP0898246A2

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は領域抽出装置及び領
域抽出方法並びにコンピュータで実現可能なプログラム
が記憶された記録媒体に係り、特に、動画像から所望の
領域を抽出する領域抽出装置及び領域抽出方法並びにコ
ンピュータで実現可能なプログラムが記憶された記録媒
体に関する。

【０００２】近年、映像合成技術の発達に伴って、動画
像からユーザが着目する物体などの領域を抽出（切り出
す）処理の必要性が高まっている。動画像から所望の物
体だけを取り出す場合、動画像の各フレームで注目する
所望の物体を取り出す必要があり、人手により切り出す
方法では時間がかかり過ぎる。そこで、動画像からユー
ザが着目する物体などの領域を抽出する処理を人手の介
在を少なくして高速に行える処理方法が望まれている。

【０００３】

【従来の技術】従来、動画像中から所望の物体を抽出す
る方法としては、全手動切り出しツールがあげられる。
全手動切り出しツールは、いわゆる、静止画像でのお絵
描きツールと同様であり、静止画像から所望の物体の輪
郭を指定して、切り出し、これを動画像の全フレームに
ついて行うものである。

【０００４】図７７に全手動切り出しツールによる画像
抽出動作を説明するための図を示す。図７７（Ａ）に示
すように、計算機１１０に接続されているディスプレイ
１２０上に抽出の対象とする抽出前の画像２００を表示
し、ユーザはその画像を見ながら、マウスやペンなどの
入力デバイス１３０を用いて抽出したい物体２１０の輪
郭線をなぞる等をして、閉曲面を指定し、所望の物体２
１０を切り出す。図７７（Ｂ）に示すように比較的似た
映像が続く動画像においても、静止画と同様、全てのフ
レームに対して同じように領域抽出作業を行っていた。

【０００５】全手動切り出しツールでは、図７７に示す
ような動作を動画像を構成する全フレームの画像につい
て実施しなければならず、非常に手間がかかる。よっ
て、人手による指示を極力低減したシステムが望まれて
いる。動画像から所望の物体を抽出する際に人手による
指示を低減するシステムとしては、例えば、特開平５−
１４８０７号公報、特開平８−１８５５４０号公報に示
すような画像領域抽出装置が提案されている。

【０００６】特開平５−１４８０７号公報には、最初の
２フィールドについて人手によって領域の境界を指定
し、３フィールド以降の動画像については前２フィール
ドにおける意味のある領域の境界の形状変化から現フィ
ールドにおける境界の形状を予測して所望の領域を抽出
する動画像領域抽出装置が記載されている。また、特開
平８−１８５５４０号公報には、動画像の入力画像信号
から所定の閾値に基づいて第１の特定領域を抽出し、抽
出された第１の特定領域から所定の特定パターンに基づ
いて雑音領域を除去するとともに、欠落部分を補間した
第２の特定領域を抽出し、メモリに格納し、メモリに格
納された前のフレームの第２の特定領域と現入力画像の
第２の特定領域とを比較することにより、第３の特定領
域を抽出し、抽出すべき特定領域とする特定領域抽出装
置が記載されている。

【０００７】

【発明が解決しようとする課題】しかるに、全手動切り
出しツールを用いて動画像から所望の物体を切り出す場
合、各フレームで所望の物体を切り出す必要があるた
め、抽出に膨大な人手を要する等の問題点があった。ま
た、特開平５−１４８０７号公報では、抽出した画像に
対する修正などが全く行われていないので現画像の変形
などに対応できず、正確な領域抽出が行えない等の問題
点があった。

【０００８】さらに、特開平８−１８５５４０号公報で
は、メモリに格納された前のフレームの第２の特定領域
と現入力画像の第２の特定領域とを比較することによ
り、第３の特定領域を抽出し、抽出すべき特定領域とす
るだけであるので、正確な領域抽出が行えない等の問題
点があった。本発明は上記の点に鑑みてなされたもの
で、動画像から所望の物体を自動に、かつ、正確に抽出
できる領域抽出装置及び領域抽出方法並びにコンピュー
タで実現可能なプログラムが記憶された記録媒体を提供
することを目的とする。

【０００９】

【課題を解決するための手段】本発明の請求項１は、動
画像から所望の領域を抽出する領域抽出装置において、
前記動画像のうちの所望のフレームから抽出しようとす
る領域の輪郭点を指示する領域指示手段と、前記領域指
示手段で指示された領域の輪郭点の周囲を抽出しようと
する領域の色情報に基づいて探索し、抽出しようとする
領域を抽出して、テンプレートマッチングの際に、前記
動画像の所定のフレームから抽出しようとする領域を示
す手本となるテンプレートを作成するテンプレート作成
手段と、前記テンプレート作成手段で作成された前記テ
ンプレートのエッジを順次探索することにより前記動画
像の他のフレームの抽出すべき領域と前記テンプレート
のマッチングをとるテンプレートマッチング手段と、前
記テンプレートマッチング手段でのマッチングの結果に
応じて順次に前記動画像の他のフレームに対応する前記
テンプレートを生成し、領域を抽出するテンプレート修
正手段とを有することを特徴とする。

【００１０】請求項２は、請求項１において、前記領域
指示手段が、指示された各輪郭点の色信号情報を指示す
ることを特徴とする。請求項３は、請求項１又は２にお
いて、前記テンプレート作成手段が、前記領域指示手段
により指示された各輪郭点の近傍の領域からエッジ点を
抽出するエッジ抽出手段と、前記エッジ抽出手段により
各輪郭点で抽出された前記エッジ点を結合し、その閉領
域をテンプレートとして抽出するテンプレート抽出手段
とを有することを特徴とする。

【００１１】請求項４は、請求項３において前記エッジ
抽出手段が、前記領域指示手段により指示された各輪郭
点の近傍の領域中、予め設定された所定のエッジ強度以
上のエッジ点を検出するエッジ点検出手段と、前記エッ
ジ点検出手段で検出されたエッジ点から前記輪郭点に近
似したエッジ点を抽出すべきエッジ点として抽出するエ
ッジ点抽出手段とを有することを特徴とする。

【００１２】請求項５は、手本に基づいて動画像の各フ
レームから所望の領域を抽出する領域抽出装置におい
て、前記所望の領域に対応する前記手本の輪郭部分を抽
出する輪郭抽出手段と、前記輪郭抽出手段で抽出された
前記手本の色情報に基づいて輪郭部分が前記所望の領域
の輪郭部分の内側か、外側かを判定する領域判定手段
と、前記領域判定手段の判定結果に応じて前記所望の領
域の修正を行う修正手段とを有することを特徴とする。

【００１３】請求項６は、請求項５において、前記領域
判定手段が、前記手本の輪郭部分の色情報に応じて前記
手本の輪郭部分の内部と外部との色差を検出する色差検
出手段と、前記色差検出手段で検出された色差に応じて
前記所望の領域の輪郭部分を判定する閾値を設定する閾
値設定手段とを有し、前記所望の領域の輪郭部分の色情
報と前記閾値設定手段で設定された前記閾値との比較結
果に基づいて前記手本の輪郭が前記所望の領域の輪郭の
内部か、外部かを判定することを特徴とする。

【００１４】請求項７は、請求項５又は６において、前
記領域判定手段が、前記手本の所定の領域の色情報と前
記所望の領域の色情報との色差に応じて前記手本の輪郭
が前記所望の領域の輪郭の内部にあるか、外部にあるか
を判定することを特徴とする。請求項８は、請求項５乃
至６において、前記領域判定手段が、前記手本の所定の
領域の輪郭部分のテクスチャ属性と前記所望の領域の輪
郭部分のテクスチャ属性とに応じて前記手本の輪郭が前
記所望の領域の輪郭の内部か、外部かを判定することを
特徴とする。

【００１５】請求項９は、請求項５乃至８において、前
記修正手段が、前記領域判定手段による判定結果、前記
所望の領域の輪郭と、前記手本の領域とが不一致のとき
に、修正を行うことが特徴とする。請求項１０は、請求
項５乃至９において、前記修正手段が、前記領域判定手
段による判定結果、前記所望の領域の輪郭の手本との差
が予め設定されたレベルより大きいときに、前記輪郭点
と手本との差が緩和されるように輪郭を修正することを
特徴とする。

【００１６】請求項１１は、請求項５乃至１０におい
て、前記修正手段が、前記修正結果を順次手本とするこ
とを特徴とする。請求項１２は、請求項５乃至１１にお
いて、前記領域抽出手段が、初期時には、予め設定され
た手本から対応する領域を抽出し、以降、前記修正手段
により修正された領域を手本として対応する領域を抽出
することを特徴とする。

【００１７】請求項１３は、動画像から所望の領域を抽
出する領域抽出装置であって、前記動画像の各フレーム
から所望の領域を抽出する領域抽出手段と、前記領域抽
出手段で既に抽出された前記動画像の各フレームの領域
を該領域のエッジの周囲を前記抽出しようとする領域の
色情報に基づいて探索することにより、抽出しようとす
る領域か否かを判断することにより、前記領域抽出手段
で抽出された領域を抽出しようとする領域となるように
自動修正する修正手段とを有することを特徴とする。請
求項１４は、請求項１３において、前記修正手段は、動
画中の複数のフレームにおいて抽出すべきであるのに抽
出されなかった領域を参照して、既に抽出された各フレ
ームの所望の領域を修正することを特徴とする。

【００１８】請求項１５は、請求項１３又は１４におい
て、前記修正手段が、抽出すべき領域の手本を設定する
手本設定手段と、前記手本設定手段に設定された手本の
領域と、抽出しようとする領域との差の領域を検出する
差分検出手段と、前記差分検出手段で検出された差分の
領域を誤って抽出された領域として抽出する第１の抽出
手段とを有することを特徴とする。

【００１９】請求項１６は、請求項１３乃至１５におい
て、前記修正手段が、前記差分検出手段で検出された差
分の領域を正しく抽出された領域として抽出する第２の
抽出手段とを有することを特徴とする。請求項１７は、
請求項１３乃至１６において、前記修正手段が、前記第
１の抽出手段で抽出された領域と前記第２の抽出手段で
抽出された領域との和の領域を所望の領域として抽出す
る第３の抽出手段を有することを特徴とする。

【００２０】請求項１８は、請求項１３乃至１７におい
て、前記修正手段が、前記領域抽出手段で既に抽出され
た領域と前記第１の抽出手段で抽出された領域との和の
領域を所望の領域として抽出する第４の抽出手段を有す
ることを特徴とする。請求項１９は、請求項１３乃至１
８において、前記修正手段が、前記領域抽出手段で既に
抽出された領域と前記第２の抽出手段で抽出された領域
とに基づいて所望の領域を抽出する第５の抽出手段を有
することを特徴とする。

【００２１】請求項２０は、請求項１３乃至１９におい
て、前記修正手段が、前記手本として設定されたフレー
ムについては領域の修正は行わないことを特徴とする。
請求項２１は、請求項１３乃至２０において、前記修正
手段が、既に所望の領域に対して修正を行ったフレーム
については領域の修正を行わないことを特徴とする。

【００２２】請求項２２は、請求項１３乃至２１におい
て、前記修正手段が、予め設定されたフレームに対して
修正を行うことを特徴とする。請求項２３は、請求項１
３乃至２２において、前記手本設定手段が、修正された
フレームの所望の領域を手本として設定することを特徴
とする。請求項２４は、動画像から所望の領域を抽出す
る領域抽出装置において、前記所望の領域を抽出するた
めの手本の領域に基づいて抽出する領域抽出手段と、前
記領域抽出手段により抽出された領域と前記手本の領域
とをエッジを指標としてパターンマッチングを行い、前
記領域抽出手段により抽出された領域の前記手本の領域
の色情報に基づいて変形を検出する変形検出手段と、前
記変形検出手段で検出された前記領域抽出手段により抽
出された領域の前記手本の領域からの変形量に応じて前
記領域抽出手段で抽出された領域を修正する修正手段と
を有することを特徴とする。

【００２３】請求項２５は、請求項２４において、前記
修正手段が、前記変形検出手段で検出された前記変形し
た領域と前記抽出手段で抽出された領域との和の領域を
求める加算手段を有することを特徴とする。請求項２６
は、請求項２４又は２５において、前記修正手段が、前
記変形検出手段で検出された前記変形した領域のうち変
形が所定のレベルより大きい領域を判定する変形判定手
段と、前記変形判定手段で判定された変形量が所定の
レベルより大きい領域を手本として再抽出を行う再抽出
手段とを有し、前記再抽出手段で再抽出された領域に応
じて前記所望の領域を修正することを特徴とする。

【００２４】請求項２７は、請求項２４乃至２６におい
て、前記変形判定手段により前記変形検出手段で検出さ
れた前記変形した領域のうち変形が所定のレベルより大
きい領域が判定されたとき、前記再抽出手段により再抽
出された領域が抽出され、加算された領域を出力する出
力手段とを有することを特徴とする。請求項２８は、請
求項２４乃至２６において、前記修正手段が、既に抽出
された領域を抽出する際に参照したフレームの配列方向
とは反対の配列方向から修正を行うことを特徴とする請
求項２４乃至２７のいずれか一項記載の領域抽出装置。

【００２５】請求項２９は、動画像から所望の領域を抽
出する領域抽出装置であって、抽出対象物と背景との色
差を検出する色差検出手段と、前記色差検出手段により
検出された前記抽出対象物と前記背景との色差が所定の
差異より小さい部分はそのまま輪郭として抽出する輪郭
抽出手段と、前記色差検出手段により検出された前記抽
出対象物と前記背景との差異が所定の差異より大きい部
分に対して輪郭の修正を行い、輪郭として抽出する輪郭
修正手段とを有することを特徴とする。請求項３０は、
請求項２９において、前記差検出手段が、前記抽出対象
物及び前記背景近傍のエッジ強度を検出し、前記輪郭抽
出手段は、前記差検出手段で検出された前記エッジ強度
が所定レベル以上の部分を輪郭として抽出することを特
徴とする。

【００２６】請求項３１は、請求項２９又は３０におい
て、前記差検出手段が、前記抽出対象物及び前記背景近
傍の色差を検出し、前記輪郭抽出手段は、前記差検出手
段で検出された前記色差が第１の差より大きい部分を輪
郭として抽出することを特徴とする。請求項３２は、請
求項２９乃至３１において、前記輪郭抽出手段が、前記
抽出対象物と前記背景との差異が前記第１の差より小さ
い部分を補完する輪郭補完手段を有することを特徴とす
る。

【００２７】請求項３３は、請求項２９乃至３２におい
て、前記輪郭補完手段が、前記抽出対象物と前記背景と
の差異が前記第１の差より小さい部分の両端に抽出され
た輪郭を直線で結んだ線分を輪郭として補完することを
特徴とする。請求項３４は、請求項２９乃至３３におい
て、前記輪郭補完手段が、前記抽出対象物と前記背景と
の差が前記第１の差異より小さい第２の差異より小さい
部分を輪郭として抽出することを特徴とする。

【００２８】請求項３５は、請求項２９乃至３４におい
て、前記抽出対象物の手本を保存する手本保存手段を有
し、前記輪郭補完手段は、前記抽出対象物と前記背景と
の差が前記第１の差より小さい部分に対応する輪郭を前
記手本保存手段に保存された前記手本から抽出して、輪
郭として補完することを特徴とする。

【００２９】請求項３６は、動画像から所望の領域を抽
出する領域抽出をコンピュータで実現可能なプログラム
が記憶された記録媒体であって、前記動画像のうちの所
望のフレームから抽出しようとする領域の輪郭点を指示
する領域指示手順と、前記領域指示手順で指示された領
域の色情報に基づいて輪郭点の周囲を探索し、抽出しよ
うとする領域を抽出して、前記動画像のフレームの抽出
しようとする領域のテンプレートを作成するテンプレー
ト作成手順と、前記テンプレート作成手順で作成された
前記テンプレートと前記動画像の他のフレームの抽出す
べき領域とのマッチングをとるテンプレートマッチング
手順と、前記テンプレートマッチング手順でのマッチン
グの結果に応じて順次に前記動画像の他のフレームに対
応する前記テンプレートを生成し、領域を抽出するテン
プレート修正手順とを実行することを特徴とする。

【００３０】請求項３７は、請求項３６において、前記
領域指示手順が、指示された領域中の各点の色信号情報
に応じて抽出すべき領域を指示することを特徴とする。
請求項３８は、請求項３６又は３７において、前記テン
プレート作成手順が、前記領域指示手順により指示され
た抽出しようとする各輪郭点の近傍の領域からエッジ点
を抽出するエッジ抽出手順と、前記エッジ抽出手順によ
り各輪郭点で抽出された前記エッジ点を結合し、その閉
領域をテンプレートとして抽出するテンプレート抽出手
順とを有することを特徴とする。

【００３１】請求項３９は、請求項３８において、前記
エッジ抽出手順が、前記領域指示手順により指示された
抽出しようとする各輪郭点の近傍の領域中、所定値以上
のエッジ点を検出するエッジ点検出手順と、前記エッジ
点抽出手順で抽出されたエッジ点から前記輪郭点に近似
したエッジ点を抽出すべきエッジ点として抽出するエッ
ジ点抽出手順とを有することを特徴とする。

【００３２】請求項４０は、手本に基づいて動画像の各
フレームから所望の領域を抽出するコンピュータで実現
可能なプログラムが記憶された記録媒体であって、前記
所望の領域の輪郭部分に対応する前記手本の輪郭部分を
抽出する輪郭抽出手順と、前記輪郭抽出手順で抽出され
た前記手本の色情報に基づいて輪郭部分が前記所望の領
域の輪郭部分の内側か、外側かを判定する領域判定手順
と、前記領域判定手順の判定結果に応じて前記所望の領
域の修正を行う修正手順とを実行することを特徴とす
る。

【００３３】請求項４１は、請求項４０において、前記
領域判定手順が、前記手本の輪郭部分の色情報に応じて
前記手本の輪郭部分の内部と外部との色差を検出する色
差検出手順と、前記色差検出手順で検出された色差に応
じて前記所望の領域の輪郭部分を判定する閾値を設定す
る閾値設定手順とを有し、前記所望の領域の輪郭部分の
色情報と前記閾値設定手順で設定された前記閾値との比
較結果に基づいて前記手本の輪郭が前記所望の領域の輪
郭の内部か、外部かを判定することを特徴とする。

【００３４】請求項４２は、請求項４０又は４１におい
て、前記領域判定手順が、前記手本の所定の領域の色情
報と前記所望の領域の色情報との色差に応じて前記手本
の輪郭が前記所望の領域の輪郭の内部か、外部かを判定
することを特徴とする。請求項４３は、請求項４０乃至
４２において、前記領域判定手順が、前記手本の所定の
領域の輪郭部分のテクスチャ属性と前記所望の領域の輪
郭部分のテクスチャ属性とに応じて前記手本の輪郭が前
記所望の領域の輪郭の内部か、外部かを判定することを
特徴とする。

【００３５】請求項４４は、請求項４０乃至４３におい
て、前記修正手順が、前記領域判定手順による判定結
果、前記所望の領域の輪郭と、前記手本の領域とが不一
致のときに、修正を行うことが特徴とする。請求項４５
は、請求項４０乃至４４において、前記修正手順が、前
記領域判定手順による判定結果、前記所望の領域の輪郭
が前記所望の領域の輪郭の手本との差が予め設定された
レベルより大きいときに、前記輪郭点と手本との差が緩
和されるように輪郭を修正することを特徴とする。

【００３６】請求項４６は、請求項４０乃至４５におい
て、前記修正手順が、前記修正結果を順次手本とするこ
とを特徴とする。請求項４７は、請求項４０乃至４６に
おいて、前記領域抽出手順が、初期時には、予め設定さ
れた手本から対応する領域を抽出し、以降、前記修正手
順により修正された領域を手本として対応する領域を抽
出することを特徴とする。

【００３７】請求項４８は、動画像から所望の領域を抽
出するコンピュータで実現可能なプログラムが記憶され
た記録媒体であって、前記動画像の各フレームから所望
の領域を抽出する領域抽出手順と、前記領域抽出手順で
既に抽出された前記動画像の色情報に基づいて該領域の
エッジの周囲を探索することにより、抽出しようとする
領域か否かを判断することにより、前記領域抽出手段で
抽出された領域を抽出しようとする領域となるように自
動修正する修正手順とをコンピュータに実行させる。

【００３８】請求項４９は、請求項４８において、前記
修正手順が、動画中の複数のフレームから抽出すべきで
あるのに抽出されなかった領域を参照して、既に抽出さ
れた各フレームの所望の領域を修正することを特徴とす
る。請求項５０は、請求項４８又は４９において、前記
修正手順が、抽出すべき領域の手本を設定する手本設定
手順と、前記手本設定手順に設定された手本の領域と、
抽出しようとする領域との差の領域を検出する差分検出
手順と、前記差分検出手順で検出された差分の領域を誤
って抽出された領域として抽出する第１の抽出手順とを
有することを特徴とする。

【００３９】請求項５１は、請求項４８乃至５０におい
て、前記修正手順が、前記差分検出手順で検出された差
分の領域を正しく抽出された領域として抽出する第２の
抽出手順とを有することを特徴とする。請求項５２は、
請求項４８乃至５１において、前記修正手順が、前記第
１の抽出手順で抽出された領域と前記第２の抽出手順で
抽出された領域との和の領域を所望の領域として抽出す
る第３の抽出手順を有することを特徴とする。

【００４０】請求項５３は、請求項４８乃至５２におい
て、前記修正手順が、前記領域抽出手順で既に抽出され
た領域と前記第１の抽出手順で抽出された領域との和の
領域を所望の領域として抽出する第４の抽出手順を有す
ることを特徴とする。請求項５４は、請求項４８乃至５
３において、前記修正手順が、前記領域抽出手順で既に
抽出された領域と前記第２の抽出手順で抽出された領域
とに基づいて所望の領域を抽出する第５の抽出手順を有
することを特徴とする。

【００４１】請求項５５は、請求項４８乃至５４におい
て、前記修正手順が、前記手本として設定されたフレー
ムについては領域の修正は行わないことを特徴とする。
請求項５６は、請求項４８乃至５５において、前記修正
手順が、既に所望の領域に対して修正を行ったフレーム
については領域の修正を行わないことを特徴とする。

【００４２】請求項５７は、請求項４８乃至５６におい
て、前記修正手順が、予め設定されたフレームに対して
修正を行うことを特徴とする。請求項５８は、請求項４
８乃至５７において、前記手本設定手順が、修正された
フレームの所望の領域を手本として設定することを特徴
とする。請求項５９は、動画像から所望の領域を抽出す
るコンピュータで実現可能なプログラムが記憶された記
録媒体であって、前記所望の領域を手本の領域に応じて
抽出する領域抽出手順と、前記領域抽出手順により抽出
された領域と前記手本の領域とをエッジを指標としてパ
ターンマッチングを行い、前記領域抽出手順により抽出
された領域の前記手本の色情報に基づいて変形を検出す
る変形検出手順と、前記変形検出手順で検出された前記
領域抽出手順により抽出された領域の前記手本の領域か
らの変形量に応じて前記領域抽出手順で抽出された領域
を修正する修正手順とをコンピュータに実行させる。

【００４３】請求項６０は、請求項５９において、前記
修正手順が、前記変形検出手順で検出された前記変形し
た領域と前記抽出手段で抽出された領域との和の領域を
求める加算手順を有することを特徴とする。請求項６１
は、請求項５９又は６０において、前記修正手順が、前
記変形検出手順で検出された前記変形した領域のうち変
形が所定のレベルより大きい領域を判定する変形判定手
順と、前記変形判定手順で判定された変形量が所定の
レベルより大きい領域を手本として再抽出を行う再抽出
手順とを有し、前記再抽出手順で再抽出された領域に応
じて前記所望の領域を修正することを特徴とする。

【００４４】請求項６２は、請求項５９乃至６１におい
て、前記変形判定手順により前記変形検出手順で検出さ
れた前記変形した領域のうち変形が所定のレベルより大
きい領域が判定されたとき、前記再抽出手順により再抽
出された領域が抽出され、加算された領域を出力する出
力手順とを有することを特徴とする。請求項６３は、請
求項５９乃至６２において、前記修正手順が、既に抽出
された領域を抽出する際に参照したフレームの配列方向
とは反対の配列方向から修正を行うことを特徴とする。

【００４５】請求項６４は、動画像から所望の領域を抽
出するコンピュータで実現可能なプログラムが記録され
た記録媒体であって、抽出対象物と背景との色差を検出
する色差検出手順と、前記差検出手順により検出された
前記抽出対象物と前記背景との差異が所定の差異より小
さい部分はそのまま輪郭として抽出する輪郭抽出手順
と、前記色差検出手段により検出された前記抽出対象物
と前記背景との差異が所定の差異より大きい部分に対し
て輪郭の修正を行い、輪郭として抽出する輪郭修正手順
とを有することを特徴とする。

【００４６】請求項６５は、請求項６４において、前記
差検出手順が、前記抽出対象物及び前記背景近傍のエッ
ジ強度を検出し、前記輪郭抽出手順は、前記差検出手順
で検出された前記エッジ強度が第１のレベル以上の部分
を輪郭として抽出し、前記エッジ強度が前記第１のレベ
ルより大きい第２のレベルより小さい部分はそのまま輪
郭として抽出することを特徴とする。請求項６６は、請
求項６４又は６５において、前記差検出手順が、前記抽
出対象物及び前記背景近傍の色差を検出し、前記輪郭抽
出手順は、前記差検出手順で検出された前記色差が第１
の差より大きい部分を輪郭として抽出することを特徴と
する。

【００４７】請求項６７は、請求項６４乃至６６におい
て、前記輪郭抽出手順が、前記抽出対象物と前記背景と
の差異が前記第１の差より小さい部分を補完する輪郭補
完手順を有することを特徴とする。請求項６８は、請求
項６７において、前記輪郭補完手順が、前記抽出対象物
と前記背景との差異が前記第１の差より小さい部分の両
端に抽出された輪郭を直線で結んだ線分を輪郭として補
完することを特徴とする。

【００４８】請求項６９は、請求項６７又は６８におい
て、前記輪郭補完手順が、前記抽出対象物と前記背景と
の差が前記第１の差異より小さい第２の差異より小さい
部分を輪郭として抽出することを特徴とする。請求項７
０は、請求項６７乃至６９において、前記抽出対象物の
手本を保存する手本保存手順を有し、前記輪郭補完手順
は、前記抽出対象物と前記背景との差が前記第１の差よ
り小さい部分に対応する輪郭を前記手本保存手順に保存
された前記手本から抽出して、輪郭として補完すること
を特徴とする。

【００４９】請求項７１は、動画像から所望の領域を抽
出する領域抽出方法において、前記動画像のうちの所
望のフレームから抽出しようとする領域の輪郭点を指示
する領域指示手順と、前記領域指示手順で指示された領
域の色情報に基づいて輪郭点の周囲を探索し、抽出しよ
うとする領域を抽出して、前記動画像のフレームの抽出
しようとする領域のテンプレートを作成するテンプレー
ト作成手順と、前記テンプレート作成手順で作成された
前記テンプレートと前記動画像の他のフレームの抽出す
べき領域とのマッチングをとるテンプレートマッチング
手順と、前記テンプレートマッチング手順でのマッチン
グの結果に応じて順次に前記動画像の他のフレームに対
応する前記テンプレートを生成し、領域を抽出するテン
プレート修正手順とを有することを特徴とする。

【００５０】請求項７２は、手本に基づいて動画像の各
フレームから所望の領域を抽出する領域抽出方法におい
て、前記所望の領域の輪郭部分に対応する前記手本の輪
郭部分を抽出する輪郭抽出手順と、前記輪郭抽出手順で
抽出された前記手本の輪郭部分が前記所望の領域の輪郭
部分の内側か、外側かを判定する領域判定手順と、前記
領域判定手順の判定結果に応じて前記所望の領域の修正
を行う修正手順とを有することを特徴とする。

【００５１】請求項７３は、動画像から所望の領域を抽
出する領域抽出方法であって、前記動画像の各フレーム
から所望の領域を抽出する領域抽出手順と、前記領域抽
出手順で既に抽出された前記動画像の色情報に基づいて
該領域のエッジの周囲を探索することにより、抽出しよ
うとする領域か否かを判断することにより、前記領域抽
出手段で抽出された領域を抽出しようとする領域となる
ように自動修正する修正手順とを有することを特徴とす
る。請求項７４は、動画像から所望の領域を抽出する領
域抽出方法において、前記所望の領域を手本の領域に
応じて抽出する領域抽出手順と、前記領域抽出手順によ
り抽出された領域と前記手本の領域とをエッジを指標と
してパターンマッチングを行い、前記領域抽出手順によ
り抽出された領域の前記手本の色情報に基づいて該領域
からの変形を検出する変形検出手順と、前記変形検出手
順で検出された前記領域抽出手順により抽出された領域
の前記手本の領域からの変形量に応じて前記領域抽出手
順で抽出された領域を修正する修正手順とを有すること
を特徴とする。

【００５２】請求項７５は、動画像から所望の領域を抽
出する領域抽出方法であって、抽出対象物と背景との色
差を検出する差検出手順と、前記色差検出手順により検
出された前記抽出対象物と前記背景との差異が所定の差
異より小さい部分をそのまま輪郭として抽出する輪郭抽
出手順と、前記差検出手段により検出された前記抽出対
象物と前記背景との差異が所定の差異より大きい部分に
対して輪郭の修正を行い、輪郭として抽出する輪郭修正
手順とを有することを特徴とする。請求項１乃至４、及
び、請求項３６乃至３９並びに請求項７１によれば、抽
出しようとする領域からテンプレートを作成し、作成し
たテンプレートと動画像のフレームとのマッチングをと
り、マッチング結果に基づいてテンプレートを順次修正
することにより、動画像から所望の領域だけを正確に抽
出できる。

【００５３】請求項５乃至１２、及び、請求項４０乃至
４７並びに請求項７２によれば、手本に基づいて動画像
の各フレームから所望の領域を抽出する際、所望の領域
の輪郭部分に対応する手本の輪郭部分を抽出し、抽出さ
れた手本の輪郭部分が所望の領域の輪郭部分の内側か、
外側かを判定して、その判定結果に応じて所望の領域の
修正を行うので、各フレームで手本とのずれが修正さ
れ、動画像から所望の領域だけを正確に抽出できる。

【００５４】請求項１３乃至２３、及び、請求項４８乃
至５８並びに請求項７３によれば、動画像の各フレーム
から所望の領域を抽出し、後に、既に抽出された各フレ
ームの所望の領域の誤った領域を修正することにより、
既に抽出された各フレームにおいて生じたずれが修正さ
れるので、動画像から所望の領域だけを正確に抽出でき
る。

【００５５】請求項２４乃至２８、及び、請求項５９乃
至６３並びに請求項７４によれば、所望の領域を手本の
領域に応じて抽出し、抽出された領域の手本の領域から
の変形を検出し、検出された変形量に応じて領域を修正
することにより、手本からの変化量に応じて領域を修正
することにより各フレームで手本からの変形が修正され
るので、動画像から所望の領域だけを正確に抽出でき
る。

【００５６】請求項２９乃至３５、及び、請求項６４乃
至７０並びに請求項７５によれば、抽出対象物と背景と
の差を検出し、検出された抽出対象物と背景との差異が
所定の差異より小さい部分を輪郭として抽出し、差異が
大きい部分に対しては修正を行うことにより、差異が小
さい修正が不要な部分に対して修正を行う必要がなく、
効率よく修正を行うことができる。

【００５７】

【発明の実施の形態】まず、本発明の第１実施例につい
て説明する。図１に本発明の第１実施例のブロック構成
図を示す。本実施例の領域抽出装置１は、抽出すべき物
体を指示する入力装置２、動画像を保持する動画像記憶
部３、動画像記憶部３に記憶された動画像から入力装置
２により指示された物体画像領域を抽出する領域抽出処
理部４、領域抽出処理部４で抽出された領域を記憶する
抽出領域記憶部５、動画像記憶部３に記憶された動画
像、抽出領域記憶部５に記憶された抽出領域、領域抽出
処理部４での処理過程の画像を等を表示する表示装置
６、表示装置６を制御する表示コントローラ７、プログ
ラムを記憶するプログラム記憶部８から構成される。

【００５８】入力装置２は、マウス、キーボードから構
成され、抽出すべき領域の指示などを行う。動画像記憶
部３には、動画像が所定のフレーム順に格納されてい
る。動画像記憶部３からフレームを順次読み出すことに
より動画像が形成される。領域抽出処理部４は、後述す
るように入力装置２で指示された抽出すべき領域のエッ
ジ点を求め、求めたエッジ点を結合することによりテン
プレートを作成し、作成したテンプレートと原画像との
マッチングを行い、修正することにより抽出すべき領域
に応じたテンプレートを作成する。領域抽出処理部４で
作成されたテンプレートは、抽出領域記憶部５に記憶さ
れる。表示コントローラ７は、表示装置６に表示する画
像を制御し、動画像記憶部３に記憶された画像をフレー
ム毎に順次表示することにより表示装置６に動画像を表
示したり、抽出領域記憶部５に記憶された動画像中の指
定した領域だけを表示装置６にフレーム毎に順次表示し
たりする。

【００５９】プログラム記憶部８は、ハードディスクド
ライブ、フロッピーディスクドライブ及びフロッピーデ
ィスク、ＣＤ−ＲＯＭドライブ及びＣＤ−ＲＯＭ、通信
回線により接続された他のコンピュータから構成され、
後述する領域抽出処理プログラムを供給する。プログラ
ム記憶部８のハードディスク、フロッピーディスク、Ｃ
Ｄ−ＲＯＭ、通信回線により接続された他のコンピュー
タが本発明のコンピュータで実現可能なプログラムを記
憶した記録媒体に相当する。

【００６０】図２に本発明の第１実施例の領域抽出処理
部のブロック構成図を示す。領域抽出処理部４は、入力
装置２の指示により初期入力データを作成する初期入力
データ作成部１１、初期入力データ作成部１１で作成さ
れた初期入力データに応じて抽出すべき領域を選択する
領域選択部１２、領域選択部１２で選択された領域に応
じたテンプレートを作成するテンプレート作成部１３、
テンプレート作成部１３で作成されたテンプレートと動
画像記憶部３から供給される画像とのマッチングをとる
テンプレートマッチング部１４、テンプレートマッチン
グ部１４のマッチング結果に応じてテンプレートの作成
部１３で作成されたテンプレートの修正を行うテンプレ
ート修正部１５、テンプレート作成部１３で作成された
テンプレートと動画像記憶部３から供給される画像とを
比較して、テンプレートの変形を修正する変形修正部１
６から構成される。

【００６１】領域抽出処理部４は、上記初期入力データ
作成部１１、領域選択部１２、テンプレート作成部１
３、テンプレートマッチング部１４、テンプレート修正
部１５、変形修正部１６を後述するように順次制御し
て、動画像記憶部３に記憶された動画像から所望の領域
（物体）を抽出し、抽出領域記憶部５に記憶させる。次
に、領域抽出処理部４の動作について詳細に説明する。

【００６２】領域抽出処理部４では、まず、初期入力デ
ータ作成部１１により入力装置２による初期入力が行わ
れる。初期入力は、ユーザが直接、表示装置６の画面を
見ながらマウスやペンなどの入力装置２を操作すること
により抽出使用とする領域を指定する。領域選択部１２
は、初期入力データ作成部１１で得た初期入力データの
一部分または全体の領域について、画像処理を用いた領
域分割を行い、領域の取捨選択を行う。領域選択部１２
により人手を極力減らして正確な領域を得る。

【００６３】図３に本発明の第１実施例の領域選択部の
処理フローチャート、図４に本発明の第１実施例の領域
選択部の動作説明図を示す。領域選択部１２には、動画
像記憶部３から初期入力データ作成部１１で指定された
画像の画像情報Ｐが入力されるとともに、図４に実線で
示すように初期入力データ作成部１１で作成された所望
の領域の輪郭の一部又は全体の輪郭線Ｒが入力される
（ステップＳ１−１）。

【００６４】次に領域選択部１２は、ステップＳ１−１
で初期入力データ作成部１１から入力された所望の領域
の輪郭の一部又は全体の輪郭線Ｒの近傍の領域におい
て、エッジＥを検出する（ステップＳ１−２）。領域選
択部１２は、ステップＳ１−２で検出されたエッジＥを
用いて輪郭線Ｒにおける各点について、図４に破線で示
すようにその近傍にあるエッジＥを探索する（ステップ
Ｓ１−３）。

【００６５】ステップＳ１−３で、ステップＳ１−１で
初期入力データ作成部１１から入力された所望の領域の
輪郭の一部又は全体の輪郭線Ｒの各点をステップＳ１−
３で探索されたエッジ点に移動する（ステップＳ１−
４）。ステップＳ１−４で移動されたエッジ点を結んで
新しい輪郭線Ｒnew を作成する（ステップＳ１−５）。
なお、ステップＳ１−２のエッジ検出については、公知
のエッジ強度計算方法を用いる。用いられるエッジ強度
計算方法としては、例えば、「画像解析ハンドブック」
（東京大学出版会）ｐ．５５０−５６４「２．２．４．
１エッジ要素の抽出」に記載されたｓｏｂｅｌオペレ
ータによりまずエッジ強度を求める。ここで求めた結果
をエッジ情報Ｅとする。

【００６６】次に、ステップＳ１−３の近傍でのエッジ
の探索方法について詳細に説明する。図５に本発明の第
１実施例の領域選択部のエッジ探索処理のフローチャー
ト、図６に本発明の第１実施例の領域選択部のエッジ探
索処理の動作説明図を示す。ステップＳ１−３では、ま
ず、エッジ探索範囲ｍにおいてエッジ計算結果Ｅを用い
て、輪郭線Ｒにおける点（ｘ，ｙ）が移動すべき点（ｘ
new ，ｙnew ）を求める（ステップＳ２−１）。このと
き、エッジ探索範囲ｍにおいてエッジ点Ｅの範囲（ｉ，
ｊ）、ｉ＝ｘ−ｍ〜ｘ＋ｍ、ｊ＝ｙ−ｍ〜ｙ＋ｍで最大
となる点Ｅmax （ｉ，ｊ）を求め移動すべき点（ｘnew
，ｙnew ）とする（ステップＳ２−２，Ｓ２−３）。

【００６７】なお、本実施例のエッジ探索処理では、エ
ッジ探索範囲内の最大値を移動すべきエッジ点とした
が、これに限ることはなく、ノルムを最小にする、すな
わち、ノルム最小近似を用いて移動すべきエッジ点を探
索する方法も考えられる。図７に本発明の第１実施例の
領域選択部のエッジ探索処理の変形例のフローチャー
ト、図８に本発明の第１実施例の領域選択部のエッジ探
索処理の変形例の動作説明図を示す。

【００６８】本変形例では、エッジ探索範囲ｍにおいて
エッジ計算結果Ｅとしきい値ｔｈを用いて、輪郭線にお
けるある点（ｘ，ｙ）が移動すべき点（ｘnew ，ｙnew
）を求める。まず、輪郭Ｒにおける点（ｘ，ｙ）、エ
ッジＥ、エッジ探索範囲ｍ、閾値ｔｈを入力する（ステ
ップＳ３−１）。次に、範囲ｍにおいてＥがしきい値よ
り大きく、ノルム｜ｉ−ｘ｜＋｜ｊ−ｙ｜を最小にする
点を求め、これを新たなエッジ点（ｘnew ，ｙnew ）と
する（ステップＳ３−２，Ｓ３−３）。

【００６９】例えば、図８において、エッジ探索範囲±
ｍでしきい値ｔｈより大きいエッジＥmax 及びエッジＥ
0 を検出した場合、エッジＥmax の方がエッジＥ0 より
大きいが、このとき、輪郭線Ｒからの距離がエッジＥma
x がｘ2 、エッジＥ0 がｘ1（ｘ2 ＞ｘ1 ）とすると、
エッジＥmax の方が大きいが輪郭線Ｒに近いエッジＥ0
がエッジとして認識される。

【００７０】本変形例によれば、ノルム最小近似により
新たなエッジ点を検出しているので、正確にエッジ点を
探索できる。なお、本実施例では動画像記憶部４から供
給された画像ＰのエッジＥの検出を行い、検出エッジＥ
及び輪郭線Ｒから真のエッジを求めテンプレートを求め
たが、これに限られるものではなく、画像の領域分割を
行っても実行しうる。画像領域分割の方法としては、例
えば、「画像解析ハンドブック」東京大学出版会、ｐ．
６８９−７０６機能編第２部「２．領域分割」に示
される。

【００７１】図９に本発明の第１実施例の領域選択部の
変形例の処理フローチャートを示す。本変形例では、
画像平面Ｐ、画像処理を行う部分（あるいは、領域全
体）の領域をＳ、領域分割の量子化しきい値ｑth、ユー
ザの選択情報が入力される（ステップＳ４−１）。量子
しきい値ｑthを用いて、上記の「画像解析ハンドブッ
ク」東京大学出版会、ｐ．６８９−７０６機能編第
２部２．領域分割に示される方法により領域Ｓの領域
分割を行い、さらに、ラベル付けを行う（ステップＳ４
−２）。ラベル付けは、例えば、「画像解析ハンドブッ
ク」（東京大学出版会）ｐ．５４５等に記載された方法
が用いられる。

【００７２】ステップＳ４−２でのラベル付けの後、ユ
ーザが指定する消去したい領域を指定する点の情報に基
づき消去する（ステップＳ４−３）。例えば、ユーザが
点（ｘ，ｙ）を指定すれば、点（ｘ，ｙ）のラベルと同
じラベルの領域を全て消去する。このようにして残った
領域を再統合して新しい領域Ｓnew を得る（ステップＳ
４−４）。

【００７３】ここで、ステップＳ４−２のラベル付け処
理を図面とともに説明する。図１０に本発明の第１実施
例の領域選択部の変形例のラベル付け処理のフローチャ
ートを示す。ラベル付け処理では、まず、入力画像平面
の色信号情報Ｐと領域分割の量子化しきい値ｑthを用い
て、処理を行う領域Ｓでのラベル付け結果Ｌを得る（ス
テップＳ５−１）。

【００７４】次に、領域Ｓ内部において、色信号情報Ｐ
の画素値をｑthで除算して、小数点以下を切り捨てるこ
とによって量子化し、同じ整数部分を持つ隣接画素を統
合してラベル付けを行い、ラベル付け結果として出力す
る（ステップＳ５−２，Ｓ５−３）。なお、本変形例で
は、色信号情報Ｐの画素値をｑthで除算して、小数点以
下を切り捨てることによって量子化し、同じ整数部分を
持つ隣接画素を統合してラベル付けを行ったが、色信号
情報Ｐを用いてエッジ強度Ｅを求め、エッジ強度Ｅによ
りラベル付けを行ってもよい。

【００７５】図１１に本発明の第１実施例の領域選択部
の他の変形例のラベル付け処理のフローチャートを示
す。本変形例では、まず、入力画像平面の色信号情報Ｐ
と領域分割の量子化しきい値ｑthを用いて、処理を行う
領域Ｓでのラベル付け結果Ｌを得る（ステップＳ６−
１）、次に、領域Ｓ内部において、Ｐを用いてエッジ強
度Ｅを計算する（ステップＳ６−２）。

【００７６】次に、このエッジ強度Ｅの値をｑthで除算
して、小数点以下を切り捨てることによって量子化し、
同じ整数部分を持つ隣接画素を統合してラベル付けを行
う（ステップＳ６−３）。ステップＳ６−３で求められ
たラベル付け結果を出力結果として出力する（ステップ
Ｓ６−４）。この方法は、輪郭以外では小領域に分割さ
れないという利点がある。

【００７７】次に、テンプレート作成部１３について説
明する。テンプレート作成部１３は、領域選択部１２で
選択された領域をテンプレートとして設定し、テンプレ
ート修正部１５や変形修正部１６で変形されたテンプレ
ートへの書き換えを行い、テンプレートマッチング部１
４、テンプレート修正部１５、変形修正部１６等の送り
出す。

【００７８】なお、テンプレート作成部１３では、どの
テンプレートを使うべきか等の指定することは特にせ
ず、特に画像処理や選択に関しての適応処理は行ってい
ない。次に図２のテンプレートマッチング部１４の動作
を図面とともに説明する。図１２に本発明の第１実施例
のテンプレートマッチング部の処理フローチャート、図
１３に本発明の第１実施例のテンプレートマッチング部
の動作説明図を示す。テンプレートマッチング部１４
には、まず、動画像記憶部３から画像の色信号情報Ｐ、
テンプレート作成部１３からテンプレートの色信号情報
Ｐｔｍｐ、領域Ｓｔｍｐ、テンプレートマッチングを行
う際の指標となるしきい値ｔｈが入力される（ステップ
Ｓ７−１）。

【００７９】次に、図１３（Ａ）に示すように入力画像
の色信号情報Ｐから入力画像のエッジ強度Ｅを求めると
ともに、テンプレートの色情報信号Ｐｔｍｐからテンプ
レートのエッジ強度Ｅｔｍｐを求める（ステップＳ７−
２）。エッジ強度Ｅ，Ｅｔｍｐによりテンプレートマッ
チングの探索の際の指標となりうる点を調べる。次に、
図１３（Ｂ）に示すようにテンプレートの色信号情報Ｐ
ｔｍｐ，領域Ｓｔｍｐ，エッジ強度Ｅｔｍｐについて、
定めた探索範囲について平行移動を行うとともに、回転
拡大縮小などのアフィン変換や２次元の射影を行って、
変換されたテンプレートの色信号情報ＰｔｍｐＡ，領域
ＳｔｍｐＡ，エッジ強度ＥｔｍｐＡを求める（ステップ
Ｓ７−３）。

【００８０】なお、アフィン変換や射影については、例
えば、「画像解析ハンドブック」（東京大学出版会）
ｐ．４２６−４２９に記載されている方法を用いる。ア
フィン変換結果を用いて、テンプレートの内部領域Ｓｔ
ｍｐＡで、かつ指標となりうる点（ｘ，ｙ）の条件とし
て、エッジ強度ＥｔｍｐＡ（ｘ，ｙ），Ｅ（ｘ，ｙ）が
それぞれしきい値thより大きくなる、いわゆるエッジの
部分のエッジ強度の絶対値差分の累積の平均値ＴＴ＝Σ｜ＥｔｍｐＡ（ｘ，ｙ）−Ｅ（ｘ，ｙ）｜／Ｎ・・・（１）が最小となる平行移動位置ｐｘ，ｐｙ、回転角ｒｏｔ、
拡大縮小率Ｗ、または、エッジ強度の絶対値差分の累積
平均値Ｔが同じとなる複数の平行移動位置ｐｘ，ｐｙ、
回転角ｒｏｔ、拡大縮小率Ｗが存在すれば、ノルム（｜
ｐｘ｜＋｜ｐｙ｜）または（｜ｒｏｔ｜）または（｜１
００−Ｗ｜）を最小とする平行移動位置ｐｘ，ｐｙ、回
転角ｒｏｔ、拡大縮小率Ｗを選択し、テンプレート修正
部１５に出力する（ステップＳ７−４，Ｓ７−５）。

【００８１】なお、本実施例では、エッジ強度の絶対値
差分の累積の平均値を用いたが、色信号情報の絶対値差
分の累積の平均値を用いてもよい。図１４に本発明の第
１実施例のテンプレートマッチング部の変形例の処理フ
ローチャートを示す。本変形例では、まず、動画像記憶
部３から画像の色信号情報Ｐ、テンプレート作成部１３
からテンプレートの色信号情報Ｐｔｍｐ、領域Ｓｔｍ
ｐ、テンプレートマッチングを行う際の指標となるしき
い値ｔｈが入力される（ステップＳ８−１）。

【００８２】次に、入力画像の色信号情報Ｐから入力画
像のエッジ強度Ｅを求めるとともに、テンプレートの色
情報信号Ｐｔｍｐからテンプレートのエッジ強度Ｅｔｍ
ｐを求める（ステップＳ８−２）。エッジ強度Ｅ，Ｅｔ
ｍｐによりテンプレートマッチングの探索の際の指標と
なりうる点を調べる。次に、テンプレートの色信号情報
Ｐｔｍｐ，領域Ｓｔｍｐ，エッジ強度Ｅｔｍｐについ
て、定めた探索範囲について平行移動を行うとともに、
回転拡大縮小などのアフィン変換や２次元の射影を行っ
て、変換されたテンプレートの色信号情報ＰｔｍｐＡ，
領域ＳｔｍｐＡ，エッジ強度ＥｔｍｐＡを求める（ステ
ップＳ８−３）。

【００８３】アフィン変換結果を用いて、テンプレート
の内部領域ＳｔｍｐＡで、かつ指標となりうる点（ｘ，
ｙ）の条件として、色信号情報ＰｔｍｐＡ（ｘ，ｙ），
Ｐ（ｘ，ｙ）がそれぞれしきい値thより大きくなる、い
わゆる色信号情報の絶対値差分の累積の平均値Ｔ’ Ｔ’＝Σ｜ＰｔｍｐＡ（ｘ，ｙ）−Ｐ（ｘ，ｙ）｜／Ｎ・・・（２）が最小となる平行移動位置ｐｘ，ｐｙ、回転角ｒｏｔ、
拡大縮小率Ｗ、または、色信号情報の絶対値差分の累積
平均値Ｔが同じとなる複数の平行移動位置ｐｘ，ｐｙ、
回転角ｒｏｔ、拡大縮小率Ｗが存在すれば、ノルム（｜
ｐｘ｜＋｜ｐｙ｜）または（｜ｒｏｔ｜）または（｜１
００−Ｗ｜）を最小とする平行移動位置ｐｘ，ｐｙ、回
転角ｒｏｔ、拡大縮小率Ｗを選択し、テンプレート修正
部１５に出力する（ステップＳ８−４，Ｓ８−５）。

【００８４】次に、図２のテンプレート修正部１５の動
作について図面とともに説明する。図１５に本発明の第
１実施例のテンプレート修正部の処理フローチャートを
示す。テンプレート修正部１５には、テンプレートマッ
チング部１４で得られたテンプレートマッチング結果の
パラメータｐｘ，ｐｙ，ｒｏｔ，Ｗが供給され、テンプ
レートマッチング部１４から供給されたパラメータｐ
ｘ，ｐｙ，ｒｏｔ，Ｗに基づいてテンプレート作成部１
３で作成されたテンプレートの修正を行い、修正結果を
テンプレート作成部１３にフィードバックする。

【００８５】テンプレート修正部１５では、まず、テン
プレート画像色信号情報をＰｔｍｐ、テンプレートマッ
チングの処理を行いたい部分または全体の領域をＳｔｍ
ｐ、マッチング結果のパラメータ（平行移動ｐｘ，ｐ
ｙ、回転角ｒｏｔ、拡大縮小率Ｗ）から、修正されたテ
ンプレートの色信号情報Ｐｔｍｐnew 、領域Ｓｔｍｐne
w を出力する（ステップＳ９−１）。

【００８６】次に、マッチング結果のパラメータを用い
て、Ｐｔｍｐ，Ｓｔｍｐについて平行移動とアフィン変
換を行う（ステップＳ９−２）。この結果をＰｔｍｐne
w 、領域Ｓｔｍｐnew として出力する（ステップＳ９−
３）。なお、本実施例では、マッチング結果のパラメー
タを用いて、テンプレートの色信号情報Ｐｔｍｐ，Ｓｔ
ｍｐについて平行移動とアフィン変換を行った結果をで
ある色信号情報Ｐｔｍｐnew 、領域Ｓｔｍｐnew を出力
としたが、テンプレートマッチング部１４から供給され
たテンプレートの色信号情報Ｐｔｍｐ、領域Ｓｔｍｐを
そのまま出力色信号情報Ｐｔｍｐnew 、領域Ｓｔｍｐne
w として出力してもよい。

【００８７】図１６に本発明の第１実施例のテンプレー
ト修正部の変形例の処理フローチャートを示す。本変形
例では、テンプレートマッチング部１４からテンプレー
ト画像色信号情報Ｐｔｍｐ、及び、テンプレートマッチ
ングの処埋を行いたい部分または全体の領域Ｓｔｍｐが
入力される（ステップＳ１０−１）。

【００８８】テンプレートマッチング部１４から供給さ
れたテンプレート画像色信号情報Ｐｔｍｐ、及び、テン
プレートマッチングの処埋を行いたい部分または全体の
領域Ｓｔｍｐをそのまま出力色信号情報Ｐｔｍｐnew 、
領域Ｓｔｍｐnew として出力する（ステップＳ１０−
２，Ｓ１０−３）。本変形例によれば、修正処理を行わ
ないので、処理を簡略化できる。

【００８９】また、本実施例では、マッチング結果のパ
ラメータを用いて、テンプレートの色信号情報Ｐｔｍ
ｐ，Ｓｔｍｐについて平行移動とアフィン変換を行った
結果である色信号情報Ｐｔｍｐnew 、及び、領域Ｓｔｍ
ｐnew を出力としたが、テンプレートマッチング部１４
から供給されたテンプレートの色信号情報Ｐｔｍｐ、領
域Ｓｔｍｐをそのまま出力色信号情報Ｐｔｍｐnew 、領
域Ｓｔｍｐnew として出力してもよい。

【００９０】図１７に本発明の第１実施例のテンプレー
ト修正部の他の変形例の処理フローチャートである。本
変形例では、テンプレートマッチング部１４で処埋を行
った画像色信号Ｐ、テンプレートマッチングの処理を行
いたい部分または全体の領域Ｓｔｍｐ、マッチング結果
のパラメー夕（平行移動ｐｘ，ｐｙ、回転角ｒｏｔ、拡
大縮小率Ｗ）を入力し、テンプレートの色信号情報を更
新して修正されたテンプレートＰｔｍｐnew ，Ｓｔｍｐ
new を得る（ステップＳ１１−１）。

【００９１】次に、テンプレートの領域Ｓｔｍｐについ
てのみ平行移動とアフィン変換を行い、新たなテンプレ
ートの領域Ｓｔｍｐnew を求める（ステップＳ１１−
２）。色信号情報Ｐはテンプレートマッチング部１４か
ら供給される色信号情報をそのまま新たなテンプレート
の色信号情報Ｐｔｍｐnew に設定する（ステップＳ１１
−３）。

【００９２】上記ステップＳ１１−２，Ｓ１１−３で設
定されたテンプレートの色信号情報Ｐｔｍｐnew 、及
び、テンプレートの領域Ｓｔｍｐnew をテンプレート作
成部１３に出力する（ステップＳ１１−４）。本変形例
によれば、テンプレートの領域Ｓｔｍｐについてだけ平
行移動とアフィン変換を行い、新たなテンプレートの領
域Ｓｔｍｐnew を求めるだけでよいので、修正処理を簡
略化できる。

【００９３】しかし、所望する物体が部分的に変形した
場合、領域抽出部４でのテンプレートマッチングのみの
抽出では領域の輪郭部分にズレが生じている。変形修正
部１６での変形修正処理は上述した通り、テンプレート
マッチングにより抽出された領域の輸郭部分のズレた部
分を補正し、正確な領域を抽出するものである。次に、
変形修正部１６の動作を図面とともに説明する。

【００９４】図１８に本発明の第１実施例の変形修正部
の処理フローチャート、図１９に本発明の第１実施例の
変形修正部の動作説明図を示す。変形修正部１６では、
テンプレート作成部１３でテンプレート修正部１５によ
り修正されたテンプレートをテンプレート修正部１５の
修正前のテンプレート、及び、動画像の処理対象画像を
用いて、抽出の対象となっている物体の変形を検出し、
領域の修正を行う。

【００９５】変形修正部１６では、まず、入力画像平面
の色信号情報Ｐ、更新しないテンプレートの色信号情報
Ｐｔｍｐ，テンプレートマッチングの処理を行いたい部
分または、全体の領域Ｓｔｍｐ，マッチング結果のパラ
メータ（平行移動ｐｘ，ｐｙ，回転角ｒｏｔ，拡大縮小
率Ｗ）を入力する（ステップＳ１２−１）。出力は、修
正した領域情報Ｓnew である。Ｐｔｍｐ，Ｓｔｍｐにつ
いて、マッチング結果のパラメータのうち、平行移動ｐ
ｘ，ｐｙを用いて平行移動を行い、回転角ｒｏｔと拡大
縮小率Ｗを用いてアフィン変換を行いＰｔｍｐＡ，Ｓｔ
ｍｐＡを求める（ステップＳ１２−２）。

【００９６】次に、領域が変形しうる範囲Ｓｃｈｇを、
ＳｔｍｐＡの輪郭の±ｍ画素に設定する（ステップＳ１
２−３）。なぜなら、剛体である物体が時間的な相関な
く変形することはありえないから、ある程度変形する範
囲は推定できるからである。次に、色信号情報Ｐｔｍｐ
Ａと色信号情報ＰについてオプティカルフローＦを計算
する（ステップＳ１２−４）。オプティカルフローＦに
より元のテンプレートの周囲で同じ動きをするもの、異
なる動きをするものを検出して、変形を調べる。

【００９７】オプティカルフローの計算方法としては、
例えば、『リアルタイムオプティカルフロープロセッサ
「ＩＳＨＴＡＲ」』（画像の認識・理解シンポジウム１
９９４年７月）を用いる。次に、変形した領域Ｓｃｈｇ
において、変形しうる領域で、かつ、マッチング結果が
静止状態では無い場合、オプティカルフローの動きベク
トル（ｖｘ，ｖｙ）が（０，０）、すなわち、静止して
いる領域が、その領域とテンプレートと同じ動きをして
いるものであるとして、物体の領域であると認識する。

【００９８】また、図１９にＲ’，Ｒ”で示すようにオ
プティカルフローの動きベクトル（ｖｘ，ｖｙ）が
（０，０）でなければ、テンプレートと異なる動きをし
ているとみなして背景であると判断し、新しい領域Ｓne
w を求め、テンプレート作成部１３、及び、領域記憶部
５に出力する（ステップＳ１２−５，Ｓ１２−６）。動
画像記憶部３に記憶された動画像から順次画像を順次読
み出し、上記処理を行い、変形修正部１６で得られたテ
ンプレートを抽出領域記憶部５に順次記憶することによ
り、動画像記憶部３に記憶された動画像から所望の物体
の動画像だけを抽出できる。

【００９９】次に、変形修正部１６の変形修正処理の第
１変形例について説明する。図２０に本発明の第１実施
例の変形修正部の変形修正処理の第１変形例の処理フロ
ーチャートを示す。本変形例の変形修正処理は、動画像
中の物体がフレーム間で物体の輪郭部分の色があまり変
化しない場合、例えば、人物の頭髪の部分は黒、顔の部
分は肌色であり、フレーム間で物体の特定の部分は常に
同じ色で表現される場合を前提として処理である。本変
形例では、手本となる画像の特定の物体の輪郭の内側の
色に基づいて１画素単位で修正処理を行う。

【０１００】手本の設定動画像（ｎ＋１）フレーム中に
所望する物体の領域となる手本領域を設定する。手本領
域を設定するフレームは任意の位置に、任意フレーム数
設定する。上記領域抽出処理部４でテンプレートマッチ
ングにより領域抽出され、抽出領域記憶部５に記憶され
た領域抽出データに手本を設定する。なお、手本の設定
されていない（領域抽出されていない）フレームの画像
をテンプレートマッチングにより領域抽出する。

【０１０１】テンプレートマッチングとは、手本となる
フレームを移動、回転、拡大、縮小しながら、抽出する
フレームとのマッチングを行い、手本をどれだけ移動、
回転、拡大、縮小すれぱ抽出するフレームの所望する物
体に一致するかを求めるものである。このテンプレート
マッチングで求めた、移動量（移動、回転、拡大、縮
小）を手本領域にかけた領域が求める抽出領域となる。

【０１０２】図２１に本発明の第１実施例の領域抽出部
でテンプレートマッチングで得られた変換データのデー
タ構成図を示す。図２１に示すように０フレーム目は、
そのフレーム自身が手本となっているので、テンプレー
トマッチングを行う必要がないので、手本フレームのフ
レーム番号として、「−１」、すなわち、ありえないフ
レーム番号が記憶される。また、第１フレームでは、手
本フレームが第０フレームとすると、手本フレーム番号
として、「０」が記憶される。

【０１０３】また、変換データには、移動量として、手
本フレーム番号からの移動、回転、拡大縮小のデータが
記憶される。入カとして、補正対象フレームの画像デー
タ、領域データ、手本フレームの画像データ、領域デー
タ、手本フレームから補正対象フレームヘの移動量を受
け取る。このとき、手本フレームと移動量についてのデ
ータは、補正対象フレーム番号と図２１の変換データか
ら求めることが出来る。

【０１０４】まず、補正するフレームに関して拡縮でき
る点を求める（ステップＳ１３−１）。このとき、抽出
する領域は閉領域で、かつ、単一の領域とする。このた
め、補正により領域内に穴が空いたり領域が複数に離れ
たりしないように、拡縮できる点を予めチェックし拡縮
可能な点についてのみ、物体内部であるか、外部である
かの判定を行う（ステップＳ１３−２）。

【０１０５】ステップＳ１３−２では、補正するフレー
ムの輪郭部分についてのみ、拡縮可能であるかチェック
する。ステップＳ１３−２で、拡縮できる点が存在する
か拡縮できる点が存在する場合は、まず、そのうちの一
点について手本フレーム上の対応点を求める（ステップ
Ｓ１３−３）。なお、ステップＳ１３−２で、拡縮でき
る点が存在しない場合は、そのフレームについて変形修
正処理を終了する。

【０１０６】ステップＳ１３−３で、拡縮できるある一
点に対して手本フレーム上の対応点を求めた後、拡縮で
きる補正対象点が物体内部であるか、外部であるか判定
するために、補正対象点が物体内部であった場合に取る
であろう色情報を手本から取り出し、対応点と類似した
色であるか否かを調べる（ステップＳ１３−４）。な
お、ステップＳ１３−１の補正を行うフレームの領域
は、テンプレートマッチングにより手本の領域にアフィ
ン変換をかけてることにより抽出可能である。また、ス
テップＳ１３−３における補正を行うフレームの補正対
象点に対応する手本フレームを抽出する方法としては、
例えば、補正対象点に逆変換をかけることで求めること
ができる。

【０１０７】なお、ステップＳ１３−４での、補正対象
点が物体内部であった場合に取るであろう色と手本から
取り出した対応点との色の類似を調べたるとき、手本の
輪郭部分の色は一点ではなくある広がりを持たせて比較
する。補正対象点に対応する手本上の点を含むその周り
の点と、補正対応点について類似している色かどうか調
べることにより判定を行う。類似した色の判定は色差を
求め、その色差がある閾値以下の場合には類似している
と判定し、そうでない場合には、類似していないと判定
する。

【０１０８】ステップＳ１３−４の結果、類似した色の
場合はその点を物体の領域とし、類似した色でない場合
はその点を背景として、領域データを修正する（ステッ
プＳ１３−５）。なお、確定した点については補正可能
な位置であっても重複してチェック行わず、修正した点
の周りの点について拡縮可能な点であるか調べるチェッ
クを行った補正対象点の周りの点についてのみ補正可能
かどうかのチェックを行う（ステップＳ１３−６）。

【０１０９】ステップＳ１３−６では、補正対象点の状
態の変化に関係なく、チェック後にはその周りの点につ
いて補正可能な点があるかどうかを調べる。例えば、補
正対象点の周り８点について調べる。チェックを行った
点の周り８点について、拡縮可能な点であるか調べ、ス
テップＳ１３−２に戻る。以上により、出カとして、補
正処理後の領域データが出力される。この領域データは
抽出領域記憶部に格納される。

【０１１０】このように処理することで、変形した領域
を抽出することが可能となる。以上説明したように、本
変形例によれば、手本を使用して抽出した大体の領域に
対して、領域の輪郭部分周辺について、その位置が物体
内部であるか外部であるかの判定を行い、領域を補正す
ることで、抽出領域を所望する物体の変形に伴い変形さ
せて抽出することができる。このため、大体の位置抽出
後に行っていた手作業による修正が軽滅され、動画像か
らの所望する物体領域の抽出作業の作業効率が向上す
る。

【０１１１】なお、上記第１変形例では、輪郭部分（内
部）の色情報のみ使用し、類似した色と判定するための
閾値が画像全体で単一であった。このため画像のある部
分では補正できても、ある部分では補正できないといっ
た事が発生した。つまり、背景と物体の色差が小さい部
分は閾値を小さくして補正を行わないと背景部分も物体
領域と判定してしまう。また、色差が大きい部分は閾値
をある程度大きく取ったほうがより正確に補正を行うこ
とができる。このため画像全体で単一の閾値ではなく、
領域ごとに最適な閾値を設ける方法もある。

【０１１２】図２２に本発明の第１実施例の変形修正部
の変形修正処理の第２変形例の処理フローチャートを示
す。同図中、図２０と同一構成部分には同一符号を付
し、その説明は省略する。本変形例は、閾値を求めるた
めに、物体の輸郭部付近の背景の色情報を使用した。物
体の輪郭部分の（物体内部の）色と背景の色から、類似
した色と判定するための閾値を求める。つまり、背景と
物体の色差未満を閾値とすれば、背景部分に達した場
合、物体ではないと判定するようにしている。

【０１１３】本変形例の処理は、略第１変形例と同様で
あり、入力として、補正対象フレームの画像データ、領
域データ、手本フレームの画像データ、領域データ、手
本フレームから補正対象フレームヘの移動量を受け取
る。なお、このとき、手本フレームと移動量についての
データは、補正対象フレーム番号と図２１の変換データ
から求める。

【０１１４】本変形例は、第１変形例の領域補正処理に
ステップＳ１４−１を追加し、ステップＳ１３−４の処
理を変更したものであり、ステップＳ１３−１〜Ｓ１３
−３、ステップＳ１３−５、Ｓ１３−６は、第１変形例
と同様な処理を行っている。本変形例のステップＳ１４
−１では、手本の輪郭部分と背景との色差データを算出
する補正対象点と手本フレーム上の対応点とが類似して
いるか調べる際に色差を求め、その色差がある閾値以下
である場合類似した色と判断している。この判断のとき
に使用する閾値を輸郭上の点毎に算出する。

【０１１５】閾値は輪郭上の点とその周辺の背景との色
差から求める。ただし、求めた閾値が０に近い場合は、
変形修正処理が正常に動作しない。変形修正処理が正常
に動作しない理由は、閾値があまりにも小さいと、物体
内部の点も、輪郭部分の色と類似した色と判定しないた
め、結果的に物体領域を背景領域と判定してしまうため
である。このため、閾値の最小値を設け、このような不
具合に対応する。

【０１１６】次に、手本フレーム上の対応点と類似した
色であるか調べる補正対象点と、ステップＳ１３−３で
求めた手本の物体の輪郭部分の色が類似しているか調べ
る（ステップＳ１４−２）。このとき、手本の輪郭部分
の色は一点ではなくある広がりを持たせて比較する。ス
テップＳ１４−２では、補正対象点に対応する手本上の
点を含むその周りの点と、補正対応点について類似して
いる色かどうか調べることにより判定を行う。類似した
色かどうかの判定は、色差を求め、その色差が求めた閾
値よりも大きいか小さいかによって決定する。

【０１１７】なお、第１、第２変形例では、抽出すべき
領域の内部であるか、外部であるかを判定する際に、手
本の輪郭部分の色のみ使用した判定を行ったが、これに
限られるものではなく、手本の輪郭部分の色と領域内部
の色を参照し、内部の色との色差を求め判定を行う方法
も考えられる。図２３に本発明の第１実施例の変形修正
部の変形修正処理の第３変形例の処理フローチャート、
図２４に本発明の第１実施例の変形修正部の変形修正処
理の第３変形例の動作説明図を示す。同図中、図２０と
同一構成部分には同一符号を付し、その説明は省略す
る。

【０１１８】本変形例は、第１変形例において、輪郭の
判定に領域内部の色データを使用するものである。図２
４において、手本の物体内部のサンプル点●と類似した
色であるか調べる物体内部のサンプル点○を示す。手本
フレーム上の対応点からある距離（画素）の大きさの矩
形領域から任意のサンプル点○を取り出す。そして、図
２４中のサンプル点○と補正対象点●が類似しているか
調べる（ステップＳ１５−１）。

【０１１９】ステップＳ１５−１で、補正対象点●が手
本のサンプル点○と類似した色である場合には、その点
を物体の領域であると判定する（ステップＳ１５−
２）。ステップＳ１５−１で、補正対象点●が手本のサ
ンブル点○と類似していない場合には、他の手本のサン
ブル点○に類似しているかを調べる（ステップＳ１５−
３、ステップＳ１５−４）。

【０１２０】ステップＳ１５−４で、補正対象点●が他
の手本のサンブル点○と類似してる場合には、その点を
物体の領域であると判定する（ステップＳ１５−２）。
ステップＳ１５−４で、補正対象点●が他の手本のサン
ブル点○とも類似していない場合には、その点を物体の
領域外の背景の領域データであると判定する（ステップ
Ｓ１５−５）。

【０１２１】このように物体内部の色を複数のサンプル
点として使用することで、動画中で、物体が移動、回転
することで、領域内部にあった部分が輪郭部分に移動し
た場合でも、正確に補正することができる。なお、上記
第１〜第３の変形例では、物体の色を用いて輪郭の補正
を行ったが、テクスチャ属性を利用して補正処理を行う
ことも可能である。

【０１２２】図２５に本発明の第１実施例の変形補正部
の変形補正処理の第４変形例の処理フローチャートを示
す。同図中、図２０と同一構成部分には同一符号を付
し、その説明は省略する。本変形例は、第１変形例にお
いて、物体内部であるか、外部であるか判定を行う際
に、手本の輪郭部分の色のみ使用した判定ではなく、手
本の輪郭部分のテクスチャ属性と、補正するフレームの
テクスチャ属性を求め、この属性値で、補正部分が物体
内部であるか、外部であるか判定する。

【０１２３】本変形例は、判定に輪郭部分の色のみ使用
するのではなく、輸郭部分のテクスチャ属性値を使用す
るものである。まず、ステップＳ１３−３で求められた
拡縮できる点と、手本フレーム上の対応点付近でのテク
スチャ属性を求め、類似するかどうかを調べる（ステッ
プＳ１６−１）。なお、テクスチャ属性は、模様につい
て、その細かさや方向などを数値的な属性で示すもので
ある。

【０１２４】ステップＳ１６−１で、ステップＳ１３−
３で求められた拡縮できる点と、手本フレーム上の対応
点付近でのテクスチャ属性が同じテクスチャ属性であれ
ば、領域内部であると判定し、テクスチャ属性が異なれ
ば、物体外部であると判定して、第１変形例と同様に輪
郭の求める（ステップＳ１６−２）。このように、テク
スチャ属性を使用することで、物体内部が複数色で模様
のある場合でも、正確に補正することが可能となる。

【０１２５】また、補正処理前に領域の輪郭部分が、抽
出する物体の輸郭と一致しているかチェックを行い、不
一致の部分についてのみ、領域補正処理を行う方法も考
えられる。図２６に本発明の第１実施例の変形修正部の
変形修正処理の第５変形例の処理フローチャートを示
す。同図中、図２０と同一構成部分には同一符号を付
し、その説明は省略する。

【０１２６】本変形例は、まず、補正処理前に領域の輪
郭部分が、抽出する物体の輸郭と一致しているかチェッ
クを行う（ステップＳ１７−１）。ステップＳ１７−１
のチェック結果、補正処理前に領域の輪郭部分と抽出す
る物体の輸郭とが不一致の部分についてのみ、ステップ
Ｓ１３−１〜Ｓ１３−６の変形修正処理を行う。このよ
うにステップＳ１７−１で、まず、補正が不必要な部分
をはじめに取り除くことで、補正処理を効率的に行うこ
とが出来る。

【０１２７】また、第１〜第５変形例で、手本フレーム
の領域輪郭の形状と、補正フレームの領域輪郭の線上が
急激に変化しないように領域補正処理に制限を加えるこ
とにより、スムーズな輪郭が得られる。図２７に本発明
の第１実施例の変形修正部の変形修正処理の第６変形例
の処理フローチャートを示す。同図中、図２０と同一構
成部分には同一符号を付し、その説明は省略する。

【０１２８】本変形例は、第１変形例の変形修正処理の
ステップの最後に、変形修正処理の制限するステップＳ
１８−１を加えた。本変形例では、手本の形状特徴を取
り出し、補正フレームにその特徴を適応する手本の形状
特徴として、そのギザギザの度合いや輪郭上の点の数を
使用する。ステップＳ１３−１〜Ｓ１３−６の処理が終
わった形状に対して、手本の形状・特徴を比較し、その
比較結果、ギザギザの度合いが大きく、点の数も多い場
合には、ステップＳ１８−１の処理として、例えば、ス
ムージング処理をかける。

【０１２９】また、ギザギザの度合いが小さく、また、
点の数も少ない場合には、スムージング処理は行わない
ようにする。ステップＳ１３−１〜Ｓ１３−６では、一
画素単位での補正処理のため、元の形状よりもギザギザ
の形状として補正することが多いためである。このよう
に領域補正することで、背景と所望する領域の色が近似
していても、大きく外れた補正を防ぐことができる。

【０１３０】なお、説明を簡単にするために、上記第１
〜第６変形例を独立に説明したが、第１〜第６変形例を
組み合わせて使用することも当然可能である。すなわ
ち、色で領域外部であると判定されても、テクスチャ属
性により領域内部であると判定される場合もある。な
お、第１〜第６変形例において、手本となる領域を順次
更新していくことにより、元画像に近い手本を用いて変
形補正が可能となるので、処理の負担も小さくできると
ともに、正確に領域抽出を行うことができる。

【０１３１】図２８に本発明の第１実施例の変形処理部
の変形修正処理の第７変形例の処理フローチャートを示
す。本変形例では、変形修正処理時に手本を設定し（ス
テップＳ１９−１）、上記第１〜第６変形例などの変形
修正処理を行った後（ステップＳ１９−２）、上記第１
〜第６変形例で変形修正されたフレームを変形修正処理
が終了するまで、次のフレームの手本のフレームとして
設定する（ステップＳ１９−３、Ｓ１９−４）。

【０１３２】このように処理することで、徐々に変形し
ていく動画像にたいしては、補正する領域が減少し、高
速に処理することが可能となる。なお、第７変形例にお
いて、初期入力された手本領域と、順次更新される手本
領域の２つの手本を使用し補正を行うことも可能であ
る。図２９に本発明の第１実施例の変形修正部の変形修
正処理の第８実施例の処理フローチャートを示す。同図
中、図２０と同一構成部分には同一符号を付し、その説
明は省略する。

【０１３３】本変形例では、まず、初期時に設定された
手本フレームＦ１上の対応点を求め（ステップＳ２０−
１）、拡縮できる点が手本フレームＦ１上の対応点と類
似した色であるか調べる（ステップＳ２０−２、Ｓ２０
−３）。ステップＳ２０−３で、初期設定手本フレーム
Ｆ１上の対応点と類似した色である場合には、その点は
領域内部であると判定して、領域データを修正する（ス
テップＳ２０−４）。

【０１３４】また、ステップＳ２０−３で、初期設定手
本フレームＦ１上の対応点と類似した色でない場合に
は、次に、前回変形修正されたフレームが設定された手
本フレームＦ２の対応点を求め、前回変形修正されたフ
レームが設定された手本フレームＦ２の対応点と類似し
た色である否かを調べる（ステップＳ２０−５、Ｓ２０
−６）。

【０１３５】ステップＳ２０−６で、前回変形修正され
たフレームが設定された手本フレームＦ２の対応点と類
似した色であれば、その点は領域内部であると判定し
て、領域データを修正する（ステップＳ２０−４）。ま
た、ステップＳ２０−６でもなお、前回変形修正された
フレームが設定された手本フレームＦ２の対応点と類似
した色でないければ、領域の背景の領域であると判定し
て、領域を修正する（ステップＳ２０−７）。

【０１３６】このように、２つの手本を使用するため、
補正性能を向上させることができる。以上の本実施例に
よれば、自然背景の動画像から物体を切り出す際に、全
部のフレームについていちいち抽出操作を行うことな
く、自動的に抽出することができ、全手動の場合と比較
して人手をかけずに抽出作業を行うことができる。

【０１３７】また、本実施例では、領域指示により指示
された抽出しようとする各輪郭点の近傍の領域中の最大
値をエッジ点として抽出するので、抽出しようとする領
域を正確に抽出できる。さらに、本実施例によれば、動
画像のうち、所定のしきい値以上の点をエッジとして、
テンプレートとマッチングをとるので、動画像から所望
のエッジを自動的に抽出できる。また、領域の画素の絶
対値差分の累積の平均値と移動量と変形量とをマッチン
グ結果とし、テンプレートを移動、変形させるので、現
在の画像に対応した形状にテンプレートを修正すること
ができる。

【０１３８】また、領域のエッジの絶対値差分の累積の
平均値と移動量と変形量とをマッチング結果とし、テン
プレートを移動、変形させるので、現在の画像に対応し
た形状にテンプレートを修正することができる。さら
に、テンプレート修正手順によりテンプレートマッチン
グ手順でのマッチング結果に基づいてテンプレート作成
手順で作成されたテンプレートの色情報をマッチングさ
れた動画像のフレームの色情報に修正するので、原画像
中の抽出しようとする領域に対応したテンプレートを自
動で作成できる。

【０１３９】また、本実施例によれば、テンプレート上
の色情報を移動させることにより原画像中の抽出しよう
とする領域に対応したテンプレートを自動で作成でき
る。さらに、テンプレート修正手順で得られたテンプレ
ートを動画像の次の入力画像とのテンプレートマッチン
グで用いることにより、次に入力画像中の抽出しようと
する領域に近いテンプレートであるので、マッチングを
容易に行える。

【０１４０】また、変形修正手順により動画像の変形に
対応した修正を行うことができるので、抽出したい領域
を正確に抽出できる。さらに、テンプレートの色情報
を、移動させることにより修正した画像と、動画像の入
力画像とのオプティカルフローを求め、オプティカルフ
ローに応じて入力画像の変形を検出し、テンプレートの
変形を修正することにより、画像の変形に応じたテンプ
レートを作成できるため、入力画像中の抽出しようとす
る領域に対応したテンプレートを作成できる。

【０１４１】また、本実施例によれば、抽出しようとす
る領域からテンプレートを作成し、作成したテンプレー
トと動画像のフレームとのマッチングをとり、マッチン
グ結果に基づいてテンプレートを順次修正することによ
り、動画像から所望の領域だけを正確に抽出できる。次
に、本発明の第２実施例について説明する。

【０１４２】図３０は本発明の第２実施例の機能ブロッ
ク図を示す。本実施例の領域抽出装置３００は、画像デ
ータ供給部３０１、手本データ供給部３０２、抽出処理
部３０３、メモリ３０４、修正計算部３０５、修正判断
処理部３０６から構成される。画像データ供給部３０１
は、画像データを抽出処理部３０３及び修正判断処理部
３０６に供給する。手本データ供給部３０２は、画像デ
ータ供給部３０１から供給される画像データに対応する
手本データを抽出処理部３０３に供給する。

【０１４３】抽出処理部３０３は、第１実施例と同様に
画像データ供給部３０１から供給される画像データと手
本データ供給部３０４から供給される手本データとのパ
ターンマッチングを行い、所望の領域を抽出する。メモ
リ３０４は、抽出処理部３０３で抽出された領域を記憶
する。修正領域計算部３０５は、メモリ３０４に記憶さ
れた領域から修正すべき領域を計算して、修正判断処理
部３０６に供給する。

【０１４４】修正判断処理部３０６は、修正計算部３０
５により計算された修正すべき領域に対して修正するか
否かの判断を行い、修正すると判断したときには修正処
理を行う。次に、修正領域計算部３０５について説明す
る。図３１に本発明の第２実施例の修正領域計算部の処
理フローチャート、図３２、図３３に本発明の第２実施
例の修正領域計算部の誤って抽出された領域を求める際
の動作説明図を示す。

【０１４５】誤って抽出された領域Ｅｔを求めるには、
フレームＦを構成する全ての座標を（ｘ，ｙ）とし、座
標（ｘ，ｙ）において、抽出された領域Ｔｔの座標をＴ
ｔ（ｘ，ｙ）、所望の領域Ｐｔの座標をＰｔ（ｘ，
ｙ）、誤って抽出された領域Ｅｔの座標をＥｔ（ｘ，
ｙ）とする。なお、各座標において、領域を示すデータ
は、図３１に示すように領域内であれば「ＯＮ」、領域
外であれば「ＯＦＦ」に設定されているとする（ステッ
プＳ３１１）。

【０１４６】フレームＦを構成する全ての座標（ｘ，
ｙ）において、Ｔｔ（ｘ，ｙ）のデータが「ＯＮ」で、
かつ、Ｐｔ（ｘ，ｙ）のデータが「ＯＦＦ」ならば、Ｅ
ｔ（ｘ，ｙ）のデータを「ＯＮ」とし、それ以外なら
ば、Ｅｔ（ｘ，ｙ）のデータを「ＯＦＦ」とする（ステ
ップＳ３１２）。以上により図３３に示すように誤って
抽出された領域Ｅｔが抽出される。

【０１４７】なお、図３１では誤って抽出された領域を
求めたが、誤って抽出されなかった領域を求めるように
してもよい。次に、誤って抽出されなかった領域Ｅｔ’
を求める方法について説明する。図３４に本発明の第２
実施例の修正領域計算部の変形例の処理フローチャー
ト、図３５に本発明の第２実施例の修正領域計算部の変
形例の動作説明図を示す。

【０１４８】誤って抽出されなかった領域Ｅｔ’を求め
るには、フレームＦを構成する全ての座標を（ｘ，ｙ）
とし、座標（ｘ，ｙ）において、抽出された領域Ｔｔの
座標をＴｔ（ｘ，ｙ）、所望の領域Ｐｔの座標をＰｔ
（ｘ，ｙ）、誤って抽出されなかった領域Ｅｔ’の座標
をＥｔ’（ｘ，ｙ）とする。なお、各座標において、領
域を示すデータは領域内であれば「ＯＮ」、領域外であ
れば「ＯＦＦ」に設定されているとする（ステップＳ３
２１）。

【０１４９】フレームＦを構成する全ての座標（ｘ，
ｙ）において、Ｔｔ（ｘ，ｙ）のデータが「ＯＦＦ」
で、かつ、Ｐｔ（ｘ，ｙ）のデータが「ＯＮ」ならば、
Ｅｔ’（ｘ，ｙ）のデータを「ＯＮ」とし、それ以外な
らば、Ｅｔ’（ｘ，ｙ）のデータを「ＯＦＦ」とする
（ステップＳ３２２）。以上により図３５に示すように
誤って抽出されなかった領域Ｅｔ’が抽出される。

【０１５０】以上のようにして抽出された領域Ｅｔ、又
は、抽出されなかった領域Ｅｔ’が修正領域として抽出
される。修正領域計算部３０５で修正領域として抽出さ
れた領域Ｅｔ、又は、Ｅｔ’は、修正判断処理部３０６
に供給される。修正判断処理部３０６では、修正領域計
算部３０５で抽出された領域Ｅｔ及びＥｔ’に応じて要
否を判断する。

【０１５１】修正判断処理部３０６について詳細に説明
する。図３６は本発明の第２実施例の修正判断処理部の
処理フローチャート、図３７は本発明の第２実施例の修
正判断処理部の動作説明図を示す。図３７（Ａ）は抽出
処理部３０３の抽出処理によって抽出された領域Ｔｔ、
図３７（Ｂ）は修正領域計算部３０５によって計算され
た誤って抽出された領域Ｅｔ、図３７（Ｃ）は修正領域
計算部３０５によって計算された誤って抽出されなかっ
た領域Ｅｔ’を示す。

【０１５２】修正判断処理部３０６は、領域抽出処理を
行った結果、得られた領域Ｔｔ、ステップＳ２１−２で
求められた誤って抽出された領域Ｅｔ、及び、誤って抽
出されなかった領域Ｅｔ’、所望の領域Ｐｔ、予め設定
された所定の閾値Ａ、Ｂを読み込む（ステップＳ３３
１）。次に、図３７に示すようにステップＳ３３１で読
み込まれた誤って抽出された領域Ｅｔの画素数ｋ１、所
望の領域Ｐｔの画素数ｋ１、フレームＦ内の総画素数ｋ
２を求める（ステップＳ３３２）。

【０１５３】ステップＳ３３２で、誤って抽出された領
域Ｅｔの画素数ｋ０、所望の領域Ｐｔの画素数ｋ１、フ
レームＦ内の総画素数ｋ２が求められると、次に、所望
の領域Ｐｔの画素数ｋ１に占める誤って抽出された領域
Ｅｔの画素数ｋ０の割合（ｋ０／ｋ１）、及び、フレー
ムＦ内の総画素数ｋ２に占める誤って抽出された領域Ｅ
ｔの画素数ｋ０の割合（ｋ０／ｋ２）を求め、閾値Ａ、
Ｂと比較する。比較結果、（ｋ０／ｋ１）＞Ａ、かつ、
（ｋ０／ｋ２）＞Ｂならば修正を行うと判定し、それ以
外の条件では修正は行わないと判定する（ステップＳ３
３３）。

【０１５４】以上のようにして修正の要否が判定され
る。なお、第１の判定処理では、誤って抽出された領域
Ｅｔ及び誤って抽出されなかった領域Ｅｔ’を領域抽出
処理によって抽出された領域Ｔｔと所望の領域Ｐｔとか
ら求め、誤って抽出された領域Ｅｔ及び誤って抽出され
なかった領域Ｅｔ’から修正の判定を行ったが、修正領
域計算部３０５により領域抽出処理によって抽出された
領域Ｔｔと誤って抽出された領域Ｅｔ及び誤って抽出さ
れなかった領域Ｅｔ’から所望の領域Ｐｔに対応する領
域を求め、修正判断処理部３０６により領域Ｔｔと領域
Ｐｔとから修正の判断を行うようにしてもよい。

【０１５５】図３８は本発明の第２実施例の修正領域計
算部の変形例の処理フローチャート、図３９は本発明の
第２実施例の修正領域計算部の変形例の動作説明図を示
す。図３９（Ａ）は抽出処理部３０３で抽出された領域
Ｔｔ、図３９（Ｂ）は誤って抽出された領域Ｅｔ、図３
９（Ｃ）は所望の領域Ｐｔを示す。フレームＦを構成す
る全ての座標を（ｘ，ｙ）とし、座標（ｘ，ｙ）におい
て、抽出された領域Ｔｔの座標をＴｔ（ｘ，ｙ）、所望
の領域Ｐｔの座標をＰｔ（ｘ，ｙ）、誤って抽出された
領域Ｅｔの座標をＥｔ（ｘ，ｙ）とする。なお、各座標
において、領域を示すデータは、図３２に示すように領
域内であれば「ＯＮ」、領域外であれば「ＯＦＦ」に設
定されているとする（ステップＳ３４１）。

【０１５６】フレームＦを構成する全ての座標（ｘ，
ｙ）において、図３９（Ａ）に示すＴｔ（ｘ，ｙ）のデ
ータが「ＯＮ」で、かつ、図３９（Ｂ）に示すＥｔ
（ｘ，ｙ）のデータが「ＯＮ」ならば、図３９（Ｃ）に
示すようにＰｔ（ｘ，ｙ）のデータを「ＯＮ」とし、そ
れ以外ならば、Ｐｔ（ｘ，ｙ）＝Ｔｔ（ｘ，ｙ）とする
（ステップＳ３４２）。

【０１５７】なお、図３８の処理では、誤って抽出され
た領域Ｅｔから所望の領域Ｐｔを求めたが、誤って抽出
されなかった領域Ｅｔ’から所望の領域Ｐｔを求めても
よい。図４０は本発明の第２実施例の修正領域計算部の
第２変形例の処理フローチャート、図４１は本発明の第
２実施例の修正領域計算部の第２変形例の動作説明図を
示す。図４１（Ａ）は領域抽出処理部３０３で抽出され
た領域Ｔｔ、図４２（Ｂ）は抽出されなかった領域Ｅ
ｔ’、図４１（Ｃ）は抽出すべき所望の領域Ｐｔを示
す。

【０１５８】フレームＦを構成する全ての座標を（ｘ，
ｙ）とし、座標（ｘ，ｙ）において、図４１（Ａ）に示
される抽出された領域Ｔｔの座標をＴｔ（ｘ，ｙ）、図
４１（Ｂ）に示される誤って抽出されなかった領域Ｅ
ｔ’の座標をＥｔ’（ｘ，ｙ）とし、図４１（Ｃ）に示
される所望の領域Ｐｔの座標をＰｔ（ｘ，ｙ）とする。
なお、各座標において、領域を示すデータは領域内であ
れば「ＯＮ」、領域外であれば「ＯＦＦ」に設定されて
いるとする（ステップＳ３５１）。フレームＦを構成
する全ての座標（ｘ，ｙ）において、図４１（Ａ）に示
されるＴｔ（ｘ，ｙ）のデータが「ＯＦＦ」で、かつ、
Ｅｔ’（ｘ，ｙ）のデータが「ＯＮ」ならば、Ｐｔ
（ｘ，ｙ）を「ＯＮ」とし、それ以外はＰｔ（ｘ，ｙ）
をＴｔ（ｘ，ｙ）とする（ステップＳ３５２）。

【０１５９】以上により図４１（Ｂ）に示す誤って抽出
されなかった領域Ｅｔ’から図４１（Ｃ）に示す所望の
領域Ｐｔを求めることができる。以上のようにして修正
領域計算部３０５で求められた領域Ｔｔ及びＰｔは修正
判断処理部３０６に供給される。修正判断処理部３０６
では図３８、図４１で算出された領域Ｔｔ及びＰｔの領
域に応じて修正の要否を判断する。

【０１６０】図４２は本発明の第２実施例の修正判断処
理部の変形例の処理フローチャート、図４３は本発明の
第２実施例の修正判断処理部の変形例の動作説明図を示
す。修正判断処理部３０６では、領域抽出処理を行った
結果、得られた領域Ｔｔ、所望の領域Ｐｔ、予め設定さ
れた所定の閾値Ａ、Ｂを読み込む（ステップＳ３６
１）。

【０１６１】次に、ステップＳ３６１で読み込まれた領
域抽出処理を行った結果、得られた領域Ｔｔと所望の領
域Ｐｔとでデータが異なる画素の数ｋ０、Ｐｔ（ｘ，
ｙ）が「ＯＮ」となる画素の数ｋ１、フレームＦ内の総
画素数ｋ２を求める（ステップＳ３６２）。ステップＳ
３６２で、画素数ｋ０、ｋ１、ｋ２から所望の領域Ｐｔ
の画素数ｋ１に占める領域抽出処理を行った結果、得ら
れた領域Ｔｔと所望の領域Ｐｔとでデータが異なる画素
の数ｋ０の割合（ｋ０／ｋ１）、及び、フレームＦ内の
総画素数ｋ２に占める領域抽出処理を行った結果、得ら
れた領域Ｔｔと所望の領域Ｐｔとでデータが異なる画素
の数ｋ０の割合（ｋ０／ｋ２）を求め、閾値Ｃ、Ｄと比
較する。比較結果、（ｋ０／ｋ１）＞Ｃ、かつ、（ｋ０
／ｋ２）＞Ｄならば修正を行うと判定し、それ以外の条
件では修正は行わないと判定する（ステップＳ３６
３）。以上のようにして修正の要否が判定される。

【０１６２】修正判断処理部３０６では、修正の要否が
判断されると、次に、修正が必要なフレームに対して修
正処理を行う。次に、修正判断処理部３０６の修正処理
について説明する。図４４は本発明の第２実施例の修正
判断処理部の修正処理の処理フローチャート、図４５は
本発明の第２実施例の修正判断処理部の動作説明図を示
す。

【０１６３】時刻ｔの入力映像に対して、抽出処理部３
０３で抽出され、メモリ３０４に記憶された領域データ
Ｔｔ、手本となる所望の領域のデータＰｔ、修正判断処
理部３０６の修正判断に用いられた誤って抽出された領
域Ｅｔを入力する（ステップＳ３７１）。このとき、抽
出処理部３０３で抽出を行った時間の方向、すなわち、
図４５で、時刻ｔ0 から時刻ｔn に向かう方向とは反対
の時間の方向、すなわち、時刻ｔｎから時刻ｔ0 に向か
う方向から順に領域データＴｔを読み出す。なお、手本
となる領域データＰｔは、例えば、抽出処理部３０３で
抽出された領域データＴｔから選択する。

【０１６４】次に、ステップＳ３７１で、抽出処理部３
０３で抽出を行った時間の方向とは反対の時間の方向か
ら読み出された領域データから周知の方法で、抽出を行
う。次に、抽出処理部３０３で抽出された領域Ｅｔと接
する部分輪郭線Ｄが再抽出により抽出された領域Ｔnew
へ移動した量ＤＶを求める。求められた移動量ＤＶに基
づいて部分輪郭線Ｄを移動させ、時間ｔにおける形状Ｄ
Ｖｔを求める（ステップＳ３７２）。

【０１６５】抽出された領域Ｔｔに対して、部分的に形
状ＤＶｔに差し替えることにより領域Ｔｔの修正を行う
（ステップＳ３７３）。以上のように、時刻ｔ0 から時
刻ｔn に向かう方向とは反対の時間の方向、すなわち、
時刻ｔｎから時刻ｔ0 に向かう方向から順に領域データ
Ｔｔを読み出し、修正を行うことにより、時刻ｔ0 から
時刻ｔn に向かう方向では抽出されなかった領域や、抽
出されるべきでなかった領域を修正できる。

【０１６６】なお、手本として設定しているフレーム
は、手動等で既に正確に領域が抽出されているので、修
正を行う必要がない。よって、正確で、効率的に修正を
行うためには手本として抽出されている領域は修正処理
は行う必要はない。図４６は本発明の第２実施例の修正
判断処理部のフレーム選択処理の処理フローチャート、
図４７は本発明の第２実施例の修正判定処理部のフレー
ム選択処理の動作説明図を示す。

【０１６７】修正判定処理部３０６は、修正処理を行う
際、修正を開始する時刻ｔn 、フレームＦn 、修正を終
了する時刻ｔ0 、フレームＦ0 を指定し、手本データＰ
ｔとするフレームｔx1〜ｔxnに対応するフラグＲｔのう
ちフラグＲtx1 〜Ｒtxn を「ＯＮ」する（ステップＳ３
８１、Ｓ３８２）。修正判定処理部３０６は、修正時に
フレームＦ0 〜Ｆn を読み出す際にフラグＲｔを参照
し、「ＯＮ」のフラグＲtx1 〜Ｒtxn は修正を行わず、
次のフレームの修正を行う（ステップＳ３８３）。

【０１６８】以上により手本に修正を行うことがない。
また、修正を行った場合には、修正を行ったフレームに
対応するフラグＲｔを「ＯＮ」するようにしてもよい。
図４８は本発明の第２実施例の修正判断処理部のフレー
ム選択処理の変形例の処理フローチャート、図４９は本
発明の第２実施例の修正判定処理部の変形例の動作説明
図を示す。

【０１６９】修正判定処理部３０６は、修正処理を行う
際、修正を開始する時刻ｔn 、フレームＦn 、修正を終
了する時刻ｔ0 、フレームＦ0 を指定し、手本データＰ
ｔとするフレームｔx1〜ｔxnに対応するフラグＲｔのう
ちフラグＲtx1 〜Ｒtxn を「ＯＮ」する（ステップＳ３
９１）。修正判断処理部３０６は、修正時にフレームＦ
0 〜Ｆn を読み出す際にフラグＲｔを参照し、「ＯＮ」
のフラグＲtx1 〜Ｒtxn は修正を行わず、次のフレーム
の修正を行う。フレームの修正が終了すると、修正した
フレームに対応するフラグＲtxn を「ＯＮ」する（ステ
ップＳ３９２）。

【０１７０】以上により、修正が終了したフレームに修
正処理が行われることがなくなる。また、フラグＲｔを
参照し、修正を行おうとするフレームの前のフレームが
既に修正されている場合には、前のフレームを手本とし
て修正を行うようにしてもよい。図５０は本発明の第２
実施例の修正判断処理部のフレーム選択処理の第２変形
例の処理フローチャート、図５１は本発明の第２実施例
の修正判断処理部のフレーム選択処理の第２変形例の動
作説明図を示す。

【０１７１】修正判定処理部３０６は、修正処理を行う
際、修正を開始する時刻ｔn 、フレームＦn 、修正を終
了する時刻ｔ0 、フレームＦ0 を順次読み出し、このと
き、フレームＦn 〜Ｆ0 に対応するフラグＲｔのうちフ
ラグＲtx1 〜Ｒtxn を参照する（ステップＳ３９３）。
修正判断処理部３０６は、「ＯＮ」のフラグＲtx1 〜Ｒ
txn は修正を行わず、次のフレームの修正を行う。この
とき、修正するフレームＦm の前のフレームＦm-1 のフ
ラグＲｔを参照して、前のフレームＦm-1 が対応するフ
ラグＲtmが「ＯＮ」、すなわち、既に修正が行われたフ
レームであるときには、フレームＦm の修正時の手本デ
ータとして前のフレームＦm-1 を用いる（ステップＳ３
９４）。

【０１７２】以上により直前のフレームを手本として修
正を行うことができるので、正確な修正が可能となる。
なお、フレーム選択処理は、外部からの指示により選択
できるようにしてもよい。本実施例によれば、動画像の
各フレームから所望の領域を抽出し、後に、既に抽出さ
れた各フレームの所望の領域の誤った領域を修正するこ
とにより、既に抽出された各フレームにおいて生じたず
れが修正されるので、動画像から所望の領域だけを正確
に抽出できる。

【０１７３】次に、本発明の第３実施例について説明す
る。図５２は本発明の第３実施例の機能ブロック図を示
す。本実施例の領域抽出装置４００は、主に、画像供給
部４０１、手本データ供給部４０２、抽出処理部４０
３、位置計算部４０４、領域判定部４０５、再抽出部４
０６、出力部４０７、累積加算部４０８から構成され
る。

【０１７４】画像供給部４０１は、抽出しようとする領
域が含まれた画像が抽出処理部４０３及び再抽出部４０
６に供給する。手本データ供給部４０２は、画像供給部
４０１から供給される画像から抽出しようとする領域の
手本データを抽出処理部４０３及び位置計算部４０４並
びに領域判定部４０５に供給する。なお、手本データ
は、画像データ及びマスクデータから構成される。

【０１７５】抽出処理部４０３は、画像供給部４０１か
ら供給される入力画像と手本データ供給部４０２から供
給される手本データとでテンプレートマッチングを行う
ことにより所望の領域を抽出するとともに、手本データ
の移動量（ｘ，ｙ）、回転量θ、拡大縮小量（ａｘ，ｂ
ｙ）からなる関連データを求める。位置計算部４０４
は、手本データ供給部４０２から供給される手本での抽
出処理部４０３から供給される抽出結果の位置を計算
し、それまでの抽出結果の手本の位置との累積加算を行
って領域判定部４０５に供給する。

【０１７６】領域判定部４０５は、抽出処理部４０３か
ら位置計算部４０４を介して供給された領域を手本デー
タ供給部４０２から供給される手本データと比較して、
抽出した領域に変形が大きい領域があるか否かを判定す
る。領域判定部４０５は、判定結果を出力部４０７に供
給する。また、領域判定部４０５は、判定結果、抽出し
た領域に変形が所定の変形量より大きいときには、その
位置を検出して、手本データ供給部４０２から供給され
る手本データから変形が大きい位置の手本データを分割
して再抽出部４０６に供給する。

【０１７７】出力部４０７は、領域判定部４０５の判定
結果に応じて累積加算部４０８の加算結果を出力する。
出力部４０７は、領域判定部４０５で領域の変形が所定
の変形量より大きいときには、累積加算部４０８の加算
結果の抽出領域の出力を停止し、領域判定部４０５で領
域の変形が所定の変形量より小さいときに、累積加算部
４０８の加算結果の抽出領域を出力する。

【０１７８】累積加算部４０８は、抽出処理部４０３で
抽出された領域と再抽出部４０６で再抽出された領域と
を累積加算する。ここで、位置計算部４０４の処理を説
明する。図５３は本発明の第３実施例の位置計算部の処
理フローチャートを示す。本実施例の位置計算部４０４
は、抽出処理部４０３での抽出した領域Ｔｔ、本からの
移動データＤＶが供給される（ステップＳ４１１）。移
動データＤＶは、平行移動量（ｖx ，ｖy ）、倍率（ba
ix，baiy）、アフィン変換回転角度（degree）から構成
される。なお、領域データの座標（ｘ，ｙ）の座標値
は、Ｔｔ（ｘ，ｙ）のように表す。また、各座標（ｘ，
ｙ）の座標値Ｔｔ（ｘ，ｙ）は、指定領域であれば、
「ＯＮ」、指定領域でなければ、「ＯＦＦ」とする。

【０１７９】次に、位置計算部４０４は、手本データ供
給部４０２から供給される手本データと抽出処理部４０
３から供給される移動データＤＶから逆移動データＩＤ
Ｖを求める（ステップＳ４１２）。ステップＳ４１２で
求められる逆移動データをＩＤＶ（ｖx ，ｖy ，baix，
baiy，degree）とすると、逆移動データＩＤＶは、ＩＤＶ（ｖx ，ｖy ，baix，baiy，degree）＝ＤＶ（−
ｖx ，−ｖy ，１／baix，１／baiy，−degree）で求められる。

【０１８０】次に、位置計算部４０４は、逆移動データ
ＩＤＶに従って、抽出領域Ｔｔを移動させ、前のフレー
ムの抽出領域ＩＴｔとする（ステップＳ４１３）。以上
により、前のフレームの抽出領域ＩＴｔが抽出される。
なお、本実施例では、前のフレームから現フレームへの
移動量、すなわち、移動データがわかる場合の現フレー
ムから前のフレームの領域を抽出する処理について説明
したが、移動量がわからないときには、以下に示す方法
により前のフレームの領域を抽出する。

【０１８１】図５４は本発明の第３実施例の位置計算部
の移動量がわからないときの処理フローチャート、図５
５は本発明の第３実施例の位置計算部の動作説明図を示
す。図５５（Ａ）は現在のフレームＦ１の抽出領域、図
５５（Ｂ）は前のフレームＦ０の抽出領域を示す。前の
フレームＦ０から現フレームＦ１への移動量、すなわ
ち、移動データがわからない場合には、位置計算部４０
４は、まず、抽出処理部４０３から領域データＴｔ、手
本データ供給部４０２から手本データＰを入力する（ス
テップＳ４２１）。

【０１８２】次に、位置計算部４０４は、抽出処理部４
０３から供給された領域データＴｔの「ＯＮ」の領域の
重心座標ＣＴｔ（ｘ，ｙ）、及び、手本データ供給部４
０２から供給された手本データＰの「ＯＮ」の領域の重
心座標ＣＰ（ｘ，ｙ）を求める（ステップＳ４２２）。
次に、位置計算部４０４は、ステップＳ４２２で求めら
れた重心座標ＣＴｔ（ｘ，ｙ）及びＣＰ（ｘ，ｙ）から
逆移動量データＩＤＶを求める（ステップＳ４２３）。
ステップＳ４２３の逆移動量データＩＤＶの各座標値Ｉ
ＤＶ（ｘ，ｙ）は、ＩＤＶ（ｘ，ｙ）＝ＣＰ（ｘ，ｙ）−ＣＴｔ（ｘ，ｙ）から求められる。

【０１８３】次に、位置計算部４０４は、ステップＳ４
２２で求められた逆移動量データＩＤＶに応じて領域Ｔ
ｔを移動させ、領域ＩＴｔを求める（ステップＳ４２
４）。以上により、移動量がわからない場合でも、前の
フレームの領域Ｔｔ’を抽出できる。次に、累積加算部
４０８の動作を説明する。

【０１８４】図５６は本発明の第３実施例の累積加算部
の累積加算処理の処理フローチャートを示す。累積加算
部４０８は、抽出処理部４０３で抽出された抽出領域及
び再抽出部４０６で再抽出された抽出領域を入力される
（ステップＳ４３１）。抽出処理部４０３又は再抽出部
４０６から供給される抽出領域をＴt1，Ｔt2・・・Ｔtn
とし、累積加算した領域データをＴＴｔとすると、抽出
領域Ｔt1，Ｔt2・・・Ｔtnのいずれかが「ＯＮ」であれ
ば、累積加算領域ＴＴｔを「ＯＮ」し、累積加算領域Ｔ
Ｔｔのそれ以外の領域は「ＯＦＦ」とする（ステップＳ
４３２）。すなわち、抽出領域Ｔt1，Ｔt2・・・Ｔtnの
単純加算領域を累積加算領域ＴＴｔとする。

【０１８５】なお、本実施例では供給された抽出領域Ｔ
t1，Ｔt2・・・Ｔtnを単純に加算し、累積加算領域ＴＴ
ｔとしたが、穴埋めを行うようにしてもよい。図５７は
本発明の第３実施例の累積加算部の変形例の処理フロー
チャートを示す。同図中、図５６と同一構成部分には同
一符号を付し、その説明は省略する。本変形例では、ス
テップＳ４３１及びＳ４３２で累積加算された領域ＴＴ
ｔに対してラベリングを行い、周りが全て「ＯＮ」であ
る「ＯＦＦ」の領域を全て「ＯＮ」とする（ステップＳ
４４１）。なお、ラベリング処理については、例えば特
開平３−２０６５７４号公報に記載がある。

【０１８６】図５８は本発明の第３実施例の累積加算部
の変形例の動作説明図を示す。図５８（Ａ）は累積加算
した結果、図５８（Ｂ）は穴埋めした結果を示す。図５
８（Ａ）にＬ１〜Ｌｎで示すようにラベリングを行い、
周りが全て「ＯＮ」である「ＯＦＦ」の領域を全て「Ｏ
Ｎ」とすることにより、図５８（Ｂ）に示すような穴埋
めされた領域が得られる。

【０１８７】次に、領域判定部４０５について説明す
る。図５９は本発明の第３実施例の領域判定部の処理フ
ローチャート、図６０に本発明の第３実施例の領域判定
部の動作説明図である。領域判定部４０５は、抽出処理
部４０３で抽出された結果の領域データの手本での位
置、すなわち、位置計算部４０４での累積加算結果Ｍｔ
及び手本データ供給部４０２から手本データＰを供給さ
れる（ステップＳ４５１）。

【０１８８】次に、領域判定部４０５は、すべての座標
（ｘ，ｙ）について、手本データＰ（ｘ，ｙ）が「Ｏ
Ｎ」で、かつ、抽出領域Ｍｔ（ｘ，ｙ）が「ＯＦＦ」の
とき、変形した領域ＨｔのデータＨｔ（ｘ，ｙ）を「Ｏ
Ｎ」とし、それ以外の領域は「ＯＦＦ」とする（ステッ
プＳ４５２）。次に、領域Ｈｔの輪郭をａだけ収縮させ
る（ステップＳ４５３）。ステップＳ４５３の輪郭の収
縮は、輪郭位置の画素、例えば、Ｈｔ（ｘ，ｙ）が「Ｏ
Ｎ」で、Ｈｔ（ｘ，ｙ）に隣接するＨｔ（ｘ−１，
ｙ）、Ｈｔ（ｘ，ｙ−１）、Ｈｔ（ｘ＋１，ｙ）、Ｈｔ
（ｘ，ｙ＋１）のいずれかが「ＯＦＦ」であるときに、
Ｈｔ（ｘ，ｙ）を「ＯＦＦ」にする処理をａ回繰り返す
ことにより行われる。

【０１８９】ステップＳ４５３で、領域Ｈｔの輪郭をａ
だけ収縮した後、領域Ｈｔの輪郭をａだけ膨張する（ス
テップＳ４５４）。ステップＳ４５４の輪郭の膨張は、
輪郭位置の画素、例えば、Ｈｔ（ｘ，ｙ）について、Ｈ
ｔ（ｘ，ｙ）に隣接するＨｔ（ｘ−１，ｙ）、Ｈｔ
（ｘ，ｙ−１）、Ｈｔ（ｘ＋１，ｙ）、Ｈｔ（ｘ，ｙ＋
１）のすべてを「ＯＮ」にする処理をａ回繰り返すこと
により行われる。

【０１９０】次に、Ｈｔの領域のラベリングを行い、
「ＯＮ」で画素数が最大となる領域のみを残す（ステッ
プＳ４５５）。ラベリングを行うことにより図６０
（Ｂ）に示すような領域Ｈｔ1 、Ｈｔ2 、Ｈｔ3 が抽出
される。図６０（Ｂ）に示す領域Ｈｔ1 、Ｈｔ2 、Ｈｔ
3 のうち、最大の領域Ｈｔ1 が抽出される。次に、Ｈｔ
の外接矩形の領域をＪｔとし、Ｊｔの上下左右をａだけ
拡大し、内部について、Ｊｔ（ｘ，ｙ）を「ＯＮ」とす
る（ステップＳ４５６）。

【０１９１】次に、全ての座標（ｘ，ｙ）について、Ｊ
ｔ（ｘ，ｙ）が「ＯＮ」かつＰ（ｘ，ｙ）が「ＯＮ」の
領域ＰＤＥＶの座標ＰＤＥＶ（ｘ，ｙ）を「ＯＮ」にす
る（ステップＳ４５７）。図６０（Ｂ）に斜線で示すよ
うな領域ＰＤＥＶが得られる。さらに、すべての座標
（ｘ，ｙ）について、ＰＤＥＶ（ｘ，ｙ）がＯＮとなる
個数Ｃをカウントする（ステップＳ４５８）。

【０１９２】ステップＳ４５８のカウント値Ｃを閾値ｔ
ｈと比較して、Ｃ＜ｔｈならば、変形の大きい領域がな
いと判定し、出力部４０７を累積加算部４０８からの抽
出結果が出力されるように制御し、それ以外なら領域Ｐ
ＤＥＶを自動分割された領域として再抽出部４０６に供
給する（ステップＳ４５９）。以上により変形領域が検
出される。

【０１９３】次に、再抽出部４０６について説明する。
図６１は本発明の第３実施例の再抽出部の処理フローチ
ャートを示す。再抽出部４０６は、図５９に示す処理で
分割されたＰＤＥＶを供給される（ステップＳ４６
１）。再抽出部４０６は、ステップＳ４６１で得られた
ＰＤＥＶを手本データとして、抽出処理部４０３と同様
に公知の方法で抽出を行い、領域抽出結果を位置計算部
４０４及び累積加算部４０８に供給する（ステップＳ４
６２）。

【０１９４】次に、手本データ供給部４０２の動作につ
いて説明する。図６２に本発明の第３実施例の手本デー
タ供給部の処理フローチャートを示す。手本データ供給
部４０２は、出力部４０７から出力される抽出結果ＴＴ
ｔを入力し、次の入力画像Ｔt+1 に対応した手本データ
Ｐt+1 とする（ステップＳ４７１）。

【０１９５】次に、図５９に示されるステップＳ４５９
で抽出結果出力可能なら、入力画像Ｔt+1 に対応する手
本データＰt+1 を抽出結果Ｔt に置き換える（ステップ
Ｓ４７２）。本実施例によれば、自動的に変形の大きな
部分を分割するため、手作業量や人間の判断量を低減で
きる。自動的に繰り返し処理を行うことにより、処理を
中断して人が指示を与える回数が低減するため、効率よ
く作業を進めることができる。

【０１９６】また、本実施例によれば、所望の領域を手
本の領域に応じて抽出し、抽出された領域の手本の領域
からの変形を検出し、検出された変形量に応じて領域を
修正することにより、手本からの変化量に応じて領域を
修正することにより各フレームで手本からの変形が修正
されるので、動画像から所望の領域だけを正確に抽出で
きる。

【０１９７】次に本発明の第４実施例について説明す
る。図６３は本発明の第４実施例の機能ブロック図を示
す。本実施例の領域抽出装置５００は、主に、対象画像
供給部５０１、手本データ供給部５０２、概形抽出処理
部５０３、概形領域記憶部５０４、関連データ記憶部５
０５、領域補正処理部５０６、抽出領域記憶部５０７か
ら構成される。

【０１９８】対象画像供給部５０１は、抽出しようとす
る領域が含まれた画像を概形抽出処理部５０３及び領域
補正処理部５０６に供給する。対象画像供給部５０１か
ら供給される画像は、１以上の複数フレームから構成さ
れる。手本データ供給部５０２は、対象画像供給部５０
１から供給される画像から抽出しようとする領域の手本
データを概形抽出処理部５０３及び領域補正部５０６に
供給する。

【０１９９】図６４は本発明の第４実施例の手本データ
を説明するための図を示す。図６４（Ａ）は画像デー
タ、図６４（Ｂ）はマスクデータを示す。手本データ供
給部５０２から概形抽出処理部５０３に供給される手本
データは、画像データ及びマスクデータから構成され
る。画像データは、図６４（Ａ）に示すように抽出する
領域が含まれた画像のデータである。マスクデータは、
図６４（Ｂ）に示すように図６４（Ａ）に示す画像デー
タのうち抽出しようとする領域が「ＯＮ」とされ、他の
領域は「ＯＦＦ」とされたデータである。

【０２００】概形領域記憶部５０４は、対象画像供給部
５０１から供給される対象画像と手本データ供給部５０
２から供給される手本データとを入力する。概形領域記
憶部５０４は、対象画像供給部５０１から供給される対
象画像から手本データ供給部５０２から供給される手本
データのマスクデータの抽出すべき領域、すなわち、
「１」領域を抽出する。

【０２０１】ここで、手本データの画像データをmodel
RGB 、マスクデータをmodel MASK、抽出対象画像の画像
データをext RGB 、マスクデータをext MASKとする。な
お、手本データのマスクデータmodel MASKは、抽出すべ
き領域の座標modelMASK｛ｘ，ｙ｝で「ＯＮ」、背景の
座標model MASK｛ｘ，ｙ｝で「ＯＦＦ」とする。また、
抽出対象画像のマスクデータext MASKは、抽出すべき領
域の座標extMASK｛ｘ，ｙ｝で「ＯＮ」、背景の座標ext
MASK｛ｘ，ｙ｝で「ＯＦＦ」とする。

【０２０２】手本データと抽出対象画像データとの関連
データtrans は、手本データから抽出対象画像データへ
の抽出対象領域の変化量を示す。変化量は、例えば、マ
トリクスとして求められる。関連データtrans は、移
動、回転、拡大縮小のデータを含む。手本データのマス
クデータmodel MASKに関連データtrans を掛けた値が抽
出対象画像のマスクデータext MASKとなる。すなわち、
抽出対象画像データをext MASKは、 ext MASK＝trans ^*model MASK で表される。以上のようにして概形領域が得られる。

【０２０３】概形領域記憶部５０４は、手本データによ
り抽出された概形領域を概形領域記憶部５０４に記憶す
る。抽出される概形領域は、手本データのマスクデータ
が「１」となる領域を移動させた領域として抽出され
る。また、このとき、概形領域記憶部５０４は、手本デ
ータと抽出した概形領域とから関連データを生成し、関
連データ記憶部５０５に供給する。関連データは、手本
データの移動量として与えられる。

【０２０４】図６５は本発明の第４実施例の関連データ
を説明するための図を示す。図６５（Ａ）は手本データ
の画像データ、図６５（Ｂ）は手本データのマスクデー
タ、図６５（Ｃ）は対象画像データ、図６５（Ｄ）は概
形領域データを示す。図６５（Ｃ）に示す対象画像に対
して図６５（Ａ）、（Ｂ）に示す手本データでテンプレ
ートマッチングを行うことにより手本データのマスクデ
ータの移動量（ｘ，ｙ）、回転量θ、拡大縮小量（ａ
ｘ，ｂｙ）を関連データとして求める。

【０２０５】領域補正部５０５は、概形領域記憶部５０
４に記憶された概略領域から正確な領域を得るために補
正を行う。このとき、領域補正部５０５は、抽出された
領域とその背景との間で有意な差がある部分を求め、求
められた部分についてのみ領域補正を行う。領域補正部
５０５は、補正した領域を抽出領域記憶部５０７に記憶
する。

【０２０６】領域補正部５０５の動作について詳細に説
明する。図６６は本発明の第４実施例の領域補正処理部
の処理フローチャートを示す。対象画像供給部５０１、
手本データ供給部５０２から画像データを入力し、概形
領域記憶部５０４及び関連データ記憶部５０５から概形
領域データ及び関連データを入力する（ステップＳ５１
１）。

【０２０７】次に、ステップＳ５１１で入力された概形
領域の抽出しようとする領域の輪郭部分で背景とに有意
な差がある部分を求め、有意な差がある部分を「Ｏ
Ｎ」、それ以外を「ＯＦＦ」とした領域model diff MA
SKを求める（ステップＳ５１２）。なお、ステップＳ５
１２の有意な差の検出方法としては、例えば、ａ．輪郭のエッジ強度を用いる方法ｂ．輪郭と背景との色差を用いる方法がある。

【０２０８】ａの輪郭のエッジ強度を用いる方法は、予
め閾値を設定しておき、エッジ強度が閾値以上のときに
有意な差がある部分と判定し、有意な差があると判定さ
れた部分を「ＯＮ」にする。また、ｂの輪郭部分と背景
との色差を用いる方法は、予め閾値を設定しておき、色
差が閾値以上のときに有意な差がある部分と判定し、有
意な差がある部分と判定された部分を「ＯＮ」にする。
なお、上記有意な差の判定方法ａ、ｂは、外部からの指
示により切換て用いるようにしてもよい。

【０２０９】次に、領域補正処理部５０６は、ステップ
Ｓ５１２で得られた領域model diffMASKに関連データ記
憶部５０５に記憶された関連データに応じてtrans を掛
け、有意な差のある部分が「ＯＮ」とされた領域extdif
f MASKを求める（ステップＳ５１３）。次に、領域補正
処理部５０６は、ステップＳ５１３で求めた領域extdif
f MASKの「ＯＮ」の部分、すなわち、有意な差がある部
分について補正を行い、有意な差がない部分については
補正は行わない（ステップＳ５１４）。

【０２１０】図６７は本発明の第４実施例の領域補正処
理部の動作説明図を示す。図６７（Ａ）は手本データ、
図６７（Ｂ）は領域抽出後の領域データを示す。ステッ
プＳ５１３で、図６７（Ａ）に示すように手本データの
うち、梨地で示す部分が有意な差がある部分として検出
され、斜線で示す部分が有意な差がない部分として検出
されたとする。関連データによりトランスtrans を掛け
ると、図６７（Ｂ）に示すように移動される。

【０２１１】図６７（Ｂ）で梨地で示す部分、すなわ
ち、背景と有意な差があり、背景とはっきり区別できる
部分に、補正が行われ、斜線で示す部分、すなわち、背
景と有意な差がなく、背景と本体とをはっきりと区別で
きない部分は、補正は行わない。以上、本実施例によれ
ば、不要な補正が行われなくなる。

【０２１２】なお、領域補正処理部５０６の処理は上記
の処理に限られるものではない。図６８は本発明の第４
実施例の領域補正処理部の第１変形例の処理フローチャ
ートを示す。同図中、図６６と同一ステップには同一符
号を付し、その説明は省略する。本変形例は、背景と有
意な差がない部分に対して、補完を行う処理、ステップ
Ｓ５１５を設けた。

【０２１３】ステップＳ５１５の補間を行う処理として
は、例えば、ｅ．直線で補完する方法ｆ．手本の形状を用いて補完する方法ｇ．弱いエッジに沿って補完を行う方法などがある。

【０２１４】ｅの直線で補完する方法は、有意な差がな
い部分の両端を直線で補完する方法である。図６９は、
本発明の第４実施例の領域補正処理部の第１変形例の直
線による補完方法を説明するための図を示す。図６９に
示すように有意な差がないと判定された部分の両端Ｐ
１、Ｐ２を検出し、両端Ｐ１、Ｐ２を直線Ｌで補完す
る。

【０２１５】ｆの手本の形状を用いて補完する方法は、
有意な差がない部分を手本データの対応する部分で補完
する方法である。図７０は、本発明の第４実施例の領域
補正処理部の第１変形例の手本の形状を用いた補完方法
を説明するための図を示す。図７０（Ａ）は手本デー
タ、図７０（Ｂ）は抽出された手本の形状、図７０
（Ｃ）は抽出された領域データを示す。

【０２１６】ｆの手本の形状を用いて補完する方法で
は、まず、図７０（Ｃ）に示す抽出した領域の有意な差
がないと判定された部分Ｓ１を検出する。次に、図７０
（Ａ）に示す手本データから有意な差がないと判定され
た部分Ｓ１に相当する部分Ｓ２を図７０（Ｂ）に示すよ
うに抽出する。次に、手本データから抽出された部分Ｓ
２を図７０（Ｃ）に示す抽出された領域の有意な差がな
いと判定された部分Ｓ１の部分のデータとして補完す
る。

【０２１７】ｇの弱いエッジに沿って補完を行う方法
は、有意な差がない部分の微弱なエッジを閾値を低減す
ることにより検出し、補完を行う方法である。図７１
は、本発明の第４実施例の領域補正処理部の第１変形例
の弱いエッジを辿って補完を行う方法を説明するための
図を示す。図７１に示すように通常のエッジ検出時の閾
値Ｌ１を閾値Ｌ２に低減させる。エッジ検出のための閾
値Ｌ２とすることにより、通常では検出できなかった微
小なエッジが検出される。検出された微小なエッジを辿
ることにより有意な差がない部分を補完する。

【０２１８】以上、本変形例によれば、手本データで物
体を背景との間に有意な差のない部分は、補正対象外と
するので、余分な補正処理を省略できる。また、有意な
差がない部分については上記の方法により補完すること
により、妥当な形状に補正できる。なお、有意な差がな
い部分の補完方法は、外部からの指示に応じて切り換え
るようにしてもよい。

【０２１９】なお、本変形例では、有意な差がない部分
のデータに基づいてｅ，ｆ，ｇの補完方法により補完を
行ったが、有意な差がない部分について有意な差がある
部分データに基づいて補完を行ってもよい。図７２は本
発明の第４実施例の領域補正処理部の第２変形例の処理
フローチャートを示す。同図中、図６８と同一ステップ
には同一符号を付し、その説明は省略する。

【０２２０】本変形例は、ステップＳ５１６で、有意な
差のある部分のデータに基づいて上記ｅ，ｆ，ｇの補完
方法により補完を行う。また、有意な差がある領域の輪
郭部分の補正結果について、その領域が所望の領域上を
指定しているか否かの検証を行うようにしてもよい。図
７３は本発明の第４実施例の領域補正処理部の第３変形
例の処理フローチャートを示す。

【０２２１】本変形例は、ステップＳ５１８及び５１９
を有する。ステップＳ５１８は、ステップＳ５１４で、
有意な差のある領域に対して補正を行い、領域ext MASK
を得た後、補正により得られた領域ext MASKが所望の領
域を指定しているか否かを検証し、検証結果、補正によ
り得られた領域ext MASKが所望の領域を指定していない
領域acc MASK｛ｘ，ｙ｝を「ＯＦＦ」にする。

【０２２２】検証方法としては、ｃ．エッジ強度を用いる方法ｄ．色差を用いる方法がある。ｃのエッジ強度用いる方法は、手本データ（mo
del RGB ，model MASK）と抽出対象データ（ext RGB ，
ext MASK）とのエッジ強度の関係により補正により得ら
れた領域ext MASKが所望の領域を指定しているか否かを
検証する。

【０２２３】また、ｄの色差を用いる方法は、手本デー
タ（model RGB ，model MASK）と抽出対象データ（ext
RGB ，ext MASK）との色差の関係から補正により得られ
た領域ext MASKが所望の領域を指定しているか否かを検
証する。ステップＳ５１９は、ステップＳ５１８で「Ｏ
ＦＦ」に設定された領域acc MASK｛ｘ，ｙ｝を前記ｅ，
ｆ，ｇの補完法により補完する。

【０２２４】なお、検証方法及び有意な差がない部分の
補完方法は、外部からの指示に応じて切り換えるように
してもよい。なお、本変形例では、有意な差がない部分
のデータに基づいてｅ，ｆ，ｇの補完方法により補完を
行ったが、有意な差がない部分について有意な差がある
部分データに基づいて補完を行ってもよい。

【０２２５】図７４は本発明の第４実施例の領域補正処
理部の第４変形例の処理フローチャートを示す。同図
中、図７３と同一ステップには同一符号を付し、その説
明は省略する。本変形例は、ステップＳ５２０で、有意
な差のある部分のデータの基づいて上記ｅ，ｆ，ｇの補
完方法により補完を行う。

【０２２６】図７５は本発明の第４実施例の領域補正処
理部の第５変形例の処理フローチャートを示す。同図
中、図７３と同一構成部分には同一符号を付し、その説
明は省略する。本変形例は、ステップＳ５２１、Ｓ５２
２、Ｓ５２３を有する。ステップＳ５２１は、ステップ
Ｓ５１１とステップＳ５１２との間に配置され、上記の
ｃ、ｄの検証方法により抽出された領域のうち所望の領
域上に指定されていない領域acc MASK｛ｘ，ｙ｝を検証
し、検証結果、抽出された領域のうち所望の領域上に指
定されていない領域acc MASK｛ｘ，ｙ｝を「ＯＦＦ」に
設定する。

【０２２７】ステップＳ５２２は、ステップＳ５２１で
得られた抽出された領域のうち所望の領域上に指定され
ていない領域acc MASK｛ｘ，ｙ｝の「ＯＦＦ」の領域、
及び、ステップＳ５１３で得られた有意な差が存在する
領域 ext diffMASK（ｘ，ｙ）が「ＯＮ」の領域に対し
て補正を行う。ステップＳ５２３は、ステップＳ５２１
で得られた抽出された領域のうち所望の領域上に指定さ
れていない領域acc MASK｛ｘ，ｙ｝の「ＯＮ」の領域、
及び、ステップＳ５１３で得られた有意な差が存在しな
い領域 ext diffMASK（ｘ，ｙ）が「ＯＦＦ」の領域に
対して前述ｅ，ｆ，ｇの補完方法により補完を行う。

【０２２８】なお、ステップＳ５２１の検証方法及びス
テップＳ５２４の有意な差がない部分の補完方法は、外
部からの指示に応じて切り換えるようにしてもよい。な
お、本変形例では、有意な差がない部分のデータに基づ
いてｅ，ｆ，ｇの補完方法により補完を行ったが、有意
な差がない部分について有意な差がある部分データに基
づいて補完を行ってもよい。

【０２２９】図７６は本発明の第４実施例の領域補正処
理部の第６変形例の処理フローチャートを示す。同図
中、図７５と同一ステップには同一符号を付し、その説
明は省略する。本変形例は、ステップＳ５２４で、有意
な差のある部分のデータの基づいて上記ｅ，ｆ，ｇの補
完方法により補完を行う。

【０２３０】本実施例によれば、手本又は抽出領域とそ
の背景とのエッジ強度や色差から所望の領域と背景との
間に有意な差があるか否かを判定し、有意な差がない部
分に対しては、補正を行わないようにしたり、ｅ，ｆ，
ｇなどの方法により補完処理を行うことにより、最適な
形状を抽出できる。また、本実施例によれば、抽出対象
物と背景との差を検出し、検出された抽出対象物と背景
との差異が所定の差異より小さい部分を輪郭として抽出
し、差異が大きい部分に対しては修正を行うことによ
り、差異が小さい修正が不要な部分に対して修正を行う
必要がなく、効率よく修正を行うことができる。

【０２３１】なお、第１乃至第４実施例の修正、補正処
理では、パターンマッチングにより抽出された領域を補
正修正する方法について説明したが、例えば、特開平９
−１３４４１８号に示すような抽出方法を用いて抽出さ
れた領域に対しても同様な領域の補正修正方法を適用で
きる。

【０２３２】

【発明の効果】上述の如く、本発明の請求項１乃至４、
及び、請求項３６乃至３９並びに請求項７１によれば、
抽出しようとする領域からテンプレートを作成し、作成
したテンプレートと動画像のフレームとのマッチングを
とり、マッチング結果に基づいてテンプレートを順次修
正することにより、動画像から所望の領域だけを正確に
抽出できる等の特長を有する。

【０２３３】請求項５乃至１２、及び、請求項４０乃至
４７並びに請求項７２によれば、手本に基づいて動画像
の各フレームから所望の領域を抽出する際、所望の領域
の輪郭部分に対応する手本の輪郭部分を抽出し、抽出さ
れた手本の輪郭部分が所望の領域の輪郭部分の内側か、
外側かを判定して、その判定結果に応じて所望の領域の
修正を行うので、各フレームで手本とのずれが修正さ
れ、動画像から所望の領域だけを正確に抽出できる等の
特長を有する。

【０２３４】請求項１３乃至２３、及び、請求項４８乃
至５８並びに請求項７３によれば、動画像の各フレーム
から所望の領域を抽出し、後に、既に抽出された各フレ
ームの所望の領域の誤った領域を修正することにより、
既に抽出された各フレームにおいて生じたずれが修正さ
れるので、動画像から所望の領域だけを正確に抽出でき
る等の特長を有する。

【０２３５】請求項２４乃至２８、及び、請求項５９乃
至６３並びに請求項７４によれば、所望の領域を手本の
領域に応じて抽出し、抽出された領域の手本の領域から
の変形を検出し、検出された変形量に応じて領域を修正
することにより、手本からの変化量に応じて領域を修正
することにより各フレームで手本からの変形が修正され
るので、動画像から所望の領域だけを正確に抽出できる
等の特長を有する。

【０２３６】請求項２９乃至３５、及び、請求項６４乃
至７０並びに請求項７５によれば、抽出対象物と背景と
の差を検出し、検出された抽出対象物と背景との差異が
所定の差異より小さい部分を輪郭として抽出し、差異が
大きい部分に対しては修正を行うことにより、差異が小
さい修正が不要な部分に対して修正を行う必要がなく、
効率よく修正を行うことができる等の特長を有する。

【０２３７】なお、以上の説明に関して、更に、以下の
項を開示する。（１）動画像から所望の領域を抽出する領域抽出装置に
おいて、抽出しようとする領域の輪郭点を指示する領域
指示手段と、前記領域指示手段で指示された領域の輪郭
点から抽出しようとする領域のテンプレートを作成する
テンプレート作成手段と、前記テンプレート作成手段で
作成された前記テンプレートと前記動画像とのマッチン
グをとるテンプレートマッチング手段と、前記テンプレ
ートマッチング手段でのマッチングの結果に応じて前記
テンプレートを修正するテンプレート修正手段とを有す
ることを特徴とする領域抽出方法。

【０２３８】このような領域抽出方法によれば、抽出し
ようとする領域からテンプレートを作成し、作成したテ
ンプレートと動画像のフレームとのマッチングをとり、
マッチング結果に基づいてテンプレートを順次修正する
ことにより、動画像から所望の領域だけを抽出できる。（２）上記（１）項記載の領域抽出方法おいて、前記領
域指示手段が、指示された領域中の各点の色信号情報を
予め設定された所定のしきい値で除算した結果に応じて
抽出すべき領域を指示する。

【０２３９】これにより、指示された領域中の各点の色
信号情報を予め設定された所定のしきい値で除算した結
果により、一体となる領域が分割され、容易に認識でき
るので、抽出すべき領域を容易に指定できる。（３）上記（１）又は（２）項記載の領域抽出方法にお
いて、前記テンプレート作成手段が、前記領域指示手段
により指示された抽出しようとする各輪郭点の近傍の領
域からエッジ点を抽出するエッジ抽出手段と、エッジ抽
出手段で抽出された各輪郭点で抽出された前記エッジ点
を結合し、その閉領域をテンプレートするテンプレート
抽出手段とを設ける。

【０２４０】これにより、領域指示手段により指示され
た抽出しようとする各輪郭点の近傍の領域からエッジ点
を抽出し、抽出したエッジ点を結合し、その閉領域を形
成し、テンプレートにすることにより、自動的に、か
つ、正確に抽出しようとする領域に対応した領域のテン
プレートを作成できる。（４）上記（３）項記載の領域抽出方法において、前記
エッジ抽出手段が、前記領域指示手段により指示された
抽出しようとする各輪郭点の近傍の領域中、所定値以上
のエッジ点を検出するエッジ点検出手段と、前記エッジ
点検出手段で検出されたエッジ点から前記輪郭点に近似
したエッジ点を抽出すべき領域のエッジ点として抽出す
るエッジ点抽出手段とを設ける。

【０２４１】これにより、所定値以上で、かつ、指定し
た輪郭点に最も近似した点をエッジ点とすることによ
り、抽出しようとする領域を正確に抽出できる。（５）上記（１）〜（４）項記載の領域抽出方法におい
て、手本となる画像を設定する手本設定手段と、前記手
本設定手段で設定された画像から前記エッジ抽出手段で
抽出された所望の領域の輪郭部分に対応する手本の輪郭
部分を求める輪郭抽出手段と、前記輪郭抽出手段で求め
られた前記手本の輪郭部分の色情報と前記所望の領域の
色情報とを比較し、前記所望の領域の輪郭部分が前記所
望の領域内部であるか、外部であるかを判定し、抽出さ
れたエッジ点を変形修正する変形修正手段とを設ける。

【０２４２】これにより、手本との輪郭部分の色の差か
ら所望の領域の内部か、外部からを判定でき、この判定
を輪郭の部分に対して順次行うことにより領域の変形を
修正することができる。（６）上記（５）項記載の領域抽出方法において、前記
変形修正手段は、前記領域抽出手段で抽出された前記手
本の輪郭部分の内部の色情報と外部の色情報との色差を
求める色差算出手段と、前記色差算出手段で求められた
前記色差に応じて前記領域抽出手段で抽出された前記手
本の輪郭部分の色情報と前記所望の領域の輪郭部分の色
情報との色差の閾値を設定する閾値設定手段とを設け
る。

【０２４３】これにより、手本の輪郭部分の内部の色情
報と外部の色情報との色差に応じて閾値を設定すること
ができるので、手本の輪郭部分の内部の色情報と外部の
色情報との色差が小さいときには、同じ色と判定される
閾値が小さくなり、微妙な色の差に対応できるようにな
り、手本の輪郭部分の内部の色情報と外部の色情報との
色差が大きいときには、同じ色と判定される閾値が大き
くなり、確実に色の差を判定でき、色差に適した閾値に
設定できるため、正確に輪郭を判定できる。

【０２４４】（７）上記（５）又は（６）において、前
記変形修正手段が、前記領域抽出手段で抽出された前記
手本の輪郭部分の色と前記所望の領域の輪郭部分の内部
の色との色差に応じて前記所望の領域の輪郭部分が前記
所望の領域内部であるか、外部であるかを判定する。こ
れにより、輪郭内部の色差により判定することにより、
輪郭部分の色に比べて内部の色をはっきりとさせること
ができるので、確実に色を判定でき、正確に輪郭を判定
できる。

【０２４５】（８）上記（５）〜（７）において、前記
変形修正手段が、前記領域抽出手段で抽出された前記手
本の輪郭部分より内部の領域の色と前記所望の領域の輪
郭部分との色差に応じて前記所望の領域の輪郭部分が前
記所望の領域内部であるか、外部であるかを判定する。
これにより、輪郭内部の色差により判定することによ
り、輪郭部分の色に比べて内部の色をはっきりとさせる
ことができるので、確実に色を判定でき、正確に輪郭を
判定できる。

【０２４６】（９）上記（５）〜（８）において、前記
変形修正手段は、前記領域抽出手段で抽出された前記手
本領域の輪郭部分内部のテクスチャ属性と、前記所望の
領域の輪郭部分の内部のテクスチャ属性との比較結果に
応じて前記所望の領域の輪郭部分が前記所望の領域内部
であるか、外部であるかを判定する。これにより、テク
スチャ属性に応じて所望の領域の輪郭部分が所望の領域
内部であるか、外部であるかを判定することにより、テ
クスチャ属性をもつ画像にも対応できる。

【０２４７】（１０）上記（５）〜（９）において、前
記所望の領域の輪郭部分が抽出すべき領域の輪郭と一致
しているか判定する輪郭判定手段を有し、前記輪郭判定
手段での判定結果、所望の領域の輪郭部分と抽出すべき
領域の輪郭とが不一致の場合に、前記領域抽出手段及び
前記変形修正手段を実行する。これにより、所望の領域
の輪郭部分と抽出すべき領域の輪郭とが不一致の場合に
だけ、所望の領域の輪郭部分が所望の領域内部である
か、外部であるかの判定を行うので、両部分が一致して
おり、判定が不要な場合には判定が行われないので、処
理時間を短縮できる。

【０２４８】（１１）上記（５）〜（１０）において、
前記変形修正手段での修正結果、前記所望の領域の輪郭
が急激に変化したときには、変化が緩和されるように輪
郭を補正する輪郭補正手段を設ける。これにより、変形
修正された輪郭が急激に変化したときには、変化が緩和
され、手本から極端に外れた変形修正を防止でき、自然
な輪郭が得られる。

【０２４９】（１２）上記（５）〜（１１）において、
前記変形修正手段の修正結果を順次手本とする。これに
より、修正結果を順次手本とすることにより、元画像に
近い画像を手本とするので、補正する領域が減少でき、
処理時間を短縮できる。（１３）上記（１２）において、前記領域抽出手段は、
初期設定された手本から対応する領域を抽出する第１の
領域抽出手段と、前記判定手段の判定結果から対応する
領域を抽出する第２の領域抽出手段とを有し、前記変形
修正手段は、前記第１の領域抽出手段で抽出された前記
手本の抽出領域、及び、前記第２の領域抽出手段で抽出
された前記変形修正手段の修正結果の抽出領域と、前記
所望の領域の輪郭部分が前記所望の領域とに応じて前記
所望の領域の輪郭部分が前記所望の領域内部であるか、
外部であるかを判定する。

【０２５０】これにより、手本の抽出領域、及び、修正
結果の抽出領域と、所望の領域の輪郭部分とに応じて前
記所望の領域の輪郭部分が前記所望の領域内部である
か、外部であるかを判定することにより、２重に判定が
行われるので、補正性能を向上させることができる。（１４）手本なる領域を指定し、指定された手本と動画
像の各フレームとを比較することにより動画像から所望
の領域を抽出する領域抽出方法において、前記所望の領
域の輪郭部分に対応する前記手本の輪郭部分を求める輪
郭抽出手段と、前記輪郭抽出手段で求められた前記手本
の輪郭部分の色情報と前記所望の領域の色情報とを比較
し、前記所望の領域の輪郭部分が前記所望の領域内部で
あるか、外部であるかを判定する領域判定手段とを有す
ることを特徴とする領域抽出方法。

【０２５１】この領域抽出方法により、手本との輪郭部
分の色の差から所望の領域の内部か、外部からを判定で
き、この判定を輪郭の部分に対して順次行うことにより
領域の変形を修正することができる。（１５）上記（１４）において、前記判定手段が、前記
領域抽出手段で抽出された前記手本の輪郭部分の内部の
色情報と外部の色情報との色差を求める色差算出手段
と、前記色差算出手段で求められた前記色差に応じて前
記領域抽出手段で抽出された前記手本の輪郭部分の色情
報と前記所望の領域の輪郭部分の色情報との色差の閾値
を設定する閾値設定手段とを設ける。

【０２５２】これにより、手本の輪郭部分の内部の色情
報と外部の色情報との色差に応じて閾値を設定すること
ができるので、手本の輪郭部分の内部の色情報と外部の
色情報との色差が小さいときには、同じ色と判定される
閾値が小さくなり、微妙な色の差に対応できるようにな
り、手本の輪郭部分の内部の色情報と外部の色情報との
色差が大きいときには、同じ色と判定される閾値が大き
くなり、確実に色の差を判定でき、色差に適した閾値に
設定できるため、正確に輪郭を判定できる。

【０２５３】（１６）上記（１４）又は（１５）におい
て、前記判定手段は、前記領域抽出手段で抽出された前
記手本の輪郭部分の色と前記所望の領域の輪郭部分の内
部の色との色差に応じて前記所望の領域の輪郭部分が前
記所望の領域内部であるか、外部であるかを判定する。
これにより、輪郭内部の色差により判定することによ
り、輪郭部分の色に比べて内部の色をはっきりとさせる
ことができるので、確実に色を判定でき、正確に輪郭を
判定できる。

【０２５４】（１７）上記（１４）〜（１６）におい
て、前記判定手段が、前記領域抽出手段で抽出された前
記手本の輪郭部分より内部の領域の色と前記所望の領域
の輪郭部分との色差に応じて前記所望の領域の輪郭部分
が前記所望の領域内部であるか、外部であるかを判定す
る。これにより、輪郭内部の色差により判定することに
より、輪郭部分の色に比べて内部の色をはっきりとさせ
ることができるので、確実に色を判定でき、正確に輪郭
を判定できる。

【０２５５】（１８）上記（１４）〜（１７）におい
て、前記判定手段が、前記領域抽出手段で抽出された前
記手本領域の輪郭部分内部のテクスチャ属性と、前記所
望の領域の輪郭部分の内部のテクスチャ属性との比較結
果に応じて前記所望の領域の輪郭部分が前記所望の領域
内部であるか、外部であるかを判定する。これにより、
テクスチャ属性に応じて所望の領域の輪郭部分が所望の
領域内部であるか、外部であるかを判定することによ
り、テクスチャ属性をもつ画像にも対応できる。

【０２５６】（１９）上記（１４）〜（１８）におい
て、前記所望の領域の輪郭部分が抽出すべき領域の輪郭
と一致しているか判定する輪郭判定手段を有し、前記輪
郭判定手段での判定結果、所望の領域の輪郭部分と抽出
すべき領域の輪郭とが不一致の場合に、前記領域抽出手
段及び前記判定手段を実行する。これにより、所望の領
域の輪郭部分と抽出すべき領域の輪郭とが不一致の場合
にだけ、所望の領域の輪郭部分が所望の領域内部である
か、外部であるかの判定を行うので、両部分が一致して
おり、判定が不要な場合には判定が行われないので、処
理時間を短縮できる。

【０２５７】（２０）上記（１４）〜（１９）におい
て、前記判定手段での判定結果、前記所望の領域の輪郭
が急激に変化したときには、変化が緩和されるように輪
郭を補正する輪郭補正手段を設ける。これにより、変形
修正された輪郭が急激に変化したときには、変化が緩和
され、手本から極端に外れた変形修正を防止でき、自然
な輪郭が得られる。

【０２５８】（２１）上記（１４）〜（２０）におい
て、前記判定手段の判定結果を順次手本とする。これに
より、修正結果を順次手本とすることにより、元画像に
近い画像を手本とするので、補正する領域が減少でき、
処理時間を短縮できる。（２２）上記（１４）〜（２１）において、前記領域抽
出手段は、初期設定された手本から対応する領域を抽出
する第１の領域抽出手段と、前記判定手段の判定結果か
ら対応する領域を抽出する第２の領域抽出手段とを有
し、前記判定手段は、前記第１の領域抽出手段で抽出さ
れた前記手本の抽出領域、及び、前記第２の領域抽出手
段で抽出された前記判定手段の判定結果の抽出領域と、
前記所望の領域の輪郭部分が前記所望の領域とに応じて
前記所望の領域の輪郭部分が前記所望の領域内部である
か、外部であるかを判定する。

【０２５９】これにより、手本の抽出領域、及び、修正
結果の抽出領域と、所望の領域の輪郭部分とに応じて前
記所望の領域の輪郭部分が前記所望の領域内部である
か、外部であるかを判定することにより、２重に判定が
行われるので、補正性能を向上させることができる。

【図面の簡単な説明】

【図１】本発明の第１実施例のブロック構成図である。

【図２】本発明の第１実施例の領域抽出処理部のブロッ
ク構成図である。

【図３】本発明の第１実施例の領域選択部の処理フロー
チャートである。

【図４】本発明の第１実施例の領域選択部の動作説明図
である。

【図５】本発明の第１実施例の領域選択部のエッジ探索
処理のフローチャートである。

【図６】本発明の第１実施例の領域選択部のエッジ探索
処理の動作説明図である。

【図７】本発明の第１実施例の領域選択部のエッジ探索
処理の変形例の動作フローチャートである。

【図８】本発明の第１実施例の領域選択部のエッジ探索
処理の変形例の動作説明図である。

【図９】本発明の第１実施例の領域選択部の変形例の処
理フローチャートである。

【図１０】本発明の第１実施例の領域選択部の変形例の
ラベル付け処理のフローチャートである。

【図１１】本発明の第１実施例の領域選択部の変形例の
ラベル付け処理の変形例のフローチャートである。

【図１２】本発明の第１実施例のテンプレートマッチン
グ部の処理フローチャートである。

【図１３】本発明の第１実施例のテンプレートマッチン
グ部の動作説明図である。

【図１４】本発明の第１実施例のテンプレートマッチン
グ部の変形例の処理フローチャートである。

【図１５】本発明の第１実施例のテンプレート修正部の
処理フローチャートである。

【図１６】本発明の第１実施例のテンプレート修正部の
変形例の処理フローチャートである。

【図１７】本発明の第１実施例のテンプレート修正部の
他の変形例の処理フローチャートである。

【図１８】本発明の第１実施例の変形修正部の処理フロ
ーチャートである。

【図１９】本発明の第１実施例の変形修正部の動作説明
図である。

【図２０】本発明の第１実施例の変形修正部の変形修正
処理の第１変形例の処理フローチャートである。

【図２１】本発明の第１実施例の領域抽出部でテンプレ
ートマッチングで得られた変換データのデータ構成図で
ある。

【図２２】本発明の第１実施例の変形修正部の変形修正
処理の第２変形例の処理フローチャートである。

【図２３】本発明の第１実施例の変形修正部の変形修正
処理の第３変形例の処理フローチャートである。

【図２４】本発明の第１実施例の変形修正部の変形修正
処理の第３変形例の動作説明図である。

【図２５】本発明の第１実施例の変形修正部の変形修正
処理の第４変形例の処理フローチャートである。

【図２６】本発明の第１実施例の変形修正部の変形修正
処理の第５変形例の処理フローチャートである。

【図２７】本発明の第１実施例の変形修正部の変形修正
処理の第６変形例の処理フローチャートである。

【図２８】本発明の第１実施例の変形修正部の変形修正
処理の第７変形例の処理フローチャートである。

【図２９】本発明の第１実施例の変形修正部の変形修正
処理の第８変形例の処理フローチャートである。

【図３０】本発明の第２実施例の機能ブロック図であ
る。

【図３１】本発明の第２実施例の修正領域計算部の処理
フローチャートである。

【図３２】本発明の第２実施例の修正領域計算部の動作
説明図である。

【図３３】本発明の第２実施例の修正領域計算部の動作
説明図である。

【図３４】本発明の第２実施例の修正領域計算部の変形
例の処理フローチャートである。

【図３５】本発明の第２実施例の修正領域計算部の変形
例の動作説明図である。

【図３６】本発明の第２実施例の修正判断処理部の処理
フローチャートである。

【図３７】本発明の第２実施例の修正判断処理部の動作
説明図である。

【図３８】本発明の第２実施例の修正領域計算部の変形
例の処理フローチャートである。

【図３９】本発明の第２実施例の修正領域計算部の変形
例の動作説明図である。

【図４０】本発明の第２実施例の修正領域計算部の第２
変形例の処理フローチャートである。

【図４１】本発明の第２実施例の修正領域計算部の第２
変形例の動作説明図である。

【図４２】本発明の第２実施例の修正判断処理部の変形
例の処理フローチャートである。

【図４３】本発明の第２実施例の修正判断処理部の変形
例の動作説明図である。

【図４４】本発明の第２実施例の修正判断処理部の修正
処理の処理フローチャートである。

【図４５】本発明の第２実施例の修正判断処理部の修正
処理の動作説明図である。

【図４６】本発明の第２実施例の修正判断処理部のフレ
ーム選択処理の処理フローチャートである。

【図４７】本発明の第２実施例の修正判断処理部のフレ
ーム選択処理の動作説明図である。

【図４８】本発明の第２実施例の修正判断処理部のフレ
ーム選択処理の変形例の処理フローチャートである。

【図４９】本発明の第２実施例の修正判断処理部のフレ
ーム選択処理の変形例の動作説明図である。

【図５０】本発明の第２実施例の修正判断処理部のフレ
ーム選択処理の第２変形例の処理フローチャートであ
る。

【図５１】本発明の第２実施例の修正判断処理部のフレ
ーム選択処理の第２変形例の動作説明図である。

【図５２】本発明の第３実施例の機能ブロック図であ
る。

【図５３】本発明の第３実施例の位置計算部の処理フロ
ーチャートである。

【図５４】本発明の第３実施例の位置計算部の移動量が
わからないときの処理フローチャートである。

【図５５】本発明の第３実施例の位置計算部の動作説明
図である。

【図５６】本発明の第３実施例の累積加算部の処理フロ
ーチャートである。

【図５７】本発明の第３実施例の累積加算部の穴埋め処
理の処理フローチャートである。

【図５８】本発明の第３実施例の累積加算部の変形例の
動作説明図である。

【図５９】本発明の第３実施例の領域判定部の処理フロ
ーチャートである。

【図６０】本発明の第３実施例の領域判定部の動作説明
図である。

【図６１】本発明の第３実施例の再抽出部の処理フロー
チャートである。

【図６２】本発明の第３実施例の手本データ供給部の処
理フローチャートである。

【図６３】本発明の第４実施例の機能ブロック図であ
る。

【図６４】本発明の第４実施例の手本データを説明する
ための図である。

【図６５】本発明の第４実施例の関連データを説明する
ための図である。

【図６６】本発明の第４実施例の領域補正処理部の処理
フローチャートである。

【図６７】本発明の第４実施例の領域補正処理部の動作
説明図である。

【図６８】本発明の第４実施例の領域補正処理部の第１
変形例の処理フローチャートである。

【図６９】本発明の第４実施例の領域補正処理部の第１
変形例の直線による補完方法を説明するための図であ
る。

【図７０】本発明の第４実施例の領域補正処理部の第１
変形例の手本の形状を用いた補完方法を説明するための
図である。

【図７１】本発明の第４実施例の領域補正処理部の第１
変形例の弱いエッジを辿って補完を行う方法を説明する
ための図である。

【図７２】本発明の第４実施例の領域補正処理部の第２
変形例の処理フローチャートである。

【図７３】本発明の第４実施例の領域補正処理部の第３
変形例の処理フローチャートである。

【図７４】本発明の第４実施例の領域補正処理部の第４
変形例の処理フローチャートである。

【図７５】本発明の第４実施例の領域補正処理部の第５
変形例の処理フローチャートである。

【図７６】本発明の第４実施例の領域補正処理部の第６
変形例の処理フローチャートである。

【図７７】全手動切り出しツールによる画像抽出動作を
説明するための図である。

【符号の説明】

１領域抽出装置２入力装置３動画像記憶装置４領域抽出処理部５抽出領域記憶部６表示装置７表示コントローラ１１初期入力データ作成部１２領域選択部１３テンプレート作成部１４テンプレートマッチング部１５テンプレート修正部１６変形修正部

───────────────────────────────────────────────────── フロントページの続き (72)発明者伊藤隆神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内 (56)参考文献特開平５−197809（ＪＰ，Ａ) 特開昭63−305477（ＪＰ，Ａ) 特開昭60−84671（ＪＰ，Ａ) 特開平６−203157（ＪＰ，Ａ) 特開平８−77364（ＪＰ，Ａ) 特開平５−54143（ＪＰ，Ａ) 特開平１−315884（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 1/00 - 7/20

Claims

(57)【特許請求の範囲】

【請求項１】動画像から所望の領域を抽出する領域抽
出装置において、前記動画像のうちの所望のフレームから抽出しようとす
る領域の輪郭点を指示する領域指示手段と、前記領域指示手段で指示された領域の輪郭点の周囲を抽
出しようとする領域の色情報に基づいて探索し、抽出し
ようとする領域を抽出して、テンプレートマッチングの
際に、前記動画像の所定のフレームから抽出しようとす
る領域を示す手本となるテンプレートを作成するテンプ
レート作成手段と、前記テンプレート作成手段で作成された前記テンプレー
トのエッジを順次探索することにより前記動画像の他の
フレームの抽出すべき領域と前記テンプレートのマッチ
ングをとるテンプレートマッチング手段と、前記テンプレートマッチング手段でのマッチングの結果
に応じて順次に前記動画像の他のフレームに対応する前
記テンプレートを生成し、領域を抽出するテンプレート
修正手段とを有することを特徴とする領域抽出装置。
【請求項２】前記領域指示手段は、指示された各輪郭
点の色信号情報を指示することを特徴とする請求項１記
載の領域抽出装置。
【請求項３】前記テンプレート作成手段は、前記領域
指示手段により指示された各輪郭点の近傍の領域からエ
ッジ点を抽出するエッジ抽出手段と、前記エッジ抽出手段により各輪郭点で抽出された前記エ
ッジ点を結合し、その閉領域をテンプレートとして抽出
するテンプレート抽出手段とを有することを特徴とする
請求項１又は２記載の領域抽出装置。
【請求項４】前記エッジ抽出手段は、前記領域指示手
段により指示された各輪郭点の近傍の領域中、予め設定
された所定のエッジ強度以上のエッジ点を検出するエッ
ジ点検出手段と、前記エッジ点検出手段で検出されたエッジ点から前記輪
郭点に近似したエッジ点を抽出すべきエッジ点として抽
出するエッジ点抽出手段とを有することを特徴とする請
求項３記載の領域抽出装置。
【請求項５】手本に基づいて動画像の各フレームから
所望の領域を抽出する領域抽出装置において、前記所望の領域に対応する前記手本の輪郭部分を抽出す
る輪郭抽出手段と、前記輪郭抽出手段で抽出された前記手本の色情報に基づ
いて輪郭部分が前記所望の領域の輪郭部分の内側か、外
側かを判定する領域判定手段と、前記領域判定手段の判定結果に応じて前記所望の領域の
修正を行う修正手段とを有することを特徴とする領域抽
出装置。
【請求項６】前記領域判定手段は、前記手本の輪郭部
分の色情報に応じて前記手本の輪郭部分の内部と外部と
の色差を検出する色差検出手段と、前記色差検出手段で検出された色差に応じて前記所望の
領域の輪郭部分を判定する閾値を設定する閾値設定手段
とを有し、前記所望の領域の輪郭部分の色情報と前記閾値設定手段
で設定された前記閾値との比較結果に基づいて前記手本
の輪郭が前記所望の領域の輪郭の内部にあるか、外部に
あるかを判定することを特徴とする請求項５記載の領域
抽出装置。
【請求項７】前記領域判定手段は、前記手本の色情報
と前記所望の領域の色情報との色差に応じて前記手本の
輪郭が前記所望の領域の輪郭の内部にあるか、外部ある
かを判定することを特徴とする請求項５又は６記載の領
域抽出装置。
【請求項８】前記領域判定手段は、前記手本の所定の
領域の輪郭部分のテクスチャ属性と前記所望の領域の輪
郭部分のテクスチャ属性とに応じて前記手本の輪郭が前
記所望の領域の輪郭の内部か、外部かを判定することを
特徴とする請求項５乃至６のいずれか一項記載の領域抽
出装置。
【請求項９】前記修正手段は、前記領域判定手段によ
る判定結果、前記所望の領域の輪郭と前記手本の領域の
輪郭とが不一致のときに、修正を行うことを特徴とする
請求項５乃至８のいずれか一項記載の領域抽出装置。
【請求項１０】前記修正手段は、前記領域判定手段に
よる判定結果、前記所望の領域の輪郭の手本との差が予
め設定されたレベルより大きいときに、前記輪郭点と手
本との差が緩和されるように輪郭を修正することを特徴
とする請求項５乃至９のいずれか一項記載の領域抽出装
置。
【請求項１１】前記修正手段は、前記修正結果を順次
手本とすることを特徴とする請求項５乃至１０のいずれ
か一項記載の領域抽出装置。
【請求項１２】前記領域抽出手段は、初期時には、予
め設定された手本から対応する領域を抽出し、以降、前記修正手段により修正された領域を手本として
対応する領域を抽出することを特徴とする請求項５乃至
１１のいずれか一項記載の領域抽出装置。
【請求項１３】動画像から所望の領域を抽出する領域
抽出装置であって、前記動画像の各フレームから所望
の領域を抽出する領域抽出手段と、前記領域抽出手段で既に抽出された前記動画像の各フレ
ームの領域を該領域のエッジの周囲を前記抽出しようと
する領域の色情報に基づいて探索することにより、抽出
しようとする領域か否かを判断することにより、前記領
域抽出手段で抽出された領域を抽出しようとする領域と
なるように自動修正する修正手段とを有することを特徴
とする領域抽出装置。
【請求項１４】前記修正手段は、動画中の複数のフレ
ームにおいて抽出すべきであるのに抽出されなかった領
域を参照して、既に抽出された各フレームの所望の領域
を修正することを特徴とする請求項１３記載の領域抽出
装置。
【請求項１５】前記修正手段は、抽出すべき領域の手
本を設定する手本設定手段と、前記手本設定手段に設定された手本の領域と、抽出しよ
うとする領域との差の領域を検出する差分検出手段と、前記差分検出手段で検出された差分の領域を誤って抽出
された領域として抽出する第１の抽出手段とを有するこ
とを特徴とする請求項１３又は１４記載の領域抽出装
置。
【請求項１６】前記修正手段は、前記差分検出手段で
検出された差分の領域を正しく抽出された領域として抽
出する第２の抽出手段とを有することを特徴とする請求
項１３乃至１５のいずれか一項記載の領域抽出装置。
【請求項１７】前記修正手段は、前記第１の抽出手段
で抽出された領域と前記第２の抽出手段で抽出された領
域との和の領域を所望の領域として抽出する第３の抽出
手段を有することを特徴とする請求項１３乃至１６のい
ずれか一項記載の領域抽出装置。
【請求項１８】前記修正手段は、前記領域抽出手段で
既に抽出された領域と前記第１の抽出手段で抽出された
領域との和の領域を所望の領域として抽出する第４の抽
出手段を有することを特徴とする請求項１３乃至１７の
いずれか一項記載の領域抽出装置。
【請求項１９】前記修正手段は、前記領域抽出手段で
既に抽出された領域と前記第２の抽出手段で抽出された
領域とに基づいて所望の領域を抽出する第５の抽出手段
を有することを特徴とする請求項１３乃至１８のいずれ
か一項記載の領域抽出装置。
【請求項２０】前記修正手段は、前記手本として設定
されたフレームについては領域の修正は行わないことを
特徴とする請求項１３乃至１９のいずれか一項記載の領
域抽出装置。
【請求項２１】前記修正手段は、既に所望の領域に対
して修正を行ったフレームについては領域の修正を行わ
ないことを特徴とする請求項１３乃至２０のいずれか一
項記載の領域抽出装置。
【請求項２２】前記修正手段は、予め設定されたフレ
ームに対して修正を行うことを特徴とする請求項１３乃
至２１のいずれか一項記載の領域抽出装置。
【請求項２３】前記手本設定手段は、修正されたフレ
ームの所望の領域を手本として設定することを特徴とす
る請求項１３乃至２２のいずれか一項記載の領域抽出装
置。
【請求項２４】動画像から所望の領域を抽出する領域
抽出装置において、前記所望の領域を抽出するための
手本の領域に基づいて抽出する領域抽出手段と、前記領
域抽出手段により抽出された領域と前記手本の領域とを
エッジを指標としてパターンマッチングを行い、前記領
域抽出手段により抽出された領域の前記手本の領域の色
情報に基づいて変形を検出する変形検出手段と、前記変形検出手段で検出された前記領域抽出手段により
抽出された領域の前記手本の領域からの変形量に応じて
前記領域抽出手段で抽出された領域を修正する修正手段
とを有することを特徴とする領域抽出装置。
【請求項２５】前記修正手段は、前記変形検出手段で
検出された前記変形した領域と前記抽出手段で抽出され
た領域との和の領域を求める加算手段を有することを特
徴とする請求項２４記載の領域抽出装置。
【請求項２６】前記修正手段は、前記変形検出手段で
検出された前記変形した領域のうち変形が所定のレベル
より大きい領域を判定する変形判定手段と、前記変形判定手段で判定された変形量が所定のレベルよ
り大きい領域を手本として再抽出を行う再抽出手段とを
有し、前記再抽出手段で再抽出された領域に応じて前記所望の
領域を修正することを特徴とする請求項２４又は２５記
載の領域抽出装置。
【請求項２７】前記変形判定手段により前記変形検出
手段で検出された前記変形した領域のうち変形が所定の
レベルより大きい領域が判定されたとき、前記再抽出手
段により再抽出された領域が抽出され、加算された領域
を出力する出力手段とを有することを特徴とする請求項
２４乃至２６のいずれか一項記載の領域抽出装置。
【請求項２８】前記修正手段は、既に抽出された領域
を抽出する際に参照したフレームの配列方向とは反対の
配列方向から修正を行うことを特徴とする請求項２４乃
至２７のいずれか一項記載の領域抽出装置。
【請求項２９】動画像から所望の領域を抽出する領域
抽出装置であって、抽出対象物と背景との色差を検出
する色差検出手段と、前記色差検出手段により検出された前記抽出対象物と前
記背景との色差が所定の差異より小さい部分はそのまま
輪郭として抽出する輪郭抽出手段と、前記色差検出手段により検出された前記抽出対象物と前
記背景との差異が所定の差異より大きい部分に対して輪
郭の修正を行い、輪郭として抽出する輪郭修正手段とを
有することを特徴とする領域抽出装置。
【請求項３０】前記差検出手段は、前記抽出対象物及
び前記背景近傍のエッジ強度を検出し、前記輪郭抽出手段は、前記差検出手段で検出された前記
エッジ強度が第１のレベル以上の部分を輪郭として抽出
し、前記エッジ強度が前記第１のレベルより大きい第２
のレベルより小さい部分はそのまま輪郭として抽出する
ことを特徴とする請求項２９記載の領域抽出装置。
【請求項３１】前記差検出手段は、前記抽出対象物及
び前記背景近傍の色差を検出し、前記輪郭抽出手段は、前記差検出手段で検出された前記
色差が第１の差より大きい部分を輪郭として抽出するこ
とを特徴とする請求項２９又は３０記載の領域抽出装
置。
【請求項３２】前記輪郭抽出手段は、前記抽出対象物
と前記背景との差異が前記第１の差より小さい部分を補
完する輪郭補完手段を有することを特徴とする請求項２
９乃至３１のいずれか一項記載の領域抽出装置。
【請求項３３】前記輪郭補完手段は、前記抽出対象物
と前記背景との差異が前記第１の差より小さい部分の両
端に抽出された輪郭を直線で結んだ線分を輪郭として補
完することを特徴とする請求項２９乃至３１のいずれか
一項記載の領域抽出装置。
【請求項３４】前記輪郭補完手段は、前記抽出対象物
と前記背景との差が前記第１の差異より小さい第２の差
異より小さい部分を輪郭として抽出することを特徴とす
る請求項２９乃至３３のいずれか一項記載の領域抽出装
置。
【請求項３５】前記抽出対象物の手本を保存する手本
保存手段を有し、前記輪郭補完手段は、前記抽出対象物と前記背景との差
が前記第１の差より小さい部分に対応する輪郭を前記手
本保存手段に保存された前記手本から抽出して、輪郭と
して補完することを特徴とする請求項２９乃至３４のい
ずれか一項記載の領域抽出装置。
【請求項３６】動画像から所望の領域を抽出する領域
抽出をコンピュータで実現可能なプログラムが記憶され
た記録媒体であって、前記動画像のうちの所望のフレームから抽出しようとす
る領域の輪郭点を指示する領域指示手順と、前記領域指示手順で指示された領域の色情報に基づいて
輪郭点の周囲を探索し、抽出しようとする領域を抽出し
て、前記動画像のフレームの抽出しようとする領域のテ
ンプレートを作成するテンプレート作成手順と、前記テンプレート作成手順で作成された前記テンプレー
トと前記動画像の他のフレームの抽出すべき領域とのマ
ッチングをとるテンプレートマッチング手順と、前記テンプレートマッチング手順でのマッチングの結果
に応じて順次に前記動画像の他のフレームに対応する前
記テンプレートを生成し、領域を抽出するテンプレート
修正手順とをコンピュータに実行させるプログラムが記
憶されたコンピュータで読み取り可能な記録媒体。
【請求項３７】前記領域指示手順は、指示された領域
中の各点の色信号情報に応じて抽出すべき領域を指示す
ることを特徴とする請求項３６記載のコンピュータで実
現可能なプログラムが記憶された記録媒体。
【請求項３８】前記テンプレート作成手順は、前記領
域指示手順により指示された各輪郭点の近傍の領域から
エッジ点を抽出するエッジ抽出手順と、前記エッジ抽出手順により各輪郭点で抽出された前記エ
ッジ点を結合し、その閉領域をテンプレートとして抽出
するテンプレート抽出手順とを有することを特徴とする
請求項３６又は３７記載のコンピュータで実現可能なプ
ログラムが記憶された記録媒体。
【請求項３９】前記エッジ抽出手順は、前記領域指示
手順により指示された抽出しようとする各輪郭点の近傍
の領域中、所定値以上のエッジ点を検出するエッジ点検
出手順と、前記エッジ点検出手順で検出されたエッジ点から前記輪
郭点に近似したエッジ点を抽出すべきエッジ点として抽
出するエッジ点抽出手順とを有することを特徴とする請
求項３８記載のコンピュータで実現可能なプログラムが
記憶された記録媒体。
【請求項４０】手本に基づいて動画像の各フレームか
ら所望の領域を抽出するコンピュータで実現可能なプロ
グラムが記憶された記録媒体であって、前記所望の領域の輪郭部分に対応する前記手本の輪郭部
分を抽出する輪郭抽出手順と、前記輪郭抽出手順で抽出された前記手本の色情報に基づ
いて輪郭部分が前記所望の領域の輪郭部分の内側か、外
側かを判定する領域判定手順と、前記領域判定手順の判定結果に応じて前記所望の領域の
修正を行う修正手順とを有することを特徴とするコンピ
ュータで実現可能なプログラムが記憶された記録媒体。
【請求項４１】前記領域判定手順は、前記手本の輪郭
部分の色情報に応じて前記手本の輪郭部分の内部と外部
との色差を検出する色差検出手順と、前記色差検出手順で検出された色差に応じて前記所望の
領域の輪郭部分を判定する閾値を設定する閾値設定手順
とを有し、前記所望の領域の輪郭部分の色情報と前記閾値設定手順
で設定された前記閾値との比較結果に基づいて前記手本
の輪郭が前記所望の領域の輪郭の内部にあるか、外部に
あるかを判定することを特徴とする請求項４０記載のコ
ンピュータで実現可能なプログラムが記憶された記録媒
体。
【請求項４２】前記領域判定手順は、前記手本の所定
の領域の色情報と前記所望の領域の色情報との色差に応
じて前記手本の輪郭が前記所望の領域の輪郭の内部にあ
るか、外部にあるかを判定することを特徴とする請求項
４０又は４１記載のコンピュータで実現可能なプログラ
ムが記憶された記録媒体。
【請求項４３】前記領域判定手順は、前記手本の所定
の領域の輪郭部分のテクスチャ属性と前記所望の領域の
輪郭部分のテクスチャ属性とに応じて前記手本の輪郭が
前記所望の領域の輪郭の内部にあるか、外部にあるかを
判定することを特徴とする請求項４０乃至４２のいずれ
か一項記載のコンピュータで実現可能なプログラムが記
憶された記録媒体。
【請求項４４】前記修正手順は、前記領域判定手順に
よる判定結果、前記所望の領域の輪郭と前記手本の領域
とが不一致のときに、修正を行うことが特徴とする請求
項４０乃至４３のいずれか一項記載のコンピュータで実
現可能なプログラムが記憶された記録媒体。
【請求項４５】前記修正手順は、前記領域判定手順に
よる判定結果、前記所望の領域の輪郭が前記所望の領域
の輪郭の手本との差が予め設定されたレベルより大きい
ときに、前記輪郭点と手本との差が緩和されるように輪
郭を修正することを特徴とする請求項４０乃至４４のい
ずれか一項記載のコンピュータで実現可能なプログラム
が記憶された記録媒体。
【請求項４６】前記修正手順は、前記修正結果を順次
手本とすることを特徴とする請求項４０乃至４５のいず
れか一項記載のコンピュータで実現可能なプログラムが
記憶された記録媒体。
【請求項４７】前記領域抽出手順は、初期時には、予
め設定された手本から対応する領域を抽出し、以降、前記修正手順により修正された領域を手本として
対応する領域を抽出することを特徴とする請求項４０乃
至４６のいずれか一項記載のコンピュータで実現可能な
プログラムが記憶された記録媒体。
【請求項４８】動画像から所望の領域を抽出するコン
ピュータで実現可能なプログラムが記憶された記録媒体
であって、前記動画像の各フレームから所望の領域を抽出する領域
抽出手順と、前記領域抽出手順で既に抽出された前記動画像の色情報
に基づいて該領域のエッジの周囲を探索することによ
り、抽出しようとする領域か否かを判断することによ
り、前記領域抽出手段で抽出された領域を抽出しようと
する領域となるように自動修正する修正手順とをコンピ
ュータに実行させるプログラムが記憶されたコンピュー
タで読み取り可能な記録媒体。
【請求項４９】前記修正手順は、動画中の複数のフレ
ームから抽出すべきであるのに抽出されなかった領域を
参照して、既に抽出された各フレームの所望の領域を修
正することを特徴とする請求項４８記載のコンピュータ
で実現可能なプログラムが記憶された記録媒体。
【請求項５０】前記修正手順は、抽出すべき領域の手
本を設定する手本設定手順と、前記手本設定手順に設定された手本の領域と、抽出しよ
うとする領域との差の領域を検出する差分検出手順と、前記差分検出手順で検出された差分の領域を誤って抽出
された領域として抽出する第１の抽出手順とを有するこ
とを特徴とする請求項４８又は４９記載のコンピュータ
で実現可能なプログラムが記憶された記録媒体。
【請求項５１】前記修正手順は、前記差分検出手順で
検出された差分の領域を正しく抽出された領域として抽
出する第２の抽出手順とを有することを特徴とする請求
項４８乃至５０のいずれか一項記載のコンピュータで実
現可能なプログラムが記憶された記録媒体。
【請求項５２】前記修正手順は、前記第１の抽出手順
で抽出された領域と前記第２の抽出手順で抽出された領
域との和の領域を所望の領域として抽出する第３の抽出
手順を有することを特徴とする請求項４８乃至５１のい
ずれか一項記載のコンピュータで実現可能なプログラム
が記憶された記録媒体。
【請求項５３】前記修正手順は、前記領域抽出手順で
既に抽出された領域と前記第１の抽出手順で抽出された
領域との和の領域を所望の領域として抽出する第４の抽
出手順を有することを特徴とする請求項４８乃至５２の
いずれか一項記載のコンピュータで実現可能なプログラ
ムが記憶された記録媒体。
【請求項５４】前記修正手順は、前記領域抽出手順で
既に抽出された領域と前記第２の抽出手順で抽出された
領域とに基づいて所望の領域を抽出する第５の抽出手順
を有することを特徴とする請求項４８乃至５３のいずれ
か一項記載のコンピュータで実現可能なプログラムが記
憶された記録媒体。
【請求項５５】前記修正手順は、前記手本として設定
されたフレームについては領域の修正は行わないことを
特徴とする請求項４８乃至５４のいずれか一項記載のコ
ンピュータで実現可能なプログラムが記憶された記録媒
体。
【請求項５６】前記修正手順は、既に所望の領域に対
して修正を行ったフレームについては領域の修正を行わ
ないことを特徴とする請求項４８乃至５５のいずれか一
項記載のコンピュータで実現可能なプログラムが記憶さ
れた記録媒体。
【請求項５７】前記修正手順は、予め設定されたフレ
ームに対して修正を行うことを特徴とする請求項４８乃
至５６のいずれか一項記載のコンピュータで実現可能な
プログラムが記憶された記録媒体。
【請求項５８】前記手本設定手順は、修正されたフレ
ームの所望の領域を手本として設定することを特徴とす
る請求項４８乃至５７のいずれか一項記載のコンピュー
タで実現可能なプログラムが記憶された記録媒体。
【請求項５９】動画像から所望の領域を抽出するコン
ピュータで実現可能なプログラムが記憶された記録媒体
であって、前記所望の領域を手本の領域に応じて抽出する領域抽出
手順と、前記領域抽出手順により抽出された領域と前記手本の領
域とをエッジを指標としてパターンマッチングを行い、
前記領域抽出手順により抽出された領域の前記手本の色
情報に基づいて変形を検出する変形検出手順と、前記変形検出手順で検出された前記領域抽出手順により
抽出された領域の前記手本の領域からの変形量に応じて
前記領域抽出手順で抽出された領域を修正する修正手順
とを有することを特徴とするコンピュータで実現可能な
プログラムが記憶された記録媒体。
【請求項６０】前記修正手順は、前記変形検出手順で
検出された前記変形した領域と前記抽出手段で抽出され
た領域との和の領域を求める加算手順を有することを特
徴とする請求項５９記載の領域抽出装置。
【請求項６１】前記修正手順は、前記変形検出手順で
検出された前記変形した領域のうち変形が所定のレベル
より大きい領域を判定する変形判定手順と、前記変形判定手順で判定された変形量が所定のレベルよ
り大きい領域を手本として再抽出を行う再抽出手順とを
有し、前記再抽出手順で再抽出された領域に応じて前記所望の
領域を修正することを特徴とする請求項５９又は６０記
載のコンピュータで実現可能なプログラムが記憶された
記録媒体。
【請求項６２】前記変形判定手順により前記変形検出
手順で検出された前記変形した領域のうち変形が所定の
レベルより大きい領域が判定されたとき、前記再抽出手
順により再抽出された領域が抽出され、加算された領域
を出力する出力手順とを有することを特徴とする請求項
５９乃至６１のいずれか一項記載のコンピュータで実現
可能なプログラムが記憶された記録媒体。
【請求項６３】前記修正手順は、既に抽出された領域
を抽出する際に参照したフレームの配列方向とは反対の
配列方向から修正を行うことを特徴とする請求項５９乃
至６２のいずれか一項記載のコンピュータで実現可能な
プログラムが記憶された記録媒体。
【請求項６４】動画像から所望の領域を抽出するコン
ピュータで実現可能なプログラムが記録された記録媒体
であって、抽出対象物と背景との色差を検出する色差検出手順と、前記差検出手順により検出された前記抽出対象物と前記
背景との差異が所定の差異より小さい部分はそのまま輪
郭として抽出する輪郭抽出手順と、前記色差検出手段により検出された前記抽出対象物と前
記背景との差異が所定の差異より大きい部分に対して輪
郭の修正を行い、輪郭として抽出する輪郭修正手順とを
有することを特徴とするコンピュータで実現可能なプロ
グラムが記憶された記録媒体。
【請求項６５】前記差検出手順は、前記抽出対象物及
び前記背景近傍のエッジ強度を検出し、前記輪郭抽出手順は、前記差検出手順で検出された前記
エッジ強度が第１のレベル以上の部分を輪郭として抽出
し、前記エッジ強度が前記第１のレベルより大きい第２
のレベルより小さい部分はそのまま輪郭として抽出する
ことを特徴とする請求項６４記載のコンピュータで実現
可能なプログラムが記憶された記録媒体。
【請求項６６】前記差検出手順は、前記抽出対象物及
び前記背景近傍の色差を検出し、前記輪郭抽出手順は、前記差検出手順で検出された前記
色差が第１の差より大きい部分を輪郭として抽出するこ
とを特徴とする請求項６４又は６５記載のコンピュータ
で実現可能なプログラムが記憶された記録媒体。
【請求項６７】前記輪郭抽出手順は、前記抽出対象物
と前記背景との差異が前記第１の差より小さい部分を補
完する輪郭補完手順を有することを特徴とする請求項６
４乃至６６のいずれか一項記載のコンピュータで実現可
能なプログラムが記憶された記録媒体。
【請求項６８】前記輪郭補完手順は、前記抽出対象物
と前記背景との差異が前記第１の差より小さい部分の両
端に抽出された輪郭を直線で結んだ線分を輪郭として補
完することを特徴とする請求項６７記載のコンピュータ
で実現可能なプログラムが記憶された記録媒体。
【請求項６９】前記輪郭補完手順は、前記抽出対象物
と前記背景との差が前記第１の差異より小さい第２の差
異より小さい部分を輪郭として抽出することを特徴とす
る請求項６７又は６８記載のコンピュータで実現可能な
プログラムが記憶された記録媒体。
【請求項７０】前記抽出対象物の手本を保存する手本
保存手順を有し、前記輪郭補完手順は、前記抽出対象物と前記背景との差
が前記第１の差より小さい部分に対応する輪郭を前記手
本保存手順に保存された前記手本から抽出して、輪郭と
して補完することを特徴とする請求項６７乃至６９のい
ずれか一項記載のコンピュータで実現可能なプログラム
が記憶された記録媒体。
【請求項７１】動画像から所望の領域を抽出する領域
抽出方法において、前記動画像のうちの所望のフレー
ムから抽出しようとする領域の輪郭点を指示する領域指
示手順と、前記領域指示手順で指示された領域の色情報に基づいて
輪郭点の周囲を探索し、抽出しようとする領域を抽出し
て、前記動画像のフレームの抽出しようとする領域のテ
ンプレートを作成するテンプレート作成手順と、前記テンプレート作成手順で作成された前記テンプレー
トと前記動画像の他のフレームの抽出すべき領域とのマ
ッチングをとるテンプレートマッチング手順と、前記テンプレートマッチング手順でのマッチングの結果
に応じて順次に前記動画像の他のフレームに対応する前
記テンプレートを生成し、領域を抽出するテンプレート
修正手順とを有することを特徴とする領域抽出方法。
【請求項７２】手本に基づいて動画像の各フレームか
ら所望の領域を抽出する領域抽出方法において、前記所望の領域の輪郭部分に対応する前記手本の輪郭部
分を抽出する輪郭抽出手順と、前記輪郭抽出手順で抽出された前記手本の輪郭部分が前
記所望の領域の輪郭部分の内側か、外側かを判定する領
域判定手順と、前記領域判定手順の判定結果に応じて前記所望の領域の
修正を行う修正手順とを有することを特徴とする領域抽
出方法。
【請求項７３】動画像から所望の領域を抽出する領域
抽出方法であって、前記動画像の各フレームから所望
の領域を抽出する領域抽出手順と、前記領域抽出手順で既に抽出された前記動画像の色情報
に基づいて該領域のエッジの周囲を探索することによ
り、抽出しようとする領域か否かを判断することによ
り、前記領域抽出手段で抽出された領域を抽出しようと
する領域となるように自動修正する修正手順とを有する
ことを特徴とする領域抽出方法。
【請求項７４】動画像から所望の領域を抽出する領域
抽出方法において、前記所望の領域を手本の領域に応
じて抽出する領域抽出手順と、前記領域抽出手順により抽出された領域と前記手本の領
域とをエッジを指標としてパターンマッチングを行い、
前記領域抽出手順により抽出された領域の前記手本の色
情報に基づいて該領域からの変形を検出する変形検出手
順と、前記変形検出手順で検出された前記領域抽出手順により
抽出された領域の前記手本の領域からの変形量に応じて
前記領域抽出手順で抽出された領域を修正する修正手順
とを有することを特徴とする領域抽出方法。
【請求項７５】動画像から所望の領域を抽出する領域
抽出方法であって、抽出対象物と背景との色差を検出
する差検出手順と、前記色差検出手順により検出された前記抽出対象物と前
記背景との差異が所定の差異より小さい部分をそのまま
輪郭として抽出する輪郭抽出手順と、前記差検出手段により検出された前記抽出対象物と前記
背景との差異が所定の差異より大きい部分に対して輪郭
の修正を行い、輪郭として抽出する輪郭修正手順とを有
することを特徴とする領域抽出方法。