JPH10108198A

JPH10108198A - 画像領域統合方法

Info

Publication number: JPH10108198A
Application number: JP25995696A
Authority: JP
Inventors: Shinya Suzuki; 信也鈴木
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1996-09-30
Filing date: 1996-09-30
Publication date: 1998-04-24

Abstract

(57)【要約】【課題】画像からオブジェクトを抽出するとき、計算
負荷、抽出精度が問題だった。【解決手段】複数のフレーム間で領域の統合状況を相
互参照する。フレームＦ１では領域Ａ１が単一の領域、
フレームＦ２では領域Ａ２、Ａ３が２つの領域としてそ
れぞれ統合されている。いま、領域Ａ２、Ａ３の統合の
領域が領域Ａ１に対応すると判定されたとき、領域Ａ２
とＡ３を統合し、これを新たな領域Ａ２とする。以降、
他フレームの参照と統合を継続的に行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は画像領域統合方
法、特に、動画像が与えられたとき、その動画像中の画
像領域を統合する方法に関する。

【０００２】

【従来の技術】画像内のオブジェクトの動きを解析する
技術として、オプティカルフロー手法が知られている。
オプティカルフローとは、オブジェクトの角点などの特
徴点のフレーム間の動きを点ごとに示したベクトルをい
う。オプティカルフロー手法では、オブジェクトの点の
動きを運動方程式に投入することにより、その運動の様
子を算出する。この手法については、例えば「画像情報
処理」（安居院猛、中嶋正之共著、森北出版株式会社）
の１５１〜１５４ページに記載されている。

【０００３】一方、こうした従来の画像処理技術とは別
に、メディア統合系の動画像圧縮技術として、ＭＰＥＧ
と呼ばれる国際標準に則った製品の開発が広く行われて
いる。現在、ＭＰＥＧ２からさらに進んだＭＰＥＧ４が
検討されている。ＭＰＥＧ４では、例えば画像に含まれ
る人物等の特定オブジェクトだけを符号化する技術が求
められる。これは低ビットレートの枠において画像の重
要部分の画質を落とさないための方途である。したがっ
て、将来のマルチメディア関連技術を考える場合、オブ
ジェクトの符号化の前処理として、画像から所望のオブ
ジェクトを抽出する技術が必須となる。オブジェクト抽
出に関する研究は拡大基調にあるとはいえ、現在のとこ
ろ上述のオプティカルフロー手法を用いる以外、実用に
耐える提案はほとんどない。

【０００４】

【発明が解決しようとする課題】オプティカルフロー手
法は、もともと剛体の動きを解析するために考案された
ものである。したがって、オブジェクトの抽出という観
点からすれば、以下のような課題がある。

【０００５】１．動きの把握のために多くの運動方程式
を解く必要があるため、計算の負荷が大きい。２．本来オブジェクトは領域として抽出すべきところ、
オプティカルフローは点ごとの処理であるため、領域ま
たはその輪郭線を記述するという概念に欠ける。したが
って、運動の算出の後、その結果をもとにオブジェクト
の領域を見い出す工程が別途必要になる。３．同様に、計算の途上で輪郭線に関する記述がないた
め、最終的なオブジェクト抽出の精度を保証しにくい。

【０００６】本発明はこれらの点に鑑みてなされたもの
であり、その目的は、計算負荷が軽く、オブジェクトの
抽出に最適な画像領域統合方法を提供することにある。
本発明の別の目的は、オブジェクトの抽出を行わない場
合であっても、画像データの高い圧縮率が実現可能であ
り、かつ統合結果の妥当性の高い画像領域統合方法を提
供することにある。

【０００７】

【課題を解決するための手段】本発明は、自フレームに
含まれる画像領域を統合する際、他フレームにおける画
像領域の統合状況を参照する。従来、あるフレームにつ
いて画像領域を統合する場合、例えば互いに位置の近い
ものどうしを統合するような技術が存在した。しかしそ
うした技術では、例えばオブジェクトごとに画像領域を
統合することが困難なのは明らかである。

【０００８】一方、本発明では、例えば自フレームでは
領域ａと領域ｂを統合すべきか否かが不明であるもの
の、他フレームではこれらが統合されており、そのフレ
ームを見ればその統合が妥当である場合、自フレームで
も領域ａ、ｂを統合してよいという判断が可能になる。
本発明では他フレームを参照することにより、自フレー
ム内のみで統合するよりも統合の妥当性を高めることが
できる。その意味から、本発明では自他フレームを同一
のシーンに関する動画像の中から選択することが望まし
い。別のシーンでは画像に含まれる被写体が異なり、参
照する意味が失われるためである。

【０００９】本発明では、もともと領域単位で統合を進
めるため、最終的にオブジェクトの領域を抽出する場合
にも都合がよい。なお、「フレーム」とは画像の処理単
位であり、ＭＰＥＧでいうピクチャなどの概念を含む。
また「領域」は画素単位でもよい。

【００１０】本発明のある態様では、自他フレームで対
応しうる画像領域どうしの関係を参照する参照工程を経
て自フレームに含まれる画像領域を統合する。参照工程
の前に各フレーム内で画像領域を予備統合してもよい。
参照工程では、自他フレーム間で重心など領域の基準点
の包含関係、領域どうしの重複度、色の近さ、面積の近
さ等に着目して領域を統合する。本発明では、画像の多
数点について運動方程式を解くような処理は不要であ
り、計算の負荷が軽い。

【００１１】本発明の別の態様では、自他フレーム間に
おける画像領域の移動を考慮し、画像領域の探索域を設
けた上で前記参照工程を行う。動画像では当然オブジェ
クトなどが動き得るため、これに対処する趣旨である。
探索域の大きさを適切に定めることにより、自他フレー
ム間で対応しあう画像領域の特定の精度を高めることが
できる。

【００１２】本発明の別の態様では、参照工程で判明し
た自他フレーム間の画像領域の対応関係をもとに、自他
フレーム間で動きベクトルが互いに似かよっている画像
領域の集合領域をひとつのオブジェクト領域と推定して
抽出する。オブジェクトは、例えば人、車、ボールなど
のように物理的にひとかたまりである場合が多い。ひと
かたまりである以上、それを構成する各部の動きベクト
ルは大体揃うはずである。したがって、動きベクトルが
揃った画像領域の集合領域をオブジェクト領域と考える
のである。

【００１３】この態様によれば、領域統合の結果を用い
てオブジェクト領域を抽出することができる。特に、前
記探索域を設けて参照工程を行う場合、処理の途上で動
きベクトルまたはそれと同等の数値が導出されると考え
られるため、処理効率の面でも好都合である。

【００１４】

【発明の実施の形態】本発明の好適な実施形態を適宜図
面を参照しながら説明する。

【００１５】図１は実施形態に係る画像領域統合方法の
処理を示すフローチャートである。同図のごとく、処理
は予備統合（Ｓ１）、一対一対応領域の探索（Ｓ２）、
領域の統合（Ｓ３）、オブジェクトの抽出（Ｓ４）の順
に進む。

【００１６】［１］予備統合（Ｓ１）本発明の特徴は、自フレームで領域を統合する際、他フ
レームにおける統合状況を参照する点にある。例えば１
フレームが６４０×４８０画素のような多数の画素で構
成される場合、フレーム間の参照を行う前に、フレーム
ごとに予めある程度の領域統合を行うことが望ましい。
ここでは（１）色差による統合、（２）領域の大きさに
よる統合、の２つの方法をこの順に用いる予備統合の例
を説明する。

【００１７】（１）色による統合本出願人がさきに特願平７−１４６５０７号で提案した
画像処理装置による領域統合で、手順は以下の通りであ
る。

【００１８】１．準備ＨＶＣ均等色空間を複数の領域に分割して作成される色
テーブルを準備する。ＨＶＣ均等色空間とは、回転方向
にＨｕｅ（色相）、高さ方向にＶａｌｕｅ（輝度）、半
径方向にＣｈｒｏｍｅ（彩度）をとって色を立体的に分
類する円筒状の色空間で、ＲＧＢ色空間から既知の変換
式を通して得られる。ＨＶＣ均等色空間上の距離は、お
おむね人の目が感じる色の差に対応する。

【００１９】２．画素の置換画像を画素ごとに色テーブル中の最も近い色に割り当て
る。ここでは、色差が最小になる色を割り当てる。色テ
ーブルに含まれる色は色番号によって記述されるため、
ここで各画素を色番号に置換する。

【００２０】３．画素の統合色番号に置換された画素のうち、原画像において位置的
に近く、かつ色番号も近いもの、すなわち色差の小さい
ものを統合する。色番号の近い２色はＨＶＣ均等色空間
上で近い位置に存在し、人間の目からも近い色に感じら
れるため、自然な統合が可能となる。統合は、例えば２
つの画素の色番号を一方の色番号に揃えるか、２つの色
番号の平均を両画素の色番号とすることによって実現す
る。

【００２１】以上が１回の処理単位である。以降、画素
（または領域）が統合されるたびに、新たな領域と他の
領域の位置関係、色番号を比較し、上記３の統合処理を
繰り返し行う。例えば、上記３の処理を行うたびにその
時点で存在する領域間の最小色差を見い出し、それが所
定の基準値に達すれば色差による統合を終了する。この
段階では無関係な領域が統合されることを防ぐために、
ある程度早い段階で処理を止めるよう配慮する。

【００２２】（２）領域の大きさによる統合つづいて、残りの領域を小さい順に統合していく。領域
の大きさは例えば画素数で判断する。小さい領域を先に
統合するのは、大きな領域ほどもとの被写体において占
める面積比が大きく、オブジェクトの主要部分を構成す
る可能性が概して高いためである。この処理は、ある程
度領域の大きさが平均化されてきた時点で処理を終了す
る。

【００２３】以上が予備統合の例である。この予備統合
により、当初１０００程度存在した領域を例えば１００
程度に統合し、フレーム間の参照を行う際の処理時間の
短縮を図ることができる。なお、原画像がアニメーショ
ンのような場合、最初からある程度領域分割がなされて
いるため、予備統合を行う必要がないこともある。

【００２４】［２］一対一対応領域の探索（Ｓ２）以降、フレーム間の参照を開始する。まず始めに、フレ
ーム間で一対一に対応しあう画像領域を探索する。Ｓ２
は次のＳ３の準備工程であり、Ｓ２で発見された一対一
対応領域をコアとしてＳ３で領域の統合が開始される。

【００２５】図２はＳ２の処理を説明する図であり、こ
こではあるフレームＦ１に対し、そのフレームと同一の
シーンに含まれるフレームＦ２を選んでおく。同一のシ
ーンに関するフレームどうしでは領域間の相関が比較的
高く、本発明を効果的に利用できるためである。フレー
ムＦ２の具体例として、動画像の動きが大きい場合はフ
レームＦ１に隣接するフレーム、小さい場合は数フレー
ム隔たったフレームをＦ２が挙げられる。ここでは、こ
うして選択されたフレームＦ１の画像領域Ａ１に対応す
るフレームＦ２の画像領域Ａ２を探索する。この探索に
は以下のような手法を用いることができる。

【００２６】（１）重心の包含関係フレームＦ１の領域Ａ１の重心がフレームＦ２のある領
域Ａｘに含まれるとき、領域Ａｘを領域Ａ２と決める方
法である。この方法はオブジェクトの動きが緩慢な場合
や、フレームＦ１、Ｆ２が時間的に近い場合に簡単かつ
有効である。

【００２７】なお領域の移動も考慮する場合、領域Ａ１
の周囲に一定の探索枠を設け、その枠の中で領域Ａ１を
移動させながら領域Ａｘを探してもよい。探索枠は、処
理中の動画像の動きベクトルが大きい場合には大きめ
に、小さい場合は小さめにとるなどの方法が考えられ
る。

【００２８】（２）領域の重複度フレームＦ１の領域Ａ１とフレームＦ２のある領域Ａｘ
の重複部分の割合が大きいとき、領域Ａｘを領域Ａ２と
決める。例えば、領域Ａ１、Ａｘの面積をそれぞれＳ
１、Ｓｘとし、両者の重複部分の面積をＳとするとき、
Ｓ／Ｓ１、Ｓ／Ｓｘがともに所定の基準を超えれば両者
が対応しあうとする。この方法も（１）同様の場合に有
効である。この方法も（１）同様探索枠を設けて行って
もよい。

【００２９】（３）領域の面積フレームＦ１の領域Ａ１の面積Ｓ１とフレームＦ２のあ
る領域Ａｘの面積Ｓｘが近い場合、領域Ａｘを領域Ａ２
と決める。対応しあう領域は面積的にも近い場合が多い
という予測に基づく。なお、この方法を採用する場合、
「領域Ａ１と領域Ａｘが位置的に近いこと」という加重
条件を設けてもよい。フレーム上の全く関係のない箇所
に偶然同じような面積をもつ領域が存在することもある
ためである。この加重条件として（１）（２）を用いる
こともできる。

【００３０】（４）領域の色フレームＦ１の領域Ａ１の色とフレームＦ２のある領域
Ａｘの色差が小さい場合、領域Ａｘを領域Ａ２と決め
る。対応しあう領域はフレーム間で大きく色が変わるこ
とは少ないという経験則に基づく。各領域の色は、例え
ばその領域の色番号の平均で表すことができる。（４）
についても（３）同様の加重条件を導入することができ
る。

【００３１】（５）既知の領域マッチング手法（１）〜（４）の基準を総合的に用いるために領域マッ
チング手法を採用することができる。一例として、フレ
ームＦ１の領域Ａ１をフレームＦ２の画面上で移動させ
ながら色番号Ｐ（ｘ，ｙ）の二乗誤差でマッチングを見
る場合、Ｅ＝ΣΣ（P1(u,v)−P2(u+i,v+j)）² のＥを最小にする（ｉ，ｊ）を求める。この式において
ｕ、ｖは領域Ｆ１内部の点を示し、ΣΣはｕ，ｖに関す
る総和である。求まった（ｉ，ｊ）が対応する領域Ａ１
と領域Ａ２の位置的なずれを示す。

【００３２】以上がＳ２の処理である。計算負荷の軽減
を第一に考える場合、（１）〜（４）の方法をとればよ
く、処理の精度を第一に考える場合は一般に（５）の方
法をとればよい。（１）〜（４）の中の複数の方法に対
して重み付けを行うことで複数の方法を併用することも
できる。

【００３３】なお、Ｓ２からＳ３への移行タイミングに
ついてはある程度自由度があるが、一例として、相当高
い確度で対応すると考えられる領域Ａ１、Ａ２の組合せ
をのみをＳ２で選定し、これをＳ３に投入することが考
えられる。

【００３４】［３］領域の統合（Ｓ３）いま、Ｓ２によってフレームＦ１の領域Ａ１とフレーム
Ｆ２の領域Ａ２が一対一対応領域として選定されたとす
る。この状態から統合を開始する。図３はフレームＦ１
の領域Ａ１を参照してフレームＦ２の領域Ａ２、Ａ３を
統合する様子を示す図、図４はＳ３の手順を示すフロー
チャートである。統合の基本原理は、「領域Ａ１に対し
て領域（Ａ２＋Ａ３）が対応するか否かを判断し、対応
すると考えられる場合、領域Ａ２とＡ３を統合する」と
いう処理を繰り返す点にある。Ｓ２が一対一対応領域を
発見したことに対し、Ｓ３ではいわば一対二対応領域を
見い出す。領域Ａ２とＡ３が統合されたとき、これらは
新たな領域Ａ２となり、さらなる統合を待つ。以下、図
４で詳細を説明する。

【００３５】まず、Ｓ２で判明したいくつかの一対一対
応領域のうち、あるひとつの組（Ａ１，Ａ２）を選択す
る（Ｓ３０）。このとき、面積の大きなほうを領域Ａ
１、小さなほうを領域Ａ２と決める。つづいて図３のご
とく、領域Ａ２に隣接する領域のうちひとつの領域Ａ３
を選択する（Ｓ３１）。この状態で、領域Ａ２とＡ３を
統合すべきか否かの判断を行う（Ｓ３２）。この判断に
は以下の方法が考えられる。

【００３６】（１）重心の包含関係領域Ａ２、Ａ３の重心がともに領域Ａ１に入る場合、領
域Ａ２とＡ３を統合する。Ｓ２の（１）同様の場合に効
果が大きく、Ｓ２の（１）同様に探索枠を設けてもよ
い。

【００３７】（２）領域の重複度領域Ａ１と領域（Ａ２＋Ａ３）の重複部分の割合が大き
いとき、領域Ａ２とＡ３を統合する。例えば、領域Ａ１
〜Ａ３の面積をそれぞれＳ１〜Ｓ３とし、領域Ａ１と領
域（Ａ２＋Ａ３）の重複部分の面積をＳとするとき、Ｓ
／Ｓ１、Ｓ／（Ｓ２＋Ｓ３）がともに所定の基準を超え
れば統合する。この方法も（１）同様の場合に効果的で
あり、（１）同様探索枠を設けてもよい。

【００３８】（３）領域の面積領域Ａ１の面積Ｓ１と領域（Ａ２＋Ａ３）の面積（Ｓ２
＋Ｓ３）が近い場合、領域Ａ２とＡ３を統合する。この
とき、「領域Ａ１と領域（Ａ２＋Ａ３）が位置的に近い
こと」という加重条件を設けてもよい。この加重条件と
して（１）（２）を用いてもよい。

【００３９】（４）領域の色領域Ａ１〜Ａ３の色番号をそれぞれＣ１〜Ｃ３とする。
統合する条件は以下のようにいくつか設定できる。

【００４０】条件１：｜Ｃ１−Ｃ２｜と｜Ｃ１−Ｃ３｜
がともに所定値以下である条件２：｜Ｃ１−Ｃ２｜と｜Ｃ２−Ｃ３｜がともに所定
値以下である条件２：｜Ｃ１−Ｃ３｜と｜Ｃ２−Ｃ３｜がともに所定
値以下である条件３：｜Ｃ２−Ｃ３｜が所定値以下であるこのうち、条件３についてはフレームＦ２の中で閉じた
比較である。例えば、日光が当たっている山の映像の場
合、日がかげると、同じ領域であってもフレーム間で色
番号が変わる。また、オブジェクトが動いたときも光の
反射状態が変化し、フレーム間で色番号が変わりうる。
そうした場合、条件３が最適な場合がある。なお、
（４）についても（３）同様の加重条件を導入すること
ができる。

【００４１】以上の結果、領域Ａ２とＡ３を統合すべき
かどうかが決まり、統合すべきとき（Ｓ３２のＹ）は領
域Ａ３を領域Ａ２へ統合する（Ｓ３５）。すなわち、領
域Ａ３は領域Ａ２の一部となり、新たな領域Ａ２が生ま
れる。

【００４２】一方、統合すべきでないと判断されたとき
（Ｓ３２のＮ）、領域Ａ２に対する次の領域Ａ３の候補
があるとどうかを判定する。例えば、図３のごとく領域
Ａ２の周囲に複数の領域が隣接しているとき、別の領域
を選んでこれを新たな領域Ａ３とし、この領域Ａ３を領
域Ａ２に統合すべきか否かを判定する（Ｓ３４）。この
判定はＳ３２同様に行う。ここで統合すべきでないと判
定された場合（Ｓ３４のＮ）、さらに別の領域がある限
り、これを順次新たな領域Ａ３として同様の処理を行
う。この繰り返しの中で、ある領域Ａ３について統合す
べき判定がなされたとき（Ｓ３４のＹ）、Ｓ３５に進ん
で領域Ａ３を領域Ａ２に統合する。一方、すべての領域
Ａ３について領域Ａ２に統合すべきでない旨の判定がな
された場合（Ｓ３３のＮ）、統合処理を行わずにＳ３６
に進む。

【００４３】Ｓ３６では、統合処理の済んでいない別の
一対一対応領域が残っているか否かを判定し、残ってい
る場合はＳ３０に戻って新たな組（Ａ１，Ａ２）につい
て同様の処理を繰り返す。未処理の組がなくなれば（Ｓ
３６のＮ）、Ｓ３の処理全体を終了する。なお、図４の
場合、同図の領域Ａ３が領域Ａ２に統合されるとすれ
ば、新たな領域Ａ２が生まれる。従って、この時点で新
たな一対一対応領域（Ａ１，Ａ２）が生じるため、「未
処理の（Ａ１，Ａ２）が残っている」と見なすことがで
きる。この結果、もとの領域Ａ２を核としてその周囲の
領域を次々に統合していくことが可能となる。なお、統
合の過程で領域Ａ２が領域Ａ１よりも大きくなれば、そ
の時点でＡ１、Ａ２を入れ換えて以降の処理をつづけれ
ばよい。

【００４４】以上がＳ３の処理である。この統合処理の
結果の妥当性を担保するために、以下の配慮をなしても
よい。

【００４５】１．予備統合（Ｓ１）の精度が高いことが
望ましく、予備統合の段階で無関係の領域が統合されて
いると、それをベースに統合を進める意味が失われる。
従って、予備統合の段階で統合すべきかどうかを判断し
かねる場合には統合しないほうがよい場合も多い。

【００４６】２．ここでは２枚のフレームＦ１、Ｆ２の
相互参照を考えたが、当然３枚以上を用いてもよい。例
えば、領域Ａ２、Ａ３の重心が別の複数のフレームにお
いて領域Ａ１に含まれる場合に限り、領域Ａ２とＡ３を
統合してもよい。

【００４７】３．２とは逆に、わずか１枚のフレームで
あっても、そのフレームによれば領域Ａ２とＡ３を統合
すべきことが明白な場合、他のフレームを無視して統合
してもよい。

【００４８】［４］オブジェクトの抽出（Ｓ４）Ｓ３によって領域の統合が終了した時点で各種画像処理
の途がひらける。例えば、統合によってデータを圧縮す
ることもできるし、オブジェクトの抽出に利用すること
もできる。Ｓ４では動きベクトルを用いたオブジェクト
抽出を行う。

【００４９】図５は統合後の各画像領域の動きベクトル
を示す図である。同図のごとく、画面のほぼ中心に存在
するほぼ円形の領域１０は右上に向く動きベクトルをも
つ。また、画面左下に存在するほぼ長方形の領域１２は
左に向く動きベクトルをもつ。その他の背景領域１４の
動きベクトルはほぼゼロである。こうして動きベクトル
が判明すれば、同じような動きベクトルをもつ領域をひ
とつのオブジェクト領域とみなしてオブジェクトを抽出
すればよい。図５の場合、円形の領域１０と長方形領域
１２がそれぞれひとつのオブジェクトである可能性が高
い。Ｓ４の処理では、隣接しない領域はたとえ同じよう
な動きベクトルをもっていても、同一オブジェクトの領
域と見なさない配慮がいる。

【００５０】Ｓ３までの処理がオブジェクトの抽出に最
適な理由は以下のとおりである。

【００５１】１．処理が領域ベースで行われており、オ
ブジェクトも領域として抽出する以上、処理の親和性が
高い。２．Ｓ３の統合がすでにオブジェクト抽出を指向するも
のである。すなわち、隣接して色なども近い領域は、も
ともとひとつのオブジェクトに属している可能性が高い
ため、Ｓ３の処理でオブジェクトごとの統合がある程度
進んでいると見ることができる。３．探索枠を設けて対応領域を探す場合、処理の過程で
動きベクトルが算出されているため、これをそのままＳ
４の処理に利用できる。

【００５２】以上がＳ４の処理である。Ｓ４によってオ
ブジェクトが抽出されれば、例えばのそのオブジェクト
内部のみの画質を維持したままそれ以外の領域のデータ
圧縮率を高めるなどの処理が可能となる。

【００５３】なお、Ｓ４の処理については、動きベクト
ルの他に、領域の色どうしの関係を参照する方法も考え
られる。例えば、本実施形態をテレビ電話に適用する場
合、通常、画面中央には人の顔がくる。したがって、肌
色の領域（顔）の上に黒い領域（髪）があれば、これら
を「人の顔」というひとつのオブジェクトとして抽出す
ることも可能である。こうした調整は、用途ごとに固有
の画像の性質に基づいてなせばよい。

【図面の簡単な説明】

【図１】実施形態に係る画像領域統合方法の処理を示
すフローチャートである。

【図２】図１のＳ２の処理を説明する図である。

【図３】フレームＦ１の領域Ａ１を参照してフレーム
Ｆ２の領域Ａ２、Ａ３を統合する様子を示す図である。

【図４】図１のＳ３の手順を示すフローチャートであ
る。

【図５】図１のＳ３による統合後の各画像領域の動き
ベクトルを示す図である。

【符号の説明】

１０円形の領域、１２長方形領域、１４背景領
域、Ｆ１，Ｆ２フレーム、Ａ１，Ａ２，Ａ３領域。

Claims

【特許請求の範囲】

【請求項１】他フレームにおける画像領域の統合状況
を参照して自フレームにおける画像領域の統合を行うこ
とを特徴とする画像領域統合方法。
【請求項２】自他フレームで対応しうる画像領域どう
しの関係を参照する参照工程を経て自フレームに含まれ
る画像領域を統合することを特徴とする画像領域統合方
法。
【請求項３】前記自他フレームは、同一のシーンに関
する動画像の中から選択されることを特徴とする請求項
２に記載の画像領域統合方法。
【請求項４】各フレーム内で画像領域を予備統合した
後に前記参照工程を行う請求項２、３のいずれかに記載
の画像領域統合方法。
【請求項５】前記参照工程は、自フレームにおける複
数画像領域のそれぞれについて定まる領域基準点が他フ
レームの単一の画像領域に含まれるとき、自フレームに
おいて前記複数画像領域を統合する請求項２〜４のいず
れかに記載の画像領域統合方法。
【請求項６】前記参照工程は、他フレームの単一の画
像領域と、自フレームにおける複数画像領域の併合領域
との重複の程度が大きいとき、自フレームにおいて前記
複数画像領域を統合する請求項２〜４のいずれかに記載
の画像領域統合方法。
【請求項７】前記参照工程は、他フレームの単一の画
像領域の色と、自フレームにおける複数画像領域の色が
近いとき、自フレームにおいて前記複数画像領域を統合
する請求項２〜４のいずれかに記載の画像領域統合方
法。
【請求項８】前記参照工程は、他フレームの単一の画
像領域の面積と、自フレームにおける複数画像領域の併
合領域の面積が近いとき、自フレームにおいて前記複数
画像領域を統合する請求項２〜４のいずれかに記載の画
像領域統合方法。
【請求項９】自他フレーム間における画像領域の移動
を考慮し、画像領域の探索域を設けた上で前記参照工程
を行う請求項２〜８のいずれかに記載の画像領域統合方
法。
【請求項１０】前記参照工程で判明した自他フレーム
間の画像領域の対応関係をもとに、自他フレーム間で動
きベクトルが互いに似かよっている画像領域の集合領域
をひとつのオブジェクト領域と推定して抽出する請求項
２〜９に記載の画像領域統合方法。