JPH09161071A

JPH09161071A - 領域対応付け装置および領域対応付け方法

Info

Publication number: JPH09161071A
Application number: JP7322832A
Authority: JP
Inventors: Tatsuo Shinbashi; 龍男新橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-12-12
Filing date: 1995-12-12
Publication date: 1997-06-20

Abstract

(57)【要約】【課題】同一物体に対応する閉領域を、複数フレーム
に亘って、正確に対応付ける。【解決手段】例えば連続する４フレーム（第０乃至第
３フレーム）の画像から、図２（Ａ）に示すような閉領
域が分割されたとする。この場合、隣接する第０フレー
ムと第１フレームとを比較すると、第０フレームの閉領
域１および３と、第１フレームの閉領域１とが対応して
おり、第０フレームの閉領域２と、第１フレームの閉領
域２とが対応していることがわかる。以下、同様にし
て、隣接する２つのフレームを比較することで、その隣
接するフレームに亘って、閉領域どうしを対応付けてい
くと、図２（Ｂ）に示すような木構造を得ることがで
き、互いに結ばれた閉領域を辿っていくことで、第０フ
レーム乃至第３フレームに亘って閉領域を対応付けるこ
とができる。この場合、第０フレーム乃至第３フレーム
における閉領域は、図２（Ｃ）に示すように、ＡとＢの
２つのグループに分けることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、領域対応付け装置
および領域対応付け方法に関する。特に、例えば動画像
から、所定の物体を検出して追跡する場合などに用いて
好適な領域対応付け装置および領域対応付け方法に関す
る。

【０００２】

【従来の技術】動画像から対象物体を検出して追跡する
には、連続する複数フレームそれぞれから、同一物体が
表示された閉領域を検出して、それらを対応付ける必要
がある。このように閉領域を対応付け、その追跡を行う
方式としては、例えば画像を、幾つか（１つでも良い）
の閉領域に分割するとともに、適当な大きさのブロック
にも分割し、ブロック単位で動きベクトルを計算して物
体（閉領域）の動きを求める方式（以下、適宜、ブロッ
ク単位の動きベクトルによる領域追跡方式という）があ
る。

【０００３】図１６は、そのような方式により閉領域
（物体）の追跡を行う領域追跡装置の一例の構成を示し
ている。画像データ（動画像データ）は、領域分割回路
４１に入力され、例えば、図１７に示すような、所定の
物体に対応する不定形状の閉領域に分割される。閉領域
に分割された画像は、ブロック化回路４２において、例
えば正方形状などのブロックに分割され、動き検出回路
４３に供給される。動き検出回路４３では、ブロック化
回路４２でブロックに分割された画像から、ブロック単
位で動きベクトルが算出される。この動きベクトルは、
平均ベクトル計算回路４４に供給される。

【０００４】平均ベクトル計算回路４４には、動きベク
トル検出回路４３から動きベクトルが供給される他、領
域分割回路４１から画像の領域分割結果も供給される。
平均ベクトル計算回路４４では、領域分割回路４１から
の領域分割結果を参照して、閉領域が認識され、その閉
領域を構成するブロックの動きベクトルの平均値である
平均ベクトルが、閉領域の動きベクトルとして算出され
る。即ち、画像から、例えば図１８（Ａ）に示すような
閉領域とブロック単位の動きベクトルが検出されている
場合、平均ベクトル計算回路４４では、図１８（Ｂ）に
示すような、閉領域を構成するブロックの平均ベクトル
が、閉領域の動きベクトルとして算出される。

【０００５】そして、領域分割回路４１で検出された閉
領域（領域分割情報）と、その閉領域に対応する、平均
ベクトル計算回路４４で算出された動きベクトルとが、
閉領域を追跡するためのパラメータとして、例えば図１
９に示すように１組とされて出力される。

【０００６】その後、閉領域がそれと組になっている動
きベクトルにしたがって移動され、その移動後の閉領域
の位置にある後フレーム（いま注目している閉領域があ
るフレームの１フレームだけ時間的に後のフレーム）の
閉領域が、移動前の閉領域と対応付けられ、以下、同様
にして、複数フレームに亘って、閉領域が対応付けられ
る。

【０００７】以上のようにして対応付けられた閉領域を
辿っていくことで、対象物体（閉領域）を追跡すること
ができる。

【０００８】次に、閉領域の追跡を行う方式としては、
上述のようなブロック単位の動きベクトルによる領域追
跡方式の他、例えば画像を構成する各画素の動きベクト
ルを検出し、ほぼ同一方向を向いている動きベクトルを
有する画素を集めて閉領域を構成していき（領域化
し）、これにより、所定の物体に対応する不定形状の閉
領域と、その動きを求める、いわゆるオプティカルフロ
ー方式がある。

【０００９】即ち、オプティカルフロー方式によれば、
例えば図２０（Ａ）に示すように、左方向に移動してい
く自動車が表示された（従って、背景は、右方向に移動
していく）原画像があった場合、その原画像を構成する
各画素のオプティカルフローが計算され、これにより、
図２０（Ｂ）に示すような各画素における動きベクトル
が得られる。そして、ほぼ同一方向を向いている動きベ
クトルを有する画素を集める（統合する）ことにより閉
領域が構成され、さらに、各閉領域についての動きベク
トル（代表ベクトル）が、その閉領域を構成する画素の
動きベクトルに基づいて求められる。図２０（Ａ）の原
画像について、以上の処理を行うことにより得られる閉
領域と動きベクトルを、図２０（Ｃ）に示す。

【００１０】

【発明が解決しようとする課題】ところで、ブロック単
位の動きベクトルによる領域追跡方式、およびオプティ
カルフロー方式には、以下のような課題があった。

【００１１】即ち、ブロック単位の動きベクトルによる
領域追跡方式では、不定形状の閉領域の動きを、その形
状とは無関係に決められたブロックごとの動きベクトル
から求めるため、誤差が生じ易かった。さらに、複数の
物体が重なって、複数の閉領域が形成されている場合、
ある閉領域の動きベクトルに、他の閉領域の動きベクト
ルが影響を及ぼし、閉領域の動きを正確に反映した動き
ベクトルを求めることが困難であった。

【００１２】一方、オプティカルフロー方式では、画素
ごとの動きベクトルに基づいて閉領域が構成されるた
め、不定形状の閉領域を比較精度良く検出することがで
きるが、その形状が不安定になる場合があった。

【００１３】さらに、同一物体を構成する画素であって
も、その動きベクトルが異なる方向を向いていると、そ
の物体に対応する閉領域を検出することができないこと
があった。即ち、例えば上述の図２０に示した場合にお
いては、同図（Ｃ）に示したように、背景と自動車の車
体に対応する閉領域のみが検出されているが、本来なら
ば、これに加えて、自動車の前輪と後輪に対応する閉領
域も検出されることが望ましい。しかしながら、自動車
の前輪と後輪は回転しているため、それらを構成する画
素の動きベクトルは、向いている方向が異なるものとな
り、従って、自動車の前輪と後輪を構成する各画素は統
合されず、その結果、自動車の前輪と後輪に対応する閉
領域を検出することが困難であった。

【００１４】また、オプティカルフロー方式による場
合、同一方向に動く複数の物体が重なっていると、その
複数の物体全体が１つの閉領域として検出され、各物体
に対応する閉領域を検出することが困難であった。

【００１５】さらに、ブロック単位の動きベクトルによ
る領域追跡方式、およびオプティカルフロー方式によれ
ば、変形、または分離若しくは融合しながら移動する物
体に対応する閉領域を、連続する多フレーム間に亘って
対応付けるのは困難であった。

【００１６】以上から、従来においては、同一物体が表
示された閉領域を、複数フレームに亘って、正確に対応
付けることが困難であった。

【００１７】本発明は、このような状況に鑑みてなされ
たものであり、同一物体に対応する閉領域を、複数フレ
ームに亘って、正確に対応付けることができるようにす
るものである。

【００１８】

【課題を解決するための手段】請求項１に記載の領域対
応付け装置は、画像から閉領域を検出する閉領域検出手
段と、閉領域検出手段により検出された閉領域の動きベ
クトルを検出するとともに、その動きベクトルに対応し
て移動した閉領域と、その閉領域のフレームに隣接する
フレームの閉領域との重なり具合を表す重複率を算出す
る重複率算出手段と、重複率算出手段により算出された
重複率に基づいて、隣接するフレームにおける閉領域ど
うしを対応付ける第１の対応付け手段とを備えることを
特徴とする。

【００１９】請求項１４に記載の領域対応付け方法は、
画像から閉領域を検出し、閉領域の動きベクトルを検出
するとともに、その動きベクトルに対応して移動した閉
領域と、その閉領域のフレームに隣接するフレームの閉
領域との重なり具合を表す重複率を算出し、その重複率
に基づいて、隣接するフレームにおける閉領域どうしを
対応付けることを特徴とする。

【００２０】請求項１に記載の領域対応付け装置におい
ては、閉領域検出手段は、画像から閉領域を検出し、重
複率算出手段は、閉領域検出手段により検出された閉領
域の動きベクトルを検出するとともに、その動きベクト
ルに対応して移動した閉領域と、その閉領域のフレーム
に隣接するフレームの閉領域との重なり具合を表す重複
率を算出するようになされている。第１の対応付け手段
は、重複率算出手段により算出された重複率に基づい
て、隣接するフレームにおける閉領域どうしを対応付け
るようになされている。

【００２１】請求項１４に記載の領域対応付け方法にお
いては、画像から閉領域を検出し、閉領域の動きベクト
ルを検出するとともに、その動きベクトルに対応して移
動した閉領域と、その閉領域のフレームに隣接するフレ
ームの閉領域との重なり具合を表す重複率を算出し、そ
の重複率に基づいて、隣接するフレームにおける閉領域
どうしを対応付けるようになされている。

【００２２】

【発明の実施の形態】以下に、本発明の実施例を説明す
るが、その前に、特許請求の範囲に記載の発明の各手段
と以下の実施例との対応関係を明らかにするために、各
手段の後の括弧内に、対応する実施例（但し、一例）を
付加して、本発明の特徴を記述すると、次のようにな
る。

【００２３】即ち、請求項１に記載の領域対応付け装置
は、複数フレームに亘る画像の中の閉領域どうしを対応
付ける領域対応付け装置であって、画像から閉領域を検
出する閉領域検出手段（例えば、図１や図３示す領域分
割回路４など）と、閉領域検出手段により検出された閉
領域の動きベクトルを検出するとともに、その動きベク
トルに対応して移動した閉領域と、その閉領域のフレー
ムに隣接するフレームの閉領域との重なり具合を表す重
複率を算出する重複率算出手段（例えば、図３に示す動
き検出回路２９など）と、重複率算出手段により算出さ
れた重複率に基づいて、隣接するフレームにおける閉領
域どうしを対応付ける第１の対応付け手段（例えば、図
３に示す最尤領域評価回路３１など）とを備えることを
特徴とする。

【００２４】請求項２に記載の領域対応付け装置は、第
１の対応付け手段の対応付け結果に基づいて、３フレー
ム以上に亘る閉領域どうしを対応付ける第２の対応付け
手段（例えば、図３に示すフレーム間対応グループ生成
回路３５など）をさらに備えることを特徴とする。

【００２５】請求項３に記載の領域対応付け装置は、画
像から、特徴点を検出する特徴点検出手段（例えば、図
１に示す特徴点検出回路１など）と、隣接するフレーム
における閉領域どうしの対応関係を、特徴点に基づいて
検出する対応関係検出手段（例えば、図３に示す囲繞エ
ッジ対応回路３０など）とをさらに備え、第１の対応付
け手段が、対応関係検出手段により検出された対応関係
にも基づいて、隣接するフレームにおける閉領域どうし
を対応付けることを特徴とする。

【００２６】請求項４に記載の領域対応付け装置は、閉
領域を囲む特徴点に関する統計値を算出する統計値算出
手段（例えば、図３に示す囲繞エッジ検出回路２７な
ど）をさらに備え、対応関係検出手段が、統計値に基づ
いて、対応関係を検出することを特徴とする。

【００２７】請求項６に記載の領域対応付け装置は、エ
ッジを、複数フレームに亘って対応付けるエッジ対応付
け手段（例えば、図１に示すエッジ追跡回路２など）を
さらに備え、対応関係検出手段が、隣接する２つのフレ
ームそれぞれから、エッジ対応付け手段により対応付け
られたエッジに囲まれる２つの閉領域を検出し、検出さ
れた２つの閉領域についてのエッジの囲繞率に基づい
て、その２つの閉領域どうしの対応関係を検出すること
を特徴とする。

【００２８】請求項７に記載の領域対応付け装置は、閉
領域の特性値を算出する特性値算出手段（例えば、図３
に示す領域特性値計算回路２４など）をさらに備え、第
１の対応付け手段が、特性値算出手段により算出された
特性値にも基づいて、隣接するフレームにおける閉領域
どうしを対応付けることを特徴とする。

【００２９】請求項１３に記載の領域対応付け装置は、
閉領域検出手段により検出された閉領域には、各閉領域
を識別するためのラベルが付されており、第２の対応付
け手段により対応付けられた閉領域に、同一のラベルが
割り当てられるように、閉領域に付されたラベルを置き
換えるラベル置き換え手段（例えば、図３に示す領域ラ
ベル付け回路３６など）をさらに備えることを特徴とす
る。

【００３０】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００３１】図１は、本発明を適用した画像処理装置の
一実施例の構成を示している。この画像処理装置では、
動画像を構成する、連続する複数フレームそれぞれか
ら、同一物体が表示された閉領域を検出して、それらを
対応付け、対応付けられた閉領域ごとに、所定の処理が
施されるようになされている。

【００３２】即ち、画像データは、フレーム（またはフ
ィールド）単位で、特徴点検出回路１および遅延回路７
に入力される。特徴点検出回路１では、入力された画像
データから、特徴点（例えば、物体の輪郭部分などの、
画素値の変化の度合いが大きい画素）が検出され、エッ
ジ追跡回路２に出力される。エッジ追跡回路２では、特
徴点検出回路１からの特徴点のうち、隣接するものどう
しが１つにまとめられてエッジ（チェーン）とされる。
さらに、エッジ追跡回路２では、隣接するフレームから
得られたエッジのうち、同一物体の輪郭部分を構成する
ものどうしが認識されて対応付けられる。隣接するフレ
ームに亘って対応付けられたエッジに関する情報（以
下、適宜、対応エッジ情報という）は、エッジ符号化回
路３および領域追跡装置１０に供給される。

【００３３】エッジ符号化回路３では、エッジ追跡回路
２からの対応エッジ情報に、所定の符号化処理が施さ
れ、これによりエッジ符号化データとされて出力され
る。

【００３４】一方、遅延回路７では、画像データが、特
徴点検出回路１における特徴点の検出処理に要する時間
だけ遅延され、領域追跡装置１０に供給される。

【００３５】領域追跡装置１０は、領域分割回路４およ
び領域追跡回路５から構成され、遅延回路７からの画像
データまたはエッジ追跡回路２からの対応エッジ情報
は、領域分割回路４または領域追跡回路５にそれぞれ入
力されるようになされている。

【００３６】領域分割回路４では、入力された画像か
ら、例えば画素値の変化の度合いがほぼ一様な閉領域が
検出（分割）される。この閉領域に関する情報（以下、
適宜、領域分割情報という）は、領域追跡回路５および
遅延回路８に出力される。

【００３７】領域追跡回路５では、領域分割回路４から
の、幾つかの連続するフレームについての領域分割情報
と、エッジ追跡回路２からの対応エッジ情報とを元に、
その幾つかの連続するフレームに亘って、閉領域どうし
が対応付けられる。さらに、領域追跡回路５では、対応
付けられた閉領域ごとに、所定のユニークなラベルが付
され、領域処理回路６に出力される。

【００３８】一方、遅延回路８では、領域追跡回路５に
おける処理に要する時間だけ、領域分割回路４からの領
域分割情報が遅延され、領域処理回路６に出力される。
領域処理回路６では、領域追跡回路５の出力が参照さ
れ、同一のラベルが付されている閉領域が認識される。
そして、領域処理回路６は、領域分割情報のうち、同一
のラベルが付されている閉領域に対応するものごとに、
所定の処理を施し、その結果得られる閉領域処理データ
を出力する。

【００３９】図１の画像処理装置が、例えば画像符号化
装置（画像圧縮装置）や画像伝送装置などに適用される
場合、エッジ符号化データおよび閉領域処理データは、
所定のビット系列に変換され、図示せぬ記録媒体に記録
され、あるいは、伝送路を介して伝送される。また、図
１の画像処理装置が、例えば物体識別装置や自動追尾装
置などに適用される場合、エッジ符号化データおよび閉
領域処理データは、例えば物体の認識処理などを行うた
めに利用される。

【００４０】次に、画像から検出された閉領域を、複数
フレームに亘って対応付ける処理を行う領域追跡装置１
０の詳細について説明するが、その前に、その処理の概
要を、図２を参照して説明する。

【００４１】いま、例えば連続する４フレーム（第０乃
至第３フレーム）の画像が入力され、各フレームの画像
から、図２（Ａ）に示すような閉領域が分割されたとす
る。この場合、隣接する第０フレームおよび第１フレー
ムの領域分割結果を比較すると、第０フレームにおける
閉領域１および３と、第１フレームにおける閉領域１と
が対応しており、第０フレームにおける閉領域２と、第
１フレームにおける閉領域２とが対応していることがわ
かる。

【００４２】さらに、隣接する第１フレームおよび第２
フレームの領域分割結果を比較すると、第１フレームに
おける閉領域１と、第２フレームにおける閉領域１およ
び２とが対応しており、第１フレームにおける閉領域２
と、第２フレームにおける閉領域３とが対応しているこ
とがわかる。なお、この場合、第１フレームにおいて、
第２フレームにおける閉領域４と対応している閉領域は
存在しない。

【００４３】同様に、隣接する第２フレームおよび第３
フレームでは、第２フレームにおける閉領域１と第３フ
レームにおける閉領域１とが、第２フレームにおける閉
領域２と第３フレームにおける閉領域２とが、第２フレ
ームにおける閉領域３および４と第３フレームにおける
閉領域３とが、それぞれ対応していることがわかる。

【００４４】以上のような関係に基づいて、隣接するフ
レームに亘って、閉領域どうしを対応付けると、図２
（Ｂ）に示すような木構造を得ることができ、互いに結
ばれた閉領域を辿っていくことで、第０フレーム乃至第
３フレームに亘って閉領域を対応付けることができる。

【００４５】即ち、この場合、第０フレーム乃至第３フ
レームにおける閉領域は、上述の対応付けにより、図２
（Ｃ）に示すように、ＡとＢの２つのグループに分ける
ことができる。

【００４６】同一の物体が表示された画像であっても、
フレームによっては、その物体が表示された部分が、１
つの閉領域として検出されたり、あるいは、また、２以
上の閉領域として検出されたりする場合があるが、上述
の方法によれば、そのような場合であっても、同一の物
体が表示された閉領域は、正確に１つのグループにグル
ープ化されるので、例えば、動画像から対象物体を検出
して、その追跡などを、正確に行うことができる。

【００４７】図１の領域追跡装置１０では、以上のよう
にして、連続する複数フレームに亘って、閉領域の対応
付けが行われるようになされている。

【００４８】次に、図３は、図１の領域追跡装置１０の
構成例を示している。遅延回路７で遅延された画像デー
タは、領域分割回路４および遅延回路２３に入力され
る。領域分割回路４では、上述したように、画像の領域
分割が行われ、その結果得られる領域分割情報が、フレ
ーム遅延回路２２、領域特性値計算回路２４、囲繞エッ
ジ検出回路２７、および動き検出回路２９に供給され
る。

【００４９】フレーム遅延回路２２では、領域分割情報
が、１フレームに対応する時間だけ遅延され、動き検出
回路２９に供給される。従って、動き検出回路２９に
は、領域分割回路４から、現フレームの領域分割情報が
供給されるとともに、フレーム遅延回路２２から、その
１フレームだけ時間的に前のフレームである前フレーム
の領域分割情報が供給される。

【００５０】また、フレーム遅延回路２２で遅延された
領域分割情報は、領域情報メモリ３４にも供給されて記
憶される。

【００５１】同時に、遅延回路２３に入力された画像デ
ータは、そこで、領域分割回路４における処理に要する
時間だけ遅延され、領域特性値計算回路２４に供給され
る。領域特性値計算回路２４では、領域分割回路４から
の領域分割情報に基づいて、画像上の閉領域が認識さ
れ、各閉領域の特性値が、例えば、その閉領域内に存在
する（閉領域を構成する）画素すべての画素値（遅延回
路２３からの画像データ）を用いて算出される。領域特
性値計算回路２４で求められた閉領域の特性値は、フレ
ーム遅延回路２５および最尤領域評価回路３１に出力さ
れる。

【００５２】フレーム遅延回路２５では、領域特性値計
算回路２４からの特性値が、１フレームに対応する時間
だけ遅延され、最尤領域評価回路３１に供給される。従
って、最尤領域評価回路３１には、領域特性値計算回路
２４から、現フレームの各閉領域についての特性値が供
給されるとともに、フレーム遅延回路２５から、前フレ
ームの各閉領域についての特性値が供給される。

【００５３】一方、エッジ追跡回路２からの対応エッジ
情報は、遅延回路２６に入力され、そこで、遅延回路２
３における場合と同様に、領域分割回路４の処理に要す
る時間だけ遅延される。そして、対応エッジ情報は、遅
延回路２６で遅延された後、囲繞エッジ検出回路２７に
供給される。

【００５４】囲繞エッジ検出回路２７では、遅延回路２
６からの対応エッジ情報に基づいて、画像上のエッジが
認識されるとともに、領域分割回路４からの領域分割情
報に基づいて、画像上の閉領域も認識される。そして、
囲繞エッジ検出回路２７は、各閉領域を囲む（囲繞す
る）エッジに関する統計値を算出する。即ち、囲繞エッ
ジ検出回路２７は、例えば、画像上の閉領域を囲むエッ
ジを検出し、そのエッジが、閉領域を、どの程度囲んで
いるかを示す度合い（比率）（以下、適宜、囲繞率とい
う）を求める。そして、囲繞エッジ検出回路２７は、エ
ッジと、そのエッジが囲む閉領域、さらには、そのエッ
ジの囲繞率を対応付け、それを、囲繞エッジ情報とし
て、フレーム遅延回路２８および囲繞エッジ対応回路３
０に出力する。なお、囲繞エッジ検出回路２７は、囲繞
エッジ対応回路３０に対しては、囲繞エッジ情報ととも
に、遅延回路２６からの対応エッジ情報も出力するよう
になされている。

【００５５】フレーム遅延回路２８では、囲繞エッジ検
出回路２７からの囲繞エッジ情報が、１フレームに対応
する時間だけ遅延され、囲繞エッジ対応回路３０に供給
される。従って、囲繞エッジ対応回路３０には、囲繞エ
ッジ検出回路２７から、現フレームについての囲繞エッ
ジ情報が供給されるとともに、フレーム遅延回路２８か
ら、前フレームについての囲繞エッジ情報が供給され
る。

【００５６】その後、動き検出回路２９は、領域分割回
路４からの現フレームの領域分割情報、およびフレーム
遅延回路２２からの前フレームの領域分割情報から、画
像上の閉領域の動きベクトルを検出するとともに、その
動きベクトルに対応して移動した閉領域と、その閉領域
のフレームに隣接するフレームの閉領域との重なり具合
を表す重複率を算出する。

【００５７】即ち、動き検出回路２９は、現フレームか
ら前フレームを見た場合の、現フレームの各閉領域の動
きベクトルを検出するとともに、その動きベクトルに対
応して移動した現フレームの閉領域と重なる前フレーム
の閉領域を検出する。さらに、動き検出回路２９は、現
フレームの閉領域と、その閉領域を動きベクトルに対応
して移動したときに重なる前フレームの閉領域とを対応
付けるとともに、その重複率を求める。そして、動き検
出回路２９は、動きベクトルを、例えばＦＩＦＯ（Firs
t In First Out）メモリなどでなる動きベクトルメモリ
３３に出力して記憶させるとともに、対応付けた現フレ
ームの閉領域と前フレームの閉領域に関する情報、およ
び重複率を、前フレーム情報として、最尤領域評価回路
３１に出力する。

【００５８】さらに、動きベクトル検出回路２９は、前
フレームから現フレームを見た場合についても同様の処
理を行い、その結果得られる動きベクトルを、動きベク
トルメモリ３３に供給して記憶させるとともに、上述の
前フレーム情報に対応する後フレーム情報を、最尤領域
評価回路３１に出力する。

【００５９】一方、囲繞エッジ対応回路３０では、囲繞
エッジ検出回路２７からの現フレームの囲繞エッジ情報
および対応エッジ情報、並びにフレーム遅延回路２８か
らの前フレームの囲繞エッジ情報に基づいて、現フレー
ムの閉領域と、前フレームの閉領域との対応関係が検出
される。即ち、囲繞エッジ対応回路３０は、囲繞エッジ
情報に含まれるエッジと閉領域との対応関係および囲繞
率に基づいて、現フレームおよび前フレームから、エッ
ジに囲まれる閉領域を検出し、さらに、現フレームと前
フレームから検出された閉領域どうしを、囲繞エッジ検
出回路２７からの対応エッジ情報に基づいて対応付け
る。そして、囲繞エッジ対応回路３０は、その結果得ら
れる閉領域どうしの対応付け関係を、囲繞エッジ対応情
報として、最尤領域評価回路３１に出力する。

【００６０】最尤領域評価回路３１は、領域特性値計算
回路２４およびフレーム遅延回路２５からの特性値、動
き検出回路２９からの前フレーム情報および後フレーム
情報、並びに囲繞エッジ対応回路３０からの囲繞エッジ
対応情報に基づいて、画像上の各閉領域を評価し、これ
により、現フレームと前フレームとの間（隣接する２フ
レームの間）で、同一物体が表示された閉領域として、
最も確からしいものどうしを検出して対応付ける。そし
て、最尤領域評価回路３１は、現フレームと前フレーム
との２フレーム間の間で対応付けた閉領域の組が所定数
より多いとき（または所定数以上のとき）、その閉領域
の組を、フレーム間対応領域情報として、対応テーブル
メモリ３２に出力する。対応テーブルメモリ３２は、例
えばＦＩＦＯメモリなどでなり、最尤領域評価回路３１
から出力された、第ｎフレームと第ｎ＋１フレームとの
間で対応付けられた閉領域の組に関するフレーム間対応
情報を記憶する。

【００６１】また、最尤領域評価回路３１は、現フレー
ムと前フレームとの２フレーム間の間で対応付けた領域
の組が所定数以下のとき（または所定数未満のとき）、
そのフレーム間でシーンチェンジがなされた旨を示すシ
ーンチェンジ信号を、フレーム間対応グループ生成回路
３５および遅延回路３８に出力する。

【００６２】フレーム間対応グループ生成回路３５は、
最尤領域評価回路３１からシーンチェンジ信号を受信す
ると、対応テーブルメモリ３２を参照し、そこにフレー
ム間対応領域情報が記憶されているフレームに亘って、
閉領域どうしを対応付ける。即ち、フレーム間対応グル
ープ生成回路３５は、対応テーブルメモリ３２に記憶さ
れている対応領域情報を参照することで、対応付けられ
た隣接するフレームにおける閉領域を順次辿っていき、
その辿った閉領域を１つのグループとして対応付け、そ
のグループを構成する閉領域すべてに、同一の所定のグ
ループ番号を割り当てる。この各グループに割り当てら
れたグループ番号は、領域ラベル付け回路３６に出力さ
れる。

【００６３】領域ラベル付け回路３６は、フレーム間対
応グループ生成回路３５からグループ番号を受信する
と、領域情報メモリ３４から領域分割情報を読み出し、
その領域分割情報を、グループ番号に対応して変更す
る。即ち、領域分割情報は、例えば各閉領域の大きさや
位置などを特定するための情報に、各閉領域を、他の閉
領域と区別するためラベルとしてのユニークな番号（以
下、適宜、領域番号という）が付されて構成されてお
り、領域ラベル付け回路３６では、同一のグループに属
する閉領域についての領域分割情報には、同一の領域番
号（ラベル）が付されるように、領域番号が置き換えら
れて出力される（以下、適宜、領域番号が置き換えられ
た領域分割情報を、再ラベル化領域分割情報という）。

【００６４】一方、動きベクトル選択回路３７は、対応
テーブルメモリ３２を参照し、そこに、フレーム間対応
領域情報が記憶された閉領域の組についての動きベクト
ルを、動きベクトルメモリ３３から読み出して出力す
る。従って、動きベクトル選択回路３７からは、他の閉
領域と対応付けられた閉領域についての動きベクトルの
みが出力される。

【００６５】以上の領域ラベル付け回路３６から出力さ
れる再ラベル化領域分割情報と、動きベクトル選択回路
３７から出力される動きベクトルとが、領域追跡装置１
０の出力として、後段の領域処理回路６（図１）に供給
される。

【００６６】遅延回路３８では、上述のフレーム間対応
グループ生成回路３５、領域ラベル付け回路３６、およ
び動きベクトル選択回路３７における処理に要する時間
だけ、最尤領域評価回路３１からのシーンチェンジ信号
が遅延され、その後、そのシーンチェンジ信号は、対応
テーブルメモリ３２、動きベクトルメモリ３３、および
領域情報メモリ３４に、リセット信号として出力され
る。

【００６７】対応テーブルメモリ３２、動きベクトルメ
モリ３３、および領域情報メモリ３４は、遅延回路３８
からリセット信号を受信すると、その記憶内容をリセッ
トする。

【００６８】従って、領域追跡装置１０では、あるシー
ンチェンジから、その次のシーンチェンジが生じるまで
のフレームを１単位として、上述の処理が行われる。但
し、図３の実施例では、対応テーブルメモリ３２、動き
ベクトルメモリ３３、および領域情報メモリ３４におい
て記憶することのできる情報は、最大で、Ｎフレーム分
の情報までとされているため、シーンチェンジが、Ｎフ
レームの間に生じなかった場合には、フレーム間対応グ
ループ生成回路３５、領域ラベル付け回路３６、および
動きベクトル選択回路３７では、そのＮフレームを対象
に、上述の処理が行われるとともに、対応テーブルメモ
リ３２、動きベクトルメモリ３３、および領域情報メモ
リ３４のリセットが行われるようになされている。

【００６９】次に、図４乃至図１５を参照して、図３の
領域追跡装置１０（領域追跡回路５）を構成する各ブロ
ックの動作について、さらに説明する。

【００７０】まず、図４のフローチャートは、領域特性
値計算回路２４の処理を示している。領域特性値計算回
路２４では、１フレームについての領域分割情報または
画像データが領域分割回路４または遅延回路２３からそ
れぞれ入力されると、ステップＳ１において、領域分割
回路４からの１フレーム分の領域分割情報に基づいて、
まだ、注目閉領域とされていない閉領域の検出が行わ
れ、ステップＳ２に進み、まだ注目閉領域とされていな
い閉領域を、ステップＳ１で検出することができたか否
が判定される。ステップＳ２において、まだ注目閉領域
とされていない閉領域を検出することができたと判定さ
れた場合、その閉領域が注目閉領域とされてステップＳ
３に進む。

【００７１】ステップＳ３では、注目閉領域内の画素で
あって、まだ注目画素とされていないものが、遅延回路
２３からの画像データを、例えばいわゆるラインスキャ
ン順などにスキャンすることで検出され、ステップＳ４
に進み、まだ注目画素とされていない画素を、ステップ
Ｓ３で検出することができたか否かが判定される。

【００７２】ステップＳ４において、まだ注目画素とさ
れていない画素を検出することができたと判定された場
合、その画素が注目画素とされ、ステップＳ５に進む。
ステップＳ５では、注目画素が位置する点の座標を
（ｘ，ｙ）とするとき、その注目画素の画素値（画像デ
ータ）ｓ（ｘ，ｙ）に対し、その注目画素の位置（ｘ，
ｙ）に対応した重みが付される。即ち、ステップＳ５で
は、注目画素の画素値ｓ（ｘ，ｙ）に、重みｗｅｉｇｈ
ｔ（ｘ，ｙ）が乗算され、これにより、重み付き画素値
ｄ（＝ｓ（ｘ，ｙ）×ｗｅｉｇｈｔ（ｘ，ｙ））が求め
られる。

【００７３】そして、ステップＳ６に進み、閉領域を構
成する画素の画素値の累積加算値を求めるための変数ｍ
に、重み付き画素値ｄが加算され、その加算結果が、新
たな変数ｍとされるとともに、閉領域を構成する画素の
画素値の２乗値の累積加算値を求めるための変数ｍ２
に、重み付き画素値ｄの２乗値ｄ²が加算され、その加
算結果が、新たな変数ｍ２とされる。さらに、ステップ
Ｓ６では、閉領域を構成する画素の数をカウントするた
めの変数ｃｎｔが１だけインクリメントされ、ステップ
Ｓ３に戻る。

【００７４】なお、変数ｍ，ｍ２，ｃｎｔは、ステップ
Ｓ２の処理後ステップＳ３の処理が開始される前に、例
えば０に初期化されるようになされている。

【００７５】一方、ステップＳ４において、まだ注目画
素とされていない画素を検出することができなかったと
判定された場合、即ち、閉領域を構成する画素の画素値
の累積加算値ｍ、その画素値の２乗値の累積加算値ｍ
２、および画素数ｃｎｔが求められた場合、ステップＳ
７に進み、画素値の累積加算値ｍが、画素数ｃｎｔで除
算され、これにより、注目閉領域を構成する画素の画素
値（重み付き画素値）の平均値ａｖｅが算出される。さ
らに、ステップＳ７では、注目閉領域を構成する画素の
画素値（重み付き画素値）の分散ｖａｒが、累積加算値
ｍ，ｍ２、および画素数ｃｎｔを用い、式ｖａｒ＝（ｍ
２−ｍ²）／ｃｎｔにしたがって求められる。

【００７６】そして、ステップＳ１に戻り、以下、ステ
ップＳ２において、まだ注目閉領域とされていない閉領
域を検出することができなかったと判定されるまで、ス
テップＳ１乃至Ｓ７の処理が繰り返される。

【００７７】その後、ステップＳ２において、まだ注目
閉領域とされていない閉領域を検出することができなか
ったと判定された場合、ステップＳ８に進み、１フレー
ムの各閉領域について求められた平均値ａｖｅおよび分
散ｖａｒが、各閉領域の特性値として出力され、処理を
終了する。

【００７８】図５のフローチャートは、図３の囲繞エッ
ジ検出回路２７の処理を示している。囲繞エッジ検出回
路２７では、まず最初に、ステップＳ１１において、領
域分割回路４からの領域分割情報、および遅延回路２６
からの対応エッジ情報に基づいて、マップ画像が生成さ
れる。

【００７９】即ち、ステップＳ１１では、領域分割情報
を参照することで、１フレームにある閉領域が認識され
るとともに、対応エッジ情報を参照することで、やは
り、その１フレームにあるエッジが認識される。なお、
１フレームにある各エッジには、領域分割情報によって
示される閉領域における場合と同様に、他のエッジと区
別するためのユニークな番号（以下、適宜、エッジ番号
という）が付されている。

【００８０】同一フレームから検出された閉領域および
エッジが認識されると、囲繞エッジ検出回路２７は、そ
の内蔵するフレームメモリ（図示せず）の、閉領域およ
びエッジが存在する位置に対応するアドレスに、その領
域番号およびエッジ番号を記憶させることで、マップ画
像を生成する。

【００８１】具体的には、例えば図６（Ａ）に示すよう
に、あるフレームに、エッジ番号Ａ乃至Ｄが付されたエ
ッジと、領域番号１乃至４が付された閉領域が存在する
場合、例えば同図（Ｂ）に示すようなマップ画像が生成
される。なお、図６（Ｂ）は、図６（Ａ）において点線
で囲んだ範囲のマップ画像を示している。

【００８２】ステップＳ１１において以上のようなマッ
プ画像が生成された後は、ステップＳ１２に進み、領域
分割回路４からの領域分割情報に基づいて、まだ、注目
閉領域とされていない閉領域の検出が行われる。そし
て、ステップＳ１３に進み、まだ注目閉領域とされてい
ない閉領域を、ステップＳ１２で検出することができた
か否が判定される。ステップＳ１３において、まだ注目
閉領域とされていない閉領域を検出することができたと
判定された場合、その閉領域が注目閉領域とされてステ
ップＳ１４に進む。

【００８３】ステップＳ１４では、注目閉領域の境界を
構成する画素である境界画素の検出が、マップ画像を参
照することで行われ、ステップＳ１５に進み、まだ注目
境界画素とされていない境界画素を、ステップＳ１４で
検出することができたか否かが判定される。ステップＳ
１５において、まだ注目境界画素とされていない境界画
素を検出することができたと判定された場合、その画素
が注目境界画素とされ、ステップＳ１６に進む。

【００８４】ステップＳ１６では、注目境界画素（注目
画素）から最も近い位置にあるエッジが、マップ画像を
参照することで検出される。即ち、図６（Ｂ）と同様の
図７に示すマップ画像において、例えば画素Ｐ１が注目
境界画素とされた場合、ステップＳ１６では、その注目
境界画素Ｐ１に最も近い位置にあるエッジとして、エッ
ジ番号Ａのエッジが検出される。また、図７のマップ画
像において、例えば画素Ｐ２が注目境界画素とされた場
合、ステップＳ１６では、その注目境界画素Ｐ２に最も
近い位置にあるエッジとして、エッジ番号Ｄのエッジが
検出される。

【００８５】そして、ステップＳ１４に戻り、以下、ス
テップＳ１５において、まだ注目境界画素とされていな
い境界画素を検出することができなかったと判定される
まで、ステップＳ１４乃至Ｓ１６の処理が繰り返され
る。

【００８６】その後、ステップＳ１５において、まだ注
目境界画素とされていない境界画素を検出することがで
きなかったと判定された場合、ステップＳ１７に進み、
注目閉領域を囲むエッジについての囲繞率が算出され
る。即ち、ステップＳ１７では、ステップＳ１６で各エ
ッジが検出された回数それぞれを、注目閉領域の境界を
構成する境界画素の数で除算し、その除算結果を、各エ
ッジの囲繞率とする。従って、ここでいうエッジの囲繞
率とは、閉領域の境界画素に最も近い特徴点を、エッジ
ごとにカウントし、その数を、閉領域を構成する境界画
素の数で除算したものということができる。

【００８７】囲繞率の算出後は、ステップＳ１２に戻
り、以下、ステップＳ１３において、まだ注目閉領域と
されていない閉領域を検出することができなかったと判
定されるまで、ステップＳ１２乃至Ｓ１７の処理が繰り
返される。

【００８８】一方、ステップＳ１３において、まだ注目
閉領域とされていない閉領域を検出することができなか
ったと判定された場合、ステップＳ１８に進み、閉領域
の領域番号、その閉領域に対する囲繞率が求められたエ
ッジ（以下、適宜、囲繞エッジという）のエッジ番号、
およびそのエッジの囲繞率が対応付けられ、囲繞エッジ
情報として出力され、処理を終了する。

【００８９】ここで、囲繞エッジ情報の例を、図８に示
す。図８の実施例では、領域番号２の閉領域の境界画素
に最も近い位置にあるエッジ（囲繞エッジ）として、エ
ッジ番号ＡとＤのエッジがあり、エッジ番号ＡまたはＤ
のエッジの囲繞率が、それぞれ４５％または３０％であ
ることが示されている。

【００９０】次に、図９のフローチャートを参照して、
囲繞エッジ対応回路３０の処理について説明する。囲繞
エッジ対応回路３０では、囲繞エッジ検出回路２７から
の現フレームの囲繞エッジ情報および対応エッジ情報
と、フレーム遅延回路２８からの前フレームの囲繞エッ
ジ情報を受信すると、ステップＳ２１において、現フレ
ームの囲繞エッジ情報を参照し、現フレームにおいて、
まだ、注目閉領域とされていない閉領域の検出が行われ
る。そして、ステップＳ２２に進み、まだ注目閉領域と
されていない閉領域を、ステップＳ２１で検出すること
ができたか否が判定される。ステップＳ２２において、
まだ注目閉領域とされていない閉領域を検出することが
できたと判定された場合、その閉領域が注目閉領域（こ
の注目閉領域のように、現フレームにおける注目閉領域
を、以下、適宜、注目現フレーム閉領域という）とされ
てステップＳ２３に進む。

【００９１】ステップＳ２３では、前フレームの囲繞エ
ッジ情報を参照し、前フレームにおいて、まだ、注目閉
領域とされていない閉領域の検出が行われる。そして、
ステップＳ２４に進み、まだ注目閉領域とされていない
閉領域を、ステップＳ２３で検出することができたか否
が判定される。ステップＳ２４において、まだ注目閉領
域とされていない閉領域を検出することができたと判定
された場合、その閉領域が注目閉領域（この注目閉領域
のように、前フレームにおける注目閉領域を、以下、適
宜、注目前フレーム閉領域という）とされてステップＳ
２５に進む。

【００９２】ステップＳ２５では、注目現フレーム閉領
域または注目前フレーム閉領域に対応付けられている囲
繞エッジ（以下、適宜、それぞれを、現フレーム囲繞エ
ッジまたは前フレーム囲繞エッジという）が、現フレー
ムまたは前フレームの囲繞エッジ情報を参照することで
それぞれ検出され、共通の囲繞エッジがあるかどうか
が、即ち、現フレーム囲繞エッジと、前フレーム囲繞エ
ッジのうち、同一物体を構成するエッジの組であるとし
て対応付けられているものが存在するかどうかが、対応
エッジ情報を参照することで判定される。

【００９３】ステップＳ２５において、共通の囲繞エッ
ジがないと判定された場合、ステップＳ２６乃至Ｓ２８
をスキップして、ステップＳ２３に戻る。また、ステッ
プＳ２５において、共通の囲繞エッジがあると判定され
た場合、ステップＳ２６に進み、現フレームと前フレー
ムの囲繞エッジ情報を参照することにより、共通の囲繞
エッジのうち、現フレーム囲繞エッジと、前フレーム囲
繞エッジについての囲繞率がいずれも所定の閾値以上の
ものが検出され、ステップＳ２７に進む。

【００９４】ステップＳ２７では、ステップＳ２６で検
出された共通の囲繞エッジが所定数以上あるかどうかが
判定される。ステップＳ２７において、共通の囲繞エッ
ジが所定数以上存在しないと判定された場合、ステップ
Ｓ２８をスキップして、ステップＳ２３に戻る。また、
ステップＳ２７において、共通の囲繞エッジが所定数以
上存在すると判定された場合、ステップＳ２８に進み、
注目現フレーム閉領域、注目前フレーム閉領域、および
その間の共通の囲繞エッジの数が対応付けられ、囲繞エ
ッジ対応情報として記憶される。

【００９５】そして、ステップＳ２３に戻り、ステップ
Ｓ２４において、まだ注目前フレーム閉領域とされてい
ない閉領域を検出することができなかったと判定される
まで、ステップＳ２３乃至Ｓ２８の処理が繰り返され
る。

【００９６】一方、ステップＳ２４において、まだ注目
前フレーム閉領域とされていない閉領域を検出すること
ができなかったと判定された場合、ステップＳ２２に戻
る。そして、ステップＳ２２において、まだ注目現フレ
ーム閉領域とされていない閉領域を検出することができ
なかったと判定された場合、ステップＳ２９に進み、ス
テップＳ２８で記憶されたすべての囲繞エッジ対応情報
が出力される。

【００９７】次に、図１０のフローチャートを参照し
て、動き検出回路２９の処理について説明する。動き検
出回路２９では、領域分割回路４からの現フレームの領
域分割情報と、フレーム遅延回路２２からの前フレーム
の領域分割情報を受信すると、ステップＳ３１におい
て、現フレームの領域分割情報を参照し、現フレームに
おいて、まだ、注目閉領域（注目現フレーム閉領域）と
されていない閉領域の検出が行われる。そして、ステッ
プＳ３２に進み、まだ注目現フレーム閉領域とされてい
ない閉領域を、ステップＳ３１で検出することができた
か否が判定される。ステップＳ３２において、まだ注目
閉領域とされていない閉領域を検出することができたと
判定された場合、その閉領域が注目現フレーム閉領域と
されてステップＳ３３に進む。

【００９８】ステップＳ３３では、あらかじめ規定され
た所定の範囲（例えば、ｘ＝−８乃至＋７，ｙ＝−８乃
至＋７で表される正方形状の範囲など）のある点を指す
ベクトルであって、まだ、注目現フレーム閉領域の処理
に用いられていないものが生成され、ステップＳ３４に
進み、そのベクトルにしたがって、注目現フレーム閉領
域が移動される（この移動された注目現フレーム閉領域
を、以下、適宜、移動閉領域という）。そして、ステッ
プＳ３５において、前フレームの領域分割情報を参照す
ることで、前フレームにおける閉領域のうち、移動閉領
域との重複部分が最も大きいもの（以下、適宜、最大重
複閉領域という）が検出される。その後、ステップＳ３
６において、移動閉領域と最大重複閉領域との重なり部
分を構成する画素数が検出される。さらに、ステップＳ
３６では、その画素数が、移動閉領域を構成する画素数
で除算され、その除算結果が、最大重複閉領域に対する
注目現フレーム閉領域（移動閉領域）の重複率とされ
る。

【００９９】そして、ステップＳ３７に進み、重複率が
所定の閾値以上であるか否かが判定される。ステップＳ
３７において、重複率が所定の閾値以上であると判定さ
れた場合、ステップＳ３９に進み、その重複率を得るこ
とのできたベクトルが、現フレームから前フレームを見
たときの、注目現フレーム閉領域の動きベクトルとさ
れ、その動きベクトル、注目現フレーム閉領域、前フレ
ームにおける最大重複閉領域、および重複率が対応付け
られて記憶され、ステップＳ３３に戻る。

【０１００】一方、ステップＳ３７において、重複率が
所定の閾値以上でないと判定された場合、ステップＳ３
８に進み、所定の範囲内のすべての点を指すベクトルに
ついて処理がなされたか否が判定される。ステップＳ３
８において、所定の範囲内のすべての点を指すベクトル
について処理がなされていないと判定された場合、ステ
ップＳ３３に戻る。

【０１０１】また、ステップＳ３８において、所定の範
囲内のすべての点を指すベクトルについて処理がなされ
たと判定された場合、ステップＳ４１に進み、ステップ
Ｓ３９において、注目現フレーム閉領域に対し、複数の
最大重複閉領域、動きベクトル、および重複率が対応付
けられて記憶されているときは、そのうちの最も信頼性
の高いものが選択される。

【０１０２】即ち、ステップＳ４１では、注目現フレー
ム閉領域に対し、複数の最大重複閉領域、動きベクト
ル、および重複率が対応付けられている場合には、その
うちの、例えば動きベクトルの大きさがより小さく、か
つ重複率がより大きいものが、最も信頼性が高いものと
して選択される。

【０１０３】その後、ステップＳ３１に戻り、現フレー
ムにおける新たな閉領域が検出され、その新たな閉領域
に対して、上述した処理が行われる。

【０１０４】なお、ステップＳ３９において、注目現フ
レーム閉領域に対し、１組の最大重複閉領域、動きベク
トル、および重複率のみが対応付けられて記憶されてい
る場合は、それらがステップＳ４１で選択される。ま
た、ステップＳ３７からステップＳ３９に処理が進むこ
とがなく、注目現フレーム閉領域に対し、１組の最大重
複閉領域、動きベクトル、および重複率も対応付けられ
ていない場合は、ステップＳ４１をスキップして、ステ
ップＳ３１に戻る。

【０１０５】そして、ステップＳ３２において、まだ注
目閉領域とされていない閉領域を検出することができな
かったと判定された場合、ステップＳ４０に進み、ステ
ップＳ３９で対応付けられて記憶された注目現フレーム
閉領域、最大重複閉領域、動きベクトル、および重複率
のうち、ステップＳ４１で選択されたものが出力され、
処理を終了する。

【０１０６】但し、注目現フレーム閉領域、最大重複閉
領域、動きベクトル、および重複率のうち、注目現フレ
ーム閉領域、最大重複閉領域、および重複率は、前フレ
ーム情報として、最尤領域評価回路３１に出力され、動
きベクトルは、動きベクトルメモリ３３に出力される。

【０１０７】なお、図１０においては、注目現フレーム
閉領域に対し、複数の最大重複閉領域、動きベクトル、
および重複率が対応付けられた場合には、そのうちの１
組を、ステップＳ４１において選択するようにしたが、
動き検出回路２９では、そのような選択を行わず、すべ
てを出力するようにし、ステップＳ４１における選択処
理に対応する処理は、後段の最尤領域評価回路３１にお
いて、動きベクトルの大きさや重複率に加えて、閉領域
の特性値や、囲繞エッジ対応情報なども考慮して行うよ
うにすることが可能である。この場合、同一物体が分離
や併合した場合に対し、より正確に対応することが可能
となる。

【０１０８】また、動き検出回路２９では、図１０で説
明した処理と同様の処理が、前フレームから現フレーム
を見た場合についても行われる。即ち、動き検出回路２
９においては、フレーム遅延回路２２から出力される前
フレームの領域分割情報が、現フレームの領域分割情報
とみなされるとともに、領域分割回路４から出力される
現フレームの領域分割情報が、後フレーム（現フレーム
より１フレームだけ後のフレーム）の領域分割情報とみ
なされ、図１０における場合と同様の処理が行われる。
これにより、最尤領域評価回路３１に対して、前フレー
ム情報に対応する後フレーム情報が供給されるととも
に、動きベクトルメモリ３３に対して、前フレームから
現フレームを見た場合についての前フレームにおける閉
領域の動きベクトルが供給される。

【０１０９】ここで、この場合における動き検出回路２
９で行われる処理を、図１１に示すが、この図１１にお
けるステップＳ５１乃至Ｓ６１の処理は、前フレームを
対象としている処理が、後フレームを対象として行われ
る他は、図１０のステップＳ３１乃至Ｓ４１とそれぞれ
同様であるので、その説明は省略する。

【０１１０】なお、動き検出回路２９には、図１０また
は図１１に示した処理のいずれか一方を行わせた後に、
他方の処理を行わせるようにすることもできるし、図１
０および図１１に示した処理の両方を、並列に行わせる
ようにすることもできる。

【０１１１】次に、図１２のフローチャートを参照し
て、図３の最尤領域評価回路３１の処理について説明す
る。最尤領域評価回路３１では、閉領域の特性値、囲繞
エッジ対応情報、前フレーム情報、および後フレーム情
報を受信すると、ステップＳ７１において、現フレーム
の領域分割情報を参照し、現フレームにおいて、まだ、
注目閉領域（注目現フレーム閉領域）とされていない閉
領域の検出が行われる。そして、ステップＳ７２に進
み、まだ注目現フレーム閉領域とされていない閉領域
を、ステップＳ７１で検出することができたか否が判定
される。ステップＳ７２において、まだ注目現フレーム
閉領域とされていない閉領域を検出することができたと
判定された場合、その閉領域が注目現フレーム閉領域と
されてステップＳ７３に進む。

【０１１２】ステップＳ７３では、前フレームの領域分
割情報を参照し、前フレームにおいて、まだ、注目前フ
レーム閉領域とされていない閉領域の検出が行われる。
そして、ステップＳ７４に進み、まだ注目閉領域とされ
ていない閉領域を、ステップＳ７３で検出することがで
きたか否が判定される。ステップＳ７４において、まだ
注目前フレーム閉領域とされていない閉領域を検出する
ことができたと判定された場合、その閉領域が注目前フ
レーム閉領域とされてステップＳ７５に進む。

【０１１３】ステップＳ７５では、注目現フレーム閉領
域の特性値と、注目前フレーム閉領域の特性値との差分
の絶対値が計算される。即ち、注目現フレーム閉領域の
特性値のうち、平均値または分散を、それぞれａｖｅ_A
またはｖａｒ_Aとするとともに、注目前フレーム閉領域
の特性値のうち、平均値または分散を、それぞれａｖｅ
_Bまたはｖａｒ_Bとするとき、ステップＳ７５では、平均
値の差分の絶対値Ｄ_aveが、式Ｄ_ave＝｜ａｖｅ_A−ａｖ
ｅ_B｜にしたがって、分散の差分の絶対値Ｄ_varが、式Ｄ
_var＝｜ｖａｒ_A−ｖａｒ_B｜にしたがって、それぞれ算
出される。

【０１１４】そして、ステップＳ７６に進み、注目現フ
レーム閉領域と、注目前フレーム閉領域とが、それらが
同一の物体を表す閉領域であるとみなすことのできる条
件（以下、適宜、マッチング条件という）を満たすかど
うかが、ステップＳ７５で求められた特性値の差分の絶
対値、囲繞エッジ対応情報、前フレーム情報、および後
フレーム情報を参照することで判定される。

【０１１５】ステップＳ７６において、注目現フレーム
閉領域および注目前フレーム閉領域がマッチング条件を
満たさないと判定された場合、ステップＳ７７およびＳ
７８をスキップして、ステップＳ７３に戻る。また、ス
テップＳ７６において、注目現フレーム閉領域および注
目前フレーム閉領域がマッチング条件を満たすと判定さ
れた場合、ステップＳ７７に進み、その注目現フレーム
閉領域および注目前フレーム閉領域が対応付けられる。

【０１１６】ここで、ステップＳ７６におけるマッチン
グ条件、およびステップＳ７７における注目現フレーム
閉領域と注目前フレーム閉領域との対応付けについて説
明する。

【０１１７】ここでは、例えば、次に説明する４つのマ
ッチング条件が設定されており、注目現フレーム閉領域
および注目前フレーム閉領域が、その４つのマッチング
条件のいずれかを満たす場合には、その満たす条件に応
じて、注目現フレーム閉領域と注目前フレーム閉領域と
の間に、両方向、前方向、または後方向のうちのいずれ
かの対応付けが行われる。

【０１１８】即ち、注目現フレーム閉領域と注目前フレ
ーム閉領域との間の共通の囲繞エッジの数をＣと、注目
現フレーム閉領域の平均値または分散と注目前フレーム
閉領域の平均値または分散との差分の絶対値をそれぞれ
Ｄ_aveまたはＤ_varと、注目前フレーム閉領域に対する注
目現フレーム閉領域の重複率をＥＡと、注目現フレーム
閉領域に対する注目前フレーム閉領域の重複率をＥＢ
と、それぞれ表すとすると、第１のマッチング条件とし
て、例えばＣ＞２，Ｄ_ave＜５０，ＥＡ＞０．８、およ
びＥＢ＞０．８の４つの条件を満たす場合、注目現フレ
ーム閉領域から注目前フレーム閉領域を見たときに、現
フレームと前フレームとの間で、両閉領域どうしが対応
している旨を表す後方向の対応付けと、その逆に、注目
前フレーム閉領域から注目現フレーム閉領域を見たとき
に、現フレームと前フレームとの間で、両閉領域どうし
が対応している旨を表す前方向の対応付けとの両方の対
応付けが行われる。

【０１１９】また、第１のマッチング条件を満たさない
場合に、第２のマッチング条件として、例えばＣ＞２，
Ｄ_ave＜３０の２つの条件と、ＥＡ＞０．８またはＥＢ
＞０．８の条件とを満たすとき、後方向または前方向の
対応付けがそれぞれ行われる。さらに、第１および第２
のマッチング条件を満たさない場合に、第３のマッチン
グ条件として、例えばＤ_ave＜１０，Ｄ_var＜１０，ＥＡ
＞０．８、およびＥＢ＞０．８の４つの条件を満たすと
き、後方向の対応付けと前方向の対応付けとの両方の対
応付けが行われる。そして、第１乃至第３のマッチング
条件を満たさない場合に、第４のマッチング条件とし
て、例えばＤ_ave＜５の条件と、ＥＡ＞０．８またはＥ
Ｂ＞０．８のの条件とを満たすとき、後方向または前方
向の対応付けがそれぞれ行われる。

【０１２０】ステップＳ７７において、第１乃至第４の
マッチング条件のいずれかを満たす注目現フレーム閉領
域と注目前フレーム閉領域との間に、以上のような対応
付けがなされた後は、ステップＳ７８に進み、現フレー
ムと前フレームとの間で、ステップＳ７７において対応
付けられた閉領域の組の数をカウントする変数ｃｏｕｎ
ｔが１だけインクリメントされ、ステップＳ７３に戻
り、以下、ステップＳ７４において、まだ注目前フレー
ム閉領域とされていない閉領域を検出することができな
かったと判定されるまで、ステップＳ７３乃至Ｓ７８の
処理が繰り返し行われる。

【０１２１】なお、変数ｃｏｕｎｔは、ステップＳ７１
の処理が開始される前に、例えば０に初期化されるよう
になされている。

【０１２２】そして、ステップＳ７４において、まだ注
目前フレーム閉領域とされていない閉領域を検出するこ
とができなかったと判定された場合、ステップＳ７１に
戻り、現フレームから、まだ注目現フレーム閉領域とさ
れていない閉領域が検出され、以下、ステップＳ７２以
下の処理が繰り返される。

【０１２３】その後、ステップＳ７２において、まだ注
目前フレーム閉領域とされていない閉領域を検出するこ
とができなかったと判定された場合、ステップＳ７９に
進み、変数ｃｏｕｎｔが所定の数Ｆより大きいか否かが
判定される。ステップＳ７９において、変数ｃｏｕｎｔ
が所定の値Ｆより大きいと判定された場合、即ち、ある
２つのフレーム（現フレームと前フレーム）間におい
て、ステップＳ７７で対応付けられた閉領域の組の数
が、所定の数Ｆより多く、従って、その２つのフレーム
間では、シーンチェンジが生じていないと考えられる場
合、ステップＳ８０に進み、ステップＳ７７で対応付け
のなされた閉領域の組が、前方向、後方向、またはその
両方向のいずれの対応付けがなされたかを示す旨ととも
に、フレーム間対応領域情報として、対応テーブルメモ
リ３２に出力され、処理を終了する。

【０１２４】一方、ステップＳ７９において、変数ｃｏ
ｕｎｔが所定の値Ｆより大きくないと判定された場合、
即ち、ある２つのフレーム間において、ステップＳ７７
で対応付けられた閉領域の組の数が、所定の数Ｆ以下で
あり、従って、その２つのフレーム間では、シーンチェ
ンジが生じたと考えられる場合、ステップＳ８１に進
み、シーンチェンジ信号が出力されて、処理を終了す
る。

【０１２５】最尤領域評価回路３１では、以上のように
して、シーンチェンジが生じるまで、２フレーム間に亘
る閉領域どうしが対応付けられていく。

【０１２６】次に、図１３のフローチャートを参照し
て、図３のフレーム間対応グループ生成回路３５の動作
について説明する。フレーム間対応グループ生成回路３
５では、まず最初に、ステップＳ９１において、最尤領
域評価回路３１からシーンチェンジ信号を受信すること
ができたか否かが判定される。ステップＳ９１におい
て、シーンチェンジ信号を受信することができなかった
と判定された場合、ステップＳ９１に戻る。また、ステ
ップＳ９１において、シーンチェンジ信号を受信するこ
とができたと判定された場合、ステップＳ９２に進み、
同一物体の閉領域に、同一のグループ番号を割り当てる
ためのグループカウンタＣＧが、例えば１に初期化さ
れ、ステップＳ９３に進む。

【０１２７】ステップＳ９３では、対応テーブルメモリ
３２を参照して、幾つのフレーム間についてのフレーム
間対応情報が記憶されているかが認識され、その数が変
数Ｎ１にセットされる。

【０１２８】その後、ステップＳ９４に進み、対応テー
ブルメモリ３２に記憶されているフレーム間対応情報の
数をカウントするための変数ｉが、例えば０に初期化さ
れ、ステップＳ９５に進む。ステップＳ９５では、第ｉ
フレームと第ｉ＋１フレームとの間のフレーム間対応情
報に対応関係が記述されている第ｉフレームの閉領域で
あって、まだ注目閉領域とされておらず、かつグループ
番号も割り当てられていないものが検出され、ステップ
Ｓ９６に進み、まだ注目閉領域とされておらず、かつグ
ループ番号も割り当てられていない閉領域を、ステップ
Ｓ９５で検出することができたか否が判定される。ステ
ップＳ９６において、まだ注目閉領域とされておらず、
かつグループ番号も割り当てられていない閉領域を検出
することができたと判定された場合、その閉領域が注目
閉領域とされ、ステップＳ９７に進む。

【０１２９】ステップＳ９７では、注目閉領域と対応付
けられている、その注目閉領域のフレームと隣接するフ
レームにおける閉領域を辿っていくトレース処理（詳細
は、後述する）が行われ、ステップＳ９８に進み、グル
ープカウンタＧＣが１だけインクリメントされる。その
後、ステップＳ９５に戻り、ステップＳ９６において、
まだ注目閉領域とされておらず、かつグループ番号も割
り当てられていない閉領域を検出することができなかっ
たと判定されるまで、ステップＳ９５乃至Ｓ９８の処理
が繰り返される。

【０１３０】そして、ステップＳ９６において、まだ注
目閉領域とされておらず、かつグループ番号も割り当て
られていない閉領域を検出することができなかったと判
定された場合、ステップＳ９９に進み、変数ｉが１だけ
インクリメントされ、ステップＳ１００に進む。ステッ
プＳ１００では、変数ｉがＮ１より大きいか否かが判定
され、大きくないと判定された場合、即ち、対応テーブ
ルメモリ３２にフレーム間対応情報が記憶されているフ
レームすべてについて、ステップＳ９５乃至Ｓ９８の処
理を行っていない場合、ステップＳ９５に戻る。

【０１３１】また、ステップＳ１００において、変数ｉ
がＮ１より大きいと判定された場合、ステップＳ１０１
に進み、ステップＳ９７のトレース処理において辿るこ
とのできなかった閉領域にグループ番号を付す未対応領
域処理（詳細は、後述する）が行われる。その後、各閉
領域に割り当てられたグループ番号が、領域ラベル付け
回路３６に出力されて、処理を終了する。

【０１３２】次に、図１４のフローチャートを参照し
て、図１３のステップＳ９７におけるトレース処理の詳
細について説明する。トレース処理では、まず最初に、
ステップＳ１１１において、注目閉領域から、後フレー
ム（第ｉ＋１フレーム）の閉領域のいずれかに、前方向
の対応付けが行われているか否かが、対応テーブルメモ
リ３２を参照することで判定される。ステップＳ１１１
において、注目閉領域から、後フレームの閉領域のいず
れかに、前方向の対応付けが行われていると判定された
場合、ステップＳ１１２に進み、注目閉領域に、グルー
プカウンタＧＣの値が、グループ番号として割り当てら
れ、ステップＳ１１３に進む。

【０１３３】ステップＳ１１３では、注目閉領域と対応
付けがなされていると判定された閉領域が、新たな注目
閉領域とされ、さらに、その新たな注目閉領域にも、前
回、注目閉領域とされていた閉領域と同一のグループカ
ウンタＧＣの値が、グループ番号として割り当てられ
る。そして、ステップＳ１１４に進み、図１４のトレー
ス処理が再帰的に呼び出される。従って、この場合、ト
レース処理が再帰的に行われることで、図２で説明した
ように、複数のフレームに亘って、１つの木構造を構成
する閉領域が辿られていき、同一のグループ番号が付さ
れることになる。

【０１３４】ステップＳ１１４で再帰的に呼び出された
トレース処理が終了した後は、図１３に戻り、上述した
ステップＳ９８の処理が行われる。

【０１３５】また、ステップＳ１１１において、注目閉
領域から、後フレームの閉領域のいずれにも、前方向の
対応付けが行われていないと判定された場合、ステップ
Ｓ１１５に進み、前フレーム（第ｉ−１フレーム）の閉
領域のいずれかから、注目閉領域に、前方向の対応付け
が行われているか否かが、対応テーブルメモリ３２を参
照することで判定される。ステップＳ１１５において、
前フレームの閉領域のいずれかから、注目閉領域に、前
方向の対応付けが行われていると判定された場合、ステ
ップＳ１１２に進み、以下、上述した場合と同様の処理
が行われる。

【０１３６】一方、ステップＳ１１５において、前フレ
ームの閉領域のいずれかからも、注目閉領域に、前方向
の対応付けが行われていないと判定された場合、ステッ
プＳ１１６に進み、後フレームの閉領域のいずれかか
ら、注目閉領域に、後方向の対応付けが行われているか
否かが、対応テーブルメモリ３２を参照することで判定
される。ステップＳ１１６において、後フレームの閉領
域のいずれかから、注目閉領域に、後方向の対応付けが
行われていると判定された場合、ステップＳ１１２に進
み、以下、上述した場合と同様の処理が行われる。

【０１３７】また、ステップＳ１１６において、後フレ
ームの閉領域のいずれかからも、注目閉領域に、後方向
の対応付けが行われていないと判定された場合、ステッ
プＳ１１７に進み、注目閉領域から、前フレームの閉領
域のいずれかに、後方向の対応付けが行われているか否
かが、対応テーブルメモリ３２を参照することで判定さ
れる。ステップＳ１１７において、注目閉領域から、前
フレームの閉領域のいずれかに、後方向の対応付けが行
われていると判定された場合、ステップＳ１１２に進
み、以下、上述した場合と同様の処理が行われる。

【０１３８】一方、ステップＳ１１７において、注目閉
領域から、前フレームの閉領域のいずれかにも、後方向
の対応付けが行われていないと判定された場合、トレー
ス処理を終了する。

【０１３９】次に、図１５のフローチャートを参照し
て、図１３のステップＳ１０１における未対応領域処理
について説明する。この未対応領域処理では、隣接する
フレームの閉領域のいずれにも対応付けがなされなかっ
た閉領域にグループ番号が付される。即ち、まず最初
に、ステップＳ１２１において、変数ｉが、例えば０に
初期化され、ステップＳ１２２に進み、第ｉフレームの
閉領域であって、まだ、注目閉領域とされていないもの
が検出され、ステップＳ１２３に進む。ステップＳ１２
３では、ステップＳ１２２で第ｉフレームから、まだ注
目閉領域とされていない閉領域を検出することができた
か否かが判定される。ステップＳ１２３において、第ｉ
フレームから、まだ注目閉領域とされていない閉領域を
検出することができたと判定された場合、その閉領域
が、注目閉領域とされ、ステップＳ１２４に進み、その
注目閉領域にグループ番号が割り当てられているか否か
が判定される。

【０１４０】ステップＳ１２４において、注目閉領域に
グループ番号が割り当てられていると判定された場合、
ステップＳ１２５およびＳ１２６をスキップして、ステ
ップＳ１２２に戻る。また、ステップＳ１２４におい
て、注目閉領域にグループ番号が割り当てられていない
と判定された場合、即ち、注目閉領域が、隣接するフレ
ームの閉領域のいずれにも対応付けがなされなかった閉
領域である場合、ステップＳ１２５に進み、その注目閉
領域に、グループカウンタＧＣの値が、グループ番号と
して割り当てられ、ステップＳ１２６に進む。

【０１４１】ステップＳ１２６では、グループカウンタ
ＧＣが１だけインクリメントされ、ステップＳ１２２に
戻り、以下、ステップＳ１２３において、第ｉフレーム
から、まだ注目閉領域とされていない閉領域を検出する
ことができなかったと判定されるまで、ステップＳ１２
２乃至Ｓ１２６の処理が繰り返される。

【０１４２】そして、ステップＳ１２３において、第ｉ
フレームから、まだ注目閉領域とされていない閉領域を
検出することができなかったと判定された場合、ステッ
プＳ１２７に進み、変数ｉが１だけインクリメントさ
れ、ステップＳ１２８に進む。ステップＳ１２８では、
変数ｉが（Ｎ１＋１）より大きいか否かが判定され、大
きくないと判定された場合、ステップＳ１２２に戻る。
また、ステップＳ１２８において、変数ｉが（Ｎ１＋
１）より大きいと判定された場合、即ち、対応テーブル
メモリ３２にフレーム間対応領域情報が記憶されている
フレームすべてにおける閉領域についてグループ番号が
割り当てられた場合、処理を終了する。

【０１４３】以上のようにして、隣接するフレームの閉
領域のいずれにも対応付けがなされなかった閉領域に
は、ユニークなグループ番号が付される。

【０１４４】その後、各閉領域に割り当てられたグルー
プ番号は、領域ラベル付け回路３６に出力され、領域ラ
ベル付け回路３６では、領域情報メモリ３４を参照し、
上述したように、グループ番号に基づいて、同一のグル
ープに属する閉領域、即ち、同一の物体を表す閉領域に
は、同一の領域番号（ラベル）が付されるように、領域
番号が置き換えられる。

【０１４５】以上のように、画像からの閉領域の分割
を、画像の動きに関係なく、フレーム単位の画像を対象
に行うようにしたので、安定した領域化を行うことがで
きる（さらに、本来の同一物内の動きが変化しない）。
また、隣接するフレーム間において、閉領域そのものの
動きを評価して、動きベクトルを検出するようにしたの
で、閉領域の形状による誤差の蓄積がなく、他の物体の
動きが、注目している物体の動きベクトルに悪影響を及
ぼすこともない。

【０１４６】そして、隣接するフレームにおける閉領域
どうしを、その動きと重複率、さらには、閉領域を囲む
エッジや、閉領域を構成する画素の画素値を評価して対
応付けるようにしたので、複数フレーム間に亘って、例
えば状態が変化している物体（移動、変形、分離、また
は融合している物体）が表示されている閉領域を、正確
に対応付ける（追跡する）ことができ、その結果、例え
ば閉領域単位の信号処理を的確に行ったり、また、閉領
域単位で符号化を行う場合の符号化効率を向上させるこ
となどが可能となる。

【０１４７】なお、本発明は、動画像を、その特徴にし
たがって閉領域に分割し、その閉領域についての対応を
複数フレームに亘ってとることが必要なあらゆる装置に
適用可能である。即ち、本発明は、例えば入力された画
像から、所定の物体を抽出し、それを追跡する物体識別
装置や自動追尾装置、あるいは、また、特徴が類似した
閉領域単位で、画像の伝送や、記録再生などを行うデー
タ伝送装置や、データレコーダなどに適用可能である。

【０１４８】また、本実施例では、最尤領域評価回路３
１において、閉領域から得られる特性値、並びに前フレ
ーム情報および後フレーム情報だけでなく、エッジから
得られる囲繞エッジ対応情報の、閉領域とエッジとの両
方から得られる情報に基づいて、閉領域どうしを対応付
けるようにしたが、閉領域どうしを対応付けは、閉領域
から得られる情報だけを用いて行うようにすることも可
能である。この場合、対応エッジ情報を処理するための
ブロック（図３における遅延回路２６、囲繞エッジ検出
回路２７、フレーム遅延回路２８、囲繞エッジ対応回路
３０）は設ける必要がなくなるので、装置を小型かつ簡
単に構成することが可能となる。

【０１４９】但し、エッジから得られる情報も併せて用
いた場合には、複数の物体が重なっていても、それぞれ
を、別の閉領域として分離したり、また、重なり合う物
体が同一方向に移動していても、それらを区別したりす
ることが、容易に可能となる。

【０１５０】さらに、本実施例では、閉領域の特性値と
して、その閉領域を構成する画素の画素値の平均値と分
散を用いるようにしたが、閉領域の特性値としては、そ
の他、例えばｎ次モーメントなどの統計値や、最大振幅
値などの非線形演算により得られる値などを用いるよう
にすることが可能である。また、閉領域の特性値として
は、これらを組み合わせて用いるようにすることも可能
である。さらに、本実施例においては、最尤領域評価回
路３１において、特性値の差分の絶対値を用いて、閉領
域どうしを対応付けるようにしたが、閉領域どうしの対
応付けには、その他、例えば特性値の差分の２乗値
（（ａｖｅ_A−ａｖｅ_B）²，（ｖａｒ_A−ｖａｒ_B）²）
や、特性値の比率（ａｖｅ_A／ａｖｅ_B，ｖａｒ_A／ｖａ
ｒ_B）などを用いるようにすることも可能である。

【０１５１】また、図１２に示した処理で用いられるマ
ッチング条件、その他本実施例において定数で示した閾
値などは、上述したものに限定されるものではなく、例
えば処理する画像のサイズや、閉領域の追跡に要求され
る精度、追跡の対象とされている閉領域の数その他によ
り、適応的に設定するようにすることが可能である。

【０１５２】

【発明の効果】以上の如く、本発明の領域対応付け装置
および領域対応付け方法によれば、画像から閉領域が検
出され、閉領域の動きベクトルが検出されるとともに、
その動きベクトルに対応して移動した閉領域と、その閉
領域のフレームに隣接するフレームの閉領域との重なり
具合を表す重複率が算出され、その重複率に基づいて、
隣接するフレームにおける閉領域どうしが対応付けられ
る。従って、同一物体に対応する閉領域を、複数フレー
ムに亘って、正確に対応付けることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の一実施例の構
成を示すブロック図である。

【図２】図１の領域追跡装置１０の動作の概要を説明す
るための図である。

【図３】図１の領域追跡装置１０の構成例を示すブロッ
ク図である。

【図４】図３の領域特性値計算回路２４の動作を説明す
るフローチャートである。

【図５】図３の囲繞エッジ検出回路２７の動作を説明す
るフローチャートである。

【図６】図５のステップＳ１１におけるマップ画像の生
成処理を説明するための図である。

【図７】図５のステップＳ１６の処理を説明するための
図である。

【図８】囲繞エッジ情報を示す図である。

【図９】図３の囲繞エッジ対応回路３９の動作を説明す
るフローチャートである。

【図１０】図３の動き検出回路２９の動作を説明するフ
ローチャートである。

【図１１】図３の動き検出回路２９の動作を説明するフ
ローチャートである。

【図１２】図３の最尤領域評価回路３１の動作を説明す
るフローチャートである。

【図１３】図３のフレーム間対応グループ生成回路３５
の動作を説明するフローチャートである。

【図１４】図１３のステップＳ９７におけるトレース処
理を説明するためのフローチャートである。

【図１５】図１３のステップＳ１０１における未対応領
域処理を説明するためのフローチャートである。

【図１６】従来の領域追跡装置の一例の構成を示すブロ
ック図である。

【図１７】図１６の領域分割回路４１で検出される閉領
域を示す図である。

【図１８】図１６の平均ベクトル計算回路４４の処理を
説明するための図である。

【図１９】図１６の領域追跡装置の出力を説明するため
の図である。

【図２０】オプティカルフロー方式を説明するための図
である。

【符号の説明】１特徴点検出回路（特徴点検出手段）２エッジ追跡回路（エッジ対応付け手段）４領域分割回路（閉領域検出手段）５領域追跡回路１０領域追跡装置２４領域特性値計算回路（特性値算出手段）２７囲繞エッジ検出回路（統計値算出手段）２９動き検出回路（重複率算出手段）３０囲繞エッジ対応回路（対応関係検出手段）３１最尤領域評価回路（第１の対応付け手段）３５フレーム間対応グループ生成回路（第２の対応付
け手段）３６領域ラベル付け回路（ラベル置き換え手段）

Claims

【特許請求の範囲】

【請求項１】複数フレームに亘る画像の中の閉領域ど
うしを対応付ける領域対応付け装置であって、画像から閉領域を検出する閉領域検出手段と、前記閉領域検出手段により検出された前記閉領域の動き
ベクトルを検出するとともに、その動きベクトルに対応
して移動した前記閉領域と、その閉領域のフレームに隣
接するフレームの閉領域との重なり具合を表す重複率を
算出する重複率算出手段と、前記重複率算出手段により算出された前記重複率に基づ
いて、隣接するフレームにおける前記閉領域どうしを対
応付ける第１の対応付け手段とを備えることを特徴とす
る領域対応付け装置。
【請求項２】前記第１の対応付け手段の対応付け結果
に基づいて、３フレーム以上に亘る前記閉領域どうしを
対応付ける第２の対応付け手段をさらに備えることを特
徴とする請求項１に記載の領域対応付け装置。
【請求項３】前記画像から、特徴点を検出する特徴点
検出手段と、隣接するフレームにおける前記閉領域どうしの対応関係
を、前記特徴点に基づいて検出する対応関係検出手段と
をさらに備え、前記第１の対応付け手段は、前記対応関係検出手段によ
り検出された前記対応関係にも基づいて、隣接するフレ
ームにおける前記閉領域どうしを対応付けることを特徴
とする請求項１に記載の領域対応付け装置。
【請求項４】前記閉領域を囲む前記特徴点に関する統
計値を算出する統計値算出手段をさらに備え、前記対応関係検出手段は、前記統計値に基づいて、前記
対応関係を検出することを特徴とする請求項３に記載の
領域対応付け装置。
【請求項５】前記特徴点検出手段により検出された前
記特徴点の１つのまとまりをエッジというとき、前記統計値算出手段は、前記閉領域の境界を構成する画素である境界画素を検出
し、前記境界画素から最も近い位置にある前記エッジを検出
し、前記エッジを検出した回数と、前記閉領域の境界を構成
する境界画素の数との比を、そのエッジが前記閉領域を
囲む度合いを表す囲繞率として算出し、前記囲繞率を、前記統計値として出力することを特徴と
する請求項４に記載の領域対応付け装置。
【請求項６】前記エッジを、複数フレームに亘って対
応付けるエッジ対応付け手段をさらに備え、前記対応関係検出手段は、隣接する２つのフレームそれ
ぞれから、前記エッジ対応付け手段により対応付けられ
た前記エッジに囲まれる２つの前記閉領域を検出し、検出された２つの前記閉領域についての前記エッジの囲
繞率に基づいて、その２つの前記閉領域どうしの対応関
係を検出することを特徴とする請求項５に記載の領域対
応付け装置。
【請求項７】前記閉領域の特性値を算出する特性値算
出手段をさらに備え、前記第１の対応付け手段は、前記特性値算出手段により
算出された前記特性値にも基づいて、隣接するフレーム
における前記閉領域どうしを対応付けることを特徴とす
る請求項１に記載の領域対応付け装置。
【請求項８】前記特性値算出手段は、前記閉領域内に
存在する画素すべての画素値を用いて、前記特性値を算
出することを特徴とする請求項７に記載の領域対応付け
装置。
【請求項９】前記特性値算出手段は、前記閉領域の画素の画素値に対し、その画素の位置に対
応した重み付けを行い、その重み付けを行った画素値の平均値または分散の少な
くとも一方を、前記特性値として算出することを特徴と
する請求項８に記載の領域対応付け装置。
【請求項１０】前記重複率算出手段は、所定の範囲のベクトルを順次発生し、そのベクトルに対応して、前記閉領域を移動して移動閉
領域とし、前記閉領域のフレームに隣接するフレームにおける閉領
域のうち、前記移動閉領域との重複部分が最も大きいも
のである最大重複閉領域を検出し、前記最大重複閉領域に対する前記移動閉領域の前記重複
率を算出し、前記所定の範囲のベクトルのうち、所定値以上の前記重
複率を与えるものを、前記動きベクトルとすることを特
徴とする請求項１に記載の領域対応付け装置。
【請求項１１】前記第１の対応付け手段は、隣接する
フレームにおいて対応付けのなされた前記閉領域の組が
所定数以下であるとき、そのフレーム間でシーンチェン
ジがなされた旨を示すシーンチェンジ信号を出力し、前記第２の対応付け手段は、前記第１の対応付け手段か
ら前記シーンチェンジ信号が出力されてから、次のシー
ンチェンジ信号が出力されるまでの間のフレームに亘っ
て、前記閉領域どうしを対応付けることを特徴とする請
求項２に記載の領域対応付け装置。
【請求項１２】前記第２の対応付け手段は、前記第１
の対応付け手段により対応付けられた隣接するフレーム
における前記閉領域を順次辿っていき、その辿った閉領
域を１つのグループとして対応付け、そのグループを構
成する閉領域すべてに、同一の所定のグループ番号を割
り当てることを特徴とする請求項２に記載の領域対応付
け装置。
【請求項１３】前記閉領域検出手段により検出された
前記閉領域には、各閉領域を識別するためのラベルが付
されており、前記第２の対応付け手段により対応付けられた閉領域
に、同一のラベルが割り当てられるように、前記閉領域
に付されたラベルを置き換えるラベル置き換え手段をさ
らに備えることを特徴とする請求項２に記載の領域対応
付け装置。
【請求項１４】複数フレームに亘る画像の中の閉領域
どうしを対応付ける領域対応付け方法であって、画像から閉領域を検出し、前記閉領域の動きベクトルを検出するとともに、その動
きベクトルに対応して移動した前記閉領域と、その閉領
域のフレームに隣接するフレームの閉領域との重なり具
合を表す重複率を算出し、その重複率に基づいて、隣接するフレームにおける前記
閉領域どうしを対応付けることを特徴とする領域対応付
け方法。