JPH11510351A

JPH11510351A - Apparatus and method for object tracking

Info

Publication number: JPH11510351A
Application number: JP9508279A
Authority: JP
Inventors: スピーゲル，ユード; パスター，ヨゼフ
Original assignee: スピーゲル，ユード; パスター，ヨゼフ
Priority date: 1995-08-04
Filing date: 1996-08-02
Publication date: 1999-09-07
Also published as: WO1997006631A3; IL114839A0; CA2228619A1; EP0880852A2; WO1997006631A2; AU6530396A

Abstract

(57)【要約】境界（７０）を持ちかつ事象の少なくとも一部の間において存在しない少なくとも１つのエッジ部を持つ少なくとも１つの動オブジェクト（１０）を含む事象の表示を受取ること、および事象の間においてオブジェクトの境界（７０）の場所の継続中の表示を提供すること、を含む追跡方法。 (57) Abstract: Receiving an indication of an event including at least one moving object (10) having a boundary (70) and having at least one edge not present during at least a portion of the event; Providing an ongoing indication of the location of the object boundary (70) between them.

Description

【発明の詳細な説明】オブジェクト追跡の装置および方法発明の分野本発明は、イメージ処理システムに関し、特にオブジェクトの識別および追跡システムに関する。発明の背景Ｋｏｙａｍａ等の米国特許第５，３３３，２１３号は、動くオブジェクトのイメージを動的イメージで抽出するイメージ領域抽出のための方法および装置を記載している。Ｂｅｒｇｅｎ等の米国特許第５，０６７，０１４号は、順次のイメージ・フレームにおける２つの運動を分析するための技法を記載している。Ａｂｅの米国特許第５，１３４，４７２号は、動くオブジェクトの検出のための方法および装置を記載している。公告済みヨーロッパ特許出願第ＥＰ０５３２８２３Ａ２号は、イメージを分割する方法を記載している。Ｍａｅｄａの米国特許第５，２７４，４５３号は、複数のイメージを組合わせるためマスク情報を用いるイメージ処理システムを記載している。Ｂｌａｎｋの米国特許第５，３４５，３１３号は、バックグラウンドを取込み、イメージの一部をバックグラウンドに挿入するイメージ編集システムを記載している。Ａｌｖｅｓ等の米国特許第５，０９３，８６９号は、高レベルの図形突合わせを含むパターン認識装置を記載している。イメージ処理に役立つ数学的方法については、下記の文献に記載されている。即ち、Ｄ．Ｋ．ＢａｌｌａｒｄおよびＣ．Ｍ．Ｂｒｏｗｎの「コンピュータの展望（ＣｏｍｐｕｔｃｒＶｉｓｉｏｎ）」（Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ、１９８２年）、ＣＲＴ．ｄｅＢｏｏｒの「スプライン曲線に対する実用ガイド（ＡＰｒａｃｔｉｃａｌＧｕｉｄｅｔｏＳｐｌｉｎｅｓ）」（ＮｅｗＹｏｒｋ，Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ、１９７８年）、Ｐ．Ｊ．Ｓｃｈｎｅｉｄｅｒの「ディジタル化された曲線を自動的に適合させるためのアルゴリズム（Ａｎａｌｇｏｒｉｔｈｍｆｏｒａｕｔｏｍａｔｉｃａｌｌｙｆｉｔｔｉｎｇｄｉｇｉｔｉｚｅｄｃｕｒｖｅｓ）」（ＧｒａｐｈｉｃＧＥＭｓＩ，ＡｃａｄｅｍｉｃＰｒｅｓｓ，Ｉｎｃ．）、Ｓ．Ｔ．ＢａｒｎａｒｄおよびＷ．Ｂ．Ｔｈｏｍｐｓｏｎの「イメージのディスパリティ分析（Ｄｉｓｐａｒｉｔｙａｎａｌｙｓｉｓｏｆｉｍａｇｅｓ）」（ＩＥＥＥｔｒａｎｓａｃｔｉｏｎｓｏｎｐａｔｔｅｒｎａｎａｌｙｓｉｓａｎｄｍａｃｈｉｎｅｉｎｔｅｌｌｉｇｅｎｃｅ）ＰＡＭＩ−２、第４号、１９８０年７月）、Ｙｕ−ＩｃｈｉＯｈｔａ、ＴａｋｅｏＫａｎｄａおよびＴ．Ｓａｋａｉの「領域分割のためのカラー情報（ＣｏｌｏｒＩｎｆｏｒｍａｔｉｏｎｆｏｒＲｅｇｉｏｎＳｅｇｍｅｎｔａｔｉｏｎ）」（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓａｎｄＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ、１３，２２２２４１、１９８０年）、ＹｉｊａＬｉｎ、ＪｉｑｉｎｇＤｏｕおよびＥｒｙｉＺｈａｎｇの「木構造に基くエッジ表現（Ｅｄｇｅｅｘｐｒｅｓｓｉｏｎｂａｓｅｄｏｎｔｒｅｅｓｔｒｕｃｔｕｒｅ）」（ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、第２５巻、第５部、５０７〜５１７ページ、１９９２年）、Ｇ．Ｇ．ＰｉｅｒｏｎｉおよびＭ．Ｆ．Ｃｏｓｔａｂｉｌｅの「一連の修飾形状における対応を検出する方法（Ａｍｅｔｈｏｄｆｏｒｄｅｔｅｃｔｉｎｇｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓｉｎａｓｅｑｕｅｎｃｅｏｆｍｏｄｉｆｙｉｎｇｓｈａｐｅｓ）」（ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＬｅｔｔｅｒｓ３、１９８５年）、およびＲ．Ｎ．ＳｔｒｉｃｋｌａｎｄおよびＺｕｈｕａＭａｏの「一連の非構造的形状における対応の計算（ＣｏｍｐｕｔｉｎｇＣｏｒｒｅｓｐｏｎｄｅｎｃｅｓｉｎａｓｅｑｕｅｎｃｅｏｆｎｏｎ−ｒｉｇｉｄｓｈａｐｅｓ）」（ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、第２５巻、第９部、９０１〜９１２ページ、１９９２年）。全ての上記文献およびその中の全ての引用の開示内容は、参考のため本文に援用される。本明細書で述べた全ての公刊およびその中の全ての引用の開示内容もまた、参考のため本文に援用される。発明の概要本発明は、改善されたオブジェクト識別および追跡システムの提供を目的とする。このため、本発明の望ましい実施の形態によれば、境界を持ちかつ事象の少なくとも一部において存在しない少なくとも１つのエッジ部分を持つ少なくとも１つの動オブジェクトを含む事象の表示を受取り、事象の期間中オブジェクトの境界の場所の継続中の表示を提供することを含む追跡方法が提供される。更に本発明の望ましい実施の形態によれば、前記表示はビデオ表示を含む。本発明の更に他の望ましい実施の形態によれば、エッジ部分は境界の一部を含む。更にまた本発明の望ましい実施の形態によれば、当該方法は、少なくとも１つの欠落するエッジ部分を再構成することをも含む。また、本発明の別の望ましい実施の形態によれば、境界を持つ少なくとも１つの動オブジェクトを含む事象の表示を受取り、事象の期間中オブジェクトの境界の場所の継続中の表示を提供することを含む追跡方法が提供される。更に、本発明の別の望ましい実施の形態によれば、一連のフレームに現れる少なくとも１つの動オブジェクトを追跡するエッジ追跡方法が提供され、当該方法は、前記一連のフレーム内の少なくとも１つの主（キー）フレームについては、少なくとも部分的に外部入力に基く少なくとも１つの動オブジェクトの少なくとも１つのエッジをマークし、少なくとも１つの主フレーム以外の一連のフレーム内の全てのフレームについては、第１のマーキング・ステップからの出力に基く少なくとも１つの動オブジェクトの少なくとも１つのエッジを自動的にマークすることを含む。更に、本発明の望ましい実施の形態によれば、当該方法は、外部入力に基いて前記の自動的にマークされた少なくとも１つのエッジを少なくとも一度再マークすることも含む。更にまた、本発明の望ましい実施の形態によれば、外部入力は人間のオペレータ入力を含む。更に、本発明の望ましい実施の形態によれば、少なくとも１つのエッジはエッジを検出することなくマークされる。更に、本発明の望ましい実施の形態によれば、前記の少なくとも１つの主フレームは、一連のフレーム内の全ての他のフレームに先行する一連のフレームを含む。更に、本発明の望ましい実施の形態によれば、前記の少なくとも１つの主フレームは、一連のフレーム内の全ての他のフレームに続く一連のフレームを含む。更にまた、本発明の望ましい実施の形態によれば、前記の少なくとも１つの主フレームは、前記一連のフレーム内の少なくとも１つの他のフレームに先行しかつ当該一連のフレーム内の少なくとも１つの他のフレームに続く一連のフレームを含む。また、本発明の他の望ましい実施の形態によれば、複数の接続したエッジを１つの図形に構成するためのエッジ構成方法が提供され、当該方法は、複数の接続されたエッジを提供し、この複数の接続されたエッジを選択される方向に移行させ、前記複数の接続されたエッジを分岐リストとノード・リストとを含む図形へ構成することを含み、前記ノード・リストは選択される方向とは独立的である。更に本発明の望ましい実施の形態によれば、ノード・リストはエッジ接合リストを含む。更にまた、本発明の望ましい実施の形態によれば、ノード・リストはエッジ終端点リストを含む。更に、本発明の望ましい実施の形態によれば、ノード・リストはエッジ・コーナー・リストを含む。更にまた、本発明の望ましい実施の形態によれば、ノード・リストは曲率リストを含む。更に、本発明の望ましい実施の形態によれば、前記複数の接続されたエッジは複数のピクセルを含み、前記移行ステップは、その時のピクセルを指定し、その時のピクセルと関連する少なくとも１つの可視ピクセルを識別し、少なくとも部分的に識別された可視部分の数に基くその時の部分を分類することを含む。更にまた、本発明の望ましい実施の形態によれば、前記識別ステップは、ブラインド・ストリップ（ｂｌｉｎｄｓｔｒｉｐ）を定義し、このブラインド・ストリップと関連する少なくとも１つのピクセルを可視ピクセルとして除外することを含む。更にまた、本発明の望ましい実施の形態によれば、前記の除外ステップは、少なくとも１つの可視ピクセルがブラインド・ストリップと関連しない時は常に、ブラインド・ストリップと関連する全てのピクセルを可視ピクセルとして除外することを含む。また、本発明の別の望ましい実施の形態によれば、動オブジェクトの境界を追跡する方法が提供され、当該方法は、第１のイメージにおいて追跡されるべき複数の境界の場所を選択し、前記複数の境界場所の少なくとも一部を第１のイメージから第２のイメージへ追跡し、追跡ステップの出力に基きかつ第１のイメージにおける境界を特徴とする情報に基き第２のイメージにおける境界を計算することを含む。更に、本発明の望ましい実施の形態によれば、前記複数の境界場所の少なくとも１つは、少なくとも１つの境界の特性が変化する場所を含む。更にまた、本発明の望ましい実施の形態によれば、前記境界特性は境界に隣接する少なくとも１つのカラーを含む。更に、本発明の望ましい実施の形態によれば、前記追跡は、第１のイメージから第２のイメージへ追跡される時、他の隣接境界場所とは異なって運動することが見出される境界場所を無視することを含む。更にまた、本発明の望ましい実施の形態によれば、前記計算ステップは、第１のイメージにおける複数の境界場所の各々が第２のイメージにおける複数の境界場所の対応する１つへ変換されるように、第１のイメージにおける境界を変換することを含む。更に本発明の望ましい実施の形態によれば、当該方法はまた、第２のイメージにおいて計算される如き境界に隣接して探索することにより、第２のイメージにおける実際の境界を識別することを含む。更にまた、本発明の望ましい実施の形態によれば、実際の境界が、実際の境界の隣接カラーが第１のイメージにおける境界の隣接カラーに類似するか否かに従って識別される。更に本発明の望ましい実施の形態によれば、出力境界は、識別されたならば実際の境界として、また実際の境界が識別されなければ、第２のイメージにおいて計算される如き境界として定義される。更にまた、本発明の望ましい実施の形態によれば、一方で実際の境界が識別された場合、実際の境界と一部で一致する第１の出力境界が定義され、他方で実際の境界が識別されなかった場合は、第２のイメージにおいて計算された如き境界と一部で一致する第１の出力境界が定義される。更に、本発明の望ましい実施の形態によれば、当該方法はまた、第１の出力境界に隣接して探索することにより、第２のイメージにおける新たな実際の境界を識別し、新たな実際の境界が識別された場合、一方でこの新たな実際の境界と一部で一致する新たな出力境界を定義し、新たな実際の境界が識別されなかった場合は、他方で第１の出力境界と一部で一致する新たな出力境界を定義することを含む。更にまた、本発明の望ましい実施の形態によれば、前記変換ステップは、第１のイメージにおける複数の境界場所の各々が第２のイメージにおける複数の境界場所の対応する１つへ変換されるように、第１のイメージにおける境界のスプライン表示を変換することを含む。更に本発明の望ましい実施の形態によれば、当該方法はまた、第１の視野から見える第１のイメージを提供し、異なる視野から見える第２のイメージを提供することを含む。更にまた、本発明の望ましい実施の形態によれば、当該方法はまた、各々が運動する動オブジェクトと動的なバックグラウンドとの少なくとも一方を含む第１および第２のイメージを提供することを含む。更にまた、本発明の望ましい実施の形態によれば、前記自動的なマーキング・ステップは、第１のマーキング・ステップからの出力に基いて少なくとも１つの動オブジェクトの全てのエッジを自動的にマーキングすることを含む。また、本発明の別の望ましい実施の形態によれば、境界を持ち事象の少なくとも一部において存在しない少なくとも１つのエッジ部分を持つ少なくとも１つの動オブジェクトを含む事象の表示を受取るように動作する事象入力装置と、事象の期間中オブジェクトの境界の場所の継続中の表示を提供するよう動作する境界ロケータとを含む追跡装置が提供される。また、本発明の望ましい実施の形態によれば、一連のフレームに現れる少なくとも１つの動オブジェクトを追跡するためのエッジ追跡装置が提供され、当該装置は、前記一連のフレーム内の少なくとも１つの主フレームについては、少なくとも部分的に外部入力に基く少なくとも１つの動オブジェクトの少なくとも１つのエッジをマークするように動作するエッジ・マーカと、前記少なくとも１つの主フレーム以外の前記一連のフレーム内の全てのフレームについては、第１のマーキング・ステップからの出力に基く少なくとも１つの動オブジェクトの少なくとも１つのエッジを自動的にマークするよう動作する自動エッジ・マーカとを含む。また、本発明の望ましい実施の形態によれば、複数の接続されたエッジを図形に構成するエッジ構成装置が提供され、当該装置は、選択された方向に複数の接続されたエッジを移行するように動作するエッジ・トラバーサと、複数の接続されたエッジを分岐リストとノード・リストとを含む図形へ構成するよう動作する図形ストラクチャラとを含み、ここでノード・リストは選択された方向とは独立的である。また、本発明の別の望ましい実施の形態によれば、動オブジェクトの境界を追跡する装置が提供され、当該装置は、第１のイメージにおいて追跡されるべき複数の境界場所を選択するよう動作する境界セレクタと、第１のイメージから第２のイメージへ複数の境界場所の少なくとも一部を追跡するよう動作する境界トラッカと、前記境界トラッカの出力に基き、かつ第１のイメージにおける境界を特徴付ける情報に基き第２のイメージにおける境界を計算するよう動作する境界計算装置とを含む。また、本発明の別の望ましい実施の形態によれば、境界を持つ少なくとも１つの動オブジェクトを含む事象の表示を受取るよう動作する事象入力装置と、事象の期間中オブジェクトの境界の場所の継続中の表示を提供するよう動作する境界ロケータとを含む追跡装置が提供される。更に、本発明の望ましい実施の形態によれば、方法が、境界の異なる側に異なって印加される効果を生成することをも含む。更にまた、本発明の望ましい実施の形態によれば、方法が、少なくとも１つのエッジの異なる側に異なって印加される効果を生成することをも含む。更に、本発明の望ましい実施の形態によれば、前記効果は、動オブジェクトの一部により決定される場所で行われる効果を含む。また、本発明の別の望ましい実施の形態によれば、境界を持つ少なくとも１つの動オブジェクトを含む事象の複数のフレームを含む表示を受取り、事象の期間中動オブジェクトの境界の場所を計算し、境界の異なる側に異なって印加される効果を生成し、境界の個々の表示を以前に表示することなく前記効果を印加する結果を表示することを含むイメージ修正方法もまた提供される。更に本発明の望ましい実施の形態によれば、効果を生じるステップは、自動マーキング・ステップが逐次のフレームに対して行われた後に、複数のフレームを含む一連のフレーム内の逐次フレームにおいて行われる。更にまた、本発明の望ましい実施の形態によれば、効果を生じるステップは、自動マーキング・ステップが個々のフレームに対して行われた後に、一連のフレームからの個々のフレームにおいて行われる。更に本発明の望ましい実施の形態によれば、前記効果は、逐次フレームに対して効果が生成される前に、個々のフレームに対して生成され表示される。更に本発明の望ましい実施の形態によれば、前記効果は、フレーム間にユーザ入力を期待することなく、複数の個々のフレームの全てに対して表示される。更に本発明の望ましい実施の形態によれば、境界を持つ少なくとも１つの動オブジェクトを含む事象の複数のフレームを含む表示を受取り、事象の期間中に動オブジェクトの境界の場所を計算し、境界の個々の表示を以前に表示することなく、事象の期間中に動オブジェクトの場所のユーザが検知し得る表示を提供することを含むイメージ・マーキング方法が提供される。更にまた、本発明の望ましい実施の形態によれば、前記効果は、下記の効果のグループ、即ち、複合化、レタッチ、平滑化、圧縮、複合化、ペインティング、ぼかし（ｂｌｕｒｒｉｎｇ）、鮮鋭化、フィルタ操作、およびエッジの異なる側において時間的に異なる速度で変化する効果、の１つを含む。更に本発明の望ましい実施の形態によれば、前記事象は、複数の動的ホットスポット・オブジェクトを含み、前記提供ステップは、事象の期間中に前記複数の動的ホットスポット・オブジェクトの各々の境界の場所の継続中の表示を提供することを含む。更に本発明の望ましい実施の形態によれば、当該方法はまた、前記複数の動的ホットスポット・オブジェクトの各個のユーザの選択を解釈するためホットスポット・オブジェクトの各々の境界の場所の継続中の表示を用いるステップと、ユーザにより選択された個々の動的ホットスポット・オブジェクトに関する情報を表示するステップとを含む。更にまた、本発明の望ましい実施の形態によれば、前記動オブジェクトは、比較的大きなオブジェクトの一部である。図面の簡単な説明本発明については、図面に関して以降の詳細な記述を参照すれば理解されるであろう。図１は、本発明の望ましい実施の形態に従って構成され動作する動オブジェクト処理システムの簡単な全体ブロック図、図２Ａは、一連のフレームからの少なくとも１つの主（キー）フレームにおける関心オブジェクトの境界を識別し、一連のフレームからの残りのフレームにおける境界をマーキングする対話的プロセスの簡単なフローチャート、図２Ｂないし図２Ｆは、図２Ａのステップ１１５、１３０、１４０、１５０の方法に従っておおまかなマーキング例の簡単な描写図、図２Ｇは、少なくとも１つの主フレームが一連のフレームにおける第１のフレームのみを含む図１のプロセスの簡単なフローチャート、図３Ａは、図２Ａの方法を実施するため、図１の動オブジェクトの境界トラッカ７０の如き装置の簡単なブロック図、図３Ｂないし図３Ｄは、内側接合、外側接合および閉塞を示す簡単な描写図、図３Ｅおよび図３Ｆは、図３Ａのステップ３７０の動作の一部を示す簡単な描写図、図４は、少なくとも１つの主フレームが一連のフレームにおける第１のフレームを含む図２Ｇのプロセスを実施するための図１の動オブジェクトの境界トラッカ７０の如き装置の簡単なブロック図、図５は、境界が正確に識別される図３Ａの装置の修正の簡単なブロック図、図６は、境界が正確に識別される図４の装置の修正の簡単なブロック図、図７は、主でないフレームにおける境界の場所を予期するよう動作する図５の装置の修正の簡単なブロック図、図８は、主でないフレームにおける境界の場所を予期するように動作する図６の装置の修正の簡単なブロック図、図９は、図３Ａおよび図４ないし図８の事前処理動作を行う第１の代替的サブシステムの簡単なブロック図、図１０は、図３Ａおよび図４ないし図８の構成要素マッピング・ユニットの簡単なブロック図、図１１Ａは、図１０のユニット１５５０および１５６０の望ましい動作方法の簡単なブロック図、図１１Ｂおよび図１１Ｃは、図１１Ａの方法の理解に役立つ視覚領域の簡単な描写図、図１１Ｄないし図１１Ｈは、図１１Ａの方法の理解に役立つ複数のピクセルの簡単な描写図、図１１Ｉは、図１１Ａの方法により木が構成されるエッジの図の簡単な描写図、図１２は、図３Ａおよび図４ないし図８の特別点対応発見ブロックの簡単なブロック図、図１３は、図１２の特別点重み計算ユニット１７００に対する望ましい動作方法の簡単フローチャート、図１４は、図３Ａおよび図４の境界評価ブロックに対する望ましい動作方法の簡単フローチャート、図１５は、図３Ａおよび図４の境界評価ブロックに対する代替的な望ましい動作方法の簡単フローチャート、図１６は、図３Ａおよび図４ないし図８の境界およびマスク生成ユニットに対する望ましい動作方法の簡単フローチャート、図１７は、図３Ａ、図４、図５、図６、図７および図８の正確なオブジェクト境界記述ブロックに対する望ましい動作方法の簡単フローチャート、図１８は、図５のステップ５７０、５７２および５７４と図６のステップ６７０、６７２および６７４の望ましい動作方法の簡単フローチャート、図１９は、図１８のステップ２３４０の代替的な動作方法の簡単フローチャート、図２０は、図７および図８の方法において有効な予測方法の簡単フローチャート、図２１は、第１順位の予測の場合において図２０のステップを実施するための望ましい方法の簡単フローチャート、図２２は、第２順位の予測の場合において図２０のステップを実施するための望ましい方法の簡単フローチャート、図２３は、第３順位以上の予測の場合において図２０のステップを実施するための望ましい方法の簡単フローチャート、図２４は、図４の装置の修正の簡単なブロック図、図２５は、図８の装置の修正の簡単なブロック図、図２６は、図３Ａの装置の修正の簡単なブロック図、および図２７は、図７の装置の修正の簡単なブロック図である。望ましい実施の形態の詳細な記述まず、本発明の望ましい実施の形態により構成され動作する動オブジェクト処理システムの簡単な全体ブロック図である図１を参照する。用語「動オブジェクト」とは、本文では、ある時は静的でありまた他の時は動きのあるオブジェクトと共に、常に動きのあるオブジェクトを含むことを意図する。図１のシステムは、アニメーション、撮影イメージその他のビデオ・イメージの如き時間的に変動する一連のイメージを、適切なソースから、入力がアナログであるならばＡ／Ｄ装置を含む適切なビデオ・インターフェース１０を介して受取る。適切なビデオ・ソースは、例えば、ビデオ・カメラ２０、ネットワーク、ビデオ記憶装置３０（ビデオ・メモリ、ビデオ・ディスク、テープ、ＣＤ−ＲＯＭ、またはハード・ディスク）、あるいはフィルム・スキャナ４０を含む。当該システムは、ビデオ・メモリ５４と関連する処理装置５０を含む。この処理装置５０は、例えば、ビデオ機能を装備し適切なソフトウエアでプログラムされる任意の適切なコンピュータでよい。例えば、当技術において周知のように、ビデオＩ／Ｏカードを備えたＩＢＭ互換のペンティアムＰＣを使用することができる。あるいはまた、処理装置５０は、部分的あるいは完全に特注ハードウエアその他で実現することができる。処理装置５０は、グラフィックス描画装置６０（例えば、タブレットとスタイラス、あるいはマウス）の如き適切なユーザ入力装置から、初期フレームにおける少なくとも１つの動オブジェクトの少なくとも１つの初期境界の表示を受取る。あるいはまた、この表示は、初期フレーム以外に現れる時、動オブジェクトの境界となる。本文および請求の範囲において用いられる如き用語「フレーム」は、当技術で一般に理解される如きフレームを指し、あるいは当技術において一般に理解される如き１つのフレームが１つ以上のフィールドを含むインターレースされたビデオの場合には、当技術において一般に理解される如きフレームを含む任意のフィールドを指す。ユーザが境界表示（ここでは、「基準境界」と呼ぶ）を行う単数または複数のフレームは、本文では「主（キー）フレーム」と呼ばれる。主フレームは、例えば、オブジェクトの動きにおける変化により、あるいは別のオブジェクトによる閉鎖（ｏｃｃｌｕｓｉｏｎ）により、あるいは光条件の変化によって、動オブジェクトの外観の特性が変化するフレームとして選択される。主フレームまたは主でないフレームのいずれでも１つ以上の視野、例えば２つの異なる視野、あるいは１つの動く視野から見える複数のフレームを含むことが判る。フレームが、動オブジェクト、動バックグラウンド、あるいはその両方を示すフレームを含むことが判る。処理装置５０は、主フレームにおける境界の場所に基く主でないフレームを介して動オブジェクトの境界を追跡するよう動作する動オブジェクト境界トラッカ７０を含む。動オブジェクト境界トラッカ７０が、主でないフレームを通る任意の方向に、即ち、前方向、後方向、両端からの集束するよう、などで境界を追跡するよう動作することが望ましいことが判る。動オブジェクト境界トラッカ７０は、トラッカ７０が発見できなかった境界セグメントを加えることにより境界を完成するよう動作することが望ましい。これら境界セグメントは、ここでは「見えない境界セグメント」と呼ばれる。ユーザは、描画装置６０により主フレームまたは主でないフレームのいずれかを介して境界の追跡を対話的に補正する。動オブジェクト境界トラッカ７０の出力は、典型的に、イメージ・シーケンスのフレームのそれぞれに対する境界の場所の表示を含む。この境界場所の表示は、典型的に、境界では値「１」を持ち境界以外では値「０」を持つマスクを含む。境界場所の表示は、複数の用途装置の任意のものへ送られてこの装置により使用され、これにより、オペレータが、動オブジェクトを「フレーム単位で」、即ち各フレームごとに個々に処理しなければならないのではなく、全イメージ・シーケンスにおいて動オブジェクトを処理するために１つのコマンドを発行することを可能にする。同様に、全イメージ・シーケンスにおけるバックグラウンドの処理もまた、各フレームごとに個々に処理する必要なしに実施することができる。適切な用途装置の事例は、下記を含む。即ち、ａ．複数の「レイヤ」を含むビデオ・イメージを生成するよう動作するビデオ複合装置８０。ｂ．イメージ・シーケンスにおける少なくとも１つの動オブジェクトについて、動オブジェクトのフレーム単位のレタッチではなく、１ステップ・エンハンスメント、セグメンテーション、または特殊効果を実施するよう動作するイメージ・レタッチ装置９０。レタッチ操作は、カラーの変更、例えばノイズ低減の如きフィルタリング、鮮鋭化、あるいは他の種類のフィルタリング、および例えばタイリングの如き効果を含んでいる。あるいはまた、境界の場所は、例えば、ネットワークあるいはビデオ記憶装置３０などの他の場所へ送られる。ビデオ表示装置９５は、対話セッションを容易にする表示を行うことが望ましい。境界場所の表示は、例えば下記を含む種々の他の用途に対しても用いられると考えられる。即ち、ａ．ビデオ・レートの変換、あるいはビデオ規格の変換。ｂ．イメージにおける少なくとも１つの動オブジェクトが異なる方法で、典型的にはイメージの残りの部分より更に正確に圧縮されるイメージ圧縮。ｃ．通過する最適ルートを決定するために、遭遇したオブジェクトの境界が追跡される自動ナビゲーション用途の如き情景分析。次に、図１の動オブジェクト境界トラッカの対話的動作に対する簡単なフローチャートである図２Ａを参照する。図２Ａの方法においては、関心オブジェクトの境界は、一連のフレームからの少なくとも１つの主フレームにおいて識別され、フレームのシーケンスからの残りのフレームにおける境界をマークするために用いられる。ユーザは、下記の如き任意の適正な方法により境界を選択しあるいは局在化する。即ち、ａ．図２Ａ（ステップ１１５）に示されるように、例えば、グラフィックス描画装置６０と関連するスタイラスの如きタブレットのスタイラスにより操作されるブラシによる、関心オブジェクトの境界場所のおおまかな手動マーキング。次いで、当該システムは、おおまかなマーキング以内に複数の候補エッジを見出そうと試みる。これらの候補エッジは、それらから適切なエッジを選択するユーザに対して表示される。あるいはまた、例えば、下記の如き境界選択または局在化の方法が用いられる。即ち、ｂ．ユーザが、手動により正確な境界の場所をマークする。ｃ．境界の場所をマークするため、スプライン・ツールその他の曲線描画ツールがユーザにより用いられる。ｄ．ユーザは、矩形、前に用いた境界輪郭、あるいは他の予め定めた境界輪郭の如き境界輪郭のライブラリから１つの境界輪郭を選定する。ｅ．ユーザは、オブジェクトまたはバックグラウンドのいずれかを識別するため、色度キーまたはカラー・キーの如き当技術において周知のカラー選択方法を選定する如き別の境界の表示手段を用いる。次に、当該システムは、当技術において周知の方法を用いて選択部分と非選択部分との間の遷移を識別し、選択部分と非選択部分間の遷移を境界と見なす。ｆ．（ａ）ないし（ｅ）の任意の組合わせ（ｂ）ないし（ｄ）の場合は、システムは、望ましくはユーザの選択により、ユーザが選択したマーキングの全てまたは一部を囲むおおまかなマーキングを追加する。このプロセスの結果は、ケース（ａ）と類似のおおまかなマーキングであり、このおおまかなマーキングがケース（ａ）について先に述べたように用いられる。見えないエッジは、ユーザによって埋められることが望ましい。境界は、先のようにいったんマークされると、ユーザによって手動で修正できることが望ましい。当該システムは、主フレームにおけるマークされた境界の場所を見出し（ステップ１３０）、システムの応答に基いてユーザにマークされた境界の場所を修正する選択を与える（ステップ１４０および１５０）。次に、図２Ａのステップ１１５、１３０、１４０および１５０の方法によるおおまかなマーキングの事例の簡単な描写図である図２Ｂないし図２Ｆを参照する。図２ないし図２Ｆは、オプション（ａ）、おおまかな手動のマーキングを示す。図２Ｂないし図２Ｆは、典型的に図１のビデオ・ディスプレイ９５におけるステップ１１５、１３０、１４０および１５０の操作中にユーザに提示されることが望ましい表示を示している。図２Ｂは、実際のフレームを示す。望ましくは、図２Ｃないし図２Ｆにおいては、ユーザのマーク付けおよび修正を助けるため、図２Ｂの実際のフレームがバックグラウンドとして表示される。簡単にするため、前記バックグラウンドは図２Ｄないし図２Ｆでは示されない。図２Ｂは、複数のエッジ１１６を含む。エッジ１１６は、領域１２１、１２２、１２３、１２４および１２５の限界を含む。図２Ｂにおいて、領域１２１、１２２、１２３、１２４および１２５は異なるカラーであると見なされるが、一般に、異なる領域が異なるカラーである必要はないことが判る。関心領域１２１、１２３、１２３が一緒に１つの所望のオブジェクト１１７をなすところから、領域１２５はユーザにとって関心のあるものでないものとされ、領域１２１、１２２、１２３が関心領域である。領域１２４もまた、ユーザにとって関心のあるものではないと見なされる。図２Ｂないし図２Ｆの事例においては、領域は、閉じられたエッジにより、あるいはビデオ・ディスプレイ９５の終端により囲まれることにより画定される。図２Ｃにおいて、ユーザがおおまかなマーキング領域１２６をマークし、その限界がマーキング領域限界１２７により図２Ｃに示される。典型的には、ユーザがおおまかなマーキング領域１２６を例えばグラフィック描画装置６０によりマークする。あるいはまた、ユーザは、マーキング領域限界１２７をマークして、マーキング領域限界１２７間における領域１２６がおおまかなマーキング領域であることを示す。図２Ｄにおいて、おおまかなマーキング領域１２６内にない全てのエッジ１１６が図２Ａのステップ１３０により除去されている。おおまかなマーキング領域１２６が、関心のない領域１２４と共に、関心領域１２１、１２２、１２３とこれらを囲むエッジ１１６とを含むことが判る。図２Ｅには、おおまかなマーキング領域１２６内の残りのエッジが示される。エッジ１２８は所望のオブジェクト１１７に対して内側にあり、エッジ１２９および１３０が関心のない領域１２４を画定する。閉じられたエッジに基いて関心領域を画定するためには、領域１２４のエッジを開くことが望ましく、その結果領域１２４は所望のオブジェクト１１７の外側となる。典型的に、ステップ１４０のユーザ決定は、図２Ｅの表示に基いている。ステップ１５０の結果を示す図２Ｆにおいて、ユーザが、典型的にグラフィック描画装置６０を用いてエッジ１２９の一部を消去し、その結果領域１２４はこの時所望のオブジェクト１１７の外側にある。一般に、ユーザがエッジあるいはその部分の消去とエッジあるいはその部分の加筆を含む広範囲の修正を行えることが判る。ステップ１５５において、当該システムは、主フレームの境界の特質（品質）を学習する。境界の特質は、例えば、境界の長さ、平均的なカラーおよびカラーの変化を含む。境界の特質はまた、例えば、境界の速度および境界の加速度の如き境界の運動特質をも含み得る。ステップ１５５の方法については、図３Ａの装置に関して以下に更に詳細に説明する。主でないフレームは、ステップ１９０において入力される。システムは、次に、主でないフレームにおいて、主フレームにマークされた境界を識別（ステップ１６０）するため進行する。このステップでは、システムは、既に処理された他のフレームの処理から得た情報を任意に利用する。当該システムが、典型的には既に処理された他のフレームからの情報に基いて、関心領域（ＲＯＩ）として前に処理されたフレームにおけるオブジェクトの境界周囲の領域を識別することにより、境界が見出されると予期される領域と見なされる特定のＲＯＩのみにおける境界を探すことが望ましい。ステップ１６０の方法については、図３Ａの装置に関して以下に更に詳細に述べる。ステップ１６０における境界出力がステップ１５５へ戻され、ここで境界が図２Ａの方法の更なる反復において主フレームの境界として処理されることが判る。ユーザがステップ１６０においてシステムにより見出された主でないフレームにおけるオブジェクトの境界が充分に良好でないことを判定する（ステップ１７０）ならば、ユーザは、これらの境界を直接修正することができ（ステップ１８０）、あるいは更に多くのフレームあるいは異なるフレームを主フレームとして定義して、新たな主フレームのセットの基準境界に基いてシステムを再実行するように決定することができる。典型的には、ステップ１８０において、ユーザは図２Ｅおよび図２Ｆに関して先に述べたものと類似する表示および修正の選択が与えられる。あるいはまた、ユーザは、図２Ａのステップ１１５に関して述べた如き任意の他の方法を用いることができる。ユーザは、イメージ・シーケンス全体に対して１回だけ、あるいはこのイメージ・シーケンスの境界マーキングのプロセス内でユーザおよび（または）システムにより決定される１つ以上の中間点で、ステップ１７０の判定「充分に良好か？」が提示される。ユーザは、イメージ・シーケンスの各フレームに関して、あるいはイメージ・シーケンスの一部のフレームのみに関して、判定「充分に良好か？」を行うことができる。図２Ａの方法の操作全体にわたり、ステップ１１０、１５０、１８０を含むユーザ入力を含む任意のステップにおいてシステムの動作を修正しあるいは訂正するため、ユーザが付加的な入力を行えることが判る。図２Ｇは、１つのフレーム・シーケンスにおける最初のフレームが唯一の主フレームとして最初に選択され、処理が全てのフレームについて続行する図２Ａのフローチャートの特別な場合である。図２Ｇのステップは、下記のことを除いて図２Ａの先の説明に照らして自明である。ステップ２１０において、システムは、唯一のフレームあるいは一連の逐次フレームを入力する。一連のフレームが入力される場合は、ステップ２２０、２３０、２４０および２５０がこの一連のフレームを一時に１つのフレームずつ処理する。ステップ２５５において、システムは、その時のフレームの境界特質を学習する。任意に、一連のフレームの境界特質は、例えば、境界長さ、平均カラー、およびカラー変化として学習される。このようなフレーム・シーケンスは、ステップ２１０において入力され、あるいはステップ２５５において複数のフレームが処理される時に組込まれる。一連のフレームが処理される場合は、境界の特質は、例えば、境界の速度、境界の加速度の如き境界の運動の特質をも含む。ステップ２５５の方法については、図４の装置に関して以下に更に詳細に説明する。ステップ２９０において、次のフレームが入力される。システムは、ステップ２５５において学習された境界の特質に関してステップ２６０において次のフレームの境界を見出す。ステップ１６０に関して先に述べたように、ステップ２６０の動作は、前のフレームにおけるオブジェクトの動作に基いて画定されたＲＯＩに限定されることが望ましい。ステップ２６０の動作は更に、図４の装置に関して以下に更に詳細に述べる。ステップ２７５後に最後のフレームに達すると、処理はステップ２５５に続く。次に、図２Ａの方法の実施のため、図１の動オブジェクト境界トラッカ７０の如き装置の簡単なブロック図である図３Ａを参照する。図２Ａのステップは、図３Ａにおける下記ユニットにより行われる。即ち、ステップ１１０ユニット３１０ステップ１１５ユニット３２０ステップ１３０ユニット３３０および３４０ステップ１４０ユニット３３５ステップ１５０ユニット３２０ステップ１９０ユニット３５５ステップ１５５ユニット３５０および３８０ステップ１６０ユニット３３０、３４０、３６０および３７０ステップ１７０ユニット３７９ステップ１８０ユニット３２０事前処理ユニット３３０において、図９に関して以下に更に詳細に述べるように、主フレームおよび主でないフレームを含む各フレームにおけるエッジが検出され、残りのステップを容易にするように修正されることが望ましい。成分マッピング・ユニット３４０において、図１０に関して以下に更に述べるように事前処理ユニット３３０により見出されたエッジがトレースされ、データ構造がエッジを示すために生成される。この構造は、典型的に、各分岐がエッジを含み、各ノードが例えば接続点の如き「特別点」を含むエッジ木の森を含む。特別点はまた、エッジが接続点およびエッジのコーナーに接続されるかどうかに拘わらず、例えば、１つのエッジにおける終端点を含んでいる。当該明細書および請求の範囲にわたり使用される如き用語「木」は、ループ即ち既に達した接続点へ戻る経路を含む木を含む。当技術において周知のように、この種類の木は図形としても示すことができることが判る。このため、１つの木において実施されると本文に述べる全ての動作は、対応する図形において実施することができる。当該明細書および請求の範囲にわたり用いられる如き用語「図形」と「木」は、それぞれ、図形と木の両方の表示を含むことが意図される。用語「森」は、明細書および請求の範囲にわたり木の集まりを指すべく用いられる。１つの図形が木の集まりを表わし得、このため、森が１つの図形または１つ以上の図形を含み得ることが判る。オブジェクトを追跡する時、特別点が内側の接続点である、即ち、オブジェクトに対して内側であるか境界の内側にある接続点であると見なされる。１つのオブジェクトが別のオブジェクトを閉鎖する場合、追跡する外側の接続点が望ましく、あるいはまた、複数の部分的に閉鎖するオブジェクトの正確な位置に応じて、内側と外側の接続点あるいは他の特別点の組合わせが追跡される。次に、内側の接続点、外側の接続点および閉鎖を示す簡単な描写図である図３Ｂないし図３Ｄを更に参照する。図３Ｂは、追跡されるオブジェクト３４１と第２のオブジェクト３４２とを含んでいる。追跡されるオブジェクト３４１は、内側接続点３４３、３４４と外側接続点３４５とを有する。第２のオブジェクト３４２は、内側の接続点３４６を有する。図３Ｂに示される接続点に加えて他の接続点があることが判る。先に述べたように、特別点が内側の接続点であると見なされることが望ましい。図３Ｃにおいて、追跡されるオブジェクト３４１と第２のオブジェクト３４２とが、相互に近づくよう移動して、その結果第２のオブジェクト３４２が追跡されるオブジェクト３４１を部分的に閉鎖する。図３Ｃから、図３Ｂでは見える内側の接続点３４４が追跡されるオブジェクト３４１の部分的な閉鎖のため図３Ｃにおいては見えないことが判る。更に、新たな外側の接続点３４７と３４８とがこの部分的な閉鎖によって生成される。更にまた、図３Ｃにおいて、接続点３４６がこの時部分的な閉鎖により追跡されるオブジェクト３４１の外側の接続点であることが判る。従って、部分的な閉鎖の場合、外側の接続点をも特別点として見なすことが望ましいことが判る。図３Ｄにおいて、追跡されるオブジェクト３４１および第２のオブジェクト３４２は、相互に更に近づくように移動し、その結果閉鎖の程度がより大きくなる。図３Ｄにおいて、新たな外側接続点３４７、３４８と外側接続点３４６が依然として存在し、その結果接続点３４６、３４７、３４８を特別点として示すことが追跡されるオブジェクト３４１の追跡において好ましいことが判る。ユニット３４０については、図１０および図１１に関して以下に更に詳細に述べる。ユニット３５０は、ステップ３４０の出力を受取り、各主フレームに対して「連鎖コード」なる用語で表わされることが望ましい正確なオブジェクト境界の記述を生じる。連鎖コードは、エッジと特別点に関する境界の表示であり、典型的には、適正なシーケンスで境界を形成するエッジと特別点に対するポインタを含む。別の曲線、典型的には点を接続するスプラインが計算される。これらの曲線は、本文では「初期境界推定セグメント」とも呼ばれる。スプラインの計算については、先に触れたＣ．ｄｅＢｏｏｒおよびＰ．Ｊ．Ｓｃｈｎｅｉｄｅｒにより記述されている。このスプラインは、典型的には境界の推定の目的のための更に別のステップにおいて用いられる。連鎖コードおよび、典型的にはスプラインの制御ポリゴンの制御点の表示であるスプラインの表示は、データベース３８０に格納される。ユニット３５０の動作については、図１７に関して以下に更に詳細に述べる。典型的に主フレームが全て処理された後、ユニット３３０および３４０が主でないフレームについて演算する。ユニット３６０は、主フレーム（単数または複数）における特別点と主でないフレームにおける特別点、即ち、１つが主フレームにあり１つが主でないフレームにありオブジェクトにおける同じ場所を表わす対をなす特別点の間の対応を見出す。他のフレームの処理に関しては、対応する特別点が推定された特別点として取扱われる。この対応は、データベース３８０に見出される格納点データに関して見出される。この格納された点のデータは、典型的には、共にユニット３５０および３７０により生成される、境界の特別点とエッジ・セグメントを表わす連鎖コードと境界のエッジ・セグメントのスプライン表示とを含んでいる。任意に、対応が主フレームにおける特別点と主でないフレームにおける特別点との間にいったん見出されると、これらの対応は主フレームにおける特別点と他の主でないフレームにおける特別点との間の対応を見出すために用いられる。ユニット３６０については、図１２および図１３に関して以下に更に詳細に述べる。例えば２つの特別点に関して対応が見出されると、これら特別点はここでは「対応点」と呼ばれる。同様に、対応が２つの境界セグメント間に見出されると、この２つの境界セグメントは、ここでは「対応セグメント」と呼ばれる。対応点と対応セグメントとは、動オブジェクトにおける同じ点と境界セグメントとをそれぞれ表わすものとされる。対応セグメントを見出すプロセスについては、ユニット３７０に関して以下に述べる。ユニット３６０の動作は、図２Ａに関して先に述べたように、ＲＯＩに限定される。ステップ３６０において、ＲＯＩは、典型的に、例えば周囲が５つのピクセルの如きオブジェクトの境界および特別点の周囲の予め定めたサイズの領域であるとされる。ユニット３６０により識別される特別点はユニット３７０により受取られ、データベース３８０に格納された連鎖コードおよびスプライン表示が検索される。ある特別点がユニット３６０により見出されなかったゆえにギャップが存在する時、ギャップは、境界の推定を表わすスプライン表示の通過使用（ｖｉａｕｓｅ）において埋められる。前記点は、典型的に、各点間の初期境界推定セグメントのスプライン曲線をデータベース３８０から突出させることにより一緒に接続される。典型的には、各点が移動し各点間とそれら点の他の点に対する位置との距離がスプライン曲線がデータベース３８０に格納されてから変化するため、この突出がアフィン変換の使用を含むことが望ましい。このアフィン変換は、回転、スケーリングおよび変位を含む。アフィン変換は、当技術において周知であり、先に触れたＢａｌｌａｒｄとＢｒｏｗｎの文献４７７ページに記載されている。アフィン変換がスプライン曲線の制御点にのみ適用され、その後スプライン曲線が再計算されることが望ましい。新しい突出された曲線は、他のフレームに用いられると、ここでは「推定された境界セグメント」と呼ばれる。次に、図３Ａのステップ３７０の動作の一部を示す簡単な描写図である図３Ｅおよび図３Ｆが更に参照される。図３Ｅは、特別点３７１、３７２、３７３および３７４を含む第１のフレームを示す。図３Ｆは、特別点３７５、３７６および３７７を含む別のフレームを示す。ユニット３６０に関して先に述べたように、特別点の対、３７１と３７５、３７２と３７６、および３７３と３７７間で、対応が既に見出された。点３７４に対しては、対応は見出されなかった。先に述べたように突出された推定境界セグメント３７８が、点３７５と３７７を含む隣接する点の各対間に加えられた。点３７３、３７４、３７１間の前のセグメントに基いて点３７４に対して対応点が見出されなかったとしても、推定境界セグメント３７８が点３７５と３７７間に突出されることが判る。更新された連鎖コードが、推定された境界セグメントと対応する特別点とから計算される。特別点と推定境界セグメントと共に更新された連鎖コードの記述は、データベース３８０に格納される。推定される境界セグメントは、後の反復において、初期の境界推定セグメントとして用いられる。連鎖コードの計算については、図１７に関して以下に更に詳細に述べる。例えば境界の場所を定義する座標リストとしてオブジェクトの境界の外部で使用し得る表示を含むオブジェクト境界の記述と、更なる処理に適するオブジェクトのマスクとは、ユニット３９０において生成される。あるいはまた、オブジェクト・マスクのみが生成され、オブジェクト境界の記述は、オブジェクト境界の記述が使用されるべき後のステップにおいて、オブジェクト・マスクから生成される。ユニット３９０については、図１６に関して以下に更に詳細に述べる。ユニット３７９は、図２Ａないし図２Ｆに関して先に述べたように、新たな主フレームを選定することを含んで、ユーザが図３Ａの方法の結果を調べてその結果を然るべく修正することを許容する。図３Ａの方法の結果は、オブジェクトの連鎖コードをその時のフレーム上に描くことによりユーザに提示される。ユニット３７９がユニット３７０から入力を受取るように示されるが、ユニット３７９が例えばデータベース３８０に格納された情報として利用可能な他の任意のオブジェクト境界の情報を利用できることが判る。ユニット３３５は、このユニット３３５が処理と関連し、このため、連鎖コードの描写を用いるのではなくユニット３０により見出されたエッジを直接描写することを除いて、ユニット３７９と同様に動作する。次に、少なくとも１つの主フレームがフレームのシーケンスにおける最初のフレームを含む図２Ｇのプロセスを実施するためのユニットの簡単なブロック図である図４を参照する。図２Ｇのステップは、図４の下記のユニットにより実施される。即ち、ステップ２１０ユニット４１０ステップ２２０ユニット４２０ステップ２３０ユニット４３０および４４０ステップ２４０ユニット４３５ステップ２５０ユニット４２０ステップ２９０ユニット４５５ステップ２５５ユニット４５０、４８０、４６５ステップ２６０ユニット４３０、４４０、４６０および４７０ステップ２７０ユニット４７８ステップ２８０ユニット４２０図４の諸ユニットは、図３Ａの諸ユニットと類似しており、以下に述べることを除いて、図３Ａの先の論述に関して自明である。図３Ａの諸ユニットと図４の諸ユニットとの間の対応は、下記のとおりである。即ち、ユニット３１０ユニット４１０ユニット３２０ユニット４２０ユニット３３０ユニット４３０ユニット３４０ユニット４４０ユニット３３５ユニット４３５ユニット３５０ユニット４５０ユニット３５５ユニット４５５ユニット３６０ユニット４６０ユニット３７０ユニット４７０およびユニット４６５の組合わせユニット３７９ユニット４７８ユニット３８０ユニット４８０ユニット３９０ユニット４９０図４において、下記のユニットが連続する最初のフレームについて演算し、一般に図３の４１０、４３５、４５０の対応ユニットにおける如き主フレームではなく、最初のフレームを主フレームとして取扱う。図４において、複数の最初のフレームが一緒に処理される。ユニット４５５は、次のフレームを連続的に、望ましくは一時に１つのフレームずつユニット４３０に与える。ユニット４６０の動作は、図２Ｇに関して先に述べたように、ＲＯＩに限定されることが望ましい。ユニット４６０においては、ＲＯＩは、典型的に、例えば周囲の５つのピクセルの如きオブジェクトの境界および特別点の周囲に予め定めたサイズの領域であると見なされる。ユニット４６０は、一時に１つのフレームずつ連続的なフレームについて演算することが望ましい。ユニット４６０は、連続的なフレームにおける特別点の間、即ち、１つが最初のフレームと１つが次のフレームにありオブジェクトにおける同じ場所を表わす特別点の対の間の対応を見出す。更に他のフレームの処理に関しては、対応する特別点が推定される特別点として取扱われる。データベース４８０に見出される格納点データに関して、対応が見出される。格納された点データは、典型的に、共に以下に述べるユニット４５０および４６５により生成される、境界の特別点とエッジ・セグメントを表わす連鎖コードと、境界のエッジ・セグメントのスプライン表示とを含んでいる。２つの連続するフレームにおける特別点間に対応がいったん見出されると、任意に、これらの対応が２つのフレームにおける特別点と他のフレームにおける特別点との間の対応を見出すために用いられる。ユニット４６０については、図１２および図１３に関して以下に更に詳細に述べる。ユニット４７０は、ユニット４６５により正確なオブジェクトの境界記述が生成されることを除いて、ユニット３７０と同様に動作する。その時のフレームの正確な境界記述を表わすその時のフレームの連鎖コードは、ユニット４６０により見出され対応する特別点とユニット４７０により推定される境界とに基いて計算される。図３Ａにおいて、ユニット４６５の機能がユニット３７０に含まれることが判る。ユニット４６５については、図１７に関して以下に更に詳細に述べる。ユニット４７８は、ユニット４７８がユニット４６５の出力について動作することを除いて、図３Ａのユニット３７９と同様に動作する。次に、境界が正確に識別される図３Ａの装置の修正の簡単なブロック図である図５を参照する。図５の諸ユニットは、下記のことを除いて、図３Ａの先の論議に関して自明である。図５において、境界の推定の完了後に、更なる処理が行われる。ここでは「中間連鎖コード」と呼ばれる連鎖コードにより表わす推定される境界は、ユニット５７０によって生成される。ユニット５７０により生成される推定境界と、データベース５８０から得られる格納されたフレーム境界を記述する連鎖コードとスプライン・データとに基いて、更に正確な境界がユニット５７２により識別される。ユニット５７２は、推定される境界の付近のエッジを識別して、境界セグメントに対する最良の候補を選定することにより動作することが望ましい。ユニット５７２により提供される推定境界セグメントは、更に正確な境界がユニット５７２により成功裏に識別されなかった場合、ユニット５７４によって埋めることができ、正確なオブジェクトの境界記述が生成される。ユニット５７２の動作は、図２Ａに関して先に述べたようにＲＯＩに限定されることが望ましい。ユニット５７２において、ＲＯＩは典型的に、例えば周囲の５つのピクセルの如きオブジェクトの境界と特別点の周囲の予め定めたサイズの領域であると見なされる。ユニット５７０、５７２、５７４については、図１８および図２４に関して以下に更に詳細に述べる。連鎖コードは、新たな更に正確な境界に基いてユニット５７６により計算される。図５の場合、連鎖コードは、典型的に、ユニット５７０ではなくユニット５７６によって計算される。この連鎖コードは、データベース５８０に格納され、またユニット５７８に沿って送られ、これがユーザが新たな境界を調べることを許容する。ユニット５７６の動作については、図１７に関して以下に更に詳細に述べる。次に、境界が正確に識別される図４の装置の修正の簡単なブロック図である図６を参照する。図６の諸ユニットは、下記を除いて、図４の先の論議に関して自明である。中間の連鎖コードにより表わされる推定された境界は、ユニット６７０によって識別される。更に正確な境界が、ユニット６７０からの推定された境界と、データベース６８０から得られる連鎖コードとスプラインとを含むことが望ましい前のフレームについてのデータとに基いて、ユニット６７２によって識別される。ユニット６７２は、推定された境界の付近のエッジの識別と、境界セグメントに対する最良の候補の選定とによって動作することが望ましい。ユニット６７２の動作については、図１８および図２４に関して以下に詳細に述べる。ユニット６７２の動作は、図２Ａに関して先に述べたようにＲＯＩに限定されることが望ましい。ユニット６７２において、ＲＯＩは典型的に、例えば周囲が５つのピクセルの如きオブジェクトの境界と特別点の周囲の予め定めたサイズの領域であると見なされる。ユニット６７４において、推定された境界セグメントが、更に正確な境界がユニット６７２により成功裏に識別されなかった場合に埋められ、正確なオブジェクトの境界記述がユニット６６５によって生成される。ユニット６７４の動作については、図１８および図２４に関して以下に詳細に述べる。次に、主でないフレームにおける境界の場所を予期するよう動作する図５の装置の修正の簡単なブロック図である図７を参照する。図７の諸ユニットは、下記を除いて、図５の先の論議に関して自明である。ユニット７７４のオブジェクトの境界記述は、図５のユニット５７４の動作と、図５のユニット５７６の動作の両方を行う。ユニット７７７は、位置に関する運動式を、位置の変化と、位置の変化率と、特別点と境界の次のフレームにおける場所を予期するために、データベース７８０に格納された特別点と境界の位置とに適用する。フレーム間の時間が運動式の適用において重要な変数であるので、運動式の適用において、処理される主フレーム間のフレームにおける時間に関する距離と方向を勘案することが必要であることが判る。運動式については、図２１ないし図２３に関して以下に更に詳細に述べる。ユニット７５２はユニット７７７と同様に動作するが、ユニット７５２の場合のように他のフレームを用いるのではなく、主フレームに従って特別点と境界を予期するため運動式を用いる。同様に、ユニット７７１は、図５のユニット５７０とは対照的に、データベース７８０から受取る格納されたスプライン・データにも運動式を適用し、その結果格納されたスプライン・データが更新されて境界位置を更に正確に予期する。次に、主でないフレームにおける境界の場所を予期するよう動作する図６の装置の修正の簡単なブロック図である図８を参照する。図８のユニットは、下記を除いて、図６および図７の先の論議に関して自明である。ユニット８６６により特別点と境界について予測が行われる。特別点と境界の以後のフレームにおける場所を予測するために、データベース８８０に格納された前のフレームに対する特別点と境界の位置に運動式が適用される。図８の方法において有効な運動式については、図２０ないし図２３に関して以下に論議される。ユニット８５２は、ユニット８６６と同様に、運動式を用いて主フレームに従って特別点と境界を予測する。同様に、ユニット８７１は、図７のユニット７７１のように、データベース８８０から受取る格納されたスプライン・データに運動式を適用し、その結果格納されたスプライン・データが更新されて境界の位置を更に正確に予測する。ユニット８７４は、図７のユニット７７４と類似している。次に、図３Ａおよび図４ないし図８のブロック３３０、４３０、５３０、６３０、７３０および８３０の事前処理動作を実施するための代替的なサブシステムの簡単なブロック図である図９を参照する。一般に用いられるＲＧＢ色空間は、３成分Ｒ−Ｇ−Ｂが全て強さの変化と共に同様に変化しようとするのでエッジの検出には最適ではなく、従ってこのような色空間の諸成分から識別されるエッジが類似する傾向を有する。従って、上記の挙動が典型的に生じない、即ち、諸成分が異なって挙動する傾向を呈し、その結果かかる色空間の成分から識別されるエッジが異なる傾向を呈する色空間を選択することが望ましい。ＲＧＢ色空間のＲ、Ｇ、Ｂ成分から計算される下記の成分を持つ色空間が用いられる。即ち、Ｉ₁＝（Ｒ＋Ｇ＋Ｂ）／３Ｉ₂＝（Ｒ−Ｂ）Ｉ₃＝（２＊Ｇ−Ｒ−Ｂ）／２上記色空間は、先に触れたＹｕ−ＩｃｈｉＯｈｔａ、ＴａｋｅｏＫａｎａｄａおよびＴ．Ｓａｋａｉの論文において論述されている。図９において、入力色成分が選択された色空間へ変換される（ユニット１１００）。先に述べた色空間の場合は、前記変換を計算するため、提示された数式が用いられる。ＲＧＢ空間または任意の他の適切な色空間が用いられる。次に、各色成分に対するエッジ検出が行われる（ユニット１１１０）。誤って検出されたエッジを除去するために、最小閾値が各色成分の色強さに適用され、色成分の強さが閾値より小さい全てのエッジが無視される（１１２０）。個々の色成分で検出されるエッジは、１つに併合される（ユニット１１３０）。典型的にエッジが検出されたときは常に値「１」を含み、さもなければ、値「０」を含むエッジの画像が生成される。次に、図３Ａおよび図４ないし図８の成分（構成要素）マッピング・ユニットの簡単なブロック図である図１０を参照する。ユニット１５００が、図３Ａおよび図４ないし図８の事前処理ユニットにより生成されるエッジ画像の作業コピーを作る。この作業コピーは、画像の終端に達するまで（ユニット１５２０）、エッジのピクセルについて走査される（ユニット１５１０）。その時のピクセルがエッジのピクセルでなければ（ユニット１５４０）、走査が継続する。その時のピクセルがエッジのピクセルであれば、接続点ピクセル、終端ピクセル、あるいは別の特別点が図１１Ａに関して以下に述べるように識別されるまで、かつ接続点ピクセル、終端ピクセルあるいは他の特別点がルート・ピクセルとして識別されるまで、エッジに沿うピクセルが辿られる。ルート・ピクセルと接続した全てのピクセルがトレースされて、エッジの木を形成する（ユニット１５５０）。非接続点ピクセル、終端ピクセルあるいは他の特別点が見出されなければ、初期のエッジ・ピクセルがルート・ピクセルと見なされる。ユニット１５５０は、候補の特別点を例えばエッジ接続点における点として識別する。候補の特別点はまた、例えば、接続点やエッジのコーナーと接続しないエッジにおける終端点を含む。エッジの木は、見出された全てのエッジ木からなるエッジの森に加えられ（ステップ１５７０）、エッジの木のピクセルはエッジ画像の作業コピーから消去される（ステップ１５６０）。エッジの森は、図１１Ａに関して先に述べたように、特別点の候補とエッジの候補とそれらの関係とを含む成分マップを提供する。エッジの木を形成する方法は、当技術において周知であり、先に述べたＹｉｊａＬｉｎ、ＪｉｑｉｎｇＤｏｕおよびＥｒｙｉＺｈａｎｇの「木構造に基くエッジ表現（Ｅｄｇｅｐｒｅｓｓｉｏｎｂａｓｅｄｏｎｔｒｅｅｓｔｒｕｃｔｕｒｅ）」（ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ第２５巻、第５部、５０７〜５１７ページ、１９９２年）に記載された方法を含む。当技術において周知のエッジの木を形成する方法は、生成されるエッジのリストとノードのリストがエッジの追跡方向とルート・ノードの選択と必ずしも独立的でないという短所を有する。従来技術において公知の方法の短所を克服する、エッジの木を形成するための望ましい方法については、次のように図１１Ａに関して記述する。図１１Ａの方法は、全ての特別点が接続点である場合に特有である。エッジの木を形成するための推定ルールは、下記の如くである。見える領域のルール：ピクセルへの進入方向から他の方向へ向かって見える如きその時のエッジ・ピクセル周囲の領域は、ここでは、「見える領域」と呼ばれる。その時のエッジ・ピクセルのこの見える領域は、その時のエッジがその時のエッジ・ピクセルから進む方向に従って、斜方あるいは直方として分類される。「直方」とは、水平方向あるいは垂直方向に、即ち斜方ではなく進行することを意味する。次に、図１１Ａの方法の理解に役立つ見える領域の簡単な描写図である図１１Ｂおよび図１１Ｃを更に参照する。図１１Ｂでは、矢印が直方である方向を示し、図１１Ｃでは、矢印が斜方である方向を示す。全ての方向が、下記を除いて、見える領域の一部として見える。ａ．見える領域が直方であるならば、直方に後方向と斜方に後方向の両方である全ての後方向は見えない。ｂ．見える領域が斜方であるならば、ピクセルが入力された斜方である直接後方向のみが見えない。次に、図１１Ａの方法の理解に役立つ複数のピクセルの簡単な描写図である図１１Ｄないし図１１Ｅを参照する。図１１Ｄおよび図１１Ｅにおいては、矢印が見える領域への入力の方向を示す。図１１Ｄは、直方視可能な領域を含む。図１１Ｅは、斜方視可能な領域を含む。ブラインド・ストリップ（ｂｌｉｎｄｓｔｒｉｐ）のルール：その時のエッジ・ピクセルの見える領域において、直方方向に１つ以上のピクセルが存在するならば、更に接続されるエッジ・ピクセルが直方方向に探されることが望ましく、斜方方向は見える領域の一部としては見えないという意味でブロックされる。次に、図１１Ａの方法の理解に役立つ複数のピクセルの簡単な描写図である図１１Ｆないし図１１Ｈを参照する。図１１Ｆないし図１１Ｈは、複数のエッジ・ピクセルを含み、ブラインド・ストリップのルールの適用を示している。図１１Ｆないし図１１Ｈでは、矢印が、付加的なピクセルがブラインド・ストリップ・ルールに従って探される方向を示す。図１１Ｆないし図１１Ｈの各々は、異なるピクセルにおける進入を示す。各場合において、進入点の如何に拘わらず、同じ接続点が見出されることが判る。見えるピクセルのルール：明細書および請求の範囲にわたり使用される如き用語「見えるピクセル」とは、ブラインド・ストリップ・ルールの下で無視される任意のピクセルは含まない、見える領域におけるその時のピクセルに隣接するエッジ・ピクセルを指す。一般に、エッジ・ピクセルを識別する方法のゆえに、４つのエッジの接続点にあり、この場合４つの見えるピクセルが見られるルート・ピクセルの場合を除いて、３つより多い見えるピクセルが見られないことに注目されたい。その時のエッジ・ピクセルは、下記のピクセル分類ルールに基いて分類される。即ち、１．その時のピクセルが２つ以上の見えるピクセルを持つならば、その時のピクセルは接続点ピクセルとして識別される。しかし、正確に２つの見えるピクセルが見られ、その時のピクセルがルート・ピクセルであるならば、その時のピクセルは接続点ピクセルとして識別されず、その代わり、以降のピクセルが処理される。２．その時のピクセルが見えるピクセルを持たなければ、その時のピクセルは終端ピクセルとして識別される。３．その時のピクセルが１つの見えるピクセルを持つならば、その時のピクセルは、「通常の分岐ピクセル」として識別される。しかし、その時のピクセルがルート・ピクセルならば、その時のピクセルは終端ピクセルとして分類される。木構造の記述は下記のとおりである。即ち、木の各要素は、分岐か、あるいは接続点である。分岐は、ここでは逐次の接続されたセットの通常の分岐ピクセルとして定義され、典型的には、ピクセルの座標および特性の動的アレイとして表わされる。カラーは、典型的に、ピクセルがギャップを埋めるため加えられたピクセルであるという表示のように、ピクセルのカラーその他の特性を表わす。木の各要素は、望ましくは下記を含む属性のリストにより定義されることが望ましい。即ち、タイプを分岐または接続点として定義するフラグ；前の要素または親を指す親のポインタ；および移行方向における近傍要素、即ち子供を指す近傍ポインタ。この木は、下記の木構成法に従って構成される。即ち、第一に、最初のピクセルは、先のルールに従って分類される（ステップ１６３０）。１．親ピクセルの削除（ステップ１６５０）：即ち、既に処理されたイメージからピクセルを削除。このステップは、親を持たない最初のピクセルの場合には省かれる。２．ルール１の例外：その時のピクセルが接続点であるならば（ステップ１６４０）奥行を先に探す探索を行い、その子供の全てが評価された後にのみ接続点を削除（ステップ１６６０および１６７０）。３．少なくとも１つの見えるエッジ・ピクセルが存在するならば（ステップ１６１０）、次のエッジ・ピクセルへ順方向に移動（１６２０）。４．次のピクセルの分類（ステップ１６３０）。接続点に加えて、他のタイプの特別点が例えばコーナーとして識別されることが判る。次に、木が図１１Ａの方法に従って構成されるべきエッジの画像の簡単な描写図である図１１Ｉを参照する。図１１Ｉは、エッジ１６９０を含む。図１１Ｉはまた、エッジ１６９０の終端にエッジ接続点１６９１を含む。図１１Ｉはまた、エッジ接続点１６９１とエッジ接続点１６９３の間にあるエッジ１６９２をも含む。図１１Ｉは更に、一端部にエッジ接続点１６９３が存在するエッジ１６９４をも含む。図１１Ｉはまた、エッジ接続点１６９１とエッジ接続点１６９３の間にあるエッジ１６９５をも含む。木の構成のため図１１Ａの方法による図１１Ｉの処理は、下記のように進行する。即ち、１．エッジ接続点１６９１から遠いエッジ１６９０の終端における（図１１Ｉには示されない）ルート・ピクセルで開始する。２．ピクセル分類ルール３によれば、ルート・ピクセルが終端ピクセルとして分類される（ステップ１６３０）。３．エッジ１６９０のピクセルの全てが、エッジ接続点１６９１に達するまでステップ１６１０、１６２０、１６３０、１６４０および１６５０に従って処理される。４．エッジ接続点１６９１において１つのエッジ・ピクセル（図１１Ｉには示されない）が見出され、処理がステップ１６６０および１６７０により継続する。奥行を最初に探す探索の処理と接続点の削除とを含むステップ１６６０および１６７０の効果は、エッジ接続点１６９１を削除する前に図１１Ｉの残りを処理することである。次に、図３Ａおよび図４ないし図８の特別点の対応発見ブロックの簡単なブロック図である図１２を参照する。重み計算ユニット１７００が、入力として特別点の候補リストを典型的にＲＯＩおよび推定されあるいは予測される特別点から受取り、各特別点の候補と推定または予測される各特別点との間の相関重みを計算する。この相関重みは、相関誤差に基く。推定された点は、前のフレームからの既知の点を含む。重み計算ユニット１７００の動作については、図１３に関して以下に更に詳細に述べる。閾値フィルタ１７１０が、最小閾値を重み計算ユニット１７００から受取った重みに適用して、閾値の重みを出力する。閾値フィルタ１７１０は、重み計算ユニット１７００から相関誤差を受取り、これに基いて適切な閾値を計算することが望ましい。典型的な閾値は、相関誤差が０：１の範囲ないで正規化される時、例えば、０．１２５の如き相関誤差に直接基く。特別点の候補は必ずしもＲＯＩのみからではなく、推定される点からの距離に基いて選定される領域から、あるいは他の基準に基いて選定される領域からのものでもあり得ることが判る。このような場合、重みの計算は距離を勘案する。閾値の重みに基いて、各候補に対して最初の確率が計算され（ユニット１７２０）、１つ以上の特別点の各々であるその確率を示す。典型的に、各点に対する最初の確率は、下記のように計算される。即ち、１．適切な候補が存在しないという確率が存在する。従って、望ましくは特定の場所に拘わらず、最初の割当てられた確率Ｐｒ＊＝（１−Ｗ_max）で仮想候補が加えられる。但し、Ｗ_maxは、全ての候補の最大相関重みである。２．仮想候補を含まない各候補については、下記のように確率が計算される。即ち、Ｐｒ（ｊ）＝Ｗ_max＊（Ｗ_j）／ＳＵＭ（Ｗ_j）但し、Ｗ_jは候補ｊの重みであり、ＳＵＭは仮想候補を含まない全ての候補にわたって行われる。候補は、次に候補フィルタ１７３０において選別され、このフィルタがフィルタ基準に基く各特別点に対する最良候補を取上げる。このフィルタ法は、例えば、最も高い確率を持つ候補を選定できる。望ましくは、この方法は、特別点のあり得る移動および移動の不規則性、およびその間の関係を勘案して、更に複雑な選別基準を用いることもできる。次に、図１２の特別点重み計算ユニット１７００に対する望ましい演算方法の簡単なフローチャートである図１３を参照する。推定されあるいは予期される特別点と特別点の候補とが入力される（ステップ１８１０および１８２０）。相関重みは、推定されあるいは予期される特別点および特別点候補のカラーに基いて計算される（ステップ１８３０）。相関重みを計算する望ましい式は、下記のとうりである。即ち、相関重み＝（１／（１＋Ｃ＊ＥＲ））但し、Ｃは望ましくは値１０を持つ係数であり、かつＥＲは、特別点候補と推定／予測特別点との間の正規化された相関誤差である。ＥＲを計算するための望ましい数式は下記のとおりである。即ち、ＥＲ＝ＳＱＲＴ（（ＳＩ₁＋ＳＩ₂＋ＳＩ₃）／２７）但し、ＳＱＲＴは平方根であり、ＳＩ_n＝ＳＵＭ（（Ｉ_n ^K−Ｉ_n ^OK）＊（Ｉ_n ^K−Ｉ_n ^OK））但し、ＳＵＭは、ｋ＝１ないしｋ＝９の和であり、Ｉは、範囲０：１で正規化されたピクセルの強さである。ＫおよびＯＫは、特別点の候補と推定／予測特別点の周囲のピクセルのマスクをそれぞれ表わす指数であり、ｎは、先に定義した如きカラーの指数である。上式は、３×３のマスクに対するものである。他のサイズのマスクもまた使用できることが判る。例えば、５×５のマスクが使用されるならば、和は１ないし２５となり、ＥＲに対する数式における分母は２７ではなく７５に等しい。推定／予測特別点の全ての候補点との各組合わせに対して相関計算が反復される（ステップ１８５０および１８６０）。次に、図３Ａおよび図４の境界推定ブロックに対して望ましい演算法の簡単なフローチャートである図１４を参照する。２つの連続する対応特別点が入力される（ステップ１９１０）。最初の推定境界セグメントが入力される（１９２０）。最初の推定境界セグメントが、最後の２つの連続的な対応特別点をつなぐ。推定セグメントは、連続する対応特別点間に突出され、推定境界セグメントが生成される（ステップ１９４０）。次に、最後の特別点に達するまで、残りの特別点が処理される（ステップ１９６０および１９８０）。推定された境界セグメントは、正確な境界の記述を生成するために用いられる（ステップ１９５０）。次に、図３Ａおよび図４の境界推定ブロックに対する代替的な望ましい演算方法の簡単なフローチャートである図１５を参照する。図１５の方法では、境界に対するＲＯＩ（関心領域）の幅もまた計算される。図１５の方法は図１４の方法の終了時に行われることが望ましいことが判る。図１５の方法では、対応する境界セグメントが入力される（ステップ２０１０）。ＲＯＩのサイズは、２つの連続する対応特別点の大きい方の直径のサイズとして選択される（ステップ２０２０）。次に、図３Ａおよび図４ないし図８の境界に対する望ましい演算方法とマスク生成ユニットの簡単なフローチャートである図１６を参照する。図１６の方法では、オブジェクトの特別点および境界セグメントとが、連鎖コードの記述に従って描画される（ステップ２１００）。ステップ２１００において用いられる如き用語「描画」は、目に見える形態での描画を必ずしも示すものではなく、むしろ描画表示に類似する内部表示を生成することを指す。各画像のフレームから始める種の育成が生成される（ステップ２１１０）。この種の育成は、オブジェクトの特別点または境界セグメントを満たすことにより制限され、境界セグメントを越えることはない。この種の育成は、更なる育成が不可能になるまで継続する。種の育成は、オブジェクトの一部ではない画像フレームの部分から始まることが望ましい。種の育成がオブジェクトの一部ではない画像フレームの部分で始まることを保証するために、空のピクセルの余分な行が画像フレームの全周に追加され、種の育成がこの余分なピクセルの１つで開始することが望ましい。種の育成のための諸方法は、当技術において周知であり、先に述べたＤ．Ｋ．ＢａｌｌａｒｄおよびＣ．Ｍ．Ｂｒｏｗｎの「コンピュータの展望（ＣｏｍｌｐｕｔｅｒＶｉｓｉｏｎ）」の１４９ページに記載されている。次いで、画像のピクセルは、次のように値が割当てられる（ステップ２１３０）。即ち、種の育成により包含される領域０；他の領域１；任意に、遷移ピクセル、０と１との中間値。遷移ピクセルに対する中間値の割当ては、例えば、生成されるマスクがアンチ・アライアジング（ａｎｔｉ−ａｌｉａｓｉｎｇ）を含む場合に、選好される。任意に、遷移ピクセルのみを出力することにより、境界の記述がオブジェクトのマスクから生成される。図１６の方法がマスクを構成する特定の出力フォーマットを生成すること、および他の多くの出力フォーマットおよびデータ表示を例えば直接的な連鎖コード出力として使用できることが判る。次に、図３Ａ、図４、図５、図６、図７および図８の正確なオブジェクト境界の記述ブロックに対する望ましい動作方法の簡単なフローチャートである図１７を参照する。図１７は、ブロック３５０、４５０、４６５、５５０、５７６、６５０、６６５、７５０および８５０の動作方法を含んでいる。図１７の方法はまた、ブロック３７０、４７０、５７０、６７０、７７１、７７４、８７１および８７４の境界記述部分に対する望ましい動作方法をも含む。図１７の方法は、下記のステップを含むことが望ましい。ブロック３５０、４５０、５５０、６５０、７５０および８５０の場合は、図１７のあるステップが省かれ、例えばステップ２２２０、２２３０の如き図１７の一部のステップのみが行われることが判る。この場合、対応する特別点と対応する境界セグメントの代わりに、追跡されるべきオブジェクトのユーザの最初の表示から獲られる特別点と境界セグメントとが入力される。境界セグメントについてエッジの細線化が行われて、特別点を保存する（ステップ２２０２）。エッジの方向に沿って、このエッジが幅において１つのピクセルより大きければ、この幅は１ピクセルまで減じられる。１ピクセルまでの低減は、エッジが幅において奇数個のピクセルである中心のピクセルか、あるいはエッジが幅において偶数個のピクセルであるならば２つの中心ピクセルの一方の、唯一つのピクセルを保持することによって行われる。しかし、特別点を構成する各ピクセルが保持され、特別点が中心ピクセルでなければ、特別点が保持され他のピクセルは保持されない。ステップ２２０２から細線化された境界セグメントが境界のＲＯＩのエッジ画像と併合される（ステップ２２０４）。ステップ２２０４の併合出力は、先に述べたステップ２２０２の細線化と同様に、ステップ２２０６において再び細線化される。特別点と境界セグメントのみを含むことが望ましいステップ２２０６の出力から、新たな成分マップが生成される（ステップ２２１０）。ステップ２２１０を実施するための望ましい方法は、図１０および図１１に関して先に述べたものと類似している。図１６のステップ２１１０に関して先に述べた種の育成と類似する種の育成が行われる（ステップ２２２０）。ステップ２２２０の種の育成に対するの育成の制限は、任意の境界セグメントである。ステップ２２３０において、連鎖コードが新たな成分マップから下記のように計算される。種の育成領域により囲まれる要素が、外部要素としてマークされる。「囲まれる」とは、ステップ２２３０において、おそらくは接続点を除いて包囲されることを意味することと理解される。全く触れない、即ち、種の育成領域に全く触れない要素は、内部要素としてマークされる。種の育成領域と触れるが囲まれない他の要素は、境界要素としてマークされる。次いで、連鎖コードが計算され、順次境界要素の全てをつなぐ。更なる処理のため、連鎖コードが正確な境界記述を含むと見なされ、ここで記述される接続点が推定される特別点と見なされる。次に、下記の要素、即ち、組合わされた図５の５７０、５７２、５７４；組合わされた図６の６７０、６７２、６７４；組合わされた図７の７７１、７７２、７７４；および組合わされた図８の８７１、８７２、８７４の望ましい動作方法の簡単なフローチャートである図１８を参照する。要素７７４および８７４の場合に、図１８がその動作の一部のみを記述し、図１７に関して先に述べた他の部分は含まないことが判る。図１８の方法のステップは、図１４のステップと類似しており、以下に述べることを除いて、図１４の先の記述に関して自明である。ステップ２３４０において、境界の対応が見出され、推定された境界セグメントを用いることでは見出されない境界セグメントの補償を含む。ステップ２３７０において、正確な境界の記述が全ての対応するセグメントから生成される。次に、図１８のステップ２３４０の代替的な動作方法の簡単なフローチャートである図１９を参照する。ステップ２４１０では、距離マップが構成される。距離マップは、個々の推定された境界セグメントからの各ピクセルの距離を示すマップである。距離マップがＲＯＩ内の各推定境界セグメントに対して構成されることが望ましい。２つの終端の対応点が異なるＲＯＩサイズを持つ場合は、比較的大きなＲＯＩサイズが用いられることが望ましい。距離マップは、下記のように生成されることが望ましい。即ち、ａ．各境界セグメントのピクセルは、距離０が割当てられ、ｂ．既に距離ｎが割当てられたピクセルに隣接する各々の未割当てピクセルは、距離を割当てられない割当てピクセルの領域の終端の最後のピクセルに対角的に隣接するピクセルを除いて、距離（ｎ＋１）が割当てられ、ｃ．ＲＯＩ内の各ピクセルが距離を割当てられるまで、ステップｂが反復される。ステップ２４２０においては、境界候補の色パラメータが計算される。境界候補は、典型的に、ＲＯＩに見出されるエッジである。色パラメータは、平均値と公差を含むことが望ましい。平均値と公差はそれぞれ、典型的に幅１のピクセルで内側と外側のエッジに隣接するストリップに対して個々に計算されることが望ましい。内側および外側は、境界の移動方向に基いて弁別される。平均値は、それぞれ３つの色成分Ｉ₁、Ｉ₂およびＩ₃の１つの平均値であると見なされる各色成分に対する個々の平均値として計算される。同様に各色成分に対して個々に計算される公差は、平均色の公差を記述し、典型的にはばらつきに基いている。ステップ２４２５は、ステップ２４２５に対する入力が見出された境界セグメントであることを除いて、ステップ２４２０と類似している。ステップ２４３０においては、各境界セグメントに対して重みが計算され、候補の境界セグメントと見出された境界セグメントとの間の類似性を表わす。典型的には、個々の重みは平均色、平均距離、平均色の公差、距離の公差に基いて計算される。平均距離は、典型的に、ステップ２４１０において述べたように、前に計算された距離マップにより候補境界セグメントにおけるピクセルに割当てられた距離の平均に基いて計算される。ステップ２４４０においては、閾値フィルタが、最小閾値を重み計算ステップ２４３０から受取る重みに与えて、組合わされた閾値の重みを出力する。組合わされた閾値重みに基いて、各候補に対する初期の確率が計算されて、見出された境界セグメントに対応する境界セグメントの一部であるその確率を表わす。候補は次に候補フィルタ２４６０において選別され、このフィルタが、フィルタ基準に基いて見出される境界セグメントに対応する境界セグメントに対する１つ以上の候補のあり得る最良グループを取上げる。この選別法は、各候補が境界セグメントの一部である確率と共に、境界セグメントに関する候補間の関係、即ち距離と角度を勘案することが望ましい。この選別法は、最大確率法あるいは任意の適切な統計的反復法を用いることもできる。ステップ２４６０において先に見出されなかった境界セグメントの部分は、推定される境界セグメントまたはその部分を用いてステップ２４７０において埋められる。次に、図７および図８の方法において有効な予測法の簡単なフローチャートである図２０を参照する。図２０の方法は、ステップ７５２、７７７、８５２および８６６に対して特に有効である。図２０の方法は、下記ステップを含むことが望ましい。図２０の方法は、フレーム単位処理が行われている場合に関する。連鎖コードが４つ以上の連続フレームに対して得られるかどうかについて調べられる（ステップ２８１０）。もし得られなければ、処理は以下に述べるステップ２８２０へ続く。境界および（または）特別点の第３次の予測が行われる（ステップ２８１５）。ステップ２８１５については、特別点の場合に対して以下に図２３に関して更に詳細に述べる。典型的には、推定されるセグメントのスプラインの制御点における運動式を用いることにより、境界が同様に予測される。同様に、ステップ２８２０および２８３０において、第２次の予測（ステップ２８２５）または第１次の予測（２８３５）のいずれが行われるかについてどれだけ多くの連鎖コードが得られるかに基いて判定が行われる。ステップ２８２５については、以下に図２２において、かつ図２１におけるステップ２８３５において更に詳細に述べる。ステップ２８４０においては、予測のための充分な情報が得られない。この場合、ユーザは、第２のフレームにおける（ステップ２８４５）、また必要に応じて第１のフレームにおける所望のオブジェクトを識別することを求められる（ステップ２８５０）。次に、第１次の予測の場合において図２０のステップを実施するための望ましい方法の簡単なフローチャートである図２１を参照する。図２１の方法は、下記のステップを含むことが望ましい。第１のフレームと第２のフレームの対応する特別点が入力される。第２のフレームのみで見出された点が第１のフレームに加えられ（ステップ２９１０）、その結果同数の点が各フレームにおいて見出され、次のフレームに対する完全な予測を可能にする。ステップ２９１０において、補間されるべき点を結付ける両方のフレームにおいて見出される２つの連鎖コード点の場所に関する点の場所に従って、連鎖コードのエッジについての幾何学的な逆補間により、点の場所が決定されることが望ましい。ステップ２９２０において、特別点の速度、次のフレームの第１次予測による場所、および次のフレームの特別点のＲＯＩサイズが計算される。次に、第２次の予測の場合において図２０のステップを実施するための望ましい方法の簡単なフローチャートである図２２を参照する。図２２の方法は、図２１の先の記述に関して自明であり、ステップ３０１０がステップ２９１０と類似し、ステップ３０２０はステップ２９２０に類似している。ステップ３０２０においては、次のフレームの特別点ＲＯＩのサイズの計算が任意であることが判る。あるいはまた、その時のフレームのＲＯＩサイズを用いることもできる。次に、第３次以上の予測の場合において図２０のステップを実施するための望ましい方法の簡単なフローチャートである図２３を参照する。図２３の方法は、図２１と図２２の先の記述に関して自明であり、ステップ３１１０がステップ２９１０、３０１０と類似し、ステップ３１２０はステップ２９２０および３０２０に類似している。ステップ３１０５においては、どれだけ多くのフレームが以後のステップで用いられるかについて、どれだけ多くのフレームが前処理されたかに基いて判定が行われる。ステップ３１２０においては、次のフレームの特別点のＲＯＩサイズの計算が任意であることが判る。あるいはまた、その時のフレームのＲＯＩのサイズを用いることもできる。再び図１において、適切な用途装置の別の例は、例えば下記の効果の１つ以上を実施するための装置の如き効果装置９２である。即ち、圧縮、ペインティング、ぼかし、鮮鋭化、フィルタ操作、および境界の異なる側において異なるレートにおける時間的に変化する効果である。用途装置８０、９０または９２は、任意に、個々のフレームについて演算して、演算が進行して以降のフレームに対して生成する前に、この演算結果をユーザに対して表示させる。典型的に、ビデオ・ディスプレイ９５または個々のビデオ表示装置（図示せず）を用いて、前記境界の個々の表示を前に表示することなく演算の実施結果を表示する。演算の実施結果は、境界の個々の表示を前に表示することなく、１つのフレームに対してではなく、複数のフレームに対して表示することができる。このような選択の利点は、境界の表示の視認に基くのではなく、特定の境界を想定する用途装置により生成される効果または用途の視認に基いて、対話的な補正が可能であることである。効果または用途の視認は、しばしば、追跡時に境界自体の表示を見せることに比して、境界の追跡の品質を評価するために更に有効な方法である。効果または用途の如き動作を実施する結果が、追跡時に境界の表示と共に表示されることが望ましい。動作の実施の結果がユーザにとって不満足と見なされるならば、ユーザは、境界を補正するため表示を用いる。新たな境界による動作の実施結果における変化を反映するように、表示が自動的に変化する。再び図２Ａにおいて、ブロック１３５および１６５は、例えば、外部の用途装置によって、効果または用途が任意に実施されることを示す。ユーザが、境界が適切に追跡されているか否かを判定するようにプロンプトされる前に用途または効果が実施されることが望ましい（ステップ１４０、１７０）。これにより、ユーザは、追跡時に境界を評価するため用途または効果の結果を用いることができる。再び図２Ｇにおいて、ブロック２３５および２６５は、例えば外部の用途装置によって効果または用途が任意に実施されることを示す。ユーザが境界が適切に追跡されているか否かを判定するようプロンプトされる前に、用途または効果が実施されることが望ましい（ステップ２４０、２７０）。これにより、ユーザは、追跡時に境界を評価するため用途または効果の結果を用いることができる。次に、個々にあるいは組合わせにおいて存在し得る下記の相違を除いて、図４に類似する図２４を参照する。即ち、ａ．その時のフレームにおいて、追跡時にユーザがいったん境界を満足できると見なすと、以降のフレームのみが用いられる（ステップ４５５）。ｂ．ユーザは、その時のフレームにおける境界の場所が追跡通りであるという前提で生成される動作結果を調べることにより、境界が満足であるか否かを判定する。これらの差異により、図４のステップ４９０が図２４のステップ４９２で置換される。上記の修正の一方または両方が図６の装置について実施可能であることが判る。次に、個々にあるいは組合わせで存在し得る下記の相違を除いて、図８に類似する図２５を参照する。即ち、ａ．その時のフレームにおいてユーザが追跡時に境界を満足できると見なすと、以降のフレームにおいて特別点のみが予測される（ステップ８６６）。ｂ．ユーザは、その時のフレームにおける境界の場所が追跡通りであることの前提で生成される動作結果（効果および（または）用途）を調べることにより、境界が満足できるか否か判定する。これらの差異により、図８のステップ８９０が図２５のステップ８９２で置換される。次に、個々にあるいは組合わせにおいて存在し得る下記の相違を除いて、図３Ａに類似する図２６を参照する。即ち、ａ．その時のフレームにおいて追跡時にユーザが境界を満足できると見なすと、他のフレームのみが用いられる（ステップ３５５）。ｂ．ユーザは、その時のフレームにおける境界の場所が追跡通りであることの前提で生成される動作結果（効果および（または）用途）を調べることにより、境界が満足できるか否かを判定する。これらの差異により、図３Ａにおけるステップ３９０が図２６におけるステップ３９２で置換される。上記修正の一方または両方が図５の装置においても可能であることが判る。次に、個々にあるいは組合わせにおいて存在し得る下記の相違を除いて、図７に類似する図２７を参照する。ａ．その時のフレームにおいて追跡時にユーザが境界を満足できると見なすと、別のフレームにおいて特別点のみが予測される（ステップ７７７）。ｂ．ユーザは、その時のフレームにおける境界の場所が追跡通りであることの前提で生成される動作結果（効果および（または）用途）を調べることにより、境界が満足できるか否かを判定する。これらの差異により、図７におけるステップ７９０が図２７におけるステップ７９２で置換される。主フレーム検査ブロック（図３Ａにおける３３５、図４における４３５、図５における５３５、図６における６３５、図７における７３５、図８における８３５）および他の検査ブロック（図３Ａにおける３７９、図４における４７８、図５における５７８、図６における６７８、図７における７７８、図８における８７８、図２４における４３５および４７８、図２５における８３５および８７８、図２６における３３５および３７９、図２７における７３５および７７８）が、２つのあり得る結果を持ち、好ましいとして、ユーザが、境界および（または）その時のフレームにおける境界の両側で異なって動作する結果の検査を行いそれを不満足と見なすならば、その時のフレームにおける境界が、典型的に、望ましくはユーザが提示した補正に応答して補正される。ユーザがその時のフレームを満足できるものと見なすならば、当該方法は他のフレームへ進行する。動オブジェクトの場所がユーザに対して提示されるホットスポットの用途または他の用途において、ユーザが例えばホットスポットである動オブジェクトを指示しているか否か、あるいはユーザがホットスポットでないバックグラウンドの場所を指示しているか否かを判定するため、図１６のステップ２１３０で生成されるマスクを用いることができる。本発明の幾つかの構成要素についてカラー・イメージ・シーケンスの処理に関して先に述べたが、本発明はカラー・イメージの処理に限定されるものではなく、例えばモノクロームおよびグレースケール・イメージを処理もできることが判る。本発明のソフトウエア構成要素が、必要に応じて、ＲＯＭ（読出し専用メモリ）の形態で実現できることが判る。ソフトウエア構成要素は、一般に、必要に応じて、従来の技法を用いてハードウエアで実現することもできる。明瞭にするため個々の実施の形態に関して記述される本発明の種々の特徴も１つの実施の形態において組合わせて提供できることが判る。反対に、明瞭にするため、１つの実施の形態に関して記述される本発明の種々の特徴もまた、個々に、あるいは適切な一部の組合わせにおいて提供することもできる。当業者には、本発明が先に特に示し記述されたことに限定されないことが理解されよう。本発明の範囲は、むしろ、請求の範囲によってのみ規定される。DETAILED DESCRIPTION OF THE INVENTION Apparatus and method for object tracking Field of the invention The present invention relates to image processing systems, and more particularly to object identification and tracking. About the system. Background of the Invention U.S. Patent No. 5,333,213 to Koyama et al. Kind Code: A1 A method and apparatus for extracting an image region for extracting an image as a dynamic image are described. It is listed. U.S. Pat. No. 5,067,014 to Bergen et al. Discloses a sequential image frame. Describes techniques for analyzing two movements in a game. US Patent No. 5,134,472 to Abe discloses a method for detecting moving objects. Are described. Published European Patent Application No. EP 0 532 823 A2 is It describes how to split a page. Maeda, U.S. Patent No. 5,274,453, combines multiple images. Therefore, an image processing system using mask information is described. Blank US Pat. No. 5,345,313 incorporates background Describes an image editing system that inserts part of the image into the background ing. U.S. Pat. No. 5,093,869 to Alves et al. Discloses a high level graphic matching. Are described. Mathematical methods useful for image processing are described in the following documents. That is, D. K. Ballard and C.I. M. Brown's "Computer Perspective ( C outputcr Vision) "(Prentice-Hall, 1982) ), CRT. de Boor's Practical Guide to Spline Curves (A Pra physical Guide to Springs) "(New York, S (Pringer-Verlag, 1978), P. J. Schneider's "Automatically Fit Digitized Curves Algorithm for automatism cally digitizing curves) "(Gra phy GEMs I, Academic Press, Inc. ), S. T. Barnard and W.W. B. Thompson's “Image Day Disparity analysis of images ) "(IEEE transactions on pattern anal) ysis and machine intelligence) PAMI-2 No. 4, July 1980), Yu-Ichi Ohta, Takeo Kanda and T.K. Sakai's "Color information for area division (Color Information for Region Segmentation "" (Computer Group hics and Image Processing, 13, 222 24 1, 1980), "Trees" by Yijia Lin, Jiqing Dou and Eryi Zhang Edge expression based on structure tree structure) "(Pattern Recognition) , Volume 25, Part 5, pages 507-517, 1992), G. FIG. G. FIG. Pieroni and M.E. F. Costabile's "Series of Modifications Method for detecting correspondence in a state (A method for detectin) g correspondences in a sequence of m modifying shapes) ”(Pattern Recognition) n Letters 3, 1985), and R. N. Srickland and Zuhua Mao's "A series of unstructured Computing Correspondence in Shape (Computing Correspondence) s in a sequence of non-rigid shapes (Pattern Recognition, Vol. 25, Part 9, 901-9 12, p. 1992). The disclosures of all the above references and all citations therein are incorporated herein by reference. Used. The disclosures of all publications mentioned herein and all citations therein are also It is also incorporated into the text for reference. Summary of the Invention The present invention seeks to provide an improved object identification and tracking system. You. Thus, according to the preferred embodiment of the present invention, the method has a boundary and a small number of events. At least one with at least one edge portion that is absent at least in part Receive an indication of an event containing two moving objects, and A tracking method is provided that includes providing an ongoing display of a world location. According to a further preferred embodiment of the present invention, the display comprises a video display. According to still another preferred embodiment of the present invention, the edge portion includes a part of the boundary. No. Furthermore, according to a preferred embodiment of the present invention, the method comprises at least one And reconstructing the missing edge portion of. According to another preferred embodiment of the present invention, at least one Receive an indication of the event, including any moving objects, and the boundaries of the object during the event A tracking method is provided that includes providing an ongoing indication of a location of a vehicle. Further, according to another preferred embodiment of the present invention, the number of frames appearing in a series of frames is reduced. An edge tracking method for tracking at least one moving object is provided. For at least one primary (key) frame in the series of frames: At least one moving object based at least in part on external input A series of frames that also mark one edge and at least one other than the main frame For all frames in, based on the output from the first marking step Automatically mark at least one edge of at least one moving object Including Further, according to a preferred embodiment of the present invention, the method is based on an external input. Remarking the at least one automatically marked edge at least once Including doing. Still further, according to a preferred embodiment of the present invention, the external input is a human operator. Data input. Further, according to a preferred embodiment of the present invention, at least one edge has an edge. Is marked without detecting the edge. Furthermore, according to a preferred embodiment of the present invention, the at least one main frame is A frame includes a sequence of frames that precedes all other frames in the sequence. No. Furthermore, according to a preferred embodiment of the present invention, the at least one main frame is A frame includes a sequence of frames that follows all other frames in the sequence. Furthermore, according to a preferred embodiment of the present invention, the at least one A frame may only precede at least one other frame in the series A series of frames following at least one other frame in the series of frames including. According to another preferred embodiment of the present invention, a plurality of connected edges are connected to one edge. There is provided an edge composition method for composing a single figure, the method comprising: The multiple connected edges in the selected direction. And converting the plurality of connected edges into a graphic including a branch list and a node list. Including configuring, the node list is independent of the direction selected. Further, according to a preferred embodiment of the present invention, the node list is an edge join list. Including Furthermore, according to a preferred embodiment of the present invention, the node list is edge-terminated. Contains the endpoint list. Further, according to a preferred embodiment of the present invention, the node list is Includes list Still further, according to a preferred embodiment of the present invention, the node list is a curvature list. Including Further, according to a preferred embodiment of the present invention, the plurality of connected edges are A plurality of pixels, wherein said transition step specifies a current pixel, and Identifying at least one visible pixel associated with the pixel at the time; It involves classifying the current part based on the number of visible parts that have been identified. Still further, according to a preferred embodiment of the present invention, the identification step includes the step of: An Indian strip is defined and this blind strip Exclude at least one pixel associated with the trip as a visible pixel And Still further, according to a preferred embodiment of the present invention, the exclusion step includes a small number of steps. Whenever at least one visible pixel is not associated with a blind strip, Exclude all pixels associated with the blind strip as visible pixels Including According to another preferred embodiment of the present invention, a boundary of a moving object is added. A method for tracking is provided, the method comprising: Selecting a number of boundary locations and converting at least a portion of the plurality of boundary locations to a first image. From the tracking step to a second image, based on the output of the tracking step and the first image Calculating a boundary in the second image based on information characterizing the boundary in the And Further, according to a preferred embodiment of the present invention, at least the plurality of boundary locations are provided. One includes locations where the properties of at least one boundary change. Still further, according to a preferred embodiment of the present invention, the boundary characteristic is adjacent to a boundary. Including at least one color. Further, according to a preferred embodiment of the present invention, the tracking is performed on the first image. Move differently from other adjacent border locations as they are tracked to the second image Involves ignoring the boundary locations where is found. Furthermore, according to a preferred embodiment of the present invention, the calculating step includes: Each of the plurality of boundary locations in the second image is the plurality of boundaries in the second image Transform the boundary in the first image so that it is transformed into a corresponding one of the locations Including Furthermore, according to a preferred embodiment of the present invention, the method also comprises the steps of: By searching adjacent to the boundary as calculated in Involves identifying the actual boundaries in the Furthermore, according to a preferred embodiment of the present invention, the actual boundary is According to whether the adjacent color of the first image is similar to the adjacent color of the boundary in the first image. Is identified. Further, in accordance with a preferred embodiment of the present invention, the output boundary, if identified, is realized. In the second image, if the actual boundary is not identified Defined as the boundary as calculated. Furthermore, according to a preferred embodiment of the present invention, while the actual boundaries are identified. The first output boundary, which partially matches the actual boundary, If no boundary is identified, the boundary as calculated in the second image A first output boundary is defined that partially matches. Further, according to a preferred embodiment of the present invention, the method also includes a first output boundary. By searching adjacent to the world, a new actual boundary in the second image is found Identify and, if a new actual boundary is identified, Define new output boundaries that match, and if no new actual boundaries are identified, If, on the other hand, it defines a new output boundary that partially matches the first output boundary. Including. Furthermore, according to a preferred embodiment of the present invention, the converting step includes the following. Each of the plurality of boundary locations in the second image is the plurality of boundaries in the second image The spurs of the boundary in the first image to be converted to a corresponding one of the locations Including converting the in-display. Further according to a preferred embodiment of the present invention, the method also comprises the steps of: Providing a first image that is visible and providing a second image that is visible from a different perspective Including Furthermore, according to a preferred embodiment of the present invention, the method also comprises First including at least one of a moving object and a dynamic background And providing a second image. Furthermore, according to a preferred embodiment of the present invention, the automatic marking The step comprises at least one step based on the output from the first marking step. Including automatically marking all edges of the moving object. Also, according to another preferred embodiment of the present invention, at least At least one having at least one edge portion that is not also present in part An event input device operable to receive an indication of an event including a moving object, and an event A boundary that operates to provide an ongoing display of the location of the object's boundary during the A tracking device is provided that includes a locator. Also, according to a preferred embodiment of the present invention, less And an edge tracking device for tracking one moving object is provided. The position is reduced for at least one main frame in the series of frames. At least one of the at least one moving object also partially based on external input An edge marker operative to mark an edge of the at least one For all frames in the series of frames other than the main frame, the first frame At least one moving object based on the output from the working step And an automatic edge marker that operates to automatically mark one edge. No. According to a preferred embodiment of the present invention, a plurality of connected edges are An edge configuration device is provided, the device comprising a plurality of connections in a selected direction. Edge traversers that operate to transition connected edges and multiple connections Operative to construct a drawn edge into a shape containing a branch list and a node list Including the graphic structurer, where the node list is independent of the selected direction It is a target. According to another preferred embodiment of the present invention, a boundary of a moving object is added. A device for tracking is provided, wherein the device is to be tracked in the first image. A boundary selector operative to select a number of boundary locations; Boundary trajectory that operates to track at least some of the multiple boundary locations to the image And a boundary in the first image based on the output of the boundary tracker. Boundary meter operable to calculate a boundary in the second image based on the symbolizing information Arithmetic device. According to another preferred embodiment of the present invention, at least one An event input device operable to receive an indication of an event including a moving object, and an event A boundary that operates to provide an ongoing display of the location of the object's boundary during the A tracking device is provided that includes a locator. Further, according to a preferred embodiment of the present invention, the method is different on different sides of the boundary. And generating the effect to be applied. Furthermore, according to a preferred embodiment of the present invention, the method comprises at least one It also involves creating effects that are applied differently to different sides of the edge. Further, according to a preferred embodiment of the present invention, the effect is that of a moving object. Including effects that take place at locations determined in part. According to another preferred embodiment of the present invention, at least one Receiving a display comprising a plurality of frames of an event including a moving object of the event duration Calculate the location of the boundary of the medium motion object and applied differently to different sides of the boundary Generate an effect and apply said effect without previously displaying individual indications of boundaries An image modification method including displaying the result is also provided. Further, in accordance with a preferred embodiment of the present invention, the step of producing an effect is performed automatically. After the working step has been performed on successive frames, This is performed in successive frames in a series of frames including the frame. Still further, according to a preferred embodiment of the present invention, the step of generating an effect includes: After the automatic marking step has been performed for each frame, a series of frames Done in individual frames from the frame. Further, according to a preferred embodiment of the present invention, the effect is Before the effect is generated, it is generated and displayed for each frame. Further, according to a preferred embodiment of the present invention, the effect is that the user has Displayed for all of the multiple individual frames without expecting any input. Further, in accordance with a preferred embodiment of the present invention, at least one motion Receives an indication containing multiple frames of the event containing the object and moves during the event. Calculate the location of the object's boundaries and do not display individual views of the boundaries before. Providing a user detectable indication of the location of the moving object during the event An image marking method is provided. Furthermore, according to a preferred embodiment of the present invention, the above-mentioned effects are the following effects. Groups: compounding, retouching, smoothing, compression, compounding, painting, Blurring, sharpening, filtering, and different sides of the edge , The effect of changing at different rates in time. Further, in accordance with a preferred embodiment of the present invention, the event comprises a plurality of dynamic hotspots. A pot object, wherein the providing step comprises: Provides an ongoing display of the location of each boundary of a dynamic hotspot object Including Further according to a preferred embodiment of the present invention, the method also includes Hotspots to interpret each user's selection of hotspot objects Using an on-going display of the location of each boundary of the cut object; Information about each dynamic hotspot object selected by the user. Displaying. Still further, according to a preferred embodiment of the present invention, the moving object has a ratio Part of a relatively large object. BRIEF DESCRIPTION OF THE FIGURES BRIEF DESCRIPTION OF THE DRAWINGS The invention can be understood by reference to the following detailed description when taken in conjunction with the drawings. There will be. FIG. 1 illustrates a moving object constructed and operative in accordance with a preferred embodiment of the present invention. Simple overall block diagram of the data processing system, FIG. 2A illustrates at least one main (key) frame from a series of frames. Identify the boundaries of the object of interest and Simple flow chart of an interactive process for marking boundaries 2B to 2F show steps 115, 130, 140 and 150 of FIG. 2A. Simple depiction of rough marking examples according to the method, FIG. 2G shows that at least one main frame has a first frame in a series of frames. A simplified flowchart of the process of FIG. FIG. 3A shows a boundary track of the moving object of FIG. 1 to implement the method of FIG. 2A. A simple block diagram of a device such as mosquito 70, 3B-3D are simplified depictions showing the inner junction, outer junction and occlusion, 3E and 3F are simplified depictions showing a portion of the operation of step 370 of FIG. 3A. Map, FIG. 4 shows that at least one main frame has a first frame in a series of frames. 2G to implement the process of FIG. A simple block diagram of a device such as mosquito 70, FIG. 5 is a simplified block diagram of a modification of the apparatus of FIG. 3A where boundaries are accurately identified; FIG. 6 is a simplified block diagram of a modification of the apparatus of FIG. 4 where the boundaries are correctly identified; FIG. 7 illustrates the operation of FIG. Simple block diagram of equipment modification, FIG. 8 operates in anticipation of the location of the boundary in the non-primary frame. Simple block diagram of the modification of the device, FIG. 9 illustrates a first alternative sub-system that performs the pre-processing operations of FIGS. 3A and 4-8. Simple block diagram of the system, FIG. 10 is a simplified diagram of the component mapping unit of FIGS. 3A and 4-8. Simple block diagram, FIG. 11A illustrates a preferred method of operation of units 1550 and 1560 of FIG. Simple block diagram, FIGS. 11B and 11C show a simplified view of the visual area to help understand the method of FIG. 11A. Depiction, FIGS. 11D-11H illustrate a plurality of pixels to aid in understanding the method of FIG. 11A. Simple depictions, FIG. 11I is a simplified depiction of a diagram of an edge where a tree is constructed according to the method of FIG. 11A. , FIG. 12 is a simplified block diagram of the special point correspondence finding block in FIG. 3A and FIGS. Lock diagram, FIG. 13 shows a desirable operation method for the special point weight calculation unit 1700 of FIG. Simple flowchart of the law, FIG. 14 illustrates a preferred method of operation for the boundary evaluation blocks of FIGS. 3A and 4. Easy flowchart, FIG. 15 illustrates an alternative desired behavior for the boundary evaluation block of FIGS. 3A and 4. Simple flowchart of how to make, FIG. 16 illustrates the boundary and mask generation units of FIGS. 3A and 4-8. A simple flowchart of the desired operating method, FIG. 17 shows the exact object of FIGS. 3A, 4, 5, 6, 7 and 8. A simplified flowchart of the preferred operating method for the boundary description block, FIG. 18 illustrates steps 570, 572 and 574 of FIG. 5 and step 67 of FIG. 0, 672 and 674, a simplified flowchart of the preferred method of operation; FIG. 19 is a simplified flowchart of an alternative method of operation of step 2340 of FIG. To FIG. 20 is a simplified flowchart of a prediction method effective in the methods of FIGS. To FIG. 21 is a diagram for implementing the steps of FIG. 20 in the case of first rank prediction. A simple flowchart of the desired method, FIG. 22 is a flow chart for implementing the steps of FIG. 20 in the case of second order prediction. A simple flowchart of the desired method, FIG. 23 illustrates a case where the steps in FIG. A simple flowchart of the desired method for FIG. 24 is a simplified block diagram of a modification of the apparatus of FIG. FIG. 25 is a simplified block diagram of a modification of the apparatus of FIG. FIG. 26 is a simplified block diagram of a modification of the apparatus of FIG. 3A, and FIG. 27 is a simplified block diagram of a modification of the apparatus of FIG. Detailed description of the preferred embodiment First, a moving object processing apparatus configured and operated according to the preferred embodiment of the present invention. Please refer to FIG. 1 which is a simple overall block diagram of the management system. The term "moving objects" In the text, an object that is static at some times and moving at other times In addition, it is intended to include an object that always moves. The system of FIG. 1 is used for animations, shooting images and other video images. A series of time-varying images, such as Is received via a suitable video interface 10 including an A / D device. take. Suitable video sources include, for example, video camera 20, network, Video storage device 30 (video memory, video disk, tape, CD-RO M, or hard disk), or a film scanner 40. The system includes a processing unit 50 associated with a video memory 54. This place The processing device 50 may be, for example, equipped with a video function and programmed with appropriate software. May be any suitable computer. For example, as is well known in the art, IBM compatible Pentium PC with video I / O card can be used Wear. Alternatively, processor 50 may be partially or completely custom hardware Others can be realized. The processing device 50 includes a graphics drawing device 60 (for example, a tablet and a style From a suitable user input device (such as a ras or mouse) in the initial frame. Receiving an indication of at least one initial boundary of at least one moving object . Alternatively, when this display appears outside of the initial frame, Boundary. The term "frame", as used in the text and claims, is used in the art. Refers to a frame as commonly understood, or as commonly understood in the art. Interlaced video, where one frame contains one or more fields In the case of E, any file containing a frame as commonly understood in the art is included. Field. One or more boundaries for which the user performs a boundary display (herein referred to as "reference boundaries") Frames are referred to in the text as "primary (key) frames". The main frame is like For example, due to a change in the movement of an object or by another object Moving objects due to occlusion or changes in light conditions The frame is selected as a frame whose appearance characteristics change. One or more fields of view, either two main frames or non-main frames Include multiple frames that can be seen from different perspectives or from one moving perspective I understand. Frame shows moving object, moving background, or both It can be seen that the frame is included. The processing device 50 communicates through the non-primary frame based on the location of the boundary in the main frame. Object boundary tracker that operates to track moving object boundaries 70. If the moving object boundary tracker 70 passes through a non-main frame The boundary in the direction, ie forward, backward, converging from both ends, etc. It turns out that it is desirable to operate as follows. The moving object boundary tracker 70 is a boundary area where the tracker 70 cannot be found. It is desirable to operate to complete the boundary by adding a fragment. this These boundary segments are referred to herein as "invisible boundary segments." The user can use the drawing device 60 to select either a main frame or a non-main frame. Interactively corrects boundary tracking via. The output of the moving object boundary tracker 70 is typically an image sequence Including an indication of the location of the border for each of the frames. The display of this boundary location , Typically includes a mask with a value “1” at the boundary and a value “0” at other boundaries . Boundary location indications are sent to and used by any of the multiple application devices. This allows the operator to instantly move the moving object "frame by frame". Instead of having to process each frame individually, the entire image Issue a single command to process a moving object And enable. Similarly, the background of all image sequences Processing can also be performed without having to process each frame individually . Examples of suitable application devices include: That is, a. A video composite that operates to produce a video image that includes multiple "layers" Joint device 80. b. For at least one moving object in the image sequence, One-step enhancement rather than frame-based retouching of moving objects Images that operate to perform events, segmentations, or special effects Retouching device 90. The retouch operation changes colors, such as noise reduction. Filtering, sharpening, or other types of filtering, and Includes ring-like effects. Alternatively, the location of the boundary may be, for example, a network or video storage device. Sent to another location such as 30. Video display 95 preferably provides a display that facilitates an interactive session. No. Boundary location indications may be used for a variety of other applications including, for example: Conceivable. That is, a. Video rate conversion or video standard conversion. b. At least one moving object in the image is typically Image compression, which compresses more accurately than the rest of the image. c. Track the boundaries of encountered objects to determine the best route to go through Scene analysis such as automatic navigation applications. Next, a simple flow for the interactive operation of the moving object boundary tracker of FIG. Referring to FIG. 2A which is a chart. In the method of FIG. Are identified in at least one main frame from the series of frames. To mark the boundaries in the remaining frames from the sequence of frames Used. The user selects or localizes the boundary in any suitable way, such as: You. That is, a. As shown in FIG. 2A (step 115), for example, graphics drawing Operated by a tablet stylus, such as a stylus associated with device 60 Rough manual marking of the boundaries of the object of interest with a brush. Next The system tries to find multiple candidate edges within the rough marking Try. These candidate edges are available to the user who selects the appropriate edge from them. Displayed for Alternatively, for example, the following boundary selection or localization method is used . That is, b. The user manually marks the exact boundary location. c. Spline tools and other curve drawing tools to mark boundaries Is used by the user. d. The user may select a rectangle, a previously used border contour, or other predefined border contour. One boundary contour is selected from a library of such boundary contours. e. The user can identify either the object or the background Select a color selection method known in the art, such as a chromaticity key or color key. Use another means of indicating the boundaries as defined. Second, the system is The transition between the selected part and the non-selected part is identified using a method well known in the art. The transition between the unselected parts is regarded as a boundary. f. Any combination of (a) to (e) In cases (b) to (d), the system preferably comprises: Add a rough marking around all or part of the marking selected by the user. Add. The result of this process is a rough marking similar to case (a) Yes, this rough marking is used as described above for case (a). Can be Invisible edges are preferably filled by the user. The boundaries can be manually modified by the user once they have been marked as before. Is desirable. The system finds the location of the marked boundary in the main frame (step 130) Modify the location of the boundary marked by the user based on the system response (Steps 140 and 150). Next, according to the method of steps 115, 130, 140 and 150 in FIG. Reference is made to FIGS. 2B to 2F, which are simplified depictions of the rough marking case. . 2 to 2F show option (a), rough manual marking . FIGS. 2B-2F typically show the video display 95 of FIG. Being presented to the user during the operation of steps 115, 130, 140 and 150 Indicates a desirable display. FIG. 2B shows the actual frame. Preferably, in FIGS. 2C to 2F The actual frame in FIG. 2B has been updated to help the user mark and correct. Displayed as background. For simplicity, the background is Not shown in 2D to FIG. 2F. FIG. 2B includes a plurality of edges 116. The edge 116 includes the regions 121 and 122 , 123, 124 and 125. In FIG. 2B, regions 121, 1 22, 123, 124 and 125 are considered different colors, but generally It can be seen that different areas need not be different colors. Region of interest 121, 123, 123 together form one desired object 117, Region 125 is not of interest to the user and regions 121, 12 2, 123 is a region of interest. Region 124 is also of interest to the user Is not considered to be. In the case of FIGS. 2B-2F, the region is closed Surrounded by the edge of the video display 95 or the end of the video display 95 Is defined by In FIG. 2C, the user marks a rough marking area 126 and The limits are indicated in FIG. 2C by the marking area limits 127. Typically, the user The rough marking area 126 is mapped by the graphic drawing device 60, for example. Work. Alternatively, the user marks the marking area limit 127, The area 126 between the marking area limits 127 is a rough marking area. Indicates that there is. In FIG. 2D, all edges 11 not within the rough marking area 126 6 has been removed by step 130 of FIG. 2A. Rough marking area 126 is a region of interest 121, 122, 123 together with a region 124 of no interest. It can be seen that it includes an edge 116 surrounding them. FIG. 2E shows the remaining edges within the rough marking area 126. Edge 128 is inside the desired object 117, and edges 129 and And 130 define a region 124 of no interest. Interest based on closed edges In order to define the region, it is desirable to open the edge of region 124, so that The region 124 is outside the desired object 117. Typically, step 14 The user decision of 0 is based on the display of FIG. 2E. In FIG. 2F, which shows the result of step 150, the user is typically A part of the edge 129 is erased by using the pattern writing device 60, and as a result, Is outside the desired object 117. In general, if the user A wide range of corrections can be made, including erasing the part and retouching the edges or the part. I understand. In step 155, the system determines the quality of the border of the main frame. To learn. Boundary attributes include, for example, border length, average color and color Including changes. The characteristics of the boundary may also be, for example, the speed of the boundary and the acceleration of the boundary. May also include the motion characteristics of the boundary. The method of step 155 is described in FIG. The arrangement is described in more detail below. Non-primary frames are input at step 190. The system then proceeds on the non-main frame to the boundary marked on the main frame. Proceed to identify the world (step 160). In this step, the system , Arbitrarily utilizing information obtained from processing of other frames already processed. The cis System, typically based on information from other frames already processed, Area around object boundary in frame previously processed as (ROI) Identify areas to identify those areas where boundaries are expected to be found It is desirable to search for a boundary only in the ROI of About the method of step 160 3A is described in further detail below. The boundary output at step 160 is returned to step 155, where the boundary is plotted. It can be seen that in a further iteration of the 2A method, it is treated as a main frame boundary. . Non-primary frames found by the system in step 160 by the user It is determined that the boundary of the object in is not sufficiently good (step 17). 0), the user can directly modify these boundaries (step 18). 0), or more or different frames as main frames Define and rerun the system based on the reference boundaries of the new set of main frames Can be determined as follows. Typically, at step 180, the user Selection of display and modification similar to those described above with respect to FIGS. 2E and 2F Given. Alternatively, the user has stated with respect to step 115 of FIG. 2A. Any other method can be used, such as: The user may select only one time for the entire image sequence or this image sequence. User and / or system within the sequence boundary marking process. At one or more intermediate points determined by the ? Is presented. The user can select each frame of the image sequence or Make a judgment "is it good enough" for only some frames of the sequence? Can be. A user including steps 110, 150, 180 throughout the operation of the method of FIG. 2A. Modify or correct the operation of the system at any step, including user input Therefore, it can be understood that the user can perform additional input. FIG. 2G shows that the first frame in a frame sequence is the only main frame. 2A, which is first selected as a frame and processing continues for all frames. This is a special case of the flowchart. The steps in FIG. 2G are the same except for the following: This is self-evident in light of the previous description of FIG. 2A. In step 210, the system proceeds with only one frame or series of sequential frames. Enter the frame. If a series of frames is input, steps 220, 23 0, 240 and 250 process this series of frames one frame at a time I do. In step 255, the system learns the boundary characteristics of the current frame. You. Optionally, the boundary characteristics of the series of frames may include, for example, boundary length, average color, And color changes. Such a frame sequence is Input in step 210 or multiple frames in step 255 Incorporated when processed. If a series of frames is processed, the nature of the boundary is It also includes the characteristics of the boundary motion, such as, for example, the speed of the boundary, the acceleration of the boundary. Step The method of step 255 is described in further detail below with respect to the apparatus of FIG. In step 290, the next frame is input. System steps In step 260, the next frame is Find the boundaries of the game. As described above with respect to step 160, step 26 0 is the RO defined by the motion of the object in the previous frame. It is desirable to be limited to I. The operation of step 260 further relates to the apparatus of FIG. This will be described in more detail below. If the last frame is reached after step 275, processing continues at step 255 . Next, to implement the method of FIG. 2A, the moving object boundary tracker 70 of FIG. Please refer to FIG. 3A, which is a simple block diagram of such an apparatus. The steps in FIG. 2A are performed by the following units in FIG. 3A. That is, Step 110 Unit 310 Step 115 unit 320 Step 130 Units 330 and 340 Step 140 unit 335 Step 150 unit 320 Step 190 unit 355 Step 155 Units 350 and 380 Step 160 Units 330, 340, 360 and 370 Step 170 Unit 379 Step 180 Unit 320 In pre-processing unit 330, as described in further detail below with respect to FIG. Edge in each frame, including primary and non-primary frames It would be desirable to be modified to facilitate the remaining steps. In component mapping unit 340, further described below with respect to FIG. The edges found by the pre-processing unit 330 are traced as A structure is generated to show the edges. This structure typically has each branch , And each node includes a forest of edge trees that includes “special points” such as connection points. Special points also determine whether edges are connected to connection points and edge corners. Regardless, it includes, for example, an end point at one edge. The term "tree", as used throughout the specification and claims, refers to the loop The tree containing the path back to the already reached connection point. As is well known in the art, It can be seen that this type of tree can also be shown as a graphic. Therefore, one tree All actions described in the text that are performed in the Can be The term "figure" as used throughout the specification and claims. "Shape" and "tree" are intended to include representations of both figures and trees, respectively. The term "forest" is used throughout the description and claims to refer to a collection of trees. It is. One graphic may represent a collection of trees, so that the forest is one graphic or one It can be seen that more than one figure can be included. When tracking an object, the special point is the inner connection point, ie the object It is considered to be a connection point that is inside or inside the boundary to the point. One e If the object closes another object, an outer connection point to track is desirable. Or alternatively, depending on the exact location of multiple partially closed objects , The combination of inner and outer connection points or other special points is tracked. Next, FIG. 3 is a simplified pictorial diagram showing the inner connection point, the outer connection point and the closure. B to FIG. 3D. FIG. 3B shows the tracked object 341 and the 2 objects 342. The tracked object 341 is It has side connection points 343 and 344 and an outside connection point 345. Second object 3 42 has an inner connection point 346. In addition to the connection points shown in FIG. It turns out that there is a continuation point. As mentioned earlier, the special point is considered to be the inner connection point. It is desirable to be done. 3C, the tracked object 341 and the second object 342 are shown. Move closer together so that the second object 342 is tracked. The object 341 to be closed is partially closed. From FIG. 3C, the inside that can be seen in FIG. 3B 3C due to partial closure of object 341 where side connection point 344 is tracked It can be seen that it is not visible in. In addition, new outer connection points 347 and 348 Generated by this partial closure. Furthermore, in FIG. 6 is the connection point outside the object 341 which is then tracked by a partial closure It turns out there is. Therefore, in the case of partial closure, the outer connection point is also a special point It turns out that it is desirable to consider it. In FIG. 3D, the tracked object 341 and the second object 3 42 move closer together, resulting in a greater degree of closure . In FIG. 3D, new outer connection points 347, 348 and outer connection point 346 are still , So that connection points 346, 347, and 348 are marked as special points. But This is found to be preferable in tracking the tracked object 341. Unit 340 is described in further detail below with respect to FIGS. Bell. Unit 350 receives the output of step 340 and for each main frame " A precise description of the object boundaries that is desirably represented by the term "chain code". Produces a statement. A chain code is a representation of the boundaries for edges and special points, typically Contains pointers to the edges and special points that form the boundary in the proper sequence. No. Another curve, typically a spline connecting the points, is calculated. These curves are , In the text, also referred to as “initial boundary estimation segment”. About spline calculation As mentioned above, C. de Boor and P.M. J. By Schneider It has been described. This spline is typically used for boundary estimation purposes. Used in another step. Display of chain codes and control points of control polygons, typically splines. The display of the spline is stored in the database 380. The operation of unit 350 is described in further detail below with respect to FIG. Typically, after all main frames have been processed, units 330 and 340 Operate on missing frames. Unit 360 is a special point in the main frame (s) and not the main Special points in the frame, one in the main frame and one in the non-main frame To see the correspondence between paired special points in the system that represent the same place in the object. put out. For the processing of other frames, the corresponding special points are assumed special points. Is handled. This correspondence is found with respect to the storage point data found in database 380. You. This stored point data is typically stored in units 350 and 37 together. 0, a chain code representing special points and edge segments of the boundary, A spline representation of the boundary edge segments. Optionally, response is primary Look once between special points in the frame and special points in the non-main frame When issued, these correspondences are special in the primary frame and other minor frames. Used to find correspondences with special points in. About unit 360 12 and 13 are described in further detail below. For example, if a correspondence is found for two special points, these special points will be referred to here as " They are called "corresponding points." Similarly, if a correspondence is found between the two boundary segments, The two boundary segments are referred to herein as "corresponding segments." Corresponding point And the corresponding segment are the same point and the boundary segment in the moving object. These are represented respectively. The process for finding the corresponding segment Set 370 is described below. The operation of unit 360 is limited to the ROI, as described above with respect to FIG. 2A. It is. In step 360, the ROI is typically In a predefined size area around the boundaries and special points of objects such as cells It is said that there is. Special points identified by unit 360 are received by unit 370 and The chain code and the spline display stored in the database 380 are searched. Gap exists because some special point was not found by unit 360 At times, the gap is determined by the via use of a spline representation representing the boundary estimate. Filled in e). The points typically describe the spline curve of the initial boundary estimation segment between each point. Are connected together by projecting from the base 380. Typically, each The points move and the distance between each point and their position relative to other points is Since this changes after being stored in the database 380, this protrusion is used for the affine transformation. Desirably include use. This affine transformation is used for rotation, scaling and transformation. Including rank. Affine transformations are well known in the art and have been mentioned in Balla rd and Brown, p. 477. The affine transformation is applied only to the control points of the spline curve, and then Preferably, the line is recalculated. When the new protruding curve is used for other frames, Is called a “boundary segment”. Next, FIG. 3E is a simplified depiction showing a portion of the operation of step 370 of FIG. 3A. And FIG. 3F. FIG. 3E shows a first frame including special points 371, 372, 373 and 374. Is shown. FIG. 3F shows another frame containing special points 375, 376 and 377. You. As noted above with respect to unit 360, a special point pair, 371 and 375, Correspondence was already found between 372 and 376 and between 373 and 377. Point 374 No response was found for. The estimated boundary segment 378 protruding as described above is represented by points 375 and 377 Was added between each pair of adjacent points. The previous section between points 373, 374 and 371 Even if no corresponding point is found for the point 374 based on the It can be seen that field segment 378 is projected between points 375 and 377. The updated chain code is derived from the estimated boundary segments and the corresponding special points. Is calculated. The description of the chain code updated with special points and estimated boundary segments is , Stored in the database 380. The estimated boundary segment will be Used as an initial boundary estimation segment. About calculation of chain code 17 is described in further detail below with respect to FIG. Used outside the object boundaries, for example as a list of coordinates defining the location of the boundaries. A description of the object boundaries, including possible representations, and objects suitable for further processing The mask of the object is generated in the unit 390. Or alternatively, an object Object mask is generated and the object boundary description is In a later step where the description should be used, the It is. Unit 390 is described in further detail below with respect to FIG. Unit 379 includes a new main unit as described above with respect to FIGS. 2A-2F. The user examines the results of the method of FIG. Allow the results to be modified accordingly. The result of the method of FIG. It is presented to the user by drawing the chain code on the current frame. Unity 379 is shown to receive input from unit 370, May be any other object available as information stored in database 380, for example. It turns out that the information of the project boundary can be used. The unit 335 is associated with the processing, and Draw directly the edges found by unit 30 instead of using the depiction of The operation is the same as that of the unit 379 except for the above. Next, at least one main frame is the first frame in the sequence of frames. FIG. 2 is a simplified block diagram of a unit for performing the process of FIG. Referring to FIG. The steps in FIG. 2G are performed by the following units in FIG. That is, Step 210 Unit 410 Step 220 unit 420 Step 230 Units 430 and 440 Step 240 unit 435 Step 250 unit 420 Step 290 Unit 455 Step 255 Unit 450, 480, 465 Step 260 Units 430, 440, 460 and 470 Step 270 Unit 478 Step 280 Unit 420 The units in FIG. 4 are similar to the units in FIG. 3A and will be described below. Except for, is self-evident with respect to the previous discussion of FIG. 3A. 3A and FIG. The correspondence between the units is as follows. That is, Unit 310 Unit 410 Unit 320 Unit 420 Unit 330 Unit 430 Unit 340 Unit 440 Unit 335 Unit 435 Unit 350 Unit 450 Unit 355 Unit 455 Unit 360 Unit 460 Unit 370 Combination of unit 470 and unit 465 Unit 379 Unit 478 Unit 380 Unit 480 Unit 390 Unit 490 In FIG. 4, the following units operate on the first consecutive frame, and Generally, in the main frame as in the corresponding units 410, 435, 450 in FIG. Instead, treat the first frame as the main frame. In FIG. 4, a plurality of first frames are processed together. Unit 455 provides the next frame continuously, preferably one frame at a time. To the unit 430 at a time. The operation of unit 460 is limited to the ROI as described above with respect to FIG. 2G. It is desirable to be. In unit 460, the ROI is typically, for example, Pre-defined around object borders and special points, such as the surrounding five pixels Is considered to be an area of the specified size. Unit 460 is one frame at a time It is desirable to operate on successive frames at a time. Unit 460 is used between special points in successive frames, ie, one first Frame and one in the next frame represent the same place in the object Find correspondences between pairs of special points. Regarding the processing of still other frames, Special points are treated as special points that are estimated. For storage point data found in database 480, a correspondence is found. The stored point data is typically stored in units 450 and 46, both described below. 5, a chain code representing the special points and edge segments of the boundary, , A spline representation of the boundary edge segments. Two consecutive Once a correspondence is found between special points in the frame, optionally these pairs Correspondence between special points in two frames and special points in other frames To Used to find out. The unit 460 is described with reference to FIGS. This will be described in more detail below. The unit 470 generates the accurate object boundary description by the unit 465. It operates similarly to unit 370, except that it is implemented. Of the frame at that time The chain code of the current frame representing the exact boundary description is given by unit 460. Based on the corresponding special points found and the boundaries estimated by unit 470 Is calculated. In FIG. 3A, the function of unit 465 is included in unit 370. You can see that. Unit 465 is described in further detail below with respect to FIG. You. Unit 478 operates on the output of unit 465 Except for this, the operation is the same as that of the unit 379 in FIG. 3A. Next, a simple block diagram of a modification of the apparatus of FIG. 3A in which the boundaries are correctly identified. Please refer to FIG. The units of FIG. 5 correspond to the earlier discussion of FIG. 3A, except for the following: Is self-evident. In FIG. 5, further processing is performed after the estimation of the boundary is completed. Here, "Medium The estimated boundaries represented by chain codes, called "inter-chain codes", are units 570. The estimated boundary generated by unit 570 and the data And a chain code describing the stored frame boundaries obtained from the database 580. Based on the plumbing data, more accurate boundaries are identified by unit 572. You. Unit 572 identifies edges near the estimated boundary and generates a boundary segment It is desirable to operate by selecting the best candidate for the event. Unity The estimated boundary segment provided by the Fill in by unit 574 if not successfully identified by 72 And an accurate object boundary description is generated. The operation of unit 572 is limited to the ROI as described above with respect to FIG. 2A. Is desirable. In unit 572, the ROI is typically Predefined size around object borders and special points, such as 5 pixels Is considered to be an area. The units 570, 572, and 574 are described below with reference to FIGS. This is described in more detail below. The chain code is calculated by unit 576 based on the new, more accurate boundary. You. In the case of FIG. 5, the chaining code is typically unit 5 instead of unit 570. Calculated by 76. This chain code is stored in the database 580, Also sent along unit 578, which tells the user to check for new boundaries. Allow. The operation of unit 576 is described in further detail below with respect to FIG. State. Next, a simple block diagram of a modification of the apparatus of FIG. 4 in which the boundaries are correctly identified. Refer to FIG. The units of FIG. 6 are self-contained with respect to the previous discussion of FIG. It is clear. The estimated boundary represented by the intermediate chain code is determined by unit 670. Is identified. A more accurate boundary is the estimated boundary from unit 670 and the data It is desirable to include the chain code and spline obtained from the database 680 Identified by unit 672 based on the data for the previous frame . Unit 672 may identify edges near the estimated boundary and generate a boundary segment. It is desirable to work with the selection of the best candidate for Unit 672 Will be described in detail below with reference to FIGS. 18 and 24. The operation of unit 672 is limited to the ROI as described above with respect to FIG. 2A. Is desirable. In unit 672, the ROI is typically Predefined size around object borders and special points, such as 5 pixels Is considered to be an area. In unit 674, the estimated boundary segment is used to determine the more accurate boundary. Filled in if not successfully identified by knit 672, accurate object An object boundary description is generated by unit 665. For the operation of unit 674 This is described in more detail below with respect to FIGS. Next, the arrangement of FIG. 5 which operates to anticipate the location of the boundary in the non-primary frame. Please refer to FIG. 7, which is a simple block diagram of the correction of the position. The units in Fig. 7 are With the exception of, the previous discussion of FIG. 5 is self-evident. The boundary description of the object in unit 774 is based on the operation of unit 574 in FIG. , The operation of the unit 576 of FIG. Unit 777 calculates the kinematics for the position, the change in position, the rate of change of the position, The database 78 is used to predict the location in the next frame of special points and boundaries. Applies to special points and boundary locations stored at zero. The time between frames is athletic In the application of kinematics, the main frame processed is It is necessary to consider the time distance and direction in frames between frames You can see that. The kinematics is described in more detail below with respect to FIGS. State. Unit 752 operates similarly to unit 777, but with unit 752 Instead of using other frames as in Use the kinetic equation to anticipate. Similarly, unit 771 is a database, in contrast to unit 570 of FIG. The motion equation is also applied to the stored spline data received from the The stored spline data is updated to more accurately predict boundary locations. Next, the apparatus of FIG. 6 which operates to anticipate the location of the boundary in the non-primary frame. Please refer to FIG. 8, which is a simple block diagram of the correction of the position. The unit of FIG. 8 is self-explanatory with respect to the previous discussion of FIGS. 6 and 7, except as follows. is there. Unit 866 makes predictions about special points and boundaries. Special points and boundaries Stored in database 880 to predict locations in subsequent frames The motion equation is applied to the position of the special point and the boundary with respect to the previous frame. 8 method The kinematic equations that are valid in are discussed below with respect to FIGS. You. Unit 852, like unit 866, follows the main frame using kinematics. To predict special points and boundaries. Similarly, the unit 871 is similar to the unit 771 in FIG. Apply motion equations to the stored spline data received from 80 and store the results The updated spline data is updated to more accurately predict the location of the boundary. Unit 874 is similar to unit 774 in FIG. Next, blocks 330, 430, 530, 63 of FIGS. 3A and 4 to 8 are used. Alternative subsystems for implementing pre-processing operations of 0, 730 and 830 Please refer to FIG. 9 which is a simple block diagram of the above. The commonly used RGB color space is such that all three components R, G, B, It is not optimal for edge detection because Edges identified from the components of the color space tend to be similar. Therefore, the above Behavior typically does not occur, i.e., components tend to behave differently, Select a color space where the edges identified from the components of the resulting color space tend to be different It is desirable to do. The following components calculated from the R, G, B components of the RGB color space Is used. That is, I₁= (R + G + B) / 3 I_Two= (RB) I_Three= (2 * GRB) / 2 The color space is based on Yu-Ichi Ohta, Takeo Kana mentioned above. da and T.D. This is discussed in Sakai's paper. In FIG. 9, the input color components are converted to the selected color space (unit 110). 0). In the case of the color space mentioned earlier, the formula presented is Used. RGB space or any other suitable color space is used. Next, edge detection is performed for each color component (unit 1110). Accidentally A minimum threshold is applied to the color intensity of each color component to remove detected edges, All edges whose color component intensity is less than the threshold are ignored (1120). Edges detected in individual color components are merged into one (unit 1130) . Typically contains the value "1" whenever an edge is detected, otherwise the value "1". An image of an edge including “0” is generated. Next, the component (component) mapping unit of FIG. 3A and FIGS. Please refer to FIG. 10 which is a simple block diagram of the above. Unit 1500 is shown in FIG. And a working copy of the edge image generated by the pre-processing unit of FIGS. make. This working copy remains in the air until it reaches the end of the image (unit 1520). The unit is scanned for pixels of the edge (unit 1510). The pixel at that time If it is not an edge pixel (unit 1540), scanning continues. If the current pixel is an edge pixel, the connection point pixel and the end pixel Until another special point is identified as described below with respect to FIG. 11A. And the connection point pixel, end pixel or other special point is the root pixel Pixels along the edge are traced until identified. Connect to root pixel All successive pixels are traced to form an edge tree (unit 15) 50). No connection point pixel, end pixel or other special point must be found If so, the initial edge pixel is considered the root pixel. Unit 1550 identifies candidate special points as, for example, points at edge connection points. Separate. Candidate special points also do not connect, for example, with connection points or edge corners Includes endpoints at edges. The edge tree is added to the edge forest consisting of all the edge trees found (street). (Step 1570), Edge tree pixels are erased from the working copy of the edge image. (Step 1560). The edge forest has a special point candidate and an edge Provide a component map containing the candidates and their relationships. Methods for forming edge trees are well known in the art, and have been discussed previously in Yij. a Lin, Jiqing Dou and Eryi Zhang's "Based on Tree Structure" Edge presentation based on tree s structure) "(Pattern Recognition Vol. 25, No. 5, pp. 507-517 (1992)). A method of forming an edge tree, well known in the art, is a list of edges to be generated. List of nodes and nodes is not necessarily independent of edge tracking direction and root node selection It has the disadvantage of not being a target. Overcome the disadvantages of the methods known in the prior art, A preferred method for forming an edge tree is shown in FIG. Write. The method of FIG. 11A is unique when all special points are connection points. You. The estimation rule for forming the edge tree is as follows. Visible area rule: From the direction of approach to the pixel to the other direction The area around the edge pixel at that time is called the "visible area" here. You. This visible area of the current edge pixel is where the current edge is Depending on the direction from the edge pixel, it is classified as oblique or rectangular. "Direction" means traveling in the horizontal or vertical direction, ie, not obliquely. means. Next, a simplified depiction of the visible area to aid in understanding the method of FIG. 11A. 11B and 11C. In FIG. 11B, the arrow is a square In FIG. 11C, the arrow indicates a direction that is oblique. All directions appear as part of the visible area, except as described below. a. If the viewable area is rectangular, both in the backward direction and in the oblique direction, All the backward directions are not visible. b. If the visible area is oblique, directly after the pixel is the input oblique Only the direction is not visible. Next, a diagram illustrating a simplified depiction of a plurality of pixels to aid in understanding the method of FIG. 11A. 11D to FIG. 11E. In FIGS. 11D and 11E, the arrows are Indicates the direction of input to the visible area. FIG. 11D includes a region that can be viewed in a straight line. FIG. 1E includes a region that can be viewed obliquely. Blind strip rule: edge at that time One or more pixels in the rectangular direction in the visible area of the pixel If so, it is desirable that further connected edge pixels be searched in the orthogonal direction. The oblique direction is blocked because it cannot be seen as a part of the visible area. Next, a diagram illustrating a simplified depiction of a plurality of pixels to aid in understanding the method of FIG. 11A. 11F to 11H. FIGS. 11F-11H show a plurality of edges. It includes pixels and shows the application of the blind strip rule. FIG. In FIGS. F through 11H, arrows indicate that additional pixels are blind strips. Indicates the direction to be searched according to the rules. Each of FIGS. 11F-11H is different Indicates entry at a pixel. In each case, the same regardless of the entry point It can be seen that a connection point is found. Visible pixel rules: as used throughout the description and claims The word "visible pixels" is ignored under the blind strip rule Any adjacent pixels in the visible area that do not include any pixels Pixel. In general, because of the way edge pixels are identified, 4 At the junction of two edges, in this case the four visible pixels Note that no more than three visible pixels are seen, except in the case of pixels I want to be. Edge pixels at that time are classified based on the following pixel classification rules . That is, 1. If the current pixel has more than one visible pixel, the current pixel The xel is identified as a connection point pixel. But exactly two visible pixels If the current pixel is the root pixel, the current pixel The cell is not identified as a connection pixel; instead, subsequent pixels are processed. It is. 2. If the current pixel has no visible pixels, then the current pixel is Identified as the terminal pixel. 3. If the current pixel has one visible pixel, then the current pixel Are identified as "normal branch pixels." However, the pixel at that time If it is the root pixel, the current pixel is classified as a terminal pixel. The description of the tree structure is as follows. That is, Each element of the tree is a branch or a connection point. Fork here is a sequential connection Defined as a set of normal branch pixels, typically Expressed as a dynamic array of markers and properties. Color typically has pixels Pixels, such as indications that pixels have been added to fill gaps Color and other characteristics. Each element of the tree should be defined by a list of attributes, preferably including: Good. That is, A flag that defines the type as a branch or a connection point; A parent pointer to the previous element or parent; and Neighbor element in the transition direction, ie, a neighborhood pointer pointing to the child. This tree is constructed according to the following tree construction method. That is, First, the first pixel is classified according to the previous rules (step 163). 0). 1. Remove parent pixel (step 1650): image already processed Remove pixels from. This step is for the first pixel that has no parent Omitted. 2. Exception to Rule 1: If the current pixel is a connection point (step 16 40) Perform a search that looks for depth first and connect only after all of its children have been evaluated (Steps 1660 and 1670). 3. If there is at least one visible edge pixel (step 1 610), move forward to the next edge pixel (1620). 4. Next pixel classification (step 1630). In addition to connection points, other types of special points are identified, for example, as corners I understand. Next, a simple depiction of the image of the edge at which the tree is to be constructed according to the method of FIG. 11A Reference is made to FIG. FIG. 11I includes an edge 1690. FIG. 11I also shows the termination of edge 1690. Includes an edge connection point 1691. FIG. 11I also shows the edge connection point 1691 and the edge. Also includes an edge 1692 between the junctions 1693. FIG. 11I further shows one end Also includes an edge 1694 where an edge connection point 1693 exists. FIG. 11I also illustrates Also includes the edge 1695 between the edge connection point 1691 and the edge connection point 1693. No. The processing of FIG. 11I by the method of FIG. 11A due to the construction of the tree proceeds as follows. You. That is, 1. At the end of the edge 1690 far from the edge connection point 1691 (FIG. (Not shown). 2. According to pixel classification rule 3, the root pixel is set as the end pixel. It is classified (step 1630). 3. Until all pixels at edge 1690 reach edge connection point 1691 Process according to steps 1610, 1620, 1630, 1640 and 1650 Is done. 4. One edge pixel at edge connection point 1691 (shown in FIG. Not found) and processing continues with steps 1660 and 1670 . Step 1660 including the processing of searching for depth first and deleting the connection point; The effect of 1670 is to process the remainder of FIG. 11I before deleting the edge connection point 1691. It is to be. Next, a simple block diagram of the correspondence finding block of the special point in FIG. 3A and FIGS. Referring to FIG. Weight calculation unit 1700 has special input A candidate list of points is typically derived from the ROI and the extrapolated or predicted special points. Receive and calculate the correlation weight between each special point candidate and each estimated or predicted special point. Calculate. This correlation weight is based on the correlation error. The estimated point is calculated from the previous frame Includes known points for The operation of the weight calculation unit 1700 will be described with reference to FIG. This will be described in more detail below. Threshold filter 1710 received minimum threshold from weight calculation unit 1700 Applying the weight, the threshold weight is output. The threshold filter 1710 is a weight calculation unit. Receiving the correlation error from the knit 1700 and calculating an appropriate threshold based on this Is desirable. A typical threshold is when the correlation error is normalized without the range of 0: 1, For example, it is directly based on a correlation error such as 0.125. Special point candidates are not always based on the ROI, but are based on the distance from the estimated point. From areas selected based on other criteria, or from areas selected based on other criteria. It turns out that it is possible. In such a case, the weight is calculated in consideration of the distance. An initial probability is calculated for each candidate based on the threshold weights (unit 172). 0) Indicates its probability of being each of one or more special points. Typically, for each point The first probability is calculated as follows: That is, 1. There is a probability that no suitable candidate exists. Therefore, preferably specific Irrespective of the location, the first assigned probability Pr * = (1-W_max) Is a virtual candidate Is added. Where W_maxIs the maximum correlation weight of all candidates. 2. For each candidate that does not include virtual candidates, the probabilities are calculated as follows. That is, Pr (j) = W_max* (W_j) / SUM (W_j) Where W_jIs the weight of candidate j, and SUM applies to all candidates that do not contain virtual candidates. It is done across. The candidates are then screened in a candidate filter 1730, which filters Pick the best candidate for each special point based on the data criteria. This filtering method is, for example, , The candidate with the highest probability can be selected. Preferably, this method has special Considering possible movements and irregularities of movement and the relationship between them, more complex Selection criteria can also be used. Next, a preferred calculation method for the special point weight calculation unit 1700 in FIG. Please refer to FIG. 13 which is a simple flowchart. Estimated or expected characteristics Different points and special point candidates are input (steps 1810 and 1820). correlation The weights are based on the estimated or expected special points and the color of the special point candidates. It is calculated (step 1830). The preferred equation for calculating the correlation weight is as follows: That is, Correlation weight = (1 / (1 + C * ER)) However, C is preferably a coefficient having a value of 10, and ER is estimated as a special point candidate. It is the normalized correlation error between the fixed / predicted special point. A preferred formula for calculating the ER is: That is, ER = SQRT ((SI₁+ SI_Two+ SI_Three) / 27) Where SQRT is the square root, SI_n= SUM ((I_n ^K-I_n ^OK) * (I_n ^K-I_n ^OK)) Where SUM is the sum of k = 1 to k = 9, I is the pixel intensity normalized in the range 0: 1. K and OK are special point candidates and masks of pixels around the estimated / predicted special point Are exponents representing n is a color index as defined above. The above equation is for a 3 × 3 mask. Other size masks also used You can see what you can do. For example, if a 5 × 5 mask is used, the sum is 1 to 25 and the denominator in the formula for ER is equal to 75 instead of 27. The correlation calculation is repeated for each combination of estimated / predicted special points with all candidate points. (Steps 1850 and 1860). Next, a simple calculation of a desirable operation method for the boundary estimation blocks of FIGS. 3A and 4 is described. Refer to FIG. 14 which is a flowchart. Two consecutive corresponding special points are entered (Step 1910). The first estimated boundary segment is input (1920). . The first estimated boundary segment connects the last two consecutive corresponding special points. The estimated segment is projected between successive corresponding special points, and the estimated boundary segment is Generated (step 1940). Next, the remaining special points are processed until the last special point is reached (step 19). 60 and 1980). Estimated boundary segment produces accurate boundary description (Step 1950). Next, an alternative desirable operation method for the boundary estimation block of FIGS. 3A and 4 is described. Please refer to FIG. 15 which is a simple flowchart of the method. In the method of FIG. The width of the ROI (region of interest) for it is also calculated. The method of FIG. 15 is the method of FIG. It is found that it is desirable to be performed at the end of the process. In the method of FIG. A field segment is input (step 2010). The size of the ROI is The size of the larger diameter of the following corresponding special point is selected (step 202). 0). Next, a preferred operation method and mask for the boundaries of FIGS. 3A and 4 to 8 are described. Please refer to FIG. 16, which is a simple flowchart of the generation unit. With the method of FIG. The special points and boundary segments of the object Is drawn (step 2100). As used in step 2100 The term "drawing" does not necessarily indicate a drawing in a visible form, but rather This refers to generating an internal display similar to a rendered display. A seed breed is generated starting from the frame of each image (step 2110). This Seed breeding is achieved by filling special points or boundary segments of the object. It is limited and does not cross boundary segments. For this kind of breeding, further breeding Continue until impossible. Seed breeding is done by using image frames that are not part of the object. It is desirable to start from the part of the Seed breeding is not part of the object An extra row of empty pixels is added to ensure that Seed breeding starts at one of these extra pixels, added all around the image frame Is desirable. Methods for breeding seeds are well known in the art and have been described above in the D.C. K. Ballard and C.I. M. Brown's "Computer Perspective (Comlp Uter Vision) on page 149. The pixels of the image are then assigned values (step 2130) as follows: ). That is, region 0 encompassed by seed breeding; other region 1; , The intermediate value between 0 and 1. The assignment of intermediate values to the transition pixels Masks used include anti-aliasing If preferred. Optionally, by outputting only the transition pixels, A description is generated from the object's mask. That the method of FIG. 16 produces a particular output format that constitutes the mask; And many other output formats and data displays such as direct chain code It turns out that it can be used as output. Next, the exact object boundaries of FIGS. 3A, 4, 5, 6, 7, and 8 will be described. 17 is a simple flowchart of a desirable operation method for the description block of FIG. See FIG. 17 shows blocks 350, 450, 465, 550, 576, 6 50, 665, 750 and 850. The method of FIG. Blocks 370, 470, 570, 670, 771, 774, 871 and It also includes the preferred method of operation for the 874 boundary description. The method of FIG. 17 preferably includes the following steps. For blocks 350, 450, 550, 650, 750 and 850, the diagram 17 are omitted and, for example, FIG. It can be seen that only some of the steps are performed. In this case, the corresponding special points and corresponding Instead of the boundary segment to be tracked, the user's first Special points and boundary segments taken from the display are entered. Edge thinning is performed on boundary segments to preserve special points (step 2202). Along the edge direction, this edge is one pixel in width. If larger, this width is reduced to one pixel. Reduction to 1 pixel Is the center pixel where the edge is an odd number of pixels in width, or One of the two center pixels if the edge is an even number of pixels in width, This is done by keeping only one pixel. But make up a special point Each pixel is kept, and if the special point is not the center pixel, the special point is kept Pixels are not retained. From step 2202, the thinned boundary segment is the edge image of the ROI of the boundary. It is merged with the image (step 2204). The merged output of step 2204 is similar to the thinning of step 2202 described above. Then, in step 2206, the line is thinned again. Output of step 2206, which desirably includes only special points and boundary segments Then, a new component map is generated (step 2210). Step 2210 Preferred methods of implementation are those described above with respect to FIGS. Similar. Seed breeding similar to that described above with respect to step 2110 in FIG. (Step 2220). Step 2220: Seed breeding The restriction is any boundary segment. In step 2230, the chain code is derived from the new component map as follows: Is calculated. Elements surrounded by seed breeding areas are marked as external elements . "Enclosed" refers to the wrapping in step 2230, possibly except at the connection point. It is understood to mean enclosed. Not touched at all, that is, seed breeding area Elements that do not touch at all are marked as internal elements. Touching the seed breeding area Other elements that are not enclosed are marked as boundary elements. Next, a chain code is calculated, sequentially connecting all of the boundary elements. For further processing Therefore, the chaining code is considered to contain the exact boundary description, and the connection points described here Are considered special points to be estimated. Next, the following elements are combined: 570, 572, 574 of FIG. 670, 672, 674 of FIG. 6 combined; 771, 772, of combined FIG. 774; and the preferred method of operation of 871, 872, 874 of FIG. Referring to FIG. 18, which is a simple flowchart of FIG. Place for elements 774 and 874 In this case, FIG. 18 describes only a part of the operation, and the other parts described above with reference to FIG. It turns out that minutes are not included. The steps of the method of FIG. 18 are similar to those of FIG. 14 and are described below. Except for this, the preceding description of FIG. 14 is obvious. In step 2340, a boundary correspondence is found and the estimated boundary segment Includes compensation for boundary segments not found using In step 2370, whether the exact boundary description is for all corresponding segments Generated from Next, a simple flowchart of the alternative operation method of step 2340 of FIG. Referring to FIG. In step 2410, a distance map is constructed. Distance maps are estimated individually 6 is a map showing the distance of each pixel from a given boundary segment. Distance map Is preferably configured for each estimated boundary segment in the ROI. Two If the corresponding point at the end has a different ROI size, a relatively large ROI size Preferably, it is used. Preferably, the distance map is generated as follows. That is, a. Pixels in each boundary segment are assigned a distance of 0, b. Each unassigned pixel adjacent to a pixel already assigned a distance n is Diagonally to the last pixel at the end of the area of assigned pixels that cannot be assigned a distance Is assigned a distance (n + 1) except for pixels adjacent to c. Step b is repeated until each pixel in the ROI is assigned a distance You. In step 2420, the color parameters of the boundary candidates are calculated. Marginal weather Complements are typically the edges found in the ROI. The color parameters are average and It is desirable to include tolerances. The average and tolerance are each typically 1 pixel wide To be calculated separately for the strips adjacent to the inner and outer edges Good. Inside and outside are distinguished based on the direction of movement of the boundary. The average value is calculated for each of the three color components I₁, I_TwoAnd I_ThreeIs one average of Calculated as the individual average value for each considered color component. Similarly for each color component The individually calculated tolerances describe the average color tolerances and are typically Based. Step 2425 is the boundary segment where the input to step 2425 was found. Similar to step 2420 except that the In step 2430, a weight is calculated for each boundary segment, Represents the similarity between the complementary boundary segment and the found boundary segment. Typical Typically, individual weights are calculated based on average color, average distance, average color tolerance, and distance tolerance. Is calculated. The average distance is typically, as described in step 2410, Assigned to pixels in the candidate boundary segment by the calculated distance map It is calculated based on the average of the distances obtained. In step 2440, the threshold filter determines the minimum threshold as a weight calculation step. Given the weights received from 2430, output the combined threshold weights. Based on the combined threshold weights, the initial probabilities for each candidate are calculated and viewed. Represents the probability that part of the boundary segment corresponding to the issued boundary segment is You. The candidates are then screened in a candidate filter 2460, which filters For the boundary segment corresponding to the boundary segment found on the basis of Pick up the possible best group of one or more candidates. In this screening method, each candidate The relationship between candidates for the boundary segment, along with the probability of being part of the boundary segment, That is, it is desirable to consider the distance and the angle. This selection method is the maximum probability method or Any suitable statistical iterative method can be used. The portion of the boundary segment not previously found in step 2460 is Fill in step 2470 using the defined boundary segment or portion thereof Can be Next, a simple flowchart of a prediction method effective in the methods of FIGS. 7 and 8 will be described. Referring to FIG. The method of FIG. 20 includes steps 752, 777, 852 and And 866. The method of FIG. 20 may include the following steps. desirable. The method in FIG. 20 relates to a case where frame-based processing is being performed. Chain code Is checked for four or more consecutive frames (step 2810). If not, the process proceeds to step 2820 described below. Continue. A third prediction of boundaries and / or special points is made (step 2815). . Step 2815 is described below with reference to FIG. 23 for the special case. Will be described in detail. Typically, the control points of the spline of the estimated segment The boundary is similarly predicted by using the kinetic equation. Similarly, in steps 2820 and 2830, the second prediction (step 2825) or primary prediction (2835) The determination is made based on whether only as many chain codes are obtained. Step 2825 Will be described below with reference to FIG. 22 and step 2835 in FIG. And will be described in more detail. In step 2840, sufficient information for prediction is not obtained. This place If so, the user is in the second frame (step 2845) and optionally Required to identify the desired object in the first frame. Step 2850). Next, it is desirable to implement the steps of FIG. 20 in the case of primary prediction. Refer to FIG. 21 which is a simple flowchart of the method. The method of FIG. It is desirable to include the following steps. The corresponding special points of the first frame and the second frame are input. The second frame The points found only in the frame are added to the first frame (step 2910) and As a result, the same number of points are found in each frame and the complete Measurement. In step 2910, both connect points to be interpolated According to the point location with respect to the location of the two chained code points found in the frame of Therefore, the location of the point is determined by geometric inverse interpolation on the edge of the chain code. It is desirable to be done. In step 2920, the speed of the special point, based on the first prediction of the next frame The location and the ROI size of the special point of the next frame are calculated. Next, it is desirable to implement the steps of FIG. 20 in the case of the second prediction. Refer to FIG. 22, which is a simple flowchart of the method. The method of FIG. 1 is self explanatory, step 3010 is similar to step 2910 However, step 3020 is similar to step 2920. In step 3020, the calculation of the size of the special point ROI of the next frame is performed. It turns out to be optional. Alternatively, use the ROI size of the current frame You can also. Next, in the case of the third or higher order prediction, it is desired to carry out the steps of FIG. Refer to FIG. 23 which is a simple flowchart of the preferred method. The method of FIG. The previous description of FIGS. 21 and 22 is self-evident, and step 3110 is equivalent to step 2 Similar to 910, 3010, step 3120 includes steps 2920 and 302 Similar to 0. In step 3105, how many frames are used in subsequent steps Is determined based on how many frames have been preprocessed. Done. In step 3120, the ROI size of the special point of the next frame It can be seen that the calculation of is arbitrary. Alternatively, the ROI of the current frame is supported. Can also be used. Referring again to FIG. 1, another example of a suitable application device may include, for example, one or more of the following effects. Is an effect device 92 such as a device for implementing Compression, painting , Blurring, sharpening, filtering, and different rates on different sides of the boundary Is an effect that changes with time. The application device 80, 90 or 92 may optionally operate on individual frames Before the calculation is performed and generated for the subsequent frames, this calculation result is To be displayed. Typically, a video display 95 or individual video display devices (not shown) ) To display the result of the operation without first displaying the individual indications of said boundaries. Show. The result of performing the operation is one frame without displaying the individual representation of the boundary before. Display for multiple frames instead of for the same system. The advantage of such a choice is that it is not Interactive supplementation based on the effect or visual recognition of the intended application device. Possibilities are possible. Viewing the effect or application is often borderline when tracking Better to assess the quality of boundary tracking than showing itself It is a way. The result of performing an action, such as an effect or use, is displayed along with the display of the border when tracking It is desirable to be done. The result of performing the action is considered unsatisfactory for the user Then, the user uses the display to correct the boundary. New boundaries The display changes automatically to reflect changes in the implementation results. Referring again to FIG. 2A, blocks 135 and 165 include, for example, external application equipment. Indicates that the effect or application is optionally implemented. If the user Before being prompted to determine if they are being tracked properly, Desirably, the effect is implemented (steps 140, 170). This allows you to The user can use the result of the application or effect to assess the boundary when tracking. You. Referring again to FIG. 2G, blocks 235 and 265 include, for example, an external application device. Indicates that the effect or application is arbitrarily implemented. The user has the right boundaries Before you are prompted to determine if it is being tracked, Preferably, it is performed (steps 240, 270). This allows the user The result of the application or effect can be used to evaluate the boundaries during tracking. Next, with the exception of the following differences, which may exist individually or in combination, FIG. Referring to FIG. That is, a. In the current frame, the user can satisfy the boundary once when tracking , Only the subsequent frames are used (step 455). b. The user states that the location of the boundary in the current frame is as tracked Determine whether the boundary is satisfactory by examining the operation results generated on the assumption I do. Due to these differences, step 490 in FIG. 4 is replaced by step 492 in FIG. Is done. It can be seen that one or both of the above modifications are feasible for the device of FIG. . Next, similar to FIG. 8 except for the following differences which may exist individually or in combination: Referring to FIG. That is, a. If the user considers the boundary to be satisfactory when tracking in the current frame, , Only special points are predicted in the subsequent frames (step 866). b. The user must confirm that the location of the boundary in the current frame is as tracked. By examining the behavioral results (effects and / or uses) generated by a premise, It is determined whether the boundary is satisfactory. Due to these differences, step 890 in FIG. 8 is replaced by step 892 in FIG. Is done. Next, with the exception of the following differences, which may exist individually or in combination, FIG. Referring to FIG. That is, a. If the user considers the boundary to be satisfactory when tracking in the current frame, , Only the other frames are used (step 355). b. The user must confirm that the location of the boundary in the current frame is as tracked. By examining the behavioral results (effects and / or uses) generated by a premise, It is determined whether the boundary is satisfactory. Due to these differences, step 390 in FIG. 392. It can be seen that one or both of the above modifications are also possible in the device of FIG. Next, with the exception of the following differences, which may exist individually or in combination, FIG. Referring to FIG. a. If the user considers the boundary to be satisfactory when tracking in the current frame, , Only special points are predicted in another frame (step 777). b. The user must confirm that the location of the boundary in the current frame is as tracked. By examining the behavioral results (effects and / or uses) generated by a premise, It is determined whether the boundary is satisfactory. Due to these differences, step 790 in FIG. 792. The main frame inspection block (335 in FIG. 3A, 435 in FIG. 4, FIG. 5) , 635 in FIG. 6, 735 in FIG. 7, and 83 in FIG. 5) and other test blocks (379 in FIG. 3A, 478 in FIG. 4, FIG. 5, 578 in FIG. 6, 778 in FIG. 7, 8 in FIG. 78, 435 and 478 in FIG. 24, and 835 and 878 in FIG. 335 and 379 in FIG. 26 and 735 and 778 in FIG. 27) With two possible outcomes and, as preferred, the user ) Inspect the results that behave differently on both sides of the boundary in the current frame Is considered unsatisfactory, the boundaries in the current frame are typically Alternatively, the correction is made in response to the correction presented by the user. The user can change the current frame If deemed satisfactory, the method proceeds to another frame. The purpose of the hotspot where the location of the moving object is presented to the user or In other applications, the user points to a moving object, for example, a hot spot. Or not, or the user is In order to determine whether or not a location has been indicated, it is generated in step 2130 of FIG. Mask can be used. Some components of the present invention relate to the processing of color image sequences. As noted above, the invention is not limited to processing color images. For example, it can also process monochrome and grayscale images. You. The software component of the present invention may be provided, if necessary, with a ROM (read only memory). It can be seen that this can be realized in the form of ()). Software components are generally It can also be implemented in hardware using conventional techniques. Various features of the invention, which are, for clarity, described in the context of a specific embodiment, also include: It can be seen that the combination can be provided in one embodiment. Conversely, clarify Therefore, the various features of the invention described with respect to one embodiment may also be individually , Or in some suitable combination. Those skilled in the art will understand that the invention is not limited to what has been particularly shown and described above. Let's do it. Rather, the scope of the present invention is defined only by the claims.

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ────────────────────────────────────────────────── ─── Continuation of front page (81) Designated countries EP (AT, BE, CH, DE, DK, ES, FI, FR, GB, GR, IE, IT, L U, MC, NL, PT, SE), OA (BF, BJ, CF) , CG, CI, CM, GA, GN, ML, MR, NE, SN, TD, TG), AP (KE, LS, MW, SD, S Z, UG), UA (AM, AZ, BY, KG, KZ, MD , RU, TJ, TM), AL, AM, AT, AU, AZ , BB, BG, BR, BY, CA, CH, CN, CU, CZ, DE, DK, EE, ES, FI, GB, GE, H U, IL, IS, JP, KE, KG, KP, KR, KZ , LK, LR, LS, LT, LU, LV, MD, MG, MK, MN, MW, MX, NO, NZ, PL, PT, R O, RU, SD, SE, SG, SI, SK, TJ, TM , TR, TT, UA, UG, US, UZ, VN

Claims

[Claims] 1. At least one that has a boundary and does not exist between at least one part of the event Display an event including at least one moving object having at least one edge Receiving, Providing an ongoing display of the location of the boundary of the object during the event Steps Including tracking methods. 2. The method of claim 1, wherein the display comprises a video display. 3. 3. The edge according to claim 1, wherein the edge portion includes a part of the boundary. Method. 4. Reconstructing an edge part at least partially missing 4. The method according to any one of 1 to 3. 5. Receiving an indication of an event including at least one moving object having a boundary; And Providing an ongoing display of the location of the boundary of the object during the event Steps Including tracking methods. 6. An edge tracking at least one moving object appearing in a series of frames A tracking method, At least one part for at least one main frame in the series of frames; At least one edge of at least one moving object based on the external input. Marking step to mark the edge, All frames in the series of frames other than the at least one main frame. At least based on the output from the first said marking step Markin automatically marks at least one edge of one moving object Step and Edge tracking methods including: 7. Reducing the at least one automatically marked edge based on an external input; 7. The method of claim 6, further comprising the step of remarking at least once. 8. 8. The method according to claim 6, wherein the external input includes a human operator input. The method described in. 9. 7. The method of claim 6, wherein at least one edge is marked without detecting an edge. 9. The method according to any one of items 8 to 8. 10. The at least one main frame includes all other frames in the series of frames. The method according to any one of claims 6 to 9, further comprising a partial series of frames preceding the frame. The described method. 11. The at least one main frame includes all other frames in the series of frames. The method according to any one of claims 6 to 9, further comprising a partial series of frames following the frame. The described method. 12. The at least one main frame is at least one in the series of frames; At least one other frame preceding one other frame and in the series of frames; The method according to any one of claims 6 to 9, further comprising a partial series of frames following the frame. The described method. 13. An edge composition method for composing a plurality of connected edges into a figure, Providing a plurality of connected edges; Transitioning the plurality of connected edges in a selected direction; The plurality of connected edges are formed into a figure including a branch list and a node list. Steps to perform Including The node list is independent of the direction in which it is selected Edge configuration method. 14． 14. The method according to claim 13, wherein the node list includes an edge connection point list. Law. 15. 13. The node list according to claim 13, wherein the node list includes an end point list of an edge. 5. The method according to any one of 4. 16. 14. The node list according to claim 13, wherein the node list includes an edge corner list. 16. The method according to any one of 15. 17． 17. The method according to claim 13, wherein the node list includes a curvature list. The method according to one. 18. The plurality of connected edges include a plurality of pixels, the transition step But, Specifying a pixel at that time; Identifying at least one visible pixel associated with the current pixel Steps and The current pixel based at least in part on the number of identified visible pixels. Classifying the file. 18. The method of claim 13, further comprising: Method. 19. The identification step comprises: Defining a blind strip; A visible pixel for at least one pixel associated with the blind strip. Excluding as xel. 20. At least one visible pixel not associated with the blind strip Whenever a rule is present, the exclusion step is associated with the blind strip. 20. The method of claim 19, comprising excluding all pixels that do the method of. 21. A tracking method for tracking a boundary of a moving object, Locating a plurality of boundaries to be tracked in the first image When, Reducing the location of the plurality of boundaries from the first image to the second image A step to track both Based on the output of the tracking step, and defining the boundary in the first image Calculating the boundary in the second image based on the characterizing information. Tsu And Including tracking methods. 22. At least one of the plurality of boundary locations is characterized by at least one boundary characteristic; 22. The method of claim 21 including a location where changes. 23. The property of the boundary may include at least one color adjacent to the boundary. 23. The method of claim 22. 24. The tracking step tracks from the first image to the second image Of the boundary where it is found to have moved differently from the location of other adjacent boundaries when The method according to any one of claims 21 to 23, including the step of ignoring the location. Law. 25. Each of the plurality of boundary locations in the first image is the second image. The plurality of boundary locations in the image to be converted to a corresponding one of the locations. The claim wherein the calculating step comprises the step of transforming a boundary in the first image. Item 25. The method according to any one of Items 21 to 24. 26. Search adjacent to the boundary as calculated in the second image Thereby identifying the actual boundaries in the second image. The method according to any one of claims 21 to 25. 27. The color adjacent to the actual border is the color adjacent to the border in the first image. 27. The actual boundary is identified depending on whether it resembles a different color. The described method. 28. If an output boundary is identified, it is defined as the actual boundary and the actual boundary If no boundary is identified, the boundary as calculated in the second image 28. A method according to claim 26 or claim 27, defined as: 29. If the actual boundary is identified, partially matches the actual boundary, And if the actual boundary is not identified, the calculated 27. A first output boundary which is partially coincident with said boundary as defined. Or the method of any of 27. 30. By searching adjacent to the first output boundary, the second image Identifying new real boundaries in If the new actual boundary is identified, the new actual boundary is partially A first output if a match is found and the new actual boundary has not been identified. Defining a new output boundary that partially matches the boundary; 30. The method of claim 29, further comprising: 31. Each of the plurality of boundary locations in the first image is the second image. Converting said plurality of boundary locations in the image to corresponding locations. Transforming a spline representation of the boundary in the first image. 26. The method of claim 25, comprising a loop. 32. Providing a first image visible from the first field of view; 22. The method of claim 21, further comprising providing a second image visible from the user. 33. At least one of the moving object and the moving background 22. The method of claim 21, further comprising providing a first and second image comprising. Law. 34. A plurality of frames of an event including at least one moving object having a boundary Receiving an indication including Calculating the location of the boundary of the moving object during the event; , Without prior indication of the individual indication of the boundary, Providing a user perceptible indication of the location of the recorded object; An image marking method including: 35. If the automatic marking step is the first marking step Automatically map all edges of at least one moving object based on their output. 13. The method according to any one of claims 6 to 12, comprising the step of: 36. At least not bounded and present during at least part of the event Receive an indication of an event that includes at least one moving object with one edge An event input device that operates to Providing an ongoing display of the location of the boundary of the object during the event With a boundary locator that works like A tracking device comprising: 37. An edge that tracks at least one moving object that appears in a series of frames A tracking device, For at least one main frame in the series, a small number of external inputs At least one edge of at least one moving object based at least in part on the moving object; Edge markers that act to mark edges, All frames in the series of frames other than the at least one main frame At least one based on the output from the first marking step. Operate to automatically mark at least one edge of a moving object Automatic edge markers and An edge tracking device comprising: 38. An edge configuration device configured to configure a plurality of connected edges into a graphic, An edge operative to move the plurality of connected edges in a selected direction. The Traversa, The plurality of connected edges into a graphic including a branch list and a node list. A geometric structurer that works to generate With The node list is independent of the selected direction Edge configuration device. 39. A tracking device for tracking a boundary of a moving object, Act to locate multiple boundaries to be tracked in the first image A border selector to make, Reducing the location of the plurality of boundaries from the first image to the second image A boundary tracker that also operates to track a part, Based on the output of the boundary tracker and in the first image Calculating the boundary in the second image based on the characterizing information; And a boundary calculator A tracking device comprising: 40. Receive an indication of an event containing at least one moving object with a border An event input device that operates Provides an ongoing display of the location of the object's boundary during the event. A boundary locator that works like A tracking device comprising: 41. Generating an effect that is added differently on different sides of the boundary. Any one of claims 1 to 5 and claims 21 to 33 The method according to one. 42. Creating an effect that is added differently on different sides of the at least one edge 36. The method according to any one of claims 6 to 12, and 35, further comprising the step of: Method. 43. The effect is performed where the effect is determined by a part of the moving object. 43. A method according to any of claims 41 or 42, comprising the effect to be performed. 44. Multiple frames of an event containing at least one moving object with a boundary Receiving an indication that includes the Calculating the location of the boundary of the moving object during the event; , Generating an effect that is added differently on different sides of the boundary; The result of adding the effect can be obtained without displaying the individual indication of the boundary in advance. Steps to display and Image correction method including. 45. The step of producing an effect is performed in a partial series of frames, After the dynamic marking step has been performed on the partial series of frames, 45. The method according to claim 41, wherein the consecutive frames include a plurality of frames. The described method. 46. After the automatic marking step has been performed for each frame, The step of generating an effect comprises converting the sequence of frames into the individual frames. 45. The method according to any one of claims 41 to 44, wherein the method is performed in. 47. Before the effect is generated for a partial series of frames, the effect is 45. The method according to claim 41, wherein the frame is generated and displayed. The described method. 48. Without expecting user input between frames, the 45. The method according to claim 41, wherein the display is performed for all of the respective frames. The described method. 49. The effect is Composite, Retouch, Smoothing, compression, Composite, Painting, Blur, Sharpening, Filtering, and Changing at different rates in time on different sides of the boundary or the edge Effect 49. The method according to any one of claims 41 to 48, comprising the effect of one of the following groups: Law. 50. The event includes a plurality of hot spot moving objects, and the providing step includes Step is performed for each of the plurality of hot spot moving objects during the event. 35. The method of claim 34, comprising providing an ongoing indication of the location of the boundary. 51. Interpreting each user selection of the plurality of hot spot moving objects The on-going display of the location of each boundary of the hotspot object Using Information about individual hot spot moving objects selected by the user Steps to display and 51. The method of claim 50, further comprising: 52. 35. The moving object is part of a larger object. 52. The method according to any one of 50 and 51.