JPH05506738A - ディジタル像の時間的シーケンスの解析の際の運動対象物の時間再帰的な運動推定および追跡のための方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ディジタル像の時間的ノーケンスの解析の際の運動対象物の時間再帰的な運動推 定および追跡のための方法たとえばロボン）、像符号化で用いられるような機械 的視覚の種々の応用の際、特にビデオによる道路交通制御のような監視および制 御を行う際に、ディジタＪし像の時間的シーケンスでの運動対象物の検出、セグ メント化および追跡を行い、また運動対象物の運動パラメータを自動的にめる方 法およびシステムが必要とされる。

ロボットではこのようなシステムは自動装置と他の自動装置または人間との協調 のとれた共同作業を可能にし、またこうして生産性および作業安全性（衝突回避 ）の向上に寄与する．像符号化では運動対象物の運動パラメータの知識は将来像 の顕著に改善された予測、従ってまた伝送すべきデータレートまたは記憶すべき データ量の顕著な低減を可能にする。

すなわち、設備の監視および制御、特にビデオシステムによる道路交通の制御の ためには、すべての重要な対象物の位置および運動データが必要とされる。

ディジタル像の時間的ソーケンスでの運動推定のための公知の方法は先ず２つの 部類に分けられ得る。

−１つのグループの方法はシーケンスの２つの相続く像のマツチングまたは特定 の部分像、エツジまたはテクスチャのマツチングに基づいている．その際に画像 のなかの相応の範囲がこれらの範囲のシフトにより一致させられる（マツチング ）　（Ｔ．Ｈ．Ｈｕａｎｇ　ｋＸ、画像シーケンス解析、スブリンガー、ニュー ヨーク、１９８１）　、１つの広く普及している変形例は、一般に正方形の部分 像（ブロック）がソフトにより一致させられるいわゆるブロックマツチング（　 Ａ．ｖ．ＢｒａｎｄｔＪ。

Ｔｅｎｇｌｅｒ　”変更されたブロックマツチングによる平滑化オプチカルフロ ーフィールドの取得２、画像解析に関する第５回３ｃａｎｄ−会ｍ論文集、スト ックホルム、１９８７年６月２〜５日、第５２３〜５２８頁）である。

運動推定のためのマツチング方法とならんで、他の方法（Ｔ．Ｈ．Ｂｕａｎｇ　 ４１ｇ、画像シーケンス解析、スブリンガー、ニエーヨ−９．　１９８１）　（ 変換方法、勾配方法）もあるが、これらは一般に応用可能でなく、ユニでは詳細 に立ち入らないものとする。

公知の時間的にローカルなマツチング方法は主として以下の３つの困難を有する 。

一ブロックマツチングの際にブロックがしばしば対象物境界により横切られ、従 って当該のブロックに一義的な運動ベクトルが対応付けられ得ない．この問題を より小さいブロックの大きさの選択により回避しようと試みると、運動ベクトル 場を平滑化するための方法が必要とされる．さもなければ、統計的なノイズが運 動推定を妨害するであろうからである．全く一般的に各々の形式のマツチングの 際に運動ベクトル場を平滑化するための方法が必要とされる．しかし平滑化は対 象物のエツジの内側でのみ有意義である．なぜならば対象物のエツジは運動ベク トル場の当然の不連続個所であるからである。

ーブロックマッチングは回転運動の推定のためには遺していない．他のマツチン グ方法は理想的な条件（ノイズなし）でのみ回転運動の推定のために適している 。

ーシーケンスの急に２つの像の比較（マツチング）の際に先行の像の解析の結果 が全く頓慮外にとどまる．連続する推定の際の費用低減のために以前の解析ステ ップの結果の代わりに、時間的にローカルな推定方法が問題を各時点で最初の推 定問題と等しい仕方で取り扱う。

本発明の基礎となっている課題は、上記の問題を解決する方法を提供することで ある。そのために、ディジタル像の時間的シーケンスの解析の際の運動対象物の 時間再帰的な運動推定および追跡のための方法であって、予測される状態量の集 合の開始時に初期値が割当てられ、また時間的シーケンスの各機に対して下記の ステップが進行する方法が提案される。

（ａ）ディジタル像の時間的シーケンスの像のなかの運動セグメントに２進セグ メント関数が対応付けられ、 （ｂ）マツチング関数の最大化により運動セグメントに対する運動パラメータが 測定され、 （＋ｌ予消される状態量の集合から、測定された運動パラメータにより、補正さ れた状態量が計算され、 （ｄ）補正された状態量から、後続の時点に対する予測される状態量がめられる 。

本発明による方法は、時間的に隣接する像のなかの運動セグメントのマツチング に基づいている。しかし、公知の方法と異なり、本発明による方法は、−任意の 対象物運動に、すなわち回転する対象物運動にも応用可能である、−擾乱または 個々の測定の完全な喪失（像擾乱、一時的なカバリング）により阻害されない、 一公知の方法よりも顕著に正確であり、また同時に低コストである。

なぜならば、本発明による方法では、 −長方形のブロックまたは個々の像部分（たとえばエツジのような）の代わりに 運動対象物の形状を反映する関連するセグメントがマツチングのために使用され 、またそれらのエツジは規則的に対象物エツジと同一であり、−純粋な並進運動 のほかに回転およびこれらの組み合わせ（アフィン変換、ガリレイ変換）もマツ チングのために使用され、従ってまた回転速度も測定され、回転角も推定され、 また 一測定された運動パラメータが本発明による方法では予測された状態量の補正の ために時間再帰的な推定方法のなかで利用されるからである。

本発明は状態量の予測および補正のためにカルマンフィルタの使用を意図してい る。マツチング関数の値は運動パラメータの測定の良度を評価するために用いら れている。運動パラメータの個々の測定の良度に関係しての時間再帰的な運動推 定のこのような制御は運動推定を擾乱に対して特に堅牢にし、また像シーケンス のなかの統計的ノイズに対して不敏感にする。従って、運動パラメータの場所的 な平滑化は必要とされず、それどころか時間再帰的な計算の仕方の時間的平滑化 作用により置き換えられる。同時に時間再帰的な運動推定のための本発明による 方法は個々の像の空間的走査により与えられる分解能の下側に位置し得る特に高 い精度を達成する（サブビクセル精度）。

状態量は一般に、運動の記述のために通している運動対象物の特性を含んでしす る。これらの特性には瞬時の位置、速度（たとえば重心速度、回転速度）および 場合によっては加速度および類似の看（運動エネルギー、回転モーメントなど） が属する１本発明による方法は任意の回転を含めて特に像平面に対して平行に進 行するすべての運動の取扱のために通している。主として並進運動力（意義のあ る一連の応用に対しては、純粋な並進運動への制限が特に有利である。なぜなら ｉｆ、それは計算費用（従ってまたコスト）の顕著な低減と結び付けられてしす るからである。一般の場合には対象物運動は像平面の変換として記述される。運 動対象物が剛体であるかぎり、または剛体から成っているかぎり、アフィン変換 （力°ＩＪレイ変換）の群への変換の制限は方法の能力の制約を意味しないが、 費用の相応な制限をもたらす。

以下に本発明を１つの好ましい実施例および第１図および第２図により詳細に説 明する。

第１図には請求の範囲１に記載されているような本発明による方法の基本的な進 行が示されている。方法の開始の際に、予測される状態量Ｘに初期値が割当てら れ、また時間インデックスｋが値１にセットされることによって、方法が初期化 （ＩＮＩＴ）される、それに続いてシーケンスのすべての像に対して、すなわち すべての時点ｋに対して、下記のステップが進行する。

運動対象物（ＤＳ）の検出およびセグメント化により像の運動セグメントに２進 のセグメント関数（Ｓ）の時間的シーケンスが対応付けられる。これらの運動セ グメントの運動パラメータはマツチング間数Ｃの最大化（ＳＭ）により測定され る。これらの測定された運動パラメータにより、予測された状態量Ｘから補正さ れた状態量Ｙが計算される（ＭＵ）、像シーケンスの終りにたつすると、方法は 停止される。他の場合には、補正された状態量から後続の時間ステップに対する 予測される状態量が計’Ｉｔ　（ＴＵ）または選択（ＳＥＬ）され、また時間イ ンデックスｋが１だけ高められ、それによって第１図中に示されて１．１ｉ／レ ープが、像シーケンスが終りに、達するまで、新たにランされる。

第２図には詳細なデータフロー図が示されており、この図には最も重要な変数な らびに方法の入力量および出力量、それらの相互関係および方法ステップによる それらの処理がわかりやすく示さ机ている。

開始の際に、予測されるすべてのＰｋＱ量Ｘに初！！ＩＩ値が割当てられ、また 時間インデックスｋが４１１にセットされることによって、方決が初期化（ＩＮ ＩＴ）される、状す看（ＸまたはＹ）のベクトルは進行する像の各運動セグメン トに対して運動の記述のために適した特性、すなわち好ましくは当該のセグメン トの（重心）位ｉへクトル下、？、速度ベクトル族◇および場合によっては加速 度ベクトルを含んでいる。

回転運動が見込まれるならば、状態ベクトルは（追加的に）回転位置（角度）を 記述するための変数およびたとえば角速度を含んでいる。最初に既にセグメント または対象物およびそれらの状態量が知られているならば、方法の初期化（ＩＮ ＩＴ）は、予測される状態量（Ｘ）に相応の値を初期値として割当てることにあ る。再帰的推定のためにカルマンフィルタを使用する際には初期化は付属の共分 散をも含んでいる（Ｐルルｅｗｉｓ　、最適推定、ウイレイ＆サンズ、ニューヨ ーク、１９８６）、これらに、対象物特性に関する方法応用者の初めの知識を表 す値が対応付けられる。

方法の開始の際に運動対象物およびその特性に関する情報がまだ存在しないなら ば、状態量にその値範囲内の任意の値が割当てられ、また共分散に相応に高い数 値が割当てられる。たとえば対象物の位置に関しては知られておらず、その速度 に間して、それが像クロックあたり０画素と３０画素との間に位置しなければな らないこと、かつ対象物が左から右へ運動することのみ知られているならば、位 置ベクトルは０で、速度は像クロック信号あたり１５ｍ！素で初期化すべきであ ろう、相応の分散に、たとえば像断片の大きさに相応する値（対象物が像のなか に見えることが知られている場合）または間隔（０，３０）への均等分布に相応 する値を対応付けるべきであろう、像平面の像点（ｐ）のなかの強度がＴ　（ｋ 。

ｐ）で示されている時間インデックス（ｋ）を有する像を解析するためには、い ま請求の範囲１により像１　（ｋ、ｐ）の運動セグメントに下記の特性を有する ２進セグメント関数Ｓ　（ｊ、ｋ、ｐ）が対応付けられる。

すなわちこれらのセグメント関数Ｓはそれぞれ連動セグメントの内部でのみ零と 異なってる。従って、すべての像点にわたる加算のなかでのセグメント関数によ る像座標ｐの任意の関数の乗算は当該の運動セグメントへのこの加算の制限に相 当する。このような和のなかの２つのセグメント間数の積は加算を両セグメント の交わり集合に制限する。これにより、後続のマ・ンチング（ＳＭ）の際に両当 該のセグメントの内部の強度のみが顧慮されることが保証される。

セグメント関数（Ｓ）は像シーケンス（１）から運動対象物を検出かつセグメン ト化するための方法により有利に得られる。この目的に対してに、Ｐ、Ｋａｒ■ ａｎｎ、Ａ。

ｖｏｎ　Ｂｒａｎｄ　、適応性背景抽出の際の運動対象物の検出および追跡、第 ６回５ＣＴＡ、オウル、フィンランド、１９８９年６月の論文集、第１５０１〜 １５０８頁または×、Ｐ、にａｒｍａｎｎ、Ａ、ｖｏｎ　Ｂｒａｎｄ、Ｒ，Ｇｅ ｒｌ、適応性参照像に基づく連動対象物セグメント化、第５回Ｅｕｓ　１ｐｃｏ ９０、バルセロナ、１９９０年９月に記載されている方法が特に遺している。セ グメント関数の連続的な番号付けは有利な仕方でたとえば１つの傾城ラベリング 法（Ｙ、５ｈｉｒａｉ、三次元コンピュータビジぢン、スプリンガー出版、ニュ ーヨーク、１９８７年、第８６〜８９頁）により行われ得る。

運動セグメントの運動パラメータ（Ｚ）を測定するため、各セグメントに対して セグメント−マツチング（ＳＭ）が行われ、その際に変換（Ｔ）のノぐラメータ が、たとえば式 により進行中および先行の像のセグメント関数（Ｓ）および強度関数（Ｉ）から 形成されるマツチング関数（Ｃ）の最大化により見い出される。その際にマツチ ング関数（’Ｃ）は、測定すべき運動パラメータによりパラメータ化されている 変換Ｔに関係する。（Ｃ）が最大になるパラメータの値は時点にでのセグメント 」の測定された運動パラメータとして解釈され、またＺ（ｊ、ｋ）で表される。

マツチング間数の最大ｆｌｃ　（Ｊ、ｋ）　−Ｃ（Ｊ、　ｋ、　Ｔ　（Ｚ　（ｊ 、ｋ）　））は、相応の強度が頬催しているほど大きい、連動対象物が実際上均 等な強度を存する場合には、マツチングはセグメント形状の類似性を測定する。

すなわち本方法は、望ましくない照明状況または強いノイズに基づいて強度の比 較が使用不可蛯になるときにも、セグメント形状が時間と共にわずかに可変であ るかぎり、応用可能である。

純粋な並進運動の場合には式（３）の代わりに特別なマツチング関数を使用する ことがを利である０両マツチング関数は数学的観点で正規化相関関数の二乗であ るという利点を有し、従って下記の有利な特性を有する。

−それらの可能な値が連続的に０と１との間に位置している。

−値１が理想的マツチングに相当する、すなわち運動セグメントが変換により互 いに同一に写像可能である。

一値０が、セグメントがオーバーラツプなしであることを記述する。

これによりマツチング関数の数値がマツチングの良度に対する尺度として利用さ れ得る。

しかし、式（３ａ）によるマツチング関数の最大化は式（３）によるマツチング 関数の最大化よりも費用がはるかに少なくてすむ、なぜならば、後者の場合には シフトベクトルとならんでたとえば回転角のような他の運動パラメータも決定す る必要があるからである。

７７チング関数（Ｃ）の最大化は好ましくは探索法（Ｈ，Ｎｉｅ＊ａｎｎ＋Ｈ， Ｂｕｎｋｅ　、像および言語解析における人工知能、Ｂ、Ｇ、Ｔｅｕｐｎｅｒ　 、シュトウッツガルト、１９８７年）により行われ、その際にマツチング関数は 探索範囲のすべてのパラメータに対して評価されなければならない、ローカルな 最適化法は応用可能でない。なぜならば、マツチング関数は探索されるグローバ ルな最大値と関係のない多数のローカルな最大値ををするからである。探索のた めの費用は、探索範囲の選択の際に、運動パラメータ（Ｚ）の測定される値はし ばしばこれらの運動パラメータに相応する予測される状態量のコンポーネントの 近傍に位置するという事情が顧慮されるならば、顕著に低減され得る。そのため にはたとえば予測される状態量のこれらのコンポーネントが探索の出発点として 使用され、また探索範囲がカニマンフィルタの予測誤差−共分散に関係して選択 されるべきであろう、これらの共分散は少なくとも開始段階の減衰の後に規則的 に像断片の面積よりも顕著に小さくなるので、探索範囲としてたとえば予測誤差 −共分散楕円または、よりＮＪＩｌに、これらの共分散楕円の包絡するエツジパ ラレルな長方形を選択するならば、マツチング関数の最大化のための探索範囲も 一般に像断片よりも顕著に小さい。

１（ｋ、Ｉ）のなかの各運動セグメントに対するマツチング関数（Ｃ）のこの最 大化の結果は、測定された運動パラメータＺ（ｊ、ｋ）の岨および各セグメント ｊに対するマツチング関数Ｃ（ｊ、ｋ）の最大値である。これらの測定された値 により予測される状態量（Ｘ）の集合に対して補正された状態量（Ｙ）がめられ る。この補正（ＭＵ）は有利な仕方で式４式％） によりカルマンフィルタを用いて行われ得る。ここでＧ（ｊ、ｋ）は時点にでの セグメントｊに対するカルマン利得、またＨは測定写像である。カルマンフィル タの使用の際には予測誤差−共分散を補正するための相応の式が知られている（ Ｆルル６ｗ１ｓ−、最適推定、ウィレイ＆サンズ、ニューヨーク、１９８６年） 、測定写像は状態量（Ｘ、　Ｙ）と運動パラメータ（Ｚ）との間の関係を記述し 、すなわちたとえば状態ベクトルから運動パラメータに相応のコンポーネントを 選び出し、又は後者を状態ベクトルから計算する。

カルマン利得Ｇ（ｊ、ｋ）の計算はカルマンフィルタの正確な理論により、また はこの理論に対する近似により行われ得る。Ｇ（Ｊ、ｋ）の近（以的な計算は有 意義な費用低減に通じ得る。Ｃ，（ｊ、ｋ）がなかんずく測定ノイズ共分散Ｒ（ ｊ。

ｋ）のシーケンスから計算される場合には（Ｐルルｅｗｉｓ　、最適推定、ウィ レイ＆サンズ、ニューヨーク、１９８９年）、これらの測定ノイズ共分散を式４ 式％） によりマツチング関数の最大値Ｃ（ｊ、ｋ）から計算することは特に有利である 。

ここでρはマトリックス要素が考察される応用の際に生し得る最大の測定ノイズ 共分散に相当する正価マトリックスである。

補正された状態量（Ｙ）または補正された状態量の選択されたコンポーネント（ たとえば位置ベクトル、速度、角速度など）は本方法の本来の最終結果である。

これらの量は出力され、またはその後の解析ステップに対して他の方法（制御、 警報トリガ）に対して入力量として利用され得る。

しかし時間的シーケンスの後続の像における本発明の時間再帰的な運動推定の継 続のために、補正された状態量（Ｙ）から後続の時点に対する予測される状態量 （Ｘ）を計算する最後のステップを行う必要がある。ステップＴＵはカルマンフ ィルタの予測ステップ（タイムアツプデータ）に相当し、また一般式％式％）） により行われ得る。開数Ａ（、）はこの際にすべてのセグメントｊの状態量の見 込むべき時間的展開を記述する。純粋な並進運動の場合には予測はたとえば特別 な簡単な形態 （７）　？　（ｊ、に＋１）−ｒ　（ｊ、ｋ）＋ｖ　（ｊ、ｋ）τ（ｊ、　ｋ＋ １）一つ（ｊ、　ｋ） をとり得る。ここで７（ｊ、に＋１）またはｖ（ｊ、に＋１）は時点に＋１での セグメントｊの予測される位置ベクトルまたは速度ベクトルであり、またｒ　（ ｊ。

ｋ）または９（ｊ、ｋ）は時点にでのセグメントｊの補正された位置ベクトルま たは速度ベクトルである。

カルマンフィルタの使用の際には予測誤差共分散（Ｆ几ルｅｗｉｓ　、最適推定 、ウィレイ＆サンズ、ニューヨーク、１９８６年）は一般式％式％（） に従い、ここでＰおよびＰは予測または補正された予測誤差共分散マトリックス 、ＡまたはＡ７は関数Ａ（、）の線形化またはその転置されたマトリックスまた Ｑ（ｊ、ｋ）は時点にでのセグメントｊに対するシステムノイズ共分散マトリッ クスである。システムノイズ共分散マトリックスＱは一般にシステム関数への精 度を記述し、またカルマンフィルタの適応性をｙ４節する。それは本方法に設計 パラメータとして予め与えられていてよく、またはたとえば式４式％）） によりＣ（ｊ、ｋ）により表されるセグメント−マツチングＳＭの良度に関係し て計算され得る。ここでχはそのマトリックス要素が、考察される応用の際に生 じ得る最大のシステムノイズ共分散に相当する正値マトリ・ンクスである。費用 を低減するため、予測誤差共分散の正確な計算は近似された計算により置き換え られ得る。

それによって、予測される状態量ｘ　（ｊ、ｋ＋１）の計算が終了されている。

これは本方法を実行するために下記の時間ステップで使用され得る。

複数の運動対象物が像断片のなかに位置すると、または運動対象物が複数のセグ メントにより表されると、セグメント関数３　（、ｎ、ｋ＋１．　ｐ）により表 される像Ｉ　（ｋ＋１）の運動セグメントへの予測される状態量ｘ　（ｊ、ｋ＋ １）の対応付けは些細でない問題であり得る。従って、これらの場合には像１（ ’に＋１）のすべての運動セグメントＳ　（ｎ、ｋ＋１．　ｐ）に対して適当な 予測される状態量ｘ　（ｎ、ｋ＋１）を予測される状態量の集合（ｘ　（ｊ、に ＋１）ｌから選び出す必要がある（ＳＥＬ）。

本方法の初期化の際にそのために第１の像の各セグメントに簡単に最初の予測さ れる状態ベクトルが割当てられる。

しかし第にの時間ステップの後に像１　（ｋ）の各セグメントＳ　（ｊ、ｋ）に 対して予測される状態ベクトルｘ　（ｊ、に＋１）が存在する。像１　（ｋ＋１ ）の各セグメントＳ　（ｎ、ｋ＋１）に対していま予測される状態量のこの集合 から適当な予測される状態量ｘ　（ｎ、ｋ＋１）を選び出すか、または適当な状 態ベクトルが存在しない場合には予測される状態ベクトルを確定する必要がある 。

そのために像１　（ｋ＋１）のすべての運動セグメントの重心が、Ｓ　（ｎ、ｋ ＋１）に属するすべての像点ベクトル の加算から測定される。

いま１つのセグメントまたは複数のセグメントＳ　（ｎ、ｋ＋１）が、たとえば 予測された位置７（ｊ、に＋１）に属する共分散楕円により決定される、１つま たはそれ以上の予測される位置ベクトル？　（ｊ、に＋１）の１つの周辺領域の 内側に存在するならば、位置ベクトル７（ｉ、に＋１）は、重心ベクトルｍ　（ ｎ。

ｋ＋１）が７（ｉ、に＋１）に対して最もわずがな間隔を有するセグメントＳ（ ｎ、に＋１）に対応付けられる。対応付けの他の可能性は、７　（ｉ、に＋１） を、（１１）　Ｄ（ｉ、ｎ）−Ｄ（Ｉ　（ｋ、ｐ）、Ｓ（ｉ、に、ｐ）、Ｔ　（ ｋ＋１゜、Ｔ（ｐ））、Ｓ（ｎ、に＋１．７（ｐ）））ここで　Ｔ　（ｐ）−Ｔ 　（ｐ　；７　（ｉ、に＋１））すなわち純粋な並進の場合には　Ｔ　（ｐ）＝ ｐ＋Ｆ　（ｉ、に＋１）の形態の関数が最大になるセグメントＳ　（ｎ、ｋ＋１ ）に対応付けることにある。

関数りはたとえば関数Ｃと等しい特別な関数形態を有し得る。

この仕方で予測される状態ベクトルが対応付けられ得ない像Ｉ（ｋ＋１）の残り のセグメントＳ　（ｎ、に＋１）には、本方法の初期化の際のように最初の状態 ベクトルが対応付けられる。その際にこのセグメントの測定される重心ｍ　（ｎ 。

ｋ＋１）が最初の位置ベクトルｒ　（ｎ、ｋ＋１）として利用される。その状態 ベクトルのすべてのその他のコンポーネントは、共分散であろうと、存在する情 報に相応して決定する必要がある。この選択（ＳＥＬ）の際に、像ｒ　（ｋ＋１ ）のセグメントＳ　（ｎ、ｋ＋１）に対応付けられなかった状態ベクトルｘ　（ ｊ、に＋１）がまだ残されているならば、またそれらの共分散が像面積（または 他の応用に関係して予め与えるべき大きさ）よりもはるかに小さいならば、これ らは時間再帰的な推定方法で、相応の測定ノイズ共分散Ｒ（ｊ、ｋ＋１）が最大 値〔ρ）にセットされることによって、測定なしの伏ａｔとして取り扱われる。

すべての他の状態ベクトル、（ｊ、に＋１）、特にセグメントに対応付けられて いない大きい共分散を有する状態ベクトルは時間再帰的な推定から消去される。

この仕方で、一時的に覆われている対象物または不利な逼影条件に基づいて一時 的に見えない対象物の追跡も可能である。

本方法はたとえば記述のための付録として添えられたテキストを有し得るプログ ラムによっても実施され得る。

第１図 １（ｋ＋Ｉ、ｐｉ 要約書 ディジタル像の時間的／−ケンスの解析の際の運動対象物の時間再帰的な運動推 定および追跡のための方法であって、像（１）のなかの運動セグメントが２進セ グメント関数（Ｓ）の時間的シーケンスに対応付けられ（ＤＳ）、またこれらの 運動セグメントの運動パラメータ（Ｚ）がマツチング関数（Ｃ）の最大化（ＳＭ ）により測定される方法が提案される。これらの測定された運動パラメータ（Ｚ ）が時間再帰的な方法で、先行の時点の補正された状態量（Ｙ）から計算（ＴＵ 、５ＥＬ）されるか、または方法の開始の際に初期化（ＩＮＩＴ）されている予 測される状態量（Ｘ）を補正するために使用される。こうして運動推定のための 公知の方法の困難が克服され、また運動推定の精度が高められ、同時に費用も低 減される。

第２図 国際調査報告 １．、ｌａ＋、ｎ１１゜、１ア、工、１．。、。ＰＣＴ／ＥＰ　９１１００７６ ９国際調査報告 ＥＰ　９１００７６９ ＳＡ　４６９８１

Claims (20)

【特許請求の範囲】
1. １．ディジタル像の時間的シーケンスの解析の際の運動対象物の時間再帰的な運 動推定および追跡のための方法であって、予測される状態量（Ｘ）の集合の開始 時に初期値が割当てられ、また時間的シーケンス（Ｉ（ｌ），…，Ｉ（ｋ），… ）の各像（Ｉ（ｋ））に対して、 （ａ）ディジタル像の時間的シーケンスの像（Ｉ（ｋ））のなかの運動セグメン トに２進セグメント関数（Ｓ）が対応付けられ、（ｂ）マッチング関数（Ｃ）の 最大化により運動セグメントに対する運動パラメータ（Ｚ）が測定され、 （ｃ）予測される状態量（Ｘ）の集合から、測定された運動パラメータ（Ｚ）に より、補正された状態量（Ｙ）が計算され、（ｄ）補正された状態量（Ｙ）から 、後続の時点に対する予測される状態量（Ｘ）が求められる ステップが進行することを特徴とするディジタル像の時間的シーケンスの解析の 際の運動対象物の時間再帰的な運動推定および追跡のための方法。
2. ２．２進セグメント関数（Ｓ）が特性 １像点ｐが時点ｋで運動セグメントｊに属する場合Ｓ（ｊ，ｋ，ｐ）＝｛ ０それ以外 を有することを特徴とする請求の範囲１記載の方法。
3. ３．セグメント関数（Ｓ）が運動対象物（ＤＳ）の検出およびセグメント化によ り見出されることを特徴とする請求の範囲１または２記載の方法。
4. ４．マッチング関数（Ｃ）が、運動パラメータ（Ｚ）の組によりパラメータ化さ れた変換（Ｔ）のファミリーの使用のもとにセグメント関数（Ｓ）およびディジ タル像（Ｉ）から一般式 Ｃ（ｊ，ｋ，Ｔ）＝Ｃ（Ｉ（ｋ，ｐ），Ｓ（ｊ，ｋ，ｐ），Ｉ（ｋ＋ｌ，Ｔ（ｐ ）），ΣＳ（ｎ，ｋ＋ｌ，Ｔ（ｐ））〕により形成され、ここでｋは時間インデ ックス、ｐは像点の座標、Ｊまたはｎはセグメントインデックスであり、 Ｓ（ｊ，ｋ，ｐ）像点ｐにおける時点ｋでの運動セグメントｊのセグメント関数 の値 Ｓ（ｎ，ｋ＋ｌ，Ｔ（ｐ））像点Ｔ（ｐ）における時点ｋ＋ｌでの運動セグメン トｎのセグメント関数の値 Ｉ（ｋ，ｐ）またはＩ（ｋ＋ｌ，Ｔ（ｐ））像点ｐまたはＴ（ｐ）における時点 ｋまたはｋ＋ｌでの像の強度 Ｔ（ｐ）像点ｐの変換Ｔにより変換された像点である ことを特徴とする請求の範囲１ないし３の１つに記載の方法。
5. ５．変換（Ｔ）の考察されるファミリーが像平面のアフィン変換のみを含んでい ることを特徴とする請求の範囲４記載の方法。
6. ６．変換（Ｔ）の考察されるファミリーが並進運動のみを含んでいることを特徴 とする請求の範囲４記載の方法。
7. ７．状態量（Ｘ，Ｙ）が運動セグメントの瞬時の速度を記述することを特徴とす る請求の範囲１ないし６の１つに記載の方法。
8. ８．状態量（Ｘ，Ｙ）が運動セグメントの瞬時の位置をも記述することを特徴と する請求の範囲１ないし７の１つに記載の方法。
9. ９．状態量（Ｘ，Ｙ）が運動セグメントの加速挙動をも記述することを特徴とす る請求の範囲１ないし８の１つに記載の方法。
10. １０．マッチング関数（Ｃ）が式 ▲数式、化学式、表等があります▼ により形成され、ここでｋは時間インデックス、ｐは像点の座標またＪまたはｎ はセグメントインデックスであり、またＳ（ｊ，ｋ，ｐ）像点ｐにおける時点ｋ での運動セグメントｊのセグメント関数の値 Ｓ（ｎ，ｋ＋ｌ，Ｔ（ｐ））像点Ｔ（ｐ）における時点ｋ＋ｌでの運動セグメン トｎのセグメント関数の値 Ｉ（ｋ，ｐ）またはＩ（ｋ＋ｌ，Ｔ（ｐ））像点ｐまたはＴ（ｐ）における時点 ｋまたはｋ＋ｌでの像の強度 Ｔ（ｐ）像点ｐの変換Ｔにより変換された像点である ことを特徴とする請求の範囲４、５、７、８、９の１つに記載の方法。
11. １１．マッチング関数が式 ▲数式、化学式、表等があります▼ により形成され、ここでｋは時間インデックス、ｐは像点の座標、Ｊまたはｎは セグメントインデックスであり、また Ｓ（ｊ，ｋ，ｐ）像点ｐにおける時点ｋでの運動セグメントｊのセグメント関数 の値 Ｓ（ｎ，ｋ＋ｌ，ｐ＋ｖ）像点ｐ＋ｖにおける時点ｋ＋ｌでの運動セグメントｎ のセグメント関数の値 Ｉ（ｋ，ｐ）またはＩ（ｋ＋ｌ，ｐ＋ｖ）像点ｐまたはｐ＋ｖにおける時点ｋま たはｋ＋ｌでの像の強度 ｖ像平面内の１つのシフトベクトル である ことを特徴とする請求の範囲４ないし９の１つに記載の方法。
12. １２．マッチング関数（Ｃ）の最大化の際に、運動パラメータ（Ｚ）の測定され る値がしばしばこれらの運動パラメータに相応する予測される状態量（Ｘ）のコ ンポーネントの近傍に位置する事情が顧慮されることを特徴とする請求の範囲１ ないし１１の１つに記載の方法。
13. １３．マッチング関数（Ｃ）の最大化が運動パラメータに相応する予測される状 態量（Ｘ）のコンポーネントの近傍の１つの探索範囲の内側での探索により行わ れることを特徴とする請求の範囲１ないし１２の１つに記載の方法。
14. １４．マッチング関数（Ｃ）の最大化の際に運動パラメータに相応する状態量（ Ｘ）のコンポーネントが出発値として使用されることを特徴とする請求の範囲１ ないし１３の１つに記載の方法。
15. １５．請求の範囲１のステップ（ｃ）または（ｄ）が少なくとも１つのカルマン フィルタにより行われることを特徴とする請求の範囲１ないし１４の１つに記載 の方法。
16. １６．カルマンフィルタ−共分散がマッチング関数（Ｃ）の最大化を制御するた めに使用されることを特徴とする請求の範囲１５記載の方法。
17. １７．マッチング関数（Ｃ）の最大化の際の探索範囲がカルマンフィルタ−共分 散に関係して選ばれることを特徴とする請求の範囲１５または１６記載の方法。
18. １８．請求の範囲１のステップ（ｂ）で見出されたマッチング関数（Ｃ）の最大 値が請求の範囲１のステップ（ｃ）で補正された状態量を計算するために使用さ れることを特徴とする請求の範囲１ないし１７の１つに記載の方法。
19. １９．請求の範囲１のステップ（ｂ）で見い出されたマッチング関数（Ｃ）の最 大値がカルマンフィルタの測定ノイズ共分散を計算するために使用されることを 特徴とする請求の範囲１５ないし１７の１つに記載の方法。
20. ２０．測定ノイズ共分散（Ｒ（ｊ，ｋ））が式Ｒ（ｊ，ｋ）＝ρ・（１−Ｃ（ｊ ，ｋ））に従って正値マトリックス（ρ）によりマッチング関数の最大値（Ｃ（ ｊ，ｋ））から計算されることを特徴とする請求の範囲１９記載の方法。