JPH02138678A - 電子画像の点の動きを推定するための多重予測方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の分野） 本発明の分野は電子画像の分析と符号化、そして更に特
定すれば、この種の電子画像の点の運動の分析である。

以下に詳述される特定の例において、本発明による方法
は、限られたスルーブツトのチャンネルを介して伝送す
るように設計された高品位画像シーケンスの分析に応用
できる。この型の推奨できる応用例は、高品位テレビジ
ョンのＭＡＣチャンネル上での伝送である。

しかしながら、本発明の方法は、また、画像シーケンス
を分析するいかなるシステムにおいても使用できる（例
えば、ロボット工学、標的のトラッキング、空間及び／
又は時間パラメータの探索、等）。

本発明による方法は画像処理の一環に含められるように
、また、画面の中の画像の点の移動速度の分析を行うリ
ンクを形成するように設計されている。

この種の分析は非常に多くの意味において有益である。

限られたスルーブツトを持つチャンネルで画像シーケン
スを伝送するためには、画像の処理は、送信されるデー
タ量を次のような方法で減らすように設計されるニ 一送信側では、部分サンプリング操作が行われ、部分サ
ンプリング・データには、チャンネル・データと一緒に
伝送される“補助データ”が添えられる； 一受信側では、補助データと部分サンプリングされた信
号を使った逆の操作が行われて高品位信号を復元する。

このような構成の中で、画像の点の運動を推定する段階
は、本発明によると、例えば部分サンプリング操作の前
に起きる。その場合、運動を推定する目的は、その中で
データの各部分が画面及び時間における点の運動を表す
ところの空間と時間のデータベースを作ることにある。

これらは、部分サンプリングによるデータの圧縮の達成
に最も適した処理操作を決めさせてくれるようなデータ
の部分である。

画像の運動を考慮に入れたデータ圧縮処理操作の分野で
既に知られている方法の一つは、１９８７年ｌθ月４日
〜８日にオタワで行われた高品位テレビ８７コロキウム
のプロシーディング、第１巻、６゜２．１頁（ｐ、ベル
ナール（Ｐ、　ＢＥＲＮＡＲＤ）　、Ｍ。

ベイヤールｃＭ、　ＶＥＩＬＬＡＲＤ）　、ヨーｏ　ツ
バ電信電話諮問委員会（ＣＣＥＴＴ）に記述されている
ような、ＭＡＣチャンネルでの高品位テレビ信号の伝送
のための、高品位テレビ信号の空間−時間的な部分サン
プリングにおける構造分析のためのものである。この既
知の分析方法では、シーケンス内の各画像は領域に分け
られ、各領域は、３つの別々の線型フィルターの中で３
つの処理操作を平行して組織的に経る。各フィルターは
、静止（運動のない）画像、中位の速度で動く画像、及
び高速で動（画像にそれぞれ適したフィルター操作に対
応する異なる部分サンプリング・フィルター操作を行う
。次にフィルターの出力が原画像と比較され、効果的に
伝送される圧縮信号を決めるために最適な型のフィルタ
ーが選択される。

この種の線型フィルターの品揃えは、選択の範囲が３つ
の部分サンプリングフィルター操作だけに限定され、処
理される領域のそれぞれの特徴に応じてフィルター操作
を特定的に合わせられる可能性がないという欠点を持つ
。特に、同−画像内でも領域が異なると品位が均一でな
いこと、更に、ゆっくりした運動の処理においてはこの
システムは性能水準が低いことが指摘されてきた。この
問題は、例えば、ゆっくりした運動が停止する時、或い
はまた、静止した対象が動き出す時に、視聴者にとって
とても目障りな具合に、と非常に明白に感じられると思
われる。前者の場合は動いている対象のぼやけた品位か
ら静止した対象の最大品位へ突然移行し、後者の場合は
その逆が起きる。

次に、画像シーケンスの符号化の問題への従来の技術に
よるアプローチで、より洗練されたやり方は、画像シー
ケンスの中の運動を先験的に推定することから成る。

この点に関して、Ｔ、Ｓ、ファン（Ｔ、　Ｓ、　ＨＵＡ
ＮＧ）は（画像シーケンスの分析の中の゛画像シーケン
スの分析：運動の推定”；’ｒ、ｓ、ファン編、スブリ
ンガー・フエアラーク（Ｓｐｒｉｎｇｅｒ　Ｖｅｒｌａ
ｇ）社、１９８１年）、３つの異なる方法、即ちフーリ
エ（ＦＯＬＩＲＩＥＲ）法、“対応”又はブロック・マ
ツチング法、及び空間又は時間の勾配を使う方法を取り
上げている。最初の２つの方法は幾つかの欠点を持つ。

フーリエ法は位相が不確定という問題と結びついており
、また、画像の背景の一様性を仮定している。ブロック
・マツチング法は信号処理について複雑な操作を伴う可
能性が高いと思われ、それを単純化しようと試みれば、
処理のアルゴリズムにおける発散の危険が生じると思わ
れる。

空間と時間の勾配を使う方法の間では、幾つかのアルゴ
リズムが提案されていることが知られている：Ｊ、Ｏ，
リム（Ｊ、０．　ＬＩＭ）とＪ、Ａ、マーフィー（Ｊ、
Ａ、　ＭＡＲＰＩ（Ｙ）、“動（対象の速度を信号から
測定する”、アメリカ電気電子学会（ＩＥＥＥ）、通信
部会誌（Ｔｒａｎｓａｃｔｉｏｎ　ｏｎ　Ｃｏｍｍｕｎ
ｉｃａｔｉｏｎ）、１９７５年、４７４−４７８頁；Ａ
、Ｎ、ネトラバリ（Ａ、Ｎ。

ＮＥＴＲＡＶＡＬＩ）、Ｊ、Ｄ、０ビ’、／ス（Ｊ、Ｄ
、　ＲＯＢＩＮＳ）、“運動補償テレビジョンの符号化
：第工部”、ベルシステム・テクニカル・ジャーナル（
ＢＳＴＪ）、第５８巻、第３号、１９７９年３月、６３
１〜６７０頁；Ｓ。

サブリ（ｓ、　５ＡＢＲＩ）、“国内テレビシステム委
員会（ＮＴＳＣ）カラーテレビ信号のための運動補償フ
レーム間の予想゛°、アメリカ電気電子学会、通信部会
誌、３２巻、第８号、１９８４年８月、９５４−９６８
頁：Ｐ、ロベール（Ｐ、　ＲＯＢＥＲＴ）、“テレビ画
像シーケンスのための運動補償を用いた多重モード符号
化機構の定義”　ＩＲＩＳＡへの提出論文、１９８３年
１１月；Ｃ，ラビ（ｃ、　ｔ、ＡＢＩＴ）、°°子テレ
ビ像シーケンスにおける運動推定”　ＩＲＩＳＡへの提
出論文、レンフ（ＲＥＮＮＥＳ）、１９８２年２月、Ｄ
、Ｒ。

ウォルカー（Ｄ、Ｒ，ＷＡＬＫＥＲ）　、Ｋ、　　Ｒ，
ラオ（Ｋ、Ｒ。

ＲＡＯ）、“ベルー再起運動補償における新しい技法°
゛、国際通信会議（ＩＯＣ）、１９８４年、アムステル
ダム、７０３−７０６頁。

これらの既知の推定方法は、実際問題としては、次に３
種類の限界に突き当たるニ ー選ばれたアルゴリズム方式に関わる限界；−大半のア
ルゴリズムの再起設計に関連した限界； 一推定アルゴリズムの開始仮定のために提案される選択
に関する限界。

アルゴリズムの方式に関わる限界に関しては、既知の方
式は基本的には２つのグループに分類される：画像のブ
ロックに付属した速度ベクトルの成分を求めるアルゴリ
ズム（ブロック・マツチング）と画像の点に付属した速
度ベクトルの成分を求めるアルゴリズム、である。この
２つのアルゴリズム方式のどちらを選ぶかという基準は
、基本的には、用いられる処理操作の複雑さと、それぞ
れの技法による相対的な効率の心理−視覚的な感知とに
関連している。

本発明による方式について言うと、それは、出来るなら
ばベルー再起運動推定方式、そして必ずしもそれに限ら
ないとは言え、出来ればウォルカーとラオによって記述
された運動推定方式により動作するように選択されてい
る。この選択の理由は、この方式による発明の手順とし
て結果したものの一部であるが、以下に述べる。

しかしながら、本方式はブロック運動推定に対しても同
様に良く適用されることに注意したいが、その場合、各
ブロックは１個の代表値によって表現され得るものとし
、その値は場合によってはベクトルであることもある。

第二の限界は、知られている殆どのアルゴリズムの再起
特性に関連するものである。再起性は１点の運動を推定
するために計算のループを複数回必要とするという欠点
を持つ。この操作は、従って、必然的にシーケンスシャ
ルであり、それは順位ｎの推定は、どうしても順位ｎ−
１までの推定が知られてからでなければ推定できないか
らである。現在のテレビの周波数では、この方式は実行
不能か、甘いぜいのところ甚だ不利である。

最後に、第三の型の限界は、既知の運動推定アルゴリズ
ムのために現在推奨されているイニシャリゼーション・
モード、特にベルー再起アルゴリズムとして知られてい
る推定アルゴリズムのためのイニシャリゼーション・モ
ードに関連している。更に、これらのイニシャリゼーシ
ョン・モードは、一般に、選ばれたアルゴリズム技法と
再起モードに関連している。この点からすれば、点の運
動推定の改良に対応する２つの主な再起技法を拾い出す
ことが出来るが、それはぞれぞれ、空間内挿法（例えば
、Ａ、Ｎ、ネトラパリ、Ｊ、Ｄ。

ロビンスの既述論文；Ｐ、ロベール、Ｃ，キャフォリオ
、Ｆ、ロオッ力（Ｐ、　ＲＯＢＥＲＴ％Ｃ，ＣＡＦＦＯ
ＲＩＯｌＦ、　ＲＯＣＣＡ）、゛°差動運動推定のため
の時間／空間再起”、第２回光学及び電子光学応用科学
技術に関する技術国際シンポジウム、カンタ、１９８５
年１２月、Ｂ、に、Ｐ、ホーン、Ｂ、Ｇ、シュンク（Ｂ
、に、Ｐ、　ＨＯＲＮ、　Ｂ、Ｇ、　５ＣＨＵＮＣＫ）
、“光学フローの決定°°、人工知能（Ａｒｔｉｆｉｃ
ｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）、第１７巻、１８
５−２０３頁、１９８１年；ｗ、エンケルマン（Ｗ、　
ＥＮＫＥＬＭＡＮＮ）、“画像シーケンスの光学フロー
場の推定のためのマルチグリッド・アルゴリズムの研究
°゛、運動に関するワークショップ：報告と分析（Ｒｅ
ｐ、　ａｎｄ　Ａｎａｌｙｓｉｓ）　　アメリカ電気電
子学会、１９８６年５月、チャールストン、等を見よ。

）或いは、時間内挿法（Ｙ、ニノミャ、Ｙ。

オオッカ（Ｙ、　ＮＩＮＯＭＩＹＡ、　Ｙ、　０ＨＴＵ
ＫＡ）、“テレビジョン画像のための運動補償フレーム
間符号化方式°°、アメリカ電気電子学会、通信部同誌
、第３゜巻、第１号、１９８２年１月、２０１−２１１
頁；Ｒ，バカン、Ｅ、デュボワ（Ｒ，ＰＡＱＵＩＮ、　
Ｅ、　ＤＵＢＯＩＳ）、゛時間変化する画像の移動ベク
トル場の推定のための空間−時間勾配法”　コンピュー
タービジョン、グラフィックスとイメージプロセス　（
ＣｏｍｐｕｔｏｒＶｉｓｉｏｎ、　Ｇｒａｐｈｈｉｃｓ
　ａｎｄ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓ）、第２１巻、
１９８３年、２０５−２２１頁）、によるものである。

時間内挿法は、更に特定すれば静止画像シーケンスの処
理に適しており、一方、空間内挿法は原理的に高速の画
像シーケンスに対して満足すべきものになる。これに対
して、これらの既知の方法は、ゆっくりした運動にはあ
まり適しておらず、どちらの方法も高い程度の方向性の
ある縞目が生じ、そのために画像符号化の処理の操作に
おいて相当かつ周囲と釣り合わない汚れが生じるのであ
る。

（発明の目的） 本発明による方式は、従来の技術の欠点の全てを克服す
ることを特に目指すものである。

より正確に言えば、本発明の第一の目標は、高速で収束
性があり適応力のある処理により、画面の中で電子画像
の点の運動を推定するための方法を提供することであり
、特に、部分サンプルされた画像から再構成される画像
の心理−視覚的室を損なうことなしに、画像シーケンス
の部分サンプリングのために、後を受ける効率的な処理
操作を可能にすることを狙としている。この応用は以後
の説明の過程で明らかにされる。

本発明の第二の目標は、画像のフォーマットとは関係の
無い、この種の運動の推定方式を提供することにある。

本方式は、４／３フオーマツトでも、１６／９フオーマ
ツト（高品位テレビ）のいずれに対しても適用できる。

本発明の他の目標として、構成要素の数と価格、特に使
用されるバッファーメモリーの容量を最小に抑え、有線
の回路で実施できるこの種の運動推定方式を提供するこ
とが挙げられる。

本発明はまた、以下に展開される特定の実施方法に関連
した付加的な幾つかの小目的を持っている。それらの小
目的の中には、点の運動の解釈に伴う紛争の解決、或い
はスクリーンの端の処理が含まれる。

本発明の付加的な目標は、特にＭＡＣチャンネル用の高
品位テレビの符号化への本発明の適用において、現用の
処理システムと適合性のあるこの種の方式を、少なくと
もその一つの版において、提供することにある。

本発明の他の目標は、例えば、いずれも既に述べたウォ
ルカーとラオのアルゴリズム、或いはまたロベール、キ
ャフォリア、ロッカのアルゴリズムなどの、これまでに
知られている或いはこれから開発される様々な型のアル
ゴリズムの原則を用いて、運動の推定を実行出来るよう
にすることにある。

本発明の他の目標は、上述の質を持つ運動推定方式を含
む画像符号化方式を提供することであり、その符号化方
式は、幾つかの符号化の利用できる可能性の中から最適
の符号化を選択して用いる決定機能を備えているものと
する。この種の符号化方式は、特に、静止画像と、遅い
又は速い運動をする運動画像のいずれについても符号化
を最適にする、或いはまた、処理の遅れを伴うことなし
に空間−時間的な切れ目の領域（輪郭、動作の急激な変
化、等）の符号化を最適にすることができるものでなけ
ればならない。

（発明の要約） これらの目標は、以後に発生し得る他のものも含めて、
電子画像シーケンスの運動の推定方式により実現される
ものであり、この方式はとりわけ、各電子画像点に対し
て成る瞬間をの画面において移動ベクトルを割り付ける
ように設計されており、その目的は、例えば、第一には
画像信号の最適の圧縮過程を実施すること、及び／又は
、第二には成る瞬間をの画像の位置を次に来る瞬間（ｔ
＋１）の画像へと近似的な投影を果たすことであるが、 その際、 瞬間をにおける問題とする点の上述の問題とする移動ベ
クトルはアルゴリズムによる予想／補正過程によって計
算され、そこにおいては、運動の予想値は計算の開始仮
定として受け取られ、その予想値は基準を最適化するこ
とによる補正方式によって過程の中で逐次的に補正され
るものとされ、 かつ、そこにおいて、 その問題とする点の運動の予想値は、瞬間（を−１）の
画像の原点に伴う原移動ベクトルの値とされ、その問題
とする点は、その原点の近似的な、その原移動ベクトル
に沿っての投影であるとする。

その予想／補正過程は゛ベルー再起型°゛アルゴリズム
であるのが有利であり、更に特定すれば、ウォルカーと
ラオ或いはまたロベール、キャフォリオ、ロッカのアル
ゴリズムであれば有利である。

本発明の他の顕著な目標は、電子画像シーケンスのため
の運動推定方式であり、この方式は特に、各電子画像点
に対して瞬間をの画面上において移動ベクトルを割り付
けるように設計されており、その目的は、例えば、第一
には画像信号の最適の圧縮過程を達成すること、及び／
又は、第二には瞬間（ｔ＋１）における各画像点の位置
の近似的な投影を達成することであるが、そこにおいて
は、瞬間をにおける問題とする点のその問題とする移動
ベクトルはアルゴリズムによる予想／補正過程によって
計算され、そこにおいては、運動の予想値は計算の開始
仮定として受け取られ、その予想値は基準を最適化する
ことによる補正方式によって過程の中で逐次的に補正さ
れるものとされ、 かつ、そこにおいて、 その方式は、問題とする点の運動の２つの予想値を用い
て、運動推定の少なくとも２つの計算を平行して行うも
のであり、その予想値は以下の値の中から選ばれるもの
とするニ 一部なくとも１個の運動の空間的な予想；−少なくとも
１個の運動の時間的な予想；−少なくとも少なくとも１
個の運動の軸に添った空間−時間的な予想； かつ、そこにおいて、 その方式は、速度ベクトルの推定を、基準を最適化する
ことによる決定方式により選ぶものとする。

（定義） 運動推定：フレーム化された当初の画像の１点（或いは
点のブロック）に対して、この点の画像シーケンスの“
フレーム”に関する一つの画像から次の画像への移動ベ
クトルを決定するために設計された信号処理方式。

運動補償：高品位テレビのデイスプレー上で高品位画像
を得るために、デコーダで受けられた信号を１点（又は
点のブロック）における移動ベクトルを用いて内挿する
信号処理方式。

計算された運動ベクトルの適合の度合いの基準：ウォル
力−とラオの推定アルゴリズムによって求められた移動
フレーム差−ＤＦＤ　（“（１−１）の原点の輝度と、
計算された速度ベクトルによって結び付けられた、をに
おける標的点の輝度との違い”）；ｔでの画像の点（ｘ
、ｙ）の最適の運動ベクトル（ｄｘ、ｄｙ）の探索は、
（１−■）での画像において、 ＤＦＤ＝ｌＩ（ｘ、ｙ、ｔ）　−Ｉ（ｘ−Ｄｘ、　ｙ−
Ｄｙ、　ｔ−１）１，で定義されるＤＦＤが最小となる
ように、座標点（ｘ−Ｄｘ、ｙ−Ｄｙ）を捜すことに帰
するが、 そこでは、 Ｘ２画像の点の横座標； ｙ＝両画像点の縦座標； ｔ＝両画像走査に対応する時間； ｔ−１＝瞬間をの画像に先立つ画像の走査に対応する時
間； Ｉ　（ｘ＋　ｙ、ｔ）＝瞬間ｔでの画像の点（ｘ。

ｙ）の輝度。

（提示された具体的実施例） 以下に示される本発明の具体的実施例は、ＭＡＣチャン
ネルによる伝送を想定した高品位テレビ画像源のための
符号化とデコードの構成の設計と製作の一部を成すもの
である。

第１図は、本発明による運動推定方式を位置づけるブロ
ックダイヤグラムを示しており、それは、ＭＡＣチャン
ネルを介した高品位テレビ信号の伝送の符号化／デコー
ド・ラインに含まれる。

第１図の具体的実施例は、現存のシステムと整合した特
定の版に対応するものであり、線型フィルターと１駁追
符号化による平行処理操作を含んでいる。

高品位テレビ信号符号化ステージは以下のものを含む： １）ＭＡＣ基準に適合するためにビデオ情報の片の数を
減らす、画像源の部分サンプリング（フィルターを通す
ならばその後で）（段階１０）、２）その周波数に対応
する空間−時間データ（補助データ）を伝送するための
符号化器における高品位テレビ源シーケンスの処理（段
階１１）。

デコード・ステージ１４は以下のものから成る：ｌ）部
分サンプルされた画像源に対応する伝送ＭＡＣ信号の受
信。

２）標準テレビ受信器での受信にあっては、補助データ
を参照せずに受信された画像をデイスプレーする。これ
は整合画像と呼ばれるものである； ３）高品位テレビ受信器での受信にあっては、適当した
内挿及び補償システム１４を介して高品位テレビ画像を
再構成するための補助データの処理。

部分サンプルされたビデオ信号は画像ＭＡＣチャンネル
１２により伝送されるのに対して、段階１１から生じた
補助データ１３の部分は付属する“データチャンネル”
を介して伝送されるのが都合が良いことを注意しておく
　（ＭＡＣ伝送基準を参照のこと）。

第１図のダイヤグラムにおいては、補助データ１３を発
生させるための段階１１は、回路２０．２１．２２．２
３で平行的に行われるフィルター操作と運動推定の結果
の比較のための手段１５から入力されることに注意して
もらいたい。回路２０．２１．２２．２３は線型フィル
ターによるフィルター操作のための標準的な回路に対応
している。３つの回路２１．２２．２３は、それぞれ、
静止画像領域、ゆっくりした運動の領域、及び速い運動
の領域に適したフィルター操作と対応している。

回路３０に関して言うと、これは本発明による運動推定
方式の実施と対応しており、全ての画像点の分析のため
の段階１６と、各画像点に付属した速度ベクトルを決定
するための段階１７より成っている。

この具体的実施例は、高品位画像源信号が回路２０．２
１．２２．２３のそれぞれにおいて平行的にフィルター
操作／運動推定操作を同時に経ているという意味におい
て、径暑追符号化システムに相当するものであり、最適
の符号化過程は、比較回路１５において、梗竺旬に選ば
れるのである。

より効率的ではあるが現用のシステムとは整合しない具
体的実施例においては、本発明による運動推定方式はフ
ィルター操作の上流において行われ、回路２０の出力に
よって得られる結果が、推定された運動の値がそれを必
要とする時にフィルター２１．２２．２３のいずれか（
もしどれか一つでも必要なら）の使用を条件づけるので
ある。事実、この種の具体的実施例、それは“先験的符
号化パと呼べるものであるが、においては、それぞれ静
止領域と高速運動領域に対応するフィルター２１と２３
だけが残しておかれる。このフィルター２１．２３のい
ずれかにおけるフィルター操作は、運動の欠如の推定、
或いは高速の運動の推定の場合に最適なものであるとし
て選ばれることになろう。

１ガ獲ユ 運動推定の目的は、をにおける標準的な画像の各点に対
して、ｔ−１の画像とをの画像との間のこの点に関する
移動ベクトルを付属させることである。

この移動ベクトルの知識は、（走査速度に関して）連続
的運動の場合にＭＡＣチャンネルを介して２つの画像の
うちの１つだけを送ることを可能にするものであり、そ
れぞれの伝送されなかった画像は、その直前に先行する
画像から、その先行する画像の点のそれぞれに付けられ
た移動ベクトルに沿っての移動によって導くことが可能
なのである。再構成された画像にもしも隙間が出来るな
らば、それは内挿によって埋めることが出来るはずであ
る。

この場合、高品位画像源は完全に知られていて、交錯し
ていないものであると仮定している。

多（の運動推定アルゴリズムが開発され、本書の初めの
部分で特に引用されている。各アルゴリズムの場合には
、その役割は、をにおける画像の各点に対して、その点
がｔ−１での画像においてとった位置を知ることを可能
にさせるベクトルを付属させることである。

現在の具体的実施例に対して選ばれた運動推定方式は、
ウォルカーとラオの既に述べられた゛°ベルー再起型°
゛方式である。移動を推定するに当たって、この方式は
移動の予想（従って、もっともらしい初期値）と補正関
数を用いる。この補正関数は、局所的な空間的勾配（ｇ
ｒａｄ）　、勾配から求められた可変の利得、そしてＤ
ＦＤで示される輝度の違いに依存している。

ＤＦＤは、問題とする点と、運動ベクトルによって指定
された先行する画像における対応する点との間の輝度の
違いの数値を示す。

このＤＦＤの値は本発明による方式の基本的な概念であ
って、本発明による運動の方向の推定のためにウォルカ
ーとう才のアルゴリズムの適用にあってそれが用いられ
るだけではなく、フィルター操作と運動推定の結果の比
較の操作のためにも使われるので、ことに基本的である
と言える；この比較は、伝送された信号の符号化／サン
プリングのための最良の方法を決定することを可能にす
るものである。

ウォルカーとラオの方法は、反復方式として知られ、単
一の予想を行う。

現在までに知られている方法において用いられている予
想は、次の２つの種類に分かれる；−空間的予想（第２
図）二点（ｘ、ｙ）の運動は、をにおける画像の空間的
に隣接した諸点の一つに近いものとして予想され、例え
ば、同じ線（Ｘ−１，、ｙ、ｔ）に属する先行する点、
或いはまた、先行する線（ｘ、ｙ−１１ｔ）、（ｘ　−
１、ｙ−１，ｔ）、（ｘ＋１．ｙ−１，ｔ）に属する近
接した点のどれかになる。

この予想は空間的に広がってに画面上を高速で移動する
対象の運動を推定するには満足のいくものである。

一時間的予想（第３図）：点（ｘ＋　３’＋　ｔ）の移
動ベクトルのために選ばれる予想は、（ｔ−１）におけ
る先行する画像の点（ｘ、ｙ、を−１）のために計算さ
れた推定である。

この型の予想は静止した画像のシーケンス、更に厳密に
言えば、静止した画像の領域に対して明らかに最適なも
のである。

これらの既知の推定の方法は、最初に述べたように有益
であるが極めて不十分なものであり、以下に見る、本発
明による方法の３つの特徴の開発に導いたのであるニ ー運動の軸の方向の移動ベクトルの予想の活用； °°多重予想”の方法の使用； 一九駄追モード或いは１験酌モードで働く、運動の軸の
方向の予想の方法、及び／又は線型サンプリング・フィ
ルターを含む符号化ライン中の多重予想方法の一体化。

この二者択一は既に述べである。

（運動の方向での予想の記述） 運動の方向での予想とは、ｔでの運動ベクトルの場の、
ｔ＋１での画像上への一転毎の投影のことである。この
投影は、ｔ＋１の画像のサンプルされた点に終わる成分
Ｖｘ、Ｖｙの全ての部分に沿って行われるであろう（第
４図）。従って、推定される移動ベクトルＶｔ　（ｖｘ
、ｖｙ）の点Ａ　（ｘ、ｙ＋　ｔ）の場合について言え
ば、その（ｔ＋１）の画像への投影は点Ｂである。この
点Ｂは、成分、 Ｐｘ＝Ｖｘ、と ｐｙ＝ｖｙ を持つベクトル丁Ｔオを予想値として割り付けられてお
り、そのｔ＋１での画像の中の空間的位置は次のように
なる： ｘ　＋　ｉｎｔ　　（Ｖ　ｘ　） ｙ　＋　ｉｎｔ　　（Ｖ　ｙ　） ここに、Ｘとｙは速度ベクトル（Ｖｘ、Ｖｙ）を持つ点
（ｘ、ｙ＋　　ｔ）の座標である。連続する２つの画像
の時間間隔は１に等しいとしている。

関数”ｉｎｔ”は括弧の中に含まれている値に最も近い
整数を示している。

ベクトルＰｔ＋１は、次には修正の後に点Ｂ　（ｔ＋１
）における推定ベクトルＶｔ＋１を得るために、ウォル
カーとラオの推定方法の繰り返しで少なくとももう一度
使われる。

速度ベクトルの投影を開始する前のイニシャリゼーショ
ン・ステージは、最良の目的画像の適当な何らかの点（
ｘ、ｙ、ｔ＋１）において、以下の表を埋めることに相
当する： Ｐｘ（ｘ、ｙ、ｔ＋１）＝０　　（予想の水平成分）ｐ
ｙ（ｘ、ｙ、ｔ＋１）＝ｏ　　（予想の水腹成分）ＤＴ
Ｄ（ｘ、ｙ、ｔ＋１）＝３１　　（ＤＦＤの絶対値、上
限３１）。

ＡＸＹ（ｘ、ｙ、ｔ＋１）・０（問題とする点の予想の
妥当性のマーカー）。

ＤＦＤの値の制限は、先行する原点と現在の標的の点の
間の輝度の差に制限を与える条件に対応している。３１
という値はＤＦＤの最大値になっているが、本発明を制
約する性質のものではな（、最初の試験によって得られ
た正確な実験値に対応しており、そこでは輝度が２５５
の異なる値をとる為のであることが知られている。

第二の制限は、予想され推定される移動ベクトルの大き
さに最大値を付すことにある。これは、高速で動く点を
、画像の点の運動ベクトルの推定における予想／補正の
過程から排除することを意味している。本発明の推奨さ
れる具体的実施例の一つにおいては、運動ベクトルの成
分（ＶＸ。

ｖｙ）は＋／−１５に制限されている。

もし、上述の２つの制限の一方の適用によって画像の一
つに対する画像運動ベクトルの計算が中断されたとすれ
ば、予想を行う問題の点の妥当性のマーカーＡＸＹはＯ
のままにされるだろう。この点に関する補助データは、
従って、運動の方向に沿った推定では決めることができ
なくな（だろうが、しかし、おそらく、時間又は空間推
定、或いは更に線型フィルター操作又は内挿によってな
らば決められるかもしれない。

しかしながら、ｔ＋１での画像の同じ一つの点が、先行
する画像の幾つかの標的点の原点となることもある点に
は注意したい。この場合には、この点は運動の軸に沿う
推定の方法によれば、この点の妥当な予想をどの原点も
与えられない時に限って、予想の対象とはならなくなる
だろう。

本発明の方式のシミュレーションのアルゴリズムは、入
力データとして、をにおける画像の点（ｘ，ｙ、ｔ）に
推定速度（Ｖｘ、Ｖｙ）とＩＯで示される強度Ｉ　（ｘ
、ｙ、ｔ）を付ける。

結果は、ｔ＋１の画像の点（ｘ　＋　ｉｎｔ　（Ｖｘ）
、ｙ＋ｉｎｔ　　（Ｖｙ）、ｔ＋１）に対し次の成分を
持つ予想速度を割り付けることになる。

Ｐｘ（Ｘ＋１ｎｔ（Ｖｘ）、　ｙ＋１ｎｔ（Ｖｙ）、　
ｔ＋１）　＝　ＶｘＰｙ（ｘ＋１ｎｔ（Ｖｘ）、　ｙ＋
１ｎｔ（Ｖｙ）、　ｔ＋１）　＝　Ｖｙこの標的点は、
工１で示される強度Ｉ　（Ｘ＋１ｎｔ（Ｖｘ）、ｙ＋ｉ
ｎｔ　　（Ｖｙ）、ｔ＋１）を持つ。

移動差の絶対値は次に関数ｌｌ０−１１１として求めら
れる。

このアルゴリズムは、３つの可能性をもっており、妥当
、拒否、平均と呼ばれる。

妥当な状況とは次のようなものである：もし： １１０−　Ｉｆ　Ｉ　＜ＤＴＤ（ｘ＋１ｎｔ（Ｖｘ）、
ｙ＋Ｌｎｔ（Ｖｙ）、ｔ＋１）次に： Ｐｘ（ｘ＋１ｎｔ（Ｖｘ）、　ｙ＋１ｎｔ（Ｖｙ）、　
　ｔ＋１）＝Ｖｘ（ｘ、ｙ、ｔ）Ｐｙ（ｘ＋１ｎｔ（Ｖ
ｘ）、　ｙ＋１ｎｔ（Ｖｙ）、　ｔ＋１）＝Ｖｙ（ｘ、
ｙ、ｔ）ＤＴＤ（ｘ＋１ｎｔ（Ｖｘ）、　ｙ＋１ｎｔｆ
ｆｙ）、　ｔ＋１）　＝　ｌ　ｌｏ−１１１ＡＸＹ（ｘ
＋１ｎｔ（Ｖｘ）、　ｙ＋１ｎｔ（Ｖｙ）、　ｔ＋１）
　＝１指示：　ＤＴＤ　＝　１１Ｏ−ＩＩ＋とは、最初
のＤＴＤの地よりも小さいｌ　１０−１１　＋の値を代
入していることを意味している。

マーカーＡＸＹは予想が妥当である時に値ｌをとるもの
とする。

肛否の状況とは次のようなものである：もし、 Ｉ　ＩＯ−ＩＩ　ｌ　＞ＤＴＤ（ｘ＋１ｎｔ（Ｖｘ）、
　　ｙ＋１ｎｔ（Ｖｙ）、　　ｔ＋１）この時は、表は
どこも改訂されない。この場合は、従って、速度ベクト
ルの投影が、移動差の絶対値Ｉ　ＩＱ−ＩＩ　ｌが大き
くなる（ここで取り上げた例では３１よりも大きくなる
）ような非常に貧弱な予想しか与えないような時に相当
している。このケースは、また、その移動差の絶対値が
、妥当であるとされた第一の候補のそれよりも大きくな
りという理由から拒否された第二の候補ベクトルについ
ても当てはまる（この手続はｔ＋１）における画像の一
つの点に対して多（の候補がある紛争の場合に適用され
る；以下を参照）。

初の状況とは次のようなものである： もし、 １１Ｏ−ＩＩ　ｌ　＝ＤＴＤ（ｘ＋１ｎｔ（Ｖｘ）、　
　ｙ＋１ｎｔ（Ｖｙ）、　　ｔ＋１＞この時は、ベクト
ル（Ｖｘ、Ｖｙ）は投影の現在の中味である（Ｖｘ　（
ｘ＋ｉｎｔ　　（Ｖｘ）、　ｙ＋ｉｎｔ　　（Ｖｙ）　
、　ｔ＋　ｌ　；　Ｐｙ　（Ｘ＋ｉｎｔ　（Ｖｘ）　。

ｙ＋ｉｎｔ　　（Ｖｙ、ｔ＋１）と平均される。その結
果は再び点（Ｘ＋ｉｎｔ　　（Ｖｘ）　、　３’＋ｉｎ
ｔ　（Ｖｙ）。

ｔ＋１）に記憶される。マーカーＡＸＹ　（Ｘ＋ｉｎｔ
　（Ｖｘ）　、　ｙ＋ｉｎｔ　（Ｖｙ）　、　ｔ＋１）
は１と置かれる。平均値をとったことは可能性のある候
補が同等の重みづけを受けたことを意味するが、例外は
３（又はそれ以上）の候補が現れた時である）（統計的
には問題とするにはあまりに稀・なケースである）。

この方法の単純化された使い方では、そこで進行が止め
られる。この場合には、表ＡＸＹは消去されることにな
る。

本発明を実施する回路のブロックダイヤグラムは第５図
Ａと第５図Ｂに示されている。

問題とする点のアドレスはアドレスバス４９の中を巡っ
ている。

メモリー５３．５４．５５．５６．５８から成る記憶ユ
ニットは以下の範囲と特別な情報を考慮に入れる： Ｖｘ、　Ｖｙ、　Ｐｙ　：　＋／−１５、精度１／８、
従って、８ビット： ＤＴＤは〈３１：製の整数、従って、５ビツト　　； ■＝強度８ビットで符号化される。

速度（Ｖｘ、Ｖｙ）の付いた点（ｘ＋　ｙ＋　ｔ）に関
しては、問題となるのはｔｅｌでの画像の点（ｘ＋ｉｎ
ｔ　（Ｖｘ）　、　ｙ＋ｉｎｔ　（Ｖｙ）　、　ｔｅｌ
）である。従って、妥当なデータの記憶アドレスはｘ　
＋　ｉｎｔ　　（Ｖ　ｘ　）とｙ　＋　ｉｎｔ　　（Ｖ
　ｙ　）で決められる。

決定したブロックと呼ばれるブロック５０は上に述べら
れた状況、即ち妥当、拒否、及び平均、に応じそ値ｌｌ
０−１１１とＤＴＤ　（ｘ＋ｉｎｔ　（Ｖｘ）。

ｙ＋ｉｎｔ　　（Ｖｙ）、ｔｅｌ）を処理する。゛妥当
／拒否′°という情報片５１は、指定されたアドレスに
更新されたＤＴＤと成分Ｐｘ、Ｐｙを記憶させるかさせ
ないかを決める。

゛移転／平均”の情報片５２は、候補Ｖｘによって以前
の内容Ｐ　ｘ　（ｘ　＋　ｉｎｔ　　（Ｖ　ｘ　）　、
　ｙ　＋　１ｎｔ（Ｖｙ）、ｔｅｌ）を書き直すが、同
じ処理はＰｙとｖｙの間でも起こり、前の内容Ｐｘと候
補Ｖｘの間、また同様にｐｙとｖｙの間で半和がとられ
る。これらの新しい値はアドレス（ｘ　＋　１ｎｔ（Ｖ
ｘ）、ｙ＋ｉｎｔ　　（Ｖｙ）、ｔｅｌ）に記憶される
。（回路５９）。メモリーの容量は以下の実効的な大き
さを考慮して決められる： メモリ　Ｉ５３　（ｘ、　ｙ、　ｔｅｌ）＝　３１　ｘ
　３１、範囲が＋／−１５だから、 メモリ　Ｐｘ５４　（ｘ、　ｙ、　ｔｅｌ）→画像−枚
分、メモリＰｙ５５（ｘ、　ｙ、　ｔｅｌ）→画像−枚
分、メモリ　ＤＴＤ５６（ｘ、　ｙ、　ｔｅｌ）　→３
１ＸＮ　。

メモリ　ＡＸＹ５８→１ビット。

Ｎは一本の画像線の点の数である。ある与えられた瞬間
には、大きさが３１Ｘ３１で、中心が点（ｘ、ｙ、ｔｅ
ｌ）にある一つのウィンド５７だけがアクセスできる。

しかし、ＤＴＤの値は長さＮの間は保存され、もし必要
であれば、ｔｅｌの画像の成る点から、再び使用される
。特に、成る線りのＤＴＤの値の群は、おそら（（Ｖｘ
とＶｙの値次第であるが）、線Ｌ＋３１が処理されるま
では引用されることがあるだろう。

の　に゛った　　の　　の 運動の軸に沿った運動の推定方式の適用限界を示すには
、３つのケースを挙げればよい。これらのケースについ
ては、特別な手続の定義が用意されているニ ー成る点Ｂ　（ｔｅｌ）に対して、“複数の候補Ａが投
影”され得る状態にある、即ち、ｔｅｌでの画像の成る
点Ｂに、その推定運動ベクトルが終わる複数の画像の原
点Ａが存在している場合；−先行する画像に“先祖°°
を持たない点Ｂが存在する時； 一画像の端の管理。

紛争の第一の型（多数候補）は、予想としては最小のＤ
ＦＤを与えろベクトルを選ぶことで解決される。第５図
の説明に既に述べた本発明の推奨される具体的実施例に
おいては、また、２つ及びそれ以上のＤＦＤが等しい場
合においては、対応する候補の間で平均がとられる。

上に述べられた紛争の第二の例では、問題とする画像の
問題とするＢに対して、候補となる原点Ａが存在しない
。

この種の紛争の解決には２つのやり方が明らかに可能で
ある。

第−のやり方では、ｔ＋１の画像における点Ｂの周囲の
空間分析によって点Ｂに予想ベクトルが割り付けられる
が、その再、同一の対象に属する点が考慮に入れられる
。このやり方は速度ベクトルの正しい場を見出すのに効
果的であるが、補償（受信時）に用いるには困難がある
。その理由は、受信時になされる内挿は運動の方向に沿
ったフィルター操作であるからである。これが発生する
のは、画面において２つの運動する対象の間、或いは対
象と画像の背景の間に重なり又は重焼きがある時である
。

第二のやり方は実施の時に望ましいものであるが、候補
をもたないＢの周囲で、ｔ＋１での画像の予想ベクトル
を持つ隣接点を捜すことに帰する。これらのベクトルの
中で、問題とする点Ｂに対して最小のＤＦＤを与えるも
のが割り付けられる。２つ又はそれ以上のＤＦＤが等し
い時には、いかなる意味での発散も避けるために、最小
のモジュールを持つベクトルが選ばれる。

このやり方による具体的実施例の詳細は、以下に第６図
と第７図を使って示される。

ｔ＋１での画像に対して一点毎に、かつ原点の速度ベク
トルを伴ってなされる、をにおける投影の非全単射性の
ために、ｔ＋１での画像点は予想Ｐｘ、Ｐｙを持たない
（ＡＸＹ＝０）。

この点（ｘ、ｙ、ｔ＋１）に対して、以下の情報が付随
する： ＡＸＹ　（ｘ、ｙ、ｔ＋１）＝Ｏ。

又、システムのイニシャリゼーション・ステージの手続
きに従って、 Ｐｘ　（ｘ、ｙ、ｔ＋１）＝Ｏ Ｐｙ　（ｘ、ｙ、ｔ＋１）＝０ 従って、この点（ｘ、ｙ、ｔ＋１）に対して、ＡＸＹ　
（ｘ、ｙ、ｔ＋１）＝０ であると考える。

この点（ｘ、ｙ、ｔ＋１）に対して予想ベクトルを割り
付ける操作は以下のようになる：１）この点の近傍６１
で、妥当とされた予想ベクトルを持つ点（ＡＸＹ＝１）
を確認する ２）点（ｘ、ｙ、ｔ＋１）に対するそれぞれの妥当とさ
れた予想を調べる ３）最小のＤＦＤを与える予想を選ぶ（７９）。

近傍６１は点（ｘ、ｙ、ｔ）に中心があり、３×３の大
きさに制限されている（第６図）。以下の値の知識がそ
れまでに妥当とされた予想（ＡＸＹ＝１）を持つ点の一
覧を与える： ＡＸＹ　（ｘ−１，ｙ−１，ｔ＋１） ＡＸＹ　（ｘ、ｙ−１，ｔ＋１） ＡＸＹ　（ｘ＋１．ｙ−１，ｔ＋１） ＡＸＹ　（ｘ−１，ｙ、ｔ＋１） ＡＸＹ　（ｘ＋１．ｙ、ｔ＋１） ＡＸＹ　（ｘ−１，ｙ＋１．ｔ＋１） ＡＸＹ　（ｘ、ｙ＋１．ｔ＋１） ＡＸＹ　（ｘ＋１．ｙ＋１．ｔ＋１） この中でＰｘ　（ｉ、ｊ＋１）とＰｙ（１，Ｊ。

ｔ＋１）が存在する点（ｉ、ｊ、を十ｉ）の一つを選ぶ
：これによって次の計算が可能になる＝ＩＯ＝Ｉ（ｘ−
Ｐｘ（ｉ、ｊ、ｔ＋１）、　ｙ−Ｐｙ（ｉ、ｊ、ｔ＋Ｉ
）、　ｔ）−ＩＩ　＝　Ｉ　（ｘ、　ｙ、　ｔ＋１）ｌ
０−Ｉｔ ここで： Ｉ　Ｎ　Ｄ　＝　ｌ　Ｉ（ｘ、　　ｙ、　　ｔ＋１）　
−Ｉ（ｘ、　　ｙ、ｔ）そして：　Ｄ　Ｒ＝　１ｓ（Ｔ
　＜速度ベクトルの最大モジュール） 表工のアルゴリズムが起動される： モジュールＤＲの計算の値で、等しい場合の最小の値を
選ぶことが可能になる。

このアルゴリズムを実現する回路のブロックダイヤグラ
ムは第７図に示される。

第５図で記述された処理操作に対応する問題の点は、ｔ
＋１での画像で空間位＠（ｘ＋１６゜、ｙ　＋　１６）
を持つ。点（ｘ、ｙ、ｔ＋１）の回りで安定な環境を得
るため）乙この周囲は実際のところ最早変更を受けるべ
きではなく、従って、最大の移動範囲（＋／−１５）の
外にあるべきである。

従って、メモリＡＸＹ６０は３３ＸＮ（１本の画像線上
の点の数）の大きさを持つ。

もしＡＸＹ　（ｘ、ｙ、ｔ＋１）が零でないならば、第
７図のシステムは起動されない。

もしＡＸＹ　（ｘ、ｙ、ｔ＋１）が零であり、かつ、Ａ
ＸＹ　（ｉ、ｊ、ｔｅｌ）が零でないならば、システム
は近傍の点（ｉ、ｊ、ｔｅｌ）で起動される。

状況により起動が必要となった時、画像ｔとｔｅｌのメ
モリ（７０）は、それぞれ、前者に対しては（ｘ、ｙ＋
　ｔ）と（ｘ−Ｐｘ　（ｉ、ｊ、ｔｅｌ）、ｙ−Ｐｙ　
（ｉ、Ｊ、ｔ）、ｔ）　、後者に対しては（ｘ、ｙ、ｔ
ｅｌ）で参照される。

このアクセスにより、ＩＮＤとｌｌ０−１１１を計算す
るためのデータが得られる。

決定回路７１においては、対応する回路７２．７３から
得られるＩＮＤとｌｌ０−１１＋の値は第１図のアルゴ
リズムに従って処理される。

もし必要であれば、モジュール７４ ｘ　　ｘ、Ｊ、ｔ＋　　　ｙ　　ｉ、ｊ、ｔｅｌが等値
の紛争を納めるために呼び出される。

艮−」。

＊もし　ｌｏ−１１＋　＜　Ｉ　ＮＤであれば：その時
は、 Ｐｘ（ｘ、　ｙ、　ｔｅｌ）　＝　Ｐｘ（ｉ、　ｊ、　
ｔｒｉ）Ｐｙ（ｘ、　ｙ、　　ｔｅｌ）　　＝　　ｐｙ
（ｔ、　　ｊ、　ｔｅｌ）ＩＮＤ　＝　ｌ　ＩＯ−Ｉｔ
　１ ＤＲ＝　　　ｘ　　ｘ、ｙ、ｔ＋　　＋　　ｙ　　ｘ、
ｙ、ｔ＋１ＡＸＹ（ｘ、　　ｙ、　　ｔｅｌ）　＝　　
１＊もしｌ　ｌｏ−１１１＝　ＩＮＤであれば、＊＊つ
まりＤＲ＞　　ｘ　　ｚ、Ｊ、ｔ＋　　＋　ｙ　　ｉ、
ｊ、ｔｅｌであれば、 その時は： Ｐｘ（ｘ、　ｙ、　ｔｅｌ）　＝　Ｐｘ（ｉ、　ｊ、　
ｔｅｌ）Ｐｙ（ｘ、　ｙ、　ｔｅｌ）　＝　Ｐｙ（ｉ、
　ｊ、　ｔｅｌ）ＤＲ＝　　ｘ　　ｘ、Ｊ、ｔ＋　　　
ｙ　　ｔ、ｊ、ｔ＋ＡＸＹ（ｘ、　ｙ、　ｔｅｌ）　＝
　１＊＊つまりＤＲ＝　　　ｘ　　ｘ、ｊ、ｔ÷ｌ　＋
Ｐｙ　　ｉ、ｊ、ｔｅｌであれば、 その時は： Ｐｘ（ｘ、　ｙ、　ｔｅｌ）とＰｘ（ｉ、　ｊ、　ｔｅ
ｌ）　、及び：Ｐｙ（ｘ、　ｙ、　ｔｅｌ）　　とＰｙ
（ｉ、　ｊ、　ｔｅｌ）の平均値が計算され、 それらは（ｘ、ｙ、ｔｅｌ）に記憶され、その結果は ＡＸＹ　　（ｘ、　　ｙ、　　ｔｅｌ）　　＝１によっ
て妥当とされる。

＊＊ＤＲ＜　　　ｘ　　１．Ｊ、ｔｅｌ　＋　　ｙ　　
ｉ、ｊ、ｔｅｌとなると、 その時は、表は改訂されない。

＊もしＩ　ＩＯ−１１＋　＞　ＩＮＤであれば、その時
は、表は改訂されない。

以下の信号がこの決定回路７１を出る：＊　ｌ　ｌｏ−
１１１に応じてＩＮＤを変えたり変えなかったりする交
換信号７５、及びモジュールＤＲのための交換信号７４
； ＊ベクトルＰｘ　（ｉ、ｊ、ｔｅｌ）、Ｐｙ（ｉ。

ｊ、を十ｉ）をＰｘとｐｙのメモリ７８のアドレス（ｘ
、ｙ）に向けて移すか移さないかの基準７６゜選択回路
７９によって妥当化されるベクトルは、基準の最小ｌｌ
０−１１１に対応する； ＊メモリＡＸＹのアドレス（ｘ、ｙ）は、点（ｘ、ｙ、
ｔｅｌ）に予想が割り付けられると直ちに１に置かれる
（７７）。

勿論、ｔとｔｅｌでの画像メモリ（７０）のアドレス、
Ｐｘとｐｙの予想メモリ、メモリＡ　Ｘ　Ｙ　６０（図
には示されていない）の必要な管理を行う用意がなけれ
ばならない。なぜなら、第７図に示された手続きが正し
く動作するために、これらの異なるメモリは異なるアド
レスで読み取られるからである。

第一の場合では、アドレスは： ｘ　＋　１６＋　ｉｎｔ　　（Ｖ　ｘ　）ｙ＋１６＋ｉ
ｎｔ　　（Ｖ３’）であり、ｔとｔｅｌでの画像のメモ
リを見逃すことはない（図６を参照）。

第二の場合としては、メモリＡ　Ｘ　Ｙ　（６０）は、
読み取りモードでも書き込みモードでも、アドレス（ｘ
、ｙ）で参照され、次に近傍の点のアドレスで参照され
る。

Ｐｘとｐｙのメモリ７８はアドレス（ｘ、ｙ）で参照さ
れ、ｔとｔｅｌの画像メモリ７０は、それぞれ、（ｘ　
＋　ｙ　、ｔ　）、（ｘ−Ｐｘ　（ｉ、ｊ。

ｔｅｌ）、ｙ−Ｐｙ　（ｉ、　ｊ、　ｔｅｌ）　、　ｔ
）と（ｘ、ｙ、ｔｅｌ）で参照される。

先に列挙された紛争の第三で最後のもの、つまり画像の
端の管理の問題は、画像の空間的内挿の過程を使って、
或いはまた、本発明の多重予想システムを使って解決さ
れる。

想システムの肯゛ホ 運動推定アルゴリズムは以下の式によって表されること
を思い出すことができる： 推定Ｅ＝予想Ｐ十補正関数 補正関数は既知の、次のような形で表現される：利得Ｘ
ＤＦＤＸ空間勾配。

多重予想の過程は、運動ベクトルの幾つかの予想を平行
して使い、次に、試験（画像の再構成における最小のエ
ラーの探索）の結果の関数として、最適な予想、即ち最
も効率の良い推定を選ぶことから成る。

言い換えれば、予想Ｐのために複数の候補が使われ、推
定Ｅを計算した後で、それらの相対的関連性が測定され
て最良のものが選ばれる。

候補となる予想には３つの種類があるニー空間的予想； 一時間的予想； 一運動の軸に沿った°゛空間−時間的゛°予想。

実際には、２つのパターンを問題とすることができ、そ
れぞれ表２と３に示される。

表２では、ｎ個の平行な予想がウオルカーとラオの方法
による処理を経て、補正関数の適用によって推定１．２
．３５０４．ｎに到達する。

個々の推定の上に立って、問題とする画像の各点に対応
する原点の探索が行われ、補償の後に、計算された点と
原画像の実際の点との間のＤＦＤ（輝度差）が測定され
る。

受信器で結果（再構成された画像）が得られるにつれて
、発信器の中で、結果と実際の画像（即ち、伝送されな
かった或いは一部しか伝送されなかった原画像）の、言
わば比較が行われる。

本発明では、点（ｘ、ｙ、ｔ）における速度ベクトルの
最良の推定は、最小ＤＦＤを決めることによって選ばれ
る。

本来の多重予想（表３）に対応する他の具体的実施例に
おいては、それぞれの予想についてＤＦＤは直ちに計算
される。続いて、最小のＤＦＤを捜すことによって最良
の予想が選ばれる。点（ｘ、ｙ、ｔ）における速度ベク
トルの推定は、従って、ウォルカーとラオの補正関数を
適用することにより、この単一の予想から計算される。

この後者の方式では、たった一つの補正関数を計算する
だけなので、−見、より簡単に見えるが、実際には、行
われた試験に対しては前者よりも効率的でないことがわ
かった。とは言え、それは幾つかの有益な特徴を持って
いる。

以下の記述においては、゛多重予想°°という言葉は、
実際には、どんな場合においても、表２の具体的実施例
を示すものであるとする。

第８図のブロックダイヤグラムは、画像符号化方式にお
いて本発明による多重予想論理回路８１の挿入の仕方を
示している。

表２に関連して既に述べたように、一つ又は複数の空間
的予想８２、一つ又は複数の時間的予想８３、及び運動
の軸に沿う一個の予想（８４）が平行に働（ように操作
が組まれている。これらの予想は予想回路８５において
処理され、次いで、最小のＤＦＤ基準により最良の予想
が８６で選ばれる。

多重予想回路８１は、また、オプションとして付加的な
推定段階８７を持つものとする。この段階においては、
８６によって計算されたＤＦＤを用いてウォルカーとラ
オの方式に従い、新しい繰り返し計算がなされる。この
付加的な繰り返し計算は、速度ベクトルの推定の一層の
改良を目的とした便利なものである。その上、ウォルカ
ーとラオによる推定方程式においては、最も複雑な処理
を要するのはＤＦＤの計算であることが知られているの
で、上述の処理は比較的費用を要しない。従って、段階
８６によってＤＦＤが手に入るので、推定の補足８７は
有利なオプションである。

第８図のダイヤアゲラムは、また、予想段階８２．８３
．８４にデータを供給するバッファーメモリ８８．８９
の使い方を示している。

メモリ８８は問題とする画像の問題とする点を記憶し、
それを空間予想ブロック８２へ供給する。

メモリ８９は先行する画像の速度ベクトルの成分を記憶
し、出力においては、先ず、時間予想ブロック８３、次
いで運動の軸に層予想のためのブロック８４へと、段階
９０．９１を介して接続される。段階９０においては、
少し前に説明した運動の軸に層推定の方式に従い、先行
する画像からその画像へと速度ベクトルについての投影
がなされる。段階９１は、既に述べた紛争管理段階に対
応する。

第９図は、本発明による多重予想運動推定システムを形
成する様々な回路の可能な配置の一つの詳細な見取り図
を与えるものである。

候補となる予想（Ｘ＋　ｙｒ　ｔは、時間成分をにおけ
る空間成分Ｘ１３’を持つ一般の点に対応する）は次の
ようになる： Ｐ　１　（ｘ、　ｙ、　ｔ　　＝　Ｅ　（ｘ−１，ｙ−
１，ｔ）Ｐ　２　（ｘ、　ｙ、　ｔ　　＝　Ｅ　（ｘ、
　３’−Ｌ　ｔ）Ｐ　３　（ｘ、　Ｌ　ｔ　　＝　Ｅ　
（ｘ、　：ｙ−１１ｔ）Ｐ　４　（Ｌ　ｙｒ　ｊ　　＝
　Ｅ　（Ｘ＋　Ｌ　ｊ−１）Ｐ　５　（ｘ、　ｙ、　ｔ
　　＝ＰＭ（ｘ−１，ｙ、　ｔ）Ｐ６（ｘ、　ｙ、　ｔ
　　＝ＰＭ（ｘ＋１．　ｙ、　ｔ）Ｐ　７　（ｘ、　ｙ
、　ｔ　　＝　ＰＭ　（ｘ−１，ｙｒ１．　ｔ）Ｐ　８
　（ｘ、　　ｙ、　　ｔ）　　＝ＰＭ（ｘ、　　ｙ÷１
．ｔ）Ｐ　９　（ｘ，Ｌ　　ｔ）　　＝　Ｐ　Ｍ　（ｘ
＋ｙ、　　ｙｒ１．　　ｔ）ＰＩＯ（ｘ、　　ｙ、　　
ｔ）　　＝ＰＭ（ｘ、　　ｙ、　　ｔ）次の点に注意す
る： ｐ　ｉ　（ｘ、　Ｌ　ｔ）は点（Ｌ　ｙ−ｔ）の推定Ｅ
ｉの予想の候補の一つ、 Ｅ　（ｋ、　１．　ｍ）は点（ｋ、　１．　ｍ）で直前
に計算された推定、 ＰＭ（ｎ、　ｐ、　ｔ）は点（ｎ、　ｐ＋　ｔ）に割り
付けられた運動の方向に沿った予想。

結果を改良しようと試みれば候補の数は増えるかもしれ
ないが、逆に、実現のための物理的な制約はその数を減
らすことを必要とする。満足のいく結果は予想Ｐ２．Ｐ
５．Ｐ６．Ｐ８．ＰＩＯによってのみ得られた。

各予想Ｐｉはそれぞれの補正関数を決定し、それらの組
み合わせから推定Ｅｉが得られる。

点（ｘ、ｙｒ　ｔ）における移動ベクトルの最良の推定
を選ぶために、候補となる推定のそれぞれについて、対
応するＤＦＤが計算される。

選択の基準は最小のＤＦＤを持つ推定を選ぶことにある
。紛争が起きる場合には、ＰＩＯ，Ｐ８゜Ｐ６．Ｐ５の
順番で選択が行われる。

１からｎに至るそれぞれの経路は、補正関数を計算する
ための回路１００を持っている。この回路１００の出力
の一つは加算回路１０１につながれるが、それはまた、
入力端において予想Ｐｉの値を受け取る。各加算回路１
０１はその出力端において推定値Ｅｉを平行に与える。

各推定値ＥｉはＤＦＤ計算回路１０２にデータを与える
が、それはつまり推定値Ｅｉから再構成された画像と実
際の画像の間の輝度の違いを計算するためである。各回
路１０２は、また、ウォルカーとラオによって意図され
た推定の利得と勾配も計算する。

運用システムの論理は次のようになるニー回路１０２に
おいて計算されたＤＦＤの値は、最小のＤＦＤを与える
ために予想ＰＬ　　、、、、、Ｐｎの指標を抽出する目
的で回路１０３において比較される。この指標は１０４
を介して選択回路１０５まで移動するが、この回路は入
力端において推定Ｅ１，、、、Ｅｎの値を受け取る；そ
して出力端においては、選ばれた推定値Ｅｓを与えるも
のである。

この推定Ｅｓは、次に、回路１０２において計算された
利得、勾配、ＤＦＤの値を使ってウォルカーとラオの方
式による新しい繰り返し計算に回路１０８の中で付され
る。回路１０８は最終的に出力端において速度ベクトル
の最終推定値を与える。

これまでになされた試験は、運動の方向に沿った予想が
９０％以上の場合、最良の速度ベクトルの推定を与える
ことを示している。

以下余白 予想　１ ■ 補正関数 り 推定　ｌ ↓ ＤＦＤ　１ ■ 最良の推定 予想　１ ＦＤＩ 表−−ｌ 多重予想推定の過程 予想　２ ■ 補正関数 ↓ 推定　２ ↓ ＤＦＤ２ ■ の選択の基準＝ＤＦ ↓ 点（ｘ、ｙ、ｔ）における 速度ベクトルの推定 衣−一旦 本来の多重予想 予想　２ ＤＦＤ２ 予想　ｎ 補正関数 推定　ｎ ↓ ＦＤｎ Ｄが最小 予想　ｎ ＦＤｎ ＤＦＤの最小 ■ 補正関数 点（ｘ、ｙ、ｔ）における 速度ベクトルの推定

【図面の簡単な説明】

第１図は、ＭＡＣチャンネルによる高品位テレビ信号の
伝送のための符号化／デコード・ラインの中で本発明に
よる運動推定方式を位置づけるブロックダイヤグラムで
ある； 第２図は、空間的予想による運動の推定を示すものであ
る； 第３図は、時間的予想による運動の推定を示すものであ
る； 第４図は、運動の方向における運動の予想を示すもので
ある； 第５図５８、第５図すは、各点に対して°”多重候補°
゛の紛争の解決方法はあるが、“候補なし°。 の紛争の解決方法は備わっていない予想値を割り付ける
過程を示すものである； 第６図は及び第７図は、予想のない点に対して予想を割
り付ける本発明による方法の具体的実施例を示すもので
ある； 第８図及び第９図は、本発明による多重予想型運動推定
方式の実施法を示すブロックダイヤグラムである。

Claims (12)

【特許請求の範囲】
1. （１）各電子画像点に対して或る瞬間ｔの画面において
   移動ベクトルを割り付けるように特に設計されており、
   その目的は、例えば、第一には画像信号の最適の圧縮過
   程を実施すること、及び／又は、第二には或る瞬間をの
   画像の位置を次に来る瞬間（ｔ＋１）の画像へと近似的
   な投影を果たすことであるが、 そこにおいては、 瞬間をにおける問題とする点の上述の問題とする移動ベ
   クトルはアルゴリズムによる予想／補正過程によって計
   算され、そこにおいては、運動の予想値は計算の開始仮
   定として受け取られ、その予想値は基準を最適化するこ
   とによる補正方式によって過程の中で逐次的に補正され
   るものとされ、 かつ、そこにおいては、 その問題とする点の運動の予想値は、瞬間（ｔ−１）の
   画像の原点に伴う原移動ベクトルの値とされ、その問題
   とする点は、その原点の近似的な、その原移動ベクトル
   に沿っての投影であるとする、 電子画像シーケンスのための運動推定方式。
2. （２）上述のアルゴリズムによる予想／補正過程がベル
   ー再起型の過程であり、かつ、なるべくなら、ウォルカ
   ーとラオの過程、或いはロベール、キャフォリオ、及び
   ロッカの過程であることが推奨される、 請求項に１記載の方式。
3. （３）上述の原点の近似的な投影は、投影された問題と
   する点に最も近い画素の一つを選ぶことに帰するもので
   ある、 請求項１に記載の方式。
4. （４）瞬間（ｔ−１）の画像の全ての原点は推定された
   移動ベクトルを持ち、そこにおいては、この原点のそれ
   ぞれは、瞬間をの画像の問題とする各自の標的点に投影
   され、かつ、そこにおいては、この問題とする標的点の
   それぞれについて、上述の予想／補正過程による推定移
   動ベクトルの計算が行われるものである、 請求項１に記載の方式。
5. （５）各電子画像点に対して瞬間をの画面上において移
   動ベクトルを割り付けるように特に設計されており、そ
   の目的は、例えば、第一には画像信号の最適の圧縮過程
   を達成すること、及び／又は、第二には瞬間（ｔ＋１）
   における各画像点の位置の近似的な投影を達成すること
   であるが、そこにおいては、瞬間ｔにおける問題とする
   点のその問題とする移動ベクトルはアルゴリズムによる
   予想／補正過程によって計算され、そこにおいては、運
   動の予想値は計算の開始仮定として受け取られ、その予
   想値は基準を最適化することによる補正方式によって過
   程の中で逐次的に補正されるものとされ、 問題とする点の運動の２つの予想値を用いて、運動推定
   の少なくとも２つの計算を平行して行うものであり、そ
   の予想値は以下の値の中から選ばれるものとし； −少なくとも１個の運動の空間的な予想； −少なくとも１個の運動の時間的な予想； −少なくとも一個の運動の軸に添った空間−時間的な予
   想； かつ、そこにおいては、 速度ベクトルの推定を、基準を最適化することによる決
   定方式により選ぶものとする、 電子画像シーケンスのための運動推定方式。
6. （６）各電子画像点に対して瞬間ｔの画面上において移
   動ベクトルを割り付けるように特に設計されており、そ
   の目的は、例えば、第一には画像信号の最適の圧縮過程
   を達成すること、及び／又は、第二には瞬間（ｔ＋１）
   における各画像点の位置の近似的な投影を達成すること
   であるが、そこにおいては、瞬間ｔにおける問題とする
   点のその問題とする移動ベクトルはアルゴリズムによる
   予想／補正過程によって計算され、そこにおいては、運
   動の予想値は計算の開始仮定として受け取られ、その予
   想値は基準を最適化することによる補正方式によって過
   程の中で逐次的に補正されるものとされ、 問題とする点のそれぞれについて、少なくとも２つの異
   なる運動予想値を考慮に入れるものであり、その予想値
   は以下の値の中から選ばれるものとし； −少なくとも１個の運動の空間的な予想； −少なくとも１個の運動の時間的な予想； −少なくとも１個の運動の軸に添った空間−時間的な予
   想； かつ、 運動の予想値を、基準を最適化することによる決定方式
   により選ぶものとし、また、問題とする点の推定移動ベ
   クトルを、上述のアルゴリズムによる予想／補正過程に
   よって計算するものとする、 電子画像シーケンスのための運動推定方式。
7. （７）推定運動ベクトルを持たない問題とする画像点の
   それぞれに対して、この問題の点の近くにある点の中か
   ら選んでこの点の運動ベクトルが割り付けられるので、
   このことが、本来の問題の点に関して最も信頼度の高い
   再構成を得ることを可能にするものである、 請求項１、５、６のいずれかに記載の方式。
8. （８）上述の最適化の基準がウォルカーとラオの輝度差
   ＤＦＤであるものとする、 請求項１、５、６のいずれかに記載の方式。
9. （９）問題とする点についての運動ベクトルの予想値の
   少なくとも一つが、問題とする画像のこの問題とする点
   の周囲にある８点から成る群に属する１つの点の運動の
   方向の予想であるものとする、 請求項１、５、６のいずれかに記載の方式。
10. （１０）平行して与えられる上述の予想値が少なくとも
    以下の値を持ち： −Ｐ２（ｘ，ｙ，ｔ）＝Ｅ（ｘ，ｙ−１，ｔ）−Ｐ５（
    ｘ，ｙ，ｔ）＝ＰＭ（ｘ−１，ｙ，ｔ）−Ｐ６（ｘ，ｙ
    ，ｔ）＝ＰＭ（ｘ＋１，ｙ，ｔ）−Ｐ８（ｘ，ｙ，ｔ）
    ＝ＰＭ（ｘ，ｙ＋１，ｔ）−Ｐ１０（ｘ，ｙ、ｔ）＝Ｐ
    Ｍ（ｘ，ｙ，ｔ）ここで、 Ｅ（ｋ，ｌ，ｍ）は点（ｋ，ｌ，ｍ）で直前に計算され
    た推定； ＰＭ（ｎ，ｐ，ｔ）は点（ｎ，ｐ，ｔ）に割り付けられ
    た運動の方向に沿った予想、とする請求項５に記載の方
    式。
11. （１１）請求項１、５、６のいずれかに記載の運動推定
    による符号化のための過程を含むものであり、 そこにおいて、 更に、少なくとも１つのサンプリング用線型フィルター
    による符号化の過程を平行に実施する手段を持ち、 かつ、そこにおいて、 比較のため、及び、画像の最も信頼度の高い再構成を可
    能にする最良の符号化の過程を選択するための手段を含
    むものである、 電子画像シーケンスの符号化のための方式。
12. （１２）請求項１、５、６のいずれかに記載の運動推定
    による符号化のための過程を含むものであり、 そこにおいて、 更に、少なくとも１つのサンプリンブ用線型フィルター
    による符号化の過程を平行に実施する手段を持ち、 かつ、そこにおいて、 運動推定による符号化の過程を実施する手段は、特に運
    動のない領域または高速の運動の領域の場合に、サンプ
    リング用線型フィルター操作による符号化を特に使うべ
    き理由が有るか無いかを決めるものである、 電子画像シーケンスの符号化のための方式。