JPH08214316A - 移動映像面予測方法及び装置 - Google Patents
移動映像面予測方法及び装置Info
- Publication number
- JPH08214316A JPH08214316A JP7169414A JP16941495A JPH08214316A JP H08214316 A JPH08214316 A JP H08214316A JP 7169414 A JP7169414 A JP 7169414A JP 16941495 A JP16941495 A JP 16941495A JP H08214316 A JPH08214316 A JP H08214316A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- movement vector
- pixels
- matching error
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Abstract
(57)【要約】 （修正有）
【課題】 移動の予測をともなう予測コード化のための
改善された方法および装置を提供する。 【解決手段】 移動ベクトル更新ルーチンの最初のステ
ップは、考慮中の現在の領域に割り当てられた最初の移
動ベクトルを用いてマッチングエラーが算出される。現
在の領域に割り当てられた最初の移動ベクトルは、移動
映像面メモリ部２１５から検索されて、メモリ部２２０
のファイル２２１に一時的に記憶される。前記ステップ
内で得られたマッチングエラーがメモリ部２４０内のフ
ァイル２４１−２５０のひとつに記憶される。次に、移
動予測技法は、考慮中の領域に関して行われる。移動予
測技法は、予測またはマッチングエラーを最少にするこ
とにより移動ベクトルが更新されるところの領域に最初
に割り当てられた移動ベクトルを改良しようとする。
改善された方法および装置を提供する。 【解決手段】 移動ベクトル更新ルーチンの最初のステ
ップは、考慮中の現在の領域に割り当てられた最初の移
動ベクトルを用いてマッチングエラーが算出される。現
在の領域に割り当てられた最初の移動ベクトルは、移動
映像面メモリ部２１５から検索されて、メモリ部２２０
のファイル２２１に一時的に記憶される。前記ステップ
内で得られたマッチングエラーがメモリ部２４０内のフ
ァイル２４１−２５０のひとつに記憶される。次に、移
動予測技法は、考慮中の領域に関して行われる。移動予
測技法は、予測またはマッチングエラーを最少にするこ
とにより移動ベクトルが更新されるところの領域に最初
に割り当てられた移動ベクトルを改良しようとする。
Description
【０００１】
【発明の分野】本発明は、一般的に、できるだけ少ない
情報で現在のフレームを表現するため、ビデオ受信機に
すでにある情報を用いて予測コード化するための方法お
よび装置に関する。特に、本発明は、フレームに描写さ
れた映像(image)内の移動により生じるフレームからフ
レームへの変更を、ビデオ受信機への送信のために、検
出しコード化するところの移動の予測をともなう予測コ
ード化のための改善された方法および装置に関する。
情報で現在のフレームを表現するため、ビデオ受信機に
すでにある情報を用いて予測コード化するための方法お
よび装置に関する。特に、本発明は、フレームに描写さ
れた映像(image)内の移動により生じるフレームからフ
レームへの変更を、ビデオ受信機への送信のために、検
出しコード化するところの移動の予測をともなう予測コ
ード化のための改善された方法および装置に関する。
【０００２】
【発明の背景】移動の予測および修正の技術は、デジタ
ルの映像シーケンスの伝送および記憶において注目を集
めている。いくつかのデジタルビデオアプリケーション
においては、映像シーケンスにおける潜在的一時的ピク
セル冗長度減少のように、移動圧縮方法を用いて高圧縮
率を達成した。このような技法では、移動映像面は、エ
ンコーダで予測される。移動映像面(motion field)は、
現在のフレーム内の新たな位置に対するシーケンスの直
前のフレーム内のオブジェクト位置と関係する。直前の
および現在のフレームのピクセル強度は、予測された移
動映像面を算出するために用いられる。この移動映像面
の予測は、現在のフレームにおけるピクセルの強度を用
いることなくデコーダで再構築されるものである。
ルの映像シーケンスの伝送および記憶において注目を集
めている。いくつかのデジタルビデオアプリケーション
においては、映像シーケンスにおける潜在的一時的ピク
セル冗長度減少のように、移動圧縮方法を用いて高圧縮
率を達成した。このような技法では、移動映像面は、エ
ンコーダで予測される。移動映像面(motion field)は、
現在のフレーム内の新たな位置に対するシーケンスの直
前のフレーム内のオブジェクト位置と関係する。直前の
および現在のフレームのピクセル強度は、予測された移
動映像面を算出するために用いられる。この移動映像面
の予測は、現在のフレームにおけるピクセルの強度を用
いることなくデコーダで再構築されるものである。
【０００３】従来技術における周知の移動映像面予測の
原理は、図１を参照してよりよく理解されるであろう。
図１は、直前のフレームと現在のフレームとを示すもの
である。直前のフレームでポイントＡ’に位置したオブ
ジェクトは、現在のフレームではポイントＢに動かされ
ている。２次元置換または移動ベクトルＶは、直前のフ
レームにおけるポイントＡ’から直前のフレームのポイ
ントＢ’に計算される。このポイントＢ’は、現在のフ
レームのポイントＢに対応する。ポイントＢにおける信
号I'(r)の代わりにポイントＡ’における信号I'(r+v)
は、移動補正予測信号として用いられ、ポイントＢにお
ける信号I(r)から引いて予測エラー信号I(r)-I'(r+v)を
得る。ここで、ｒは、ビデオスクリーン上の与えられた
位置を示す位置ベクトルである。移動補正コード化にお
いて、予測エラー信号I(r)-I'(r+v)は、予測エラー信号
I(r)-I'(r)よりも小さい。したがって、前者の予測エラ
ー信号は、移動するオブジェクトを有する映像信号をコ
ード化するのに効果的に用いられる。
原理は、図１を参照してよりよく理解されるであろう。
図１は、直前のフレームと現在のフレームとを示すもの
である。直前のフレームでポイントＡ’に位置したオブ
ジェクトは、現在のフレームではポイントＢに動かされ
ている。２次元置換または移動ベクトルＶは、直前のフ
レームにおけるポイントＡ’から直前のフレームのポイ
ントＢ’に計算される。このポイントＢ’は、現在のフ
レームのポイントＢに対応する。ポイントＢにおける信
号I'(r)の代わりにポイントＡ’における信号I'(r+v)
は、移動補正予測信号として用いられ、ポイントＢにお
ける信号I(r)から引いて予測エラー信号I(r)-I'(r+v)を
得る。ここで、ｒは、ビデオスクリーン上の与えられた
位置を示す位置ベクトルである。移動補正コード化にお
いて、予測エラー信号I(r)-I'(r+v)は、予測エラー信号
I(r)-I'(r)よりも小さい。したがって、前者の予測エラ
ー信号は、移動するオブジェクトを有する映像信号をコ
ード化するのに効果的に用いられる。
【０００４】ブロックベースの技法は、移動補正方法の
１タイプを示す。エンコーダで移動ベクトルを算出し、
移動映像面が構築されるデコーダにそれらを送信する。
米国特許第4,307,420号 に記述されたようなブロックベ
ースのビデオコード化技法では、フレームは、Ｎ×Ｎピ
クセルの非重複ブロックまたは領域に分割される。デコ
ーダに伝送される情報量を制限するために、ブロックベ
ースの方法はピクセルのブロックが一定の移動性の動き
で移動すると仮定する。各ブロックの最良の組合せは予
め伝送されたフレームで決定される。ここにおける基準
は、一般的に２つのブロックの強度間の平均絶対誤差で
ある。現在のブロックおよび直前のフレームにおける合
致したブロック間の位置における相対誤差は移動ベクト
ルである。合致したブロックの強度は置換フレーム誤差
（ＤＦＤ）を得るために現在のブロックの強度から引か
れる。特定のフレームについてすべての移動ベクトルの
集合が移動映像面を形成する。そして、移動映像面およ
び置換フレーム誤差はエンコーダからデコーダへ伝送さ
れる。この伝送された情報および一連の映像内の前の映
像に基づいて新たな映像を予測する。
１タイプを示す。エンコーダで移動ベクトルを算出し、
移動映像面が構築されるデコーダにそれらを送信する。
米国特許第4,307,420号 に記述されたようなブロックベ
ースのビデオコード化技法では、フレームは、Ｎ×Ｎピ
クセルの非重複ブロックまたは領域に分割される。デコ
ーダに伝送される情報量を制限するために、ブロックベ
ースの方法はピクセルのブロックが一定の移動性の動き
で移動すると仮定する。各ブロックの最良の組合せは予
め伝送されたフレームで決定される。ここにおける基準
は、一般的に２つのブロックの強度間の平均絶対誤差で
ある。現在のブロックおよび直前のフレームにおける合
致したブロック間の位置における相対誤差は移動ベクト
ルである。合致したブロックの強度は置換フレーム誤差
（ＤＦＤ）を得るために現在のブロックの強度から引か
れる。特定のフレームについてすべての移動ベクトルの
集合が移動映像面を形成する。そして、移動映像面およ
び置換フレーム誤差はエンコーダからデコーダへ伝送さ
れる。この伝送された情報および一連の映像内の前の映
像に基づいて新たな映像を予測する。
【０００５】ブロックマッチング技法におけるある潜在
的問題は、移動が与えられたどのブロック内でも一定で
あるとする予測が原因で生じる。特定のブロックにおけ
るオブジェクトが異なった速度で移動する場合、得られ
た移動ベクトルは、ブロック内のオブジェクトのたった
ひとつに対応、または全く対応しないであろう。ブロッ
クのサイズが減少すると予測はさらに有効となる。しか
しながら、置換または移動情報の算出および伝送のオー
バーヘッドは増加する。
的問題は、移動が与えられたどのブロック内でも一定で
あるとする予測が原因で生じる。特定のブロックにおけ
るオブジェクトが異なった速度で移動する場合、得られ
た移動ベクトルは、ブロック内のオブジェクトのたった
ひとつに対応、または全く対応しないであろう。ブロッ
クのサイズが減少すると予測はさらに有効となる。しか
しながら、置換または移動情報の算出および伝送のオー
バーヘッドは増加する。
【０００６】ビデオ技術のための回路およびシステムに
おけるＩＥＥＥビデオ技術のための回路及びシステムに
関する会報（IEEE Transactions on Circuits and Syst
emsfor Video Technology）第３巻（１９９３年２月）
「映像シーケンスコード化のための予測移動映像面セグ
メンテーション（Predictive Motion-Field Segmentati
on For Image Sequence Coding）」においてＭ．Ｔ．オ
ーシャード(M.T.Orchard) により提案された移動予測お
よび補正を改善するための方法は、次々とフレームの移
動映像面をセグメント化し、現在のフレームにおける移
動映像面不連続性の位置を予測するためセグメンテーシ
ョンを用いることを含む。各セグメント化された領域の
移動予測は、予測エラーを最小とする移動ベクトルに基
づいて最も近い隣接する領域の移動ベクトルから選択さ
れる。そして、予め解読されたフレームから算出された
デコーダにおいてセグメンテーションを予測するために
スキームが与えられる。
おけるＩＥＥＥビデオ技術のための回路及びシステムに
関する会報（IEEE Transactions on Circuits and Syst
emsfor Video Technology）第３巻（１９９３年２月）
「映像シーケンスコード化のための予測移動映像面セグ
メンテーション（Predictive Motion-Field Segmentati
on For Image Sequence Coding）」においてＭ．Ｔ．オ
ーシャード(M.T.Orchard) により提案された移動予測お
よび補正を改善するための方法は、次々とフレームの移
動映像面をセグメント化し、現在のフレームにおける移
動映像面不連続性の位置を予測するためセグメンテーシ
ョンを用いることを含む。各セグメント化された領域の
移動予測は、予測エラーを最小とする移動ベクトルに基
づいて最も近い隣接する領域の移動ベクトルから選択さ
れる。そして、予め解読されたフレームから算出された
デコーダにおいてセグメンテーションを予測するために
スキームが与えられる。
【０００７】移動推測およびセグメンテーションの似た
ような技法が、ＳＰＩＥ視覚的通信および映像処理（SP
IE Visual Communications and Image Processing） 第
１８１巻、リウ（Ｌｉｕ）等の「ビデオコード化のため
の移動映像面をセグメント化するための簡単な方法（A
Simple Method To Segment Motion Field For VideoCod
ing）」第５４２頁乃至第５５１頁（１９９２年）に開
示されている。１６×１６ピクセルのブロックの移動ベ
クトルは、４×４ピクセルの１６のサブブロックに分割
される。予測エラーが最小となるように、大きなブロッ
クおよび隣接するブロックの移動ベクトルから各サブブ
ロックごとに移動ベクトルが選択される。
ような技法が、ＳＰＩＥ視覚的通信および映像処理（SP
IE Visual Communications and Image Processing） 第
１８１巻、リウ（Ｌｉｕ）等の「ビデオコード化のため
の移動映像面をセグメント化するための簡単な方法（A
Simple Method To Segment Motion Field For VideoCod
ing）」第５４２頁乃至第５５１頁（１９９２年）に開
示されている。１６×１６ピクセルのブロックの移動ベ
クトルは、４×４ピクセルの１６のサブブロックに分割
される。予測エラーが最小となるように、大きなブロッ
クおよび隣接するブロックの移動ベクトルから各サブブ
ロックごとに移動ベクトルが選択される。
【０００８】
【発明の概要】本発明は、フレームに描写された映像内
の移動により生じるフレームからフレームへの変更を、
ビデオ受信機への送信のために、検出しコード化すると
ころの移動の予測をともなう予測コード化のための改善
された方法および装置を開示する。本発明の移動予測の
技法は、移動ベクトル更新ルーチンがフレームの徐々に
小さくなる領域の多数のレベルに関して行われる階層化
手法を用いる。移動ベクトル更新ルーチンは、より小さ
な領域に割り当てられた最初の移動ベクトルと、隣接す
る領域の移動ベクトルと、そのより小さな領域について
ブロックマッチング技法を行うことにより得た合致した
移動ベクトルとから選択された最良の移動ベクトルを割
り当てることにより、そのより小さな領域の移動ベクト
ルを更新する。各領域のための最良移動ベクトルは優先
方式および所定のしきい値に従って選択される。本発明
の他の特徴および利点は、次の詳細な説明および添付の
図面を参照することによって容易に明らかとなる。
の移動により生じるフレームからフレームへの変更を、
ビデオ受信機への送信のために、検出しコード化すると
ころの移動の予測をともなう予測コード化のための改善
された方法および装置を開示する。本発明の移動予測の
技法は、移動ベクトル更新ルーチンがフレームの徐々に
小さくなる領域の多数のレベルに関して行われる階層化
手法を用いる。移動ベクトル更新ルーチンは、より小さ
な領域に割り当てられた最初の移動ベクトルと、隣接す
る領域の移動ベクトルと、そのより小さな領域について
ブロックマッチング技法を行うことにより得た合致した
移動ベクトルとから選択された最良の移動ベクトルを割
り当てることにより、そのより小さな領域の移動ベクト
ルを更新する。各領域のための最良移動ベクトルは優先
方式および所定のしきい値に従って選択される。本発明
の他の特徴および利点は、次の詳細な説明および添付の
図面を参照することによって容易に明らかとなる。
【０００９】
【発明の詳細な記述】移動映像面予測およびセグメンテーション 図２は、本発明にしたがって、直前のフレーム内のピク
セルもしくはピクセルのグループに関して現在のフレー
ムにおけるピクセルもしくはピクセルのグループの移動
ベクトルを決定する移動予測およびセグメンテーション
部２００のブロック図である。移動予測およびセグメン
テーション部２００は、いくつかの読取り／書込みメモ
リ部２０５、２１０、２１５、２２０および２４０を有
する。前の解読済みのフレームメモリ部２０５は、直前
のフレームにおける各ピクセルに対応するモノクロ強度
を記憶するための十分なメモリを有する。同様に、現在
のフレームメモリ部２１０は、現在のフレームにおける
各ピクセルに対応するモノクロ強度を記憶するための十
分なメモリを有する。フレーム内の各ピクセルは、水平
および垂直の座標（ｘ，ｙ）で示される。たとえば、フ
レームの左上角におけるピクセルは座標（１、１）を有
し、フレームの右下角におけるピクセルは、合計で（Ｍ
×Ｎ）ピクセルを有するフレームにおいて、座標（Ｍ，
Ｎ）を有するものとなる。移動映像面メモリ部２１５
は、現在のフレームにおける各ピクセルに対応する計算
された２次元移動ベクトルを記憶するための十分なメモ
リを有する。
セルもしくはピクセルのグループに関して現在のフレー
ムにおけるピクセルもしくはピクセルのグループの移動
ベクトルを決定する移動予測およびセグメンテーション
部２００のブロック図である。移動予測およびセグメン
テーション部２００は、いくつかの読取り／書込みメモ
リ部２０５、２１０、２１５、２２０および２４０を有
する。前の解読済みのフレームメモリ部２０５は、直前
のフレームにおける各ピクセルに対応するモノクロ強度
を記憶するための十分なメモリを有する。同様に、現在
のフレームメモリ部２１０は、現在のフレームにおける
各ピクセルに対応するモノクロ強度を記憶するための十
分なメモリを有する。フレーム内の各ピクセルは、水平
および垂直の座標（ｘ，ｙ）で示される。たとえば、フ
レームの左上角におけるピクセルは座標（１、１）を有
し、フレームの右下角におけるピクセルは、合計で（Ｍ
×Ｎ）ピクセルを有するフレームにおいて、座標（Ｍ，
Ｎ）を有するものとなる。移動映像面メモリ部２１５
は、現在のフレームにおける各ピクセルに対応する計算
された２次元移動ベクトルを記憶するための十分なメモ
リを有する。
【００１０】候補移動ベクトルメモリ部２５０は、本発
明の方法にしたがって、現在のフレーム内の特定の領域
もしくはピクセルのブロックに対応する移動ベクトルの
値を精製もしくは更新するための候補である移動ベクト
ルの値を記憶する。特に、メモリ部２２０は、移動ベク
トルが更新されるところの領域に最初に割り当てられた
移動ベクトルの値を記憶するためのファイル２２１を有
する。メモリ部２２０もまた、後述するように、移動ベ
クトルが更新されるところの領域に隣接する複数の領域
に割り当てられた移動ベクトルを記憶するための８つの
ファイル２２２−２２９を有する。メモリ部２２０は移
動映像面メモリ部２１５に連結しており、移動ベクトル
が更新されるところの領域に最初に割り当てられた移動
ベクトルの値と同様、隣接する領域の移動ベクトルも受
け取ることができる。最後に、メモリ部２２０は、移動
改良部２６０により算出された移動ベクトルを改良する
ためのファイル２３０を有する。
明の方法にしたがって、現在のフレーム内の特定の領域
もしくはピクセルのブロックに対応する移動ベクトルの
値を精製もしくは更新するための候補である移動ベクト
ルの値を記憶する。特に、メモリ部２２０は、移動ベク
トルが更新されるところの領域に最初に割り当てられた
移動ベクトルの値を記憶するためのファイル２２１を有
する。メモリ部２２０もまた、後述するように、移動ベ
クトルが更新されるところの領域に隣接する複数の領域
に割り当てられた移動ベクトルを記憶するための８つの
ファイル２２２−２２９を有する。メモリ部２２０は移
動映像面メモリ部２１５に連結しており、移動ベクトル
が更新されるところの領域に最初に割り当てられた移動
ベクトルの値と同様、隣接する領域の移動ベクトルも受
け取ることができる。最後に、メモリ部２２０は、移動
改良部２６０により算出された移動ベクトルを改良する
ためのファイル２３０を有する。
【００１１】移動改良部２６０は、前の解読されたフレ
ームメモリ部２０５、現在のフレームメモリ部２１０お
よび移動映像面メモリ部２１５からデータを受信する。
移動改良部２６０は、以下に規定するように予測または
マッチングエラーを最小とすることにより、移動ベクト
ルが更新されるところの領域に最初に割り当てられた移
動ベクトルを改良しようとする移動予測技法を行う従来
の適切ないかなる装置またはシステムでもよい。そのよ
うな移動予測技法は、当業界で周知のものであり、たと
えば米国特許第4,307,420号 に記述されたもののような
ブロックマッチング方法およびそれらのインプリメンテ
ーションを含む。移動改良部２６０は、前のフレームに
おける領域に対する現在のフレームにおける領域に関す
る２次元移動ベクトルである合致した移動ベクトルを提
供する。
ームメモリ部２０５、現在のフレームメモリ部２１０お
よび移動映像面メモリ部２１５からデータを受信する。
移動改良部２６０は、以下に規定するように予測または
マッチングエラーを最小とすることにより、移動ベクト
ルが更新されるところの領域に最初に割り当てられた移
動ベクトルを改良しようとする移動予測技法を行う従来
の適切ないかなる装置またはシステムでもよい。そのよ
うな移動予測技法は、当業界で周知のものであり、たと
えば米国特許第4,307,420号 に記述されたもののような
ブロックマッチング方法およびそれらのインプリメンテ
ーションを含む。移動改良部２６０は、前のフレームに
おける領域に対する現在のフレームにおける領域に関す
る２次元移動ベクトルである合致した移動ベクトルを提
供する。
【００１２】マッチングエラーメモリ部２４０は、メモ
リ部２２０に記憶された移動ベクトルそれぞれに対応す
るマッチングエラーを記憶する。マッチングエラーは、
ハードウエアもしくはソフトウエアで実行されるマッチ
ングエラー計算部２５５で算出される。一般に、マッチ
ングエラーは現在のフレームのモノクル強度b(z,t)を予
測するように前のフレームのモノクロ強度b(z-D,t-t')
および特定の２次元移動ベクトルＤを用いて生成された
予測におけるエラーの表示である。ここで、ｚは、空間
的位置の２次元ベクトルであり、t'は、２つのフレーム
間の時間的間隔である。マッチングエラーまたは予測エ
ラーは、考慮中の領域ΣN(b(z,t)-b(z-D,t-t'))内のす
べての位置にわたる合計として規定されてもよい。ここ
で、Ｎは、次数や平方関数のような距離である。マッチ
ングエラーを算出するためのいくつかの簡素化が文献で
提案されてきた。そのうちのいくつかは、A.N.Netraval
iおよびB.J.Haskell（プレナムプレス１９９１）による
本文、デジタル画像表現（Digital Pictures Represent
ation）の５．２．３項に要約されている。この発行物
の内容およびここで参照されるすべての他の特許および
発行物は、この明細書に参照によって組み込まれる。マ
ッチングエラー計算部２５５は、たとえば、マンハッタ
ン加算器をともなうアキュームレータを有し、上述の規
定にまたは上記の簡素化のうちのひとつに従ってマッチ
ングエラーを算出する電気回路である。
リ部２２０に記憶された移動ベクトルそれぞれに対応す
るマッチングエラーを記憶する。マッチングエラーは、
ハードウエアもしくはソフトウエアで実行されるマッチ
ングエラー計算部２５５で算出される。一般に、マッチ
ングエラーは現在のフレームのモノクル強度b(z,t)を予
測するように前のフレームのモノクロ強度b(z-D,t-t')
および特定の２次元移動ベクトルＤを用いて生成された
予測におけるエラーの表示である。ここで、ｚは、空間
的位置の２次元ベクトルであり、t'は、２つのフレーム
間の時間的間隔である。マッチングエラーまたは予測エ
ラーは、考慮中の領域ΣN(b(z,t)-b(z-D,t-t'))内のす
べての位置にわたる合計として規定されてもよい。ここ
で、Ｎは、次数や平方関数のような距離である。マッチ
ングエラーを算出するためのいくつかの簡素化が文献で
提案されてきた。そのうちのいくつかは、A.N.Netraval
iおよびB.J.Haskell（プレナムプレス１９９１）による
本文、デジタル画像表現（Digital Pictures Represent
ation）の５．２．３項に要約されている。この発行物
の内容およびここで参照されるすべての他の特許および
発行物は、この明細書に参照によって組み込まれる。マ
ッチングエラー計算部２５５は、たとえば、マンハッタ
ン加算器をともなうアキュームレータを有し、上述の規
定にまたは上記の簡素化のうちのひとつに従ってマッチ
ングエラーを算出する電気回路である。
【００１３】マッチングエラー計算部２５５は、前のフ
レームメモリ部２０５、現在のフレームメモリ部２１０
および候補移動メモリ部２２０から入力データを受け取
る。ある実施例では、マッチングエラー計算部２５５は
また、移動改良部２６０から直接移動ベクトルを受信す
る。しかしながら、別の実施例では、移動改良部２６０
により算出された移動ベクトルは、メモリ部２２０内の
ファイル２３０から検索される。ファイル２２１−２３
０に記憶された移動ベクトルのひとつについて算出され
た各マッチングエラーはマッチングエラーメモリ部２４
０内の複数の対応するファイル２４１−２５０のうちの
ひとつに記憶される。
レームメモリ部２０５、現在のフレームメモリ部２１０
および候補移動メモリ部２２０から入力データを受け取
る。ある実施例では、マッチングエラー計算部２５５は
また、移動改良部２６０から直接移動ベクトルを受信す
る。しかしながら、別の実施例では、移動改良部２６０
により算出された移動ベクトルは、メモリ部２２０内の
ファイル２３０から検索される。ファイル２２１−２３
０に記憶された移動ベクトルのひとつについて算出され
た各マッチングエラーはマッチングエラーメモリ部２４
０内の複数の対応するファイル２４１−２５０のうちの
ひとつに記憶される。
【００１４】移動予測部２００はまた、ファイル２４１
−２５０内に記憶されたマッチングエラーから最も小さ
な値を決定する最小検出部２７０を有する。最小検出部
２７０は、例えばコンパレータを有する電気回路であっ
てもよい。最小検出部２７０は最良移動ベクトル選択部
２８０に連結する。最良移動ベクトル選択部２８０は、
メモリユニット２２０に記憶された移動ベクトルが更新
されるところの領域またはブロックの移動ベクトルを更
新または改良するための最良移動ベクトルであるかを決
定する。選択部２８０は、適切なソフトウエアを有する
一般目的のコンピュータとしてまたは電気回路として実
行され、後でさらに説明する所定のしきい値および優先
方式に基づいた上記の決定を行う。
−２５０内に記憶されたマッチングエラーから最も小さ
な値を決定する最小検出部２７０を有する。最小検出部
２７０は、例えばコンパレータを有する電気回路であっ
てもよい。最小検出部２７０は最良移動ベクトル選択部
２８０に連結する。最良移動ベクトル選択部２８０は、
メモリユニット２２０に記憶された移動ベクトルが更新
されるところの領域またはブロックの移動ベクトルを更
新または改良するための最良移動ベクトルであるかを決
定する。選択部２８０は、適切なソフトウエアを有する
一般目的のコンピュータとしてまたは電気回路として実
行され、後でさらに説明する所定のしきい値および優先
方式に基づいた上記の決定を行う。
【００１５】選択部２８０はまた、マッチングエラーメ
モリ部２４０および候補移動ベクトルメモリ部２２０か
ら入力を受け取る。ある実施例では、選択部２８０はま
た、移動改良部２６０から算出された移動ベクトルを受
け取る。しかしながら、別の実施例では、移動改良部２
６０により算出された移動ベクトルはメモリ部２２０内
のファイル２３０から検出される。選択部２８０の出力
は、移動映像面メモリ部２１５における更新されたまた
は改良された移動ベクトルとして記憶される移動ベクト
ルである。
モリ部２４０および候補移動ベクトルメモリ部２２０か
ら入力を受け取る。ある実施例では、選択部２８０はま
た、移動改良部２６０から算出された移動ベクトルを受
け取る。しかしながら、別の実施例では、移動改良部２
６０により算出された移動ベクトルはメモリ部２２０内
のファイル２３０から検出される。選択部２８０の出力
は、移動映像面メモリ部２１５における更新されたまた
は改良された移動ベクトルとして記憶される移動ベクト
ルである。
【００１６】制御部２９０は、移動予測およびセグメン
テーション部２００とは無関係でもよく、移動予測およ
びセグメンテーション部２００における他の構成要素の
それぞれと連結している。制御部２９０は、たとえば移
動予測およびセグメンテーション部２００内の他の装置
およびそれらの相互作用を制御する中央処理装置（ＣＰ
Ｕ）または処理要素でもよい。
テーション部２００とは無関係でもよく、移動予測およ
びセグメンテーション部２００における他の構成要素の
それぞれと連結している。制御部２９０は、たとえば移
動予測およびセグメンテーション部２００内の他の装置
およびそれらの相互作用を制御する中央処理装置（ＣＰ
Ｕ）または処理要素でもよい。
【００１７】図３−５は、本発明に従った移動予測、セ
グメンテーションおよびコード化のステップを示したフ
ローチャートである。本発明に従った移動予測およびセ
グメンテーションの方法は、移動ベクトル更新ルーチン
がフレームのだんだんと小さくなる領域の多数のレベル
に関して行われる階層化手法を含む。フレームを処理す
る方法は、ステップ３００にて開始し、この時点では、
現在のフレームが予測されるものに関して直前のフレー
ムが存在すると仮定される。ステップ３０５では、現在
のフレームは、所定の形状のより小さな領域にセグメン
ト化または分解される。このセグメンテーションは、第
１のセグメンテーションレベルを示す。所定の形状は、
任意でも、三角形でも、矩形でもよいが、現在のところ
好ましい所定形状は、矩形である。所定計量が矩形の場
合、フレームは、所定の等しいサイズの多数の領域に分
割される。より小さな領域の所定サイズは、いくつかの
要因に依存している。サイズが大きければ大きいほど、
特定の領域が異なる方向へ移動するいくつかのオブジェ
クトを含むようになる。ステップ３０５における領域の
サイズの選択もまた、移動が検出されるための画面内の
最も小さな移動するオブジェクトのサイズに依存してい
る。１６×１６または、３２×３２のピクセルサイズの
領域は、クオータコモン中間フォーマット（ＱＣＩＦ：
quarter Common Intermediate Format）の映像に適する
ように表示される。しかしながら、６４×６４ピクセル
のようなより大きなサイズであっても、あるアプリケー
ションにおいては適切である。ステップ３１０では、ス
テップ３０５で生じたより小さな領域それぞれに最初の
移動ベクトルが割り当てられる。
グメンテーションおよびコード化のステップを示したフ
ローチャートである。本発明に従った移動予測およびセ
グメンテーションの方法は、移動ベクトル更新ルーチン
がフレームのだんだんと小さくなる領域の多数のレベル
に関して行われる階層化手法を含む。フレームを処理す
る方法は、ステップ３００にて開始し、この時点では、
現在のフレームが予測されるものに関して直前のフレー
ムが存在すると仮定される。ステップ３０５では、現在
のフレームは、所定の形状のより小さな領域にセグメン
ト化または分解される。このセグメンテーションは、第
１のセグメンテーションレベルを示す。所定の形状は、
任意でも、三角形でも、矩形でもよいが、現在のところ
好ましい所定形状は、矩形である。所定計量が矩形の場
合、フレームは、所定の等しいサイズの多数の領域に分
割される。より小さな領域の所定サイズは、いくつかの
要因に依存している。サイズが大きければ大きいほど、
特定の領域が異なる方向へ移動するいくつかのオブジェ
クトを含むようになる。ステップ３０５における領域の
サイズの選択もまた、移動が検出されるための画面内の
最も小さな移動するオブジェクトのサイズに依存してい
る。１６×１６または、３２×３２のピクセルサイズの
領域は、クオータコモン中間フォーマット（ＱＣＩＦ：
quarter Common Intermediate Format）の映像に適する
ように表示される。しかしながら、６４×６４ピクセル
のようなより大きなサイズであっても、あるアプリケー
ションにおいては適切である。ステップ３１０では、ス
テップ３０５で生じたより小さな領域それぞれに最初の
移動ベクトルが割り当てられる。
【００１８】好ましい実施例では、ステップ３１０が実
行される最初の時、小さな領域それぞれに割り当てられ
た最初の移動ベクトルは、ゼロの値を有する移動ベクト
ルである。フレーム４００の第１レベルのセグメンテー
ションが図６に例示される。フレーム４００は、多数の
領域に分割され、その各々が矩形であり、ゼロの最初の
移動ベクトルを有する。ゼロの値をともなう最初の移動
ベクトルの選択は、ノイズを生じる可能性を少なくす
る。
行される最初の時、小さな領域それぞれに割り当てられ
た最初の移動ベクトルは、ゼロの値を有する移動ベクト
ルである。フレーム４００の第１レベルのセグメンテー
ションが図６に例示される。フレーム４００は、多数の
領域に分割され、その各々が矩形であり、ゼロの最初の
移動ベクトルを有する。ゼロの値をともなう最初の移動
ベクトルの選択は、ノイズを生じる可能性を少なくす
る。
【００１９】それぞれのより小さな領域の移動ベクトル
は、後述する移動ベクトル更新ルーチンにしたがって更
新される。次のステップは、ステップ３２０に示された
ように、現在のセグメンテーションレベルにおけるすべ
ての領域が移動ベクトル更新ルーチンにしたがって処理
されたか否かに依存する。すべての領域が処理されてい
ない場合は、ステップ３２５に示されたように、残りの
領域が順次処理される。第１のセグメンテーションレベ
ルにおける領域は、いかなる特別なシーケンスにおいて
も処理される必要がない。しかしながら、今のところ好
ましいシーケンスは、現在のフレームの左上に対応する
領域のような角の領域から開始する。そして、シーケン
スは、上部の列を横切って、現在のフレームの右上に対
応する領域へ進む。領域の各連続する列は、現在のフレ
ームの右下に対応する列が処理されるまで左から右へと
処理される。
は、後述する移動ベクトル更新ルーチンにしたがって更
新される。次のステップは、ステップ３２０に示された
ように、現在のセグメンテーションレベルにおけるすべ
ての領域が移動ベクトル更新ルーチンにしたがって処理
されたか否かに依存する。すべての領域が処理されてい
ない場合は、ステップ３２５に示されたように、残りの
領域が順次処理される。第１のセグメンテーションレベ
ルにおける領域は、いかなる特別なシーケンスにおいて
も処理される必要がない。しかしながら、今のところ好
ましいシーケンスは、現在のフレームの左上に対応する
領域のような角の領域から開始する。そして、シーケン
スは、上部の列を横切って、現在のフレームの右上に対
応する領域へ進む。領域の各連続する列は、現在のフレ
ームの右下に対応する列が処理されるまで左から右へと
処理される。
【００２０】移動ベクトル更新ルーチンの最初のステッ
プは、ステップ３３０に示され、考慮中の現在の領域に
ついて、その領域に割り当てられた最初の移動ベクトル
を用いてマッチングエラーが算出される。現在の領域に
割り当てられた最初の移動ベクトルは、移動映像面メモ
リ部２１５から検索されて、メモリ部２２０のファイル
２２１に一時的に記憶される。ステップ３３２におい
て、ステップ３３０内で得られたマッチングエラーがメ
モリ部２４０内のファイル２４１−２５０のひとつに記
憶される。次に、ステップ３３５に示されたように、移
動予測技法は、考慮中の領域に関して行われる。移動予
測技法は、予測またはマッチングエラーを最小にするこ
とにより移動ベクトルが更新されるところの領域に最初
に割り当てられた移動ベクトルを改良しようとする、従
来技術において既知の技法もしくはそれと同様の技法で
ある。ステップ３３５は、移動改良部２６０により実行
されてもよい。
プは、ステップ３３０に示され、考慮中の現在の領域に
ついて、その領域に割り当てられた最初の移動ベクトル
を用いてマッチングエラーが算出される。現在の領域に
割り当てられた最初の移動ベクトルは、移動映像面メモ
リ部２１５から検索されて、メモリ部２２０のファイル
２２１に一時的に記憶される。ステップ３３２におい
て、ステップ３３０内で得られたマッチングエラーがメ
モリ部２４０内のファイル２４１−２５０のひとつに記
憶される。次に、ステップ３３５に示されたように、移
動予測技法は、考慮中の領域に関して行われる。移動予
測技法は、予測またはマッチングエラーを最小にするこ
とにより移動ベクトルが更新されるところの領域に最初
に割り当てられた移動ベクトルを改良しようとする、従
来技術において既知の技法もしくはそれと同様の技法で
ある。ステップ３３５は、移動改良部２６０により実行
されてもよい。
【００２１】ステップ３３５で用いられるに適した移動
予測技法のひとつには、当業界で周知のブロックマッチ
ング方法がある。いくつかのブロックマッチング方法が
上述したＡ．Ｎ．ＮｅｔｒａｖａｌｉおよびＢ．Ｊ．Ｈ
ａｓｋｅｌｌによる本文の５．２．３項に記述されてい
る。これら方法には、フルサーチ、２次元対数サーチ、
３ステップサーチおよび変更共役方向サーチがある。こ
れらすべては、ステップ３３５におけるブロックマッチ
ング移動予測を行うに適したものである。ブロックマッ
チング移動予測技法は、考慮中の領域について実行さ
れ、所定のサーチ領域内の直前のフレームにおける最も
合致した領域を探し出す。非常に低いビット伝送速度の
アプリケーションについては、±７および±１５のピク
セルの間のサーチ領域が適切である。ステップ３３５で
実行されるブロックマッチング技法は、考慮中の特定の
領域の移動ベクトルを改良または更新するための候補の
ひとつとして使用される合致した移動ベクトルを生じ
る。合致した移動ベクトルは、現在の領域の位置と直前
のフレーム内の最も合致した領域の位置との間の距離を
示す２次元ベクトルである。
予測技法のひとつには、当業界で周知のブロックマッチ
ング方法がある。いくつかのブロックマッチング方法が
上述したＡ．Ｎ．ＮｅｔｒａｖａｌｉおよびＢ．Ｊ．Ｈ
ａｓｋｅｌｌによる本文の５．２．３項に記述されてい
る。これら方法には、フルサーチ、２次元対数サーチ、
３ステップサーチおよび変更共役方向サーチがある。こ
れらすべては、ステップ３３５におけるブロックマッチ
ング移動予測を行うに適したものである。ブロックマッ
チング移動予測技法は、考慮中の領域について実行さ
れ、所定のサーチ領域内の直前のフレームにおける最も
合致した領域を探し出す。非常に低いビット伝送速度の
アプリケーションについては、±７および±１５のピク
セルの間のサーチ領域が適切である。ステップ３３５で
実行されるブロックマッチング技法は、考慮中の特定の
領域の移動ベクトルを改良または更新するための候補の
ひとつとして使用される合致した移動ベクトルを生じ
る。合致した移動ベクトルは、現在の領域の位置と直前
のフレーム内の最も合致した領域の位置との間の距離を
示す２次元ベクトルである。
【００２２】次に、ステップ３４０に示されたように、
ステップ３３５から得られた移動ベクトルは、メモリ部
２２０のファイル２３０に記憶される。また、ステップ
３４２に示されたように、ステップ３３５で得られファ
イル２３０に記憶された移動ベクトルを現在の領域に割
り当てることにより、マッチングエラーが算出される。
ステップ３４４では、ステップ３４２で算出されたマッ
チングエラーは、メモリ部２４０で記憶される。
ステップ３３５から得られた移動ベクトルは、メモリ部
２２０のファイル２３０に記憶される。また、ステップ
３４２に示されたように、ステップ３３５で得られファ
イル２３０に記憶された移動ベクトルを現在の領域に割
り当てることにより、マッチングエラーが算出される。
ステップ３４４では、ステップ３４２で算出されたマッ
チングエラーは、メモリ部２４０で記憶される。
【００２３】次のステップは、図７を参照してより良く
理解されるであろう。図７は、より小さな領域にすでに
分割されたフレーム５００を示すものである。図７にお
いて、領域内のひし形の存在は、移動ベクトル更新ルー
チンがその領域についてすでに実行されたことを示す。
Ｘ’を含む領域は、現在考慮中の領域であり、その移動
ベクトルは更新されるところである。最後に、小さな丸
を含む領域は、考慮中の領域に隣接する領域である。領
域の多くは、隣接する領域を８つ有する。なお、フレー
ムの側辺に沿った領域は、隣接する領域を５つのみ有
し、角の領域は、単に３つの隣接する領域を有する。
理解されるであろう。図７は、より小さな領域にすでに
分割されたフレーム５００を示すものである。図７にお
いて、領域内のひし形の存在は、移動ベクトル更新ルー
チンがその領域についてすでに実行されたことを示す。
Ｘ’を含む領域は、現在考慮中の領域であり、その移動
ベクトルは更新されるところである。最後に、小さな丸
を含む領域は、考慮中の領域に隣接する領域である。領
域の多くは、隣接する領域を８つ有する。なお、フレー
ムの側辺に沿った領域は、隣接する領域を５つのみ有
し、角の領域は、単に３つの隣接する領域を有する。
【００２４】ステップ３４５では、、隣接する領域それ
ぞれの移動ベクトルを現在の領域に割り当てることによ
りマッチングエラーを算出する。隣接する領域の移動ベ
クトルは、移動映像面メモリ部２１５から検索されてメ
モリ部２２０のファイル２２２−２２９に一時的に記憶
されてもよい。図７における考慮中の領域について、い
くつかの隣接する領域の移動ベクトルは、すでに更新さ
れており、その他の隣接する領域の移動ベクトルはまだ
更新されていないことがわかる。いずれにしても、隣接
する領域それぞれの現在の移動ベクトルは、ステップ３
４５で使用されている。次に、ステップ３４７では、ス
テップ３４５で算出されたマッチングエラーがメモリ部
２４０に記憶される。
ぞれの移動ベクトルを現在の領域に割り当てることによ
りマッチングエラーを算出する。隣接する領域の移動ベ
クトルは、移動映像面メモリ部２１５から検索されてメ
モリ部２２０のファイル２２２−２２９に一時的に記憶
されてもよい。図７における考慮中の領域について、い
くつかの隣接する領域の移動ベクトルは、すでに更新さ
れており、その他の隣接する領域の移動ベクトルはまだ
更新されていないことがわかる。いずれにしても、隣接
する領域それぞれの現在の移動ベクトルは、ステップ３
４５で使用されている。次に、ステップ３４７では、ス
テップ３４５で算出されたマッチングエラーがメモリ部
２４０に記憶される。
【００２５】最高１０個のマッチングエラーが考慮中の
領域に関して算出されたことがわかるであろう。これら
のマッチングエラーは、現在の領域に割り当てられた最
初の移動ベクトルを使用することによって得られたマッ
チングエラーと、ブロックマッチング技法から得られた
合致した移動ベクトルを現在の領域に割り当てることに
よって算出されたマッチングエラーと、隣接する領域の
移動ベクトルを現在の領域に割り当てることにより得ら
れる最高８つのマッチングエラーとを含む。ステップ３
５０では、最小検出回路２７０は、たとえば、上で列挙
されたマッチングエラーから最も小さいマッチングエラ
ーを決定する。ステップ３５５では、図８を参照してさ
らに後述するように、所定しきい値に従い、且つ、優先
方式に従って候補移動ベクトルメモリ部２２０に現在記
憶されている移動ベクトルから現在の領域についての最
良の移動ベクトルが選択される。メモリ部２２０に現在
記憶されている移動ベクトルは、現在の領域に割り当て
られた最初の移動ベクトルと、ステップ３５５で得られ
た合致した移動ベクトルと、隣接する領域の最高８つの
移動ベクトルとを含む。最後に、ステップ３５７では、
ステップ３５５で選択された最良の移動ベクトルが現在
の領域に割り当てられ、移動映像面メモリ部２１５に記
憶される。ステップ３５７は、現在の領域に関する移動
ベクトル更新ルーチンにおける最後のステップである。
この方法のプロセスは、ステップ３２０につながる。
領域に関して算出されたことがわかるであろう。これら
のマッチングエラーは、現在の領域に割り当てられた最
初の移動ベクトルを使用することによって得られたマッ
チングエラーと、ブロックマッチング技法から得られた
合致した移動ベクトルを現在の領域に割り当てることに
よって算出されたマッチングエラーと、隣接する領域の
移動ベクトルを現在の領域に割り当てることにより得ら
れる最高８つのマッチングエラーとを含む。ステップ３
５０では、最小検出回路２７０は、たとえば、上で列挙
されたマッチングエラーから最も小さいマッチングエラ
ーを決定する。ステップ３５５では、図８を参照してさ
らに後述するように、所定しきい値に従い、且つ、優先
方式に従って候補移動ベクトルメモリ部２２０に現在記
憶されている移動ベクトルから現在の領域についての最
良の移動ベクトルが選択される。メモリ部２２０に現在
記憶されている移動ベクトルは、現在の領域に割り当て
られた最初の移動ベクトルと、ステップ３５５で得られ
た合致した移動ベクトルと、隣接する領域の最高８つの
移動ベクトルとを含む。最後に、ステップ３５７では、
ステップ３５５で選択された最良の移動ベクトルが現在
の領域に割り当てられ、移動映像面メモリ部２１５に記
憶される。ステップ３５７は、現在の領域に関する移動
ベクトル更新ルーチンにおける最後のステップである。
この方法のプロセスは、ステップ３２０につながる。
【００２６】最良移動ベクトルの選択 図８は、ステップ３５５で最良の移動ベクトルを選択す
るプロセスを示す。図８に示されたステップは、たとえ
ば、図２における最良移動ベクトル選択部２８０により
行われる。現在の領域のサイズの関数およびフレーム内
のノイズの量を反映するファクターとして選択される所
定のしきい値は、どのように現在の領域の移動ベクトル
が変化し更新されるかを決定するために用いられる。基
本概念は、合致した移動ベクトルまたは隣接する領域の
移動ベクトルのうちのひとつを最初の移動ベクトルと置
き換えることが、マッチングエラーにおける著しい改良
を生じる場合に限り、そのような置き換えを行う。改良
の重要性は、所定のしきい値に対して計られ、移動映像
面の滑らかさに寄与するものであり、最も小さなマッチ
ングエラーに対して最良の移動ベクトルとして特定の移
動ベクトルを割り当てることにより得られる改良の量を
反映するものである。
るプロセスを示す。図８に示されたステップは、たとえ
ば、図２における最良移動ベクトル選択部２８０により
行われる。現在の領域のサイズの関数およびフレーム内
のノイズの量を反映するファクターとして選択される所
定のしきい値は、どのように現在の領域の移動ベクトル
が変化し更新されるかを決定するために用いられる。基
本概念は、合致した移動ベクトルまたは隣接する領域の
移動ベクトルのうちのひとつを最初の移動ベクトルと置
き換えることが、マッチングエラーにおける著しい改良
を生じる場合に限り、そのような置き換えを行う。改良
の重要性は、所定のしきい値に対して計られ、移動映像
面の滑らかさに寄与するものであり、最も小さなマッチ
ングエラーに対して最良の移動ベクトルとして特定の移
動ベクトルを割り当てることにより得られる改良の量を
反映するものである。
【００２７】図８に示されたプロセスはまた、現在の領
域に割り当てられた最初の移動ベクトルを現在の領域に
再度割り当てることに関する優先権を示す。この優先権
は、完全にフラットな背景に動きのない映像を考えるこ
とによって、よりよく理解される。前のフレームからフ
ラットな部分のいかなる領域も、ステップ３３５のブロ
ックマッチング技法の間、現在の領域を予測するのに用
いられる。しかしながら、実際は、常にフラットな部分
にいくらかのノイズが加えられる。ノイズは、各領域の
合致した移動ベクトルとして割り当てられるべき任意の
値を生じる。注意しなければ、フラットな部分は、ノイ
ズが多くなるであろう。ゼロの値を有する移動ベクトル
の最初の割り当てと組合わさったしきい値の使用は、最
初の移動ベクトルの優先権と同様に、ノイズの発生を防
止する。加えて、図８に示されたプロセスは、映像内の
空間的密度を計算するために合致した移動ベクトルにわ
たる隣接する領域の移動ベクトルのための優先権を示
す。
域に割り当てられた最初の移動ベクトルを現在の領域に
再度割り当てることに関する優先権を示す。この優先権
は、完全にフラットな背景に動きのない映像を考えるこ
とによって、よりよく理解される。前のフレームからフ
ラットな部分のいかなる領域も、ステップ３３５のブロ
ックマッチング技法の間、現在の領域を予測するのに用
いられる。しかしながら、実際は、常にフラットな部分
にいくらかのノイズが加えられる。ノイズは、各領域の
合致した移動ベクトルとして割り当てられるべき任意の
値を生じる。注意しなければ、フラットな部分は、ノイ
ズが多くなるであろう。ゼロの値を有する移動ベクトル
の最初の割り当てと組合わさったしきい値の使用は、最
初の移動ベクトルの優先権と同様に、ノイズの発生を防
止する。加えて、図８に示されたプロセスは、映像内の
空間的密度を計算するために合致した移動ベクトルにわ
たる隣接する領域の移動ベクトルのための優先権を示
す。
【００２８】最小のマッチングエラー（ＭＩＮ）がステ
ップ３５０で決定すると、ステップ３５５に全体的に示
されたように、最良の移動ベクトルの選択が図８のステ
ップ６００において開始する。ステップ６０５では、最
初の移動ベクトル（ＰＶ）から得られたマッチングエラ
ー（ＰＥ）と最小のマッチングエラー（ＭＩＮ）との間
の誤差の絶対値が所定のしきい値以下であるか否かを決
定する。ステップ６０５における絶対値がしきい値以下
である場合は、この決定は、隣接する移動ベクトルのう
ちのひとつまたは合致した移動ベクトルを移動ベクトル
の現在の値と置き換えることがマッチングエラーにおけ
る著しい改良をもたらさないことを示す。したがって、
ステップ６１０に示されたように、最初の移動ベクトル
（ＰＶ）は、最良の移動ベクトルとして選択され、最良
移動ベクトル選択部２８０の出力として使われる。よっ
て、ルーチンは、ステップ３５７に進む。
ップ３５０で決定すると、ステップ３５５に全体的に示
されたように、最良の移動ベクトルの選択が図８のステ
ップ６００において開始する。ステップ６０５では、最
初の移動ベクトル（ＰＶ）から得られたマッチングエラ
ー（ＰＥ）と最小のマッチングエラー（ＭＩＮ）との間
の誤差の絶対値が所定のしきい値以下であるか否かを決
定する。ステップ６０５における絶対値がしきい値以下
である場合は、この決定は、隣接する移動ベクトルのう
ちのひとつまたは合致した移動ベクトルを移動ベクトル
の現在の値と置き換えることがマッチングエラーにおけ
る著しい改良をもたらさないことを示す。したがって、
ステップ６１０に示されたように、最初の移動ベクトル
（ＰＶ）は、最良の移動ベクトルとして選択され、最良
移動ベクトル選択部２８０の出力として使われる。よっ
て、ルーチンは、ステップ３５７に進む。
【００２９】しかしながら、ステップ６０５における絶
対値が、しきい値以下でない場合は、プロセスは、ステ
ップ６１５につながる。ステップ６１５およびステップ
６２５、６３５、６４５、６５５、６６５、６７５およ
び６８５それぞれでは、隣接する領域のひとつの移動ベ
クトルを現在の領域に割り当てることにより得られるマ
ッチングエラーの一つと、最小のマッチングエラー（Ｍ
ＩＮ）との誤差の絶対値が所定のしきい値（ＴＨＲ）以
下であるか否かを決定する。ステップ６１５、６２５、
６３５、６４５、６５５、６６５、６７５および６８５
では、記号Ｅ０、Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６
およびＥ７は、それぞれ、隣接する領域の異なる移動ベ
クトルのを現在の領域に割り当てることにより得られた
異なるマッチングエッラーを示す。また、図８では、マ
ッチングエラーＥ０、Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、
Ｅ６およびＥ７に対応する移動ベクトルは、それぞれ、
Ｖ０、Ｖ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５、Ｖ６およびＶ７
である。
対値が、しきい値以下でない場合は、プロセスは、ステ
ップ６１５につながる。ステップ６１５およびステップ
６２５、６３５、６４５、６５５、６６５、６７５およ
び６８５それぞれでは、隣接する領域のひとつの移動ベ
クトルを現在の領域に割り当てることにより得られるマ
ッチングエラーの一つと、最小のマッチングエラー（Ｍ
ＩＮ）との誤差の絶対値が所定のしきい値（ＴＨＲ）以
下であるか否かを決定する。ステップ６１５、６２５、
６３５、６４５、６５５、６６５、６７５および６８５
では、記号Ｅ０、Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６
およびＥ７は、それぞれ、隣接する領域の異なる移動ベ
クトルのを現在の領域に割り当てることにより得られた
異なるマッチングエッラーを示す。また、図８では、マ
ッチングエラーＥ０、Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、
Ｅ６およびＥ７に対応する移動ベクトルは、それぞれ、
Ｖ０、Ｖ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５、Ｖ６およびＶ７
である。
【００３０】隣接する領域およびそれらに対応する移動
ベクトルとマッチングエラーのシーケンスでプロセスが
進んだが、好ましいシーケンスは、現在の領域の左上に
対する隣接する領域で開始し、上で示したように移動ベ
クトル更新ルーチンが行われるのと同じ順番で進む。そ
のようにすると、Ｖ０は、左上の隣接する領域の移動ベ
クトルであり、Ｅ０は、現在の領域にＶ０を割り当てる
ことにより得られるマッチングエラーとなる。同様に、
Ｖ７は、右下の隣接する領域の移動ベクトルであり、Ｅ
７は、現在の領域にＶ７を割り当てることにより得られ
るマッチングエラーとなる。隣接する領域が８つ以下の
場合、存在する隣接する領域に対応するステップのみが
実行される。あるいは、最初の移動ベクトルから得られ
たマッチングエラー（ＰＥ）は、追加のステップのマッ
チングエラーに用いられてもよい。
ベクトルとマッチングエラーのシーケンスでプロセスが
進んだが、好ましいシーケンスは、現在の領域の左上に
対する隣接する領域で開始し、上で示したように移動ベ
クトル更新ルーチンが行われるのと同じ順番で進む。そ
のようにすると、Ｖ０は、左上の隣接する領域の移動ベ
クトルであり、Ｅ０は、現在の領域にＶ０を割り当てる
ことにより得られるマッチングエラーとなる。同様に、
Ｖ７は、右下の隣接する領域の移動ベクトルであり、Ｅ
７は、現在の領域にＶ７を割り当てることにより得られ
るマッチングエラーとなる。隣接する領域が８つ以下の
場合、存在する隣接する領域に対応するステップのみが
実行される。あるいは、最初の移動ベクトルから得られ
たマッチングエラー（ＰＥ）は、追加のステップのマッ
チングエラーに用いられてもよい。
【００３１】ステップ６１５、６２５、６３５、６４
５、６５５、６６５、６７５および６８５それぞれにお
いて、マッチングエラーと最小のマッチングエラー（Ｍ
ＩＮ）との誤差の絶対値が所定のしきい値（ＴＨＲ）以
下である場合、そのマッチングエラーに対応する移動ベ
クトルは、ステップ６１０、６２０、６３０、６４０、
６５０、６６０、６７０、６８０および６９０にそれぞ
れ示されたように最良の移動ベクトルとして選択され
る。一方、ステップ６１５、６２５、６３５、６４５、
６５５、６６５および６７５それぞれにおいて、マッチ
ングエラーと最小のマッチングエラー（ＭＩＮ）との誤
差の絶対値が所定のしきい値（ＴＨＲ）以下でない場
合、プロセスは、シーケンス内の次のマッチングエラー
を評価する。移動ベクトルが最良の移動ベクトルとして
選択されると、方法は、ステップ３５７につながる。
５、６５５、６６５、６７５および６８５それぞれにお
いて、マッチングエラーと最小のマッチングエラー（Ｍ
ＩＮ）との誤差の絶対値が所定のしきい値（ＴＨＲ）以
下である場合、そのマッチングエラーに対応する移動ベ
クトルは、ステップ６１０、６２０、６３０、６４０、
６５０、６６０、６７０、６８０および６９０にそれぞ
れ示されたように最良の移動ベクトルとして選択され
る。一方、ステップ６１５、６２５、６３５、６４５、
６５５、６６５および６７５それぞれにおいて、マッチ
ングエラーと最小のマッチングエラー（ＭＩＮ）との誤
差の絶対値が所定のしきい値（ＴＨＲ）以下でない場
合、プロセスは、シーケンス内の次のマッチングエラー
を評価する。移動ベクトルが最良の移動ベクトルとして
選択されると、方法は、ステップ３５７につながる。
【００３２】プロセスがステップ３８５まで続き、且つ
マッチングエラーＥ７と最小のマッチングエラー（ＭＩ
Ｎ）との誤差の絶対値が所定のしきい値（ＴＨＲ）以下
でない場合は、この決定は、合致した移動ベクトル（Ｎ
Ｖ）を現在の領域に割り当てることにより得られたマッ
チングエラーは、最小のマッチングエラー（ＭＩＮ）で
あり、合致した移動ベクトル（ＮＶ）を用いることはマ
ッチングエラーにおいて著しい改良をもたらすことを示
す。ステップ６９５に示されたように、合致した移動ベ
クトル（ＮＶ）は、最良の移動ベクトルとして選択さ
れ、最良移動ベクトル選択部の出力として用いられる。
方法は、ステップ３５７につながる。
マッチングエラーＥ７と最小のマッチングエラー（ＭＩ
Ｎ）との誤差の絶対値が所定のしきい値（ＴＨＲ）以下
でない場合は、この決定は、合致した移動ベクトル（Ｎ
Ｖ）を現在の領域に割り当てることにより得られたマッ
チングエラーは、最小のマッチングエラー（ＭＩＮ）で
あり、合致した移動ベクトル（ＮＶ）を用いることはマ
ッチングエラーにおいて著しい改良をもたらすことを示
す。ステップ６９５に示されたように、合致した移動ベ
クトル（ＮＶ）は、最良の移動ベクトルとして選択さ
れ、最良移動ベクトル選択部の出力として用いられる。
方法は、ステップ３５７につながる。
【００３３】次のセグメンテーションレベルの処理 第１のセグメンテーションレベルにおけるすべての領域
が移動ベクトル更新ルーチンにしたがって処理される
と、ステップ３８０に示したように、停止条件が満たさ
れたか否かを評価することにより、本発明の方法が進
む。停止条件は、たとえば、移動ベクトル更新ルーチン
が実行されたことに関する所定数のセグメンテーション
レベルである。同様に、停止条件は、現在のフレームの
マッチングまたは予測エラーの合計の所定の値であって
もよい。あるいは、停止条件は、移動ベクトル更新ルー
チンが実行されることに関して領域のサイズにおけるよ
り下限であってもよい。好ましい実施例では、最小の領
域のサイズが４×４ピクセルである場合に、停止条件が
満たされる。マッチングエラーを最小にすることと解読
のための受信機にできるだけ少ない情報を送信すること
との競合する目標間のよい釣り合いを示すように４×４
ピクセルの領域が表示される。いずれにおいても、更新
ルーチンが実行されることに関する領域のサイズにおい
て、２×２ピクセルの絶対的な下限がおかれる。その下
限は、更新ルーチンを連続して行うことにより生じた領
域は、少なくとも２×２ピクセルよりも大きいという制
限と同等である。この絶対的な下限を選択する理由は、
後述するように、合体した領域の形状を示す好ましい方
法について明らかとされる。
が移動ベクトル更新ルーチンにしたがって処理される
と、ステップ３８０に示したように、停止条件が満たさ
れたか否かを評価することにより、本発明の方法が進
む。停止条件は、たとえば、移動ベクトル更新ルーチン
が実行されたことに関する所定数のセグメンテーション
レベルである。同様に、停止条件は、現在のフレームの
マッチングまたは予測エラーの合計の所定の値であって
もよい。あるいは、停止条件は、移動ベクトル更新ルー
チンが実行されることに関して領域のサイズにおけるよ
り下限であってもよい。好ましい実施例では、最小の領
域のサイズが４×４ピクセルである場合に、停止条件が
満たされる。マッチングエラーを最小にすることと解読
のための受信機にできるだけ少ない情報を送信すること
との競合する目標間のよい釣り合いを示すように４×４
ピクセルの領域が表示される。いずれにおいても、更新
ルーチンが実行されることに関する領域のサイズにおい
て、２×２ピクセルの絶対的な下限がおかれる。その下
限は、更新ルーチンを連続して行うことにより生じた領
域は、少なくとも２×２ピクセルよりも大きいという制
限と同等である。この絶対的な下限を選択する理由は、
後述するように、合体した領域の形状を示す好ましい方
法について明らかとされる。
【００３４】停止条件が満たされなかった場合、ステッ
プ３８５に示されたように、方法は、前のセグメンテー
ションレベルからの各領域を所定の形状およびサイズの
さらに小さな領域へ分割することにより進む。一般的
に、より小さな領域に分割される大きな領域は、親領域
として参照されてもよい。ステップ３０５に示されたよ
うに、各親領域は、所定の形状へ分割されてもよい。ス
テップ３８５における領域の所定の形状は、ステップ３
０５を実行することにより得られた領域の所定の形状と
同じでも異なっていてもよい。しかしながら、ステップ
３８５における好ましい所定形状もまた、矩形である。
したがって、各親領域は、同サイズの４つのより小さい
矩形領域に分割される。図９は、フレーム７００の第２
のセグメンテーションレベルを示す。ここにおける実線
は、ステップ３０５を実行することにより得られる親領
域を区切るものであり、点線は、ステップ３８５を実行
することにより得られるより小さな領域を区切るもので
ある。
プ３８５に示されたように、方法は、前のセグメンテー
ションレベルからの各領域を所定の形状およびサイズの
さらに小さな領域へ分割することにより進む。一般的
に、より小さな領域に分割される大きな領域は、親領域
として参照されてもよい。ステップ３０５に示されたよ
うに、各親領域は、所定の形状へ分割されてもよい。ス
テップ３８５における領域の所定の形状は、ステップ３
０５を実行することにより得られた領域の所定の形状と
同じでも異なっていてもよい。しかしながら、ステップ
３８５における好ましい所定形状もまた、矩形である。
したがって、各親領域は、同サイズの４つのより小さい
矩形領域に分割される。図９は、フレーム７００の第２
のセグメンテーションレベルを示す。ここにおける実線
は、ステップ３０５を実行することにより得られる親領
域を区切るものであり、点線は、ステップ３８５を実行
することにより得られるより小さな領域を区切るもので
ある。
【００３５】ステップ３１０に示されたように、親領域
から分割されたより小さな領域は、それぞれ最初のベク
トルが割り当てられる。第２のセグメンテーションレベ
ルおよび次のセグメンテーションレベルで各小さな領域
に割り当てられた最初の移動ベクトルは、ステップ３８
５でそれらが分割された親領域の移動ベクトルである。
最初の移動ベクトルの割り当ては、ステップ３１０が初
めて実行される時に、第１のセグメンテーションレベル
における各領域の値ゼロの最初の移動ベクトルの割り当
てと対照させる。
から分割されたより小さな領域は、それぞれ最初のベク
トルが割り当てられる。第２のセグメンテーションレベ
ルおよび次のセグメンテーションレベルで各小さな領域
に割り当てられた最初の移動ベクトルは、ステップ３８
５でそれらが分割された親領域の移動ベクトルである。
最初の移動ベクトルの割り当ては、ステップ３１０が初
めて実行される時に、第１のセグメンテーションレベル
における各領域の値ゼロの最初の移動ベクトルの割り当
てと対照させる。
【００３６】最初の移動ベクトルが第２のセグメンテー
ションレベルにおける各領域に割り当てられると、本発
明の方法は、第２のセグメンテーションレベルにおける
より小さな領域それぞれについてステップ３２０から３
５７を実行することにより移動ベクトル更新ルーチンを
実行するように進む。この結果、第２のセグメンテーシ
ョンレベルにおける各領域の移動ベクトルは、改良また
は更新される。第２のセグメンテーションレベルにおけ
るすべての領域が処理された時点で、停止条件が満たさ
れていない場合、ステップ３８５に示されたように、第
２のセグメンテーションレベルにおける各領域をさらに
小さな領域に分割することにより第３のセグメンテーシ
ョンレベルが作り出される。第３のセグメンテーション
レベルにおける各領域は、第２のセグメンテーションレ
ベルからその親領域の移動ベクトルに等しい最初の移動
ベクトルが割り当てられる。この領域をセグメント化
し、こうして生じたより小さな領域へ直前のセグメンテ
ーションレベルから親領域の移動ベクトルに等しい最初
の移動ベクトルを割り当て、直前のセグメンテーション
レベルにおける各領域に関する移動ベクトル更新ルーチ
ンを実行するプロセスは、ステップ３８０に示されるよ
うに、停止条件を満たすまで続けられる。したがって、
移動ベクトルが引き続いて改良および更新される多数の
セグメンテーションレベルが存在することが明らかとな
る。
ションレベルにおける各領域に割り当てられると、本発
明の方法は、第２のセグメンテーションレベルにおける
より小さな領域それぞれについてステップ３２０から３
５７を実行することにより移動ベクトル更新ルーチンを
実行するように進む。この結果、第２のセグメンテーシ
ョンレベルにおける各領域の移動ベクトルは、改良また
は更新される。第２のセグメンテーションレベルにおけ
るすべての領域が処理された時点で、停止条件が満たさ
れていない場合、ステップ３８５に示されたように、第
２のセグメンテーションレベルにおける各領域をさらに
小さな領域に分割することにより第３のセグメンテーシ
ョンレベルが作り出される。第３のセグメンテーション
レベルにおける各領域は、第２のセグメンテーションレ
ベルからその親領域の移動ベクトルに等しい最初の移動
ベクトルが割り当てられる。この領域をセグメント化
し、こうして生じたより小さな領域へ直前のセグメンテ
ーションレベルから親領域の移動ベクトルに等しい最初
の移動ベクトルを割り当て、直前のセグメンテーション
レベルにおける各領域に関する移動ベクトル更新ルーチ
ンを実行するプロセスは、ステップ３８０に示されるよ
うに、停止条件を満たすまで続けられる。したがって、
移動ベクトルが引き続いて改良および更新される多数の
セグメンテーションレベルが存在することが明らかとな
る。
【００３７】第２およびそれに続くセグメンテーション
レベル内の矩形領域について移動ベクトル更新ルーチン
を実行するために現在のところ好ましいシーケンスは、
図９に示されるように、第１のセグメンテーションレベ
ルにおける領域を処理するに現在のところ好ましいシー
ケンスと同様である。図９では、領域内のひし形の存在
は、その領域がすでに処理されたことを示す。「Ｘ」
は、改良され更新される移動ベクトルを有する次の領域
にマークをつける。領域内の丸の存在は、改良され更新
される移動ベクトルを有する領域に隣接する領域を示
す。なお、第２およびそれに続くセグメンテーションレ
ベルにおける領域は、本発明の方法にしたがっていかな
る順番で処理されてもよい。
レベル内の矩形領域について移動ベクトル更新ルーチン
を実行するために現在のところ好ましいシーケンスは、
図９に示されるように、第１のセグメンテーションレベ
ルにおける領域を処理するに現在のところ好ましいシー
ケンスと同様である。図９では、領域内のひし形の存在
は、その領域がすでに処理されたことを示す。「Ｘ」
は、改良され更新される移動ベクトルを有する次の領域
にマークをつける。領域内の丸の存在は、改良され更新
される移動ベクトルを有する領域に隣接する領域を示
す。なお、第２およびそれに続くセグメンテーションレ
ベルにおける領域は、本発明の方法にしたがっていかな
る順番で処理されてもよい。
【００３８】上記で詳しく述べた移動予測およびセグメ
ンテーション技法のひとつの特徴は、マッチングまたは
予測エラーを減らし、同時に、移動映像面の滑らかさま
たは空間的密度を増加するようにすることである。上述
の移動予測技法の他の特徴は、移動映像面へ導かれたノ
イズの量を減らすようにし、ノイズの多い画面に対して
さらに屈強であることである。本発明のさらなる特徴
は、移動映像面コード化に関して以下に詳しく述べられ
る。
ンテーション技法のひとつの特徴は、マッチングまたは
予測エラーを減らし、同時に、移動映像面の滑らかさま
たは空間的密度を増加するようにすることである。上述
の移動予測技法の他の特徴は、移動映像面へ導かれたノ
イズの量を減らすようにし、ノイズの多い画面に対して
さらに屈強であることである。本発明のさらなる特徴
は、移動映像面コード化に関して以下に詳しく述べられ
る。
【００３９】領域の組み合わせおよび輪郭コード化 移動ベクトル更新ルーチンが現在のセグメンテーション
レベルにおけるすべての領域について行われ、停止条件
が満たされると、現在のフレーム内の各ピクセルのため
の移動ベクトルが受信機（図示せず）への伝送のため処
理される。しかしながら、受信機に実際に送られるべき
情報の量は最小にするのが好ましい。ビデオフレーム内
の映像の移動映像面をコード化する技法は、いくつか知
られている。本発明の移動予測プロセスと連結すること
により特に有利である移動映像面をコード化する好まし
い方法は、図５に示されている。
レベルにおけるすべての領域について行われ、停止条件
が満たされると、現在のフレーム内の各ピクセルのため
の移動ベクトルが受信機（図示せず）への伝送のため処
理される。しかしながら、受信機に実際に送られるべき
情報の量は最小にするのが好ましい。ビデオフレーム内
の映像の移動映像面をコード化する技法は、いくつか知
られている。本発明の移動予測プロセスと連結すること
により特に有利である移動映像面をコード化する好まし
い方法は、図５に示されている。
【００４０】ステップ３９０に示されたように、組み合
わせプロセスは、同様の移動ベクトルを有する隣接の領
域を組み合わせ、組み合わせ領域を形成するように実行
される。好ましい実施例では、辺を共有し同じ移動ベク
トルを有する隣接する矩形の領域は、組み合わさり、組
み合わせ領域を形成する。図１０は、組み合わせ領域
Ａ、Ｂ、ＣおよびＯを有するフレーム８００を例示す
る。図１０では、点線は、個々のピクセルを区切るもの
であり、フレーム８００内の実線は、組み合わせ領域
Ａ、Ｂ、ＣおよびＯを画定する。
わせプロセスは、同様の移動ベクトルを有する隣接の領
域を組み合わせ、組み合わせ領域を形成するように実行
される。好ましい実施例では、辺を共有し同じ移動ベク
トルを有する隣接する矩形の領域は、組み合わさり、組
み合わせ領域を形成する。図１０は、組み合わせ領域
Ａ、Ｂ、ＣおよびＯを有するフレーム８００を例示す
る。図１０では、点線は、個々のピクセルを区切るもの
であり、フレーム８００内の実線は、組み合わせ領域
Ａ、Ｂ、ＣおよびＯを画定する。
【００４１】現在のフレーム内の各組み合わせ領域の形
状および位置は、たとえばその輪郭により表現される。
組み合わせ領域の輪郭は、組み合わせ領域の形状および
位置は、受信機で独自に再構築されるように十分な情報
を提供する方法で表示または表現されるべきである。好
ましい実施例では、輪郭は受信機に送られるべき情報の
量を最小にする方法で表現される。
状および位置は、たとえばその輪郭により表現される。
組み合わせ領域の輪郭は、組み合わせ領域の形状および
位置は、受信機で独自に再構築されるように十分な情報
を提供する方法で表示または表現されるべきである。好
ましい実施例では、輪郭は受信機に送られるべき情報の
量を最小にする方法で表現される。
【００４２】ステップ３９１に示されたように、現在の
フレーム内の各ピクセルは、組み合わせ領域にそれが属
することを示す領域ラベルが割り当てられる。次に、領
域形状表現ルーチンがフレーム内のピクセルそれぞれに
ついて実行される。ピクセルは、フレームの左上のピク
セルから始まり、ステップ３９２に示されるように現在
のフレーム内のすべてのピクセルが処理されるまで、左
から右へラインごとにスキャンされる。領域形状表現ル
ーチンが実行されていないピクセルがある場合、ステッ
プ３９３に示されたようにプロセスは次のピクセルにつ
ながる。
フレーム内の各ピクセルは、組み合わせ領域にそれが属
することを示す領域ラベルが割り当てられる。次に、領
域形状表現ルーチンがフレーム内のピクセルそれぞれに
ついて実行される。ピクセルは、フレームの左上のピク
セルから始まり、ステップ３９２に示されるように現在
のフレーム内のすべてのピクセルが処理されるまで、左
から右へラインごとにスキャンされる。領域形状表現ル
ーチンが実行されていないピクセルがある場合、ステッ
プ３９３に示されたようにプロセスは次のピクセルにつ
ながる。
【００４３】ステップ３９４に示されたように、考慮中
の現在のピクセルの領域ラベルは、３つの隣接するピク
セルの特定されたグループ内の各ピクセルの領域ラベル
と比較される。３つの隣接するピクセルの特定されたグ
ループは、考慮中のピクセルの左側に隣接するピクセル
と、考慮中のピクセルの上側に隣接するピクセルと、考
慮中のピクセルの左斜め上のピクセルとを含む。しかし
ながら、フレームの左上のピクセルには上記で規定した
ような隣接するピクセルがないことがわかる。したがっ
て、左上のピクセルは、このルーチンでは輪郭ピクセル
として表示されることはない。フレームの上の辺および
左の辺に沿ったピクセルは、上記で規定したような隣接
するピクセルを単にひとつしか持たない。そのほかのす
べてのピクセルは、３つの隣接するピクセルを有する。
現在のピクセルの領域ラベルが特定されたグループ内の
隣接するピクセルそれぞれと同じ場合、プロセスは、ス
テップ３９２につながる。しかしながら、ステップ３９
６に示されるように、３つの隣接するピクセルの特定さ
れたグループのうち少なくともひとつのその領域ラベル
とは違う領域ラベルを有するピクセルは、それぞれ輪郭
ピクセルとして表示される。そして、プロセスは、ステ
ップ３９２につながる。したがって、領域形状表現ルー
チンは、ステップ３９２−３９４および３９６を含む。
の現在のピクセルの領域ラベルは、３つの隣接するピク
セルの特定されたグループ内の各ピクセルの領域ラベル
と比較される。３つの隣接するピクセルの特定されたグ
ループは、考慮中のピクセルの左側に隣接するピクセル
と、考慮中のピクセルの上側に隣接するピクセルと、考
慮中のピクセルの左斜め上のピクセルとを含む。しかし
ながら、フレームの左上のピクセルには上記で規定した
ような隣接するピクセルがないことがわかる。したがっ
て、左上のピクセルは、このルーチンでは輪郭ピクセル
として表示されることはない。フレームの上の辺および
左の辺に沿ったピクセルは、上記で規定したような隣接
するピクセルを単にひとつしか持たない。そのほかのす
べてのピクセルは、３つの隣接するピクセルを有する。
現在のピクセルの領域ラベルが特定されたグループ内の
隣接するピクセルそれぞれと同じ場合、プロセスは、ス
テップ３９２につながる。しかしながら、ステップ３９
６に示されるように、３つの隣接するピクセルの特定さ
れたグループのうち少なくともひとつのその領域ラベル
とは違う領域ラベルを有するピクセルは、それぞれ輪郭
ピクセルとして表示される。そして、プロセスは、ステ
ップ３９２につながる。したがって、領域形状表現ルー
チンは、ステップ３９２−３９４および３９６を含む。
【００４４】図１１は、図１０の各ピクセルについて領
域形状表現ルーチンを実行することにより得られるフレ
ーム９００を示す。図１１内の「Ｘ」でマークされたピ
クセルは、輪郭ピクセルを示す。受信機におけるデコー
ダでは、領域形状表現ルーチンの逆を実行し、組み合わ
せ領域内で各ピクセルに対応する領域ラベルを回復す
る。デコーダで輪郭ピクセルに割り当てられた領域ラベ
ルは、右の、右下のまたは下の隣接する非輪郭ピクセル
に割り当てられたラベルと同じである。他のピクセルに
対応する領域ラベルは、既知の充填アルゴリズムで解読
されてもよい。そのような充填アルゴリズムは、たとえ
ば、J.Foley、A.VanDam、S.Feiner およびJ.Hughes(Addis
on-WesleyPublishing社1987年） により編集されたコン
ピュータグラフィックス：原理と実施（Computer Graph
ics: Principles and Practice）、およびD.H.Ballard
およびC.M.Brownのコンピュータビジョン（Computer Vi
sion）(PrenticHall社1982年) により詳しく記述されて
いる。この解読技法は、ステップ３８５を実行すること
により得られる最も小さくセグメント化された領域が２
×２ピクセルであるという仮定に匹敵する最高で３つの
輪郭ピクセルをどの２×２ピクセルのブロックも含む
と、仮定する。
域形状表現ルーチンを実行することにより得られるフレ
ーム９００を示す。図１１内の「Ｘ」でマークされたピ
クセルは、輪郭ピクセルを示す。受信機におけるデコー
ダでは、領域形状表現ルーチンの逆を実行し、組み合わ
せ領域内で各ピクセルに対応する領域ラベルを回復す
る。デコーダで輪郭ピクセルに割り当てられた領域ラベ
ルは、右の、右下のまたは下の隣接する非輪郭ピクセル
に割り当てられたラベルと同じである。他のピクセルに
対応する領域ラベルは、既知の充填アルゴリズムで解読
されてもよい。そのような充填アルゴリズムは、たとえ
ば、J.Foley、A.VanDam、S.Feiner およびJ.Hughes(Addis
on-WesleyPublishing社1987年） により編集されたコン
ピュータグラフィックス：原理と実施（Computer Graph
ics: Principles and Practice）、およびD.H.Ballard
およびC.M.Brownのコンピュータビジョン（Computer Vi
sion）(PrenticHall社1982年) により詳しく記述されて
いる。この解読技法は、ステップ３８５を実行すること
により得られる最も小さくセグメント化された領域が２
×２ピクセルであるという仮定に匹敵する最高で３つの
輪郭ピクセルをどの２×２ピクセルのブロックも含む
と、仮定する。
【００４５】組み合わせ領域を独自に画定する輪郭ピク
セルは、ステップ３９８で示されたようにコード化され
てもよい。輪郭ピクセルをコード化する最もポピュラー
な方法は、連鎖コーディングとして知られており、その
隣接するピクセルに対してピクセルの位置をコード化す
ることを含む。連鎖コーディングは、H.Freemanの「任
意の幾何学形状のコード化について（On the Encoding
of Arbitrary Geometric Configurations）」IRE Tran
s.on Elec.Comp.,EC-10,260-268ページ(1961年)（以
下、フリーマンの連鎖コーディング）に詳しく記述され
ており、ここに参照により組み込まれる。この連鎖コー
ディング技法と同様この技法の既知の変形は、ステップ
３９８に用いるのに適している。輪郭コード化のステッ
プ３９８が実行されると、現在のフレームについての移
動映像面の移動予測およびコード化は、ステップ３９９
に示されたように完了する。
セルは、ステップ３９８で示されたようにコード化され
てもよい。輪郭ピクセルをコード化する最もポピュラー
な方法は、連鎖コーディングとして知られており、その
隣接するピクセルに対してピクセルの位置をコード化す
ることを含む。連鎖コーディングは、H.Freemanの「任
意の幾何学形状のコード化について（On the Encoding
of Arbitrary Geometric Configurations）」IRE Tran
s.on Elec.Comp.,EC-10,260-268ページ(1961年)（以
下、フリーマンの連鎖コーディング）に詳しく記述され
ており、ここに参照により組み込まれる。この連鎖コー
ディング技法と同様この技法の既知の変形は、ステップ
３９８に用いるのに適している。輪郭コード化のステッ
プ３９８が実行されると、現在のフレームについての移
動映像面の移動予測およびコード化は、ステップ３９９
に示されたように完了する。
【００４６】本発明の移動予測技法とあわせて特に有利
な、輪郭コード化の好ましい技法が、図１２に示されて
いる。ステップ１０００で開始する図１２の輪郭コード
化ルーチンは、フリーマンの連鎖コーディング技法の変
形である。各ピクセルは、たとえば、ステップ１０１０
に示されたように左上から右下まですべての輪郭ピクセ
ルがコード化されるまで次々とスキャンされる。コード
化されていない輪郭ピクセルがある場合は、ステップ１
０２０に示されたように、プロセスは、次の残された輪
郭ピクセルへと続く。
な、輪郭コード化の好ましい技法が、図１２に示されて
いる。ステップ１０００で開始する図１２の輪郭コード
化ルーチンは、フリーマンの連鎖コーディング技法の変
形である。各ピクセルは、たとえば、ステップ１０１０
に示されたように左上から右下まですべての輪郭ピクセ
ルがコード化されるまで次々とスキャンされる。コード
化されていない輪郭ピクセルがある場合は、ステップ１
０２０に示されたように、プロセスは、次の残された輪
郭ピクセルへと続く。
【００４７】他の連鎖コーディング技術では、図１２に
示された輪郭コーディングルーチンの概念は、いかにし
て輪郭が方向を変更する前に特定された方向につながる
かを特定することにより、また輪郭がつながる方向を特
定する、またはエントポイントに到達したか否かを特定
することにより、輪郭のまっすぐなセグメントを連結す
ることである。
示された輪郭コーディングルーチンの概念は、いかにし
て輪郭が方向を変更する前に特定された方向につながる
かを特定することにより、また輪郭がつながる方向を特
定する、またはエントポイントに到達したか否かを特定
することにより、輪郭のまっすぐなセグメントを連結す
ることである。
【００４８】次のステップは、図１３−１５を参照して
より良く理解されるであろう。図１３−１５は、輪郭コ
ード化ルーチンの種々の段階中のフレームを例示してい
る。図１３−１５では、実線は個々のピクセルを区切っ
ており、番号がふられたピクセルは、輪郭ピクセルを示
す。ステップ１０３０に示されたように、輪郭ピクセル
１のような最初の輪郭ピクセルの座標（ｘ，ｙ）は、メ
モリ内に記憶される。ステップ１０３５では、最初の輪
郭ピクセルは、残った隣接する輪郭ピクセルが２つ以下
の場合は、輪郭コード化ルーチンの連続するステップの
考慮から外される。次に、ステップ１０４０では、隣接
する輪郭ピクセルのセグメントが連続する方向が、メモ
リに記憶される。特別のセグメントのコード化が連続す
る方向について決定が行われるべきとき、次の好ましい
順番は、右、下、左または上が用いられてもよい。しか
しながら、別の順番も本発明に一貫して用いられてもよ
い。方向が特定されると、後述するように、次のピクセ
ルがコード化されておらず外されてもいない輪郭ピクセ
ルであるである限り、輪郭は、その方向で連続する。ス
テップ１０４５に示されたように、最初のセグメントの
長さは、輪郭が特定された方向に連続するピクセルの数
を特定することにより記憶される。レーメル（Laemme
l） のコード化は、セグメントのさまざまな長さをコー
ド化するのに都合良く用いられる。しかしながら、他の
適切なランの長さコード化もセグメントのさまざまな長
さをコード化するのに用いられてもよい。
より良く理解されるであろう。図１３−１５は、輪郭コ
ード化ルーチンの種々の段階中のフレームを例示してい
る。図１３−１５では、実線は個々のピクセルを区切っ
ており、番号がふられたピクセルは、輪郭ピクセルを示
す。ステップ１０３０に示されたように、輪郭ピクセル
１のような最初の輪郭ピクセルの座標（ｘ，ｙ）は、メ
モリ内に記憶される。ステップ１０３５では、最初の輪
郭ピクセルは、残った隣接する輪郭ピクセルが２つ以下
の場合は、輪郭コード化ルーチンの連続するステップの
考慮から外される。次に、ステップ１０４０では、隣接
する輪郭ピクセルのセグメントが連続する方向が、メモ
リに記憶される。特別のセグメントのコード化が連続す
る方向について決定が行われるべきとき、次の好ましい
順番は、右、下、左または上が用いられてもよい。しか
しながら、別の順番も本発明に一貫して用いられてもよ
い。方向が特定されると、後述するように、次のピクセ
ルがコード化されておらず外されてもいない輪郭ピクセ
ルであるである限り、輪郭は、その方向で連続する。ス
テップ１０４５に示されたように、最初のセグメントの
長さは、輪郭が特定された方向に連続するピクセルの数
を特定することにより記憶される。レーメル（Laemme
l） のコード化は、セグメントのさまざまな長さをコー
ド化するのに都合良く用いられる。しかしながら、他の
適切なランの長さコード化もセグメントのさまざまな長
さをコード化するのに用いられてもよい。
【００４９】次に、ステップ１０５０に示されたよう
に、コード化され、且つ、残っている隣接する輪郭ピク
セルが３つよりも少ない輪郭ピクセルは、輪郭コード化
ルーチンの連続するステップにおける考慮から外され
る。言い替えれば、２つの輪郭が交差するピクセルを表
示するそれらの輪郭ピクセルは、たとえすでに一度コー
ド化されたものであっても、輪郭コード化ルーチンの次
のループにおける考慮からまだ外されていない。
に、コード化され、且つ、残っている隣接する輪郭ピク
セルが３つよりも少ない輪郭ピクセルは、輪郭コード化
ルーチンの連続するステップにおける考慮から外され
る。言い替えれば、２つの輪郭が交差するピクセルを表
示するそれらの輪郭ピクセルは、たとえすでに一度コー
ド化されたものであっても、輪郭コード化ルーチンの次
のループにおける考慮からまだ外されていない。
【００５０】特定の輪郭は、その開始点に戻る場合、ま
たは、コード化される隣接する輪郭ピクセルがもうない
場合、終了する。ステップ１０６０に示されたように、
特定の輪郭が終了しない場合、輪郭が連続する次の方向
がステップ１０７０に示されたようにメモリに記憶され
る。ステップ１０７０で特定された方向は、前の方向に
関して２つの選択に限られる。プロセスは、１０４５に
つながる。ステップ１０５０−１０７０は、輪郭が終了
するまで繰り返される。ピクセルが特定の最後のピクセ
ルを示すという事は、ステップ１０８０に示されたよう
に追加の情報を記憶することによりコード化される。た
とえば、直前の方向を次の方向符号として記憶すること
により最後にピクセルが特定されてもよい。しかしなが
ら、好ましくは、最後にピクセルは、ゼロのセグメント
長さを記憶することによって特定される。
たは、コード化される隣接する輪郭ピクセルがもうない
場合、終了する。ステップ１０６０に示されたように、
特定の輪郭が終了しない場合、輪郭が連続する次の方向
がステップ１０７０に示されたようにメモリに記憶され
る。ステップ１０７０で特定された方向は、前の方向に
関して２つの選択に限られる。プロセスは、１０４５に
つながる。ステップ１０５０−１０７０は、輪郭が終了
するまで繰り返される。ピクセルが特定の最後のピクセ
ルを示すという事は、ステップ１０８０に示されたよう
に追加の情報を記憶することによりコード化される。た
とえば、直前の方向を次の方向符号として記憶すること
により最後にピクセルが特定されてもよい。しかしなが
ら、好ましくは、最後にピクセルは、ゼロのセグメント
長さを記憶することによって特定される。
【００５１】図１３を参照すると、図１２に示された輪
郭コード化ルーチンによりコード化された第１の輪郭
は、ピクセル１−４４を含む。この第１の輪郭は、情
報：ピクセル１の絶対座標、方向「右」および２の長さ
と；方向「下」および２の長さと；方向「右」および１
０の長さと；方向「下」および８の長さと；方向「左」
および１２の長さと；方向「上」および１０の長さと、
を記憶することによってコード化される。最後のピクセ
ルは、次の方向として方向「上」を記憶することによっ
て、または、ゼロのセグメント長さを記憶することによ
って表示されてもよい。図１４は、残っていて、図１３
のピクセルに関する輪郭コード化ルーチンの第１のルー
プを行ったあとにコード化されるべき輪郭ピクセルを示
す。なお、最初の輪郭ピクセル１は、方向「上」および
１０の長さを記憶することによりそれが第２の時間がコ
ード化される後まで、考慮から外される。
郭コード化ルーチンによりコード化された第１の輪郭
は、ピクセル１−４４を含む。この第１の輪郭は、情
報：ピクセル１の絶対座標、方向「右」および２の長さ
と；方向「下」および２の長さと；方向「右」および１
０の長さと；方向「下」および８の長さと；方向「左」
および１２の長さと；方向「上」および１０の長さと、
を記憶することによってコード化される。最後のピクセ
ルは、次の方向として方向「上」を記憶することによっ
て、または、ゼロのセグメント長さを記憶することによ
って表示されてもよい。図１４は、残っていて、図１３
のピクセルに関する輪郭コード化ルーチンの第１のルー
プを行ったあとにコード化されるべき輪郭ピクセルを示
す。なお、最初の輪郭ピクセル１は、方向「上」および
１０の長さを記憶することによりそれが第２の時間がコ
ード化される後まで、考慮から外される。
【００５２】残りの隣接する輪郭ピクセルが３つより少
ない輪郭ピクセルのみを外した理由は、以下により詳し
く説明されるように、輪郭コード化ルーチンの４番目の
ループが図１３で示されたピクセルに関して実行される
場合に明らかとなる。ループの第２の実行は、輪郭ピク
セル７、４５−５１および３１をコード化し、ピクセル
７、４５−４７、４９−５１および３１を考慮から外
す。ループの第３の実行は、輪郭ピクセル１１、５２−
６０および２５をコード化し、ピクセル１１、５２−５
４、５６−６０および２５を考慮から外す。
ない輪郭ピクセルのみを外した理由は、以下により詳し
く説明されるように、輪郭コード化ルーチンの４番目の
ループが図１３で示されたピクセルに関して実行される
場合に明らかとなる。ループの第２の実行は、輪郭ピク
セル７、４５−５１および３１をコード化し、ピクセル
７、４５−４７、４９−５１および３１を考慮から外
す。ループの第３の実行は、輪郭ピクセル１１、５２−
６０および２５をコード化し、ピクセル１１、５２−５
４、５６−６０および２５を考慮から外す。
【００５３】図１５は、残っていて、図１３におけるピ
クセルに関して輪郭コード化ルーチンの３つのループ後
にコード化するべき輪郭ピクセルを示している。残って
いる輪郭ピクセル３９、６１−６３、４８、６４−６
６、５５、６７−６９および１９は、輪郭コード化ルー
チンの最後にループを実行することによってコード化さ
れる。逆に、すでに与えられたループでコード化された
すべての輪郭ピクセルは、輪郭コード化ルーチンの次の
ループにおいて考慮から外される。フリーマンの連鎖コ
ーディング技法の少なくとも６つのループが図１３にお
ける輪郭ピクセルすべてをコード化するために必要とな
る。ループの数が増えると、受信機に送るべき情報の量
も増加する。それは、各ループの最初の輪郭ピクセルの
座標がステップ１０３０で示されたように伝送のために
記憶されるためである。しかしながら、座標を記憶しお
よび伝送することは、送るべき情報の量によって損失の
大きいものである。したがって、上述した輪郭コード化
は、コード化プロセスの効果を改善する。
クセルに関して輪郭コード化ルーチンの３つのループ後
にコード化するべき輪郭ピクセルを示している。残って
いる輪郭ピクセル３９、６１−６３、４８、６４−６
６、５５、６７−６９および１９は、輪郭コード化ルー
チンの最後にループを実行することによってコード化さ
れる。逆に、すでに与えられたループでコード化された
すべての輪郭ピクセルは、輪郭コード化ルーチンの次の
ループにおいて考慮から外される。フリーマンの連鎖コ
ーディング技法の少なくとも６つのループが図１３にお
ける輪郭ピクセルすべてをコード化するために必要とな
る。ループの数が増えると、受信機に送るべき情報の量
も増加する。それは、各ループの最初の輪郭ピクセルの
座標がステップ１０３０で示されたように伝送のために
記憶されるためである。しかしながら、座標を記憶しお
よび伝送することは、送るべき情報の量によって損失の
大きいものである。したがって、上述した輪郭コード化
は、コード化プロセスの効果を改善する。
【００５４】前述した移動予測の実行により生じた最小
の領域のサイズに基づいて、最初の輪郭ピクセルの座標
と輪郭のセグメントの長さとを正規化することによって
コード化プロセスにさらなる改良を加えることができ
る。たとえば、最小の領域が２×２ピクセルのサイズを
有する場合、コード化の前に座標の値とセグメントの長
さを２で割ることにより、コード化プロセスの効果をさ
らに改善するであろう。すべての輪郭ピクセルがコード
化されると、ステップ１０９０に示されたように、輪郭
コードルーチンは終了する。
の領域のサイズに基づいて、最初の輪郭ピクセルの座標
と輪郭のセグメントの長さとを正規化することによって
コード化プロセスにさらなる改良を加えることができ
る。たとえば、最小の領域が２×２ピクセルのサイズを
有する場合、コード化の前に座標の値とセグメントの長
さを２で割ることにより、コード化プロセスの効果をさ
らに改善するであろう。すべての輪郭ピクセルがコード
化されると、ステップ１０９０に示されたように、輪郭
コードルーチンは終了する。
【００５５】最後に、各組み合わせ領域の輪郭と各組み
合わせ領域に関した移動ベクトルとを含むコード化され
た情報は、ビデオ受信機内のデコーダに送られる。ここ
で、その情報は、前のフレーム情報とともに用いられ、
現在のフレームにおける映像を予測する。移動ベクトル
は、デコーダにそれらの情報を送る前に２進符号にコー
ド化されてもよい。
合わせ領域に関した移動ベクトルとを含むコード化され
た情報は、ビデオ受信機内のデコーダに送られる。ここ
で、その情報は、前のフレーム情報とともに用いられ、
現在のフレームにおける映像を予測する。移動ベクトル
は、デコーダにそれらの情報を送る前に２進符号にコー
ド化されてもよい。
【００５６】なお、他の移動予測技法で、上述した移動
予測技法は、映像の予めカバーされた部分の出現または
映像の予めカバーされていない部分の消滅を考慮する必
要はなくなる。しかしながら、移動予測技法が１つまた
は複数の特定の領域について誤りと考えられる事に対し
て警報を出すデコーダに信号が提供されてもよい。たと
えば、組み合わせステップ３９０の直前に、各領域のマ
ッチングエラーが算出されてもよい。領域について算出
されたマッチングエラーが特定のしきい値を超えた場
合、移動予測がそれらの領域の誤りと考えられる事を示
す特別なラベルをその領域に割り当てる。組み合わせス
テップ３９０の間、特別なラベルが割り当てられた隣接
する領域は、他の領域が組み合わされるのと同じ方法で
組み合わせられる。領域形状表現ルーチンおよび輪郭コ
ード化ルーチンは、上述したのと同じ方法で適用されて
もよい。
予測技法は、映像の予めカバーされた部分の出現または
映像の予めカバーされていない部分の消滅を考慮する必
要はなくなる。しかしながら、移動予測技法が１つまた
は複数の特定の領域について誤りと考えられる事に対し
て警報を出すデコーダに信号が提供されてもよい。たと
えば、組み合わせステップ３９０の直前に、各領域のマ
ッチングエラーが算出されてもよい。領域について算出
されたマッチングエラーが特定のしきい値を超えた場
合、移動予測がそれらの領域の誤りと考えられる事を示
す特別なラベルをその領域に割り当てる。組み合わせス
テップ３９０の間、特別なラベルが割り当てられた隣接
する領域は、他の領域が組み合わされるのと同じ方法で
組み合わせられる。領域形状表現ルーチンおよび輪郭コ
ード化ルーチンは、上述したのと同じ方法で適用されて
もよい。
【００５７】図１６は、本発明に従った移動予測、セグ
メンテーションおよびコード化を組み込むシステム１２
００のブロック図である。システム１２００は、すでに
上記で詳しく述べた移動予測部２００を含む。移動予測
部２００は、組み合わせおよびラベル付け部１２１０に
接続されている。組み合わせおよびラベル付け部１２１
０は、ピクセルの領域に割り当てられ移動予測部２００
の移動映像面メモリ２１５に記憶された移動ベクトルを
受け取る。組み合わせラベル付け部１２１０は、同様の
移動ベクトルを有する隣接する領域を組み合わせ、組み
合わせ領域を形成する。組み合わせおよびラベル付け部
１２１０はまた、組み合わせ領域にそれが属することを
示す領域ラベルを現在のフレーム内の各ピクセルへ割り
当てる。組み合わせラベル付け部１２１０は、たとえ
ば、専用の論理回路、もしくは、組み合わせおよびラベ
リング機能を行うようソフトウエアにプログラムされた
一般使用のプロセッサでもよい。
メンテーションおよびコード化を組み込むシステム１２
００のブロック図である。システム１２００は、すでに
上記で詳しく述べた移動予測部２００を含む。移動予測
部２００は、組み合わせおよびラベル付け部１２１０に
接続されている。組み合わせおよびラベル付け部１２１
０は、ピクセルの領域に割り当てられ移動予測部２００
の移動映像面メモリ２１５に記憶された移動ベクトルを
受け取る。組み合わせラベル付け部１２１０は、同様の
移動ベクトルを有する隣接する領域を組み合わせ、組み
合わせ領域を形成する。組み合わせおよびラベル付け部
１２１０はまた、組み合わせ領域にそれが属することを
示す領域ラベルを現在のフレーム内の各ピクセルへ割り
当てる。組み合わせラベル付け部１２１０は、たとえ
ば、専用の論理回路、もしくは、組み合わせおよびラベ
リング機能を行うようソフトウエアにプログラムされた
一般使用のプロセッサでもよい。
【００５８】組み合わせおよびラベル付け部１２１０
は、２つの読み取り／書き込みメモリ部と接続される。
第１の領域ラベルメモリ部１２２０は、各組み合わせ領
域に関する移動ベクトルを記憶する。第２の領域ラベル
メモリ部１２３０は、現在のフレーム内の各ピクセルに
割り当てられた領域ラベルを記憶する。第１の領域ラベ
ルメモリ部１２２０は、移動ベクトルコード化部１２６
０に接続されてもよい。移動ベクトルコード化部１２６
０は、受信機（図示せず）への伝送のために２進符号へ
メモリ部１２２０に記憶された移動ベクトルを変換す
る。移動ベクトルコード化部１２６０は、たとえば、２
進符号へ移動ベクトルを変換するように設計された特別
な目的のための回路、もしくは、変換を行うようにプロ
グラムされた一般使用のプロセッサでもよい。
は、２つの読み取り／書き込みメモリ部と接続される。
第１の領域ラベルメモリ部１２２０は、各組み合わせ領
域に関する移動ベクトルを記憶する。第２の領域ラベル
メモリ部１２３０は、現在のフレーム内の各ピクセルに
割り当てられた領域ラベルを記憶する。第１の領域ラベ
ルメモリ部１２２０は、移動ベクトルコード化部１２６
０に接続されてもよい。移動ベクトルコード化部１２６
０は、受信機（図示せず）への伝送のために２進符号へ
メモリ部１２２０に記憶された移動ベクトルを変換す
る。移動ベクトルコード化部１２６０は、たとえば、２
進符号へ移動ベクトルを変換するように設計された特別
な目的のための回路、もしくは、変換を行うようにプロ
グラムされた一般使用のプロセッサでもよい。
【００５９】第２領域ラベルメモリ部１２３０は、上述
した領域形状表現ルーチンを行う領域形状表現部１２４
０に接続される。領域形状表現部１２４０は、独自で組
み合わせ領域を画定する一組の輪郭ピクセルを形成す
る。領域形状表現部１２４０は、論理回路でも、領域形
状表現ルーチンを行うようにプログラムされた一般使用
のプロセッサでもよい。領域形状表現部１２４０は、上
述した輪郭コード化ルーチンに従って輪郭ピクセルをコ
ード化する輪郭コード化部１２５０に接続される。輪郭
コード化部１２５０は、たとえば、専用の回路でも、輪
郭コード化ルーチンを実行するようにプログラムされた
一般使用のプロセッサでもよい。
した領域形状表現ルーチンを行う領域形状表現部１２４
０に接続される。領域形状表現部１２４０は、独自で組
み合わせ領域を画定する一組の輪郭ピクセルを形成す
る。領域形状表現部１２４０は、論理回路でも、領域形
状表現ルーチンを行うようにプログラムされた一般使用
のプロセッサでもよい。領域形状表現部１２４０は、上
述した輪郭コード化ルーチンに従って輪郭ピクセルをコ
ード化する輪郭コード化部１２５０に接続される。輪郭
コード化部１２５０は、たとえば、専用の回路でも、輪
郭コード化ルーチンを実行するようにプログラムされた
一般使用のプロセッサでもよい。
【００６０】システム１２００はまた、システム１２０
０内の他の構成要素のそれぞれに接続される制御部１２
７０を有する。制御部１２７０は、たとえば、中央演算
装置（ＣＰＵ）でも、システム１２００内の他の構成要
素およびそれらの相互作用を制御する処理エレメントで
あってもよい。また、制御部１２７０および制御部２９
０両者は、同じＣＰＵまたは同じ処理部内に取り入れら
れている。最後に、輪郭コード化部１２５０および移動
ベクトルコード化部１２６０は、受信機（図示せず）に
直接または間接的に接続され、コード化された輪郭ピク
セルおよび２進符号移動ベクトルが現在のフレームの解
読および予測のため受信機に伝送されてもよい。
０内の他の構成要素のそれぞれに接続される制御部１２
７０を有する。制御部１２７０は、たとえば、中央演算
装置（ＣＰＵ）でも、システム１２００内の他の構成要
素およびそれらの相互作用を制御する処理エレメントで
あってもよい。また、制御部１２７０および制御部２９
０両者は、同じＣＰＵまたは同じ処理部内に取り入れら
れている。最後に、輪郭コード化部１２５０および移動
ベクトルコード化部１２６０は、受信機（図示せず）に
直接または間接的に接続され、コード化された輪郭ピク
セルおよび２進符号移動ベクトルが現在のフレームの解
読および予測のため受信機に伝送されてもよい。
【００６１】非常に低いビット伝送速度アプリケーショ
ンは、デコーダに送られるべきサイド情報の量を減少す
ることが重要な要因であるため、上述したシステムは、
非常に低いビット伝送速度アプリケーションにおいて特
に有利である。非常に低いビット伝送速度におけるコー
ド化された移動映像面の伝送に適したアプリケーション
は、たとえば、視聴覚可動通信システム、監視システム
およびある種のマルチメディアシステムを含む。
ンは、デコーダに送られるべきサイド情報の量を減少す
ることが重要な要因であるため、上述したシステムは、
非常に低いビット伝送速度アプリケーションにおいて特
に有利である。非常に低いビット伝送速度におけるコー
ド化された移動映像面の伝送に適したアプリケーション
は、たとえば、視聴覚可動通信システム、監視システム
およびある種のマルチメディアシステムを含む。
【００６２】シュミレーションの結果 シュミレーションは、本発明の移動予測／セグメンテー
ション／コード化方法で得られた結果を、ビデオコード
化の国際的な推薦のＨ．２６１のシンタックスを用いる
フルサーチのブロックマッチング技法で得られたものと
比較して行われた。ＱＣＩＦの「ミス・アメリカ」のシ
ーケンスからのフレームがこのシュミレーションに用い
られ、オリジナルの５フレーム間隔で移動映像面が算出
された。非常に低いビット伝送速度において使用された
典型的状態に相当する４フレーム飛ばしが選択された。
ション／コード化方法で得られた結果を、ビデオコード
化の国際的な推薦のＨ．２６１のシンタックスを用いる
フルサーチのブロックマッチング技法で得られたものと
比較して行われた。ＱＣＩＦの「ミス・アメリカ」のシ
ーケンスからのフレームがこのシュミレーションに用い
られ、オリジナルの５フレーム間隔で移動映像面が算出
された。非常に低いビット伝送速度において使用された
典型的状態に相当する４フレーム飛ばしが選択された。
【００６３】図１７は、移動映像面予測の質をグラフで
示す。横軸はフレーム番号を示し、縦軸はデシベル（ｄ
Ｂ）の単位でノイズ対ピークピーク信号の割合（ＰＳＮ
Ｒ：peak-to-peak signal to noise ratio）を示す。移
動映像面予測の質は３つの状況について示してある。
Ｈ．２６１推薦および８×８ピクセルのブロックを用い
て得られた移動映像面予測の質は、実線で示されてい
る。本発明の移動予測の方法を用いて２つのケースにつ
いて得られた移動映像面予測の質は、それぞれ点線およ
び波線で示されている。後者の２ケースでは、ブロック
マッチング移動予測技法には、±７ピクセルのサーチ範
囲が用いられた。点線で示されたケースでは、移動ベク
トルが実行される最小の範囲は、４×４ピクセルのサイ
ズを有する。
示す。横軸はフレーム番号を示し、縦軸はデシベル（ｄ
Ｂ）の単位でノイズ対ピークピーク信号の割合（ＰＳＮ
Ｒ：peak-to-peak signal to noise ratio）を示す。移
動映像面予測の質は３つの状況について示してある。
Ｈ．２６１推薦および８×８ピクセルのブロックを用い
て得られた移動映像面予測の質は、実線で示されてい
る。本発明の移動予測の方法を用いて２つのケースにつ
いて得られた移動映像面予測の質は、それぞれ点線およ
び波線で示されている。後者の２ケースでは、ブロック
マッチング移動予測技法には、±７ピクセルのサーチ範
囲が用いられた。点線で示されたケースでは、移動ベク
トルが実行される最小の範囲は、４×４ピクセルのサイ
ズを有する。
【００６４】図１７により分かるように、予測の質は、
本発明の移動予測方法が４×４ピクセルのサイズを有す
る範囲に用いられた場合、フルサーチ技法を用いて得ら
れた質と比較して平均０．５ｄＢ向上する。
本発明の移動予測方法が４×４ピクセルのサイズを有す
る範囲に用いられた場合、フルサーチ技法を用いて得ら
れた質と比較して平均０．５ｄＢ向上する。
【００６５】フルサーチ技法における質の向上は必要と
されない場合がある。しかしながら、図１８を参照して
明らかとなるように、本発明の移動予測方法は、質にお
ける向上が必要とされない場合でさえもフルサーチ技法
に他の利点を提供する。図１８は、移動映像面情報を伝
送するために要求されたフレームごとのバイト数をグラ
フで示している。横軸はフレームの数を示し、縦軸は必
要とされるバイト数を示す。５つのケースが図１８のグ
ラフに示されている。第１のケースでは、結果として生
じた領域の移動ベクトルをコード化すると同時にフルサ
ーチ移動補正を実行するためにＨ．２６１シンタックス
が用いられた。第２のケースでは、最小の領域が８×８
ピクセルのサイズを有する状態で、本発明の移動補正方
法が用いられた。しかしながら、Ｈ．２６１シンタック
スを用いて、伝送のために移動ベクトル情報がコード化
された。また、移動ベクトル情報は、組み合わせステッ
プ、領域形状表現ルーチンおよび輪郭コード化ルーチン
を用いてコード化された。第３のケースでは、最小の領
域で８×８ピクセルのサイズを有する状態で、本発明の
移動予測方法が用いられた。移動ベクトル情報は、組み
合わせステップ、領域形状表現ルーチンおよび輪郭コー
ド化ルーチンを用いてコード化された。第４のケースで
は、最小の領域で４×４ピクセルのサイズを有する状態
で、本発明の移動予測方法が用いられた。Ｈ．２６１シ
ンタックスを用いて、伝送のために移動ベクトル情報が
コード化された。第５のケースでも、最小の領域で４×
４ピクセルのサイズを有する状態で、本発明の移動予測
方法が用いられた。しかしながら、移動ベクトル情報
は、組み合わせステップ、領域形状表現ルーチンおよび
輪郭コード化ルーチンを用いてコード化された。
されない場合がある。しかしながら、図１８を参照して
明らかとなるように、本発明の移動予測方法は、質にお
ける向上が必要とされない場合でさえもフルサーチ技法
に他の利点を提供する。図１８は、移動映像面情報を伝
送するために要求されたフレームごとのバイト数をグラ
フで示している。横軸はフレームの数を示し、縦軸は必
要とされるバイト数を示す。５つのケースが図１８のグ
ラフに示されている。第１のケースでは、結果として生
じた領域の移動ベクトルをコード化すると同時にフルサ
ーチ移動補正を実行するためにＨ．２６１シンタックス
が用いられた。第２のケースでは、最小の領域が８×８
ピクセルのサイズを有する状態で、本発明の移動補正方
法が用いられた。しかしながら、Ｈ．２６１シンタック
スを用いて、伝送のために移動ベクトル情報がコード化
された。また、移動ベクトル情報は、組み合わせステッ
プ、領域形状表現ルーチンおよび輪郭コード化ルーチン
を用いてコード化された。第３のケースでは、最小の領
域で８×８ピクセルのサイズを有する状態で、本発明の
移動予測方法が用いられた。移動ベクトル情報は、組み
合わせステップ、領域形状表現ルーチンおよび輪郭コー
ド化ルーチンを用いてコード化された。第４のケースで
は、最小の領域で４×４ピクセルのサイズを有する状態
で、本発明の移動予測方法が用いられた。Ｈ．２６１シ
ンタックスを用いて、伝送のために移動ベクトル情報が
コード化された。第５のケースでも、最小の領域で４×
４ピクセルのサイズを有する状態で、本発明の移動予測
方法が用いられた。しかしながら、移動ベクトル情報
は、組み合わせステップ、領域形状表現ルーチンおよび
輪郭コード化ルーチンを用いてコード化された。
【００６６】移動ベクトル情報を伝送するために必要な
バイト数が本発明の移動予測方法を用いることによって
著しく減少されることは、図１７および１８から明らか
である。たとえば、第１のケースで送られるべき情報の
量と比較すると第２のケースでは５０％以上の減少を成
しえた。ただし、この減少は、図１７から明白なよう
に、予測の質においては平均で１ｄＢを犠牲としてい
る。しかしながら、第１および第２のケースから得られ
た予測されたフレームを連続的に表示することによって
得られる視覚的な質は、実質上区別がつかない。したが
って、予測の質に向上が必要とされない場合でさえも、
本発明の移動予測方法を用いることには著しい利点があ
る。
バイト数が本発明の移動予測方法を用いることによって
著しく減少されることは、図１７および１８から明らか
である。たとえば、第１のケースで送られるべき情報の
量と比較すると第２のケースでは５０％以上の減少を成
しえた。ただし、この減少は、図１７から明白なよう
に、予測の質においては平均で１ｄＢを犠牲としてい
る。しかしながら、第１および第２のケースから得られ
た予測されたフレームを連続的に表示することによって
得られる視覚的な質は、実質上区別がつかない。したが
って、予測の質に向上が必要とされない場合でさえも、
本発明の移動予測方法を用いることには著しい利点があ
る。
【００６７】また、図１８の第３および第５のケースで
示されたように、移動映像面情報をコード化する好まし
い方法を用いることは、受信機に送るべき情報の量をか
なり減らす結果となる。好ましいコード化技法と合わせ
た本発明の移動予測方法は、現在使用されているフルサ
ーチのブロックマッチングおよび移動映像面コード化技
法よりも目覚ましい向上を生じることができる。
示されたように、移動映像面情報をコード化する好まし
い方法を用いることは、受信機に送るべき情報の量をか
なり減らす結果となる。好ましいコード化技法と合わせ
た本発明の移動予測方法は、現在使用されているフルサ
ーチのブロックマッチングおよび移動映像面コード化技
法よりも目覚ましい向上を生じることができる。
【００６８】本発明の特定の実施例を詳しく記述した
が、本発明の趣旨および範囲内で、他の応用および組み
合わせは当業者によって容易に明らかであろう。したが
って、本発明は、添付のクレームによってのみ制限され
るものである。
が、本発明の趣旨および範囲内で、他の応用および組み
合わせは当業者によって容易に明らかであろう。したが
って、本発明は、添付のクレームによってのみ制限され
るものである。
【図１】フレームからフレームへの移動映像面予測の原
理を示す説明図である。
理を示す説明図である。
【図２】本発明に従った移動予測およびセグメンテーシ
ョン部のブロック図である。
ョン部のブロック図である。
【図３】本発明の方法に従った移動予測、セグメンテー
ションおよびコード化のステップを示したフローチャー
トである。
ションおよびコード化のステップを示したフローチャー
トである。
【図４】本発明の方法に従った移動予測、セグメンテー
ションおよびコード化のステップを示したフローチャー
トである。
ションおよびコード化のステップを示したフローチャー
トである。
【図５】本発明の方法に従った移動予測、セグメンテー
ションおよびコード化のステップを示したフローチャー
トである。
ションおよびコード化のステップを示したフローチャー
トである。
【図６】ビデオフレームの第１レベルのセグメンテーシ
ョンを例示する説明図である。
ョンを例示する説明図である。
【図７】その移動ベクトルが現在更新されている領域を
示すビデオフレームの第１レベルのセグメンテーション
を例示する説明図である。
示すビデオフレームの第１レベルのセグメンテーション
を例示する説明図である。
【図８】本発明の方法に従った考慮中の領域についての
最良の移動ベクトルを選択するためのステップを示すフ
ローチャートである。
最良の移動ベクトルを選択するためのステップを示すフ
ローチャートである。
【図９】ビデオフレームの第２レベルのセグメンテーシ
ョンを例示する説明図である。
ョンを例示する説明図である。
【図１０】合体された領域を有するフレームを例示する
説明図である。
説明図である。
【図１１】図１０のフレーム内のすべてのピクセルのた
めの領域形状表現ルーチンを実行することにより生じる
輪郭ピクセルを示す説明図である。
めの領域形状表現ルーチンを実行することにより生じる
輪郭ピクセルを示す説明図である。
【図１２】本発明に従った輪郭コード化ルーチンのステ
ップを示すフローチャートである。
ップを示すフローチャートである。
【図１３】輪郭コード化ルーチンのさまざまなステージ
間のフレームを例示する説明図である。
間のフレームを例示する説明図である。
【図１４】輪郭コード化ルーチンのさまざまなステージ
間のフレームを例示する説明図である。
間のフレームを例示する説明図である。
【図１５】輪郭コード化ルーチンのさまざまなステージ
間のフレームを例示する説明図である。
間のフレームを例示する説明図である。
【図１６】本発明に従った移動予測とセグメンテーショ
ンとコード化を組み込むシステムのブロック図である。
ンとコード化を組み込むシステムのブロック図である。
２００ 移動予測およびセグメンテーション部 ２０５ 前のコード化済みフレームメモリ部 ２１０ 現在のフレームメモリ部 ２１５ 移動映像面メモリ部 ２２０ メモリ部 ２４０ マッチングエラーメモリ部 ２５０ 候補移動ベクトルメモリ部 ２５５ マッチングエラー計算部 ２６０ 移動改良部 ２７０ 最小検出部 ２８０ 最良移動ベクトル選択部 １２００ セグメンテーションおよびコード化を組み
込むシステム １２１０ 組み合わせおよびラベル付け部 １２２０ 第１の領域ラベルメモリ部 １２３０ 第２の領域ラベルメモリ部 １２４０ 領域形状表現部 １２５０ 輪郭コード化部 １２６０ 移動ベクトルコード化部 １２７０ 制御部
込むシステム １２１０ 組み合わせおよびラベル付け部 １２２０ 第１の領域ラベルメモリ部 １２３０ 第２の領域ラベルメモリ部 １２４０ 領域形状表現部 １２５０ 輪郭コード化部 １２６０ 移動ベクトルコード化部 １２７０ 制御部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成７年１１月６日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】図面の簡単な説明
【補正方法】変更
【補正内容】
【図面の簡単な説明】
【図１】フレームからフレームへの移動映像面予測の原
理を示す説明図である。
理を示す説明図である。
【図２】本発明に従った移動予測およびセグメンテーシ
ョン部のブロック図である。
ョン部のブロック図である。
【図３】本発明の方法に従った移動予測、セグメンテー
ションおよびコード化のステップを示したフローチャー
トである。
ションおよびコード化のステップを示したフローチャー
トである。
【図４】本発明の方法に従った移動予測、セグメンテー
ションおよびコード化のステップを示したフローチャー
トである。
ションおよびコード化のステップを示したフローチャー
トである。
【図５】本発明の方法に従った移動予測、セグメンテー
ションおよびコード化のステップを示したフローチャー
トである。
ションおよびコード化のステップを示したフローチャー
トである。
【図６】ビデオフレームの第１レベルのセグメンテーシ
ョンを例示する説明図である。
ョンを例示する説明図である。
【図７】その移動ベクトルが現在更新されている領域を
示すビデオフレームの第１レベルのセグメンテーション
を例示する説明図である。
示すビデオフレームの第１レベルのセグメンテーション
を例示する説明図である。
【図８】本発明の方法に従った考慮中の領域についての
最良の移動ベクトルを選択するためのステップを示すフ
ローチャートである。
最良の移動ベクトルを選択するためのステップを示すフ
ローチャートである。
【図９】ビデオフレームの第２レベルのセグメンテーシ
ョンを例示する説明図である。
ョンを例示する説明図である。
【図１０】合体された領域を有するフレームを例示する
説明図である。
説明図である。
【図１１】図１０のフレーム内のすべてのピクセルのた
めの領域形状表現ルーチンを実行することにより生じる
輪郭ピクセルを示す説明図である。
めの領域形状表現ルーチンを実行することにより生じる
輪郭ピクセルを示す説明図である。
【図１２】本発明に従った輪郭コード化ルーチンのステ
ップを示すフローチャートである。
ップを示すフローチャートである。
【図１３】輪郭コード化ルーチンのさまざまなステージ
間のフレームを例示する説明図である。
間のフレームを例示する説明図である。
【図１４】輪郭コード化ルーチンのさまざまなステージ
間のフレームを例示する説明図である。
間のフレームを例示する説明図である。
【図１５】輪郭コード化ルーチンのさまざまなステージ
間のフレームを例示する説明図である。
間のフレームを例示する説明図である。
【図１６】本発明に従った移動予測とセグメンテーショ
ンとコード化を組み込むシステムのブロック図である。
ンとコード化を組み込むシステムのブロック図である。
【図１７】本発明に従った移動映像予測の質を示した図
である。
である。
【図１８】移動映像面情報を伝送するために要求された
フレームごとのバイト数を示した図である。
フレームごとのバイト数を示した図である。
【符号の説明】 ２００ 移動予測およびセグメンテーション部 ２０５ 前のコード化済みフレームメモリ部 ２１０ 現在のフレームメモリ部 ２１５ 移動映像面メモリ部 ２２０ メモリ部 ２４０ マッチングエラーメモリ部 ２５０ 候補移動ベクトルメモリ部 ２５５ マッチングエラー計算部 ２６０ 移動改良部 ２７０ 最小検出部 ２８０ 最良移動ベクトル選択部 １２００ セグメンテーションおよびコード化を組み
込むシステム １２１０ 組み合わせおよびラベル付け部 １２２０ 第１の領域ラベルメモリ部 １２３０ 第２の領域ラベルメモリ部 １２４０ 領域形状表現部 １２５０ 輪郭コード化部 １２６０ 移動ベクトルコード化部 １２７０ 制御部
込むシステム １２１０ 組み合わせおよびラベル付け部 １２２０ 第１の領域ラベルメモリ部 １２３０ 第２の領域ラベルメモリ部 １２４０ 領域形状表現部 １２５０ 輪郭コード化部 １２６０ 移動ベクトルコード化部 １２７０ 制御部
Claims (24)
- 【請求項１】 移動補正されたフレームからフレームへ
の予測コード化に用いられる改善された移動映像面予測
方法において、 第１のセグメンテーションレベルを形成するために、複
数のピクセルを有するフレームを複数のより小さな領域
に分割する工程と、 前記複数のより小さな領域にそれぞれ最初の移動ベクト
ルを割り当てる工程と、 前記複数のより小さな領域それぞれについて、移動ベク
トル更新ルーチンを行う工程とからなり、 前記移動ベクトル更新ルーチンは、より小さな移動ベク
トルに割り当てられた前記最初の移動ベクトルと、前記
より小さな領域についてブロックマッチング技法を実行
することにより得られた合致した移動ベクトルと、前記
より小さな移動ベクトルに隣接する領域の移動ベクトル
とから選択された最良の移動ベクトルを割り当てること
により、前記より小さな領域の移動ベクトルを更新し、 前記最良移動ベクトルは、優先方式と所定のしきい値に
従って選択され、 前記しきい値は、特定の移動ベクトルを最良移動ベクト
ルとして割り当てることにより得られる改良の量を、最
小マッチングエラーに反映させることを特徴とする移動
映像面予測方法。 - 【請求項２】 前記移動ベクトルルーチンは、 （ａ）前記より小さな領域に割り当てられた前記最初の
移動ベクトルと、 （ｂ）前記より小さな領域についてブロックマッチング
技法を実行することにより得られた前記合致した移動ベ
クトルと、 （ｃ）前記より小さな領域に隣接する領域の移動ベクト
ルとをそれぞれ前記より小さな領域に割り当てることに
より得られるマッチングエラーから最小のマッチングエ
ラーを決定する工程と、 前記最小マッチングエラーと前記最初の移動ベクトルを
用いることにより得られたマッチングエラーとの誤差の
絶対値が前記所定のしきい値よりも小さい場合に、前記
最良の移動ベクトルとして前記最初の移動ベクトルを選
択する工程と、 （ａ）前記最小のマッチングエラーと前記最初の移動ベ
クトルを用いることによって得られたマッチングエラー
との誤差の絶対値が前記所定のしきい値よりも小さくな
く、且つ（ｂ）前記最小のマッチングエラーと、前記隣
接する領域の移動ベクトルを前記より小さな領域に割り
当てることによって得られたマッチングエラーとの誤差
の絶対値が前記所定のしきい値よりも小さい場合に、 前記隣接する領域のうちのひとつの領域の移動ベクトル
を前記最良の移動ベクトルとして選択する工程と、 （ａ）前記最小のマッチングエラーと前記最初の移動ベ
クトルを用いることによって得られたマッチングエラー
との誤差の絶対値が前記所定のしきい値よりも小さくな
く、且つ（ｂ）前記最小のマッチングエラーと、前記隣
接する領域うちひとつの領域の移動ベクトルを前記より
小さな領域に割り当てることによって得られた各マッチ
ングエラーとの誤差の絶対値が前記所定のしきい値より
も小さくない場合に、 前記合致した移動ベクトルを前記最良の移動ベクトルと
して選択する工程とを含むことを特徴とする請求項１の
方法。 - 【請求項３】 前記第１のセグメンテーションレベルに
おけるより小さな領域それぞれに割り当てられた前記最
初の移動ベクトルは、値ゼロを有することを特徴とする
請求項２の方法。 - 【請求項４】 （ａ）前記前のセグメンテーションレベ
ルにおける各前記より小さな領域を所定形状およびサイ
ズの複数のより小さな領域に分割し、次のセグメンテー
ションレベルを形成する工程と、 （ｂ）前記次のセグメンテーションレベル内の前記複数
のより小さな領域それぞれに、その親領域の移動ベクト
ルと等しい最初の移動ベクトルを割り当てる工程と、 （ｃ）前記次のセグメンテーションレベル内の前記複数
のより小さな領域それぞれについて、前記移動ベクトル
更新ルーチンを実行する工程とをさらに有することを特
徴とする請求項３の方法。 - 【請求項５】 停止条件が満たされるまで、請求項４で
特定した工程（ａ）と（ｂ）と（ｃ）とを繰り返し実行
する工程をさらに有することを特徴とする請求項４の方
法。 - 【請求項６】 より小さな領域の形状は、それぞれ矩形
であることを特徴とする請求項５の方法。 - 【請求項７】 より小さな領域のサイズは、特定のセグ
メンテーションレベルにおけるより小さな領域それぞれ
について同じであることを特徴とする請求項６の方法。 - 【請求項８】 前記停止条件は、前記より小さな領域の
サイズにおける下限であることを特徴とする請求項７の
方法。 - 【請求項９】 前記停止条件は、フレームに関する合計
のマッチングエラーの所定の値であることを特徴とする
請求項７の方法。 - 【請求項１０】 前記停止条件は、移動ベクトル更新ル
ーチンが実行されることに関するセグメンテーションレ
ベルの所定数であることを特徴とする請求項７の方法。 - 【請求項１１】 同様の移動ベクトルを有する隣接領域
を組み合わせる工程と、 前記複数のピクセルそれぞれに、領域ラベルを割り当て
る工程と、 前記複数のピクセルそれぞれについて、領域形状表現ル
ーチンを実行し、複数の輪郭ピクセルを画定する工程
と、 前記複数の輪郭ピクセルそれぞれをコード化するため
に、輪郭コード化ルーチンを実行する工程とをさらに有
する請求項７の方法。 - 【請求項１２】 前記領域形状表現ルーチンは、 ピクセルの前記領域ラベルを３つの隣接するピクセルの
特定されたグループの領域ラベルと比較する工程と、 その領域ラベルが、前記３つの隣接するピクセルの特定
されたグループの前記領域ラベルのうちの少なくともひ
とつと異なる場合、前記ピクセルを輪郭ピクセルとして
ラベル付けする工程とからなることを特徴とする請求項
１１の方法。 - 【請求項１３】 前記輪郭コード化ルーチンは、連鎖コ
ーディング技法を用いることを特徴とする請求項１２の
方法。 - 【請求項１４】 前記輪郭コード化ルーチンは、 （ａ）最初の輪郭ピクセルの座標を記憶する工程と、 （ｂ）残りの隣接輪郭ピクセルが２つより少ない場合、
輪郭コード化ルーチンの一連の工程において前記最初の
輪郭ピクセルを考慮から外す工程と、 （ｃ）隣接輪郭ピクセルのセグメントが連続する方向を
記憶する工程と、 （ｄ）前記セグメントの長さを記憶する工程と、 （ｅ）コード化され、且つ残りの隣接輪郭ピクセルが３
つより少ない前記輪郭ピクセルを輪郭コード化ルーチン
の一連の工程において考慮から外す工程と、 （ｆ）直前にコード化されたピクセルに隣接し、考慮か
ら外されたことのない輪郭ピクセルが存在しなくなるま
で、方向を記憶する工程と、長さを記憶する工程と、輪
郭ピクセルを考慮から外す工程とを繰り返す工程と、 （ｇ）輪郭の終点を示すために情報を記憶する工程と、 （ｈ）前記複数の輪郭ピクセルをそれぞれコード化する
まで、上記工程（ａ）から（ｇ）までを繰り返す工程と
からなることを特徴とする請求項１３の方法。 - 【請求項１５】 置換ベクトルは、現在のフレームの各
領域についてビデオ受信機のデコーダへ伝送され、前記
置換ベクトルを選択するための改良は、前記現在のフレ
ームにおけるピクセルのグループに対応し、前記ピクセ
ルのグループは、移動ベクトルを有する大きな領域から
セグメント化されたところの移動補正したフレームから
フレームへの予測コード化の方法において、前記改良
は、 前記ピクセルのグループに前記大きい領域の移動ベクト
ルと等しい最初の移動ベクトルを割り当る工程と、 前記ピクセルのグループに前記最初のベクトルを割り当
てることによって得られたマッチングエラーを算出する
工程と、 前記ピクセルのグループに関してブロックマッチング移
動予測技法を実行し、合致した移動ベクトルを供給する
工程と、 前記合致した移動ベクトルを前記ピクセルのグループに
割り当てることにより得られるマッチングエラーを算出
する工程と、 隣接する領域の移動ベクトルを前記ピクセルのグループ
に割り当てることにより得られるマッチングエラーを算
出する工程と、 前記最初の移動ベクトルと、前記隣接する領域の移動ベ
クトルと、前記合致した移動ベクトルとから選択された
最良の移動ベクトルを前記ピクセルのグループに割り当
てる工程とからなり、 前記最良の移動ベクトルは、優先方式および所定のしき
い値に従って選択され、前記しきい値は、特定の移動ベ
クトルを前記最良移動ベクトルとして割り当てることに
より得られる改良の量を、最小マッチングエラーに反映
させることを特徴とする移動補正したフレームからフレ
ームへの予測コード化の方法。 - 【請求項１６】 前記最良移動ベクトルを割り当てる工
程は、 前記算出されたマッチングエラーから最小のマッチング
エラーを決定する工程と、 前記最小マッチングエラーと前記最初の移動ベクトルを
用いることにより得られたマッチングエラーとの誤差の
絶対値が前記所定のしきい値よりも小さい場合に、前記
最良の移動ベクトルとして前記最初の移動ベクトルを選
択する工程と、 （ａ）前記最小のマッチングエラーと前記最初の移動ベ
クトルを用いることによって得られたマッチングエラー
との誤差の絶対値が前記所定のしきい値よりも小さくな
く、且つ（ｂ）前記最小のマッチングエラーと、前記隣
接する領域の移動ベクトルを前記ピクセルのグループに
割り当てることによって得られたマッチングエラーとの
誤差の絶対値が前記所定のしきい値よりも小さい場合
に、 前記隣接する領域のうちのひとつの領域の移動ベクトル
を前記最良の移動ベクトルとして選択する工程と、 （ａ）前記最小のマッチングエラーと前記最初の移動ベ
クトルを用いることによって得られたマッチングエラー
との誤差の絶対値が前記所定のしきい値よりも小さくな
く、且つ（ｂ）前記最小のマッチングエラーと、前記隣
接する領域うちひとつの領域の移動ベクトルを前記ピク
セルのグループに割り当てることによって得られた各マ
ッチングエラーとの誤差の絶対値が前記所定のしきい値
よりも小さくない場合に、 前記合致した移動ベクトルを前記最良の移動ベクトルと
して選択する工程とをさらに含むことを特徴とする請求
項１５の方法。 - 【請求項１７】 ビデオ映像の改良された移動映像面予
測に用いられる装置において、 直前のフレーム内のピクセルそれぞれについてモノクロ
強度を記憶する前の解読済みフレームメモリ部と、 現在ののフレーム内のピクセルそれぞれについてモノク
ロ強度を記憶する現在のフレームメモリ部と、 前記現在のフレーム内のピクセルそれぞれについて移動
ベクトルを記憶する移動映像面メモリ部と、 前記現在のフレーム内のピクセルのブロックについてブ
ロックマッチング技法を実行し、合致した移動ベクトル
を提供する移動改良部と、 前記ピクセルのブロックの移動ベクトルを更新するため
の候補である移動ベクトルを記憶する候補移動ベクトル
メモリ部と、 ここにおける前記候補移動ベクトルメモリ部は、前記ピ
クセルのブロックに割り当てられた最初の移動ベクトル
と、前記ピクセルのブロックに隣接する領域の移動ベク
トルとを受信し、記憶するため、前記移動映像面メモリ
部に接続され、さらに前記候補移動ベクトルメモリ部
は、前記合致した移動ベクトルを受信し、記憶するため
前記移動改良部に接続されるものであり、 前記候補移動ベクトルメモリ部に記憶された移動ベクト
ルを前記ピクセルのブロックに割り当てることにより得
られるマッチングエラーを算出するマッチングエラー計
算部と、 前記マッチングエラー計算部により算出された前記マッ
チングエラーを記憶するマッチングエラーメモリ部と、 前記マッチングエラーメモリ部に記憶された前記マッチ
ングエラーより最小のマッチングエラーの値を決定する
最小検出部と、 前記移動映像面メモリ部に接続されており、優先方式お
よび所定のしきい値に従って、前記ピクセルのブロック
の移動ベクトルを改良するため最良の移動ベクトルを決
定する最良移動ベクトル選択部と、 ここにおける前記最良移動ベクトルは、候補移動ベクト
ルメモリ部に記憶された移動ベクトルから選択されるも
のであり、 他の部およびそれらの相互作用を制御する制御部とから
なり、 前記制御部は、前記装置内の他の部それぞれに接続され
ることを特徴とする装置。 - 【請求項１８】 前記最良移動ベクトル選択部は、 前記最小マッチングエラーと前記最初の移動ベクトルを
用いることにより得られたマッチングエラーとの誤差の
絶対値が前記所定のしきい値よりも小さい場合に、前記
最良の移動ベクトルとして前記最初の移動ベクトルを選
択する機能と、 （ａ）前記最小のマッチングエラーと前記最初の移動ベ
クトルを用いることによって得られたマッチングエラー
との誤差の絶対値が前記所定のしきい値よりも小さくな
く、且つ（ｂ）前記最小のマッチングエラーと、前記隣
接する領域の移動ベクトルを前記より小さな領域に割り
当てることによって得られたマッチングエラーとの誤差
の絶対値が前記所定のしきい値よりも小さい場合に、 前記隣接する領域のうちのひとつの領域の移動ベクトル
を前記最良の移動ベクトルとして選択する機能と、 （ａ）前記最小のマッチングエラーと前記最初の移動ベ
クトルを用いることによって得られたマッチングエラー
との誤差の絶対値が前記所定のしきい値よりも小さくな
く、且つ（ｂ）前記最小のマッチングエラーと、前記隣
接する領域うちひとつの領域の移動ベクトルを前記より
小さな領域に割り当てることによって得られた各マッチ
ングエラーとの誤差の絶対値が前記所定のしきい値より
も小さくない場合に、 前記合致した移動ベクトルを前記最良の移動ベクトルと
して選択する機能とを行うことを特徴とする請求項１７
の方法。 - 【請求項１９】 ビデオ映像の移動映像面予測およびコ
ード化を実行するシステムにおいて、 複数の候補移動ベクトルから選択された最良の移動ベク
トルを現在のフレームにおけるピクセルのブロックに割
り当てることにより、前記ピクセルのブロックに割り当
てられた移動ベクトルを改良する移動予測部と、 ここにおける前記最良の移動ベクトルは、優先方式およ
び所定のしきい値に従って選択され、前記しきい値は、
前記最良の移動ベクトルとして特定の移動ベクトルを割
り当てることにより得られる改良の量を、最小の移動ベ
クトルに反映させるものであり、前記複数の候補移動ベ
クトルは、前記ピクセルのブロックに割り当てられた最
初の移動ベクトルと、前記ピクセルのブロックについて
ブロックマッチング技法を実行することにより得られた
合致した移動ベクトルと、前記ピクセルのブロックに隣
接する移動ベクトルとを含むものであり、 同様の移動ベクトルを有する前記現在のフレームの隣接
領域を組み合わせ、組み合わせ領域を形成し、且つ、前
記現在のフレーム内の各ピクセルに領域ラベルを割り当
てる組み合わせおよびラベル付け部と、 各組み合わせ領域に関して移動ベクトルを記憶する第１
の領域ラベルメモリ部と、 前記現在のフレーム内の各ピクセルに割り当てられた領
域ラベルを記憶する第２の領域ラベルメモリ部と、 前記組み合わせ領域を画定する一組のの輪郭ピクセルを
形成する領域形状表現部と、 前記一組の輪郭ピクセルをコード化する輪郭コード化部
と、 他の部およびそれらの相互作用を制御する制御部とから
なり、 前記制御部は、前記システムの他の部それぞれに接続さ
れることを特徴とするシステム。 - 【請求項２０】 前記移動予測部は、 直前のフレーム内のピクセルそれぞれについてモノクロ
強度を記憶する前の解読済みフレームメモリ部と、 現在のフレーム内のピクセルそれぞれについてモノクロ
強度を記憶する現在のフレームメモリ部と、 前記現在のフレーム内のピクセルそれぞれについて移動
ベクトルを記憶する移動映像面メモリ部と、 前記現在のフレーム内のピクセルのブロックについてブ
ロックマッチング技法を実行し、合致した移動ベクトル
を提供する移動改良部と、 前記ピクセルのブロックの移動ベクトルを更新するため
の候補である移動ベクトルを記憶する候補移動ベクトル
メモリ部と、 ここにおける前記候補移動ベクトルメモリ部は、前記ピ
クセルのブロックに割り当てられた最初の移動ベクトル
と、前記ピクセルのブロックに隣接する領域の移動ベク
トルとを受信し、記憶するため、前記移動映像面メモリ
部に接続され、さらに前記候補移動ベクトルメモリ部
は、前記合致した移動ベクトルを受信し、記憶するため
前記移動改良部に接続されるものであり、 前記候補移動ベクトルメモリ部に記憶された移動ベクト
ルを前記ピクセルのブロックに割り当てることにより得
られるマッチングエラーを算出するマッチングエラー計
算部と、 前記マッチングエラー計算部により算出された前記マッ
チングエラーを記憶するマッチングエラーメモリ部と、 前記マッチングエラーメモリ部に記憶された前記マッチ
ングエラーより最小のマッチングエラーの値を決定する
最小検出部と、 前記移動映像面メモリ部に接続されており、優先方式お
よび所定のしきい値に従って、前記ピクセルのブロック
の移動ベクトルを改良するため最良の移動ベクトルを決
定する最良移動ベクトル選択部とからなり、 前記最良移動ベクトルは、候補移動ベクトルメモリ部に
記憶された移動ベクトルから選択されることを特徴とす
る請求項１９のシステム。 - 【請求項２１】 前記最良移動ベクトル選択部は、 前記最小マッチングエラーと前記最初の移動ベクトルを
用いることにより得られたマッチングエラーとの誤差の
絶対値が前記所定のしきい値よりも小さい場合に、前記
最良の移動ベクトルとして前記最初の移動ベクトルを選
択する機能と、 （ａ）前記最小のマッチングエラーと前記最初の移動ベ
クトルを用いることによって得られたマッチングエラー
との誤差の絶対値が前記所定のしきい値よりも小さくな
く、且つ（ｂ）前記最小のマッチングエラーと、前記隣
接する領域の移動ベクトルを前記より小さな領域に割り
当てることによって得られたマッチングエラーとの誤差
の絶対値が前記所定のしきい値よりも小さい場合に、 前記隣接する領域のうちのひとつの領域の移動ベクトル
を前記最良の移動ベクトルとして選択する機能と、 （ａ）前記最小のマッチングエラーと前記最初の移動ベ
クトルを用いることによって得られたマッチングエラー
との誤差の絶対値が前記所定のしきい値よりも小さくな
く、且つ（ｂ）前記最小のマッチングエラーと、前記隣
接する領域うちひとつの領域の移動ベクトルを前記より
小さな領域に割り当てることによって得られた各マッチ
ングエラーとの誤差の絶対値が前記所定のしきい値より
も小さくない場合に、 前記合致した移動ベクトルを前記最良の移動ベクトルと
して選択する機能とを行うことを特徴とする請求項２０
の方法。 - 【請求項２２】 前記領域形状表現部は、 ピクセルの領域ラベルを３つの隣接するピクセルの特定
されたグループの領域ラベルと比較する機能と、 その領域ラベルが前記３つの隣接するピクセルの特定さ
れたグループの領域ラベルのうち少なくともひとつと異
なる場合、前記ピクセルを輪郭ピクセルとしてラベル付
けする機能とを行うことを特徴とする請求項２１のシス
テム。 - 【請求項２３】 前記輪郭コード化部は、連鎖コーディ
ング技法を実行することを特徴とする請求項２２のシス
テム。 - 【請求項２４】 前記輪郭コード化部は、 （ａ）最初の輪郭ピクセルの座標を記憶する工程と、 （ｂ）残りの隣接輪郭ピクセルが２つより少ない場合、
輪郭コード化ルーチンの一連の工程において前記最初の
輪郭ピクセルを考慮から外す工程と、 （ｃ）隣接輪郭ピクセルのセグメントが連続する方向を
記憶する工程と、 （ｄ）前記セグメントの長さを記憶する工程と、 （ｅ）コード化され、且つ残りの隣接輪郭ピクセルが３
つより少ない前記輪郭ピクセルを輪郭コード化ルーチン
の一連の工程において考慮から外す工程と、 （ｆ）直前にコード化されたピクセルに隣接し、考慮か
ら外されたことのない輪郭ピクセルが存在しなくなるま
で、方向を記憶する工程と、長さを記憶する工程と、輪
郭ピクセルを考慮から外す工程とを繰り返す工程と、 （ｇ）輪郭の終点を示すために情報を記憶する工程と、 （ｈ）前記複数の輪郭ピクセルをそれぞれコード化する
まで、上記工程（ａ）から（ｇ）までを繰り返す工程と
を行うことを特徴とする請求項２１のシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/271,308 US5594504A (en) | 1994-07-06 | 1994-07-06 | Predictive video coding using a motion vector updating routine |
| US08/271308 | 1994-07-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08214316A true JPH08214316A (ja) | 1996-08-20 |
Family
ID=23035038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7169414A Withdrawn JPH08214316A (ja) | 1994-07-06 | 1995-07-05 | 移動映像面予測方法及び装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5594504A (ja) |
| EP (1) | EP0691789A2 (ja) |
| JP (1) | JPH08214316A (ja) |
| CA (1) | CA2149683A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010515399A (ja) * | 2007-01-03 | 2010-05-06 | サムスン エレクトロニクス カンパニー リミテッド | 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法 |
Families Citing this family (131)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07135663A (ja) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | 動きベクトル検出方法および動きベクトル検出装置 |
| US5701524A (en) * | 1993-10-29 | 1997-12-23 | Nikon Corporation | Focus detection device and focus detection method |
| KR0178231B1 (ko) * | 1995-08-10 | 1999-05-01 | 배순훈 | 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 |
| DE69619002T2 (de) * | 1995-03-10 | 2002-11-21 | Toshiba Kawasaki Kk | Bildkodierungs-/-dekodierungsvorrichtung |
| KR0181030B1 (ko) * | 1995-03-28 | 1999-05-01 | 배순훈 | 이진화상을 이용한 비트플랜 압축전송장치 |
| US5936673A (en) * | 1995-05-26 | 1999-08-10 | Intel Corporation | Temporal tile staggering for block based video compression |
| US5923786A (en) * | 1995-07-17 | 1999-07-13 | Sony Corporation | Method and device for encoding and decoding moving images |
| US5646867A (en) * | 1995-07-24 | 1997-07-08 | Motorola Inc. | Method and system for improved motion compensation |
| WO1997005746A2 (en) * | 1995-08-02 | 1997-02-13 | Philips Electronics N.V. | Method and system for coding an image sequence, corresponding coded signal and storage medium, and method and system for decoding such a coded signal |
| DE69618759T2 (de) * | 1995-09-06 | 2002-09-12 | Koninkl Philips Electronics Nv | Verfahren und system zur kodierung einer sequenz von segmentierten bildern , kodiertes signal und speichermedium, verfahren und system zur dekodierung des kodierten signals |
| US5825929A (en) * | 1995-10-05 | 1998-10-20 | Microsoft Corporation | Transformation block optimization method |
| AU3701495A (en) * | 1995-10-20 | 1997-05-15 | Oy Nokia Ab | Motion vector field coding |
| US5929940A (en) * | 1995-10-25 | 1999-07-27 | U.S. Philips Corporation | Method and device for estimating motion between images, system for encoding segmented images |
| EP0771115A1 (fr) * | 1995-10-25 | 1997-05-02 | Koninklijke Philips Electronics N.V. | Procédé et dispositif d'estimation de mouvement de régions entre images et système de codage d'images segmentées pour leur mise en oeuvre |
| US6160846A (en) * | 1995-10-25 | 2000-12-12 | Sarnoff Corporation | Apparatus and method for optimizing the rate control in a coding system |
| US6192081B1 (en) | 1995-10-26 | 2001-02-20 | Sarnoff Corporation | Apparatus and method for selecting a coding mode in a block-based coding system |
| US5761398A (en) * | 1995-12-26 | 1998-06-02 | C-Cube Microsystems Inc. | Three stage hierarchal motion vector determination |
| US5731835A (en) * | 1996-02-26 | 1998-03-24 | David Sarnoff Research Center, Inc. | Dynamic coding rate control in a block-based video coding system |
| US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
| US5982438A (en) * | 1996-03-22 | 1999-11-09 | Microsoft Corporation | Overlapped motion compensation for object coding |
| DE19615492A1 (de) * | 1996-04-19 | 1997-10-23 | Philips Patentverwaltung | Verfahren zur Bildsegmentierung |
| KR100209132B1 (ko) * | 1996-07-11 | 1999-07-15 | 전주범 | 블럭-기반 물체 윤곽 부호화 방법 |
| KR100501902B1 (ko) * | 1996-09-25 | 2005-10-10 | 주식회사 팬택앤큐리텔 | 영상정보부호화/복호화장치및방법 |
| US6075875A (en) * | 1996-09-30 | 2000-06-13 | Microsoft Corporation | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results |
| US6687405B1 (en) * | 1996-11-13 | 2004-02-03 | Koninklijke Philips Electronics N.V. | Image segmentation |
| DE19648612A1 (de) * | 1996-11-14 | 1998-05-20 | Teles Ag | Verfahren zur Bewegtbilddatenkompression und Kodiervorrichtung zur Durchführung des Verfahrens |
| BR9805971A (pt) * | 1997-02-06 | 1999-08-31 | Koninkl Philips Electronics Nv | Processo e sistema para segmentação e rastreamento de objetos |
| DE69837003T2 (de) | 1997-02-12 | 2007-10-18 | Mediatek Inc. | Vorrichtung und verfahren zur optimierung der bitratensteurung in einem kodiersystem |
| KR19980073964A (ko) * | 1997-03-20 | 1998-11-05 | 김영환 | 영상신호의 모양정보 부호화시 윤곽선 정합 이동 벡터 추정 방법 |
| TW388843B (en) * | 1997-04-24 | 2000-05-01 | Mitsubishi Electric Corp | Moving image encoding method, moving image encoder and moving image decoder |
| US6633611B2 (en) * | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
| US6088397A (en) * | 1997-04-25 | 2000-07-11 | U.S. Philips Corporation | Method of estimation of motion between images |
| US6023296A (en) * | 1997-07-10 | 2000-02-08 | Sarnoff Corporation | Apparatus and method for object based rate control in a coding system |
| US6690833B1 (en) | 1997-07-14 | 2004-02-10 | Sarnoff Corporation | Apparatus and method for macroblock based rate control in a coding system |
| AU8434298A (en) * | 1997-07-28 | 1999-02-22 | Idt International Digital Technologies Deutschland Gmbh | Method and apparatus for multiresolution object-oriented motion estimation |
| US6070167A (en) * | 1997-09-29 | 2000-05-30 | Sharp Laboratories Of America, Inc. | Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation |
| EP0917363A1 (en) * | 1997-11-17 | 1999-05-19 | STMicroelectronics S.r.l. | Motion estimator algorithm and system's architecture |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6285711B1 (en) * | 1998-05-20 | 2001-09-04 | Sharp Laboratories Of America, Inc. | Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences |
| US6249548B1 (en) | 1998-07-10 | 2001-06-19 | U.S. Phillips Corporation | Motion vector processing |
| JP4932987B2 (ja) * | 1998-07-10 | 2012-05-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 動きベクトル処理方法 |
| EP0979011A1 (en) * | 1998-08-06 | 2000-02-09 | STMicroelectronics S.r.l. | Detection of a change of scene in a motion estimator of a video encoder |
| US7536706B1 (en) | 1998-08-24 | 2009-05-19 | Sharp Laboratories Of America, Inc. | Information enhanced audio video encoding system |
| DE19840735C2 (de) * | 1998-09-07 | 2001-06-07 | Bosch Gmbh Robert | Blockbasierte Bewegungsschätzung bei der Bewegtbildkodierung |
| US6711278B1 (en) * | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
| KR100359091B1 (ko) * | 1998-11-18 | 2003-01-24 | 삼성전자 주식회사 | 움직임추정장치 |
| US6563953B2 (en) * | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
| US6983018B1 (en) | 1998-11-30 | 2006-01-03 | Microsoft Corporation | Efficient motion vector coding for video compression |
| US6499060B1 (en) | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| US7188353B1 (en) | 1999-04-06 | 2007-03-06 | Sharp Laboratories Of America, Inc. | System for presenting synchronized HTML documents in digital television receivers |
| WO2001011892A1 (en) | 1999-08-11 | 2001-02-15 | Nokia Corporation | Adaptive motion vector field coding |
| US6735249B1 (en) | 1999-08-11 | 2004-05-11 | Nokia Corporation | Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding |
| US6502097B1 (en) | 1999-12-23 | 2002-12-31 | Microsoft Corporation | Data structure for efficient access to variable-size data objects |
| US6476805B1 (en) | 1999-12-23 | 2002-11-05 | Microsoft Corporation | Techniques for spatial displacement estimation and multi-resolution operations on light fields |
| EP1279293A1 (en) * | 2000-01-21 | 2003-01-29 | Nokia Corporation | A motion estimation method and a system for a video coder |
| EP1169866A1 (en) * | 2000-02-01 | 2002-01-09 | Koninklijke Philips Electronics N.V. | Video encoding with a two step motion estimation for p-frames |
| US6567469B1 (en) * | 2000-03-23 | 2003-05-20 | Koninklijke Philips Electronics N.V. | Motion estimation algorithm suitable for H.261 videoconferencing applications |
| US7663695B2 (en) * | 2000-05-05 | 2010-02-16 | Stmicroelectronics S.R.L. | Method and system for de-interlacing digital images, and computer program product therefor |
| US7647340B2 (en) | 2000-06-28 | 2010-01-12 | Sharp Laboratories Of America, Inc. | Metadata in JPEG 2000 file format |
| US6842483B1 (en) | 2000-09-11 | 2005-01-11 | The Hong Kong University Of Science And Technology | Device, method and digital video encoder for block-matching motion estimation |
| KR100355831B1 (ko) * | 2000-12-06 | 2002-10-19 | 엘지전자 주식회사 | 2차원 최소 비트 예측 기반의 움직임 벡터 부호화 방법 |
| CN100452883C (zh) | 2001-12-17 | 2009-01-14 | 微软公司 | 处理视频图像的方法 |
| US7003035B2 (en) * | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
| KR100492127B1 (ko) * | 2002-02-23 | 2005-06-01 | 삼성전자주식회사 | 적응형 움직임 추정장치 및 추정 방법 |
| KR100441509B1 (ko) * | 2002-02-25 | 2004-07-23 | 삼성전자주식회사 | 주사포맷변환장치 및 방법 |
| US7620109B2 (en) * | 2002-04-10 | 2009-11-17 | Microsoft Corporation | Sub-pixel interpolation in motion estimation and compensation |
| US7305034B2 (en) * | 2002-04-10 | 2007-12-04 | Microsoft Corporation | Rounding control for multi-stage interpolation |
| US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US7817717B2 (en) * | 2002-06-18 | 2010-10-19 | Qualcomm Incorporated | Motion estimation techniques for video encoding |
| US7224731B2 (en) * | 2002-06-28 | 2007-05-29 | Microsoft Corporation | Motion estimation/compensation for screen capture video |
| US7085420B2 (en) * | 2002-06-28 | 2006-08-01 | Microsoft Corporation | Text detection in continuous tone image segments |
| US7280700B2 (en) * | 2002-07-05 | 2007-10-09 | Microsoft Corporation | Optimization techniques for data compression |
| US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
| US7072512B2 (en) * | 2002-07-23 | 2006-07-04 | Microsoft Corporation | Segmentation of digital video and images into continuous tone and palettized regions |
| US7023921B2 (en) * | 2002-08-06 | 2006-04-04 | Motorola, Inc. | Method and apparatus for determining block match quality |
| US7471725B2 (en) * | 2003-03-26 | 2008-12-30 | Lsi Corporation | Segmented motion estimation with no search for small block sizes |
| US7956889B2 (en) * | 2003-06-04 | 2011-06-07 | Model Software Corporation | Video surveillance system |
| US7426308B2 (en) * | 2003-07-18 | 2008-09-16 | Microsoft Corporation | Intraframe and interframe interlace coding and decoding |
| US7738554B2 (en) * | 2003-07-18 | 2010-06-15 | Microsoft Corporation | DC coefficient signaling at small quantization step sizes |
| US7499495B2 (en) * | 2003-07-18 | 2009-03-03 | Microsoft Corporation | Extended range motion vectors |
| US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
| US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
| US20050013498A1 (en) * | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
| US8085844B2 (en) * | 2003-09-07 | 2011-12-27 | Microsoft Corporation | Signaling reference frame distances |
| US7567617B2 (en) * | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
| US7577200B2 (en) * | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Extended range variable length coding/decoding of differential motion vector information |
| US7606308B2 (en) * | 2003-09-07 | 2009-10-20 | Microsoft Corporation | Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields |
| US7599438B2 (en) * | 2003-09-07 | 2009-10-06 | Microsoft Corporation | Motion vector block pattern coding and decoding |
| US7623574B2 (en) * | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
| US7620106B2 (en) * | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
| US7616692B2 (en) * | 2003-09-07 | 2009-11-10 | Microsoft Corporation | Hybrid motion vector prediction for interlaced forward-predicted fields |
| US7577198B2 (en) * | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Number of reference fields for an interlaced forward-predicted field |
| US7317839B2 (en) * | 2003-09-07 | 2008-01-08 | Microsoft Corporation | Chroma motion vector derivation for interlaced forward-predicted fields |
| US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
| US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| KR100991344B1 (ko) | 2003-11-29 | 2010-11-01 | 엘지전자 주식회사 | 영상을 디코딩하는 방법 |
| KR100631777B1 (ko) | 2004-03-31 | 2006-10-12 | 삼성전자주식회사 | 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치 |
| US20050259734A1 (en) * | 2004-05-21 | 2005-11-24 | Timothy Hellman | Motion vector generator for macroblock adaptive field/frame coded video data |
| TWI268715B (en) * | 2004-08-16 | 2006-12-11 | Nippon Telegraph & Telephone | Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus |
| JP2008521324A (ja) * | 2004-11-22 | 2008-06-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | カバーリング及びアンカバーリングを扱う動きベクトル場の投影 |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| US7522749B2 (en) * | 2005-04-08 | 2009-04-21 | Microsoft Corporation | Simultaneous optical flow estimation and image segmentation |
| US20060233258A1 (en) * | 2005-04-15 | 2006-10-19 | Microsoft Corporation | Scalable motion estimation |
| US8588513B2 (en) * | 2005-07-18 | 2013-11-19 | Broadcom Corporation | Method and system for motion compensation |
| JP4947936B2 (ja) * | 2005-08-11 | 2012-06-06 | ソニー株式会社 | モニタリングシステムおよび管理装置 |
| US9077960B2 (en) * | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
| US20070064809A1 (en) * | 2005-09-14 | 2007-03-22 | Tsuyoshi Watanabe | Coding method for coding moving images |
| US8155195B2 (en) * | 2006-04-07 | 2012-04-10 | Microsoft Corporation | Switching distortion metrics during motion estimation |
| US8494052B2 (en) * | 2006-04-07 | 2013-07-23 | Microsoft Corporation | Dynamic selection of motion estimation search ranges and extended motion vector ranges |
| US20070268964A1 (en) * | 2006-05-22 | 2007-11-22 | Microsoft Corporation | Unit co-location-based motion estimation |
| CN100548051C (zh) * | 2006-05-25 | 2009-10-07 | 联想(北京)有限公司 | 视频编解码设备和方法以及系统 |
| US20080031333A1 (en) * | 2006-08-02 | 2008-02-07 | Xinghai Billy Li | Motion compensation module and methods for use therewith |
| JP2008109632A (ja) * | 2006-09-28 | 2008-05-08 | Toshiba Corp | 動きベクトル検出装置及びその方法 |
| GB2443667A (en) * | 2006-11-10 | 2008-05-14 | Tandberg Television Asa | Obtaining a motion vector for a partition of a macroblock in block-based motion estimation |
| KR101364532B1 (ko) | 2007-01-03 | 2014-02-18 | 삼성전자주식회사 | 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법 |
| US20080212687A1 (en) * | 2007-03-02 | 2008-09-04 | Sony Corporation And Sony Electronics Inc. | High accurate subspace extension of phase correlation for global motion estimation |
| US8111750B2 (en) * | 2007-03-20 | 2012-02-07 | Himax Technologies Limited | System and method for 3-D recursive search motion estimation |
| US8254455B2 (en) | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
| JP2009077309A (ja) * | 2007-09-21 | 2009-04-09 | Toshiba Corp | 動き予測装置および動き予測方法 |
| US20090086820A1 (en) * | 2007-09-28 | 2009-04-02 | Edward Hong | Shared memory with contemporaneous access for use in video encoding and methods for use therewith |
| US20090244388A1 (en) * | 2008-03-27 | 2009-10-01 | Siou-Shen Lin | Motion estimation method and related apparatus for determining target motion vector according to motion of neighboring image blocks |
| US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
| US8488007B2 (en) * | 2010-01-19 | 2013-07-16 | Sony Corporation | Method to estimate segmented motion |
| CN102473307B (zh) * | 2010-03-15 | 2015-05-27 | 松下电器产业株式会社 | 用于轨迹估计的方法和装置以及用于分割的方法 |
| US9082278B2 (en) * | 2010-03-19 | 2015-07-14 | University-Industry Cooperation Group Of Kyung Hee University | Surveillance system |
| US9131239B2 (en) * | 2011-06-20 | 2015-09-08 | Qualcomm Incorporated | Unified merge mode and adaptive motion vector prediction mode candidates selection |
| US9571833B2 (en) | 2011-11-04 | 2017-02-14 | Nokia Technologies Oy | Method for coding and an apparatus |
| US9774881B2 (en) | 2014-01-08 | 2017-09-26 | Microsoft Technology Licensing, Llc | Representing motion vectors in an encoded bitstream |
| US9749642B2 (en) | 2014-01-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Selection of motion vector precision |
| US9942560B2 (en) | 2014-01-08 | 2018-04-10 | Microsoft Technology Licensing, Llc | Encoding screen capture data |
| JP6569677B2 (ja) * | 2014-08-28 | 2019-09-04 | 日本電気株式会社 | ブロックサイズ決定方法及びプログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2050752B (en) | 1979-06-07 | 1984-05-31 | Japan Broadcasting Corp | Motion compensated interframe coding system |
| US4661849A (en) * | 1985-06-03 | 1987-04-28 | Pictel Corporation | Method and apparatus for providing motion estimation signals for communicating image sequences |
| FR2599577B1 (fr) * | 1986-05-29 | 1988-08-05 | Guichard Jacques | Procede de codage par transformation pour la transmission de signaux d'image. |
| FR2651399B1 (fr) * | 1989-08-29 | 1996-05-15 | Thomson Consumer Electronics | Procede et dispositif d'estimation et de codage hierarchise du mouvement de sequences d'images. |
| EP0466981B1 (en) * | 1990-07-20 | 1997-02-26 | Koninklijke Philips Electronics N.V. | Motion vector processing device |
| CA2079434A1 (en) * | 1991-09-30 | 1993-03-31 | Derek Andrew | Motion vector estimation, motion picture encoding and storage |
| JP3263960B2 (ja) * | 1991-10-22 | 2002-03-11 | ソニー株式会社 | 動きベクトル符号器および復号器 |
| EP0567697A1 (en) * | 1992-04-29 | 1993-11-03 | Yiu Keung Chan | Method for spatial domain image compression |
| US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
-
1994
- 1994-07-06 US US08/271,308 patent/US5594504A/en not_active Expired - Lifetime
-
1995
- 1995-05-18 CA CA002149683A patent/CA2149683A1/en not_active Abandoned
- 1995-06-28 EP EP95304549A patent/EP0691789A2/en not_active Withdrawn
- 1995-07-05 JP JP7169414A patent/JPH08214316A/ja not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010515399A (ja) * | 2007-01-03 | 2010-05-06 | サムスン エレクトロニクス カンパニー リミテッド | 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法 |
| US8385420B2 (en) | 2007-01-03 | 2013-02-26 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
| US9113111B2 (en) | 2007-01-03 | 2015-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
| US9113112B2 (en) | 2007-01-03 | 2015-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
| US9113110B2 (en) | 2007-01-03 | 2015-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
| US9313518B2 (en) | 2007-01-03 | 2016-04-12 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
| US9369731B2 (en) | 2007-01-03 | 2016-06-14 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
Also Published As
| Publication number | Publication date |
|---|---|
| US5594504A (en) | 1997-01-14 |
| CA2149683A1 (en) | 1996-01-07 |
| EP0691789A2 (en) | 1996-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08214316A (ja) | 移動映像面予測方法及び装置 | |
| US9967589B2 (en) | Method and apparatus for updating predictions when coding motion information | |
| US6381277B1 (en) | Shaped information coding device for interlaced scanning video and method therefor | |
| US6229854B1 (en) | Video coding/decoding apparatus | |
| CN1130919C (zh) | 用于编码包含在视频信号中的区域的轮廓的装置 | |
| CN1117482C (zh) | 利用基于特征点的运动估算编码视频信号的方法 | |
| KR100446235B1 (ko) | 다중 후보를 이용한 움직임 벡터 병합 탐색 방법 | |
| US6879633B2 (en) | Method and apparatus for efficient video processing | |
| CN111133759B (zh) | 编码或解码视频数据的方法和装置 | |
| EP0789973B1 (en) | Method and system for coding a sequence of segmented images, corresponding coded signal and storage medium, and method and system for decoding such a coded signal | |
| KR987001187A (ko) | 세그먼트 화상의 코딩 방법과 시스템, 및 디코딩 방법과 시스템(Segmented Picture Coding Method and System, and Corresponding Decoding Method and System) | |
| JPH08242458A (ja) | 動きベクトル検出方法 | |
| US5805221A (en) | Video signal coding system employing segmentation technique | |
| CN111163322B (zh) | 对基于历史运动矢量的索引进行映射的编码及解码方法 | |
| CN109936742B (zh) | 对视频序列进行编码的方法、编码装置和存储介质 | |
| JP3466162B2 (ja) | 画像復号化装置、及び画像復号化方法 | |
| JPH09327019A (ja) | 物体領域符号化装置 | |
| JPH09311941A (ja) | 適応輪郭符号化方法 | |
| US6263115B1 (en) | Method and apparatus for encoding a binary shape signal | |
| JP4490351B2 (ja) | 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体 | |
| CN113365080B (zh) | 串编码技术的编解码方法、设备及存储介质 | |
| JPH10507331A (ja) | 画像シーケンスを符号化し、符号化した信号を記憶媒体に対応させる方法およびシステムと、このような符号化信号を復号化する方法およびシステム | |
| KR100186267B1 (ko) | 적응적인 블록분할에 의한 움직임 추정 및 보상방법 | |
| JPH1023406A (ja) | 基準化可能な輪郭符号化における２方向頂点予測方法 | |
| Park et al. | Fast Motion Estimation Based on Binary Edge Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20021001 |