WO1993016556A1 - Method and apparatus for motion estimation - Google Patents

Description

'リ 1 細 ； 'ί

き 推 及びそ の ；？?

[ 枝術分 !PM

木発 njjは動 き 推定方法及びその装 i?f に係 り 、 特にデ ィ ジタル映像信 号を符号化する D P C M ( Di f ferent i a l u lse Code Modu lat ion)方 式にお いて 、 動 き べク ト ル ot i on vector)を決める動 き 推定時に生 成さ れるエ ラ 一 ：を川 いて さ ら に is細な： f力き 椎 ^を 可 に した ί力き 推 定方法及びその装 ^に RIする 。

[ if 技 J

--般に 、 ^鲜 I1M T V (IIDTV： H i sli DcT i n i I i on Tel ev i sion) , デ ィ ジタ ルビデオテーアレ コ ーダ（D i g i ta 1 VTR)、 マルチメ ジァ（ u I t i - ed i a ) 等のよ う に速 η的なデ ィ ジタ ル映像 ' を川いる映像処理装 Sにおい て 、 よ り 効果的に伝送デー タ を it縮す るための種 々 の符号化方式が提 案されて来たか、 その屮の一つがビデオ信 ^の各フ レーム I5Jに存する デー タ fli i¾i性を川いて符 "τ化する DI'CM符 η化お式であ る 。

DPCH方式において時 13的に隣接する フ レーム問の差分信号を符号化 する場合、 ^止映像を処理する 時に比べて動作映像を処理する際符号 化される デー タ塁が适かに多 く なる 短所がある 。

しか し 、 現在フ レームのいずれか特定プロ ッ ク が以前プロ ッ ク の ど の部分から勁いて 來たか、 即ち ¾在フ レ ームの特定映像が以前 フ レー ムの どの部分 と 一番 ¾似す るかが分かれば 、 その差異值は極めて 小さ い依を も-する ので効 的なデー タ 縮を !むこ と ができ る 。

従って 、 Df'CH力—式に勁き 推定を 川いれば、 ¾いに対応する以前フ レ —ムの所定の映儍ブ π ッ ク と 現在 フ レームの所定映像プロ ッ ク と の信 ,:に よ る少 ：；!：の ' :分デー タ を 化する こ と に よ り ί云送効率を 向上 さ せ う る 。

き 推 ¾方式にお いて は 、 ：1 き 映像、 miち フ レ ーム jに it力 き のあ る i域の動き 程度を ί力き べク ト ル と し 、 現在フ レーム内の動 き 映像が以 ίフ レ ームに比べて どの力- \ ]に どの . m いたかを ^出する こ と を勁 き 推定（Hotion Es ·₃1'_{Ι ΟΠ})と する 。

ま た 、 ίΐϊ記動 き 推定に応 じて以前 フ レ ームの ί3号 を動き べク ト ルほ ど移： 1 さ せる こ と を 力 き 袖 ^ (Hotion Co pcnsalion)と する 。

両素 位の動き 推定方法 と して は各种の方式が提案 さ れて いる 。 一 股に 、 時 f5]的に |¾接 した二つの フ レ ーム Iの勅き は正確に定数酉素 ^ 位でない可能性が いので、 定数 i ¾ Φ-位に ¾示さ れる ί力 き べク ト ル を も っ て 勅き 補 inをすれば動 き 補 に大 き なエ ラーが生ずる恐れがあ る 。 従っ て 、 こ のよ う な動き 補 fnエラー を減 らすためにサブビ ク セル

(sub-pixel；以下"副 S素"と 称する ） 位の動き ベク ト ル計^が要求さ れる 。 i w素 位と して ハー フ ビク セル（ h_a I r p i _xe 以下 " 半 a ") を j いる勅き 推定方法があ るが、 まず従来の方式に よ る 両素 位の 動 き 推定方法を简 ^に説明する .

1 の装置は Si ^フ レームの映像 ί 号が入力 さ れ Ν , X Ν ₂ ¾素よ り 構 成された映像ブ π ッ ク が形成される N， X N ₂ブ π ッ ク 形成部 1 と 、 以前 フ レ ームの映像信号が入力 さ れ M , X H ₂ iS素よ り ½成された映像ブロ ッ ク が形成される H , X M ₂探索 ^域形成部 2 と 、 N , X N ₂プロ ッ ク 形成部 1 及び M , X H ₂探索 {?|域形成部 2 の出力信号が入力 され酉素単位の動き べ ク ト ノレ M V 1 が検出 さ れ る 1 探 ^ , 3 と 、 N , X N ₂ブロ ッ ク 形成部 1 及び H , X H ₂探索 ί?ί域形成部 2 の出力 iS号が入力 され第 1 ^索部 1 で検 出 さ れた上述の ί力 き べク ト ル Μ V 1 に対応す る 以前フ レーム內の基準 ¾と その周辺 M を川いて m 辺の、 両素位^における映像 id - が ^出 される H;袖 ird部 4 と 、 N , χ N ₂ブロ ッ ク形成部 1 及び 両素補 部 4 の出力 号が入力 さ れ半 m 位の動き べク トル M V

2が出力 される ^ 2探索部 5 と 、 ？ Π 1 探索部 3及び第 2探索部 5の出 力信号 M V 1 、 M V 2が入力 され動 き べク トル M Vが出力 される合算 部 6から 成され 。

Ν, Χ Ν₂プロ ッ ク 形成部 1 には現在フ レームの映像信号が入力 され Ν, Χ Ν₂大き さ のプロ ッ ク を形成され、 Μ, Χ Μ₂探索領域形成部 2には以前 フ レームの映像信号が入力 され Μ, Χ Η₂大 き さ の探索領域が形成される. 第 1 探索 ¾ 3は現在フ レームの N, X N₂プロ ッ ク を以前フ レームの探索 m域内で両素 -位に移動させ 、 二つのブ π ッ ク |の雨素デー タの比較 で平均絶対誤差 （ iieaii absol ute e r r o r： Μ Λ E )ま たは平均二乗誤差

(■ean squared e r ro f : H S E )が ϋ小になる 位； FT:を探索領域内で捜 し出 し て定数画素単位の動きべク トル M V 1 を算出する ，

第 1 探索部 3で生成された定数 S素卑位の動き べク トル M V 1 は合 算部 6 と 半商素補 1部 4 に出力 される 。 半両素補問部 4は線形補圚法 を用いて以前フ レーム内で定数两素 -単位の動き べク トル M V 1 によ り 指定されたブロ ッ ク の基準画素 と その周辺两素から半画素值を計算し て第 2探索部 5 に出力する 。

図 2 において 、 " 〇 " は両素 ^位問隔を示 し 、 " X " は半画素単位 問隔を示す。 第 2探索部 5は既に ί られた定数 ^位の動きべク トル Μ V 1 に対応する以前 フ レームの映 ί£プロ ッ ク を上下左右に半 Η素ずつ 移動させ ^ られた 8 fWの ί素勅き べク ト ルの位 - X と動き べク トル Μ V 1 の位 ^の う ち ¾小の勅 き 補 fitエラ ーを 冇する位 ^を探 して半両 素位置の微細調整 tfiであ るベク ト ル成分 （ ― 1 2 ， 0 ， 1 ノ 2の う ち一つ ） を 定めて ίΜ力する 。 - - 合 部 6 は第 〗 探索部 3 か ら 出力する 定数 μ m単位の勅き べク ト ル

M V 1 と 2 探 'M部 力、 ら 出力す る T- -ぉ Φ.位の ί き ベク ト ル Μ V 2 を合算する こ と に よ り 動き 推定に ill い られる完全な動き べク ト ル M V を決定する 。 例え ば 、 合 ^部 £> は第 1 探索部 3 によ る 画素举位の動き ベク ト ル M V = ( X , y ) に ^ 2 索部 5 に よ る 半 ' 位勅き べク ト ル の左右成分一 1 2 を力 IIえ て勅き べク トノレ M V = x — 〗 / 2 ' y を決定す る 。

前述 した従来の方式—は両素 [.".1 m 位の勅き べク ト ルを wいて ブロ ッ ク 位置を決定 し 、 決定されたブ π ッ ク 位 と そのブロ ッ ク位置の周腿 に ^かれた S ¾■ の ¾ !."]に よ り ί' られた " hi W を川 て 8 1Wの T- Ρ^' 素動 き 位置、 即ち図 2 の " X " を平均絶対エラ一 M A Ε を川いて一々 計^ しなければ、 数 is 位の動き 推定時に生ずるエラーを みた 動き ベク ト ルが求め られない。 従っ て 、 - T-両素単位の勅き べク ト ルを 推定する ためのデー タ処理に長時 ι を要する 問 m点がある .

[ 発 の Iff!示 ]

前述 した問題点を解決するための木発明の 的は 、 現在フ レームの 所定映像ブロ ッ ク と 以前フ レーム内の映像ブロ ッ ク ί の動き べク トル の推定に fflいられたエラ ー ½の う ち Ρί ¾ 位の勅き べク ト ルに よ り 決 定された以前フ レーム内の所定映像ブ π ッ ク と そのブロ 、、, ク を左右上 下に 〗 両 ¾ [Γ·1 Ρπずつ移勅さ せ "f られた映 ί¾ブ π ッ ク の比 ^に よ るエ ラ 一値を生成 した後、 生成されたエ ラ 一僮の大き さ 比較を用 いて 副酉素 位の動き べク ト ルを推定する こ と に よ り 、 さ ら に微細な勅き 補 ^を 可 \ に した勁き 推 AL )Ϊ法を提供す る こ と であ る 。

木発明の他の Η 的は現在フ レ一ムの所定映像ブロ ッ ク と 以前 フ レー ム内の映像ブ π ッ ク Ι Ιの勁き べク トルの推定に川い られたエラー ifiの う ち両素单位の勁 き べク ト ルに よ り 決定された以前フ レーム内の所定 映像ブロ ッ ク と そのブ π ッ ク をふ： 上下に 1 lij ¾1隔ずつ移動 させ得 られた映像ブロ ッ ク に よ る エ ラ ー ifiを生成 した後、 生成されたエラ一 尬の大き さ比較を川 いて 副到 ¾ -位の勅き べク ト ルを推定する こ と に よ り 、 さ ら に微細な勅き 補 を 可能に した ^き 推定装 ^をお-供する こ と であ る 。

ίιυ述 した木発 »JJの 11的は 、 フ レ ームに ,ιの映像 ^を比較 して映 像の動き を推定する 方法にお いて 、 現在フ レームの映像信号からなる

1 映像プロ 、、, ク 及び以前 フ レー ムの映像 ^ からな る第 2映像ブロ ク を形成する 段階と 、 55 2 映像ブ π ッ ク 內に ^ し前記第 1 映像ブロ ッ ク と 同一のブロ ッ ク 大き さ を 有す る 多数の映像ブロ ッ ク の映像信号を 前記笫 1 映像ブ π ッ ク と 比較 して 多数の m :《を生成する段階と 、 前 記生成された誤差 を川いて 阀素 -位の動き べク トルである第 1 動き ベク トルを検出する 段陪 と 、 前 1 動き ベク トルの検出に川いられ た ¾差依の う ち前 Hil ?B 1 勁き べク ト ルに対応する以前フ レームの映像 プロ ッ クである ¾準映像プロ ッ ク及び基準映像ブロ ッ ク を左右上下に それぞれ 1 W素ずつ移動 した位 IT (の ^辺映像ブ π ッ ク と 前記第 1 映像 ブロ ッ ク 問の映像信号比較で生 じた所定 ¾差値を出力する段階と 、 前 記出力 された誤差 tfcを川 いて 半 ^位の第 2 動き べク トルを生成す る段階 と 、 ί½ M 1 ί力き べク ト ル及び？ 2 1 [力き べク トルをべク トル相 する段階を含むこ と を特徴 と する動き 推定方法によ り 達成される 。

ま た 、 氺允 »J]の他の 1 1的は フ レーム ΙΓ,Ιの映 i¾ を川いて 映像 の勁き を推定する ；？ F:にお いて 、 現在フ レ ームの映像信号が入力 され

1 映像ブロ ッ ク が形成される 丁:段 と 、 以前 フ レームの映像信号が入 力 され 2 映像ブ π ッ ク が形成される 币段 と 、 前記第 1 映像ブロ ッ ク 映像手段及び第 2 映像ブ π ッ ク 形成 段か らの出力映像信号が入力 さ れ m 位の動 き べ ク ト ルであ る 1 j力 べ ク ト ルを検出 し 、 検出 さ れた第 1 動き ベク ト ルに対応す る 以前 フ レ ーム内の基维映像ブロ ッ ク を 屮心と して上下 Λ·: に 1 ¾ ずつ栘 'Mさ せ 成された 1辺映像ブロッ ク と 前記基 ^映 ί ブ π ッ ク を前記 m 1 映像 ί ブ π ッ ク と 所定形 に映 像信号比較 して ¾ ¾ ¾ を 出力する 探索手段 と 、 前記探索手段か ら 出力 す る ¾差 eが入力 さ れ m -'Ά ½の 2 3¾き べク ト ルが生成される半 iij素調 半段と 、 od i 勅き べ ク ト ル及び 2 動 き べク トルが入力 さ れべク ト ル和 して 出力 さ れる 段を含む こ と を特徴 と する 動き 推定 ¾ に よ り ii成さ れる .

[ l¾l ifiiの（SI I な Iリ I I

図 1 は従来の勅き 推定装 を示 したブ U7 ッ ク Mであ る .

図 2 は H素単位 と 半两素 位を説明する ための概念図であ る .

図 3 は本発明の 適な一実 ½例に よ る ί力 き 推定装置を示 したブロ ッ ク ^であ る .

図 4 は図 3 の左右半 IS素調整部に対する詳細ブロ ッ ク図であ る . 図 5 Λ及び図 5 B は左お半 Pi 調整部の半 S尜単位動き べク ト ルの 決定方法を説明する ための概念 | であ る ，

[ % を実施する ための ¾ の形態 ]

以前フ レー ムの 索 域に対す る 現在フ レ ー ムの所定プロ ッ ク の動 き ベク ト ルは M V ( X , y ) と 表示 さ れ う る 。 こ こ で、 動き べク ト ル M Vは水平動き べ ク ト ル成分 X 及び ： ί力き べク ト ル成分 y を冇す る 。 後述べる副 ^rP-位のー种であ る τ ¾ ' 位を jnいて木発明を説

"JIする 。

1^1 3 は木発明の好適な一突施例によ る 勅き 推定装 を示すブロ ッ ク 1¾1であ る 。

図 3 の装置は 、 ¾在フ レ ーム の映像 — が人力 され N , X N ₂画素よ り 構成された映像ブロ ッ ク が形成される N， X N ₂ブロ ッ ク 形成手段 3 1 と > 以前フ レームの映像 ^が人力 さ れ H , X M ₂ ^ ¾よ り 構成された映像ブ π ッ ク が形成される H， X M ₂探^ ίϊί域形成 Γ:段 3 2 と 、 Ν , X Ν ₂ブロ ッ ク 形成手段 3 1 及び M， X M ₂探索領域形成手段 3 2 の出力信号が入力 され 素 ^位の動き べク ト ルである 1 ί力 き べク トル Μ V 1 が検出 され、 こ の検出 された勁き べク ト ル Μ V 1 に対応する以前フ レーム内の基举 画素を中心と して Ν , X H ₂大き さ を ίする ブロ ッ ク を上下左右に 1 画素 ずつ移勁さ せ k成さ れた 5 (Wの映 ブ π ッ ク と ¾在フ レーム內の映像 ブロ ッ ク 問のデー タ比較に よ る 差铕を 出力する探索手段 3 3 と 、 探

' r-段 3 3 から an；

から始ま り上下または 左右に半両素問隔を冇する動き べク トルである第 2動き べク トル M V 2 が計算される半两素調整手段 3 4 と 、 探索手段 3 3 からの動きべク トル Μ V 1 と半両素調整手段 3 4 か らの動き べク トル Μ V 2 が入力 さ れべク トル和 して 出力 される合 IT-手段 3 7 から IS成される 。

半商素調整手段 3 は第 2 動き べ ク ト ルの水平成分を検出する左右 半雨素調整部 3 5 と 、 第 2 動き べク ト ルの垂 S成分を検出する上下半 両素調整部 3 6 を備え る 。

[,",)的に隣接する 2 フ レームの映像 ί· " の う ち現在フ レームの映像 信号が Ν , X Ν ₂ブロ ッ ク 形成手段 3 1 に人力 されれば、 Ν , X Ν ₂ブロ ッ ク 形成手段 3 1 は人力する現在フ レームの映像 ^号を Ν , X Ν ²大き さ に貯 蔵する 。 現在フ レ ー ムの映像 ^入力 と 共に以前フ レームの映像信号 が Μ , X Μ ₂探索領域形成 ：段 3 2 に人力 される ので、 Μ , X Μ ₂探索領域形 成丁.！ ¾ 3 2 は入力 さ れる 以 !)：)' フ レー ム の映像 ί·Ί を Ν , X Ν ²ブ π ッ ク よ り 大き い H , X H ₂ブ π ッ ク 大き さ に貯 ^する 。 貯 が完了 さ れた H , X H ₂ 大き さ の探索領域の映像信号 と N , X N ₂ブ C? ッ ク の映像信号はそれぞれ H , X M ₂探索領域形成手段 3 2 と N , X N ₂プロ ッ ク 形成手段 3 1 から 出力 して 探索手段 3 3 に印加される 。

定数両素 - 位の動 き べク ト ルを川いて 3¾き 推定 した時の勅き 推定ェ ラー を P。と 定め 、 推定された勅き べク ト ルか ら上下左右に 1 画素ほ ど移 ί力さ せた時の ί力き 推 エラ 一 を それぞれ 1' , ' 、 f , , ' 、 Ρ - , . Ρ , と ¾める と 、 こ の 力き 推定エ ラ 一 I：は平 i 絶対 ¾差ま たは平均二 粱 差方式を）Hいて ^ さ れる .

こ の う ち平均絶対 ^ j式に よ っ て 左 の ί力 き 推定エラ一 P。、 Ρ Ρ -，を計 -する 公式は次の通 り であ る 。 N-1 -1

Ρο = ∑ ∑ |Υ(Ν m, Nl + n)-Y ' (ΝΛ + m + x, U + n + y)卜 ·'（1 ) m=0 η=0

N-1 N-1

Pi = ∑ ∑ |Y(N m, Νί + η)-Υ ' ( + x + 1 , Nい n + y )ト ··（ 2 ) m=0 n=0

N-1 N-1

P-l = ∑ ∑ I Y(N m, Nい n)-Y ' ( N m + x- 1 , N"n + y )ト ·（ 3 ) m=0 n=0 こ こ で、 Yは現在フ レームの映像信号 を示 し 、 Y ' は以前フ レームの 映像 "τを示 し 、 Ν , - Ν ₂ Νはブ π ッ ク の大 き さ を示す . ま た 、 上 I 式はフ レームの左 1-.段から （ k 、 ί ) 岙 Πのブ π ッ ク に対 して 示 した も のであ る 。 上下の勅 き 推定エ ラ ー Ρ 、 Ρ - , ' も 上記のよ う な計 η方法によ り *め られる 。

探 手段 3 3は現在フ レ一ムの映像ブ π ッ ク を 前記以前フ レームの 探索 . 内に存 し --な大 き さ を ^する 多奴の映像ブロ ッ ク と 画素卑 位にデー タ火き さ比較 して動き 推 エ ラー ^計^ し 、 動き 推定エラ一 が殺小になる 位？:を ^数两素 位の勅 き べク トル M V 1 と 決定 して合 n r r¾ 3 7 に出 す る 。 そ して 、 は ' r r¾ ^は ΓΙ·Ί述の，ιι ν. Λ ( ι )、

( 2 ) 、 （ 3 ) に よ り f'.}られた i)き 推 ^エ ラ ーの う ち ^数 ，お Jjl位の 勁 き べク トルによ り 決定 された以 ii フ レーム內の基準映像ブロ ッ ク と Ψ映像ブ π ッ ク を 1 —；ぉ ΙΓ.Ι ¾ずつ ,，: I . 卜 に 独 し て .成 された I 辺映像ブロ ッ ク に よ る動き 推定エ ラ ー P - ,、 Ρ ,、 Ρ。、 Ρ— , ' 、 I' , ' 、 I' 。を - ilii， m ft Γ· ¾ 3 4 に！1;力する 。 木 ¾ Hjjにおいて は 素 位動き べク ト ルの左右成分 と 上下成分を 1時に独立的に決定する が、 左右半酉素調整部 35と 上下半兩 調整部 36は问一な方式を用いる ので、 半兩素堆位動き べク ト ルの ί成分を決定する方法のみを説明 する 。

図 4 は ¾ 3の左も-半両素調整部に対する f 細ブロ ッ ク図である 。 図 4の装置は、 勅き 推定エラー P ,、 Ρ。、 Ρ - ,が入力 される三つの 入力端 4 1 、 4 2 、 4 3 と 、 第 1 入力端 4 1 の入力信号 Ρ ,と 第 2入 力 ¾Β 4 2の入力 ίΓΐ Ρ。を加 出力する？ Π 1 加 ΪΪ機 Λ 1 と 、 ^ 2入力 端 4 2の入力信号と 1 3入力端 4 3の人力 ^号 Ρ - ,を加算出力する第 2加算機 A 2 と 、 第 1 加^機 A 〗 の出力端に所定信号入力端を連結 し 人力 号を比較出力する第 1 比較 ¾ (： M 1 と 、 2加 S 機 A 2の出 力端に所定信号入力 ¾を連結 し入力 ί 号を比較出力する第 2比較器 C Μ Ρ 2 と 、 1 加 ΪΤ- Λ 1 の出 )) ； に所 係数を乗 t-して？ Π 2比較 器 C M P 2に出力する第 2乗 ^器 M 2 と 、 第 2柒 ίϊ器 A 2の出力信号 に所定係数を柬 ί?-して ^ 〗 比較 ¾ C Μ Ρ 1 に Mi力する §f5 1 jjl ίΤ-器 M 1 と 、 比較器 C Μ Ρ 1 、 C Μ Ρ 2の Mi力 ^号を 不定 ¾ϊ理和 して 出力する N O Rゲー ト Ν () Itを 備 え る 。 そ して 、 1 比較器 C M P 1 と N O R ゲー ト N O 11及び ^ 2比較器 C M P 2の出力 ίΓ号を 区分する三つの出 力端 4 4 、 4 5. 4 6 を備 え る 。

探 手段 3 3 か ら ,Τ, 力す る ill き 推 エ ラ 一 l> , 、 。、 I ，が半 Pil ^ 調整手段 3 4 の左 -半 ¾j索！ 手段 3 5 に人力 さ れれば、 第 】 加 n <S A 1 は第 1 信号入力端 4 1 を； 01 ¾する n ，か ら第 2 信号人力端 4 2 を通 じて 入力す る ^ 。を ¾ Χί-出力 し 、 第 2 加 ^撚 A 2 は第 3 \Λ 号入力端 4 3 を iifi ¾す る .，か ら ¾ 2 ί,;り 人力 ¾ 4 2 を通 じて 人 力する信号 Ρ 。を ^出力する 。 第 1 乗 ^器 M l と 第 2 乘算器 M 2 は それぞれの入力 i ^Lに所定係数 k を乘 ^ して そ れぞれの出力端に された比較器 C M ！' 、 C M 1> 2 に出力する 。 P 。に対する P - ,の 異 ί a及び P 。に Wする ，の ： \'k i b が第 2 比 器 C M 2 及び ^ 1 比較器 C M P 1 にそれぞれ入力 さ れれば、 笫 比較器 C M P 1 は 1 加 機 A 1 の出力 ^号 と 第 1 ¾ Ϊ S M の出 力信号を比較出力 し 、 ,

2 比較器 C M P 2 は！ 2 加 : Κ Λ 2 の出力 と 第 2 粱 J): M 2 の出 力信号を比較出力する .

f¾l 5 Λ及び M 5 B はん： - Phj fcj ¾部の . fi ijt位： ftき べ ク ト ルの 決定方法を説明するための概念図であって 、 ¾ 5 Aは半画素举位の勅 き べク ト ルが W ?)1位勅き べク トルから左 i!Sに ^する B を示 し 、 |¾] 5

Bは半商 -位の isき べク ト ルが i 位 jjき べク ト ルか ら mに する 時を示す。

5 A において 、 1' ,が .，よ り ； £かに人 き い ίを する こ と < 即 ち 、 図 5 Β が図 5 Λ よ り 大き い ifiを冇する こ と ） は 力き ベク ト ル M V が -位 と 推 ^さ れた 1 力き べ ク ト ル M V 1 から左 に i¾ 1 / 2 あた り に する こ と を总味す る . ["1はに 、 M 5 Γ5 において は い 。を 基準 と して P - ,が P ,よ り 这かに大き い : を -す る こ と （ 即ち 、 | 5S Aが^ 5 B よ り 大き い ifiを する こ と ） は： ¾き ベク トル M Vが |!i ϊ 位 と 推定された動き べク ト ル M V 1 から 惻に β¾ 1 2 当た り に位置 する こ と を怠味す る 。

図 5 A にお いて 。を基準 と して ，力； ，よ り 大き い炕を有する場 合は、 第 1 比較器 C M P 1 の出力端 4 4 のみが " ハイ " になる ので、 左右半両素調整部 3 5 は ^ 2 勁き べク ト ルの水平成分 «Ϊを " ― 1 / 2 " に出力する 。

図 5 B において 、 P 。を基 ^ と して P ,が P ,よ り JIかに大き い值を する場合は 、 2比敉器 C M P 2 の出力端 4 6 のみが " ノ、ィ " にな るので、 左右半 ^ 整部 3 5 は ^ 2 勅 き べク トルの水平成分 iTlを " 1 / 2 " に出力する 。 Ρ 。を ½準 と して ！ > ,と Ρ - ,のいずれも他！！？！に 比べて大き い βを — しない場合は、 二つの比較器 C M P 1 , C M P 2 の出力端 4 4 、 4 G の全て が " ロー " になる ので、 これが印加される N O Rゲー ト N O Rの出力端 4 5 は " ノヽィ " にな り 、 第 2動き べク ト ルの水平成分は " 0 " に出力 さ れる ，

合 币段 3 7 は； Π 2 勁き ベク ト ル M V 2 が人力 され^索手段 3 3 か ら得られた画素 位動き べク ト ル M V 1 に加え る こ と によ り半酉素単 位の動き ベク ト ルを推定する 。

前述 した通 り の木究 の動き 推定及びその装置は、 酉素単位の動き べク トル検出に川い られる |¾差 :の う ち検出 される動き べク トルに対 応する以前フ レーム內の映像ブロ ッ ク 及びその映像ブロ ッ ク を左右上 下にそれぞれ 1 両索ずつ移動 して 生成される 映像プロ ッ ク と 動き推定 し ょ う と する現在フ レーム内の映像ブロ ッ ク I の映像信号を比較 して i を ^成 し 、 'ι·:成された _?T: を 上下に比較 して半两素 -位動き べク ト ルの垂直成分を検出 し 、 左 に比較 して 半画素 位動き べク ト ルの水 f-成分を検出する こ と に よ り 、 T- n -位の勁き べク トル検出 に必要な信号処理 ¾が大幅に らせ る 。

I \：の利川分 ' f ]

木発明はデ ィ ジタ ル映像信号を符 y_r化する _D p c M方式における さ ら に微細な動き 推定を可能にする勅 き 推定方法及びその装置に利用で き る 。

Claims

許 求の ¾ m

1 - ι¾ϋ フ レ ー ム ΙΓ,Ι ο)映 m u '； を比 n して 映 ί¾の 力 さ を «t -ALす る 法 にお いて 、

現在フ レームの映像 か ら なる ？ π 1 映像ブロ ッ ク及び以前フ レー ムの映像信号からな る 2 映像ブ π ッ ク を形成する段階と 、

第 2 映像ブロ ッ ク 内に存 し前記第 1 映像ブ π ッ ク と 同一のブロ ッ ク 人き さ を —する ¾ ¾の映 ifeブ π ッ ク の映 {¾ f.i リ を |'|¾ , m 1 映像ブ口 ッ ク と 比較 して 多数の； ¾ を 成する 段階と 、

前記生 された is差值を川いて 兩素卑位の動き べク トルであ る第 1 勁き べク トルを検出する段 Ri と 、

前記第 1 動き ベク ト ルの検出に Jljい られた誤差望の う ち前記第 1 動 き ベク ト ルに対応する以前フ レーム の映像ブロ ッ ク であ る基準映像ブ 口 ッ ク及び基準映像プロ ッ ク を左右上下にそれぞれ 1 画素ずつ移動 し た位置の周辺映像ブロ ッ ク と 前記笫 1 映像ブロ ッ ク 問の映像信号比較 で生じた所定 ift f: を 出力する κ陪と 、

前記出力 された IS差 iSを用いて半画素 ijl位の第 2動き ベク トルを生 成する段階と 、

前記第 1 動き べク 卜ル及び？ n 2 勅き べク ト ルをべク ト ル和する段階 を含むこ と を特 ίδ と する動き 推定方法。

2 - 前！E 2 勁 き べク ト ル .成 附は 、 « 映 ί ブ π ッ ク 及び ¾ 映 像プロ ッ ク の左右に位置す る 前記周辺映像プロ ッ ク を前記第 1 映像ブ ロ ッ ク と 所定形 mに映像 ί 比 して Oi ¾ ^を 成 し 、 ^成された IA ¾ ( の大き さ を比較 して 2 き ベ ク ト ルの水 -成分を検出する段階 と 、 基準映像ブ π ッ ク 及び ) 映 ブ ッ ク の 下に位 [する前記周 辺映像ブロ ッ ク を ι¼記 1 映像ブ π ッ ク と 所定形態に映像信号比較 し て ¾差 tiを生成 し 、 生成さ れた！？ 差 ^の大 き さ を比較 して第 2 動き べ ク 卜 ルの ιίι;成分 を 検出す る η ·Ϊ を rむ こ と を s と す る 求 1 Jd ^の : ι¾ き 推 Λ法。

3 · 前記大き さ 比較 κ階は 、 大き さ 比較で 小の m差 eに対応する 映

5 像ブロ ッ ク の位 ^を第 2 勅き べク ト ルのべク ト ル成分に出力する こ と を特 ίδ と する請求 ΙΠ 2 項記載の勅き 推定方法。

Λ · 隣接フ レーム IA1の映像 m り ·を ）11 いて 映像の ί力き を推定する装 Sに お いて 、

現在フ レーム の映像信号が入力 さ れ第 1 映像プロ ッ ク が形成される0 Ϊ-段と 、

以前フ レームの映像信号が入力 さ れ第 2 映像ブロ ッ ク が形成される 手段 と 、

前記第 1 映像ブロ ッ ク 映像手段及び第 2 映像ブロ ッ ク形成手段から の出力映像信号が入力 され画素 位の勅き べク ト ルであ る第 1 動き べ ク ト ルを検出 し 、 検出さ れた笫 1 動き べク ト ルに対応する以前フ レー ム内の基準映像ブ ο ッ ク を 中心 と して 上下左右に 1 画素ずつ移動さ せ 生成された周辺映像プロ ッ ク と 前記基準映像ブロ ッ ク を前記第 1 映像 像プロ ッ ク と 所定形態に映像信号比較 して ¾差 ί?ίを 出力する探索手段 と 、

20 ii¾ ih! ^ ΐ段か ら 出力す る ^ ί が人力 さ れ Ρΐίί尜 位の 2勅き べク ト ルが生成され る Τ- 素調 手段 と 、

i¼記第 1 動き べ ク ト ル及び第 2 勅 き べ ク ト ルが入力 されべク ト ル和 して 出力 さ れる T- κ を ^むこ と を us と す る ： f力 き 推定装 。

5 - 半両素調整 は 、 前記 映像ブ π ッ ク 及び基準映像プロ ッ ク 5めふ: に位 i?rする i¼ 辺映像ブ π ッ ク を i¾ ; 1 映像ブ π ッ ク と 信 号比較 して生成さ れる ifi差伊-を 入力 さ れ大き さ 比較 して第 2 動き べク 卜 ルのん： )> |"|のべ ク ト ル成分 を .成 4 h . T fii j}5 M ,¾ と 、 ii .id ¾準映像プロ ッ ク 及び％準映像ブ π ッ ク の上下に位！!？する前記周辺映 像ブロ ッ ク を 前， 1 映像ブ π ッ ク と ； 比較 して生成された ITi差億 を入力 され大き さ比較 して第 2 動き べク ト ルの上下方向のベク トル成 分を生成する上下 T-両素調整部を備え る こ と を特徴と する請求項 4項 lid ί!ΐの勅き 推定装？？。