JPH07107486A - 階層的動ベクトル検出方法 - Google Patents

階層的動ベクトル検出方法

Info

Publication number
JPH07107486A
JPH07107486A JP25030993A JP25030993A JPH07107486A JP H07107486 A JPH07107486 A JP H07107486A JP 25030993 A JP25030993 A JP 25030993A JP 25030993 A JP25030993 A JP 25030993A JP H07107486 A JPH07107486 A JP H07107486A
Authority
JP
Japan
Prior art keywords
motion vector
image
reduced
reduced image
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP25030993A
Other languages
English (en)
Other versions
JP3001754B2 (ja
Inventor
Hisanori Ono
尚紀 小野
Yutaka Watanabe
裕 渡辺
Hiroyuki Tsuji
裕之 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP25030993A priority Critical patent/JP3001754B2/ja
Publication of JPH07107486A publication Critical patent/JPH07107486A/ja
Application granted granted Critical
Publication of JP3001754B2 publication Critical patent/JP3001754B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】入力画像に複数の動きが含まれる場合でも,演
算量を増加させることなく実際の動きを反映した動ベク
トルを検出し,動き補償フレーム間符号化方式の符号化
効率を改善することを目的とする。 【構成】原画像100 から水平,垂直に1/m,1/nの
サイズに縮小した縮小画像300 を作成し,小領域分割部
400 によって動ベクトルを検出する単位のブロック301
に分割するとき,原画像100 でのブロック101 がk画素
×jラインであれば,縮小画像300 のブロック301 のサ
イズをk/m画素×j/nラインとし,画像の縮小率と
等しい割合で縮小したブロックサイズでブロックマッチ
ングを行う。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は,動画像の高能率符号化
方式等に用いる階層的動ベクトル検出方法に関するもの
である。
【0002】
【従来の技術】動画像の圧縮符号化方式としてフレーム
間予測符号化が用いられており,またフレーム間予測符
号化において予測誤差を減少させるために,ブロック単
位にフレーム間の動ベクトルを推定して動き補償を行う
方式が用いられている。この動き補償フレーム間符号化
方式において,さらに効率的に動ベクトルを求めるため
に,原画像を縮小した縮小画像を用いて,階層的に動ベ
クトルを検出する方法も用いられている。
【0003】従来の階層的動ベクトル検出方法では,例
えば次のように動ベクトルを検出していた。原画像をk
画素×jラインのブロックに分割し,それらのブロック
毎に動ベクトルを検出するものとする。
【0004】 原画像を水平,垂直方向に縮小係数m
1 ,n1 を用いて1/m1 ,1/n 1 (m1 ,n1 は任
意の自然数)に縮小した画像を作成する。 この縮小画像からさらに水平,垂直方向に縮小係数
2 ,n2 を用いて1/m2 ,1/n2 (m2 ,n2
任意の自然数)に縮小した画像を作成する。
【0005】 以上の縮小操作を,縮小係数mc ,n
c までc回(cは任意の自然数)繰り返した後,そのc
回縮小した縮小画像cで検出単位をk画素×jラインの
ブロックとして動ベクトルを検出する。
【0006】 検出された動ベクトルを水平,垂直方
向にmc ,nc 倍(mc ,nc は縮小画像cの縮小係
数)したベクトルを初期値として,対応するmc ×nc
個のすべてのブロックに同じ初期値を与え,縮小画像
(c−1)上で初期値の周辺を探索して動ベクトルを検
出する。
【0007】 同様に,縮小画像(c−1)上で検出
された動ベクトルを水平,垂直方向にmc-1 ,nc-1
したベクトルを初期値として,対応するmc-1 ×nc-1
個のブロックに与え,縮小画像(c−2)上で初期値の
周辺を探索して動ベクトルを検出する。
【0008】 以上の操作を,原画像上での動ベクト
ル検出まで繰り返し,最終的な動ベクトルを求める。 以上のような従来の階層的動ベクトル検出方法では,縮
小画像上での検出単位であるブロックの大きさは,原画
像に対する検出単位と同じであった。
【0009】
【発明が解決しようとする課題】従来方法では動ベクト
ルを検出する際,縮小画像での動ベクトル検索には原画
像のブロックと同じサイズのブロックを用いていた。画
像を縮小してもブロックサイズが固定であるため,縮小
率が高くなるに従い,ブロックの画像中に占める割合が
増加する。その結果,一つのブロック内に複数の異なる
動きを持つ物体が含まれる確率が高くなるが,一つのブ
ロックに対して動ベクトルは一つしか与えられないた
め,物体毎の正しい動きを検出することができないケー
スが多くなる。
【0010】ブロックサイズ固定の場合,縮小画像での
1ブロックは上位階層画像(縮小の際,その元となる画
像)での複数のブロックに相当する。例えば,上位階層
画像に対して水平,垂直それぞれ1/mi ,1/ni
サイズに縮小した画像での1ブロックは,上位階層画像
でのmi ×ni ブロックに対応する。階層的動ベクトル
検出では,縮小画像において求まった動ベクトルは水
平,垂直方向にそれぞれmi ,ni 倍され,上位階層画
像での動ベクトル検出における初期値として用いられ
る。上位階層ではこの初期値の周囲を探索する。従来法
ではmi ×ni ブロックすべてに同じ初期値が与えられ
るため,上位階層での探索範囲が十分でない場合,動物
体の境界部分では実際の動きと異なる画一的な動きしか
検出されない。上位階層での探索範囲を広くすることで
この状態を回避できるが,演算量の増加を招く。
【0011】本発明の目的は上記問題点を解決し,階層
的動ベクトル検出方法において,入力画像に複数の動き
が含まれる場合でも,演算量を増加させることなく実際
の動きを反映した動ベクトルを検出し,動き補償フレー
ム間符号化方式の符号化効率を改善することにある。
【0012】
【課題を解決するための手段】従来の階層的動ベクトル
検出方法では,入力画像の輝度信号から縮小画像を作成
し,各縮小画像上で動ベクトルを求める際に,縮小画像
においても原画像のブロックと同じサイズのブロックを
用いていたのに対し,本発明は,画像サイズに比例した
サイズのブロックを使用してブロックマッチングを行う
ことを特徴とする。原画像でのブロックがk画素×jラ
インのとき,原画像を水平,垂直方向に1/m,1/n
のサイズに縮小した画像では,ブロックのサイズはk/
m画素×j/nラインのサイズに縮小される。
【0013】
【作用】本発明は,階層的動ベクトル探索において,ブ
ロック内に複数の異なる動きを含む影響により実際と異
なる動きを検出する可能性を減らすために,縮小画像に
おいてはマッチングを行うブロックも画像の縮小率と等
しく縮小したサイズのものを用いる。図1は,その原理
を示す図である。
【0014】原画像100がa×bの画素からなり,こ
れをk画素×jラインのブロック101に分割して,そ
れらの各ブロック毎に動ベクトルを検出するとする。縮
小画像作成部200により,原画像を水平,垂直方向に
それぞれ1/m,1/nのサイズ,すなわち(a/m)
×(b/n)に縮小した場合,小領域分割部400で
は,その縮小画像300における動ベクトルの検出単位
となるブロックのサイズを,k/m画素×j/nライン
とし,このサイズのブロックについてマッチング誤差計
算が実行されるようにする。画像を縮小する操作を複数
回繰り返す場合も同様である。
【0015】以上のようにすることにより,原画像の1
ブロックは縮小画像の1ブロックに対応し,入力画像に
複数の異なる動きが含まれる場合でも,実際の動きを反
映した動ベクトルが検出される。
【0016】
【実施例】図2は本発明を実施する動ベクトル検出回路
の例を示す図である。図2おいて,1は現在フレームの
画像信号,2はフレームメモリ,3は現在フレーム原画
像,4は縮小画像作成部,5は現在フレーム第1縮小画
像,6はフレームメモリ,7は現在フレーム第1縮小画
像,8は縮小画像作成部,9は現在フレーム第2縮小画
像,10はフレームメモリ,11は参照フレームの画像
信号,12はフレームメモリ,13は参照フレーム原画
像,14は縮小画像作成部,15は参照フレーム第1縮
小画像,16はフレームメモリ,17は参照フレーム第
1縮小画像,18は縮小画像作成部,19は参照フレー
ム第2縮小画像,20はフレームメモリを表す。
【0017】また,21は現在フレーム第2縮小画像読
み出しのアドレス信号,22は現在フレーム第2縮小画
像,23は現在フレーム第1縮小画像読み出しのアドレ
ス信号,24は現在フレーム第1縮小画像,25は現在
フレームの原画像読み出しのアドレス信号,26は現在
フレームの原画像,27は参照フレームの原画像読み出
しのアドレス信号,28は参照フレームの原画像,29
は参照フレーム第1縮小画像読み出しのアドレス信号,
30は参照フレーム第1縮小画像,31は参照フレーム
第2縮小画像読み出しのアドレス信号,32は参照フレ
ーム第2縮小画像を表す。
【0018】また,33は現在フレーム第2縮小画像の
小領域分割器,34は現在フレーム第1縮小画像の小領
域分割器,35は現在フレーム原画像の小領域分割器,
36は参照フレーム原画像の小領域分割器,37は参照
フレーム第1縮小画像の小領域分割器,38は参照フレ
ーム第2縮小画像の小領域分割器,39は現在フレーム
第2縮小画像のブロック信号,40は現在フレーム第1
縮小画像のブロック信号,41は現在フレーム原画像の
ブロック信号,42は参照フレーム原画像のブロック信
号,43は参照フレーム第1縮小画像のブロック信号,
44は参照フレーム第2縮小画像のブロック信号を表
す。
【0019】また,45はマッチング誤差計算部,46
は差分値,47は比較器,48はブロック差分最小値が
格納されるメモリ,49はアドレスデータ,50はアド
レスメモリ,51はアドレスデータ(縮小画像での動ベ
クトル),60は第1の現在フレーム縮小部,61は第
2の現在フレーム縮小部,62は第1の参照フレーム縮
小部,63は第2の参照フレーム縮小部を表す。
【0020】現在フレームの画像1は,フレームメモリ
2に蓄えられる。縮小画像作成部4は,フレームメモリ
2に蓄積された画像3から水平,垂直方向に1/m1
1/n1 のサイズに縮小した画像5を作成し,フレーム
メモリ6に蓄積する。縮小画像作成部8では,縮小され
た画像7をさらに水平,垂直方向に1/m2 ,1/n 2
のサイズに縮小し,フレームメモリ10に蓄える。参照
フレームの画像11も現在フレームの画像と同様に,フ
レームメモリ12に蓄積された後,縮小画像作成部14
において縮小され,フレームメモリ16へと蓄えられた
後,さらに縮小画像作成部18での縮小,フレームメモ
リ20への蓄積が行われる。
【0021】フレームメモリ10に蓄えられた現在フレ
ームの縮小画像22が(x,y)の2座標からなるアド
レス信号21の値をオフセット値として読み出され,小
領域分割器33に入力される。小領域分割器33では現
在フレーム縮小画像22を{k/(m1 ×m2 )画素}
×{j/(n1 ×n2 )ライン}のブロックに分割し,
現在フレームブロック信号39を出力する。同様に,参
照フレームの縮小画像32が小領域分割器38によって
ブロックに分割され,参照フレームブロック信号44と
して出力される。現在フレームブロック信号39および
参照フレームブロック信号44は,マッチング誤差計算
部45に入力される。
【0022】マッチング誤差計算部45では,ブロック
間の差分値46を比較器47へと出力する。比較器47
は最小値メモリ48を有しており,入力された差分値4
6がメモリ48に蓄えられている値より小さければメモ
リ48の値を更新し,その2座標(x,y)からなるア
ドレス49をアドレスメモリ50に記録する。縮小画像
における動ベクトルの探索範囲で上記の操作を終了した
後,アドレスメモリ50には縮小画像上での動ベクトル
が蓄えられている。
【0023】次に,フレームメモリ6に蓄えられた現在
フレームの縮小画像24が小領域分割器34に入力され
る。小領域分割器34では現在フレーム縮小画像24を
k/m1 画素×j/n1 ラインのブロックに分割し,現
在フレームブロック信号40を出力する。同様に,参照
フレーム縮小画像30が小領域分割器37に入力される
が,最もサイズの小さい縮小画像を除く動ベクトル検出
は,上位階層で検出された動ベクトルを初期値とする。
そのため,このとき読み出すオフセット値は縮小画像で
の動ベクトル分だけシフトする必要がある。アドレス信
号29は,アドレスメモリ50からの(x,y)出力値
(アドレスデータ51)を水平,垂直でm2 ,n2 倍し
た値を加えたものとなる。アドレス信号29に従って読
み出された参照フレーム縮小画像30は小領域分割器3
7に入力され,参照フレームブロック信号43として出
力される。縮小画像のときと同様に差分値計算と比較が
行われる。
【0024】フレームメモリ2に蓄えられた現在フレー
ムの原画像26が小領域分割器35に入力される。小領
域分割器35では現在フレーム原画像26をk×jのブ
ロックに分割し,現在フレームブロック信号41を出力
する。参照フレーム原画像28は,アドレスメモリ50
からの(x,y)出力値51を水平,垂直でm1 ,n 1
倍した値を加えたものをオフセット値として小領域分割
器36に入力されることにより,参照フレームブロック
信号42として出力される。縮小画像のときと同様に差
分値計算と比較が行われる。
【0025】探索範囲に対する上記操作が終了した時,
アドレスメモリ50には検出された動ベクトルが蓄えら
れている。図3は本発明を実施する他の動ベクトル検出
回路の例を示す図である。
【0026】前述した図2に示す実施例は階層数が3の
例であるが,図3に示すように,現在フレーム縮小部6
0と現在フレーム縮小部61の間に,縮小画像作成部7
1,フレームメモリ72,小領域分割器73からなる現
在フレーム縮小部70を加え,また,参照フレーム縮小
部62と参照フレーム縮小部63の間に,縮小画像作成
部81,フレームメモリ82,小領域分割器83からな
る参照フレーム縮小部80を加えることにより,階層数
が4の場合に対応することができる。
【0027】階層数が3,階層数が4に限らず,同様に
現在フレーム縮小部をフレームメモリ6の出力と縮小画
像作成部8の入力の間に,また参照フレーム縮小部をフ
レームメモリ16の出力と縮小画像作成部18の間に,
それぞれ(階層数−3)個接続することで3以上の任意
の階層数に対応できる。
【0028】また,階層数が2の場合には,図2におい
て,現在フレーム縮小部60を削除し,フレームメモリ
2の出力である現在フレーム原画像3を縮小画像作成部
8の入力とするとともに,参照フレーム縮小部62も削
除し,フレームメモリ12の出力である参照フレーム原
画像13を縮小画像作成部18の入力とすることにより
同様に実現することができる。
【0029】
【発明の効果】以上説明したように,本発明によれば,
動き補償フレーム間符号化において階層的動ベクトル探
索を用いる際に,複数の異なる動きを含む画像に対して
も演算量を増加させることなく正確な動ベクトル推定が
可能となる。これにより動き補償フレーム間予測が有効
になる符号化効率が改善される。
【図面の簡単な説明】
【図1】本発明の原理説明図である。
【図2】本発明を実施する動ベクトル検出回路の例を示
す図である。
【図3】本発明を実施する他の動ベクトル検出回路の例
を示す図である。
【符号の説明】
100 原画像 101 検出単位のブロック 200 縮小画像作成部 300 縮小画像 301 検出単位のブロック 400 小領域分割部

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 原画像をk画素×jラインのブロックに
    分割し,それらのブロック毎に動ベクトルを検出する方
    法であって, 原画像を水平,垂直方向に縮小係数m1 ,n1 を用いて
    1/m1 ,1/n1 (m1 ,n1 は任意の自然数)に縮
    小した画像を作成し,この縮小画像からさらに水平,垂
    直方向に縮小係数m2 ,n2 を用いて1/m2 ,1/n
    2 (m2 ,n2は任意の自然数)に縮小する操作を,縮
    小係数mc ,nc までc回(cは任意の自然数)繰り返
    した後,そのc回縮小した縮小画像cで動ベクトル検出
    を行い,検出された動ベクトルを水平,垂直方向に
    c ,nc 倍(mc ,nc は縮小画像cの縮小係数)し
    たベクトルを初期値として,(c−1)回の縮小画像
    (c−1)における初期値の周辺で動ベクトル検出を行
    い,その縮小画像(c−1)上で検出された動ベクトル
    を水平,垂直方向にmc-1 ,nc-1 倍したベクトルを初
    期値として,(c−2)回の縮小画像(c−2)におけ
    る初期値の周辺で動ベクトル検出を行う操作を,原画像
    上での動ベクトル検出まで繰り返し,最終的な動ベクト
    ルを検出する階層的動ベクトル検出方法において, 縮小画像d(lは1≦d≦cを満たす整数)上での検出
    単位のブロックを,縮小画像を得る縮小係数m1
    2 ,…,md の積Md とn1 ,n2 ,…,nd の積N
    d を用いて,k/Md 画素×j/Nd ラインのサイズに
    設定して初期値を求めることを特徴とする階層的動ベク
    トル検出方法。
JP25030993A 1993-10-06 1993-10-06 階層的動ベクトル検出装置 Expired - Lifetime JP3001754B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25030993A JP3001754B2 (ja) 1993-10-06 1993-10-06 階層的動ベクトル検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25030993A JP3001754B2 (ja) 1993-10-06 1993-10-06 階層的動ベクトル検出装置

Publications (2)

Publication Number Publication Date
JPH07107486A true JPH07107486A (ja) 1995-04-21
JP3001754B2 JP3001754B2 (ja) 2000-01-24

Family

ID=17205995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25030993A Expired - Lifetime JP3001754B2 (ja) 1993-10-06 1993-10-06 階層的動ベクトル検出装置

Country Status (1)

Country Link
JP (1) JP3001754B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169766B1 (en) 1997-08-26 2001-01-02 Matsushita Electric Industrial Co., Ltd. Method and apparatus for detecting motion vector and image coding apparatus
JP2007096696A (ja) * 2005-09-28 2007-04-12 Canon Inc 画像処理装置及び画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224490A (ja) * 1989-02-27 1990-09-06 Victor Co Of Japan Ltd 動きベクトル検出回路
JPH034686A (ja) * 1989-06-01 1991-01-10 Victor Co Of Japan Ltd 動きベクトル検出方式
JPH03117991A (ja) * 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
JPH04177992A (ja) * 1990-11-09 1992-06-25 Victor Co Of Japan Ltd 階層性を有する画像符号化装置
JPH05501188A (ja) * 1990-06-06 1993-03-04 トムソン―セーエスエフ 画像の一連の動きについての階層的推定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224490A (ja) * 1989-02-27 1990-09-06 Victor Co Of Japan Ltd 動きベクトル検出回路
JPH034686A (ja) * 1989-06-01 1991-01-10 Victor Co Of Japan Ltd 動きベクトル検出方式
JPH03117991A (ja) * 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
JPH05501188A (ja) * 1990-06-06 1993-03-04 トムソン―セーエスエフ 画像の一連の動きについての階層的推定方法
JPH04177992A (ja) * 1990-11-09 1992-06-25 Victor Co Of Japan Ltd 階層性を有する画像符号化装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169766B1 (en) 1997-08-26 2001-01-02 Matsushita Electric Industrial Co., Ltd. Method and apparatus for detecting motion vector and image coding apparatus
JP2007096696A (ja) * 2005-09-28 2007-04-12 Canon Inc 画像処理装置及び画像処理方法
JP4590335B2 (ja) * 2005-09-28 2010-12-01 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP3001754B2 (ja) 2000-01-24

Similar Documents

Publication Publication Date Title
JP3037383B2 (ja) 画像処理システム及びその方法
US5706059A (en) Motion estimation using a hierarchical search
US9100537B2 (en) Object tracking using graphics engine derived vectors in a motion estimation system
JP3031152B2 (ja) 動き予測プロセッサ及び動き予測装置
JPH0568155B2 (ja)
US20060098886A1 (en) Efficient predictive image parameter estimation
JPH0262180A (ja) 動画像の動き補償予測符号化方式
CN112911302A (zh) 一种面向动态点云几何信息压缩的新型合并预测编码方法
JP2004128702A (ja) フレーム補間方法
JPH0846968A (ja) 階層的動ベクトル検出方法および装置
JPH07107486A (ja) 階層的動ベクトル検出方法
JPH04189093A (ja) 動き補償装置
JPH0478286A (ja) 初期偏位ベクトルを用いた動きベクトルの検出方法
JP3724653B2 (ja) 動き量検出方法及び動き量検出装置
JP2878580B2 (ja) 階層的動ベクトル検出方法
JP3941900B2 (ja) 動きベクトル検出装置
JPH08242454A (ja) グローバル動きパラメタ検出方法
JP3171249B2 (ja) 動画像符号化の動きベクトル探索方法
JPH07264598A (ja) 動き補償方法、動きベクトル検出回路および動き補償回路
US20070070059A1 (en) Refinement of block motion estimate using texture mapping
JP3001753B2 (ja) 動ベクトル検出方法
JP2866321B2 (ja) 動きベクトル探索方法および装置
JPH08116541A (ja) 画像符号化装置
JP3271387B2 (ja) 動き量検出装置及び動き量検出方法
JPH10136374A (ja) 動ベクトル予測装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071112

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091112

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101112

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101112

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111112

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111112

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121112

Year of fee payment: 13

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121112

Year of fee payment: 13

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 14

EXPY Cancellation because of completion of term