JP2911055B2 - 動き推定方法及びその装置 - Google Patents

動き推定方法及びその装置

Info

Publication number
JP2911055B2
JP2911055B2 JP5513958A JP51395893A JP2911055B2 JP 2911055 B2 JP2911055 B2 JP 2911055B2 JP 5513958 A JP5513958 A JP 5513958A JP 51395893 A JP51395893 A JP 51395893A JP 2911055 B2 JP2911055 B2 JP 2911055B2
Authority
JP
Japan
Prior art keywords
video
motion vector
video block
pixel
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5513958A
Other languages
English (en)
Inventor
濟昌 鄭
▲祐▼演 安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sansei Denshi Co Ltd
Original Assignee
Sansei Denshi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sansei Denshi Co Ltd filed Critical Sansei Denshi Co Ltd
Application granted granted Critical
Publication of JP2911055B2 publication Critical patent/JP2911055B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 ［技術分野］ 本発明は動き推定方法及びその装置に係り、特にディ
ジタル映像信号を符号化するDPCM（Differential Pulse
Code Modulation）方式において、動きベクトル（moti
on vector）を決める動き推定時に生成されるエラー値
を用いてさらに微細な動き推定を可能にした動き推定方
法及びその装置に関する。
［背景技術］ 一般に、高鮮明TV（HDTV:High Definition Televisio
n）、ディジタルビデオテープレコーダ（Digital VT
R）、マルチメジア（multi−media）等のように連続的
なディジタル映像信号を用いる映像処理装置において、
より効果的に伝送データを圧縮するための種々の符号化
方式が提案されて来たが、その中の一つがビデオ信号の
各フレーム間に存するデータ相関性を用いて符号化する
DPCM符号化方式である。
DPCM方式において時間的に隣接するフレーム間の差分
信号を符号化する場合、静止映像を処理する時に比べて
動作映像を処理する際符号化されるデータ量が遥かに多
くなる短所がある。
しかし、現在フレームのいずれか特定ブロックが以前
ブロックのどの部分から動いて来たか、即ち現在フレー
ムの特定映像が以前フレームのどの部分と一番類似する
かが分かれば、その差異値は極めて小さい値を有するの
で効果的なデータ圧縮を望むことができる。
従って、DPCM方式に動き推定を用いれば、互いに対応
する以前フレームの所定の映像ブロックと現在フレーム
の所定映像ブロックとの信号差による少量の差分データ
を符号化することにより伝送効率を向上させうる。
動き推定方式においては、動き映像、即ちフレーム間
に動きのある領域の動き程度を動きベクトルとし、現在
フレーム内の動き映像が以前フレームに比べてどの方向
にどの程度動いたかを算出することを動き推定（Motion
Estimation）とする。
また、前記動き推定に応じて以前フレームの信号を動
きベクトルほど移動させることを動き補償（Motion Com
pensation）とする。
画素単位の動き推定方法としては各種の方式が提案さ
れている。一般に、時間的に隣接した二つのフレーム間
の動きは正確に定数画素単位でない可能性が高いので、
定数画素単位に表示される動きベクトルをもって動き補
償をすれば動き補償に大きなエラーが生ずる恐れがあ
る。従って、このような動き補償エラーを減らすために
サブピクセル（sub−pixel;以下”副画素”と称する）
単位の動きベクトル計算が要求される。副画素単位とし
てハーフピクセル（half−pixel;以下”半画素”）を用
いる動き推定方法があるが、まず従来の方式により半画
素単位の動き推定方法を簡単に説明する。
図１の装置は現在フレームの映像信号が入力されN1×
N2画素より構成された映像ブロックが形成されるN1×N2
ブロック形成部１と、以前フレームの映像信号が入力さ
れM1×M2画素より構成された映像ブロックが形成される
M1×M2探索領域形成部２と、N1×N2ブロック形成部１及
びM1×M2探索領域形成部２の出力信号が入力され画素単
位の動きベクトルMV1が検出される第１探索部３と、N1
×N2ブロック形成部１及びM1×M2探索領域形成部２の出
力信号が入力され第１探索部１で検出された上述の動き
ベクトルMV1に対応する以前フレーム内の基準画素とそ
の周辺画素を用いて基準画素周辺の半画素位置における
映像信号値が算出される半画素補間部４と、N1×N2ブロ
ック形成部１及び半画素補間部４の出力信号が入力され
半画素動き単位のベクトルMV2が出力される第２探索部
５と、第１探索部３及び第２探索部５の出力信号MV1、M
V2が入力され動きベクトルMVが出力される合算部６から
構成される。
N1×N2ブロック形成部１には現在フレームの映像信号
が入力されN1×N2の寸法のブロックが形成され、M1×M2
探索領域形成部２には以前フレームの映像信号が入力さ
れM1×M2の寸法の探索領域が形成される。第１探索部３
は現在フレームのN1×N2ブロックを以前フレームの探索
領域内で画素単位に移動させ、二つのブロック間の画素
データの比較で平均絶対誤差mean absolute error;MA
E）または平均二乗誤差（mean squared error:MSE）が
最小になる位置を探索領域内で捜し出して定数画素単位
の動きベクトルMV1を算出する。
第１探索部３で生成された定数画素単位の動きベクト
ルMV1は合算部６と半画素補間部４に出力される。半画
素補間部４は線形補間法を用いて以前フレーム内で定数
画素単位の動きベクトルMV1により指定されたブロック
の基準画素とその周辺画素から半画素値を計算して第２
探索部５に出力する。
図２において、”○”は画素単位間隔を示し、“×”
は半画素単位間隔を示す。第２探索部５は既に得られた
定数単位の動きベクトルMV1に対応する以前フレームの
映像ブロックを上下左右に半画素ずつ移動させ得られた
８個の半画素動きベクトルの位置×と動きベクトルMV1
の位置のうち最小の動き補償エラーを有する位置を探し
て半画素位置の微細調整値であるベクトル成分（−1/2,
0,1/2のうち一つ）を定めて出力する。
合算部６は第１探索部３から出力する定数画素単位の
動きベクトルMV1と第２探索部５から出力する半画素単
位の動きベクトルMV2を合算することにより動き推定に
用いられる完全な動きベクトルMVを決定する。例えば、
合算部６は第１探索部３による画素単位の動きベクトル
MV＝（x,y）に第２探索部５による半画素単位動きベク
トルの左右成分−1/2を加えて動きベクトルMV＝ｘ−1/
2,yを決定する。
前述した従来の方式は画素間隔単位の動きベクトルを
用いてブロック位置を決定し、決定されたブロック位置
とそのブロック位置の周囲に置かれた画素間の補間によ
り得られた半画素値を用いて８個の半画素動き位置、即
ち図２の”×”を平均絶対エラーMAEを用いて一々計算
しなければ、定数画素単位の動き推定時に生ずるエラー
を鑑みた動きベクトルが求められない。従って、半画素
単位の動きベクトルを推定するためのデータ処理に長時
間を要する問題点がある。
［発明の開示］ 前述した問題点を解決するための本発明の目的は、現
在フレームの所定映像ブロックと以前フレーム内の映像
ブロック間の動きベクトルの推定に用いられたエラー値
のうち画素単位の動きベクトルにより決定された以前フ
レーム内の所定映像ブロックとそのブロックを左右上下
に１画素間隔ずつ移動させ得られた映像ブロックの比較
によるエラー値を生成した後、生成されたエラー値の大
きさ比較を用いて副画素単位の動きベクトルを推定する
ことにより、さらに微細な動き補償を可能にした動き推
定方法を提供することである。
本発明の他の目的は現在フレームの所定映像ブロック
と以前フレーム内の映像ブロック間の動きベクトルの推
定に用いられたエラー値のうち画素単位の動きベクトル
により決定された以前フレーム内の所定の映像ブロック
とそのブロックを左右上下に１画素間隔ずつ移動させ得
られた映像ブロックによるエラー値を生成した後、生成
されたエラー値の大きさ比較を用いて副画素単位の動き
ベクトルを推定することにより、さらに微細な動き補償
を可能にした動き推定装置を提供することである。
前述した本発明の目的は、隣接フレーム内の映像信号
を比較して映像の動きを推定する方法において、現在フ
レームの映像信号からなる第１映像ブロック及び以前フ
レームの映像信号からなる第２映像ブロックを形成する
段階と、第２映像ブロック内に存し前記第１映像ブロッ
クと同一のブロック寸法を有する多数の映像ブロックの
映像信号を前記第１映像ブロックと比較して多数の誤差
値を生成する段階と、前記生成された誤差値を用いて画
素単位の動きベクトルである第１動きベクトルを検出す
る段階と、前記第１動きベクトルの検出に用いられた誤
差値のうち前記第１動きベクトルに対応する以前フレー
ムの映像ブロックである基準映像ブロック及び基準映像
ブロックを左右上下にそれぞれ１画素ずつ移動した位置
の周辺映像ブロックと前記第１映像ブロック間の映像信
号比較で生じた所定誤差値を出力する段階と、前記出力
された誤差値を用いて半画素単位の第２動きベクトルを
生成する段階と、前記第１動きベクトル及び第２動きベ
クトルをベクトル和する段階を含むことを特徴とする動
き推定方法により達成される。
また、本発明の他の目的は隣接フレーム間の映像信号
を用いて映像の動きを推定する装置において、現在フレ
ームの映像信号が入力され第１映像ブロックが形成され
る手段と、以前フレームの映像信号が入力され第２映像
ブロックが形成される手段と、前記第１映像ブロック映
像手段及び第２映像ブロック形成手段からの出力映像信
号が入力され画素単位の動きベクトルである第１動きベ
クトルを検出し、検出された第１動きベクトルに対応す
る以前フレーム内の基準映像ブロックを中心として上下
左右に１画素ずつ移動させ生成された周辺映像ブロック
と前記基準映像ブロックを前記第１映像ブロックと所定
形態に映像信号比較して誤差値を出力する探索手段と、
前記探索手段から出力する誤差値が入力され半画素単位
の第２動きベクトルが生成される半画素調整手段と、前
記第１動きベクトル及び第２動きベクトルが入力されベ
クトル和して出力される手段を含むことを特徴とする動
き推定装置により達成される。
図面の簡単な説明 図１は従来の動き推定装置を示したブロック図であ
る。
図２は画素単位と半画素単位を説明するための概念図
である。
図３は本発明の好適な一実施例による動き推定装置を
示したブロック図である。
図４は図３の左右半画素調整部に対する詳細ブロック
図である。
図5A及び図5Bは左右半画素調整部の半画素単位動きベ
クトルの決定方法を説明するための概念図である。
［発明を実施するための最良の形態］ 以前フレームの探索領域に対する現在フレームの所定
ブロックの動きベクトルはMV＝（x,y）と表示されう
る。ここで、動きベクトルMVは水平動きベクトル成分ｘ
及び垂直動きベクトル成分ｙを有する。後述べる副画素
単位の一種である半画素単位を用いて本発明を説明す
る。
図３は本発明の好適な一実施例による動き推定装置を
示すブロック図である。
図３の装置は、現在フレームの映像信号が入力されN1
×N2画素より構成された映像ブロックが形成されるN1×
N2ブロック形成手段31と、以前フレームの映像信号が入
力されM1×M2画素より構成された映像ブロックが形成さ
れるM1×M2探索領域形成手段32と、N1×N2ブロック形成
手段31及びM1×M2探索領域形成手段32の出力信号が入力
され画素単位の動きベクトルである第１動きベクトルMV
1が検出され、この検出された動きベクトルMV1に対応す
る以前フレーム内の基準画素を中心としてN1×N2の寸法
を有するブロックを上下左右に１画素ずつ移動させ生成
された５個の映像ブロックと現在フレーム内の映像ブロ
ック間のデータ比較による誤差値を出力する探索手段33
と、探索手段33から誤差値が入力され前記基準画素から
始まり上下または左右に半画素間隔を有する動きベクト
ルである第２動きベクトルMV2が計算される半画素調整
手段34と、探索手段33からの動きベクトルMV1と半画素
調整手段34からの動きベクトルMV2が入力されベクトル
和して出力される合算手段37から構成される。
半画素調整手段34は第２動きベクトルの水平成分を検
出する左右半画素調整部35と、第２動きベクトルの垂直
成分を検出する上下半画素調整部36を備える。
時間的に隣接する２フレームの映像信号のうち現在フ
レームの映像信号がN1×N2ブロック形成手段31に入力さ
れれば、N1×N2ブロック形成手段31は入力する現在フレ
ームの映像信号をN1×N2の大きさで貯蔵する。現在フレ
ームの映像信号入力と共に以前フレームの映像信号がM1
×M2探索領域形成手段32に入力されるので、M1×M2探索
領域形成手段32は入力される以前フレームの映像信号を
N1×N2ブロックより大きいM1×M2ブロック大きさに貯蔵
する。貯蔵が完了されたM1×M2の寸法の探索領域の映像
信号とN1×N2ブロックの映像信号はそれぞれM1×M2探索
領域形成手段32とN1×N2ブロック形成手段31から出力し
て探索手段33に印加される。
定数画素単位の動きベクトルを用いて動き推定した時
の動き推定エラーをP0と定め、推定された動きベクトル
から上下左右に１画素ほど移動させた時の動き推定エラ
ーをそれぞれP1′，P-1′、P-1、P1と定めると、この動
き推定エラー値は平均絶対誤差または平均二乗誤差方式
を用いて計算される。
このうち平均絶対誤差方式によって左右の動き推定エ
ラーP0、P1、P-1を計算する公式は次の通りである。
ここで、Ｙは現在フレームの映像信号を示し、Ｙ′は
以前フレームの映像信号を示し、N1＝N2＝Ｎはブロック
の大きさを示す。また、上記式はフレームの左側上段か
ら（ｋ、ｌ）番目のブロックに対して示したものであ
る。上下の動き推定エラーP1′、P-1′も上記のような
計算方法により求められる。
探索手段33は現在フレームの映像ブロックを前記以前
フレームの探索領域内に存し同一な大きさを有する多数
の映像ブロックと画素単位にデータ大きさ比較して動き
推定エラーを計算し、動き推定エラーが最小になる位置
を定数画素単位の動きベクトルMV1と決定して合算手段3
7に出力する。そして、探索手段33は前述の計算式
（１）、（２）、（３）により得られた動き推定エラー
のうち定数画素単位の動きベクトルにより決定された以
前フレーム内の基準映像ブロックと基準映像ブロックを
１画素間隔ずつ左右上下に移動して生成された周辺映像
ブロックによる動き推定エラーP-1、P1、P0、P-1′、
P1′、P0を半画素調整手段34に出力する。本発明におい
ては半画素単位動きベクトルの左右成分と上下成分を同
時に独立的に決定するが、左右半画素調整部35と上下半
画素調整部36は同一な方式を用いるので、半画素単位動
きベクトルの左右成分を決定する方法のみを説明する。
図４は図３の左右半画素調整部に対する詳細ブロック
図である。
図４の装置は、動き推定エラーP1、P0、P-1が入力さ
れる三つの入力端41、42、43と、第１入力端41の入力信
号P1と第２入力端42の入力信号P0を加算出力する第１加
算機A1と、第２入力端42の入力信号と第３入力端43の入
力信号P-1を加算出力する第２加算機A2と、第１加算機A
1の出力端に所定信号入力端を連結し入力信号を比較出
力する第１比較器CMP1と、第２加算機A2の出力端に所定
信号入力端を連結し入力信号を比較出力する第２比較器
CMP2と、第１加算機A1の出力信号に所定係数を乗算して
第２比較器CMP2に出力する第２乗算器M2と、第２乗算器
A2の出力信号に所定係数を乗算して第１比較器CMP1に出
力する第１乗算器M1と、比較器CMP1、CMP2の出力信号を
否定論理和して出力するNORゲートNORを備える。そし
て、第１比較器CMP1とNORゲートNOR及び第２比較器CMP2
の出力信号を区分する三つの出力端44、45、46を備え
る。
探索手段33から出力する動き推定エラーP1、P0、P-1
が半画素調整手段34の左右半画素調整手段35に入力され
れば、第１加算機A1は第１信号入力端41を通過する信号
P1から第２信号入力端42を通じて入力する信号P0を減算
出力し、第２加算機A2は第３信号入力端43を通過する信
号P-1から第２信号入力端42を通じて入力する信号P0を
減算出力する。第１乗算器M1と第２乗算器M2はそれぞれ
の入力信号に所定係数ｋを乗算してそれぞれの出力端に
連結された比較器CMP1、CMP2に出力する。P0に対するP
-1の差異値ａ及びP0に対するP1の差異値ｂが第２比較器
CMP2及び第１比較器CMP1にそれぞれ入力されれば、第１
比較器CMP1は第１加算機A1の出力信号と第１乗算器M1の
出力信号を比較出力し、第２比較器CMP2は第２加算器A2
の出力信号と第２乗算器M2の出力信号を比較出力する。
図5A及び図5Bは左右半画素調整部の半画素単位動きベ
クトルの決定方法を説明するための概念図であって、図
5Aは半画素単位の動きベクトルが画素単位動きベクトル
から左側に存する時を示し、図5Bは半画素単位の動きベ
クトルが画素単位動きベクトルから右側に存する時を示
す。
図5Aにおいて、P1がP-1より遥かに大きい値を有する
こと（即ち、図5Bが図5Aより大きい値を有すること）は
動きベクトルMVが画素単位と推定された第１動きベクト
ルMV1から左側に略1/2あたりに位置することを意味す
る。同様に、図5BにおいてはP0を基準としてP-1がP1よ
り遥かに大きい値を有すること（即ち、図5Aが図5Bより
大きい値を有すること）は動きベクトルMVが画素単位と
推定された動きベクトルMV1から右側に略1/2当たりに位
置することを意味する。
図5AにおいてP0を基準としてP1がP-1より大きい値を
有する場合は、第１比較器CMP1の出力端44のみが“ハ
イ”になるので、左右半画素調整部35は第２動きベクト
ルの水平成分値を“−1/2"に出力する。
図5Bにおいて、P0を基準としてP-1がP1より遥かに大
きい値を有する場合は、第２比較器CMP2の出力端46のみ
が”ハイ”になるので、左右半画素調整部35は第２動き
ベクトルの水平成分値を"1/2"に出力する。P0を基準と
してP1とP-1のいずれも他側に比べて大きい値を有しな
い場合は、二つの比較器CMP1,CMP2の出力端44、46の全
てが”ロー”になるので、これが印加されるNORゲートN
ORの出力端45は、”ハイ”になり、第２動きベクトルの
水平成分は"0"に出力される。
合算手段37は第２動きベクトルMV2が入力され探索手
段33から得られた画素単位動きベクトルMV1に加えるこ
とにより半画素単位の動きベクトルを推定する。
前述した通りの本発明の動き推定及びその装置は、画
素単位の動きベクトル検出に用いられる誤差値のうち検
出される動きベクトルに対応する以前フレーム内の映像
ブロック及びその映像ブロックを左右上下にそれぞれ１
画素ずつ移動して生成される映像ブロックと動き推定し
ようとする現在フレーム内の映像ブロック間の映像信号
を比較して誤差値を生成し、生成された誤差値を上下に
比較して半画素単位動きベクトルの垂直成分を検出し、
左右に比較して半画素単位動きベクトルの水平成分を検
出することにより、半画素単位の動きベクトル検出に必
要な信号処理量が大幅に減らせる。
［産業上の利用分野］ 本発明はディジタル映像信号を符号化するDPCM方式に
おけるさらに微細な動き推定を可能にする動き推定方法
及びその装置に利用できる。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項１】映像の隣接フレーム間の映像信号を比較し
    て映像の動きを推定する方法であって、 （ａ）現在フレームの映像信号からなる第１映像ブロッ
    ク及び以前フレームの映像信号からなる第２映像ブロッ
    クを形成する段階と、 （ｂ）前記第２映像ブロック内に在り前記第１映像ブロ
    ックと同一のブロック寸法を有する多数の映像ブロック
    の映像信号を前記第１映像ブロック内の映像信号と比較
    して多数の誤差値を生成する段階と、 （ｃ）前記生成された誤差値を用いて画素単位の第１動
    きベクトルを検出する段階と、 （ｄ）上記段階（ｂ）において生成された前記誤差値の
    中で、前記第１動きベクトルに対応する以前フレームの
    映像ブロックである基準映像ブロックに対する誤差値
    と、上記基準映像ブロックを上下左右にそれぞれ１画素
    ずつ移動することにより生成された各周辺映像ブロック
    に対する誤差値とを出力する段階と、 （ｅ）前記出力された誤差値を用いて半画素単位の第２
    動きベクトルを生成する段階と、 （ｆ）前記第１動きベクトル及び前記第２動きベクトル
    を加算する段階を含むことを特徴とする動き推定方法。
  2. 【請求項２】前記段階（ｅ）は、 （ｇ）前記基準映像ブロックの誤差値及び前記基準映像
    ブロックの中心に対し左右に位置する前記周辺映像ブロ
    ックの誤差値を用いて前記第２動きベクトルの左右方向
    の成分を検出する段階と、 （ｈ）前記基準映像ブロックの誤差値及び前記基準映像
    ブロックの中心に対し上下に位置する前記周辺映像ブロ
    ックの誤差値を用いて前記第２動きベクトルの上下方向
    の成分を検出する段階とを含むことを特徴とする請求項
    １項記載の動き推定方法。
  3. 【請求項３】前記段階（ｇ）及び前記段階（ｈ）は、最
    小の誤差値に対応する映像ブロックの位置を前記第２動
    きベクトルの成分として出力することを特徴とする請求
    項２項記載の動き推定方法。
  4. 【請求項４】映像の隣接フレーム間の映像信号を比較し
    て映像の動きを推定する装置であって、 現在フレームの映像信号が入力され第１映像ブロックを
    形成する手段と、 以前フレームの映像信号が入力され第２映像ブロックを
    形成する手段と、 前記第１映像ブロックを形成する手段及び前記第２映像
    ブロックを形成する手段から出力された映像信号が入力
    され、画素単位の第１動きベクトルを検出し、動きベク
    トルを検出するため用いられる複数の誤差値の中で、前
    記第１動きベクトルに対応する前記以前フレーム内の基
    準映像ブロックに対応する誤差値と、前記第１動きベク
    トルに対応する前記以前フレーム内の前記基準映像ブロ
    ックが上下左右に１画素ずつ移動させられる位置の周辺
    映像ブロックに対応する誤差値とを出力する探索手段
    と、 前記探索手段から出力された誤差値が入力され、半画素
    単位の第２動きベクトルを生成する半画素調整手段と、 前記第１動きベクトル及び第２動きベクトルが入力さ
    れ、前記第１動きベクトルと前記第２動きベクトルを加
    算し、加算されたベクトル和を出力する手段とからなる
    ことを特徴とする動き推定装置。
  5. 【請求項５】前記半画素調整手段は、 前記基準映像ブロックを前記基準映像ブロックの中心に
    対し左右に位置する前記周辺映像ブロックの誤差値と比
    較し、前記第２動きベクトルの左右方向のベクトル成分
    を検出する左右半画素調整部と、 前記基準映像ブロックの映像信号を前記基準映像ブロッ
    クの中心に対し上下に位置する前記周辺映像ブロックの
    誤差値と比較し、前記第２動きベクトルの上下方向のベ
    クトル成分を検出する上下半画素調整部とを有すること
    を特徴とする請求項４項記載の動き推定装置。
  6. 【請求項６】前記左右半画素調整部は、 前記基準映像ブロックの右側にある前記周辺映像ブロッ
    クに対応する誤差値から前記基準映像ブロックに対応す
    る誤差値を減算する第１減算器と、 前記基準映像ブロックの左側にある前記周辺映像ブロッ
    クに対応する誤差値から前記基準映像ブロックに対応す
    る誤差値を減算する第２減算器と、 前記第２減算器からの第１出力信号を所定の係数で乗算
    し、第１の乗算された値を出力する第１乗算器と、 前記第１減算器からの第２出力信号を所定の係数で乗算
    し、第２の乗算された値を出力する第２乗算器と、 前記第２出力信号と前記第１の乗算された値とが入力さ
    れ、入力された信号の大きさを比較し、比較結果として
    第１の２値信号を出力する第１比較器と、 前記第１出力信号と前記第２の乗算された値とが入力さ
    れ、入力された信号の大きさを比較し、比較結果として
    第２の２値信号を出力する第２比較器と、 前記第１比較器及び前記第２比較器から、夫々、前記第
    １及び第２の２値信号が入力され、否定論理和関数を実
    行し、演算された値を出力する否定論理和ゲートとから
    なることを特徴とする請求項５項記載の動き推定装置。
JP5513958A 1992-02-08 1993-02-06 動き推定方法及びその装置 Expired - Fee Related JP2911055B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1019920001845A KR950014862B1 (ko) 1992-02-08 1992-02-08 움직임추정방법 및 그 장치
KR92/1845 1992-02-08
PCT/KR1993/000009 WO1993016556A1 (en) 1992-02-08 1993-02-06 Method and apparatus for motion estimation

Publications (1)

Publication Number Publication Date
JP2911055B2 true JP2911055B2 (ja) 1999-06-23

Family

ID=19328743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5513958A Expired - Fee Related JP2911055B2 (ja) 1992-02-08 1993-02-06 動き推定方法及びその装置

Country Status (8)

Country Link
US (2) US5489949A (ja)
EP (1) EP0579844B1 (ja)
JP (1) JP2911055B2 (ja)
KR (1) KR950014862B1 (ja)
CN (1) CN1041043C (ja)
DE (1) DE69324735T2 (ja)
RU (1) RU2117412C1 (ja)
WO (1) WO1993016556A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104439A (en) * 1992-02-08 2000-08-15 Samsung Electronics Co., Ltd. Method and apparatus for motion estimation
KR0166724B1 (ko) * 1993-05-08 1999-03-20 김광호 반화소정확도를 갖는 동벡터추정방법 및 그 장치
CN1085466C (zh) * 1993-09-14 2002-05-22 株式会社金星社 图象解码器中包括半象素单元运动补偿装置的b帧处理装置
JPH07135663A (ja) * 1993-09-17 1995-05-23 Oki Electric Ind Co Ltd 動きベクトル検出方法および動きベクトル検出装置
US5719630A (en) * 1993-12-10 1998-02-17 Nec Corporation Apparatus for compressive coding in moving picture coding device
JP3846642B2 (ja) * 1994-01-31 2006-11-15 ソニー株式会社 動き量検出方法及び動き量検出装置
DE69535952D1 (de) * 1994-03-30 2009-06-25 Nxp Bv Verfahren und Schaltung zur Bewegungsschätzung zwischen Bildern mit zwei Zeilensprunghalbbildern, und Vorrichtung zur digitalen Signalkodierung mit einer solchen Schaltung
US6091460A (en) 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
KR100287211B1 (ko) * 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
US5706059A (en) * 1994-11-30 1998-01-06 National Semiconductor Corp. Motion estimation using a hierarchical search
US5535302A (en) * 1994-12-01 1996-07-09 Tsao; Tien-Ren Method and apparatus for determining image affine flow using artifical neural system with simple cells and lie germs
US5694179A (en) * 1994-12-23 1997-12-02 Electronics And Telecommunications Research Institute Apparatus for estimating a half-pel motion in a video compression method
KR0182058B1 (ko) * 1995-05-10 1999-05-01 김광호 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법
JP2853616B2 (ja) * 1995-07-07 1999-02-03 日本電気株式会社 動き検出方式
US5623313A (en) * 1995-09-22 1997-04-22 Tektronix, Inc. Fractional pixel motion estimation of video signals
US5699129A (en) * 1995-10-17 1997-12-16 Zapex Technologies, Inc. Method and apparatus for motion vector determination range expansion
KR0178746B1 (ko) * 1995-12-13 1999-05-01 김광호 매크로블럭의 반픽셀처리장치
KR0185940B1 (ko) * 1996-01-11 1999-04-15 김광호 미세한 움직임 추정 방법 및 그 장치
JPH09212650A (ja) * 1996-02-05 1997-08-15 Sony Corp 動きベクトル検出装置および検出方法
KR100226684B1 (ko) * 1996-03-22 1999-10-15 전주범 반화소 움직임 추정장치
KR100251548B1 (ko) * 1997-11-01 2000-04-15 구자홍 디지털영상을위한움직임추정장치및방법
WO2000018125A1 (de) * 1998-09-23 2000-03-30 Siemens Aktiengesellschaft Verfahren und anordnung zur codierung eines digitalisierten bildes sowie verfahren und anordnung zur decodierung eines codierten digitalisierten bildes
US6342904B1 (en) 1998-12-17 2002-01-29 Newstakes, Inc. Creating a slide presentation from full motion video
US6892351B2 (en) * 1998-12-17 2005-05-10 Newstakes, Inc. Creating a multimedia presentation from full motion video using significance measures
KR100457065B1 (ko) * 1998-12-29 2005-05-19 주식회사 대우일렉트로닉스 비디오신호의움직임벡터생성장치
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
GB2360897A (en) * 2000-03-31 2001-10-03 Sony Uk Ltd Video motion detection
KR100397055B1 (ko) * 2000-07-21 2003-09-06 (주)씨앤에스 테크놀로지 저전송율 영상통신을 위한 움직임 예측기 구조
US20020172288A1 (en) * 2001-03-08 2002-11-21 Nyeongku Kwon Device and method for performing half-pixel accuracy fast search in video coding
US20050105621A1 (en) 2003-11-04 2005-05-19 Ju Chi-Cheng Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof
US7720148B2 (en) * 2004-03-26 2010-05-18 The Hong Kong University Of Science And Technology Efficient multi-frame motion estimation for video compression
US20060002474A1 (en) * 2004-06-26 2006-01-05 Oscar Chi-Lim Au Efficient multi-block motion estimation for video compression
GB2431795A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Motion vector selection based on integrity
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
US8923393B2 (en) 2006-11-02 2014-12-30 Qualcomm Incorporated Apparatus and method of reduced reference frame search in video encoding
JP5549681B2 (ja) * 2010-01-14 2014-07-16 住友電気工業株式会社 動画像符号化データの表示方法、装置及び通信システム
CN104093023A (zh) * 2014-07-25 2014-10-08 四川科泰智能电子有限公司 一种车载视频压缩传输方法及系统
US11436165B2 (en) * 2019-05-01 2022-09-06 Samsung Electronics Co., Ltd. High bandwidth memory system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61113376A (ja) * 1984-11-07 1986-05-31 Sony Corp テレビジヨン信号の動き検出装置
US4720780A (en) * 1985-09-17 1988-01-19 The Johns Hopkins University Memory-linked wavefront array processor
FR2624997B1 (fr) * 1987-12-16 1990-06-01 France Etat Procede d'estimation multi predictif du mouvement des points d'une image electronique
JPH0262180A (ja) * 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
US5241608A (en) * 1988-11-25 1993-08-31 Eastman Kodak Company Method for estimating velocity vector fields from a time-varying image sequence
US4937666A (en) * 1989-12-04 1990-06-26 Bell Communications Research, Inc. Circuit implementation of block matching algorithm with fractional precision
DE4023449C1 (ja) * 1990-07-24 1992-01-23 Ant Nachrichtentechnik Gmbh, 7150 Backnang, De
GB2252468B (en) * 1991-02-04 1994-10-19 Sony Broadcast & Communication Television standards converters
JP3103894B2 (ja) * 1991-02-06 2000-10-30 ソニー株式会社 ビデオデータの手振れ補正装置およびその方法
JP2861462B2 (ja) * 1991-04-12 1999-02-24 ソニー株式会社 動きベクトル検出装置
JP3123130B2 (ja) * 1991-06-28 2001-01-09 ソニー株式会社 動きベクトル検出装置

Also Published As

Publication number Publication date
CN1041043C (zh) 1998-12-02
WO1993016556A1 (en) 1993-08-19
EP0579844A4 (en) 1994-11-09
EP0579844B1 (en) 1999-05-06
DE69324735T2 (de) 1999-10-14
US5614959A (en) 1997-03-25
RU2117412C1 (ru) 1998-08-10
CN1078591A (zh) 1993-11-17
US5489949A (en) 1996-02-06
EP0579844A1 (en) 1994-01-26
KR930019016A (ko) 1993-09-22
KR950014862B1 (ko) 1995-12-16
DE69324735D1 (de) 1999-06-10

Similar Documents

Publication Publication Date Title
JP2911055B2 (ja) 動き推定方法及びその装置
JP4514081B2 (ja) ビデオ・シーケンスを符号化変換（ｔｒａｎｓｃｏｄｉｎｇ）するための動きベクトルの外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）
US5598216A (en) Method and apparatus for encoding/decoding a video signal
US5612743A (en) Method for encoding a video signal using feature point based motion estimation
EP1339234A2 (en) Apparatus for and method of converting scanning format
EP1592248B1 (en) Motion vector estimation employing adaptive temporal prediction
US7321626B2 (en) System and method for predictive motion estimation using a global motion predictor
US7868946B2 (en) Adaptive motion compensated interpolating method and apparatus
JPH03253190A (ja) 動画像のハイブリッド符号化方法及びその装置
JPH08265781A (ja) 動きベクトル特定方法及び装置
JP2008502196A (ja) グローバル動きベクトルの探索方法
Wu et al. Joint estimation of forward and backward motion vectors for interpolative prediction of video
KR100565066B1 (ko) 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치
EP0721284B1 (en) An image processing system using pixel-by-pixel motion estimation and frame decimation
US6104439A (en) Method and apparatus for motion estimation
EP0643538B1 (en) Motion vector detecting apparatus and method
KR100942887B1 (ko) 추정된 움직임 벡터 결정 방법 및 컴퓨터 판독가능한 기록매체
US7881500B2 (en) Motion estimation with video mode detection
KR0185940B1 (ko) 미세한 움직임 추정 방법 및 그 장치
JP2004320279A (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP2624507B2 (ja) 動き補正型テレシネ装置
JP2596352B2 (ja) 小数精度動きベクトル探索装置
JP2765528B2 (ja) 半画素精度動きベクトル探索装置
JP2929044B2 (ja) 動き補償予測方法
JPH07193790A (ja) 画像情報変換装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090409

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees