JP2853616B2 - 動き検出方式 - Google Patents

動き検出方式

Info

Publication number
JP2853616B2
JP2853616B2 JP27303295A JP27303295A JP2853616B2 JP 2853616 B2 JP2853616 B2 JP 2853616B2 JP 27303295 A JP27303295 A JP 27303295A JP 27303295 A JP27303295 A JP 27303295A JP 2853616 B2 JP2853616 B2 JP 2853616B2
Authority
JP
Japan
Prior art keywords
block
sum
squares
calculating
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27303295A
Other languages
English (en)
Other versions
JPH0984016A (ja
Inventor
幸宏 内藤
孝 宮崎
一朗 黒田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP27303295A priority Critical patent/JP2853616B2/ja
Priority to US08/675,673 priority patent/US5715017A/en
Publication of JPH0984016A publication Critical patent/JPH0984016A/ja
Application granted granted Critical
Publication of JP2853616B2 publication Critical patent/JP2853616B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動き検出方式に関
し、特に、現フレーム中の現ブロックと最も相関の高い
ブロックを参照フレーム中から検出することによって動
きベクトルを検出する動き検出方式に関する。
【0002】
【従来の技術】動画像の圧縮符号化においては、動き補
償と直交変換を組み合わせた動画像圧縮符号化方式が多
く用いられ、動き補償において、画像の動きを検出する
ために、一般にブロックマッチング型動き検出方式が用
いられる。従来のブロックマッチング型動き検出方式と
しては、例えば特開平1−295379号公報に示され
たものが知られている。図13は従来の動き検出方式を
説明するものであって、(a)は現フレームを示し、
(b)は参照フレームを示している。フレームをいくつ
かのブロックに分割し、現フレーム中の現ブロックと最
も相関の高いブロックを参照フレーム中から検出するこ
とによって動きベクトルを決定する。動画像において連
続するフレーム間では動きは小さいと考えられるため
に、図13のように参照フレーム中で、相関の高いブロ
ックを探索する範囲を参照領域として設定し、この領域
内の全ての参照ブロック、或は意図的に選択された参照
ブロックに対して相関を計算する。意図的に参照ブロッ
クを選択する手法としては、1993年発行の動画像符
号化規格であるISO/IEC11172−2の82頁
に記載されているロガリズミックサーチ法がある。ロガ
リズミックサーチ法は、例えば、動きベクトルが(0,
0)とその周辺±4の8個の参照ブロックを探索し、そ
の中で最適参照ブロックを決定し、次に、決定された最
適参照ブロックの周辺±2の8個の参照ブロックを探索
するといった方法で探索していくものである。現フレー
ムの全てのブロックに対して、以上のような探索処理を
実行し動きベクトルを検出する。探索の際の評価量であ
る相関は、一般に、現ブロックと参照ブロックの画素値
の差分の絶対値、或は画素値の差分の自乗値をブロック
全体に対して加算することによって評価される。
【0003】図14に算術論理演算器と積和演算器を有
するプロセッサの例を示す。相関を評価する際に、現ブ
ロックと参照ブロックの画素値の差分の絶対値和を用い
る場合には、現ブロックと参照ブロックの画素値に対し
て、算術論理演算器において差分演算と絶対値演算と加
算演算を実行するため、1画素あたり3サイクルの演算
が必要となる。また、評価する際に、現ブロックと参照
ブロックの画素値の差分の自乗和を用いる場合には、算
術論理演算器で差分演算を、積和演算器で自乗和演算を
するため、1画素あたり2サイクルの演算で実行するこ
とができる。図15に相関の評価に自乗和を用いたとき
のフローチャートを示す。以後、現ブロックと参照ブロ
ックの画素値の差分の自乗和を誤差電力値と呼ぶ。ブロ
ックの大きさをN×N個、現ブロックの画素値を
i,j 、参照領域の画素値をyi,j とし、動きベクトル
が(u,v)のときの誤差電力値は次式で示される。た
だし、Nは1より大きい整数であり、x0,0 を現ブロッ
クの左上の画素値とする。
【0004】
【数1】
【0005】積和演算に必要な時間を1サイクル、差分
演算に必要な時間を1サイクルとすると、1ブロック分
の誤差電力の計算には、2×N×Nサイクル必要であ
る。この計算を相関を計算する全ての参照ブロックに対
して行うことで、1つのブロックの動きベクトルが検出
される。この手順を現フレーム内の全ての選択されたブ
ロックに対して順次行う。
【0006】
【発明が解決しようとする課題】図15に示すように算
術論理演算器と積和演算器を備えたプロセッサで動き検
出をする場合、現ブロックと1つの参照ブロック間の相
関の計算に1画素当たり2サイクル必要であり、これを
ブロック内全ての画素に対して行う必要がある。1つの
現ブロックに対して複数の参照ブロックとの相関を計算
する必要があり、この処理を1つの現フレーム内の全て
のブロックに対して実行しなければならないため、膨大
な演算量となる。一方、ビデオ会議等で用いられる画像
圧縮符号化には実時間処理が要求される。画像圧縮符号
化処理においては、動き検出部分の演算量が大きな比重
を占めており、装置規模を小さくする、或は性能の向上
を図るためには、動き検出部分の演算量をできうる限り
削減することが要求される。そこで、本発明の目的は、
算術論理演算器と積和演算器を備えたプロセッサで動き
検出をする際に必要となる演算量を大幅に削減すること
にある。
【0007】
【課題を解決するための手段】第1の発明による動き検
出方式は、フレームをいくつかのブロックに分割し、現
フレーム中の現ブロックと最も相関の高いブロックを参
照フレーム中から検出することによって動きベクトルを
検出する動き検出方式において、前記現ブロックの画素
値の自乗和を計算する手段と、前記現ブロックと前記参
照フレームの参照領域内の一部、あるいは全ての参照ブ
ロックとの内積を−2倍した値を該参照ブロック毎に計
算する内積計算手段と、前記参照フレームの参照領域内
の一部、あるいは全ての参照ブロックの画素値の自乗和
を該参照ブロック毎に計算する第1の参照ブロック自乗
和演算手段と、現ブロックの画素値の自乗和と、現ブロ
ックと参照ブロックとの内積を−2倍した値と、参照ブ
ロックの画素値の自乗和とを加算した誤差電力値を順次
計算する手段と、前記順次計算された誤差電力値のうち
最小となるものを検出し、誤差電力値が最小となったと
きの参照ブロックに対応する動きベクトルを前記現ブロ
ックの動きベクトルとして出力する手段とを備えている
ことを特徴とする。
【0008】第2の発明による動き検出方式は、フレー
ムをいくつかのブロックに分割し、現フレーム中の現ブ
ロックと最も相関の高いブロックを参照フレーム中から
検出することによって動きベクトルを検出する動き検出
方式において、前記現ブロックと前記参照フレームの参
照領域内の一部、あるいは全ての参照ブロックとの内積
を−2倍した値を該参照ブロック毎に計算する内積計算
手段と、前記参照フレームの参照領域内の一部、あるい
は全ての参照ブロックの画素値の自乗和を該参照ブロッ
ク毎に計算する第1の参照ブロック自乗和演算手段と、
現ブロックと参照ブロックとの内積を−2倍した値と、
参照ブロックの画素値の自乗和とを加算した誤差電力評
価値を順次計算する手段と、前記順次計算された誤差電
力評価値のうち最小となるものを検出し、誤差電力評価
値が最小となったときの参照ブロックに対応する動きベ
クトルを前記現ブロックの動きベクトルとして出力する
手段とを備えていることを特徴とする。
【0009】第3の発明による動き検出方式は、第1、
あるいは、第2の発明において、前記第1の参照ブロッ
クの自乗和演算手段に代えて、前記参照フレーム内の全
ての参照ブロックの画素値の自乗和を該参照ブロック毎
に計算する第2の参照ブロック自乗和演算手段を備える
ことを特徴とする。
【0010】第4の発明による動き検出方式(請求項1
又は2に係る発明)は、第1、第2、あるいは、第3の
発明において、前記第1または第2の参照ブロック自乗
和演算手段が、参照ブロックの水平方向または垂直方向
のブロック毎の自乗和からブロック全体の自乗和の計算
をする手段とで構成されることを特徴とする。
【0011】第5の発明による動き検出方式(請求項3
に係る発明)は、第1、第2、第3、あるいは、第4の
発明において、前記内積計算手段が、現ブロックの画素
値を水平方向、垂直方向共に2で間引いた4種類のブロ
ックから加減算により計算される計9個の副次現ブロッ
クを出力とする現ブロック前処理手段と、参照領域の画
素値を水平方向、垂直方向共に2で間引いた4種類の領
域から加減算により計算される計9個の副次参照領域を
出力とする参照領域前処理手段と、前記副次現ブロック
と前記副次参照領域の内積を計算する9個の副次内積計
算手段と、前記9個の副次内積計算手段の出力から、加
減算により内積結果を計算する後処理手段とで構成され
ることを特徴とする。
【0012】第6の発明による動き検出方式(請求項4
に係る発明)は、第5の発明において、前記副次内積計
算手段として、第5の発明に記載の内積計算手段を再帰
的に用いることを特徴とする。
【0013】第7の発明による動き検出方式(請求項5
に係る発明)は、フレームをいくつかのブロックに分割
し、現フレーム中の現ブロックと最も相関の高いブロッ
クを参照フレーム中から検出する際に、前記参照フレー
ムの参照領域内で、基準参照ブロックと基準参照ブロッ
クの周辺に位置する参照ブロックを候補として最適な参
照ブロックを決定し、これを基準参照ブロックとする操
作を繰り返して動きベクトルを検出する動き検出方式に
おいて、前記基準参照ブロックの画素値の自乗和と前記
周辺の参照ブロックの画素値の自乗和との差分をそれぞ
れ計算する手段と、現ブロックと基準参照ブロックの内
積を−2倍した値を計算する手段と、現ブロックと参照
ブロックの内積を2倍した値を計算する手段と、前記計
算結果と、前記記憶手段に記憶された基準参照ブロック
の画素値の自乗和と当該参照ブロックの画素値の自乗和
との差分値と、現ブロックと基準参照ブロックの内積を
−2倍した値を加算する手段と、各探索参照ブロックに
ついて順次計算された前記加算結果から値が最小となる
ものを検出し、前記最小値が負の値のときは前記最小値
となったときの参照ブロックに対応する動きベクトルを
前記現ブロックの動きベクトルとして出力し、前記最小
値が負の値でないときは基準参照ブロックに対応する動
きベクトルを前記現ブロックの動きベクトルとして出力
する手段を備えていることを特徴とする。
【0014】第8の発明による動き検出方式は、フレー
ムをいくつかのブロックに分割し、現フレーム中の現ブ
ロックと最も相関の高いブロックを参照フレーム中から
検出することによって動きベクトルを検出する動き検出
方式において、前記現ブロックの画素値の自乗和を計算
し、前記現ブロックと前記参照フレームの参照領域内の
一部、あるいは全ての参照ブロックとの内積を−2倍し
た値を該参照ブロック毎に計算し、前記参照フレームの
参照領域内の一部、あるいは全ての参照ブロックの画素
値の自乗和を該参照ブロック毎に計算し、現ブロックの
画素値の自乗和と、現ブロックと参照ブロックとの内積
を−2倍した値と、参照ブロックの画素値の自乗和とを
加算した誤差電力値を順次計算し、前記順次計算された
誤差電力値のうち最小となるものを検出し、誤差電力値
が最小となったときの参照ブロックに対応する動きベク
トルを前記現ブロックの動きベクトルとして出力するこ
とを特徴とする。
【0015】
【作用】第1の発明による動き検出方式の作用を説明す
る。式(1)を次式のように展開する。
【0016】
【数2】
【0017】式(1)をこのように展開することによ
り、各項の演算量を減少させたり、各項のデータを他に
有効に用いたりすることができる。以下、この点につい
て詳述する。
【0018】上式の第1項は、現ブロックの画素値の自
乗和である。この値は参照ブロックの位置を表す(u,
v)に係わらず一定であるので、1つの現ブロックの動
きベクトルを検出する際に1回だけ計算すればよい。第
2項は、現ブロックと参照ブロックの内積結果を−2倍
したものである。この計算には1ブロックあたりN×N
+1サイクル必要である。この計算は探索する参照ブロ
ック全てに対して行う必要があり、式(1)の場合の約
半分の演算量である。第3項は、参照ブロックの画素値
の自乗和であり、1ブロックあたりN×Nサイクル必要
である。この計算も第2項と同様に探索する参照ブロッ
ク全てについて計算する必要がある。その結果、第2項
と第3項の計算で式(1)と等しいサイクル数が必要と
なり、これに第1項の計算が必要となるので、演算量の
削減にはならない。
【0019】しかしながら、探索する各参照ブロックに
ついて第3項の自乗和の計算を行う場合、重複する画素
が多く存在する。図8にこの様子を示す。簡単化のた
め、ブロックサイズを4×4、動きベクトルの探索範囲
を−2〜+2としている。この場合、参照領域の大きさ
は8×8となる。図8には、例として動きベクトルが
(0,0)の場合と、(1,−1)の場合の参照ブロッ
クの様子が示されている。この場合、ブロック内の16
個の画素のうち9個の画素が2つの参照ブロック間で重
複している。つまり、1つの動きベクトルを検出する際
に、探索する全ての参照ブロックの画素の自乗和を予め
計算する必要があるが、その際に重複する画素の自乗演
算を省くことにより、第3項の計算に必要なサイクル数
を大幅に減らすことができる。これにより、1つの現ブ
ロックあたりに必要となる計算量を減らすことができ結
果として、計算に必要なサイクル数を減らすことができ
る。
【0020】また式(2)の第2項は、2次元畳み込み
演算であり、FFT(高速フーリエ変換)や第5の発明
で示した方法を用いることにより、その計算量を減らす
ことが可能である。
【0021】さらに、式(2)の第1項は、現ブロック
の画素値の自乗和であって、CCITTの勧告H.26
1等の画像の圧縮符号化においては、動き検出後に実行
されるINTRA/INTERの予測モード判定時に用
いることができる値である。
【0022】第2の発明による動き検出方式の作用を説
明する。第1の発明と同様に、式(1)を式(2)のよ
うに展開して計算する。誤差電力値である式(2)を、
探索する全ての(u,v)について計算し、最小値を示
す(u,v)を検出する必要がある。しかし、式(2)
の第1項は(u,v)に関わらず一定値であるので、式
(2)の大小比較をする際には不必要な項である。第1
の発明では第1項を1回だけ計算し、この値を再利用し
ていたが、第2の発明では第1項を計算せずに、第2項
と第3項の和を誤差電力評価値として最小値検出の際の
比較に用いる。このようにすることにより、第1の発明
の作用である、第1項の値をINTRA/INTERの
予測モード判定時に再利用できるという特徴と、誤差電
力の最小値を求めることができるという特徴は消滅する
が、第1項の計算をする必要がないため、演算量をさら
に削減することができる。
【0023】第3の発明による動き検出方式の作用を説
明する。第3の発明では現フレーム内の各ブロックに対
応する参照領域にも重複する部分があることを利用す
る。つまり、異なる参照領域中の参照ブロックの間にも
重複する画素が存在する。例えば図9にこのような例を
示す。隣あったブロックをブロック1とブロック2とす
る。これらの参照領域は図9に示すように重複してい
る。例えば、ブロック1に関する動きベクトルが(2,
−2)の参照ブロックと、ブロック2に関する動きベク
トルが(−2,−2)の参照ブロックは全く同一にな
る。よって、1フレーム分の動き検出処理をする際に必
要な第3項の値を、予め計算しておくことで、第3項の
計算に必要なサイクル数を更に減らすことができる。
【0024】第4の発明による動き検出方式の作用を説
明する。第1、第2、第3の発明同様に式(1)を式
(2)のように展開して動き検出を行う。本発明は、式
(2)の第3項を参照領域の水平方向と垂直方向で分離
して計算することにより演算量を削減するものである。
【0025】式(2)の第3項をfu,v とする。
【0026】
【数3】
【0027】例えば、探索する動きベクトルを
【0028】
【数4】
【0029】とし、この参照領域内の全ての参照ブロッ
クを探索する場合を考える。ただし、Mは偶数とする。
この場合、式(3)を
【0030】
【数5】
【0031】について計算することになる。
【0032】第1の発明の作用でも述べたように、参照
領域中の参照ブロック間には重複する画素が多く存在す
る。この重複する画素の自乗計算を省くことにより、第
3項に必要な演算量を大幅に削減することができる。
【0033】本発明では、この第3項の計算を水平方
向、垂直方向に分離して行う。例えば水平方向、垂直方
向の順に計算する場合について説明する。まず、参照ブ
ロックの水平方向の自乗和を以下のように計算する。
【0034】
【数6】
【0035】次に、これらの結果を垂直方向に加算する
ことによって、第3項を求める。つまり、
【0036】
【数7】
【0037】ここで、式(4)と式(5)は次のように
巡回的に高速に計算できる。
【0038】
【数8】
【0039】この方法によれば、第3項の必要演算量を
2 ×M2 から(N+M−1)×(N+2M)+M×
(N+2M)に削減できる。例えば、N=16,M=3
2とすると、演算量は262,144サイクルから6,
320サイクルに削減されることになる。なお、式
(2)の第3項を水平方向と垂直方向に分離して計算す
る本発明は、Mが偶数、奇数によらずに適用できるもの
である。
【0040】第5の発明による動き検出方式の作用を説
明する。第1、第2、第3、第4の発明同様に式(1)
を式(2)のように展開して動き検出を行う。この際、
式(2)の第2項の計算を以下のように行う。
【0041】cu,v を以下のように定義する。
【0042】
【数9】
【0043】このcu,v
【0044】
【数10】
【0045】について計算し、−2倍することが、動き
ベクトルの検出範囲を
【0046】
【数11】
【0047】としたときの参照領域中の全ての参照ブロ
ックに関する式(2)の第2項を計算することになる。
ただし、Mは偶数とする。
【0048】
【外1】
【0049】を以下のように定義する。
【0050】
【数12】
【0051】これらを用いて、Xi,j ,Yi,j を以下の
ように定義する。
【0052】
【数13】
【0053】Xi,j ,Yi,j は、それぞれN2 /4個の
要素を持つベクトルである。各要素は、それぞれ現ブロ
ック、参照領域の(i,j)位置のN×Nのブロックの
画素値を水平方向、垂直方向共に2で間引いたものであ
る。
【0054】これらベクトルを用いると式(8)のc
u,v 、cu+1,v 、cu,v+1 、cu+1,v+ 1 は以下のように
表される。
【0055】
【数14】
【0056】式(13)中には16個のYとXの内積演
算が存在するが、次式の変換式を用いるとこの内積演算
の個数を削減することができる。
【0057】
【数15】
【0058】式(13)中の4箇所に対して式(14)
の変形を施し、まとめるとCu,v は以下のように表され
る。
【0059】
【数16】
【0060】次に、式(15)中の3箇所に対して式
(14)の変形を施し、まとめると以下のようになる。
【0061】
【数17】
【0062】cu,v 、cu+1,v 、cu,v+1 、cu+1,v+1
を同時に計算し、さらに式(14)を利用して変形する
ことにより、式(13)の16個の内積演算が、式(1
6)の9個の副次内積演算に削減される。ブロックサイ
ズがN×N、探索点数がM×Mの場合、式(8)、ある
いは式(13)を直接計算するとN2 ×M2 サイクル必
要である。式(16)のように変形することによって、
副次内積演算の演算量は合計で9/16×(N2 ×
2 )サイクルに削減される。これに加えて、式(1
6)中のX0,0 −X0,1 、X1,0 −X1,1 、X0,0 −X
1,0 、X0,1 −X1,1、X0,0 −X1,0 −X0,1 +X
1,1 の現ブロックの前処理に5N2 /4サイクル、Y
u,v +Yu+1,v +Yu,v+1 +Yu+1,v+1 、Yu+1,v +Y
u+2,v +Yu+1,v+1+Yu+2,v+1 、Yu,v+1 +Y
u+1,v+1 +Yu,v+2 +Yu+1,v+2 、Yu+1,v+1 +Y
u+2,v+1 +Yu+1,v+2 、Yu+1,v +Yu+1,v+1 、Y
u+1,v+1 +Yu+1,v+2 の参照領域の前処理に2(N+M
−2)×(N+M−1)+(N+M−2)2 サイクル、
各副次内積演算結果から式(16)に従いCu,v を計算
する後処理に10M2/4サイクル必要となる。N=1
6、M=32の場合、副次内積演算部が147×103
サイクルに対し、前処理、後処理部は合計で9.32×
103 サイクルであり、これらのオーバーヘッドは十分
小さいものとなる。
【0063】図10に本発明に基づく式(2)の第3項
の内積演算部を示す。式(8)の内積演算が、式(1
6)のように9個の副次内積演算に分割される。現ブロ
ックの前処理にて、現ブロックの画素値から式(16)
中のXで表される副次現ブロックを計算する。分割され
た副次内積演算部に対し、参照領域の前処理にて参照領
域画素値から生成された式(16)中のYで表される副
次参照領域値が入力される。各副次内積演算部の出力値
から式(16)に従って、後処理にてCu,v が生成され
る。
【0064】第6の発明による動き検出方式の作用を説
明する。第6の発明では第5の発明において分割された
副次内積演算を、式(16)を用いて、さらに、再帰的
に分割する。例えば、第5の発明において分割された9
個の副次内積演算全てに対して、さらに分割を行うと、
計81個の副次内積演算となる。9個の副次内積演算に
分割した場合の、副次内積演算部の演算量は、9/16
+(N2 ×M2 )サイクルであったが、81個に分割し
た場合、演算量は、(9/16)2 ×(N2 ×M2 )サ
イクルに削減される。
【0065】第7の発明による動き検出方式の作用を説
明する。本発明は、ロガリズミックサーチ法に見られる
ような、ある基準となる参照ブロックの周辺の参照ブロ
ックを探索する場合の演算量を削減できるものである。
以後、この基準となる参照ブロックを基準参照ブロック
と呼ぶ。例えば、基準参照ブロック(u0,v0)の周
辺の参照ブロックである(u0+1,v0)、(u0+
1,v0+1)、(u0,v0+1)、(u0−1,v
0+1)、(u0−1,v0)、(u0−1,v0−
1)、(u0,v0−1)、(u0+1,v0−1)と
の相関を計算する場合を考える。この場合、相関を計算
する参照ブロックは8個で、基準参照ブロックを含めた
9個の参照ブロックから最適なブロックを検出する。こ
の場合、(u0,v0)に関する式(2)と他の8個の
周辺ベクトルに関する式(2)の中から最小値を検出す
る必要がある。本発明では、基準ベクトルである(u
0,v0)に関する式(2)と周辺ベクトルに関する式
(2)との差分を用いて、最小値を示すベクトルを検出
する。例えばeu0,v0 とeu0+1,v0-1 の差分は、
【0066】
【数18】
【0067】となる。上式の第1項は現ブロックと基準
参照ブロックの内積であり、1回だけ計算する必要があ
る。第2項は現ブロックと参照ブロックとの内積であ
り、これに関しては探索する全ての参照ブロックについ
て計算する。第3項は、基準参照ブロックの画素の自乗
和と探索する参照ブロックの画素の自乗和の差分であ
る。
【0068】基準参照ブロックと周辺の参照ブロックと
の間には共通の画素が存在し、差分を取ることからこの
共通部分の計算は不要となる。ブロックサイズが4×4
のときの様子を図11に示す。基準参照ブロックと基準
参照ブロックからみた動きベクトルが(1,−1)の参
照ブロックとの間には9個の共通画素が存在するので、
この部分の自乗値を計算する必要はない。動きベクトル
を水平方向、垂直方向共に±1の範囲で探索する場合、
図11のように、4点の画素について自乗値を計算する
必要がなくなる。この例ではブロックサイズが4×4で
あるが、ブロックサイズが大きくなれば、自乗値を計算
する必要のない画素はさらに増加する。例えばブロック
サイズが16×16で基準参照ブロックの周囲±1を探
索する場合18×18点中自乗値を計算する必要のない
点は14×14点となる。
【0069】このようにして、基準参照ブロックとその
周辺の参照ブロックの中から最適な参照ブロックを少な
い演算量で検出できる。検出した動きベクトルを(U,
V)とすれば、この動きベクトルに対応する参照ブロッ
クと現ブロックの差分の自乗和eU,V は式(17)から
計算することができる。
【0070】
【発明の実施の形態】以下、本発明の実施例について図
面を参照しながら説明する。図1は第1、第3の発明の
実施例を示すブロック図である。現ブロックの自乗和計
算部10にて、現ブロックの画素の自乗和、つまり、式
(2)の第1項を計算し、記憶部13に記憶する。内積
計算部11にて、現ブロックと参照ブロックの内積値を
−2倍したもの、つまり、式(2)の第2項を全ての参
照ブロック、あるいは、一部の参照ブロックについて計
算し、記憶部14に記憶する。参照ブロックの自乗和計
算部12にて、参照ブロック画素の自乗和、つまり、式
(2)の第3項を全ての参照ブロック、あるいは、一部
の参照ブロックいついて計算し、記憶部15に記憶す
る。加算部16において、記憶部13に記憶された現ブ
ロックの画素値の自乗和と記憶部14、記憶部15に記
憶された計算結果の中で、探索中の動きベクトルに対応
する結果を加算し式(2)の誤差電力とする。加算部1
6で計算された誤差電力を動きベクトル決定部17で比
較し、最小の誤差電力を示す動きベクトルを出力する。
【0071】内積計算部11と参照ブロックの自乗和計
算部12では探索する一部、あるいは全ての動きベクト
ルに対応する値を計算する。一部の動きベクトルに対応
する値を計算する場合には、全て計算する場合に比べ
て、演算量削減の効果は小さくなるが、記憶部14、記
憶部15の記憶容量を削減することができる。
【0072】図2は、第2、第3の発明の実施例を示す
ブロック図である。図1と異なり、現ブロックの自乗和
の計算を行わない。このようにすることにより、第1の
発明の作用である、第1項の値をINTRA/INTE
Rの予測モード判定時に再利用できるという特徴と、誤
差電力の最小値を求めることができるという特徴は消滅
するが、第1項の計算をする必要がないため、演算量を
さらに削減することができる。
【0073】以下に各発明の詳細な実施例を示す。図3
は第1の発明に基づき、1つの現ブロックの動きベクト
ルを検出する際の処理過程を示すものである。ステップ
30で、最初に探索する動きベクトルを設定する。ま
た、ステップ36で用いる最小値クリアしておく。ステ
ップ31で、現ブロックの画素値の自乗和である式
(2)の第1項を計算し記憶する。ステップ32で、現
ブロックと、参照領域内の一部、あるいは全ての参照ブ
ロックとの内積を−2倍した値をそれぞれ計算し記憶す
る。ステップ33で、参照領域内の一部、あるいは全て
の参照ブロックの画素値の自乗和をそれぞれ計算し記憶
する。ステップ34〜ステップ39で各動きベクトルを
探索する。ステップ34で、現在候補となっている動き
ベクトルに対応する式(2)の第2、第3項が計算済み
かどうかを確認し、計算済みであれば、ステップ35で
これらの値と式(2)の第1項を加算し誤差電力を求め
る。計算済みでなければ、ステップ32に戻り、必要な
値を計算する。ステップ32、33で必要な値を全て計
算した場合には、ステップ34の確認は不要となる。ス
テップ36では、計算した誤差電力が探索してきた動き
ベクトルの中で最小値であったかを判定する。最小値で
あった場合にはステップ37で最小値を更新し、このと
きの動きベクトルを記憶しておく。ステップ38では、
探索する動きベクトルについて全て探索が終了したかを
判定し、未了であればステップ39にて次の動きベクト
ルを設定してステップ34に戻る。終了していれば、ス
テップ40で、誤差電力の最小値と最小値に対応する動
きベクトルを出力する。
【0074】図4は第2の発明による動き検出方式の処
理過程を示す図である。図3の処理過程と違い、式
(2)の第1項の計算をせず、ステップ45で、式
(2)の第2項と第3項を加算した値を誤差電力評価値
として、ステップ46で比較している。そのために、ス
テップ50では最終結果として動きベクトルのみを出力
し、誤差電力の最小値は出力しない。
【0075】第3の発明は、第1、第2の発明における
式(2)の第3項の計算を1個の動きベクトルの検出に
必要な値ではなく、現フレーム全てのブロックの動きベ
クトルの検出に必要な第3項の値の一部、あるいは全て
の場合について計算する。図5は第3の発明に基づき、
現フレーム全ての動きベクトルを検出する際の処理過程
を示す図である。本図は一実施例として第2の発明と第
3の発明を組み合わせた場合を示している。ステップ6
0で、1フレーム分の動きベクトルの検出に必要な式
(2)の第3項を全て計算し記憶する。ステップ61
で、あるブロックの動きベクトルを探索する際の最初に
探索する動きベクトルを設定し、ステップ64で用いる
誤差電力評価値の最小値をクリアしておく。ステップ6
2で、設定された動きベクトルの検出に必要な式(2)
の第2項の全てを計算し記憶する。ステップ63で、計
算済みの式(2)の第2項、第3項を加算し誤差電力評
価値を求める。ステップ64で、この誤差電力評価値が
最小値であるかを判定する。最小値であれば、ステップ
65で最小値を更新し、このときの動きベクトルを保存
しておく。ステップ66で、全ての動きベクトル候補の
探索が終了したかを判定し、終了していなればステップ
67で次の動きベクトル候補を設定しステップ63に戻
る。終了したならば、ステップ68で、検出された動き
ベクトルを出力する。ステップ69で、1フレーム分の
動きベクトルを全て検出したかを判定し、検出したなら
ば終了し、いていなければ、ステップ61に戻り次のブ
ロックの動きベクトルの検出を行う。
【0076】第4の発明の一実施例として、式(2)の
第3項の演算を水平方向、垂直方向の順に分離して計算
する方式を示す。簡単化のためにブロックサイズを4×
4、参照領域の大きさを8×8とし、便宜上、参照領域
の画素をy-2,-2 〜y5,5 とする。この場合、参照領域
中に含まれる参照ブロックの数は水平方向5個、垂直方
向5個の計25個となる。この参照ブロックを全て探索
する、このため、動きベクトルの範囲を−2〜2とす
る。
【0077】まず水平方向の演算として、式(4)の
f′-2,-2 〜f′2,5 を式(6)の再帰式を用いて計算
し記憶する。ただし、初期値f′-2,lは、
【0078】
【数19】
【0079】により計算する。次に垂直方向の演算とし
て、式(5)のf-2,-2 〜f2,2 を式(7)の再帰式を
用いて計算し記憶する。ただし、初期値fu,-2は、
【0080】
【数20】
【0081】により計算する。このようにして計算した
式(2)の第3項を用いて、第1、第2、あるいは第3
の発明による動き検出方式で動き検出を行う。例えば、
ブロックのサイズを16×16、フレームのサイズを1
76×144、動き検出の範囲を−7〜7としこの範囲
内の参照ブロックを全て探索する場合を考える。積和演
算、算術演算共に1サイクルで実行するプロセッサ型動
き検出装置の場合、式(1)を計算して評価する従来法
では、1フレーム分の動きを検出するのに、11.4×
106 サイクル必要である。本第4の発明と第1の発明
を用いた手法により同様の動き検出を実行する場合、1
フレーム分の動きの検出が、6.01×106 サイクル
で実現可能である。これは従来法の52.7%の演算量
に相当する。本第4の発明と第1と第3の発明を組み合
わせた手法により同様の動き検出を実行する場合、1フ
レーム分の動きの検出が、5.85×106 サイクルで
実現可能である。これは従来法の51.3%の演算量に
相当する。
【0082】第5の発明の第1の実施例として、式
(2)の第2項の演算方法を示す。簡単化のためにブロ
ックサイズを4×4とし、探索する動きベクトルを−2
〜1までの4×4個とする。この場合の参照領域は、7
×7となる。
【0083】式(2)の第2項の計算は、この場合、式
(16)のC-2,-2 、C0,-2,C-2 ,0、C0,0 を計算す
る。それぞれの計算は9個の副次内積演算からなるが、
ここでは、式(16)中の第5番目の副次内積演算であ
る(Yu,v+1 +Yu+1,v+1 )(X0,0 −X0,1 )につい
て説明する。まず、式(16)中の現ブロックの前処理
を行う。上記第5番目の内積演算に関する副次現ブロッ
クであるX0,0 −X0, 1 は次のようになる。
【0084】 X0,0 −X0,1 =[x0,0 ,x2,0 ,x0,2 ,x2,2 T −[x0,1 ,x2,1 ,x0,3 ,x2,3 T =[x0,0 −x0,1 ,x2,0 −x2,1 ,x0,2 −x0,3 , x2,2 −x2,3 T (20) 次に、式(16)中の参照領域の前処理を行う。上記第
5番目の内積演算に関する参照領域前処理値であるY
u,v+1 −Yu+1,v+1 の計算について説明する。(u,
v)が、(−2,−2)、(0,−2)、(−2,
0)、(0,0)について上式を計算する必要がある
が、それぞれの(u,v)についてYu,v+1 −Yu+
1,v+1 を計算すると以下のようになる。(u,v)=
(−2,−2)のときは、 Y-2,-1 −Y-1,-1 =[y-2,-1 ,y0,-1,y-2,1,y0,1 ]−[y-1,-1 , y1,-1,y-1,1,y1,1 ]=[y-2,-1 −y-1,-1 ,y0,-1−y1,-1,y-2,1− y-1,1,y0,1 −y1,1 ] (21) (u,v)=(0,−2)のときは、 Y0,-1−Y1,-1=[y0,-1,y2,-1,y0,1 ,y2,1 ]−[y1,-1,y3,-1, y1,1 ,y3,1 ]=[y0,-1−y1,-1,y2,-1−y3,-1,y0,1 −y1,1 ,y2, 1 −y3,1 ] (22) (u,v)=(−2,0)のときは、 Y-2,1−Y-1,1=[y-2,1,y0,1 ,y-2,3,y0,3 ]−[y-1,1,y1,1 , y-1,3,y1,3 ]=[y-2,1−y-1,1,y0,1 −y1,1 ,y-2,3−y-1,3,y0, 3 −y1,3 ] (23) (u,v)=(0,0)のときは、 Y0,1 −Y1,1 =[y0,1 ,y2,1 ,y0,3 ,y2,3 ]−[y1,1 ,y3,1 , y1,3 ,y3,3 ]=[y0,1 −y1,1 ,y2,1 −y3,1 ,y0,3 −y1,3 ,y2, 3 −y3,3 ] (24) となる。以上の式(21)から式(24)には16回の
差分演算が含まれる。しかしながら、これらには重複す
る演算が含まれているので、y-2,-1 −y-1,-1、y
0,-1−y1,-1、y2,-1−y3,-1、y-2,1−y-1,1、y
0,1 −y1,1 、y2,1−y3,1 、y-2,3−y-1,3、y
0,3 −y1,3 、y2,3 −y3,3 で表される9回の差分演
算のみを行い、副次参照領域を計算する。この副次参照
領域の一部分を取り出すことで、式(21)から式(2
4)の値を生成することができる。
【0085】このようにして、計算された前処理結果を
もとに、(Yu,v+1 +Yu+1,v+1 )(X0,0 −X0,1
を、(u,v)が、(−2,−2)、(0,−2)、
(−2,0)、(0,0)について計算する。
【0086】以上のような計算を式(16)中の9個の
副次内積演算について行い、最終結果Cu,v を後処理で
式(16)に従って計算する。
【0087】第5の発明の第2の実施例を示す。上記第
1の実施例は式(16)に基づいて、式(2)の第2項
の計算を行った。式(16)は、式(13)を式(1
4)を用いて変形したものである。本実施例では、式
(14)の代わりに、
【0088】
【数21】
【0089】を用いて式(13)を変形した以下の式、
【0090】
【数22】
【0091】に基づき式(2)の第2項の計算を行う。
上記の計算は第1の実施例と同様に行うことができ、演
算量も第1の実施例と等しい。
【0092】第6の発明の実施例として、第5の発明の
第1の実施例で説明した副次内積演算、(Yu,v+1 +Y
u+1,v+1 )(X0,0 −X0,1 )を更に分割する例を示
す。この式をc′u,v と置く。このc′u,v を(u,
v)が(−2,−2)、(0,−2)、(−2,0)、
(0,0)について計算する必要があった。
【0093】
【数23】
【0094】ここで、x′i,j 、y′i,j 、u′、v′
を以下のように定義する。
【0095】 x′i,j =(x2i,2j −x2i,2j+1 ) (28) y′i,j =(y2i,2j+1 −y2i+1,2j+1 ) (29) u′=u/2 (30) v′=v/2 (31) これらを用いると、式(27)は次のように表せる。
【0096】
【数24】
【0097】この式をu′,v′=−1〜0について計
算することになる。この式は式(8)と同様の形式なの
で、第5の発明と同様の方法で式(16)のように分割
し、演算量を削減することができる。
【0098】図6は第7の発明による動き検出方式の処
理過程を示す図である。第7の発明による動き検出方式
は、ある基準参照ブロックの周辺の参照ブロックを探索
する場合に適用できるものである。ステップ70で、周
辺の参照ブロックについて式(17)を計算する際に必
要となる第3項を全て計算し記憶する。この計算方法に
ついては後で詳しく説明する。ステップ71で、式(1
7)の第1項を積和演算器にて計算し記憶する。この式
(17)の第1項は現ブロックと基準参照ブロックとの
内積に−2をかけたものであり、式(17)の第2項が
現ブロックと参照ブロックとの内積を2倍したものであ
ることから、以前の探索において、この項が計算済みの
場合はこの計算を簡略化することができる。ステップ7
2で最初に探索する動きベクトル、つまり参照ブロック
を設定する。またステップ74で用いる最小値をクリア
しておく。次に、ステップ73〜ステップ77で各参照
ブロックを探索する。ステップ73では、現ブロックと
参照ブロックとの内積を2倍したものである式(17)
の第2項を積和演算器にて計算し、既に計算済みの第1
項及び、対応する第3項と算術論理演算器にて加算す
る。ステップ74で、ステップ73の結果が探索してき
た参照ブロック中で最小値であるかを判定する。ただ
し、ステップ73の結果が正の値であったときには、こ
の参照ブロックよりも基準参照ブロックの方が適してい
ることを意味するので最小値とは判断しない。最小値で
あった場合にはステップ75で最小値を更新し、このと
きの動きベクトルを記憶しておく。ステップ76では、
探索する参照ブロックについて全て探索が終了したかを
判定し、未了であればステップ77で次の動きベクトル
を設定してステップ73に戻る。終了していれば、ステ
ップ78で、最小値に対応する動きベクトルを出力し、
対応する参照ブロックと現ブロックとの差分の自乗和を
式(17)から計算して出力する。また、計算済みの現
ブロックと対応する参照ブロックの内積値を2倍したも
のも出力する。これにより、この参照ブロックを基準ブ
ロックとして、さらに周辺を探索する際に、式(17)
の第1項の計算を簡略化することができる。ステップ7
0の計算についてさらに詳しく説明する。例として、ブ
ロックサイズが4×4で動きベクトルを水平方向、垂直
方向共に±1の範囲で探索する場合を考える。この場
合、図12のように、自乗値の計算が必要な画素が存在
する。これを図7のようにP1〜P16、Q1〜Q8の
領域に分割して、各領域内の画素値の自乗和をまず積和
演算器にて計算する。この例では領域P1内には画素は
1個しか存在しないので、この部分の自乗和は一つの画
素の自乗和になる。例えば、動きベクトルを±4の範囲
で探索する場合には、領域P1は4×4のブロックにな
る。これら自乗和を組み合わせることにより、式(1
7)の第3項を計算する。例えば、図12のように基準
参照ブロックからみて動きベクトルが(1,−1)の場
合の式(17)の第3項は、 (Q1+Q8+Q7+Q6+Q5)−(P3+P4+P5+P6+P7) (33) のように算術論理演算器にて計算する。例えば、ブロッ
クのサイズを16×16、フレームのサイズが176×
144であり、動き検出の範囲を−7〜7としこの範囲
内の参照ブロックをロガリズミックサーチ法を用いて、
まず動きベクトルが±4、次に±2、次に±1のように
探索する場合を考える。積和演算、算術演算共に1サイ
クルで実行するプロセッサの場合、式(1)を計算して
評価する従来法では、1フレーム分の動きを検出するの
に、1.27×106 サイクル必要である。本発明を用
いた手法で同様の動き検出を実行する場合、1フレーム
分の動きを検出するのに、0.753×106 サイクル
で実現可能である。これは従来法の59.4%の演算量
に相当する。
【0099】
【発明の効果】以上に説明したように本発明によれば、
動画像の動きを検出する際に、式(1)を展開して計算
するようにしたので、各項の演算量を大幅に削減した
り、各項のデータを他に有効に用いたりすることができ
るという効果が得られる。
【図面の簡単な説明】
【図1】第1、第3の発明の実施例を示すブロック図。
【図2】第2、第3の発明の実施例を示すブロック図。
【図3】第1の発明の実施例を示すフローチャート。
【図4】第2の発明の実施例を示すフローチャート。
【図5】第3の発明の実施例を示すフローチャート。
【図6】第7の発明の実施例を示すフローチャート。
【図7】第7の発明において参照ブロックの画素値の自
乗和の計算方法を説明する図。
【図8】第1の発明の作用を説明する図。
【図9】第3の発明の作用を説明する図。
【図10】第5の発明の作用を説明するブロック図。
【図11】第7の発明の作用を説明する図。
【図12】第7の発明の作用を説明する図。
【図13】動き検出方式を説明する図。
【図14】積和演算器を有するプロセッサの例。
【図15】従来法のフローチャート。
【符号の説明】
10 現ブロックの自乗和計算部 11 現ブロックと参照ブロックの内積計算部 12 参照ブロックの自乗和計算部 13 現ブロックの自乗和の記憶部 14 現ブロックと参照ブロックの内積の記憶部 15 参照ブロックの自乗和の記憶部 16 加算部 17 動きベクトル決定部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68 H04N 11/04 G06T 7/20

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】フレームをいくつかのブロックに分割し、
    現フレーム中の現ブロックと最も相関の高いブロックを
    参照フレーム中から検出することによって動きベクトル
    を検出する動き検出方式において、前記現ブロックの画
    素値の自乗和を計算する手段と、前記現ブロックと前記
    参照フレームの参照領域内の一部、あるいは全ての参照
    ブロックとの内積を−2倍した値を該参照ブロック毎に
    計算する内積計算手段と、前記参照フレームの参照領域
    内の一部、あるいは全ての参照ブロックの画素値の自乗
    和を該参照ブロック毎に計算する第1の参照ブロック自
    乗和演算手段と、現ブロックの画素値の自乗和と、現ブ
    ロックと参照ブロックとの内積を−2倍した値と、参照
    ブロックの画素値の自乗和とを加算した誤差電力値を順
    次計算する手段と、前記順次計算された誤差電力値のう
    ち最小となるものを検出し、誤差電力値が最小となった
    ときの参照ブロックに対応する動きベクトルを前記現ブ
    ロックの動きベクトルとして出力する手段とを備える動
    き検出方式において、 前記第1の参照ブロックの自乗和演算手段に代えて、前
    記参照フレーム内の全ての参照ブロックの画素値の自乗
    和を該参照ブロック毎に計算する第2の参照ブロック自
    乗和演算手段を備え、前記第2の参照ブロック自乗和演
    算手段は、参照ブロックの水平方向または垂直方向のブ
    ロック毎の自乗和からブロック全体の自乗和の計算をす
    ことを特徴とする動き検出方式。
  2. 【請求項2】フレームをいくつかのブロックに分割し、
    現フレーム中の現ブロックと最も相関の高いブロックを
    参照フレーム中から検出することによって動きベクトル
    を検出する動き検出方式において、前記現ブロックと前
    記参照フレームの参照領域内の一部、あるいは全ての参
    照ブロックとの内積を−2倍した値を該参照ブロック毎
    に計算する内積計算手段と、前記参照フレームの参照領
    域内の一部、あるいは全ての参照ブロックの画素値の自
    乗和を該参照ブロック毎に計算する第1の参照ブロック
    自乗和演算手段と、現ブロックと参照ブロックとの内積
    を−2倍した値と、参照ブロックの画素値の自乗和とを
    加算した誤差電力評価値を順次計算する手段と、前記順
    次計算された誤差電力評価値のうち最小となるものを検
    出し、誤差電力評価値が最小となったときの参照ブロッ
    クに対応する動きベクトルを前記現ブロックの動きベク
    トルとして出力する手段とを備える動き検出方式におい
    て、 前記第1の参照ブロックの自乗和演算手段に代えて、前
    記参照フレーム内の全ての参照ブロックの画素値の自乗
    和を該参照ブロック毎に計算する第2の参照ブロック自
    乗和演算手段を備え、前記第2の参照ブロック自乗和演
    算手段は、参照ブロックの水平方向または垂直方向のブ
    ロック毎の自乗和からブロック全体の自乗和の計算をす
    ことを特徴とする動き検出方式。
  3. 【請求項3】 前記内積計算手段が、現ブロックの画素
    値を水平方向、垂直方向共に2で間引いた4種類のブロ
    ックから加減算により計算される計9個の副次現ブロッ
    クを出力とする現ブロック前処理手段と、参照領域の画
    素値を水平方向、垂直方向共に2で間引いた4種類の領
    域から加減算により計算される計9個の副次参照領域を
    出力とする参照領域前処理手段と、前記副次現ブロック
    と前記副次参照領域の内積を計算する9個の副次内積計
    算集団と、前記9個の副次内積計算手段の出力から、加
    減算により内積結果を計算する後処理手段とで構成され
    ることを特徴とする請求項1又は2記載の動き検出方
    式。
  4. 【請求項4】 前記副次内積計算手段として、請求項
    に記載の内積計算手段を再帰的に用いることを特徴とす
    る請求項に記載の動き検出方式。
  5. 【請求項5】 フレームをいくつかのブロックに分割
    し、現フレーム中の現ブロックと最も相関の高いブロッ
    クを参照フレーム中から検出する際に、前記参照フレー
    ムの参照領域内で、基準参照ブロックと基準参照ブロッ
    クの周辺に位置する参照ブロックを候補として最適な参
    照ブロックを決定し、これを基準参照ブロックとする操
    作を繰り返して動きベクトルを検出する動き検出方式に
    おいて、前記基準参照ブロックの画素値の自乗和と前記
    周辺の参照ブロックの画素値の自乗和との差分をそれぞ
    れ計算する手段と、現ブロックと基準参照ブロックの内
    積を−2倍した値を計算する手段と、現ブロックと参照
    ブロックの内積を2倍した値を計算する手段と、前記計
    算結果と、前記記憶手段に記憶された基準参照ブロック
    の画素値の自乗和と当該参照ブロックの画素値の自乗和
    との差分値と、現ブロックと基準参照ブロックの内積を
    −2倍した値を加算する手段と、各探索参照ブロックに
    ついて順次計算された前記加算結果から値が最小となる
    ものを検出し、前記最小値が負の値のときは前記最小値
    となったときの参照ブロックに対応する動きベクトルを
    前記現ブロックの動きベクトルとして出力し、前記最小
    値が負の値でないときは基準参照ブロックに対応する動
    きベクトルを前記現ブロックの動きベクトルとして出力
    とする手段を備えていることを特徴とする動き検出方
    式。
JP27303295A 1995-07-07 1995-10-20 動き検出方式 Expired - Fee Related JP2853616B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27303295A JP2853616B2 (ja) 1995-07-07 1995-10-20 動き検出方式
US08/675,673 US5715017A (en) 1995-07-07 1996-07-03 Motion estimating system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP19599895 1995-07-07
JP7-195998 1995-07-07
JP27303295A JP2853616B2 (ja) 1995-07-07 1995-10-20 動き検出方式

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP19489398A Division JP3080075B2 (ja) 1995-07-07 1998-07-10 動き検出方式

Publications (2)

Publication Number Publication Date
JPH0984016A JPH0984016A (ja) 1997-03-28
JP2853616B2 true JP2853616B2 (ja) 1999-02-03

Family

ID=26509464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27303295A Expired - Fee Related JP2853616B2 (ja) 1995-07-07 1995-10-20 動き検出方式

Country Status (2)

Country Link
US (1) US5715017A (ja)
JP (1) JP2853616B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
US6130912A (en) * 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection
US6671319B1 (en) 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
US6483876B1 (en) 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
US6690728B1 (en) 1999-12-28 2004-02-10 Sony Corporation Methods and apparatus for motion estimation in compressed domain
EP1592250A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film-mode detection in video sequences
US9530222B2 (en) * 2015-03-30 2016-12-27 Ca, Inc. Detecting divergence or convergence of related objects in motion and applying asymmetric rules
DE102016207110B4 (de) * 2016-04-27 2023-02-09 Continental Automotive Technologies GmbH Verfahren und Vorrichtungen zum Erkennen von Veränderungen von Positionen von Sende-und/oder-Empfangseinrichtungen wie insbesondere Kraftfahrzeug-Transceivern relativ zueinander

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2652195B2 (ja) * 1988-05-23 1997-09-10 富士通株式会社 ブロツクマツチング型動き検出回路
JPH0832048B2 (ja) * 1990-01-23 1996-03-27 日本ビクター株式会社 動きベクトル検出装置
KR950014862B1 (ko) * 1992-02-08 1995-12-16 삼성전자주식회사 움직임추정방법 및 그 장치
KR0160618B1 (ko) * 1992-10-27 1999-01-15 윤종용 실시간 움직임 추정장치 및 그 방법
JP2591441B2 (ja) * 1993-09-28 1997-03-19 日本電気株式会社 動画像信号の動ベクトル検出装置
JP2853553B2 (ja) * 1994-02-22 1999-02-03 日本電気株式会社 動画像符号化方式
JP3589483B2 (ja) * 1994-05-27 2004-11-17 テキサス インスツルメンツ インコーポレイテツド データ処理方法
US5539469A (en) * 1994-12-30 1996-07-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors through the use of an adaptive median filtering technique

Also Published As

Publication number Publication date
JPH0984016A (ja) 1997-03-28
US5715017A (en) 1998-02-03

Similar Documents

Publication Publication Date Title
KR100787675B1 (ko) 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치
US7412114B2 (en) Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same
EP3872747B1 (en) Video super resolution method
US20120287339A1 (en) Image Processing Method and System with Repetitive Pattern Detection
CN101971209A (zh) 超高分辨率视频处理的稀疏几何结构
JP2853616B2 (ja) 動き検出方式
CN101040530B (zh) 具有视频模式检测的运动估计
Cha et al. Self-supervised monocular depth estimation with isometric-self-sample-based learning
JP2004348741A (ja) 画像の比較方法、方法を実行するためのプログラムを記憶するコンピュータ可読記憶媒体、および方法を実行する装置
JP2950633B2 (ja) 動きベクトル検出装置
JP3080075B2 (ja) 動き検出方式
US5710603A (en) Method for detecting motion vectors
US8559518B2 (en) System and method for motion estimation of digital video using multiple recursion rules
CN110009676B (zh) 一种双目图像的本征性质分解方法
JP2000099744A (ja) 画像動きベクトル検出方法およびその装置
JP3020299B2 (ja) 動きベクトル検出装置
US5548665A (en) Vector correlation detecting circuit
US9699475B2 (en) Video sequence analysis for robust motion estimation
JP3189655B2 (ja) 動きベクトル検出装置およびその方法
JP3580612B2 (ja) 動画像符号化装置の動き検出装置
JPH10255049A (ja) ブロックマッチングを用いた画像処理方法
JP2901848B2 (ja) ベクトル相関検出回路
JPH05176314A (ja) 画像の動き検出装置
JP2000102015A (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP3589483B2 (ja) データ処理方法

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees