JP2652195B2 - ブロツクマツチング型動き検出回路 - Google Patents
ブロツクマツチング型動き検出回路Info
- Publication number
- JP2652195B2 JP2652195B2 JP12548688A JP12548688A JP2652195B2 JP 2652195 B2 JP2652195 B2 JP 2652195B2 JP 12548688 A JP12548688 A JP 12548688A JP 12548688 A JP12548688 A JP 12548688A JP 2652195 B2 JP2652195 B2 JP 2652195B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- correlation
- correlation operation
- input
- detection circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 〔概要〕 動きのある対象における動きの量を検出するためのブ
ロックマッチング型動き検出回路に関し、 参照データメモリへのデータアクセスを高速にせずに
アクセスポート数を減らすことを目的とし、 現ブロックと各参照ブロックとの相関を演算するとと
もに参照ブロックのデータを保持する複数の相関演算ユ
ニットを二次元的に配列してなり、外側の相関演算ユニ
ットにおいて参照ブロックを構成する画素における４方
向または３方向のいずれか１方向のデータを選択して前
フレームの画像信号によって更新するとともに、更新さ
れた参照ブロックを選択された方向と逆の方向に各相関
演算ユニットを逐次シフトするように構成し、各相関演
算ユニットにおいて入力参照ブロックと現ブロックとの
間で相関演算を行って相関の大きさを示す信号を発生す
る相関演算回路と、相関演算回路における相関の大きさ
を示す信号中最大のものを検出するとともにこれに対応
する参照ブロックと現ブロックとの動きを示す動きベク
トルを発生する最小値検出回路とを備えて構成される。
ロックマッチング型動き検出回路に関し、 参照データメモリへのデータアクセスを高速にせずに
アクセスポート数を減らすことを目的とし、 現ブロックと各参照ブロックとの相関を演算するとと
もに参照ブロックのデータを保持する複数の相関演算ユ
ニットを二次元的に配列してなり、外側の相関演算ユニ
ットにおいて参照ブロックを構成する画素における４方
向または３方向のいずれか１方向のデータを選択して前
フレームの画像信号によって更新するとともに、更新さ
れた参照ブロックを選択された方向と逆の方向に各相関
演算ユニットを逐次シフトするように構成し、各相関演
算ユニットにおいて入力参照ブロックと現ブロックとの
間で相関演算を行って相関の大きさを示す信号を発生す
る相関演算回路と、相関演算回路における相関の大きさ
を示す信号中最大のものを検出するとともにこれに対応
する参照ブロックと現ブロックとの動きを示す動きベク
トルを発生する最小値検出回路とを備えて構成される。
本発明は画像信号を対象とする高能率符号化技術に係
り、特に動きのある対象における動きの量を検出するた
めのブロックマッチング型動き検出回路に関する。
り、特に動きのある対象における動きの量を検出するた
めのブロックマッチング型動き検出回路に関する。
画像信号の高能率符号化方式においては、動き補償予
測方式を用いて画像を前フレームとの差分と動きの量を
示す動きベクトルとに分解して伝送することによって、
伝送すべき情報量を圧縮する方式が用いられる。
測方式を用いて画像を前フレームとの差分と動きの量を
示す動きベクトルとに分解して伝送することによって、
伝送すべき情報量を圧縮する方式が用いられる。
またこのような動きの量の検出は、物体や人物の追跡
システム等における動きのある対象の動きの量を検出す
る回路や、放送等で用いられる画面ゆれ補正装置におけ
るカメラのゆれの量を検出する回路等において必要とな
るものである。
システム等における動きのある対象の動きの量を検出す
る回路や、放送等で用いられる画面ゆれ補正装置におけ
るカメラのゆれの量を検出する回路等において必要とな
るものである。
画像信号における対象の動きの量を検出する動き検出
回路は、参照データメモリからのデータ転送速度を上げ
ることなく、アクセスポート数を減らすことができるも
のであることが要望される。
回路は、参照データメモリからのデータ転送速度を上げ
ることなく、アクセスポート数を減らすことができるも
のであることが要望される。
高能率符号化方式においては、対象の動きを検出する
ためにブロックマッチング型動き検出方式を用いる。
ためにブロックマッチング型動き検出方式を用いる。
第６図は従来のブロックマッチング型動き検出方式を
説明するものであって、（ａ）は現フレームを示し、
（ｂ）は前フレームを示している。
説明するものであって、（ａ）は現フレームを示し、
（ｂ）は前フレームを示している。
即ち、現フレーム中のあるブロック（現ブロック）
が、時間方向の相関が大きい前フレーム中のどのブロッ
クと最も相関が大きいかを検出することによって、動き
の量が測られる。連続するフレーム間においては物体の
動きは小さいと考えられるので、現ブロックの１フレー
ム前のブロックを中心ブロックとして、斜線を付して示
したその近傍を参照範囲としてこの範囲を探索して、相
関の最も大きいブロック（最適ブロック）を求める方法
が用いられる。
が、時間方向の相関が大きい前フレーム中のどのブロッ
クと最も相関が大きいかを検出することによって、動き
の量が測られる。連続するフレーム間においては物体の
動きは小さいと考えられるので、現ブロックの１フレー
ム前のブロックを中心ブロックとして、斜線を付して示
したその近傍を参照範囲としてこの範囲を探索して、相
関の最も大きいブロック（最適ブロック）を求める方法
が用いられる。
第７図は従来のブロックマッチング型動き検出におけ
る参照ブロックを説明する図である。第７図において
は、ブロックサイズ４×４の場合、中心ブロックに対し
て水平（ｘ）方向に−２〜＋２画素，垂直（ｙ）方向に
−２〜＋２画素の範囲、即ち、８×８画素の範囲を参照
範囲として、その中にある25ブロックから例えば第ｎ番
目の参照ブロックを最適ブロックとして求めることを示
している。
る参照ブロックを説明する図である。第７図において
は、ブロックサイズ４×４の場合、中心ブロックに対し
て水平（ｘ）方向に−２〜＋２画素，垂直（ｙ）方向に
−２〜＋２画素の範囲、即ち、８×８画素の範囲を参照
範囲として、その中にある25ブロックから例えば第ｎ番
目の参照ブロックを最適ブロックとして求めることを示
している。
第８図は従来のブロックマッチング型動き検出回路の
一例を示す図であって、（ａ）はそのブロック構成図、
（ｂ）はその動作を示すタイムチャート図である。第８
図は参照ブロックの数ｎに対応してｎ個の相関演算ユニ
ットを並列に備え、メモリからｎ本のアクセスポートを
有する場合を示している。
一例を示す図であって、（ａ）はそのブロック構成図、
（ｂ）はその動作を示すタイムチャート図である。第８
図は参照ブロックの数ｎに対応してｎ個の相関演算ユニ
ットを並列に備え、メモリからｎ本のアクセスポートを
有する場合を示している。
第８図（ａ），（ｂ）において、現フレームの画像信
号はブロック毎にその構成画素I1〜Imが順次入力端子Ｉ
からｎ個の相関演算ユニットPU1〜PUnに入力される。図
示されないメモリにおける前フレームの画像信号は、ｎ
本のアクセスポートからそれぞれ相関演算ユニットPU1
〜PUnの入力R1〜Rnに入力される。R1 1〜Rn 1,R1 2〜Rn 2,
…,R1 m〜Rn mはそれぞれ第１〜第ｎ番目の参照ブロック
の画素の入力を示している。これによって各相関演算ユ
ニットでは、現フレームの画像信号と前フレームの画像
信号とが減算器SUBにおいて減算され、減算結果から絶
対値演算器ABSにおいてそれぞれ絶対値出力が求めら
れ、絶対値出力は累算器ACCにおいてそれぞれ累算され
て、参照ブロック毎の累算出力A1〜Anを生じる。累算出
力A1〜Anは最小値検出回路MIDに入力されて、どの累算
出力が最小であるかが検出され、最小の累算出力、例え
ばA2が動きベクトル出力信号として出力される。
号はブロック毎にその構成画素I1〜Imが順次入力端子Ｉ
からｎ個の相関演算ユニットPU1〜PUnに入力される。図
示されないメモリにおける前フレームの画像信号は、ｎ
本のアクセスポートからそれぞれ相関演算ユニットPU1
〜PUnの入力R1〜Rnに入力される。R1 1〜Rn 1,R1 2〜Rn 2,
…,R1 m〜Rn mはそれぞれ第１〜第ｎ番目の参照ブロック
の画素の入力を示している。これによって各相関演算ユ
ニットでは、現フレームの画像信号と前フレームの画像
信号とが減算器SUBにおいて減算され、減算結果から絶
対値演算器ABSにおいてそれぞれ絶対値出力が求めら
れ、絶対値出力は累算器ACCにおいてそれぞれ累算され
て、参照ブロック毎の累算出力A1〜Anを生じる。累算出
力A1〜Anは最小値検出回路MIDに入力されて、どの累算
出力が最小であるかが検出され、最小の累算出力、例え
ばA2が動きベクトル出力信号として出力される。
第９図は従来のブロックマッチング型動き検出回路の
他の例を示したものであって、（ａ）はそのブロック構
成図、（ｂ）はその動作を示すタイムチャート図であ
る。第９図は相関演算ユニットを１個だけ備え、メモリ
から１本のアクセスポートを経て、ｎ倍の速度でデータ
をアクセスするものである。
他の例を示したものであって、（ａ）はそのブロック構
成図、（ｂ）はその動作を示すタイムチャート図であ
る。第９図は相関演算ユニットを１個だけ備え、メモリ
から１本のアクセスポートを経て、ｎ倍の速度でデータ
をアクセスするものである。
この場合は第９図（ｂ）に示すように、減算器SUBに
対して現フレームの画像信号I1〜Imが順次入力される間
に、前フレームの画像信号がｎ倍の速度で、R1 1〜Rn 1,R
1 2〜Rn 2,…,R1 m〜Rn mというように入力されて減算が行
われ、減算結果に対して絶対値演算器ABSで絶対値が求
められ、絶対値出力は累算器ACCにおいて累算されて累
算出力A1〜Amが出力され、これに対して最小値検出回路
MIDにおいて最小値が検出されて、最小の累算出力、例
えばA2が動きベクトルとして出力される。従って、第９
図（ａ）の回路では、現フレームの画像信号入力に対し
て前フレームの画像信号入力がｎ倍の速度で減算，絶対
値演算，累算，最小値検出が行われて、動きベクトル出
力信号が出力される。
対して現フレームの画像信号I1〜Imが順次入力される間
に、前フレームの画像信号がｎ倍の速度で、R1 1〜Rn 1,R
1 2〜Rn 2,…,R1 m〜Rn mというように入力されて減算が行
われ、減算結果に対して絶対値演算器ABSで絶対値が求
められ、絶対値出力は累算器ACCにおいて累算されて累
算出力A1〜Amが出力され、これに対して最小値検出回路
MIDにおいて最小値が検出されて、最小の累算出力、例
えばA2が動きベクトルとして出力される。従って、第９
図（ａ）の回路では、現フレームの画像信号入力に対し
て前フレームの画像信号入力がｎ倍の速度で減算，絶対
値演算，累算，最小値検出が行われて、動きベクトル出
力信号が出力される。
第８図に示された従来のブロックマッチング型動き検
出回路は、演算速度を高くする必要はないが、メモリの
アクセスポート数が多くなり、メモリ回路の規模が大き
くなるという問題点がある。
出回路は、演算速度を高くする必要はないが、メモリの
アクセスポート数が多くなり、メモリ回路の規模が大き
くなるという問題点がある。
また第９図に示された従来のブロックマッチング型動
き検出回路は、アクセスポート数は少なくて済むが、ア
クセス速度が高くなり、素子の能力によっては実現不可
能となるという問題がある。
き検出回路は、アクセスポート数は少なくて済むが、ア
クセス速度が高くなり、素子の能力によっては実現不可
能となるという問題がある。
本発明はこのような従来技術の課題を解決しようとす
るものであって、第８図の回路において同じデータが繰
り返しアクセスされていることに着目して、繰り返し、
繰り返しアクセスする回数を少なくし、アクセス速度を
高くしないで、アクセスポート数を少なくすることがで
きるブロックマッチング型動き検出回路を提供すること
を目的としている。
るものであって、第８図の回路において同じデータが繰
り返しアクセスされていることに着目して、繰り返し、
繰り返しアクセスする回数を少なくし、アクセス速度を
高くしないで、アクセスポート数を少なくすることがで
きるブロックマッチング型動き検出回路を提供すること
を目的としている。
第１図は本発明のブロックマッチング型動き検出回路
の基本的構成を示す全体ブロック図である。
の基本的構成を示す全体ブロック図である。
本発明は第１図にその基本的構成を示すように、現ブ
ロックと前フレームにおいて現フレームに対応する中心
ブロックの近傍に設定された参照範囲内における現ブロ
ックと同サイズの複数の各参照ブロックのうち現ブロッ
クとの相関が最大なものを検出して該参照ブロックと現
ブロックとの動きを示す動きベクトルを発生するブロッ
クマッチング型動き検出回路において、相関演算回路１
と、最小値検出回路２とを設けたものである。
ロックと前フレームにおいて現フレームに対応する中心
ブロックの近傍に設定された参照範囲内における現ブロ
ックと同サイズの複数の各参照ブロックのうち現ブロッ
クとの相関が最大なものを検出して該参照ブロックと現
ブロックとの動きを示す動きベクトルを発生するブロッ
クマッチング型動き検出回路において、相関演算回路１
と、最小値検出回路２とを設けたものである。
相関演算回路１は、現ブロックと前記各参照ブロック
との相関を演算するとともに該参照ブロックのデータを
１サンプル周期保持する複数の相関演算ユニット（PU11
〜PUmn）を二次元的に配列してなるものである。外側の
相関演算ユニット（PU11〜PUmn）においては、参照ブロ
ックを構成する画素における最上行，最左列，最下行，
最右列の４方向またはこれらのうちの３方向のいずれか
１方向のデータを選択して前フレームの画像信号によっ
て更新する。そしてこの更新された参照ブロックを該選
択された方向と逆の方向に各相関演算ユニット（PU11〜
PUmn）を逐次シフトすることができるように構成する。
各相関演算ユニット（PU11〜PUmn）においては、参照ブ
ロックが入力されるごとに入力参照ブロックと現ブロッ
クとの間で相関演算を行って相関の大きさを示す信号を
発生する。
との相関を演算するとともに該参照ブロックのデータを
１サンプル周期保持する複数の相関演算ユニット（PU11
〜PUmn）を二次元的に配列してなるものである。外側の
相関演算ユニット（PU11〜PUmn）においては、参照ブロ
ックを構成する画素における最上行，最左列，最下行，
最右列の４方向またはこれらのうちの３方向のいずれか
１方向のデータを選択して前フレームの画像信号によっ
て更新する。そしてこの更新された参照ブロックを該選
択された方向と逆の方向に各相関演算ユニット（PU11〜
PUmn）を逐次シフトすることができるように構成する。
各相関演算ユニット（PU11〜PUmn）においては、参照ブ
ロックが入力されるごとに入力参照ブロックと現ブロッ
クとの間で相関演算を行って相関の大きさを示す信号を
発生する。
最小値検出回路２は、相関演算回路１において発生し
た相関の大きさを示す信号中最大の値を有するものを検
出する。そして最大の相関値を検出された参照ブロック
と現ブロックとの動きを示す動きベクトルを発生する。
た相関の大きさを示す信号中最大の値を有するものを検
出する。そして最大の相関値を検出された参照ブロック
と現ブロックとの動きを示す動きベクトルを発生する。
従って、本発明の構成は以下に示す通りである。即
ち、現ブロックと前フレームにおいて現フレームに対応
する中心ブロックの近傍に設定された参照範囲内におけ
る現ブロックと同サイズの複数の各参照ブロックのうち
現ブロックとの相関が最大なものを検出して該参照ブロ
ックと現ブロックとの動きを示す動きベクトルを発生す
るブロックマッチング型動き検出回路において、 現ブロックと前記各参照ブロックとの相関を演算する
とともに該参照ブロックのデータを１サンプル周期保持
する複数の相関演算ユニット（PU11〜PUmn）を二次元的
に配列してなり、外側の相関演算ユニットにおいて参照
ブロックを構成する画素における最上行，最左列，最下
行，最右列の４方向またはこれらのうちの３方向のいず
れか１方向のデータを選択して前フレームの画像信号に
よって更新するとともに、該更新された参照ブロックを
該選択された方向と逆の方向に各相関演算ユニットを逐
次シフトするように構成し、各相関演算ユニットにおい
てその都度入力された参照ブロックと現ブロックとの間
で相関演算を行って相関の大きさを示す信号を発生する
相関演算回路（１）と、 該相関演算回路（１）において発生した相関の大きさ
を示す信号中最大の値を有するものを検出するとともに
該検出された信号に対応する参照ブロックと現ブロック
との動きを示す動きベクトルを発生する最小値検出回路
（２）とを備えてなることを特徴とするブロックマッチ
ング型動き検出回路としての構成を有する。
ち、現ブロックと前フレームにおいて現フレームに対応
する中心ブロックの近傍に設定された参照範囲内におけ
る現ブロックと同サイズの複数の各参照ブロックのうち
現ブロックとの相関が最大なものを検出して該参照ブロ
ックと現ブロックとの動きを示す動きベクトルを発生す
るブロックマッチング型動き検出回路において、 現ブロックと前記各参照ブロックとの相関を演算する
とともに該参照ブロックのデータを１サンプル周期保持
する複数の相関演算ユニット（PU11〜PUmn）を二次元的
に配列してなり、外側の相関演算ユニットにおいて参照
ブロックを構成する画素における最上行，最左列，最下
行，最右列の４方向またはこれらのうちの３方向のいず
れか１方向のデータを選択して前フレームの画像信号に
よって更新するとともに、該更新された参照ブロックを
該選択された方向と逆の方向に各相関演算ユニットを逐
次シフトするように構成し、各相関演算ユニットにおい
てその都度入力された参照ブロックと現ブロックとの間
で相関演算を行って相関の大きさを示す信号を発生する
相関演算回路（１）と、 該相関演算回路（１）において発生した相関の大きさ
を示す信号中最大の値を有するものを検出するとともに
該検出された信号に対応する参照ブロックと現ブロック
との動きを示す動きベクトルを発生する最小値検出回路
（２）とを備えてなることを特徴とするブロックマッチ
ング型動き検出回路としての構成を有する。
本発明のブロックマッチング型動き検出回路は第１図
に示されるように相関演算回路１と最小値検出回路２と
を有し、現フレームの画像信号とｎ本のポートから入力
される前フレームの画像信号とは、相関演算回路１にお
いて相関を演算され累算出力が最小値検出回路２に入力
される。最小値検出回路２においては最小の累算出力を
検出し、これに基づいて動きベクトル出力信号を出力す
る。
に示されるように相関演算回路１と最小値検出回路２と
を有し、現フレームの画像信号とｎ本のポートから入力
される前フレームの画像信号とは、相関演算回路１にお
いて相関を演算され累算出力が最小値検出回路２に入力
される。最小値検出回路２においては最小の累算出力を
検出し、これに基づいて動きベクトル出力信号を出力す
る。
従って本発明のブロックマッチング型動き検出回路で
は、繰り返しアクセスする回数を少なくすることがで
き、アクセス速度を高くしないで、アクセスポート数を
少なくすることができるようになる。
は、繰り返しアクセスする回数を少なくすることがで
き、アクセス速度を高くしないで、アクセスポート数を
少なくすることができるようになる。
第２図は本発明の一実施例としてのブロックマッチン
グ型動き検出回路における相関演算回路の構成をブロッ
ク図によって示したものであって、参照ブロックが４×
４の場合を例示し、PU1〜PU16は相関演算ユニットであ
る。
グ型動き検出回路における相関演算回路の構成をブロッ
ク図によって示したものであって、参照ブロックが４×
４の場合を例示し、PU1〜PU16は相関演算ユニットであ
る。
第２図において、現フレームの画像信号PIは相関演算
ユニットPU1〜PU16のそれぞれの端子P1〜P16に入力され
る。また前フレームの画像信号RI1〜RI4は４本のアクセ
スポートから、相関演算ユニットPU1〜PU4の左入力端子
L1〜L4、及び相関演算ユニットPU1,PU5,PU9,PU13の上入
力端子U1,U5,U9,U13、及び相関演算ユニットPU4,PU8,PU
12,PU16の下入力端子D4,D8,D12,D16から入力され、相関
演算ユニット内部で演算された結果は、端子S1〜S16か
ら累算出力SUMOとして出力される。
ユニットPU1〜PU16のそれぞれの端子P1〜P16に入力され
る。また前フレームの画像信号RI1〜RI4は４本のアクセ
スポートから、相関演算ユニットPU1〜PU4の左入力端子
L1〜L4、及び相関演算ユニットPU1,PU5,PU9,PU13の上入
力端子U1,U5,U9,U13、及び相関演算ユニットPU4,PU8,PU
12,PU16の下入力端子D4,D8,D12,D16から入力され、相関
演算ユニット内部で演算された結果は、端子S1〜S16か
ら累算出力SUMOとして出力される。
また各相関演算ユニットの上入力端子U1〜U16、左入
力端子L1〜L16、下入力端子D1〜D16に対するセレクト信
号SEL1がそれぞれ端子SEL1〜SEL16から入力される。各
相関演算ユニット内で１サンプル周期分遅延された出力
は、端子O1〜O16からそれぞれ上，右，下の各相関演算
ユニットにおける下（Ｄ），左（Ｌ），上（Ｕ）の入力
端子に入力される。
力端子L1〜L16、下入力端子D1〜D16に対するセレクト信
号SEL1がそれぞれ端子SEL1〜SEL16から入力される。各
相関演算ユニット内で１サンプル周期分遅延された出力
は、端子O1〜O16からそれぞれ上，右，下の各相関演算
ユニットにおける下（Ｄ），左（Ｌ），上（Ｕ）の入力
端子に入力される。
第３図は本発明のブロックマッチング型動き検出回路
の相関演算ユニットの内部構成を示すブロック図であ
る。第３図において11はセレクタ、12は減算器、13は絶
対値演算器、14は加算器、15,17,18はシフトレジスタ、
16はフリップフロップである。
の相関演算ユニットの内部構成を示すブロック図であ
る。第３図において11はセレクタ、12は減算器、13は絶
対値演算器、14は加算器、15,17,18はシフトレジスタ、
16はフリップフロップである。
第３図において上セル出力信号U,左セル出力信号L,下
セル出力信号Ｄはセレクタ11においてセレクト信号入力
SELに従って、いずれか１つが選択されて減算器12に入
力され、現入力信号Ｐと差分の演算を行われる。差分の
信号は絶対値演算器13に加えられて絶対値出力を求めら
れ、絶対値出力は加算器14とシフトレジスタ15より構成
される累算器に入力されて累算出力を求められる。
セル出力信号Ｄはセレクタ11においてセレクト信号入力
SELに従って、いずれか１つが選択されて減算器12に入
力され、現入力信号Ｐと差分の演算を行われる。差分の
信号は絶対値演算器13に加えられて絶対値出力を求めら
れ、絶対値出力は加算器14とシフトレジスタ15より構成
される累算器に入力されて累算出力を求められる。
累算出力はフリップフロップ16において、累算結果ラ
ッチクロック入力CKによりラッチされ、累算出力Ｓを生
じる。出力コントロールパルスOCIはシフトレジスタ17
において１サンプル周期分遅延され、OCOとして出力さ
れるとともに、ラッチ用フリップフロップ16のOC入力に
加えられてその出力をイネーブルにする。
ッチクロック入力CKによりラッチされ、累算出力Ｓを生
じる。出力コントロールパルスOCIはシフトレジスタ17
において１サンプル周期分遅延され、OCOとして出力さ
れるとともに、ラッチ用フリップフロップ16のOC入力に
加えられてその出力をイネーブルにする。
またシフトレジスタ18はセレクタ11の出力における参
照ブロックのデータを１サンプル周期遅延させて、出力
Ｏとして出力する。
照ブロックのデータを１サンプル周期遅延させて、出力
Ｏとして出力する。
第４図は本発明のブロックマッチング型動き検出回路
の前フレーム画像信号入力及び相関演算回路の動作を説
明する図である。
の前フレーム画像信号入力及び相関演算回路の動作を説
明する図である。
７×７画素サイズの参照範囲内において、右上端の参
照ブロックが最初に第２図に示す相関演算ユニットPU1
〜PU16に入力され、演算が行われる。
照ブロックが最初に第２図に示す相関演算ユニットPU1
〜PU16に入力され、演算が行われる。
サンプル時間ｔ＝１においては、相関演算ユニットPU
1〜PU16のすべてのセレクタ11では下入力が選択され、
メモリから新たに４画素分のデータがポートRI1,RI2,RI
3,RI4を経て端子D4,D8,D12,D16からそれぞれ相関演算ユ
ニットPU4,PU8,PU12,PU16に入力され、相関演算ユニッ
トPU4,PU8,PU12,PU16に蓄積されていたデータは、出力
端子O4,O8,O12,O16から相関演算ユニットPU3,PU7,PU11,
PU15に端子D3,D7,D11,D15を経て入力され、相関演算ユ
ニットPU3,PU7,PU11,P15に蓄積されていたデータは、出
力端子O3,O7,O11,O15から相関演算ユニットPU2,PU6,PU1
0,PU14に端子D2,D6,D10,D14を経て入力され、相関演算
ユニットPU2,PU6,PU10,PU14に蓄積されていたデータ
は、出力端子O2,O6,O10,O14から相関演算ユニットPU1,P
U5,PU9,PU13に端子D1,D5,D9,D13を経て入力され、相関
演算ユニットPU1〜PU16では次の参照ブロックとの間で
演算が行われる。
1〜PU16のすべてのセレクタ11では下入力が選択され、
メモリから新たに４画素分のデータがポートRI1,RI2,RI
3,RI4を経て端子D4,D8,D12,D16からそれぞれ相関演算ユ
ニットPU4,PU8,PU12,PU16に入力され、相関演算ユニッ
トPU4,PU8,PU12,PU16に蓄積されていたデータは、出力
端子O4,O8,O12,O16から相関演算ユニットPU3,PU7,PU11,
PU15に端子D3,D7,D11,D15を経て入力され、相関演算ユ
ニットPU3,PU7,PU11,P15に蓄積されていたデータは、出
力端子O3,O7,O11,O15から相関演算ユニットPU2,PU6,PU1
0,PU14に端子D2,D6,D10,D14を経て入力され、相関演算
ユニットPU2,PU6,PU10,PU14に蓄積されていたデータ
は、出力端子O2,O6,O10,O14から相関演算ユニットPU1,P
U5,PU9,PU13に端子D1,D5,D9,D13を経て入力され、相関
演算ユニットPU1〜PU16では次の参照ブロックとの間で
演算が行われる。
時間ｔ＝2,t＝３のときも同様にして動作が行われ
る。
る。
時間ｔ＝４のとき、相関演算ユニットPU1〜PU16のす
べてのセレクタでは左入力Ｌが選択され、メモリから新
たに４画素分のデータがポートRI1,RI2,RI3,RI4を経て
端子L1,L2,L3,L4から相関演算ユニット,PU1〜PU4に入力
され、相関演算ユニットPU1〜PU4に蓄積されていたデー
タは、出力端子O1〜O4から相関演算ユニットPU5〜PU8に
対しその左端子L5〜L8を経て入力され、相関演算ユニッ
トPU5〜PU12に蓄積されていたデータは出力端子O5〜O8
から相関演算ユニットPU9〜PU12に対しその左端子L9〜L
12を経由して入力され、相関演算ユニットPU9〜PU12に
蓄積されていたデータは出力端子O9〜O12から相関演算
ユニットPU13〜PU16に対しその左端子L13〜L16を経由し
て入力される。
べてのセレクタでは左入力Ｌが選択され、メモリから新
たに４画素分のデータがポートRI1,RI2,RI3,RI4を経て
端子L1,L2,L3,L4から相関演算ユニット,PU1〜PU4に入力
され、相関演算ユニットPU1〜PU4に蓄積されていたデー
タは、出力端子O1〜O4から相関演算ユニットPU5〜PU8に
対しその左端子L5〜L8を経て入力され、相関演算ユニッ
トPU5〜PU12に蓄積されていたデータは出力端子O5〜O8
から相関演算ユニットPU9〜PU12に対しその左端子L9〜L
12を経由して入力され、相関演算ユニットPU9〜PU12に
蓄積されていたデータは出力端子O9〜O12から相関演算
ユニットPU13〜PU16に対しその左端子L13〜L16を経由し
て入力される。
時間ｔ＝５のとき、相関演算ユニットPU1〜PU16のす
べてのセレクタでは上入力Ｕが選択され、メモリから新
たに４画素分のデータがポートRI1,RI2,RI3,RI4を経て
上端子U1,U5,U9,U13から相関演算ユニットPU1,PU5,PU9,
PU13に入力される。相関演算ユニットPU1,PU5,PU9,PU13
に蓄積されていたデータは、出力端子O1,O5,O9,O13から
上端子U2,U6,U10,U14を経由して相関演算ユニットPU2,P
U6,PU10,PU14に入力され、相関演算ユニットPU2,PU6,PU
10,PU14に蓄積されていたデータは出力端子O2,O6,O10,O
14から上端子U3,U7,U11,U15を経由して相関演算ユニッ
トPU3,PU7,PU11,PU15に入力され、相関演算ユニットPU
3,PU7,PU11,PU15に蓄積されていたデータは出力端子O3,
O7,O10、O15から上端子U4,U8,U12,U16を経由して相関演
算ユニットPU4,PU8,PU12,PU16に入力される。
べてのセレクタでは上入力Ｕが選択され、メモリから新
たに４画素分のデータがポートRI1,RI2,RI3,RI4を経て
上端子U1,U5,U9,U13から相関演算ユニットPU1,PU5,PU9,
PU13に入力される。相関演算ユニットPU1,PU5,PU9,PU13
に蓄積されていたデータは、出力端子O1,O5,O9,O13から
上端子U2,U6,U10,U14を経由して相関演算ユニットPU2,P
U6,PU10,PU14に入力され、相関演算ユニットPU2,PU6,PU
10,PU14に蓄積されていたデータは出力端子O2,O6,O10,O
14から上端子U3,U7,U11,U15を経由して相関演算ユニッ
トPU3,PU7,PU11,PU15に入力され、相関演算ユニットPU
3,PU7,PU11,PU15に蓄積されていたデータは出力端子O3,
O7,O10、O15から上端子U4,U8,U12,U16を経由して相関演
算ユニットPU4,PU8,PU12,PU16に入力される。
時間ｔ＝6,7のときも同様である。
時間ｔ＝８のときは、時間ｔ＝４のときと同様であ
る。
る。
時間ｔ＝９〜11のときは、ｔ＝１〜３のときと同様で
ある。
ある。
時間ｔ＝12のときは、時間ｔ＝４のときと同様であ
る。
る。
時間ｔ＝13〜15のときは、ｔ＝５〜７のときと同様で
ある。
ある。
このようにして現ブロックとの相関を演算されるべき
参照ブロックは、第４図の右上端から始めて順次16個の
位置をシフトされ、その都度各相関演算ユニットにおい
て現ブロックとの相関が演算されて、相関累算出力S1〜
S16がSUMOに出力される。
参照ブロックは、第４図の右上端から始めて順次16個の
位置をシフトされ、その都度各相関演算ユニットにおい
て現ブロックとの相関が演算されて、相関累算出力S1〜
S16がSUMOに出力される。
第５図は本発明のブロックマッチング型動き検出回路
の最小値検出回路の構成を示すブロック図である。
の最小値検出回路の構成を示すブロック図である。
セレクタ22はセレクト信号によって最初１側が選択さ
れ、初期値として累算出力の最大値（MAX）が比較器23
の入力Ａ側に与えられる。各相関回路PU1〜PU16から出
力された累算出力SUMOは、比較器23の入力Ｂ側に与えら
れてＡ側の入力と比較され、Ｂ＜Ａのとき比較器23の出
力Ｃ＝１となり、サンプルクロックCKに応じてフリップ
フロップ24にラッチされる。フリップフロップ24はサン
プルクロックCKごとにリセットされており、１を保持し
たときアンド回路25を開いてフリップフロップ21にサン
プルクロックCKを与えて累算出力SUMOをラッチさせる。
フリップフロップ21に保持された累算出力SUMOによっ
て、次に入力される累算出力SUMOとの比較が行われ、こ
のようにして最小の累算出力SUMOが検出されたとき、ア
ンド回路25の出力クロックによってフリップフロップ2
8,29に水平ベクトル発生用カウンタ26,垂直ベクトル発
生用カウンタ27の出力値がラッチされ、以後保持され
る。水平ベクトル発生用カウンタ26,垂直ベクトル発生
用カウンタ27は累算出力SUMOの発生に対応してカウント
しており、最小の累算出力SUMOを発生した参照ブロック
に相当する値が動きベクトル出力信号の水平成分および
垂直成分として、それぞれフリップフロップ28,29から
出力される。
れ、初期値として累算出力の最大値（MAX）が比較器23
の入力Ａ側に与えられる。各相関回路PU1〜PU16から出
力された累算出力SUMOは、比較器23の入力Ｂ側に与えら
れてＡ側の入力と比較され、Ｂ＜Ａのとき比較器23の出
力Ｃ＝１となり、サンプルクロックCKに応じてフリップ
フロップ24にラッチされる。フリップフロップ24はサン
プルクロックCKごとにリセットされており、１を保持し
たときアンド回路25を開いてフリップフロップ21にサン
プルクロックCKを与えて累算出力SUMOをラッチさせる。
フリップフロップ21に保持された累算出力SUMOによっ
て、次に入力される累算出力SUMOとの比較が行われ、こ
のようにして最小の累算出力SUMOが検出されたとき、ア
ンド回路25の出力クロックによってフリップフロップ2
8,29に水平ベクトル発生用カウンタ26,垂直ベクトル発
生用カウンタ27の出力値がラッチされ、以後保持され
る。水平ベクトル発生用カウンタ26,垂直ベクトル発生
用カウンタ27は累算出力SUMOの発生に対応してカウント
しており、最小の累算出力SUMOを発生した参照ブロック
に相当する値が動きベクトル出力信号の水平成分および
垂直成分として、それぞれフリップフロップ28,29から
出力される。
以上説明したように、本発明のブロックマッチング型
動き検出回路によれば、参照データメモリから相関演算
回路への画像データのアクセスにおいて、データ転送速
度を上げることなくアクセスポート数を減少させること
ができる。
動き検出回路によれば、参照データメモリから相関演算
回路への画像データのアクセスにおいて、データ転送速
度を上げることなくアクセスポート数を減少させること
ができる。
また本発明のブロックマッチング型動き検出回路は非
常に規則的な回路の組合せによって実現することができ
るので、アレイプロセッサ化及びLSI化に好適である。
常に規則的な回路の組合せによって実現することができ
るので、アレイプロセッサ化及びLSI化に好適である。
第１図は本発明のブロックマッチング型動き検出回路の
基本的構成を示す全体ブロック図、 第２図は本発明の一実施例としてのブロックマッチング
型動き検出回路の相関演算ユニットの構成を示す図、 第３図は本発明のブロックマッチング型動き検出回路の
相関演算ユニットの内部構成を示す図、 第４図は本発明のブロックマッチング型動き検出回路の
前フレーム画像信号入力及び相関演算回路の動作を説明
する図、 第５図は本発明の一実施例としてのブロックマッチング
型動き検出回路の最小値検出回路の構成を示す図、 第６図は従来のブロックマッチング型動き検出方式を説
明する図、 第７図は従来のブロックマッチング型動き検出における
参照ブロックを説明する図、 第８図は従来のブロックマッチング型動き検出回路の一
例を示す図であって、（ａ）はブロック構成図、（ｂ）
はタイムチャート図を示す。 第９図は従来のブロックマッチング型動き検出回路の他
の例を示す図であって、（ａ）はブロック構成図、
（ｂ）はタイムチャート図を示す。 １……相関演算回路 ２……最小値検出回路 PU1〜PU16……相関演算ユニット 11,22……セレクタ 12……減算器 13……絶対値演算器 14……加算器 15,17,18……シフトレジスタ 16,21,24,28,29……フリップフロップ 23……比較器 25……アンド回路 26……水平ベクトル発生用カウンタ 27……垂直ベクトル発生用カウンタ SUB……減算器 ABS……絶対値演算器 ACC……累算器 MID……最小値検出回路
基本的構成を示す全体ブロック図、 第２図は本発明の一実施例としてのブロックマッチング
型動き検出回路の相関演算ユニットの構成を示す図、 第３図は本発明のブロックマッチング型動き検出回路の
相関演算ユニットの内部構成を示す図、 第４図は本発明のブロックマッチング型動き検出回路の
前フレーム画像信号入力及び相関演算回路の動作を説明
する図、 第５図は本発明の一実施例としてのブロックマッチング
型動き検出回路の最小値検出回路の構成を示す図、 第６図は従来のブロックマッチング型動き検出方式を説
明する図、 第７図は従来のブロックマッチング型動き検出における
参照ブロックを説明する図、 第８図は従来のブロックマッチング型動き検出回路の一
例を示す図であって、（ａ）はブロック構成図、（ｂ）
はタイムチャート図を示す。 第９図は従来のブロックマッチング型動き検出回路の他
の例を示す図であって、（ａ）はブロック構成図、
（ｂ）はタイムチャート図を示す。 １……相関演算回路 ２……最小値検出回路 PU1〜PU16……相関演算ユニット 11,22……セレクタ 12……減算器 13……絶対値演算器 14……加算器 15,17,18……シフトレジスタ 16,21,24,28,29……フリップフロップ 23……比較器 25……アンド回路 26……水平ベクトル発生用カウンタ 27……垂直ベクトル発生用カウンタ SUB……減算器 ABS……絶対値演算器 ACC……累算器 MID……最小値検出回路
Claims (1)
- 【請求項１】現ブロックと前フレームにおいて現フレー
ムに対応する中心ブロックの近傍に設定された参照範囲
内における現ブロックと同サイズの複数の各参照ブロッ
クのうち現ブロックとの相関が最大なものを検出して該
参照ブロックと現ブロックとの動きを示す動きベクトル
を発生するブロックマッチング型動き検出回路におい
て、 現ブロックと前記各参照ブロックとの相関を演算すると
ともに該参照ブロックのデータを１サンプル周期保持す
る複数の相関演算ユニット（PU11〜PUmn）を二次元的に
配列してなり、外側の相関演算ユニットにおいて参照ブ
ロックを構成する画素における最上行，最左列，最下
行，最右列の４方向またはこれらのうちの３方向のいず
れか１方向のデータを選択して前フレームの画像信号に
よって更新するとともに、該更新された参照ブロックを
該選択された方向と逆の方向に各相関演算ユニットを逐
次シフトするように構成し、各相関演算ユニットにおい
てその都度入力された参照ブロックと現ブロックとの間
で相関演算を行って相関の大きさを示す信号を発生する
相関演算回路と、 該相関演算回路において発生した相関の大きさを示す信
号中最大の値を有するものを検出するとともに該検出さ
れた信号に対応する参照ブロックと現ブロックとの動き
を示す動きベトクルを発生する最小値検出回路とを備え
てなることを特徴とするブロックマッチング型動き検出
回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12548688A JP2652195B2 (ja) | 1988-05-23 | 1988-05-23 | ブロツクマツチング型動き検出回路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12548688A JP2652195B2 (ja) | 1988-05-23 | 1988-05-23 | ブロツクマツチング型動き検出回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01295379A JPH01295379A (ja) | 1989-11-29 |
| JP2652195B2 true JP2652195B2 (ja) | 1997-09-10 |
Family
ID=14911283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12548688A Expired - Lifetime JP2652195B2 (ja) | 1988-05-23 | 1988-05-23 | ブロツクマツチング型動き検出回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2652195B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3004697B2 (ja) * | 1990-08-27 | 2000-01-31 | 沖電気工業株式会社 | 動きベクトル検出回路 |
| DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
| JP2853616B2 (ja) * | 1995-07-07 | 1999-02-03 | 日本電気株式会社 | 動き検出方式 |
| JPH11346369A (ja) * | 1998-06-01 | 1999-12-14 | Nec Corp | 動ベクトル検出回路 |
| JP4488805B2 (ja) * | 2004-06-25 | 2010-06-23 | パナソニック株式会社 | 動きベクトル検出装置および方法 |
| JP4858085B2 (ja) * | 2006-10-25 | 2012-01-18 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP4858084B2 (ja) * | 2006-10-25 | 2012-01-18 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6083181A (ja) * | 1983-10-14 | 1985-05-11 | Fujitsu Ltd | 二次元マツチング回路 |
-
1988
- 1988-05-23 JP JP12548688A patent/JP2652195B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01295379A (ja) | 1989-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109478242A (zh) | 用于产生方向梯度直方图的方法 | |
| CN110248048B (zh) | 一种视频抖动的检测方法及装置 | |
| JP2652195B2 (ja) | ブロツクマツチング型動き検出回路 | |
| Depommier et al. | Motion estimation with detection of occlusion areas | |
| EP0481421B1 (en) | Moving vector extractor | |
| JP2861462B2 (ja) | 動きベクトル検出装置 | |
| KR930001689A (ko) | 이미지 버퍼를 이용한 전자 주밍 시스템 | |
| KR980003999A (ko) | Cdf 연산영역에 근거한 히스토그램 등화회로 및 그 방법 | |
| US10454680B2 (en) | RSA decryption processor and method for controlling RSA decryption processor | |
| Gour et al. | Hardware accelerator for real-time image resizing | |
| Wang et al. | An edge-adaptive interpolation algorithm for super-resolution reconstruction | |
| Albu et al. | Low complexity global motion estimation techniques for image stabilization | |
| Liu et al. | A frame-level FSBM motion estimation architecture with large search range | |
| Hargreaves et al. | Bayesian motion estimation and interpolation in interlaced video sequences | |
| CN114449152B (zh) | 对焦方法、装置、电子设备及存储介质 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP3453145B2 (ja) | 画素ブロックの比較のためのプロセッサ（ブロックマッチングプロセッサ） | |
| CN113327261B (zh) | 一种基于随机计算的无误差省资源图像边缘检测算子方法 | |
| Hanssens et al. | Parallel processor for motion estimation | |
| JPS61140271A (ja) | 画像拡大縮小回路 | |
| US20230351552A1 (en) | Image Noise And Blurriness Reduction | |
| JPH0728406B2 (ja) | 動きベクトル検出装置 | |
| TW200912803A (en) | Processing device for zooming out digital image and its method | |
| Ogunfunmi et al. | Low power HD video fast motion estimation algorithm based on signatures | |
| Wu | Hardware Implementation of the Sub-pixel Interpolation in the HDTV Video Codec |