JP3447235B2 - モーションベクトル検出装置 - Google Patents
モーションベクトル検出装置Info
- Publication number
- JP3447235B2 JP3447235B2 JP36812898A JP36812898A JP3447235B2 JP 3447235 B2 JP3447235 B2 JP 3447235B2 JP 36812898 A JP36812898 A JP 36812898A JP 36812898 A JP36812898 A JP 36812898A JP 3447235 B2 JP3447235 B2 JP 3447235B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- pixels
- pixel
- block
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は動画像圧縮装置に係
り、特にモーションベクトル検出装置に関する。
り、特にモーションベクトル検出装置に関する。
【０００２】
【従来の技術】モーションベクトル検出は隣接するピク
チャにおける時間的冗長度を低減するための必須要素で
あって、Ｈ．２６１やＭＰＥＧ１，ＭＰＥＧ２などの動
画像圧縮方式に広く用いられている。しかしながら、前
記モーションベクトル検出はその計算量が多くて実時間
処理は困難である。
チャにおける時間的冗長度を低減するための必須要素で
あって、Ｈ．２６１やＭＰＥＧ１，ＭＰＥＧ２などの動
画像圧縮方式に広く用いられている。しかしながら、前
記モーションベクトル検出はその計算量が多くて実時間
処理は困難である。
【０００３】一般に、モーションベクトル検出にはブロ
ックベースドモーションサーチアルゴリズム（Block Ba
sed Motion Search Algorithm）が多用される。前記ブ
ロックベースドモーションサーチアルゴリズムによるモ
ーションベクトル検出過程を図１を参照して説明する。
先ず、現在のピクチャであるｎ番目のフレームで（Ｍ×
Ｎ）ピクセルを有するマクロブロック（ＭＢ）に対して
最も小さいＭＡＥ（Mean Absolute Error）を有するブ
ロックを参照ピクチャである（ｎ−１）番目のフレーム
のサーチ領域（ＳＲ）で検索する。ここで、前記第（ｎ
−１）番目のフレームにおける最も小さいＭＡＥを有す
るブロックをベストマッチドブロック（ＢＭ）という。
前記サーチ領域（ＳＲ）は前記マクロブロック（ＭＢ）
の基準点（ｘ，ｙ）に対して（ｘ−Ｐ，ｙ−Ｐ）と（ｘ
＋Ｐ，ｙ＋Ｐ）との間の参照値を有するブロックからな
り、そのサイズは（Ｍ＋２Ｐ）×（Ｎ＋２Ｐ）である。
かつ、前記ＭＡＥは次の数１により算出される。
ックベースドモーションサーチアルゴリズム（Block Ba
sed Motion Search Algorithm）が多用される。前記ブ
ロックベースドモーションサーチアルゴリズムによるモ
ーションベクトル検出過程を図１を参照して説明する。
先ず、現在のピクチャであるｎ番目のフレームで（Ｍ×
Ｎ）ピクセルを有するマクロブロック（ＭＢ）に対して
最も小さいＭＡＥ（Mean Absolute Error）を有するブ
ロックを参照ピクチャである（ｎ−１）番目のフレーム
のサーチ領域（ＳＲ）で検索する。ここで、前記第（ｎ
−１）番目のフレームにおける最も小さいＭＡＥを有す
るブロックをベストマッチドブロック（ＢＭ）という。
前記サーチ領域（ＳＲ）は前記マクロブロック（ＭＢ）
の基準点（ｘ，ｙ）に対して（ｘ−Ｐ，ｙ−Ｐ）と（ｘ
＋Ｐ，ｙ＋Ｐ）との間の参照値を有するブロックからな
り、そのサイズは（Ｍ＋２Ｐ）×（Ｎ＋２Ｐ）である。
かつ、前記ＭＡＥは次の数１により算出される。
【０００４】
【数１】
【０００５】前記数１において、Ｃ（ｘ＋ｋ，ｙ＋ｌ）
は現在ピクチャ内のマクロブロックのピクセルを示し、
Ｒ（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）は参照ピクチャにおける
ブロックのピクセルを示す。
は現在ピクチャ内のマクロブロックのピクセルを示し、
Ｒ（ｘ＋ｉ＋ｋ，ｙ＋ｊ＋ｌ）は参照ピクチャにおける
ブロックのピクセルを示す。
【０００６】前記マクロブロック（ＭＢ）のモーション
ベクトル（ＭＶ）は、前記マクロブロック（ＭＢ）の基
準点（reference point）とベストマッチドブロック
（ＢＭ）の基準点との間のベクトルをいう。例えば、前
記マクロブロック（ＭＢ）の基準点とベストマッチドブ
ロック（ＢＭ）の基準点がそれぞれ（ｘ，ｙ）、（ｘ＋
ｕ，ｙ＋ｖ）であれば、前記モーションベクトル（Ｍ
Ｖ）は（ｕ，ｖ）となる。上述したように、参照ピクチ
ャでベストマッチドブロック（ＢＭ）を探し出すために
は各サーチポイントごとにＭＡＥを算出すべきである
が、前記ＭＡＥの算出は前記数１に示したように減算及
び絶対値の算出、サメーションなどを要求する。
ベクトル（ＭＶ）は、前記マクロブロック（ＭＢ）の基
準点（reference point）とベストマッチドブロック
（ＢＭ）の基準点との間のベクトルをいう。例えば、前
記マクロブロック（ＭＢ）の基準点とベストマッチドブ
ロック（ＢＭ）の基準点がそれぞれ（ｘ，ｙ）、（ｘ＋
ｕ，ｙ＋ｖ）であれば、前記モーションベクトル（Ｍ
Ｖ）は（ｕ，ｖ）となる。上述したように、参照ピクチ
ャでベストマッチドブロック（ＢＭ）を探し出すために
は各サーチポイントごとにＭＡＥを算出すべきである
が、前記ＭＡＥの算出は前記数１に示したように減算及
び絶対値の算出、サメーションなどを要求する。
【０００７】上述した従来のモーションベクトル検出は
その計算量が多くてソフトウェアのみでは処理不可能で
ある。例えば、サーチの範囲が−Ｐと＋Ｐの間、参照ピ
クチャのサイズが（Ｉ×Ｊ）ピクセル、マクロブロック
（ＭＢ）のサイズが（Ｍ×Ｎ）ピクセル、秒当たりＦフ
レームの速度で入力映像を処理すべき場合、その計算量
は数２の通りである。
その計算量が多くてソフトウェアのみでは処理不可能で
ある。例えば、サーチの範囲が−Ｐと＋Ｐの間、参照ピ
クチャのサイズが（Ｉ×Ｊ）ピクセル、マクロブロック
（ＭＢ）のサイズが（Ｍ×Ｎ）ピクセル、秒当たりＦフ
レームの速度で入力映像を処理すべき場合、その計算量
は数２の通りである。
【０００８】
【数２】
【０００９】仮に、Ｍ＝Ｎ＝１６、Ｉ＝７２０、Ｊ＝４
８０、Ｆ＝３０、Ｐ＝１５のときは数２による計算量は
２９．８９Ｇ０ＰＳ（Giga Operations Per Second）と
なる。
８０、Ｆ＝３０、Ｐ＝１５のときは数２による計算量は
２９．８９Ｇ０ＰＳ（Giga Operations Per Second）と
なる。
【００１０】これにより、従来ではＳＧＳ−ＴＨＯＭＳ
ＯＮ社のＳＴＩ３２２０チップのようなモーションベク
トル検出ＶＬＳＩチップをコープロセッサとして用いて
モーションベクトル検出アルゴリズムを具現した。ここ
で、前記ＳＴＩ３２２０チップは１８ＭＨｚのピクセル
レートまで動作が可能であり、（８×８）又は（１６×
１６）ピクセルのマクロブロックのモーションベクトル
を基準点（０，０）、例えば、（−８，−８）から（＋
７，＋７）までの範囲のブロックからなるサーチ領域で
検出する。
ＯＮ社のＳＴＩ３２２０チップのようなモーションベク
トル検出ＶＬＳＩチップをコープロセッサとして用いて
モーションベクトル検出アルゴリズムを具現した。ここ
で、前記ＳＴＩ３２２０チップは１８ＭＨｚのピクセル
レートまで動作が可能であり、（８×８）又は（１６×
１６）ピクセルのマクロブロックのモーションベクトル
を基準点（０，０）、例えば、（−８，−８）から（＋
７，＋７）までの範囲のブロックからなるサーチ領域で
検出する。
【００１１】しかしながら、ＭＰＥＧ２規格又はＩＴＵ
−Ｔ（International Telecommunication Union-Teleco
mmunication sector）映像通信規格Ｈ．２６１のような
一般的な映像圧縮アルゴリズムは、（１６×１６）ピク
セルのマクロブロックのモーションベクトルを基準点
（０，０）、例えば、（−１６，−１６）から（＋１
５，＋１５）までの範囲のブロックからなるサーチ領域
で検出するように規定している。これにより、従来では
サーチ領域におけるサーチを完了するために、四つのＳ
ＴＩ３２２０チップを並列として使用するか、或いはサ
ーチ領域を四等分して一つのＳＴＩ３２２０チップが各
部分に対してモーションベクトルを検出するようにし
た。
−Ｔ（International Telecommunication Union-Teleco
mmunication sector）映像通信規格Ｈ．２６１のような
一般的な映像圧縮アルゴリズムは、（１６×１６）ピク
セルのマクロブロックのモーションベクトルを基準点
（０，０）、例えば、（−１６，−１６）から（＋１
５，＋１５）までの範囲のブロックからなるサーチ領域
で検出するように規定している。これにより、従来では
サーチ領域におけるサーチを完了するために、四つのＳ
ＴＩ３２２０チップを並列として使用するか、或いはサ
ーチ領域を四等分して一つのＳＴＩ３２２０チップが各
部分に対してモーションベクトルを検出するようにし
た。
【００１２】上述したように、前者の場合はハードウェ
アのサイズが大きくなり、コスト高をもたらすが、後者
の場合はハードウェアのサイズは減少するが、処理時間
が長くなり、実時間処理が困難である。
アのサイズが大きくなり、コスト高をもたらすが、後者
の場合はハードウェアのサイズは減少するが、処理時間
が長くなり、実時間処理が困難である。
【００１３】
【発明が解決しようとする課題】従って、本発明の目的
は、簡単なハードウェアを用いて実時間にモーションベ
クトル検出を行うモーションベクトル検出装置を提供す
ることにある。
は、簡単なハードウェアを用いて実時間にモーションベ
クトル検出を行うモーションベクトル検出装置を提供す
ることにある。
【００１４】
【課題が解決するための手段】前記目的を達成するため
の本発明は、モーションベクトル検出装置において、現
在ピクチャと参照ピクチャとのピクセルを貯蔵するグロ
ーバルメモリと、ローカルメモリと、サブサンプリング
されたマクロブロックとサブサンプリングされた第１サ
ーチ領域とのピクセルをバッファリングする第１バッフ
ァと、前記サブサンプリングされたマクロブロックとサ
ブサンプリングされた第１サーチ領域とのピクセルを前
記第１バッファから受信して第１モーションベクトルを
検出するモーションベクトル検出部と、前記モーション
ベクトル検出部から受信された前記第１モーションベク
トルをラッチする第２バッファと、前記グローバルメモ
リから前記現在ピクチャにおけるマクロブロックのピク
セルと前記参照ピクチャにおける第１サーチ領域のピク
セルとをリードして前記ローカルメモリに貯蔵した後、
そのピクセルをサブサンプリングして前記第１バッファ
に貯蔵し、前記第２バッファから前記第１モーションベ
クトルをリードして前記第１モーションベクトルが指示
するピクセルと前記参照ピクチャのピクセルの周辺ピク
セルで基準点を有するブロックとを含む第２サーチ領域
からソフトウェアプログラムにより前記マクロブロック
の第２モーションベクトルを検出するメインプロセッサ
とを備えることを特徴とする。
の本発明は、モーションベクトル検出装置において、現
在ピクチャと参照ピクチャとのピクセルを貯蔵するグロ
ーバルメモリと、ローカルメモリと、サブサンプリング
されたマクロブロックとサブサンプリングされた第１サ
ーチ領域とのピクセルをバッファリングする第１バッフ
ァと、前記サブサンプリングされたマクロブロックとサ
ブサンプリングされた第１サーチ領域とのピクセルを前
記第１バッファから受信して第１モーションベクトルを
検出するモーションベクトル検出部と、前記モーション
ベクトル検出部から受信された前記第１モーションベク
トルをラッチする第２バッファと、前記グローバルメモ
リから前記現在ピクチャにおけるマクロブロックのピク
セルと前記参照ピクチャにおける第１サーチ領域のピク
セルとをリードして前記ローカルメモリに貯蔵した後、
そのピクセルをサブサンプリングして前記第１バッファ
に貯蔵し、前記第２バッファから前記第１モーションベ
クトルをリードして前記第１モーションベクトルが指示
するピクセルと前記参照ピクチャのピクセルの周辺ピク
セルで基準点を有するブロックとを含む第２サーチ領域
からソフトウェアプログラムにより前記マクロブロック
の第２モーションベクトルを検出するメインプロセッサ
とを備えることを特徴とする。
【００１５】
【発明の実施の形態】以下、本発明の望ましい実施形態
を添付図面に基づき詳細に説明する。なお、下記の説明
及び図面には特定の詳細を示すが、本発明はこれらに限
るものでなく、各種の変形が当該技術分野における通常
の知識を持つ者により可能なのは明らかである。かつ、
関連する周知技術については適宜説明を省略する。
を添付図面に基づき詳細に説明する。なお、下記の説明
及び図面には特定の詳細を示すが、本発明はこれらに限
るものでなく、各種の変形が当該技術分野における通常
の知識を持つ者により可能なのは明らかである。かつ、
関連する周知技術については適宜説明を省略する。
【００１６】図２は本発明の望ましい実施形態によるモ
ーションベクトル検出装置のブロック構成図である。こ
こで、メインプロセッサ１００は本発明の望ましい実施
形態によるモーションベクトル検出装置を含む映像処理
装置を全般的に制御する。特に、前記メインプロセッサ
１００は、多数のピクチャに対するピクセルを貯蔵して
いるグローバルメモリ１０２からマクロブロックのモー
ションベクトルを検出するために現在ピクチャでマクロ
ブロックに該当するピクセルと参照ピクチャで第１サー
チ領域（ＳＲ１）に該当するピクセルとをリードする。
前記第１サーチ領域（ＳＲ１）は基準点（０,０）、例
えば、図４（Ｂ）に示したような（１６×１６）ピクセ
ルのマクロブロックに対して（−１６，−１６）から
（＋１５，＋１５）までの範囲のブロックからなり、そ
のサイズは（４７×４７）ピクセルである。
ーションベクトル検出装置のブロック構成図である。こ
こで、メインプロセッサ１００は本発明の望ましい実施
形態によるモーションベクトル検出装置を含む映像処理
装置を全般的に制御する。特に、前記メインプロセッサ
１００は、多数のピクチャに対するピクセルを貯蔵して
いるグローバルメモリ１０２からマクロブロックのモー
ションベクトルを検出するために現在ピクチャでマクロ
ブロックに該当するピクセルと参照ピクチャで第１サー
チ領域（ＳＲ１）に該当するピクセルとをリードする。
前記第１サーチ領域（ＳＲ１）は基準点（０,０）、例
えば、図４（Ｂ）に示したような（１６×１６）ピクセ
ルのマクロブロックに対して（−１６，−１６）から
（＋１５，＋１５）までの範囲のブロックからなり、そ
のサイズは（４７×４７）ピクセルである。
【００１７】前記マクロブロックと第１サーチ領域（Ｓ
Ｒ１）に該当するピクセルをリードした後、メインプロ
セッサ１００はそのマクロブロックに対するピクセルと
第１サーチ領域（ＳＲ１）のピクセルを垂直および水平
方向に２：１でサブサンプリングしてそれぞれ（８×
８）、（２３×２３）ピクセルとする。
Ｒ１）に該当するピクセルをリードした後、メインプロ
セッサ１００はそのマクロブロックに対するピクセルと
第１サーチ領域（ＳＲ１）のピクセルを垂直および水平
方向に２：１でサブサンプリングしてそれぞれ（８×
８）、（２３×２３）ピクセルとする。
【００１８】前記メインプロセッサ１００は、前記サブ
サンプリングされたマクロブロック（ＭＢ）と第１サー
チ領域（ＳＲ１）とのピクセルを第１バッファ１０６に
提供する。前記第１バッファ１０６には先入先出方式の
バッファが用いられる。ＳＴＩ３２２０チップのような
モーションベクトル検出装置はモーションベクトルコプ
ロセッサ（coprocessor）１０８に用いられる。前記モ
ーションベクトル検出コプロセッサ１０８は、前記起動
信号に応じて前記第１バッファ１０６から提供されるデ
ータを受信して動き推定（motion estimation）を行う
ことにより得られる第１モーションベクトルを第２バッ
ファ１１０に貯蔵する。
サンプリングされたマクロブロック（ＭＢ）と第１サー
チ領域（ＳＲ１）とのピクセルを第１バッファ１０６に
提供する。前記第１バッファ１０６には先入先出方式の
バッファが用いられる。ＳＴＩ３２２０チップのような
モーションベクトル検出装置はモーションベクトルコプ
ロセッサ（coprocessor）１０８に用いられる。前記モ
ーションベクトル検出コプロセッサ１０８は、前記起動
信号に応じて前記第１バッファ１０６から提供されるデ
ータを受信して動き推定（motion estimation）を行う
ことにより得られる第１モーションベクトルを第２バッ
ファ１１０に貯蔵する。
【００１９】前記モーションベクトル検出過程をより詳
しく説明すると、前記モーションベクトル検出コプロセ
ッサ１０８はサブサンプリングされたマクロブロックに
対する（８×８）ピクセルとサブサンプリングされた第
１サーチ領域に対する（２３×２３）ピクセルを前記第
１バッファから受信して前記サブサンプリングされた第
１サーチ領域で前記サブサンプリングされたマクロブロ
ックに対して最も小さいＭＡＥを有する（８×８）ピク
セルブロックを探し出して第１モーションベクトルを検
出する。
しく説明すると、前記モーションベクトル検出コプロセ
ッサ１０８はサブサンプリングされたマクロブロックに
対する（８×８）ピクセルとサブサンプリングされた第
１サーチ領域に対する（２３×２３）ピクセルを前記第
１バッファから受信して前記サブサンプリングされた第
１サーチ領域で前記サブサンプリングされたマクロブロ
ックに対して最も小さいＭＡＥを有する（８×８）ピク
セルブロックを探し出して第１モーションベクトルを検
出する。
【００２０】前記モーションベクトル検出コプロセッサ
１０８はその第１モーションベクトルを第２バッファ１
１０に提供するとともに、メインプロセッサ１００に第
１モーションベクトルの検出結果を知らせる。前記第２
バッファ１１０にはラッチなどが用いられる。前記メイ
ンプロセッサ１００は、モーションベクトル検出コプロ
セッサ１０８が第１モーションベクトルの検出に対する
情報を提供すると、第２バッファ１１０にラッチされて
いる第１モーションベクトルをリードする。その後、前
記メインプロセッサ１００は、前記第１モーションベク
トルが指示する（１６×１６）ピクセルブロックのピク
セルと、その周辺の８ピクセルで基準点を有する（１６
×１６）ピクセルブロックのピクセルと、前記マクロブ
ロックのピクセルとを前記グローバルメモリ１０２から
リードする。
１０８はその第１モーションベクトルを第２バッファ１
１０に提供するとともに、メインプロセッサ１００に第
１モーションベクトルの検出結果を知らせる。前記第２
バッファ１１０にはラッチなどが用いられる。前記メイ
ンプロセッサ１００は、モーションベクトル検出コプロ
セッサ１０８が第１モーションベクトルの検出に対する
情報を提供すると、第２バッファ１１０にラッチされて
いる第１モーションベクトルをリードする。その後、前
記メインプロセッサ１００は、前記第１モーションベク
トルが指示する（１６×１６）ピクセルブロックのピク
セルと、その周辺の８ピクセルで基準点を有する（１６
×１６）ピクセルブロックのピクセルと、前記マクロブ
ロックのピクセルとを前記グローバルメモリ１０２から
リードする。
【００２１】次に、前記メインプロセッサ１００は、前
記第１モーションベクトルが指示するブロックと、前記
第１モーションベクトルの周辺の８ピクセルで基準点を
有するブロックとのＭＡＥを算出した後、最も小さいＭ
ＡＥを有するブロックを検索して第２モーションベクト
ルを検出する。ここで、前記サーチ領域のサブサンプリ
ングされていないピクセルは前記第１及び第２モーショ
ンベクトルを検出するようにローカルメモリ１０４に貯
蔵されうる。前記第１モーションベクトルを検出するた
めに、前記メインプロセッサ１００は前記サーチ領域の
ピクセルとマクロブロックのピクセルとを前記ローカル
メモリ１０４からリードしてサブサンプリングした後、
それを第１バッファ１０６に貯蔵する。
記第１モーションベクトルが指示するブロックと、前記
第１モーションベクトルの周辺の８ピクセルで基準点を
有するブロックとのＭＡＥを算出した後、最も小さいＭ
ＡＥを有するブロックを検索して第２モーションベクト
ルを検出する。ここで、前記サーチ領域のサブサンプリ
ングされていないピクセルは前記第１及び第２モーショ
ンベクトルを検出するようにローカルメモリ１０４に貯
蔵されうる。前記第１モーションベクトルを検出するた
めに、前記メインプロセッサ１００は前記サーチ領域の
ピクセルとマクロブロックのピクセルとを前記ローカル
メモリ１０４からリードしてサブサンプリングした後、
それを第１バッファ１０６に貯蔵する。
【００２２】その後、前記第２モーションベクトルを検
出するために、前記メインプロセッサ１００は前記第１
モーションベクトルが指示する（１６×１６）ピクセル
とその周辺の８ピクセルで基準点を有するサブサンプリ
ングされていないブロックのピクセルとを前記ローカル
メモリ１０４からリードして第２モーションベクトルを
検出する。
出するために、前記メインプロセッサ１００は前記第１
モーションベクトルが指示する（１６×１６）ピクセル
とその周辺の８ピクセルで基準点を有するサブサンプリ
ングされていないブロックのピクセルとを前記ローカル
メモリ１０４からリードして第２モーションベクトルを
検出する。
【００２３】図３は図２に示したメインプロセッサの動
作を示すフローチャートであり、図４（Ａ），図４
（Ｂ）はそれぞれ前記マクロブロックとサーチ領域に対
するサブサンプリングを示し、図５は前記メインプロセ
ッサのモーションベクトル検出過程を示す。前記図面を
参照して本発明の望ましい実施形態によるモーションベ
クトル検出装置の動作を詳しく説明する。
作を示すフローチャートであり、図４（Ａ），図４
（Ｂ）はそれぞれ前記マクロブロックとサーチ領域に対
するサブサンプリングを示し、図５は前記メインプロセ
ッサのモーションベクトル検出過程を示す。前記図面を
参照して本発明の望ましい実施形態によるモーションベ
クトル検出装置の動作を詳しく説明する。
【００２４】２００段階において、メインプロセッサ１
００はグローバルメモリ１０２から現在ピクチャでモー
ションベクトルを検出するためのマクロブロックに該当
するピクセルをリードし、参照ピクチャで前記マクロブ
ロックに対するモーションベクトルを検出するための第
１サーチ領域に該当するピクセルをリードする。その
後、メインプロセッサ１００は２０２段階でそのマクロ
ブロック及び第１サーチ領域に対するピクセルを垂直お
よび水平方向に２：１でサブサンプリングする。
００はグローバルメモリ１０２から現在ピクチャでモー
ションベクトルを検出するためのマクロブロックに該当
するピクセルをリードし、参照ピクチャで前記マクロブ
ロックに対するモーションベクトルを検出するための第
１サーチ領域に該当するピクセルをリードする。その
後、メインプロセッサ１００は２０２段階でそのマクロ
ブロック及び第１サーチ領域に対するピクセルを垂直お
よび水平方向に２：１でサブサンプリングする。
【００２５】図４（Ａ）及び図４（Ｂ）を参照すれば、
（１６×１６）ピクセルのマクロブロック（ＭＢ）は
（８×８）ピクセルのサブサンプリングされたマクロブ
ロック（ＳＭＢ）で再構成され、（４７×４７）ピクセ
ルの第１サーチ領域（ＳＲ１）は２：１のサブサンプリ
ングにより（２３×２３）ピクセルのサブサンプリング
されたサーチ領域（ＳＳＲ１）で再構成される。
（１６×１６）ピクセルのマクロブロック（ＭＢ）は
（８×８）ピクセルのサブサンプリングされたマクロブ
ロック（ＳＭＢ）で再構成され、（４７×４７）ピクセ
ルの第１サーチ領域（ＳＲ１）は２：１のサブサンプリ
ングにより（２３×２３）ピクセルのサブサンプリング
されたサーチ領域（ＳＳＲ１）で再構成される。
【００２６】２０４段階において、メインプロセッサ１
００はそのサブサンプリングされたマクロブロックのピ
クセルと第１サーチ領域のピクセルを第１バッファ１０
６に入力した後、モーションベクトル検出コプロセッサ
１０８を起動する。前記モーションベクトル検出コプロ
セッサ１０８は、前記メインプロセッサ１００の起動命
令に応じて前記第１バッファ１０６にロードされている
データを受けて第１モーションベクトルを検出して第２
バッファ１１０にラッチさせた後、メインプロセッサ１
００に第１モーションベクトルの検出に対する情報を提
供する。
００はそのサブサンプリングされたマクロブロックのピ
クセルと第１サーチ領域のピクセルを第１バッファ１０
６に入力した後、モーションベクトル検出コプロセッサ
１０８を起動する。前記モーションベクトル検出コプロ
セッサ１０８は、前記メインプロセッサ１００の起動命
令に応じて前記第１バッファ１０６にロードされている
データを受けて第１モーションベクトルを検出して第２
バッファ１１０にラッチさせた後、メインプロセッサ１
００に第１モーションベクトルの検出に対する情報を提
供する。
【００２７】次に、２０６段階で前記メインプロセッサ
１００はモーションベクトル検出コプロセッサ１０８が
第１モーションベクトルの検出に対する情報を提供する
かを検索する。この際、前記メインプロセッサ１００は
モーションベクトル検出コプロセッサ１０８が第１モー
ションベクトルの検出情報を提供すると、２０８段階に
進み、そうでなければ、モーションベクトル検出コプロ
セッサ１０８が第１モーションベクトルの検出情報を提
供するまで待つ。
１００はモーションベクトル検出コプロセッサ１０８が
第１モーションベクトルの検出に対する情報を提供する
かを検索する。この際、前記メインプロセッサ１００は
モーションベクトル検出コプロセッサ１０８が第１モー
ションベクトルの検出情報を提供すると、２０８段階に
進み、そうでなければ、モーションベクトル検出コプロ
セッサ１０８が第１モーションベクトルの検出情報を提
供するまで待つ。
【００２８】前記２０８段階において、メインプロセッ
サ１００は前記第１モーションベクトルを第２バッファ
１１０からリードした後、グローバルメモリ１０２から
再び現在ピクチャの該当マクロブロックのピクセルと参
照ピクチャの第２サーチ領域のピクセルとをリードす
る。前記第２サーチ領域は前記第１モーションベクトル
が指示する（１６×１６）ピクセルブロックと、そのピ
クセルの周辺の８ピクセルで基準点を有するブロックと
から構成される。すなわち、図５を参照すれば、第２サ
ーチ領域は前記第１モーションベクトルが指示するピク
セル（ＭＶ１Ｐ）と、そのピクセル（ＭＶ１Ｐ）の周辺
の８ピクセル（Ｐ１−Ｐ８）で基準点を有する（１６×
１６）ピクセルブロックのピクセルとを備える。
サ１００は前記第１モーションベクトルを第２バッファ
１１０からリードした後、グローバルメモリ１０２から
再び現在ピクチャの該当マクロブロックのピクセルと参
照ピクチャの第２サーチ領域のピクセルとをリードす
る。前記第２サーチ領域は前記第１モーションベクトル
が指示する（１６×１６）ピクセルブロックと、そのピ
クセルの周辺の８ピクセルで基準点を有するブロックと
から構成される。すなわち、図５を参照すれば、第２サ
ーチ領域は前記第１モーションベクトルが指示するピク
セル（ＭＶ１Ｐ）と、そのピクセル（ＭＶ１Ｐ）の周辺
の８ピクセル（Ｐ１−Ｐ８）で基準点を有する（１６×
１６）ピクセルブロックのピクセルとを備える。
【００２９】２１０段階において、メインプロセッサ１
００は、前記第１モーションベクトルが指示するピクセ
ルと、前記マクロブロックの（１６×１６）ピクセルに
対して前記ピクセルの周辺の８ピクセルで基準点を有す
る（１６×１６）ピクセルブロックとのＭＡＥを算出し
た後、最も小さいＭＡＥを有するブロックを検索して第
２モーションベクトルを検出する。
００は、前記第１モーションベクトルが指示するピクセ
ルと、前記マクロブロックの（１６×１６）ピクセルに
対して前記ピクセルの周辺の８ピクセルで基準点を有す
る（１６×１６）ピクセルブロックとのＭＡＥを算出し
た後、最も小さいＭＡＥを有するブロックを検索して第
２モーションベクトルを検出する。
【００３０】前記第２モーションベクトルの検出が終了
すると、２１２段階において、メインプロセッサ１００
はそのマクロブロックが現在ピクチャに対する最後のマ
クロブロックであるかを検索する。そのマクロブロック
が最後のマクロブロックであれば過程を終了し、そうで
なければ、次のマクロブロックに対する処理のために２
００段階に戻る。
すると、２１２段階において、メインプロセッサ１００
はそのマクロブロックが現在ピクチャに対する最後のマ
クロブロックであるかを検索する。そのマクロブロック
が最後のマクロブロックであれば過程を終了し、そうで
なければ、次のマクロブロックに対する処理のために２
００段階に戻る。
【００３１】上述したように、メインプロセッサを用い
てマクロブロックとサーチ領域をサブサンプリングした
後、サブサンプリングされたモーションベクトルをハー
ドウェアからなるモーションベクトル検出装置を用いて
ダブルピクセルの正確度で検出する。その後、前記メイ
ンプロセッサは前記モーションベクトルがダブルピクセ
ルの正確度で指示するピクセルとその周辺の８ピクセル
で基準点を有するブロックとを備えるサーチ領域で整数
ピクセルの正確度を持つモーションベクトルを検出す
る。このようなモーションベクトル検出方法は次の式に
関する。
てマクロブロックとサーチ領域をサブサンプリングした
後、サブサンプリングされたモーションベクトルをハー
ドウェアからなるモーションベクトル検出装置を用いて
ダブルピクセルの正確度で検出する。その後、前記メイ
ンプロセッサは前記モーションベクトルがダブルピクセ
ルの正確度で指示するピクセルとその周辺の８ピクセル
で基準点を有するブロックとを備えるサーチ領域で整数
ピクセルの正確度を持つモーションベクトルを検出す
る。このようなモーションベクトル検出方法は次の式に
関する。
【００３２】
【数３】
【００３３】これにより、一つのモーションベクトル検
出装置、バッファなどの簡単なハードウェア及び２ステ
ップの階層的モーションサーチ方法を組合わせることに
より、効率よくプロックベースドモーションサーチアル
ゴリズムを実時間に具現することができる。かつ、ソフ
トウェアのみを用いる従来の演算量は７８６４３２（＝
（１６＋１５＋１）2×１６2×３）であるが、本発明の
方式による（１６×１６）ピクセルブロックのモーショ
ンベクトルを検出するための演算量は６９１２（＝９×
１６×１６×３）に著しく低減する。
出装置、バッファなどの簡単なハードウェア及び２ステ
ップの階層的モーションサーチ方法を組合わせることに
より、効率よくプロックベースドモーションサーチアル
ゴリズムを実時間に具現することができる。かつ、ソフ
トウェアのみを用いる従来の演算量は７８６４３２（＝
（１６＋１５＋１）2×１６2×３）であるが、本発明の
方式による（１６×１６）ピクセルブロックのモーショ
ンベクトルを検出するための演算量は６９１２（＝９×
１６×１６×３）に著しく低減する。
【００３４】
【発明の効果】上述したように、本発明によるモーショ
ンベクトル検出装置は、簡単なハードウェアを用いて実
時間にモーションベクトルを検出することができる。
ンベクトル検出装置は、簡単なハードウェアを用いて実
時間にモーションベクトルを検出することができる。
【図１】 従来のモーションベクトル検出過程の概略図
である。
である。
【図２】 本発明の望ましい実施形態によるモーション
ベクトル検出装置のブロック構成図である。
ベクトル検出装置のブロック構成図である。
【図３】 図２のメインプロセッサの処理流れ図であ
る。
る。
【図４】 （Ａ）はマクロブロックに対するサブサンプ
リング図であり、（Ｂ）はサーチ領域に対するサブサン
プリング図である。
リング図であり、（Ｂ）はサーチ領域に対するサブサン
プリング図である。
【図５】 メインプロセッサのモーションベクトル検出
図である。
図である。
１００ メインプロセッサ
１０２ グローバルメモリ
１０４ ローカルメモリ
１０６ 第１バッファ
１０８ モーションベクトル検出コプロセッサ
１１０ 第２バッファ
フロントページの続き
(56)参考文献 特開 平２−33286（ＪＰ，Ａ)
特開 平２−224490（ＪＰ，Ａ)
特開 平３−247190（ＪＰ，Ａ)
特開 平８−107557（ＪＰ，Ａ)
特開 平８−317411（ＪＰ，Ａ)
Claims (2)
- 【請求項１】 モーションベクトル検出装置において、 現在ピクチャと参照ピクチャとのピクセルを貯蔵するグ
ローバルメモリと、 ローカルメモリと、 サブサンプリングされたマクロブロックとサブサンプリ
ングされた第１サーチ領域とのピクセルをバッファリン
グする第１バッファと、 前記サブサンプリングされたマクロブロックとサブサン
プリングされた第１サーチ領域とのピクセルを前記第１
バッファから受信して第１モーションベクトルを検出す
るモーションベクトル検出部と、 前記モーションベクトル検出部から受信された前記第１
モーションベクトルをラッチする第２バッファと、 前記グローバルメモリから前記現在ピクチャにおけるマ
クロブロックのピクセルと前記参照ピクチャにおける第
１サーチ領域のピクセルとをリードして前記ローカルメ
モリに貯蔵した後、そのピクセルをサブサンプリングし
て前記第１バッファに貯蔵し、前記第２バッファから前
記第１モーションベクトルをリードした後、前記グロー
バルメモリから前記現在ピクチャにおけるマクロブロッ
クのピクセルと前記参照ピクチャにおいて前記第１モー
ションベクトルが指示するピクセルを基準点とするブロ
ックと前記第１モーションベクトルが指示するピクセル
の周辺の８ピクセルを基準点とするブロックとから構成
される第２サーチ領域のピクセルとをリードして、前記
第１モーションベクトルが指示するピクセルを基準点と
するブロックと前記第１モーションベクトルが指示する
ピクセルの周辺の８ピクセルを基準点とするブロックと
のＭＡＥを算出した後、前記第１モーションベクトルが
指示するピクセルから最も小さいＭＡＥを有するブロッ
クの基準点までのベクトルを第２モーションベクトルと
して検出するメインプロセッサとを備えることを特徴と
するモーションベクトル検出装置。 - 【請求項２】 モーションベクトル検出装置において、 現在ピクチャと参照ピクチャとのピクセルを貯蔵するグ
ローバルメモリと、 ローカルメモリと、 （Ｍ×Ｎ）ピクセルのマクロブロックから２：１でサブ
サンプリングされた（Ｍ／２×Ｎ／２）ピクセルブロッ
クと、（（Ｍ＋２Ｐ）×（Ｎ＋２Ｐ））ピクセルのサー
チ領域データから２：１でサプサンプリングされた
（（Ｍ＋２Ｐ）／２×（Ｎ＋２Ｐ）／２）ピクセルデー
タとのピクセルをバッファリングする第１バッファと、 前記サブサンプリングされたマクロブロックと第１サー
チ領域とのピクセルを前記第１バッファから受信して第
１モーションベクトルを検出するモーションベクトル検
出部と、 前記モーションベクトル検出部から受信された前記第１
モーションベクトルをラッチする第２バッファと、 前記グローバルメモリから前記現在ピクチャにおける
（Ｍ×Ｎ）ピクセルのマクロブロックと前記参照ピクチ
ャにおける（（Ｍ＋２Ｐ）×（Ｎ＋２Ｐ））ピクセルの
第１サーチ領域とのピクセルをリードして前記ローカル
メモリに貯蔵した後、そのピクセルを（Ｍ／２×Ｎ／
２）ピクセル及び（（Ｍ＋２Ｐ）／２）×（（Ｎ＋２
Ｐ）／２））ピクセルにサブサンプリングして前記第１
バッファに貯蔵し、前記第２バッファから前記第１モー
ションベクトルをリードした後、前記グローバルメモリ
から前記現在ピクチャにおける（Ｍ×Ｎ）ピクセルのマ
クロブロックと前記参照ピクチャにおいて前記第１モー
ションベクトルが指示するピクセルを基準点とするブロ
ックと前記第１モーションベクトルが指示するピクセル
の周辺の８ピクセルを基準点とする（Ｍ×Ｎ）ブロック
とから構成される第２サーチ領域のピクセルとをリード
して、前記第１モーションベクトルが指示するピクセル
を基準点とするブロックと前記第１モーションベクトル
が指示するピクセルの周辺の８ピクセルを基準点とする
（Ｍ×Ｎ）ブロックとのＭＡＥを算出した後、前記第１
モーションベクトルが指示するピクセルから最も小さい
ＭＡＥを有する（Ｍ×Ｎ）ブロックの基準点までのベク
トルを第２モーションベクトルとして検出するメインプ
ロセッサとを備えることを特徴とするモーションベクト
ル検出装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR199780509 | 1997-12-31 | ||
| KR1019970080509A KR100246918B1 (ko) | 1997-12-31 | 1997-12-31 | 모션벡터 검출장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11262020A JPH11262020A (ja) | 1999-09-24 |
| JP3447235B2 true JP3447235B2 (ja) | 2003-09-16 |
Family
ID=19530336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36812898A Expired - Fee Related JP3447235B2 (ja) | 1997-12-31 | 1998-12-24 | モーションベクトル検出装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6317136B1 (ja) |
| JP (1) | JP3447235B2 (ja) |
| KR (1) | KR100246918B1 (ja) |
| CN (1) | CN1112049C (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000270328A (ja) * | 1999-03-17 | 2000-09-29 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
| US7327787B1 (en) * | 2000-11-20 | 2008-02-05 | Intel Corporation | Method and apparatus for motion estimation |
| US8923688B2 (en) * | 2001-09-12 | 2014-12-30 | Broadcom Corporation | Performing personal video recording (PVR) functions on digital video streams |
| KR20030073141A (ko) * | 2002-03-08 | 2003-09-19 | 주식회사 엘지이아이 | Ｍｐｅｇ-4 비디오 코덱에서 움직임 벡터 코딩을 위한움직임 벡터 메모리 최소화 방법 |
| JP4015084B2 (ja) * | 2003-08-20 | 2007-11-28 | 株式会社東芝 | 動きベクトル検出装置及び動きベクトル検出方法 |
| KR100621137B1 (ko) * | 2004-02-27 | 2006-09-13 | 세이코 엡슨 가부시키가이샤 | 동화상 부호화 장치 및 동화상 처리장치 |
| US8363730B2 (en) * | 2004-12-16 | 2013-01-29 | Intel Corporation | Local macroblock information buffer |
| KR100610892B1 (ko) * | 2005-01-18 | 2006-08-09 | 엘지전자 주식회사 | 플라즈마 디스플레이 패널의 화상처리 장치 및 화상처리방법 |
| GB2435360B (en) * | 2006-02-16 | 2009-09-23 | Imagination Tech Ltd | Method and apparatus for determining motion between video images |
| CN101755461B (zh) * | 2007-07-20 | 2012-06-13 | 富士胶片株式会社 | 图像处理设备、图像处理方法 |
| US8817878B2 (en) * | 2007-11-07 | 2014-08-26 | Broadcom Corporation | Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach |
| WO2009115867A1 (en) * | 2008-03-18 | 2009-09-24 | Zoran (France) | Frame rate conversion with motion estimation in a plurality of resolution levels |
| GB201113527D0 (en) | 2011-08-04 | 2011-09-21 | Imagination Tech Ltd | External vectors in a motion estimation system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02224490A (ja) | 1989-02-27 | 1990-09-06 | Victor Co Of Japan Ltd | 動きベクトル検出回路 |
| JPH03247190A (ja) | 1990-02-26 | 1991-11-05 | Sony Corp | 動きベクトル検出回路 |
| JPH08107557A (ja) | 1994-10-05 | 1996-04-23 | Mitsubishi Electric Corp | 映像信号符号化方式 |
| US5699129A (en) * | 1995-10-17 | 1997-12-16 | Zapex Technologies, Inc. | Method and apparatus for motion vector determination range expansion |
| KR100204480B1 (ko) * | 1996-05-14 | 1999-06-15 | 배순훈 | 움직임 추정장치 |
-
1997
- 1997-12-31 KR KR1019970080509A patent/KR100246918B1/ko not_active IP Right Cessation
-
1998
- 1998-12-24 JP JP36812898A patent/JP3447235B2/ja not_active Expired - Fee Related
- 1998-12-30 CN CN98126563A patent/CN1112049C/zh not_active Expired - Fee Related
- 1998-12-30 US US09/222,941 patent/US6317136B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR19990060287A (ko) | 1999-07-26 |
| JPH11262020A (ja) | 1999-09-24 |
| CN1227458A (zh) | 1999-09-01 |
| KR100246918B1 (ko) | 2000-03-15 |
| CN1112049C (zh) | 2003-06-18 |
| US6317136B1 (en) | 2001-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2130779C (en) | Method and apparatus for improving motion compensation in digital video coding | |
| US6195389B1 (en) | Motion estimation system and methods | |
| US9077969B2 (en) | Method and apparatus for determining motion between video images | |
| JP3277418B2 (ja) | 動きベクトル検出装置および方法 | |
| JP3447235B2 (ja) | モーションベクトル検出装置 | |
| US6483876B1 (en) | Methods and apparatus for reduction of prediction modes in motion estimation | |
| US7453940B2 (en) | High quality, low memory bandwidth motion estimation processor | |
| US20100195927A1 (en) | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames | |
| KR20140037056A (ko) | 이미지 시퀀스의 압축을 위한 코딩 방법 및 이미지 코딩 디바이스 | |
| US8243804B2 (en) | Hierarchical motion estimation for images with varying horizontal and/or vertical dimensions | |
| US6690728B1 (en) | Methods and apparatus for motion estimation in compressed domain | |
| KR20030059399A (ko) | 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법 | |
| JP3522801B2 (ja) | 動き補償を用いた動映像信号処理器のためのメモリ装置 | |
| US6263112B1 (en) | Motion vector searching apparatus and motion picture coding apparatus | |
| JP2001076155A (ja) | 動画像内の移動物体検出方法及び装置 | |
| EP1244291A2 (en) | Moving image compression and cut detection | |
| JP2000069484A (ja) | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 | |
| JP2004229150A (ja) | 動きベクトル探索方法および装置 | |
| KR100208984B1 (ko) | 물체의 윤곽선을 이용한 움직임 벡터 추정 장치 | |
| JP2861963B2 (ja) | 動きベクトル検出回路 | |
| JPH1042300A (ja) | 動きベクトル検出装置 | |
| JP2000078589A (ja) | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 | |
| JP3334316B2 (ja) | 画像照合方法および装置 | |
| Sorwar et al. | A novel filter for block-based object motion estimation | |
| Sorwar et al. | A novel filter for block-based motion estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080704 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080704 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090704 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |