JP4170202B2 - 動きベクトル探索方法、装置、プログラム及び当該プログラムを記録した記録媒体 - Google Patents
動きベクトル探索方法、装置、プログラム及び当該プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4170202B2 JP4170202B2 JP2003401884A JP2003401884A JP4170202B2 JP 4170202 B2 JP4170202 B2 JP 4170202B2 JP 2003401884 A JP2003401884 A JP 2003401884A JP 2003401884 A JP2003401884 A JP 2003401884A JP 4170202 B2 JP4170202 B2 JP 4170202B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction error
- inter
- motion vector
- frame prediction
- minimum value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
とした場合に、符号化対象フレームft(p)をいくつかの領域に分割し、当該領域毎に動き補償を用いたフレーム間予測を、以下のように行う。
ここで、Biは第i番目の領域、viは以下の(1)式を満たす動きベクトルである。
ここで、RiはBiに対応する探索領域であり、次式は次に続く関数を最小化するvを返す関数である。
すなわち、探索領域Riにおいて、領域Bi内での予測誤差を最小化するvを動きベクトルviとして求める。そして、予測誤差に直交変換を施し、得られた変換係数を可変長符号化する。
ここで、viは以下の(3)式を満たす動きベクトルである。
尚、γはvに対して以下の(4)式で与えられる。
以下、動きベクトルviに対して(4)式により求めたγiを修正係数、(2)式に従う動き補償予測を修正動き補償(MMC)という。また、i番目の領域に着目して説明するため、γi及びBiをそれぞれγ及びBとして表わす。
まず、本発明の概要について説明する。
修正動き補償を用いた予測誤差(以下、「MMC誤差」という。)を最小化する動きベクトルを探索する場合、二つの動きベクトルについてMMC誤差を直接比較するのではなく、動きベクトルに対するMMC誤差の下限値を用いて最小となるMMC誤差を算出し、そのときの動きベクトルを出力する。従って、二つの動きベクトルに対するそれぞれのMMC誤差の比較を直接行う場合の計算量よりも少ない計算量で実現する計算方式が本発明の特徴となる。以下、その計算方式を説明する。二つの動きベクトルv及びuについて、MMC誤差E(v)及びE(u)を比較する場合、これらの動きベクトルv,uに対するMMC誤差E(v),E(u)を直接算出して比較するのではなく、動きベクトルvに対するMMC誤差E(v)と、動きベクトルuに対するMMC誤差E(u)の下限値L(u)とを大小比較する。この場合、
であれば、L(u)がMMC誤差E(u)の下限値であるため、
となる。従って、E(u)を算出して両者を比較する必要がない。つまり、E(u)は、
となる場合にのみ算出すればよい。
次に、MMC誤差の下限値について説明する。
動きベクトルvに対するMMC誤差E(v)を以下の(5)式に示す。
この場合、MMC誤差E(v)の下限値は、以下の(6)式及び(7)式に示す2つのL1(v),L2(v)となる。
尚、上式の第2式から第3式へは、画素値であるft(p),ft−1(p−v)が非負値であること、及び修正係数γが(4)式から算出されることから展開している。また、上式の第3式から第4式への展開は次式のコーシーの不等式を用いている。
尚、上式の第4式から第5式へ展開は次式を用いている。
ただし、次式を満たすものとする。
また、次式はxi(i=1,・・・,N)の中から最小値を返す。
このように、MMC誤差E(v)の下限値L1(v)及びL2(v)はそれぞれ(6)式及び(7)式により算出することができる。
次に、上述したMMC誤差の下限値を用いて、MMC誤差を最小化する動きベクトルの探索法の原理について説明する。MMC誤差を最小化する動きベクトルは、二つの動きベクトルに対するMMC誤差を大小比較して探索される。ここでは、動きベクトルuに対するMMC誤差E(u)と、動きベクトルvに対するMMC誤差E(v)との大小関係を、動きベクトルvに対するMMC誤差E(v)の下限値L1(v)及びL2(v)を用いて比較する方法を説明する。前提として、動きベクトルuに対するMMC誤差E(u)は、既に(5)式により算出されているものとする。
(6)式及び(7)式を用いて下限値L1(v)及びL2(v)をそれぞれ算出し、下限値L1(v)及びL2(v)とMMC誤差E(u)との間の大小比較を行う。
上記の(8)式または(9)式を満たす場合は、以下の式を満たすことになる。
従って、MMC誤差E(v)を算出することなく、MMC誤差E(u)及びE(v)との大小関係を定めることができる。一方、(8)式及び(9)式を満たさない場合は、(5)式によりMMC誤差E(v)を直接算出し、MMC誤差E(u)及びE(v)を直接比較して大小関係を定める。
次に、MMC誤差の下限値の算出方法について説明する。以下に示すように、下限値L1(v)及びL2(v)は、既に算出されているMMC誤差E(u)の計算途中の結果を再利用して算出されるため、計算量を少なく抑えることが可能である。(6)式及び(7)式に示した下限値L1(v)及びL2(v)の計算式は、以下の5個の要素から成る。
このうち、以下の3個の要素は、動きベクトルvに係わらず一定であるため、一度計算しておけば再計算の必要がない。
一方、以下の2個の要素は、動きベクトルvに依存するため、予め計算することができないが、MMC誤差E(u)の(5)式に示した計算過程において計算された計算結果を利用することができる。
すなわち、(5)式において以下の計算結果を利用できるため、改めて計算する必要がない。
ここで、A(v)は、参照フレーム中の動きベクトルvの指す領域であり、ft−1(p−v)(p∈B)を含む。図1に、二つの動きベクトルu,vの参照ブロックを示す。図1(a)に示すように、動きベクトルvの指す領域A(v)と動きベクトルuの指す領域A(u)とが互いに重なる領域が存在するものとする。ここで、A(v)とA(u)との共通領域をC(v,u)、領域A(v)から領域C(v,u)を除いた領域をA(v)/C(v,u)、領域A(u)から領域C(v,u)を除いた領域をA(u)/C(v,u)とすると、以下の(10)式及び(11)式に展開することができる。
このように、(10)式において、以下の要素はMMC誤差E(u)の算出の過程で既に計算済みである。
従って、新たに計算が必要になるのは、(10)式において両領域の差分のみとなるため、計算量を少なく抑えることができる。(11)式においても同様である。しかし、(5)式の以下の要素は、(10)式及び(11)式のように展開できないため、既に計算済みの結果を用いて計算量を低減することはできない。
次に、上述したMMC誤差の下限値を用いた動きベクトル探索法を実現する本発明の実施例について詳細に説明する。
図2は、動きベクトル探索法を実現する動画像処理装置1のブロック図である。本動画像処理装置1は、動きベクトル探索部2及びレジスタ3を備え、フレーム間予測誤差に直交変換を施す直交変換処理部や変換係数を可変長符号化する符号化部等の、図示しない所定の動画像処理を施す他の処理部も備えている。ここでは、動きベクトル探索法を実現する処理部のみを示している。動きベクトル探索部2は、下限値算出部11、比較部12、最小値判定部13、予測誤差算出部14及び動きベクトル処理部15を備えている。ここで、動きベクトル探索部2は、フレーム間予測誤差を最小化する動きベクトルを探索する機能を有する。具体的には、動きベクトル探索部2は、符号化対象フレームft(p)及び参照フレームft−1(p)を入力し、探索範囲Riに含まれる動きベクトルv∈Riから(3)式及び(5)式に示したフレーム間予測誤差E(v)を最小化する動きベクトルを探索し、当該動きベクトルを出力する。尚、符号化対象フレームft(p)の各領域B毎に、動きベクトルの探索を行う。また、レジスタ3は、フレーム間予測誤差の最小値Mと、フレーム間予測誤差の下限値L1及びL2と、フレーム間誤差が最小値Mであるときの動きベクトルUとがそれぞれ格納される。
下限値算出部11は、動きベクトルに依存しない項を予め計算しておき、その計算結果を利用する。動きベクトルに依存する項については、動きベクトルvの一つ前の最小値候補となった動きベクトルuに対するE(u)が既に(5)式により計算済みであるため、この計算結果を利用し、(10)式及び(11)式により算出する(ステップS302)。ここで、E(u)は、後述するステップ305及び307において、既に(5)式により計算済みであり、その計算結果がレジスタ3のフレーム間予測誤差の最小値Mとして格納されている。そして、下限値算出部11は、算出した下限値L1(v)及びL2(v)をレジスタ3に下限値L1及びL2として格納する(ステップS303)。
具体的には、比較部12は上記の式を判断する。上記の式のいずれもが満たされる場合は、動きベクトルvに対するフレーム間予測誤差E(v)が以下の式を満たすので、この動きベクトルvを最適解の候補から外す。
一方、それ以外の場合、すなわち上記の式のいずれかが満たされる場合またはいずれもが満たされない場合は、E(v)がMよりも小さくなる可能性があるので、予測誤差算出部14がこのとき初めてE(v)を(5)式により直接算出する(ステップS305)。そして、比較部12は、E(v)とMとの大小比較を直接行い(ステップS306)、E(v)が小さい場合は、最小値判定部13がE(v)を最小値であると判定し、レジスタ3の最小値Mの値をE(v)に更新する(ステップS307)。また、動きベクトル処理部15は、このときの動きベクトルvをレジスタ3の動きベクトルUに格納する(ステップS307)。
2 動きベクトル探索部
3 レジスタ
11 下限値算出部
12 比較部
13 最小値判定部
14 予測誤差算出部
15 動きベクトル処理部
Claims (6)
- 動画像データに符号化処理を施す動画像処理装置が、前記動画像における符号化対象フレームと参照フレームとに基づいて符号化処理を施すための動きベクトルを探索する動きベクトル探索部を備え、当該動きベクトル探索部が、フレーム間予測誤差を算出する予測誤差算出部、フレーム間予測誤差を比較する比較部、フレーム間予測誤差の下限値を算出する下限値算出部、及びフレーム間予測誤差の最小値を判定する最小値判定部とを備え、前記動画像におけるフレーム間の予測誤差を最小化する動きベクトルを、修正動き補償予測方式により所定の範囲で探索する動きベクトル探索方法であって、
動きベクトルv,uに対するフレーム間予測誤差をそれぞれE(v),E(u)とし、当該動きベクトルuに対するフレーム間予測誤差E(u)が、動きベクトルvの探索以前に前記予測誤差算出部により既に最小値候補として算出されている場合に、
前記下限値算出部が、動きベクトルvに対するフレーム間予測誤差E(v)の下限値を、動きベクトルに依存しない要素と、前記最小値候補である動きベクトルuに対するフレーム間予測誤差E(u)の算出結果を利用可能な、動きベクトルに依存する要素とに基づいて算出するステップと、
前記比較部が、最小値候補であるフレーム間予測誤差E(u)と、前記フレーム間予測誤差E(v)の下限値とを比較するステップと、
前記予測誤差算出部が、フレーム間予測誤差E(v)の下限値が最小値候補であるフレーム間予測誤差E(u)よりも小さいときに、動きベクトルvに対するフレーム間予測誤差E(v)を算出するステップと、
前記最小値判定部が、最小値候補であるフレーム間予測誤差E(u)と、前記算出されたフレーム間予測誤差E(v)とを比較し、当該フレーム間予測誤差E(v)が前記最小値候補であるフレーム間予測誤差E(u)よりも小さいときに、前記算出されたフレーム間予測誤差E(v)を新たな最小値候補とするステップとを有し、
前記探索範囲に含まれる全ての動きベクトルについて前記ステップを実行し、全ての動きベクトルのうちの最小値候補における動きベクトルを、フレーム間予測誤差を最小化する動きベクトルとする、ことを特徴とする動きベクトル探索方法。 - 請求項1に記載の動きベクトル探索方法において、
前記フレーム間予測誤差E(v)の下限値を算出するステップを、前記下限値算出部が、異なる近似式を用いて、動きベクトルに依存しない要素と、前記最小値候補であるフレーム間予測誤差E(u)の算出結果を利用可能な、動きベクトルに依存する要素とに展開し、複数の下限値を算出するステップとし、
前記フレーム間予測誤差E(v)を算出するステップを、前記予測誤差算出部が、フレーム間予測誤差E(v)の複数の下限値のうちの少なくとも一つの下限値が最小値候補であるフレーム間予測誤差E(u)よりも小さいときに、動きベクトルvに対するフレーム間予測誤差E(v)を算出するステップとする、ことを特徴とする動きベクトル探索方法。 - 動画像データに符号化処理を施すために、前記動画像における符号化対象フレームと参照フレームとに基づいて動きベクトルを探索する場合に、前記動画像におけるフレーム間の予測誤差を最小化する動きベクトルを、修正動き補償予測方式により所定の範囲で探索する動画像処理装置であって、
動きベクトルv,uに対するフレーム間予測誤差をそれぞれE(v),E(u)とし、当該動きベクトルuに対するフレーム間予測誤差E(u)が、動きベクトルvの探索以前に既に最小値候補として算出されている場合に、
前記動きベクトルvに対するフレーム間予測誤差E(v)の下限値を、動きベクトルに依存しない要素と、前記最小値候補である動きベクトルuに対するフレーム間予測誤差E(u)の算出結果を利用可能な、動きベクトルに依存する要素とに基づいて算出する下限値算出部と、
前記最小値候補であるフレーム間予測誤差E(u)と、前記下限値算出部により算出されたフレーム間予測誤差E(v)の下限値とを比較する比較部と、
前記比較部によりフレーム間予測誤差E(v)の下限値が最小値候補であるフレーム間予測誤差E(u)よりも小さいと判断したときに、動きベクトルvに対するフレーム間予測誤差E(v)を算出する予測誤差算出部と、
前記予測誤差算出部により算出されたフレーム間予測誤差E(v)を新たな最小値候補とする最小値判定部と、
前記探索範囲に含まれる全ての動きベクトルのうちの最小値候補における動きベクトルを、フレーム間予測誤差を最小化する動きベクトルとする動きベクトル処理部とを備え、
前記最小値判定部は、最小値候補であるフレーム間予測誤差E(u)と、前記予測誤差算出部により算出されたフレーム間予測誤差E(v)とを比較し、当該フレーム間予測誤差E(v)が前記最小値候補であるフレーム間予測誤差E(u)よりも小さいときに、フレーム間予測誤差E(v)を新たな最小値候補とすることを特徴とする動画像処理装置。 - 請求項3に記載の動画像処理装置において、
前記下限値算出部は、異なる近似式を用いて、動きベクトルに依存しない要素と、前記最小値候補であるフレーム間予測誤差E(u)の算出結果を利用可能な、動きベクトルに依存する要素とに展開して複数の下限値を算出し、
前記予測誤差算出部は、下限値算出部により算出されたフレーム間予測誤差E(v)の複数の下限値のうちの少なくとも一つの下限値が最小値候補であるフレーム間予測誤差E(u)よりも小さいときに、動きベクトルvに対するフレーム間予測誤差E(v)を算出することを特徴とする動画像処理装置。 - 前記動画像処理装置を構成するコンピュータに、請求項1又は2に記載の動きベクトル探索方法における各ステップの処理を実行させる動きベクトル探索プログラム。
- 請求項5に記載の動きベクトル探索プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003401884A JP4170202B2 (ja) | 2003-12-01 | 2003-12-01 | 動きベクトル探索方法、装置、プログラム及び当該プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003401884A JP4170202B2 (ja) | 2003-12-01 | 2003-12-01 | 動きベクトル探索方法、装置、プログラム及び当該プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005167494A JP2005167494A (ja) | 2005-06-23 |
JP4170202B2 true JP4170202B2 (ja) | 2008-10-22 |
Family
ID=34725669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003401884A Expired - Fee Related JP4170202B2 (ja) | 2003-12-01 | 2003-12-01 | 動きベクトル探索方法、装置、プログラム及び当該プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4170202B2 (ja) |
-
2003
- 2003-12-01 JP JP2003401884A patent/JP4170202B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005167494A (ja) | 2005-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4004653B2 (ja) | 動きベクトル検出方法および装置、記録媒体 | |
JP4166781B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
WO2010064396A1 (ja) | 動画像復号化方法および動画像符号化方法 | |
JP2002516531A (ja) | 粗検索ブロック整合法及び統合射影情報を用いた動き評価処理及び装置 | |
US20070098075A1 (en) | Motion vector estimating device and motion vector estimating method | |
US10425658B2 (en) | Image block-based matching method and system, and video processing device | |
JP2009272702A (ja) | 動きベクトル探索装置及びその制御方法 | |
JP2005167976A (ja) | 動きベクトル検出装置及び動きベクトル検出プログラム | |
JP4170202B2 (ja) | 動きベクトル探索方法、装置、プログラム及び当該プログラムを記録した記録媒体 | |
US7852939B2 (en) | Motion vector detection method and device of the same | |
US20090097562A1 (en) | System and method of estimating motion of image using block sampling | |
KR100490730B1 (ko) | 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법 | |
US6553069B1 (en) | Digital image segmenting method and device | |
TWI768324B (zh) | 影像處理方法及影像處理裝置 | |
JP2007067551A (ja) | 動きベクトル推定方法,動きベクトル推定装置,動きベクトル推定プログラムおよび動きベクトル推定プログラム記録媒体 | |
JP4142600B2 (ja) | 動きベクトル推定方法,動きベクトル推定装置,動きベクトル推定プログラムおよび動きベクトル推定プログラム記録媒体 | |
JP2007174202A (ja) | 動きベクトル検出装置およびその方法 | |
JP2009267726A (ja) | 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム | |
JP2009272701A (ja) | 動きベクトル探索装置及びその制御方法 | |
JP2007097063A (ja) | 動画像符号化プログラム、動画像符号化方法および動画像符号化装置 | |
JP2002247587A (ja) | 画像符号化データの再符号化装置、再符号化方法、再符号化プログラム及び再符号化プログラムを記録した記録媒体 | |
JP2020030502A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JPH10112865A (ja) | 復号信号の符号化方法 | |
JP2019070974A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JPH10285603A (ja) | 画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060405 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070613 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080806 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |