JPH09294266A - 動きベクトル探索方法 - Google Patents
動きベクトル探索方法Info
- Publication number
- JPH09294266A JPH09294266A JP10657796A JP10657796A JPH09294266A JP H09294266 A JPH09294266 A JP H09294266A JP 10657796 A JP10657796 A JP 10657796A JP 10657796 A JP10657796 A JP 10657796A JP H09294266 A JPH09294266 A JP H09294266A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion vector
- prediction
- distance
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
Abstract
トル探索方法に関し、画像の性質に対応して動きベクト
ル探索を行うフレーム間距離を最適化する。 【解決手段】 フレームF2 に於いて参照フレームOを
参照して前方予測で求めた動きベクトルを、フレーム間
距離を増加させたと仮定した場合のフレームF3にスケ
ールアップし、フレームF2 の場合の動きベクトルの水
平又は垂直成分xが、xl2<x<xu2の範囲に入る場合
に、現在のフレーム間距離を2、増加した時のフレーム
間距離を3とすると、フレームF3 に於いては、x
l2(2/3)<x<xu2(2/3)の範囲に入る割合が
一定値を越えるか否かを判定し、越えない場合はフレー
ム間距離を2から3に増加し、越える場合はフレーム間
距離を変更しないか又は減少させる。
Description
ム間予測符号化方式に於ける動きベクトル探索方法に関
する。画像情報の圧縮符号化方式として、例えば、国際
標準化されたH.261,H.262,MPEG1(M
oving Picture Experts Group 1),MPEG2
(Moving Picture Experts Group 2)等が知ら
れている。これらの圧縮符号化方式は、DCT(Discr
ete Cosine Transform;離散コサイン変換)や動き補
償フレーム間予測等の処理を含むものであり、更に効率
良く圧縮率を高くすることが要望されている。
間軸方向の冗長性を利用して圧縮する方式としてフレー
ム間予測符号化方式があり、前述のMPEG1,MPE
G2に於いては、前方予測と両方向予測との両方を利用
できるものである。前方予測は、過去のフレームと現在
のフレームとの間の動きを検出し、過去のフレームから
現在のフレームを生成するものであり、図10はこの前
方予測の説明図である。
参照フレーム(過去のフレーム)との間の動きベクトル
探索範囲内の動きを検出し、動きのない部分は動きベク
トル零とし、動きのある部分はその動きに対応した動き
ベクトルとして符号化するものである。従って、動きベ
クトル探索範囲を広くすると、大きな動きが存在する場
合でも、圧縮効率を高くすることができる。しかし、そ
の反面、範囲が広いから処理時間が長くなる。
フレームとの両方から現在のフレームを生成するもので
あり、例えば、図11に示すように、両方向予測を行う
現在のフレームを、未来の後方参照フレームと過去の前
方参照フレームとを用いて、後方動きベクトルと前方動
きベクトルとを求めて符号化するものである。動きベク
トル探索範囲を同一とすると、前方予測に対して両方向
予測の方が予測効率が高いことになるが、処理量が2倍
以上となるから、一般的には前方予測に対して両方向予
測の場合の動きベクトル探索範囲は半分程度に縮小する
ことになる。
クチャ(Predictive −Picture)、両方向予測による
符号化の画像をBピクチャ(Bidrectionaly Predict
ive−Picture)、フレーム内符号化の画像をIピクチ
ャ(Intra−Picture)とすると、前述のMPEG1及
びMPEG2に於いては、IBBPBBPBBP・・・
IBBPBBPBBP・・・のように、フレーム内符号
化と前方予測による符号化と両方向予測による符号化と
を組合せて符号化を行うものである。
レーム間予測符号化方式に於いては、動きベクトル探索
を行うフレーム間距離を固定しているものである。その
為に、例えば、前方予測を行うフレーム間距離が短く、
且つ相対的な動きベクトル探索範囲が広くなっている状
態では、画面内の動きが小さい場合に、その動きの範囲
を越える分についての動きベクトル探索処理は無駄とな
る。又両方向予測フレーム数も固定されているが、例え
ば、このフレーム数を増加すると、動きの大きい画像の
場合、前方予測を行う際の動きベクトル探索範囲が不足
する状態が生じる可能性があり、その場合には予測効率
が低下する問題がある。本発明は、画像の性質に対応し
て動きベクトル探索を行うフレーム間距離を最適化し
て、予測効率の向上を図ることを目的とする。
索方法は、(1)前方予測と両方向予測とを併用するフ
レーム間動き補償予測による画像情報の予測符号化に於
いて、前方予測フレームで求めた動きベクトルを、フレ
ーム間距離を増加させたと仮定した場合のフレームにス
ケールアップして、前方予測を行うフレーム間距離を増
加させても動きベクトル探索範囲が充分に確保できるか
否かを判定し、該判定結果により、前方予測を行うフレ
ームの距離を増減する過程を含むものである。従って、
動きの小さい画像の場合は、前方予測を行うフレーム間
距離を増加して、予測効率の良い両方向予測を行うフレ
ームの割合を増加することができる。
前の参照フレームから前方予測を行う時に、この参照フ
レームからM(>N)フレーム離れたフレームPM の動
きベクトルの水平又は垂直方向の探索可能範囲をxlM<
x<xuMとした時に、フレームPN 内で検出される動き
ベクトルの水平成分又は垂直成分xが、 〔(N・xlM)/M〕<x<〔(N・xuM)/M〕 の範囲であるものの割合が一定値を越えている場合に、
現在のフレームPN 以降のフレームの前方予測を行うフ
レーム間距離を、Mフレームに変更する過程を含むもの
である。即ち、フレーム間距離の増加数をaとすると、
動きベクトルの水平又は垂直成分xが前記条件の範囲内
である割合が一定値を越えているに、M=N+aとする
ことができる。
るフレーム間動き補償予測による画像情報の予測符号化
に於いて、前方予測フレームで求めた動きベクトルを、
フレーム間距離を増加させたと仮定した場合の両方向予
測フレームに対して、フレーム間距離に対応してスケー
ルアップ或いはスケールダウンし、両方向予測を行うフ
レーム間距離を増加させても動きベクトル探索範囲が充
分に確保できるか否かを判定し、この判定結果により、
両方向予測フレーム数を増減する過程を含むものであ
る。即ち、前方予測フレームで求めた動きベクトルを基
に、両方向予測フレーム数の増減の制御を行うことがで
きる。
両方向予測フレームについて、参照フレームからNフレ
ーム後の前方予測フレームに於いて検出した動きベクト
ルの水平又は垂直成分をxとし、参照フレームからMフ
レーム後の前方予測を行う予定のフレームの動きベクト
ルの水平又は垂直方向の探索可能範囲を、xnlb <x<
xnub とした時、 〔(N・xnlb )/(M−n)〕<x<〔(N・
xnub )/(M−n)〕 の範囲であるものの割合が一定値を越えている場合に、
以降のフレームの前方予測を行うフレーム間距離をMと
する過程を含むものである。即ち、前方予測フレームに
於いて検出した動きベクトルを基に、両方向予測を行う
フレームについての前方予測フレーム間距離を増減する
ことができる。
るフレーム間動き補償予測による画像情報の予測符号化
に於いて、両方向予測で求めた動きベクトルをフレーム
間距離を増加させたと仮定した場合の前方予測フレーム
に対してフレーム間距離に応じてスケールアップし、両
方向予測フレーム数を増加させても動きベクトル探索範
囲を充分に確保できるか否かを判定し、この判定結果に
より、前方予測を行うフレーム間距離及び両方向予測フ
レーム数を増減する過程を含むことができる。即ち、両
方向予測フレームで求めた動きベクトルを基に、両方向
フレーム数の増減の制御を行うことができる。
両方向予測フレームに於いて、参照フレームからNフレ
ーム後のフレームを後方参照フレームとして検出した動
きフレームの水平又は垂直成分をxとし、参照フレーム
からNフレーム後のフレームに於ける動きベクトルの水
平又は垂直の探索可能範囲をxnlb <x<xnub とした
時、 〔{(N−n)・xnlb }/(M−n)〕<x<
〔{(N−n)・xnub }/(M−n)〕 の範囲であるものの割合が一定値を越えている場合に、
以降のフレームの前方予測を行うフレーム間距離をMと
する過程を含むことができる。
前方予測フレームとの差分を求め、この差分が一定値を
越えた場合に、前方予測フレームと参照フレームとのフ
レーム間距離を短縮させる過程を含むことができる。即
ち、前記差分が一定値を越える場合は、動きベクトルの
探索範囲が不足している可能性が高い為、フレーム間距
離を短縮する。
と、両方向予測フレームとの差分を求め、この差分が一
定値を越えた場合に、前方予測フレームと参照フレーム
とのフレーム間距離を短縮させる過程を含むことができ
る。この場合も、前記差分が一定値を越える場合は、動
きベクトルの探索範囲が不足している可能性が高い為、
フレーム間距離を短縮する。
ムとのフレーム間差分が一定値を越えた場合に、フレー
ム間距離の制御を行わないようにすることができる。前
方予測フレームと前方参照フレームとの間のフレーム間
差分、又は後方予測フレームと後方参照フレームとの間
のフレーム間差分が一定値を越えた時は、シーンチェン
ジ等の場合であるから、フレーム間距離を変更しないよ
うにする。
を、フレーム間距離としてとり得る最大値から動きベク
トル探索処理を開始することができる。それにより、連
続してフレームの処理が可能となる。
の説明図であり、O,F1 〜F6 は時間的に連続してい
るフレームを示し、フレームF2 を現在参照(基準)フ
レームOを参照して前方予測を行うフレームとすると、
フレームF1 は、フレームO,F2 を参照フレームとし
て両方向予測を行うフレームとなる。又フレームF2 の
動きベクトル探索を開始する時点では、フレームF4 は
フレームF2 を参照フレームとして前方予測を行うフレ
ームとなり、フレームF3 は、フレームF2 ,F4 を参
照フレームとして両方向予測を行うフレームとなる。又
フレームF6 はフレームF4 を参照フレームとして前方
予測を行うフレームとなり、フレームF5 はフレームF
4 ,F6 を参照フレームとして両方向予測を行うフレー
ムとなる。
方向予測を行う予定であるフレームF5 について、フレ
ームF2 を参照フレームとした前方予測を行うように変
更するものとする(この変更が可能の場合は、フレーム
F4 については、フレームF 2 ,F5 を参照フレームと
して両方向予測を行うことになる)。動画像に於いて
は、連続する短時間内のフレーム間の動きの大きさの変
化は少ない性質を有するものであり、従って、フレーム
F5 ,F2 間と、フレームF3 ,O間で検出される動き
ベクトルの性質はほぼ似ていると考えることができる。
そこで、フレームF5 ,F2 間で動きベクトル探索範囲
が充分であるか否かの検証をフレームF3,O間に置き
換えて調べる。
前方予測を行う際の水平方向又は垂直方向の動きベクト
ル探索範囲を、動きベクトルの水平又は垂直成分をxと
すると、xl3<x<xu3とし、短時間で画面内の動きの
速度が急激に変化しないと仮定すると、フレームF3 の
動きベクトル探索範囲が充分である為には、フレームF
2 で検出される動きベクトルの水平又は垂直成分xは、
xl2<x<xu2の範囲内であることが必要となる。
の関係から、xu2=xu3×(2/3),xl2=xl3×
(2/3)となる。即ち、フレームF2 に於いては、フ
レームOに対して動きベクトル探索を行った段階で検出
された動きベクトルの水平又は垂直成分xが、現在前方
予測を行っているフレームF2 から参照(基準)フレー
ムOに対して斜線を施して示す範囲のxl2<x<xu2の
関係となるものが一定の割合を超えている場合、それに
比例して、フレームF3 ,O間の動きベクトル探索範囲
は、点線で示す範囲となり、この動きベクトル探索範囲
は充分と見做すことができる。このように、探索範囲が
充分と見做すことができる場合は、フレームF5 ,F2
間の探索範囲も充分であると推測して、フレームF5 に
ついてフレームF2 を参照フレームとして前方予測を行
うように変更するものである。
(A)現状の動きベクトル探索範囲が適切である場合、
(B)現状の動きベクトル探索範囲が不足している場
合、の二通りがある。(A)の場合は現状を維持すれば
良いことになるが、(B)の場合は、動きベクトル探索
範囲を拡大しなければ予測効率が低下する。この場合の
(A),(B)の区別は、例えば、動きベクトルを用い
て生成した予測画像と原画像との差分累積値を求めるこ
とにより判断することができる。
判断された場合は、前方予測を行うフレーム間距離を短
縮し、フレームF3 ,F2 間で前方予測を行うことによ
り、動きベクトル探索範囲を確保することができる。又
動きベクトル探索範囲の不足が認められない場合は、予
定通り2フレーム離れたフレームF4 ,F2 間で前方予
測を行う。
レームOに対して動きベクトル探索を行った段階で、フ
レームF5 ,F2 間、フレームF4 ,F2 間、フレーム
F3,F2 間のうちの何れの前方予測を行うべきかを判
断することがきる。又この場合に、フレームF2 の動き
ベクトル探索範囲が不足している場合、或いはシーンチ
ェンジが発生した場合は、前述の選択の判断は意味を持
たなくなる。そこで、並行して、フレームF2 ,O間の
動きベクトル探索範囲結果の信頼性を調べる為に、フレ
ームF2 ,Oの対応する位置の画素値の差分累積和を求
めて、これが或る一定値を越えた場合は、フレーム間距
離の変更は行わないように制御する。
明図であり、一般化して示すもので、N,Mを整数と
し、基準フレームOからNフレーム離れたフレームFN
と、Mフレーム離れたフレームFM とについて、フレー
ムPN で、Nフレーム前のフレームOを参照フレームと
して前方予測を行っているとすると、Mフレーム前のフ
レームOを参照フレームとしてフレームPM の位置で動
きベクトル探索範囲を確保できるか否かを、フレームP
N に於ける動きベクトル探索結果から判断する。
ると、前方予測をフレームPM の位置で行う為には、フ
レームPN の段階で検出される動きベクトルの水平又は
垂直成分xが、 〔(N・xlM)/M〕<x<〔(N・xuM)/M〕 の関係の範囲に収まっている必要がある。ここで、
xlM,xuMは、フレームFMに於けるフレームOに対す
る動きベクトル探索範囲の水平方向又は垂直方向の下
限,上限を示す。
基準フレームOからNフレーム離れたフレームFN に於
いて検出した動きベクトルが、前述の条件を満たすもの
が一定の割合を超えていれば、フレームM(>N)離れ
たフレームFM の位置から基準フレームOを用いて前方
予測を行うことができる。それによって予測効率を向上
することができる。
トであり、参照フレームをO、前方予測フレーム間距離
N=2、拡張フレーム間距離a=1とし(a)、フレー
ムF 2 ,O間で動きベクトル探索を行う(b)。そし
て、現在前方予測を行っているフレームF2 と参照フレ
ームOとの間で対応する画素同士の差分累積和Eを求め
て、この差分累積和Eが一定値を越えたか否かを判定す
る(c)。この場合の差分累積和は差分絶対値について
の累積和とする。
ーンチェンジ等の場合であり、フレーム間距離をN(=
2)のままとする(g)。又差分累積和Eが一定値を越
えない場合は、フレームF2 ,O間の動きベクトルの水
平又は垂直成分xが、 〔(N・xl3)/(N+a)〕<x<〔(N・xu3)/(N+a)〕 …(1) の範囲内に入っている割合を求める(d)。
し(e)、一定値以上の場合は、それ以降の前方予測を
行うフレーム間距離をN+aに拡張する(f)〔ステッ
プ(a)の条件では、2+1=3となる〕。又割合が一
定値以上でない場合は、フレームF2 の前方予測結果と
フレームOの対応する画素の差分累積和が一定値を越え
ているか否かを判定し(h)、越えている場合は、それ
以降の前方予測を行うフレーム間距離をN−1に短縮す
る(i)〔ステップ(a)の条件では、2−1=1とな
る〕。又越えていない場合は、それ以降の前方予測を行
うフレーム間距離をN(=2)のままとする(g)。
クトルを基に、フレーム間距離を増加したと仮定した場
合に、動きベクトル探索範囲が充分に確保できるか否か
を判定し、前方予測のフレーム間距離Nを増減させるこ
とができ、入力画像情報の性質に対応したフレーム間予
測符号化を行うことができる。
説明図であり、図2と同様に、N,Mを整数とし、フレ
ームPN に於いてNフレーム前の基準フレームOを参照
フレームとして前方予測を行っているとすると、この前
方予測をMフレーム離れたフレームPM から行っても両
方向予測フレームの後方動きベクトル探索範囲を確保で
きるか否かを、現在のフレームPN に於ける動きベクト
ル探索結果から推定する。
ると、現在両方向予測を行っているフレームBn の後方
予測を、フレームPM に対して行う為には、拡張前の時
点で、フレームPN のフレームOに対して検出される動
きベクトルの水平又は垂直成分xが、 〔(N・xnlb )/(M−n)〕<x<〔(N・xnub )/(M−n)〕 …(2) の範囲に収まっている必要がある。ここで、xnlb ,x
nub は、それぞれフレームBn のフレームPM に対する
後方動きベクトル探索範囲の水平方向又は垂直方向の下
限,上限を示す。
と、前述の条件を満足した直後のフレーム群について
は、参照フレームに対する前方予測フレームの相対位置
を、フレームPM に変更しても、任意のフレームBn に
於ける後方動きベクトル探索範囲を確保できることにな
る。実際には、現在前方予測を行っているフレームPN
に於いて検出した動きベクトルが、前述の(2)式の条
件を満たすものが一定の割合を越えていれば、基準フレ
ームOからMフレーム後のフレームPM の位置からの前
方予測が可能であると判断することにより、現在両方向
予測を行っているフレームBn からフレームPM に対し
て後方予測が可能であると判断する。
クトルを基に、フレーム間距離を増加したと仮定した場
合の両方向予測フレームの数を増加しても、両方向予測
に於ける動きベクトル探索範囲が充分に確保できるか否
かを判定し、それにより、前方予測を行うフレーム間距
離及び両方向予測フレームの数を増減させることができ
る。
レームの動きベクトル探索結果と両方向予測フレームの
探索範囲の説明図であり、図2及び図4と同様に、N,
Mを整数とし、現在フレームPN でNフレーム前の基準
フレーム(参照フレーム)Oから前方予測を行っている
とすると、この前方予測をMフレーム離れたフレームP
M の位置から行っても探索範囲を確保できるか否かを、
現在のフレームPN に於ける動きベクトル探索結果から
判定する。
ると、現在両方向予測を行うフレームBn の後方予測を
フレームPM に対して行う為には、拡張前の時点でフレ
ームBn に於いてフレームPN に対して検出される動き
ベクトルの水平又は垂直成分xが、 〔{(N−n)・xnlb }/(M−n)〕<x <〔{(N−n)・xnub }/(M−n)〕 …(3) の範囲に収まっている必要がある。ここで、xnlb ,x
nub は、それぞれフレームBn のフレームPM に対する
後方の動きベクトル探索範囲の水平方向又は垂直方向の
下限,上限を示す。
と、この条件を満たした直後のフレーム群については、
参照フレームに対する前方予測フレームの相対的位置を
フレームPM に変更しても、任意のフレームBn に於け
る後方の動きベクトル探索範囲を確保できる。実際に
は、フレームBn に於いて検出した動きベクトルについ
て、前述の条件を満たすものが一定の割合を越えていれ
ば、フレームPM の位置から前方予測が可能であると判
断する。
て求めた動くベクトルを基に、フレーム間距離を増加し
たと仮定し、両方向予測を行うフレーム数を増加させて
も動きベクトル探索範囲を充分に確保できるか否かを判
定しして、前方予測を行うフレーム間距離及び両方向予
測フレームの数を増減させるものである。
ック図であり、1は動き検出部、2はフレームメモリ、
3は第1の演算部、4はDCT(Discrete Cosie T
ransform;離散コサイン変換)部、5は量子化部、6は
可変長符号化部、7は逆量子化部、8は逆DCT部、9
は第2の演算部、10はフレームメモリ、11はローカ
ルデコード部、12は統計値算出部、13はピクチャタ
イプ変更パターン決定部、14はピクチャタイプ決定
部、15はピクチャタイプ制御部である。
る場合のフレーム間距離を可変とする為に複数バンク構
成のフレームメモリ2を備えている。又ローカルデコー
ダ11のフレームメモリ10は、前方参照用と後方参照
用との2バンク構成を有するものである。又第1,第2
の演算部3,9は、フレーム内符号化を行う時、スルー
状態に制御され、フレーム間符号化を行う時に、第1の
演算部3は減算器、第2の演算部9は加算器として機能
する。
をピクチャタイプ制御部15の統計値算出部12により
動きベクトルの大きさの統計値を求め、その統計値によ
りピクチャタイプ変更パターン決定部13は、予測可能
のフレーム間距離を求めて、ピクチャタイプ変更パター
ンを決定し、ピクチャタイプ決定部14に通知する。こ
のピクチャタイプ決定部14は、ピクチャタイプ変更パ
ターンに従って、予測可能フレーム間距離に対応してフ
レームメモリ2のバンク管理を行い、且つピクチャタイ
プに対応して各部を制御する。
の演算部3,9はスルー状態に制御されて、入力画像情
報は、DCT部4と量子化部5と可変長符号化部6とを
介してフレーム内符号化されて送出され、又逆量子化部
7と逆DCT部8とにより復号化されてフレームメモリ
10に蓄積される。
前方予測のフレーム数に従ったフレーム数前の入力画像
情報をフレームメモリ2から読出して、現入力画像情報
とを動きベクトル探索範囲について比較して動きベクト
ルを求める。又第1の演算部3は減算器として、又第2
の演算部9は加算器として機能するように制御され、フ
レーム間符号化が行われて送出され、又第2の演算部9
により復元された画像情報がフレームメモリ10に蓄積
される。
定部14により、Iピクチャ又はPピクチャとPピクチ
ャとの間のBピクチャの数が決まり、それに対応してフ
レームメモリ2が制御され、動き検出部1は、前方予測
と後方予測とによる動きベクトルを探索する。又第1,
第2の演算部3,9はPピクチャの場合と同様に制御さ
れ、フレーム間符号化が行われて送出される。又フレー
ムメモリ10は、前方予測用と後方予測用と両バンクを
用いるものである。又図示を省略しているが、ピクチャ
タイプやフレーム間距離等の補助情報を送出する構成を
備えているものである。
されるものではなく、種々付加変更することができるも
のであり、例えば、参照フレームと予測対象フレーム
(前方予測フレーム又は両方向予測フレーム)とのフレ
ーム間差分を求め、その差分の絶対値和を求め、この値
と予め設定した一定値とを比較し、この値が一定値を越
えている場合は、フレーム間距離の制御を行わないよう
に、ピクチャタイプ決定部14等が制御するように構成
することができる。
分の絶対値和或いは両方向予測フレームとその予測結果
との差分の絶対値和を求め、この値と予め設定した一定
値とを比較し、この値が一定値を越えている場合は、参
照フレームと予測対象フレームとの間のフレーム間距離
を短縮するように制御する。従って、動きベクトル探索
範囲を確保できるようにフレーム間距離を小さくするこ
とができる。
距離を、装置に於いて取り得る最大値から処理を開始す
ることができる。例えば、前方予測フレーム間距離をM
とし、この前方予測フレーム間距離Mの取り得る最大値
を3とし、6フレーム単位で前方予測フレーム間距離M
の切替えを行う場合の初期値M=1及びM=2とした場
合について、図7を参照して説明する。
ピクチャ、bは動きベクトル探索画面のI,P,Bピク
チャを示し、各ピクチャの数字はフレーム番号を示す。
例えば、I0,P1,P2,P3,P4,P5,B6
は、フレーム番号0のIピクチャ、フレーム番号1〜5
のPピクチャ、フレーム番号6のBピクチャを示す。又
図7の(A)は、M=1の初期値からM=2,M=1に
フレーム間距離を切替える場合を示し、又(B)はM=
1の初期値からM=2,M=3にフレーム間距離を切替
える場合を示す。又動きベクトル探索画面bの×印は、
動きベクトル探索画面が存在しないフレーム期間を示
す。
開始する場合、(A)に於いては、初期値を越えてM=
2に切替えた後に、×印で示すように、動きベクトル探
索画面が存在しないフレーム期間が発生し、又(B)に
於いては、初期値を越えてM=2に切替えた後と、M=
3に切替えた後とに於いて、×印で示すように、動きベ
クトル探索画面が存在しないフレーム期間が発生する。
きベクトル探索を開始した場合を示し、この場合も、初
期値のM=2を越えてM=3に切替えた後に、×印で示
すように、動きベクトル探索画面が存在しないフレーム
期間が発生する。
ベクトル探索の為に取り得る最大値のM=3を初期とし
た場合、図8の(D),(E)又は図9の(F)に示す
ものとなる。各図に於いて図7と同一符号は同一内容を
示し、図8の(D)は、M=3→M=2→M=3→M=
2→M=1の順にフレーム間距離Mが切替えられる場合
を示し、図8の(E)は、M=3→M=2→M=1→M
=2→M=1→M=2の順にフレーム間距離Mが切替え
られる場合を示す。又図9の(F)は、M=3→M=2
→M=1→M=2→M=3→M=2の順にフレーム間距
離Mが切替えられる場合を示す。
期値としていることにより、動きベクトル探索開始可能
時間が予め最大となり、図8及び図9に示すように、フ
レーム間距離Mが切替えられても、動きベクトル探索画
面が存在しないようなフレーム期間が発生しない。な
お、フレーム間距離Mを±1の変化とした場合を示す
が、最大値のフレーム間距離Mを初期値とした場合は、
フレーム間距離Mを±2の変化とした場合でも、動きベ
クトル探索画面が存在しないフレーム期間は発生しない
ものとなる。
い期間が発生しても、動きベクトル探索には本質的な影
響はないが、実際の画像処理装置に於いては、動きベク
トル探索画面が存在しないことによる処理の不連続は、
安定動作上、望ましくないものである。従って、前述の
ように、フレーム間距離Mを取り得る最大値として動き
ベクトル探索を開始することによって、処理の連続性を
保証することができる。又画像の性質が予め推測できる
場合は、最も多く発生することが推測されるフレーム間
距離を初期設定することもできる。
動画像に於いては、短時間内のフレーム間の動きの大き
さの変化が少ないという画像の性質を利用し、前方予測
と両方向予測とを併用する符号化方式に於いて、探索済
みの動きベクトルを基に、動きベクトル探索範囲が充分
に確保できるフレーム間距離を求めるものであり、動き
ベクトルが小さい場合は、フレーム間距離を大きくして
も、ハードウェアの処理能力等により定まる動きベクト
ル探索範囲を充分に確保できるから、フレーム間距離を
増加して、予測効率の良い両方向予測を行うフレームの
割合を増加できる利点がある。
る。
る。
きベクトル探索結果と両方向予測フレームの探索範囲の
説明図である。
る。
たいフレーム F5 フレームF2 からの前方予測に変更したいフレー
ム
Claims (10)
- 【請求項1】 前方予測と両方向予測とを併用するフレ
ーム間動き補償予測による画像情報の予測符号化に於い
て、 前方予測フレームで求めた動きベクトルを、フレーム間
距離を増加させたと仮定した場合のフレームにスケール
アップして、前方予測を行うフレーム間距離を増加させ
ても動きベクトル探索範囲が充分に確保できるか否かを
判定し、該判定結果により、前方予測を行うフレームの
距離を増減する過程を含むことを特徴とする動きベクト
ル探索方法。 - 【請求項2】 現在のフレームPN でNフレーム前の参
照フレームから前方予測を行う時に、該参照フレームか
らM(>N)フレーム離れたフレームPM の動きベクト
ルの水平又は垂直方向の探索可能範囲をxlM<x<xuM
とした時に、フレームPN 内で検出される動きベクトル
の水平成分又は垂直成分xが、 〔(N・xlM)/M〕<x<〔(N・xuM)/M〕 の範囲であるものの割合が一定値を越えている場合に、
現在のフレームPN 以降のフレームの前方予測を行うフ
レーム間距離を、前記Mフレームに変更する過程を含む
ことを特徴とする請求項1記載の動きベクトル探索方
法。 - 【請求項3】 前方予測と両方向予測とを併用するフレ
ーム間動き補償予測による画像情報の予測符号化に於い
て、 前方予測フレームで求めた動きベクトルを、フレーム間
距離を増加させたと仮定した場合の両方向予測フレーム
に対して、フレーム間距離に対応してスケールアップ或
いはスケールダウンし、両方向予測を行うフレーム間距
離を増加させても動きベクトル探索範囲が充分に確保で
きるか否かを判定し、該判定結果により、両方向予測フ
レーム数を増減する過程を含むことを特徴とする動きベ
クトル探索方法。 - 【請求項4】 参照フレームからnフレーム後の両方向
予測フレームについて、前記参照フレームからNフレー
ム後の前方予測フレームに於いて検出した動きベクトル
の水平又は垂直成分をxとし、前記参照フレームからM
フレーム後の前方予測を行う予定のフレームの動きベク
トルの水平又は垂直方向の探索可能範囲をxnlb <x<
xnub とした時、 〔(N・xnlb )/(M−n)〕<x<〔(N・
xnub )/(M−n)〕 の範囲であるものの割合が一定値を越えている場合に、
以降のフレームの前方予測を行うフレーム間距離をMと
する過程を含むことを特徴とする請求項3記載の動きベ
クトル探索方法。 - 【請求項5】 前方予測と両方向予測とを併用するフレ
ーム間動き補償予測による画像情報の予測符号化に於い
て、 両方向予測で求めた動きベクトルをフレーム間距離を増
加させたと仮定した場合の前方予測フレームに対してフ
レーム間距離に応じてスケールアップし、両方向予測フ
レーム数を増加させても動きベクトル探索範囲を充分に
確保できるか否かを判定し、該判定結果により、前方予
測を行うフレーム間距離及び両方向予測フレーム数を増
減する過程を含むことを特徴とする動きベクトル探索方
法。 - 【請求項6】 参照フレームからnフレーム後の両方向
予測フレームに於いて前記参照フレームからNフレーム
後のフレームを後方参照フレームとして検出した動きフ
レームの水平又は垂直成分をxとし、前記参照フレーム
からNフレーム後のフレームに於ける動きベクトルの水
平又は垂直の探索可能範囲をxnlb <x<xnub とした
時、 〔{(N−n)・xnlb }/(M−n)〕<x<
〔{(N−n)・xnub }/(M−n)〕 の範囲であるものの割合が一定値を越えている場合に、
以降のフレームの前方予測を行うフレーム間距離をMと
する過程を含むことを特徴とする請求項5記載の動きベ
クトル探索方法。 - 【請求項7】 前記前方予測フレームの予測結果と、前
方予測フレームとの差分を求め、該差分が一定値を越え
た場合に、前方予測フレームと参照フレームとのフレー
ム間距離を短縮させる過程を含むことを特徴とする請求
項1乃至6の何れか1項記載の動きベクトル探索方法。 - 【請求項8】 前記両方向予測フレームの予測結果と、
両方向予測フレームとの差分を求め、該差分が一定値を
越えた場合に、前方予測フレームと参照フレームとのフ
レーム間距離を短縮させる過程を含むことを特徴とする
請求項1乃至6の何れか1項記載の動きベクトル探索方
法。 - 【請求項9】 参照フレームと予測対象のフレームとの
フレーム間差分が一定値を越えた場合に、フレーム間距
離の制御を行わないことを特徴とする請求項1乃至6の
何れか1項記載の動きベクトル探索方法。 - 【請求項10】 前方予測を行うフレーム間距離を、該
フレーム間距離としてとり得る最大値から動きベクトル
探索処理を開始することを特徴とする請求項1乃至9の
何れか1項記載の動きベクトル探索方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10657796A JP3876392B2 (ja) | 1996-04-26 | 1996-04-26 | 動きベクトル探索方法 |
EP19960306812 EP0804034B1 (en) | 1996-04-26 | 1996-09-19 | Method and device for detecting motion vectors |
US08/716,877 US5894526A (en) | 1996-04-26 | 1996-09-20 | Method and device for detecting motion vectors |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10657796A JP3876392B2 (ja) | 1996-04-26 | 1996-04-26 | 動きベクトル探索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09294266A true JPH09294266A (ja) | 1997-11-11 |
JP3876392B2 JP3876392B2 (ja) | 2007-01-31 |
Family
ID=14437090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10657796A Expired - Fee Related JP3876392B2 (ja) | 1996-04-26 | 1996-04-26 | 動きベクトル探索方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5894526A (ja) |
EP (1) | EP0804034B1 (ja) |
JP (1) | JP3876392B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6594314B1 (en) | 1998-10-22 | 2003-07-15 | Sony Corporation | Motion vector detection method and apparatus |
US6611558B1 (en) | 1999-10-26 | 2003-08-26 | Nec Corporation | Method and apparatus for coding moving picture |
US6950465B1 (en) | 1999-05-18 | 2005-09-27 | Nec Corporation | Video coding by adaptively controlling the interval between successive predictive-coded frames according to magnitude of motion |
JP2017118459A (ja) * | 2015-12-25 | 2017-06-29 | 日本電信電話株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3930935B2 (ja) * | 1997-02-28 | 2007-06-13 | 三菱電機株式会社 | 画像処理装置 |
JPH10262258A (ja) * | 1997-03-19 | 1998-09-29 | Sony Corp | 画像符号化装置及び方法 |
JP3604864B2 (ja) * | 1997-04-25 | 2004-12-22 | シャープ株式会社 | 動画像符号化装置 |
JPH10336668A (ja) * | 1997-06-02 | 1998-12-18 | Sharp Corp | 動きベクトル検出装置 |
JP3185763B2 (ja) * | 1998-07-13 | 2001-07-11 | 日本電気株式会社 | 動画像符号化装置 |
US6573905B1 (en) * | 1999-11-09 | 2003-06-03 | Broadcom Corporation | Video and graphics system with parallel processing of graphics windows |
US6661422B1 (en) * | 1998-11-09 | 2003-12-09 | Broadcom Corporation | Video and graphics system with MPEG specific data transfer commands |
US6636222B1 (en) * | 1999-11-09 | 2003-10-21 | Broadcom Corporation | Video and graphics system with an MPEG video decoder for concurrent multi-row decoding |
US6570579B1 (en) * | 1998-11-09 | 2003-05-27 | Broadcom Corporation | Graphics display system |
US7982740B2 (en) | 1998-11-09 | 2011-07-19 | Broadcom Corporation | Low resolution graphics mode support using window descriptors |
US6853385B1 (en) * | 1999-11-09 | 2005-02-08 | Broadcom Corporation | Video, audio and graphics decode, composite and display system |
US6768774B1 (en) * | 1998-11-09 | 2004-07-27 | Broadcom Corporation | Video and graphics system with video scaling |
US6621936B1 (en) | 1999-02-12 | 2003-09-16 | Sony Corporation | Method and apparatus for spatial class reduction |
US6418548B1 (en) | 1999-02-12 | 2002-07-09 | Sony Corporation | Method and apparatus for preprocessing for peripheral erroneous data |
US6519369B1 (en) | 1999-02-12 | 2003-02-11 | Sony Corporation | Method and apparatus for filter tap expansion |
US6591398B1 (en) | 1999-02-12 | 2003-07-08 | Sony Corporation | Multiple processing system |
US6522785B1 (en) | 1999-09-24 | 2003-02-18 | Sony Corporation | Classified adaptive error recovery method and apparatus |
US6754371B1 (en) * | 1999-12-07 | 2004-06-22 | Sony Corporation | Method and apparatus for past and future motion classification |
JP2002084544A (ja) * | 2000-09-06 | 2002-03-22 | Mitsubishi Electric Corp | 動画像符号化装置および動画像符号化方法 |
US20020039138A1 (en) * | 2000-09-29 | 2002-04-04 | Edelson Steven D. | Method and apparatus for automatically adjusting video panning and zoom rates |
EP1202579A1 (en) * | 2000-10-31 | 2002-05-02 | Interuniversitair Microelektronica Centrum Vzw | A method and apparatus for adaptive encoding framed data sequences |
US7616690B2 (en) | 2000-10-31 | 2009-11-10 | Imec | Method and apparatus for adaptive encoding framed data sequences |
EP1204279A3 (en) * | 2000-10-31 | 2002-05-15 | Interuniversitair Microelektronica Centrum Vzw | A method and apparatus for adaptive encoding framed data sequences |
US6700934B2 (en) | 2001-03-14 | 2004-03-02 | Redrock Semiconductor, Ltd. | Error detection using a maximum distance among four block-motion-vectors in a macroblock in a corrupted MPEG-4 bitstream |
US6925125B2 (en) * | 2002-01-09 | 2005-08-02 | Hiroshi Akimoto | Enhanced aperture problem solving method using displaced center quadtree adaptive partitioning |
US7088773B2 (en) * | 2002-01-17 | 2006-08-08 | Sony Corporation | Motion segmentation system with multi-frame hypothesis tracking |
US7929604B2 (en) * | 2002-08-05 | 2011-04-19 | Panasonic Corporation | Data processing device and data processing method |
US20040091047A1 (en) * | 2002-11-11 | 2004-05-13 | Sony Corporation | Method and apparatus for nonlinear multiple motion model and moving boundary extraction |
JP2004179687A (ja) * | 2002-11-22 | 2004-06-24 | Toshiba Corp | 動画像符号化/復号化方法及び装置 |
US8063916B2 (en) | 2003-10-22 | 2011-11-22 | Broadcom Corporation | Graphics layer reduction for video composition |
CN100373952C (zh) * | 2004-06-15 | 2008-03-05 | 中兴通讯股份有限公司 | 一种基于mpeg-4的视频对象快速运动估值方法 |
US9319708B2 (en) * | 2006-06-16 | 2016-04-19 | Via Technologies, Inc. | Systems and methods of improved motion estimation using a graphics processing unit |
TWI444047B (zh) * | 2006-06-16 | 2014-07-01 | Via Tech Inc | 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元 |
US8275049B2 (en) * | 2006-06-16 | 2012-09-25 | Via Technologies, Inc. | Systems and methods of improved motion estimation using a graphics processing unit |
TW201121335A (en) * | 2009-12-02 | 2011-06-16 | Sunplus Core Technology Co Ltd | Method and apparatus for adaptively determining compression modes to compress frames |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2648254B2 (fr) * | 1988-09-23 | 1991-08-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
US5467136A (en) * | 1991-05-31 | 1995-11-14 | Kabushiki Kaisha Toshiba | Video decoder for determining a motion vector from a scaled vector and a difference vector |
CA2079434A1 (en) * | 1991-09-30 | 1993-03-31 | Derek Andrew | Motion vector estimation, motion picture encoding and storage |
JPH0595540A (ja) * | 1991-09-30 | 1993-04-16 | Sony Corp | 動画像符号化装置 |
JPH06153146A (ja) * | 1992-11-04 | 1994-05-31 | Matsushita Electric Ind Co Ltd | 動画像のシーンチェンジ検出装置および編集装置 |
KR0128860B1 (ko) * | 1993-07-16 | 1998-04-10 | 배순훈 | 저비트율의 영상전화 시스템의 부호화장치 |
US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
JPH0846969A (ja) * | 1994-07-26 | 1996-02-16 | Mitsubishi Electric Corp | 映像信号符号化方式 |
US5650829A (en) * | 1994-04-21 | 1997-07-22 | Sanyo Electric Co., Ltd. | Motion video coding systems with motion vector detection |
KR0171145B1 (ko) * | 1995-03-20 | 1999-03-20 | 배순훈 | 이미지 부호화 시스템용 움직임 보상 장치 |
-
1996
- 1996-04-26 JP JP10657796A patent/JP3876392B2/ja not_active Expired - Fee Related
- 1996-09-19 EP EP19960306812 patent/EP0804034B1/en not_active Expired - Lifetime
- 1996-09-20 US US08/716,877 patent/US5894526A/en not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6594314B1 (en) | 1998-10-22 | 2003-07-15 | Sony Corporation | Motion vector detection method and apparatus |
US6950465B1 (en) | 1999-05-18 | 2005-09-27 | Nec Corporation | Video coding by adaptively controlling the interval between successive predictive-coded frames according to magnitude of motion |
US6611558B1 (en) | 1999-10-26 | 2003-08-26 | Nec Corporation | Method and apparatus for coding moving picture |
JP2017118459A (ja) * | 2015-12-25 | 2017-06-29 | 日本電信電話株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
Also Published As
Publication number | Publication date |
---|---|
US5894526A (en) | 1999-04-13 |
EP0804034B1 (en) | 2002-01-23 |
EP0804034A3 (en) | 1998-05-20 |
JP3876392B2 (ja) | 2007-01-31 |
EP0804034A2 (en) | 1997-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH09294266A (ja) | 動きベクトル探索方法 | |
JP4536325B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
US6542642B2 (en) | Image coding process and motion detecting process using bidirectional prediction | |
JPH07162869A (ja) | 動画像符号化装置 | |
JP2004166183A (ja) | 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法 | |
JP2011199362A (ja) | 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法 | |
JP2008227670A (ja) | 画像符号化装置 | |
JP3531532B2 (ja) | 動画像符号化装置、及び方法 | |
JP3866624B2 (ja) | 動画像符号化方法,動画像復号方法,動画像符号化装置および動画像復号装置 | |
JP4257789B2 (ja) | 動画像符号化装置 | |
JPH0923422A (ja) | 画像符号化復号化方法 | |
JP2001128179A (ja) | 動画像符号化装置および方法 | |
JP2001036908A (ja) | 動画像圧縮装置 | |
JP2002335529A (ja) | 動画像符号化方法および装置 | |
WO2006072993A1 (ja) | 圧縮符号化装置、伸張復号化装置 | |
JP4429996B2 (ja) | 動画像符号化プログラム、動画像符号化方法および動画像符号化装置 | |
WO2006072992A1 (ja) | 圧縮符号化装置、伸張復号化装置 | |
JP3947316B2 (ja) | 動きベクトル検出装置及びこれを用いた動画像符号化装置 | |
JP2000261809A (ja) | 画像特徴に応じた画像符号化装置 | |
JP4676513B2 (ja) | 符号化ピクチャタイプ決定方法,装置,そのプログラムおよびその記録媒体 | |
JP3690259B2 (ja) | 動画像高速符号化装置及び動画像高速符号化方法 | |
JP2006197006A (ja) | 動画像符号化装置 | |
JP4003149B2 (ja) | 画像符号化装置及びその方法 | |
JPH10191347A (ja) | 動き検出装置、動き検出方法、及び、記憶媒体 | |
JP3277116B2 (ja) | 動画像符号化装置および動画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061019 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |