JP3876392B2 - 動きベクトル探索方法 - Google Patents
動きベクトル探索方法 Download PDFInfo
- Publication number
- JP3876392B2 JP3876392B2 JP10657796A JP10657796A JP3876392B2 JP 3876392 B2 JP3876392 B2 JP 3876392B2 JP 10657796 A JP10657796 A JP 10657796A JP 10657796 A JP10657796 A JP 10657796A JP 3876392 B2 JP3876392 B2 JP 3876392B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- prediction
- motion vector
- frames
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像情報のフレーム間予測符号化方式に於ける動きベクトル探索方法に関する。
画像情報の圧縮符号化方式として、例えば、国際標準化されたＨ．２６１，Ｈ．２６２，ＭＰＥＧ１（Ｍoving Ｐicture Ｅxperts Ｇroup １），ＭＰＥＧ２（Ｍoving Ｐicture Ｅxperts Ｇroup ２）等が知られている。これらの圧縮符号化方式は、ＤＣＴ（Ｄiscrete Ｃosine Ｔransform；離散コサイン変換）や動き補償フレーム間予測等の処理を含むものであり、更に効率良く圧縮率を高くすることが要望されている。
【０００２】
【従来の技術】
画像情報の圧縮符号化方式に於いて、時間軸方向の冗長性を利用して圧縮する方式としてフレーム間予測符号化方式があり、前述のＭＰＥＧ１，ＭＰＥＧ２に於いては、前方予測と両方向予測との両方を利用できるものである。前方予測は、過去のフレームと現在のフレームとの間の動きを検出し、過去のフレームから現在のフレームを生成するものであり、図１０はこの前方予測の説明図である。
【０００３】
即ち、前方予測を行う現在のフレームと、参照フレーム（過去のフレーム）との間の動きベクトル探索範囲内の動きを検出し、動きのない部分は動きベクトル零とし、動きのある部分はその動きに対応した動きベクトルとして符号化するものである。従って、動きベクトル探索範囲を広くすると、大きな動きが存在する場合でも、圧縮効率を高くすることができる。しかし、その反面、範囲が広いから処理時間が長くなる。
【０００４】
又両方向予測は、過去のフレームと未来のフレームとの両方から現在のフレームを生成するものであり、例えば、図１１に示すように、両方向予測を行う現在のフレームを、未来の後方参照フレームと過去の前方参照フレームとを用いて、後方動きベクトルと前方動きベクトルとを求めて符号化するものである。動きベクトル探索範囲を同一とすると、前方予測に対して両方向予測の方が予測効率が高いことになるが、処理量が２倍以上となるから、一般的には前方予測に対して両方向予測の場合の動きベクトル探索範囲は半分程度に縮小することになる。
【０００５】
前述の前方予測による符号化の画像をＰピクチャ（Ｐredictive −Ｐicture）、両方向予測による符号化の画像をＢピクチャ（Ｂidrectionaly Ｐredictive −Ｐicture）、フレーム内符号化の画像をＩピクチャ（Ｉntra−Ｐicture）とすると、前述のＭＰＥＧ１及びＭＰＥＧ２に於いては、ＩＢＢＰＢＢＰＢＢＰ・・・ＩＢＢＰＢＢＰＢＢＰ・・・のように、フレーム内符号化と前方予測による符号化と両方向予測による符号化とを組合せて符号化を行うものである。
【０００６】
【発明が解決しようとする課題】
従来例の画像情報のフレーム間予測符号化方式に於いては、動きベクトル探索を行うフレーム間距離を固定しているものである。その為に、例えば、前方予測を行うフレーム間距離が短く、且つ相対的な動きベクトル探索範囲が広くなっている状態では、画面内の動きが小さい場合に、その動きの範囲を越える分についての動きベクトル探索処理は無駄となる。又両方向予測フレーム数も固定されているが、例えば、このフレーム数を増加すると、動きの大きい画像の場合、前方予測を行う際の動きベクトル探索範囲が不足する状態が生じる可能性があり、その場合には予測効率が低下する問題がある。
本発明は、画像の性質に対応して動きベクトル探索を行うフレーム間距離を最適化して、予測効率の向上を図ることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の動きベクトル探索方法は、（１）前方予測と両方向予測とを併用するフレーム間動き補償予測による画像情報の予測符号化に於いて、前方予測フレームで求めた動きベクトルを、フレーム間距離を増加させたと仮定した場合のフレームにスケールアップして、前方予測を行うフレーム間距離を増加させても動きベクトル探索範囲が充分に確保できるか否かを判定し、該判定結果により、前方予測を行うフレームの距離を増減する過程を含むものである。従って、動きの小さい画像の場合は、前方予測を行うフレーム間距離を増加して、予測効率の良い両方向予測を行うフレームの割合を増加することができる。
【０００８】
又（２）現在のフレームＰＮでＮフレーム前の参照フレームから前方予測を行う時に、この参照フレームからＭ（＞Ｎ）フレーム離れたフレームＰＭの動きベクトルの水平又は垂直方向の探索可能範囲をｘｌＭ＜ｘ＜ｘｕＭとした時に、フレームＰＮ内で検出される動きベクトルの水平成分又は垂直成分ｘが、
〔（Ｎ・ｘｌＭ）／Ｍ〕＜ｘ＜〔（Ｎ・ｘｕＭ）／Ｍ〕
の範囲であるものの割合が一定値を越えている場合に、現在のフレームＰＮ以降のフレームの前方予測を行うフレーム間距離を、Ｍフレームに変更する過程を含むものである。即ち、フレーム間距離の増加数をａとすると、動きベクトルの水平又は垂直成分ｘが前記条件の範囲内である割合が一定値を越えている場合に、Ｍ＝Ｎ＋ａとすることができる。
【０００９】
又（３）前方予測と両方向予測とを併用するフレーム間動き補償予測による画像情報の予測符号化に於いて、前方予測フレームで求めた動きベクトルを、フレーム間距離を増加させたと仮定した場合の両方向予測フレームに対して、フレーム間距離に対応してスケールアップ或いはスケールダウンし、両方向予測を行うフレーム間距離を増加させても動きベクトル探索範囲が充分に確保できるか否かを判定し、この判定結果により、両方向予測フレーム数を増減する過程を含むものである。即ち、前方予測フレームで求めた動きベクトルを基に、両方向予測フレーム数の増減の制御を行うことができる。
【００１０】
又（４）参照フレームからｎフレーム後の両方向予測フレームについて、参照フレームからＮフレーム後の前方予測フレームに於いて検出した動きベクトルの水平又は垂直成分をｘとし、参照フレームからＭフレーム後の前方予測を行う予定のフレームの動きベクトルの水平又は垂直方向の探索可能範囲を、ｘnlb ＜ｘ＜ｘnub とした時、
〔（Ｎ・ｘnlb ）／（Ｍ−ｎ）〕＜ｘ＜〔（Ｎ・ｘnub ）／（Ｍ−ｎ）〕
の範囲であるものの割合が一定値を越えている場合に、以降のフレームの前方予測を行うフレーム間距離をＭとする過程を含むものである。即ち、前方予測フレームに於いて検出した動きベクトルを基に、両方向予測を行うフレームについての前方予測フレーム間距離を増減することができる。
【００１１】
又（５）前方予測と両方向予測とを併用するフレーム間動き補償予測による画像情報の予測符号化に於いて、両方向予測で求めた動きベクトルをフレーム間距離を増加させたと仮定した場合の前方予測フレームに対してフレーム間距離に応じてスケールアップし、両方向予測フレーム数を増加させても動きベクトル探索範囲を充分に確保できるか否かを判定し、この判定結果により、前方予測を行うフレーム間距離及び両方向予測フレーム数を増減する過程を含むことができる。即ち、両方向予測フレームで求めた動きベクトルを基に、両方向フレーム数の増減の制御を行うことができる。
【００１２】
又（６）参照フレームからｎフレーム後の両方向予測フレームに於いて、参照フレームからＮフレーム後のフレームを後方参照フレームとして検出した動きフレームの水平又は垂直成分をｘとし、参照フレームからＮフレーム後のフレームに於ける動きベクトルの水平又は垂直の探索可能範囲をｘnlb ＜ｘ＜ｘnub とした時、
の範囲であるものの割合が一定値を越えている場合に、以降のフレームの前方予測を行うフレーム間距離をＭとする過程を含むことができる。
【００１３】
又（７）前方予測フレームの予測結果と、前方予測フレームとの差分を求め、この差分が一定値を越えた場合に、前方予測フレームと参照フレームとのフレーム間距離を短縮させる過程を含むことができる。即ち、前記差分が一定値を越える場合は、動きベクトルの探索範囲が不足している可能性が高い為、フレーム間距離を短縮する。
【００１４】
又（８）両方向予測フレームの予測結果と、両方向予測フレームとの差分を求め、この差分が一定値を越えた場合に、前方予測フレームと参照フレームとのフレーム間距離を短縮させる過程を含むことができる。この場合も、前記差分が一定値を越える場合は、動きベクトルの探索範囲が不足している可能性が高い為、フレーム間距離を短縮する。
【００１５】
又（９）参照フレームと予測対象のフレームとのフレーム間差分が一定値を越えた場合に、フレーム間距離の制御を行わないようにすることができる。前方予測フレームと前方参照フレームとの間のフレーム間差分、又は後方予測フレームと後方参照フレームとの間のフレーム間差分が一定値を越えた時は、シーンチェンジ等の場合であるから、フレーム間距離を変更しないようにする。
【００１６】
又（１０）前方予測を行うフレーム間距離を、フレーム間距離としてとり得る最大値から動きベクトル探索処理を開始することができる。それにより、連続してフレームの処理が可能となる。
【００１７】
【発明の実施の形態】
図１は本発明の第１の実施の形態の説明図であり、Ｏ，Ｆ1 〜Ｆ6 は時間的に連続しているフレームを示し、フレームＦ2 を現在参照（基準）フレームＯを参照して前方予測を行うフレームとすると、フレームＦ1 は、フレームＯ，Ｆ2 を参照フレームとして両方向予測を行うフレームとなる。又フレームＦ2 の動きベクトル探索を開始する時点では、フレームＦ4 はフレームＦ2 を参照フレームとして前方予測を行うフレームとなり、フレームＦ3 は、フレームＦ2 ，Ｆ4 を参照フレームとして両方向予測を行うフレームとなる。又フレームＦ6 はフレームＦ4 を参照フレームとして前方予測を行うフレームとなり、フレームＦ5 はフレームＦ4 ，Ｆ6 を参照フレームとして両方向予測を行うフレームとなる。
【００１８】
予測効率を低下させない条件で、現在は両方向予測を行う予定であるフレームＦ5 について、フレームＦ2 を参照フレームとした前方予測を行うように変更するものとする（この変更が可能の場合は、フレームＦ4 については、フレームＦ2 ，Ｆ5 を参照フレームとして両方向予測を行うことになる）。動画像に於いては、連続する短時間内のフレーム間の動きの大きさの変化は少ない性質を有するものであり、従って、フレームＦ5 ，Ｆ2 間と、フレームＦ3 ，Ｏ間で検出される動きベクトルの性質はほぼ似ていると考えることができる。そこで、フレームＦ5 ，Ｆ2 間で動きベクトル探索範囲が充分であるか否かの検証をフレームＦ3 ，Ｏ間に置き換えて調べる。
【００１９】
このフレームＦ3 からフレームＯに対して前方予測を行う際の水平方向又は垂直方向の動きベクトル探索範囲を、動きベクトルの水平又は垂直成分をｘとすると、ｘl3＜ｘ＜ｘu3とし、短時間で画面内の動きの速度が急激に変化しないと仮定すると、フレームＦ3 の動きベクトル探索範囲が充分である為には、フレームＦ2 で検出される動きベクトルの水平又は垂直成分ｘは、ｘl2＜ｘ＜ｘu2の範囲内であることが必要となる。
【００２０】
ここで、２フレーム離れたフレーム間距離の関係から、ｘu2＝ｘu3×（２／３），ｘl2＝ｘl3×（２／３）となる。即ち、フレームＦ2 に於いては、フレームＯに対して動きベクトル探索を行った段階で検出された動きベクトルの水平又は垂直成分ｘが、現在前方予測を行っているフレームＦ2 から参照（基準）フレームＯに対して斜線を施して示す範囲のｘl2＜ｘ＜ｘu2の関係となるものが一定の割合を超えている場合、それに比例して、フレームＦ3 ，Ｏ間の動きベクトル探索範囲は、点線で示す範囲となり、この動きベクトル探索範囲は充分と見做すことができる。このように、探索範囲が充分と見做すことができる場合は、フレームＦ5 ，Ｆ2 間の探索範囲も充分であると推測して、フレームＦ5 についてフレームＦ2 を参照フレームとして前方予測を行うように変更するものである。
【００２１】
又前記条件を満たさない場合として、
（Ａ）現状の動きベクトル探索範囲が適切である場合、
（Ｂ）現状の動きベクトル探索範囲が不足している場合、
の二通りがある。（Ａ）の場合は現状を維持すれば良いことになるが、（Ｂ）の場合は、動きベクトル探索範囲を拡大しなければ予測効率が低下する。この場合の（Ａ），（Ｂ）の区別は、例えば、動きベクトルを用いて生成した予測画像と原画像との差分累積値を求めることにより判断することができる。
【００２２】
又動きベクトル探索範囲が不足していると判断された場合は、前方予測を行うフレーム間距離を短縮し、フレームＦ3 ，Ｆ2 間で前方予測を行うことにより、動きベクトル探索範囲を確保することができる。又動きベクトル探索範囲の不足が認められない場合は、予定通り２フレーム離れたフレームＦ4 ，Ｆ2 間で前方予測を行う。
【００２３】
前述のように、フレームＦ2 に於いて、フレームＯに対して動きベクトル探索を行った段階で、フレームＦ5 ，Ｆ2 間、フレームＦ4 ，Ｆ2 間、フレームＦ3 ，Ｆ2 間のうちの何れの前方予測を行うべきかを判断することがきる。又この場合に、フレームＦ2 の動きベクトル探索範囲が不足している場合、或いはシーンチェンジが発生した場合は、前述の選択の判断は意味を持たなくなる。そこで、並行して、フレームＦ2 ，Ｏ間の動きベクトル探索範囲結果の信頼性を調べる為に、フレームＦ2 ，Ｏの対応する位置の画素値の差分累積和を求めて、これが或る一定値を越えた場合は、フレーム間距離の変更は行わないように制御する。
【００２４】
図２は本発明の実施の形態の前方予測の説明図であり、一般化して示すもので、Ｎ，Ｍを整数とし、基準フレームＯからＮフレーム離れたフレームＦN と、Ｍフレーム離れたフレームＦM とについて、フレームＰN で、Ｎフレーム前のフレームＯを参照フレームとして前方予測を行っているとすると、Ｍフレーム前のフレームＯを参照フレームとしてフレームＰM の位置で動きベクトル探索範囲を確保できるか否かを、フレームＰN に於ける動きベクトル探索結果から判断する。
【００２５】
即ち、急激な動きの変化が少ないと仮定すると、前方予測をフレームＰM の位置で行う為には、フレームＰN の段階で検出される動きベクトルの水平又は垂直成分ｘが、
〔（Ｎ・ｘlM）／Ｍ〕＜ｘ＜〔（Ｎ・ｘuM）／Ｍ〕
の関係の範囲に収まっている必要がある。ここで、ｘlM，ｘuMは、フレームＦM に於けるフレームＯに対する動きベクトル探索範囲の水平方向又は垂直方向の下限，上限を示す。
【００２６】
又画面が急激に変化しないと仮定すると、基準フレームＯからＮフレーム離れたフレームＦN に於いて検出した動きベクトルが、前述の条件を満たすものが一定の割合を超えていれば、フレームＭ（＞Ｎ）離れたフレームＦM の位置から基準フレームＯを用いて前方予測を行うことができる。それによって予測効率を向上することができる。
【００２７】
図３は本発明の実施の形態のフローチャートであり、参照フレームをＯ、前方予測フレーム間距離Ｎ＝２、拡張フレーム間距離ａ＝１とし（ａ）、フレームＦ2 ，Ｏ間で動きベクトル探索を行う（ｂ）。そして、現在前方予測を行っているフレームＦ2 と参照フレームＯとの間で対応する画素同士の差分累積和Ｅを求めて、この差分累積和Ｅが一定値を越えたか否かを判定する（ｃ）。この場合の差分累積和は差分絶対値についての累積和とする。
【００２８】
差分累積和Ｅが一定値を越えた場合は、シーンチェンジ等の場合であり、フレーム間距離をＮ（＝２）のままとする（ｇ）。又差分累積和Ｅが一定値を越えない場合は、フレームＦ2 ，Ｏ間の動きベクトルの水平又は垂直成分ｘが、
の範囲内に入っている割合を求める（ｄ）。
【００２９】
この場合の割合が一定値以上か否かを判定し（ｅ）、一定値以上の場合は、それ以降の前方予測を行うフレーム間距離をＮ＋ａに拡張する（ｆ）〔ステップ（ａ）の条件では、２＋１＝３となる〕。又割合が一定値以上でない場合は、フレームＦ2 の前方予測結果とフレームＯの対応する画素の差分累積和が一定値を越えているか否かを判定し（ｈ）、越えている場合は、それ以降の前方予測を行うフレーム間距離をＮ−１に短縮する（ｉ）〔ステップ（ａ）の条件では、２−１＝１となる〕。又越えていない場合は、それ以降の前方予測を行うフレーム間距離をＮ（＝２）のままとする（ｇ）。
【００３０】
従って、前方予測フレームで求めた動きベクトルを基に、フレーム間距離を増加したと仮定した場合に、動きベクトル探索範囲が充分に確保できるか否かを判定し、前方予測のフレーム間距離Ｎを増減させることができ、入力画像情報の性質に対応したフレーム間予測符号化を行うことができる。
【００３１】
図４は本発明の実施の形態の両方向予測の説明図であり、図２と同様に、Ｎ，Ｍを整数とし、フレームＰN に於いてＮフレーム前の基準フレームＯを参照フレームとして前方予測を行っているとすると、この前方予測をＭフレーム離れたフレームＰM から行っても両方向予測フレームの後方動きベクトル探索範囲を確保できるか否かを、現在のフレームＰN に於ける動きベクトル探索結果から推定する。
【００３２】
即ち、急激な動きの変化が少ないと仮定すると、現在両方向予測を行っているフレームＢn の後方予測を、フレームＰM に対して行う為には、拡張前の時点で、フレームＰN のフレームＯに対して検出される動きベクトルの水平又は垂直成分ｘが、
の範囲に収まっている必要がある。ここで、ｘnlb ，ｘnub は、それぞれフレームＢn のフレームＰM に対する後方動きベクトル探索範囲の水平方向又は垂直方向の下限，上限を示す。
【００３３】
画面の動きが急激に変化しないと仮定すると、前述の条件を満足した直後のフレーム群については、参照フレームに対する前方予測フレームの相対位置を、フレームＰM に変更しても、任意のフレームＢn に於ける後方動きベクトル探索範囲を確保できることになる。実際には、現在前方予測を行っているフレームＰN に於いて検出した動きベクトルが、前述の（２）式の条件を満たすものが一定の割合を越えていれば、基準フレームＯからＭフレーム後のフレームＰM の位置からの前方予測が可能であると判断することにより、現在両方向予測を行っているフレームＢn からフレームＰM に対して後方予測が可能であると判断する。
【００３４】
従って、前方予測フレームで求めた動きベクトルを基に、フレーム間距離を増加したと仮定した場合の両方向予測フレームの数を増加しても、両方向予測に於ける動きベクトル探索範囲が充分に確保できるか否かを判定し、それにより、前方予測を行うフレーム間距離及び両方向予測フレームの数を増減させることができる。
【００３５】
図５は本発明の実施の形態の両方向予測フレームの動きベクトル探索結果と両方向予測フレームの探索範囲の説明図であり、図２及び図４と同様に、Ｎ，Ｍを整数とし、現在フレームＰN でＮフレーム前の基準フレーム（参照フレーム）Ｏから前方予測を行っているとすると、この前方予測をＭフレーム離れたフレームＰM の位置から行っても探索範囲を確保できるか否かを、現在のフレームＰN に於ける動きベクトル探索結果から判定する。
【００３６】
即ち、急激な動きの変化が少ないと仮定すると、現在両方向予測を行うフレームＢn の後方予測をフレームＰM に対して行う為には、拡張前の時点でフレームＢn に於いてフレームＰN に対して検出される動きベクトルの水平又は垂直成分ｘが、
の範囲に収まっている必要がある。ここで、ｘnlb ，ｘnub は、それぞれフレームＢn のフレームＰM に対する後方の動きベクトル探索範囲の水平方向又は垂直方向の下限，上限を示す。
【００３７】
画面の性質が急激に変化しないと仮定すると、この条件を満たした直後のフレーム群については、参照フレームに対する前方予測フレームの相対的位置をフレームＰM に変更しても、任意のフレームＢn に於ける後方の動きベクトル探索範囲を確保できる。実際には、フレームＢn に於いて検出した動きベクトルについて、前述の条件を満たすものが一定の割合を越えていれば、フレームＰM の位置から前方予測が可能であると判断する。
【００３８】
前述のように、両方向予測フレームに於いて求めた動きベクトルを基に、フレーム間距離を増加したと仮定し、両方向予測を行うフレーム数を増加させても動きベクトル探索範囲を充分に確保できるか否かを判定して、前方予測を行うフレーム間距離及び両方向予測フレームの数を増減させるものである。
【００３９】
図６は本発明の実施の形態の要部機能ブロック図であり、１は動き検出部、２はフレームメモリ、３は第１の演算部、４はＤＣＴ（Ｄiscrete Ｃosie Ｔransform；離散コサイン変換）部、５は量子化部、６は可変長符号化部、７は逆量子化部、８は逆ＤＣＴ部、９は第２の演算部、１０はフレームメモリ、１１はローカルデコード部、１２は統計値算出部、１３はピクチャタイプ変更パターン決定部、１４はピクチャタイプ決定部、１５はピクチャタイプ制御部である。
【００４０】
動き検出部１により動きベクトルを検出する場合のフレーム間距離を可変とする為に複数バンク構成のフレームメモリ２を備えている。又ローカルデコーダ１１のフレームメモリ１０は、前方参照用と後方参照用との２バンク構成を有するものである。又第１，第２の演算部３，９は、フレーム内符号化を行う時、スルー状態に制御され、フレーム間符号化を行う時に、第１の演算部３は減算器、第２の演算部９は加算器として機能する。
【００４１】
動き検出部１により検出した動きベクトルをピクチャタイプ制御部１５の統計値算出部１２により動きベクトルの大きさの統計値を求め、その統計値によりピクチャタイプ変更パターン決定部１３は、予測可能のフレーム間距離を求めて、ピクチャタイプ変更パターンを決定し、ピクチャタイプ決定部１４に通知する。このピクチャタイプ決定部１４は、ピクチャタイプ変更パターンに従って、予測可能フレーム間距離に対応してフレームメモリ２のバンク管理を行い、且つピクチャタイプに対応して各部を制御する。
【００４２】
例えば、Ｉピクチャの場合は、第１，第２の演算部３，９はスルー状態に制御されて、入力画像情報は、ＤＣＴ部４と量子化部５と可変長符号化部６とを介してフレーム内符号化されて送出され、又逆量子化部７と逆ＤＣＴ部８とにより復号化されてフレームメモリ１０に蓄積される。
【００４３】
又Ｐピクチャの場合は、動き検出部１は、前方予測のフレーム数に従ったフレーム数前の入力画像情報をフレームメモリ２から読出して、現入力画像情報とを動きベクトル探索範囲について比較して動きベクトルを求める。又第１の演算部３は減算器として、又第２の演算部９は加算器として機能するように制御され、フレーム間符号化が行われて送出され、又第２の演算部９により復元された画像情報がフレームメモリ１０に蓄積される。
【００４４】
又Ｂピクチャの場合は、ピクチャタイプ決定部１４により、Ｉピクチャ又はＰピクチャとＰピクチャとの間のＢピクチャの数が決まり、それに対応してフレームメモリ２が制御され、動き検出部１は、前方予測と後方予測とによる動きベクトルを探索する。又第１，第２の演算部３，９はＰピクチャの場合と同様に制御され、フレーム間符号化が行われて送出される。又フレームメモリ１０は、前方予測用と後方予測用と両バンクを用いるものである。又図示を省略しているが、ピクチャタイプやフレーム間距離等の補助情報を送出する構成を備えているものである。
【００４５】
又本発明は前述の各実施の形態にのみ限定されるものではなく、種々付加変更することができるものであり、例えば、参照フレームと予測対象フレーム（前方予測フレーム又は両方向予測フレーム）とのフレーム間差分を求め、その差分の絶対値和を求め、この値と予め設定した一定値とを比較し、この値が一定値を越えている場合は、フレーム間距離の制御を行わないように、ピクチャタイプ決定部１４等が制御するように構成することができる。
【００４６】
又前方予測フレームとその予測結果との差分の絶対値和或いは両方向予測フレームとその予測結果との差分の絶対値和を求め、この値と予め設定した一定値とを比較し、この値が一定値を越えている場合は、参照フレームと予測対象フレームとの間のフレーム間距離を短縮するように制御する。従って、動きベクトル探索範囲を確保できるようにフレーム間距離を小さくすることができる。
【００４７】
又フレーム間制御に於いては、フレーム間距離を、装置に於いて取り得る最大値から処理を開始することができる。例えば、前方予測フレーム間距離をＭとし、この前方予測フレーム間距離Ｍの取り得る最大値を３とし、６フレーム単位で前方予測フレーム間距離Ｍの切替えを行う場合の初期値Ｍ＝１及びＭ＝２とした場合について、図７を参照して説明する。
【００４８】
図７に於いて、ａは入力画面のＩ，Ｐ，Ｂピクチャ、ｂは動きベクトル探索画面のＩ，Ｐ，Ｂピクチャを示し、各ピクチャの数字はフレーム番号を示す。例えば、Ｉ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｂ６は、フレーム番号０のＩピクチャ、フレーム番号１〜５のＰピクチャ、フレーム番号６のＢピクチャを示す。又図７の（Ａ）は、Ｍ＝１の初期値からＭ＝２，Ｍ＝１にフレーム間距離を切替える場合を示し、又（Ｂ）はＭ＝１の初期値からＭ＝２，Ｍ＝３にフレーム間距離を切替える場合を示す。又動きベクトル探索画面ｂの×印は、動きベクトル探索画面が存在しないフレーム期間を示す。
【００４９】
初期値をＭ＝１として動きベクトル探索を開始する場合、（Ａ）に於いては、初期値を越えてＭ＝２に切替えた後に、×印で示すように、動きベクトル探索画面が存在しないフレーム期間が発生し、又（Ｂ）に於いては、初期値を越えてＭ＝２に切替えた後と、Ｍ＝３に切替えた後とに於いて、×印で示すように、動きベクトル探索画面が存在しないフレーム期間が発生する。
【００５０】
又図７の（Ｃ）は、Ｍ＝２の初期値から動きベクトル探索を開始した場合を示し、この場合も、初期値のＭ＝２を越えてＭ＝３に切替えた後に、×印で示すように、動きベクトル探索画面が存在しないフレーム期間が発生する。
【００５１】
これに対して、フレーム間距離Ｍを、動きベクトル探索の為に取り得る最大値のＭ＝３を初期とした場合、図８の（Ｄ），（Ｅ）又は図９の（Ｆ）に示すものとなる。各図に於いて図７と同一符号は同一内容を示し、図８の（Ｄ）は、Ｍ＝３→Ｍ＝２→Ｍ＝３→Ｍ＝２→Ｍ＝１の順にフレーム間距離Ｍが切替えられる場合を示し、図８の（Ｅ）は、Ｍ＝３→Ｍ＝２→Ｍ＝１→Ｍ＝２→Ｍ＝１→Ｍ＝２の順にフレーム間距離Ｍが切替えられる場合を示す。又図９の（Ｆ）は、Ｍ＝３→Ｍ＝２→Ｍ＝１→Ｍ＝２→Ｍ＝３→Ｍ＝２の順にフレーム間距離Ｍが切替えられる場合を示す。
【００５２】
フレーム間距離Ｍを、取り得る最大値を初期値としていることにより、動きベクトル探索開始可能時間が予め最大となり、図８及び図９に示すように、フレーム間距離Ｍが切替えられても、動きベクトル探索画面が存在しないようなフレーム期間が発生しない。なお、フレーム間距離Ｍを±１の変化とした場合を示すが、最大値のフレーム間距離Ｍを初期値とした場合は、フレーム間距離Ｍを±２の変化とした場合でも、動きベクトル探索画面が存在しないフレーム期間は発生しないものとなる。
【００５３】
このような処理可能のフレームが存在しない期間が発生しても、動きベクトル探索には本質的な影響はないが、実際の画像処理装置に於いては、動きベクトル探索画面が存在しないことによる処理の不連続は、安定動作上、望ましくないものである。従って、前述のように、フレーム間距離Ｍを取り得る最大値として動きベクトル探索を開始することによって、処理の連続性を保証することができる。又画像の性質が予め推測できる場合は、最も多く発生することが推測されるフレーム間距離を初期設定することもできる。
【００５４】
【発明の効果】
以上説明したように、本発明は、通常の動画像に於いては、短時間内のフレーム間の動きの大きさの変化が少ないという画像の性質を利用し、前方予測と両方向予測とを併用する符号化方式に於いて、探索済みの動きベクトルを基に、動きベクトル探索範囲が充分に確保できるフレーム間距離を求めるものであり、動きベクトルが小さい場合は、フレーム間距離を大きくしても、ハードウェアの処理能力等により定まる動きベクトル探索範囲を充分に確保できるから、フレーム間距離を増加して、予測効率の良い両方向予測を行うフレームの割合を増加できる利点がある。
【図面の簡単な説明】
【図１】本発明の実施の形態の説明図である。
【図２】本発明の実施の形態の前方予測の説明図である。
【図３】本発明の実施の形態のフローチャートである。
【図４】本発明の実施の形態の両方向予測の説明図である。
【図５】本発明の実施の形態の両方向予測フレームの動きベクトル探索結果と両方向予測フレームの探索範囲の説明図である。
【図６】本発明の実施の形態の要部機能ブロック図である。
【図７】前方予測フレーム間距離の説明図である。
【図８】前方予測フレーム間距離の説明図である。
【図９】前方予測フレーム間距離の説明図である。
【図１０】前方予測の説明図である。
【図１１】両方向予測の説明図である。
【符号の説明】
Ｏ 参照（基準）フレーム
Ｆ1 現在両方向予測を行っているフレーム
Ｆ2 現在前方予測を行っているフレーム
Ｆ3 現在両方向予測を行う予定のフレーム
Ｆ4 現在前方予測を行う予定で、両方向予測に変更したいフレーム
Ｆ5 フレームＦ2 からの前方予測に変更したいフレーム
【発明の属する技術分野】
本発明は、画像情報のフレーム間予測符号化方式に於ける動きベクトル探索方法に関する。
画像情報の圧縮符号化方式として、例えば、国際標準化されたＨ．２６１，Ｈ．２６２，ＭＰＥＧ１（Ｍoving Ｐicture Ｅxperts Ｇroup １），ＭＰＥＧ２（Ｍoving Ｐicture Ｅxperts Ｇroup ２）等が知られている。これらの圧縮符号化方式は、ＤＣＴ（Ｄiscrete Ｃosine Ｔransform；離散コサイン変換）や動き補償フレーム間予測等の処理を含むものであり、更に効率良く圧縮率を高くすることが要望されている。
【０００２】
【従来の技術】
画像情報の圧縮符号化方式に於いて、時間軸方向の冗長性を利用して圧縮する方式としてフレーム間予測符号化方式があり、前述のＭＰＥＧ１，ＭＰＥＧ２に於いては、前方予測と両方向予測との両方を利用できるものである。前方予測は、過去のフレームと現在のフレームとの間の動きを検出し、過去のフレームから現在のフレームを生成するものであり、図１０はこの前方予測の説明図である。
【０００３】
即ち、前方予測を行う現在のフレームと、参照フレーム（過去のフレーム）との間の動きベクトル探索範囲内の動きを検出し、動きのない部分は動きベクトル零とし、動きのある部分はその動きに対応した動きベクトルとして符号化するものである。従って、動きベクトル探索範囲を広くすると、大きな動きが存在する場合でも、圧縮効率を高くすることができる。しかし、その反面、範囲が広いから処理時間が長くなる。
【０００４】
又両方向予測は、過去のフレームと未来のフレームとの両方から現在のフレームを生成するものであり、例えば、図１１に示すように、両方向予測を行う現在のフレームを、未来の後方参照フレームと過去の前方参照フレームとを用いて、後方動きベクトルと前方動きベクトルとを求めて符号化するものである。動きベクトル探索範囲を同一とすると、前方予測に対して両方向予測の方が予測効率が高いことになるが、処理量が２倍以上となるから、一般的には前方予測に対して両方向予測の場合の動きベクトル探索範囲は半分程度に縮小することになる。
【０００５】
前述の前方予測による符号化の画像をＰピクチャ（Ｐredictive −Ｐicture）、両方向予測による符号化の画像をＢピクチャ（Ｂidrectionaly Ｐredictive −Ｐicture）、フレーム内符号化の画像をＩピクチャ（Ｉntra−Ｐicture）とすると、前述のＭＰＥＧ１及びＭＰＥＧ２に於いては、ＩＢＢＰＢＢＰＢＢＰ・・・ＩＢＢＰＢＢＰＢＢＰ・・・のように、フレーム内符号化と前方予測による符号化と両方向予測による符号化とを組合せて符号化を行うものである。
【０００６】
【発明が解決しようとする課題】
従来例の画像情報のフレーム間予測符号化方式に於いては、動きベクトル探索を行うフレーム間距離を固定しているものである。その為に、例えば、前方予測を行うフレーム間距離が短く、且つ相対的な動きベクトル探索範囲が広くなっている状態では、画面内の動きが小さい場合に、その動きの範囲を越える分についての動きベクトル探索処理は無駄となる。又両方向予測フレーム数も固定されているが、例えば、このフレーム数を増加すると、動きの大きい画像の場合、前方予測を行う際の動きベクトル探索範囲が不足する状態が生じる可能性があり、その場合には予測効率が低下する問題がある。
本発明は、画像の性質に対応して動きベクトル探索を行うフレーム間距離を最適化して、予測効率の向上を図ることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の動きベクトル探索方法は、（１）前方予測と両方向予測とを併用するフレーム間動き補償予測による画像情報の予測符号化に於いて、前方予測フレームで求めた動きベクトルを、フレーム間距離を増加させたと仮定した場合のフレームにスケールアップして、前方予測を行うフレーム間距離を増加させても動きベクトル探索範囲が充分に確保できるか否かを判定し、該判定結果により、前方予測を行うフレームの距離を増減する過程を含むものである。従って、動きの小さい画像の場合は、前方予測を行うフレーム間距離を増加して、予測効率の良い両方向予測を行うフレームの割合を増加することができる。
【０００８】
又（２）現在のフレームＰＮでＮフレーム前の参照フレームから前方予測を行う時に、この参照フレームからＭ（＞Ｎ）フレーム離れたフレームＰＭの動きベクトルの水平又は垂直方向の探索可能範囲をｘｌＭ＜ｘ＜ｘｕＭとした時に、フレームＰＮ内で検出される動きベクトルの水平成分又は垂直成分ｘが、
〔（Ｎ・ｘｌＭ）／Ｍ〕＜ｘ＜〔（Ｎ・ｘｕＭ）／Ｍ〕
の範囲であるものの割合が一定値を越えている場合に、現在のフレームＰＮ以降のフレームの前方予測を行うフレーム間距離を、Ｍフレームに変更する過程を含むものである。即ち、フレーム間距離の増加数をａとすると、動きベクトルの水平又は垂直成分ｘが前記条件の範囲内である割合が一定値を越えている場合に、Ｍ＝Ｎ＋ａとすることができる。
【０００９】
又（３）前方予測と両方向予測とを併用するフレーム間動き補償予測による画像情報の予測符号化に於いて、前方予測フレームで求めた動きベクトルを、フレーム間距離を増加させたと仮定した場合の両方向予測フレームに対して、フレーム間距離に対応してスケールアップ或いはスケールダウンし、両方向予測を行うフレーム間距離を増加させても動きベクトル探索範囲が充分に確保できるか否かを判定し、この判定結果により、両方向予測フレーム数を増減する過程を含むものである。即ち、前方予測フレームで求めた動きベクトルを基に、両方向予測フレーム数の増減の制御を行うことができる。
【００１０】
又（４）参照フレームからｎフレーム後の両方向予測フレームについて、参照フレームからＮフレーム後の前方予測フレームに於いて検出した動きベクトルの水平又は垂直成分をｘとし、参照フレームからＭフレーム後の前方予測を行う予定のフレームの動きベクトルの水平又は垂直方向の探索可能範囲を、ｘnlb ＜ｘ＜ｘnub とした時、
〔（Ｎ・ｘnlb ）／（Ｍ−ｎ）〕＜ｘ＜〔（Ｎ・ｘnub ）／（Ｍ−ｎ）〕
の範囲であるものの割合が一定値を越えている場合に、以降のフレームの前方予測を行うフレーム間距離をＭとする過程を含むものである。即ち、前方予測フレームに於いて検出した動きベクトルを基に、両方向予測を行うフレームについての前方予測フレーム間距離を増減することができる。
【００１１】
又（５）前方予測と両方向予測とを併用するフレーム間動き補償予測による画像情報の予測符号化に於いて、両方向予測で求めた動きベクトルをフレーム間距離を増加させたと仮定した場合の前方予測フレームに対してフレーム間距離に応じてスケールアップし、両方向予測フレーム数を増加させても動きベクトル探索範囲を充分に確保できるか否かを判定し、この判定結果により、前方予測を行うフレーム間距離及び両方向予測フレーム数を増減する過程を含むことができる。即ち、両方向予測フレームで求めた動きベクトルを基に、両方向フレーム数の増減の制御を行うことができる。
【００１２】
又（６）参照フレームからｎフレーム後の両方向予測フレームに於いて、参照フレームからＮフレーム後のフレームを後方参照フレームとして検出した動きフレームの水平又は垂直成分をｘとし、参照フレームからＮフレーム後のフレームに於ける動きベクトルの水平又は垂直の探索可能範囲をｘnlb ＜ｘ＜ｘnub とした時、
【００１３】
又（７）前方予測フレームの予測結果と、前方予測フレームとの差分を求め、この差分が一定値を越えた場合に、前方予測フレームと参照フレームとのフレーム間距離を短縮させる過程を含むことができる。即ち、前記差分が一定値を越える場合は、動きベクトルの探索範囲が不足している可能性が高い為、フレーム間距離を短縮する。
【００１４】
又（８）両方向予測フレームの予測結果と、両方向予測フレームとの差分を求め、この差分が一定値を越えた場合に、前方予測フレームと参照フレームとのフレーム間距離を短縮させる過程を含むことができる。この場合も、前記差分が一定値を越える場合は、動きベクトルの探索範囲が不足している可能性が高い為、フレーム間距離を短縮する。
【００１５】
又（９）参照フレームと予測対象のフレームとのフレーム間差分が一定値を越えた場合に、フレーム間距離の制御を行わないようにすることができる。前方予測フレームと前方参照フレームとの間のフレーム間差分、又は後方予測フレームと後方参照フレームとの間のフレーム間差分が一定値を越えた時は、シーンチェンジ等の場合であるから、フレーム間距離を変更しないようにする。
【００１６】
又（１０）前方予測を行うフレーム間距離を、フレーム間距離としてとり得る最大値から動きベクトル探索処理を開始することができる。それにより、連続してフレームの処理が可能となる。
【００１７】
【発明の実施の形態】
図１は本発明の第１の実施の形態の説明図であり、Ｏ，Ｆ1 〜Ｆ6 は時間的に連続しているフレームを示し、フレームＦ2 を現在参照（基準）フレームＯを参照して前方予測を行うフレームとすると、フレームＦ1 は、フレームＯ，Ｆ2 を参照フレームとして両方向予測を行うフレームとなる。又フレームＦ2 の動きベクトル探索を開始する時点では、フレームＦ4 はフレームＦ2 を参照フレームとして前方予測を行うフレームとなり、フレームＦ3 は、フレームＦ2 ，Ｆ4 を参照フレームとして両方向予測を行うフレームとなる。又フレームＦ6 はフレームＦ4 を参照フレームとして前方予測を行うフレームとなり、フレームＦ5 はフレームＦ4 ，Ｆ6 を参照フレームとして両方向予測を行うフレームとなる。
【００１８】
予測効率を低下させない条件で、現在は両方向予測を行う予定であるフレームＦ5 について、フレームＦ2 を参照フレームとした前方予測を行うように変更するものとする（この変更が可能の場合は、フレームＦ4 については、フレームＦ2 ，Ｆ5 を参照フレームとして両方向予測を行うことになる）。動画像に於いては、連続する短時間内のフレーム間の動きの大きさの変化は少ない性質を有するものであり、従って、フレームＦ5 ，Ｆ2 間と、フレームＦ3 ，Ｏ間で検出される動きベクトルの性質はほぼ似ていると考えることができる。そこで、フレームＦ5 ，Ｆ2 間で動きベクトル探索範囲が充分であるか否かの検証をフレームＦ3 ，Ｏ間に置き換えて調べる。
【００１９】
このフレームＦ3 からフレームＯに対して前方予測を行う際の水平方向又は垂直方向の動きベクトル探索範囲を、動きベクトルの水平又は垂直成分をｘとすると、ｘl3＜ｘ＜ｘu3とし、短時間で画面内の動きの速度が急激に変化しないと仮定すると、フレームＦ3 の動きベクトル探索範囲が充分である為には、フレームＦ2 で検出される動きベクトルの水平又は垂直成分ｘは、ｘl2＜ｘ＜ｘu2の範囲内であることが必要となる。
【００２０】
ここで、２フレーム離れたフレーム間距離の関係から、ｘu2＝ｘu3×（２／３），ｘl2＝ｘl3×（２／３）となる。即ち、フレームＦ2 に於いては、フレームＯに対して動きベクトル探索を行った段階で検出された動きベクトルの水平又は垂直成分ｘが、現在前方予測を行っているフレームＦ2 から参照（基準）フレームＯに対して斜線を施して示す範囲のｘl2＜ｘ＜ｘu2の関係となるものが一定の割合を超えている場合、それに比例して、フレームＦ3 ，Ｏ間の動きベクトル探索範囲は、点線で示す範囲となり、この動きベクトル探索範囲は充分と見做すことができる。このように、探索範囲が充分と見做すことができる場合は、フレームＦ5 ，Ｆ2 間の探索範囲も充分であると推測して、フレームＦ5 についてフレームＦ2 を参照フレームとして前方予測を行うように変更するものである。
【００２１】
又前記条件を満たさない場合として、
（Ａ）現状の動きベクトル探索範囲が適切である場合、
（Ｂ）現状の動きベクトル探索範囲が不足している場合、
の二通りがある。（Ａ）の場合は現状を維持すれば良いことになるが、（Ｂ）の場合は、動きベクトル探索範囲を拡大しなければ予測効率が低下する。この場合の（Ａ），（Ｂ）の区別は、例えば、動きベクトルを用いて生成した予測画像と原画像との差分累積値を求めることにより判断することができる。
【００２２】
又動きベクトル探索範囲が不足していると判断された場合は、前方予測を行うフレーム間距離を短縮し、フレームＦ3 ，Ｆ2 間で前方予測を行うことにより、動きベクトル探索範囲を確保することができる。又動きベクトル探索範囲の不足が認められない場合は、予定通り２フレーム離れたフレームＦ4 ，Ｆ2 間で前方予測を行う。
【００２３】
前述のように、フレームＦ2 に於いて、フレームＯに対して動きベクトル探索を行った段階で、フレームＦ5 ，Ｆ2 間、フレームＦ4 ，Ｆ2 間、フレームＦ3 ，Ｆ2 間のうちの何れの前方予測を行うべきかを判断することがきる。又この場合に、フレームＦ2 の動きベクトル探索範囲が不足している場合、或いはシーンチェンジが発生した場合は、前述の選択の判断は意味を持たなくなる。そこで、並行して、フレームＦ2 ，Ｏ間の動きベクトル探索範囲結果の信頼性を調べる為に、フレームＦ2 ，Ｏの対応する位置の画素値の差分累積和を求めて、これが或る一定値を越えた場合は、フレーム間距離の変更は行わないように制御する。
【００２４】
図２は本発明の実施の形態の前方予測の説明図であり、一般化して示すもので、Ｎ，Ｍを整数とし、基準フレームＯからＮフレーム離れたフレームＦN と、Ｍフレーム離れたフレームＦM とについて、フレームＰN で、Ｎフレーム前のフレームＯを参照フレームとして前方予測を行っているとすると、Ｍフレーム前のフレームＯを参照フレームとしてフレームＰM の位置で動きベクトル探索範囲を確保できるか否かを、フレームＰN に於ける動きベクトル探索結果から判断する。
【００２５】
即ち、急激な動きの変化が少ないと仮定すると、前方予測をフレームＰM の位置で行う為には、フレームＰN の段階で検出される動きベクトルの水平又は垂直成分ｘが、
〔（Ｎ・ｘlM）／Ｍ〕＜ｘ＜〔（Ｎ・ｘuM）／Ｍ〕
の関係の範囲に収まっている必要がある。ここで、ｘlM，ｘuMは、フレームＦM に於けるフレームＯに対する動きベクトル探索範囲の水平方向又は垂直方向の下限，上限を示す。
【００２６】
又画面が急激に変化しないと仮定すると、基準フレームＯからＮフレーム離れたフレームＦN に於いて検出した動きベクトルが、前述の条件を満たすものが一定の割合を超えていれば、フレームＭ（＞Ｎ）離れたフレームＦM の位置から基準フレームＯを用いて前方予測を行うことができる。それによって予測効率を向上することができる。
【００２７】
図３は本発明の実施の形態のフローチャートであり、参照フレームをＯ、前方予測フレーム間距離Ｎ＝２、拡張フレーム間距離ａ＝１とし（ａ）、フレームＦ2 ，Ｏ間で動きベクトル探索を行う（ｂ）。そして、現在前方予測を行っているフレームＦ2 と参照フレームＯとの間で対応する画素同士の差分累積和Ｅを求めて、この差分累積和Ｅが一定値を越えたか否かを判定する（ｃ）。この場合の差分累積和は差分絶対値についての累積和とする。
【００２８】
差分累積和Ｅが一定値を越えた場合は、シーンチェンジ等の場合であり、フレーム間距離をＮ（＝２）のままとする（ｇ）。又差分累積和Ｅが一定値を越えない場合は、フレームＦ2 ，Ｏ間の動きベクトルの水平又は垂直成分ｘが、
【００２９】
この場合の割合が一定値以上か否かを判定し（ｅ）、一定値以上の場合は、それ以降の前方予測を行うフレーム間距離をＮ＋ａに拡張する（ｆ）〔ステップ（ａ）の条件では、２＋１＝３となる〕。又割合が一定値以上でない場合は、フレームＦ2 の前方予測結果とフレームＯの対応する画素の差分累積和が一定値を越えているか否かを判定し（ｈ）、越えている場合は、それ以降の前方予測を行うフレーム間距離をＮ−１に短縮する（ｉ）〔ステップ（ａ）の条件では、２−１＝１となる〕。又越えていない場合は、それ以降の前方予測を行うフレーム間距離をＮ（＝２）のままとする（ｇ）。
【００３０】
従って、前方予測フレームで求めた動きベクトルを基に、フレーム間距離を増加したと仮定した場合に、動きベクトル探索範囲が充分に確保できるか否かを判定し、前方予測のフレーム間距離Ｎを増減させることができ、入力画像情報の性質に対応したフレーム間予測符号化を行うことができる。
【００３１】
図４は本発明の実施の形態の両方向予測の説明図であり、図２と同様に、Ｎ，Ｍを整数とし、フレームＰN に於いてＮフレーム前の基準フレームＯを参照フレームとして前方予測を行っているとすると、この前方予測をＭフレーム離れたフレームＰM から行っても両方向予測フレームの後方動きベクトル探索範囲を確保できるか否かを、現在のフレームＰN に於ける動きベクトル探索結果から推定する。
【００３２】
即ち、急激な動きの変化が少ないと仮定すると、現在両方向予測を行っているフレームＢn の後方予測を、フレームＰM に対して行う為には、拡張前の時点で、フレームＰN のフレームＯに対して検出される動きベクトルの水平又は垂直成分ｘが、
【００３３】
画面の動きが急激に変化しないと仮定すると、前述の条件を満足した直後のフレーム群については、参照フレームに対する前方予測フレームの相対位置を、フレームＰM に変更しても、任意のフレームＢn に於ける後方動きベクトル探索範囲を確保できることになる。実際には、現在前方予測を行っているフレームＰN に於いて検出した動きベクトルが、前述の（２）式の条件を満たすものが一定の割合を越えていれば、基準フレームＯからＭフレーム後のフレームＰM の位置からの前方予測が可能であると判断することにより、現在両方向予測を行っているフレームＢn からフレームＰM に対して後方予測が可能であると判断する。
【００３４】
従って、前方予測フレームで求めた動きベクトルを基に、フレーム間距離を増加したと仮定した場合の両方向予測フレームの数を増加しても、両方向予測に於ける動きベクトル探索範囲が充分に確保できるか否かを判定し、それにより、前方予測を行うフレーム間距離及び両方向予測フレームの数を増減させることができる。
【００３５】
図５は本発明の実施の形態の両方向予測フレームの動きベクトル探索結果と両方向予測フレームの探索範囲の説明図であり、図２及び図４と同様に、Ｎ，Ｍを整数とし、現在フレームＰN でＮフレーム前の基準フレーム（参照フレーム）Ｏから前方予測を行っているとすると、この前方予測をＭフレーム離れたフレームＰM の位置から行っても探索範囲を確保できるか否かを、現在のフレームＰN に於ける動きベクトル探索結果から判定する。
【００３６】
即ち、急激な動きの変化が少ないと仮定すると、現在両方向予測を行うフレームＢn の後方予測をフレームＰM に対して行う為には、拡張前の時点でフレームＢn に於いてフレームＰN に対して検出される動きベクトルの水平又は垂直成分ｘが、
【００３７】
画面の性質が急激に変化しないと仮定すると、この条件を満たした直後のフレーム群については、参照フレームに対する前方予測フレームの相対的位置をフレームＰM に変更しても、任意のフレームＢn に於ける後方の動きベクトル探索範囲を確保できる。実際には、フレームＢn に於いて検出した動きベクトルについて、前述の条件を満たすものが一定の割合を越えていれば、フレームＰM の位置から前方予測が可能であると判断する。
【００３８】
前述のように、両方向予測フレームに於いて求めた動きベクトルを基に、フレーム間距離を増加したと仮定し、両方向予測を行うフレーム数を増加させても動きベクトル探索範囲を充分に確保できるか否かを判定して、前方予測を行うフレーム間距離及び両方向予測フレームの数を増減させるものである。
【００３９】
図６は本発明の実施の形態の要部機能ブロック図であり、１は動き検出部、２はフレームメモリ、３は第１の演算部、４はＤＣＴ（Ｄiscrete Ｃosie Ｔransform；離散コサイン変換）部、５は量子化部、６は可変長符号化部、７は逆量子化部、８は逆ＤＣＴ部、９は第２の演算部、１０はフレームメモリ、１１はローカルデコード部、１２は統計値算出部、１３はピクチャタイプ変更パターン決定部、１４はピクチャタイプ決定部、１５はピクチャタイプ制御部である。
【００４０】
動き検出部１により動きベクトルを検出する場合のフレーム間距離を可変とする為に複数バンク構成のフレームメモリ２を備えている。又ローカルデコーダ１１のフレームメモリ１０は、前方参照用と後方参照用との２バンク構成を有するものである。又第１，第２の演算部３，９は、フレーム内符号化を行う時、スルー状態に制御され、フレーム間符号化を行う時に、第１の演算部３は減算器、第２の演算部９は加算器として機能する。
【００４１】
動き検出部１により検出した動きベクトルをピクチャタイプ制御部１５の統計値算出部１２により動きベクトルの大きさの統計値を求め、その統計値によりピクチャタイプ変更パターン決定部１３は、予測可能のフレーム間距離を求めて、ピクチャタイプ変更パターンを決定し、ピクチャタイプ決定部１４に通知する。このピクチャタイプ決定部１４は、ピクチャタイプ変更パターンに従って、予測可能フレーム間距離に対応してフレームメモリ２のバンク管理を行い、且つピクチャタイプに対応して各部を制御する。
【００４２】
例えば、Ｉピクチャの場合は、第１，第２の演算部３，９はスルー状態に制御されて、入力画像情報は、ＤＣＴ部４と量子化部５と可変長符号化部６とを介してフレーム内符号化されて送出され、又逆量子化部７と逆ＤＣＴ部８とにより復号化されてフレームメモリ１０に蓄積される。
【００４３】
又Ｐピクチャの場合は、動き検出部１は、前方予測のフレーム数に従ったフレーム数前の入力画像情報をフレームメモリ２から読出して、現入力画像情報とを動きベクトル探索範囲について比較して動きベクトルを求める。又第１の演算部３は減算器として、又第２の演算部９は加算器として機能するように制御され、フレーム間符号化が行われて送出され、又第２の演算部９により復元された画像情報がフレームメモリ１０に蓄積される。
【００４４】
又Ｂピクチャの場合は、ピクチャタイプ決定部１４により、Ｉピクチャ又はＰピクチャとＰピクチャとの間のＢピクチャの数が決まり、それに対応してフレームメモリ２が制御され、動き検出部１は、前方予測と後方予測とによる動きベクトルを探索する。又第１，第２の演算部３，９はＰピクチャの場合と同様に制御され、フレーム間符号化が行われて送出される。又フレームメモリ１０は、前方予測用と後方予測用と両バンクを用いるものである。又図示を省略しているが、ピクチャタイプやフレーム間距離等の補助情報を送出する構成を備えているものである。
【００４５】
又本発明は前述の各実施の形態にのみ限定されるものではなく、種々付加変更することができるものであり、例えば、参照フレームと予測対象フレーム（前方予測フレーム又は両方向予測フレーム）とのフレーム間差分を求め、その差分の絶対値和を求め、この値と予め設定した一定値とを比較し、この値が一定値を越えている場合は、フレーム間距離の制御を行わないように、ピクチャタイプ決定部１４等が制御するように構成することができる。
【００４６】
又前方予測フレームとその予測結果との差分の絶対値和或いは両方向予測フレームとその予測結果との差分の絶対値和を求め、この値と予め設定した一定値とを比較し、この値が一定値を越えている場合は、参照フレームと予測対象フレームとの間のフレーム間距離を短縮するように制御する。従って、動きベクトル探索範囲を確保できるようにフレーム間距離を小さくすることができる。
【００４７】
又フレーム間制御に於いては、フレーム間距離を、装置に於いて取り得る最大値から処理を開始することができる。例えば、前方予測フレーム間距離をＭとし、この前方予測フレーム間距離Ｍの取り得る最大値を３とし、６フレーム単位で前方予測フレーム間距離Ｍの切替えを行う場合の初期値Ｍ＝１及びＭ＝２とした場合について、図７を参照して説明する。
【００４８】
図７に於いて、ａは入力画面のＩ，Ｐ，Ｂピクチャ、ｂは動きベクトル探索画面のＩ，Ｐ，Ｂピクチャを示し、各ピクチャの数字はフレーム番号を示す。例えば、Ｉ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｂ６は、フレーム番号０のＩピクチャ、フレーム番号１〜５のＰピクチャ、フレーム番号６のＢピクチャを示す。又図７の（Ａ）は、Ｍ＝１の初期値からＭ＝２，Ｍ＝１にフレーム間距離を切替える場合を示し、又（Ｂ）はＭ＝１の初期値からＭ＝２，Ｍ＝３にフレーム間距離を切替える場合を示す。又動きベクトル探索画面ｂの×印は、動きベクトル探索画面が存在しないフレーム期間を示す。
【００４９】
初期値をＭ＝１として動きベクトル探索を開始する場合、（Ａ）に於いては、初期値を越えてＭ＝２に切替えた後に、×印で示すように、動きベクトル探索画面が存在しないフレーム期間が発生し、又（Ｂ）に於いては、初期値を越えてＭ＝２に切替えた後と、Ｍ＝３に切替えた後とに於いて、×印で示すように、動きベクトル探索画面が存在しないフレーム期間が発生する。
【００５０】
又図７の（Ｃ）は、Ｍ＝２の初期値から動きベクトル探索を開始した場合を示し、この場合も、初期値のＭ＝２を越えてＭ＝３に切替えた後に、×印で示すように、動きベクトル探索画面が存在しないフレーム期間が発生する。
【００５１】
これに対して、フレーム間距離Ｍを、動きベクトル探索の為に取り得る最大値のＭ＝３を初期とした場合、図８の（Ｄ），（Ｅ）又は図９の（Ｆ）に示すものとなる。各図に於いて図７と同一符号は同一内容を示し、図８の（Ｄ）は、Ｍ＝３→Ｍ＝２→Ｍ＝３→Ｍ＝２→Ｍ＝１の順にフレーム間距離Ｍが切替えられる場合を示し、図８の（Ｅ）は、Ｍ＝３→Ｍ＝２→Ｍ＝１→Ｍ＝２→Ｍ＝１→Ｍ＝２の順にフレーム間距離Ｍが切替えられる場合を示す。又図９の（Ｆ）は、Ｍ＝３→Ｍ＝２→Ｍ＝１→Ｍ＝２→Ｍ＝３→Ｍ＝２の順にフレーム間距離Ｍが切替えられる場合を示す。
【００５２】
フレーム間距離Ｍを、取り得る最大値を初期値としていることにより、動きベクトル探索開始可能時間が予め最大となり、図８及び図９に示すように、フレーム間距離Ｍが切替えられても、動きベクトル探索画面が存在しないようなフレーム期間が発生しない。なお、フレーム間距離Ｍを±１の変化とした場合を示すが、最大値のフレーム間距離Ｍを初期値とした場合は、フレーム間距離Ｍを±２の変化とした場合でも、動きベクトル探索画面が存在しないフレーム期間は発生しないものとなる。
【００５３】
このような処理可能のフレームが存在しない期間が発生しても、動きベクトル探索には本質的な影響はないが、実際の画像処理装置に於いては、動きベクトル探索画面が存在しないことによる処理の不連続は、安定動作上、望ましくないものである。従って、前述のように、フレーム間距離Ｍを取り得る最大値として動きベクトル探索を開始することによって、処理の連続性を保証することができる。又画像の性質が予め推測できる場合は、最も多く発生することが推測されるフレーム間距離を初期設定することもできる。
【００５４】
【発明の効果】
以上説明したように、本発明は、通常の動画像に於いては、短時間内のフレーム間の動きの大きさの変化が少ないという画像の性質を利用し、前方予測と両方向予測とを併用する符号化方式に於いて、探索済みの動きベクトルを基に、動きベクトル探索範囲が充分に確保できるフレーム間距離を求めるものであり、動きベクトルが小さい場合は、フレーム間距離を大きくしても、ハードウェアの処理能力等により定まる動きベクトル探索範囲を充分に確保できるから、フレーム間距離を増加して、予測効率の良い両方向予測を行うフレームの割合を増加できる利点がある。
【図面の簡単な説明】
【図１】本発明の実施の形態の説明図である。
【図２】本発明の実施の形態の前方予測の説明図である。
【図３】本発明の実施の形態のフローチャートである。
【図４】本発明の実施の形態の両方向予測の説明図である。
【図５】本発明の実施の形態の両方向予測フレームの動きベクトル探索結果と両方向予測フレームの探索範囲の説明図である。
【図６】本発明の実施の形態の要部機能ブロック図である。
【図７】前方予測フレーム間距離の説明図である。
【図８】前方予測フレーム間距離の説明図である。
【図９】前方予測フレーム間距離の説明図である。
【図１０】前方予測の説明図である。
【図１１】両方向予測の説明図である。
【符号の説明】
Ｏ 参照（基準）フレーム
Ｆ1 現在両方向予測を行っているフレーム
Ｆ2 現在前方予測を行っているフレーム
Ｆ3 現在両方向予測を行う予定のフレーム
Ｆ4 現在前方予測を行う予定で、両方向予測に変更したいフレーム
Ｆ5 フレームＦ2 からの前方予測に変更したいフレーム
Claims (10)
- 前方予測と両方向予測とを併用するフレーム間動き補償予測による画像情報の予測符号化に於いて、
前方予測フレームで求めた動きベクトルを、フレーム間距離を増加させたと仮定した場合のフレームにスケールアップして、前方予測を行うフレーム間距離を増加させても、１フレーム中の動きベクトルのうちの予め設定した比率以上の動きベクトルが動きベクトル探索範囲に収まると推測できるか否かにより、充分な探索範囲を確保できるか否かを判定し、該判定で、探索範囲を確保できるとの結果が得られた場合には前方予測を行うフレームの距離を増加させ、確保できないとの結果がえられた場合には変更しない処理過程を含む
ことを特徴とする動きベクトル探索方法。 - 現在のフレームＰＮでＮフレーム前の参照フレームから前方予測を行う時に、該参照フレームからＭ（＞Ｎ）フレーム離れたフレームＰＭの動きベクトルの水平又は垂直方向の探索可能範囲をｘｌＭ＜ｘ＜ｘｕＭとした時に、フレームＰＮ内で検出される動きベクトルの水平成分又は垂直成分ｘが、
〔（Ｎ・ｘｌＭ）／Ｍ〕＜ｘ＜〔（Ｎ・ｘｕＭ）／Ｍ〕
の範囲であるものの割合が一定値を越えている場合に、現在のフレームＰＮ以降のフレームの前方予測を行うフレーム間距離を、前記Ｍフレームに変更する過程を含むことを特徴とする請求項１記載の動きベクトル探索方法。 - 前方予測と両方向予測とを併用するフレーム間動き補償予測による画像情報の予測符号化に於いて、
前方予測フレームで求めた動きベクトルを、フレーム間距離を増加させたと仮定した場合の両方向予測フレームに対して、フレーム間距離に対応してスケールアップ或いはスケールダウンし、両方向予測を行うフレーム間距離を増加させても、１フレーム中の動きベクトルのうちの予め設定した比率以上の動きベクトルが動きベクトル探索範囲に収まると推測できるか否かにより、充分な探索範囲を確保できるか否かを判定し、該判定で、探索範囲を確保できるとの結果が得られた場合には両方向予測フレーム数を増加させ、確保できないとの結果がえられた場合には変更しない処理過程を含む
ことを特徴とする動きベクトル探索方法。 - 参照フレームからｎフレーム後の両方向予測フレームについて、前記参照フレームからＮフレーム後の前方予測フレームに於いて検出した動きベクトルの水平又は垂直成分をｘとし、前記参照フレームからＭフレーム後の前方予測を行う予定のフレームの動きベクトルの水平又は垂直方向の探索可能範囲をｘｎｌｂ＜ｘ＜ｘｎｕｂとした時、
〔（Ｎ・ｘｎｌｂ）／（Ｍ−ｎ）〕＜ｘ＜〔（Ｎ・ｘｎｕｂ）／（Ｍ−ｎ）〕
の範囲であるものの割合が一定値を越えている場合に、以降のフレームの前方予測を行うフレーム間距離をＭとする過程を含むことを特徴とする請求項３記載の動きベクトル探索方法。 - 前方予測と両方向予測とを併用するフレーム間動き補償予測による画像情報の予測符号化に於いて、
両方向予測で求めた動きベクトルを、フレーム間距離を増加させたと仮定した場合の前方予測フレームに対してフレーム間距離に応じてスケールアップし、両方向予測フレーム数を増加させても、１フレーム中の動きベクトルのうちの予め設定した比率以上の動きベクトルが動きベクトル探索範囲に収まると推測できるか否かにより、充分な探索範囲を確保できるか否かを判定し、該判定結果が、探索範囲を確保できるとの結果が得られた場合には、前方予測を行うフレーム間距離及び両方向予測フレーム数を増加させ、確保できないとの結果がえられた場合には変更しない処理過程を含む
ことを特徴とする動きベクトル探索方法。 - 参照フレームからｎフレーム後の両方向予測フレームに於いて前記参照フレームからＮフレーム後のフレームを後方参照フレームとして検出した動きフレームの水平又は垂直成分をｘとし、前記参照フレームからＭフレーム後のフレームに於ける動きベクトルの水平又は垂直の探索可能範囲をｘｎｌｂ＜ｘ＜ｘｎｕｂとした時、
〔｛（Ｎ−ｎ）・ｘｎｌｂ｝／（Ｍ−ｎ）〕＜ｘ
＜〔｛（Ｎ−ｎ）・ｘｎｕｂ｝／（Ｍ−ｎ）〕
の範囲であるものの割合が一定値を越えている場合に、以降のフレームの前方予測を行うフレーム間距離をＭとする過程を含むことを特徴とする請求項５記載の動きベクトル探索方法。 - 前記前方予測フレームの予測結果と、前方予測フレームとの差分を求め、該差分が一定値を越えた場合に、前方予測フレームと参照フレームとのフレーム間距離を短縮させる過程を含むことを特徴とする請求項１乃至６の何れか１項記載の動きベクトル探索方法。
- 前記両方向予測フレームの予測結果と、両方向予測フレームとの差分を求め、該差分が一定値を越えた場合に、前方予測フレームと参照フレームとのフレーム間距離を短縮させる過程を含むことを特徴とする請求項１乃至６の何れか１項記載の動きベクトル探索方法。
- 参照フレームと予測対象のフレームとのフレーム間差分が一定値を越えた場合に、フレーム間距離の制御を行わないことを特徴とする請求項１乃至６の何れか１項記載の動きベクトル探索方法。
- 前方予測を行うフレーム間距離を、該フレーム間距離としてとり得る最大値から動きベクトル探索処理を開始することを特徴とする請求項１乃至９の何れか１項記載の動きベクトル探索方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10657796A JP3876392B2 (ja) | 1996-04-26 | 1996-04-26 | 動きベクトル探索方法 |
| EP19960306812 EP0804034B1 (en) | 1996-04-26 | 1996-09-19 | Method and device for detecting motion vectors |
| US08/716,877 US5894526A (en) | 1996-04-26 | 1996-09-20 | Method and device for detecting motion vectors |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10657796A JP3876392B2 (ja) | 1996-04-26 | 1996-04-26 | 動きベクトル探索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09294266A JPH09294266A (ja) | 1997-11-11 |
| JP3876392B2 true JP3876392B2 (ja) | 2007-01-31 |
Family
ID=14437090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10657796A Expired - Fee Related JP3876392B2 (ja) | 1996-04-26 | 1996-04-26 | 動きベクトル探索方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5894526A (ja) |
| EP (1) | EP0804034B1 (ja) |
| JP (1) | JP3876392B2 (ja) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3930935B2 (ja) * | 1997-02-28 | 2007-06-13 | 三菱電機株式会社 | 画像処理装置 |
| JPH10262258A (ja) * | 1997-03-19 | 1998-09-29 | Sony Corp | 画像符号化装置及び方法 |
| JP3604864B2 (ja) * | 1997-04-25 | 2004-12-22 | シャープ株式会社 | 動画像符号化装置 |
| JPH10336668A (ja) * | 1997-06-02 | 1998-12-18 | Sharp Corp | 動きベクトル検出装置 |
| JP3185763B2 (ja) * | 1998-07-13 | 2001-07-11 | 日本電気株式会社 | 動画像符号化装置 |
| TW444507B (en) * | 1998-10-22 | 2001-07-01 | Sony Corp | Detecting method and device for motion vector |
| US7982740B2 (en) | 1998-11-09 | 2011-07-19 | Broadcom Corporation | Low resolution graphics mode support using window descriptors |
| US6853385B1 (en) * | 1999-11-09 | 2005-02-08 | Broadcom Corporation | Video, audio and graphics decode, composite and display system |
| US6501480B1 (en) * | 1998-11-09 | 2002-12-31 | Broadcom Corporation | Graphics accelerator |
| US6768774B1 (en) * | 1998-11-09 | 2004-07-27 | Broadcom Corporation | Video and graphics system with video scaling |
| US6661422B1 (en) * | 1998-11-09 | 2003-12-09 | Broadcom Corporation | Video and graphics system with MPEG specific data transfer commands |
| US6636222B1 (en) * | 1999-11-09 | 2003-10-21 | Broadcom Corporation | Video and graphics system with an MPEG video decoder for concurrent multi-row decoding |
| US6573905B1 (en) * | 1999-11-09 | 2003-06-03 | Broadcom Corporation | Video and graphics system with parallel processing of graphics windows |
| US6621936B1 (en) | 1999-02-12 | 2003-09-16 | Sony Corporation | Method and apparatus for spatial class reduction |
| US6519369B1 (en) | 1999-02-12 | 2003-02-11 | Sony Corporation | Method and apparatus for filter tap expansion |
| US6591398B1 (en) | 1999-02-12 | 2003-07-08 | Sony Corporation | Multiple processing system |
| US6418548B1 (en) | 1999-02-12 | 2002-07-09 | Sony Corporation | Method and apparatus for preprocessing for peripheral erroneous data |
| JP3531532B2 (ja) | 1999-05-18 | 2004-05-31 | 日本電気株式会社 | 動画像符号化装置、及び方法 |
| US6522785B1 (en) | 1999-09-24 | 2003-02-18 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| JP3757088B2 (ja) | 1999-10-26 | 2006-03-22 | 日本電気株式会社 | 動画像符号化装置および方法 |
| US6754371B1 (en) * | 1999-12-07 | 2004-06-22 | Sony Corporation | Method and apparatus for past and future motion classification |
| JP2002084544A (ja) * | 2000-09-06 | 2002-03-22 | Mitsubishi Electric Corp | 動画像符号化装置および動画像符号化方法 |
| US20020039138A1 (en) * | 2000-09-29 | 2002-04-04 | Edelson Steven D. | Method and apparatus for automatically adjusting video panning and zoom rates |
| EP1202579A1 (en) * | 2000-10-31 | 2002-05-02 | Interuniversitair Microelektronica Centrum Vzw | A method and apparatus for adaptive encoding framed data sequences |
| EP1204279A3 (en) * | 2000-10-31 | 2002-05-15 | Interuniversitair Microelektronica Centrum Vzw | A method and apparatus for adaptive encoding framed data sequences |
| US7616690B2 (en) | 2000-10-31 | 2009-11-10 | Imec | Method and apparatus for adaptive encoding framed data sequences |
| US6700934B2 (en) | 2001-03-14 | 2004-03-02 | Redrock Semiconductor, Ltd. | Error detection using a maximum distance among four block-motion-vectors in a macroblock in a corrupted MPEG-4 bitstream |
| US6925125B2 (en) * | 2002-01-09 | 2005-08-02 | Hiroshi Akimoto | Enhanced aperture problem solving method using displaced center quadtree adaptive partitioning |
| US7088773B2 (en) * | 2002-01-17 | 2006-08-08 | Sony Corporation | Motion segmentation system with multi-frame hypothesis tracking |
| KR100636465B1 (ko) * | 2002-08-05 | 2006-10-19 | 마츠시타 덴끼 산교 가부시키가이샤 | 데이터 처리 장치 및 데이터 처리 방법 |
| US20040091047A1 (en) * | 2002-11-11 | 2004-05-13 | Sony Corporation | Method and apparatus for nonlinear multiple motion model and moving boundary extraction |
| JP2004179687A (ja) * | 2002-11-22 | 2004-06-24 | Toshiba Corp | 動画像符号化／復号化方法及び装置 |
| US8063916B2 (en) | 2003-10-22 | 2011-11-22 | Broadcom Corporation | Graphics layer reduction for video composition |
| CN100373952C (zh) * | 2004-06-15 | 2008-03-05 | 中兴通讯股份有限公司 | 一种基于mpeg-4的视频对象快速运动估值方法 |
| US8275049B2 (en) * | 2006-06-16 | 2012-09-25 | Via Technologies, Inc. | Systems and methods of improved motion estimation using a graphics processing unit |
| US9319708B2 (en) * | 2006-06-16 | 2016-04-19 | Via Technologies, Inc. | Systems and methods of improved motion estimation using a graphics processing unit |
| TWI444047B (zh) * | 2006-06-16 | 2014-07-01 | Via Tech Inc | 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元 |
| TW201121335A (en) * | 2009-12-02 | 2011-06-16 | Sunplus Core Technology Co Ltd | Method and apparatus for adaptively determining compression modes to compress frames |
| JP6527460B2 (ja) * | 2015-12-25 | 2019-06-05 | 日本電信電話株式会社 | 映像符号化装置、映像符号化方法及び映像符号化プログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2648254B2 (fr) * | 1988-09-23 | 1991-08-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
| US5467136A (en) * | 1991-05-31 | 1995-11-14 | Kabushiki Kaisha Toshiba | Video decoder for determining a motion vector from a scaled vector and a difference vector |
| JPH0595540A (ja) * | 1991-09-30 | 1993-04-16 | Sony Corp | 動画像符号化装置 |
| ATE148607T1 (de) * | 1991-09-30 | 1997-02-15 | Philips Electronics Nv | Bewegungsvektorschätzung, bewegungsbildkodierung- und -speicherung |
| JPH06153146A (ja) * | 1992-11-04 | 1994-05-31 | Matsushita Electric Ind Co Ltd | 動画像のシーンチェンジ検出装置および編集装置 |
| KR0128860B1 (ko) * | 1993-07-16 | 1998-04-10 | 배순훈 | 저비트율의 영상전화 시스템의 부호화장치 |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| JPH0846969A (ja) * | 1994-07-26 | 1996-02-16 | Mitsubishi Electric Corp | 映像信号符号化方式 |
| US5650829A (en) * | 1994-04-21 | 1997-07-22 | Sanyo Electric Co., Ltd. | Motion video coding systems with motion vector detection |
| KR0171145B1 (ko) * | 1995-03-20 | 1999-03-20 | 배순훈 | 이미지 부호화 시스템용 움직임 보상 장치 |
-
1996
- 1996-04-26 JP JP10657796A patent/JP3876392B2/ja not_active Expired - Fee Related
- 1996-09-19 EP EP19960306812 patent/EP0804034B1/en not_active Expired - Lifetime
- 1996-09-20 US US08/716,877 patent/US5894526A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0804034A2 (en) | 1997-10-29 |
| US5894526A (en) | 1999-04-13 |
| EP0804034A3 (en) | 1998-05-20 |
| EP0804034B1 (en) | 2002-01-23 |
| JPH09294266A (ja) | 1997-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3876392B2 (ja) | 動きベクトル探索方法 | |
| JP4007594B2 (ja) | 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法 | |
| JP3604864B2 (ja) | 動画像符号化装置 | |
| JP4519933B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| JPH07184196A (ja) | 画像符号化装置 | |
| JP2008227670A (ja) | 画像符号化装置 | |
| JP3531532B2 (ja) | 動画像符号化装置、及び方法 | |
| JP6435029B2 (ja) | 映像符号化装置及び映像符号化プログラム | |
| JP4257789B2 (ja) | 動画像符号化装置 | |
| JP2001036908A (ja) | 動画像圧縮装置 | |
| JP3690259B2 (ja) | 動画像高速符号化装置及び動画像高速符号化方法 | |
| KR101678138B1 (ko) | 동화상 부호화 방법, 장치 및 프로그램 | |
| JP4857243B2 (ja) | 画像符号化装置及びその制御方法、コンピュータプログラム | |
| JP4906458B2 (ja) | 画像符号化装置、画像符号化方法 | |
| US6141451A (en) | Image coding method and apparatus | |
| JP4003149B2 (ja) | 画像符号化装置及びその方法 | |
| JP4760551B2 (ja) | 動きベクトル復号化方法および復号化装置 | |
| JPH10191347A (ja) | 動き検出装置、動き検出方法、及び、記憶媒体 | |
| JP4537186B2 (ja) | 符号化モード判定装置及び方法 | |
| JP2015073192A (ja) | 映像符号化装置及び映像符号化プログラム | |
| JP2008245237A (ja) | 画像処理方法、画像処理装置およびそれを用いた撮像装置 | |
| JP2006165801A (ja) | 符号化モード判定装置及び方法 | |
| JP5274181B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| JPH10191346A (ja) | 動き検出装置、動き検出方法、及び、記憶媒体 | |
| JPH11112993A (ja) | 動画像符号化装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061019 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |