JP5593440B2 - 動きベクトル予測方法 - Google Patents

動きベクトル予測方法 Download PDF

Info

Publication number
JP5593440B2
JP5593440B2 JP2013505315A JP2013505315A JP5593440B2 JP 5593440 B2 JP5593440 B2 JP 5593440B2 JP 2013505315 A JP2013505315 A JP 2013505315A JP 2013505315 A JP2013505315 A JP 2013505315A JP 5593440 B2 JP5593440 B2 JP 5593440B2
Authority
JP
Japan
Prior art keywords
motion vector
frame
vector prediction
candidate set
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013505315A
Other languages
English (en)
Other versions
JP2013528992A (ja
Inventor
サイ,ユー−パオ
フ,チン−ミン
リン,ジェン−リャーン
ホワン,ユー−ウェン
レイ,シャオ−ミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/962,411 external-priority patent/US9008182B2/en
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of JP2013528992A publication Critical patent/JP2013528992A/ja
Application granted granted Critical
Publication of JP5593440B2 publication Critical patent/JP5593440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、ビデオ処理に関するものであって、特に、ビデオデータの動きベクトル予測方法に関するものである。
過去の基準と比較して、新しい H.264圧縮基準は、例えば、サブピクセル精度と多重参照などの特徴を採用することにより、低ビットレート下で、良好なビデオ品質を提供することができる。画像圧縮プロセスは、一般に、インター予測(inter-prediction)/イントラ予測(intra-prediction)、変換(transform)/逆変換(inverse-transform)、量子化/逆量子化、ループフィルター(loop filter)およびエントロピー符号化(entropy encoding)の5個のパートに分けられる。H.264は、例えば、ブルーレイディスク(Blu-ray Discs)、放送業務、直接放送衛星テレビサービス(direct-broadcast satellite television services)、有線テレビ放送およびリアルタイムテレビ会議(real-time videoconferencing)などの各種応用に用いられる。
ビデオデータストリームは複数のフレームを含み、各フレームは複数の符号化ユニット (例えば、マクロブロックまたは延伸したマクロブロック) に分割され、それぞれ、ビデオ符号器により処理される。各符号化ユニットは四分木パーティションに分割され、リーフ符号化ユニットは予測単位と称される。予測単位は、さらに、四分木パーティションに分割され、各パーティションは動きパラメーターが割り当てられる。非常に大量の動きパラメーターを伝送するコストを減少させるため、隣接する符号化ブロックを参照することにより、動きベクトル予測 (MVP)が各パーティションにおいて計算され、これにより隣接するブロックの動きが高空間相関(spatial correlation)を有することとなるので、符号化効率が改善される。
図1は、現在のユニット112の隣接するブロックを示す図である。現在のフレーム102は、現在のユニット112、および、現在のユニット112に隣接する複数の候補ユニットA、B、CとDを含む。候補ユニットAは現在のユニット112の左側、候補ユニットBは現在のユニット112の上方、候補ユニットCは現在のユニット112の右上角、候補ユニットは現在のユニット112の左上角に位置する。一般に、現在のユニット112のMVPは、候補ユニットA、BとCの動きベクトルを比較することにより決定され、現在のユニット112のMVPになる中間動きベクトルを選択する。候補ユニットCが存在しない時、候補ユニット A、BおよびDの候補の動きベクトルが互いに比較されて、中間動きベクトルを選択し、中間動きベクトルが決定されて、現在のユニット112のMVPになる。
上述の動きベクトル予測方法を少し修正することにより、動きベクトル競合 (MVC) も提供されて、動き予測する。MVCに従って、更に多くの動きベクトルが候補集合に含められ、現在のユニットの動き予測をし、動き予測の精度を改善する。例えば、候補集合は、現在のユニット112の隣接するブロックの動きベクトル、および、参照フレーム104中に、現在のフレーム102中の現在のユニット112と同じ位置を有する配列ユニット114の動きベクトルを含む。歪み率最適化 (RDO)が用いられて、候補集合から、現在のユニットの最終動きベクトル予測を選択する。最終動きベクトル予測に従って、現在のユニットの動きベクトルが予測される。候補集合から選択される最終動きベクトル予測の索引は、予測情報として、ビデオ復号器に送られ、動きベクトル予測が現在のユニットに選択される。
図2は、動き予測方法200のフローチャートである。まず、現在のユニットに対応する複数の候補ユニットの動きベクトルを得て、候補集合に含められる (工程202)。その後、候補集合中の動きベクトルが互いに比較される。動きベクトルが等しくない時 (工程204)、動きベクトル予測が候補集合から選択され(工程206)、動きベクトル予測に従って、現在のユニットの動きベクトルが予測される (工程208)。最後に、選択された動きベクトル予測に関する予測情報が生成され、その後、ビットストリーム中に伝送される (工程210)。候補集合中の動きベクトルが互いに等しい時 (工程204)、候補集合中のあらゆる動きベクトルに従って、現在のユニットの動きベクトルが予測され (工程212)、動きベクトル予測に関し、ビットストリーム中に伝送される予測情報を生成しない。
ビットストリームの復号における不正確な復号のため、構文解析エラー(parsing error)が発生する。ビデオ復号期間で、構文解析エラーが構文解析中に発生する時、全ての後続のビデオ処理は、次の同期符号が検出されるまで失敗する。フレーム間エントロピー符号化が許可される場合、構文解析エラーが伝播され、フレーム間エントロピー符号化の例は、前のフレームの動きベクトルを現在のフレームの動きベクトル予測として、符号化利得改善を達成する。同期符号、例えば、フレームの再初期化に用いられるフレーム開始コードは、誤差伝播の構文解析を停止しない。上述の動きベクトル競合法は、誤差伝播の構文解析を誘発する。図2の動きベクトル競合法200に従って、候補集合中の動きベクトルが互いに等しいとき、動きベクトル予測をシグナリングする予測情報は、ビットストリーム中で伝送されない。動きベクトル予測に関する予測情報が省略される時、ビデオ復号器に伝送される符号化されたビデオビットストリームの伝送量が減少する。ビデオ復号器が対象とする予測情報の省略を検出できず、符号化されたビデオデータストリームの後続セグメントを誤って予測情報とする場合、符号化されたビデオデータストリーム中の後続データが誤って復号され、この構文解析エラーが伝播する。
前のフレームの復号における構文解析エラーが、複数の後続フレームの復号の構文解析エラーを招くことは、構文解析誤差伝播と称される。第一後続フレームが、前のフレームを参照フレームとする時、第一後続フレームの符号化は、前のフレームの符号化情報を用いる。構文解析エラーが前のフレームの復号で発生する場合、第一後続フレームの復号は、前のフレームの復号情報を必要とするので、構文解析エラーは第一後続フレームの復号に伝播する。第二後続フレームが、第一後続フレームを参照フレームとする時、構文解析エラーは第二後続フレームの復号にも伝播する。よって、構文解析誤差伝播は、ビデオデータストリームの復号に深刻な影響を与える。
本発明は、動き予測方法を提供する。
本発明は、動き予測方法を提供する。まず、複数の動きベクトル予測を得て、候補集合に含め、現在のフレームの現在のユニットの動き予測をする。続いて、現在のフレームが、別のフレームにより参照されずに、動き予測する非参照フレームか判断する。現在のフレームが非参照フレームでない時、前に符号化されたフレームに対応するあらゆる動きベクトル予測が候補集合から除去され、調整された候補集合の動きベクトル予測に従って、現在のユニットの動きベクトルが予測される。
本発明は、動き予測方法を提供する。まず、複数の動きベクトル予測を得て、候補集合に含め、現在のフレームの現在のユニットの動き予測をする。その後、候補集合の動きベクトル予測が互いに比較される。候補集合の動きベクトル予測が互いに等しいとき、少なくともひとつのバックアップ動きベクトルが選択される。その後、バックアップ動きベクトル予測が候補集合に加えられる。調整された候補集合の動きベクトル予測に従って、現在のユニットの動きベクトルが予測される。
本発明は、ビデオコード化方法も提供する。まず、フレーム間エントロピー符号化(即ち、前のコード化フレームから生じる動きベクトルが候補集合に含められ、動き予測される)が、ビデオデータストリームのセグメントで許可されるか否かを示す制御フラグが生成される。フレーム間エントロピー符号化が許可されないことを示す時、ビデオデータストリームのセグメントを符号化するフレーム間エントロピー符号化が無効になる。制御フラグがフレーム間エントロピー符号化が許可されることを示す時、ビデオデータストリームのセグメントを符号化するフレーム間エントロピー符号化が有効になる。
本発明は、ビデオコード化方法の方法も提供する。まず、一連のターゲットフレームが、ビデオデータストリームのセグメントの一連のフレーム間に挿入される。その後、ビデオデータストリームのセグメントがビットストリームに符号化され、ターゲットフレームは、フレーム間エントロピー符号化に基づいて符号化されず、且つ、符号化順序の各ターゲットフレームの後続フレームは、符号化順序のターゲットフレームの前のフレームを参照しない。
本発明によれば、構文解析誤差伝播を防止することができる。
図1は、現在のユニットの動き予測の候補ユニットを示す図である。 図2は、動きベクトル競合法のフローチャートである。 図3は、一態様によるビデオ符号器のブロック図である。 図4は、本発明の新規態様による構文解析誤差伝播を防止することができる動き予測方法のフローチャートである。 図5は、本発明の新規態様による構文解析誤差伝播を防止することができる動き予測方法のフローチャートである。 図6は、本発明の新規態様による構文解析誤差伝播を防止することができるビデオコード化方法のフローチャートである。 図7は、本発明の新規態様による構文解析誤差伝播を防止することができるビデオコード化方法のフローチャートである 図8Aは、本発明の新規態様による構文解析誤差伝播を制御することができる動き予測方法の第1のフローチャートである。 図8Bは、本発明の新規態様による構文解析誤差伝播を制御することができる動き予測方法の第2のフローチャートである。 図9Aは、本発明の新規態様による構文解析誤差伝播を制御することができる動き予測方法の第1のフローチャートである。 図9Bは、本発明の新規態様による構文解析誤差伝播を制御することができる動き予測方法の第2のフローチャートである。
図3は、ビデオ符号器300の例を示す図である。一新規態様中、ビデオ符号器300は、動き予測モジュール302、減算モジュール304、変換モジュール306、量子化モジュール308、および、エントロピー符号化モジュール310を含む。ビデオ符号器300はビデオ入力を受信して、ビットストリームを生成して出力する。動き予測モジュール302は、ビデオ入力に、動き予測を実施し、予測サンプルと予測情報を生成する。その後、減算モジュール304は、ビデオ入力から、予測サンプルを減算し、残差を得る。これにより、ビデオ入力のビデオデータ量が残差のデータ量に減少する。その後、残差が連続して、変換モジュール306と量子化モジュール308に伝送される。変換モジュール306は残差に対し離散コサイン変換 (DCT)を実行して、転換残差を得る。その後、量子化モジュール308は、転換残差を量子化して、量子化された残差を得る。エントロピー符号化モジュール310は、量子化された残差と予測情報に対し、エントロピー符号化を実行し、ビットストリームを得て、ビデオ出力とする。
図4は、本発明の新規態様による構文解析誤差伝播を防止することができる動き予測方法400のフローチャートである。動き予測モジュール302が、ビデオ入力データストリームの現在のフレームの現在のユニットを受信すると仮定する。現在のユニットの動き予測に用いられる動きベクトル予測が決定される (工程402)。動きベクトル予測は、現在のフレーム (spatial direction)または前に符号化されたフレーム (temporal direction)に位置するユニットから生じる。動きベクトル予測は、所定の決定規則により決定されるか、または、適応選択される。例えば、動きベクトル競合法は、歪み率最適化 (RDO)を適用することにより、所定候補集合から、最終動きベクトル予測を選択する。予測モジュール302は、現在のフレームが、別のフレームにより参照されずに動き予測する非参照フレームか判断する(工程404)。一新規態様中、動き予測モジュール302は、現在のフレームのフレームタイプを確認する。現在のフレームのフレームタイプが非参照Bフレームの場合、現在のフレームが非参照フレームであると判断される。
現在のフレームが非参照フレームでない時 (工程404)、現在のフレームが後続フレームの参照フレームになるので、現在のフレームの復号中の構文解析エラーは、後続フレームの復号で、構文解析エラーを誘発する。構文解析誤差伝播を回避するため、現在のユニットの動き予測に用いる動きベクトル予測は、前に符号化されたフレームから生じない (工程406)。一新規態様中、現在のフレーム中にない配列ユニットに対応するあらゆる動きベクトル予測は、動きベクトル競合の所定の候補集合に含められず、つまり、現在のユニットの最終動きベクトル予測は、現在のユニットと同一フレーム内のユニットに対応する動きベクトル予測だけを含む所定候補集合から選択される。動きベクトル予測は、隣接ユニットの動きベクトルであるか、または、一つ以上の隣接ユニットの動きベクトルから生じる。よって、動きベクトル予測に従って、動き予測モジュール302が現在のユニットの動きベクトルを予測する時、参照フレーム中で発生する構文解析エラーは、現在のフレームの現在のユニットの復号で、構文解析エラーを誘発しない。
その後、動きベクトル予測に従って、動き予測モジュール302は現在のユニットの動きベクトルを予測する。フレーム間エントロピー符号化は、非参照フレーム中の符号化ユニットにだけ許可される。適合構文解析エラー制御の例中、フレームレベル構文が用いられて、フレーム間エントロピー符号化の許可を制御する。非参照フレームの処理時、フレーム間エントロピー符号化が符号化または復号に用いられる。そうでなければ、フレーム間エントロピー符号化がオフになり、構文解析誤差伝播を防止する。
ある別の新規態様中、適合構文解析エラー制御方法は、シーケンスレベル構文に従って、フレーム間エントロピー符号化を有効、または、無効にする。例えば、エラーがない環境で、ビデオデータを符号化する時、符号器はフレーム間エントロピー符号化を許可し、ロッシー環境で、ビデオデータを符号化する時、符号器はフレーム間エントロピー符号化を無効にする。復号器は、シーケンスレベル構文に従って、ビットストリームを復号し、適切に、フレーム間エントロピー符号化を有効、または、無効にする。別の具体例の適合構文解析エラー制御方法は、フレームレベル構文に従って、フレーム間エントロピー符号化を有効、または、無効にする。非参照フレーム処理時だけ、フレーム間エントロピー符号化を有効にする上述の態様は、フレームレベル構文に基づく適合構文解析エラー制御の一例である。
動きベクトル競合の一新規態様中、候補集合中の動きベクトル予測が得られる。その後、候補集合中の動きベクトル予測が互いに比較される (工程408)。候補集合の動きベクトル予測が互いに等しくない時 (工程410)、最終動きベクトル予測が候補集合から選択され(工程412)、最終動きベクトル予測に従って、現在のユニットの動きベクトルが予測される(工程414)。最後に、最終動きベクトル予測に関する予測情報が生成され、ビットストリームに挿入されて、対応するビデオ復号器に送る (工程416)。候補集合中の動きベクトル予測が互いに等しい時(工程410)、あらゆる候補集合の動きベクトル予測に従って、現在のユニットの動きベクトルが予測され(工程418)、動きベクトル予測に関し、ビデオ復号器に送る予測情報を生成しない。
図5は、本発明の新規態様による構文解析誤差伝播を防止することができる動き予測方法500を示す図である。動き予測モジュール302が、ビデオ入力データストリームから現在のフレームの現在のユニットを受信し、且つ、動きベクトル競合により決定される最終動きベクトル予測により、現在のユニットの動きベクトルが予測されると仮定する。一新規態様中、候補集合を選択する規則がビデオ入力データストリームの配列レベルで決定され、歪み率最適化 (RDO)に従って、最終動きベクトル予測が各候補集合から選択される。このほか、ある規則が設定されて、現在のユニットの動き予測の一つ以上のバックアップ動きベクトル予測を選択する。まず、動き予測モジュール302は、現在のユニットに対応する候補集合中の動きベクトル予測を得る(工程502)。その後、動き予測モジュール302は、候補集合中の動きベクトル予測を比較して、候補集合中の動きベクトル予測が互いに等しいか判断する (工程504)。
候補集合中の動きベクトル予測が互いに等しい場合、候補集合中の動きベクトル予測の数目が増加して、動き予測モジュール302に更に多くの候補を提供して、現在のユニットの動き予測に用いる。よって、動き予測モジュール302は一つ以上のバックアップ動きベクトル予測を選択して、候補集合に含められ(工程506)、候補集合から、最終動きベクトル予測を選択する (工程508)。動き予測モジュール302は、同時に、二個以上のバックアップ動きベクトル予測を候補集合中に加えるか、または、一度に、バックアップ動きベクトル予測を加える。一新規態様中、所定順序に従って、バックアップ動きベクトル予測が選択される。別の新規態様中、適応的所定順序に従って、バックアップ動きベクトル予測が選択される。例えば、候補集合中の動きベクトル予測が全て同じ場合、動き予測モジュール302は、第一バックアップ動きベクトル予測を候補集合で選択し、候補集合中の動きベクトル予測を比較する。第一バックアップ動きベクトル予測がまだ候補集合中の別の動きベクトル予測と同じ場合、動き予測モジュール302は、第二バックアップ動きベクトル予測を候補集合に加える。一旦、候補集合が少なくとも二個の異なる動きベクトル予測を含むと、動き予測モジュール302は、バックアップ動きベクトル予測プロセスの追加を停止する。この場合、符号器は、候補集合から選択された最終動きベクトル予測の索引を現在のユニットの予測情報として生成しなければならない(工程512)。時に、全候補集合中の動きベクトル予測が同じ値である時に、このような索引を伝送しないことにより生じる構文解析誤差伝播問題が防止される。
その後、動きベクトル予測に従って、動き予測モジュール302は、現在のユニットの動きベクトルを予測する(工程510)。最後に、動き予測モジュール302は、どの候補集合中の動きベクトル予測が選択されるかを示す予測情報を生成し、その後、予測情報はエントロピー符号化モジュール310により符号化される(工程512)。図2に示される動きベクトル競合を実行する従来の動き予測方法200と比較すると、図5に示される方法500に従った動き予測モジュール302は、元の候補集合の動きベクトル予測が互いに等しいかどうかにかかわらず、常に予測情報を生成し、予測情報の省略により、ビデオ復号器中の構文解析誤差伝播の可能性を低下させる。
フレーム間エントロピー符号化中の誤差伝播問題を防止するため、適合構文解析エラー制御によるビデオコード化方法を提供する。図6は、本発明による構文解析誤差伝播を防止することができるビデオコード化方法600のフローチャートである。まず、ビデオデータストリームのセグメント中で、構文解析エラーが許可されるかを決定し、制御フラグを生成する(工程602)。一新規態様中、セグメントはビデオシーケンスで、制御フラグがビデオシーケンス全体に生成される。別の新規態様中、セグメントはビデオデータストリームのフレームで、制御フラグがフレームに生成される。一新規態様中、セグメントの誤り率が推定される。誤り率がスレショルドより大きい時、制御フラグが生成されて、フレーム間符号化がセグメントに許可されず、構文解析誤差伝播を防止することを示す。誤り率がスレショルドより小さい時、制御フラグが生成されて、フレーム間符号化がセグメントに許可されることを示す。セグメントの制御フラグが、フレーム間符号化が許可されることを示す時 (工程604)、フレーム間エントロピー符号化が許可され(工程608)、エントロピー符号化モジュール310は、フレーム間エントロピー符号化をセグメントの符号化データに用い、これにより、符号化効率が増加する。セグメントの制御フラグが、フレーム間エントロピー符号化が許可されないことを示す時 (工程604)、フレーム間エントロピー符号化が無効になり (工程606)、エントロピー符号化モジュール310は、フレーム内エントロピー符号化をセグメントの符号化データに用い、これにより、構文解析誤差伝播を防止する。
図7は、本発明の新規態様による構文解析誤差伝播を防止することができるビデオコード化方法700のフローチャートである。まず、ビデオデータストリームのセグメントで、構文解析エラーが許可されるかを決定し、制御フラグを生成する (工程702)。一新規態様中、セグメントはビデオシーケンスで、制御フラグがビデオシーケンス全体に生成される。別の新規態様中、セグメントはビデオデータストリームのフレームで、制御フラグがフレームに生成される。一新規態様中、セグメントの誤り率が推定される。誤り率がスレショルドより大きい時、制御フラグが生成されて、フレーム間エントロピー符号化がセグメントに許可されず、構文解析誤差伝播を防止することを示す。誤り率がスレショルドより小さい時、制御フラグが生成されて、フレーム間エントロピー符号化がセグメントに許可されることを示す。セグメントの制御フラグが、フレーム間エントロピー符号化がセグメントに許可されることを示す時 (工程704)、フレーム間エントロピー符号化が許可され(工程708)、エントロピー符号化モジュール310は、フレーム間エントロピー符号化をセグメントの符号化データに用いることができる。セグメントの制御フラグが、フレーム間エントロピー符号化が許可されないことを示す時(工程704)、一連のターゲットフレームがセグメントの一連のフレームに挿入され、フレーム間エントロピー符号化に従って、ターゲットフレームは符号化されない (工程706)。
一新規態様中、ターゲットフレームは、デコーダ復号動作の瞬時リフレッシュ (IDR) フレームである。IDRフレームは、後続フレーム (符号化順序において)がIDRフレームより前のあらゆるフレームを参照することを阻止する。別の新規態様中、ターゲットフレームは、オープンGOP (Group of Picture)を有するイントラフレームである。別の新規態様中、ターゲットフレームは、フレーム間エントロピー符号化を使用しない一般のイントラフレームで、即ち、一般のイントラフレームは、前に符号化されたフレームに対応するあらゆる動きベクトル予測を使用しない。例えば、一般のイントラフレームは、PフレームまたはBフレームで、それらのPフレームとBフレームは、フレーム間情報、例えば、配列 MVを動きベクトル予測として使用することができない。ターゲットフレームが周期的に挿入されて、構文解析誤差伝播を防止する。一新規態様中、ターゲットフレームの挿入間隔は、配列レベルまたはGOP (group of pictures) レベルで決定される。ターゲットフレームは、フレーム間エントロピー符号化に従って、符号化されず、且つ、ターゲットフレームの後続フレームは、ターゲットフレームより先のどのフレームも参照することができず、セグメントのフレーム中に生成される構文解析エラーは、ターゲットフレームとターゲットフレームの後続フレームに伝播されず、よって、起こりえる構文解析誤差伝播を防止する。
ビデオデータストリームのセグメントの処理時に、構文解析エラーが伝播するのを切り換える制御フラグは、図4に示される動き予測方法400と結合することができる。図8A及び図8Bは、本発明の態様による構文解析誤差伝播を制御することができる動き予測方法800のフローチャートである。方法800の工程802、804、806、808、810、812、814、816と818は、方法400の対応する工程 402、404、406、408、410、412、 414、416と418と同じである。動き予測モジュール302が、ビデオ入力データストリームのセグメントを受信すると仮定する。第一工程801において、ビデオデータストリームのセグメントの制御フラグは、フレーム間エントロピー符号化がセグメントで許可されるか否かに従って決定される (工程801)。制御フラグが、フレーム間エントロピー符号化がセグメントで許可されることを示す時 (工程803)、動き予測モジュール302は、工程810〜818を実行して、セグメントの複数の符号化ユニットの動きベクトルを予測し、工程810〜818は、従来の方法200中の工程204〜212と同じである。制御フラグが、フレーム間エントロピー符号化がセグメントで許可されないことを示す時、動き予測モジュール302は工程802〜818を実行して、セグメントの複数の符号化ユニットの動きベクトルを予測し、これにより、構文解析誤差伝播を防止し、工程802〜818は、図4に示される方法400中の工程402〜418と同じである。
同様に、構文解析誤差伝播が、ビデオデータストリームのセグメント処理時に、許容可能かを制御する制御フラグは、図5に示される動き予測方法500と結合することができる。図9A及び図9Bは、本発明の実施態様による構文解析誤差伝播を制御することができる動き予測方法900のフローチャートである。方法900の工程902、904、906、908、910と912は、方法500の対応する工程502、504、506、508、510と512と同じである。動き予測モジュール 302が、ビデオ入力データストリームのセグメントを受信すると仮定する。第一工程901において、セグメントの制御フラグは、フレーム間エントロピー符号化がセグメントで許可されるか否かに従って決定される (工程901)。制御フラグが、フレーム間エントロピー符号化がセグメントで許可されないことを示す時 (工程903)、動き予測モジュール 302は工程902〜912を実行して、セグメントの複数の符号化ユニットの動きベクトルを予測し、これにより、構文解析誤差伝播を防止し、工程 902〜912は、図5に示される方法500中の工程 502〜512と同じである。制御フラグが、フレーム間エントロピー符号化がセグメントで許可されることを示す時 (工程903)、動き予測モジュール302 は工程905、907、909と908〜912を実行し、セグメントの複数の符号化ユニットの動きベクトルを予測し、工程 905、907、909と908〜918は、従来の方法200中の工程 202〜212と同じである。
本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

Claims (7)

  1. 動きベクトル予測方法であって、
    (a) 複数の動きベクトル予測を得て、現在のフレームの現在のユニットの動きベクトル予測に用いられる候補集合に含める工程と、
    (b)前記現在のフレームが、別のフレームにより参照されずに動き予測をする非参照フレームであるか否かを判断する工程と、
    (c)前記現在のフレームが前記非参照フレームでない時、前記候補集合から、前に符号化されたフレームに対応するあらゆる動きベクトル予測を除去する工程と、
    (d)前記候補集合の前記動きベクトル予測に従って、前記現在のユニットの動きベクトルを予測する工程と
    を含むことを特徴とする動きベクトル予測方法。
  2. 前記現在のフレームが、前記非参照フレームであるか否か判断する工程は、
    前記現在のフレームのフレームタイプを決定する工程と、
    前記フレームタイプがIフレーム、または、Pフレームである時、前記現在のフレームが非参照フレームでないと判断する工程と、
    前記フレームタイプがBフレームである時、前記現在のフレームが非参照フレームであると判断する工程と
    を含むことを特徴とする請求項1に記載の動きベクトル予測方法。
  3. 前記現在のフレームが、前記非参照フレームであるか否か判断する工程は、
    前記現在のフレームのフレームタイプを決定する工程と、
    前記フレームタイプが非参照Bフレームである時、前記現在のフレームが非参照フレームであると判断する工程と
    を含むことを特徴とする請求項1に記載の動きベクトル予測方法。
  4. 前記候補集合から、前記あらゆる動きベクトル予測を除去する工程は、
    前記候補集合が、前記現在のフレーム中にないユニットに対応する動きベクトル予測であるターゲット動きベクトル予測を含むか否かを決定する工程と、
    前記ターゲット動きベクトル予測が前記候補集合中に存在する時、前記候補集合から、前記ターゲット動きベクトル予測を除去する工程と
    を含むことを特徴とする請求項1に記載の動きベクトル予測方法。
  5. 前記(a)複数の動きベクトル予測を得て、現在のフレームの現在のユニットの動きベクトル予測に用いられる候補集合に含める工程は、
    前記現在のフレーム、または、前に符号化されたフレーム中に位置するユニットから、複数のユニットを決定する工程と、
    前記ユニットから、複数の候補ユニットを選択する工程と、
    前記候補ユニットの動きベクトルを、前記候補集合の前記動きベクトル予測として得る工程と
    を含むことを特徴とする請求項1に記載の動きベクトル予測方法。
  6. 前記候補ユニットの選択は、所定の決定規則、または、適応的選択規則に従うことを特徴とする請求項5に記載の動きベクトル予測方法。
  7. 前記動きベクトル予測方法は、さらに、
    制御フラグを生成して、フレーム間エントロピー符号化がビデオデータストリームのセグメントに許可されるか否かを示す工程と、
    前記制御フラグが、フレーム間エントロピー符号化が許可されないことを示す時、前記工程(a)、 (b)、 (c)と (d)を実行し、動きベクトル予測する工程と、
    前記制御フラグが、フレーム間エントロピー符号化が許可されることを示す時、前記現在のフレームが、前記非参照フレームであるかにかかわらず、前記候補集合から、前記動きベクトル予測を除去せずに、前記候補集合の前記動きベクトル予測に従って、前記現在のユニットの前記動きベクトルを予測する工程と
    を含むことを特徴とする請求項1に記載の動きベクトル予測方法。
JP2013505315A 2010-04-22 2011-04-08 動きベクトル予測方法 Active JP5593440B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US32673110P 2010-04-22 2010-04-22
US61/326,731 2010-04-22
US12/962,411 US9008182B2 (en) 2010-01-18 2010-12-07 Motion prediction method and video encoding method
US12/962,411 2010-12-07
PCT/CN2011/072539 WO2011131091A1 (en) 2010-04-22 2011-04-08 Motion prediction method and video encoding method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014024540A Division JP5860491B2 (ja) 2010-04-22 2014-02-12 動きベクトル予測方法

Publications (2)

Publication Number Publication Date
JP2013528992A JP2013528992A (ja) 2013-07-11
JP5593440B2 true JP5593440B2 (ja) 2014-09-24

Family

ID=44833699

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013504104A Active JP5913283B2 (ja) 2010-04-22 2011-04-07 動き予測方法
JP2013505315A Active JP5593440B2 (ja) 2010-04-22 2011-04-08 動きベクトル予測方法
JP2014024540A Active JP5860491B2 (ja) 2010-04-22 2014-02-12 動きベクトル予測方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013504104A Active JP5913283B2 (ja) 2010-04-22 2011-04-07 動き予測方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014024540A Active JP5860491B2 (ja) 2010-04-22 2014-02-12 動きベクトル予測方法

Country Status (10)

Country Link
EP (4) EP2534841B1 (ja)
JP (3) JP5913283B2 (ja)
KR (3) KR101865011B1 (ja)
AU (1) AU2011242239B2 (ja)
BR (1) BR112012027033B1 (ja)
CA (1) CA2794378C (ja)
IL (1) IL222430A (ja)
MX (1) MX2012012246A (ja)
RU (2) RU2538284C2 (ja)
WO (2) WO2011131089A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456499B1 (ko) * 2010-07-09 2014-11-03 삼성전자주식회사 움직임 벡터의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9300970B2 (en) 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
US20150326875A1 (en) * 2014-05-06 2015-11-12 Mediatek Inc. Video processing method for determining position of reference block of resized reference frame and related video processing apparatus
JP5750191B2 (ja) * 2014-10-15 2015-07-15 日立マクセル株式会社 画像復号化方法
JP5911982B2 (ja) * 2015-02-12 2016-04-27 日立マクセル株式会社 画像復号化方法
JP5951915B2 (ja) * 2016-03-30 2016-07-13 日立マクセル株式会社 画像復号化方法
JP5946980B1 (ja) * 2016-03-30 2016-07-06 日立マクセル株式会社 画像復号化方法
JP6181242B2 (ja) * 2016-06-08 2017-08-16 日立マクセル株式会社 画像復号化方法
KR20230135157A (ko) 2017-09-19 2023-09-22 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2020184847A1 (ko) 2019-03-12 2020-09-17 엘지전자 주식회사 Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
KR102534071B1 (ko) 2019-03-22 2023-05-30 로즈데일 다이나믹스 엘엘씨 Dmvr 및 bdof 기반의 인터 예측 방법 및 장치

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224800A (ja) * 1997-02-07 1998-08-21 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および復号化方法
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6130911A (en) * 1997-11-21 2000-10-10 Sharp Laboratories Of America, Inc. Method and apparatus for compressing reference frames in an interframe video codec
US5946043A (en) * 1997-12-31 1999-08-31 Microsoft Corporation Video coding using adaptive coding of block parameters for coded/uncoded blocks
JP2004208258A (ja) * 2002-04-19 2004-07-22 Matsushita Electric Ind Co Ltd 動きベクトル計算方法
US8300690B2 (en) * 2002-07-16 2012-10-30 Nokia Corporation Method for random access and gradual picture refresh in video coding
US7023921B2 (en) * 2002-08-06 2006-04-04 Motorola, Inc. Method and apparatus for determining block match quality
NO318167B1 (no) * 2002-11-27 2005-02-14 Tandberg Telecom As Vektorprediksjon
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
KR100579493B1 (ko) * 2003-06-16 2006-05-15 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
US7978769B2 (en) * 2003-06-30 2011-07-12 Ntt Docomo, Inc. Method and apparatus for coding motion information
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
CN1213613C (zh) * 2003-09-12 2005-08-03 浙江大学 视频编解码中运动矢量的预测方法和装置
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
CA2574590C (en) * 2004-07-20 2013-02-19 Qualcomm Incorporated Method and apparatus for motion vector prediction in temporal video compression
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN100539693C (zh) * 2005-08-30 2009-09-09 深圳清华大学研究院 快速运动估计方法
US20070064805A1 (en) * 2005-09-16 2007-03-22 Sony Corporation Motion vector selection
JP2007228560A (ja) * 2006-01-25 2007-09-06 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像符号化装置
US20070171977A1 (en) * 2006-01-25 2007-07-26 Shintaro Kudo Moving picture coding method and moving picture coding device
JP2007214741A (ja) * 2006-02-08 2007-08-23 Right Image:Kk 画像データ圧縮装置、画像表示装置、画像データ圧縮方法、画像表示方法、画像データ圧縮プログラム、画像表示プログラム、記憶媒体
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
KR101356735B1 (ko) * 2007-01-03 2014-02-03 삼성전자주식회사 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법
KR101383540B1 (ko) * 2007-01-03 2014-04-09 삼성전자주식회사 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
CN101222627A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 一种多视点视频编解码系统以及预测向量的方法和装置
US8488676B2 (en) * 2007-05-14 2013-07-16 Himax Technologies Limited Motion estimation method
EP2210421A4 (en) * 2007-10-16 2013-12-04 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
CN101198064A (zh) * 2007-12-10 2008-06-11 武汉大学 一种分辨率分层技术中的运动矢量预测方法
CN101232619B (zh) * 2008-01-25 2011-05-11 浙江大学 嵌入帧内编码块的视频编码方法
KR101505195B1 (ko) * 2008-02-20 2015-03-24 삼성전자주식회사 직접 모드 부호화 및 복호화 방법
WO2009115901A2 (en) * 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Nttドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP4977094B2 (ja) * 2008-06-25 2012-07-18 株式会社東芝 画像符号化方法
WO2011048903A1 (ja) * 2009-10-20 2011-04-28 シャープ株式会社 動画像符号化装置、動画像復号装置、および、データ構造
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR101768207B1 (ko) * 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
JP5368631B2 (ja) * 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム

Also Published As

Publication number Publication date
WO2011131089A1 (en) 2011-10-27
JP5860491B2 (ja) 2016-02-16
CA2794378C (en) 2018-05-29
RU2012138901A (ru) 2014-07-20
MX2012012246A (es) 2012-12-17
RU2538317C2 (ru) 2015-01-10
EP2534842A4 (en) 2014-07-09
AU2011242239B2 (en) 2014-03-06
KR20130029069A (ko) 2013-03-21
AU2011242239A1 (en) 2012-09-27
EP2534842A1 (en) 2012-12-19
WO2011131091A1 (en) 2011-10-27
EP2534842B1 (en) 2017-09-06
EP2860981A1 (en) 2015-04-15
KR101865011B1 (ko) 2018-06-05
BR112012027033A8 (pt) 2017-07-11
JP5913283B2 (ja) 2016-04-27
BR112012027033B1 (pt) 2022-10-11
CA2794378A1 (en) 2011-10-27
EP2534841A4 (en) 2014-07-02
EP2534842B8 (en) 2017-10-18
JP2013528992A (ja) 2013-07-11
EP3285490A1 (en) 2018-02-21
KR101772252B1 (ko) 2017-08-29
IL222430A (en) 2016-10-31
EP3285490B1 (en) 2021-03-10
EP2534841A1 (en) 2012-12-19
EP2534841B1 (en) 2017-11-29
EP2860981B1 (en) 2018-08-22
JP2013526142A (ja) 2013-06-20
RU2012138564A (ru) 2014-05-27
JP2014103698A (ja) 2014-06-05
KR20170098959A (ko) 2017-08-30
KR20130036231A (ko) 2013-04-11
BR112012027033A2 (pt) 2016-07-19
KR101482514B1 (ko) 2015-01-14
IL222430A0 (en) 2012-12-31
RU2538284C2 (ru) 2015-01-10

Similar Documents

Publication Publication Date Title
JP5860491B2 (ja) 動きベクトル予測方法
US9008182B2 (en) Motion prediction method and video encoding method
EP3518544B1 (en) Video decoding with improved motion vector diversity
EP3591970B1 (en) Adaptive image decoding method
US20090245376A1 (en) Method and apparatus for encoding/decoding motion vector information
GB2492778A (en) Motion compensated image coding by combining motion information predictors
JP2009504001A (ja) リファレンスビデオフレーム及びノンリファレンスビデオフレームの検出及び隠蔽の方法及び装置
KR20190029753A (ko) 예측 파라미터들에서의 데이터 숨김을 위한 방법 및 장치
US20140169476A1 (en) Method and Device for Encoding a Sequence of Images and Method and Device for Decoding a Sequence of Image
KR100774297B1 (ko) 움직임 벡터 복호화 방법 및 그 장치
KR100774300B1 (ko) 움직임 벡터 복호화 방법 및 그 장치
KR100774298B1 (ko) 움직임 벡터 복호화 방법 및 그 장치
KR100774299B1 (ko) 움직임 벡터 복호화 방법 및 그 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140804

R150 Certificate of patent or registration of utility model

Ref document number: 5593440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250