JP4868539B2

JP4868539B2 - 動画像符号化装置および復号装置

Info

Publication number: JP4868539B2
Application number: JP2008051949A
Authority: JP
Inventors: 知伸吉野; 整内藤; 淳小池
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2008-03-03
Filing date: 2008-03-03
Publication date: 2012-02-01
Anticipated expiration: 2028-03-03
Also published as: JP2009212667A

Description

本発明は、画面をマクロブロック（以下、ＭＢ）に分割し、ＭＢ単位で符号化する際にインター符号化を許容する動画像符号化装置および復号装置に関し、特に、符号化済み隣接ＭＢにおける動きベクトルから、処理ＭＢにおける動きベクトルの予測ベクトルを生成する動画像符号化装置および復号装置に関する。

ＭＢ単位での符号化の際にインター符号化を許容する動画像符号化装置において、ＭＢもしくはＭＢを細分化したブロック（以下、単にブロックと記述）単位でのインター符号化の際に、隣接する符号化済みブロック（以下、参照ブロック）の動きベクトル（以下、参照ベクトル）に基づいて予測ベクトルを生成する手法が、下記の非特許文献１に示されている。この手法により、予測ベクトルと動き補償により得られる動きベクトルの差分のみを符号化することで、動きベクトルの符号化に要する符号量を抑制することが可能である。

非特許文献１の予測ベクトル生成では、隣接する３つもしくは２つのブロックを参照ブロックとし、全ての参照ベクトルのｘ成分およびｙ成分に関するメディアン(中央)値を算出し、同ｘ成分およびｙ成分によって成されるベクトルを予測ベクトルとする。しかしながら、この予測ベクトル生成手法(以下、従来手法)では、それぞれの参照ベクトルが符号化処理を行うブロック（以下、処理ブロック）における予測ベクトルとして適しているかを考慮していない。

この問題を解決するために、非特許文献２では、参照ベクトルの予測ベクトルに対する適否について、各々の参照ベクトルを予測ベクトルとして適用した場合の符号量の大きさに基づき、参照ベクトルを評価する手法が提案されている。この手法は、符号量が最も小さくなる動きベクトルを予測ベクトルとして採用し、動きベクトルを採用したブロックに関する情報を、付加情報として符号化する。

また、非特許文献３では、参照ブロックにおける残差信号の大きさに基づき、参照ベクトルの予測ベクトルに対する妥当性を評価する手法が提案されている。この手法では、参照ベクトルに対して、該参照ブロックの残差信号に応じた重み付けを行い、重み付けベクトルの和を予測ベクトルとする。
Joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG, "Text of ISO/IEC 14496 10 Advanced Video Coding 3rd Edition", July 2004. Tomoyuki Yamamoto, "A new scheme for motion vector predictor encoding", ITU-T SG16, VCEG-AF13, Apr. 2007. 吉野他, "参照ベクトルの信頼度を考慮した動ベクトル符号量削減に関する一検討," PCSJ2007, P2-19, Oct. 2007.

ＭＢ単位での符号化の際にインター符号化を許容し、動き補償により動きベクトルを決定するとともに、参照ベクトルに基づいて予測ベクトルを生成し、動きベクトルと予測ベクトルの差分を符号化する動画像符号化装置を前提とする。

従来手法では、参照ベクトルの予測ベクトルに対する適否を考慮していない。したがって、処理ブロックに動きが異なるオブジェクト境界を含むとき、参照ベクトルの候補に、処理ブロックにおける予測ベクトルに適さないものが含まれる。不適切な参照ベクトルが予測ベクトルに反映された場合、予測ベクトルの精度が著しく低下することとなり、符号化効率の悪化を招く。特に、処理ブロックにおいて、動きが異なるオブジェクト同士の境界が水平方向に走るとき（以下、水平方向エッジ）、同問題による予測ベクトルの性能低下が著しい。

図９を参照して、従来手法において、水平方向エッジに起因して予測ベクトル低下が起きる理由を説明する。図は、参照ブロックＡおよび処理ブロックＤに水平方向エッジを含んでおり、参照ブロックＢおよび参照ブロックＣと、参照ブロックＡおよび処理ブロックで、動きベクトルが異なる場合を示している。ここで、簡単のため、各参照ベクトルをそれぞれ、ｖ_ａ＝（ｘ_ｄ，ｙ_ｄ）、ｖ_ｂ＝ｖ_ｃ＝（ｘ_ｕ，ｙ_ｕ）とする。また、参照ブロックＡの動きベクトルｖ_ａと処理ブロックＤにおける動きベクトルＭＶ＝（ｘ，ｙ）とは等しいと想定する。したがって、（ｘ，ｙ）＝（ｘ_ｄ，ｙ_ｄ）である。このとき、従来手法に基づき、参照ベクトルのメディアンを予測ベクトルとすると、処理ブロックＤの予測ベクトルv_pred＝(x_pred, y_pred)は、式(1)の通りとなる。

したがって、処理ブロックＤにおいて、予測ベクトルv_predが動きベクトルから乖離する。その結果、予測ベクトルと動きベクトルの差分ベクトルが生じるために符号量が必要となり、符号化性能が低下する。

前記非特許文献２では、非特許文献１の欠点である、参照ベクトルの予測ベクトルに対する適否を考慮していない点について、動きベクトルの符号化に要する符号量の観点から妥当性を評価し、最も評価が高い参照ベクトルを予測ベクトルとして採用する。しかしながら、この手法では全てのブロックに対して新たな付加情報が必要となるため、非特許文献１の手法で改善の必要が無いブロックに対しては情報量の増加のみを招く。

また、非特許文献３では、参照ベクトルに対して、同参照ブロックの残差信号に応じた重み付けを行い、重み付けベクトルの和を予測ベクトルとする。しかしながら、残差信号の大きさは、予測ベクトルの正確さのみに依存するものではない。したがって、水平方向エッジに対しても、同規範は必ずしも参照ベクトルの予測ベクトルに対する適否に一致しない。

以上の背景から、動きが異なるオブジェクト同士の境界を含むテクスチャを対象として、参照ブロックの予測ベクトルに対する適否判定を適切に行うとともに、新たな付加情報の増加を避けることができる手法が求められる。

本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、水平方向エッジにより予測ベクトル性能が低下するのを回避すると共に、新たな付加情報の増加を避けることができる動画像符号化装置および復号装置を提供することにある。

前記した目的を達成するために、本発明は、マクロブロック単位での符号化の際にインター符号化を許容する動画像符号化装置において、隣接する符号化済みブロックの動きベクトル（以下、参照ベクトル）の評価値を得る動きベクトル評価値算出部（２２）と、各参照ベクトルの評価値に基づき処理ブロックに対する参照ベクトルの適否を判断する第１の予測ベクトル制御部（２５）と、前記参照ベクトルのメディアンを予測ベクトルとする第１の予測ベクトル生成部（２３）と、前記処理ブロックの左側に隣接する参照ベクトルを予測ベクトルとする第２の予測ベクトル生成部（２４）と、前記第１の予測ベクトル制御部（２５）の前記判断に基づき前記第１、第２の予測ベクトル生成部で生成された予測ベクトルの一方を選択する手段と、を含むインター符号化予測値生成部（２）を具備し、前記参照ベクトルの評価値として、前記符号化済みブロックの差分ベクトルの符号化に要する符号量、又は前記符号化済みブロックの差分ベクトルの大きさ（スカラー）が用いられ、前記第１の予測ベクトル制御部（２５）は、前記適否の判断を、前記処理ブロックの左側のブロックの参照ベクトルの評価値と、該処理ブロックの上側のブロックにおける評価値との大小関係により行い、該処理ブロックの上側の参照ベクトルが予測ベクトルとして適さないと判断された場合、該処理ブロックの左側のブロックの参照ベクトルを予測ベクトルとする制御をするようにした点に特徴がある。

また、マクロブロック単位での復号の際にインター符号化を許容する動画像復号装置において、隣接する符号化済みブロックの動きベクトル（以下、参照ベクトル）の評価値を得る動きベクトル評価値算出部（４３）と、各参照ベクトルの評価値に基づき処理ブロックに対する参照ベクトルの適否を判断する第１の予測ベクトル制御部（４４）と、前記参照ベクトルのメディアンを予測ベクトルとする第１の予測ベクトル生成部（４２）と、前記処理ブロックの左側に隣接する参照ベクトルを予測ベクトルとする第２の予測ベクトル生成部（４５）と、前記第１の予測ベクトル制御部（４４）の前記判断に基づき前記第１、第２の予測ベクトル生成部で生成された予測ベクトルの一方を選択する手段と、を含むインター予測値生成部（１３）を具備し、前記参照ベクトルの評価値として、前記符号化済みブロックの差分ベクトルの符号化に要する符号量、又は前記符号化済みブロックの差分ベクトルの大きさ（スカラー）が用いられ、前記第１の予測ベクトル制御部（４４）は、前記適否の判断を、前記処理ブロックの左側のブロックの参照ベクトルの評価値と、該処理ブロックの上側のブロックにおける評価値との大小関係により行い、該処理ブロックの上側の参照ベクトルが予測ベクトルとして適さないと判断された場合、該処理ブロックの左側のブロックの参照ベクトルを予測ベクトルとする制御をするようにした点に他の特徴がある。

本発明によれば、参照ブロックにおける差分ベクトルを評価することで、水平方向エッジに起因する問題が発生しているかどうかが判定し、水平方向エッジに起因する問題が発生している場合には、処理ブロックの左側に隣接するブロックの参照ベクトルを予測ベクトルとすることができるので、水平方向エッジに起因する予測ベクトル性能の低下を回避することができる。

また、水平方向エッジに起因する問題が検知されたときのみ、適切な参照ベクトルを示す情報を付与することで、効率的なサイド情報付与が可能である。

したがって、本発明により、水平方向エッジに起因する問題を解決することができるとともに、問題解決に必要な付与情報の情報量を抑制することが可能である。その結果、水平方向エッジに対する動きベクトル予測性能が改善し、符号化効率の向上が期待される。

以下に、図面を参照して、本発明を詳細に説明する。まず、本発明が適用される動画像符号化装置について説明する。

図１は、画面内のＭＢ単位での符号化の際にインター符号化を許容し、動き補償により動きベクトルを決定するとともに、隣接する符号化済みブロックの動きベクトルに基づいて予測ベクトルを生成し、動きベクトルと予測ベクトルの差分を符号化する動画像符号化装置のブロック図である。

イントラ符号化予測値生成部１では、入力映像、符号化済みブロックにおける局所復号された画素値ｉ、および符号化済みブロックにおけるイントラ予測方向に関する情報ｊを入力とし、符号化済みブロックにおける局所復号された画素値ｉに基づき、処理ブロックにおける各イントラ予測方向の予測値を生成する。そして、該予測値に対して、入力映像との差分を得る事で、イントラ符号化における符号化歪みを算出する。また、符号化歪みおよび符号化済みブロックにおけるイントラ予測方向に関する情報ｊに基づき、各イントラ予測方向におけるコスト値を算出する。算出されたコスト値を比較し、最も処理ブロックの符号化に適したイントラ予測方向を選択する。該イントラ符号化予測値生成部１の出力として、最適なイントラ予測方向における予測値ａ、該予測方向に関する情報ｂ、および該予測方向におけるコスト値ｃを出力する。

インター符号化予測値生成部２では、入力映像、符号化済みフレームにおける局所復号された画素値ｉ、および同一フレーム内の隣接する符号化済みブロックにおける動きベクトルｊを入力とし、最適な動きベクトルにおける予測値ｄ、該予測情報(動きベクトル)ｅ、および該予測情報におけるコスト値ｆを出力する。本発明は、該インター符号化予測値生成部２の構成に特徴があるので、その詳細は、図３、図５を参照して後述する。

モード判定制御部３では、イントラ符号化予測値生成部１およびインター符号化予測値生成部２から出力されるコスト値ｃ、ｆを入力とし、入力されるコスト値の比較を行い、処理ブロックに適する符号化モードを選択する。該モード判定制御部３は、イントラ符号化予測値生成部１およびインター符号化予測値生成部２から出力される予測値（ａ，ｄ）および予測に関する情報（ｂ，ｅ）について、処理ブロックの符号化に適する符号化モードが符号化に用いられるよう切り替える。

DCT/量子化部４では、入力映像に対する予測値ａまたはｄとの差分を入力とし、入力される信号に対して、DCT処理および量子化処理を施す。そして、その出力として、量子化されたDCT係数ｇを出力する。

IDCT/逆量子化部５では、量子化されたDCT係数ｇを入力とし、該DCT係数ｇに対して、逆量子化処理および逆DCT処理を施す。該IDCT/逆量子化部５の出力として、逆DCTされた画素信号を出力する。

エントロピー符号化部６では、量子化されたDCT係数ｇおよび予測に関する情報ｊ（ｂ又はｅ）を入力とし、入力される信号についてエントロピー符号化を行う。エントロピー符号化部６の出力として、エントロピー符号化された結果を、符号化データｈとして出力する。該符号化データｈはビットストリームとして送出される。

ローカルメモリ(1)７では、予測値と逆DCTされた画素信号の和をとった信号、すなわち局所復号された画素値ｉを入力とする。該ローカルメモリ(1)７では、局所復号された画素値ｉを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に供給する。

ローカルメモリ(2)８では、符号化済みブロックにおいて適用された予測方法に関する情報ｊ（ｂ又はｅ）を入力とする。そして、符号化済みブロックにおける予測情報ｊを蓄積し、適宜、イントラ符号化予測値生成部１およびインター符号化予測値生成部２に該情報ｊを供給する。該予測情報ｊには、符号化済みブロックのＭＶ，差分ベクトル、本発明手法の適用有無に関する情報などが含まれる。

次に、本発明が適用される動画像復号装置について説明する。図２は、画面内のＭＢ単位での符号化の際に拡張イントラ符号化を許容する動画像復号装置のブロック図を示している。動画像復号装置は、符号化データ解析部１１、イントラ予測値生成部１２、インター予測値生成部１３、予測手法制御部１４、およびメモリ１５で構成される。

符号化データ解析部１１では、符号化データｈを入力とし、該符号化データｈをエントロピー復号し、シンタックスに従って符号化データに記述されている内容を解析する。該符号化データ解析部１１の出力として、シンタックス解析の結果として得られる、残差信号ｋおよび予測情報ｍを出力とする。

イントラ予測値生成部１２では、エントロピー復号部から得られる予測情報ｍ、メモリ１５から得られる復号済み画素値ｎを入力とし、復号済み画素値ｎを基に、予測情報ｍにしたがってイントラ予測値を生成する。該イントラ予測値生成部１２の出力として、生成されたイントラ予測値ｐを出力とする。

インター予測値生成部１３では、符号化データ解析部１１のエントロピー復号部から得られる予測情報ｍ、メモリ１５から得られる復号済み画素値ｎを入力とし、復号済み画素値ｎを基に、予測情報ｍにしたがってインター予測値ｑを生成する。該インター予測値生成部１３の出力として、生成されたインター予測値ｑを出力とする。本発明は、該インター予測値生成部１３の構成に特徴を有しているので、その詳細は、図７、図８を参照して後述する。

予測手法制御部１４では、符号化データ解析部１１のエントロピー符号化部から得られる予測情報ｍを入力とする。該予測手法制御部１４では、前記予測情報ｍがイントラ予測に関するものであるか、インター予測に関するものであるかを識別し、イントラ予測およびインター予測を切り替えるための制御信号ｒを出力する。

メモリ１５では、復号済み画素値を入力とし、該復号済み画素値ｎを蓄積し、未復号ブロックの復号処理を行う際に、復号済み画素値ｎをイントラ予測値生成部１２およびインター予測値生成部１３に適宜入力する。

次に、本発明の符号化装置の前記インター符号化予測値生成部２の一実施形態について、図３及び図５を参照して詳細に説明する。図３は、該インター符号化予測値生成部２の第１実施形態であり、図５は、該インター符号化予測値生成部２の第２実施形態である。

まず、図３を参照して、インター符号化予測値生成部２の第１実施形態の構成及び動作を説明する。

近傍ブロックのＭＶ(Motion Vector)抽出部２１では、前記ローカルメモリ(2)８から供給される近傍の符号化済みブロックにおける予測情報ｊを入力とし、該予測情報ｊから近傍ブロックにおけるＭＶの情報を抽出する。そして、その出力として、処理ブロックに隣接する符号化済みブロックにおけるＭＶを出力する。

ＭＶ評価値算出部２２では、前記ローカルメモリ(2)８から供給される近傍の符号化済みブロックにおける差分ベクトルｊを入力とする。該ＭＶ評価値算出部２２では、入力される差分ベクトルｊに基づき、各ブロックにおける予測ベクトルからの乖離を評価する値を算出し、隣接する各符号化済みブロックにおける評価値を出力する。該評価値を算出する方法の具体例は後述する。なお、該差分ベクトルの大きさが大きい程、前記乖離は大きくなる。

Ｈ．２６４予測ベクトル生成部２３では、隣接する符号化済み各ブロックにおける動きベクトルＭＶを入力とする。該Ｈ．２６４予測ベクトル生成部２３は、各動きベクトルにおけるｘ成分およびｙ成分に関してメディアン値を算出し、得られるｘ成分およびｙ成分からなるベクトルを予測ベクトルとし、生成された予測ベクトルを出力する。

本発明手法予測ベクトル生成部２４では、隣接する符号化済みブロックにおける動きベクトルＭＶを入力とし、処理ブロックの左側に隣接する動きベクトルを、処理ブロックにおける予測ベクトルとする。そして、この予測ベクトルを出力する。この予測ベクトルには、本発明手法の適用有無に関する情報が付加される。

予測ベクトル制御部(1)２５には、隣接する符号化済みブロックにおける差分ベクトルの評価値、および処理ブロックの左側に隣接する符号化済みブロックにおける本発明手法の適用有無に関する情報ｊを入力とする。そして、左側に隣接する符号化済みブロックにおいて、本発明手法が適用されていたとき、処理ブロックにおいて本発明手法を適用する。また、処理ブロックの隣接ブロック、例えば左側のブロックおよび上側のブロックにおける差分ベクトルの評価値に基づき、処理ブロックにおける本発明手法の適用可否を判断する。また、これら２つの判断のどちらかにおいて、本発明手法を適用すると判断されたとき、予測ベクトルとして本発明手法予測ベクトル生成部２４の出力を選択するための制御信号（水平方向エッジの危険性に関する情報）を出力する。

図４は、該予測ベクトル制御部(1)２５の動作の概略を説明するフローチャートである。ステップＳ１では、処理ブロックの左側に隣接する符号化済みブロックにおいて本発明手法が適用されているか否かの判断が行われる。この判断が肯定の場合には、当該処理ブロックも動きが異なるオブジェクト同士の境界が水平方向に走る（水平方向エッジ）ブロックの可能性が高いので、ステップＳ３に進んで本発明手法予測ベクトル生成部２４を選択する。一方、前記ステップＳ１が否定の時には、ステップＳ２に進んで、処理ブロックおよび隣接ブロックの差分ベクトルの評価の結果、本発明手法を適用すべきかどうかの判断をする。そして、この判断が肯定の場合には前記ステップＳ３に進み、否定の場合には、ステップＳ４に進んで、Ｈ．２６４予測ベクトル生成部２３を選択する。なお、前記ステップＳ２の処理の具体例は後述する。

再び図３に戻って、参照先決定部２６では、入力映像および符号化済みフレームにおける局所復号された信号ｉを入力とし、処理ブロックにおける入力映像について、局所復号された信号ｉを対象に探索範囲内で最も信号が近い同矩形の位置を探す。最も信号が近い位置について、処理ブロックからの空間的な相対位置を動きベクトルとする。また、最も信号が近い位置における局所復号された信号について、同画素値を予測値とする。さらに、入力映像に対する予測値の差分を、予測誤差とする。該参照先決定部２６の出力として、動きベクトル、予測値ｄ、予測誤差を出力する。

ベクトル差分抽出部２７では、前記参照先決定部２６からの動きベクトルおよび前記本発明手法予測ベクトル生成部２４またはＨ．２６４予測ベクトル生成部２３からの予測ベクトルを入力とし、前記動きベクトルに対する予測ベクトルの差分を、差分ベクトルｅとする。また、該差分ベクトルｅについて、エントロピー符号化を施し、差分ベクトルにより発生する符号量を求める。そして、その出力として、差分ベクトル（復号する際に用いられる予測に関する情報）ｅおよび差分ベクトルの符号化に要する符号量を出力する。

歪み算出部２８では、入力映像、前記予測誤差、前記予測値ｄを入力とする。該歪み算出部２８では、入力される予測誤差について、DCT、量子化、逆量子化、逆DCTの処理を施し、該逆DCTまで施した結果に対して予測値を加えた信号(局所復号信号)を得る。ここで、入力信号に対する局所復号信号の差分を求め、差分信号について二乗和を得る。該歪み算出部１５の出力として、差分信号の二乗和（符号化歪み）を出力する。

コスト値算出部１６は、前記差分ベクトルの符号量および前記符号化歪みを入力とする。該コスト値算出部１６では、該符号量および該符号化歪みをコスト関数に入力し、コスト値を得て、該コスト値ｆを出力する。

次に、図５を参照して、インター符号化予測値生成部２の第２実施形態の構成及び動作を説明する。この第２実施形態は、予測ベクトル制御部(2)３０を除き、図３のブロック図と同一又は同等であるので、以下では、予測ベクトル制御部(2)３０についてのみ説明し、他の構成の説明は省略する。

予測ベクトル制御部(2)３０では、予測ベクトル制御部(1)２５から出力される処理ブロックにおける水平方向エッジの危険性に関する情報、本発明手法予測ベクトル生成部２４からの本発明手法に基づき生成される予測ベクトル、およびＨ．２６４予測ベクトル生成部２３からの従来手法に基づき生成される予測ベクトルを入力とする。

該予測ベクトル制御部(2)３０では、本発明手法予測ベクトル生成部２４に基づき生成される予測ベクトルとＨ．２６４予測ベクトル生成部２３（従来手法２３）に基づき生成される予測ベクトルについて、符号化性能の優劣に基づき、適切な予測ベクトルを選択する。また、予測ベクトル制御部(1)２５により水平方向エッジの危険性があると判断される場合には、該予測ベクトル制御部(2)３０の出力として、本発明手法予測ベクトル生成部２４あるいはＨ．２６４予測ベクトル生成部２３のどちらを選択したかを表す制御情報３０ａを出力する。この制御信号３０ａは、図示していないが、前記符号化データｈのビットストリームに含められる。

図６は、前記予測ベクトル制御部(1)２５および予測ベクトル制御部(2)３０の動作の概略を示すフローチャートである。

ステップＳ１、Ｓ２およびＳ４は、図４と同じであるので、説明を省略する。ステップＳ１０では、本発明手法による予測ベクトルがＨ．２６４予測ベクトルよりも符号化性能が良いかどうかの判断がなされる。この判断が肯定の場合にはステップＳ１１に進んで本発明手法予測ベクトル生成部２４が選択される。一方、この判断が否定の時にはステップＳ１２に進んで、Ｈ．２６４予測ベクトル生成部２３が選択される。次いで、ステップＳ１３に進んで、前記本発明手法予測ベクトル生成部２４とＨ．２６４予測ベクトル生成部２３のいずれを選択したかを示す制御情報３０ａが出力される。つまり、水平方向エッジの危険性がある時には前記制御情報３０ａが出力されるが、水平方向エッジの危険性がない時には制御情報３０ａ出力されない。このため、新たな付加情報の増加を極力避けることができる。

以上の第１、第２実施形態によれば、水平方向エッジに起因する問題が発生していることが検知された場合には、処理ブロックの左側に隣接するブロックの参照ベクトルを予測ベクトルとすることができるので、水平方向エッジに起因する予測ベクトル性能の低下を回避することができる。また、第２実施形態によれば、水平方向エッジに起因する問題が検知されたときのみに、これを示す制御情報を付与することで、効率的なサイド情報付与が可能となる。

次に、動画像復号装置におけるインター予測値生成部１３の実施形態について、図７及び図８を参照して説明する。図７のインター予測値生成部は前記インター符号化予測値生成部の第１実施形態（図３）に対応するものであり、図８のインター予測値生成部は前記インター符号化予測値生成部の第２実施形態（図５）に対応するものである。

まず、図７のインター予測値生成部について説明する。近傍ブロックのＭＶ(Motion Vector)抽出部４１では、前記符号化データ解析部１１から供給される近傍の符号化済みブロックにおける予測情報(実際の動きベクトルに対する予測ベクトルとの差分)を入力とする。該ＭＶ抽出部４１では、入力される予測情報ｍから、近傍ブロックにおける動きベクトルの情報を抽出し、処理ブロックに隣接する符号化済みブロックにおける動きベクトルを出力する。

Ｈ．２６４予測ベクトル生成部４２では、処理ブロックに隣接する符号化済みブロックにおける動きベクトルを入力とする。そして、入力される動きベクトルのｘ成分およびｙ成分について各成分のメディアン値を求め、得られた各成分によって成されるベクトルを予測ベクトルとする。該予測ベクトル生成部４２は、予測ベクトルを出力する。

ＭＶ評価値算出部４３では、予測情報ｍに含まれる近傍の符号化済みブロックにおける差分ベクトルを入力とし、入力される差分ベクトルに基づき、各ブロックにおける予測ベクトルからの乖離を評価する値を算出する。そして、その出力として、隣接する各符号化済みブロックにおける評価値を出力する。該評価値の算出方法の具体例は、後述する。

予測ベクトル制御部(1)４４では、隣接する符号化済みブロックにおける差分ベクトルの評価値、および予測情報に含まれる処理ブロックの左側に隣接する符号化済みブロックにおける本発明手法の適用有無に関する情報を入力とする。該予測ベクトル制御部(1)４４では、左側に隣接する符号化済みブロックにおいて、本発明手法が適用されていたとき、処理ブロックにおいて本発明手法を適用する。また、該処理ブロックの隣接ブロック、例えば左側のブロックおよび上側のブロックにおける差分ベクトルの評価値に基づき、処理ブロックにおける本発明手法の適用可否を判断する。また、これら２つの判断のどちらかにおいて、本発明手法を適用すると判断されたとき、予測ベクトルとして本発明手法予測ベクトル生成部の出力を選択する。該予測ベクトル制御部(1)４４の処理は、図４の通りである。

本発明手法予測ベクトル生成部４５では、隣接する符号化済みブロックにおける動きベクトルを入力とし、処理ブロックの左側に隣接するブロックの動きベクトルを、処理ブロックにおける予測ベクトルとする。そして、該生成された予測ベクトルを出力する。

ＭＶ生成部４６では、該予測ベクトルおよび予測情報ｍに含まれる処理ブロックにおける差分ベクトルを入力とする。そして、該予測ベクトルおよび差分ベクトルにおける各成分同士の和を求め、得られた各成分によって成されるベクトルを、処理ブロックにおける動きベクトルとする。

参照先決定部４７では、符号化済みフレームにおける符号化結果を復号した画素値ｎ、前記動きベクトル、および予測情報ｍに含まれる参照先フレームを識別する情報を入力とする。該参照先決定部４７では、動きベクトルおよび参照先フレームを識別する情報に基づき、符号化済みフレームにおいて予測値とする画素値を特定し、同画素値を処理ブロックにおけるインター予測値ｑとする。そして、該処理ブロックにおけるインター予測値ｑを出力する。

この実施形態によれば、何らの制御情報を用いることなく、図３で選択されたのと同じ予測ベクトル生成部を選択することができる。また、水平方向エッジにより予測ベクトル性能が低下する問題を解消することができる。

次に、図８のインター予測値生成部について説明する。この実施形態は、予測ベクトル制御部(2)４８が図７の実施形態と異なるだけで、他の構成は図７と同一又は同等であるので、該予測ベクトル制御部(2)４８についてのみ説明し、他の構成の説明は省略する。

予測ベクトル制御部(2)４８では、予測ベクトル制御部(1)４４から出力される水平方向エッジの危険性有無に関する情報、および符号化データに含まれる予測ベクトル生成手法を表す制御情報３０ａを入力とする。予測ベクトル制御部(2)４８は、予測ベクトル制御部(1)４４から水平方向エッジの危険性がある旨の情報を入力すると、該制御情報３０ａに従い予測ベクトル生成手法を制御するための制御信号を出力する。そして、この信号により、図５で選択されたのと同じ予測ベクトル生成部４２または４５が選択される。一方、予測ベクトル制御部(1)４４から水平方向エッジの危険性がない旨の情報を入力すると、Ｈ．２６４予測ベクトル生成部４２が選択される。

上記した実施形態によれば、水平方向エッジにより予測ベクトル性能が低下する危険性がある時に、該予測ベクトル性能の良い方の予測ベクトル生成部４２または４５を選択することができる。よって、水平方向エッジにより予測ベクトル性能が低下する問題を解消することができることができる。

次に、前記ＭＶ評価値算出部２５，４３の処理、すなわち符号化済みブロックにおける差分ベクトルの評価値算出処理の具体例を２つ説明する。

(1a）差分ベクトルの符号化に要する符号量による処理

符号化済みブロックにおける差分ベクトルを、同ベクトルの符号化に要する符号量にて評価する。同評価値は、同ベクトルの符号化結果として得られる２進数列のbit数により得られる。

(2a）差分ベクトルの大きさ(スカラー)による処理

符号化済みブロックにおける差分ベクトルを、同ベクトルの大きさ(スカラー)にて評価する。同評価値は、同ベクトルのｘ成分およびｙ成分の二乗和の平方根により得られる。

次に、図４、図６のステップＳ２の処理の具体例、すなわち評価値に基づく本発明手法の適用可否の判定処理の具体例を２つ説明する。

(1b) 閾値判定による処理

処理ブロックの左側に隣接する符号化済みブロックにおける評価値に基づく、処理ブロックにおける発明手法の適用可否の判定を、同評価値の閾値判定により行う。同評価では、評価値が閾値よりも大きいとき、同処理ブロックにおいて発明手法を適用可能であるとする。なお、閾値は、スライス単位もしくはＭＢ単位で任意に決めることができるものとする。また、閾値に対する大小を逆にしても同じ効果が得られる。

(2b) 大小判定による処理
処理ブロックの左側に隣接する符号化済みブロックにおける評価値に基づく、処理ブロックにおける発明手法の適用可否の判定を、上側のブロックにおける評価値との大小関係により判定する。同評価では、左側のブロックにおける評価値が、上側のブロックにおける評価値の合計よりも大きいとき、処理ブロックにおいて発明手法を適用可能であるとする。なお、閾値に対する大小を逆にしても同じ効果が得られる。

前記評価値算出処理および該評価値に基づく本発明手法の適用可否の判定処理の具体例は一例であり、他の処理も用いることができる。

さて、本発明者は、シミュレーションとして、エンコーダに本発明手法を実装し、符号化実験を行った。差分ベクトルの評価処理に関しては、前記(1a) の差分ベクトルの符号化に要する符号量による処理に従い、発明手法の適用可否に関しては前記(1b)の閾値判定による方法に従った。符号化実験の結果、約０．４５％の平均符号量削減が得られた。また、動きベクトルに要する符号量が、約２．５５％削減された。以上により、本発明により、動きベクトル予測の性能が改善し、符号化性能が改善することが確認された。

本発明が適用される動画像符号化装置の構成例を示すブロック図である。本発明が適用される動画像復号装置の構成例を示すブロック図である。本発明のインター符号化予測値生成部の第１実施例の構成を示すブロック図である。図３の予測ベクトル制御部(1)の動作の概略を示すフローチャートである。本発明のインター符号化予測値生成部の第２実施例の構成を示すブロック図である。図５の予測ベクトル制御部(1)および予測ベクトル制御部(2)の動作の概略を示すフローチャートである。本発明のインター予測値生成部の第１実施例の構成を示すブロック図である。本発明のインター予測値生成部の第２実施例の構成を示すブロック図である。水平方向エッジに起因して予測ベクトル低下が起きる理由を説明する図である。

符号の説明

２・・・インター符号化予測値生成部、１３・・・インター予測値生成部、２２、４３・・・ＭＶ評価値算出部、２３、４２・・・Ｈ．２６４予測ベクトル生成部、２４、４５・・・本発明手法予測ベクトル生成部、２５、４４・・・予測ベクトル制御部（１）、３０、４８・・・予測ベクトル制御部（２）。

Claims

マクロブロック単位での符号化の際にインター符号化を許容する動画像符号化装置において、
隣接する符号化済みブロックの動きベクトル（以下、参照ベクトル）の評価値を得る動きベクトル評価値算出部（２２）と、
各参照ベクトルの評価値に基づき処理ブロックに対する参照ベクトルの適否を判断する第１の予測ベクトル制御部（２５）と、
前記参照ベクトルのメディアンを予測ベクトルとする第１の予測ベクトル生成部（２３）と、
前記処理ブロックの左側に隣接する参照ベクトルを予測ベクトルとする第２の予測ベクトル生成部（２４）と、
前記第１の予測ベクトル制御部（２５）の前記判断に基づき前記第１、第２の予測ベクトル生成部で生成された予測ベクトルの一方を選択する手段と、
を含むインター符号化予測値生成部（２）を具備し、
前記参照ベクトルの評価値として、前記符号化済みブロックの差分ベクトルの符号化に要する符号量、又は前記符号化済みブロックの差分ベクトルの大きさ（スカラー）が用いられ、
前記第１の予測ベクトル制御部（２５）は、前記適否の判断を、前記処理ブロックの左側のブロックの参照ベクトルの評価値と、該処理ブロックの上側のブロックにおける評価値との大小関係により行い、該処理ブロックの上側の参照ベクトルが予測ベクトルとして適さないと判断された場合、該処理ブロックの左側のブロックの参照ベクトルを予測ベクトルとする制御をすることを特徴とする動画像符号化装置。
請求項１に記載の動画像符号化装置において、
前記処理ブロックの左側のブロックの参照ベクトルのみもしくは隣接ブロックの参照ベクトルのメディアン値のどちらを予測ベクトルとする方が符号化性能が良くなるかを判断する第２の予測ベクトル制御部（３０）をさらに有し、
該符号化性能の良い方を該処理ブロックの予測ベクトルとすることを特徴とする動画像符号化装置。
請求項２に記載の動画像符号化装置において、
前記第２の予測ベクトル制御部（３０）により前記処理ブロックの上側の参照ベクトルが処理ブロックの予測ベクトルに適さないと判断された場合、該処理ブロックのビットストリームに、左側の参照ベクトルのみもしくは参照ベクトルのメディアン値のどちらを予測ベクトルとして採用したかを表す制御情報（３０ａ）を付与することを特徴とする動画像符号化装置。
マクロブロック単位での復号の際にインター符号化を許容する動画像復号装置において、
隣接する符号化済みブロックの動きベクトル（以下、参照ベクトル）の評価値を得る動きベクトル評価値算出部（４３）と、
各参照ベクトルの評価値に基づき処理ブロックに対する参照ベクトルの適否を判断する第１の予測ベクトル制御部（４４）と、
前記参照ベクトルのメディアンを予測ベクトルとする第１の予測ベクトル生成部（４２）と、
前記処理ブロックの左側に隣接する参照ベクトルを予測ベクトルとする第２の予測ベクトル生成部（４５）と、
前記第１の予測ベクトル制御部（４４）の前記判断に基づき前記第１、第２の予測ベクトル生成部で生成された予測ベクトルの一方を選択する手段と、
を含むインター予測値生成部（１３）を具備し、
前記参照ベクトルの評価値として、前記符号化済みブロックの差分ベクトルの符号化に要する符号量、又は前記符号化済みブロックの差分ベクトルの大きさ（スカラー）が用いられ、
前記第１の予測ベクトル制御部（４４）は、前記適否の判断を、前記処理ブロックの左側のブロックの参照ベクトルの評価値と、該処理ブロックの上側のブロックにおける評価値との大小関係により行い、該処理ブロックの上側の参照ベクトルが予測ベクトルとして適さないと判断された場合、該処理ブロックの左側のブロックの参照ベクトルを予測ベクトルとする制御をすることを特徴とする動画像符号化装置。
請求項４に記載の動画像復号装置において、
前記処理ブロックの左側のブロックの参照ベクトルのみもしくは隣接ブロックの参照ベクトルのメディアン値のどちらを予測ベクトルとする方が符号化性能が良くなるかを判断する第２の予測ベクトル制御部（４８）をさらに有し、
該符号化性能の良い方を該処理ブロックの予測ベクトルとすることを特徴とする動画像符号化装置。
請求項５に記載の動画像復号装置において、
前記第２の予測ベクトル制御部（４８）は、前記予測ベクトル制御部（４４）の判断およびビットストリーム中の予測情報に基づき、参照ベクトルのメディアン又は左側に隣接する参照ベクトルを予測ベクトルとすることを特徴とする動画像復号装置。
請求項６に記載の動画像復号装置において、
前記第２予測ベクトル制御部（４８）により前記処理ブロックの上側の参照ベクトルが処理ブロックの予測ベクトルに適さないと判断された場合、前記ビットストリームから得られる制御情報に基づき、左側の参照ベクトルのみもしくは参照ベクトルのメディアン値のどちらかを予測ベクトルとして用いることを特徴とする動画像復号装置。