JP4577778B2 - 動画像の符号化および復号化方法 - Google Patents

Description

本発明は動画像の符号化および復号化方法に係り、特に、フレーム内予測符号化およびフレーム内予測復号化に好適な動画像の符号化および復号化方法に関する。

動画像データの予測符号化方式は、対象フレーム中で隣接する画素間の相関性を利用するフレーム内符号化と、動画像中で連続するフレーム間の相関性を利用するフレーム間符号化に分類され、一般に、フレーム間符号化はフレーム内符号化と比較して符号化効率が高くなる。近年では、フレーム内予測符号化とフレーム間予測符号化とを巧みに組み合わせて圧縮効果を上げる技術が研究されている。

特許文献１では、次世代動画像符号化方式のひとつであるH.264/AVC（Advanced Video Coding）のフレーム内予測符号化において、各フレームを４×４画素サイズもしくは１６×１６画素サイズのブロック（マクロブロック）に分割してブロックごとに符号化処理を施し、符号化しようとする注目ブロックに隣接する画素を用いて予測画像を生成し、その予測画像と原画像との差分値を変換・量子化することで圧縮効率を向上させている。フレーム内予測で用いられる予測方法は１種類ではなく、その予測方向に応じて９種類が用意されている。

図８は、H.264のフレーム内予測 の４×４画素ブロックにおける全予測モードを示した図であり、図９は、その予測方向を予測モードごとに模式的に示した図である。

従来技術では、予測モード０（垂直予測）、予測モード１（水平予測）、予測モード２（直流成分予測）、予測モード３（直交左下予測）、予測モード４（直交右下予測）、予測モード５（垂直右下予測）、予測モード６（水平右下予測）、予測モード７（垂直左下予測）および予測モード８（水平右上予測）の９つの予測モードが用意されている。記号Ａ〜Ｍは既に符号化されている参照画素信号である。予測モード０（垂直予測モード）では、垂直方向に沿ってそれぞれ既に符号化済みの参照画素Ａ、Ｂ、Ｃ、Ｄから予測する。予測モード２（直流成分予測）では参照画素Ａ〜ＤとＪ〜Ｍまでの平均値が求められ、この平均値により４×４ブロックの全画素が予測される。
特開平２００５−２５２６７９号公報

上記した従来技術では、フレーム内でブロックがラスタ順（左上から右下方向）に符号化されることを前提としているため、予測符号化に際して参照されるブロックが注目ブロックの上部（右上および左上を含む）および左部に限定されていた。したがって、注目ブロックの下部や右部を参照ブロックとした方が符号化効率が高くなるような場合であっても、これらを参照ブロックとすることができなかった。

本発明の目的は、上記した従来技術の課題を解決し、符号化効率を従来よりも改善できる動画像の符号化方法および復号化方法を提供することにある。

上記した目的を達成するために、本発明の動画像符号化方法は、以下の手順を含むことを特徴とする。

(1)フレーム内の全てのマクロブロックをフレーム内予測符号化方式またはフレーム間予測符号化方式で符号化し、その符号化効率を代表する効率代表情報をマクロブロックごとに登録する第１手順と、フレーム内の各マクロブロックに所定の順序で注目し、符号化済みのマクロブロックを利用して注目マクロブロックをフレーム内予測符号化方式で符号化する第２手順と、前記フレーム内予測符号化方式による符号化効率と各マクロブロックに関して既登録の効率代表情報とをマクロブロックごとに比較し、符号化効率の高い符号化方式を選択する第３手順と、前記比較結果に基づいて、前記既登録の効率代表情報を更新する第４手順と、前記第２ないし第４手順を全てのマクロブロックに対して繰り返す第５手順とを含み、前記第２手順では、注目マクロブロックの右側、右下側、下側および左下側のいずれかに隣接するマクロブロックを参照マクロブロックとしてフレーム内予測符号化方式が実行されることを特徴とする。

さらに、本発明の動画像復号化方法は、以下の手順を含むことを特徴とする。
(2)フレーム内の少なくともフレーム間予測符号化方式で符号化された全てのマクロブロックを復号化する第１手順と、フレーム内の各マクロブロックに所定の順序で注目し、フレーム内予測符号化方式で符号化されたマクロブロックであって、その参照マクロブロックが既に復号化されているマクロブロックを復号化する第２手順と、フレーム内の全てのマクロブロックが復号化されるまで前記第２の手順を繰り返す第３手順とを含むことを特徴とする。

(1)本発明のフレーム内予測符号化方式によれば、各マクロブロックを、その左側や上側に隣接するマクロブロックのみならず、右側や下側に隣接するマクロブロックを参照ブロックとしてフレーム内予測符号化方式で符号化できるので、符号化対象の注目ブロックに類似したマクロブロックが当該注目ブロックの右側や下側に隣接しているような場合には、従来よりも高い符号化効率を得られるようになる。

(2)本発明のフレーム内予測復号化方式によれば、従来よりも高い符号化効率で符号化された符号化データを確実に復号化できるようになる。

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明のフレーム内（イントラ）予測において新たに追加される９つの予測モードを、４×４画素ブロックの場合を例にして示した図であり、図２は、その予測方向を模式的に示した図である。

本実施形態では、前記予測モード０と予測方向が上下逆向きの予測モード９（逆垂直予測）や前記予測モード１と予測方向が左右逆向きの予測モード１０（逆水平予測）を含めて、前記図８，９に関して説明した従来技術の各予測モードとは予測方向が逆向きの予測モード１１（逆直流成分予測）、予測モード１２（直交右上予測）、予測モード１３（直交左上予測）、予測モード１４（垂直左上予測）、予測モード１５（水平左上予測）、予測モード１６（垂直右上予測）および予測モード１７（水平左下予測）の９つの予測モードが、従来の９つの予測モード０〜８に加えて用意されている。

ここでも、記号Ａ〜Ｍは既に符号化されている参照画素信号である。予測モード９（逆垂直予測）では、逆垂直方向に沿ってそれぞれ既に符号化済みの参照画素Ａ、Ｂ、Ｃ、Ｄから予測する。予測モード１１（逆直流成分予測）では、参照画素Ａ〜ＤおよびＪ〜Ｍのの平均値を求め、この平均値により４×４ブロックの全画素が予測される。

本実施形態では、各マクロブロック(MB)をイントラ符号化する際に、図８，９に示した従来の９つの予測モード０〜８に加えて、図１，２に示した９つの予測モード８〜１７でも予測することで、注目MBの右側、右下側、下側および左下側を含む全方位からの予測を可能にしている。

次いで、図３のフローチャートを参照して、本発明の第１実施形態に係る動画像の符号化手順について説明する。

ステップS１では、今回の符号化対象となるピクチャ（フレーム）が、他のピクチャとの依存関係がなく、単独で符号化できるIピクチャであるか否かが判定される。Iピクチャ以外であればステップS２へ進み、全てのMBがフレーム間予測（インタ）符号化方式で符号化圧縮されると共に、その符号化効率を代表する効率代表情報として、例えばコスト値がMBごとに算出される。これに対して、符号化対象のピクチャがIピクチャであればステップS３へ進む。ステップS３では、全てのMBが従来技術と同様に、予測モード０〜８のいずれかを利用してフレーム内予測（イントラ）符号化方式で符号化圧縮されると共に、そのコスト値がMBごとに算出される。

以上のようにして、全てのMBに対して暫定的な符号化が完了すると、ステップS４では、今回の符号化対象となるピクチャの左上端部に位置しているMBが今回の注目MBに設定される。ステップS５では、今回の注目MBが、これに隣接してイントラ符号化されているMB（以下、イントラMBと表現する）をイントラ符号化した際に参照MBとされているか否かが判定される。注目MBがいずれかの隣接イントラMBの参照MBであれば、後述するステップS１０まで進む。

これに対して、注目MBがいずれの隣接イントラMBからも参照MBとされていなければステップS６へ進み、当該注目MBが、インタ符号化方式により符号化された隣接インタMBまたはイントラ符号化方式で符号化されたイントラMBを参照MBとして、前記予測モード０〜１７の全てを利用して全方位からイントラ符号化され、予測モードごとにコスト値が算出される。

図５は、前記ステップS５における判定方法を模式的に表現した図であり、図中の矢印は予測方向を表現しており、MB21は左側に隣接するMB11を参照して予測符号化され、MB32は上側に隣接するMB31を参照して予測符号化されていることを示している。

このような状態において、例えばMB32に参照されているMB31の符号化方式や予測方向が変更されてしまうと、これがMB32の予測値にも波及してしまう。そこで、本実施形態ではこのような事態を避けるべく、隣接するイントラMBから参照されていないMB22，MB23，MB33，MB43に関してのみステップS６の手順が実行され、それ以外のMBにはステップS６の手順が実行されないようにしている。

図３へ戻り、ステップS７では、予測モードごとに算出されたコスト値の中から最小コスト値が選択される。ステップS８では、前記ステップS７で選択された今回の最小コスト値と、当該注目MBに関して既登録の最小コスト値とが比較される。今回のコスト値が既登録の最小コスト値を下回っていれば、ステップS９において、今回のコスト値が注目MBに関する最小コスト値として更新登録されると共に、予測モードを含む符号化情報が更新登録される。

ステップS１０では、今回の注目MBがピクチャの右下端部に位置している終端MBであるか否かが判定される。終端MBでなければ、ステップS１１で注目MBをラスタ方向へ１MB分だけシフトした後にステップS５へ戻り、次の注目MBに関して上記した各処理が繰り返される。これに対して、今回の注目MBが終端MBであればステップS１０からステップS１２へ進む。ステップS１２では、反復回数Nが所定の上限回数Nmaxに達したか否かが判定され、上限回数Nmaxに達していれば次のピクチャへ移行する。反復回数Nが上限回数Nmaxに達していなければ、ステップS１３で反復回数Nをインクリメントした後に前記ステップS４へ戻り、上記した各処理が繰り返される。

図６は、前記ステップS１２，Ｓ１３で実行される反復処理の機能を模式的に表現した図である。

m（m＜Nmax）回目の反復処理が終了した時点での予測方向が前記図５の通りであると、例えばMB33は右側に隣接する更新前のMB43を参照した際のコスト値よりも、上側に隣接するMB32を参照した際のコスト値の方が小さかったためにMB32を参照MBとしている。しかしながら、その後にMB43が更新されると、次の(m+１)回目の反復処理では、MB33は右側に隣接する更新後のMB43を参照した際のコスト値の方が、上側に隣接するMB32を参照した際の既登録のコスト値よりも小さくなる場合がある。そこで、本実施形態では上記反復手順を設けることで、コスト値の更なる削減を可能にしている。

次いで、図４のフローチャートを参照して、本発明の第２実施形態に係る動画像の復号化手順について説明する。

ステップS２１では、今回の復号化対象となるピクチャの全てのMBに関するサイド情報およびDCT係数等が取得される。このとき、MBがイントラMBであれば、サイド情報として予測モードおよび予測方向が取得される。ステップS２２では、前記サイド情報に基づいて、今回の復号化対象ピクチャが、その全てのMBをイントラ符号化されているイントラピクチャであるか否かが判定される。イントラピクチャであればステップS２３へ進み、左上端部に位置しているMBのみがイントラ復号化される。インタピクチャであればステップS２４へ進み、全MBのうちインタ符号化されているMB（以下、インタMBと表現する）のみが選択的にインタ復号化される。

ステップS２５では、左上端部に位置しているMBが今回の注目MBに設定される。ステップS２６では、今回の注目MBが未だ復号化されていないイントラMBであるか否かが判定される。復号化されていないイントラMBであればステップS２７へ進み、その予測モードが前記サイド情報に基づいて判定される。ステップS２８では、注目MBの復号化に必要な全ての参照MBが既に復号化済みであるか否かが判定される。復号化済みで有ればステップS２９へ進み、前記予測モードに従って注目MBがイントラ復号化される。

ステップS３０では、今回の注目MBが右下端部に位置している終端MBであるか否かが判定される。終端MB以外であれば、ステップS３１で注目MBをラスタ方向へ１MB分だけシフトした後にステップS２６へ戻り、次の注目MBに関して上記した各処理が繰り返される。これに対して、今回の注目MBが終端MBであればステップS３０からステップS３２へ進む。ステップS３２では、全てのMBが復号化されたか否かが判定され、復号化されていないMBが存在すれば、ステップS２５へ戻って上記した各処理が左上端部のMBから繰り返される。

図７は、前記ステップＳ３２で復号化処理が繰り返されることによって各MBが段階的に復号化されていく様子を模式的に表現した図であり、ハッチングの施されたMBが復号化済みのMBを表し、矢印は予測方向を表している。

m回目の処理では、MB23は参照MB33が復号化されていないので復号化できない。同様に、MB33も参照MB43が復号化されていないので復号化できない。ただし、MB43は当該m回目の処理において、その後に復号化される。(m+1)回目の処理では、MB23は参照MB33が復号化されていないので依然として復号化できないが、MB33は参照MB43が前回（m回目）の処理で新たに復号化されたので復号化される。(m+2)回目の処理では、MB23は参照MB33が前回の処理で復号化されているので復号化される。

本発明におけるフレーム内予測（４×４画素ブロック）の各予測モードを示した図である。 本発明におけるフレーム内予測（４×４画素ブロック）の各予測モードの予測方向を示した図である。 本発明のフレーム内予測符号化手順を示したフローチャートである。 本発明のフレーム内予測復号化手順を示したフローチャートである。 図３のステップS５における判定方法を模式的に表現した図である。 図３のステップS１２，Ｓ１３で実行される反復処理の機能を模式的に表現した図である。 図４のステップＳ３２で復号化処理が繰り返されることによって各MBが段階的に復号化されていく様子を模式的に表現した図である。 H.264のフレーム内予測（４×４画素ブロック）の全予測モードを示した図である。 H.264のフレーム内予測（４×４画素ブロック）の全予測モードの予測方向を示した図である。

Claims (6)

1. 動画像の各フレームを複数のマクロブロックに分割し、各マクロブロックをフレーム内予測符号化方式またはフレーム間予測符号化方式で符号化する動画像の符号化方法において、
   フレーム内の全てのマクロブロックをフレーム内予測符号化方式またはフレーム間予測符号化方式で符号化し、その符号化効率を代表する効率代表情報をマクロブロックごとに登録する第１手順と、
   フレーム内の各マクロブロックに所定の順序で注目し、当該注目マクロブロックが、これに隣接するマクロブロックがフレーム内予測符号化方式で符号化された際に参照マクロブロックとされていないとき、当該注目マクロブロックをフレーム内予測符号化方式で符号化する第２手順と、
   前記フレーム内予測符号化方式による符号化効率と各マクロブロックに関して既登録の効率代表情報とをマクロブロックごとに比較し、符号化効率の高い符号化方式を選択する第３手順と、
   前記比較結果に基づいて、前記既登録の効率代表情報を更新する第４手順と、
   前記第２ないし第４手順を全てのマクロブロックに対して繰り返す第５手順とを含み、
   前記第２手順では、注目マクロブロックの右側、右下側、下側および左下側のいずれかに隣接するマクロブロックを参照マクロブロックとしてフレーム内予測符号化方式が実行されることを特徴とする動画像の符号化方法。
2. 前記第５手順を所定の回数だけ繰り返す第６手順を含むことを特徴とする請求項１に記載の動画像の符号化方法。
3. 前記第５手順が、注目マクロブロックがフレーム内予測符号化方式の参照マクロブロックとされている場合はスキップされることを特徴とする請求項１または２に記載の動画像の符号化方法。
4. 各フレームが複数のマクロブロックに分割され、各マクロブロックがフレーム内予測符号化方式またはフレーム間予測符号化方式で符号化された動画像を復号化する動画像の復号化方法において、
   復号化の対象が、全てのマクロブロックをイントラ符号化されているイントラピクチャのフレーム以外であれば、フレーム内のフレーム間予測符号化方式で符号化された全てのマクロブロックを復号化する第１手順と、
   前記第１の手順により復号化したフレーム内の各マクロブロックに所定の順序で注目し、フレーム内予測符号化方式で符号化されたマクロブロックであって、その参照マクロブロックが既に復号化されているマクロブロックを復号化する第２手順と、
   フレーム内の全てのマクロブロックが復号化されるまで前記第２の手順を繰り返す第３手順とを含むことを特徴とする動画像の復号化方法。
5. 前記第１手順では、フレーム内にフレーム内予測符号化方式で符号化されたマクロブロックおよびフレーム間予測符号化方式で符号化されたマクロブロックが混在している場合には、フレーム間予測符号化方式で符号化されたマクロブロックのみが復号化されることを特徴とする請求項４に記載の動画像の復号化方法。
6. 前記第１手順が、イントラピクチャのフレームについて、その左上端部のマクロブロックを復号化する手順を含むことを特徴とする請求項４に記載の動画像の復号化方法。

Images