JP4958713B2 - 動画像符号化装置及びその制御方法 - Google Patents

Description

本発明は可変ビットレートでリアルタイム符号化する技術に関するものである。

近年のデジタル信号処理技術の飛躍的な進歩により、従来ならば困難であった動画像の蓄積メディアへの記録や伝送路を介した動画像の伝送が行われている。この場合に、動画像を構成する各々のピクチャは圧縮符号化処理が施され、そのデータ量が大幅に削減される。この圧縮符号化処理として代表的な手法の一つが、例えばＭＰＥＧ（Moving Picture Experts Group）方式である。

ＭＰＥＧ方式に準拠して一連のピクチャを一定のビットレートという条件下で圧縮符号化する場合に、複数ピクチャからなるシーン、ピクチャの空間周波数特性、ピクチャ間の相関、及び量子化スケール値に応じて符号量が大きく異なる。この様な符号化特性をもつ装置を実現する上で符号化歪みを最小限にするための重要な技術が符号量制御である。

符号量制御を実現するためのアルゴリズムについては、固定ビットレート符号化方式（以下、ＣＢＲ方式）、及び、可変ビットレート符号化方式（以下、ＶＢＲ方式）の２つに大別出来る。一般にＶＢＲ方式では符号化難易度に応じて符号を適応的に割り当てるため、ＣＢＲ方式に比べて、復号ピクチャの画質が良い事が知られている。符号の適応的な割り当て方は、例えば符号化難易度が高いシーンには高いビットレートを割り当て、符号化難易度が低いシーンには低いビットレートを割り当てる事により実現される。
特開平９−２９４２６７号公報 特開２００３−６１０５１号公報

特許文献１はＣＢＲ方式の課題を解決する事で、ＶＢＲ方式で画質の向上を試みている。ＣＢＲ方式では、直前ＧＯＰ（Group Of Pictures）の発生符号量が当該ＧＯＰの目標符号量を極端に超えた場合に、次のＧＯＰの目標符号量がこれを吸収し様とするため、画質劣化が生じてしまうという課題がある。特許文献１を用いたＶＢＲ方式によるＧＯＰ単位の発生符号量の推移を図２に示す。図示において、＃ｎ（ｎ＝１、２、…）は、ＧＯＰの順番を示している。

さて、図２は、ＧＯＰ＃５において符号化難易度が高いために発生符号量が急激に増加し、続くＧＯＰ＃６乃至＃９に至るまで段階的に発生符号量が減少していることを示している。この様な段階的なＧＯＰの発生符号量を達成するために、ｊ番目のＧＯＰ＃ｊの目標符号量Ｒ（ｊ）)を、次式を用いて求めている。
DIFF(j) ＝ DIFF(j-1) + B(j-1) − Tg …（１）
R(j) ＝ Tg − (1／T)×DIFF(j) …（２）
ここで、Ｂ（ｊ）はj番目のＧＯＰ＃ｊの発生符号量、Ｔｇは与えられた目標ビットレートから各ＧＯＰに対して均等配分した場合の目標符号量、Ｔは２以上の定数である。

目標符号量Ｒ（ｊ）は、式（１）及び（２）からも自明な様に、過去のＧＯＰにおける発生符号量の累積であるＤＩＦＦ（ｊ）に応じて求めている事がわかる。しかしながら、特許文献１においては次に示す課題が残る。

符号化すべきＧＯＰの目標符号量Ｒ（ｊ）を求める際に、既に符号化した、０乃至ｊ−１番目のＧＯＰの発生符号量のみを参照しているため、符号化難易度に応じて適切に目標符号量Ｒ（ｊ）を求めることができない。更に、特許文献１では、急激な発生符号量の増加が生じた後のＧＯＰの目標符号量に注目して、該目標符号量を段階的に減少させているに過ぎないため、局所的にはＣＢＲ方式に比べて復号ピクチャの画質劣化が改善されるが、画質を一定とする事は困難になる。

次に、特許文献２の符号化装置について考察する。図３は、特許文献２に開示された装置の概略構成図である。この特許文献２においては、複数のピクチャからなるピクチャ群及び符号化対象であるピクチャに対して、符号化難易度算出部３０１及び３０２と称する符号化難易度を検出する手段を用いる事で、フィード・フォワード型のＶＢＲ方式を実現している。しかしながら、特許文献２においても依然として次に示す課題がある。

符号化難易度情報算出部３０１及び３０２には、符号化部３０５と同様な符号化手段が必要となり、処理負荷が非常に重い。また、特許文献２において、符号化難易度として空間アクティビティを用いる事が開示されているが、空間アクティビティでは符号化部３０５における符号化難易度を予測するには不十分であり、画質を一定とするための情報として用いる事が困難である。

本発明は、上記問題点に鑑みなされたものであり、予め指定した画質を満たす符号化ストリームをシーケンスに依存せずに生成すると共に、該指定した画質を満たすための最小限のビットレートで符号化する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の動画像符号化装置は以下の構成を備える。すなわち、
連続して入力されるピクチャを符号化する動画像符号化装置であって、
与えられた符号化パラメータに従って、入力したピクチャを、複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化手段と、
着目ピクチャより得られた符号化データを復号する復号手段と、
前記復号手段により復号して得られたピクチャと、符号化前のピクチャとの、前記ブロックの境界位置における差をピクチャ歪み量として算出する歪み量算出手段と、
従前に符号化した、予め設定された複数のピクチャそれぞれの前記ピクチャ歪み量から、シーン符号化歪み量を算出するシーン符号化歪み量算出手段と、
所定の操作部を介してユーザにより指定された画質レベルに応じた目標符号化歪み量を設定する設定手段と、
設定された前記目標符号化歪み量と前記シーン符号化歪み量算出手段で算出されたシーン符号化歪み量との差分を算出し、当該差分に符号化歪みビットレート変換係数を乗算することで、修正ビットレートを算出する符号化歪みビットレート変換手段と、
該符号化歪みビットレート変換手段で算出した修正ビットレートに、現在の目標ビットレートを加算することで、前記着目ピクチャ以降の目標ビットレートを算出し、当該算出した目標ビットレートを前記符号化パラメータとして前記符号化手段に設定する目標ビットレート算出手段とを備える。

本発明によれば、シーン符号化歪み量と、目標符号化歪み量から現在の符号化データの画質を計測し、目標ビットレートを算出する事により、予め指定した画質に忠実な符号化データを生成することが可能になる。また、直前に符号化した複数のピクチャの歪み量から複数ピクチャに相当するシーン符号化歪み量を算出する事によって、急激な画質の変化を抑制することも可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
図１は、連続して入力されるピクチャを符号化する、本実施形態における動画像符号化装置のブロック構成図である。以下に、その処理内容を説明する。

符号化部１０１は、入力画像データを与えられた目標ビットレートで符号化データを出力する。符号化部１０１の符号化方式は、例えば、ＭＰＥＧ−１／−２／−４或いはＨ．２６４等、フレーム間予測を行う動画像符号化方式である。更に符号化部１０１は、フレーム間予測を行う動画像符号化方式であるので符号化データを出力すると同時に、局所復号画像も出力する。ＭＰＥＧ−１／−２／−４或いはＨ．２６４等の符号化技術は、ＩＳＯ勧告準拠の符号化方式については公知技術であるのでここでは、詳述は省略する。なお、符号化部１０１は、複数画素で構成されるブロック単位に符号化を行なう。実施形態では、このブロックのサイズを８×８画素サイズとする。

符号化歪み量算出部１０２は、符号化部１０１から入力される着目ピクチャの局所復号画像と、符号化部１０１に入力された対応する入力画像（符号化前の着目ピクチャ）から符号化歪み量を算出する。本実施形態においては符号化歪みとして最も視覚的な劣化を及ぼす原因とされる、ブロック歪み量を算出する。ブロック歪み量の算出手順を次に示す。

符号化部１０１が入力する画像の水平方向の画素数をx_size及び垂直方向の画素数をy_sizとする。水平方向の座標がJ、及び垂直方向の座標がIの入力画像の画素値をCIN(J,I)と表現し、同様にブロック局所復号化画像の画素値をCOUT(J,I)とする。本実施形態では、ブロック歪み量Ｂcを次のアルゴリズムを用いて求める。
for (I＝0；I < y_size -1; I++){
for (J= 0; J < x_size -1; J++){
if (J % 8 == 7){
EDGEin = ABS (CIN(J,I)−CIN(J,I+1));
EDGEout =ABS (COUT(J,I) - COUT(J,I+1));
MSEblk ++ = POWER(EDGEin - EDGEout));}
else{
if( I % 8 == 7){
EDGEin = ABS(CIN(J,I) - CIN(J+1,I));
EDGEout =ABS(COUT(J,I) - COUT(J+1,I));
MSEblk++ = POWER(EDGEin -EDGEout));}
} }
Bc= MSEblk/MSEall; …（３）
上記において、MSEallはCIN(J,.I)とCOUT(J,I)とのピクチャ全体における差分二乗和である。また、「X % Y」は、整数Ｘを整数Ｙで除算した際の余りを返す関数である。また、ブロック歪み量Ｂｃは、ブロックの境界の画素値のみを参照して算出するので、ブロック境界よりも内側の６×６画素は参照しない。先に説明したように、符号化部１０１が復号するのが、ブロック内の境界となる局所にある位置の画素値とするのは、この理由による。

ここで上記アルゴリズムについて簡単に説明する。先に説明したように、ブロック境界位置は、画像の水平、垂直とも８の整数倍の座標位置である。画像の左上隅の座標は一般に原点（０，０）と表現するから、隣接する２つのブロックの境界に位置する画素の座標位置は、座標を８で除算した際に、余りが７となる座標と、その座標＋１となる。上記のアルゴリズムによると、オリジナル（符号化前）の画像の２つのブロック境界に位置する２つの画素の差と復号後のブロック境界に位置する２つの画素の差の差分が、隣接する２つのブロック歪みを表わす指標値と言える。隣接するブロックは水平方向、垂直方向の２種類が存在するので、それぞれにおいて歪み値を累積することで、画像全体に対するブロック歪み量Ｂｃが算出できることになる。つまり、このブロック歪み量Ｂｃは、着目ピクチャの符号化後のピクチャ歪み量を示す指標値と言える。

従って、ブロック歪み量Ｂｃが大きければ、復号した画像がオリジナルの画像に対して画質劣化が激しく符号化歪みが大きいといえることは明らかである。なお、本実施形態においては、８の整数倍の座標でブロック歪みを求めたが、ブロックのサイズが８×８以外の場合には、それに応じて求めればよい。

次にシーン符号化歪み量算出部１０４の構成を図４に示し、その処理内容を説明する。

ブロック歪み量Ｂｃは、ブロック歪み量配列メモリ４０１に、配列BcArray[N]（Ｎは１以上の整数）として保存される。Ｎの値は、フレーム内予測により符号化するＩピクチャと呼ばれる出現周期に相当し、ここではＮ＝１５とする。つまり、ブロック歪み量配列メモリ４０１には、着目ピクチャの従前の１５個のピクチャのブロック歪み量Ｂｃを記憶する。積算器４０２は直前のＮ画像分のブロック歪み量Ｂｃの総和を算出する。また、割り算器４０３は、ブロック歪み量ＢｃのＮ画像分の総和を平均値を算出し、それをシーンブロック歪み量Ｂｓとして出力する。

次に符号化歪み量テーブル１０５の構成を図９に示す。符号化歪み量テーブル１０５には、書き換え可能なメモリで構成されるものであり、ユーザが操作部を介して適宜修整することが可能である。本実施形態における符号化歪み量テーブル１０５には、予めシーン符号化歪み量算出部１０４で算出されるシーン歪み量（目標歪み）Ｂｓと目標画質との関係を記述した情報を格納する。図９では、目標画質としての低画質〜超高画質まで４段階の画質モード（画質レベル）と、それぞれの画質モードに対応するシーンブロック歪み量Ｂｓの値の関係を定義している。本実施形態の符号化装置の動作開始前に、符号化歪み量テーブル１０５に対して４つの画質モードから一つを選択した画質モードを指定する。符号化歪み量テーブル１０５は、指定された画質モードに対応するブロック歪み量の値を、符号化歪みビットレート変換部１０６に出力する。

次に符号化歪みビットレート変換部１０６及び目標ビットレート算出部１０７の構成を図５に示し、その処理内容を以下に説明する。

符号化歪みビットレート変換部１０６の減算器５０１は、シーン符号化歪み量算出部１０４から入力されるシーンブロック歪み量Ｂｓと、符号化歪み量テーブル１０６から入力される目標ブロック歪み量の差分を算出し、その結果を乗算器５０２に出力する。この差分演算は、画質を表す指標であるブロック歪み量から、現在の符号化部１０１における符号化データの画質と、目標とする画質との差を得ることと等価である。更には、乗算器５０２は、減算器５０１からのブロック歪み量の差分に、予め設定された符号化歪みビットレート変換係数を乗じる事によって、差分値の単位をブロック歪み量からビットレート（bit per second）へ変換する。変換されたビットレートの値は修正ビットレートとして、目標ビットレート算出部１０７に出力される。

目標ビットレート算出部１０７の加算器５０３は、入力された修正ビットレートに対して、直前の目標ビットレートを加算し、その加算結果をクリップ部５０４に出力する。クリップ部５０４は、加算器５０３からの加算結果が、本符号化装置の動作前に予め設定した最大ビットレート及び最小ビットレートで規定される範囲内にクリップし、その結果を目標ビットレート（符号化パラメータ）として符号化部１０１に対して出力する。なお、符号化対象の最初の１５個のフレームの符号化処理では、それ以前のフレームは存在しないのでシーンブロック歪み量Ｂｓを算出することができない。従って、この間では、デフォルトの目標ビットレートを設定するものとする。

なお、符号化部１０１は、設定された目標ビットレートに従って、内部的に符号化時の量子化ステップを決定し、符号化する。逆に、目標ビットレート算出部１０７が、算出した目標ビットレートと量子化ステップとの対応テーブルを有し、そのテーブルを参照して、量子化ステップを決定し、符号化部１０１に出力するようにしても構わない。

次に、実施形態における符号化処理の処理手順を図６のフローチャートに従って説明する。

ステップＳ６０１及びＳ６０２において、本実施形態の符号化装置において符号化動作の開始前に、目標画質及び最大/最小ビットレートを設定する。この設定は、不図示の操作部から設定するものとするが、予め幾つかの設定ファイルをメモリに格納しておき、ユーザの指示に従って１つの設定ファイルを読込むことで設定しても構わない。

符号化部１０１に与える符号化パラメータである目標ビットレートを、Ｉピクチャタイプの符号化毎に設定する。すなわち、Ｐピクチャ或いはＢピクチャタイプの場合には直前のＩピクチャタイプで設定した目標ビットレートを継続して使用する。この判断をステップＳ６０３において行う。実施形態では、１５フレーム毎にＩピクチャが存在するものとしているので、ステップＳ６０３の判断でＹｅｓとなるのは１５フレーム毎となる。勿論、この１５フレームは一例であって、フレーム数は適宜設定しても構わない。

ステップＳ６０４及びＳ６０５では、先に説明した通り、符号化歪みビットレート変換部１０６、及び、目標ビットレート算出部１０７において、着目ピクチャ以降の目標ビットレートの算出を行う。

ステップＳ６０６及びステップＳ６０７では、入力画像に対して符号化処理を符号化部１０１に対して行うと同時に、符号化歪み量算出部１０７においてブロック歪み量の算出を行う。これら、ステップＳ６０６及びＳ６０７は画像内のマクロブロック（ＭＢ）単位の処理を画面内すべてのMBに対して行う事によって実現される。この場合の符号化歪み量算出部１０２の処理である式（３）は、式（３）の定数であるx_size 及びy_sizeをMBのサイズとする事で実現される。

１画面（１フレーム）内のすべてのＭＢに対してステップＳ６０６及びＳ６０７の処理が完了した後、ステップＳ６０９において、符号化歪み量算出部１０２から入力されるブロック歪み量Ｂｃを入力として、シーン符号化歪み量算出部１０４はシーン符号化歪み量Ｂｓを算出する。

これらの処理を入力されるすべての画像に対して繰り返す事によって、ステップＳ６０２で設定した目標画質を満たす符号化データが符号化部１０１から生成される。

ここで、符号化部１０１にＭＰＥＧ−４符号化方式を適用した場合の、本実施形態による画質の測定結果を図７に示す。符号化対象とした入力画像データは、４種類のシーケンス１乃至４であり、それぞれ独立に符号化データとして生成した。目標画質としては、図９中のノーマル画質及び高画質モード（画質レベル）を設定し、計８つの符号化データを生成し、かつ生成した符号化データの平均ビットレート及び平均ブロック歪み量をプロットしたのが図７である。図７から予め指定した画質を満たした符号化データが生成される事がわかる。

［第２の実施形態］
本第２の実施形態では、上記第１の実施形態のブロック図中のシーン符号化歪み量算出部１０４において、シーンブロック歪み量をピクチャタイプ毎に算出する構成をとる。図８は、図１におけるシーン符号化歪み算出部１０４に置き換わる、本第２の実施形態のシーン符号化歪み量算出部８０１の構成を示している。他の構成は図１と同じである。シーン符号化歪み量算出部８０１の内部には図１のシーン符号化歪み算出部１０４に相当する３種類のピクチャタイプにそれぞれ対応したシーン符号化歪み算出部１０４ａ乃至１０４ｂが並行に配置されている。符号化歪み量算出部１０２から入力されるブロック歪み量をピクチャタイプに応じて、一つを選択し各々のピクチャタイプ毎にシーン符号化歪み量を算出する。加算器８０２及び割り算器８０３において、３つのピクチャタイプのシーンブロック歪み量の平均を算出し、シーンブロック歪み量Ｂｓとして出力する。

以上の構成によれば、第１の実施形態の作用効果に加えて、ＧＯＰ内のＩ，Ｐ，Ｂピクチャについてきめ細かい符号量制御が行なうことが可能になる。

以上本発明にかかる実施形態を説明したが、本発明は、上記各実施形態に相当する処理をパーソナルコンピュータに代表される汎用の情報処理装置と、それ上で実行される記憶媒体に格納されたコンピュータプログラムでもって実現しても構わない。この場合、符号化対象の動画像データは、記憶媒体或いは記憶装置（例えば、ハードディスク）にファイルとして格納されており、それを符号化し、記憶媒体や記憶装置に格納するようにすることが考えられる。そして、コンピュータプログラムで実現する場合には、図１に示した各構成要素が、コンピュータプログラムのサブルーチン、関数、プロシージャとして機能し、図６に示すフローチャートに従ってメイン処理が実行すればよい。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それをコンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ記憶媒体も本発明の範疇に入ることも明らかである。

第１の実施形態における動画像符号化装置のブロック構成図である。 従来技術を説明するための図である。 従来技術の装置の概略構成図を示す図である。 実施形態におけるシーンブロック歪み量算出部のブロック構成図である。 実施形態における符号化歪みビットレート変換部、及び、目標ビットレート算出部の構成を示すブロック図である。 第１の実施形態における処理手順を示すフローチャートである。 第１の実施形態における画質の測定結果をプロットして示す図である。 第２の実施形態におけるシーンブロック歪み量算出部のブロック構成図である。 実施形態におけるブロック歪み量テーブルに格納されたデータの例を示す図である。

Claims (7)

1. 連続して入力されるピクチャを符号化する動画像符号化装置であって、
   与えられた符号化パラメータに従って、入力したピクチャを、複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化手段と、
   着目ピクチャより得られた符号化データを復号する復号手段と、
   前記復号手段により復号して得られたピクチャと、符号化前のピクチャとの、前記ブロックの境界位置における差をピクチャ歪み量として算出する歪み量算出手段と、
   従前に符号化した、予め設定された複数のピクチャそれぞれの前記ピクチャ歪み量から、シーン符号化歪み量を算出するシーン符号化歪み量算出手段と、
   所定の操作部を介してユーザにより指定された画質レベルに応じた目標符号化歪み量を設定する設定手段と、
   設定された前記目標符号化歪み量と前記シーン符号化歪み量算出手段で算出されたシーン符号化歪み量との差分を算出し、当該差分に符号化歪みビットレート変換係数を乗算することで、修正ビットレートを算出する符号化歪みビットレート変換手段と、
   該符号化歪みビットレート変換手段で算出した修正ビットレートに、現在の目標ビットレートを加算することで、前記着目ピクチャ以降の目標ビットレートを算出し、当該算出した目標ビットレートを前記符号化パラメータとして前記符号化手段に設定する目標ビットレート算出手段と
   を備えることを特徴とする動画像符号化装置。
2. 前記設定手段は、予め定めた複数の目標符号化歪み量と画質レベルとの対応を示すテーブルを有し、当該テーブルを参照して、前記操作部を介して指定された画質レベルに対応する一の目標符号化歪み量を設定することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記シーン符号化歪み量算出手段は、前記複数のピクチャそれぞれの前記ピクチャ歪み量の平均値を、前記シーン符号化歪み量として算出することを特徴とする請求項１に記載の動画像符号化装置。
4. 前記目標ビットレート算出手段は、前記算出した目標ビットレートを、予め設定された最大ビットレート、最小ビットレートで規定される範囲内にクリップすることを特徴とする請求項１に記載の動画像符号化装置。
5. 連続して入力されるピクチャを符号化する動画像符号化装置の制御方法であって、
   与えられた符号化パラメータに従って、入力したピクチャを、複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化工程と、
   着目ピクチャより得られた符号化データを復号する復号工程と、
   前記復号工程により復号して得られたピクチャと、符号化前のピクチャとの、前記ブロックの境界位置における差をピクチャ歪み量として算出する歪み量算出工程と、
   従前に符号化した、予め設定された複数のピクチャそれぞれの前記ピクチャ歪み量から、シーン符号化歪み量を算出するシーン符号化歪み量算出工程と、
   所定の操作部を介してユーザにより指定された画質レベルに応じた目標符号化歪み量を設定する設定工程と、
   設定された前記目標符号化歪み量と前記シーン符号化歪み量算出手段で算出されたシーン符号化歪み量との差分を算出し、当該差分に符号化歪みビットレート変換係数を乗算することで、修正ビットレートを算出する符号化歪みビットレート変換工程と、
   該符号化歪みビットレート変換工程で算出した修正ビットレートに、現在の目標ビットレートを加算することで、前記着目ピクチャ以降の目標ビットレートを算出し、当該算出した目標ビットレートを前記符号化パラメータとして前記符号化工程に設定する目標ビットレート算出工程と
   を備えることを特徴とする動画像符号化装置の制御方法。
6. コンピュータが読込み実行することで、前記コンピュータを、請求項１乃至４のいずれか１項に記載の動画像符号化装置が有する各手段として機能させることを特徴とするコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images