JP5246408B2 - 統計多重システム、その方法及びそのプログラム - Google Patents

Description

本発明は、異なる映像符号化方式のエンコーダ装置が混在する統計多重システムにおいて、エンコーダ装置から収集した統計情報を、個々の映像符号化方式の符号化特性に応じて正規化することにより、異なる映像符号化方式のエンコーダ装置に対する適切なビットレート割り当て制御を可能にする統計多重システム、その方法及びそのプログラムに関するものである。

映像符号化方式として、ＭＰＥＧ-２及びＨ.２６４がある。これらの映像符号化方式を用いたデジタルテレビ放送では、ある一定の伝送帯域を用いて、複数のチャンネルを放映するサービスが行われている。

一般に、映像の圧縮符号化においては映像の絵柄や動きにより符号化難易度が変化するため、符号化難易度が低いチャンネルに割り当てるビットレートを低くし、その分を符号化難易度が高いチャンネルに融通することにより、合計ビットレートを一定に保ったまま、システム全体としての画質を向上させることが可能となる。

このような、複数台のエンコーダ装置の多重出力レートを一定に保ちつつ、各エンコーダへの割当ビットレートを動的に変化させることでシステム全体の画質を向上させる多重伝送技術は統計多重と呼ばれる。

統計多重システムは、一般に、複数台のエンコーダ装置、それらの出力を多重出力する多重化装置、そして、エンコーダ装置に対する割当ビットレートを動的に制御する統計多重コントローラ装置によって構成される。統計多重コントローラ装置は、各エンコーダ装置から映像の符号化難易度を測る尺度となる情報として画像複雑度を収集し、これに基づいて割当ビットレートを決定することで適切なビットレート割り当て制御が可能となる。

画像複雑度は、量子化ステップサイズと発生符号量との乗算により算出され、その画像の符号化難易度を表す特徴量として知られている。これは、量子化ステップサイズを大きくすると発生符号量が小さくなり、量子化ステップサイズを小さくすると発生符号量が大きくなることから、個々の画像に対する画像複雑度は量子化ステップサイズによらずほぼ一定になるという性質によるものである。

そこで、特許文献１〜３には、複数のチャネルの動画像を多重化して一定容量の伝送路を用いて伝送を行う際に、画像複雑度に応じてビットレート割り当て制御を行う発明が開示されている。
特開平０６−０６２３９３号公報 特開平０７−２７４１７２号公報 特開２００７−１８９６８８号公報

しかしながら、特許文献１〜３に開示された発明では、統計多重システムにおいて、各エンコーダ装置で算出される入力映像の画像複雑度情報を、符号化難易度を測る尺度として使用することで、システム全体の画質が向上するようなビットレート割り当て制御が実現可能であるが、映像符号化方式が異なると画像複雑度のスケールが必ずしも一致しない。

すなわち、異なる映像符号化方式では画像複雑度のスケールが一致しないため、複数の異なる映像符号化方式のエンコーダ装置が混在する統計多重システムの場合、画像複雑度情報に基づいて割当ビットレートを決定することができないという問題があった。

本発明は、個々の映像符号化方式に基づいて画像複雑度を算出する際の量子化ステップサイズを所定の方法で正規化することにより、異なる映像符号化方式の画像複雑度を同一スケール上で扱うことを可能とし、画像複雑度情報に基づいて割当ビットレートを決定することができる統計多重システム、その方法及びそのプログラムを得ることを目的とする。

上述の問題を解決するため、本発明に係る統計多重システムは、複数のエンコーダ装置が異なる映像符号化方式で混在し、前記複数のエンコーダ装置は、それぞれに入力された入力映像を、それぞれの映像符号化方式で符号化して符号化ビットストリームを出力し、該符号化ビットストリームを、多重化装置が時分割多重して1つの多重出力ビットストリームとして伝送路に出力する統計多重システムであって、前記複数のエンコーダ装置が前記入力映像の映像フレーム毎に算出した画像複雑度情報に基づき、前記複数のエンコーダ装置についてそれぞれの割当ビットレートを決定する統計多重コントローラ装置を備え、前記画像複雑度情報は、量子化パラメータを映像符号化形式毎に異なる変換方法により変換することにより算出される量子化ステップサイズを平均した平均値と前記映像フレームを符号化した際に発生した符号ビットとの積であり、前記複数のエンコーダ装置は、前記それぞれの割当ビットレートに従って前記符号化ビットストリームを出力することを特徴とする。

上述の問題を解決するため、本発明に係る統計多重の方法は、別々に入力された入力映像を、それぞれ異なる映像符号化方式で符号化し、該符号化に係る符号化ビットストリームを時分割多重して1つの多重出力ビットストリームとして伝送路に出力する統計多重の方法であって、前記異なる映像符号化方式のそれぞれにおいて、前記別々に入力された入力映像を、その映像フレーム毎に画像複雑度情報を算出する手順と、前記画像複雑度情報に基づき、前記異なる映像符号化方式についてそれぞれの割当ビットレートを決定する手順と、前記それぞれの割当ビットレートに従って前記符号化ビットストリームを出力する手順と、を備え、前記画像複雑度情報は、量子化パラメータを映像符号化形式毎に異なる変換方法により変換することにより算出される量子化ステップサイズを平均した平均値と前記映像フレームを符号化した際に発生した符号ビットとの積であることを特徴とする。

上述の問題を解決するため、本発明に係る統計多重のプログラムは、別々に入力された入力映像を、それぞれ異なる映像符号化方式で符号化し、該符号化に係る符号化ビットストリームを時分割多重して1つの多重出力ビットストリームとして伝送路に出力する統計多重のプログラムであって、前記異なる映像符号化方式のそれぞれにおいて、前記別々に入力された入力映像を、その映像フレーム毎に画像複雑度情報を算出する処理と、前記画像複雑度情報に基づき、前記異なる映像符号化方式についてそれぞれの割当ビットレートを決定する処理と、前記それぞれの割当ビットレートに従って前記符号化ビットストリームを出力する処理と、をコンピュータに実行させ、前記画像複雑度情報は、量子化パラメータを映像符号化形式毎に異なる変換方法により変換することにより算出される量子化ステップサイズを平均した平均値と前記映像フレームを符号化した際に発生した符号ビットとの積であることを特徴とする。

以上説明したように本発明によれば、画像複雑度情報は、量子化ステップサイズの平均値と前記映像フレームを符号化した際に発生した符号ビットとの積として算出することにより、個々の映像符号化方式に基づいて画像複雑度を算出する際の量子化ステップサイズを正規化し、異なる映像符号化方式の画像複雑度を同一スケール上で扱うことを可能とし、画像複雑度情報に基づいて割当ビットレートを決定することができる統計多重システム、その方法及びそのプログラムを得ることができる。

次に、本発明の実施の形態について図面を参照しながら詳細に説明する。図1は、映像符号化方式の異なるエンコーダ装置が混在した統計多重システムの構成を表している。

本実施の形態に係る統計多重システムは、映像符号化方式にＭＰＥＧ-２を使用するエンコーダ装置１０１（以降、ＭＰＥＧ-２エンコーダ装置）、映像符号化方式にＨ.２６４を使用するエンコーダ装置１０２（以降、Ｈ.２６４エンコーダ装置）、多重化装置１０３、統計多重コントローラ装置１０４を備える。

ＭＰＥＧ-２エンコーダ装置１０１及びＨ.２６４エンコーダ装置１０２は、それぞれに入力された入力映像を、統計多重コントローラ装置１０４から指定されるビットレートＲ１、Ｒ２で、それぞれの映像符号化方式により符号化し、この符号化で生成した符号化ビットストリームを多重化装置１０３に出力する。

すなわち、本実施の形態に係る統計多重では、別々に入力された入力映像を、それぞれ異なる映像符号化方式で符号化し、この符号化に係る符号化ビットストリームを多重化装置１０３に出力するものである。

又、ＭＰＥＧ-２エンコーダ装置１０１及びＨ.２６４エンコーダ装置１０２は、それぞれの映像符号化において算出した画像複雑度Ｘ１、Ｘ２を一定周期、例えばフレーム周期で、統計多重コントローラ装置１０３に通知する。

多重化装置１０３は、ＭＰＥＧ-２エンコーダ装置１０１及びＨ.２６４エンコーダ装置１０２からの符号化ビットストリームを時分割多重し、1つの多重出力ビットストリームとして伝送路１０５に出力する。

統計多重コントローラ装置１０４は、ＭＰＥＧ-２エンコーダ装置１０１及びＨ.２６４エンコーダ装置１０２からの画像複雑度情報Ｘ１、Ｘ２に基づき、各エンコーダ装置の入力映像の符号化難易度に応じた割当ビットレートＲ１、Ｒ２を算出し、２台のエンコーダ装置の画質を最適化するようなビットレート割り当て制御を行う。この際、割当ビットレートＲ１、Ｒ２は、その合計値が所定の値となるように制御され、多重化装置１０３の多重出力ビットストリームのビットレートは一定となる。

ＭＰＥＧ-２エンコーダ装置１０１及びＨ.２６４エンコーダ装置１０２は、割当ビットレートＲ１及びＲ２にそれぞれ従って、符号化ビットストリームを出力する。

［実施例の動作］
ＭＰＥＧ-２エンコーダ装置１０１及びＨ.２６４エンコーダ装置１０２では、入力映像に係る映像フレーム毎に、それぞれ以下の計算式により画像複雑度情報Ｘ１、Ｘ２を算出する。

すなわち、本実施の形態に係る統計多重では、異なる映像符号化方式のそれぞれにおいて、入力映像を、その映像フレーム毎に画像複雑度情報Ｘ１、Ｘ２を算出するものである。
Xn＝S×AveQstep

ただし、Ｓは入力映像に係る映像フレームを符号化した際に発生した符号ビット数であり、AveQstepは当該映像フレームを符号化する際に使用した量子化ステップサイズQstepの平均値である。画像複雑度情報Ｘ１、Ｘ２は、これらの積である。

ＭＰＥＧ-２、Ｈ.２６４共に、量子化ステップサイズQstepは、当該映像フレームが有するマクロブロック単位で変更可能、すなわちマクロブロック毎に算出される値であるため、映像フレームに含まれるマクロブロック数をFrmMBNumとすると、AveQstepは以下の計算式により算出される。すなわち、量子化ステップサイズQstepの平均値であるAveQstepは、その映像フレームでの量子化ステップサイズの合計値を、その映像フレームに含まれるマクロブロックの数で除算した値である。
AveQstep＝ΣQstep／FrmMBNum

ここで、量子化ステップサイズQstepとして何の値を使用するかは、映像符号化規格として規定されているわけではないため、その選択が、映像符号化方式が混在した統計多重システムを構成する上で重要となる。

図２に、ＭＰＥＧ-２における量子化パラメータと量子化ステップサイズの変換表を示す。また、図３に、Ｈ.２６４における量子化パラメータと量子化ステップサイズの変換表を示す。

ここで言う量子化パラメータとは、映像符号化ストリームとして出力される規格において規定されているパラメータであり、ＭＰＥＧ-２ではquantiser_scale_code（１〜３１）であり、Ｈ.２６４ではQuantisation_Parameter（１〜５１）である。

この変換表の量子化ステップサイズQstepの値は、各符号化方式の量子化処理で行われる直交変換係数の除算において、その分母に来る値となっており、これが本発明の特徴となる。ＭＰＥＧ-２に関しては、quantiser_scaleとして規格として規定されている値が、そのまま本発明のQstepとして使用可能である。

一方、Ｈ.２６４に関しては、LevelScale値として導出される値が存在するが、直交変換係数の除算ではこれをさらに１６分の１にした値が使用されるため、図３では、LevelScale値を１６分の１にした値をQstep値としている。

ＭＰＥＧ-２エンコーダ装置１０２では、図２に従って実際に符号化に使用した量子化パラメータをQstepに変換した上で画像複雑度Ｘ１を計算し、統計多重コントローラ装置１０４に出力する。

Ｈ.２６４エンコーダ装置１０３では、図３に従って実際に符号化に使用した量子化パラメータをQstepに変換した上で画像複雑度Ｘ２を計算し、統計多重コントローラ装置１０４に出力する。

統計多重コントローラ装置１０４では、映像符号化方式を意識することなく、各エンコーダ装置から入力される画像複雑度Ｘ１、Ｘ２に基づいて、割当ビットレートの計算を行う。

割当ビットレートの計算方法の一例としては、以下の数式のような画像複雑度に比例した割当方法がある。
R1＝X1／(X1＋X2)×Rtotal
R2＝X2／(X1＋X2)×Rtotal

ここでRtotalは、多重出力ビットレート(一定値)であって、多重化装置１０３から伝送路１０５へのビットレートの実質的な上限である。

すなわち、統計多重コントローラ装置１０４は、異なる符号化方式のエンコーダ装置１０１、１０２がそれぞれ算出した画像複雑度情報の合計値を算出し、更に画像複雑度情報のそれぞれと多重出力ビットレートとの積を、前述の合計値で除算することにより、エンコーダ装置１０１、１０２のそれぞれの割当ビットレートを決定する。

これにより、異なる映像符号化方式のエンコーダ装置が混在する環境で、これらのエンコーダ装置の出力を集線してデータを送信する場合に、この集線部分でのビットレートである多重出力ビットレートを一定に保ち得るように各エンコーダ装置に対する適切なビットレート割り当て制御を可能とする。

なお、本実施の形態では、統計多重システムを例示したが、コンピュータ等の汎用的な機器において、統計多重の方法又は統計多重のプログラムとしても応用できるものである。

本発明に係る統計多重システム、その方法及びそのプログラムは、異なる映像符号化方式のエンコーダ装置が混在する環境で、これらのエンコーダ装置の出力を集線してデータを送信する場合に、この集線部分でのビットレートを一定に保ち得るように各エンコーダ装置に対する適切なビットレート割り当て制御を可能にすることから、ネットワークを介したデータ送信の分野に利用できる。

本発明の実施の形態に係る映像符号化方式の異なるエンコーダ装置が混在した統計多重システムの構成を示す図である。 ＭＰＥＧ-２における量子化パラメータと量子化ステップサイズの変換表である。 Ｈ.２６４における量子化パラメータと量子化ステップサイズの変換表である。

符号の説明

１０１ ＭＰＥＧ-２エンコーダ装置
１０２ Ｈ.２６４エンコーダ装置
１０３ 多重化装置
１０４ 統計多重コントローラ装置
１０５ 伝送路

Claims (15)

1. 複数のエンコーダ装置が異なる映像符号化方式で混在し、前記複数のエンコーダ装置は、それぞれに入力された入力映像を、それぞれの映像符号化方式で符号化して符号化ビットストリームを出力し、該符号化ビットストリームを、多重化装置が時分割多重して1つの多重出力ビットストリームとして伝送路に出力する統計多重システムであって、
   前記複数のエンコーダ装置が前記入力映像の映像フレーム毎に算出した画像複雑度情報に基づき、前記複数のエンコーダ装置についてそれぞれの割当ビットレートを決定する統計多重コントローラ装置を備え、
   前記画像複雑度情報は、量子化パラメータを映像符号化形式毎に異なる変換方法により変換することにより算出される量子化ステップサイズを平均した平均値と前記映像フレームを符号化した際に発生した符号ビットとの積であり、
   前記複数のエンコーダ装置は、前記それぞれの割当ビットレートに従って前記符号化ビットストリームを出力することを特徴とする統計多重システム。
2. 前記量子化ステップサイズは、前記映像フレームが有するマクロブロック毎に算出される値であって、前記異なる符号化方式の量子化処理でそれぞれ行われる直交変換係数の除算において、その分母に来る値であることを特徴とする請求項１に記載の統計多重システム。
3. 前記量子化ステップサイズの前記平均値は、前記映像フレームでの前記量子化ステップサイズの合計値を、前記映像フレームに含まれる前記マクロブロックの数で除算した値であることを特徴とする請求項１又は２に記載の統計多重システム。
4. 前記統計多重コントローラ装置は、
   前記異なる符号化方式の前記複数のエンコーダ装置がそれぞれ算出した前記画像複雑度情報の合計値を算出し、
   前記異なる符号化方式の前記複数のエンコーダ装置がそれぞれ算出した前記画像複雑度情報と、前記多重化装置から前記伝送路へのビットレートの実質的な上限である多重出力ビットレートと、の積を、前記合計値で除算することにより、前記複数のエンコーダ装置のそれぞれの割当ビットレートを決定することを特徴とする請求項１乃至３のいずれか１項に記載の統計多重システム。
5. 前記異なる映像符号化方式には、ＭＰＥＧ-２とＨ.２６４とが含まれることを特徴とする請求項１乃至４のいずれか１項に記載の統計多重システム。
6. 別々に入力された入力映像を、それぞれ異なる映像符号化方式で符号化し、該符号化に係る符号化ビットストリームを時分割多重して1つの多重出力ビットストリームとして伝送路に出力する統計多重の方法であって、
   前記異なる映像符号化方式のそれぞれにおいて、前記別々に入力された入力映像を、その映像フレーム毎に画像複雑度情報を算出する手順と、
   前記画像複雑度情報に基づき、前記異なる映像符号化方式についてそれぞれの割当ビットレートを決定する手順と、
   前記それぞれの割当ビットレートに従って前記符号化ビットストリームを出力する手順と、
   を備え、
   前記画像複雑度情報は、量子化パラメータを映像符号化形式毎に異なる変換方法により変換することにより算出される量子化ステップサイズを平均した平均値と前記映像フレームを符号化した際に発生した符号ビットとの積であることを特徴とする統計多重の方法。
7. 前記量子化ステップサイズは、前記映像フレームが有するマクロブロック毎に算出される値であって、前記異なる符号化方式の量子化処理でそれぞれ行われる直交変換係数の除算において、その分母に来る値であることを特徴とする請求項６に記載の統計多重の方法。
8. 前記量子化ステップサイズの前記平均値は、前記映像フレームでの前記量子化ステップサイズの合計値を、前記映像フレームに含まれる前記マクロブロックの数で除算した値であることを特徴とする請求項６又は７に記載の統計多重の方法。
9. 前記割当ビットレートを決定する手順は、
   前記異なる映像符号化方式のそれぞれで算出した前記画像複雑度情報の合計値を算出し、
   前記異なる映像符号化方式のそれぞれで算出した前記画像複雑度情報と、前記多重化装置から前記伝送路へのビットレートの実質的な上限である多重出力ビットレートと、の積を、前記合計値で除算することにより、前記複数のエンコーダ装置のそれぞれの割当ビットレートを決定することを特徴とする請求項６乃至８のいずれか１項に記載の統計多重の方法。
10. 前記異なる映像符号化方式には、ＭＰＥＧ-２とＨ.２６４とが含まれることを特徴とする請求項６乃至９のいずれか１項に記載の統計多重の方法。
11. 別々に入力された入力映像を、それぞれ異なる映像符号化方式で符号化し、該符号化に係る符号化ビットストリームを時分割多重して1つの多重出力ビットストリームとして伝送路に出力する統計多重のプログラムであって、
    前記異なる映像符号化方式のそれぞれにおいて、前記別々に入力された入力映像を、その映像フレーム毎に画像複雑度情報を算出する処理と、
    前記画像複雑度情報に基づき、前記異なる映像符号化方式についてそれぞれの割当ビットレートを決定する処理と、
    前記それぞれの割当ビットレートに従って前記符号化ビットストリームを出力する処理と、をコンピュータに実行させ、
    前記画像複雑度情報は、量子化パラメータを映像符号化形式毎に異なる変換方法により変換することにより算出される量子化ステップサイズを平均した平均値と前記映像フレームを符号化した際に発生した符号ビットとの積であることを特徴とする統計多重のプログラム。
12. 前記量子化ステップサイズは、前記映像フレームが有するマクロブロック毎に算出される値であって、前記異なる符号化方式の量子化処理でそれぞれ行われる直交変換係数の除算において、その分母に来る値であることを特徴とする請求項１１に記載の統計多重のプログラム。
13. 前記量子化ステップサイズの前記平均値は、前記映像フレームでの前記量子化ステップサイズの合計値を、前記映像フレームに含まれる前記マクロブロックの数で除算した値であることを特徴とする請求項１１又は１２に記載の統計多重のプログラム。
14. 前記割当ビットレートを決定する処理は、
    前記異なる映像符号化方式のそれぞれで算出した前記画像複雑度情報の合計値を算出し、
    前記異なる映像符号化方式のそれぞれで算出した前記画像複雑度情報と、前記多重化装置から前記伝送路へのビットレートの実質的な上限である多重出力ビットレートと、の積を、前記合計値で除算することにより、前記複数のエンコーダ装置のそれぞれの割当ビットレートを決定することを特徴とする請求項１１乃至１３のいずれか１項に記載の統計多重のプログラム。
15. 前記異なる映像符号化方式には、ＭＰＥＧ-２とＨ.２６４とが含まれることを特徴とする請求項１１乃至１４のいずれか１項に記載の統計多重のプログラム。

Images