JP4798652B2

JP4798652B2 - 動画像のレート変換装置

Info

Publication number: JP4798652B2
Application number: JP2005327945A
Authority: JP
Inventors: 智弘辻; 暁夫米山; 広昌柳原
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2005-11-11
Filing date: 2005-11-11
Publication date: 2011-10-19
Anticipated expiration: 2025-11-11
Also published as: JP2007135101A

Description

本発明は、動画像のレート変換装置に係り、特に、任意の伝送ビットレートに符号化されて入力される動画像を、より低ビットレートに変換して出力する動画像のレート変換装置に関する。

符号化動画像データのビットレートの変換は、比較的高いビットレートで符号化された動画像を、より低いビットレートのネットワークなどを介して配信する場合などにおいて有効である。

従来、符号化動画像データの代表的なビットレート変換方式として、図１１に示した方式が知られている。同図(a)に示した第１の従来技術は、符号化された動画像を可変長復号化部５１で復号化した後に逆量子化部５２で逆量子化し、さらに逆DCT変換部５３で逆DCT変換を行って画素レベルまで戻し、改めてDCT変換部５４、量子化部５５および可変長符号化部５６で所望のビットレートに変換する方式である。

同図(b)に示した第２の従来技術は、特許文献１に開示された変換方式であり、符号化動画像を可変長復号化部６１で復号化した後に再量子化部６２でDCT係数を逆量子化し、新たに量子化パラメータを設定して再量子化を行い、可変長符号化部６３で再符号化する方式である。
特開２００１−１８６５１９号公報

動画像の符号化効率を評価する指標として、符号化ひずみDi（原画像と再生画像との二乗誤差）および発生符号量Riを次式(1)に代入して求められる符号化コストJiが知られている。なお、λは量子化パラメータに基づいて決定される定数である。

Ji＝Di＋λ・Ri ・・・(1)

動画像のビットレートを変換する際に、第１の従来技術では動画像が画素レベルまで戻されるので、符号化コストを小さくできる可能性が高くなる反面、再符号化に多くの演算量を伴うので処理時間が長くなる傾向がある。これに対して、第２の従来技術では再符号化が不要なので、演算量が少なくなって処理時間を短縮できる反面、MB（マクロブロッック）情報やMV（動きベクトル）情報といったサイド情報が変更されないので、符号化コストが第１の従来技術に較べて大きくなる傾向にある。このように、従来のビットレート変換方式には一長一短があり、符号化コストと処理時間とを適正化することが難しかった。

本発明の目的は、上記した従来技術の課題を解決し、符号化動画像のビットレート変換において、動画像の視覚的な劣化を最小限に抑えつつ、符号化コストと処理時間とを適正化できる動画像のレート変換装置を提供することにある。

上記した目的を達成するために、本発明は、動画像の伝送ビットレートを変換する動画像のレート変換装置において、以下のような手段を講じた点に特徴がある。
(1)動画像を画素レベルまで復号化して再符号化する過程でレート変換する再符号化手段と、動画像を逆量子化して再量子化する過程でレート変換する再量子化手段と、前記再符号化手段および再量子化手段のいずれか一方を選択する変換方式選択手段とを具備したことを特徴とする。
(2)前記変換方式選択手段が、再符号化対象となる情報および再量子化対象となる情報の少なくとも一方のビット量に基づいて、いずれか一方の変換手段を選択することを特徴とする。
(3)前記変換方式選択手段が、レート変換前の量子化パラメータとレート変換後の量子化パラメータとの差分値を基準差分値と比較し、この差分値が基準差分値を超えていれば再符号化手段を選択し、超えていなければ再量子化手段を選択することを特徴とする。
(4)前記変換方式選択手段が、動きベクトル情報(MV情報)のビット量が所定の第１閾値を下回っていれば再量子化手段を選択し、下回っていなければ再符号化手段を選択することを特徴とする。
(5)前記変換方式選択手段が、DCT係数のビット量から予測符号化モード情報(MB情報）のビット量を減じた差分値が所定の第２閾値を上回っていれば再量子化手段を選択し、上回っていなければ再符号化手段を選択することを特徴とする。
(6)前記変換方式選択手段が、予測符号化モード情報(MB情報)の符号化状態を判定し、MB情報が適正に符号化されていれば再量子化手段を選択し、適正に符号化されていなければ再符号化手段を選択することを特徴とする。

本発明によれば、以下のような効果が達成される。
(1)ビットレートを変換する機能として、動画像を画素レベルまで復号化して再符号化する過程でレート変換し、処理時間が長いものの符号化コストを小さくできる再符号化手段と、動画像を逆量子化して再量子化する過程でレート変換し、符号化コストでは劣るものの処理時間の短い再量子化手段とを設け、各変換手段を選択的に使い分けるようにしたので、符号化コストと処理時間との適正化が可能になる。
(2)再符号化対象となる情報および再量子化対象となる情報の少なくとも一方のビット量に基づいて、いずれか一方の変換手段を選択するようにしたので、再量子化対象となる情報のビット量が多い場合に再量子化手段が選択されるようにすれば、符号化コストを上昇させることなく処理時間を短縮できる。また、再符号化対象となる情報のビット量が多い場合に再符号化手段が選択されるようにすれば符号化コストを抑えられる。
(3)レート変換前の量子化パラメータとレート変換後の量子化パラメータとの差分値が大きく、再量子化手段により変換対象とされる情報のビット量が少ない場合には再符号化手段が選択されるようにしたので、前記差分値が大きい場合でも符号化コストを抑えられる。
(4)動きベクトル情報(MV情報)のビット量が小さく、再符号化手段でも再量子化手段でも符号化コストに大きな差が生じない場合には再量子化手段が選択されるようにしたので、符号化コストを増加させることなく処理時間を短縮できる。
(5)DCT係数情報のビット量から予測符号化モード情報(MB情報）のビット量を減じた差分値が大きく、再量子化手段によるレート変換でも符号化コストを抑えられる場合には再量子化手段が選択されるようにしたので、短い処理時間で低い符号化コストを達成できる。
(6)予測符号化モード情報(MB情報)の符号化コストが低くく、再符号化手段でも再量子化手段でも符号化コストに大きな差が生じない場合には再量子化手段が選択されるようにしたので、符号化コストを上昇させることなく処理時間を短縮できる。

以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明に係る動画像のレート変換装置の構成を示した機能ブロック図である。ここでは、汎用動画像符号化の国際標準であるMPEG方式で符号化圧縮された動画像データの伝送レート変換方法について説明するが、本発明はこれに限定されるものではなく、他の方式により符号化圧縮された動画像データに対しても、同様な処理により伝送レートを変換できる。

可変長復号化部１には、各フレームがマクロブロック単位で予測符号化された動画像がフレーム単位で入力される。可変長復号化部１は動画像を可変長復号化し、量子化パラメータQP、量子化されたDCT係数情報COEF1、マクロブロックの予測符号化モードを代表するMB情報、マクロブロック毎の動きベクトルを代表するMV情報および各種ヘッダ情報（シーケンス層、GOP層、ピクチャ層、スライス層）を抽出する。目標量子化パラメータ変換部２は、前記可変長復号化部１で抽出された量子化パラメータQPを、ビットレート変換後の量子化パラメータの目標値（目標量子化パラメータ）QPtに変換する。

再符号化部４は動画像を画素レベルまで復号化し、これを再符号化する過程でビットレート変換を実施する。この再符号化方式によるレート変換では、再符号化の際に多くの演算量が必要になるもの符号化コストを低く抑えられる可能性が高い。再量子化部５は動画像を逆量子化し、これを再量子化する過程でビットレート変換を実施する。この再量子化方式によるレート変換では、再符号化に較べて符号化コストが上昇するものの少ない演算量での処理が可能になる。

変換方式選択部３には、前記可変長復号化部１で抽出された量子化パラメータQP、DCT係数情報COEF1、MB情報、MV情報および各種ヘッダ情報、ならびに前記目標量子化パラメータ変換部２から送られた目標量子化パラメータQPt等が入力され、後に詳述するように、前記再符号化部４および再量子化部５のいずれか一方を、再符号化対象となる情報および再量子化対象となる情報のビット量に基づいて選択する。

図２は、前記再量子化部５の一例を示したブロック図である。差分画像メモリ部５０１には、動きベクトル情報MVが入力される。逆量子化部５０２には、量子化パラメータQPおよび量子化されたDCT係数情報COEF1が入力される。前記逆量子化部５０２に入力された量子化パラメータQPおよび量子化されたDCT係数情報COEF1は、通常の逆量子化手法を用いてDCT係数情報COEF2に変換される。逆量子化されたDCT係数情報COEF2はDCT係数加算部５０３およびDCT係数減算部５０７に送られる。

DCT係数加算部５０３では、DCT係数情報COEF2、MB情報MBおよびDCT変換部５１３から入力される差分フレームのDCT係数COEF4を用いて新たなDCT係数情報COEF3が生成される。再量子化部５０４では、DCT係数加算部５０３から入力されるDCT係数情報COEF3および目標量子化パラメータQPtを用いてDCT係数情報の再量子化が行われ、新たにDCT係数情報COEF5が生成される。目標量子化パラメータQPtは、前記可変長復号化部１でのレート制御によって求められ、この再量子化部５０４では、例えばMPEG-2のTM5(Test Model 5)で規定された量子化方式を適用することができる。

再量子化により生成されたDCT係数情報COEF5は、前記可変長復号化部１から送られたヘッダ情報および目標量子化パラメータQPtと共に可変長符号化部５０５で可変長符号化され、新たな動画像として出力される。このとき、ヘッダ情報については元の動画像から抽出された情報と同じ情報を用いるが、ビットレート、VBVバッファサイズおよびVBVディレイなどの情報は、新しい動画像のビットレートに対応させて再計算される。

前記DCT係数情報COEF5および目標量子化パラメータQPtは逆量子化部５０６へ入力される。逆量子化部５０６では、DCT係数情報COEF5および目標量子化パラメータQPtを用いて逆量子化が行われてDCT係数情報COEF6が生成される。逆量子化されたDCT係数情報COEF6はDCT係数減算部５０７に送られる。

DCT係数減算部５０７では、DCT係数情報COEF2からDCT係数情報COEF6を減算して差分DCT係数情報DCOEF1が生成される。この差分DCT係数情報DCOEF1は逆DCT変換部５０９へ入力される。逆DCT変換部５０９では、入力されたDCOEF1に対して差分画素を生成する情報源復号、すなわち逆DCT変換が施されて差分画素データDPIX1が生成される。この差分画素データDPIX1は差分フレーム加算部５１０に送られる。差分フレーム加算部５１０では、逆DCT変換部５０９から入力された差分画素データDPIX1および差分画像メモリ部５０１から入力された差分動き補償予測画素データDPIX2がMB（予測符号化モード）情報に基づいて加算され、新たな差分画素データDPIX3が求められる。

差分画像メモリ部５０１では、フレームの符号化タイプが画像内符号化画像（Ｉピクチャ）または順方向画像間予測符号化画像（Ｐピクチャ）であれば、各マクロブロックが対応するアドレスに格納される。差分画像メモリ部５０１ではさらに、可変長復号化部１からMV（動きベクトル）情報が入力された場合、すなわちマクロブロックの予測符号化モード情報MBがインター符号化モードのとき、差分画像メモリ部５０１内の差分画素データDPIX3および動きベクトルMVを用いて、通常の動き補償予測と同様の方式により差分動き補償予測画素データDPIX2が求められ、これが差分フレーム加算部５１０に送られる。MB情報がイントラ符号化モードであれば、動きベクトルは存在しないので動き補償予測は行われない。DCT変換部５１３では、差分動き補償予測画素データDPIX2が情報源符号化、すなわちDCT変換され、差分フレームのDCT係数情報COEF4が生成される。この差分フレームのDCT係数情報COEF4は前記DCT係数加算部５０３に入力される。

このような構成の再量子方式によれば、DCT係数減算部５０７において、伝送レート変換前のDCT係数情報COEF2から変換後のDCT係数情報COEF6を減算して、伝送レート変換前と変換後の誤差分である差分DCT係数情報DCOEF1が生成され、この差分が逆DCT変換部９で逆DCT変換され、動き補償予測により伝送レート変換前と変換後の参照画像の誤差分が求められ、この誤差分がDCT変換部１３でDCT変換され、伝送レート変換前の予測誤差画像のDCT係数にフィードバックされるので、前記誤差分が補正され、再量子化に伴う誤差の蓄積を防止することができるようになる。

図３は、前記再符号化部４の一例を示したブロック図である。逆量子化部４０１には、量子化パラメータQP、量子化されたDCT係数情報COEF1、予測符号化モード情報MBおよびヘッダ情報が入力される。これらの情報は、逆量子化部４０１、逆DCT変換部４０２および加算器４１２を経て、画素レベルまで復号化されたビデオ情報に変換される。このビデオ情報は画像並び替え部４０３に入力されるとともに画像メモリ部４０８に入力される。画像メモリ部４０８から読み出されたフレームデータは、動き補償予測部４０７で動きベクトル情報MVを用いて動き補償された後、加算器４１２に入力される。

DCT変換部４０４は、減算器４１３からの入力をブロック単位でDCT係数に変換する。これにより生成されたDCT係数は量子化部４０５に入力される。量子化部４０５では、目標量子化パラメータQPtに基づいてビット削減のための再量子化が行われる。量子化部４０５で再量子化されたDCT係数は可変長符号化部４０６で可変長符号化され、ビットレート変換された動画像として出力される。

また、量子化部４０５の出力は逆量子化部４０９および逆DCT変換部４１０を経て加算器４１４に入力される。加算器４１４は予測画面を生成し、生成された予測画面は画像メモリ部予測器４１１に入力される。画像メモリ部予測器４１１から読み出された予測画面は前記減算器４１３および加算器４１４に入力される。

図４は、前記変換方式選択部３におけるビットレート変換方式の選択手順を示したフローチャートであり、ステップS１では、目標量子化パラメータQPtから現在の量子化パラメータQPを減じて差分値ΔQPが求められる。ステップS２では、ステップS１で求められた差分値ΔQPと所定の基準差分値ΔQPrefとが比較される。差分値ΔQPが基準差分値ΔQPrefを超えていれば、ステップS３へ進んで再符号化方式が選択される。これに対して、差分値ΔQPが基準差分値ΔQPrefを超えていなければステップS４へ進み、再量子化方式が選択される。

図５，６は、上記のように量子化パラメータQPに基づいてビットレート変換方式を選択することにより、符号化コストと処理速度とが適正化される仕組みを模式的に示した図である。

すなわち、符号化により発生するビット量は、図５(a)に示したように、DCT係数情報のビット量aと、MB情報やMV情報を含むサイド情報のビット量bとに依存する。そして、前記再量子化部５による再量子化では、DCT係数情報のみが減ぜられてサイド情報は変更されることなく固定であるのに対して、前記再符号化部４による再符号化では、DCT係数情報のみならずサイド情報も含めてビット量が最適化される。

再量子化では量子化パラメータ(QP値)が大きくなるほど量子化ステップが大きくなるので量子化誤差が多くなるものの符号化効率は向上する。そして、この符号化効率の向上にしたがってDCT係数情報のビット量ａが減少すれば、同図(b)に示したように、発生ビット量に占めるサイド情報の割合が大きくなる。したがって、QP値がある程度大きくなると、QP値の増加率に対する発生ビット量の減少の程度が小さくなるので符号化効率の改善効果が低下してしまう。

これに対して、再符号化方式では、同図(c)に示したように、DCT係数情報のみならずサイド情報を含めて発生ビット量が最小化されるように符号化が行われるので、再量子化方式よりも常に高い符号化効率を期待できる。このような傾向は、特にH.264/AVC等のエンコーダで取り入れられるようになった、「レート−ひずみ最適化」に基づいてマクロブロックの予測モードを最適化するエンコーダで顕著である。

図６は、量子化パラメータ(QP値)が「１２」で符号化されたH.264/AVCコンテンツを入力素材として、目標QP値(QPt)を「１５」から「３６」まで変化させたときの発生ビット量をレート変換方式ごとに示した図であり、実線は再量子化方式を示し、波線は再符号化方式を示している。

図示した例では、変換後のQP値が「２７」近辺を境にして、それよりもQPt値が大きい範囲では再符号化方式の発生ビット量が再量子化方式を下回っている。したがって、前記基準差分値ΔQPrefを「１５（２７−１２）」に設定し、差分値ΔQPが「１５」を超えていれば再符号化方式を選択することが符号化コスト（符号化効率）の観点から望ましい。ただし、再量子化方式は再符号化方式に較べて計算量が少なく、処理時間を約半分に短縮できる。したがって、差分値ΔQPが「１５」を超えていなければ、符号化コストに差異がないので再量子化方式を採用することが処理速度の観点から望ましい。

このように、本発明では再符号化方式および再量子化方式の符号化コストを比較した場合、その優位性がQP値の大きさに依存することを新たに知見し、この符号化コストと処理速度との関係に基づいてビットレートの変換方式を動的に選択するようにしている。

なお、上記した第１実施形態では量子化パラメータ(QP値)に基づいてビットレート変換方式が選択されるものとして説明したが、本発明のこれのみに限定されるものではなく、他の条件に基づいてビットレート変換方式が選択されるようにしても良い。

図７は、前記変換方式選択部３における選択手順の第２実施形態を示したフローチャートであり、本実施形態ではサイド情報の一つであるMV情報（動きベクトルに関する情報）に着目して変換方式を選択するようにした点に特徴がある。

ステップS２１では、MV情報のビット量が所定の閾値と比較される。MV情報のビット量が閾値を下回っていれば、ステップS２３へ進んで再量子化方式が選択される。これに対して、MV情報のビット量が閾値を上回っていれば、ステップS２２へ進んで再符号化方式が選択される。

すなわち、MV情報のビット量が少なければサイド情報のビット量が少なくなるので、サイド情報を含めて最適化する再符号化方式でも、サイド情報を変更しない再量子化方式でも符号化コストに大きな違いが生じない。したがって、MV情報のビット量が所定の基準値を下回るような場合には、処理速度の観点から再量子化方式を採用することが望ましい。本実施形態は、画像内符号化された画像やMBの場合、あるいはMBでダイレクトモードが使用されてMV情報が無い動画像のレート変換時に有効である。

図８は、前記変換方式選択部３における選択手順の第３実施形態を示したフローチャートであり、本実施形態ではサイド情報の一つであるMB情報に着目して変換方式を選択するようにした点に特徴がある。

ステップS３１では、MB情報が最適に符号化されているか否かが、H.264/AVCのレート−ひずみ最適化手法に基づいて検証される。MB情報が最適に符号化されており、その符号化コストが最小値を示していれば、ステップS３３へ進んで再量子化方式が選択される。これに対して、MB情報が最適に符号化されていなければステップS３２へ進み、再符号化方式が選択される。

すなわち、MB情報が既に最適に符号化されていれば、MB情報の符号化コストを更に上げることができないので、サイド情報を含めて最適化する再符号化方式でも、サイド情報を変更しない再量子化方式でも、符号化効率に大きな違いが生じない。したがって、MB情報が最適に符号化されている場合には、処理速度の観点から再量子化方式を採用することが望ましい。本実施形態は、動きベクトルが(0,0)で、かつブロックサイズが最大のとき、あるいはMBタイプがスキップドマクロブロック(前の画像のコピー)の動画像のレート変換時に有効である。

図９は、前記変換方式選択部３における選択手順の第４実施形態を示したフローチャートであり、本実施形態ではDCT係数のビット量に着目して変換方式を選択するようにした点に特徴がある。

ステップS４１ではDCT係数のビット量からMB情報のビット量を減じた差分値が所定の閾値と比較される。この差分値が閾値を超えていれば、ステップS４３へ進んで再量子化方式が選択される。これに対して、差分値が閾値を超えていなければステップS４２へ進み、再符号化方式が選択される。

すなわち、DCT係数のビット量が多く、再符号化によりMB情報が最適化されても（かつ、それに伴ってDCT係数のビット量が多少増えても）、全ビット量に占めるDCT係数情報の割合が高い場合は、サイド情報を含めて最適化する再符号化方式を採用するまでもなく、DCT係数情報のビット量のみを減じる再量子化でも十分な符号化効率が得られるので、再量子化方式を採用することが望ましい。

なお、上記した実施形態では、一つのパラメータに基づいてビットレートの変換方式が選択されるものとして説明したが、本発明はこれのみに限定されるものではなく、図１０に一例を示した第５実施形態のように、上記した各実施形態の条件を適宜に組み合わせて選択が行われるようにしても良い。

本実施形態では、ステップＳ５１（S２１）において、MV情報のビット量が所定の閾値と比較される。MV情報のビット量が閾値を下回っていれば、ステップS５７（Ｓ２３）へ進んで再量子化方式が選択される。MV情報のビット量が閾値を上回っていればステップS５２へ進む。

ステップS５２（Ｓ３１）ではMB情報が最適に符号化されているか否かが判定される。MB情報が最適に符号化されていれば、ステップS５７へ進んで再量子化方式が選択される。MB情報が最適に符号化されていなければステップS５３へ進む。

ステップＳ５３（Ｓ４１）では、DCT係数のビット量からMB情報のビット量を減じた差分値が所定の閾値と比較される。この差分値が閾値を超えていれば、ステップS５７へ進んで再量子化方式が選択される。差分値が閾値を超えていなければステップS５４へ進む。

ステップＳ５４（S１）では、目標量子化パラメータQPtから現在の量子化パラメータQPを減じて差分値ΔQPが求められる。ステップＳ５５（S２）では、ステップS５４で求められた差分値ΔQPと所定の基準差分値ΔQPrefとが比較される。差分値ΔQPが基準差分値ΔQPrefを超えていれば、ステップS５６へ進んで再符号化方式が選択される。これに対して、差分値ΔQPが基準差分値ΔQPrefを超えていなければ、ステップS５７へ進んで再量子化方式が選択される。

本発明に係る動画像レート変換装置の主要部の構成を示したブロック図である。図１の再量子化部の一例を示したブロック図である。図１の再符号化部の一例を示したブロック図である。図１の変換方式選択部におけるレート変換方式の第１実施形態の選択手順を示したフローチャートである。量子化パラメータQPに基づいてレート変換方式を選択することにより、符号化効率と処理速度とが適正化される仕組みを模式的に示した図である。目標量子化パラメータ(QPt)と発生ビット量との関係をレート変換方式ごとに示した図である。図１の変換方式選択部におけるレート変換方式の第２実施形態の選択手順を示したフローチャートである。図１の変換方式選択部におけるレート変換方式の第３実施形態の選択手順を示したフローチャートである。図１の変換方式選択部におけるレート変換方式の第４実施形態の選択手順を示したフローチャートである。図１の変換方式選択部におけるレート変換方式の第５実施形態の選択手順を示したフローチャートである。従来技術のブロック図である。

符号の説明

１…可変長復号化部，２…目標量子化パラメータ変換部，３…変換方式選択部，４…再符号化部，５…再量子化部，

Claims

動画像の伝送ビットレートを変換する動画像のレート変換装置において、
前記動画像を画素レベルまで復号化して再符号化する過程でレート変換する再符号化手段と、
前記動画像を逆量子化して再量子化する過程でレート変換する再量子化手段と、
前記再符号化手段および再量子化手段のいずれか一方を選択する変換方式選択手段とを具備し、
前記変換方式選択手段は、前記動画像の動きベクトル情報(MV情報)のビット量が所定の第１閾値を下回っていれば再量子化手段を選択し、前記MV情報のビット量が前記第１閾値を下回っていなければ再符号化手段を選択することを特徴とする動画像のレート変換装置。
動画像の伝送ビットレートを変換する動画像のレート変換装置において、
前記動画像を画素レベルまで復号化して再符号化する過程でレート変換する再符号化手段と、
前記動画像を逆量子化して再量子化する過程でレート変換する再量子化手段と、
前記再符号化手段および再量子化手段のいずれか一方を選択する変換方式選択手段とを具備し
前記変換方式選択手段は、前記動画像のDCT係数のビット量から前記動画像の予測符号化モード情報（MB情報）のビット量を減じた差分値が所定の第２閾値を上回っていれば再量子化手段を選択し、前記差分値が前記第２閾値を上回っていなければ再符号化手段を選択することを特徴とする動画像のレート変換装置。