JP4139416B2 - 符号化ストリーム再符号化装置、符号化ストリーム再符号化方法、符号化ストリーム再符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、映像の符号化ストリームをデコードしてデコード映像を得るとともに、その符号化ストリームに含まれる符号化情報を抽出して、それに基づいて、デコード映像を再量子化して再符号化する符号化ストリーム再符号化装置及びその方法と、その符号化ストリーム再符号化装置の実現に用いられる符号化ストリーム再符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

ＭＰＥＧ２などで量子化された映像ストリームからデコードされた映像を、より低レートの符号化ストリームに再量子化すると、量子化されたことのないオリジナル映像を直接、低レートに量子化した場合に比べ、一般に画質が劣化する。

初回に量子化した際の符号化情報（たとえば、ピクチャタイプ、マクロブロックタイプ、動きベクトル、量子化マトリックスなど）を再符号化の際にも極力再利用し、初回量子化時と同一のピクチャタイプ、同一のマクロブロックタイプ、同一の動きベクトル、同一の量子化マトリックスなどを用い、量子化パラメータのみを大きくした再符号化を行なえば劣化をある程度抑えられることが知られている。

しかし、これら符号化情報を利用したとしても、再符号化率（初回符号化時の符号化レートＲ１と、再符号化時の符号化レートＲ２の比Ｒ２／Ｒ１）が０．５を超え、１未満までの場合、特に劣化が大きくなる。

換言すれば、初回量子化時の各マクロブロックの量子化パラメータをＱとすると、再量子化時の各マクロブロックの量子化パラメータＱｔが、Ｑｔ＝Ｑあるいは２Ｑのとき、符号量あたりのＳＮＲが高い、つまり符号化効率が良く、その間のＱｔ＝Ｑ＋１〜２Ｑ−１で符号化効率が悪化することが、すでに知られている。

たとえば、図８において、“実線”は、量子化されたことのないオリジナル映像１枚（１つのピクチャ）を量子化パラメータＱを変えてイントラ量子化した場合の符号量とＰＳＮＲ値の一例を示したものである。一方、“破線”は、Ｑ＝６で上述した量子化により得られた符号化ストリームをデコードした映像を入力映像とし、量子化パラメータＱｔ＝６，８，１０，１２，... として、量子化パラメータ以外は初回に量子化した際の符号化情報を用いて再量子化した場合の符号量とＰＳＮＲ値を示している。

ここで、図８に示すシミュレーションでは、１つのピクチャ内の全てのマクロブロックについて、同一の量子化パラメータを用いるようにしてシミュレーションを行った。

図８のシミュレーション結果から分かるように、再量子化の場合、Ｑｔ＝６，１２では、オリジナル映像を量子化した場合との差は少ない。しかし、Ｑｔ＝８，１０ではオリジナル映像を量子化した場合との差が大きいことがわかる。

そこで、この性質を利用して、符号化情報のうち、量子化パラメータＱ以外のピクチャタイプ、動きベクトル、量子化マトリックスなどを再使用しつつ、再量子化時の各マクロブロック（以下、ＭＢと略記することがある）の量子化パラメータＱｔを、Ｑｔ＝ＱあるいはＱｔ＝２Ｑのいずれかのみから選択するような制御を行なうことで、劣化の少ない再量子化を実現する手法が提案されている（たとえば、非特許文献１，２参照）。

次に、図９を用いて、この従来手法について説明する。

図９では、図９（ａ）に示すように、各マクロブロックとも量子化パラメータＱ＝１０で量子化され、発生符号量は各マクロブロックで４０ｂｉｔ、合計１６０ｂｉｔである符号化ストリームが初回量子化において作成されていることを想定している。この符号化ストリームをデコードした映像が、再量子化の入力映像となる。

初回の発生符号量１６０ｂｉｔを下回るような符号化ストリームに再符号化するためには、量子化マトリックスの係数を大きくする方法か、初回量子化時の量子化パラメータＱに比べて大きい値の量子化パラメータで再量子化する方法が考えられるが、初回量子化と同一の量子化マトリックスを用いることを前提とする従来手法では、初回量子化時の量子化パラメータＱに比べて大きい値の量子化パラメータで再量子化を行なう方法である後者の方法が用いられている。

この場合、従来方法では、前述したように、初回量子化時における量子化パラメータＱ以外のピクチャタイプ、動きベクトル、量子化マトリックスなどを再使用しつつ、再量子化時の各マクロブロックの量子化パラメータＱｔをＱｔ＝Ｑあるいは２Ｑとして、再量子化した場合に劣化が少ないことを利用して再量子化する。

換言すれば、すべてのマクロブロックで均等に発生符号量を削減するのではなく、あるマクロブロックに対しては、ほとんど符号量が減らない再量子化（つまり、初回量子化時と同じ量子化パラメータＱでの再量子化）を行ない、別のマクロブロックに対しては、その分多めに符号量を減らした再量子化（つまり、初回量子化時の量子化パラメータＱの２倍の量子化パラメータ２Ｑでの再量子化）を行ない、これにより、符号化対象のマクロブロック全体で符号量削減を実現するように制御している。

このような制御により、図９の例で説明するならば、図９（ｂ）において、ＭＢ番号１と３のマクロブロックについてはほとんど符号量が削減されないＱｔ＝１０で再量子化され、ＭＢ番号２と４のマクロブロックについては符号量が削減されるＱｔ＝２０で再量子化され、その結果、４つのマクロブロック全体の発生符号量が１２０ｂｉｔへ削減される例が示されている。このときの削減量４０ｂｉｔは、Ｑｔ＝２０で再量子化されたＭＢ番号２と４のマクロブロックの発生符号量の削減分である。

このようにして、従来手法は、中間値のＱｔ＝１１〜１９を使用して同じ発生符号量１２０ｂｉｔのストリームを得る場合に比べ、劣化の少ない再符号化が実現できる。
角野眞也，栄藤稔，横矢直和 「ＭＰＥＧ再符号化のためのゾーン処理付き再量子化」電子情報通信学会論文誌 D-II Vol.J83-D-II No.9 pp.1879-1887 2000.9 永吉功，笠井裕之，花村剛，亀山渉，富永英義 「再量子化特性を利用したＭＰＥＧ−２トランスコーダ量子化制御方式の検討」映情学技報 ＭＩＰ99-74

しかしながら、従来手法では、再量子化時に使用する量子化マトリックスは、初回量子化で使用した量子化マトリックスと同一のものを使用するため、再量子化においてＱｔ＝２Ｑを選択されたマクロブロックではすべての周波数成分が荒く量子化される。つまり、映像情報がより少ない高周波側成分も、映像情報がより多く含まれる低周波側成分も荒く量子化されることになる。

また、従来手法では、Ｑｔ＝Ｑが選択されたマクロブロックではほとんど符号量を削減せず、Ｑｔ＝２Ｑが選択されたマクロブロックのみで符号量を削減する。Ｑｔ＝２Ｑが選択されて符号量の削減されたマクロブロックと、Ｑｔ＝Ｑが選択されて符号量のほとんど削減されなかったマクロブロックとを比較すると、大きな画質差がある。この画質差が両マクロブロックの境界部分で視覚上問題になる場合がある。

さらに、Ｑｔ＝ＱとＱｔ＝２Ｑとを切替えて適用するため、Ｑｔを変更したことを示す符号量（たとえば、ＭＰＥＧ−２の場合、５ｂｉｔ必要となる）がマクロブロック毎に必要になり、再符号化時の符号量が増大する問題点もある。

本発明はかかる事情に鑑みてなされたものであって、映像の符号化ストリームをデコードすることで得られる映像を再量子化して再符号化するときに、映像情報が多く含まれる低周波側の劣化を少なくできるようにし、また、マクロブロック毎の画質差を小さくできるようにする新たな符号化ストリーム再符号化技術の提供を目的とする。

この目的を達成するために、本発明の符号化ストリーム再符号化装置は、映像の符号化ストリームを入力し、それをデコードしてデコード映像を得るとともに、その符号化ストリームに含まれる符号化情報を抽出して、それに基づいて、デコード映像を再量子化して再符号化するときに、（１）抽出した符号化情報に含まれる量子化マトリックスを変換対象として、その量子化マトリックスの各要素ｍ_ijのうち高周波側の要素のみを２ｍ_ijに変換する量子化マトリックス変換部と、（２）抽出した符号化情報に含まれる量子化パラメータＱに基づいて、再量子化で使用する量子化パラメータＱｔを決定する量子化パラメータ決定部と、（３）量子化マトリックス変換部の変換した量子化マトリックスと、量子化パラメータ決定部の決定した量子化パラメータＱｔと、それ以外の符号化情報については符号化ストリームから抽出した符号化情報とを使って、デコード映像を符号化する符号化部とを備えるように構成する。

この構成を採るときに、量子化マトリックス変換部は、再符号化率が小さいほど、より低周波側の要素も２ｍ_ijに変換し、再符号化率が大きいほど、より高周波側の要素だけを２ｍ_ijに変換することがある。このとき、再符号化率が０．５の場合には、すべての要素を２ｍ_ijに変換することがあり、再符号化率が１の場合には、すべての要素を変換しないようにすることがある。

また、量子化パラメータ決定部は、再符号化率と符号化部の符号化で発生した符号量とに基づいて、再量子化で使用する量子化パラメータＱｔを、Ｑｔ＝ＱあるいはＱｔ＝２Ｑのいずれかに決定することがある。

ここで、以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の符号化ストリーム再符号化装置では、再量子化時に、初回量子化の際に使用された量子化マトリックスと同一の量子化マトリックスを使用するのではなく、高周波側要素を大きくした量子化マトリックスを用いるため、映像情報がより多く含まれる低周波成分での削減は少なく、映像情報がより少ない高周波側を大きく削減する。このため、映像情報に与える劣化が少ない再符号化を実現できる。

さらに、本発明の符号化ストリーム再符号化装置では、量子化マトリックスの高周波側の要素を単純に大きくするのではなく、符号量あたりのＳＮＲが比較的高い２倍に設定して大きくしているため、削減される高周波側の映像情報が受ける劣化も比較的少なくすることを実現できる。

本発明によれば、映像の符号化ストリームをデコードすることで得られる映像を再量子化して再符号化するときに、映像情報がより多く含まれる低周波成分での削減を少なくし、映像情報がより少ない高周波側を大きく削減できることで、映像情報に与える劣化が少ない再符号化を実現できるようになる。そして、この実現にあたって、高周波側の映像情報が受ける劣化を少なくすることができるようになる。

しかも、本発明によれば、１つのピクチャを再符号化対象として処理を行う場合に、量子化マトリックスによる符号量の削減効果により、再量子化時の各マクロブロックの量子化パラメータＱｔを初回量子化時の量子化パラメータＱと同じにできることが多くなるので、マクロブロック毎の画質差が小さくなる再量子化を実現できるようになる。

さらに、本発明によれば、１つのピクチャを再符号化対象として処理を行う場合に、量子化マトリックスによる符号量の削減効果により、再量子化時の各マクロブロックの量子化パラメータＱｔを初回量子化時の量子化パラメータＱと同じにできることが多くなるので、量子化パラメータＱｔを切替える回数が減少し、量子化パラメータＱｔを変更したことを示す符号量の増大分も従来手法に比べて小さくできるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

なお、以下に説明する実施形態例では、説明の便宜上、ある１つのピクチャの符号化ストリームを入力として、その符号化ストリームを目標の符号量で再符号化を行うことを想定している。

図１に、本発明を具備する符号化ストリーム再符号化装置１の一実施形態例を図示する。

この図に示す本発明の符号化ストリーム再符号化装置１は、ハードウェアで構成されることを想定しており、デコード部１０と、量子化マトリックス変換部１１と、量子化パラメータ決定部１２と、符号化部１３とを備える。

・デコード部１０の構成
デコード部１０は、入力映像の符号化ストリームを入力し、その符号化ストリームをデコードしてデコード映像を得るとともに、その符号化ストリームに含まれる符号化情報を抽出する。

・量子化マトリックス変換部１１の構成
量子化マトリックス変換部１１は、初回量子化時の符号化情報を入力し、その符号化情報に含まれる初回量子化で使用された量子化マトリックスの各要素ｍ_i,j のうち、高周波側の要素のみを２ｍ_i,j に変更した量子化マトリックスを作成する。

このとき、再符号化率Ｒ（初回符号化時の符号化レートＲ１と、再符号化時の符号化レートＲ２の比Ｒ２／Ｒ１）が小さいほど、それを実現するために、より低周波側の要素も２ｍ_i,j に変更し、再符号率Ｒが大きいほど、それを実現するために、より高周波側の要素だけを２ｍ_i,j に変更する。そして、この変更に従って、Ｒ＝０．５のときには、すべての要素を２ｍ_i,j に変更し、Ｒ＝１のときには、全く変更しないようにする。

たとえば、再量子化に使用する量子化マトリックスの各要素Ｍ_i,j は、再符号化率Ｒが大きくなるに従って値が大きくなる閾値ＴＨ，ＴＨ_x ，ＴＨ_y を用い、初回量子化で使用された量子化マトリックスｍ_i,j に対して、
Ｍ_i,j ＝ｍ_i,j （ｉ＋ｊ＜ＴＨのとき）
＝２×ｍ_i,j （それ以外） 式（１）
あるいは、
Ｍ_i,j ＝ｍ_i,j （ｉ＜ＴＨ_x かつｊ＜ＴＨ_y のとき）
＝２×ｍ_i,j （それ以外） 式（２）
などのような変換を施して、変換後の量子化マトリックスＭ_i,j を符号化部１３へ出力する。

そして、この変更に従って、Ｒ＝０．５のときには、すべての要素を２ｍ_i,j に変更し、Ｒ＝１のときには、全く変更しないようにする。

図２に、量子化マトリックス変換部１１の実行する処理をフローチャートの形式で記載したものを図示する。このフローチャートでは、８×８サイズの量子化マトリックスを想定しているとともに、上記の式（１）の変換を施すことを想定している。

すなわち、量子化マトリックス変換部１１は、図２に示すフローチャートの処理を実行する場合には、先ず最初に、ステップＳ１０で、変数ｉに初期値０をセットするとともに、変数ｊに初期値０をセットする。

続いて、ステップＳ１１で、「ｉ＋ｊ＜ＴＨ」が成立するのか否かを判断して、成立することを判断するときには、ステップＳ１２に進んで、「Ｍ_i,j ＝ｍ_i,j 」に従って量子化マトリックスを変換し、成立しないことを判断するときには、ステップＳ１３に進んで、「Ｍ_i,j ＝２×ｍ_i,j 」に従って量子化マトリックスを変換する。

続いて、ステップＳ１４で、ｊの値を１つインクリメントし、続くステップＳ１５で、ｊの値が８に到達したのか否かを判断して、ｊの値が８に到達していないことを判断するときには、ステップＳ１１の処理に戻り、ｊの値が８に到達したことを判断するときには、ステップＳ１６に進んで、ｉの値を１つインクリメントする。

続いて、ステップＳ１７で、ｉの値が８に到達したのか否かを判断して、ｉの値が８に到達していないことを判断するときには、ステップＳ１１の処理に戻り、ｉの値が８に到達したことを判断するときには、処理を終了する。

このようにして、量子化マトリックス変換部１１は、初回量子化で使用された量子化マトリックスに対して上記の式（１）の変換を施すことで、その量子化マトリックスを変換するように処理するのである。

・量子化パラメータ決定部１２の構成
量子化パラメータ決定部１２は、初回量子化時の符号化情報を入力し、その符号化情報に含まれる初回量子化で使用された各マクロブロックの量子化パラメータＱを検出するとともに、再符号化率Ｒと符号化部１３から入力される発生符号量とに基づいて、それらのマクロブロックの再量子化で使用する量子化パラメータＱｔをＱｔ＝ＱあるいはＱｔ＝２Ｑのいずれかに決定して符号化部１３へ出力する。

図３に、この量子化パラメータ決定部１２の実行する処理の一例をフローチャートの形式で記載したものを図示する。

量子化パラメータ決定部１２は、図３に示すフローチャートの処理を実行する場合には、先ず最初に、ステップＳ２０で、初回量子化時の符号化情報から、再符号化の対象となるピクチャの符号量Ｒ１と、そのピクチャのマクロブロック数Ｎとを抽出し、続くステップＳ２１で、予め設定された再符号化率Ｒを取得する。

続いて、ステップＳ２２で、「Ｒ２＝Ｒ１×再符号化率Ｒ」を算出することで、再符号化での目標となる発生符号量Ｒ２を算出し、続くステップＳ２３で、「Ｍ＝Ｒ２／Ｎ」を算出することで、１つのマクロブロックに割り当てられる発生符号量Ｍを算出する。

続いて、ステップＳ２４で、変数Ｓに初期値０をセットするとともに、変数ｋに初期値１をセットする。続いて、ステップＳ２５で、ｋ番目のマクロブロックの量子化パラメータＱｔとして、初期設定される量子化パラメータＱｔ( ＝Ｑあるいは２Ｑ）を決定し、続くステップＳ２６で、その決定した量子化パラメータＱｔを指定して、符号化部１３に対してｋ番目のマクロブロックの符号化を指示し、そのときの符号化で発生する符号量Ｓｋを受け取る。

続いて、ステップＳ２７で、「Ｓ＝Ｓ＋Ｓｋ」を算出することで、これまでに発生した符号量の総和Ｓを更新し、続くステップＳ２８で、全てのマクロブロックを処理したのか否かを判断して、未処理のマクロブロックが残っている場合には、ステップＳ２９に進んで、「ｋ×Ｍ＞Ｓ」が成立するのか否かを判断する。

このステップＳ２９の判断処理に従って、「ｋ×Ｍ＞Ｓ」が成立することを判断するときには、ステップＳ３０に進んで、ｋの値を１つインクリメントしてから、続くステップＳ３１で、ｋ番目のマクロブロックの量子化パラメータＱｔとして、Ｑｔ＝Ｑを決定してから、ステップＳ２６の処理に戻る。

一方、ステップＳ２９の判断処理に従って、「ｋ×Ｍ＞Ｓ」が成立しないことを判断するときには、ステップＳ３２に進んで、ｋの値を１つインクリメントしてから、続くステップＳ３３で、ｋ番目のマクロブロックの量子化パラメータＱｔとして、Ｑｔ＝２Ｑを決定してから、ステップＳ２６の処理に戻る。

そして、このようにして、ステップＳ２６〜ステップＳ３３の処理を繰り返していくことで、ステップＳ２８で、全てのマクロブロックを処理したことを判断すると、処理を終了する。

このようにして、量子化パラメータ決定部１２は、再符号化での目標となる発生符号量Ｒ２に収まる再符号化が行われるようになるべく、各マクロブロックの再量子化で使用する量子化パラメータＱｔをＱｔ＝ＱあるいはＱｔ＝２Ｑのいずれかに決定して、符号化部１３へ出力するように処理するのである。

ここで、図３に示すフローチャートの処理自体については、従来技術の備える量子化パラメータ決定部１２でも行っていたものであるが、本発明の場合には、量子化マトリックス変換部１１の処理に従って発生符号量の削減が図られることになるので、図中に示す破線のルートで処理が行われることが多くなるという点に、その特徴がある。

・符号化部１３の構成
符号化部１３は、量子化マトリックス変換部１１からの量子化マトリックスと、量子化パラメータ決定部１２からの量子化パラメータと、デコード部１０からのデコード映像と、デコード部１０からの符号化情報とを入力する。

この符号化部１３は、符号化情報に含まれる量子化パラメータと量子化マトリックスについては使用せずに、それぞれ量子化パラメータ決定部１２と量子化マトリックス変換部１１から入力したものを使用して、これ以外のピクチャタイプ、動きベクトルなどを再利用して、デコード部１０の生成したデコード映像を再符号化して、その符号化ストリームを外部端子に出力する。そして、そのときの発生符号量を量子化パラメータ決定部１２に通知する。

図４に、このように構成される本発明の符号化ストリーム再符号化装置１の実行する全体的な処理をフローチャートの形式で記載したものを図示する。

このように構成される本発明の符号化ストリーム再符号化装置１は、図４のフローチャートに示すように、先ず最初に、ステップＳ４０で、再符号化の対象となる１ピクチャ分の符号化ストリームを入力する。

続いて、ステップＳ４１で、入力した符号化ストリームをデコードすることでデコード映像を得る。続いて、ステップＳ４２で、入力した符号化ストリームから符号化情報を抽出する。続いて、ステップＳ４３で、符号化情報に含まれる量子化マトリックスを変換対象として、前述した式（１）や式（２）などに従って量子化マトリックスを変換する。

続いて、ステップＳ４４で、先頭のマクロブロックについて、初期設定に従ってＱｔ＝ＱあるいはＱｔ＝２Ｑのいずれかを決定することで量子化パラメータＱｔを決定する。続いて、ステップＳ４５で、先頭のマクロブロックのデコード映像を再符号化対象として再符号化を行い、そのときの発生符号量に従って、発生符号量の累積値を更新する。

続いて、ステップＳ４６で、再符号化率と発生符号量の累積値とに基づいて、次のマクロブロックについて量子化パラメータを決定する。続いて、ステップＳ４７で、次のマクロブロックのデコード映像を再符号化対象として再符号化を行い、そのときの発生符号量に従って、発生符号量の累積値を更新する。

続いて、ステップＳ４８で、全てのマクロブロックについて処理を行ったのか否かを判断して、全てのマクロブロックについて処理を行っていないことを判断するときには、ステップＳ４６の処理に戻り、全てのマクロブロックについて処理を行ったことを判断するときには、処理を終了する。

次に、図５に従って、本発明の符号化ストリーム再符号化装置１の実行する再量子化処理について説明する。

図５では、図５（ａ）に示すように、従来の再量子化処理を示した図９と同様に、各マクロブロックとも量子化パラメータＱ＝１０で量子化され、発生符号量は各マクロブロックで４０ｂｉｔ、合計１６０ｂｉｔであるストリームが初回量子化において作成されていることを想定している。このストリームをデコードした映像が、再量子化の入力映像となる。

本発明では、前述したように、量子化パラメータＱ以外のピクチャタイプ、動きベクトルなどを再使用しつつ、再量子化時の量子化マトリックスの高周波側要素を２倍にした量子化マトリックスを用いて、デコード映像を再符号化するという構成を採る。

本発明と従来方法との動作上の大きな違いは、本発明では、式（１）や式（２）に示したような高周波領域の係数が２倍に設定された量子化マトリックスを用いるようにしていることで、Ｑｔ＝２Ｑのときのみ符号量の削減が行なわれる従来手法と異なり、Ｑｔ＝ＱとＱｔ＝２Ｑのいずれが指定された場合でも符号量の削減が行なわれることにある。

したがって、同一の再符号化率の場合、従来手法に比べ、本発明によれば、Ｑｔ＝Ｑが選択される割合が大幅に増加し、映像情報が多く含まれた低周波側のＤＣＴ係数が荒く量子化される場合、つまり、Ｑｔ＝２Ｑが選択される場合を減らすことができるようになる。

このような制御により、図５（ｂ）に示すように、全でのマクロブロックがＱ＝１０で再量子化され、各マクロブロックの発生符号量は４０ｂｉｔから３０ｂｉｔへ削減されることを実現できるようになる。このときの削減量１０ｂｉｔは、各マクロブロックの高周波成分が削減された分である。量子化マトリックスの低周波側は変更していないため、映像情報がより多く含まれる低周波側成分は削減されていない。

本発明、従来方法ともに、再量子化時の量子化パラメータＱｔ＝２Ｑに指定されたマクロブロックについては映像情報が多く含まれる低周波側成分も削減されるものの、本発明では、Ｑｔ＝２Ｑに指定されるマクロブロックの割合を従来方法に比べ大幅に少なくできるので、劣化の少ない再量子化が実現できる。

また、本発明では、すべてのマクロブロックで発生符号量を削減しているため、従来手法がＱｔ＝２Ｑを選択されたマクロブロックのみで削減しているのと比較すると、マクロブロックの境界部分で画質差が小さく、視覚上問題になる場合が少ない利点がある。

さらに、本発明では、前述のようにＱｔ＝Ｑを選択される割合が増えるため、Ｑｔを切替える回数が減少し、Ｑｔを変更したことを示す符号量の増大分も従来手法に比べて小さい利点もある。

図６に、本発明を実現する他の実施形態例を図示する。

図１に示した本発明の符号化ストリーム再符号化装置１ではハードウェアで構成されることを想定したが、図６に示す本発明の実施形態例はソフトウェアで実現されるものである。

この図６に示す本発明は、符号化ストリーム入力手段２０と、符号化ストリーム出力手段２１と、ＣＰＵ２２と、ＲＡＭ２３と、ディスク装置２４とが、バス２５を介して接続されることで構成される。

このディスク装置２４には、図１に示す本発明の符号化ストリーム再符号化装置１の備えるデコード部１０に相当する処理を実行するデコーダプログラム２４０と、図１に示す本発明の符号化ストリーム再符号化装置１の備える量子化マトリックス変換部１１に相当する処理を実行する量子化マトリックス変換プログラム２４１と、図１に示す本発明の符号化ストリーム再符号化装置１の備える量子化パラメータ決定部１２に相当する処理を実行する量子化パラメータ決定プログラム２４２と、図１に示す本発明の符号化ストリーム再符号化装置１の備える符号化部１３に相当する処理を実行する符号化プログラム２４３とが備えられる。

以下、各部の動作を説明する。

符号化ストリーム入力手段２０は、再符号化の対象となる符号化ストリームを入力してＲＡＭ２３に蓄積する。

ＣＰＵ２２は、ディスク装置２４からデコーダプログラム２４０をロードして起動することで、ＲＡＭ２３に蓄積された符号化ストリームをデコードすることでデコード映像を得て、それをＲＡＭ２３に蓄えるとともに、その符号化ストリームから符号化情報を抽出してＲＡＭ２３に蓄える。

また、ＣＰＵ２２は、ディスク装置２４から量子化マトリックス変換プログラム２４１をロードして起動することで、ＲＡＭ２３に蓄積された符号化情報に基づいて、初回量子化で使用した量子化マトリックスの各要素ｍ_i,j のうち、高周波側の要素のみを２ｍ_i,j に変更した量子化マトリックスを作成し、これを一旦ＲＡＭ２３に格納する。

このとき、再符号化率Ｒが小さいほど、より低周波側の要素も２ｍ_i,j に変更する。また、再符号化率Ｒが大きいほど、より高周波側の要素だけを２ｍ_i,j に変更する。また、Ｒ＝０．５のときには、すべての要素を２ｍ_i,j に変更し、Ｒ＝１のときには、全く変更しない。この再量子化に使用する量子化マトリックスの各要素Ｍ_i,j の変換については、たとえば、Ｒが大きくなるに従って値が大きくなる閾値ＴＨを用い、図２に示したフローチャートを実行することにより実現される。

また、ＣＰＵ２２は、ディスク装置２４から符号化プログラム２４３をロードして起動することで、
・量子化マトリックス変換プログラム２４１が出力したＲＡＭ２３に蓄積されている 変更された量子化マトリックス
・量子化パラメータ決定プログラム２４２が出力したＲＡＭ２３に蓄積されている量 子化パラメータ
・デコードプログラム２４０が出力したＲＡＭ２３に蓄積されているデコード映像
・デコードプログラム２４０が出力したＲＡＭ２３に蓄積されている符号化情報
というデータに基づいて、映像の符号化ストリームを作成して、それを符号化ストリーム出力手段２１を介して出力するとともに、そのときに発生する符号量を算出してＲＡＭ２３に格納する。

また、ＣＰＵ２２は、ディスク装置２４から量子化パラメータ決定プログラム２４２をロードして起動することで、再符号化率Ｒと符号化プログラム２４３が出力したＲＡＭ２３に格納されている発生符号量とに基づいて量子化パラメータを決定してＲＡＭ２３に蓄える。

このように構成される図６に示す本発明では、デコーダプログラム２４０、量子化マトリックス変換プログラム２４１、量子化パラメータ決定プログラム２４２及び符号化プログラム２４３が動作することで図４のフローチャートを実行し、これにより、図１に示す本発明の符号化ストリーム再符号化装置１と同様に、量子化パラメータＱ以外のピクチャタイプ、動きベクトルなどを再使用しつつ、再量子化時の量子化マトリックスの高周波側要素を２倍にした量子化マトリックスを用いて、デコード映像を再符号化するように処理するのである。

図７に、ＭＰＥＧ２を用いて６Ｍｂｐｓで量子化された符号化ストリームをデコードした映像を再符号化対象として、本発明と従来方法とを用いてＭＰＥＧ２による再量子化を行なった場合をシミュレーションした際のＳＮＲ特性の比較結果を図示する。ここで、縦軸がＰＳＮＲで、横軸が発生符号量であり、シミュレーション条件は、入力映像サイズが７２０×４８０画素で、ＧＯＰの構造はＭ＝３，Ｎ＝１５である。

図７中に示す“破線”が従来方法のシミュレーション結果を示しており、１つのピクチャ内のマクロブロックについて、量子化パラメータＱｔをＱｔ＝ＱあるいはＱｔ＝２Ｑから選択することで目標の発生符号量になるように制御する場合のＳＮＲ特性を示している。

一方、図７中に示す“実線”が本発明のシミュレーション結果を示しており、このシミュレーションの場合は、１つのピクチャ内のマクロブロックについて量子化パラメータＱｔをＱｔ＝Ｑとするようにして、前述の閾値ＴＨを変えることにより式（１）に従って量子化マトリックスを変換することで目標の発生符号量になるように制御する場合のＳＮＲ特性を示している。

このシミュレーション結果から、この例では、従来手法にくらべて、最大０．３ｄＢ程度のＰＳＮＲ向上の効果が本発明で得られていることがわかる。

以上に説明した実施形態例では、ある１つのピクチャの符号化ストリームを入力として、その符号化ストリームを目標の符号量で再符号化を行うことを想定している。

本発明は、その適用がこのような場合に限られるものではない。たとえば、ＧＯＰなどのような複数のピクチャの集合に対して、この符号量で再符号化を行うという目標が与えられる場合にも、そのまま適用できるものである。

このような場合には、たとえば、各ピクチャの符号量の目標が設定されるので、たとえば、その目標の符号量で符号化できるようにと、ピクチャ毎に前述の閾値ＴＨ，ＴＨ_x ，ＴＨ_y を変えることで、ピクチャ毎に量子化マトリックスを変更するように制御することになる。

このとき、量子化パラメータＱｔについては、１つのピクチャ内でＱｔ＝Ｑとするようにしてもよいし、１つのピクチャ内でＱｔ＝ＱあるいはＱｔ＝２Ｑから選択するようにしてもよい。

また、このような場合には、各ピクチャで符号量の目標を達成する必要はなく、あるピクチャで目標の符号量を達成できずに符号量が超えるようなことが起きた場合には、その後のピクチャ全体で、その超えた分を吸収するように制御すればよい。

本発明は、映像の符号化ストリームをデコードすることで得られる映像を再量子化して再符号化するときに適用できるものであり、映像情報がより多く含まれる低周波成分での削減を少なくし、映像情報がより少ない高周波側を大きく削減できることで、映像情報に与える劣化が少ない再符号化を実現できるようになる。そして、この実現にあたって、高周波側の映像情報が受ける劣化を少なくすることができるようになる。

本発明の一実施形態例である。 量子化マトリックス変換部の実行するフローチャートである。 量子化パラメータ決定部の実行するフローチャートである。 本発明の実行するフローチャートである。 本発明の再量子化処理の説明図である。 本発明の他の実施形態例である。 本発明の有効性を検証するために行ったシミュレーション結果の説明図である。 再量子化を行う際に量子化パラメータが与えるＰＳＮＲ特性の説明図である。 従来の再量子化処理の説明図である。

符号の説明

１ 符号化ストリーム再符号化装置
１０ デコード部
１１ 量子化マトリックス変換部
１２ 量子化パラメータ決定部
１３ 符号化部

Claims (10)

1. 映像の符号化ストリームを入力し、それをデコードしてデコード映像を得るとともに、その符号化ストリームに含まれる符号化情報を抽出して、それに基づいて、デコード映像を再量子化して再符号化する符号化ストリーム再符号化装置であって、
   前記符号化情報に含まれる量子化マトリックスを変換対象として、その量子化マトリックスの各要素ｍ_ijのうち高周波側の要素のみを２ｍ_ijに変換する量子化マトリックス変換部と、
   前記符号化情報に含まれる量子化パラメータＱに基づいて、再量子化で使用する量子化パラメータＱｔを決定する量子化パラメータ決定部と、
   前記量子化マトリックス変換部の変換した量子化マトリックスと、前記量子化パラメータ決定部の決定した量子化パラメータＱｔと、それ以外の符号化情報については前記符号化ストリームから抽出した符号化情報とを使って、前記デコード映像を符号化する符号化部とを備えることを、
   特徴とする符号化ストリーム再符号化装置。
2. 請求項１に記載の符号化ストリーム再符号化装置において、
   前記量子化マトリックス変換部は、再符号化率が小さいほど、より低周波側の要素も２ｍ_ijに変換し、再符号化率が大きいほど、より高周波側の要素だけを２ｍ_ijに変換することを、
   特徴とする符号化ストリーム再符号化装置。
3. 請求項２に記載の符号化ストリーム再符号化装置において、
   前記量子化マトリックス変換部は、再符号化率が０．５の場合には、すべての要素を２ｍ_ijに変換し、再符号化率が１の場合には、すべての要素を変換しないことを、
   特徴とする符号化ストリーム再符号化装置。
4. 請求項１ないし３のいずれか１項に記載の符号化ストリーム再符号化装置において、
   前記量子化パラメータ決定部は、再符号化率と前記符号化部の符号化で発生した符号量とに基づいて、再量子化で使用する量子化パラメータＱｔを、Ｑｔ＝ＱあるいはＱｔ＝２Ｑのいずれかに決定することを、
   特徴とする符号化ストリーム再符号化装置。
5. 映像の符号化ストリームを入力し、それをデコードしてデコード映像を得るとともに、その符号化ストリームに含まれる符号化情報を抽出して、それに基づいて、デコード映像を再量子化して再符号化する符号化ストリーム再符号化方法であって、
   前記符号化情報に含まれる量子化マトリックスを変換対象として、その量子化マトリックスの各要素ｍ_ijのうち高周波側の要素のみを２ｍ_ijに変換する過程と、
   前記符号化情報に含まれる量子化パラメータＱに基づいて、再量子化で使用する量子化パラメータＱｔを決定する過程と、
   前記変換した量子化マトリックスと、前記決定した量子化パラメータＱｔと、それ以外の符号化情報については前記符号化ストリームから抽出した符号化情報とを使って、前記デコード映像を符号化する過程とを備えることを、
   特徴とする符号化ストリーム再符号化方法。
6. 請求項５に記載の符号化ストリーム再符号化方法において、
   前記変換する過程では、再符号化率が小さいほど、より低周波側の要素も２ｍ_ijに変換し、再符号化率が大きいほど、より高周波側の要素だけを２ｍ_ijに変換することを、
   特徴とする符号化ストリーム再符号化方法。
7. 請求項６に記載の符号化ストリーム再符号化方法において、
   前記変換する過程では、再符号化率が０．５の場合には、すべての要素を２ｍ_ijに変換し、再符号化率が１の場合には、すべての要素を変換しないことを、
   特徴とする符号化ストリーム再符号化方法。
8. 請求項５ないし７のいずれか１項に記載の符号化ストリーム再符号化方法において、
   前記決定する過程では、再符号化率と前記デコード映像の符号化で発生した符号量とに基づいて、再量子化で使用する量子化パラメータＱｔを、Ｑｔ＝ＱあるいはＱｔ＝２Ｑのいずれかに決定することを、
   特徴とする符号化ストリーム再符号化方法。
9. 請求項１ないし４のいずれか１項に記載の符号化ストリーム再符号化装置の実現に用いられる処理をコンピュータに実行させるための符号化ストリーム再符号化プログラム。
10. 請求項１ないし４のいずれか１項に記載の符号化ストリーム再符号化装置の実現に用いられる処理をコンピュータに実行させるための符号化ストリーム再符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images