JP5391479B2 - エンコーダ - Google Patents

Description

本発明は、入力画像を出力画像に符号化するエンコーダにおいて、画像毎の画質を均等に設定することにより、ストリーム全体の画質を主観的に向上させる技術に関する。

エンコーダは、入力画像を出力画像に符号化することにより、データ容量の大きい入力画像をデータ容量の小さい出力画像に圧縮する。エンコーダは、入力画像および参照画像に基づいて予測画像を生成して、入力画像および予測画像に基づいて差分画像を生成する。エンコーダは、入力画像を符号化することなく、差分画像を符号化することにより、圧縮符号化効率を向上させることができる。

特許文献１のエンコーダは、画像毎に画質を評価するため、入力画像および予測画像に基づいて画像毎に予測誤差を算出する。ここで、予測誤差とは、入力画像および予測画像の各対応画素値についての差分絶対値を、各対応画素について加算した差分絶対値和である。または、予測誤差とは、入力画像および予測画像の各対応画素値についての差分自乗値を、各対応画素について加算した差分自乗値和である。

エンコーダは、現段階で符号化する画像についての予測誤差が急激に上昇したと判断したときには、現段階で符号化する画像についての画質が急激に劣化したと判断する。エンコーダは、次に符号化する画像についての目標符号量を、現段階で符号化する画像についての目標符号量より多く割り当てる。そこで、エンコーダは、次に符号化する画像についての画質を、現段階で符号化する画像についての画質より向上させることができる。さらに、エンコーダは、出力画像バッファをオーバーフローさせないようにできる。

特開２００２−１２５２３５号公報

特許文献１のエンコーダは、現段階で符号化する画像についての画質を劣化させたとしても、次に符号化する画像についての画質を向上させる。しかし、ストリーム全体において、各画像の画質が均等でないときには、画質が高い画像および画質が低い画像が交互に出現するため、ちらつきが発生して画質が主観的に劣化する。とりわけ、動きが少ないストリーム全体において、画質が主観的に劣化する問題が顕著になる。

そこで、本発明は前記問題点に鑑み、入力画像を出力画像に符号化するエンコーダにおいて、ストリーム全体の画質を主観的に向上させる技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、入力画像を出力画像に符号化するエンコーダであって、入力画像と、入力画像を一旦エンコードした後デコードすることで得られる復号画像と、を比較することで量子化誤差を算出する量子化誤差算出部と、既に符号化されている既符号化処理単位について、量子化誤差の実測値である実測量子化誤差を格納する実測量子化誤差格納部と、前記既符号化処理単位の前記実測量子化誤差に基づいて、未だ符号化されていない未符号化処理単位について、量子化誤差の目標値である目標量子化誤差を設定する目標量子化誤差設定部と、を備え、前記目標量子化誤差設定部は、前記未符号化処理単位内の画像毎の前記目標量子化誤差のばらつきが、前記既符号化処理単位内の画像毎の前記実測量子化誤差のばらつきよりも小さくなるように、前記目標量子化誤差を設定することを特徴とする。

請求項２記載の発明は、請求項１に記載のエンコーダにおいて、さらに、前記未符号化処理単位の画像毎について、前記目標量子化誤差が達成されるように、目標符号量を設定する目標符号量設定部と、前記未符号化処理単位の画像毎について、前記目標符号量が達成されるように、量子化ステップ値を設定する量子化ステップ値設定部と、
を備えることを特徴とする。

請求項３記載の発明は、請求項１または請求項２に記載のエンコーダにおいて、前記目標量子化誤差設定部は、目標レートと前記既符号化処理単位の出力レートを比較することにより、目標レートと前記未符号化処理単位の出力レートが漸近するように前記目標量子化誤差を設定するレート調整部、を含むことを特徴とする。

請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載のエンコーダにおいて、前記目標量子化誤差設定部は、前記既符号化処理単位の画像毎の前記実測量子化誤差から最小値を選択して、前記未符号化処理単位の画像毎の前記目標量子化誤差として設定する最小誤差選択部、を含むことを特徴とする。

請求項５記載の発明は、請求項１ないし請求項３のいずれかに記載のエンコーダにおいて、前記目標量子化誤差設定部は、前記既符号化処理単位の画像毎の前記実測量子化誤差から最大値を選択して、前記未符号化処理単位の画像毎の前記目標量子化誤差として設定する最大誤差選択部、を含むことを特徴とする。

請求項６記載の発明は、請求項１ないし請求項３のいずれかに記載のエンコーダにおいて、前記目標量子化誤差設定部は、前記既符号化処理単位の画像毎の前記実測量子化誤差について平均値を算出して、前記未符号化処理単位の画像毎の前記目標量子化誤差として設定する平均誤差選択部、を含むことを特徴とする。

請求項７記載の発明は、請求項１ないし請求項６のいずれかに記載のエンコーダにおいて、前記既符号化処理単位と前記未符号化処理単位は、１または複数のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位に対応することを特徴とする。

請求項８記載の発明は、請求項１ないし請求項７のいずれかに記載のエンコーダにおいて、前記実測量子化誤差および前記目標量子化誤差は、フレーム内予測画像、フレーム間順方向予測画像、およびフレーム間双方向予測画像のそれぞれの画像種別について、入力画像と復号画像の比較から算出される画像種別量子化誤差、を含むことを特徴とする。

請求項９記載の発明は、請求項１ないし請求項８のいずれかに記載のエンコーダにおいて、前記実測量子化誤差と前記目標量子化誤差は、入力画像と復号画像の各対応画素値についての差分絶対値を、各対応画素について加算した差分絶対値和、を含むことを特徴とする。

請求項１０記載の発明は、請求項１ないし請求項８のいずれかに記載のエンコーダにおいて、前記実測量子化誤差と前記目標量子化誤差は、入力画像と復号画像の各対応画素値についての差分自乗値を、各対応画素について加算した差分自乗値和、を含むことを特徴とする。

本発明のエンコーダは、量子化誤差算出部、実測量子化誤差格納部、目標量子化誤差設定部を備える。量子化誤差算出部は、入力画像および復号画像の量子化誤差を算出する。実測量子化誤差格納部は、既符号化処理単位について、量子化誤差の実測値である実測量子化誤差を格納する。目標量子化誤差設定部は、実測量子化誤差を参照することにより、未符号化処理単位について、量子化誤差の目標値である目標量子化誤差を設定する。既符号化処理単位の符号化処理の処理結果は、未符号化処理単位の符号化処理にフィードバックされる。

実測量子化誤差は、既符号化処理単位の画像毎にばらつきが大きく、目標量子化誤差は、未符号化処理単位の画像毎にばらつきが小さい。量子化誤差が大きい画像の画質は低く、量子化誤差が小さい画像の画質は高い。既符号化処理単位については、画像毎の画質のばらつきが大きく、未符号化処理単位については、画像毎の画質のばらつきが小さい。

エンコーダは、画像毎の画質を均等に設定することにより、ストリーム全体の画質を主観的に向上できる。エンコーダは、未符号化処理単位の先読み処理を必要としないことにより、回路規模を増大させることなくリアルタイム処理を実行できる。

｛エンコーダの構成要素｝
以下、図面を参照しつつ、本発明の実施の形態について説明する。図１は、エンコーダＥの構成要素を示すブロック図である。エンコーダＥは、単独で機能していてもよい。エンコーダＥは、トランスコーダまたはトランスレータの構成要素であることにより、デコーダとともに機能していてもよい。エンコーダＥの構成要素は、３種類に分類される。

１種類目の構成要素は、入力画像について予測を実行するための構成要素である。１種類目の構成要素は、入力画像バッファ１１、参照画像バッファ１２、予測画像生成部１３、減算器１４、加算器１５などである。

入力画像バッファ１１は、エンコーダＥの外部から入力画像を入力する。参照画像バッファ１２は、加算器１５から参照画像を入力する。予測画像生成部１３は、入力画像バッファ１１から入力画像を入力して、参照画像バッファ１２から参照画像を入力する。予測画像生成部１３は、入力画像および参照画像に基づいて、予測画像を生成する。

予測画像生成部１３は、フレーム内予測画像であるＩピクチャの予測画像を生成するときには、予測モードを決定する。予測画像生成部１３は、フレーム間順方向予測画像であるＰピクチャの予測画像を生成するときには、または、フレーム間双方向予測画像であるＢピクチャの予測画像を生成するときには、動きベクトルを決定する。

減算器１４は、入力画像バッファ１１から入力画像を入力して、予測画像生成部１３から予測画像を入力する。減算器１４は、入力画像から予測画像を減算することにより、差分画像を生成する。加算器１５は、逆周波数変換部２６から差分画像を入力して、予測画像生成部１３から予測画像を入力する。加算器１５は、差分画像および予測画像を加算することにより、参照画像を生成する。１種類目の構成要素による処理は以上で一巡する。

２種類目の構成要素は、差分画像について符号化を実行するための構成要素である。２種類目の構成要素は、周波数変換部２１、量子化部２２、符号化部２３、出力画像バッファ２４、逆量子化部２５、逆周波数変換部２６などである。

周波数変換部２１は、減算器１４から差分画像を入力して、周波数変換を実行する。量子化部２２は、周波数変換部２１から周波数変換を実行された差分画像を入力して、量子化を実行する。符号化部２３は、量子化部２２から量子化を実行された差分画像を入力して、予測画像生成部１３から予測モードまたは動きベクトルを入力して、符号化を実行する。出力画像バッファ２４は、エンコーダＥの外部に出力画像を出力する。

逆量子化部２５は、量子化部２２から量子化を実行された差分画像を入力して、逆量子化を実行する。逆周波数変換部２６は、逆量子化部２５から逆量子化を実行された差分画像を入力して、逆周波数変換を実行する。２種類目の構成要素による処理は以上で一巡する。逆周波数変換部２６が出力する差分画像は、周波数変換部２１が入力する差分画像に対して、量子化部２２および逆量子化部２５に起因する量子化誤差を含む。

３種類目の構成要素は、画像毎の画質を均等に設定するための構成要素である。３種類目の構成要素は、量子化誤差算出部３１、実測量子化誤差格納部３２、目標量子化誤差設定部３３、目標符号量設定部３４、量子化ステップ値設定部３５などである。各構成要素について図２から図４までを用いて説明する。

｛画像毎の画質を均等に設定する一般的な方法｝
画像毎の画質を均等に設定する一般的な方法について説明する。量子化誤差算出部３１、実測量子化誤差格納部３２について、図２および図３を用いて説明する。目標量子化誤差設定部３３、目標符号量設定部３４、量子化ステップ値設定部３５について、図４を用いて説明する。

［量子化誤差算出部、実測量子化誤差格納部］
量子化誤差算出部３１は、入力画像バッファ１１から入力画像を入力して、加算器１５から参照画像を入力して、量子化誤差を算出する。実測量子化誤差格納部３２は、既に符号化されている既符号化処理単位について、量子化誤差を格納する。既符号化処理単位について図３を用いて説明する。

図２は、量子化誤差の定義を示す図である。図２（ａ）は、画像サイズが４×４であると仮定した入力画像Ａを示す。符号Ａ１，・・・，Ａ１６は、入力画像Ａの各画素を示すとともに、入力画像Ａの各画素値を示す。図２（ｂ）は、画像サイズが４×４であると仮定した復号画像Ｂを示す。符号Ｂ１，・・・，Ｂ１６は、復号画像Ｂの各画素を示すとともに、復号画像Ｂの各画素値を示す。図２（ｃ）は、２種類の量子化誤差の定義を示す。

１種類目の量子化誤差の定義について説明する。量子化誤差は、入力画像および復号画像の各対応画素値についての差分絶対値を、各対応画素について加算した差分絶対値和により定義される。すなわち、図２（ｃ）の上側に示したように、量子化誤差Ｄｉｆｆは、Σ｜ＡＮ−ＢＮ｜により定義される。ここで、和は１６画素分について計算される。

２種類目の量子化誤差の定義について説明する。量子化誤差は、入力画像および復号画像の各対応画素値についての差分自乗値を、各対応画素について加算した差分自乗値和により定義される。すなわち、図２（ｃ）の下側に示したように、量子化誤差Ｄｉｆｆは、Σ（ＡＮ−ＢＮ）^２により定義される。ここで、和は１６画素分について計算される。

なお、上記２つの方法で量子化誤差を算出する際、演算に用いる画素は、輝度信号と色差信号の両方を用いればよい。輝度信号についての量子化誤差と、色差信号についての量子化誤差を算出し、それらの平均をとってもよいし、重み付け平均をとってもよい。あるいは、輝度信号、色差信号のいずれかのみの信号を用いて量子化誤差を算出してもよい。

図３は、量子化誤差Ｄｉｆｆの時間変化を示す図である。縦軸は、量子化誤差Ｄｉｆｆを示す。横軸は、時間変化を示す。横軸の下側の「Ｉ，Ｐ，Ｂ」は、時間変化につれて入力される画像が、Ｉ，Ｐ，Ｂピクチャのうちいずれの画像であるかを示す。

図３の左側は、既に符号化されている既符号化処理単位について、量子化誤差Ｄｉｆｆの時間変化を示す。ここで、既符号化処理単位については、符号化部２３において既に符号化が実行されており、実測量子化誤差格納部３２において既に量子化誤差Ｄｉｆｆが格納されている。すなわち、既符号化処理単位についての量子化誤差Ｄｉｆｆは、実測されている量子化誤差Ｄｉｆｆであり、実線の棒グラフにより示されている。

図３の右側は、未だ符号化されていない未符号化処理単位について、量子化誤差Ｄｉｆｆの時間変化を示す。ここで、未符号化処理単位については、符号化部２３において未だ符号化が実行されておらず、実測量子化誤差格納部３２において未だ量子化誤差Ｄｉｆｆが格納されていない。すなわち、未符号化処理単位についての量子化誤差Ｄｉｆｆは、実測されていない量子化誤差Ｄｉｆｆであり、破線の棒グラフにより示されている。

既符号化処理単位については、画像毎の量子化誤差Ｄｉｆｆのばらつきが大きく、すなわち、画像毎の画質のばらつきが大きい。未符号化処理単位については、画像毎の量子化誤差Ｄｉｆｆのばらつきが小さくなるように、すなわち、画像毎の画質のばらつきが小さくなるように、目標量子化誤差設定部３３、目標符号量設定部３４、量子化ステップ値設定部３５は処理を実行する。

既符号化処理単位の符号化処理の処理結果は、未符号化処理単位の符号化処理にフィードバックされる。未符号化処理単位における画像毎の画質のばらつきが、既符号化処理単位における画像毎の画質のばらつきより小さくなるように、目標量子化誤差設定部３３、目標符号量設定部３４、量子化ステップ値設定部３５は処理を実行する。次の未符号化処理単位における画像毎の画質のばらつきが、前の未符号化処理単位における画像毎の画質のばらつきより小さくなるように、目標量子化誤差設定部３３、目標符号量設定部３４、量子化ステップ値設定部３５は処理を実行する。

既符号化処理単位および未符号化処理単位は、任意の処理単位である。第１の具体例として、既符号化処理単位および未符号化処理単位はそれぞれ、１個のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位であってもよく、任意の個数のＧＯＰ単位であってもよい。第２の具体例として、既符号化処理単位および未符号化処理単位はあわせて、１個のＧＯＰ単位に含まれてもよい。もちろん、具体例は以上の具体例に限定されない。

第１の具体例においては、既に符号化されている１個または任意の個数のＧＯＰ単位については、画像毎の画質のばらつきは大きくなる。しかし、未だ符号化されていない１個または任意の個数のＧＯＰ単位については、画像毎の画質のばらつきは小さくなる。画像毎の画質を均等に設定する処理を、第２の具体例より容易に実行できる。

第２の具体例においては、１個のＧＯＰ単位のうち既に符号化されている前半部分については、画像毎の画質のばらつきは大きくなる。しかし、１個のＧＯＰ単位のうち未だ符号化されていない後半部分については、画像毎の画質のばらつきは小さくなる。画像毎の画質を均等に設定する処理を、第１の具体例よりリアルタイムに実行できる。

［目標量子化誤差設定部、目標符号量設定部、量子化ステップ値設定部］
目標量子化誤差設定部３３は、実測量子化誤差格納部３２から既符号化処理単位についての量子化誤差を入力して、出力画像バッファ２４から既符号化処理単位についての出力レートを入力する。目標量子化誤差設定部３３は、既符号化処理単位についての量子化誤差および出力レートに基づいて、未符号化処理単位についての量子化誤差を設定する。

目標符号量設定部３４は、目標量子化誤差設定部３３から未符号化処理単位についての量子化誤差を入力する。目標符号量設定部３４は、未符号化処理単位についての量子化誤差に基づいて、未符号化処理単位についての目標符号量を設定する。

量子化ステップ値設定部３５は、目標符号量設定部３４から未符号化処理単位についての目標符号量を入力する。量子化ステップ値設定部３５は、未符号化処理単位についての目標符号量に基づいて、未符号化処理単位についての量子化ステップ値を設定する。

量子化部２２および逆量子化部２５はそれぞれ、未符号化処理単位についての量子化ステップ値に基づいて、未符号化処理単位についての量子化および逆量子化を実行する。

図４は、画像毎の画質を均等に設定する一般的な方法を示す図である。量子化誤差平均値Ｄｉｆｆ＿Ａｖｅは、既符号化処理単位においては、Ｉ，Ｐ，Ｂピクチャそれぞれについて、量子化誤差Ｄｉｆｆの実測値を平均したものである。量子化誤差平均値Ｄｉｆｆ＿Ａｖｅは、未符号化処理単位においては、Ｉ，Ｐ，Ｂピクチャそれぞれについて、量子化誤差Ｄｉｆｆの目標値を平均したものである。図３に示したように、実測値および目標値は異なる。実測値および目標値はそれぞれ、実線および破線の棒グラフにより示されている。

目標量子化誤差設定部３３は、既符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれについて、量子化誤差平均値３２１、３２２、３２３を算出する。目標量子化誤差設定部３３は、二重矢印３３１により示したように、未符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれについて、量子化誤差平均値Ｄｉｆｆ＿Ａｖｅを均等に設定する。

目標符号量設定部３４は、未符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれの量子化誤差平均値Ｄｉｆｆ＿Ａｖｅが達成されるように、未符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれの目標符号量３４１、３４２、３４３を設定する。

量子化ステップ値設定部３５は、未符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれの目標符号量３４１、３４２、３４３が達成されるように、未符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれの量子化ステップ値３５１、３５２、３５３を設定する。

量子化誤差平均値Ｄｉｆｆ＿Ａｖｅを均等に設定する方法について、および、目標符号量３４１、３４２、３４３および量子化ステップ値３５１、３５２、３５３を設定する方法について、図５から図９までを用いて複数の方法を説明する。

｛画像毎の量子化誤差を均等に設定する第１の方法｝
画像毎の量子化誤差を均等に設定する第１の方法について説明する。目標量子化誤差設定部３３は、既符号化処理単位についての出力レートおよびエンコーダＥのユーザが設定した目標レートを比較する。目標量子化誤差設定部３３は、未符号処理単位についての出力レートおよびエンコーダＥのユーザが設定した目標レートが漸近するように、未符号化処理単位についての量子化誤差平均値Ｄｉｆｆ＿Ａｖｅを均等に設定する。

［図５に示す場合］
図５は、既符号化処理単位についての出力レートが目標レートより低い場合における、画像毎の量子化誤差を均等に設定する方法を示す図である。すなわち、未符号化処理単位についての出力レートは、既符号化処理単位についての出力レートより高くてもよい。

目標量子化誤差設定部３３は、既符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれについて、量子化誤差平均値３２１、３２２、３２３を算出する。目標量子化誤差設定部３３は、二重矢印３３２により示したように、未符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれについて、均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅとして、量子化誤差平均値３２１、３２２、３２３の最小値を設定する。もちろん、未符号化処理単位についての出力レートは、目標レートと同等になることが望ましく、目標レートより極端に高くならないことが望ましい。

目標量子化誤差設定部３３は、未符号化処理単位の均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅを、既符号化処理単位のＩピクチャの量子化誤差平均値３２１より小さく設定して、既符号化処理単位のＰ，Ｂピクチャの量子化誤差平均値３２２、３２３と同等に設定する。

量子化誤差を小さくするためには、量子化ステップ値を小さく設定することが望ましく、ひいては目標符号量を大きく設定することが望ましい。

目標符号量設定部３４は、未符号化処理単位のＩピクチャの目標符号量３４１を、以前に設定した既符号化処理単位のＩピクチャの目標符号量より増加させる。目標符号量設定部３４は、未符号化処理単位のＰ，Ｂピクチャの目標符号量３４２、３４３をそれぞれ、以前に設定した既符号化処理単位のＰ，Ｂピクチャの目標符号量と同等に維持する。目標符号量設定部３４は、未符号化処理単位のピクチャ１枚あたりの目標符号量を、以前に設定した既符号化処理単位のピクチャ１枚あたりの目標符号量より増加させる。

量子化ステップ値設定部３５は、未符号化処理単位のＩピクチャの量子化ステップ値３５１を、以前に設定した既符号化処理単位のＩピクチャの量子化ステップ値より減少させる。量子化ステップ値設定部３５は、未符号化処理単位のＰ，Ｂピクチャの量子化ステップ値３５２、３５３をそれぞれ、以前に設定した既符号化処理単位のＰ，Ｂピクチャの量子化ステップ値と同等に維持する。以上のフィードバック処理が繰り返される。

未符号化処理単位におけるＩピクチャの画質は、既符号化処理単位におけるＩピクチャの画質より高くなる。未符号処理単位におけるＰ，Ｂピクチャの画質はそれぞれ、既符号化処理単位におけるＰ，Ｂピクチャの画質と同等になる。

未符号化処理単位における全体的な画質は、既符号化処理単位における全体的な画質より高くなる。そして、未符号化処理単位における各画像の画質は均等に設定されるため、未符号化処理単位はちらつきを発生させずに全体的な画質を主観的にも向上できる。

［図６に示す場合］
図６は、既符号化処理単位についての出力レートが目標レートより高い場合における、画像毎の量子化誤差を均等に設定する方法を示す図である。すなわち、未符号化処理単位についての出力レートは、既符号化処理単位についての出力レートより低ければよい。

目標量子化誤差設定部３３は、既符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれについて、量子化誤差平均値３２１、３２２、３２３を算出する。目標量子化誤差設定部３３は、二重矢印３３３により示したように、未符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれについて、均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅとして、量子化誤差平均値３２１、３２２、３２３の最大値を設定する。もちろん、未符号化処理単位についての出力レートは、目標レートと同等になることが望ましく、目標レートより極端に低くならないことが望ましい。

目標量子化誤差設定部３３は、未符号化処理単位の均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅを、既符号化処理単位のＩピクチャの量子化誤差平均値３２１と同等に設定して、既符号化処理単位のＰ，Ｂピクチャの量子化誤差平均値３２２、３２３より大きく設定する。

量子化誤差を大きくするためには、量子化ステップ値を大きく設定することが望ましく、ひいては目標符号量を小さく設定することが望ましい。

目標符号量設定部３４は、未符号化処理単位のＩピクチャの目標符号量３４１を、以前に設定した既符号化処理単位のＩピクチャの目標符号量と同等に維持する。目標符号量設定部３４は、未符号化処理単位のＰ，Ｂピクチャの目標符号量３４２、３４３をそれぞれ、以前に設定した既符号化処理単位のＰ，Ｂピクチャの目標符号量より減少させる。目標符号量設定部３４は、未符号化処理単位のピクチャ１枚あたりの目標符号量を、以前に設定した既符号化処理単位のピクチャ１枚あたりの目標符号量より減少させる。

量子化ステップ値設定部３５は、未符号化処理単位のＩピクチャの量子化ステップ値３５１を、以前に設定した既符号化処理単位のＩピクチャの量子化ステップ値と同等に維持する。量子化ステップ値設定部３５は、未符号化処理単位のＰ，Ｂピクチャの量子化ステップ値３５２、３５３をそれぞれ、以前に設定した既符号化処理単位のＰ，Ｂピクチャの量子化ステップ値より増加させる。以上のフィードバック処理が繰り返される。

未符号化処理単位におけるＩピクチャの画質は、既符号化処理単位におけるＩピクチャの画質と同等になる。未符号処理単位におけるＰ，Ｂピクチャの画質はそれぞれ、既符号化処理単位におけるＰ，Ｂピクチャの画質より低くなる。

未符号化処理単位における個々の画質は、既符号化処理単位における個々の画質より低くなる。しかし、未符号化処理単位における各画像の画質は均等に設定されるため、未符号化処理単位はちらつきを発生させずに全体的な画質が主観的に向上する。

［図７に示す場合］
図７は、既符号化処理単位についての出力レートが目標レートと同等である場合における、画像毎の量子化誤差を均等に設定する方法を示す図である。すなわち、未符号化処理単位についての出力レートは、既符号化処理単位についての出力レートと同等ならばよい。

目標量子化誤差設定部３３は、既符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれについて、量子化誤差平均値３２１、３２２、３２３を算出する。目標量子化誤差設定部３３は、二重矢印３３４により示したように、未符号化処理単位のＩ，Ｐ，Ｂピクチャそれぞれについて、均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅとして、量子化誤差平均値３２１、３２２、３２３の平均値を設定する。もちろん、未符号化処理単位についての出力レートは、目標レートと同等になることが望ましく、目標レートより極端に離れないことが望ましい。また、量子化誤差の平均値を選択する以外にも、中央値を選択するなどしてもよい。

目標量子化誤差設定部３３は、未符号化処理単位の均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅを、既符号化処理単位のＩピクチャの量子化誤差平均値３２１より小さく設定して、既符号化処理単位のＰ，Ｂピクチャの量子化誤差平均値３２２、３２３より大きく設定する。

目標符号量設定部３４は、未符号化処理単位のＩピクチャの目標符号量３４１を、以前に設定した既符号化処理単位のＩピクチャの目標符号量より増加させる。目標符号量設定部３４は、未符号化処理単位のＰ，Ｂピクチャの目標符号量３４２、３４３をそれぞれ、以前に設定した既符号化処理単位のＰ，Ｂピクチャの目標符号量より減少させる。目標符号量設定部３４は、未符号化処理単位のピクチャ１枚あたりの目標符号量を、以前に設定した既符号化処理単位のピクチャ１枚あたりの目標符号量と同等に維持する。

量子化ステップ値設定部３５は、未符号化処理単位のＩピクチャの量子化ステップ値３５１を、以前に設定した既符号化処理単位のＩピクチャの量子化ステップ値より減少させる。量子化ステップ値設定部３５は、未符号化処理単位のＰ，Ｂピクチャの量子化ステップ値３５２、３５３をそれぞれ、以前に設定した既符号化処理単位のＰ，Ｂピクチャの量子化ステップ値より増加させる。以上のフィードバック処理が繰り返される。

図５から図７までに共通して、未符号化処理単位における各画像の画質は均等に設定される。そのため、未符号化処理単位はちらつきを発生させずに全体的な画質を主観的に向上できる。図５から図７までに共通して、既符号化処理単位の符号化処理の処理結果が未符号化処理単位の符号化処理にフィードバックされる１パス処理が実行されるのであって、未符号化処理単位の先読み処理を必要とする２パス処理が実行されるのではない。そのため、回路規模を増大させることなくリアルタイム処理を実行できる。

｛画像毎の量子化誤差を均等に設定する第２の方法｝
画像毎の量子化誤差を均等に設定する第２の方法について説明する。第２の方法においても、第１の方法と同様に、未符号化処理単位の目標符号量が設定される。第２の方法においては、第１の方法と異なり、未符号化処理単位の目標符号量が設定される結果として、未符号化処理単位の量子化誤差平均値が実際にいかなる程度になるかが考慮されて、未符号化処理単位の出力符号量が実際にいかなる程度になるかが考慮される。

図８および図９は、画像毎の量子化誤差を均等に設定する第２の方法を示す図である。それぞれの左端は、既符号化処理単位の量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの実測値を、実線の棒グラフにより示す。それぞれの中央は、実際の符号化処理前における、未符号化処理単位の量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの目標値を、破線の棒グラフにより示す。それぞれの右端は、実際の符号化処理後における、未符号化処理単位の量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの実測値を、実線の棒グラフにより示す。

［図８に示す場合］
図８は、既符号化処理単位のＩピクチャの量子化誤差平均値３２１が、既符号化処理単位のＰ，Ｂピクチャの量子化誤差平均値３２２、３２３より大きい場合における、画像毎の量子化誤差を均等に設定する方法を示す図である。

画像毎の量子化誤差を均等に設定する方法は、図５に示す場合とほぼ同様である。目標量子化誤差設定部３３は、未符号化処理単位の均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅを、既符号化処理単位のＩピクチャの量子化誤差平均値３２１より小さく設定して、既符号化処理単位のＰ，Ｂピクチャの量子化誤差平均値３２２、３２３と同等に設定する。未符号化処理単位の均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの目標値を二重矢印３３５Ａにより示す。

未符号化処理単位のＩピクチャについては、量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの実測値は、量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの目標値と同等になる可能性が高い。未符号化処理単位のＩピクチャの出力符号量は、既符号化処理単位のＩピクチャの出力符号量より増加する可能性が高い。以上の可能性は図５に示す場合から明確である。

未符号化処理単位のＰ，Ｂピクチャについては、量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの実測値は、量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの目標値より小さくなる可能性がある。未符号化処理単位のＰ，Ｂピクチャの出力符号量はそれぞれ、既符号化処理単位のＰ，Ｂピクチャの出力符号量より減少する可能性がある。未符号化処理単位のＰ，Ｂピクチャの量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの実測値を、二重矢印３３５Ｂにより示す。以上の可能性は図５に示す場合から明確でなく、以上の可能性がある理由について以下に説明する。

未符号化処理単位内において、Ｉピクチャを参照するＰ，Ｂピクチャが存在して、Ｉピクチャを参照したＰピクチャを参照するＰ，Ｂピクチャが存在する。ここで、図５に示す場合では、未符号化処理単位内において、Ｉピクチャの量子化誤差がＰ，Ｂピクチャの量子化誤差に及ぼす影響が考慮されない。しかし、図８に示す場合では、未符号化処理単位内において、Ｉピクチャの量子化誤差がＰ，Ｂピクチャの量子化誤差に及ぼす影響が考慮される。

Ｉピクチャの量子化誤差が小さいならば、Ｉピクチャを参照するＰ，Ｂピクチャの量子化誤差も小さくなる。Ｉピクチャを参照したＰピクチャの量子化誤差が小さいならば、Ｉピクチャを参照したＰピクチャを参照するＰ，Ｂピクチャの量子化誤差も小さくなる。

そこで、未符号化処理単位のＰ，Ｂピクチャの量子化誤差実測値は、未符号化処理単位のＰ，Ｂピクチャの量子化誤差目標値より小さくなる可能性がある。さらに、未符号化処理単位のＰ，Ｂピクチャの出力符号量は、未符号化処理単位のＰ，Ｂピクチャの目標符号量より小さくなる可能性がある。すなわち、最初に説明した可能性がある。

Ｉピクチャの出力符号量は、既符号化処理単位の符号化処理から未符号化処理単位の符号化処理に移行するにつれて、増加する可能性が高い。Ｐ，Ｂピクチャの出力符号量は、既符号化処理単位の符号化処理から未符号化処理単位の符号化処理に移行するにつれて、減少する可能性がある。Ｐ，Ｂピクチャの出力符号量の減少程度が、Ｉピクチャの出力符号量の増加程度より高いならば、未符号化処理単位のピクチャ１枚あたりの出力符号量は、既符号化処理単位のピクチャ１枚あたりの出力符号量より減少することが可能になる。

［図９に示す場合］
図９は、既符号化処理単位のＩピクチャの量子化誤差平均値３２１が、既符号化処理単位のＰ，Ｂピクチャの量子化誤差平均値３２２、３２３より小さい場合における、画像毎の量子化誤差を均等に設定する方法を示す図である。

画像毎の量子化誤差を均等に設定する方法は、図６に示す場合とほぼ同様である。目標量子化誤差設定部３３は、未符号化処理単位の均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅを、既符号化処理単位のＩピクチャの量子化誤差平均値３２１より大きく設定して、既符号化処理単位のＰ，Ｂピクチャの量子化誤差平均値３２２、３２３と同等に設定する。未符号化処理単位の均等な量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの目標値を二重矢印３３６Ａにより示す。

未符号化処理単位のＩピクチャについては、量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの実測値は、量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの目標値と同等になる可能性が高い。未符号化処理単位のＩピクチャの出力符号量は、既符号化処理単位のＩピクチャの出力符号量より減少する可能性が高い。以上の可能性は図６に示す場合から明確である。

未符号化処理単位のＰ，Ｂピクチャについては、量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの実測値は、量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの目標値より大きくなる可能性がある。未符号化処理単位のＰ，Ｂピクチャの出力符号量はそれぞれ、既符号化処理単位のＰ，Ｂピクチャの出力符号量より増加する可能性がある。未符号化処理単位のＰ，Ｂピクチャの量子化誤差平均値Ｄｉｆｆ＿Ａｖｅの実測値を、二重矢印３３６Ｂにより示す。以上の可能性は図６に示す場合から明確でないが、図８に示す場合の逆の場合を考慮すれば明確である。

Ｉピクチャの出力符号量は、既符号化処理単位の符号化処理から未符号化処理単位の符号化処理に移行するにつれて、減少する可能性が高い。Ｐ，Ｂピクチャの出力符号量は、既符号化処理単位の符号化処理から未符号化処理単位の符号化処理に移行するにつれて、増加する可能性がある。Ｉピクチャの出力符号量の減少程度が、Ｐ，Ｂピクチャの出力符号量の増加程度より高いならば、未符号化処理単位のピクチャ１枚あたりの出力符号量は、既符号化処理単位のピクチャ１枚あたりの出力符号量より減少することが可能になる。

エンコーダの構成要素を示すブロック図である。 量子化誤差の定義を示す図である。 量子化誤差の時間変化を示す図である。 画像毎の画質を均等に設定する一般的な方法を示す図である。 画像毎の量子化誤差を均等に設定する第１の方法を示す図である。 画像毎の量子化誤差を均等に設定する第１の方法を示す図である。 画像毎の量子化誤差を均等に設定する第１の方法を示す図である。 画像毎の量子化誤差を均等に設定する第２の方法を示す図である。 画像毎の量子化誤差を均等に設定する第２の方法を示す図である。

符号の説明

Ｅ エンコーダ
１１ 入力画像バッファ
１２ 参照画像バッファ
１３ 予測画像生成部
１４ 減算器
１５ 加算器
２１ 周波数変換部
２２ 量子化部
２３ 符号化部
２４ 出力画像バッファ
２５ 逆量子化部
２６ 逆周波数変換部
３１ 量子化誤差算出部
３２ 実測量子化誤差格納部
３３ 目標量子化誤差設定部
３４ 目標符号量設定部
３５ 量子化ステップ値設定部

Claims (10)

1. 入力画像を出力画像に符号化するエンコーダであって、
   入力画像と、入力画像を一旦エンコードした後デコードすることで得られる復号画像と、を比較することで量子化誤差を算出する量子化誤差算出部と、
   既に符号化されている既符号化処理単位について、量子化誤差の実測値である実測量子化誤差を格納する実測量子化誤差格納部と、
   前記既符号化処理単位の前記実測量子化誤差に基づいて、未だ符号化されていない未符号化処理単位について、量子化誤差の目標値である目標量子化誤差を設定する目標量子化誤差設定部と、
   を備え、
   前記目標量子化誤差設定部は、
   前記未符号化処理単位内の画像毎の前記目標量子化誤差のばらつきが、前記既符号化処理単位内の画像毎の前記実測量子化誤差のばらつきよりも小さくなるように、前記目標量子化誤差を設定する、
   エンコーダ。
2. 請求項１に記載のエンコーダにおいて、さらに、
   前記未符号化処理単位の画像毎について、前記目標量子化誤差が達成されるように、目標符号量を設定する目標符号量設定部と、
   前記未符号化処理単位の画像毎について、前記目標符号量が達成されるように、量子化ステップ値を設定する量子化ステップ値設定部と、
   を備えることを特徴とするエンコーダ。
3. 請求項１または請求項２に記載のエンコーダにおいて、
   前記目標量子化誤差設定部は、
   目標レートと前記既符号化処理単位の出力レートを比較することにより、目標レートと前記未符号化処理単位の出力レートが漸近するように前記目標量子化誤差を設定するレート調整部、
   を含むことを特徴とするエンコーダ。
4. 請求項１ないし請求項３のいずれかに記載のエンコーダにおいて、
   前記目標量子化誤差設定部は、
   前記既符号化処理単位の画像毎の前記実測量子化誤差から最小値を選択して、前記未符号化処理単位の画像毎の前記目標量子化誤差として設定する最小誤差選択部、
   を含むことを特徴とするエンコーダ。
5. 請求項１ないし請求項３のいずれかに記載のエンコーダにおいて、
   前記目標量子化誤差設定部は、
   前記既符号化処理単位の画像毎の前記実測量子化誤差から最大値を選択して、前記未符号化処理単位の画像毎の前記目標量子化誤差として設定する最大誤差選択部、
   を含むことを特徴とするエンコーダ。
6. 請求項１ないし請求項３のいずれかに記載のエンコーダにおいて、
   前記目標量子化誤差設定部は、
   前記既符号化処理単位の画像毎の前記実測量子化誤差について平均値を算出して、前記未符号化処理単位の画像毎の前記目標量子化誤差として設定する平均誤差選択部、
   を含むことを特徴とするエンコーダ。
7. 請求項１ないし請求項６のいずれかに記載のエンコーダにおいて、
   前記既符号化処理単位と前記未符号化処理単位は、１または複数のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）単位に対応することを特徴とするエンコーダ。
8. 請求項１ないし請求項７のいずれかに記載のエンコーダにおいて、
   前記実測量子化誤差および前記目標量子化誤差は、
   フレーム内予測画像、フレーム間順方向予測画像、およびフレーム間双方向予測画像のそれぞれの画像種別について、入力画像と復号画像の比較から算出される画像種別量子化誤差、
   を含むことを特徴とするエンコーダ。
9. 請求項１ないし請求項８のいずれかに記載のエンコーダにおいて、
   前記実測量子化誤差と前記目標量子化誤差は、
   入力画像と復号画像の各対応画素値についての差分絶対値を、各対応画素について加算した差分絶対値和、
   を含むことを特徴とするエンコーダ。
10. 請求項１ないし請求項８のいずれかに記載のエンコーダにおいて、
    前記実測量子化誤差と前記目標量子化誤差は、
    入力画像と復号画像の各対応画素値についての差分自乗値を、各対応画素について加算した差分自乗値和、
    を含むことを特徴とするエンコーダ。

Images