JPH06125537A

JPH06125537A - 画像符号化時における符号量制御方式

Info

Publication number: JPH06125537A
Application number: JP27412792A
Authority: JP
Inventors: Tetsuo Kuge; 哲郎久下
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1992-10-13
Filing date: 1992-10-13
Publication date: 1994-05-06
Anticipated expiration: 2017-05-13
Also published as: JP3281423B2

Abstract

(57)【要約】【目的】画像の構成単位である１フレームの１／Ｓを
処理単位とし、さらにその処理単位を複数の画素ブロッ
クに分割するような画像符号化を行う場合、その処理単
位毎に発生する符号量を予め定めた値を上限として、各
ブロック毎に最適な符号化パラメータＱ_kを選択して符
号化し、総符号量、量子化誤差の総和を最適化する。【構成】Ｋ種類の前置符号化器１によって各ブロック
の量子化誤差と符号長とを計測することによって、画像
全体の量子化誤差、符号長の分布を得た後、この分布に
基づいて、画像全体として、最も量子化誤差が少なく、
かつ、設定符号量に最も近い符号量となるように、各ブ
ロックに対する最適な符号化パラメータＱ_kを持つ前置
符号化器１の番号を決定してこの決定結果に基づいて前
記前置符号化器１に各々対応する各後置符号化器１１の
１つを選択して前記ブロックを符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の構成単位である
１フレームの１／Ｓ（サブフレーム）を処理単位とする
ような画像符号化を行う場合、その処理単位毎に発生す
る符号量を予め定めた値を上限とするように固定制御す
る画像符号化時における符号量制御方式に係わり、特に
動画像蓄積メディア（例えば、カセット型ディジタルＶ
ＴＲなど）のための動画像符号化や、静止画像蓄積メデ
ィア（例えば、ディジタルスチールカメラなど）のため
の静止画像符号化などに応用可能な画像符号化時におけ
る符号量制御方式に関する。

【０００２】［発明の概要］本発明は、動画像蓄積メデ
ィア（例えば、カセット型ディジタルＶＴＲなど）のた
めの動画像符号化や静止画像蓄積メディア（例えば、デ
ィジタルスチールカメラなど）のための静止画像符号化
において、画像の構成単位である１フレームの１／Ｓ
（以下「サブフレーム」と呼ぶ。Ｓは自然数でＳ≧１、
例えば、ＴＶ信号での１フィールドはＳ＝２のときの１
サブフレームである。）を処理単位とし、さらに１サブ
フレームを複数の画素ブロックに分割するような画像符
号化を行う場合、その処理単位である１サブフレーム毎
に発生する符号量を予め定めた値を上限とするように固
定制御する方式（固定長符号制御方式）であり、各ブロ
ック毎に最適な符号化パラメータＱ_kを選択して符号化
し総符号量、量子化誤差の総和を最適化する。

【０００３】

【従来の技術】

《動画像蓄積メディアの動画像符号化における固定長符
号化の必要性》一般に、動画像の伝送や、編集を伴わな
い場合の動画像記録においては、画像の構成単位である
個々のフレーム／フィールドに対応する符号量が、必ず
しもフレーム／フィールド毎に一定である必要はない。
そのため、この目的のための動画像符号化方式（ＭＰＥ
Ｇなど）では、フレーム／フィールド間の画像相関を利
用するなどして、画像１枚ごとには必ずしも符号量が一
定とはならないが、符号化の対象となる動画像全体に対
して所望の一定レートの圧縮率を実現する方式（レート
一定型符号制御方式）が用いられる。

【０００４】この方式では、所望の符号レートの実現法
としては、発生した符号をＦＩＦＯ型のバッファに書き
込み、所望のレートでコンスタントに読み出すことによ
り行われる。この場合、ＦＩＦＯ型のバッファがアンダ
ーフローやオーバーフローを起こさない様に（理想的に
は、バッファの占有量が常にほぼ１／２となるよう
に）、符号化パラメータを制御することになる。この制
御はＦＩＦＯ型バッファの最大容量をある程度、大きく
しておけば、容易にかつ確実に行える。

【０００５】ところが、カセット型ディジタルＶＴＲな
どの動画像蓄積メディアにおいては、単に動画像全体の
記録・再生を行うだけでなく、その中の特定のフレーム
の切り出しや、フレーム／フィールド単位での編集が必
要となる。このような編集においては、言うまでもな
く、メディア上に記録されている符号化データを画像に
復号することなく、符号化データのままで編集すること
が、画質劣化の防止、編集実行時間の短縮化の観点から
必要で、したがって、フレーム／フィールドを処理単位
として固定長符号化することが望まれる。

【０００６】さらに、ディジタルＶＴＲにおいては、画
像の構成単位である１フレーム／１フィールドを複数の
トラックに渡って記録することが多く、１トラックに相
当する画像を、画像符号化の処理単位とすることも考え
られる。

【０００７】以上の説明から明らかなように、動画像蓄
積メディアのための動画像符号化では、画像の構成単位
である１フレームの１／Ｓ（サブフレーム。Ｓは自然数
でＳ≧１）を符号化の手順が完結する処理単位とし、か
つ、処理単位毎に発生する符号量が一定化される方式
（固定長符号制御方式）の採用が必須の条件となる。

【０００８】《従来の固定長符号化技法》以下、画像符
号化方式を、サブフレームを単位として以下に示す、直交変換（ＤＣＴ等）＋スカラー量子化＋可変長符号
（エントロピー符号）…（１）を行う場合を例にして説明する。

【０００９】この場合、符号化は、サブフレーム内の縦
ｍ画素×横ｎ画素のｍ×ｎ画素ブロックを単位として行
われ、可変長符号が生成される。

【００１０】すなわち、この１ブロック毎に、直交変換
による変換係数がｍ×ｎ個得られ、これを量子化してｍ
×ｎ個の整数の組を得て、この整数の組を可変長符号に
変換する。

【００１１】この手順から分かるように、変換係数をい
かに量子化するかが、画質（量子化雑音）と、生成され
る可変長符号の量（圧縮率）の両者とを決定する重要な
ファクターとなる。

【００１２】一般の画像を対象とするＤＣＴなどの直交
変換では、エネルギーが低次の変換係数に集中する、と
いう実験的事実が知られている。この事実に基づき、変
換係数に対する上記量子化は、次低の変換係数ほど細か
く量子化し、高次の変換係数ほど荒く量子化するような
量子化器を用いるのが普通である。

【００１３】ところが、上記のエネルギーの低次係数へ
の集中度合は、符号化の対象となる画像によって異なる
ため、量子化器を固定化すると、画像によって、最終的
に得られる符号（可変長符号）の総量が異なる。すなわ
ち、細かい絵柄の場合、符号量が増加し、平坦な部分の
多い絵柄では符号量が減少する。

【００１４】このため、伝送のための動画像画像符号化
などでは、一定の符号レートを実現するのに、前述した
ように、符号を蓄積するＦＩＦＯ型のバッファを用い、
バッファの占有量を監視して、スカラ量子化器の「荒
さ」を制御する方法が用いられている。この場合、複数
のフレーム／フィールドに渡る符号量の平均値として、
所定の符号レートが実現できておればよい。

【００１５】ところが、ここで問題としているサブフレ
ーム内固定長符号化方式においては、符号化の処理単位
（１サブフレーム）当たりの符号量が、厳密に所定の符
号量以下でなければならないので、このようなバッファ
制御は利用できない。

【００１６】このように、従来の固定制御で多く用いら
れている方式は、画素ブロックに対する直交変換の結果
から、その符号量を予測する「予測関数」を用意し、そ
れに基づいて、そのブロックに適用すべき、量子化器の
「荒さ」を決定するものである。

【００１７】《従来の符号量予測関数の例（アクテイビ
テイによる符号量予測）》従来よく用いられる符号量予
測関数は、ｍ×ｎ画素単位の１ブロック当たりのエント
ロピー符号の量を予測するものであり、一般には、１ブ
ロック当たりのアクテイビテイＡ（直交変換係数のう
ち、ＤＣ成分以外の変換係数の自乗和、すなわちＡＣエ
ネルギー）と、量子化器の「荒さ」を制御する符号化パ
ラメータＱとなるスカラー量Ｑ（例えば、ＪＰＥＧにお
けるＱファクター）の関数、ｆ（Ｑ，Ａ） …（２）として表される場合が多い。この符号量予測関数ｆ
（Ｑ，Ａ）を理論的に求める手段はもとよりないので、
現実的に行われる方法としては、標準的と思われる複数
の画像に対して、何通りかのスカラー量Ｑについて符号
化を行い、個々のブロックでのアクテイビテイＡと、エ
ントロピー符号の量ｂとを実測し、これら多数の実測値
の組の集合、｛（Ａ，Ｑ，ｂ）｝ …（３）から内挿することにより、符号量予測関数、ｂ＝ｆ（Ａ，Ｑ） …（４）あるいは、この関数をスカラー量Ｑについて解いたもの
（符号化パラメータ予測関数）Ｑ＝ｇ（ｂ，Ａ） …（５）を作成する。そして、符号化器では、あるブロックの符
号化パラメータＱについて、そのブロックに割り当てる
ことが許されている符号量ｂと、そのブロックについて
のアクテイビテイＡから、符号化パラメータ予測関数Ｑ
＝ｇ（ｂ，Ａ）により、符号化パラメータＱを決定す
る。

【００１８】しかしながら、この場合、最大の問題は、
「汎用性で効率的な予測関数」が用意できるかという点
にある。

【００１９】すなわち、画像の種類によらずに、与えら
れた符号量の枠内で、画像全体の符号化誤差が最も少な
くなるように、各ブロックへの符号割り当てができるよ
うな予測関数が必要なのであるが、予測関数の作成に使
用した画像以外の画素については、その予測値は保証の
限りではない。その結果、標本画像を使って求めた符号
化パラメータ予測関数ｇ（ｂ，Ａ）によって一般画像を
実際に符号化したときの符号量は、設定符号量に対し
て、さほど一致しない。そのため、所定の符号量にまで
いたらない過少な符号の生成（アンダーフロー）や、逆
に所定の量を越えた符号の生成（オーバーフロー）が常
に発生する。

【００２０】前者の場合、本来実現できるかも知れない
画質を下回る画質となるが、破綻的ではない。

【００２１】ところが、後者の場合、なんらかの「符号
切捨て処理」を行うことが必須となる。すなわち、符号
量を減らすべきブロックを選び出し、それらブロックの
符号化パラメータを変更することで、符号量を減らし
（その結果、それらブロックでは画質は低下することは
避けられないが）、全体の符号量が所定の値におさまる
様な調整を行う。

【００２２】一般に、符号化画像に関しては、アクテイ
ビテイ、符号量、量子化誤差には比例的な関係があると
いう実験的事実がある。このことから、このような符号
量制御は、アクテイビテイを指標として用いることによ
る量子化誤差の間接的な制御を行っているものと理解さ
れる。

【００２３】すなわち、この方式は必ずしも、その符号
量で最大限達成できるはずの最良（量子化誤差が少な
い）の画素の実現を直接的に目指している、というわけ
ではないことになる。

【００２４】

【発明が解決しようとする課題】以上述べてきたことか
ら分かるように、このような予測関数を用いる符号量制
御方式の問題点は、次の２つに要約される。

【００２５】その１つは、予測関数の精度があまり高く
はないので、破綻を回避するための「切捨て処理」にか
なりの重点を置く必要がある。そのため、ブロックによ
る画質のばらつきが発生し、結果として、画質を安定的
に制御できない。

【００２６】他の１つは、最良な画質（量子化誤差の最
小化）の実現を直接に目指す制御とは言えない。

【００２７】本発明は上記の事情に鑑み、各ブロックの
量子化誤差と符号長とを計測することによって、画像全
体の（量子化誤差、符号長）の分布を得たのち、この分
布に基づいて、画像全体として、最も量子化誤差が少な
く、かつ、設定符号量に最も近い符号量となるように、
各ブロックに対する最適な符号化パラメータＱを決定す
る画像符号化時における符号量制御方式を提供すること
を目的としている。

【００２８】すなわち、本発明は与えられた設定符号量
の枠を目いっぱい使って、最も量子化誤差が少なくなる
ように、ブロックの量子化誤差を直接の指標として使っ
て、各ブロックへの最適符号化割り当てを実現するもの
で、各ブロックへの符号化パラメータの選択を、画像全
体の画質と符号量とをにらみながら決定し、さらに非常
に高い精度で安定的に設定符号量を達成し、これによっ
て破綻的なオーバーフロー発生の危険を著しく少なくす
ることができる画像符号化時における符号量制御方式を
提供することを目的としている。

【００２９】

【課題を解決するための手段】上記の目的を達成するた
めに本発明に係る画像符号化時における符号量制御方式
は、符号化対象となる画像をブロックの集合に変換した
後、それらブロック１つ毎に可変長符号を生成する符号
化方式において、ブロック単位の可変長符号化器Ｃ(k)
をＫ種類用意し、あるブロックｉに対してＣ(k) を適用
した場合に発生する可変長符号の長さをｂ(i,k) 、その
ブロックの符号化誤差をｅ(i,k) 、ブロックの添字集合
｛１，…，Ｎ｝から符号化器の添字集合｛１，…，Ｋ｝
への対応を与える写像をψとするとき、２Ｎ個の可変長
符号の長さをｂ(i,k) 、そのブロックの符号化誤差をｅ
(i,k) を変数とする評価関数Ｆを最小化することで、符
号量の総和ｂ(1, ψ(1))＋…＋ｂ(i, ψ(i))＋…＋ｂ
(N, ψ(N))が予め設定した符号量Ｂ0 に等しくなるよう
に、各ブロックに対する符号化器に割り当てる写像ψを
決定すること特徴としている。

【００３０】

【作用】上記の構成において、ブロック単位の可変長符
号化器Ｃ(k) をｋ種類用意し、あるブロックｉに対して
Ｃ(k) を適用した場合に発生する可変長符号の長さをｂ
(i,k) 、そのブロックの符号化誤差をｅ(i,k) 、ブロッ
クの添字集合｛１，…，Ｎ｝から符号化器の添字集合
｛１，…，Ｋ｝への対応を与える写像をψとするとき、
２Ｎ個の可変長符号の長さをｂ(i,k) 、そのブロックの
符号化誤差をｅ(i,k) を変数とする評価関数Ｆを最小化
することで、符号量の総和ｂ(1, ψ(1))＋…＋ｂ(i, ψ
(i))＋…＋ｂ(N, ψ(N))が予め設定した符号量Ｂ0 に等
しくなるように、各ブロックに対する符号化器に割り当
てる写像ψを決定することにより、最適な符号化パラメ
ータでブロックを符号化し、これによって総符号量、量
子化誤差の総和を最適化する。

【００３１】

【実施例】

《本発明の基本原理》まず、最適符号割り当て問題の定
式化を行いながら、本発明による符号量の制御手順につ
いて説明し、次に、その手順を実行するハードウェアの
具体的な構成方法について、図を用いながら説明する。

【００３２】＜最適符号割り当て問題の定式化と、本発
明による符号量制御手順＞まず、符号化パラメータＱと
してＫ通りの値、｛Ｑ₁，…，Ｑ_K｝ …（６）を用意する。

【００３３】また、画素ブロックの個数をＮとし、第ｉ
番目の画素ブロックを、符号化パラメータＱ_kで符号化
した場合の量子化誤差をｅ(i,k) 、符号長をｂ(i,k) と
する。

【００３４】ここで、Ｎ個のブロック１つ１つに、Ｋ種
類のうちの符号化パラメータ｛Ｑ₁，…，Ｑ_K｝のいず
れかを割り当てるということは、添字集合、

【数３】から、添字集合、

【数４】への対応を与える写像ψ、

【数５】を１つ定めることにほかならない。すなわち、ψ(i)
は、第ｉ番目の画素ブロックに適用すべき符号化パラメ
ータの番号を示す。言い替えると、写像ψを１つ定める
ことは、Ｋ通りの符号化パラメータ｛Ｑ₁，…，Ｑ_K｝
のもとでの、Ｎ個のブロックから成る画像全体に対する
符号化ストラテジーを１つ決定したことになる。

【００３５】以下、この写像ψを「符号割り当て」関数
と呼ぶ。この関数ψの下での、画像全体の量子化誤差の
総和Ｅ（ψ）、符号量の総和Ｂ（ψ）は、

【数６】となる。一方、画像全体に対して予め定められた符号の
総量をＢ0 とすると、最適な符号化パラメータ割り当て
関数ψを決定するという問題は、以下のような、拘束条
件付き最小化問題［Ａ］に定式化される。

【００３６】Ｂ（ψ）＝Ｂ0 …（１２）［Ａ］：「（１２）式のもとで、Ｅ（ψ）を最小化する
ような関数ψを見つけよ」 …
（１３）ところで、上記の最適化問題［Ａ］の解となる関数ψ
は、ラグランジェの未定乗数法などで良く知られている
ように、次のような最小化問題［Ｂ］、Ｆ（ψ）＝Ｅ（ψ）＋λ・（Ｂ（ψ）−Ｂ0 ）² …（１４）［Ｂ］：「ある適正な正数λを用いて（１４）式に示す
汎関数Ｆ( ψ) を最小化する関数ψをみつけよ」 …
（１５）の解として得られる。とすると、ここで問題としている
１枚の画像に対する最適な符号化ストラテジーを決定す
ることは、その画像に対する問題［Ｂ］の解ψを求める
ことになる。

【００３７】とはいうものの、この最適化問題の最適解
を得ることは、単純に言って、Ｋ^N通りの関数ψの中か
ら最適な関数ψを捜すことであり、仮にｋ＝２，Ｎ＝６
４としても、関数ψの候補の総数は、Ｋ^N＝１．８４×１０¹⁹ …（１６）となり、現実には最適解の発見は不可能であることが分
かる。

【００３８】ところが、本発明の手法を用いると、必ず
しも最適ではないにせよ、準最適な関数ψを、極めて高
速に（実時間で）求めることができる。

【００３９】以下、本発明の、問題［Ｂ］に対する最適
解の符号割り当て関数ψ（正確には準最適解である）を
高速に求める制御手順について述べる。

【００４０】まず、Ｎ個の全てのブロックに対して、符
号化パラメータに一定の値Ｑ_kを選択したとすると、符
号割り当て関数として、全てのｉに対して、ψ_k(i) ＝ｋ …（１７）として定義される定値関数ψ_kを用いたことになる。

【００４１】そして、入力された符号化画像に対して、
Ｋ通りの定値関数、 ψ₁，…，ψ_K …（１８）を適用すると、画像全体の符号量としてＫ通りの値、Ｂ（ψ₁），…，Ｂ（ψ_K） …（１９）が得られる。

【００４２】この中から設定符号量Ｂ0 に最も近くなる
ような符号量を実現する定値関数を選ぶ。これが関数ψ
_kであったとすると、Ｎ個の全てのブロックに対して、
同一の符号化パラメータＱ_kを選んだ時、設定符号量Ｂ
0 に最も近い符号量Ｂ（ψ_k）が生成されることを意味
する。

【００４３】ここで、最適な関数ψを求める制御手順の
初期値ψ⁽⁰⁾として、この定値関数ψ_kを採用する。

【００４４】次に、Ｎ個のブロックの１つ１つについ
て、遂次的に、評価関数Ｆ（ψ）を最も小さくなるよう
な、符号化パラメータを選びだすことで関数ψを更新し
てゆく。

【００４５】すなわち、この遂次的な更新手順のｔステ
ップ目において、この時の符号割り当て関数がψ^(t-1)
であって、ブロックｐが選択されたとすると、ブロック
ｐに対する新たな符号化パラメータの番号ｋ^*として全
てのｋに対して、Ｆ（ψ,p,k^*）≦Ｆ（ψ,p,k） …（２０）を満たすものに定める。ただし、Ｂ（ψ,p,k）＝Ｂ（ψ）−ｂ（p,ψ(p) ）＋ｂ（p,k ） …（２１）Ｅ（ψ,p,k）＝Ｅ（ψ）−ｅ（p,ψ(p) ）＋ｅ（p,k ） …（２２）Ｆ（ψ,p,k）＝Ｅ（ψ,p,k) ＋λ・（Ｂ（ψ,p,k）−Ｂ0 ）²…（２３）であって、Ｂ（ψ,p,k）、Ｅ（ψ,p,k）、Ｆ（ψ,p,k）
は、第ｐ番目のブロックのみ符号化パラメータＱ_kを適
用し、その以外のブロックに対しては符号割り当て関数
ψを用いた時の総符号量、量子化誤差の総和、評価関数
を各々表している。

【００４６】こうして選ばれた符号化パラメータの番号
ｋ^*を用いて、新たな符号割り当て関数ψ(t) を、

【数７】と定義する。

【００４７】すなわち、ある時刻ｔにおける新たなψ
^(t)を作成するにあたり、あるブロックｐに着目し、古
いψ^(t-1)の評価値Ｆ（ψ^(t-1)）よりも小さくなるよ
うに、ブロックｐに関する新たな符号割り当てを捜す、
ということである。

【００４８】この更新法は、平面上に定義されたポテン
シャル面上を、平面上のｋ^N個の格子点（個々の格子点
が、相異なる関数ψに対応する）を辿りながら、谷間に
向かって下降してゆく「最急降下法」である、と比喩的
に解釈することもできる。

【００４９】最急降下法は一般的に、任意のポテンシャ
ル関数に対する最適解を保証するものではない。とはい
え、以上の記述から明らかなように、この制御手順に従
う限り、評価関数Ｆを単調に減少させる関数ψの列が生
成される。先に、この制御手順が最小化問題［Ｂ］の準
最適解を与える、と述べたのは、このような理由によ
る。

【００５０】＜誤差評価関数Ｅ( ψ) の拡張＞今までの
解説では、符号化画像の画質を評価するのに、（１０）
式で表される画像全体の量子化誤差の総和（各ブロック
ごとの自乗誤差の総和）を用いてきた。

【００５１】ところが、符号化画像の画質の評価は、必
ずしもこのような自乗誤差の総和だけでは不十分である
ことが知られている。例えば、境界の部分やエッジ部分
などでは、自乗誤差は少なくても人間の目には大きな劣
化と感じられ、また、細かいテクスチャー部分の量子化
誤差は、さほど気にならない。

【００５２】したがって、各ブロックの誤差、ｅ（i,ψ(i) ） …（２５）をそのブロックの周辺のブロックの分布をも考慮した新
たな誤差を定義することも考えられる。

【００５３】この場合にも、新たな誤差評価関数Ｅ
（ψ）は、各ブロックの誤差、ｅ（1,ψ(1) ），…，ｅ（N,ψ(N) ） …（２６）のＮ個の和である、という事情に変わりはなく、したが
ってこの場合にも、本発明の符号量制御手順をいささか
の変更することもなく適用できることは、（２０）式か
ら（２４）式を見れば明らかである。

【００５４】＜本発明の汎用性＞先に、画像符号化方式
を、直交変換（ＤＣＴなど）＋スカラー量子化＋可変長符号
（エントロピー符号）
…（２７）を例にして固定長符号制御の問題について述べたが、本
発明の方式では、「アクテイビテイ」のような直交変換
に固有な量を用いるわけではないので、運用できる符号
方式の範囲を著しく拡張することができる。

【００５５】例えば、ＬＯＴ（Lapped Orthogonal Tran
form：変換の対象となる画素ブロックがお互いにオーバ
ーラップする直交変換）を例に取れば、ＬＯＴの場合、
生成される変換係数は（元の画素ブロックとはサイズは
異なるものの）完全に分離されたブロック集合となり、
さらに、この変換係数ブロック全体の集合の持つ情報量
は、元の画像全体の情報量に一致する。つまり、ＬＯＴ
を用いた符号化では、この独立したＬＯＴ変換係数ブロ
ック１つ１つを対象とするスカラー量子化と可変長符号
が行われる。したがって、上記の制御手順における「ブ
ロック」は「ＬＯＴ変換係数ブロック」に置き換えられ
る。

【００５６】さらに例を挙げれば、画像をブロック単位
でスカラー量子化したのち、ベクトル量子化して、セン
トロイドの番号を可変長符号に変換するような符号化に
おいても適用可能である。

【００５７】より一般化すれば、画像全体の情報を、一
定の大きさのブロックの集合に変換したのち、それらの
ブロック１つごとに可変長符号１つを生成するような符
号化（ブロック符号化）で、ブロック毎の符号量制御に
スカラーの制御変数を用いる場合には、この制御手順は
そのまま適用できることになる。

【００５８】《本発明のハードウエアの構成例》次に、
本発明の制御手順を高速実行するハードウエアの構成を
述べる。前述のように、この制御手順は、ある画像全体
を一定の大きさのブロックの集合に変換した後、それら
のブロック１つ毎に可変長符号１つを生成するような符
号化方式一般に対して、汎用的に適用できる。そこでこ
の例では、ブロックの構成要素は、ＤＣＴなどの直交変
換係数とは限らず、単になる数値に過ぎないとしてお
く。

【００５９】そして、１ブロックを対象とする前置符号
化器をＫ種類用意し、｛Ｃ₁，…，Ｃ_K｝ …（２８）とする。この符号化器は、１ブロックごとに１つの可変
長符号を発生するもので、一般に、符号化器の種類が異
なれば、異なる符号量と量子化誤差を発生する。したが
って、例えば、前述したように、スカラー量子化器とエ
ントロビー符号化器との組み合わせや、セントロイドの
番号を可変長符号として発生するようなベクトル量子化
器と考えてもよい。

【００６０】また、前置符号化器はローカルデコーダを
含み、各ブロックごとの量子化誤差も計算する。

【００６１】図１はこのような条件で、かつＫ＝４とし
たときの符号化回路の一実施例を示すブロック図であ
る。

【００６２】この図に示す符号化回路は、４つの前置符
号化器１と、４つの量子化誤差・符号量マップ回路２
と、符号初期値選択回路３と、量子化誤差総和レジスタ
回路４と、符号量総和レジスタ回路５と、最適符号化器
番号マップ回路６と、ブロック番号発生回路７と、最適
符号選択回路８と、遅延回路９と、切替スイッチ１０
と、４つの後置符号化器１１とを備えており、予め設定
された符号量Ｂ0 のもとで、全体の量子化誤差の総和が
最も小さくなるように、各ブロックに対する符号化パラ
メータＱ_kを決定して各ブロックを符号化する。

【００６３】各前置符号化器１は、各々ローカルデコー
ダを含むとともに、互いに異なる符号化パラメータＱ_k
（但し、ｋ＝１，…，４）が各々設定されており、入力
画像を構成するＮ個のブロックが供給される毎に、設定
されている符号化パラメータＱ_kに基づいてこのブロッ
クをブロック番号ｉ（但し、ｉは１，…，Ｎのいずれ
か）のブロックとして各々符号化して４つの出力符号の
符号量ｂ(i,k) と、４つの出力符号の量子化誤差ｅ(i,
k) とを生成し、これらを各量子化誤差・符号量マップ
回路２に各々、供給する。そして、Ｎ個のブロックに対
する符号化処理が終了したとき、各前置符号化器１毎に
前記入力画像を構成するＮ個のブロックに対する全体の
符号量を示す４つの符号量総和Ｂ_kと、全体の量子化誤
差を示す４つの量子化誤差総和Ｅ_kとを演算してこれを
符号初期値選択回路３に供給する。

【００６４】各量子化誤差・符号量マップ回路２は、各
々前記ブロック数Ｎに対応するＮ個のセルを持つＲＡＭ
によって構成されており、前記各前置符号化器１から４
つの符号量ｂ(i,k) と、４つの出力符号の量子化誤差ｅ
(i,k) とが出力される毎に、これを取り込んで対応する
ブロック番号ｉの各セルに各々、格納し、前記最適符号
選択回路８から読出し指令が出力されたとき、この読出
し指令によって指定されたブロック番号ｐ（但し、ｐは
１，…，Ｎのいずれか）に対応する各セルに格納されて
いる４つの符号量ｂ(p,k) と、４つの出力符号の量子化
誤差ｅ(p,k) とを前記最適符号選択回路８に供給する。

【００６５】また、符号初期値選択回路３は，前記各前
置符号化器１から４つの符号量総和Ｂ_kと、４つの量子
化誤差総和Ｅ_kとが供給されたとき、これを取り込むと
ともに、前記入力画像に対して設定されている設定符号
量Ｂ0 と、前記各符号量総和Ｂ_kとを各々比較して前記
各符号量総和Ｂ_kのうち、設定符号量Ｂ0 に最も近い符
号量総和を示す符号化器１の番号ｋを選択してこれを最
適符号化器番号マップ回路６に供給するとともに、この
符号化器番号ｋに対応する１つの符号量総和Ｂ_kを符号
量総和レジスタ回路５に供給し、前記符号化器番号ｋに
対応する１つの量子化誤差総和Ｅ_kを量子化誤差総和レ
ジスタ回路４に供給する。

【００６６】符号量総和レジスタ回路５は、前記符号初
期値選択回路３から１つの符号量総和Ｂ_kが出力された
とき、これを取り込んで記憶するとともに、前記最適符
号選択回路８から読出し指令が出力されたとき、記憶し
ている符号量総和Ｂ_kを前記最適符号選択回路８に供給
する。そして、この最適符号選択回路８から書込み指令
が出力されたとき、この書込み指令とともに出力される
符号量総和Ｂ_kを取り込んでそれまでの符号量総和Ｂ_k
に代えてこれを記憶し、この後最適符号選択回路８から
読出し指令が出力されたとき、記憶している符号量総和
Ｂ_kを前記最適符号選択回路８に供給する。

【００６７】また、量子化誤差総和レジスタ回路４は、
前記符号初期値選択回路３から１つの量子化誤差総和Ｅ
_kが出力されたとき、これを取り込んで記憶するととも
に、前記最適符号選択回路８から読出し指令が出力され
たとき、記憶している量子化誤差総和Ｅ_kを前記最適符
号選択回路８に供給する。そして、この最適符号選択回
路８から書込み指令が出力されたとき、この書込み指令
とともに出力される量子化誤差総和Ｅ_kを取り込んでそ
れまでの量子化誤差総和Ｅ_kに代えてこれを記憶し、こ
の後最適符号選択回路８から読出し指令が出力されたと
き、記憶している量子化誤差総和Ｅ_kを前記最適符号選
択回路８に供給する。

【００６８】また、最適符号化器番号マップ回路６は、
前記入力画像を構成するブロックの数と対応するＮ個の
セルを有するＲＡＭによって構成されており、前記符号
初期値選択回路３から設定符号量Ｂ0 に最も近い符号量
総和を示す１つの符号化器番号ｋが出力されたとき、こ
れを取り込んで全てのセルに書込む。そして、前記最適
符号選択回路８から読出し指令が出力されたとき、この
読出し指令によって指定されたブロック番号ｐに対応す
るセルに格納されている符号化器番号ｋを読出し、これ
を初期符号化器番号ＯＰＴ(p) として、前記最適符号選
択回路８に供給し、またこの最適符号選択回路８から書
込み指令が出力されたとき、この書込み指令とともに出
力される最適符号化器番号ｋ^*を最適符号化器番号ＯＰ
Ｔ(p) として指定されたブロック番号ｐに対応するセル
に記憶する。そして、全てのセルに対する最適符号化器
番号ＯＰＴ(p) の書込みが終了したとき、先頭のセルか
ら最適符号化器番号ＯＰＴ(i) を順次、読み出し、これ
を切替信号として切替スイッチ１０に供給し、最後のセ
ルに格納されている最適符号化器番号ＯＰＴ（Ｎ）を読
出してこれを切替信号として切替スイッチ１０に供給し
た後、動作を終了する。

【００６９】また、ブロック番号発生回路７は、前記符
号量総和レジスタ回路５に対する最初の符号量総和Ｂ_k
の格納処理および前記量子化誤差総和レジスタ回路４に
対する最初の量子化誤差総和Ｅ_kの格納処理、前記最適
符号化器番号マップ回路６に対する符号化器番号ｋの格
納処理が終了した後、動作を開始してＮ個のブロック番
号ｐをランダムに発生し、これを最適符号選択回路８に
供給する。そして、全てのブロック番号ｐの発生を終了
したとき、動作を停止する。

【００７０】最適符号選択回路８は、前記ブロック番号
発生回路７からブロック番号ｐが出力される毎に、前記
設定符号量Ｂ0 および前記符号量総和レジスタ回路５に
格納されている符号量総和Ｂ_k、前記量子化誤差総和レ
ジスタ回路４に格納されている量子化誤差総和Ｅ_kを取
り込むとともに、前記ブロック番号ｐに基づいて前記各
量子化誤差・符号量マップ回路２をアクセスして前記ブ
ロック番号ｐに対応する各セルに格納されている４つの
符号量ｂ(p,k) と、４つの量子化誤差ｅ(p,k)とを取り
込み、さらに前記最適符号化器番号マップ回路６をアク
セスして前記ブロック番号ｐに対応するセルに格納され
ている初期符号化器番号ＯＰＴ(p) を取り込んだ後、こ
れら設定符号量Ｂ0 、符号量総和Ｂ_k、量子化誤差総和
Ｅ_k、各符号量ｂ(p,k) 、各量子化誤差ｅ(p,k) 、初期
符号化器番号ＯＰＴ(p) に基づいて次式に示す演算を行
って、全ての符号化器番号ｋに対して次式を満たす最適
符号化器番号ｋ^*を求める。

【００７１】Ｆ（p,k ^*）≦Ｆ（p,k ） …（２
９）ただし、Ｆ（p,k ）＝Ｅ(p,k) ＋λ・（Ｂ(p,k) −Ｂ0 ）² …（３０）Ｅ（p,k ）＝Ｅ_k−ｅ（p,OPT(p)）＋ｅ(p,k) …（３１）Ｂ（p,k ）＝Ｂ_k−ｂ（p,OPT(p)）＋ｂ(p,k) …（３２）この後、最適符号選択回路８は、最適符号化器番号ｋ^*
に基づいて次式に示す演算を行って新たな量子化誤差総
和Ｅ_k ^*と、符号量総和Ｂ_k ^*とを求める。

【００７２】Ｅ_k ^*＝Ｅ_k−ｅ（p,OPT(p)）＋ｅ(p,k^*) …（３３）Ｂ_k ^*＝Ｂ_k−ｂ（p,OPT(p)）＋ｂ(p,k^*) …（３４）そして、この（３３）式によって得られる量子化誤差総
和Ｅ_k ^*を新たな量子化誤差総和Ｅ_kとして前記量子化
誤差総和レジスタ回路４に格納するとともに、前記（３
４）式によって得られる符号量総和Ｂ_k ^*を新たな符号
量総和Ｂ_kとして前記符号量総和レジスタ回路５に格納
する。

【００７３】次いで、前記（２９）式によって得られた
最適符号化器番号ｋ^*を最適符号化器番号ＯＰＴ(p) と
して前記最適符号化器番号マップ回路６に供給し、前記
ブロック番号ｐに対応するセルに格納されている初期符
号化器番号ＯＰＴ(p) に代えてこの最適符号化器番号Ｏ
ＰＴ(p) を記憶させる。

【００７４】また、遅延回路９は前記入力画像を構成す
るＮ個のブロックが供給される毎に、これを取り込みな
がら順次、遅延してファーストイン・ファーストアウト
形式で出力するＦＩＦＯメモリによって構成されてお
り、前記ブロックが供給される毎に、これを取り込んで
順次、遅延しながら、前記最適符号化器番号マップ回路
６にある全てのセルに対して最適符号化器番号ＯＰＴ
(p) が格納されて、この最適符号化器番号マップ回路６
から最初の切替信号が出力されたとき、最初のブロック
番号１に対応するブロックを出力してこれを前記切替ス
イッチ１０に供給する。以下、前記最適符号化器番号マ
ップ回路６から切替信号が出力される毎に、順次、次の
ブロックを出力してこれを前記切替スイッチ１０に供給
する。

【００７５】切替スイッチ１０は、前記最適符号化器番
号マップ回路６から切替信号が出力される毎に、この切
替信号によって指定された後置符号化器１１を選択する
とともに、前記遅延回路９から出力されるブロックを受
けて、これを選択した後置符号化器１１に供給する。

【００７６】各後置符号化器１１には、各前置符号化器
１と各々対応する符号化パラメータＱ_kが設定されてお
り、前記切替スイッチ１０から入力画像を構成するブロ
ックが供給される毎に、設定されている符号化パラメー
タＱ_kに基づいてこのブロックを符号化してこれを出力
符号として出力する。

【００７７】次に、図１を参照しながら、この符号化回
路の符号化動作を説明する。

【００７８】まず、入力画像を構成するＮ個のブロック
の１つが入力される毎に、各前置符号化器１によって予
め設定されている符号化パラメータＱ_kに基づいて前記
ブロックがブロック番号ｉのブロックとして符号化され
て４つの出力符号の符号量ｂ(i,k) と、４つの出力符号
の量子化誤差ｅ(i,k) とが生成され、これらが各量子化
誤差・符号量マップ回路２に供給されて対応するブロッ
ク番号ｉの各セルに格納される。

【００７９】そして、各前置符号化器１によってＮ個の
ブロックに対する符号化処理が終了したとき、前記入力
画像を構成するＮ個のブロックに対する全体の符号量を
示す４つの符号量総和Ｂ_kと、全体の量子化誤差を示す
４つの量子化誤差総和Ｅ_kとが演算されてこれが符号初
期値選択回路３に供給される。

【００８０】これにより、符号初期値選択回路３によっ
て前記入力画像に対して設定されている設定符号量Ｂ0
と、前記各前置符号化器１から出力される４つの符号量
総和Ｂ_kとが各々比較されて前記符号量総和Ｂ_kのう
ち、設定符号量Ｂ0 に最も近い符号量総和を示す１つの
符号化器番号ｋが選択され、これが最適符号化器番号マ
ップ回路６に供給されて全てのブロックに対応する全て
のセルに記憶されるとともに、この符号化器番号ｋに対
応する１つの符号量総和Ｂ_kが符号量総和レジスタ回路
５に供給されて記憶され、さらに前記符号化器番号ｋに
対応する１つの量子化誤差総和Ｅ_kが量子化誤差総和レ
ジスタ回路４に供給されて記憶される。

【００８１】この後、ブロック番号発生回路７が動作を
開始して、このブロック番号発生回路７によってＮ個の
ブロック番号ｐの１つがランダムに生成されてこれが最
適符号選択回路８に供給される。

【００８２】そして、前記ブロック番号発生回路７から
最初のブロック番号ｐが出力されたとき、最適符号選択
回路８によって前記設定符号量Ｂ0 および前記符号量総
和レジスタ回路５に格納されている１つの符号量総和Ｂ
_k、前記量子化誤差総和レジスタ回路４に格納されてい
る１つの量子化誤差総和Ｅ_kが取り込まれるとともに、
前記ブロック番号ｐに基づいて前記各量子化誤差・符号
量マップ回路２がアクセスされて前記ブロック番号ｐに
対応する４つのセルに格納されている４つの符号量ｂ
(p,k) と、４つの量子化誤差ｅ(p,k) とが取り込まれ、
さらに前記最適符号化器番号マップ回路６がアクセスさ
れて前記ブロック番号ｐに対応する１つのセルに格納さ
れている初期符号化器番号ＯＰＴ(p) が取り込まれた
後、これら設定符号量Ｂ0 、符号量総和Ｂ_k、量子化誤
差総和Ｅ_k、各符号量ｂ(p,k) 、各量子化誤差ｅ(p,k)
、初期符号化器番号ＯＰＴ(p) に基づいて前記（２
９）式〜（３２）式が演算されて、全ての符号化器番号
ｋに対し、前記（２９）式を満たす最適符号化器番号ｋ
^*が求められる。

【００８３】この後、最適符号選択回路８によって前記
最適符号化器番号ｋ^*に基づき前記（３３）式、（３
４）式に示す演算が行われて新たな符号量総和Ｂ
_k ^*と、新たな量子化誤差総和Ｅ_k ^*とが求められる。

【００８４】そして、この量子化誤差総和Ｅ_k ^*が新た
な量子化誤差総和Ｅ_kとして前記量子化誤差総和レジス
タ回路４に格納されるとともに、符号量総和Ｂ_k ^*が新
たな符号量総和Ｂ_kとして前記符号量総和レジスタ回路
５に格納される。

【００８５】次いで、前記（２９）式によって得られた
最適符号化器番号ｋ^*が最適符号化器番号ＯＰＴ(p) と
して前記最適符号化器番号マップ回路６に供給され、前
記ブロック番号ｐに対応するセルに格納されている初期
符号化器番号ＯＰＴ(p) に代えてこの最適符号化器番号
ＯＰＴ(p) が記憶される。

【００８６】以下、ブロック番号発生回路７によって新
たなブロック番号ｐが生成される毎に、上述した動作が
繰り返されて最適符号化器番号マップ回路６の対応する
セルに格納されている初期符号化器番号ＯＰＴ(p) が最
適符号化器番号ＯＰＴ(p) に書き換えられる。

【００８７】そして、最適符号化器番号マップ回路６の
全てのセルに格納されている初期符号化器番号ＯＰＴ
(p) が最適符号化器番号ＯＰＴ(p) に書き換えられたと
き、この最適符号化器番号マップ回路６によって先頭の
セルに格納されている最適符号化器番号ＯＰＴ(i) が読
み出されてこれが切替信号として切替スイッチ１０に供
給されてこの切替信号に対応する後置符号化器１１が選
択される。

【００８８】また、この動作と並行して、遅延回路９に
よって前記入力画像を構成するＮ個のブロックが供給さ
れる毎に、これが取り込まれて順次、遅延され、前記最
適符号化器番号マップ回路６から最初の切替信号が出力
されたとき、最初のブロック番号１に対応するブロック
が出力されてこれが前記切替スイッチ１０に供給され、
この切替スイッチ１０によって選択されている後置符号
化器１１によって符号化され、この符号化動作によって
得られた符号が出力符号として出力される。

【００８９】以下、最適符号化器番号マップ回路６から
次のセルに格納されている最適符号化器番号ＯＰＴ(i)
が読み出されて、これが切替信号として切替スイッチ１
０に供給され、この切替スイッチ１０によって後置符号
化器１１が選択される毎に、遅延回路９から次のブロッ
クが出力されて、これが切替スイッチ１０によって選択
されている後置符号化器１１によって符号化されて出力
符号として出力される。

【００９０】そして、最適符号化器番号マップ回路６か
ら最後のセルに格納されている最適符号化器番号ＯＰＴ
（Ｎ）が読み出されて、これが切替信号として切替スイ
ッチ１０に供給され、この切替スイッチ１０によって後
置符号化器１１が選択されるとともに、遅延回路９から
最後のブロックが出力されて、これが切替スイッチ１０
によって選択されている後置符号化器１１によって符号
化されて出力符号として出力された後、この符号化回路
の符号化動作が終了する。

【００９１】

【発明の効果】本発明による符号量制御は、前述のよう
に、汎用性が高く、画像全体の情報を一定の大きさのブ
ロックの集合に変換した後、それらのブロック１つごと
に可変長符号１つを生成するような符号化方式（ブロッ
ク符号化）であれば適用することができる。

【００９２】また、従来の符号量制御方式とは異なり、
符号化された画像の量子化誤差を直接の制御対象として
いるため、所定符号量の範囲内での最良の画質を実現す
ることができる。

【００９３】また、ブロックの数Ｎが大きいほど、最適
な符号割り当てを実現する確率が大きくなるので、ハイ
ビジョンなどの大規模な画像の符号化にも適している。
このため、ハイビジョン画像を対象とするＤＣＴとＬＯ
Ｔの符号化（共に８ｘ８の変換係数ブロックを生成する
場合）で、達成符号量の誤差を１／１０００以下に押さ
えることができる。

【００９４】このため、オーバーフローによる破綻を避
けるための符号切捨て処理の比重が著しく低減し、安定
した符号化画質を得ることができる。

【図面の簡単な説明】

【図１】本発明に係る符号量制御方式を実現するハード
ウエアの構成例を示す図である。

【符号の説明】

１前置符号化器２量子化誤差・符号量マップ回路３符号初期値選択回路４量子化誤差総和レジスタ回路５符号量総和レジスタ回路６最適符号化器番号マップ回路７ブロック番号発生回路８最適符号選択回路９遅延回路１０切替スイッチ１１後置符号化器

Claims

【特許請求の範囲】

【請求項１】符号化対象となる画像をブロックの集合
に変換した後、ブロック毎に可変長符号を生成する符号
化方式において、ブロック単位の可変長符号化器Ｃ(k) をＫ種類用意し、
あるブロックｉに対して可変長符号化器Ｃ(k) を適用し
た場合に発生する可変長符号の長さをｂ(i,k)、そのブ
ロックの符号化誤差をｅ(i,k) 、ブロックの添字集合
｛１，…，Ｎ｝から符号化器の添字集合｛１，…，Ｋ｝
への対応を与える写像をψとするとき、２Ｎ個の量、を変数とする評価関数Ｆを最小化することにより、符号
量の総和、【数１】が予め設定した符号量Ｂ0 に等しくなるように、各ブロ
ックに対する符号化器を割り当てる写像ψを決定するこ
とを特徴とする画像符号化時における符号量制御方式。
【請求項２】前記評価関数Ｆを、Ｎ個の量、を変数とする関数Ｅと、係数λを用いて、【数２】とする請求項１記載の画像符号化時における符号量制御
方式。
【請求項３】前記評価関数Ｆを最小化するにあたり、
各ブロックｉをある定められた順序で選択しつつ、前記
評価関数Ｆを最も小さくするように関数値ψ(i) （当該
ブロックｉに割り当てるべき符号化器番号）を遂次的に
決定してゆく請求項１または２記載の画像符号化時にお
ける符号量制御方式。