JP3618833B2 - Image processing apparatus and method - Google Patents

Description

となる。
【００２７】
これを展開し、
【００２８】
【外２】

とおくと、
Ε＝Ａａ^２＋２Ｄａ＋Ｂｂ^２＋２Ｅｂ＋Ｃ＋２Ｆａｂとなる。
【００２９】
これに対して
【００３０】
【外３】

として解くことにより、
ａ＝（ＢＤ−ＦＥ）／（Ｆ^２ −ＢＡ），ｂ＝（ＡＥ−ＦＤ）／（Ｆ^２ −ＢＡ）となる。Ａ，Ｂ，Ｆはブロック内の位置が関係するだけであり、ｋに対して一定の値であるから、画素値ｄ_ｋ が関係するＣ，Ｄ，Ｅの値を測定することによりａ，ｂが簡単に求まる。ａ，ｂを±０．５の範囲でクリップし、このクリップされた区間を０〜２５５の値にデジタル化する。即ちデジタイズ後のａ，ｂの値をａ′，ｂ′とすると、
ａ′＝１２８＋ｆｌｏｏｒ（１２８ａ＋０．５），ｂ′＝１２８＋ｆｌｏｏｒ（１２８ｂ＋０．５）となる。
【００３１】
上述で求められたデジタル値ａ′，ｂ′を用いて予測誤差ｅ_ｋ を求めると、
ｅ_ｋ ＝ｄ_ｋ −〔｛ｘ_ｋ （ａ′−１２８）＋ｙ_ｋ （ｂ′−１２８）｝／２５６＋Ｃ０〕
となる。
【００３２】
以上の様にして最適近似平面を定義するパラメータａ及びｂが求まり、この平面との予測誤差が求まる。
【００３３】
次に求められた値をいかに符号化するかについて説明する。
【００３４】
通常符号データは図４（ａ）〜（ｄ）に示す様な構造となる。
【００３５】
即ち符号化対象のブロックに対して＃６番の“平面近似モード”が用いられたことを示すハフマン符号とａ′，ｂ′の値（固定長）と、Ｃ０もしくはＣ０′（Ｃ０′は前の符号化対象のブロックＣ０との差分）の符号を送る。
【００３６】
次に完全近似フラグデータを送る。完全近似フラグとは、符号化対象のブロック内の画素に対する予測誤差ｅ_ｋ が全て０になったかどうかを示すフラグであり、全て０ならばフラグオン（本実施例では１）にしてデータを終える。そうでなければフラグオフ（本実施例では０）にして、その後に、上述で発生した予測誤差ｅ_ｋ をハフマン符号化したデータをｅ_０ から順に送る。
【００３７】
ここでｅ_ｋ の符号化用いるハフマンテーブルと＃０番〜＃５番の符号化方法に用いるハフマンテーブルは同じものを用いることにし、このテーブルは図２のＳ１及びＳ７について後述されるハフマンテーブルである。
【００３８】
ここでＣ０とＣ０′のいずれを用いるかは、傾きのパラメータａ′，ｂ′によって異なる。ａ′，ｂ′に対しては各々にしきい値を設定する。本例ではこの値を１６とし、０〜２５５の値をとるａ′，ｂ′の値が両方とも１２８±１６（本実施例の１２８は通常のグラフの傾き０に対応）の範囲に収まった時、即ちａ′，ｂ′とも傾きが小さい時にＣ０′が小さくなる可能性があるのでＣ０′を用いることとする。それ以外の場合にはＣ０を用いる。
【００３９】
Ｃ０は固定長で送るがＣ０′の場合はハフマン符号を用いる。このＣ０′に用いるハフマンテーブルは固定であり、本実施例では図３（ｅ）のテーブルを用いる。
【００４０】
次に図３（ｂ）における＃７番の“一様モード”の符号化方法について説明する。この符号化方法はブロック内の全データが同一画素値である時に用いられ、画像に枠がついていたり、ＣＧ（コンピュータグラフィック）の背景等に対して有効である。
【００４１】
符号データは図４（ｂ）に示す様になり、符号化方法を示すハフマン符号と、＃６番の符号化方法で用いたＣ０′と同じ性質をもつＣ０′の符号とを送る。
【００４２】
次に＃８番の“二値モード”の符号化方法について説明する。
【００４３】
これは、符号化対象のブロック内に２種類の画素値しか存在しない場合に用いる方法である。
【００４４】
２種類の画素値の内、輝度の高い方の画素値をＤ_１ 、他方をＤ_２ とした時に、最初の画素をＤ_１ を仮定して、図５（ａ）に示す様な画像スキャンを行うことによりＤ_１ ，Ｄ_２ が交互に発生する場合のランレングスを符号化する。
【００４５】
この得られたランレングスに対して予め用意されたハフマン符号化を行う。１つのランレングスデータは、０個以上のＭａｋｅ ｕｐ Ｃｏｄｅと１つのＴｅｒｍｉｎａｔｉｎｇ Ｃｏｄｅとを用いて表される。
【００４６】
Ｔｅｒｍｉｎａｔｉｎｇ Ｃｏｄｅはランレングスが０〜１２７までを表すコードである。Ｍａｋｅ ｕｐ Ｃｏｄｅは１２８以上の大きな値を表すコードである。これらのコードは各々に用意されたハフマンテーブルにより符号化される。
【００４７】
ブロック中の最後のランはそのまま符号化されずＥＯＢのコードを付加して処理される。Ｄ_１ 、Ｄ_２ を例えば白、黒とすると、ハフマンテーブルは白、黒で別個に持つものとし、固定のテーブルとする。
【００４８】
以上で本実施例に用いられる９種類の符号化方法についての説明を終わる。なお、この複数の符号化方法は、符号化対象のブロックサイズを変化させて符号化できる後述の符号化方法において、各々の異なる領域のブロックに対して、上記９種類の内の最適な符号化方法を選択して割り当てながら、１画面内の符号化方法の決定処理が行われる。
【００４９】
詳細は後述する。
【００５０】
次に符号化処理全体の流れを表す図２の各ステップの処理について詳細に説明する。
【００５１】
ステップＳ１ではステップＳ３の処理の際前述の＃０〜＃６の符号化方法に用いる基準のハフマンテーブルを各ブロックサイズに対して１つ設定する。
【００５２】
ステップＳ２では、画像メモリ６に蓄積された画像データを、基本ブロックである１２８×１２８画素単位に分割し、この基本ブロック毎に順次取り出す。
【００５３】
ステップＳ３では、画像データをステップＳ９で最終的に符号化する際のブロック（符号化対象ブロックとする）への分割方法、及び分割された各々のブロックに対する最適符号化方法（＃０〜＃８）を仮決定する。以下、詳細に説明する。
【００５４】
符号化対象ブロック（ブロック分割方法）は１つの正方ブロックを符号化する際に発生する符号量と、該正方ブロックを４分割した４つのサブブロックを符号化する際に発生する総符号量とを比較した結果に基づいて仮決定される。
【００５５】
あるサイズの正方ブロックとそのサブブロックの様子を図６に示す。
【００５６】
２^ｎ ×２^ｎ 画素の正方ブロックをＢ、これを４分割して得られる２^ｎ−１ ×２^ｎ−１ 画素のサブブロックをｂ_０ 〜ｂ_３ とする。
【００５７】
１つの正方ブロックＢに対し、前述の＃０〜＃８の９種類の符号化方法のうち、＃ｉを用いた時の符号化データの符号量を求める関数をＣｉとし、符号量をＣｉ（Ｂ）と書くことにする。
【００５８】
また、９種類の符号化方法を用いて符号化された符号化データの符号量のうち、最小の符号量を求める関数をＢＷとすると、ＢＷ（Ｂ）＝ｍｉｎ（Ｃｉ（Ｂ））と書ける。
【００５９】
また、あるサイズのブロックに対する最小符号量を求める関数をＭＣとする。この時、前述のＢ，ｂｉ等を用いて以下の様に書ける。
【００６０】
【外４】

【００６１】
本実施例では最小サブブロックのサイズを４×４画素としているので、上式及び
【００６２】
【外５】

となる。ここでＳＦは、サブブロックへの分割の有無を表すためのフラッグのデータ量であり、本実施例では、１つのブロック、サブブロックを更に４分割するか否かを表せれば良く、１ｂｉｔの符号を要する。
【００６３】
従ってＳＦ＝１となる。
【００６４】
また、ＨＤはＢＷ関数によって選ばれたｉを表す為の情報量であり本実施例ではｉの情報を専用のハフマンテーブルでハフマン符号化する。
【００６５】
符号化対象ブロックのサイズを仮決定する方法を簡単に説明すると、上述の式を用いてある正方ブロックの符号量とこのサブブロックの総符号量のうち符号量の少ない方のブロックサイズを選択し、この結果サブブロックの方を選択した場合には、各々のサブブロックを上述の正方ブロックに置き換えて、更にブロックサイズの選択を行うものである。また、各ブロックの符号量は、９種類の符号化方法の１番相性の良い方法を用いて算出されたものである。
【００６６】
上記の式によって示されるブロック分割方法及び分割された各ブロックの符号化方法の仮決定の様子を図７に示す。
【００６７】
図７のブロック分割例は、１２８×１２８画素を基本ブロック（符号化対象ブロックの最大サイズ）とし、再帰的にブロックを４分割して符号化対象ブロックを仮決定した結果である。
【００６８】
実際には、１２８×１２８画素ブロック内を右上から左下にかけてエッジが横断している場合に図の様なブロック分割が起こる。また、分割された符号化対象ブロックの各々は独立の符号化方法（＃０〜＃８番）を有している。
【００６９】
図８は、図６のブロック分割例に基づいて記述されたブロック分割方法及び分割されたブロック（符号化対象ブロック）各々の符号化方法を示すデータの形態を表している。
【００７０】
図中Ｐ_ｎ は前述したＳＦ（ブロック分割の有無）に対応する１ビットのデータ（ブロック分割データとする）であり、Ｐ_ｎ ＝１ならばそのブロックを分割、Ｐ_ｎ ＝０ならばブロック分割せずに符号化方法を示すデータを続ける。（ｎは処理対象のブロックサイズを示す。）
【００７１】
例えば、（Ｐ_１２８ ＝１），（Ｐ_６４＝１），（Ｐ_３２＝０）とビットが続いた場合には（１２８×１２８画素ブロックが４分割）、（左上の６４×６４画素ブロックを４分割），（左上の３２×３２画素ブロック分割せず）と判断し、符号化方法を表すハフマンデータｈｄ（前述のＨＤに対応）を付ける。更に続いて（Ｐ_３２＝１），…と続く。
【００７２】
Ｐ_ｎ ＝１ならば続けてブロック分割データＰ_ｎ／２ が続く。
【００７３】
また図８において、最小ブロックサイズ符号化対象ブロックＢ_５ 〜Ｂ_８ ，Ｂ_９ 〜Ｂ_１２に対応するデータには、ブロック分割データは付けない。これは最小ブロックを分割することがないので必ずＰ_４ ＝０となるからである。
【００７４】
符号化対象ブロック※から※※までのブロック分割データ及び符号化方法を示すデータは省略する。
【００７５】
ステップＳ_４ では、図８に示したブロック分割データ及び符号化方法を示すデータを保存しておく。
【００７６】
ステップＳ_５ では、ステップＳ_３ で分割された図７に示す各々の符号化対象ブロックの中で、符号化方法の＃０番〜＃６番までを用いて符号化されることが仮決定されているブロックに対して、符号化時に発生する差分値（予測誤差）の統計を各ブロックサイズ毎にとる処理を行う。
【００７７】
例えば図７において、Ｂ_１ とＢ_１４、又はＢ_４ とＢ_１３、又はＢ_５ 〜Ｂ_８ とＢ_４ 〜Ｂ_１２は、同じブロックサイズなので、まとめて統計がとられ、１画面分の統計を蓄積する。
【００７８】
本実施例では予測誤差−２５５〜２５５の計５１１個のカウンターが各々のブロックサイズに必要なので計６×５１１個のカウンターを用いる。
【００７９】
ステップＳ６ではステップＳ２〜ステップＳ５までの１２８×１２８画素単位のブロック処理を１画面分行ったらステップＳ７へ、１画面の途中ならばステップＳ_２ にもどり次のブロックの処理に進む。
【００８０】
ステップＳ７では、ステップＳ５でとられた６つの統計に基づいて、各ブロックサイズに最適なハフマンテーブル（最適ハフマンテーブル）が作成される。
【００８１】
ステップＳ８では予め設定しておいた最適化処理のループ数を満たしたか否かが判定され、ループ数を満たしていればステップＳ９へ、満たしていなければステップＳ１へもどり、前述で作成されたハフマンテーブルをステップＳ１の基準ハフマンテーブルとして書き換える。これは基準ハフマンテーブルよりも符号化対象の画像に基づいて作成された最適ハフマンテーブルを用いて符号化対象ブロックを生成する為のブロック分割、及び符号化方法を決定し直すことにより、更に効率の良い符号化が行えるからである。
【００８２】
ステップＳ８で設定回数のループを行ったら、最後のループで決定されたブロック分割方法及び符号化方法、ならびに作成された最適ハフマンテーブルを最終的な符号化に用いる参照情報として保存し、ステップＳ９へ進む。
【００８３】
ステップＳ９では参照情報を元に画像の符号化を行い符号化データを出力する。
【００８４】
図９はステップＳ９での符号化処理の流れを示したものである。同図に於いてＳ８０は最適ハフマンテーブルを符号化するステップ、Ｓ８１は基本ブロックのサイズのブロックデータを取り出すステップ、Ｓ８２はこのブロックデータに対応する参照情報を取り出すステップ、Ｓ８３は参照情報に従ってこのブロックを符号化するステップ、Ｓ８４は画像の終端を判定するステップである。
【００８５】
まず、ステップＳ８０では１２８×１２８画素ブロック用ハフマンテーブル６４×６４画素ブロック用ハフマンテーブル、３２×３２画素ブロック用ハフマンテーブル、１６×１６画素ブロック用ハフマンテーブル、８×８画素ブロック用ハフマンテーブル、４×４画素ブロック用ハフマンテーブルを符号化して出力する。
【００８６】
ステップＳ８１では、画像データから順に基本ブロックのサイズでブロックデータを取り出す。
【００８７】
ステップＳ８２では、このブロックデータに対する参照情報を呼び出す。ステップＳ８３で、参照情報とこの参照情報に従ってブロックデータを符号化して生成した符号化データ列を出力する。ステップＳ８４では画像の終端を判定し、未処理のブロックがある場合には次のブロックについてステップＳ８１から処理を行う。
【００８８】
以上の処理により、図１０に示す様な画像データに対する符号化データ列を生成し、出力する。なお、データの順番は、１画素単位でなくブロック単位で送る様にしても良い。以上で第１の実施の形態の説明を終る。
【００８９】
また、ブロック分割の方法としてブロックを同サイズに４分割する方法を挙げたが、ブロックサイズを可変にしても良い。
【００９０】
また、第１の実施の形態では図６の様にある正方ブロックの符号量とこれを４分割した複数のサブブロック符号量とに基づいて、ブロック分割して符号化対象ブロックを決定していたが、最大ブロック（１２８×１２８画素）から最小ブロック（４×４）までの全てのブロックについての符号量を求めてこれら全ての符号量に基づいてブロック分割しても良い。
【００９１】
また、初めに最小ブロックの符号量を求め、このブロックをサブブロックと見なし、図６の様に４つのサブブロック（４×４画素）の総符号量とこれらを合わせた領域のブロック（８×８画素）の符号量とに基づき仮のブロック分割方法と符号量を決定し、４つの決定された領域（８×８画素）の総符号量と決定された領域（８×８画素）から構成される更に大きなブロック（１６×１６画素）の符号量とに基づき新たに仮のブロック分割方法を決定し、最大ブロックサイズ１２８×１２８画素までこれを繰り返すことにより符号化対象ブロックを決定する様にしても良い。
【００９２】
また、選択可能なブロック符号化方法として予測符号化方法と平面符号化方法、ランレングス符号化方法を用いたが、予測方法を変えるなどして適用方法を変えたり、あるいはマルコフモデル符号化方法等、別の符号化方法を用いても良いことは言うまでもない。更に、上述の実施の形態では各符号化方法におけるエントロピー符号方法としてハフマン符号化を用いているが、勿論これは算術符号化等、他のエントロピー符号化方法を用いてもよい。
【００９３】
またブロック分割方法の決定は、符号量に基づいて行われていたが、実際に符号化することにより符号化効率を求め、この符号化効率に基づいて行う様にしても良い。
【００９４】
【発明の効果】
以上のように本願発明によれば、画像の性質に応じて、最適なサイズのブロック単位で最適な符号化方法を用いた符号化を行うことができる。
【００９５】
また、ブロック単位の符号化において、それぞれのブロックサイズに適した符号化を行うことにより、従来よりも更に効率の良い符号化を行うことができる。
【図面の簡単な説明】
【図１】本願発明の実施例に用いる装置の図。
【図２】本願発明の実施例の全体の流れを表すフローチャート。
【図３】実施例で用いる符号化方法を説明する図。
【図４】＃６，＃７の符号化方法を用いた際の符号化データ形態及び該符号化方法に用いるＣ０′に対するハフマンテーブルを示す図。
【図５】二値符号化方法で用いるブロック内のスキャン方法と符号化データ形態を説明
する図及び二値符号化で用いるランレングスの一覧表を示す図。
【図６】ある正方ブロックとそのサブブロックを表す図。
【図７】符号化対象ブロックを求める為に基本ブロックを更にブロック分割した様子を
示す図。
【図８】ブロック分割情報の形態を表す図。
【図９】Ｓ９の符号化処理についてのフローチャート。
【図１０】最終的に符号化された画像データを示す図。
【符号の説明】
１ ＣＰＵ制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method for encoding an image.
[0002]
[Prior art]
Conventionally, DPCM (Differential Pulse Code Modulation) is widely known as a lossless encoding method for multilevel images. In general DPCM encoding, encoded pixels around an encoding target pixel, that is, a left pixel (this is a), an upper pixel (similarly b), and a left diagonal pixel (similarly c) Is used to calculate the prediction value (planar prediction) of the encoding target pixel using, for example, the equation (a + b−c), and encodes the difference between this and the encoding target pixel value.
[0003]
A multi-value gradation image typified by image data obtained by scanning a natural image such as a photograph has greatly different statistical properties depending on the part in the image. The difference in statistics is caused by a difference in local structure such as an edge in an image and a direction of a luminance gradient.
[0004]
The pixel value prediction by the DPCM method shown in the conventional example is effective only for those local structures that can be partially approximated to a two-dimensional plane. Will be adversely affected.
[0005]
As a form to compensate for this, for example, there is a method in which encoding is performed in units of blocks, an encoding method effective for the dominant structure in the block is used, and an index indicating the method is encoded as side information.
[0006]
However, the local structure in the image generally has a small area of a few pixels in the case of an edge or thin line structure where the flat (low frequency structure) portion has a large area and the luminance changes rapidly.
[0007]
Therefore, when processing is performed in units of blocks, it is advantageous to use a large block in the flat portion, and there is a tradeoff that it is more efficient to use a small block in the fine structure portion.
[0008]
In addition, some flat portions have complicated shapes, while others have high-frequency structures that spread uniformly over a large area. As described above, there has conventionally been a problem that it is impossible to perform encoding using an optimal encoding method in an optimal image processing unit according to the properties of an image.
[0009]
In order to solve the above-described problems, the present invention has an object to perform encoding using an optimal encoding method in an optimal image processing unit in accordance with the properties of an image.
[0010]
Another object of the present invention is to perform more efficient coding in the block unit coding.
[0011]
[Means for Solving the Problems]
In order to solve the above-described problem, according to an image processing apparatus according to claim 1 of the present invention, there is provided an image processing method for encoding an image in units of blocks. A sub-block dividing step for dividing the block into a predetermined plurality of sub-blocks, and an optimum one of each of the encoding target block and the plurality of sub-blocks is selected from a plurality of prepared encoding modes. An encoding mode selection step, a code amount obtained by encoding the encoding target block using the encoding mode selected for the block, and each of the plurality of sub-blocks for each block. A comparison step of comparing the total amount of codes obtained by encoding using the selected encoding mode; and, as a result of the comparison, the code amount of the block to be encoded is If there is no total coding amount of the plurality of sub-blocks as a result of the comparison, each of the sub-blocks is further updated. Each of the new coding target blocks is divided into the predetermined plurality of sub-blocks, the coding mode is selected, the code amount is compared, and the result of the comparison is The encoding target block is encoded accordingly, and the plurality of prepared encoding modes include an encoding mode accompanied by execution of Huffman encoding, and in the encoding mode, among the plurality of types of Huffman tables, Huffman encoding is performed using a Huffman table corresponding to the size of the encoding target block.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
An example of an embodiment of the present invention will be described with reference to FIGS.
[0013]
FIG. 1 shows a circuit configuration for encoding / decoding an image, where 1 is a CPU control unit capable of performing encoding and decoding of image data by software processing, 2 is an image input unit for capturing image data, 3 is a printer unit that prints image data, 4 is a display unit that displays the image data on a monitor, etc. 5 is transmitting data encoded by the CPU control unit 1 or receiving encoded data transmitted from an external device A communication control unit 6 is an image memory.
[0014]
First, image data input from the image input unit 2 (in this case, luminance image data of 8 bit gradation) is temporarily stored in the image memory 6.
[0015]
Next, the image data in the image memory 6 is encoded by performing software processing as shown in the flowchart of FIG.
[0016]
In the encoding method, encoding is performed in units of square blocks, and the basic block size is a square block of 128 × 128 pixels. The minimum unit block size is a square block of 4 × 4 pixels, and encoding is performed so that encoding can be performed by changing the block size described later.
[0017]
Prior to the description of the processing in each step of FIG. 2, a plurality of encoding methods used for each block of an image in this embodiment will be described.
[0018]
As shown in FIG. 3A, a target pixel * of a block of a certain coding unit (in this embodiment, 4 × 4, 8 × 8, 16 × 16, 32 × 32, 64 × 64, 128 × 128 pixels). Let a, b, c be the surrounding pixels. Further, the pixel value at the upper left corner of the encoding unit block is C0 (zero).
[0019]
At this time, the encoding method in the present embodiment is shown in FIG. 3B using the above-described pixels.
[0020]
Nine types of encoding methods are set in total, and among these, six types of encoding methods # 0 to # 5 are predictive encoding methods for encoding a difference value with neighboring pixels, and a difference value (prediction) Error) is encoded using a Huffman code, which will be described later.
[0021]
The Huffman table uses the same encoding method for # 0 to # 5 with the same block size, but if the block size is different, the statistics of the prediction error also differ, so the block size of each encoding unit Huffman table suitable for Therefore, this embodiment has a total of six Huffman tables corresponding to blocks of 4 × 4,..., 128 × 128 pixels.
[0022]
Next, the encoding method of # 6 “planar approximation mode” will be described.
[0023]
Assuming that the pixel position of C0 in the block of FIG. 3A is three-dimensional (x axis, y axis, z axis) (O, O, C0), the right direction in the figure (the main scanning direction). ) Is the x axis, and the downward direction (sub-scan) is the y axis.
[0024]
Here, by obtaining the square error in the Z direction with respect to the pixel values of the entire block of the coding unit, it is approximated as a plane (z = C0 + ax + by) and a and b are obtained.
[0025]
If the K-th pixel value in the block is dk and its x and y coordinates are x _k and y _k , the sum of the square error in the Z direction is
[0026]
[Outside 1]

It becomes.
[0027]
Expand this,
[0028]
[Outside 2]

After all,
Ε = Aa ² + 2Da + Bb ² + 2Eb + C + ² Fab.
[0029]
In contrast, [0030]
[Outside 3]

By solving as
^{a = (BD-FE) /} (F 2 -BA), b = the ^{(AE-FD) / (F} 2 -BA). Since A, B, and F only relate to positions in the block and are constant values with respect to k, a, b are measured by measuring the values of C, D, and E that are related to the pixel value d _k. Is easily obtained. Clip a and b within a range of ± 0.5, and digitize the clipped interval to a value between 0 and 255. That is, if the values of a and b after digitization are a 'and b',
a ′ = 128 + floor (128a + 0.5), b ′ = 128 + floor (128b + 0.5).
[0031]
When the prediction error ek is _obtained using the digital values a ′ and b ′ obtained above,
e _k = d _k − [{x _k (a′−128) + y _k (b′−128)} / 256 + C0]
It becomes.
[0032]
As described above, the parameters a and b that define the optimum approximate plane are obtained, and the prediction error with this plane is obtained.
[0033]
Next, how to encode the obtained value will be described.
[0034]
The normal code data has a structure as shown in FIGS.
[0035]
That is, the Huffman code indicating that # 6 “planar approximation mode” is used for the block to be encoded, the values of a ′ and b ′ (fixed length), and C0 or C0 ′ (C0 ′ is the previous one). Of the encoding target block C0) is sent.
[0036]
Next, complete approximation flag data is sent. Complete approximation flag is a flag indicating whether the prediction error e _k becomes all zero for pixels within the block to be coded, finish data in the (1 in this example) all 0, flag-. (In this example 0) unless Furaguofu otherwise in the, then, sends data a prediction error e _k generated and Huffman coding in the above from e ₀ in order.
[0037]
Here Huffman table is to be the same as that used in the encoding method of Huffman table and # 0 th ~ # # 5 used coding e _k, Huffman table This table is described below for the S1 and S7 in FIG. 2 is there.
[0038]
Which of C0 and C0 ′ is used here depends on the inclination parameters a ′ and b ′. A threshold value is set for each of a 'and b'. In this example, this value is 16, and both the values of a ′ and b ′ taking values of 0 to 255 are within the range of 128 ± 16 (128 in the present example corresponds to the slope 0 of the normal graph). C0 'is used because there is a possibility that C0' may become small when both the slopes of a 'and b' are small. In other cases, C0 is used.
[0039]
C0 is sent with a fixed length, but in the case of C0 ', a Huffman code is used. The Huffman table used for C0 ′ is fixed, and the table shown in FIG. 3E is used in this embodiment.
[0040]
Next, the encoding method of # 7 “uniform mode” in FIG. 3B will be described. This encoding method is used when all the data in the block has the same pixel value, and is effective for a framed image, a CG (computer graphic) background, or the like.
[0041]
The code data is as shown in FIG. 4B, and a Huffman code indicating the encoding method and a C0 ′ code having the same properties as C0 ′ used in the # 6 encoding method are sent.
[0042]
Next, the encoding method of # 8 “binary mode” will be described.
[0043]
This is a method used when there are only two types of pixel values in the block to be encoded.
[0044]
Of the two types of pixel values, assuming that the pixel value having the higher luminance is D ₁ and the other is D ₂ , assuming that D ₁ is the first pixel, an image scan as shown in FIG. As a result, the run length when D ₁ and D ₂ occur alternately is encoded.
[0045]
Huffman coding prepared in advance is performed on the obtained run length. One run-length data is represented using zero or more make-up codes and one terminating code.
[0046]
Terminating code is a code representing run length from 0 to 127. The Make up Code is a code representing a large value of 128 or more. These codes are encoded by a Huffman table prepared for each.
[0047]
The last run in the block is not encoded as it is, but is processed by adding an EOB code. If D ₁ and D ₂ are, for example, white and black, the Huffman table has white and black separately, and is a fixed table.
[0048]
This completes the description of the nine types of encoding methods used in this embodiment. The plurality of encoding methods are the encoding methods described later that can be encoded by changing the block size to be encoded. While selecting and assigning a method, a process for determining an encoding method within one screen is performed.
[0049]
Details will be described later.
[0050]
Next, the process of each step of FIG. 2 showing the flow of the entire encoding process will be described in detail.
[0051]
In step S1, one reference Huffman table is set for each block size to be used in the encoding methods # 0 to # 6 described above in the process of step S3.
[0052]
In step S2, the image data stored in the image memory 6 is divided into 128 × 128 pixel units, which are basic blocks, and sequentially extracted for each basic block.
[0053]
In step S3, the image data is finally divided into blocks (to be encoded blocks) when encoded in step S9, and the optimum encoding method (# 0 to # 8) for each of the divided blocks. ) Is provisionally determined. This will be described in detail below.
[0054]
The encoding target block (block division method) includes a code amount generated when encoding one square block and a total code amount generated when encoding four sub-blocks obtained by dividing the square block into four. A provisional decision is made based on the comparison result.
[0055]
A state of a square block of a certain size and its sub-block is shown in FIG.
[0056]
A square block of 2 ⁿ × 2 ⁿ pixels is represented by B, and a sub block of 2 ^n-1 × 2 ^n-1 pixels obtained by dividing the square block by 4 is represented by b _{0 to} b ₃ .
[0057]
Of the nine types of encoding methods # 0 to # 8 described above for one square block B, Ci is a function for calculating the code amount of encoded data when #i is used, and the code amount is Ci ( I will write B).
[0058]
Further, if the function for obtaining the minimum code amount among the code amounts of the encoded data encoded using the nine types of encoding methods is BW, it can be written as BW (B) = min (Ci (B)). .
[0059]
Also, let MC be a function for obtaining the minimum code amount for a block of a certain size. At this time, the following can be written using B, bi, etc.
[0060]
[Outside 4]

[0061]
In this embodiment, since the size of the minimum sub-block is 4 × 4 pixels, the above formula and
[Outside 5]

It becomes. Here, SF is a data amount of a flag for indicating the presence / absence of division into sub-blocks. In this embodiment, it is only necessary to express whether one block or sub-block is further divided into four or not. Requires a sign.
[0063]
Therefore, SF = 1.
[0064]
HD is the amount of information for representing i selected by the BW function, and in this embodiment, the information of i is Huffman encoded with a dedicated Huffman table.
[0065]
The method for tentatively determining the size of the block to be encoded will be briefly described. Using the above formula, the code size of a square block and the block size with the smaller code amount of the total code amount of this sub-block are selected. As a result, when the sub-block is selected, each sub-block is replaced with the above-described square block, and the block size is further selected. In addition, the code amount of each block is calculated using a method having the best compatibility among nine types of encoding methods.
[0066]
FIG. 7 shows the provisional determination of the block division method represented by the above equation and the coding method for each divided block.
[0067]
The block division example in FIG. 7 is a result of tentatively determining an encoding target block by recursively dividing the block into four by using 128 × 128 pixels as a basic block (maximum size of the encoding target block).
[0068]
Actually, block division as shown in the figure occurs when an edge crosses from the upper right to the lower left in the 128 × 128 pixel block. Each of the divided encoding target blocks has an independent encoding method (# 0 to # 8).
[0069]
FIG. 8 shows a data format indicating a block division method described based on the block division example of FIG. 6 and an encoding method of each of the divided blocks (encoding target blocks).
[0070]
In the figure, P _n is 1-bit data (referred to as block division data) corresponding to the above-mentioned SF (presence / absence of block division). If P _n = 1, the block is divided, and if P _n = 0, block division is performed. Without continuing the data indicating the encoding method. (N indicates the block size to be processed.)
[0071]
For example, when (P ₁₂₈ = 1), (P ₆₄ = 1), and (P ₃₂ = 0) are followed by a bit (128 × 128 pixel block is divided into four), the upper left 64 × 64 pixel block is 4 divisions) and (no upper left 32 × 32 pixel block division), and Huffman data hd (corresponding to the above-mentioned HD) representing the encoding method is attached. Further (P ₃₂ = 1),.
[0072]
If P _n = 1, the block division data P _{n / 2} continues.
[0073]
In FIG. 8, block division data is not added to data corresponding to the minimum block size encoding target blocks B _{5 to} B ₈ and B _{9 to} B ₁₂ . This is because P ₄ = 0 is always obtained because the minimum block is not divided.
[0074]
Block division data from the encoding target block * to ** and data indicating the encoding method are omitted.
[0075]
In step S _4, it keeps the data indicating the block division data and the coding method as shown in FIG.
[0076]
In step S _5, in each of the encoding target block shown in FIG. 7, which is divided in step S _3, it is provisionally determined that coded using up to # 0 th ~ # sixth encoding method A process of taking statistics of difference values (prediction errors) generated at the time of encoding for each block size is performed on the block being processed.
[0077]
For example, in FIG. 7, B ₁ and B ₁₄ , B ₄ and B ₁₃ , or B _{5 to} B ₈ and B _{4 to} B ₁₂ are the same block size. accumulate.
[0078]
In this embodiment, since a total of 511 counters with a prediction error of −255 to 255 are necessary for each block size, a total of 6 × 511 counters are used.
[0079]
In step S6 the block processing of 128 × 128 pixels in the steps S2~ step S5 to step S7 After performing one screen, the process proceeds to 1 in the process if it returns to step S ₂ next block of screen processing.
[0080]
In step S7, an optimum Huffman table (optimum Huffman table) for each block size is created based on the six statistics taken in step S5.
[0081]
In step S8, it is determined whether or not the preset number of optimization processing loops is satisfied. If the number of loops is satisfied, the process returns to step S9. The table is rewritten as the reference Huffman table in step S1. This is more efficient by re-determining the block division and encoding method for generating the encoding target block using the optimum Huffman table created based on the encoding target image rather than the reference Huffman table. This is because good encoding can be performed.
[0082]
When the set number of loops are performed in step S8, the block division method and encoding method determined in the last loop and the created optimum Huffman table are stored as reference information used for final encoding, and the process proceeds to step S9. move on.
[0083]
In step S9, an image is encoded based on the reference information and encoded data is output.
[0084]
FIG. 9 shows the flow of the encoding process in step S9. In the figure, S80 is a step of encoding the optimum Huffman table, S81 is a step of extracting block data of the basic block size, S82 is a step of extracting reference information corresponding to this block data, and S83 is a block of this block according to the reference information. S84 is a step of determining the end of the image.
[0085]
First, in step S80, a 128 × 128 pixel block Huffman table 64 × 64 pixel block Huffman table, a 32 × 32 pixel block Huffman table, a 16 × 16 pixel block Huffman table, an 8 × 8 pixel block Huffman table, 4 The Huffman table for x4 pixel block is encoded and output.
[0086]
In step S81, block data is extracted in the size of the basic block in order from the image data.
[0087]
In step S82, reference information for this block data is called. In step S83, the reference information and the encoded data string generated by encoding the block data according to the reference information are output. In step S84, the end of the image is determined. If there is an unprocessed block, the process is performed from step S81 on the next block.
[0088]
Through the above processing, an encoded data sequence for image data as shown in FIG. 10 is generated and output. The data order may be sent not in units of pixels but in units of blocks. This is the end of the description of the first embodiment.
[0089]
Further, although a method of dividing a block into four equal sizes has been described as a block dividing method, the block size may be variable.
[0090]
In the first embodiment, the block to be encoded is determined by dividing the block based on the code amount of a square block as shown in FIG. 6 and a plurality of sub-block code amounts obtained by dividing the square block into four. However, code amounts for all blocks from the maximum block (128 × 128 pixels) to the minimum block (4 × 4) may be obtained, and the blocks may be divided based on all these code amounts.
[0091]
First, the code amount of the minimum block is obtained, and this block is regarded as a sub-block. As shown in FIG. 6, the total code amount of four sub-blocks (4 × 4 pixels) and the block (8 × The temporary block division method and the code amount are determined based on the code amount of 8 pixels), and the total code amount of the four determined regions (8 × 8 pixels) and the determined region (8 × 8 pixels) are configured. Based on the code amount of a larger block (16 × 16 pixels), a temporary block division method is newly determined, and the block to be encoded is determined by repeating this up to a maximum block size of 128 × 128 pixels. May be.
[0092]
In addition, the predictive encoding method, the plane encoding method, and the run length encoding method were used as selectable block encoding methods, but the application method may be changed by changing the prediction method, or the Markov model encoding method, etc. Needless to say, another encoding method may be used. Further, in the above-described embodiment, Huffman coding is used as the entropy coding method in each coding method. Of course, other entropy coding methods such as arithmetic coding may be used.
[0093]
The determination of the block division method is performed based on the code amount. However, the coding efficiency may be obtained by actually encoding, and may be performed based on the encoding efficiency.
[0094]
【The invention's effect】
As described above, according to the present invention, it is possible to perform encoding using an optimal encoding method in units of blocks of an optimal size according to the properties of an image.
[0095]
In addition, in encoding in units of blocks, by performing encoding suitable for each block size, it is possible to perform encoding more efficiently than in the past.
[Brief description of the drawings]
FIG. 1 is a diagram of an apparatus used in an embodiment of the present invention.
FIG. 2 is a flowchart showing the overall flow of an embodiment of the present invention.
FIG. 3 is a diagram for explaining an encoding method used in the embodiment.
FIG. 4 is a diagram showing an encoded data format when using the encoding methods of # 6 and # 7 and a Huffman table for C0 ′ used in the encoding method.
FIG. 5 is a diagram for explaining a scan method in a block and a coded data form used in the binary coding method, and a diagram showing a list of run lengths used in the binary coding.
FIG. 6 is a diagram showing a certain square block and its sub-blocks.
FIG. 7 is a diagram illustrating a state in which a basic block is further divided into blocks in order to obtain an encoding target block.
FIG. 8 is a diagram illustrating a form of block division information.
FIG. 9 is a flowchart of the encoding process in S9.
FIG. 10 is a diagram showing finally encoded image data.
[Explanation of symbols]
1 CPU controller

Claims (6)

An image processing method for encoding an image in units of blocks,
A sub-block dividing step for dividing the encoding target block into a predetermined plurality of sub-blocks with respect to the encoding target block;
An encoding mode selection step of selecting an optimum one from a plurality of prepared encoding modes for each of the encoding target block and the plurality of sub-blocks;
A code amount obtained by encoding the block to be encoded using the encoding mode selected for the block, and an encoding mode selected for each of the plurality of sub-blocks. A comparison step for comparing the total amount of codes obtained by encoding using
As a result of the comparison, when the code amount of the encoding target block is small, an encoding step of encoding the encoding target block is provided.
As a result of the comparison, when the total code amount of the plurality of sub-blocks is small, each of the sub-blocks is further regarded as a new encoding target block, and each of the new encoding target blocks is division into predetermined plurality of sub-blocks, the selection of the encoding mode, the comparison of the code amount, and have line coding of the coding target block according to the result of said comparison,
The plurality of prepared encoding modes include an encoding mode accompanied by execution of Huffman encoding, and in the encoding mode, a Huffman table corresponding to the size of the block to be encoded is used among a plurality of types of Huffman tables. And Huffman coding . The image processing method according to claim 1, wherein, in the encoding mode selection step, an encoding mode that minimizes a code amount is selected from a plurality of prepared encoding modes for each block. . A series of processing when the total code amount of the plurality of sub-blocks is small is recursively executed when the result of comparison of the code amounts in the series of processing is that the total code amount of the plurality of sub-blocks is small. The image processing method according to claim 1. An image processing apparatus that encodes an image in block units,
Sub-block dividing means for dividing the encoding target block into a plurality of predetermined sub-blocks for the encoding target block;
Encoding mode selection means for selecting each optimum one from a plurality of encoding modes prepared for each of the encoding target block and the plurality of sub-blocks;
A code amount obtained by encoding the block to be encoded using the encoding mode selected for the block, and an encoding mode selected for each of the plurality of sub-blocks. And a comparison means for comparing the total amount of codes obtained by encoding using
As a result of the comparison, when the code amount of the encoding target block is small, the encoding target block is encoded,
As a result of the comparison, when the total code amount of the plurality of sub-blocks is small, each of the sub-blocks is further regarded as a new encoding target block, and each of the new encoding target blocks is division into predetermined plurality of sub-blocks, the selection of the encoding mode, the comparison of the code amount, and have line coding of the coding target block according to the result of said comparison,
The plurality of prepared encoding modes include an encoding mode accompanied by execution of Huffman encoding, and in the encoding mode, a Huffman table corresponding to the size of the block to be encoded is used among a plurality of types of Huffman tables. An image processing apparatus that executes Huffman coding . The image processing apparatus according to claim 4, wherein the encoding mode selection unit selects an encoding mode with a minimum code amount from a plurality of encoding modes prepared for each block. . A series of processing when the total code amount of the plurality of sub-blocks is small is recursively executed when the result of comparison of the code amount in the series of processing is that the total code amount of the plurality of sub-blocks is small. The image processing apparatus according to claim 4.

Images