JP4324079B2 - 画像符号化装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Description

本発明は画像データの符号化に関するものである。

一般に、画像の圧縮符号化する場合には、画像を適当なサイズのタイルに分割し、このタイル単位に符号化を行う。自然画の場合には、復号結果で画質劣化が目立たないＪＰＥＧ（非可逆符号化）で圧縮符号化し、網点パターンは、ＪＰＥＧでは逆に劣化を抑えることが難しいので、可逆符号化方式を用いることが望ましい。

このようなタイル単位に適応的に符号化方式を選択する技術では、各タイルを符号化するに先立ち、各タイルが自然画タイルであるか、文字／線画等のタイルであるかについて、判断することが多い（特許文献１、２）。
特開２００１−４３３６３公報 特開平８−１６７０３０号公報

しかしながら、上記文献に開示されている技術においては、各タイルに対して、属性が正しく判断されることを前提にしており、その判断は実のところは難しいという問題がある。現実には、適応的に符号化方式が選択されているとは限らず、網点の領域中に可逆符号化が適用された可逆タイルと、非可逆符号化が適用された非可逆タイルが混在することがあり、大きな画質劣化を招いていた。

本発明はかかる問題点に鑑みなされたものであり、特に網点の属性を有するような画像データを符号化した場合であっても、画質劣化の発生を抑制し、高い画質の画像を復号することを可能ならしめる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを入力し、符号化する画像符号化装置であって、
画像データを所定サイズのブロックに分割する分割手段と、
分割されたブロックが網点画像の属性を有する否かを判定する判定手段と、
分割されたブロックについて可逆符号化し、可逆符号化データを生成する可逆符号化手段と、
分割されたブロックについて非可逆符号化し、非可逆符号化データを生成する非可逆符号化手段と、
前記判定手段によって、注目ブロックが網点画像の属性を有すると判定された場合、前記可逆符号化手段で生成された可逆符号化データを選択し、注目ブロックが網点画像の属性を有さないと判定された場合には、前記可逆符号化手段及び前記非可逆符号化手段それぞれで生成された符号化データのデータ量を重み付け比較し、データ量の少ない符号化データを選択し、出力する選択手段と、
前記選択手段で選択されたブロック毎の符号化データを結合して、所定の符号化データ列として出力する出力手段とを備える。

本発明によれば、網点属性を有する領域については、２つの符号化手段の符号量とは無関係に、可逆符号化が行われることにより、可逆、非可逆が混在することによる画質劣化を防ぐことが可能になる。また、網点領域以外では、重み付け比較により符号量の少ない符号化データが選択されることにより、１ページ分の総符号化データも少ないものとすることができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は本実施形態に係る画像処理装置のブロック構成図である。

図１に示すように、本実施形態に係る画像処理装置は、ストライプバッファ１０１、ブロック分割部１０２、タイルバッファ１０３、有効レベル数カウント部１０４、インデックステーブル用メモリ１０５、インデックス変換部１０６、セレクタ１０７、タイルデータ可逆符号化部１０８、可逆符号列形成部１０９、インデックステーブル生成部１１３、タイルデータ非可逆符号化部１１４、セレクタ１１５、符号列形成部１１６、分散算出部１１７とを備える。また、符号１１０、１１１、１１２は信号線（バス）を示している。

本実施形態に係る画像処理装置の符号化対象とする画像データは、ＲＧＢカラー画像データであり、各コンポーネント（色）は８ビットで、それぞれ０〜２５５の範囲の輝度値を表現した画素データにより構成されるものとする。符号化対象の画像データの並びは点順次、即ち、ラスタースキャン順に各画素を並べ、その各画素はＲ，Ｇ，Ｂの順番でデータを並べて構成されるものとする。信号線１１０より入力される符号化対象の画像データは水平方向Ｗ画素、垂直方向Ｈ画素により構成されるものとする。

以下、図１を参照して、本実施形態に係る画像処理装置が行う画像符号化処理について説明する。

符号化対象画像データは信号線１１０から、ラスタースキャン順に入力される。

ストライプバッファ１０１は画像データを所定のライン数（Ｔｈ）分格納する領域を持ち、信号線１１０から入力される画像データを順次格納していく。

以降、符号化対象画像データをＴｈラインの幅で分割した部分的な画像データをストライプデータもしくは単にストライプと呼ぶ。ストライプバッファ１０１に必要とされる容量、即ち１ストライプのデータ量はＷ×Ｔｈ×３（ＲＧＢ分）バイトである。説明の便宜上、垂直方向画素数ＨはＴｈの整数倍であるとし、画像の末尾で不完全なストライプが発生しないものとする。

ストライプバッファ１０１に１ストライプの画像データ、即ち、Ｔｈライン分の画像データが格納されるとブロック分割部１０２はストライプバッファ１０１に格納されるＴｈライン分の画像データを水平方向Ｔｗ画素、垂直方向Ｔｈ画素で構成される矩形ブロックに分割して、ブロック単位に読み出してタイルバッファ１０３へと格納する。説明の便宜上、画像の水平方向に並ぶ画素数ＷはＴｗの整数倍であるとし、矩形ブロックに分割した場合に不完全なブロックが発生しないものとする。この水平方向Ｔｗ画素、垂直方向Ｔｈ画素で構成される矩形ブロックを以降ではタイルデータもしくは単にタイルと呼ぶ。

タイルバッファ１０３は、１タイル分の画素データを格納する領域を持ち、ブロック分割部１０２から出力されるタイルデータを順次格納していく。よってタイルバッファ１０３に必要とされる最低容量はＴｗ×Ｔｈ×３（ＲＧＢ分）バイトである。タイルバッファ１０３に格納される１タイル分の画素データの水平方向画素位置ｘ、垂直方向画素位置ｙにある画素のコンポーネントｃの輝度値をＰ（ｘ、ｙ、ｃ）と定義する。ｘは０からＴｗ−１まで、ｙは０からＴｈ−１まで、ｃはＲ，Ｇ，Ｂのいずれかである。

有効レベル数カウント部１０４は、タイルバッファ１０３に格納される１タイルの画素データについて、コンポーネント毎に、そこで使用されている輝度レベル数（言い換えると、何種類の輝度レベルが使われているか）をカウントする。

以降、タイル内にて使用されている輝度レベルを有効レベルと呼び、その個数を有効レベル数と呼び、Ｒ、Ｇ、Ｂの各コンポーネントの有効レベル数をそれぞれＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）として表す。

有効レベル数カウント部１０４はその内部に図５に示すようなフラグの配列Ｆ（ｃ，ｉ）を保持する。ｃはコンポーネントを表し、Ｒ，Ｇ，Ｂのいずれかである。ｉは輝度値を表し、０〜２５５のいずれかの値である。フラグＦ（ｃ，ｉ）＝０は着目するタイルのコンポーネントｃにおいて輝度値ｉが出現しないことを意味し、フラグＦ（ｃ、ｉ）＝１はタイルのコンポーネントｃにおいて輝度値ｉが出現することを意味する。

図６は有効レベル数カウント部１０４の処理の流れを示すフローチャートである。以下、図６に示したフローチャートを参照して、有効レベル数カウント部１０４の行う処理について説明する。

まず、有効レベル数カウント部１０４の内部に保持するフラグ配列Ｆ（ｃ，ｉ）を全て０に初期化する（ステップＳ６０１）。

次に、タイル内垂直方向画素位置を示す変数ｙを０に設定する（ステップＳ６０２）。

同様にタイル内水平方向画素位置を示す変数ｘを０に設定する（ステップＳ６０３）。

タイルバッファ１０３に格納されるＰ（ｘ，ｙ，Ｒ）、Ｐ（ｘ，ｙ，Ｇ）、Ｐ（ｘ，ｙ，Ｂ）を参照し、フラグ配列Ｆ（Ｒ，Ｐ（ｘ，ｙ，Ｒ））、Ｆ（Ｇ，Ｐ（ｘ，ｙ，Ｇ））、Ｆ（Ｂ，Ｐ（ｘ，ｙ，Ｂ））に１を設定する（ステップＳ６０４）。

例えば、タイル内の位置ｘ、ｙのＲ、Ｇ、Ｂの値がそれぞれ１０、２０、３０である場合、
Ｆ（Ｒ、１０）←１
Ｆ（Ｇ、２０）←１
Ｆ（Ｂ、３０）←１
とし、Ｒ成分の有効レベル“１０”が存在したことを示す情報をセットする。Ｇ、Ｂ成分についても同様である。

次に、タイル内垂直方向画素位置を示す変数ｘに“１”を加算する（ステップＳ６０５）。そして、変数ｘとタイルの水平方向画素数Ｔｗを比較し、ｘ＜Ｔｗの場合（ＹＥＳ）にはステップＳ６０４に処理を移して右隣の画素について処理を行い、そうでない場合（ＮＯ）にはステップＳ６０７へと処理を移す。

ステップＳ６０７ではタイル内垂直方向画素位置を示す変数ｙに“１”を加算する（ステップＳ６０７）。

変数ｙとタイルの垂直方向画素数Ｔｈを比較し、ｙ＜Ｔｈの場合（ＹＥＳ）にはステップＳ６０３に処理を戻し、上記処理を繰り返す。

以上の処理を、タイルの全画素について処理すると、そのタイル内に出現した各色成分の有効レベルが判明する。したがって、ステップＳ６０９では、各色成分毎の有効レベル数ＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）は次のようにして求めることができる。
ＮＬＶ（Ｒ）＝ΣＦ（Ｒ，ｉ）
ＮＬＶ（Ｇ）＝ΣＦ（Ｇ，ｉ）
ＮＬＶ（Ｂ）＝ΣＦ（Ｂ，ｉ）
ここで『Σ』はｉ＝０〜２５５までの累積加算を示すものである。

以上の処理により各コンポーネントの有効レベル数ＮＬＶ（ｃ）（ｃはＲ、Ｇ、Ｂのいずれか）を生成し、出力する。

インデックステーブル用メモリ１０５には図７に示すようなインデックス変換テーブルＩＤＸ（ｃ、ｉ）を保持する。

ここでも、ｃはコンポーネントを表し、Ｒ，Ｇ，Ｂのいずれかであり、ｉは輝度値を表し、０〜２５５のいずれかの値である。このインデックス変換テーブルＩＤＸ（ｃ、ｉ）は後述するインデックス変換部１０６において輝度値をインデックス値に変換する際に参照される。

インデックステーブル生成部１１３は有効レベル数カウント部１０４に保持されているフラグ配列Ｆ（ｃ，ｉ）を参照して、インデックステーブル用メモリ１０５にインデックス変換テーブルＩＤＸ（ｃ、ｉ）を生成する。同時に符号列に付加情報として含めて伝送するための変換テーブル情報を可逆符号列形成部１０９へと出力する。

図８はインデックステーブル生成部１１３の処理の流れを示すフローチャートである。この処理は、各コンポーネント毎の、出現した有効レベル（Ｆ（ｃ，ｉ）＝１となっている輝度）に０、１、２とインデックス番号を割り当てるものである。

以下、図８に示したフローチャートを参照して、インデックステーブル生成部１１３の行う処理について説明する。インデックステーブル生成部１１３によるインデックステーブル生成の処理はコンポーネント毎に行われるが、各コンポーネント毎の処理は同一であるので、ここではコンポーネントをｃとして処理を説明する。

まず、インデックステーブル用メモリ１０５の内部に保持するインデックス変換テーブルＩＤＸ（ｃ，ｉ）を全て−１等のインデックスとしてあり得ない値で初期化する（ステップＳ８０１）。

次に、輝度値を示す変数ｉに０を初期設定し（ステップＳ８０２）、インデックス値を表す変数ｉｄｘ（ｃ）を０に初期化する（ステップＳ８０３）。

次いで、有効レベル数カウント部１０４に保持されているフラグ配列Ｆ（ｃ，ｉ）を参照し、着目する輝度値ｉについてＦ（ｃ，ｉ）＝１かどうかを判断する（ステップＳ８０４）。

Ｆ（ｃ，ｉ）＝１である場合（ＹＥＳ）はステップＳ８０５へ、そうでない場合（ＮＯ）はステップＳ８０７へと処理を移す。

Ｆ（ｃ，ｉ）＝１である場合、コンポーネントｃの輝度値ｉが注目タイル内に存在したことを示すことを意味するので、ステップＳ８０５にて、ＩＤＸ（ｃ，ｉ）にｉｄｘ（ｃ）を設定するとともに、ｉｄｘ（ｃ）を可逆符号列形成部１０９へ出力する（ステップＳ８０５）。

続いてｉｄｘ（ｃ）に１を加えて値を更新する（ステップＳ８０６）。

ステップＳ８０７では輝度値を示す変数ｉに１を加えて更新し（ステップＳ８０７）、変数ｉと２５６と比較し、ｉ＜２５６である場合（ＹＥＳ）にはステップＳ８０４に処理を戻して次の輝度値について処理を継続し、それ以外の場合（ＮＯ）にはステップＳ８０９へと処理を移す。

ステップＳ８０９では１つのコンポーネントについての付加情報の終了コードとして値−１を可逆符号列形成部１０９へと出力する。

以上の処理をＲ，Ｇ，Ｂ各コンポーネントについて順番に行い、インデックステーブル用メモリ１０５内部にインデックステーブル用メモリを生成する。

着目するタイルについて、有効レベル数カウント部１０４による有効レベル数カウント処理と、インデックステーブル生成部１１３によるインデックステーブル生成処理が終了すると、インデックス変換部１０６、セレクタ１０７、タイルデータ予測符号化部１０８により、タイルバッファ１０３に格納されるタイルデータの符号化処理を開始する。

本実施形態の画像符号化装置では、タイルの符号化データをコンポーネント順に読み出して符号化する。即ち、まず、タイルのＲコンポーネントを先ず符号化し、続いてＧコンポーネント、Ｂコンポーネントの順に符号化していく。各コンポーネントについてはタイル内をラスタースキャン順にデータを読み出して符号化処理を行う。各コンポーネントの符号化処理は共通であるので、以下、コンポーネントをｃとして符号化処理を説明する。

インデックス変換部１０６はインデックステーブル用メモリ１０５に格納されるインデックス変換テーブルＩＤＸ（ｃ，ｉ）を参照して、タイルバッファ１０３からコンポーネント順、ラスタースキャン順に読み出される輝度値Ｐ（ｘ，ｙ，ｃ）をインデックス値ＩＤＸ（ｃ、Ｐ（ｘ、ｙ、ｃ））に置き換えて出力する。

セレクタ１０７はタイルバッファ１０３から順次読み出される画素値Ｐ（ｘ，ｙ，ｃ）とインデックス変換部１０６から出力されるインデックス値ＩＤＸ（ｃ、Ｐ（ｘ，ｙ，ｃ））を受け取り、そのいずれか一方を選択して出力する。セレクタ１０７内部には所定の閾値ＭＬ（タイルサイズに依存して決定されることが望ましい）を保持しておき、有効レベル数カウント部１０４から出力される有効レベルＮＬＶ（ｃ）と閾値ＭＬを比較し、ＮＬＶ（ｃ）＜ＭＬである場合にはインデックス変換された値、即ちインデックス変換部１０６からの入力値を選択して出力し、ＮＬＶ（ｃ）≧ＭＬである場合にはインデックス変換されていない値Ｐ（ｘ，ｙ，ｃ）を選択して出力する。

タイルデータ可逆符号化部１０８は、信号線１１１から入力される画素値、またはインデックス値を可逆符号化して符号列を信号線１１２を介して可逆符号列形成部１０９へと出力する。

タイルデータ可逆符号化部１０８の内部は可逆符号化方式であれば適用可能であり、例えば、連続階調静止画像の可逆及び準可逆圧縮の国際標準として勧告されるＪＰＥＧ−ＬＳ（ＩＳＯ／ＩＥＣ１４４９５−１および２）などを適用することができる。ここでは、図２に示すブロック構成図で示される構成になっているものとする。

同図に於いて２０１はバッファ、２０２は予測器、２０３は減算器、２０４はメモリ、２０５はハフマン符号化器である。図２は、画像データを予測誤差に変換する系列変換の処理に周辺画素を用いた予測変換を用い、符号化処理にはハフマン符号化を用いる画像圧縮方式の例である。

同図において、実際の符号化が行われる前に、予め幾つかの画像を示す画像データを系列変換して得られた予測誤差の頻度分布を調べ、これに応じてハフマンテーブルを作成し、メモリ２０４に格納される。

予測誤差の頻度分布の一般的性質として予測誤差０を中心として出現頻度が高く、予測誤差の絶対値が大きくなるにつれて出現頻度が下がっていく傾向にあるため、メモリ２０４に格納されるハフマン符号では予測誤差０近辺に短い符号語が割り当てられ、予測誤差の絶対値が大きい部分には長い符号語が割り当てられる。

最初に信号線１１１からタイルデータが順に入力される。バッファ２０１は信号線１１１から入力されるタイルデータを２ライン分格納する。予測器２０２はバッファ２０１から符号化対象画素の直前の画素ａと，１ライン前の同じ水平位置の画素ｂのタイルデータ（図３参照）を取り出し、ｐ＝（ａ＋ｂ）／２の演算を行う事により予測値ｐを生成する。

減算器２０３は符号化対象画素のタイルデータｘと予測値ｐとの差分値ｅとして出力する。ハフマン符号器２０５は、予めメモリ２０４に格納されるハフマンテーブルを参照して、差分値ｅに対応する符号化データを信号線１１２から出力する。

メモリ２０４には予め幾つかのサンプル画像を予測符号化した際の予測誤差の特性に基づいて作成されたハフマンテーブルを格納しておく。図４はメモリ２０４に格納されるハフマンテーブルの一例である。

可逆符号列形成部１０９は、インデックステーブル生成部１１３から出力される付加情報と、タイルデータ予測符号化部１０８から出力される符号化データを結合させて、予測符号化方式の出力となる符号列を形成して出力する。

図１０（ａ）、（ｂ）は１つのタイルの可逆符号列のデータフォーマットを示す図である。また、同図（ｃ）はタイルデータ非可逆符号化部１１４により出力される非可逆符号列のデータフォーマット示している。

各データの先頭の１バイトの最上位ビットＭＳＢ（＝ビット７）は、可逆、非可逆を区別するデータを格納する。実施形態の場合、ＭＳＢが“０”を可逆符号化を示す情報にアサインし、“１”の場合には非可逆符号化を示す情報にアサインした。また、下位３ビットのビット２、１、０は、コンポーネントＲ，Ｇ，Ｂに対応し、それぞれ閾値ＭＬ（セレクタ１０７の保持する閾値に同じ）以上か以下かを表す情報を割り当てた。

つまり、ビット２にはＮＬＶ（Ｒ）＜ＭＬであるかどうかを表し、ＮＬＶ（Ｒ）＜ＭＬである場合には“１”、それ以外の場合には“０”を設定する。ビット１にはＮＬＶ（Ｇ）＜ＭＬであるかどうかを表し、ＮＬＶ（Ｇ）＜ＭＬである場合には“１”、それ以外の場合には“０”を設定する。ビット０にはＮＬＶ（Ｂ）＜ＭＬであるかどうかを表し、ＮＬＶ（Ｂ）＜ＭＬである場合には“１”、それ以外の場合には“０”を設定する。また、ビット６からビット３については常に０を設定する。

ＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）のいずれかが所定の閾値ＭＬ以下である場合、即ち、先頭バイトのＭＳＢが“０”で、下位７ビットの値が０でない場合にはタイルの符号列の先頭バイトに続き、変換テーブル情報が付随する。

インデックステーブル生成部１１３から変換テーブル情報が出力されるが、有効レベル数カウント部１０４から出力される有効レベル数ＮＬＶ（ｃ）を所定の閾値ＭＬと比較して、ＮＬＶ（ｃ）＜ＭＬであるコンポーネントについてのみ変換テーブル情報を符号列に付加する。

例えば、或るタイルについてインデックステーブル生成部から出力される変換テーブル情報が、
０、１，２，３，４，…，２５４、２５５，−１，０，１２８，２５５，−１，０，６４，１２８，１９２，２５５
であるとき、ＮＬＶ（Ｒ）＝２５５、ＮＬＶ（Ｇ）＝３、ＮＬＶ（Ｂ）＝５となる。

ここで、閾値ＭＬを“３２”と仮定する。この場合、コンポーネントＲの有効レベル数「２５５」は閾値“３２”より大きいので、注目タイルの符号化データ列の先頭１バイトのビット２は“０”となる。また、コンポーネントＧ、Ｂそれぞれの有効レベル数は閾値“３２”未満であるので、符号化データ列の先頭１バイトのビット１、０は共に“１”となる。

注目タイルは、可逆符号化であるのでＭＳＢは“０”、ビット３乃至６も“０”としているわけであるから、上記の場合、先頭の１バイトは“３”という値になる。

また、符号化データ列中の「変換テーブル情報」を生成する際、−１をコンポーネントの変換テーブル情報の区切りとして識別し、コンポーネントＧとコンポーネントＢについての変換テーブル情報を生成する。

上述の例では「変換テーブル情報」は、次のようになる。
０，１２８，２５５，０，０，６４，１２８，１９２，２５５
変換テーブル情報の区切りを表す−１は０に置き換えられ、最後の０は削除される。復号する際には、先頭の１バイトのＭＳＢが“０”であり、下位３ビットを調べれば、どの色成分についての変換テーブルが存在するかが判明するので、変換テーブル情報を左から右に順番に見て、隣の値よりも小さくなるか等しい部分は区切り情報であると判断してインデックス値から輝度値に変換する情報を取得すれば良いことになる。

タイル毎に独立に符号化を行い、必要な変換テーブル情報を各タイルの符号化データに含むことにより、復号時にはタイルデータを独立に復号することが可能となる。

図１０の出力符号列の構成には示していないが、符号化データ中に所定の値が発生しないように工夫を加えて特殊なマーカを設定し、各タイルデータの先頭、または末尾にマーカを置く、あるいは、各タイルの符号列の長さを別途管理することでタイル単位のランダムアクセスを可能とすることができる。

タイルデータ可逆符号化部１０８で可逆符号化を行うと同時に、タイルデータ非可逆符号化部１１４はブロックに分割されたデータの画素値を受け取り、非可逆符号化を行う。非可逆符号化には、多値自然画像を対象とした非可逆圧縮の国際標準として勧告されたＪＰＥＧ（ＩＴＵＴ−Ｔ．８１｜ＩＳＯ／ＩＥＣ ＩＳ１０９１８）などを適用することができる。ＪＰＥＧについての詳細は規格書などあるためここでは説明は省略するが、図１０（ｃ）に示すように、先頭１バイトのＭＳＢを“１”にした符号化列を生成する。これは、該当するタイルが可逆、非可逆符号化のいずれで符号化されているかを識別するためである。

以上のようにして、セレクタ１１５には、２つの符号化データが入力されることになる。セレクタ１１５は、有効レベル数カウント部１０４並びに分散算出部１１７からの信号に基づき、この２つの符号化データのいずれか一方を注目タイルの符号化データとして符号列形成部１１６に出力することになる。

有効レベル数カウント部部１０４については既に説明したので、以下では、分散算出部１１７について説明し、その上で、セレクタ１１５の処理について説明する。

分散算出部１１７においては、タイルバッファ１０３に入力されたタイルの各コンポーネントＲ、Ｇ、Ｂから輝度成分（例えばＲＧＢ→Ｌａｂ変換した際のＬ成分）を生成し、その輝度成分の分散σ（通常、分散はσ²で表わすが、実施形態では便宜的にσとする）を求めて、所定の閾値σthと比較し、σ＞σthであると判断した場合には、注目タイルは網点領域であることを示す信号、逆に、σ≦σthであると判断した場合には、注目タイルは非網点領域であることを示す信号をセレクタ１１５に出力する。

画像を自然画，文字，網点の３種類に大別した際、一般的に、自然画タイルにおいては画素値（この場合は輝度値）が平均値近傍に大きく分布しており、文字タイルに関しては、文字と背景とを比較した場合、背景の面積が文字の面積より大きいため、画素値分布は自然画ほどではないが、平均値近傍に分布する。ところが、網点の場合、図１１（ａ）又は（ｂ）から容易にわかる通り、画素値が平均近傍に分布しずらい。このため、分散を調べることで高い精度で網点の判定が可能となる。

分散算出部３０１は上記のようにして、注目タイルの分散を求め、注目タイルが網点領域にあるのか、非網点領域にあるのかを示す信号をセレクタ１１５に出力することになる。

次に、実施形態におけるセレクタ１１５の処理について説明する。このセレクタ１１５は、可逆符号化データ、非可逆符号化データのいずれか一方をタイル単位に選択し、それを注目タイルの符号化データとして出力するものである。

実施形態におけるセレクタ１１５の選択条件は次の通りである。なお、以下の説明で、ＣＬＫとは注目タイルの可逆符号化データ量（符号長）を示し、ＣＬＨとは注目タイルの非可逆符号化データ量を示すものとする。
条件１：注目タイルが網点領域であると判定された場合、有効レベル数カウント部１０４からの信号とは無関係に、可逆符号化データを選択し、出力する。
条件２：注目タイルが非網点領域であり、ＣＬＨ＜ＣＬＫの関係を満たす場合、非可逆符号化データを選択し、出力する。
条件３：注目タイルが非網点領域であり、ＣＬＨ≧ＣＬＫの関係を満たす場合、可逆符号化データを選択し、出力する。
条件４：上記条件２、３において、注目タイルの全コンポーネントの有効レベル数ＮＬＶ（ｃ）が、閾値ＭＬより小さい場合、注目タイルの符号化データとして可逆符号化データが選択され易いようにするため、ＣＬＨに所定の正の値を加算する。

次に、実施形態における符号列形成部１１６を説明する。符号列形成部１１６は、セレクタ１１５から出力されるタイルごとの符号化データを結合させて受け取り、入力画像全体に対応する符号列を形成して出力する。そのため、符号化データの先頭には、図９に示すように、画像を復号するために必要となる情報、例えば、画像の水平方向画素数、垂直方向画素数（タイルサイズは固定とするので、タイル数を示す情報でもある）、コンポーネント数、各コンポーネントのビット数などの付加情報がヘッダとして付けられる。

以上説明したように本実施形態によれば、網点領域以外の文字線画領域や自然画については、基本的に、符号量の少ない符号化データが選択されることになることになるので、画像全体の圧縮符号化効率は高いものとすることができる。そして、エッジが明瞭で、且つ、色数が少ない文字線画領域（例えば白地にエッジが明確な黒色の文字がある領域）には、可逆符号化データが選択される確率が高くなるので、文字線画のエッジが不鮮明になるのを抑制することができる。そして。網点領域については、可逆符号化データと非可逆符号化データが混在することを抑制でき、且つ、網点の性質が損なわることがない可逆符号化データのタイルで統一されるので、画質劣化を防ぐことが可能になる。

また、実施形態で説明したように、可逆符号化の場合、入力された各色成分値をそのまま利用した可逆符号化と、インデックス値による可逆符号化の２つが存在することにより、文字・線画領域では、そのほとんどがインデックス値に基づく符号化が採用されることになり、更に高い圧縮率が期待できる。

上記実施形態におけるセレクタ１１５の選択条件は、条件１乃至４に限るものではない。例えば、１タイルの許容符号化データ量ＭＰＲを定義し、可逆符号化データ量ＣＬＫとの関係が「ＣＬＫ＜ＭＰＲ」を満たしていれば、符号量としては満足することが約束されているので、可逆符号化データを選択するようにしても良い。

なお、実施形態における復号装置は、上記の符号化装置の説明から明らかであるが、例えば図１２の構成で実現できよう。以下、同図に従って説明する。

タイルヘッダ解析部１２０１はタイル単位に符号化データを入力し、各タイルのヘッダを解析する。そして、そのタイルの符号化データが可逆であると判断した場合には、可逆復号部１２０２に入力した符号化データを出力する。一方、非可逆符号化データであると判断した場合には、非可逆復号部１２０３に出力する。

この結果、いずれかの復号部でタイル画像にまで復号されるが、タイルヘッダ解析部１２０１は、復号処理を行わせた復号部からのデータを選択させる信号をセレクタ１２０４に出力する。セレクタ１２０４は、この選択信号に従って、復号データを選択し、それをタイルバッファ１２０５に出力する。ブロック合成部１２０６は、タイルバッファ１２０５に格納されたタイル画像を読出し、ストライプバッファ１２０７の該当する位置に書き込む。そして１ストライプ分の復号画像が得られたところで、ストライプバッファ１２０７を復号結果の出力先、例えば、プリンタ等に出力することを繰り返す。

ここで可逆復号部１２０２は、例えば図１３の構成で良いであろう。インデックス判定部は、符号化データのヘッダを解析し、インデックスの変換テーブル（図１０（ｂ）参照）があるか否かを判定し、変換テーブルが存在する場合には、その変換テーブル（符号化されている）を、インデックス復号部１２０２ｂに出力する。インデックス復号部１２０２ｂは、変換テーブルを復号し、インデックス値から画素値（実施形態では輝度値）への逆変換テーブルを生成し、それを逆インデックステーブルメモリ１２０２ｃに書き込む。この後、インデックス判定部１２０１は、各コンポーネントの符号化データを可逆復号部１２０２ｅに出力し、復号を行わせる。復号結果は、画素値、もしくは、インデックス値のいずれかとなる。逆インデックス変換部１２０２ｄは、復号されたデータをインデックス値であるものとし、逆インデックステーブル１２０２ｃを参照して画素値に変換する。インデックス判定部１２０２ａは、各コンポーネントがインデックス値、画素値のいずれで符号化されているかについて判定済みであるので、その判定結果をセレクタ１２０２ｆに出力することで、注目タイルの注目コンポーネントの画素値を復号することが可能になる。

＜変形例の説明＞
上記実施形態では図１の構成に基づく説明であったが、パーソナルコンピュータ等の汎用の情報処理装置（以下、ＰＣ）上で実行するコンピュータプログラムでもっても実現する例を以下に説明する。

図１４はＰＣのブロック構成図である。図示において、１４０１は装置全体を制御するＣＰＵであり、１４０２はメインメモリとなるＲＡＭである。１４０３はＢＩＯＳやブートプログラムを格納しているＲＯＭである。１４０４はキーボード、１４０５はマウス（登録商標）等のポインティングデバイス（ＰＤ）である。１４０６はＣＲＴや液晶等の表示装置である。１４０７はハードディスク装置等の外部記憶装置であり、ここにＯＳをはじめ、画像圧縮に関するプログラムが格納されている。また、各種データファイルもここに格納される。１４０８はフロッピー（登録商標）ディスクドライブ、ＣＤ−ＲＯＭドライブ等の記憶媒体ドライブであり、１４０９はスキャナ装置等の外部装置と接続するためのインタフェースである。そして、１４１０は上記構成を電気的に接続するためのバスである。

上記構成において、本装置の電源をＯＮにすると、ＣＰＵ１４０１はＲＯＭ１４０３に格納されたＯＳをＲＡＭ１４０２にロードし、起動することになる。ＯＳ起動後、本変形例における画像符号化アプリケーションプログラムをＯＳを介して外部記憶装置１４０７からＲＡＭ１４０２にロードし、実行する。

ここでは説明を簡単なものとするため、インタフェース１４０９にイメージスキャナが接続されていて、原稿を読取り、その画像を符号化し、外部記憶装置１４０７にファイルとして格納する例を説明する。説明を簡単なものとするため、入力画像は上記の実施形態と同じ、Ｒ、Ｇ、Ｂ各８ビットで表わされているものとする。

図１５、図１６は本変形例における符号化処理を示すフローチャートである。

先ず、ステップＳ１２０１では、原稿画像を読取り、ＲＡＭ１４０２に確保されたバッファーに１ストライプ分の画像データを格納する。

そして、ステップＳ１２０２にて、１タイル分の画像データをバッファより読み出す。そして、ステップＳ１２５０で、フラグＦＬＡＧを“０”に初期化し、ステップＳ１２０２で、そのタイルの輝度成分の分散を算出し、そのタイルが網点領域中にあるか否かを判断する。網点領域中にあると判定した場合には、ステップＳ１２５１でフラグＦＬＡＧを“１”をセットし、ステップＳ１２０３を行わず、ステップＳ１２０４に進む。一方、網点領域以外であると判断した場合には、ステップＳ１２０３で非可逆符号化を行う（この非可逆符号化処理で得られた符号化データ量をＣＬＨとする）。つまり、網点領域である場合には、この時点で注目タイルについては、可逆符号化を行うことが約束されるわけであるから、ステップＳ１２０３の処理をスキップしたことをフラグＦＬＡＧに記憶させることになる。従って、網点領域にある場合には、非可逆符号化処理が行われないことになるので、処理速度を早めることが可能になる。

さて、処理がステップＳ１２０４に進むと、可逆符号化の前段階である、読出した１タイル中のＲ、Ｇ、Ｂの有効レベル数ＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）を算出する。この処理は、図６に示すフローチャートにしたがえば良いであろう。

そして、ステップＳ１２０５にて、Ｒ成分の有効レベル数ＮＬＶ（Ｒ）と閾値ＭＬとを比較し、「ＮＬＶ（Ｒ）≧ＭＬ」の関係を満たす場合には、ステップＳ１２０６に進んで、入力したタイルのＲ成分値をそのまま利用して可逆符号化を行う。

また、「ＮＬＶ（Ｒ）＜ＭＬ」の関係にあると判断した場合には、ステップＳ１２０７にてインデックス化し、ステップＳ１２０８にてインデックス値を可逆符号化する。

上記はＲ成分についての可逆符号化処理であるが、上記と同様の処理を、Ｇ、Ｂ成分についても行う。これを示すのがステップＳ１２０９、Ｓ１２１０である。それぞれの処理内容は、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）と置換えれば良いので説明するまでもないであろう。

１つのタイルに対するＲ、Ｇ、Ｂの全コンポーネントの可逆符号化処理が完了する（生成される符号化データ量をＣＬＫとする）と、ステップＳ１２５２にて、フラグＦＬＡＧが“１”であるか否かを判断する。“１”である場合には、注目タイルについては可逆符号化データを出力されることになっているので、ステップＳ１２１５（後述）に処理を進む。

また、フラグＦＬＡＧが“１”ではなく“０”であると判断した場合には、ステップＳ１２１１にて、全有効レベル数ＮＬＶ（Ｒ）、ＮＬＶ（Ｇ）、ＮＬＶ（Ｂ）が閾値ＭＬ未満であるか否かを判断する。もしこの条件を満たすと判断した場合には、ステップＳ１２１２にて重み付け係数αに正の所定値（実施形態では仮に“１００”）を設定する。また、１つの色成分の有効レベル数が閾値ＭＬ以上になった場合には、重み付け係数αには“０”を設定する。

こうして、重み付け係数αの設定処理を終えると、処理はステップＳ１２１４に進み、「ＣＬＫ＜ＣＬＨ＋α」を満足するか否かを判定する。

「ＣＬＫ＜ＣＬＨ＋α」を満たすと判断した場合、或いは、ステップＳ１２５２でＹｅｓと判定された場合、先のステップＳ１２０５乃至Ｓ１２１０で得られた可逆符号化データを、注目タイルの符号化データとしてＲＡＭ１４０２に確保された出力バッファに出力する。この際、データフォーマットは図１０（ａ）もしくは図１０（ｂ）の形式である。

また、「ＣＬＫ≧ＣＬＨ＋α」と判断した場合には、先のステップＳ１２０３の処理で得られた非可逆符号化データを、注目タイルの符号化データとして出力バッファに出力する。

ステップＳ１２１７は、注目タイルが注目ストライプの最後のタイルであるか否かを判断する。否の場合には、ステップＳ１２０２以降の処理を繰り返す。

また、注目タイルが注目ストライプの最後のタイルであると判断した場合には、ステップＳ１２１８に進み、注目ストライプが画像データの最終ストライプであるか否かを判断し、否の場合にはステップＳ１２０１以降の処理を繰り返す。

最終ストライプの最終タイルであった場合、画像全体の符号化が完了したことを意味するので、ステップＳ１２１９に進み、ヘッダ情報を付加し、出力バッファに格納された符号化データをファイルとして外部記憶装置１４０７に書き込み保存し、本処理を終了することになる。

以上説明したように、先に説明した第１の実施形態と同様の処理を、ＰＣ等の汎用の情報処理装置上で実行するアプリケーションプログラムとしても実現できることになり、同様の作用効果を奏することが可能になる。

なお、復号処理であるが、復号処理は基本的に符号化処理とは逆の手順にしたがって行えばよいのは、自明のことであろうから、ここでの説明については省略する。

また、実施形態では、符号化対象の画像データはＲ、Ｇ、Ｂ成分で表現され、各８ビットであるものとして説明したが、これに限られるものではなく、他の色空間、他のビット数でも構わない。これは以下に説明する例でも同様である。

［第２の実施形態］
上記第１の実施形態、並びにその変形例では、着目するタイルの有効レベル数に応じて符号化処理（または符号化データ）の選択の際に加算する重み付け係数を求めるものであった。

しかし、上記の処理によって本願発明が限定されるものではない。例えば、２つの符号化データの一方を選択され易いようにするためには、一方に重み付け係数を加算すること以外に、減算する手法を採用しても構わないし、乗算、除算を採用しても構わない。

例えば、乗算を利用するのであれば、ステップＳ１２１２にてαに“１．１”を設定し、ステップＳ１２１３ではαに“１．０”を設定する。そして、ステップＳ１２１４では、「ＣＬＫ＜ＣＬＨ×α」を満たすか否かを判断すれば良い。

［第３の実施形態］
上記実施形態では、タイルの輝度の分散を求めることで、タイルが網点属性を有するか否かを判定したが、注目タイル中に、図１１（ａ）、（ｂ）に示すように１×１の画素ドット、２×２の画素ドットが所定数存在する場合に、注目タイルを網点領域と判定するようにしても良い。このためには、注目タイルのＲＧＢ成分値から輝度成分値のみを得、その後、その輝度値を閾値（＝１２８で良いであろう）で単純２値化し、その結果、１×１〜２×２の孤立画素群のタイルの面積に湿る割合が所定以上であるか否かで、網点の属性を有するか否かを判定しても構わない。

以上、第１乃至第３の実施形態について説明したが、第１の実施形態の変形例で説明したように、本発明はコンピュータプログラムによっても実現できるのは明らかである。

また、実施形態では説明したように、基本的には、可逆符号化データ量と非可逆符号化データ量の少ない方を選択するものであるので、文字線画についてはそのエッジが保存されるように可逆符号化を用い、自然画については階調性が保存するのに都合の良い非可逆符号化が選択されることが望ましい。かかる点から、可逆符号化としてはＪＰＥＧ−ＬＳ、非可逆符号化としてはＪＰＥＧを用いることが好適である。

また、ＰＣ等からデータが送信されてきた際、所定の領域毎に属性情報が送信されてくることもある。その属性情報から網点領域を識別し、その上で網点領域を強制的に可逆変換を選択する方法も本発明の範疇に入る。

更に、符号量比較により可逆符号化方式と非可逆符号化方式を選択する際、符号量に重み付けする方法を示しているが、重み付けを行わない方法も本発明の範疇に入る。

また、通常、コンピュータプログラムは、それを格納したＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体を、コンピュータにセットし、システムにコピーもしくはインストールすることで実行可能になるわけであるから、当然、このようなコンピュータ可読記憶媒体も本願発明の範疇にあることも明らかである。

第１の実施形態に係る画像処理装置のブロック構成図である。 可逆符号化部の構成を示す図である。 可逆符号化部における予測値を求める際の注目画素と近傍画素との関係を示す図である。 メモリ２０４に格納されるハフマンテーブルの例を示す図である。 フラグ配列Ｆ（ｃ，ｉ）のデータフォーマットを示す図である。 有効レベル数カウント部１０４の処理の流れを示すフローチャートである。 インデックス変換テーブルＩＤＸ（ｃ、i ）の内容の一例を示す図である。 インデックステーブル生成部１１３の処理を示すフローチャートである。 本画像処理装置の出力符号列のデータフォーマットを示す図である。 実施形態における１つのタイルの符号列のデータフォーマットを示す図である。 網点画像の例を示す図である。 第１の実施形態における復号装置のブロック構成図である。 図１２における可逆復号部のブロック構成図である。 第１の実施形態の変形例を実現するための情報処理装置のブロック構成図である。 第１の実施形態の変形例の処理手順を示すフローチャートである。 第１の実施形態の変形例の処理手順を示すフローチャートである。

Claims (7)

1. 画像データを入力し、符号化する画像符号化装置であって、
   画像データを所定サイズのブロックに分割する分割手段と、
   分割されたブロックが網点画像の属性を有する否かを判定する判定手段と、
   分割されたブロックについて可逆符号化し、可逆符号化データを生成する可逆符号化手段と、
   分割されたブロックについて非可逆符号化し、非可逆符号化データを生成する非可逆符号化手段と、
   前記判定手段によって、注目ブロックが網点画像の属性を有すると判定された場合、前記可逆符号化手段で生成された可逆符号化データを選択し、注目ブロックが網点画像の属性を有さないと判定された場合には、前記可逆符号化手段及び前記非可逆符号化手段それぞれで生成された符号化データのデータ量を重み付け比較し、データ量の少ない符号化データを選択し、出力する選択手段と、
   前記選択手段で選択されたブロック毎の符号化データを結合して、所定の符号化データ列として出力する出力手段と
   を備えることを特徴とする画像符号化装置。
2. 前記可逆符号化手段は、
   前記分割手段で分割されたブロック中の各色成分の取り得る成分値範囲で、幾つの成分値が存在したかを示す出現数を計数する計数手段と、
   ブロック内の各色成分値をインデックス値に変換する変換手段と、
   該計数手段で得られた各色成分の出現数と所定の閾値とを比較する比較手段と、
   該比較手段の比較結果が前記出現数が前記閾値未満であることを示す場合には、前記変換手段で変換されたインデックス値を可逆符号化し、閾値以上であることを示す場合には成分値を可逆符号化する手段と
   を備えることを特徴とする請求項１に記載の画像符号化装置。
3. 前記選択手段における重み付け比較は、前記可逆符号化手段で得られた符号量をＣＬＫ、非可逆符号化手段で得られた符号量をＣＬＨ、注目ブロックの全色成分の前記出現数が所定以下の場合には正の所定値となり、それ以外では０となる重み付け係数αを定義した場合、
   条件：ＣＬＫ＜ＣＬＨ＋α
   を満足する場合には、前記可逆符号化手段で得られた可逆符号化データを選択し、前記条件を満たさない場合には前記非可逆符号化手段で得られた非可逆符号化データを選択することを特徴とする請求項２に記載の画像符号化装置。
4. 前記判定手段は、注目ブロックの分散値を求め、分散値が所定閾値以上の値を有する場合には注目ブロックは網点の属性を有し、それ以外では非網点の属性を有すると判定することを特徴とする請求項１に記載の画像符号化装置。
5. 画像データを入力し、符号化する画像符号化方法であって、
   画像データを所定サイズのブロックに分割する分割工程と、
   分割されたブロックが網点画像の属性を有する否かを判定する判定工程と、
   分割されたブロックについて可逆符号化し、可逆符号化データを生成する可逆符号化工程と、
   分割されたブロックについて非可逆符号化し、非可逆符号化データを生成する非可逆符号化工程と、
   前記判定工程によって、注目ブロックが網点画像の属性を有すると判定された場合、前記可逆符号化工程で生成された可逆符号化データを選択し、注目ブロックが網点画像の属性を有さないと判定された場合には、前記可逆符号化工程及び前記非可逆符号化工程それぞれで生成された符号化データのデータ量を重み付け比較し、データ量の少ない符号化データを選択し、出力する選択工程と、
   前記選択工程で選択されたブロック毎の符号化データを結合して、所定の符号化データ列として出力する出力工程と
   を備えることを特徴とする画像符号化方法。
6. コンピュータが読み込み実行することで、前記コンピュータを、入力した画像データを符号化する画像符号化装置として機能させるコンピュータプログラムであって、
   画像データを所定サイズのブロックに分割する分割手段と、
   分割されたブロックが網点画像の属性を有する否かを判定する判定手段と、
   分割されたブロックについて可逆符号化し、可逆符号化データを生成する可逆符号化手段と、
   分割されたブロックについて非可逆符号化し、非可逆符号化データを生成する非可逆符号化手段と、
   前記判定手段によって、注目ブロックが網点画像の属性を有すると判定された場合、前記可逆符号化手段で生成された可逆符号化データを選択し、注目ブロックが網点画像の属性を有さないと判定された場合には、前記可逆符号化手段及び前記非可逆符号化手段それぞれで生成された符号化データのデータ量を重み付け比較し、データ量の少ない符号化データを選択し、出力する選択手段と、
   前記選択手段で選択されたブロック毎の符号化データを結合して、所定の符号化データ列として出力する出力手段
   として機能させることを特徴とするコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images