JP4757172B2 - 画像符号化装置及びその制御方法 - Google Patents

Description

本発明は、多値画像データを符号化する技術に関するものである。

従来、文字線画と自然画像とが混在した画像を効率よく符号化する方法として、特許文献１にその提案がなされている。この技術を簡単に説明すると次の通りである。

先ず、符号化対象の多値画像データを、直交変換の単位となるブロックに分割する。文字線画は、同一の色となるので、ブロック内での最頻度の画素を文字線画とし、その最頻度の色情報を抽出（以下、抽出色という）する。そして、注目ブロック内の抽出色と判定された画素と、非抽出色とを判定された画素とを区別するための２値の識別情報を生成する。そして、非抽出画素と判定された画素の平均値を求め、その平均値の画素値で、抽出色を判定された画素値を置換する。すなわち、注目ブロック内の全画素を、自然画を構成する画素とする。そして、抽出色を示す情報、識別情報については可逆符号化し、置換後の注目ブロックに含まれるの画素群については直交変換を行なう非可逆のＪＰＥＧ符号化を行なう。この後、これら３つの符号化データを多重化し、１ブロック分の符号化データを生成する。上記の結果、ＪＰＥＧ符号化処理対象のブロックには、文字／線画の高周波成分やエッジ成分が少なくなり、その分だけ符号化効率が高くなる。
特開平４−３２６６６９号公報

しかしながら、上記特許文献１では、抽出色情報をそのまま符号化しているため、まだまだ改善の余地がある。特に、ランダムアクセスを容易にするため、ブロック内の情報のみで復号化が完結する場合、他のブロックの情報を参照しないことになるので、抽出色に関しての圧縮率は小さいものとなる。

本発明はかかる問題点に鑑みなされたものであり、文字／線画と自然画とが混在する多値画像の文字／線画の先鋭度を保持しながらも、生成する符号化データ量を更に削減する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
多値画像データを符号化する画像符号化装置であって、
符号化対象の多値画像データから、非可逆符号化の対象となるブロック単位の画像データを入力する入力手段と、
入力したブロックの画像データ中の、文字線画の画素の色を示す色情報を抽出する抽出手段と、
該抽出手段で抽出した色情報を、予めメモリに格納された参照テーブルを用いて色コードに変換する色コード変換手段と、
前記抽出手段で抽出した色情報に従い、注目ブロック内の文字線画の画素の位置と、非文字線画の画素の位置とを識別するための位置情報を生成する位置情報生成手段と、
該位置情報生成手段で生成された位置情報を可逆符号する可逆符号化手段と、
前記位置情報生成手段で生成された位置情報に従って、文字線画の画素の値を置換する置換値を算出する置換値算出手段と、
注目ブロック内の文字線画の画素の値を、前記置換値で置換する置換手段と、
置換後のブロックの画像データを非可逆符号化する非可逆符号化手段と、
前記色コード、前記可逆符号化手段により生成された位置情報の符号化データ、及び、前記非可逆符号化手段により生成された画像データの符号化データを多重化し、出力する多重化手段とを備え、
前記色コード変換手段は、前記参照テーブルにない色が入力された場合、テーブル外を示すコードと前記抽出手段で抽出した色情報を変換結果として出力することを特徴とする。

本発明によれば、文字／線画と自然画とが混在する多値画像の文字／線画の先鋭度を保持しながらも、生成する符号化データ量を更に削減することが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

例えば、ＲＧＢ色空間（他の色空間でも構わない）の各成分が８ビット（２５６階調）で表わされる画素の取り得る色数は２²⁴≒約１千６百万色となる。しかしながら、本発明者等は、自然画に混在させた文字／線画（例えばデジタルカメラにおいて、撮像日時や撮影者名等のテキストを、撮像画像に合成した画像）の場合、その文字／線画はせいぜい数色の範囲内に限られていることに着目した。そこで、文字／線画の画素については、比較的良く利用される色のコードテーブルを利用する。ただし、必ず文字／線画が、そのコードで表わせるとは限らないので、コードテーブルで表わすことができない色の文字／線画については、特別なコードを割り当て、後続してその色を表わす色情報を付加するものとした。

図１は、第１の実施形態の符号化装置のブロック構成図である。本装置は、入力端子１０１、バッファ１０２、データ分離部１０３、置換値算出部１０４、セレクタ１０５、コード置換部１０６、可逆符号化部１０７、非可逆符号化部１０８、及び、多重化部１０９で構成される。

かかる構成における実施形態の符号化装置の処理を以下に説明する。

入力端子１０１を介して入力した符号化対象の多値画像データは、一旦、バッファ１０２に格納される。このバッファ１０２は、少なくとも８ライン分の容量を有し、８×８画素で構成されるブロックを単位の画像データをデータ分離部１０３、置換値算出部１０４、及び、セレクタ１０５に出力する。

データ分離部１０３は、入力したブロック内の最頻度の色を文字／線画の色と判定する。そして、文字／線画の色情報を抽出色情報としてコード置換部１０６に出力する。また、データ分離部１０３は、８×８画素内の、抽出色（文字／線画の画素）と判定された画素については“１”、非抽出色（自然画の画素）と判定された画素については“０”の２値の位置情報を生成し、置換値算出部１０４、セレクタ１０５、可逆符号化部１０７に出力する。

置換値算出部１０４は、１ブロックの画像データ中の、位置情報が“０”である自然画として判定された画素の各色成分の平均値を算出し、その平均値を置換値としてセレクタ１０５に出力する。

セレクタ１０５は、ブロック内の画素データ、置換値、及び、位置情報を入力する。そして、位置情報が“０”で示される画素位置では、ブロック内の画素データを選択出力する。また、セレクタ１０５は、位置情報が“１”で示される画素位置では、置換値を選択し、出力する。

コード置換部１０６は、内部に、図３（ａ）に示すテーブルを格納しているメモリを有する。同図のテーブルの「黒」で示すフィールドには、実際は「Ｒ＝Ｇ＝Ｂ＝０」のデータが格納されている。他の色も同様のＲＧＢの各成分のデータが格納されている。このテーブルに格納されるデータ数は、せいぜい数色乃至数十で十分である。ただし、このテーブルに存在しない色が最頻であった場合に対処する必要がある。テーブルに存在しない色があり、且つ、テーブルへの登録が可能な場合には、当該色をテーブルに登録した後、その符号コードを出力する。従って、テーブルに存在しない色を特定する符号コードを含めて、６４色を定義するのであれば、「符号コード」は６ビットあれば十分である。Ｒ、Ｇ、Ｂが８ビットで表わされる場合、２４ビットの色情報が、１／４の６ビットに変換されることを意味する。

一方、テーブルに登録できない場合には、図３（ｂ）に示すように、テーブル外色を示す符号コード＋入力した色情報（各成分が８ビット）を付加して出力する。図３（ｂ）の場合、符号コードに後続して、実際の色を示すビットが付加される分だけ、符号化データ量は多くなるが、このようなケースはむしろ希である。

いずれにしても、このコード置換部１０６は、入力した抽出色情報から、可逆の符号化データを生成して出力することになる。なお、上記テーブルを更新した場合は、符号化の開始前にテーブルを転送する。また、テーブルの転送ができない場合は、上記テーブルの登録と共に登録した符号コード＋入力した色情報（各成分が８ビット）を付加して出力する。この場合、復号化部のテーブルには未登録を示すビットが符号毎についており、送られてきた符号コードのビットが未登録を示す場合（例えば１が未登録を示すとすると、未登録を示すビットが１の場合）、テーブルの符号コードに対応する部分に符号コードに連結されている色情報を登録することで、符号化側との同期をとる。

また、可逆符号化部１０７は、データ分離部１０３から出力された位置情報を可逆符号化し、符号化データを生成し、多重化部１０９に出力する。１つのブロックの位置情報は８×８ビットである。実施形態における可逆符号化部１０７は、この８×８個の２値データをラスタースキャンし、ランレングス符号化を行なうものとした。なお、可逆であれば良いので、他の符号化方法を利用しても良いのは勿論である。

一方、非可逆符号化部１０８は、入力した８×８個の階調画像データに対し、ＪＰＥＧ等の非可逆符号化処理する。すなわち、非可逆符号化部１０８は、ＤＣＴ変換処理、量子化処理、エントロピー符号化処理を行ない、符号化データを生成し、多重化部１１０に出力する。

多重化部１１０は、コード置換部１０６、可逆符号化部１０７、及び、非可逆符号化部１０８から生成された各符号化データを、後段のメモリに格納しやすいようにパックし、１ブロック分の符号データとして出力端子１１０より出力する。

以上説明したように本実施形態によれば、自然画と混在する文字／線画の色は、自然画のそれと比較して、非常に少ない点を利用し、色と符号コードに置換するので、１ブロックに占める文字／線画の色情報の占めるデータ量を大幅に減らすことが可能になる。また、上記実施形態の如く、文字／線画が混在した自然画の場合であっても、文字／線画を構成する画素が、自然画と判定された平均値で置き換えられることで、非可逆符号化部１０８内の処理で生成される高周波成分の値も小さなものとすることができる。これは、非可逆符号化部１０８で生成される符号化データ量を削減できることを意味する。しかも、文字／線画は、その色、エッジが鮮明に復号することも約束されることになる。

なお、上記実施形態では、図３（ａ）における「黒」をＲ＝Ｇ＝Ｂ＝０として定義した。コンピュータ上でテキストや罫線を自然画に合成し、イメージスキャナ等を介在しないで、符号化する場合、黒は文字通りＲ＝Ｇ＝Ｂ＝０である。しかしながら、イメージスキャナを介して原稿を読込んだ場合、黒の文字のＲＧＢの各成分は小さな値となるものの、必ずＲ＝Ｇ＝Ｂ＝０となるとは限らない。これは、イメージスキャナに搭載した撮像素子の精度やバラツキ、或いは、原稿を印刷した際のインクやトナーの量のバラツキに起因する。そこで、例えば、コード置換部１０６内のテーブルの色を定義するフィールドには、許容値範囲を設けるようにしても良い。例えば、許容値を「ε」とした場合、「黒」は、０≦Ｒ、Ｇ、Ｂ≦εと定義する。

このようにすると、テーブルに存在する色として判定された文字／線画の色は、１００％原画像に忠実に再現することはできないが、それに近い色で再現できる。また、文字／線画のエッジは、理論上１００％維持できる。

＜第１の実施形態の変形例＞
上記実施形態にかかる処理を、コンピュータが読込み実行するコンピュータプログラムで実現しても構わない。コンピュータの構成は、一般のパーソナルコンピュータが搭載するＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、表示装置、キーボードやマウス等で構成されるので、その説明は省略する。ただし、符号化対象の画像データが、原稿画像であればイメージスキャナ等の画像入力装置が適当なインタフェースを介して接続されることになる。また、ネットワーク上の記憶装置に格納されている場合にはネットワーク通信するためのネットワークインタフェースを有する。更に、符号化対象の画像データを蓄積している記憶媒体をアクセスするのであれば、その媒体をアクセスするためのドライブ等が接続されていることになる。いずれにしても、符号化したデータは、ＨＤＤ等の記憶装置にファイルとして格納されるものとする。

図４は、本変形例におけるアプリケーションプログラムを、ＣＰＵが実行した際の処理手順を示している。このアプリケーションプログラムは、ＨＤＤに格納されており、ＲＡＭにロードされた後、ＣＰＵが実行するものである。

先ず、ＣＰＵはステップＳ１にて、符号化対象の画像データから１ブロック分の画像データを入力する。符号化対象の画像データの入力源は問わない。

次いで、ＣＰＵはステップＳ２において、入力したブロック内の最頻の色を抽出色として検出する。そして、ステップＳ３において、図３（ａ）に示すテーブルを参照して、抽出色のコードを生成し、一時的にＲＡＭに保存する。このテーブルは、プログラム自身が有するものでも良いし、ＨＤＤ等に格納されていても構わない。

ステップＳ４では、ブロック内の抽出色を持つ画素の位置を“１”、抽出色以外の色（（抽出色）を持つ画素の位置を“０”とする位置情報を生成する。そして、ステップＳ５において、ＣＰＵは生成した位置情報を一次元に並べ、ランレングス符号化等の可逆符号化技術を用いて符号化し、その符号化データを一時的にＲＡＭに保存する。

次に、ＣＰＵはステップＳ６において、置換値を算出する。置換値は、非抽出色を持つと判定された画素（位置情報が“０”となっている画素）の各色成分の平均値とする。そして、ステップＳ７では、ブロック内の位置情報が“１”となっている画素の色を、算出した置換値で置換する。そして、ステップＳ８に進み、置換後のブロックについて、ＪＰＥＧ等の非可逆符号化処理を行ない、符号化データを生成する。

ステップＳ９では、上記の抽出色コード、位置情報の可逆符号化データ、置換処理後のブロックの非可逆符号化データを多重化し、ファイルの一部として出力する。

そして、ステップＳ１０にて、全ブロック分の符号化処理が完了したと判断するまで、ステップＳ１以降の処理を繰り返す。

以上説明したように、コンピュータが読込み実行することで、第１の実施形態と同様の処理と作用効果を奏することが可能になる。

＜第２の実施形態＞
図２に、第２の実施形態の画像符号化装置のブロック構成図を示す。図中、２０１はデータ分離部、２０２は抽出色テーブルメモリである。他の構成要素は図１の構成と同じであるため、同符号を付し、その説明は省略する。この抽出色テーブルメモリ２０２（書き換え可能なメモリとする）には、図３（ａ）に示すデータが格納されているものとする。

次に、図１の符号化装置と異なる部分の動作を説明する。

データ分離部２０１では注目ブロック内に抽出色テーブルメモリ２０２に設定されている色を持つ画素を検索する。注目ブロック内に、抽出色テーブル２０２に設定されている色を持つ画素があった場合、その中で最も多く出現する色の符号コードを抽出色コードとして出力する。

注目ブロック内の最頻の画素の色が、抽出色テーブル２０２に設定されている色でなかった場合、データ分離部２０１は、テーブル外を示す符号コードと、それに後続するようにその色情報を抽出色コードとして出力する。

これ以外は、第１の実施形態と同じである。また、多重化部１０９が生成する１ブロック分の符号化データも第１の実施形態と同じフォーマットで構わない。

次に抽出色テーブルメモリ２０２に格納するテーブルの生成方法について説明する。なお、以下の説明は、第１の実施形態における、コード置換部１０６内のメモリに格納するテーブルを生成する場合に適用しても良い。

本第２の実施形態では、圧縮したデータのランダムアクセスを容易にするため、ブロック内情報のみで復号化が完結するように、他のブロックの情報を用いずに符号化する構成を想定している。そこで、抽出色テーブルに色を登録してテーブルの符号コード（参照番号）のみを記憶することにより圧縮率を高める。ただし、抽出色テーブルにない色はそのままでは再現できなくなる。そこで、１個だけテーブル外を示す符号コードを設定し、このコードに抽出色を付加したものを符号化コードとする。

例えば、参照番号のビット数を６ビットとすると、抽出色として６４色がテーブルに登録できる。このうちの１つを、テーブル外を示すものとするため、テーブルに登録可能な抽出色は６３色となる。つまり、参照番号のビット数をｎビットとすると、１つはテーブル外のコードとなり、残り２ⁿ−１色が抽出色テーブル登録可能となる。

しかしながら、テーブル外の色の発生確率が多くなると、圧縮効率が急激に落ちてしまう。その為、抽出色テーブルを生成する時に、画像の中から頻度の高いものを登録していく必要がある。

そこで、符号化しようとする画像を、イメージスキャナ等で、プリスキャンによって入力画像の色のヒストグラムを作り、頻度の高い色を登録する。ただし、全ての画像を使ってヒストグラムを作ると時間がかかってしまうので、縮小した画像で高速にヒストグラムを作る。画像を縮小する方法としては、線形補間等、各種の縮小方法があるが、演算により画素値が変わってしまうため、抽出色として利用することができない。よって、本構成では単純間引きによって縮小する。このとき、上述したように１つはテーブル外のコードとするので、上記ヒストグラムの上位２^ｎ−１色を上記抽出色テーブルに設定する。

なお、通常、頻繁に出現するる白、黒、赤等の色は、予め固定の抽出色としておいても良い。こうしておくことにより、書類などのスキャン画像においては、プリスキャン無しに圧縮することが可能となる。また、本第２の実施形態の場合、１つの画像データを符号化してファイルとして適当な記憶媒体に格納する際、そのファイルヘッダに、上記の処理で生成したテーブルの情報を格納することになる。従って、画像データのサイズ（水平、垂直方向の画素数）が大きければ大きいほど、本第２の実施形態による効果も大きくなる。

以上説明したように本第２の実施形態によれば、第１の実施形態と同様の作用効果を奏することが可能になる。

なお、実施形態では、１ブロックを８×８画素として説明した。しかしながら、水平、垂直方向の画素数は８の整数倍の８ｎ×８ｍにしても構わない。非可逆符号化部１０８は、８ｎ×８ｍ内に含まれるｎ×ｍ個のブロックについて符号化すればよいからである。

なお、本第２の実施形態の同様の処理を、コンピュータプログラムによって実現することができるのは、先に説明した第１の実施形態の変形例と同様に明らかである。

また、一般に、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されて、その媒体をコンピュータが備える読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあるのは明らかである。

第１の実施形態における画像符号化装置のブロック構成図である。 第２の実施形態における画像符号化装置のブロック構成図である。 実施形態におけるテーブルメモリの内容と、抽出色の符号化データの構造を一例を示す図である。 第１の実施形態をコンピュータプログラムで実現する場合の、処理手順を示すフローチャートである。

Claims (9)

1. 多値画像データを符号化する画像符号化装置であって、
   符号化対象の多値画像データから、非可逆符号化の対象となるブロック単位の画像データを入力する入力手段と、
   入力したブロックの画像データ中の、文字線画の画素の色を示す色情報を抽出する抽出手段と、
   該抽出手段で抽出した色情報を、予めメモリに格納された参照テーブルを用いて色コードに変換する色コード変換手段と、
   前記抽出手段で抽出した色情報に従い、注目ブロック内の文字線画の画素の位置と、非文字線画の画素の位置とを識別するための位置情報を生成する位置情報生成手段と、
   該位置情報生成手段で生成された位置情報を可逆符号する可逆符号化手段と、
   前記位置情報生成手段で生成された位置情報に従って、文字線画の画素の値を置換する置換値を算出する置換値算出手段と、
   注目ブロック内の文字線画の画素の値を、前記置換値で置換する置換手段と、
   置換後のブロックの画像データを非可逆符号化する非可逆符号化手段と、
   前記色コード、前記可逆符号化手段により生成された位置情報の符号化データ、及び、前記非可逆符号化手段により生成された画像データの符号化データを多重化し、出力する多重化手段とを備え、
   前記色コード変換手段は、前記参照テーブルにない色が入力された場合、テーブル外を示すコードと前記抽出手段で抽出した色情報を変換結果として出力することを特徴とする画像符号化装置。
2. 前記抽出手段は、ブロック内の画素で前記参照テーブルにある色で最頻の色を、文字線画の画素の色として抽出することを特徴とする請求項１に記載の画像符号化装置。
3. 更に、符号化対象の画像データを解析し、出現頻度の高い順であって、予め設定された個数の、色情報及び色コードを、前記参照テーブルとして前記メモリに格納する手段を備えることを特徴とする請求項１に記載の画像符号化装置。
4. 前記可逆符号化手段はランレングス符号化に従って位置情報を符号化し、前記非可逆符号化手段はＪＰＥＧ符号化に従ってブロックの画像データを符号化することを特徴とする請求項１に記載の画像符号化装置。
5. 前記色コード変換手段は、前記参照テーブルにない色が入力された場合、前記参照テーブルを更新することを特徴とする請求項１に記載の画像符号化装置。
6. 前記色コード変換手段は、許容範囲の設定手段を備え、前記参照テーブルに格納された色の該設定手段の許容範囲内の色情報を同一色とみなして変換することを特徴とする請求項１または請求項２に記載の画像符号化装置。
7. 多値画像データを符号化する画像符号化装置の制御方法であって、
   入力手段が、符号化対象の多値画像データから、非可逆符号化の対象となるブロック単位の画像データを入力する入力工程と、
   抽出手段が、入力したブロックの画像データ中の、文字線画の画素の色を示す色情報を抽出する抽出工程と、
   色コード変換手段が、該抽出工程で抽出した色情報を、予めメモリに格納された参照テーブルを用いて色コードに変換する色コード変換工程と、
   位置情報生成手段が、前記抽出工程で抽出した色情報に従い、注目ブロック内の文字線画の画素の位置と、非文字線画の画素の位置とを識別するための位置情報を生成する位置情報生成工程と、
   可逆符号化手段が、該位置情報生成工程で生成された位置情報を可逆符号する可逆符号化工程と、
   置換値算出手段が、前記位置情報生成工程で生成された位置情報に従って、文字線画の画素の値を置換する置換値を算出する置換値算出工程と、
   置換手段が、注目ブロック内の文字線画の画素の値を、前記置換値で置換する置換工程と、
   非可逆符号化手段が、置換後のブロックの画像データを非可逆符号化する非可逆符号化工程と、
   多重化手段が、前記色コード、前記可逆符号化工程により生成された位置情報の符号化データ、及び、前記非可逆符号化工程により生成された画像データの符号化データを多重化し、出力する多重化工程とを備え、
   前記色コード変換工程は、前記参照テーブルにない色が入力された場合、テーブル外を示すコードと前記抽出工程で抽出した色情報を変換結果として出力することを特徴とする画像符号化装置の制御方法。
8. コンピュータに読込ませ実行させることで、前記コンピュータを、請求項１乃至６のいずれか１項に記載の画像符号化装置の各手段として機能させることを特徴とするコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images