JP4732250B2 - 情報処理装置、制御方法、およびコンピュータプログラム - Google Patents

Description

本発明は、原画像に対して圧縮処理を行う画像圧縮技術に関する。

近年、スキャナの普及により文書の電子化が進んでいる。ところが、電子化された文書をフルカラービットマップ形式で記憶しようとすると、例えば、Ａ４サイズの場合では３００ｄｐｉでデータ量が約２４Ｍバイトになり、電子化文書を格納するのに必要なメモリ量は膨大になってしまう。又、そのような大容量のデータは、電子メール等に添付して送信するのに適したサイズとはいえない。そこで、通常は、そのようなフルカラー画像を圧縮することが行われている。よく使われる圧縮方式としてはＪＰＥＧ圧縮がある。又、特許文献１に記載された圧縮方式によれば、原画像から文字領域を抽出し、文字領域に対応する文字画像と、文字画像を排除した画像とを生成し、それぞれに異なる圧縮処理を施す画像処理装置が記載されている。
特開２００２−０７７６３３号公報

しかしながら一般的なＪＰＥＧ圧縮方法では圧縮率を高めようとすると文書で重要となる文字部分のモスキートノイズが増大して可読性が低下してしまう。又、特許文献１に記載された方法においても、文字部分に関しては、一定以上の画像解像度がないと良好な画質を得にくい。この点について図２を用いて更に説明する。図２の（ａ）と（ｄ）が同一原稿をそれぞれ１００ｄｐｉ、３００ｄｐｉでスキャンした画像を、ピクセル等倍で表示した場合の画像である。これらを２値化した画像が、夫々（ｂ）と（ｅ）である。また、比較のために１００ｄｐｉの２値画像を３００ｄｐｉと同じサイズに単純拡大したものが（ｃ）である。図２の（ｃ）と（ｅ）とを比べるとわかるように、低解像度画像を２値化すると文字品位が極端に落ちることになる。また、低解像度の２値画像を可読性がよくなるように補正しようとしても非常に困難である。従って、原画像を２値化して得られた２値化画像を用いて文字画像を生成する特許文献１の構成では、低解像度画像の場合、文字の判読性を向上することは困難である。また、高解像度画像であっても非常に小さな文字に対しては同様の問題がある。

一方、原画像を圧縮処理する前に高解像度化してそれを原画像として特許文献１の方法で圧縮処理をすれば、文字部の画像品位は上がる。ところが、原画像が高解像度になっているため、圧縮率は下がってしまう（ファイルサイズが大きくなってしまう）。また下地画像部分を圧縮するまでの画像変換回数が１回増えるためそれによる画質劣化が起こる。

本発明は、低解像度画像や文字の大きさが小さい文書画像における文字の判読性を向上しながら、高い圧縮率で画像を圧縮可能にすることを目的とする。

上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。すなわち、
多値の原画像の圧縮処理を行う情報処理装置であって、
前記多値の原画像に対して２値化処理を行うことにより、第１の２値画像を取得する低解像度２値画像取得手段と、
前記低解像度２値画像取得手段で取得した第１の２値画像に対して領域判別処理を行うことにより、文字領域を検出して当該文字領域の位置情報を得る文字領域抽出手段と、
前記文字領域抽出手段で得た位置情報に基づいて、前記第１の２値画像における文字部分を抽出し、当該抽出された文字部分に対応する前記多値の原画像の色を求めることにより、前記文字領域内に含まれる各文字の文字色を抽出する文字色抽出手段と、
前記多値の原画像に対して補間処理を行って高解像度化し、前記低解像度２値画像取得手段で２値化処理を行う際に求めた２値化閾値を用いて当該高解像度化された画像の２値化処理を行うことにより、前記第１の２値画像よりも高解像度の第２の２値画像を取得する高解像度２値画像取得手段と、
前記文字領域抽出手段で得た位置情報と前記文字色抽出手段で抽出した文字色と前記高解像度２値画像取得手段で取得した第２の２値画像とに基づいて、文字色ごとに高解像度の部分２値画像を生成する色別画像生成手段と、
前記色別画像生成手段で文字色ごとに生成された部分２値画像に対して第１の圧縮処理を行うことにより文字領域圧縮データを生成する第１生成手段と、
前記多値の原画像において、前記文字色抽出手段で抽出された前記第１の２値画像における文字部分に対応する部分の画素を、周囲の画素値で塗りつぶし、当該塗りつぶして得た画像に対して第２の圧縮処理を行うことにより背景圧縮データを生成する第２生成手段と、
前記第１生成手段で生成した文字領域圧縮データと、前記第２生成手段で生成した背景圧縮データと、前記文字領域抽出手段で取得された各文字領域の位置情報と、前記文字色抽出手段で抽出された文字色情報とを用いて、前記多値の原画像の圧縮データを生成する第３生成手段と、を備える。

又、上記の目的を達成するための本発明による情報処理装置の制御方法は、
多値の原画像の圧縮処理を行う情報処理装置の制御方法であって、
低解像度２値画像取得手段が、前記多値の原画像に対して２値化処理を行うことにより、第１の２値画像を取得する低解像度２値画像取得工程と、
文字領域抽出手段が、前記低解像度２値画像取得工程で取得した第１の２値画像に対して領域判別処理を行うことにより、文字領域を検出して当該文字領域の位置情報を得る文字領域抽出工程と、
文字色抽出手段が、前記文字領域抽出工程で得た位置情報に基づいて、前記第１の２値画像における文字部分を抽出し、当該抽出された文字部分に対応する前記多値の原画像の色を求めることにより、前記文字領域内に含まれる各文字の文字色を抽出する文字色抽出工程と、 高解像度２値画像取得手段が、前記多値の原画像に対して補間処理を行って高解像度化し、前記低解像度２値画像取得工程で２値化処理を行う際に求めた２値化閾値を用いて当該高解像度化された画像の２値化処理を行うことにより、前記第１の２値画像よりも高解像度の第２の２値画像を取得する高解像度２値画像取得工程と、
色別画像生成手段が、前記文字領域抽出工程で得た位置情報と前記文字色抽出工程で抽出した文字色と前記高解像度２値画像取得工程で取得した第２の２値画像とに基づいて、文字色ごとに高解像度の部分２値画像を生成する色別画像生成工程と、
第１生成手段が、前記色別画像生成工程で文字色ごとに生成された部分２値画像に対して第１の圧縮処理を行うことにより文字領域圧縮データを生成する第１生成工程と、
第２生成手段が、前記多値の原画像において、前記文字色抽出工程で抽出された前記第１の２値画像における文字部分に対応する部分の画素を、周囲の画素値で塗りつぶし、当該塗りつぶして得た画像に対して第２の圧縮処理を行うことにより背景圧縮データを生成する第２生成工程と、
第３生成手段が、前記第１生成工程で生成した文字領域圧縮データと、前記第２生成工程で生成した背景圧縮データと、前記文字領域抽出工程で取得された各文字領域の位置情報と、前記文字色抽出工程で抽出された文字色情報とを用いて、前記多値の原画像の圧縮データを生成する第３生成工程と、を有する。

本発明によれば、低解像度画像や文字の大きさが小さい文書画像における文字の判読性を向上しながら、高い圧縮率で画像を圧縮することが可能となる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

＜第１実施形態＞
図８は本発明の一形態である文書ファイリングシステムの概略構成を示すブロック図である。情報処理装置８００は、インターフェース８０６を介してスキャナ８０１より読込んだ文書画像（原画像）に対して以下で説明する圧縮処理を施し、圧縮コード１Ａとして記憶装置８０２（本例ではハードディスク）に保存する。ＣＰＵ８０３はＲＯＭ８０４又はＲＡＭ８０５に記憶された制御プログラムやデータに基づいて各種処理を実行する。ディスプレイ８０７はＣＰＵ８０３の制御下で各種表示を行う。例えば、文書ファイリングに際して、各種ＧＵＩを提供する。キーボード８０８はＣＰＵ８０３に対して各種の指示を入力するのに用いられる。ユーザの指示を入力するためのデバイスとして不図示のポインティングデバイスが用いられてもよいし、キーボードとポインティングデバイスが併用されてもよい。

以上のような構成において、情報処理装置８００は図１に示すような圧縮処理を実行する画像処理装置として機能する。情報処理装置８００としてはパーソナルコンピュータ等の汎用コンピュータを用いることができる。或は、文書ファイリング装置を複合機（ＭＦＰ）を用いて構成し、以下で説明する画像処理装置の機能を複合機によって実現するようにしてもよい。

図１は第１実施形態に係る画像処理装置による画像圧縮処理を説明するブロック図である。図１では、原画像１０１に対して画像圧縮処理を行う構成が説明されている。画像２値化部１０２は原画像１０１に対して最適２値化を行い、２値画像１０３を得る。文字領域抽出部１０４は２値画像１０３から文字領域を検出し、文字領域座標１１８を作成する。

高解像度化処理部１０５は、原画像１０１に対して高解像度化処理を行い、高解像度画像１０６を生成する。画像２値化部１０７は、高解像度画像１０６に対して２値処理を行い、高解像度２値画像１０８を生成する。

文字判定文字色抽出部１０９では、文字領域抽出部１０４で作成された文字領域座標１１８が入力され、当該文字領域座標１１８に基づいて２値画像１０３の文字領域中の黒部分を文字部分として抽出（文字判定）し、該文字部分に対応する原画像１０１の色を算出する。こうして、文字判定文字色抽出部１０９は、文字部の位置とその色情報を生成する。減色画像生成部１１０は、文字領域座標１１８と上記文字の色情報と高解像度２値画像１０８とを参照して、減色後の各色単位に分割した２値画像１１１を作成する。つまり、色ごとの２値画像が作成されることになるので、減色後の文字色の数と同じ枚数の高解像度２値画像が作成されることになる。ここで、減色画像生成部１１０は、文字判定文字色抽出部１０９で得られた各文字色を所定の色数のいずれかの色へ分類することにより減色する。そして、減色画像生成部１１０は、高解像度２値画像１０８を用いて、減色された文字色毎に、文字領域の２値画像１１１を生成する（詳細は図３及び図４のフローチャートにより後述する）。また、減色画像生成部１１０は、各２値画像１１１と減色後の色とを対応付ける色情報１２０を生成する。ＭＭＲ圧縮部１１２では、減色後の各色ごとに生成された高解像度２値画像１１１が入力され、それぞれＭＭＲ圧縮（２値画像の可逆圧縮）を行い、第１圧縮コード１１９を生成する。

文字塗りつぶし部１１３では、原画像１０１が入力されると共に、文字判定文字色抽出部１０９から文字部分を示す情報が入力され、原画像１０１の文字部分を特定する。そして、特定した文字部分を、文字部分以外の画素値（たとえば、その文字部分の周囲の画素色）で塗りつぶし、文字部塗りつぶし画像１１４を生成する。縮小部１１５は、文字部塗りつぶし画像１１４を縮小して（解像度を低下させて）、縮小画像１１６を作成する。ＪＰＥＧ圧縮部１１７は縮小画像１１６をＪＰＥＧ圧縮して第２圧縮コード１２１を作成する。以上の文字領域座標１１８、第１圧縮コード１１９、色情報１２０及び第２圧縮コード１２１を結合したものが圧縮データ１Ａである。

図１に示した動作を図３、図４及び図５Ａ〜図５Ｆを使用して更に説明する。図３は、本実施形態の圧縮処理の主要部分を説明するフローチャートである。図４は、本実施形態の圧縮処理における減色画像作成部分を説明するフローチャートである。又、図５Ａ〜Ｆは、第１実施形態による画像処理例を示す図である。

ステップＳ３０１では、スキャナ８０１から画像１０１を読み込む。例えば、図５Ａに示す画像を読み込んだものとして説明する。ステップＳ３０２ではステップＳ３０１で入力された画像から２値画像１０３を作成する。ステップＳ３０２（画像２値化部１０２）における２値化処理は、誤差拡散２値化処理の様に画素密度により画像の濃度表現をする方法でなければ任意の方法で良い。但し、特開平０８−２２１５１２号公報、特許第０３１０６０８０号公報、特開２００５−０７１０８８号公報に記載されている様な、画像に応じた２値化（最適２値化）を行う方法を採用すれば、圧縮後の画質がより良好になる。次に、ステップＳ３０３において、文字領域抽出部１０４は、２値画像１０３に対して領域判別を行い、図５Ｂのように文字領域（テキストブロック）と非文字領域に分離し、文字領域座標１１８を取得する。

ステップＳ３０４において、文字判定文字色抽出部１０９は、ステップＳ３０３で抽出された文字領域毎に文字部分（単位文字）と文字の色を抽出する。例えば、特開２００４−１２８８８０号公報に記載されているように、文字領域内に含まれる各単位文字ごとの色を算出して、各文字領域内における代表となる文字色が決定される。図５Ａ，Ｂの例では、ＴＥＸＴ１とＴＥＸＴ３の領域は赤、ＴＥＸＴ２の領域は黒、赤、青の３色からなる文字領域（テキストブロック）と判定される。又、ＴＥＸＴ４の領域は黒、ＴＥＸＴ５は青文字からなる文字領域（テキストブロック）であると判定される。なお、複数色を含むと判定された文字領域は、後述するステップＳ３０８で色ごとのテキストブロックに分解されることになる。また、予め決めた数を超える文字色が検出された場合（例えば、文字にグラデーションがかかっている場合など）は、ＭＭＲ圧縮に適していないと判断し、非文字部分として扱う。非文字部分に関しては、ＪＰＥＧ圧縮部１１７で圧縮されることになる。

次に、ステップＳ３０５において、文字塗りつぶし部１１３は、２値画像１０３に基づいて文字部分の画素の位置を求め、更に、原画像１０１（カラー画像）から当該文字部分に対応する画素をその周囲の画素の色で塗りつぶすことにより、文字部塗りつぶし画像１１４を作成する。この結果、例えば図５Ｆに示すような非文字部分が残っている画像が塗りつぶし画像１１４として得られる。このステップＳ３０５の処理が済むと２値画像１０３は不要になるので、破棄してもよい。ステップＳ３０６では、原画像１０１から文字部を塗りつぶして得られた画像をＪＰＥＧ圧縮１１７により多値圧縮する。但し、塗りつぶし画像１１４の解像度が予め決めた値よりも大きい場合は画像縮小部１１５により縮小処理を施して縮小画像１１６を作成し、これをＪＰＥＧ圧縮１１７の入力とするようにしてもよい。こうして、ステップＳ３０６により第２圧縮コード１２１が得られる。

ステップＳ３０７では、原画像１０１から高解像度２値画像１０８を生成する。この処理において、高解像度化処理部１０５は、入力した原画像１０１にバイキュービックや線形補間方法を用いて高解像度化処理を施し、高解像度画像１０６を作成する。このような補間処理を含む高解像度化処理によれば、画像を単純に拡大する場合とは異なり、文字画像の判読性を向上することができる。そして、当該作成された高解像度画像１０６を画像２値化部１０７により２値化して高解像度２値画像１０８を得る。尚、本実施形態においては、画像２値化部１０２と画像２値化部１０７の２値化処理における閾値決定方法は、２値画像１０３と高解像度２値画像１０８が大きく異なる画像になるのを防ぐために同じ方法（例えばヒストグラムを用いた２値化閾値決定方法）を用いるものとする。

ここで画像２値化部１０７は、画像２値化部１０２で算出した２値化閾値情報を使うことにより、高解像度画像から２値化閾値を計算する必要がなくなるので、高解像度化処理部１０５及び画像２値化部１０７の処理においてバンド処理が可能となる。このため、高解像度画像１０６は全面をメモリ上に持つのではなく一部のみをメモリ上に持てばよく、メモリが節約される。より詳しく説明すると、画像２値化部１０２が全面単一閾値による方法であれば、画像２値化部１０７もその単一閾値を使用する。一方、画像２値化部１０２が領域毎に適応的に閾値を用いる方法であれば、画像２値化部１０７において、その閾値を高解像度画像１０６の対応する領域毎に用いる。なお、高解像度２値画像１０８の画像解像度は、原画像１０１の解像度に応じて予め決めておく。本実施形態では、原画像１０１が１００ｄｐｉならば高解像度２値画像１０８は３００ｄｐｉ、１５０ｄｐｉなら３００ｄｐｉ、２００ｄｐｉなら４００ｄｐiとしている。もちろんこの設定は一例に過ぎない。

ステップＳ３０８以降において、減色画像生成部１１０により減色された色ごとの２値画像１１１が生成され、ＭＭＲ圧縮部１１２により２値画像１１１に圧縮処理が施される。尚、２値画像１１１の生成には、ステップＳ３０７で得られた高解像度２値画像１０８、ステップＳ３０３で得られた文字領域座標１１８、ステップＳ３０４で得られた各テキストブロックの文字部（位置）と文字色が用いられる。まず、ステップＳ３０８において、ステップＳ３０４で複数色のテキスト部と判定された領域を色毎に分解する。例えば、ＴＥＸＴ２の領域は、図５Ｃの様に判定された色毎に分解される。この例では、ＴＥＸＴ２の領域における赤部分はＴＥＸＴ６、黒部分はＴＥＸＴ７、青部分はＴＥＸＴ８に３分割されている。

ステップＳ３０９では、ステップＳ３０４とステップＳ３０８とで抽出された文字色毎のテキストブロックをそれぞれ比較し、同色のテキストブロックを判定する。更に、同色と判断されたテキストブロック同士をグループ化し、グループ化されたテキストブロックに対する文字色を新たに決定する。このグループ化されたテキストブロックは、後述するようにステップＳ３１０でグループ毎に結合されて複数の２値画像が生成されることになる。また、各グループに対して決定された新たな文字色は、ステップＳ３１０でＭＭＲ圧縮される２値画像に対して対応付けられる色情報１２０として保存されることになる。また、この新たな文字色は、各グループに属するテキストブロックの色に基づいて定められるものであり、例えば、同色判定の際に基準として用いた色であってもよいし、グループ化されたテキストブロックの平均色であってもよい。

なお、同色の判定は、例えばＲＧＢ各８ビットをＲＧＢ各２ビットとか３ビットとか予め決められた色範囲に減色して同一色になるかどうかでグループ分けする方法が挙げられる。どの程度まで減色するかは圧縮した画像にどの程度階調性を持たせたいかによって決まる。例えば人の目の青色に対する感度が低いことを利用してＲＧＢ ２／２／１ｂｉｔとか、ＲＧＢ ３／３／２ｂｉｔというようにしてもよい。又、より正確に同色の判定を行いたい場合は、ＲＧＢ形式ではなくより色差を比較しやすいＹＵＶ形式やＬＡＢ形式に変換して２ビットや３ビットに丸めてグループ分けをすることが好ましい。

ステップＳ３１０において、ステップＳ３０９で同色と判断された文字ブロックの画像を結合して図５Ｅに示すような新たな複数の２値画像１１１を作成する。作成された複数の２値画像１１１（ＴＥＸＴ１'、ＴＥＸＴ２'、ＴＥＸＴ３'）の原画像上における位置は、図５Ｄに示すような位置になる。尚、ここで作成した２値画像１１１は、ステップＳ３０９で決定された色情報１２０と対応付けできるように出力される。また結合処理がなされて文字領域座標１１８に変更が生じた場合は、文字領域座標１１８を更新する。以上のように、２値画像１１１は図５Ｅのようになり、各２値画像は逐次ＭＭＲ圧縮１１２により圧縮処理され第１圧縮コード１１９が作成される。

そして、ステップＳ３１１において、以上のような処理で得られた以下の４つのデータを結合して得られた圧縮データ１Ａを出力する。圧縮データ１Ａは、
（１）ステップＳ３０３において取得され、ステップＳ３１０において必要に応じて更新された文字領域座標１１８、
（２）ステップＳ３１０で得られた第１圧縮コード１１９、
（３）ステップＳ３０９で得られた色情報１２０、
（４）ステップＳ３０６で得られた第２圧縮コード１２１を含む。

図４は図３のステップＳ３１０における画像の結合処理の詳細を示すフローチャートである。

ステップＳ４０１では、ステップＳ３０９で同一色であると判定されたテキストブロック群の中から基準となる一つのテキストブロックを選択する。もし選択すべきテキストブロックがなければ、全てのテキストブロックに着いて処理を終了したものとして、ステップＳ４０２からステップＳ４１０へ進み、本処理を終了する。一方、ステップＳ４０１においてテキストブロックが選択された場合は、ステップＳ４０２からステップＳ４０３へ進む。ステップＳ４０３では、基準となる（選択された）テキストブロックと同一色のテキストブロックの中から、その基準となるテキストブロックに最も近いテキストブロックを探して、結合対象として選択する処理を行う。ここで、近傍のテキストブロックから結合対象とするのは、２つのブロックを結合して新たな２値画像を作成した場合に結合させた２値画像の大きさが小さく、よって圧縮した場合もその圧縮後のサイズを抑えることができると期待されるからである。

ステップＳ４０４では、ステップＳ４０３の選択処理でテキストブロックが選択できたか否か判断し、選択できたと判断した場合はステップＳ４０５へ進む。ステップＳ４０５では、基準となるテキストブロックとステップＳ４０３で選択されたテキストブロックとを結合させた場合の矩形を求める。そして、ステップＳ４０６において、上記結合を行った場合と行わない場合の圧縮後のサイズを算出する。尚、ステップＳ４０６においては、実際に圧縮を施して正確なサイズを出す方法もあるが、以下の方法で簡易的な圧縮サイズを算出するようにしてもよい。このような方法を用いれば、圧縮サイズの精度は落ちるが処理時間を軽減できる。なお、以下の方法は圧縮サイズの簡易計算方法の一例であって、この計算方法に限るものではない。

簡易的な圧縮サイズの算出方法では、予め測定していたテキスト部の圧縮率Ａが用いられる。この圧縮率Ａを用いることにより、分割して圧縮した場合のサイズは、
分割圧縮サイズ＝（TEXT1の面積＋TEXT2の面積）×Ａ＋（ヘッダサイズ）×２
となる。
一方、結合して圧縮した場合は、２つのテキストブロックの隙間部分とテキストブロック内の空白部分が繋がって大きな隙間部分が生じる。この隙間部分はデータが無いので、普通にテキスト部を圧縮した場合に比べてはるかに高圧縮率で圧縮できる。従って、この結合後の隙間部分に基づいて結合圧縮サイズを減らす。ここで、隙間部分によって減少するデータ量を予め定めておいた定数Ｂを用いて簡易的に求めるものとする。即ち、圧縮率Ａと定数Ｂとを用いることにより、結合して圧縮した場合のサイズは、
結合圧縮サイズ＝（結合後のTEXT部分の面積）×Ａ−（隙間部分の面積）×Ｂ＋（ヘッダサイズ）
となる。

ステップＳ４０７では、以上のようにして算出した圧縮サイズを比較する。即ち、画像を結合した場合としない場合の圧縮サイズを比較し、結合した場合の方がサイズが大きくなる場合は結合せずにステップＳ４０３へ戻り、次のテキストブロックを探す。結合した場合の方が小さくなる場合はステップＳ４０８へ進み、選択されたブロックを後の処理で画像の結合を行うためのリストに追加する。以後、ステップＳ４０３〜Ｓ４０８を同色のテキストブロックが無くなるまで繰り返し、無くなったらステップＳ４０９へ進む。

ステップＳ４０９では結合リストに基づいてテキストブロックを結合した画像を作りＭＭＲ圧縮を行う。又、ステップＳ４０３〜Ｓ４０８の処理で結合すべきブロックが存在しなかった場合は、単独ブロックの画像を対象として圧縮を行うことになる。そして、ステップＳ４０１に戻り、次の処理対象とすべきテキストブロック（未処理のテキストブロック）を選択し、ステップＳ４０２〜Ｓ４０９の処理を繰り返す。こうして、ステップＳ４０１で、未処理のテキストブロックを選択できなくなると、ステップＳ４０２からステップＳ４１０へ進み、本処理を終了する。

（デコード処理の手順）
次に、以上のようにして得られた圧縮コード１Ａから画像に復元する処理について説明する。

まず、第１圧縮コード１１９と第２圧縮コード１２１の画像圧縮データを調べて最大解像度を取得する。そして、第２圧縮コード１１９のＪＰＥＧデータを、取得した最大解像度に合わせてデコードする。第１圧縮コード１１９の各データを文字領域座標１１８と色情報１２０とを参照して最大解像度に合わせてデコードして復元することになる。
つまり、まず、第１圧縮コード１１９をデコードして得られた各２値画像の黒画素部分（文字部分の画素）を、色情報１２０によって示される色（各２値画像それぞれに対応付けられている色）に置換して文字領域画像を得る。その後、第２圧縮コード１２１をデコードして得られた画像上に、文字領域座標１１８によって示される位置に前記色置換して得た文字領域画像を上書きする。以上の手順により、圧縮コード１Ａから画像が復元される。

＜第２実施形態＞
第２実施形態では、第１実施形態で説明した圧縮コード１Ａの生成に関する変形例を説明する。図６は第２実施形態に係る画像処理装置による画像圧縮処理を説明するブロック図である。第１実施形態（図１）と同様の機能ブロックには同一の参照番号を付してある。第１実施形態との主要な相違点は、
（１）第１圧縮コード１１９の生成において、文字判定文字色抽出部６０９が、原画像１０１の縮小画像を利用する点、
（２）第２圧縮コード１２１の生成において、原画像１０１を縮小してから文字部の塗りつぶしを行う点、
（３）減色画像生成部６１０が、各文字領域中の文字の大きさに基づいて、原画像１０１を２値化した２値画像１０３と高解像度２値画像１０８とのいずれを使用するかを文字領域毎に選択して、複数の２値画像１１１を生成する点である。

縮小部６１３は原画像１０１に縮小処理を施し、縮小画像６１４を生成する。尚、縮小部６１３による縮小処理は、原画像１０１の解像度が所定値よりも大きい場合に行い、該所定値よりも小さい場合には行わないようにしてもよい。
文字判定文字色抽出部６０９は、まず、文字領域座標１１８に基づいて、２値画像１０３の文字領域中の黒部分を文字部分の画素の位置として抽出する。そして、該文字部分の画素位置に基づいて、対応する位置の縮小画像６１４の色を算出し、文字色情報を作成する（特開２００４−２６０３２７号公報参照）。
減色画像生成部６１０は、文字判定文字色抽出部６０９で生成された文字色情報に基づいて、第１実施形態と同様に、同色のテキストブロックをグループ化して結合処理を行い、各文字色に対応する２値画像１１１と色情報１２０を生成する。但し、第２実施形態の減色画像生成部６１０は、文字領域（テキストブロック）に含まれる文字のサイズ（小サイズフラグの有り無し）に応じて高解像度２値画像１０８と２値画像１０３を使い分ける。詳細は後述する。

文字塗りつぶし部６１５では、縮小画像６１４と、文字判定文字色抽出部６０９から文字部分を示す情報とが入力され、縮小画像６１４における文字部分を特定する。そして、特定した文字部分をその周囲の色で塗りつぶし、文字部塗りつぶし画像６１６を生成する。ＪＰＥＧ圧縮部１１７は、縮小され、文字部が塗りつぶされた画像６１６にＪＰＥＧ圧縮処理を施し、第２圧縮コード１２１を生成する。尚、縮小部６１３は、原画像１０１の解像度が予め決めた値よりも小さい場合には何も処理しないものとする。この場合、縮小画像６１４は原画像１０１と同一になる。

又、文字判定文字色抽出部６０９は、文字色を抽出する際にその文字領域（テキストブロック）に含まれる文字の大きさ（例えば各文字の縦横画素数を文字の大きさとする）の平均値を求める。そして、その平均値が予め決めていた大きさ以下であれば、その旨を示す小サイズフラグを文字領域情報に加える。減色画像生成部６１０は、２値画像１０３、高解像度２値画像１０８、文字領域座標１１８、及び文字判定文字色抽出部６０９の結果を用いて２値画像６１１を生成する。ここで、減色画像生成部６１０は、図４で説明した処理により２値画像１１１を生成するにあたり、上記小サイズフラグの有無に従って、使用する２値画像を切り替える。即ち、小サイズフラグの有るテキストブロックについては、高解像度２値画像１０８を用いて処理を行い、小サイズフラグの無いテキストブロックについては２値画像１０３を用いて処理を行なう。小サイズフラグのある文字領域は文字の大きさが小さいため文字としての品位は低くなっている。従って、高解像度２値画像１０８を用いることで品位を向上する。一方、小サイズフラグのない文字領域は文字の大きさが一定以上あるため２値画像１０３のままで文字画像品位が保たれる。よって、２値画像１０３を利用することにより処理量の増加を抑える。

又、小サイズフラグを有するテキストブロックと、小サイズフラグの無い同色のテキストブロックとが存在する場合、それらのテキストブロックを結合するべきか否か判定する。この判定は、第１実施形態と同様に、結合を行わない場合の圧縮サイズと結合を行った場合の圧縮サイズを計算して判定すればよいが、結合を行った場合の圧縮サイズは高解像度２値画像の解像度を考慮して計算することになる。結合すると判定された場合、結合後のテキストブロックに対して高解像度２値画像１０８を用いて２値画像１１１を作成する。このようにすれば、各テキストブロックに対応する２値画像１１１を作成する際、文字の大きさに基づいて、２値画像１０３と高解像度２値画像１０８とのどちらを用いるか適切に選択できるので、高い圧縮効果が得られる。

結合処理は、例えば次のように処理すればよい。初めに、小サイズフラグの有るテキストブロック群と小サイズフラグの無いテキストブロック群とを、それぞれ別々に同色のグループに分類する。小サイズフラグのあるテキストブロックは高解像度２値画像１０８が必要であり、小サイズフラグの無いテキストブロックは２値画像１０３でもよい部分である。
次に、同色のグループに属するテキストブロックを結合するかどうかの判断を行う。第１実施形態の図４と異なる点は、まず、２つの矩形領域の重なり状態を比較して、小サイズフラグのある矩形領域が小サイズフラグの無い矩形領域を包含する場合は、結合リストに加え、高解像度２値画像１０８を使用するように制御する。
なお、小サイズフラグのある領域と小サイズフラグのない領域とが結合された場合、当該結合領域は小サイズフラグがある結合領域として扱われるものとする。また、小サイズフラグのある領域同士が結合された場合は小サイズフラグがある結合領域として、小サイズフラグのない領域同士が結合された場合は小サイズフラグがない結合領域として扱われるものとする。

一方、小サイズフラグのある矩形領域が小サイズフラグの無い矩形領域を包含していない場合は、第１実施形態と同様に結合圧縮サイズと非結合圧縮サイズとを算出して、結合するかどうか判断する。
例えば、結合対象のテキストブロックが、小サイズフラグのあるテキストブロックとフラグの無いテキストブロックとであった場合、次のような式になる。
分割圧縮サイズ＝（フラグありTEXT部分の面積）×Ａ＋（フラグ無しTEXT部分の面積）×Ｃ＋（ヘッダサイズ）×２
結合圧縮サイズ＝（結合後のTEXT部分の面積）×Ａ−（隙間部分の面積）×Ｂ＋（ヘッダサイズ）
ここで、各TEXT部分の面積は、高解像度２値画像をベースにしたときの値であるとする。このとき、フラグ無しTEXT部分だけを圧縮するときは低解像度２値画像を用いることができるので、その解像度も考慮し、圧縮率Ｃは圧縮率Ａよりも小さい値を使用する。

なお、第１圧縮コードには、高解像度２値画像と低解像度２値画像とが混在することになるが、作成された圧縮コード１Ａをデコードする際は、高解像度２値画像に合わせた解像度で再現する。なお、好適には、高解像度２値画像が低解像度２値画像（原画像の解像度）に比べて縦横それぞれ整数倍（例えば２倍）の解像度を持つような画像にすれば、容易に解像度変換することができるようになる。

以上のように、第２実施形態によれば、文字領域に対して常に高解像度２値画像を用いるのではなく、文字サイズに応じて適切な解像度の２値画像を用いるようにしたのでメモリを節約することができる。また、縮小画像６１４を使用して文字色抽出を行うため、大きな容量を占める原画像１０１を早期に破棄してメモリを節約することができる。なお、メモリに余裕がある場合は実施例１と同じく原画像６０１から文字色抽出を行ってもよい。

（デコード処理の手順）
第２実施形態の圧縮コード１Ａから画像を復元するデコード処理は第１実施形態と同様である。

尚、第１及び第２実施形態において、ＪＰＥＧ圧縮部分は、ＪＰＥＧ２０００など、多値画像を高い圧縮率で圧縮できる処理であればどの様な手法を選択しても良い。また、ＭＭＲ圧縮部１１２の圧縮手法としては、例えば、ＺＩＰ，ＪＢＩＧ等、可逆で高い圧縮率を持つものであればどの方法を用いても良い。

＜第３実施形態＞
上記第１、第２実施形態では、文字部画像を同色単位にまとめて複数の２値画像１１１を生成し、各画像について圧縮を行っているが、分離をせずパレットカラー画像として圧縮を行ってもよい（特開２００２−０７７６３３号公報参照）。第３実施形態ではそのような圧縮処理を説明する。第１実施形態との違いは、減色画像生成部７１０が、複数の２値画像１１１ではなく減色画像７１１を１つ生成する点、ＭＭＲ圧縮部１１２の代わりにＺＩＰ圧縮部７１２が設けられている点である。

減色画像生成部７１０は、高解像度２値画像１０８、文字領域座標情報１１８及び文字判定文字色抽出部１０９の結果を用いて減色画像７１１を作成する。以下、減色画像生成部７１０による減色画像７１１の生成処理を説明する。

図５Ａ，Ｂの例では、テキストブロックは５つ（ＴＥＸＴ１〜ＴＥＸＴ５）あり、文字の色は黒、赤、青の３色である。これに文字がない部分をあらわす透過色を加えると計４色となり、１画素を２ビットで表すことができる。減色画像生成部７１０は、高解像度２値画像１０８、文字領域座標情報１１８、文字色情報１２０を使用して、図５Ｇの様に文字部のみでできた１画素２ビットの部分画像を作成する。２ビットの値は色情報で参照されるパレット番号であり、この例では、例えば、０：透過、１：黒、２：赤、３：青のように設定される。

作成された減色画像７１１はＺＩＰ圧縮部７１２により圧縮処理され第１圧縮コード７１９が作成される。最終圧縮データは、文字領域座標１１８、第１圧縮コード７１９、色情報１２０、第２圧縮コード１２１を一つにまとめた、圧縮コード７１Ａとなる。

（デコード手順）
圧縮コード７１Ａからの画像の復元手順は次のとおりである。まず、第１圧縮コード７１９と第２圧縮コード１２１の画像圧縮データを調べて最大解像度を得る。第２圧縮コード１２１のＪＰＥＧデータを、取得した最大解像度に合わせてデコードし、下地画像を得る。第１圧縮コード７１９のデータを、文字領域座標１１８と色情報１２０を参照して、取得した最大解像度に合わせてデコードし文字画像を得る。そして、前記文字画像の透過パレット以外の部分を色情報１２０によって示される色（パレット）に従って色づけし、文字領域座標１１８の位置情報にしたがって、前記下地画像上に上書きする。こうして、圧縮コード７１Ａから画像が復元される。

以上のように、第１〜第３実施形態によれば、文字領域に関して、元の低解像度画像（図２（ａ））を高解像度化（解像度変換）して高解像度画像（図２（ｆ））を作成し、これを２値化した画像（図２（ｇ））が用いられる。このように、元の画像を２値化した画像（図２（ｂ）、（ｃ））の代わりに、高解像度化された画像（図２（ｇ））を使用することにより、圧縮・伸長を経ても可読性のよい画像を得ることができる。また、高解像度化された画像を扱うのでその画像サイズは増えるが、フルカラー画像ではなく減色された画像であることや、元々低解像度または文字の小さな画像部分のみに対して高解像度化画像を使用したりしていることによりその増加量は小さく抑えることができる。よって、判読性に優れた画像を復元可能な高い圧縮率の画像データを得ることができる。即ち、低解像度画像や文字の小さな画像であっても文字品位を落とさず高い圧縮率で圧縮することができる。

尚、上記実施形態では、高解像度化処理部１０５は原画像の全体について高解像度化を行っているが、文字領域抽出部１０４で抽出された文字領域のみに対して高解像度を行うようにしてもよい。又、上記実施形態の圧縮処理は、ＣＰＵ８０３が所定の制御プログラムを実行することで実現されるものとしたが、それらの処理の一部をハードウエア回路によって実現するようにしてもよいことは言うまでも無い。

＜他の実施形態＞
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

第１実施形態による画像圧縮処理の機能構成を示すブロック図である。 低解像度画像を２値化した場合の文字品位の低下を説明する図である。 第１実施形態による圧縮処理の主要部分を示すフローチャートである。 第１実施形態による圧縮処理における減色画像作成処理を説明するフローチャートである。 第１実施形態の画像処理を説明するための元画像の例を示す図である。 図５Ａの元画像に対する領域判別処理の結果例を示す図である。 複数色の文字を含むテキストブロックにたいする分割処理を説明する図である。 テキストブロックの結合結果を示す図である。 結合されたテキストブロックの画像の例を示す図である。 文字部塗りつぶし後の画像（下地画像）を示す図である。 第３実施形態による減色画像の例を示す図である。 第２実施形態による画像圧縮処理の機能構成を示すブロック図である。 第３実施形態による画像圧縮処理の機能構成を示すブロック図である。 本発明の一形態である文書ファイリング装置の概略構成を示すブロック図である。

Claims (9)

1. 多値の原画像の圧縮処理を行う情報処理装置であって、
   前記多値の原画像に対して２値化処理を行うことにより、第１の２値画像を取得する低解像度２値画像取得手段と、
   前記低解像度２値画像取得手段で取得した第１の２値画像に対して領域判別処理を行うことにより、文字領域を検出して当該文字領域の位置情報を得る文字領域抽出手段と、
   前記文字領域抽出手段で得た位置情報に基づいて、前記第１の２値画像における文字部分を抽出し、当該抽出された文字部分に対応する前記多値の原画像の色を求めることにより、前記文字領域内に含まれる各文字の文字色を抽出する文字色抽出手段と、
   前記多値の原画像に対して補間処理を行って高解像度化し、前記低解像度２値画像取得手段で２値化処理を行う際に求めた２値化閾値を用いて当該高解像度化された画像の２値化処理を行うことにより、前記第１の２値画像よりも高解像度の第２の２値画像を取得する高解像度２値画像取得手段と、
   前記文字領域抽出手段で得た位置情報と前記文字色抽出手段で抽出した文字色と前記高解像度２値画像取得手段で取得した第２の２値画像とに基づいて、文字色ごとに高解像度の部分２値画像を生成する色別画像生成手段と、
   前記色別画像生成手段で文字色ごとに生成された部分２値画像に対して第１の圧縮処理を行うことにより文字領域圧縮データを生成する第１生成手段と、
   前記多値の原画像において、前記文字色抽出手段で抽出された前記第１の２値画像における文字部分に対応する部分の画素を、周囲の画素値で塗りつぶし、当該塗りつぶして得た画像に対して第２の圧縮処理を行うことにより背景圧縮データを生成する第２生成手段と、
   前記第１生成手段で生成した文字領域圧縮データと、前記第２生成手段で生成した背景圧縮データと、前記文字領域抽出手段で取得された各文字領域の位置情報と、前記文字色抽出手段で抽出された文字色情報とを用いて、前記多値の原画像の圧縮データを生成する第３生成手段と、を備えることを特徴とする情報処理装置。
2. 前記色別画像生成手段は、前記文字色抽出手段で抽出した文字色の減色処理を行い、当該減色処理後の文字色ごとに前記高解像度の部分２値画像を生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記第３生成手段では、前記文字領域圧縮データを、それぞれに対応する前記文字色情報と対応付けることを特徴とする請求項１に記載の情報処理装置。
4. 前記色別画像生成手段は、更に、同じ文字色の文字領域を結合した場合としない場合の圧縮後のデータ量を推定し、推定されたデータ量に基づいて前記同じ文字色の文字領域を結合するか否か判断し、結合すると判断した場合には、結合後の文字領域に対応する前記高解像度の部分２値画像を生成することを特徴とする請求項１に記載の情報処理装置。
5. 前記色別画像生成手段は、各文字領域に含まれる文字の大きさに基づいて前記高解像度２値画像取得手段で取得した第２の２値画像を用いるか前記低解像度２値画像取得手段で取得した第１の２値画像を用いるか判断し、前記第２の２値画像を用いると判断された文字領域に対しては当該文字領域に対応する位置の前記第２の２値画像に基づいて高解像度の部分２値画像を生成し、一方、前記第１の２値画像を用いると判断された文字領域に対しては当該文字領域に対応する位置の前記第１の２値画像に基づいて低解像度の部分２値画像を生成することを特徴とする請求項１に記載の情報処理装置。
6. 前記第２生成手段は、前記多値の原画像において、前記文字色抽出手段で抽出された前記第１の２値画像における文字部分に対応する部分の画素を、周囲の画素値で塗りつぶし、当該塗りつぶして得た画像を縮小し、当該縮小された画像に対して前記第２の圧縮処理を行うことにより前記背景圧縮データを生成することを特徴とする請求項１に記載の情報処理装置。
7. 前記第２生成手段は、前記原画像を縮小し、当該縮小された画像の中の文字領域を予め定められた画素値で塗りつぶし、当該塗りつぶして得た画像に対して前記第２の圧縮処理を行うことにより前記背景圧縮データを生成することを特徴とする請求項１に記載の情報処理装置。
8. 多値の原画像の圧縮処理を行う情報処理装置の制御方法であって、
   低解像度２値画像取得手段が、前記多値の原画像に対して２値化処理を行うことにより、第１の２値画像を取得する低解像度２値画像取得工程と、
   文字領域抽出手段が、前記低解像度２値画像取得工程で取得した第１の２値画像に対して領域判別処理を行うことにより、文字領域を検出して当該文字領域の位置情報を得る文字領域抽出工程と、
   文字色抽出手段が、前記文字領域抽出工程で得た位置情報に基づいて、前記第１の２値画像における文字部分を抽出し、当該抽出された文字部分に対応する前記多値の原画像の色を求めることにより、前記文字領域内に含まれる各文字の文字色を抽出する文字色抽出工程と、
   高解像度２値画像取得手段が、前記多値の原画像に対して補間処理を行って高解像度化し、前記低解像度２値画像取得工程で２値化処理を行う際に求めた２値化閾値を用いて当該高解像度化された画像の２値化処理を行うことにより、前記第１の２値画像よりも高解像度の第２の２値画像を取得する高解像度２値画像取得工程と、
   色別画像生成手段が、前記文字領域抽出工程で得た位置情報と前記文字色抽出工程で抽出した文字色と前記高解像度２値画像取得工程で取得した第２の２値画像とに基づいて、文字色ごとに高解像度の部分２値画像を生成する色別画像生成工程と、
   第１生成手段が、前記色別画像生成工程で文字色ごとに生成された部分２値画像に対して第１の圧縮処理を行うことにより文字領域圧縮データを生成する第１生成工程と、
   第２生成手段が、前記多値の原画像において、前記文字色抽出工程で抽出された前記第１の２値画像における文字部分に対応する部分の画素を、周囲の画素値で塗りつぶし、当該塗りつぶして得た画像に対して第２の圧縮処理を行うことにより背景圧縮データを生成する第２生成工程と、
   第３生成手段が、前記第１生成工程で生成した文字領域圧縮データと、前記第２生成工程で生成した背景圧縮データと、前記文字領域抽出工程で取得された各文字領域の位置情報と、前記文字色抽出工程で抽出された文字色情報とを用いて、前記多値の原画像の圧縮データを生成する第３生成工程と、を有することを特徴とする情報処理装置の制御方法。
9. 請求項８に記載の情報処理装置の制御方法をコンピュータに実行させるためのコンピュータプログラムを格納した、コンピュータ可読記憶媒体。