JP4097146B2 - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Description

本発明は、文字領域と非文字領域を含む画像を圧縮して外部装置へ転送する機能を有する画像処理装置に関する。

近年、デジタルカメラやスキャナ等の普及に加えてインターネットの高速化も進み、高精細な多値の静止画像がホームユーザにも手軽に扱われるようになった。通常、これらの多値静止画像は、非常に多くの情報量となるため、画像データを転送する際には圧縮符号化してからネットワークを介して転送され、受信側で復号され、モニタ等の表示装置に表示され、あるいは紙等の記録媒体に記録される。

現在、カラー静止画像において最もよく使用されている圧縮符号化方式は、Joint
Photographic Experts GroupのIS(International Standard)10918-1(ITU-T T.81)にて勧告されたJPEGベースラインシステムである。なお、JPEGはベースラインシステムの他にプログレッシブ等の機能を拡充した拡張システム(IS 10918-3:ITU-T T.84)も標準化されている。また、次世代圧縮方式として、JPEGよりも高画質、多機能化が図られたJPEG2000の基本方式(part1)が2000年12月に標準化を完了している(IS 15444-1)。

さて、近年、スキャナ、プリンタ、コピー等の機能を統合した複合機（マルチファンクションプリンタ；ＭＦＰ)の普及がめざましい。このＭＦＰのスキャナ機能を利用したり、スキャナを利用して紙文書等の原稿をスキャンして電子化し、保存・蓄積したり配信する等、デジタル画像データによる文書画像の管理や配信が一般的に行われるようになった。このような場合に、写真原稿やカラー原稿に対応するため、前記JPEG等の多値画像圧縮方式が採用されるようになってきているが、文字等の高周波成分を多く含む画像を高画質に圧縮しようとすると、圧縮率が低くなりファイルサイズが増加する、ファイルサイズを小さく(圧縮率を高く)すると文字の判読性が下がる、といった問題がある。

このような問題の解決に有効な画像圧縮手法として、２値画像圧縮方式と多値画像圧縮方式を組み合わせる手法が考えられる。かかる画像圧縮手法の一つが特許文献１に記載されている手法で、原画像データから抽出したエッジ画像データの２値化信号を２値符号化したデータと、原画像データとエッジ画像データとの差分を表す信号を平滑化してから多値符号化したデータと、上記平滑化された信号及び上記エッジ画像に基づいて復元される画像データと原画像データとの差に基づく補間信号を多値符号化したデータとを、原画像データの圧縮データとして生成する。かかる画像圧縮手法によれば、多値符号化の対象となる信号は高周波成分が少ないため効率的な圧縮が可能であり、一方、２値符号化されたデータにエッジ情報が保存されているため、高圧縮率の場合でも文字の判読性は良好である。

特許第3119373号公報 特開2002-77631号公報

ＭＦＰ等の画像処理装置より画像を受信する外部装置側では、画像の利用目的、処理能力、転送路の速度等に応じて画質に関する要求は多様である。例を挙げれば、
・文字の判読性が良好な範囲内で転送データ量をできるだけ減らしたい。
・転送データ量を抑えつつ文字領域だけは高画質に再生したい。
・転送データ量はある程度増加しても、良好な文字判読性と画像全体のある程度の画質を望む。
・文字領域を高画質、それ以外の領域を低画質で再生し、その後、必要に応じて文字領域以外の画質を向上させたい。
・文字領域のみ文字は判読できるが低画質で再生し、その後、必要に応じて、文字領域の画質を上げ、次に文字領域以外の画質を上げたい。
・文字領域だけを高画質に再生し、その後、必要に応じて他の領域を画質を徐々に向上させて再生したい、等々である。

よって、本発明の目的は、画像を圧縮して外部装置へ転送する機能を持つＭＦＰ等の画像処理装置において、上述したような画質に関する多様な要求に柔軟に対応した画像転送を可能にすることにある。

請求項１の発明は、
１の原画像データに関し、
該原画像データの文字領域を示す文字領域データ、
該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データの有効画素を前記下地画像データの対応した文字領域に上書きすることにより生成された合成画像データと該原画像データとの差分を表す、階層符号化された変換データ、
からなるデータ群を記憶する記憶手段と、
前記記憶手段に記憶されている１の原画像データに関するデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理手段を含む、フォーマット変換処理手段と、
外部装置からの要求に応じて、前記フォーマット変換処理手段により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理手段による符号の選択に関する制御を行う制御手段と、
を有し、
前記フォーマット変換処理手段により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理装置である。

請求項２の発明は、
１の原画像データに関し、
該原画像データの文字領域を示す文字領域データ、
該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データの有効画素を前記下地画像データの対応した文字領域に上書きすることにより生成された合成画像データを透明化したものと該原画像データとの差分を表す、階層符号化された変換データ、
からなるデータ群を記憶する記憶手段と、
前記記憶手段に記憶されている１の原画像データに関するデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理手段を含む、フォーマット変換処理手段と、
外部装置からの要求に応じて、前記フォーマット変換処理手段により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理手段による符号の選択に関する制御を行う制御手段と、
を有し、
前記フォーマット変換処理手段により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理装置である。

請求項３の発明は、
１の原画像データに関し、
該原画像データの文字領域を示す文字領域データ、
該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データを透明化したものと該原画像データの対応した文字領域の画像データとの差分を表す、階層符号化された変換データ、
からなるデータ群を記憶する記憶手段と、
前記記憶手段に記憶されている１の原画像データに関するデータ群中の下地画像データの文字領域の符号を該データ群中の対応した変換データの符号で置換した変更下地画像データを生成し、該変更下地画像データ、該データ群中の文字領域データ、２値の文字画像データ、文字色データの中から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該変更下地画像データの画像ファイルに格納すべき符号を選択するための符号処理手段を含む、フォーマット変換処理手段と、
外部装置からの要求に応じて、前記フォーマット変換処理手段により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理手段による符号の選択に関する制御を行う制御手段と、
を有し、
前記フォーマット変換処理手段により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理装置である。

請求項４の発明は、
１の原画像データに関し、
該原画像データの文字領域を示す文字領域データ、
該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
該原画像データの文字領域の画像データを階層符号化した変換データ、
からなるデータ群を記憶する記憶手段と、
前記記憶手段に記憶されている１の原画像データに関するデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理手段を含む、フォーマット変換処理手段と、
外部装置からの要求に応じて、前記フォーマット変換処理手段により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理手段による符号の選択に関する制御を行う制御手段と、
を有し、
前記フォーマット変換処理手段により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理装置である。

請求項５の発明は、
画像処理装置において、１の原画像データに関し、記憶手段に記憶されている
該原画像データの文字領域を示す文字領域データ、
該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データの有効画素を前記下地画像データの対応した文字領域に上書きすることにより生成された合成画像データと該原画像データとの差分を表す、階層符号化された変換データ、
からなるデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理工程を含む、フォーマット変換処理工程と、
外部装置からの要求に応じて、前記フォーマット変換処理工程により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理工程による符号の選択に関する制御を行う制御工程と、
を有し、
前記フォーマット変換処理工程により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理方法である。

請求項６の発明は、
画像処理装置において、１の原画像データに関し、記憶手段に記憶されている
該原画像データの文字領域を示す文字領域データ、
該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データの有効画素を前記下地画像データの対応した文字領域に上書きすることにより生成された合成画像データを透明化したものと該原画像データとの差分を表す、階層符号化された変換データ、
からなるデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理工程を含む、フォーマット変換処理工程と、
外部装置からの要求に応じて、前記フォーマット変換処理工程により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理工程による符号の選択に関する制御を行う制御工程と、
を有し、
前記フォーマット変換処理工程により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理方法である。

請求項７の発明は、
画像処理装置において、１の原画像データに関し、記憶手段に記憶されている
該原画像データの文字領域を示す文字領域データ、
該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データを透明化したものと該原画像データの対応した文字領域の画像データとの差分を表す、階層符号化された変換データ、
からなるデータ群中の下地画像データの文字領域の符号を該データ群中の対応した変換データの符号で置換した変更下地画像データを生成し、該変更下地画像データ、該データ群中の文字領域データ、２値の文字画像データ、文字色データの中から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該変更下地画像データの画像ファイルに格納すべき符号を選択するための符号処理工程を含む、フォーマット変換処理工程と、
外部装置からの要求に応じて、前記フォーマット変換処理工程により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理工程による符号の選択に関する制御を行う制御工程と、
を有し、
前記フォーマット変換処理工程により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理方法である。

請求項８の発明は、
画像処理装置において、１の原画像データに関し、記憶手段に記憶されている
該原画像データの文字領域を示す文字領域データ、
該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
該原画像データの文字領域の画像データを階層符号化した変換データ、
からなるデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理工程を含む、フォーマット変換処理工程と、
外部装置からの要求に応じて、前記フォーマット変換処理工程により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理工程による符号の選択に関する制御を行う制御工程と、
を有し、
前記フォーマット変換処理工程により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理方法である。

請求項９の発明は、請求項１乃至４のいずれか１項の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。

請求項１０の発明は、請求項１乃至４のいずれか１項の発明による画像処理装置の各手段としてコンピュータに機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

実施の形態に関連して詳細に説明するように、請求項１乃至８の発明によれば、原画像データを効率的に圧縮したデータを用いて１又は複数の画像ファイルを生成し、画質に関する様々な要求に柔軟に対応した画像転送を行うことができる。文字領域と非文字領域の画像データを分離して扱うため、転送データ量を制限した場合にも文字判読性の良好な画像の再生が可能であり、また、転送データ量を増加することにより高品質な文字画像の再生が可能である。請求項４，８の発明によれば、変換データのみを格納した画像ファイルを転送するのみで、高画質の文字画像を再生可能である。請求項３，７の発明によれば、転送するデータを減らすことができる。請求項２，６の発明によれば、透明度を変えることにより再生画質を制御することができる。請求項９，１０の発明によれば、コンピュータを利用し請求項１乃至４の発明を容易に実施することができる等々の効果を得られる。

本発明の実施の形態の説明に先立ち、JPEG2000基本方式（以下単にJPEG2000と記す）の概要を説明する。

図３６は、JPEG2000における圧縮符号化処理の基本ブロック図である。ここでは、入力画像データとしてカラーのRed，Green，Blue(以下RGB)の画像データを扱うもとして説明する。

入力されたRGBの画像データは、タイリング処理部222にて矩形のブロック（タイルと呼ばれる）に分割され、タイル単位で色変換部223に入力される。ラスタ形式の画像データが入力された場合は、タイリング処理部222においてラスタ/ブロック変換が行われる。

JPEG2000においては、タイル単位に独立して符号化又は復号化が可能である。このことは、ハードウェアにより符号化／復号化を行う場合のハード量を削減でき、また、必要なタイルのみ復号して表示することも可能となるなど、JPEG2000の多機能化の一翼を担っている。なお、JPEG2000ではタイリングはオプションであり、タイリングを行わないことも可能である。

次に、画像データは色変換処理部123にて、輝度/色差系の信号に変換される。JPEG2000では、離散ウェーブレット変換(以下ＤＷＴ)に使用するフィルタの種類(5x3と9x7の2通り)に対応して２種類の色変換が定められている。なお、色変換に先立ち、RGBの各信号毎にＤＣレベルシフトが行われる。

色変換後の信号はＤＷＴ処理部224において各コンポーネント毎に離散ウェーブレット変換（ＤＷＴ）を施される。ＤＷＴは２次元にて行われるが、通常は、リフティング演算と呼ばれる演算方法により、１次元フィルタ演算のコンボリューションにて実施される。

図３７は、オクターブ分割されたウェーブレット係数を表す図である。ＤＷＴは、１デコンポジション(分解)レベル毎にLL，HL，LH，HHの４つのサブバンドと呼ばれる方向成分が出力され、LLに対してＤＷＴを再帰的に行うことによって、より低解像度へとデコンポジションレベルをあげていく。解像度の最も高いデコンポジションレベル１の係数を1HL，1LH，1HHと表し、デコンポジションレベル２の係数を2HL，2LH，2HH、等々と表す。なお、図３７は、３デコンポジションレベルのサブバンド分割を示している。また、図３７中の各サブバンドの右肩に記入した数字は解像度レベルを示す。

各デコンポジションレベルのサブバンドを、プレシンクトと呼ばれる矩形領域に分割して符号の集合を作成することが可能である。また、各プレシンクトはコードブロックとよばれる所定の矩形ブロックに分割され、符号化はコードブロック単位で行われる。

さて、ＤＷＴ処理部224から出力されたウェーブレット係数に対し量子化処理部225によってスカラー量子化が行われるが、可逆のＤＷＴが実施される場合にはスカラー量子化は行われないか、量子化ステップサイズを１とした量子化が行われる。また、後段のポスト量子化部227によるポスト量子化によっても、スカラー量子化とほぼ同様な効果が得られる。スカラー量子化のパラメータはタイル単位に変更可能である。

量子化処理部225から出力された量子化後のウェーブレット係数は、エントロピー符号化部226にてエントロピー符号化が行われる。JPEG2000におけるエントロピー符号化方式では、サブバンド内をコードブロックと呼ばれる矩形領域に分割し(但し、サブバンド領域のサイズがコードブロックサイズ以下の場合は分割しない)、コードブロック単位に符号化される。

この符号化においては、図３８に模式的に示すように、コードブロック内のウェーブレット係数はビットプレーンに分解され、ビットプレーンは画質への影響度を表す状態に従って３つの符号化パス(Significance propagationパス，Magnitude refinementパス，Clean upパス)と呼ばれるサブビットプレーンに分割されて、各々でMQコーダと呼ばれる算術符号化方式により符号化される。ビットプレーンはMSB側ほど、また、符号化パスはSignificance propagation，Magnitude refinement，Clean upの順に、重要度(画質への寄与度)が高くなっている。また、各パスの終端は、切り捨て点(トランケーションポイント)とも呼ばれ、後段でのポスト量子化での符号の切り捨て可能な単位となっている。

エントロピー符号化により生成された符号データに対し、ポスト量子化部227にて必要に応じて符号の切り捨て（トランケーション）が行われる。ただし、可逆の符号を出力する必要がある場合にはポスト量子化は実行されない。このように符号化後に符号の切り捨てにより符号量を制御することができ、符号量の制御にフィードバックを必要としない構成(１パスの符号化)であり、これがJPEG2000の特徴の１つである。

符号ストリーム生成処理部228は、ポスト量子化後の符号データに対し、後述するプログレッシブ順序に従って符号の並べ替えとヘッダの付加を行うことにより符号ストリームを生成する。

図１６は、JPEG2000におけるレイヤプログレッションの符号ストリームの模式図である。符号ストリームは、メインヘッダと１以上のタイルのデータで構成される。各タイルのデータは、タイルヘッダと、タイル内符号をレイヤとよばれる符号単位(後述)に区切った複数のレイヤにより構成されており、レイヤ０、レイヤ１・・・というように上位レイヤから順番に並んでいる。レイヤはレイヤ用のタイルヘッダと複数のパケットにより構成されており、パケットはパケットヘッダと符号データから構成されている。

JPEG2000符号ストリームの伸長処理は、圧縮符号化処理の丁度逆の処理となるので、その説明は割愛する。

以下、本発明の実施の形態について説明する。本発明の実施の形態の例として、図１に示すようなサーバ／クライアント環境で用いられる画像処理装置を挙げることができる。図１において、サーバ101はＭＦＰなどの画像処理装置であり、クライアント103はサーバ101より画像のデータを受信し、その画像をモニタ装置104に表示する画像処理装置やパソコンなどである。サーバ101とクライアント103の間の転送路102は、例えばＬＡＮ、イントラネット、インターネットなどのネットワークの回線である。

請求項１乃至２０の発明は、サーバ101として用いられるＭＦＰなどの画像処理装置に関わるものである。

以下、本発明の実施の形態を、いくつかの実施例に関し詳細に説明する。なお、説明の重複を減らすため、説明中で参照される複数の図面において同一部分又は対応部分には同一の参照符号を付し、また、一部の図面を複数の実施例の説明に利用する。

図２は、本実施例に係るサーバ１としての画像処理装置のブロック図である。この画像処理装置は、ＭＦＰ（Multi Function Printer）であり、原稿を読取るスキャナ部50、スキャナ部50から入力された画像データに対し公知のγ補正処理や空間フィルタ処理等の画像処理を行うスキャナ画像処理部51、スキャナ画像処理部51により処理後の画像データに対しエンコード処理（後述）を行うエンコーダ52、画像処理装置全体の動作制御命令やバス59のデータの流れを制御するＣＰＵ53、画像データや符号データを一時的に記憶するワーク領域として使用される揮発性のメモリ54、画像データや符号データ等を保存、蓄積するためのハードディスク装置(ＨＤＤ)55、操作者とのインターフェース手段であって、スタートボタンや動作モードの設定のためのボタン類などを有する操作部56、外部装置に対して転送するための画像ファイルを生成する処理を行うフォーマット変換処理部57、外部転送路を介してクライアント等の外部機器とデータを送受信する外部インターフェース（Ｉ／Ｆ）58、エンコードされた画像のデータのデコード処理を行って画像データを出力するデコーダ59、上記要素51〜59を接続し双方向にデータ転送可能なバス60、デコーダ59より入力する画像データを、公知の色補正処理、γ補正処理、擬似階調処理等を施してからプリンタ62に出力するプリンタ画像処理部61、プリンタ画像処理部61により処理後の画像データを記録紙等の記録媒体へ出力するプリンタ部62、によって構成されている。

次に、ＭＦＰの基本的な動作である複写動作について説明する。

ユーザにより操作部56上のスタートボタン（図示無し）が押下されると、操作部56からの信号をバス60を介して受信したＣＰＵ53は、必要なパラメータの設定等を行った後、所定の複写動作を実行させるための制御を行う。

まずスキャナ部50は、原稿をスキャンして図示しないCCDによって光電変換を行い、デジタル信号であるRed(Ｒ)，Green(Ｇ)，Blue(Ｂ)のカラー画像データへと変換して出力する。スキャナ部50より出力された画像データは、スキャナ画像処理部51にて公知の画像処理を施される。スキャナ画像処理部51による画像処理の内容は、本発明において特に限定されるものではないが、例を挙げれば、CCDから読込まれた反射率属性の信号を濃度属性に変換するγ補正やlog変換、スキャナ光学系のＭＴＦの劣化を補正したりモアレ抑制のための空間フィルタ処理、原稿地肌を除去する地肌除去処理、スキャナの色空間を例えばsRGBなどの標準色空間へと変換する色変換処理等が考えられる。

スキャナ画像処理部51から出力された画像データは、バス60を介して一時的にメモリ54に記憶される。メモリ54に記憶された画像データは、エンコーダ52に入力され、文字画像データ、下地画像データ、変換データに分離、変換され、圧縮符号化される。このようなエンコーダ52の処理（エンコード処理と総称する）については後述する。エンコーダ52からバス60に出力される符号データは一旦メモリ54に記憶された後、メモリ54から読み出されてＨＤＤ55に保存される。これで、原稿の読み取りおよび保存、蓄積が完了したことになる。

このような原稿の読み取りと保存と並行して複写動作を行う場合、メモリ54から読み出された符号データはデコーダ59にも入力されデコード処理が行われる。上記のようなバス60の制御はＣＰＵ53によって行われる。

通常、バスに接続されたメモリへのデータの書き込み及びメモリからのデータの読み込みは、バスに接続された各処理部がＤＭＡ(Direct Memory Access)方式によって数十バイトから数キロバイト単位の一定量のデータ単位で行われる。そのため、バスの接続部はバッファとＤＭＡコントローラで構成されているのが一般的であるが、ここではＤＭＡコントローラなどの図示、説明を省略する。

ＨＤＤ55に保存された符号データは、複写時に紙詰まり等が発生した場合のバックアップ、多ページの原稿を多部数、ページ順に出力するいわゆる電子ソート機能、外部機器へのデータ配信などの目的に使用される。

デコーダ59は、メモリ54から符号データが入力されると、所定の復号および合成処理（これをデコード処理と総称する）を行い、画像データをプリンタ画像処理部61に出力する。プリンタ画像処理部61での画像処理は、スキャナ画像処理部51と同様、本発明において特に限定されるものではないが、例を挙げれば、RGB信号をプリンタの色材信号、例えばCyan(Ｃ)，Magenta(Ｍ)，Yellow(Ｙ)，Black(Ｋ)へ変換しカラーマッチングを行う色補正、墨生成、画像データのγ特性をプリンタ21のγ特性に合わせるためのγ補正、ディザや誤差拡散といったハーフトーンへの変換を行う擬似階調処理等が考えられる。このような画像処理が行われた画像データは、プリンタ部62にて図示しない記録紙などに印字されて出力される。これで複写動作が完了する。

さて、このような複写動作を完了した段階でＨＤＤ55内に画像データが圧縮符号化された状態で保存されている。このようにＨＤＤ55内に画像データを保存しておくことによって、画像データを外部装置へ転送したり、後で必要になった時に再度プリントをすることが可能になる。なお、複写動作を行わず、ＨＤＤ55内に原稿を電子データとして保存することも可能であり、この場合は上に述べたデコーダ59以降の処理は行われない。

次に、エンコーダ52について説明する。図３は本実施例に係るエンコーダ52のブロック図であり、図４はエンコード処理のフローチャートである。

図３を参照すると、エンコーダ52によるエンコード処理の対象となる入力画像データ（原画像データ）は、スキャナ画像処理部51により処理された多値のカラー画像データであり、ここでは一般的なＲ，Ｇ，Ｂ各８bitのカラー画像データとする。

エンコーダ52は、入力画像データの２値化処理を行い、２値画像データを生成する２値画像生成処理部２、その２値画像データから文字領域を検出して文字領域データを生成する文字領域検出処理部３、文字領域の２値の文字画像データと、文字色データ及び下地色データを生成する文字画像生成処理部４、入力画像データから文字画像を除去した多値の下地画像データを生成する下地画像生成処理部５、文字領域の画像の高画質再生を可能にするための多値の画像データ（変換データと総称する）を生成する変換データ生成処理部６、文字画像生成処理部４により生成された２値の文字画像データの可逆圧縮処理（ここではＭＭＲ圧縮処理）のためのＭＭＲ圧縮処理部、下地画像データのJPEG2000圧縮処理を行うJPEG2000圧縮処理部８、変換データのJPEG2000圧縮処理を行うJPEG2000圧縮処理部9，12から構成されている。なお、入力画像データと、エンコード処理の結果データ又はエンコード処理の途中で生成されるデータの一時的な記憶域としてメモリ54が使用される。

以下、図４に示す流れに沿って、エンコード処理の内容と処理に関連した部分の構成について説明する。

エンコード処理の最初の処理ステップS1は、２値画像生成処理部２による２値画像データ生成処理である。２値画像生成処理部２は、例えば、図５に示すように、Ｙ信号変換処理部23、閾値決定処理部21、２値化処理部22から構成される。

メモリ54に記憶された入力画像データは、所定のブロック単位で順次読み出されてＹ信号変換処理部23に入力される。Ｙ信号変換処理部23は、RGB信号である入力画像データをＹ（輝度）信号に変換して１チャネルの信号とする。このRGB信号からＹ信号への変換方法は特に限定されないが、最も簡単な方法の例はJPEG2000に採用されている変換式
Y＝(R+2×G+B+2)/4
による方法である。

変換されたＹ信号に基づいて、閾値決定処理部21によりブロック単位で一つの閾値が決定される。閾値の決定方法は特に限定されないが、例えば、特許文献２に記載されているような、Ｙ信号のヒストグラムをとり、その平均、分散等の統計的性質を利用して閾値を決定する方法、さらに簡易には、ブロック内の全画素の輝度(Y)値の平均値を閾値とする方法や、その平均値に所定の重み演算を行って閾値を求める方法等を利用し得る。

２値化処理部22は、閾値決定処理部21により決定された閾値を用いてＹ信号の２値化処理を行う。このような２値化処理により、例えば図８の（ａ）に示す入力画像データ（原画像データ）に対して、（ｂ）に示す２値画像データが生成される。この２値画像データはメモリ54に記憶される。

なお、Ｙ信号変換処理は必ずしも必要ではなく、RGB各色信号毎に、同様に閾値を決定して２値化処理を行うことも可能である。ただし、各色の２値化結果をそのまま利用したのでは、色毎の２値化結果が相違すると再現画像上で文字エッジに色がつく等の不具合が生じるため、また、２値画像データを保存するためのメモリ量や処理時間が増大するため、２値画像生成処理部２の最終段で３チャネルの２値化結果のＯＲをとるなどして２値化結果を一つにするのが望ましい。

また、Ｙ信号に変換して２値化を行うと黄色の文字などが検出されにくい可能性もある。これを避けるためには、Ｙ信号の生成式を変更したり、Ｙ信号と黄色の補色であるＢ信号の２チャンネルで２値化を行って結果をＯＲするなどの方法が有効である。

なお、メモリ54に記憶された２値画像データは、テンポラリデータであり、エンコード処理の終了後に破棄される。

エンコード処理の次の処理ステップS2は、文字領域検出処理部３による文字領域検出処理である。２値画像生成処理部２において１ページ分の２値化が行われ、メモリ54に入力画像全体の２値画像データが記憶されると、この２値画像データに基づいて文字領域検出処理部３により文字領域が検出される。この文字領域検出の方法は特に限定されるものではなく、従来技術を使用してよい。このような２値画像からの文字領域の検出は、ＯＣＲ処理などでは広く利用されている技術であり、種々の方法が提案されている。

例えば、特許文献２に記載されているような、２値画像データの黒画素の輪郭線追跡を行い、全てをラベリングし、縦、横の幅がある閾値以下の黒画素の集まりを文字とすることにより文字領域を検出する方法等を使用し得る。なお、このようなＯＣＲ処理をベースにした文字領域検出方法によると表の罫線等や線画は文字として認識されにくい。これは、ＯＣＲ処理が線画データを必要としないためである。本発明のように再現画像上での文字の判読性向上を目的とする場合には、線画も文字と同様に扱う方が、文書画像全体の判読性が向上するため望ましい。そのため、文字とは別に線画領域を並行して検出するように構成してもよい。文字ブロックは、ある程度の水平方向の幅と高さを有するブロックとして認識されるが、線画はそのどちらかが０に近い値を持つという性質を有している。このような性質を利用すれば、同様の方法で線画も認識可能となる。

図８の（ｃ）に文字領域検出結果の例を示す。図中の黒い部分が文字領域として検出された部分である。この文字領域検出結果は、図８（ｃ）に示すような２値画像データ(ビットマップ)の形式でメモリ54に記憶されるが、各領域の座標データに変換した形式で記憶することも可能である。

なお、ビットマップ形式の文字領域データは、保存のためのメモリ量が大きくなるが、文字領域の形の自由度が高いほか、後段の処理(文字画像、下地画像、変換画像生成処理)で利用しやすい等の利点がある。これに対し、座標形式の文字領域データは、保存のためのメモリ量は少なくなるものの、矩形以外の文字領域への対応が困難であり、また、矩形であっても斜めに配置された文字領域では４点の座標の指定が必要となるが、この場合には後段の処理で文字領域の判別が面倒になる。このようにビットマップ形式と座標形式には一長一短がある。なお、エンコード処理中は文字領域データをビットマップ形式で記憶しておき、処理終了後に文字領域データを座標形式に変換するようにしてもよい。また、最終的にビットマップ形式で保存する場合に、文字領域データに対し２値の可逆圧縮を行って必要メモリ量の削減を図るようにしてもよい。

エンコード処理の次の処理ステップＳ３は、文字画像生成処理部４、下地画像生成処理部５及び変換データ生成処理部６による処理である。文字領域検出処理が終了すると、メモリ54より、予め定められたブロック単位で、入力画像データ、文字領域データ、２値画像データがそれぞれ読み出され、それらデータを利用して文字画像生成処理部４、下地画像生成処理部５、変換データ生成処理部６が並行して処理を実行する。

図６は文字画像生成処理部４のブロック図である。図示のように、文字画像生成処理部４は、文字画像抽出処理部31、文字色算出処理部32及び下地色算出処理部33からなる。

文字画像抽出処理部31は、文字領域データと２値画像データが入力し、文字領域データがオンかつ２値画像データがオンの画素位置で出力がオンになる。すなわち、文字領域（図８(c)の黒部分)のみで、２値画像データの黒画素(図８(b)の黒部分)だけが黒の２値の文字画像データを生成する。図８の(d)に文字画像データの例を示す。

文字色算出処理部32においては、文字画像データがオンの画素（有効画素）を参照画素位置とし、入力画像データの参照画素の値から文字色を算出する。文字色の算出方法は、特許文献２に記載されていような、参照画素に関するRGB３次元ヒストグラムの最大値を文字色とする方法や、より簡易な、参照画素の画素値の平均値を文字色とする方法を使用し得る。

なお、後者の画素値の平均値を文字色とする方法の場合、文字エッジ部の画素を参照画素に含めると、下地の色との混色等が発生し、本来の文字色とは異なる文字色を算出するおそれがある。これを回避するには、図９に模式的に示すように、文字の芯部のみ文字色算出時の参照画素とするとよい。ここで、文字の芯部の判定は、例えば、エッジから所定画素内部の画素とすればよい。細線文字等では文字画素が１ないし２ドットしかない場合も存在するが、そのような場合はエッジの中心の画素を参照画素とすればよい。このように文字画像の芯部のみのデータから文字色を算出することによって、下地色の影響を受けずに正確な文字色の算出が可能となる。

下地色算出処理部33においては、文字画像データがオフの画素（無効画素）を参照画素位置とし、入力画像データの参照画素の値から文字領域の下地色を算出する。この下地色の算出方法は、参照画素の画素値の平均値を下地色とする方法を利用し得る。但し、文字色算出処理の場合と同様、文字エッジ部を参照画素に含めると文字エッジ部の色の影響を受けて本来の下地色を算出できないため、文字エッジから所定距離内の画素は参照画素としない方が望ましい。

このようにして、２値のビットマップ形式の文字画像データと、各文字領域毎に１つの文字色データと１つの下地色データが得られる。なお、入力画像データはRGB各８bit、合計２４bitであるが、文字色データ及び下地色データは、bitを間引いて24bitよりも少ないbit数のデータとしてもよい。この場合、文字画像生成処理部４の入力段で入力画像データのbit間引き処理を行ってもよい。

図７は下地画像生成処理部５のブロック図である。下地画像生成処理部５には、文字画像生成処理部４により出力される下地色データと、文字領域データと、入力画像データが入力される。セレクタ41は、文字領域データがオンの画素位置で下地色データを選択して出力し、文字領域データがオフの画素位置で入力画像データを選択して出力する。かくして、図８の(e)に示すような下地画像データがセレクタ41より出力される。生成される下地画像データは、入力画像（原画像）から各文字領域の文字画像を除去し、各文字領域をその下地色で埋めた画像（下地画像）の多値の画像データである。図８（ｅ）に模式的に示すように、下地画像データにおいて、文字領域の下地色がその周囲の色と多少異なることがある。これは必ず起こるわけではないが、その可能性は低くはない。

図１０は変換データ生成処理部６のブロック図である。図示のように、本実施例に係る変換データ生成処理部６は、２値の文字画像データと文字色データから多値の文字画像データを生成する多値化処理部60、その多値の文字画像データと下地画像データの合成処理を行う合成処理部61、合成処理部61から出力される合成画像データと入力画像データの差分を演算する差分演算処理部61、差分演算処理部62から出力される差分データの正負符号を判定する正負判定処理部63、差分データの絶対値を求める絶対値化処理部64、正負判定処理63の判定出力が”正”の画素位置で差分演算処理部62の出力データ（正の差分）を選択し、それ以外の画素位置でダミーデータを選択するセレクタ65、符号選択処理部62の判定出力が”負”の画素位置で絶対値化処理部64の出力データ（絶対値化された負の差分）を選択し、それ以外の画素位置でダミーデータを選択するセレクタ66、文字領域データがオンの画素位置でセレクタ65，66の出力データをそれぞれ選択し、文字領域データがオフの画素位置でダミーデータをそれぞれ選択するセレクタ67，68から構成される。セレクタ67の出力データが＋差分データであり、セレクタ68の出力データが−差分データである。この＋差分データと−差分データが本実施例における変換データである。

この変換データ生成処理部６の動作をさらに説明する。多値化処理部60は、２値の文字画像データのオンの画素（有効画素）を文字色データに置き換え、オフの画素を白データに置き換えることにより、多値の文字画像データを生成する。合成処理部61は、多値化処理部60により多値化された文字画像データの非白の画素位置では、そのデータを出力し、文字画像データの白の画素位置では下地画像データを出力する。すなわち、合成処理部61より出力される合成画像データは、下地画像データに、多値化された文字画像データの有効画素を上書きした多値の画像データである。

差分演算処理部62は、合成処理部61から出力された合成画像データと入力画像データの差分データを
差分データ＝（入力画像データ）−（合成画像データ）
の演算により生成する。この差分データは、正、負の値をとり得る。本実施例では、正の差分成分を＋差分データ、負の差分成分を−差分データとして扱う。正の差分データはそのままセレクタ65に入力され、負の差分データは絶対値化処理部64にて絶対値化されてからセレクタ66に入力される。そして、前述のように、セレクタ65は差分データの符号が正の場合は差分データを出力し、負の場合はダミーデータを出力し、また、セレクタ66は符号が正の場合はダミーデータを出力し、負の差分データを出力する。セレクタ67、68は文字領域データがオンならばセレクタ65，66の出力データをそのまま出力し、文字領域データがオフならばダミーデータを出力する。そして、セレクタ67の出力データが最終的に＋差分データとして出力され、セレクタ68の出力データが最終的に−差分データとして出力される。

図１１において、（ａ）は入力画像データにおける「鮮」の画像を示し、（ｂ）は文字画像生成処理部4により生成される２値の文字画像データにおける「鮮」の画像を示し、また、（ｃ）と（ｄ）は変換データ生成処理部６により生成される「鮮」の画像の＋差分データと−差分データを示す。この例では入力画像（原画像）の下地は白としているが、下地が色つきの入力画像の場合には文字領域の下地の差分も＋差分データ、−差分データに反映される。

図１２は、差分データの説明のための模式図である。図１２において（ａ）は入力画像データ、（ｂ）は２値の文字画像データ、（ｅ）は入力画像データと２値文字画像データとの差分成分、（ｃ）は＋差分データ、（ｄ）は絶対値化された−差分データをそれぞれ表している。

図１１及び図１２から理解されるように、＋差分データは、主に文字の中心部の“２値化と文字色設定によってデータが低くなってしまった部分”と“２値化によって文字エッジ部が白データとなってしまった部分”に発生する。一方、−差分データは、“文字のエッジ部で2値化によってデータが増加した部分”に発生する。なお、両差分データは、２値化処理の手法や閾値の設定方法によって、その出力形態が変わると考えられる。

図１３に、図８(a)の入力画像に対して処理をした場合の１ページ全体の＋差分データと−差分データの例を模式的に示す。

エンコード処理の最後の処理ステップS4では、エンコーダ52において、変換データ生成処理部６により生成された＋差分データと−差分データはJPEG2000圧縮処理部９，１２によりJPEG2000方式で圧縮処理されてメモリ54に記憶され、文字画像生成処理部４により生成された２値の文字画像データはＭＭＲ圧縮処理部７によりＭＭＲ方式で圧縮処理されてメモリ54に格納される。下地画像生成処理部５により生成された下地画像データはJPEG2000圧縮処理部８によりJPEG2000方式で圧縮処理されてメモリ54に記憶される。このようにしてメモリ54に一旦格納された各データは、その後、ＨＤＤ55に転送され保存される。

なお、２値の文字画像データを圧縮せず、そのままメモリ54に格納することも可能であるが、メモリ量の削減等の面で圧縮処理を行うのが好ましい。JPEG2000圧縮処理部８，９，１２として、共通のJPEG2000圧縮処理部をタイムシェアで使用する構成としてもよい。また、２値の文字画像データの圧縮処理方式は、ＭＭＲ方式に限らず、JBIG方式やJBIG2方式等の２値画像を対象とした圧縮方式であればよい。また、２値文字画像データや変換データのメモリ54への書き込みは、必ずしも画像１ページ分に対して実施する必要はなく、文字画像データや変換データの有効な領域である文字領域のみメモリ54に書き込むように構成してもよく、このほうが圧縮率を向上させるためには有利である。

また、下地画像データおよび変換データの多値圧縮処理にJPEG2000を用いる利点は大きい。JPEG2000は画質プログレッシブな階層符号化が可能であり、かつ、符号の取捨選択が可能であるため、後述のように、エンコード処理により生成されたデータをクライアントへ転送する場合に、クライアント側の要求に応じて、符号データのまま圧縮率を変更したり、画質向上のために符号データの追加送信を行うといった処理を容易に実行できる。ただし、JPEG2000に代えて、階層符号化と符号の取捨選択が可能な他の圧縮符号化方式を利用してもよい。

次に、デコーダ59について説明する。図１４は、本実施例におけるデコーダ59のブロック図である。図示のように、デコーダ59は、ＭＭＲ伸長処理部45、JPEG2000伸長処理部46，70，71、多値化処理部47、合成処理部48、合成処理部48、セレクタ49から構成される。このデコーダ59には、メモリ54より読み出された文字画像データ、文字色データ、文字領域データ、下地画像データ、＋差分データ、−差分データが入力される。

文字画像データは、ＭＭＲ伸長処理部45により２値のビットマップデータに伸長されて多値化処理部47に入力される。多値化処理部47において、文字画像データの文字の部分を多値の文字色データに置換し、非文字の部分を多値の白データに置換することにより、２値の文字画像データは多値の文字画像データに変換される。下地画像データは、JPEG2000伸長処理部46により伸長されて合成処理部48に入力される。

合成処理部48において、下地画像データに多値の文字画像データの有効画素（非白）を上書きする合成処理が行われ、その合成画像データ（１）は次段の合成処理部73に入力される。

合成処理部73には、合成画像データ（１）に加え、JPEG2000伸長処理部70，71により伸長された＋差分データ及び−差分データが入力され、次の演算
合成データ(2)＝（合成データ(1)）＋（＋差分データ）−（−差分データ）
により、合成データ（２）が生成される。

セレクタ49は、文字領域データがオンの画素位置（文字領域）で合成データ（２）を、文字領域データがオフの画素位置（非文字領域）で下地画像データを、それぞれ選択し出力画像データとして出力する。

この±差分データが合成された出力画像データにより再現される文字領域の画質は、±差分データが合成されない場合に比べ向上する。すなわち、±差分データの合成を行わない場合には、文字画像は図１１（ｂ）に示すような画像となり、２値化によるノッチやジャギー、太り等の画質劣化が目立つ。しかし、±差分データの合成により、図１１（ａ）に示すような原画像上の文字画像に極めて近い高画質の文字画像が再生される。

以上説明したエンコード処理およびデコード処理によって、例えば、下地画像データと±差分データに対して可逆圧縮処理を行えば、画像を文字画像、下地画像に分離し、それぞれ圧縮処理した画像データに対しても可逆の変換を行うことが可能となる。

本来、本発明のような文字画像と下地画像とに分離する方式は、ＬＡＮやインターネット等の帯域の狭い転送路を介して画像データを転送する際に有効な方法であり、前述のような複写動作のみを目的とするならば、画像を分離する必要は特になく、単一の多値の圧縮方式で圧縮伸長処理を行った方が好ましい場合もある。しかし、ＨＤＤ55に保存した画像データを、画像データ形式を大きく変更したり、再スキャン等をすることなく、複写動作に利用でき、かつ、外部装置へ転送することもできる点は大きな利点である。

なお、本実施例においては、＋差分データと−差分データをそれぞれ多値画像データとして別々に圧縮して保存した。しかし、同一画素で＋差分データと−差分データの両方が値を持つことはないので、＋差分データと−差分データを一つの差分データとして扱うようにしてもよい。具体的には、例えば次の二つの方法を採用し得る。

(a)差分の正負符号ビットを２値のデータとして可逆圧縮し、＋差分データと、−差分データの絶対値を一つの差分データに結合し、それを多値圧縮処理する方法。

(b)＋差分データと−差分データを正負符号付きで結合し、その差分データをシフトおよび正規化して多値圧縮する方法。例えば、結合後の差分データは、−255〜＋255の範囲の値を有するが、この差分データに255を加算し、２ビットシフト（２で除算）した後に多値圧縮することができる。なお、圧縮処理側で正負の値や８bit以上の値に対応するようにしてもよい。

ただし、いずれの場合もデコーダでの合成処理時に上記変換に対応する必要がある。なお、(b)の方法の場合には、圧縮処理によって正負符号が反転する可能性がある。具体的には、文字の色味が補色方向へ変化することになり、画質劣化を招く恐れがあるため、差分データをどのように扱うかは注意が必要である。

次に、図２を参照し、クライアントへのデータ転送時のサーバ側の画像処理装置の動作の概要を説明する。クライアントより送信要求および画質(または圧縮率、ファイル容量)のパラメータを外部転送路102を介して受信すると、ＣＰＵ53は、必要なパラメータをセットした後、ＨＤＤ15から文字画像データ（文字色データ含む）、下地画像データ、＋差分データ、−差分データのうち、今回の転送に必要とするデータの符号データを読み出し、バス60を介してメモリ54へ書き込む。メモリ54に書き込まれた符号データはフォーマット変換処理部57へ転送され、クライアント103へ転送するためのフォーマットの１以上の画像ファイルが生成される。この画像ファイルは再びメモリ54に書き込まれた後、外部Ｉ／Ｆ58より外部転送路102を介してクライアントへ転送される。なお、画質パラメータによっては、＋差分データと−差分データの一方又は両方が必要でないとＣＰＵ53にて判断された場合は、必要のない差分データの転送は行われない。フォーマット変換処理部57における画像ファイル生成の制御はＣＰＵ53により行われる。なお、ここまで言及しなかったが、ＣＰＵ53が各種制御を行うためのプログラムは、ＣＰＵ53に内蔵されたＲＯＭに格納されているか、ＨＤＤ55より必要に応じてメモリ54に読み込まれ、ＣＰＵ53により実行される。

図１５は、フォーマット変換処理部57のブロック図である。図示のように、フォーマット変換処理部57は、ＭＭＲ圧縮処理された文字画像データと、非圧縮の文字領域データ及び文字色データとから、文字画像コードを生成する文字画像コード生成処理部80、JPEG2000圧縮処理された符号データ（下地画像データ、＋差分データ及び−差分データ）に対する符号の取捨選択（圧縮率制御の符号のトランケーション、分割転送のための符号分割）を行うための符号処理部81，82，83、上記各部80，81，82，83の出力データおよびＣＰＵ53から転送されるヘッダデータを結合処理して１以上の画像ファイルを生成し、それを内部に一時的に保持する結合処理部84からなる。

このフォーマット変換処理部57の処理動作は次の通りである。まず、処理に先立ち、ＣＰＵ53からヘッダデータがフォーマット変換処理部57へ転送され、結合処理部84に記憶される。次に、メモリ54より下地画像データが符号処理部81へ送られ、ＣＰＵ53により予め設定されたパラメータに従い必要なトランケーション処理を施された後に結合処理部84に記憶される。次に、文字画像データ、文字色データ、文字領域データがメモリ54から文字画像コード生成処理部80へ転送され、文字画像コードに変換されて結合処理部84に記憶される。この文字画像コードとは、一つの文字領域における、文字色データ、ＭＭＲ圧縮された２値の文字画像データを一つのセットとしてコード化したものである。次に、＋差分データがメモリ54から符号処理部82へ転送され、ＣＰＵ53予め設定されたパラメータに従って必要なトランケーション処理を施された後に結合処理部84に記憶される。最後に、−差分データが符号処理部83へ転送され、予め設定されたパラメータに従って必要なトランケーション処理を施された後に結合処理部84に記憶される。上記トランケーションは圧縮率を変更するための処理であり、必要がなければトランケーションは行われない。なお、ＣＰＵ53で、画質パラメータから、＋差分データ、−差分データのうち必要がないと判断したデータについては、上記処理は行われない。

次に、符号処理部81〜83におけるトランケーションによる圧縮率の変更について簡単に説明する。トランケーションの対象となるデータはJPEG2000圧縮処理された符号ストリームである。JPEG2000で規定されているレイヤ（ＬＲＣＰ）プログレッションの符号ストリームは、図１６に模式的に示すように、メインヘッダと画像を分割した複数のタイルで構成される。タイル符号は、タイルヘッダとタイル内符号をレイヤとよばれる符号単位に区切った複数のレイヤにより構成されており、レイヤ０、レイヤ１・・・というように上位レイヤから順番に並んでいる。レイヤ符号の構成は、レイヤ用のタイルヘッダと複数のパケットにより構成されており、パケットはパケットヘッダと符号データから構成されている。レイヤは画質を制御する単位であるので、下位のレイヤよりレイヤ単位に符号の切り捨て(トランケーション)を行うことにより、圧縮率を変更することができる。

結合処理部84より出力される画像ファイル、すなわちクライアント側へ転送される画像ファイルのフォーマットを図１７に模式的に示す。図示のように、画像ファイルは、先頭にヘッダデータ、次に下地画像データ、文字領域対応の文字画像コード群、＋差分データ、−差分データが順番に並んだ構造である。なお、フィルフォーマットはこれに限定されるものではなく、様々な形態が考えられる。例えば、下地画像データ、＋差分データ、−差分データは、タイリングを伴ったJPEG2000圧縮を行い、同一アドレスのタイルの下地画像データ、＋差分データ及び−差分データ（いずれも符号データ）を連続して配置する構成としてもよい。また、＋差分データと−差分データを、文字領域のみのデータとしてもよく、この場合は、同じ文字領域の文字画像コードと±差分データを連続して配置する構成としてもよい。

なお、ＣＰＵ53で、画質パラメータから、＋差分データ、−差分データの一方又は両方を必要でないと判断した場合には、必要でないと判断した差分データは画像ファイルに格納されない。

上記画像ファイルを転送されたクライアント側では、デコード処理により画像を再生することになる。このデコード処理のために、図１４に示したようなデコーダをクライアント側に用意することも可能であるが、本実施例に係るクライアント側の画像処理装置は異なった構成をとる。

図１８は、本実施例に係るクライアント103としての画像処理装置（以下、クライアントと呼ぶ）のデコード処理に関連した構成を示すブロック図である。図示のように、本実施例に係るクライアントは、外部転送路102を介してデータを送受信する外部インターフェース（Ｉ／Ｆ）110、外部から受信したデータを記憶するメモリ111、ＭＭＲ伸長処理及びJPEG2000伸長処理を行う伸長処理部112、ビデオメモリ114、ビデオメモリ114の書き込み操作を制御するラスタオペレーション処理部113、上記各要素の制御を行うＣＰＵ115を含む構成である。

図１９は、このような構成のクライアント103におけるデコード処理の流れを示すフローチャートである。図２に示す構成の画像処理装置（以下、サーバ101）より画像ファイルが外部転送路102を介して外部Ｉ／Ｆ110にて受信され、そのデータが一旦メモリ111に記憶される。以下、図１９に沿ってデコード処理動作を説明する。

ステップS101で、ＣＰＵ115はメモリ111から下地画像データ（JPEG2000符号ストリーム）を読み出して伸長処理部112へ転送する。

ステップS102で、伸長処理部112は、下地画像データのJPEG2000伸長処理を行い、伸長した下地画像データをラスタオペレーション処理部113へ出力する。

ステップS103で、ラスタオペレーション処理部113は、入力された下地画像データをビデオメモリ114に上書きする。なお、ビデオメモリ114に書き込まれた画像データは、モニタ104に逐次表示される。

ＣＰＵ115は、１ページ分の下地画像データの処理が終了したことを検知すると、ステップS104で、メモリ111から１つの文字領域に対応した文字画像コードを読み出し、その文字画像データ（ＭＭＲ符号ストリーム）を伸長処理部112へ、その文字色データ及び文字領域データをラスタオペレーション処理部113へ、それぞれ出力する。

ステップS105で、伸長処理部112は、入力された文字画像データのＭＭＲ伸長処理を行い、伸長された文字画像データをラスタオペレーション処理部113へ出力する。

ステップS106で、ラスタオペレーション処理部113は、文字画像データを文字色データにより多値化し、多値化後の文字画像データを、ビデオメモリ114の文字領域データで指定された領域に上書きする。ここで、上書きされるのは文字画像データの黒画素の部分のみであり、文字画像データの白画素の部分は下地画像データの画素情報がビデオメモリ114上に残る。

ステップS107で、ＣＰＵ115は、全ての文字画像コードに関する処理が終了したか判断し、未処理の文字画像コードが残っている場合には、未処理の一つの文字領域に対応する文字画像コードについてステップS104〜S107の処理を繰り返すように制御する。

ＣＰＵ115は、ステップS107で全ての文字画像コードの処理を終了したと判断すると、ステップS108でメモリ111から＋差分データを読み出して伸長処理部112へ出力する。

ステップS109で、伸長処理部112は、＋差分データのJPEG2000伸長処理を行い、伸長された＋差分データをラスタオペレーション処理部113へ出力する。

ステップS110で、ラスタオペレーション処理部113は、入力された＋差分データに対応する画素位置の画像データをビデオメモリ114より読み込み、その画像データと＋差分データとを加算し、加算後の画像データをビデオメモリ114に書き出す。

CPU115は、＋差分データの処理が全て終了したことを検知すると、ステップS111で、メモリ111から−差分データを読み出して伸長処理部112へ出力する。

ステップS112で、伸長処理部112は、−差分データのJPEG2000伸長処理を行い、伸長された−差分データをラスタオペレーション処理部113へ出力する。

ステップS113で、ラスタオペレーション処理113は、入力された−差分データに対応する画素位置の画像データをビデオメモリ114から読み出し、その画像データから−差分データを減算し、減算後の画像データをビデオメモリ114に書き出す。

以上で、クライアント103でのデコード処理が終了し、サーバ101から受信した画像の表示が完了する。

なお、画質パラメータによっては、＋差分データ、−差分データの一方又は両方が格納されない画像ファイルが受信される。この場合、格納されていない差分データに対する処理は行われないことになる。また、デコード処理における伸長処理およびラスタオペレーション処理を、ＣＰＵ115によりソフトウェア処理として実行してもよい。

ここで、画像転送時の圧縮率と、クライアント側で再生される画像の品質に関して説明を補足する。

本実施例に係るサーバ101では、例えばクライアント103からの要求が低画質（高圧縮率)である場合、差分データをまったく格納しない画像ファイルを転送することが可能である。

この画像に対して差分データを合成することにより、文字画像の表現を２値の状態から多値の状態へ変化させ、文字画像のノッチやジャギーを抑制して滑らかなエッジを再現することが可能となる。そして、この効果は、差分データの圧縮率によって変化する。差分データは多値圧縮を行うので、高圧縮率時にはエッジがなまったデータになり、上記の文字画像の画質向上効果は小さいが、差分データの圧縮率を下げるにつれてエッジ部が鮮鋭化され、画質向上効果が大きくなる。すなわち、高圧縮率時に２値文字の判読性は良いが画質劣化の存在する画像を、圧縮率を低下させていくことにより、文字の判読性を落とさずに高画質化させていくことができる。そして、この画質制御を実質的に無段階に行うことができる。

このような差分データの圧縮率と再生文字画像の画質の変化を図２０に示す。図２０において、（ａ）は差分データが利用されない場合の文字画像、（ｂ）は高圧縮率での文字画像、（ｃ）は中圧縮率での文字画像、（ｄ）は低圧縮率での文字画像である。（ｅ）は原画像中の文字画像（入力画像データ中の文字画像）である。低圧縮率では、原文字画像に極めて近い高画質の文字画像を再生できることが分かる。

また、入力画像を文字画像と下地画像に分離する場合に、多少の誤判定は避けられないものである。例えば、図８（ａ）に示す入力画像データにおいて、図２１に円で囲って示す部分で誤判定が生じたとする。文字部を非文字部と判定した部分（”写機”の部分）では文字がボケてしまったり、非文字部を文字部と判定した部分（複写機の絵のトレイの部分）では絵柄が劣化し、違和感を感じさせてしまう。本実施例の構成によれば、圧縮率を下げるに従って、非文字部と誤判定された文字部のみならず、文字部と誤判定された非文字部でも、その画質が入力画像データに近い画質まで向上する。このことは、文字色が誤って認識された場合でも同様である。このように、本実施例によれば、低圧縮率時の画質劣化を抑制するとともに高圧縮率時の文字判読性を向上させる、圧縮率のスケーラビリティを持つ画像圧縮が可能である。

ここまでは、サーバ101からクライアント103へ、１回の転送動作で画像を転送する場合について説明したが、クライアント（ユーザ）側の画質（もしはく圧縮率）の要求に応じて、画像のデータを複数の画像ファイルに分割して転送することも可能である。

図２２は、そのような分割転送シーケンスの一例を模式的に示す図である。サーバ101（図２に示した本実施例に係る画像処理装置）は、クライアント103より画像送信要求と画質のパラメータを受信する（ア）。この例では、画質のパラメータは「低画質」を指定している。これに応答して、サーバ101は、文字画像のデータと、下地画像データの一部符号（上位レイヤの符号）のみを格納した画像ファイルを送信する（イ）。クライアント103側では、受信したデータのみを用いてデコード処理を行い、より高画質を必要とするならば画質向上要求を送信する（ウ）。この例では、「中画質」が要求される。この要求に応答し、サーバ101は下地画像データの追加符号（既に送信済みのレイヤより下位のレイヤの符号）と差分データの一部符号（上位レイヤの符号）を格納した画像ファイルを送信する（エ）。クライアント103側でデコード処理を行い、さらに高画質を必要とするならば、再び画質向上要求を送信する（オ）。この例では、「高画質」が要求される。これに応答して、サーバ101は、差分データと下地画像データの残りの符号（残りの下位レイヤの符号）を格納した画像ファイルを送信する（カ）。

クライアント側におけるJPEG2000圧縮処理された下地画像データの伸長処理について説明を補足する（差分データも同様）。（イ）の段階で受信した下地画像データの上位レイヤの符号のエントロピー復号により得られたウェーブレット係数の上位ビットプレーンは保存されているので、（エ）の段階では受信した下地画像データの下位レイヤの符号のエントロピー復号のみを行い、得られたウェーブレット係数の下位ビットプレーンと保存されている上位ビットプレーンを用いて逆ウェーブレット変換処理を行うことにより、画質の向上した下地画像データを生成することができる。（カ）の段階でも、その時に受信したレイヤの符号のみエントロピー復号を行い、得られたウェーブレット係数のビットプレーンと保存されている上位のビットプレーンを用いて逆ウェーブレット変換処理を行うことにより、より高画質の下地画像データを生成することができる。JPEG2000の符号データは、このようなプログレッシブな復号が可能である。この例では、差分データのみならず下地画像データについても圧縮率が順次下げられることになるため、文字領域以外の領域の画質も段階的に向上することになる。

なお、画質を低、中、高の３段階に分けて画像のデータを転送する例を示したが、より多段階に画質を向上させるような分割転送も可能である。逆に、２段階に画質を向上させるような分割転送も可能である。このような分割送信によれば、画質を向上したい場合に画像のデータ全体を再送する方法に比べ、ネットワークのトラフィックを削減し、また、システム全体の処理速度を向上させることができる効果も得られる。JPEG2000の符号ストリームは、レイヤ単位の分割が容易で、画質を徐々に向上させるプログレッシブ復号が可能な階層構造を有するため、下地画像データと差分画像データの圧縮符号化方式としてJPEG2000は好適である。

上に述べたように、本実施例に係る画像処理装置（図２）においては、フォーマット変換処理部57で、１の原画像に対し２以上の画像ファイルを生成し、その画像ファイルを順次転送することができる。そして、生成される画像ファイルの数、及び、各画像ファイルに格納されるデータの内容は、画像転送先のクライアントからの要求などに応じてＣＰＵ53により制御される。これについて説明を補充する。

例えば、図２２に示したような分割転送に対応する場合には、ＣＰＵ53の制御に従って、フォーマット変換処理部57において、下地画像データは符号処理部81により上位レイヤの符号群、中位レイヤの符号群、下位レイヤの符号群に３分割されて結合処理部84に入力され、＋差分データと−差分データは符号処理部82，83により上位レイヤの符号群と、下位のレイヤの符号群に２分割されて結合処理部84に入力される。そして、結合処理部84において、文字画像コードと下地画像データの下位レイヤ符号群を格納した第１の画像ファイル、下地画像データの中位レイヤ符号群と差分データの上位レイヤ符号群を含む第２の画像ファイル、下地画像データの下位レイヤ符号群と差分データの下位レイヤ符号群を格納した第３の画像ファイルが生成され、それら各画像ファイルはメモリ54に記憶される。そして、これら画像ファイルは、例えば図２２に示すようなシーケンスに従ってクライアント側へ転送されることになる。

なお、文字画像コードのみ格納した画像ファイル、下地画像データのみを格納した画像ファイル、差分データのみを格納した画像ファイルも生成できることは明らかである。文字画像コードのみを格納した画像ファイルをクライアントへ転送することにより、クライアント側で画質劣化はあるが文字判読に支障のない文字領域画像を再生することが可能になる。そして、文字領域画像を再生した後に、クライアント側の要求に応じて下地画像データのみ格納した画像ファイルを転送することにより、クライアント側で画質劣化はあるが画像全体を再生することができる。最後に、クライアント側の要求に応じて差分データのみを格納した画像ファイルを転送すれば、原画像に近い高画質の画像を再生することができる。

このように、本実施例に係る画像処理装置によれば、クライアント側の画質に関する多様な要求に柔軟に対応した画像転送が可能である。

ここまでの説明から明らかなように、本実施例は、請求項１に記載の発明の一実施例である。そして、この発明におけるフォーマット変換処理手段はフォーマット変換処理部57に対応し、制御手段はＣＰＵ53（及びそのプログラム）に対応し、符号処理手段は符号処理部81，82，83に対応し、記憶手段はメモリ54に対応する。また、モノクロの原画像を扱う場合には文字色データを省くことができる。また、２値の文字画像データは最も効率的な圧縮が可能であるが、３値化または４値化した文字画像データを用いることも可能であり、これは後記各実施例においても同様である。

本実施例は、請求項５に記載の発明の一実施例でもある。この発明におけるフォーマット変換処理工程はフォーマット変換処理部57における処理に対応し、符号処理工程はフォーマット変換処理部57内の符号処理部81，82，83による処理に対応する。

さて、本実施例では、２値画像データから図８（ｃ）に示すように矩形の文字領域を検出し、個々の文字領域における文字色と下地色をそれぞれ１色とした。しかし、このような構成では、デコード処理で差分データ（変換データ）を使用しない場合に、文字領域内で文字色や下地色が変化する原稿で不具合が生じることがある。このような不具合を補うため、文字領域をより小さな矩形領域に分割して検出することも考えられるが、それでは文字画像データの圧縮効率が低下するという不利がある。特許文献２においても、そのような不具合が指摘され、それを改善するため、文字領域内で色パレットを作成し、その色パレットに基づいて減色画像を作成し、それを圧縮する方法が記載されている。

本実施例に係る図２に示した画像処理装置において、上記不具合を改善する方法として特許文献２に記載の方法を利用することも可能であるが、さらに好適な方法としては、エンコーダ52（図３）の文字画像生成処理部４において、各文字領域内毎に、色パレットを作成し、その色パレットに基づいて文字色別に文字画像データを生成し、それを個別にＭＭＲ圧縮処理を行うとよい。この処理について図２３により説明する。

図８(a)に示した入力画像データ中の最初の文字領域内の“カラー複写機”の文字色が、図２３（ａ）に示すように、“カラー”のみ赤、“複写機”のみ黒であると仮定する。この場合、上に述べたように文字色別に文字データを生成すれば、図２３（ｂ）に示すような黒文字の文字画像データと、図２３（ｃ）に示すような赤色文字の文字画像データとが生成されることになる。

このように、同じ文字領域について、文字色の異なる複数の文字画像データが生成される。このことは、画像再現の際に文字色の異なる文字画像が重なり合うことはないので問題はないが、デコード処理や変換データ生成処理などはやや複雑になるのが難点である。この点を解消するため、文字色別に文字領域を再定義するような構成を採用することも有効であるが、より好適な構成例を次に示す。

＜実施例１の変形例＞
ここに述べる変形例に係る画像処理装置の全体構成は前記実施例１と同様な図２に示す構成であり、全体的な動作も前記実施例１と同様である。

図２４は本変形例に係るエンコーダ52のブロック図である。図２４と図３を対比すれば明らかなように、本変形例に係るエンコーダ52は、文字画像生成処理部４より出力される文字色データをJPEG2000圧縮処理するためのJPEG2000圧縮処理部13が追加されている。また、本変形例では、文字画像生成処理部４は、文字領域単位ではなく、所定のブロック単位で、文字色および下地色を算出し、そのデータを出力する構成とされる。以下、前記実施例１との相違点についてのみ説明する。

図２５は、文字画像生成処理部４における文字色、下地色の算出方法を説明するための模式図である。図２５（ａ）は、赤色文字“カラー”と黒文字“複写機”が含まれる文字領域を示している。このような文字領域では、前記実施例１によれば赤と黒の混色が文字色として算出されてしまう。

本変形例においては、文字領域を図２５(a)に細線で示したようなブロックに分割し、ブロック毎に文字色および下地色の算出を行う。すなわち、文字画像生成処理部４における文字色および下地色の算出単位が、文字領域単位からブロック単位に変更される。

図２５(b)は文字色の算出処理結果を模式的に示している。図中、斜線のブロックは文字色が赤となったブロックであり、黒く塗りつぶされたブロックは文字色が黒となったブロックである。白抜きのブロックは２値画像データにオンの画素が無いブロック、すなわち文字画像のないブロックである。

文字画像生成処理部４の文字色算出処理部32（図６）は、前記実施例１と同様の文字色算出処理を文字領域単位ではなく各ブロックを単位として行い、各ブロック内の全ての画素について同じ文字色データを出力する構成とされる。つまり、本変形例における文字色データは、各ブロック内を一色の文字色にて塗りつぶした多値の画像データとなる。なお、文字が存在しないブロックでは、ダミーデータや白データなどを文字色データとして出力してもよいが、周囲のブロックと同じ文字色データを出力するのが文字色データの圧縮率を向上できる点で好ましい。

また、文字画像生成処理部４の下地色算出処理部33（図６）は、前記実施例１と同様の下地色算出処理を文字領域単位でなくブロック単位で行い、各ブロック内の全ての画素について算出した下地色データを出力する構成としてもよいが、２値の画像データがオンの画素の位置では算出した下地色を下地色データとして出力し、それ以外の画素位置では入力画像データをそのまま下地色データとして出力する構成とすると、文字領域の下地色と周囲色の相違を最小にすることができる。なお、文字の周囲の数画素の位置では、入力画像データではなく下地画像データを出力する構成としてもよく、かかる構成は文字エッジ部の色の影響を受けにくくなる点でさらに好適である。

文字画像生成処理部４から出力された文字色データは、JPEG2000圧縮処理部13によってJPEG2000圧縮処理され、文字色データとしてメモリ54へ記憶される。したがって、本変形例のエンコーダ52によりエンコードされたデータのデコード処理においては、文字色データに対するJPEG2000伸長処理が必要となる。なお、文字色データの圧縮処理の前に文字色データの間引き処理を行ってデータ量を削減してもよい。

本変形例に係る変換データ生成処理部６（図１０）は、入力される文字色データが前記実施例１とは異なるのみで、その構成及び動作は実質的に前記実施例１と同様である。

なお、文字色データは変化が少ないので効率的な圧縮が可能であるが、文字色データを圧縮せずに、１ブロックにつき一つの文字色データをメモリ54に記憶させるようにしてもよい。この場合は、デコード処理において文字色データの伸長処理は不要になる。

文字色を算出するブロックのサイズは特に限定されないが、ブロックサイズが大きいほど文字色算出の精度は悪くなり、例えば文字色の異なる文字が隣り合って存在する場合に混色等が生じやすくなる。逆に、ブロックサイズを小さくすれば、文字色が同じブロックでもブロックによって算出される文字色に差が生じる可能性が高くなり、その結果、文字色データの圧縮率が低下し、また、文字色算出のためのハード量も増加する。下地色を算出するブロックのサイズも限定されないが、ある程度大きなサイズとする必要がある。文字色データ算出のブロックサイズと下地色データ算出のブロックサイズを異なるサイズとすることも可能である。文字色算出と下地色算出のブロックサイズは、入力画像データの解像度、処理のためのハードウェアの規模、変換データを使用せずに画像を再現した場合に期待される画質等を考慮し、総合的に決定するのがよい。

本変形例によれば、同じ文字領域内で複数色の文字色が使用された原稿や、同じ文字領域内で下地色が変化する原稿の画像を、変換データ（差分データ）を使用せずに再現した場合でも、前記実施例１に比べ、より自然な文字色の文字画像を再現でき、また、文字領域とその周囲との不自然な下地色の差も生じにくくなる。

本変形例における文字色データ及び下地色データの生成に関わる構成は、後記各実施例においても同様に適用し得るものである。

本変形例も請求項１，５に記載の発明の一実施例に相当することは明らかである。

ここでは、画像の重ね合わせ処理でしばしば使用される”透明度”を変換データの生成処理に利用する実施例について説明する。

本実施例に係るサーバ側画像処理装置の全体構成は、図２に示した前記実施例１に係る構成と同様である。また、本実施例に係るクライアント側画像処理装置は、図１８に示した前記実施例１に係る画像処理装置と同様である。また、サーバ／クライアント間接続態様も前記実施例１と同様である。

本実施例に係るサーバ側画像処理装置のエンコーダ52の構成を図２６に示す。図２６と図３を比較すれば明らかなように、本実施例に係るエンコーダ52は、変換データ生成処理部６に文字画像の透明度αと変換データの透明度βが入力されること（α，βはエンコード処理に先立ちＣＰＵ53（図２）より指定される）、変換データ生成処理部６より出力される変換データは一本であるため、その圧縮処理手段はJPEG2000圧縮処理部９のみであることが、前記実施例１に係るエンコーダの構成と相違する。また、変換データ生成処理部６は、図２７に示す構成とされる。

さて、透明度であるが、一般的に透明度は0.0から1.0の値をとることができ、その値が低いほど画像の透明度が上がる。例えば、透明度の値が0.0ならば完全に透明化され、1.0ならば完全に不透明化される。

透明度を使用した画像の合成方法の一例によれば、画像(1)の透明度を透明度(1)、画像(2)の透明度を透明度(2)とすると、両画像の合成画像は下式で表される。

合成画像＝画像(1)×透明度(1)＋画像(2)×透明度(2)
本実施例では、この合成方法を用いるものとする。ただし、合成方法はこれのみに限定されるものではない。また、透明度に代えて、透明度の逆数である”不透明度”を指定し、それを用いて同様の画像合成を行うことも可能である。

さて、本実施例においては、αは文字画像データのとり得る透明度の最小値が指定され、βは変換データのとり得る透明度の最大値が指定される。例えば、αが0.5〜1.0の値を取り得る場合はα＝0.5が指定され、βが0.0〜0.5の値をとり得る場合はβ＝0.5が指定する。なお、簡略化のために、αのみ指定し、β＝(１−α)として処理を行うようにしてもよい。

本実施例に係る変換データ生成処理部６は、図２７に示すように、多値化処理部60、合成処理部61、乗算器150、変換データ演算処理部151、セレクタ42からなる構成であり、ＣＰＵ53により指定される透明度αは乗算器150に入力され、透明度βは変換データ演算処理部151に入力される。

多値化処理部60及び合成処理部61は、前記実施例１に係る変換データ生成処理部（図１０）の対応部と同様の構成要素である。乗算器151は、合成処理部61の出力データ、すなわち、２値の文字画像データを文字色データを用いて多値化した文字画像データと下地画像データとの合成画像データに、文字画像用の透明度αを乗算し、透明化された合成画像データを出力する手段である。変換データ演算処理部151は、この透明化された合成画像データと、入力画像データと、変換データ用の透明度βを用い、所定の演算を行うことにより変換データを生成する手段である。

このような変換データ生成処理部６の変換データ生成処理動作は次の通りである。処理に先立ち、ＣＰＵ53から透明度α，βが設定される。

次に、２値の文字画像データと文字色データから多値化処理部60によって多値の文字画像データが生成され、この文字画像データと下地画像データとの合成画像データが合成処理部61より出力される。

次に、この合成画像データに透明度αを乗算することにより透明化された合成画像データが乗算器150より出力される。

次に、変換データ演算処理部161において、この透明化合成画像データと透明度βと入力画像データ（原画像データ）を用い、
変換データ＝（入力画像データ−透明化合成画像データ）／β
の演算により変換データが生成される。

文字領域データがオンの領域つまり文字領域で、この変換データがセレクタ42より出力される。非文字領域ではダミーデータがセレクタ42より出力される。

このように、本実施例における変換データは、
変換データ＝｛入力画像データ−α×（文字・下地合成画像データ）｝／β
である。したがって、この変換データと、文字画像データ、下地画像データ、透明度α，βに基づいて、入力画像データを再現可能である。

次に、本実施例に係るフォーマット変換処理部57は、前記実施例１に係る図１５中の変換データの符号処理手段として符号処理部82，83の一方のみ設けた如き構成であるが、ＣＰＵ53より入力されるヘッドデータには透明度α，βが含まれる。その動作は前記実施例１の場合と同様であるが、結合処理部84により生成される画像ファイルは、前記実施例１に係る図１６に示したフォーマット中の差分データが変換データに置き換えられたフォーマットであり、ヘッダデータに透明度α、βの値が記述される。

ただし、本実施例のように透明度を用いる場合は、ファイルヘッダに記述する透明度の値は、圧縮率に応じて変化させるのが好ましい。すなわち、圧縮率の高いときにはαを大きく、βを小さくして、２値化文字画像データと下地画像データの影響を大きくし、圧縮率が低くなるに従ってαを小さく、βを大きくしていくのがよい。変換データの生成時にα＝０．５、β＝０．５とした場合は、α＋β＝１となるようにαとβの関係を設定するのがよい。

次に、本実施例に係るクライアント側画像処理装置について説明する。図２８は、その動作を示すフローチャートである。なお、本実施例に係るクライアント側画像処理装置の構成は図１８に示した前記実施例１の構成と同様でよい。

本実施例に係るクライアント側画像処理装置おいては、受信した文字画像データと変換データを指定された透明度α、βを用いて合成した後、その合成画像データを受信した下地画像データの文字領域を上書きすることによって画像を再現する。

以下、図２８に沿って説明する。処理に先立ち、ＣＰＵ115は、受信した画像ファイルのヘッダより透明度α，βを読み取り、それをラスタオペレーション処理部113に設定する。ステップS101〜107は前記実施例１に係る図１９中の対応ステップにおける処理動作と同様であるので説明を割愛し、ステップS208以降の処理について説明する。

ＣＰＵ115は、ステップS107で文字画像コードの処理が全て終了したことを検知すると、ステップS208でメモリ111から変換データを読み出して伸長処理部112に出力する。ステップS209で、伸長処理部112は変換データのJPEG2000伸長処理を行い、伸長した変換データをラスタオペレーション処理部113へ出力する。ステップS210で、ラスタオペレーション処理部113は、ビデオメモリ114より文字領域データに対応した画素位置（文字領域）の画像データ（以下ビデオメモリデータ）を読み出す。ステップS211で、ラスタオペレーション処理部113は、そのビデオメモリデータと変換データから、以下の演算により
合成画像データ＝α×ビデオメモリデータ＋β×変換データ
合成画像データを生成する。ステップS212で、ラスタオペレーション処理部113は、その合成画像データをビデオメモリ114の対応画素位置に上書きする。これで画像の再生が完了する。

以上に説明したように、本実施例では＋差分データ、−差分データに代えて一種類の変換データを用いるが、前記実施例１と同様な効果を達成できることは明らかである。

また、説明を繰り返さないが、本実施例に係る画像処理装置においても、前記実施例１と同様、１の原画像に対し２以上の画像ファイルを生成することにより、画像を分割転送できることも明らかである。

ここまでの説明から明らかなように、本実施例は請求項２，６に記載の発明の一実施例に相当する。

次に、透明度を用いる別の実施例について説明する。本実施例に係るサーバ側画像処理装置の全体構成は図２に示した前記実施例１に係る構成と同様であり、そのエンコーダ52の全体構成は図２６に示した前記実施例２に係るエンコーダの構成と同様である。ただし、エンコーダ52の変換データ生成処理部６は図２９図に示す構成とされる。また、フォーマット変換処理部57は図３０に示す構成とされる。

図２９に示すように、本実施例に係る変換データ生成処理部６においては、多値化処理部60により多値化された文字画像データに乗算器201で透明度αとの乗算を施すことにより透明化文字画像データ（＝α×文字画像データ）が生成される。そして、変換データ演算処理部202において、透明化文字画像データ、入力画像データ及び透明度βを用い、
変換データ＝（入力画像データ−透明化文字画像データ）／β
の演算により変換データが生成される。

本実施例に係るフォーマット変換処理部57は、図３０に示すように、文字画像コード生成処理部80、セレクタ211、符号処理部212及び結合処理部213からなる構成である。文字画像コード生成処理部80は前記実施例１と同様である。セレクタ211は、文字領域データがオンの画素位置つまり文字領域でJPEG2000圧縮処理された変換データを選択し、文字領域データがオフの画素位置つまり非文字領域ではJPEG2000圧縮処理された下地画像データを選択する。

このセレクタ211の出力データを、ここでは”変更下地画像データ”と呼ぶ。この変更下地画像データは、符号処理部212によって、ＣＰＵ53により設定されたパラメータに従って符号の取捨選択（トランケーション、分割）され、選択された符号が結合処理部213に入力される。結合処理部213は、１の原画像に対し、１又は複数の画像ファイルを生成するが、その典型的なファイルフォーマットは、ヘッダデータに続けて変更下地画像データ、文字画像コードを並べた形式である。文字画像コードのみを格納した画像ファイルも生成可能である。変更下地画像データを２以上の画像ファイルに分割して格納することも可能である。透明度α，βはヘッダデータに記述される。

変更下地画像データの圧縮率は符号処理部212による符号のトランケーション量を変えることにより制御することができるが、最も高圧縮率とする場合にはセレクタ211で全領域について下地画像データを選択させるようにしてもよい。

本実施例に係るクライアント側画像処理装置は、図１８に示した前記実施例１に係る画像処理装置と同様の構成である。また、サーバ／クライアント間接続態様も前記実施例１と同様である。

図３１にクライアント側画像処理装置の基本的な動作を示すフローチャートである。本実施例に係るクライアント側画像処理装置では、サーバ側より受信した文字画像コードと変更下地画像データを、文字領域にて所定の透明度で合成することによって再現画像を生成する。以下、図３１に沿って動作を説明する。

処理に先立ち、ＣＰＵ115（図１８）は、受信した画像ファイルのヘッダデータより透明度α，βを読み取り、それをラスタオペレーション処理部113に設定する。

ステップS221で、ＣＰＵ115は、メモリ111から文字画像コードを読み出し、その文字画像データを伸長処理部112へ出力し、また、文字画像コードの文字色データ及び文字領域データをラスタオペレーション処理部113へ出力する。

ステップS222で、伸長処理部112は文字画像データのＭＭＲ伸長処理を行い、伸長された文字画像データをラスタオペレーション処理部113へ出力する。

ステップS223で、ラスタオペレーション113は、ビデオメモリ114の文字領域データで指定された画素位置に、文字色データにて多値化した文字画像データを書き出す。

ステップS224で、ＣＰＵ115は、全ての文字画像コードに関する処理が終了したかどうか判断し、まだ終了していない場合はステップS221〜S223の動作を繰り返すように制御する。

ＣＰＵ115は、ステップS224で文字画像コードの処理が全て終了したことを検知すると、ステップS225でメモリ111から変更下地画像データを読み出して伸長処理部112に出力する。

ステップS226で、伸長処理部112は、変更下地画像データのJPEG2000伸長処理を行い、伸長した変更下地画像データをラスタオペレーション処理部113へ出力する。

ステップS227でラスタオペレーション処理部113は文字領域かどうか判定し、文字領域の場合はステップS228〜230の処理を実行し、非文字領域の場合はステップS231の処理を実行する。

ステップS228で、ラスタオペレーション処理部113は、ビデオメモリ114より、文字領域データと対応する画素位置つまり文字領域の画像データ（ビデオメモリデータ）を読み出す。

ステップS229で、ラスタオペレーション処理部113は、読み出したビデオメモリデータ（文字画像データ）と、入力された変更下地画像データから、
合成画像データ＝α×ビデオメモリデータ＋β×変更下地画像データ
の演算により合成画像データを生成する。

ステップS230で、ラスタオペレーション処理部113は、その合成画像データを、ビデオメモリ114の文字領域に対応する画素位置に上書きする。

ステップS231で、ラスタオペレーション処理部113は、入力された変更下地画像データ（非文字領域）をビデオメモリ114に上書きする。

ステップS232で、ラスタオペレーション処理部113は、変更下地画像データの全ての画素について処理が終了したかどうか判定し、終了していない場合はステップS227に戻り処理を繰り返す。全ての変更下地画像データについて処理が終了した場合は、クライアント側デコード処理は完了となる。

このように、本実施例によれば、クライアント側へ転送すべきデータを文字画像コードと変更下地画像データのみに減らすことができる。

ここまでの説明から明らかなように、本実施例は請求項３，７に記載の発明の一実施例である。変更下地画像データを生成する手段はセレクタ211に対応し、符号処理手段は符号処理部212に対応する。また、セレクタ211による置換操作が変更下地画像データを生成する工程に対応する。

本実施例においては、文字領域の画質向上のための変換データとして、入力画像データの文字領域の画像データそのものが用いられる。

本実施例に係るサーバ側画像処理装置の全体構成は、図２に示す前記実施例１の構成と同様である。

本実施例に係るエンコーダ52は、図３２に示すように前記実施例１と同様の構成であるが、変換データ生成処理部６には入力画像データと文字領域データのみが入力する。変換データは１本であるので、その圧縮処理のために一つのJPEG2000圧縮処理部９だけを備える。なお、前記実施例１に関して述べたように、JPEG2000圧縮処理部8，9を一つの圧縮処理部に統合し、タイムシェア処理により下地画像データと変換データの圧縮を実行させる構成とすることも可能である。

このエンコーダ６におけるエンコード処理は前記実施例１と同様に図４に示すフローに従って実行されるが、ステップS3における変換データ生成処理の内容、つまり変換データ生成処理部６の処理内容が前記実施例１とは異なる。

本実施例に係る変換データ生成処理部６は、図３３に示すように、文字領域データがオンの画素位置でセレクタ42により入力画像データを選択し、文字領域データがオフの画素位置でダミーデータを選択するという、極めて単純な構成である。したがって、本実施例に係る変換データは図８（ｆ）に模式的に示すような画像データとなる。

なお、図８（ｆ）はダミーデータを白データとした場合であるが、ダミーデータは白データに限定されるわけではなく、例えば、RGBそれぞれを中間値の128としたデータとすることもできる。

本実施例に係るデコーダ59の構成を図３４に示す。

図３４（ａ）は、２値の文字画像データ、文字色データ及び多値の下地画像データを用いたデコード処理のための構成を示す。この場合は、ＭＭＲ圧縮処理された２値の文字画像データはＭＭＲ伸長処理部45により伸長される。伸長された２値の文字画像データは、多値化処理部47により、文字画素が文字色データに置換され、非文字画素がダミーデータに置換されることにより、多値の文字画像データに変換される。JPEG2000圧縮処理された下地画像データはJPEG2000伸長処理部46により伸長される。多値化された文字画像データと伸長された下地画像データは合成処理部48に入力される。合成処理部48は、文字画像データがダミーデータの画素位置では下地画像データを出力し、文字画像データが非ダミーデータの画素位置では文字画像データを出力する。つまり、多値化された文字画像データの有効画素のみ下地画像データに上書きした合成画像データが生成される。そして、文字領域データがオンの画素位置つまり文字領域では合成画像データがセレクタ49より出力画像データとして出力され、文字領域データがオフの画素位置つまり非文字領域では下地画像データがセレクタ49より出力画像データとして出力される。

このようなデコード処理の出力画像データの場合、文字領域の画像は２値化された文字画像を多値化したものにすぎないから、図３５の（ａ）に示すような入力文字画像に対して、再生される文字画像は（ｂ）に示すような２値化によるノッチやジャギーの目立つ画像となる。

文字領域について高品質な文字画像を再生したい場合には、図３４（ｂ）に示す構成によるデコード処理が行われる。このデコード処理では、JPEG2000圧縮処理された変換データと下地画像データはJPEG2000伸長処理部44，46によりそれぞれ伸長されて合成処理部49に入力される。合成処理部48は、変換データがダミーデータの画素位置では下地画像データを出力し、変換データが非ダミーデータの画素位置では当該変換データを出力する。そして、文字領域データがオンの画素位置では、合成処理部48の出力データが出力画像データとしてセレクタ49より出力され、文字領域データがオフの画素位置では下地画像データがセレクタ49より出力画像データとして出力される。

このようなデコード処理の場合、変換データは２値化処理を経ることなく多値圧縮された入力文字画像データであるため、変換データの圧縮率が低ければ、図３５（ａ）に示すような入力文字画像に近い高品質の文字画像が再生されることになる。変換データを可逆圧縮した場合には、入力画像と同等画質の文字画像を再生できる。変換データの圧縮率を上げた場合においても、２値化処理に起因するノッチやジャギーのない文字画像を再生可能である。

なお、多値化された文字画像データ中のダミーデータ及び変換画像データ中のダミーデータを白データとすれば、セレクタ49を省き、文字領域、非文字領域のいずれでも合成処理部48による合成画像データを出力画像データとして出力することができる。

本実施例に係るフォーマット変換処理部57は、前記実施例１に係る図１５中の差分データのための符号処理部82，83に代えて、変換データのための符号処理部を設けた構成とすることができる。結合処理部84により生成される画像ファイルのフォーマットは、図１７に示したファイルフォーマット中の差分データを変換データに置き換えたものとなる。なお、クライアント側で要求される画質に応じて変換データのトランケーション量を増減することにより変換データの圧縮率を調整することができる。また、クライアント側で最低画質が要求された場合には、変換データを含まない画像ファイルを生成することも可能である。文字画像コードを含まず、変換データのみ格納した画像ファイルを生成することも、変換データを格納しない画像ファイルを生成することも可能である。変換データを複数の画像ファイルに分割して格納することも可能である。

本実施例によれば、変換データのみを格納した画像ファイルをクライアントへ転送するだけで、クライアント側で文字領域の画像を高品質に再生可能となる。これは前記各実施例では不可能なことである。

本実施例に係るクライアント側画像処理装置は、サーバ側との送受信のためのインターフェースと、受信した画像ファイルを一時的に記憶するメモリと、図３４に示したデコーダを備えた構成とすることも、実施例１に係る図１８に示した構成と同様な構成とすることもできる。いずれの構成とするにしても、クライアント側でのデコード処理動作は以上の説明から明らかであるので、これ以上の説明は割愛する。

ここまでの説明から明らかなように、本実施例は、請求項４，８に記載した発明の一実施例である。

以上説明した各実施例に係るエンコーダ52やフォーマット変換処理部57など、本発明の画像処理装置を構成する手段、並びに、本発明の画像処理方法の処理工程を、パソコンなどのコンピュータを利用して実現することも可能である。そのための１以上のプログラムと、それが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子等々のコンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に包含される。

サーバ／クライアント環境の説明図である。 本発明の実施例１〜４に係るサーバ側画像処理装置のブロック図である。 本発明の実施例１に係るエンコーダのブロック図である。 エンコード処理の流れを示すフローチャートである。 ２値画像生成処理部のブロック図である。 文字画像生成処理部のブロック図である。 下地画像生成処理部のブロック図である。 処理の説明のための模式図である。 文字の芯部の説明図である。 本発明の実施例１に係る変換データ生成処理部のブロック図である。 入力文字画像データ、２値文字画像データ、差分データを模式的に示す図である。 差分データの説明図である。 差分データの模式図である。 本発明の実施例１に係るデコーダのブロック図である。 本発明の実施例１に係るフォーマット変換処理部のブロック図である。 JPEG2000のレイヤプログレッションの符号ストリームの説明図である。 画像ファイルのフォーマットの説明図である。 本発明の実施例１に係るクライアント側画像処理装置のデコード処理に関連したブロック図である。 本発明の実施例１に係るクライアント側のデコード処理のフローチャートである。 圧縮率の違いによる再現画像の画質を説明するための図である。 文字領域の誤検出による影響を説明するための図である。 画像の分割転送シーケンスの例を示す図である。 文字色の異なる文字画像が含まれる文字領域の説明のための図である。 実施例１の変形例に係るエンコーダのブロック図である。 実施例１の変形例における文字色検出を説明するための図である。 本発明の実施例２に係るエンコーダのブロック図である。 本発明の実施例２に係る変換データ生成処理部のブロック図である。 本発明の実施例２に係るクライアント側のデコード処理のフローチャートである。 本発明の実施例３に係る変換データ生成処理部のブロック図である。 本発明の実施例３に係るフォーマット変換処理部のブロック図である。 本発明の実施例３に係るクライアント側のデコード処理のフローチャートである。 本発明の実施例４に係るエンコーダのブロック図である。 本発明の実施例４に係る変換データ生成処理部のブロック図である。 本発明の実施例４に係るデコーダのブロック図である。 入力文字画像データと２値文字画像データの違いを示す図である。 JPEG2000の圧縮符号化処理を説明するためのブロック図である。 ２次元ＤＷＴによるサブバンド分割例を示す図である。 JPEG2000のビットプレーン分解及びサブビットプレーン分解の説明図である。

符号の説明

２ ２値画像生成処理部
３ 文字領域検出処理部
４ 文字画像生成処理部
５ 下地画像生成処理部
６ 変換データ生成処理部
７ ＭＭＲ圧縮処理部
８，９，１２，１３ JPEG2000圧縮処理部
５０ スキャナ部
５１ スキャナ画像処理部
５２ エンコーダ
５３ ＣＰＵ
５４ メモリ
５７ フォーマット変換処理部
５８ 外部インターフェース
８０ 文字画像コード生成処理部
８１，８２，８３ 符号処理部
８４ 結合処理部
２１１ セレクタ
２１２ 符号処理部
２１３ 結合処理部

Claims (10)

1. １の原画像データに関し、
   該原画像データの文字領域を示す文字領域データ、
   該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
   該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
   前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データの有効画素を前記下地画像データの対応した文字領域に上書きすることにより生成された合成画像データと該原画像データとの差分を表す、階層符号化された変換データ、
   からなるデータ群を記憶する記憶手段と、
   前記記憶手段に記憶されている１の原画像データに関するデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理手段を含む、フォーマット変換処理手段と、
   外部装置からの要求に応じて、前記フォーマット変換処理手段により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理手段による符号の選択に関する制御を行う制御手段と、
   を有し、
   前記フォーマット変換処理手段により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理装置。
2. １の原画像データに関し、
   該原画像データの文字領域を示す文字領域データ、
   該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
   該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
   前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データの有効画素を前記下地画像データの対応した文字領域に上書きすることにより生成された合成画像データを透明化したものと該原画像データとの差分を表す、階層符号化された変換データ、
   からなるデータ群を記憶する記憶手段と、
   前記記憶手段に記憶されている１の原画像データに関するデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理手段を含む、フォーマット変換処理手段と、
   外部装置からの要求に応じて、前記フォーマット変換処理手段により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理手段による符号の選択に関する制御を行う制御手段と、
   を有し、
   前記フォーマット変換処理手段により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理装置。
3. １の原画像データに関し、
   該原画像データの文字領域を示す文字領域データ、
   該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
   該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
   前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データを透明化したものと該原画像データの対応した文字領域の画像データとの差分を表す、階層符号化された変換データ、
   からなるデータ群を記憶する記憶手段と、
   前記記憶手段に記憶されている１の原画像データに関するデータ群中の下地画像データの文字領域の符号を該データ群中の対応した変換データの符号で置換した変更下地画像データを生成し、該変更下地画像データ、該データ群中の文字領域データ、２値の文字画像データ、文字色データの中から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該変更下地画像データの画像ファイルに格納すべき符号を選択するための符号処理手段を含む、フォーマット変換処理手段と、
   外部装置からの要求に応じて、前記フォーマット変換処理手段により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理手段による符号の選択に関する制御を行う制御手段と、
   を有し、
   前記フォーマット変換処理手段により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理装置。
4. １の原画像データに関し、
   該原画像データの文字領域を示す文字領域データ、
   該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
   該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
   該原画像データの文字領域の画像データを階層符号化した変換データ、
   からなるデータ群を記憶する記憶手段と、
   前記記憶手段に記憶されている１の原画像データに関するデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理手段を含む、フォーマット変換処理手段と、
   外部装置からの要求に応じて、前記フォーマット変換処理手段により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理手段による符号の選択に関する制御を行う制御手段と、
   を有し、
   前記フォーマット変換処理手段により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理装置。
5. 画像処理装置において、１の原画像データに関し、記憶手段に記憶されている
   該原画像データの文字領域を示す文字領域データ、
   該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
   該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
   前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データの有効画素を前記下地画像データの対応した文字領域に上書きすることにより生成された合成画像データと該原画像データとの差分を表す、階層符号化された変換データ、
   からなるデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理工程を含む、フォーマット変換処理工程と、
   外部装置からの要求に応じて、前記フォーマット変換処理工程により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理工程による符号の選択に関する制御を行う制御工程と、
   を有し、
   前記フォーマット変換処理工程により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理方法。
6. 画像処理装置において、１の原画像データに関し、記憶手段に記憶されている
   該原画像データの文字領域を示す文字領域データ、
   該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
   該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
   前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データの有効画素を前記下地画像データの対応した文字領域に上書きすることにより生成された合成画像データを透明化したものと該原画像データとの差分を表す、階層符号化された変換データ、
   からなるデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理工程を含む、フォーマット変換処理工程と、
   外部装置からの要求に応じて、前記フォーマット変換処理工程により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理工程による符号の選択に関する制御を行う制御工程と、
   を有し、
   前記フォーマット変換処理工程により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理方法。
7. 画像処理装置において、１の原画像データに関し、記憶手段に記憶されている
   該原画像データの文字領域を示す文字領域データ、
   該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
   該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
   前記２値の文字画像データの黒画素を前記文字色データで置換して多値化した文字画像データを透明化したものと該原画像データの対応した文字領域の画像データとの差分を表す、階層符号化された変換データ、
   からなるデータ群中の下地画像データの文字領域の符号を該データ群中の対応した変換データの符号で置換した変更下地画像データを生成し、該変更下地画像データ、該データ群中の文字領域データ、２値の文字画像データ、文字色データの中から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該変更下地画像データの画像ファイルに格納すべき符号を選択するための符号処理工程を含む、フォーマット変換処理工程と、
   外部装置からの要求に応じて、前記フォーマット変換処理工程により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理工程による符号の選択に関する制御を行う制御工程と、
   を有し、
   前記フォーマット変換処理工程により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理方法。
8. 画像処理装置において、１の原画像データに関し、記憶手段に記憶されている
   該原画像データの文字領域を示す文字領域データ、
   該原画像データの文字領域内の文字画像を再現するための２値の文字画像データと多値の文字色データ、
   該原画像データの文字領域をその下地色データで埋めることにより生成された、階層符号化された下地画像データ、
   該原画像データの文字領域の画像データを階層符号化した変換データ、
   からなるデータ群から選択したデータを格納した１又は２以上の所定フォーマットの画像ファイルを生成するものであって、該データ群中の下地画像データ又は変換データについて画像ファイルに格納すべき符号を選択するための符号処理工程を含む、フォーマット変換処理工程と、
   外部装置からの要求に応じて、前記フォーマット変換処理工程により生成される画像ファイルの数、生成される画像ファイルに格納すべきデータの選択、及び、前記符号処理工程による符号の選択に関する制御を行う制御工程と、
   を有し、
   前記フォーマット変換処理工程により生成された画像ファイルを外部装置へ転送することを特徴とする画像処理方法。
9. 請求項１乃至４のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
10. 請求項１乃至４のいずれか１項に記載の画像処理装置の各手段としてコンピュータに機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images