JP4766586B2 - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム及び情報記録媒体 Download PDF

Info

Publication number
JP4766586B2
JP4766586B2 JP2004343893A JP2004343893A JP4766586B2 JP 4766586 B2 JP4766586 B2 JP 4766586B2 JP 2004343893 A JP2004343893 A JP 2004343893A JP 2004343893 A JP2004343893 A JP 2004343893A JP 4766586 B2 JP4766586 B2 JP 4766586B2
Authority
JP
Japan
Prior art keywords
image data
data
character
compression
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004343893A
Other languages
English (en)
Other versions
JP2006157371A (ja
Inventor
幸二 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2004343893A priority Critical patent/JP4766586B2/ja
Publication of JP2006157371A publication Critical patent/JP2006157371A/ja
Application granted granted Critical
Publication of JP4766586B2 publication Critical patent/JP4766586B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、MFPと呼ばれる複写機の複合機やファイルサーバ等、蓄積した画像を外部装置へ配信する機能を有する画像処理装置に関する。
近年、デジタルカメラやスキャナ等の普及に加えてインターネットの高速化も進み、高精細な多値の静止画像がホームユーザにも手軽に扱われるようになった。これらの多値静止画像は、非常に多くの情報量となるため何らかの圧縮符号化処理が行われている。現在、カラー静止画像において最もよく使用されいる圧縮符号化方式は、JPEGベースラインシステム(IS 10918-1：ITU-T T.81)である。なお、JPEGはベースラインシステムの他にプログレッシブ等の機能を拡充した拡張システム(IS 10918-3：ITU-T T.84)も存在する。また、次世代圧縮方式として、JPEGよりも高画質、多機能化が図られたJPEG2000の基本方式(part1)も2000年12月に標準化(IS 15444-1)されている。
通常、画像データを転送する際には、上記のような圧縮方式によって圧縮符号化された画像データがネットワークを介して転送され、受信側で復号されてモニタ等の表示装置に表示され、あるいは、紙等の記録媒体に記録され顕像化される。
ここで、JPEG2000基本方式の概要について説明する。図２５はJPEG2000part1(以下JPEG2000)における圧縮符号化処理のブロック図である。ここでは入力画像データとしてRed,Green,Blue(以下R,G,B)のコンポーネントからなる画像データを例にして説明する。
入力されたRGB画像データは、タイリング処理部301にてタイルと呼ばれる矩形のブロック単位で入力される。ラスタ形式の画像データが入力された場合は、タイリング処理部301においてラスタ/ブロック変換を行う。JPEG2000においては、タイルを単位として独立して符号化、復号化が可能となっている。このことはハードウェアにより符号化、復号化を行う場合にハード量を削減できる効果があるとともに、必要なタイルのみ復号して表示することも可能となるなど、JPEG2000における多機能化の一翼を担っている。なお、JPEG2000ではタイリングはオプションであり、タイリングを行うのは任意となっている。
次に、画像データは色変換処理部302にて輝度/色差系の信号に変換される。JPEG2000では離散ウェーブレット変換(以下DWT)に使用するフィルタの種類(5x3と9x7の2通り)によって２通りの色変換が定められており、例えば可逆変換可能な5x3フィルタを使用する場合は、式(１)によって可逆の色変換を行う。
Ｙ＝|_ (R+2G+B)／4 _|
Ｕ＝Ｒ−Ｇ
Ｖ＝Ｂ−Ｇ 式(１）
但し、|_ｘ_|は、ｘを超えない最大の整数を表す。
なお、上記の色変換に先立ち、RGB各々の信号毎に、信号のダイナミックレンジの半分を減じるDCレベルシフトが施される。例えば入力RGB信号が8bitの場合は、DCレベルシフトは式(２)にて表される。
Ｒ’＝Ｒ−１２８ 式(２)
色変換後の信号に対し、DWT処理部303においてコンポーネント毎にDWT（離散ウェーブレット変換）が行われ、ウェーブレット係数が出力される。DWTは２次元にて行われるが、通常はリフティング演算と呼ばれる演算方法により１次元フィルタ演算のコンボリューションにて実施される。１次元の変換式を式(３)に示す。
Ｌ(k)＝ｘ(2k)＋（Ｈ(k)＋Ｈ(k+1)）／４
Ｈ(k)＝ｘ(2k-1)−（ｘ(2k)＋ｘ(2k-2)）／２ 式(３)
但し、Ｌ(ｋ)は低周波成分、Ｈ(k)は高周波成分、ｘ(k)は画素値、ｋは座標を表す。なお、DWTはダウンサンプリングを伴うため、Ｌ(k)、Ｈ(k)は入力画像と比較して1/2の解像度となる。
図２６は、オクターブ分割されたウェーブレット係数を表す図である。DWTは、１デコンポジション(分解)レベル毎にLL,HL,LH,HHの４つのサブバンドと呼ばれる方向成分が出力され、LLに対してDWTを再帰的に行う事によってより低解像度へとデコンポジションレベルをあげていく。解像度の最も高いデコンポジションレベル１の係数を1HL,1LH,1HHと表し、以下2HL,2LH・・・nHHと表す。なお、図２６は、３デコンポジションレベルに分割した例である。各デコンポジションレベルにおけるサブバンド内は、プレシンクトと呼ばれる領域に分割して符号の集合を形成する事が可能となっている。また、符号化はコードブロックとよばれる所定のブロック単位にて実施される。
DWT処理部303から出力されたウェーブレット係数は、量子化部304によってサブバンド毎にスカラー量子化が行われるが、可逆変換を実施する場合にはスカラー量子化は行わないか“１”により量子化する。また、後段のポスト量子化においても、量子化とほぼ同様な効果が得られる。なお、スカラー量子化はタイル単位にパラメータを変更可能となっている。
量子化処理部304から出力されたウェーブレット係数は、エントロピー符号化部305にてエントロピー符号化が行われる。JPEG2000におけるエントロピー符号化は、サブバンド内をコードブロックと呼ばれる矩形領域に分割し(但し、サブバンド領域のサイズがコードブロックサイズ以下の場合は分割しない。)、コードブロック単位で行われる。
また、コードブロック内のウェーブレット係数は、図２７に模式的に示すようにビットプレーンに分解された後、各ビットプレーンを変換係数の画質への影響度を表す状態に従って３つのパス(Significance propagationパス，Magnitude refinementパス，Clean upパス)に分割し、各々がMQコーダと呼ばれる算術符号化方式により符号化される。ビットプレーンはMSB側ほど、符号化パスはSignificance propagation、Magnitude refinement、Clean upの順に、重要度(画質への寄与度)が高くなっている。また、各パスの終端は切り捨て点(トランケーションポイント)とも呼ばれ、後段のポスト量子化の際の符号の切り捨て可能な単位となっている。
エントロピー符号化された符号データに対し、ポスト量子化部306にて必要に応じて符号の切り捨て（トランケーション）が行われ、これはポスト量子化と呼ばれる。なお、可逆の符号を出力する必要がある場合には、このポスト量子化は行われない。このような符号化後に符号の切り捨てにより符号量を制御することができ、符号量の制御にフィードバックを必要としない構成(１パスの符号化)となっており、これはJPEG2000の特徴の１つとなっている。
ポスト量子化後の符号データについて、符号ストリーム生成処理部307で、所定のプログレッシブ順序(符号データの復号順序)に従った符号の並べ替えとヘッダの付加を行い当該タイル分の符号ストリームを形成する。
さて、近年の複写機は、複写機能やプリンタ機能、スキャナ機能等を１台に集約した、MFP(Multi Function Printer)と呼ばれる複合機の形態をとる割合が高くなっている。また、ハードディスク(以下HDD)等の大容量の記憶手段を備え、複数の画像を記憶(蓄積)しておく事によって、複数部数の原稿を１度だけ読み込みページ順に複数部数の出力を行う”電子ソート”と呼ばれる機能や、用紙ミスフィード(紙づまり)等により複数のプリントがエラーした場合に(高速の複写機等では複数の用紙が同時に機械内部に存在する)、原稿を再読み込みすることなく再プリントを自動的に行うような機能を備えている。
また、１ページ分以上のメモリを備え、画像を回転可能とすることによって、記録紙の縦、横方向を気にすることなく複写動作が可能となる画像回転機能を備えている。画像回転機能は、前述の電子ソート機能と組み合わせることによって、１部毎に記録紙の縦、横方向を切り替えて、回転によって画像を仕分けする回転ソート機能として応用することも可能であり、こうすることによって特殊なフィニッシャーを装備することなく多部数の複写画像の仕分けを効率よく行うことが可能となる。
さらに、スキャンした画像データをパソコンに転送し、E-mailに添付して送信し、またHDD内に蓄積しておき必要に応じてパソコン等に取り込んだりする、ネットワークを経由した文書配信機能、HDD内に蓄積した画像を簡易に再プリントする文書蓄積機能等を備えており、紙文書を電子化した電子文書を扱う機能により操作性が大きく向上している。また、近年スキャン画像だけでなくプリント画像に対しても蓄積、配信等が可能となってきており、今後ますます多機能化が向上していくと思われる。
上記のようなMFPの多機能化のためには、入力画像を一旦、記憶・蓄積する事が必須である。現在主流のMFPにおいては、スキャナの読み込み解像度は600dpiとなっており、A4サイズのカラー原稿での画像データのサイズはおよそ100MB(メガバイト)、A3サイズでは200MBにもなる。したがって、ネットワークを介した画像配信時だけではなく、MFP内部のHDDやテンポラリ用途として用いられる揮発性のメモリに画像を記憶・蓄積する際にも、転送速度向上や記憶容量削減の観点から画像圧縮処理は必須となっている。
さて、複写機等で取り扱われる原稿は、文字原稿、写真原稿、網点印刷原稿の３種類に大別され、これらが混在する原稿もごく一般的に取り扱われる。この混在原稿上の文字、写真、網点に要求される画質評価が異なるため、それぞれの領域を像域分離処理によって識別し、領域毎に最適な処理を施す手法が以前から使用されている。
このような像域分離処理の技術は、種々の手法が開発され多くの特許が出願されているが、像域分離処理とそれにより判定された属性情報による画像処理の例が特許文献１に記載されている。特許文献１には、エッジ領域、網点領域を検出して、非網点領域でかつエッジ領域を文字領域とし、その他の領域を絵柄領域と判定する例が記載されている。また、有彩領域を併せて検出し、文字領域が有彩であれば色文字領域、文字領域が無彩であれば黒文字領域と判定し、空間フィルタ処理、下色除去処理、擬似階調処理等を属性情報(領域判定結果)によって制御する例も記載されている。
一般的には、像域分離の領域判定結果によって以下のように画像処理を制御する。
・文字領域には空間フィルタ処理によって強いエッジ強調処理を行い、スキャナによるMTFの劣化を抑制する。
・網点上には平滑化処理を行い、モアレの発生を抑制する。
・黒文字領域は黒色材のみで出力を行い、版ずれによる画質劣化を抑制する。
・文字領域には、鮮鋭性を重視した擬似階調処理を行う。
・絵柄領域には、階調性重視の擬似階調処理を行う。
なお、特許文献１記載の像域分離処理技術について、電子情報通信学会論文誌 '92/1 Vol75-D-II No.1 pp.39-47 ”文字/絵柄(網点,写真)混在画像の像域分離方式”にさらに詳細な説明が記載されている。
また、特許文献１には、網点領域の代わりに(または網点領域とともに)白地領域を検出し、白地上の文字のみを文字領域として判定する例も記載されている。
特許文献１記載の例に代表されるように、現在の複写機に搭載されている像域分離技術は、概ね以下のような特徴を持っている。
(a) 白地上の文字のみ文字として認識し、網点上の文字は絵柄処理を行う。
(b) エッジ部のみ文字領域とする。
このような扱いをするのは、像域分離処理において完全な判定精度を得ることは不可能であり、度々誤判定を生じて画質劣化を誘引するからである。
原稿上の文字は、白地上にあるものばかりではなく、網点地上や下地に色がついた色地上にも存在することが多い。上記(a)のように判定する理由は、網点を文字領域として誤判定すると、空間フィルタ処理の違いや下色除去処理等の処理における度合いの違いからモアレを生じたり、網点地上に文字領域と絵柄領域の境界部が現れ違和感を感じさせるといった画質劣化を避けるためである。
特に絵柄領域を黒文字領域と誤判定した部分に対しては、前記した通りに両者の処理の違いが大きいため違和感も強くなり、顕著な画質劣化として認識されることになる。また、仮に網点地上の文字を文字と判定出来たとしても、網点地上の文字と下地の網点は近接しているため(接触している場合も少なくないため)、文字周囲の網点が文字領域用の強いエッジ強調処理が施される一方、文字周囲には平滑化処理が行われてしまうため、(像域分離処理のような２値的に処理を切り替える方式では)非常に大きな違和感が残る結果となる。
上記(b)は、小ポイントの文字に対しては(エッジ部のみでなく内部も含めた)全てを文字領域として判定し、大ポイントの文字はエッジ部のみ文字領域とするか、または文字領域として判定しないようにするためである。すなわち、例えば見出し等に使用されるような大きな(大ポイントの)文字であれば、多少版ずれが生じたりエッジ部分がボケてしまっても、小さな(小ポイントの)文字のように、文字が２重に見えたりボケて判読性が落ちることは少なく、人間の目にあまり違和感を感じさせる事は少ない。また、絵柄中の黒い塊(例えば人の髪の毛や瞳の部分等)を黒文字領域と誤判定してしまった場合に、人の髪の毛が浮き出て見えるというような、自然な風合いを損なうことによる違和感(画質劣化)が生じることとなり、出力画像に与える影響(画質劣化)が大きい。つまり、誤判定時の画質劣化を減らす目的で、エッジ部のみを文字領域としている。
文字の太さを判定し、太い文字は文字領域としない方法等も知られている。これも同様の理由からであり、分離仕様上は大きくは変わらないものとなっている。
つまり、現状の複写機、特に高画質を必要とするカラー複写機においては、原稿画像の持つ画像本来の性質による最適な画像処理よりも、画質劣化を抑制する方向で像域分離の仕様が決定されている。
像域分離では補えない画質向上を課題とした発明も従来から多数出願されている。例えば特許文献２には、網点上の文字や色地上の文字、絵柄画像におけるエッジの鮮鋭性と網点モアレの抑制を両立させるため、像域分離によって絵柄と判定された領域に対してエッジ度に応じた適応的な空間フィルタ処理を行う手法が記載されている。この手法に代表されるように、現状の複写機における高画質化を目的とした基本的な処理方法は以下のようなものとなっている。
(c) 白地上の文字エッジは、２値的な像域分離処理により文字領域として判定し、文字に適した画像処理を行う。
(d) 白地上の文字以外は絵柄領域として判定し、多段階の特徴量を算出して適応的に多段階の処理を行う。
なお、像域分離による領域判定結果そのものを多段階にするという方法も考えられるが、現在では採用されていない。その理由は次の通りである。信号線数の増加によるメモリ容量の増大、多段階信号に対応するための画像処理部分の複雑化等、コストアップや処理速度の低下要因となったり、処理の切り替わり部の違和感は緩和されるが誤判定をなくすことは出来ないため、処理レベルが弱くなる可能性がある。例えば、実際には文字領域であっても中間値の特徴量が算出されてエッジ強調の度合いが弱くなったり、黒文字の下色除去が不十分となり版ずれにより文字が2重に見えたりする可能性を無くすことは出来ない。結果的に、処理が複雑化してコストアップや処理速度の低下を招くにもかかわらず、それほど大きな効果が望めないということである。
多機能化を前提としたMFPでも画像圧縮処理が必須要件となっていることは前述した通りであるが、圧縮処理後の後段の画像処理部にて属性情報信号を使用する場合は、属性情報の記憶・蓄積も必要となる。
入力画像データと共に属性情報を保存・蓄積した画像処理装置の一例が特許文献１に記載されている。この例では、スキャナから入力された画像データを非可逆圧縮した圧縮画像データと、その画像データに対して像域分離処理を行って得た属性情報を可逆圧縮したデータとを記憶・蓄積する。
また、MFPのスキャン機能を使用した画像の蓄積、配信が注目されていることは前述した通りである。かつてはモノクロ・文字原稿が主流だったため、文書全体を２値化して、Tiff形式等で２値画像の圧縮を施して蓄積する方法が取られていたので、画像データサイズはあまり問題とはならなかった。しかし、近年、写真等を含むカラー原稿が増加してきたことにより画像配信時の画像データサイズが問題となっている。
カラー原稿に対しては、JPEGベースライン(以下JPEGと略)等の多値画像圧縮方式が採用されているが、以下のような問題があった。
(e)文字等の高周波成分を多く含む画像を高画質に圧縮しようとすると、圧縮率が低くなりファイルサイズが大きくなってしまう。
(f) ファイルサイズを小さく(圧縮率を高く)すると、画質が落ちて文字の判読性が下がってしまう。
例えば、カラーA4原稿を600dpiでスキャンすると、100MB(メガバイト)程度の容量となるが、これをJPEGにて文字画質を重視した圧縮を行うと、圧縮率は概ね1/10〜1/20程度となり、圧縮後の画像データサイズは10MB〜5MBとなる。このような画像データサイズになると、インターネット等の(一般的に)低速なネットワークでの配信や電子メール等に添付して送信するには、ネットワークの負荷が非常に大きくなる。解像度を落として、300dpiでスキャンするならば画像データサイズは1/4となるが、それでもネットワーク負荷が大きい。複数ページを同時に送信する場合には、画像データサイズの大きさは非常に重大である。この問題をJPEGにて解決する方法としては、解像度を低下させたり圧縮率を高くするしかないが、上記(f)の問題が生じる。
最近、JPEG等の多値圧縮法での上記(f)の問題点に対応した構造化圧縮方法が注目されている。例えば特許文献４に記載の圧縮方法においては、スキャナからの入力画像データから文字を抽出し、抽出した文字画像を２値化して圧縮符号化した符号に色情報と位置情報を付加したものを文字画像データとし、入力画像データから文字を消去し、文字を抜き出した部分を下地色で埋めた下地画像データを作成し、この下地画像データと上記文字画像データとを１つの画像ファイルとしてアドビシステムズ社のPDFフォーマット等に適合させた形態へ変換して出力する。
上に述べたような文字画像と下地画像に分離して圧縮画像データを生成する構造化圧縮方式によれば、多値圧縮処理の対象となる下地画像から文字を消去してしまうことにより画像全体から高周波成分が除去されるので、その圧縮率が向上する。また、文字画像は２値化して２値画像圧縮処理を行うことによって、エッジ情報を保存した画像圧縮が可能となるため、文字の判読性を損なわずに高圧縮率の圧縮が可能になる。このような優位性があるが、この方式には次のような課題が残されている。
(g) 文字は２値で再現されるため、判読性は良いが高画質な文字画像を得られない。
(h) 圧縮率を低くしても、画質が向上するのは下地画像のみであり、文字画質は向上しない。
(i) 文字を誤検出した部分に画質劣化が発生し、違和感が残る。
つまり、画像配信を主対象とした構造化圧縮においては、多少の画質劣化が生じても圧縮率を高くすると共に文字の判読性を確保する事が主要な目的となっており、この目的にかなうように文字抽出処理の仕様が決定されている。具体的には、
(j) 白地上の文字のみではなく、網点地上や色地上の文字をも文字画像として抽出する。
(k) 文字のエッジ部のみならず文字内部も(つまり文字全体を)文字画像として抽出する。
上記(j)のようにすると、誤判定(誤抽出)の可能性があるが、下地画像から最大限、文字(高周波を有するエッジ成分)を除去することができる。また、エッジ部のみの抽出ではエッジ部と文字内部との境界部分が下地画像にエッジとして残ってしまい圧縮率の低下を招くが、この回避のため上記(k)のようにする。
なお、像域分離処理と文字抽出処理は、同種の処理であるが、像域分離処理は複写画像を得るための処理に使用される領域判定処理として、文字抽出処理は構造化圧縮処理時に文字画像を抽出するための領域判定処理として、言葉を使い分けることとする。
以上説明したように、像域分離処理と文字抽出処理は、その使用目的に応じた仕様により処理されており、両者を同一とすることは、いずれかの性能を落とすことにつながり不具合が生じる。
さて、前述したMFPの機能は、
(l) 像域分離による適応的な画像処理機能
(m) 電子ソート、画像回転、最印刷等を目的とした圧縮画像データの記憶・蓄積機能
(n) 構造化圧縮画像データによる画像配信機能
にまとめることができる。これらの機能を全て満たしたMFPのシステム構成を考えると、上記(l)と(n)を両立させてシステム上の効率を向上させてユーザが使いやすい、いわゆるユーザビリティを向上させたMFPのシステムとする事が望まれる。
MFPのシステム構成に関する公知文献として特許文献５，６がある。特許文献５には、スキャンデータまたはページ記述言語(PDL)形式にて入力された画像データに対して像域分離処理を行って属性情報を抽出し、それをJBIG等の可逆の圧縮処理を行って保存し、入力画像データをJPEG等の非可逆のビットマップ圧縮処理を施して保存するMFPの例が記載されている。特許文献６にもスキャンデータを対象とした同様な構成を持つMFPの例が記載されている。
しかし、このような構成のMFPは、構造化圧縮処理された画像データを配信しようとすると、配信時に新たに文字抽出処理等を行う必要があり、システ負荷が大きく、システム全体の処理速度(パフォーマンス)低下といった問題がある。このことは特許文献４記載の例でも同様である。また、画像配信時に原稿を再スキャンすることによって対応する事も可能ではあるが、これでは操作性を非常に損ないユーザに負担をかけることになる。また、蓄積した属性情報を使用して文字抽出処理を簡易化する(文字画像を生成する)事も考えられるが、前述した通り、複写動作のための属性情報と画像配信時の文字画像データとは求められる仕様が異なるので、どちらかの性能を損なうことになる。
特許第３４３６８２８号公報 特開平７−９５４０９号公報 特開２００１−１８６３５６号公報 特開２００２−７７６３３号公報 特開２００１−２１１３２９号公報 特開２００２−３５４２６８号公報
本発明は前述の諸点に鑑みなされたもので、その主たる目的は、MFP等の画像処理装置において、処理負荷の増加を抑えつつ、文字の判読性が良好な、さらには圧縮率と画質のスケーラビリティを備えた構造化画像データを生成して外部装置へ転送可能にすること、ユーザの要求に応じて蓄積画像の構造化画像データと非構造化画像データの選択的な転送を可能にすること等々である。
請求項１記載の発明は、
画像データの入力手段、
前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データを生成し、該下地画像データの圧縮符号化データと該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
を有することを特徴とする画像処理装置である。
請求項２記載の発明は、
画像データの入力手段、
前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ及び該入力画像データの文字色を再現するための文字色データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
を有することを特徴とする画像処理装置である。
請求項３記載の発明は、
画像データの入力手段、
前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ、該入力画像データの文字色を再現するための文字色データ、及び、該下地画像データと該文字画像データと該文字色データとから合成される合成画像データと該入力画像データとの差違を縮小するための変換データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ、該変換データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
を有することを特徴とする画像処理装置である。
請求項４記載の発明は、請求項３記載の発明に係る画像処理装置であって、前記変換データは前記入力画像データの圧縮符号化データを伸長した画像データと前記合成画像データとの差分を表すデータであることを特徴とする画像処理装置である。
請求項５記載の発明は、請求項１，２，３又は４記載の発明に係る画像処理装置であって、前記文字画像データは画素のオン、オフにより文字形状を表現する２値画像データであることを特徴とする画像処理装置である。
削除
削除
請求項６記載の発明は、請求項１乃至５のいずれか１項記載の発明に係る画像処理装置であって、前記入力画像データの属性の異なる領域を識別するための属性情報もしくはその圧縮符号化データを生成する第４の処理手段を有し、該属性情報もしくはその圧縮データが前記記憶手段に記憶されることを特徴とする画像処理装置である。
請求項７記載の発明は、
画像データの入力工程、
前記入力工程により入力された入力画像データの圧縮符号化データを生成する第１の処理工程、
前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理工程、
前記第１の処理工程により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理工程により生成された前記文字画像データもしくはその圧縮符号化データを記憶手段に記憶する工程、
前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データを生成し、該下地画像データの圧縮符号化データと該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理工程、
外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送工程、
を有することを特徴とする画像処理方法である。
請求項８記載の発明は、
画像データの入力工程、
前記入力工程により入力された入力画像データの圧縮符号化データを生成する第１の処理工程、
前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理工程、
前記第１の処理工程により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理工程により生成された前記文字画像データもしくはその圧縮符号化データを記憶手段に記憶する工程、
前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ及び該入力画像データの文字色を再現するための文字色データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理工程、
外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送工程、
を有することを特徴とする画像処理方法である。
請求項９記載の発明は、
画像データの入力工程、
前記入力工程により入力された入力画像データの圧縮符号化データを生成する第１の処理工程、
前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理工程、
前記第１の処理工程により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理工程により生成された前記文字画像データもしくはその圧縮符号化データを記憶手段に記憶する工程、
前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ、該入力画像データの文字色を再現するための文字色データ、及び、該下地画像データと該文字画像データと該文字色データとから合成される合成画像データと該入力画像データとの差違を縮小するための変換データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ、該変換データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理工程、
外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送工程、
を有することを特徴とする画像処理方法である。
請求項１０記載の発明は、
画像データの入力手段、
前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データを生成し、該下地画像データの圧縮符号化データと該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
としてコンピュータを機能させるプログラムである。
請求項１１記載の発明は、
画像データの入力手段、
前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ及び該入力画像データの文字色を再現するための文字色データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
としてコンピュータを機能させるプログラムである。
請求項１２記載の発明は、
画像データの入力手段、
前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ、該入力画像データの文字色を再現するための文字色データ、及び、該下地画像データと該文字画像データと該文字色データとから合成される合成画像データと該入力画像データとの差違を縮小するための変換データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ、該変換データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
としてコンピュータを機能させるプログラムである。
請求項１３記載の発明は、請求項１０，１１又は１２記載の発明に係るプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
請求項１，２，７，８記載の発明によれば、蓄積された入力画像データの圧縮符号化データ及び文字画像データもしくはその圧縮符号化データに基づいて、少ない処理負荷で、文字判読性が良好な構造化画像データを生成することができ、生成した構造化画像データを外部装置へ転送することができ、また、必要にならば構造化しない入力画像データの圧縮符号化データ（非構造化画像データ）を外部装置へ転送することもできる。換言すれば、画像転送要求元のユーザは、構造化画像データと非構造化画像データを選択して転送させることができ、その圧縮率を増減させることも可能であるため、画像転送のユーザビリティが向上する。
請求項３，４，９記載の発明によれば、蓄積された入力画像データの圧縮符号化データ及び文字画像データもしくはその圧縮符号化データに基づいて、少ない処理負荷で、文字判読性が良好で、かつ、圧縮率と画質のスケーラビリティを備えた構造化画像データを生成することができ、生成した構造化画像データを外部装置へ転送することができ、また、必要にならば構造化しない入力画像データの圧縮符号化データ（非構造化画像データ）を外部装置へ転送することもできる。
請求項５記載の発明によれば、良好な文字判読性を維持しつつ文字画像データもしくはその圧縮符号化データのデータ量を削減できる。
削除
請求項６記載の発明によれば、入力画像データの属性情報もしくはその圧縮符号化データも蓄積されるため、異属性領域が混在した蓄積画像に対する領域別画像処理の実施等が容易になる。
請求項１０〜１３記載の発明によれば、コンピュータを利用し、請求項１〜３記載の発明に係る画像処理装置を容易に実現可能となる、等々の効果を得られる。
以下、本発明の実施の形態について、MFPを例にして説明する。なお、説明中で参照される複数の図面において同一の参照番号は同一もしくは対応部分を示す。
図１は、本発明の一実施例に係るMFPのブロック図である。このMFPは、その構成要素として、原稿を読取るスキャナ部101、スキャナ部101から入力された画像データに対し公知のγ補正処理や空間フィルタ処理等の画像処理を行うスキャナ画像処理部102、スキャナ画像処理部102により処理後の画像データを圧縮符号化して符号データを出力するエンコーダS103、ページ記述言語形式の画像データを展開処理して圧縮符号化し、符号データを出力するエンコーダP104、MFP全体の動作制御や外部装置との通信、バス111のデータの流れの制御などを行うCPU105、画像データや圧縮符号化された符号データを一時的に記憶するワーク領域などとして使用される揮発性のメモリ106、符号データ等を保存・蓄積するためのハードディスク装置(以下HDD)107、操作者とのインターフェースであり、スタートボタンやMFPの動作モードの設定キーなどからなる操作部108、外部装置に対して符号化された画像データを転送する際に画像データのフォーマットを変換するフォーマット変換処理部109、外部転送路を介してパーソナルコンピュータ(以下PC)等の外部装置から制御コマンドやページ記述言語形式を含む画像データを送受信する外部インターフェース110、接続された構成要素間で双方向にデータ転送可能なバス111、符号データを復号処理して画像データを出力するデコーダ112、デコードされた画像データに対し公知の色補正処理、γ変換処理、擬似階調処理等を行うプリンタ画像処理部113、プリンタ画像処理部113により処理後の画像データを記録紙等の記録媒体へ出力するプリンタ部114、スキャナ部101から入力された画像データから公知の像域分離処理により画像の属性情報を取得する像域分離処理部115を備える構成である。なお、CPU105を制御するプログラムを格納したROMなどのメモリも存在するが図示されていない。
＜複写動作＞ まず、MFPの基本的動作である、原稿読み取り動作および複写動作について説明する。
ユーザにより操作部108上のスタートボタン（不図示）が押下されると、操作部108よりバス111を介して信号を受信したCPU105は、複写動作に先立ち必要なパラメータの設定等を行い所定の複写動作を実施すべくMFP全体の制御を行う。
まずスキャナ部101は、原稿をスキャンして図示しないCCDによって光電変換を行い、デジタル信号であるR,G,B各々8bitのカラー画像データへと変換して出力する。
この画像データに対し、像域分離処理部115は前述したような公知の像域分離処理(領域判定)を行い、画像を画素または所定のブロックを単位とした黒文字領域、色文字領域、網点領域、印画紙領域等の属性を表す属性データをスキャナ画像処理部102へ出力する。
図４(a)は入力画像データ(原稿)の模式図であり、401は大きな(20〜30ポイント程度)見出し文字、402は白地上の一般的な大きさ(10〜12ポイント程度)の文字、403は一般的な大きさの網点地上の文字、404は印刷写真画像を各々表している。この入力画像データに対して像域分離処理を行った場合の(黒文字、色文字を合わせた)文字属性と判定された領域の模式図が図４(b)であり、網点領域と判定された領域の模式図が図４(f)である。
図４(b)は、見出し文字401に関してはエッジ部のみ文字領域と判定し、白地上文字402に関しては文字全体を文字領域と判定し、網点地上文字403および網点写真404は網点領域として判定し文字領域とは判定しない事を示している。なお、白地上文字402は、エッジ部を文字領域として判定した結果として、文字全体を文字領域として判定しているものである。
スキャナ画像処理部102では、スキャナ部101から出力された画像データに対して公知の画像処理が行われる。スキャナ画像処理部102での画像処理は、本発明において特に限定されることはないが、例をあげれば、CCDから読込まれた反射率属性の信号を、濃度属性に変換するγ変換やlog変換、スキャナ光学系のMTFの劣化を補正したり、モアレ抑制を目的とした平滑化処理のための空間フィルタ処理、原稿地肌を除去する地肌除去処理、スキャナの色空間を例えばsRGBなどの標準色空間へと変換する色変換処理等が行われる。また、スキャナ画像処理部102では、像域分離処理部115から出力される属性情報を使用して画像属性に適した処理を行う事が可能となっている。属性情報を使用する処理として一般的なものは空間フィルタ処理である。MFPによる複写動作では、文字部(文字エッジ部)においてはエッジ強調処理により文字鮮鋭性を向上させ、網点部(絵柄部)においては平滑化処理によりモアレ抑制等を行う。
スキャナ画像処理部102から処理された画像データとともに属性データが出力され、これらはバス111を介しメモリ106に一時的に記憶される。ここでの属性データは、プリンタ画像処理部113にて使用される属性データのみを出力すれば良い。例えば、プリンタ画像処理部113が黒文字領域のみ識別すればよい場合には、黒文字領域データの1bitのみ出力すれば良いし、文字領域とその他の識別をすれば良い場合は、黒文字領域データと色文字領域データのORをとって、その1bit信号を出力すれば良い。また、判定した領域全てを多ビットにビット結合して出力しても良い。
メモリ106に記憶された画像データおよび属性データは、エンコーダS103に入力され、各々圧縮符号化される。エンコーダS103では、後述のように文字画像データが生成され、圧縮符号化される。なお、エンコーダS103の詳細は後述する。
エンコーダS103からバス111に出力される画像データ、属性データ及び文字画像データの符号データは、メモリ106に一旦記憶された後、メモリ106から読み出されてHDD107に保存される。メモリ106から読み出された符号データは、HDD107への保存と並行して、画像データと属性データの符号データのみデコーダ112にも入力され復号処理が行われる。上記のようなバスの制御はCPU105によって行われる。
通常、このようにバスに接続されたメモリへのデータの書き込みアクセスは、バスに接続された各処理部がDMA(Direct Memory Access)方式によって数十バイトから数キロバイトの一定データ単位で行われるため、バスの接続部はバッファとDMAコントローラで構成されているのが一般的であるが、説明の簡略化のためDMAコントローラは図示されていない。メモリからデータを読み出す場合にも同様にDMA方式によってアクセスするため、入力バッファメモリが必要となるが図示されていない。
HDD107は、ディスクの中心に近い側と遠い側等で読み出し／書き込み速度が変化したり読み出し／書き込みエラー等を生じる可能性があり、半導体メモリと比較すると同期信号の読み出し／書き込みには向かないデバイスである。そのため、同期信号であるエンコーダS103の出力データのHDD107への書き込みにメモリ106を介在させる。HDD107の保存データの読み出し時も同様である。ただし、１ページ単位でみればHDD107も同期して動作することになる。
HDD107に保存・蓄積された符号データは、複写動作時に紙詰まり等が発生した場合のバックアップのほか、多ページの原稿を多部数、ページ順に出力するいわゆる電子ソート機能等のために利用されるほか、外部機器へのデータ配信や再プリント等のために利用される。
デコーダ112は、メモリ106から画像データと属性データの符号データが入力されると、所定の復号処理を行って画像データおよび属性データをプリンタ画像処理部113へ出力する。
プリンタ画像処理部113での画像処理は、本発明において特に限定されることはない。例をあげれば、RGB信号を、プリンタの色材信号、例えばCyan(以下C),Magenta(以下M),Yellow(以下Y),Black(以下K)の信号へ変換しカラーマッチングを行う色補正処理、墨生成処理および下色除去処理、画像データのγをプリンタ部114のγに合わせるγ補正処理、ディザや誤差拡散といったハーフトーンへの変換を行う擬似階調処理等が考えられる。プリンタ画像処理部113でも、属性データを使用して画像属性に適した処理を行う事が可能となっている。例えば、以下のような例がある。
色補正処理においては、属性に応じて色補正のパラメータを変更し、原稿によるスキャナの読み取り特性の違いを吸収したり、色文字領域に対して極力C,M,Y単色で再生されるようにパラメータを調整したりする。
墨生成処理および下色除去処理では、黒文字領域である場合に版ずれによる画質劣化を抑制する目的でK単色で再生されるように画像データを変更したり文字領域と絵柄領域では下色除去率を変更したりする。具体的には黒文字領域ではCMYのデータを強制的に０とし、色文字領域では高下色除去率を使用して墨量を多く(墨率を高く)したりする。
γ補正処理では、文字用のγと絵柄用のγを異ならせて文字画像のコントラストを強調したりする。
擬似階調処理では文字領域では鮮鋭性を重視した擬似階調処理を施し、絵柄領域においては階調性を重視した擬似階調処理を施す。
逆に、属性情報を使用しないで処理する場合もある。具体的には、誤差拡散処理等の鮮鋭性と階調性を両立した擬似階調処理法を使用して全ての領域を同じ擬似階調処理したり、γ補正や色補正は原稿忠実再現のため変更しない、等である。なお、以上のような処理は公知技術であるので詳細な説明は割愛する。
プリンタ画像処理部113で処理された画像データはプリンタ部114により図示しない記録紙などに印字出力され、複写動作が完了する。
以上説明した複写動作の完了後には、HDD107内に複写動作途中の画像データ、属性データおよび文字画像データ(詳細は後述する)が圧縮符号化された状態で保存されたことになる。前述したように、HDD107内に画像データを保存しておくことによって、画像データをPC等へ転送したり、必要になった時に再プリントをする等が可能になる。なお、原稿をHDD107内に電子データとして保存することのみ必要な場合は、デコーダ112以降の処理は必要ないことになる。
＜スキャン画像のエンコード処理＞ 次に、エンコーダS103と、このエンコーダS103におけるスキャン画像に対するエンコード処理について説明する。ここで、エンコード処理とは、文字データ生成処理(文字データ抽出処理)、画像データ圧縮符号化処理、属性データ圧縮符号化処理の総称である。
図２は、エンコーダS103のブロック図である。エンコーダS103は、その構成要素として、スキャナ画像処理部102により処理された入力画像データをメモリ108より読み込み、その２値画像データを生成する２値画像生成処理部2、その２値画像データを一時的に記憶するメモリ2、このメモリ2より２値画像データを読み込み、その文字領域を検出する文字領域検出処理部3、この文字領域検出の結果に基づいて２値画像データから２値の文字画像データを生成する文字画像データ生成処理部4、２値の文字画像データをMMR方式で可逆圧縮処理するMMR圧縮処理部5、メモリ108よりスキャナ画像処理部102にて処理された入力画像データを読み込み、それをJPEG2000方式で圧縮処理するJPEG2000圧縮処理部6、メモリ106より多ビットの属性データを読み込み、それをJPEG2000圧縮処理するJPEG2000圧縮処理部7を備える。
以下、このエンコーダS103の動作を説明する。メモリ106に記憶された入力画像データは、所定のブロック単位に読み出され、２値画像生成処理部1とJPEG2000圧縮処理部6へ各々入力される。これと並行して、メモリ106より属性データも所定のブロック単位に読み出されてJPEG2000圧縮処理部7へ入力される。このエンコード処理時のメモリ106の読み出し／書き込みはCPU105によって制御される。
図３は、２値画像生成処理部1のブロック図である。２値画像生成処理部1において、まず、所定のブロック単位に入力されたRGB信号を、Ｙ信号変換処理部23により輝度信号であるＹ信号に変換して１チャネルの信号とする。このRGB信号からＹ信号への変換の方法は種々があり特に限定されないが、例えばJPEG2000に採用されている変換式
Ｙ＝（Ｒ＋２Ｇ＋Ｂ＋２）／４
が用いられる。このＹ信号に基づいて、しきい値決定処理部21はブロック単位に一つのしきい値を決定する。しきい値決定方法は種々あり特に限定されない。例えば、特許文献４に記載されているような、Ｙ信号のヒストグラムをとって平均、分散等の統計的性質を利用する方法や、より簡易に、ブロック内全画素の輝度(Y)値の平均値をそのまましい値とする方法、又は、その平均値に所定の重み付け演算をした結果をしきい値とする方法等、従来から知られている方法を利用することができる。このようにして決定されたしきい値を用いて、２値化処理部22でＹ信号の２値化が行われることにより入力画像データの２値画像データが生成され、これはメモリ2に一時的に記憶される。図４(c)は、図４（a)の入力画像データに対する２値化処理により得られる２値画像データの模式図である。
なお、Ｙ信号変換処理は必ずしも必要ではなく、RGB信号各々についてしきい値を決定して２値化処理を行っても良い。この場合、色毎に２値化結果が異なると再現画像上で文字エッジに色がつく等の不具合が生じたり、２値画像データの記憶のためのメモリ量が増加しコストアップや処理速度低下にもつながるので、２値画像生成処理部1の最終段で3チャネルの２値化結果をOR処理する等して、２値化結果を一つにするのが好適である。また、Ｙ信号にして２値化を行うと黄色の文字などが検出しにくいという恐れがある。このような場合は、Ｙ信号の生成式を変更したり、Ｙ信号と黄色の補色であるB信号の２チャンネルで２値化を行い、その結果をOR処理する等しても良い。
図２に戻る。２値画像生成処理部1により”所定単位”分の２値化が行われメモリ2に２値画像データが記憶されると、文字領域検出処理部3にて文字領域検出処理が行われる。この文字領域検出の方法も特に限定されるものではなく、従来技術を使用することができる。２値画像からの文字領域の検出は、OCR処理などでは良く行われる技術であり種々の方法が提案されている。例えば、特許文献４に記載されているように、２値画像データ(図４(c))の黒画素の輪郭線追跡を行って全てをラベリングし、縦と横の幅がしきい値以下の黒画素の集まりのみ文字として、文字領域を検出する方法等を使用すれば良い。なお、OCR処理をベースにした上記のような文字領域検出方法によると、表の罫線等の線画は文字として認識されにくい。これは、OCR処理が線画データを必要としないためであるが、本発明のように再現画像上での文字の判読性向上を目的とする場合、線画も文字と同様の扱いを行った方が文書画像全体の判読性が向上する。そのため、文字の検出と並行して線画領域を検出するように構成しても良い。文字ブロックは、ある程度の水平方向の長さと高さを有するブロックとして認識されるが、線画はそのどちらかのサイズが０に近い値を持つという性質を有している。このような性質を利用すれば、同様の方法で、線画も認識可能となる。図４(d)に文字領域検出結果の例を示す。図中の黒い部分が文字領域として検出された部分である。
なお、上記”所定単位”は、システム構成によって適宜定めれば良い。例えば所定単位を１ページとし、１ページ分全てを２値化処理した後で文字領域検出を行っても良い。しかし、複写動作全体の処理速度を高めるためには、文字領域検出に必要なライン数を所定単位とし、そのライン数分の２値画像生成処理が終了後、直ちに文字領域検出処理を実行するのがより好適である。このような処理形態をバンド単位の処理(バンド処理)等といい、ページ記述言語データの展開時等でよく使用される技術である。
なお、文字領域検出の単位によって、検出可能な文字の大きさが変わってくることになる。１ページ分全てを２値化後に検出する場合は、検出可能な文字の大きさに制限はなくなるが、検出に使用するライン数(以下バンド幅)を減らすと検出可能な文字は小さくなる。しかし、１ページ分全てを２値化後に文字検出を行う場合は、原稿のスキャンが終了しないとプリンタ114のプリント処理が出来なくなるため、生産性が落ちるとともに、メモリ2の必要容量も大きくなることになる。前述したように、大きな文字は、多少ボケても判読性を完全に損なうことはないので、MFPにおいては文字検出に必要なライン数（上記所定単位）をある程度減らして、生産性を向上させた方が良い場合が多い。但し、所定単位を小さくすると、大きな文字は文字として検出されないため、構造化圧縮時の圧縮率は、大きな文字のエッジ成分の影響によりやや低下することになる。このように、文字検出のためのバンド幅はMFPシステム毎に必要とされる文字検出の仕様により決定する必要がある。
文字画像データ生成処理部4にて、検出された文字領域に基づきメモリ2内の２値画像データより文字画像データを生成する処理が行われる。この文字画像データは、文字領域(図４(d)の黒部分)内で、かつ２値画像データのオンの画素(図４(c)の黒部分)がオン、それ以外の画素がオフのビットマップ形式のデータである。図４(e)は、図４(a)の入力画像データより生成される文字画像データの例を示した模式図である。このように本実施例の文字画像データは１ページ全面分の２値ビットマップ形式である。ただし、文字領域のみを切り出し、文字領域のページ内座標と、文字領域内の２値ビットマップデータの組からなる文字画像データを生成するようにしてもよい。
文字画像データ生成処理部4より出力された文字画像データは、MMR圧縮処理部5によりMMR圧縮符号化処理され、文字符号データとしてメモリ106に格納される。なお、文字画像データの圧縮には、JBIG方式やJBIG2方式等の２値画像を対象とした別の圧縮方式を用いることもでき、JPEG2000方式の可逆圧縮方式を使用することもできる。
一方、入力画像データ及び属性データはそれぞれJPEG2000圧縮処理部6，7によりJPEG2000圧縮処理され、画像符号データ及び属性符号データとしてメモリ106に記憶される。なお、JPEG2000圧縮処理部7は属性データを１チャネルのデータとして可逆圧縮処理する。つまり、属性データに関しては、必要ビット数を通常のモノクロ画像データと同様に圧縮符号化すればよく、JPEG2000圧縮方式の場合、例え１ビットでも圧縮符号化処理が可能である。
また、画像データ、属性データともタイリングを実施した方がより好適である。タイリングを実施することによって、タイル単位に符号を並べ変える事が可能となるため、符号データに対し画像配信時等に回転処理や部分的な編集を容易に実施可能となり、また部分的な印刷等も容易になる。タイリングを行う場合、画像データと属性データのタイルサイズを同一とした方が、両者の位置的な対応がとり易くなり処理を単純化できるので好ましい。このようなタイリングは、メモリ106から画像データ及び属性データをタイル単位でJPEG2000圧縮処理部6,7へ入力することによって簡易に可能となる。
なお、属性データについては、領域判定結果毎にMMRやJBIG等の２値の可逆圧縮方法により圧縮処理を行ってもよいし、ビット単位にJPEG2000の算術符号化法(MQ符号化)を使用して圧縮符号化処理を行っても良い。
入力画像データの圧縮に、JPEGなどの他の多値圧縮方式を使用することも可能である。しかし、入力画像データと、後述の下地画像データおよび変換データの圧縮方式としてJPEG2000方式を用いると、JPEG2000の可逆、非可逆統一符号化、階層符号化といった特徴を生かして画像処理装置の機能を向上させることが可能となるという効果を有する。例えば、システムとしての用途を想定した場合に、JPEG2000圧縮処理された圧縮画像データを外部装置に転送し外部装置上で閲覧したり、プリンタ等で記録する場合、画像転送時に圧縮コード上で圧縮率の変更などを容易に行うことができる。これはクライアント側の要求に応じて圧縮率を変更したり符号コードを追加送信して画質を向上させるといったことを、容易かつ高速処理で実行可能になるということであり、システムのパフォーマンスが向上する効果を有する。
なお、文字画像データや属性データは、記憶容量や転送速度等の制約がなければ非圧縮でメモリ106に記憶させる形態もとり得る。かかる形態も本発明に包含される。
＜プリンタ動作＞ 次にMFPのプリンタとしての動作について説明する。
図５に模式的に示すように、本実施例に係るMFP201は、例えばＰＣ203とLAN(Local Area Network)等の外部転送路202を介して接続し、ＰＣ203よりプリンタとして動作させることができる。
この場合、MFP201は、PC203からのプリント命令等のコマンドおよびページ記述言語(PDL)形式の画像データを外部I/F110を介して受信しメモリ106に一時的に記憶する。そしてページ記述言語形式の画像データはエンコーダP104にてビットマップ形式の画像データに展開された後、圧縮符号化処理され、また、文字データ、属性データが生成され各々圧縮符号化処理される(以下これらをPDLデータのエンコード処理という）。
エンコード処理された符号データは、複写動作時と同様にメモリ106を経由してHDD107に保存されると共に、デコーダ112により、所定の伸長および合成処理が行われ、プリンタ画像処理部113にて所定の画像処理が行われた後でプリンタ部114にて図示しない記録紙などに印字出力され、プリント動作が完了する。
＜PDLデータのエンコード処理＞ 次に、エンコーダP104と、このエンコーダP104におけるPDLデータのエンコード処理について説明する。
図６は、PDLデータのエンコード処理のためのエンコーダP104のブロック図である。このエンコーダP104は、その構成要素として、PDLデータを解釈するインタプリタ51、この解釈結果に基づいてPDLデータの展開処理を行い、画像データ（PDL形式で入力された入力画像データ）、黒文字データ、色文字データ、グラフィックス属性データ、イメージ属性データをメモリ53に描画する処理を行う描画処理部52、それらデータを一時的に記憶するメモリ53、２値の黒文字データと２値の色文字データのOR処理をして文字画像データを出力するOR処理部54、この文字画像データをMMR圧縮処理するMMR圧縮処理部55、入力画像データをJPEG2000圧縮処理するJPEG2000圧縮処理部56、それぞれ２値の黒文字データ、色文字データ、グラフィクス属性データ、イメージ属性データのビットを結合して多値の属性データを出力するビット結合処理部57、この属性データに対し１コンポーネントのJPEG2000圧縮処理を行うJPEG2000圧縮処理部58を備える構成である。圧縮符号化された画像データ、文字画像データ、属性データはそれぞれ画像符号データ、文字符号データ、属性符号データとしてメモリ106に記憶される。
このようなエンコーダP104の動作は以下の通りである。メモリ106から入力されたPDLデータはインタプリタ51にて解釈され、描画処理部52にて画像属性に応じた描画処理が行われる。入力されるPDLデータは、文字コード、グラフィックスを描画するための描画コード、ビットマップ形式のイメージデータの３種類が代表的なものである。
文字コードが入力された場合、描画処理部52は指定された文字色により文字の形状をビットマップに展開したデータをメモリ53の画像データ記憶領域へ描画すると共に、文字色を判定し、黒文字であるならばメモリ53の黒文字データ記憶領域へ、色文字であるならばメモリ53の色文字データ記憶領域へ、２値のビットマップ形式で文字形状を描画する。グラフィックスコードが入力された場合、描画処理部52は所定解像度にてグラフィックスデータを展開しメモリ53の画像データ記憶領域へ描画する。イメージデータが入力された場合、描画処理部52は入力されたイメージデータを所定解像度に変換した後、メモリ53の画像データ記憶領域へ描画する。
このように、メモリ53の画像データ記憶領域には、ビットマップ化されたPDLデータが次々に描画されていくことになる。この際に、文字コード、グラフィックスコードやビットマップ等の各オブジェクトが重なる場合は、PDLデータ内で指定された方法で既に描画された画像データと描画中の画像データとの合成処理が行われる。通常、後から描画するオブジェクトを上書きしていくが、描画するオブジェクトに透明化処理を行って既に描画された画像とブレンドする場合もある。
上記の動作と並行して、描画処理部52はグラフィックスの属性データおよびイメージの属性データを生成し、メモリ53の属性データ記憶領域へ描画していく。
１ページ分またはバンド等の所定単位分の描画が終了した時点で、黒文字データおよび色文字データをOR処理部54にてOR処理して２値の黒文字、色文字を合わせた文字画像データを生成しMMR圧縮処理部55で圧縮符号化され、画像データはJPEG2000圧縮処理部56で圧縮符号化処理される。また、グラフィックス属性データ、イメージ属性データ、黒文字データ、色文字データはビット結合処理部57にてビットが結合された後、JPEG2000圧縮処理部58で圧縮符号化処理されてからメモリ106へ記憶される。なお、スキャンデータの場合と同様に、画像データ、属性データ、文字画像データをタイルリングを行って圧縮処理を行う方が好適である。
次に、図４(a)の画像データがPDLデータとして入力された場合を例に、エンコーダP104での描画処理の動作と各々のデータを具体的に説明する。入力画像データの構成要素401,402は文字コードで表されており、構成要素403の文字は文字コード、その背景の部分はグラフィクスコードで表されており、構成要素404はビットマップイメージで表されているものとする。
図７(a)は、PDLデータに示すような構成である。ヘッダーは画像サイズや出力画像解像度、色補正パラメータ等の、画像出力に必要なパラメータが記述されている。ヘッダーに記述された情報はCPU105により認識され、CPU105によって必要なパラメータがエンコーダP104にセットされる。ヘッダー自体はエンコーダP104に入力されない。グラフィックスコードは、描画するグラフィックスのページ内座標、形状、塗りつぶしの色や模様等のデータが所定のコマンド形式により記述されている。イメージデータは、ページ内座標とビットマップ形式の１画素毎の画像データが記述されている。文字コードはページ内座標、フォント名、文字のポイント数(大きさ)、文字色が記述されている。グラフィックスコード、イメージデータ、文字コードの描画処理はその順番に行われる。
まず、グラフィックスコードが解釈され、403の背景部分が描画処理部52によってメモリ53の画像データ記憶領域に所定解像度にて展開される。これにより、メモリ53の画像データ記憶領域には図７(b)に示す画像が記憶された状態となる。同時に、属性データとして、グラフィックス属性領域が２値のビットマップとして描画される。図７(e)にグラフィックス領域に描画されたグラフィックス属性データを示す。
次に、404のビットマップ形式のイメージデータがメモリ53の画像データ記憶領域に描画される。通常、PDL形式にて入力されるイメージデータの解像度はプリンタ114の出力解像度よりも低い解像度であることが一般的であるため、描画処理部52は必要に応じて解像度変換を行った後にメモリ53上に描画する。この時点でメモリ53の画像データ記憶領域には図７(c)に示す画像が記憶された状態となる。これと同時に、イメージ属性データが属性データ領域に描画される。図７(f)にイメージ属性データの模式図を示す。
次に文字コードが入力されると、描画処理部52は、文字の形状を図示しないフォントデータ等を使用してビットマップに展開し、PDLデータにて指定された文字色(画素データ)にてメモリ53の画像データ領域に描画する。これにより図４(a)に示す画像データの描画が完成する。同時に、文字色がグレー(R,G,B値が同一)であるばあいにはメモリ53の黒文字データ領域に２値のビットマップにて黒文字の形状を示す黒文字データを描画し、文字色が非グレー(色つき)である場合にはメモリ53の色文字データ領域に同様に２値の色文字データを描画する。図７(d)に文字データの模式図を示す。
エンコーダP104においては、PDLデータとして入力された画像データと、その文字画像データ及び属性データを各々圧縮符号化処理して記憶・蓄積する。このように、本実施例によれば画像データがPDLデータとして入力される場合も、スキャン画像データが入力される場合と同様の形態で、画像の記憶・蓄積が行われる。
なお、本実施例においては、属性データは黒文字領域、色文字領域、グラフィックス領域、イメージ領域の４種類の領域属性を表す。しかし、デコード後の後段処理に応じて必要な属性情報のみを抽出し、その属性データを生成すれ良い。例えば、グラフィックス領域とイメージ領域を後段で同一に扱って処理を行う場合は、文字属性のみ抽出して、文字領域と非文字領域の識別をすれば良い。また、グラフィックス領域と文字領域に同様の処理を行う場合は、ビット結合処理の前に文字領域とグラフィックス領域を結合する処理(OR処理)等を行えばよい。
また、便宜上、メモリ53は画像データや属性データを各々１ページ分記憶するごとく説明したが、描画処理部52での描画処理時にバンド単位等の１ページより少ないメモリ量で同様に実施する事が可能であり、この場合は、メモリ53は１バンド分のメモリ量を持てばよい。
また、属性データについては、属性の種類分のビットを持つごとくに説明を行ったが、コード化(４種類であれば0〜3の数字に割り付けて２ビットにて表現する等)して属性データのビット数を削減するように構成しても良い。また、文字データや属性データの圧縮は必ずしも必要ではなく、システム上の制約がなければ非圧縮でメモリ106に記憶してもよい。
以上のようにしてエンコード処理されたPDLデータ(以下プリンタデータ)も、複写動作時のスキャンデータ入力時と同様にHDD107に保存されると共に、デコード処理以降の処理が行われてプリンタ114で出力される。
＜デコード処理＞ 次にデコーダ112の構成とデコード処理動作を説明する。
図８は、デコーダ112のブロック図である。このデコーダ112は、その構成要素として、画像符号データを伸長処理するJPEG2000伸長処理部71、属性符号データを伸長処理するJPEG2000伸長処理部72、伸長された多ビットの属性データを各属性毎の１ビットデータ(領域判定信号)へと分解するビット分解処理部73とを備える構成である。
このようなデコーダ112の動作は以下の通りである。デコード処理に先立ち、CPU105はデコーダ112に対しモード信号を設定する。このモード信号は、デコーダ112へ入力される画像が、スキャナから読み込まれビットマップ形式で入力されたデータ(スキャンデータ)であるか、外部からページ記述言語形式で入力されたデータ(プリンタデータ)かを識別するための信号である。
次に、メモリ106から画像符号データと属性符号データが入力され、画像符号データをJPEG2000伸張処理部71にてJPEG2000伸長処理して画像データとして出力する。同時に属性符号データをJPEG2000伸張処理部72にてJPEG2000伸長処理した後、ビット分解処理部73にて(属性データが複数の領域判定信号をビット結合またはコード化して作成されたものである場合には)各々の領域判定信号へとビットを分解処理して出力する。この際、ビット分解処理部73は、スキャン入力画像とPDL入力画像との属性データの種類や数の違いをCPU105から設定されるモード信号によって識別し、入力画像種に対応したビット分解と領域判定信号の出力を行う。
なお、CPU105が蓄積画像の入力種別を判別するために、画像符号データ、属性符号データ、文字符号データを蓄積する際に、その入力種別情報を併せて保持しておくようにすれば良い。このような画像データの関連付けなどの技術はパーソナルコンピュータ等では一般的な技術であるので詳細な説明は割愛する。
＜画像配信時のフォーマット変換処理＞ 次に蓄積画像を、高圧縮率時の文字判読性に優れる構造化画像に変換して外部装置へ配信する際のMFPの動作について説明する。この場合、図５に示したように、本実施例に係るMFP201はサーバとして、MPF201に接続されたPC203はクライアントとして動作する。
MFP201は、PC203からのコマンドを受信し、PC203の要求に応じた画像配信を行う。PC203は、受信した符号データのデコード処理を行いながら表示装置204に画像を表示したり記憶媒等への画像の保存を行う。
この場合のMFP201の動作を図１を参照して説明する。MFP201は、PC203から画像の送信要求および画質(または圧縮率、ファイル容量等)のパラメータを外部転送路202を介して受信すると、CPU105が必要なパラメータをセットした後、HDD107から配信すべき画像の画像符号データと文字符号データをバス111を介してメモリ106へ読み出す。読み出された両符号データは、メモリ106からフォーマット変換処理部109へ転送され、配信のためのフォーマットへ変換されて再びメモリ106へ一旦書き込まれた後、外部インターフェース110から外部転送路202を介してPC203へ転送される。
図９は、フォーマット変換処理部109のブロック図である。図示のように、フォーマット変換処理部109は、その構成要素として、MMR圧縮符号化された文字符号データを伸長処理するMMR伸長処理部81、JPEG2000圧縮符号化された画像符号データを伸長処理するJPEG2000伸長処理部82、文字符号データより伸長された文字画像データに基づき、画像符号データより伸長された画像データより文字色と文字領域の下地色を検出し文字色データと下地色データを生成する文字色画像生成処理部83、画像符号データより伸長された画像データより文字画像を除去した下地画像データを生成する下地画像生成処理部84、文字色データをJPEG2000圧縮処理し文字色符号データを出力するJPEG2000圧縮処理部85、下地データをJPEG2000圧縮処理し下地符号データを生成するJPEG2000圧縮処理部86、これら文字符号データ、文字色符号データ、下地符号データをCPU105より転送されるヘッダデータと１つのデータファイル形式に結合し、画像配信用の構造化画像データを生成する結合処理部87を備える構成である。
このようなフォーマット変換処理部109の動作は以下の通りである。まず処理に先立ち、CPU105はヘッダデータをフォーマット変換処理部109の結合処理部87へ転送し記憶させる。次に、メモリ106から、文字符号データと画像符号データが同期してフォーマット変換処理部109へ転送される。文字符号データは、そのまま結合処理部87へ記憶されるとともに、MMR伸長処理部81にてMMR伸長処理され、伸長された文字画像データが文字色画像生成処理部83および下地画像生成処理部84へ入力される。文字符号データと同期して転送された画像符号データはJPEG2000伸張処理部82によってJPEG2000伸長処理され、伸長された画像データは文字色画像生成処理部83および下地画像生成処理部84へ入力される。
図１０は文字色画像生成処理部83のブロック図である。図示のように、この文字色画像生成処理部83は文字色算出処理部32および下地色算出処理部33からなり、その両方に文字符号データより伸長された文字画像データと画像符号データより伸長された画像データ（個々では便宜、入力画像データと称す）が入力される。
文字色算出処理部32においては、所定ブロック単位で、文字画像データのオンの画素位置における入力画像データの画素値から文字色を算出する。この文字色算出方法は、特許文献４に記載されているようにRGBの３次元ヒストグラムの最大値を文字色とする方法を用いてもよいし、文字画像データがオンの画素位置における入力画像データの画素値の平均値を文字色とする簡易な方法を用いてもよい。後者の画素値の平均値を文字色とする方法を用いる場合には、文字エッジ部を参照画素に含めると下地の色との混色等が発生し本来の文字色とは異なる文字色を算出するおそれがある。それを避けるためには、文字の芯部のみ文字色算出時の参照画素として用いるとよい。
図１２は、十字の文字画像とその芯部の関係を表した模式図である。芯部の判定は、例えば、エッジから所定画素数だけ内部の画素とすれば良い。細線文字等では文字画素が１、２ドットしかない場合も存在するが、この場合にはエッジの中心を芯部とすれば良い。このように、文字画像の芯部のみのデータから文字色を算出することによって、下地色の影響を受けない正確な文字色判定が可能となる。
下地色算出処理部33においては、所定ブロック単位で、文字画像データがオフの画素位置の入力画像データの画素値から下地色を算出する。下地色の算出方法は、所定ブロック内の非文字画素値の平均値を下地色データとする方法を用いることができる。文字色算出処理の場合と同様に、文字エッジ部を参照画素に含めると文字エッジ部の色の影響を受けて本来の下地色を算出できないことがあるため、文字エッジから外側の所定ドットは参照しない方が良い。以上により、所定ブロック単位での文字色データ、下地色データが出力される。
文字色算出処理および下地色算出処理について、図１３を用いてさらに説明する。図１３(a)は、図４(a)に示す原稿画像の構成要素401“カラー複写機”の文字領域を示した図であり、文字列“カラー”は赤色文字、文字列“複写機”が黒文字となっていると仮定する。このような入力画像データに対して、図１３(a)に示した細線の四角で示されるブロック単位に文字色および下地色の算出を行う場合を想定する。
図１３(b)は、文字色の算出結果を示す模式図である。図中、斜線で示しているブロックは赤の文字色を検出した領域であり、黒く塗りつぶされたブロックは黒の文字色を検出した領域を示している。塗りつぶしの無いブロックは、文字画像データにオンの画素が無いブロックを示している。
文字色算出処理部32は、文字色算出処理を行ったブロック内の全ての画素について同じ画素値のデータを出力する。つまり、文字色データはブロック内を一色の文字色にて塗りつぶした多値の画像データとなる。また、下地色算出処理部33もブロック内を一色の下地色にて塗りつぶした多値の下地色データを出力する。なお、文字色データは、その圧縮処理を行う前に、適宜間引き処理などをしてデータ量を削減しても良い。また、色数(RGBのビット数)を減らして圧縮率を高めるようにしても良い。
図１１は、下地画像生成処理部84のブロック図である。下地色データと入力画像データがセレクタ41に入力され、そのいずれかのデータが文字画像データに基づいてセレクタ41より選択されることにより下地画像データが生成される。セレクタ41は、文字画像データのオンの画素位置で文字色画像生成処理部83から入力された下地色データを出力し、文字画像データのオフの画素位置で入力画像データを出力する。このような処理によって、文字部を周囲の下地色で塗りつぶした下地画像データが生成される。
図１４は、図４(a)の原稿画像を処理した場合の下地画像の例を示す模式図である。この図から、下地画像においては文字が除去されていることが分かる。
文字色画像生成処理部83から出力された文字色データはJPEG2000圧縮処理部85により、下地画像生成処理部84から出力された下地データはJPEG2000圧縮処理部86により、それぞれ圧縮符号化処理されてから結合処理部87に記憶される。
かくして、結合処理部87にヘッダデータと、下地画像データ、文字色データ及び文字画像データの符号化データが記憶され、これらのデータは１つの構造化された画像ファイルとして扱うべく順にメモリ106へ転送される。以上で本実施例における画像フォーマット変換が完了した。
なお、文字画像データを、前述したようなタイル単位ではなく、MMR圧縮処理で通常行われるようなライン単位(ライン順次)で圧縮した場合は、文字符号データと画像符号データを同期して文字色算出処理部83、下地画像生成処理部84へ入力するためには、どちらかまたは両方のデータを一時的に蓄積するバッファ処理が必要となる。上記のようなバッファ処理をする場合のメモリは、メモリ106を使用するように構成した方が装置全体のメモリ量を少なくする事が可能となる。その際には、所定単位にてMMR伸長処理した文字データおよび／またはJPEG2000伸長処理した画像データを一旦メモリ106へ記憶してからフォーマット変換処理部へ入力するように構成すれば良い。
また、結合処理部87は、以上ではフォーマット変換部内に存在するかのごとく説明したが、メモリ106で代用可能であり、一般的にはその方が処理速度やメモリ量の削減に効果的である。
なお、以上では、所定ブロック単位に文字色が固定された多値の文字色データ、高周波成分を多く含む文字を下地色で塗りつぶすことによって高周波成分を除去した多値の下地画像データ、文字の形状情報のみを有する２値の文字画像データとに、画像を多層化(マルチレイヤ化)し、各々のレイヤにて高圧縮率が望める構造化圧縮方法を説明した。しかし、他の方法、例えば特許文献４に記載されているような、矩形の文字領域単位で２値の文字画像データと、１色の文字色を抽出し文字領域の座標との組によって文字画像を再現する方法を使用しても良い。この場合、文字色は多値の画像データではなく文字領域に対して一色の色を示す単純な色データとして表されるようになる。また、文字領域座標を保持する必要があるが、エンコード時に保持するように構成すれば良い。
以上説明したように、本実施例によれば、画像がビットマップ形式のスキャン画像として入力された場合もPDLデータとして入力された場合も、画像配信時に、処理負荷の高い文字領域の判定や文字画像の抽出を伴うことなく、簡易な処理により構造化画像データへと変換可能となる。そのため、再スキャン等のわずらわしいユーザ操作が不要となり、また、画像配信時の変換処理のためにMFPを停止させるようなことがなくなり、システム全体の処理速度(パフォーマンス)が向上し、また、ユーザビリティが向上する。
また、本実施例によれば、
・抽出した文字画像や属性情報を圧縮符号化して蓄積するため、蓄積されるデータ量を削減する事が可能となる。
・画像データ、属性情報、２値の文字画像データを同一サイズのタイル単位で圧縮符号化することによって、符号データのまま回転処理等を簡易に実行可能となり、画像配信時のフォーマット変換も簡単な構成で実行可能となる。
本発明のもう一つの実施例について説明する。本実施例に係るMFPは、蓄積画像を配信する際に画像の構造化を行うが、文字画像データと下地画像データにより再現される画像データと、入力画像データとの差分成分を生成し、それをこの構造化画像に含める点が大きな特徴である。
本実施例に係るMFPは、蓄積画像の配信時のフォーマット変換に関連する部分が前記実施例１に係るMFPと相違し、それ以外の構成及び動作及び外部装置(PC)との接続の態様等は前記実施例１の場合と同様である。よって、前記実施例１との相違点である画像配信時のフォーマット変換に関連した構成及び動作に限定して説明する。
図１５は本実施例におけるフォーマット変換処理部109のブロック図であり、図中、前記実施例１と同一構成をとる構成要素については同一番号を付し、その説明を割愛する。本実施例に係るフォーマット変換処理部109は、新たな構成要素として、文字画像データ、文字色データ及び下地画像データの合成により再現される画像データと、入力画像データとの差分データである変換データを生成する変換データ生成処理部88、この変換データを構成する＋差分データ及び−差分データを各々JPEG2000圧縮処理するJPEG2000圧縮処理部89,90を備える。
図１６は変換データ生成処理部88のブロック図である。図示の変換データ生成処理部88は、その構成要素として、２値の文字画像データと文字色データ及び下地画像データの合成処理をする合成処理部61、この合成処理部61から出力される合成画像データと入力画像データとの差分を演算する差分演算処理部62、この差分演算処理部62から出力される差分データのプラスとマイナスの符号を判定する符号判定処理部63、差分データの絶対値を求める絶対値化処理部64、差分データの符号に従って差分データ又はダミーデータを選択するセレクタ65，66を備える構成である。なお、ダミーデータは“０”である。
次に、本実施例における変換データ生成処理部88の動作を説明する。最初に合成処理部61において、２値の文字画像データのオンの画素位置で文字色データを出力し、２値の文字画像データのオフの画素位置で下地画像データを出力する合成処理が行われる。この合成処理により生成される合成画像データは、下地画像データに、文字画像データの有効画素を文字色データで示される文字色で上書きされた多値の画像データである。なお、このような合成画像データは、前記実施例１の構造化画像をデコードした画像データと等価となる。
次に、合成処理部61から出力された合成画像データと入力画像データとの差分データが差分演算処理部62によって算出される。その演算式は、
差分データ＝入力画像データ−合成画像データ
である。この差分データは、正、負両方の値をとりえる。本実施例では正の差分成分を＋差分データ、負の差分成分を−差分データとして取り扱う。差分データはセレクタ65に入力され、また絶対値化処理部64にて絶対値化された差分データがセレクタ66に入力される。セレクタ65は符号判定処理部63にて判定された差分データの符号が正の場合は差分データを出力し、符号が負の場合はダミーデータを出力する。セレクタ66は、差分データの符号が正の場合はダミーデータを出力し、符号が負の場合は差分データを出力する。
以上のように生成された＋および−の差分データ(以下両方合わせて差分データと略す)はJPEG2000圧縮処理部89,90によってJPEG2000圧縮処理され、その符号データ、ヘッダデータ、文字符号データ、文字色符号データ、下地符号データとともに結合処理部87に記憶され、１つの構造化画像ファイルの形に結合される。
図１７(a)に示す文字の入力画像データをフォーマット変換処理して出力される文字データ、＋差分データ、−差分データの例を図１７(b)〜(d)に示し、また、図１８にそれらを模式的に示す。図１７の例では、＋差分データは主に文字の中心部の“２値化と文字色設定によってデータが低くなってしまった部分”と“２値化によって文字エッジ部が白データとなってしまった部分”に出力が現れ、−差分データは“文字のエッジ部で２値化によってデータが増加した部分”に出力が現れていることが分かる。図１８(e)は、全てのデータを合成した形態を示しており、入力画像データが過不足なく再現されている事が分かる。
このように入力画像データを構造化した場合においても、本実施例に示す方法によれば入力画像データを過不足無く再現可能となる。ただし、差分データの出力形態は、２値化処理の手法やしきい値の設定方法によって変化すると考えられる。また、＋差分データと−の差分データを＋−の符号を有する一つのデータとして扱っても良い。
本実施例に示すMFPにおける構造化画像の配信においては、例えばPC203等のクライアント側の要求が高圧縮率(低画質)である場合、差分データを結合させない画像ファイルを転送することが可能である。この場合、特許文献４に記載の構造化圧縮方式とほぼ同様な画質にて画像が転送されることになる。
一方、画像ファイルに差分データを結合することによって、再現される文字画像の表現を２値の状態から多値の状態へ変化させる事が可能となり、文字画像のノッチやジャギーを抑制した滑らかなエッジを再現することが可能となる。この効果は、差分データの圧縮率によって変化していくことになる。差分データは多値圧縮を行うので、高圧縮率時にはエッジがなまったデータになり効果が低くなり、圧縮率を低くしていくに従ってエッジ部が鮮鋭化されて効果が高くなっていく。これは、高圧縮率時に２値文字の判読性は良いが画質劣化の存在する画像から、圧縮率を低下させていくに従って文字の判読性を落とさずに高画質化させていく画質プログレッシブな動作を可能とする。また、それを実質的に無段階に行うことを可能とする。
図１９において、(a)は差分データを結合しない場合の再現画像、(b)は高圧縮率の差分データを結合した場合の再現画像、(c)は中圧縮率の差分データを結合した場合の再現画像、(d)は低圧縮率の差分データを付け号した場合の再現画像、(e)は入力画像（可逆圧縮した場合の再現画像）の例である。
また、入力画像データから文字抽出を行った場合には、誤判定は避けられないものである事は前述した通りであるが、本実施例による構造化画像によれば、低圧縮率となるにしたがって、文字部を非文字部と誤判定した部分のみならず非文字部を文字部と誤判定した部分についても入力画像データに近い画質に変化していく。したがって、総じて言えば、従来技術では低圧縮率時にも避けられなかった画質劣化を抑制し、かつ、ビットマップ形式の圧縮では不可能であった高圧縮率時の文字判読性を向上させた、圧縮率のスケーラビリティを持つ画像圧縮が可能となる。すなわち、ユーザ(クライアント側)の画質や圧縮率の要求に対して詳細に対応することが可能となり、ユーザビリティの向上をもたらす。
＜蓄積画像の配信処理＞
以上、本発明の２つの実施例に係るMFPの構成及び動作について説明した。以下、図５のような接続形態において、本発明に係るMFP201（サーバー）からPC203（クライアント）へ蓄積画像を配信する際のMFP201における処理と、それに関連したPC203の構成及び処理を説明する。なお、ここでは、MFP201として前記実施例２に係るMFPを想定するが、前記実施例１に係るMFPの場合も同様であることは以下の説明から理解されるであろう。
図２０は、PC203の画像受信及びデコード処理に関連した構成を示すブロック図である。図２０において、130は外部転送路202を介してデータを送受信する外部インターフェース、131は受信したデータを一時的に記憶するメモリ、132は受信された画像ファイルの符号データを伸長処理するデコーダである、134は伸長された画像データを記憶するビデオメモリであり、ここに書き込まれた画像データがモニタ204に表示される。135は上記各部の制御等を行うCPUである。
図２１は配信動作を説明するための簡略化したフローチャートである。まず、PC203は外部インターフェース130を通じて画質や受信形態等の必要なパラメータ等を含む“画像の送信要求コマンド”（画像転送要求）をMFP201に対して送信し（step101）、これをMFP201は外部インターフェース110を介して受信する（step201）。
MFP201において、CPU106で、受信送信要求コマンドのパラメータに基づいて、構造化画像データを送信するか非構造化画像データ(JPEG2000圧縮された入力画像データの圧縮符号化データ)を送信するかを決定し、また画質パラメータによりおおよその圧縮率を決定する（step202）。非構造化画像データを送信する場合には、送信すべき画像の圧縮符号化データをHDD107内より読み出し、それを所望の圧縮率に変更した送信画像ファイルを送信データとして作成し、構造化画像データを送信する場合には前記実施例２で示したフォーマット変換処理により所望の圧縮率の構造化された送信画像ファイルを送信データとして作成する(step203)。そして、作成した送信データを外部インターフェース110より送信し(step204)、PC203はその画像ファイルを受信してデコード処理を行う(step102)。なお、JPEG2000符号の圧縮率の変更は次に述べるようなポスト量子化(トランケーション)によって容易に行うことができる。
図２２は、JPEG2000の符号ストリームの説明図である。符号ストリームは、メインヘッダと画像を分割した複数のタイル符号で構成される。タイル符号は、タイルヘッダとタイル内符号をレイヤとよばれる符号単位に区切った複数のレイヤにより構成されており、レイヤ０、レイヤ１・・・というように画質に対して重要度の高い上位レイヤから順番に並んでいる。レイヤ符号はレイヤ用のタイルヘッダと複数のパケットにより構成されており、パケットはパケットヘッダと符号データから構成されている。レイヤは画質を制御する単位であるので、圧縮率の変更はレイヤ単位に符号コードの切り捨て(トランケーション)を行えば良い。
非構造化画像の配信の場合には、入力画像データの符号データのポスト量子化は、エンコーダS103内のJPEG2000圧縮処理部6のポスト量子化部を使用しても実現可能であるが、新たにポスト量子化の機能を備えたトランケーション処理部を(バス111に接続して)設けた方が、画像配信とスキャナ画像のエンコード処理が同時に可能となるためより好適である。かかる態様も本発明に含まれる。
一方、構造化画像を配信する場合の圧縮率の制御は、フォーマット変換処理部109内のJPEG2000圧縮処理部85,86,89,90内の各々のポスト量子化または量子化パラメータを制御すれば良い。また、高圧縮率とする場合には、前述したように差分データを生成しないで構造化画像データを作成しても良い（この場合のフォーマット変換処理は前記実施例１のフォーマット変換処理と実質的に同一となる）。
さて、PC203においては、MFP201からの送信データを外部インターフェース130で受信し、それをメモリ131に一旦記憶する。そして、このデータをデコーダ132でデコードして画像データをビデオメモリに書き込む。以下、デコーダ132の構成とその構造化画像受信時のデコード処理について説明を行う。
図２３はデコーダ132のブロック図である。図示のように、デコーダ132は、その構成要素として、文字符号データ(MMR圧縮処理された文字画像データ)を伸長するMMR伸長処理部121、JPEG2000圧縮処理された文字色符号データ、下地符号データ、＋差分符号データ、−差分符号データを各々伸長処理するJPEG2000伸長処理部122〜125、伸長された２値の文字画像データ、多値の文字色データおよび多値の下地画像データの合成処理を行う合成処理部126、合成処理部126から出力された多値の合成画像データと、伸長された＋、−差分データの合成処理を行う合成処理部127を備えた構成である。
このような構成のデコーダ132によるデコーダ処理動作は次の通りである。受信された構造化画像ファイルの文字符号データはMMR伸長処理部121で２値の文字画像データ（ビットマップデータ）に伸長される。これと並行して、文字色符号データ及び下地符号データはJPEG2000伸張処理部122,123により多値データに伸長される。そして、合成処理部126において、文字画像データのオンの画素で文字色データを出力し、オフの画素で下地画像データを出力する合成処理を行うことにより、下地画像データに文字画像データの有効画素のみ文字色データで示される値が上書きされた多値の画像データ（合成画像１）が生成される。
上記動作と並行して、＋差分符号データ及び−差分符号データがJPEG2000伸張処理部74,75でそれぞれ伸長される。そして、合成処理部127において、合成データ１と、伸長された差分データについて、
出力画像データ＝合成データ１＋“＋差分データ”−“−差分データ”
で表される合成処理が行われる。生成された出力画像データはビデオメモリ134に書き込まれ、モニタ204に表示されることになる。
なお、非構造化画像を受信した場合、下地符号データに代えて、受信した画像符号データがJPEG伸長処理部123に入力し、その伸長画像データのみ合成処理部126へ入力し、この合成処理部126の他の入力をすべて０とする。また、合成処理部126の出力データを合成処理部127に入力し、合成処理部127への他の入力データを全て０とする。
なお、一般的なPCでは、CPUでソフトウェアによりデコード処理を行い、デコード結果を、モニタ204の表示を制御するデバイスドライバへ所定のコマンドとして画像データを渡す方法が一般的であるので、その例にならってデコーダ132をソフトウェアとして実現してもよい。勿論、ハードウェアによりデコーダ132を実現してもよい。
最後に、PC203からの画像配信の送信要求と配信画像フォーマットについて、さらに説明する。
PC203から送信要求される時のパラメータによって、画像種（構造化画像／非構造化画像）と画質を直接指定する方法と、画質のみ指定してMFP201側で画質に基づいて構造化画像／非構造化画像の選択をと行う方法とがある。なお、画質のパラメータは圧縮率やファイル容量等でも等価である。
一般的に、構造化画像は文字判読性等の面から高圧縮率での画質に優れ、非構造化画像は低圧縮率での画質に優れている。前記実施例２のような変換データ（差分データ）を含む構造化画像では、可逆変換も可能であるので、前記実施例１の構造化画像と違い、「文字画質が圧縮率によって変化しない」ということはなく、文字画質も圧縮率に応じて向上していく。しかし、構造化画像は、その複雑性から、非構造化画像と比較した場合、全体のファイル容量が大きくなる傾向にあり、これは圧縮率の低下を意味する。
図２４は、前記実施例２に示す構造化圧縮方式(点線)と非構造化圧縮方式(実線)について圧縮率と画質の関係を模式的に表した図である。低圧縮率(ファイル容量大)では非構造化圧縮方式の方が画質が高く、高圧縮率(ファイル容量小)では構造化圧縮方式の方が画質が高く、両者の画質レベルが交わる圧縮率が存在する。このような特性を把握しておくことによって、MFP201のCPU105は、PC203から要求された画質や圧縮率に応じて、構造化画像を配信するか非構造化画像を配信するかの判断を適切に行うことが可能である。
以上に説明した本発明に係るMFP（広義には画像処理装置）は、パーソナルコンピュータ等のコンピュータを利用し、アプリケーションプログラムやデバイスドライバ等の１以上のプログラムにより実現することも可能である。また、コンピュータにおいて、例えばスキャナから取り込んだ画像データやアプリケーションプログラムで作成した画像データに対して、１以上のプログラムにより本発明に係るMFPと同様の動作、つまり本発明に係る画像処理方法の処理手順を実行させることも可能である。このようなコンピュータをMFPの構成手段として機能させる１以上のプログラム、あるいは、MFPの動作をコンピュータに実行させる１以上のプログラム、及び、それらプログラムが記録されたコンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に包含される。
ここで前記各実施例と特許請求の範囲との対応は次の通りである。
スキャナ部101及びスキャナ画像処理部102は請求項１〜３記載の画像データの入力手段を構成するものである。外部インターフェース110と、エンコーダP104のインタプリタ51及び描画処理部52も請求項１〜３記載の画像データの入力手段を構成するものである。また、これらの入力手段による画像データ入力動作は請求項７〜９記載の画像データの入力工程に相当する。
エンコーダS103のJPEG2000圧縮符号化処理部6、エンコーダP104のJPEG2000圧縮符号化処理部56は請求項１，２，３記載の第１の処理手段を構成するものである。
エンコーダS103の２値画像生成処理部1、メモリ2、文字画像検出処理部3、文字画像データ生成処理部4及びMMR圧縮符号化処理部5は、請求項１，２記載の第２の処理手段を構成するものである。前述のように文字画像データを圧縮せずメモリ106に記憶させる場合には、MMR圧縮符号化処理部5は第１の処理手段には含まれないことになる。エンコーダP104のJPEG2000圧縮符号化処理部56も請求項１，２記載の第２の処理手段を構成する。このような第２の処理手段による処理は請求項７，８，９記載の第２の処理工程に相当する。
図９に示すフォーマット変換処理部109はCPU105（そのプログラム）と協働して請求項１，２記載の第３の処理手段を構成するものである。図１５に示すフォーマット変換処理部109はCPU105（そのプログラム）と協働して請求項３記載の第３の処理手段を構成するものである。そして、これらフォーマット変換処理部による処理動作が請求項７〜９記載の第３の処理工程に相当する。
HDD107は請求項１〜３記載の記憶手段に相当する。
外部インターフェース110はCPU105（そのプログラム）と協働して請求項１〜３記載の転送手段を構成するものである。
削除
像域分離処理部115及びエンコーダS103内のJPEG2000圧縮符号化処理部7は請求項６記載の第４の処理手段を構成する。エンコーダP104内のインタプリタ51、描画処理部52、ビット結合処理部57及びJPEG2000圧縮符号化処理部58も請求項６記載の第４の処理手段を構成するものである。
本発明の実施形態に係るMFPの全体構成を示すブロック図である。 MFP内のエンコーダs103のフロック図である。 エンコーダS103内の２値画像生成処理部1のブロック図である。 入力画像データの例と、それから生成される２値画像データや文字画像データ等の例を示す図である。 本発明に係るMFPとPCとの接続形態を説明するための図である。 MFP内のエンコーダP104のブロック図である。 PDLデータのフォーマットと、その展開データなどを示す図である。 MFP内のデコーダ112のブロック図である。 実施例１に係るフォーマット変換処理部109のブロック図である。 図９中の文字色生成処理部83のブロック図である。 図９中の下地画像生成処理部84のブロック図である。 文字の芯部の説明図である。 文字色データ生成の説明図である。 下地画像の例を示す図である。 実施例２に係るフォーマット変換処理部のブロック図である。 図１５中の変換データ生成処理部88のブロック図である。 差分データの有無と再現画像の関係を例示する図である。 差分画像に関する説明図である。 圧縮率と再現画像の関係を例示する図である。 画像配信動作を説明するためのフローチャートである。 クライアント側の構成を説明するためのフロック図である。 JPEG2000の符号ストリームの説明図である。 図２０中のデコーダのブロック図である。 構造化画像と非構造化画像の圧縮率と画質の関係を示すグラフである。 JPEG2000の圧縮処理を説明するためのブロック図である。 ウェーブレット変換によるサブバンド分割の例を示す図である。 ウェーブレット係数の符号化の説明図である。
１０１ スキャナ部
１１５ 像域分離処理部
１０３ エンコーダＳ
１０４ エンコーダＰ
１０５ ＣＰＵ
１０６ メモリ
１０７ ＨＤＤ
１０９ フォーマット変換処理部
１１０ 外部インターフェース

Claims (13)

  1. 画像データの入力手段、
    前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
    前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
    前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
    前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データを生成し、該下地画像データの圧縮符号化データと該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
    外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
    を有することを特徴とする画像処理装置。
  2. 画像データの入力手段、
    前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
    前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
    前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
    前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ及び該入力画像データの文字色を再現するための文字色データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
    外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
    を有することを特徴とする画像処理装置。
  3. 画像データの入力手段、
    前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
    前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
    前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
    前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ、該入力画像データの文字色を再現するための文字色データ、及び、該下地画像データと該文字画像データと該文字色データとから合成される合成画像データと該入力画像データとの差違を縮小するための変換データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ、該変換データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
    外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
    を有することを特徴とする画像処理装置。
  4. 前記変換データは前記入力画像データの圧縮符号化データを伸長した画像データと前記合成画像データとの差分を表すデータであることを特徴とする請求項３記載の画像処理装置。
  5. 前記文字画像データは画素のオン、オフにより文字形状を表現する２値画像データであることを特徴とする請求項１，２，３又は４記載の画像処理装置。
  6. 前記入力画像データの属性の異なる領域を識別するための属性情報もしくはその圧縮符号化データを生成する第４の処理手段を有し、該属性情報もしくはその圧縮データが前記記憶手段に記憶されることを特徴とする請求項１乃至５のいずれか１項記載の画像処理装置。
  7. 画像データの入力工程、
    前記入力工程により入力された入力画像データの圧縮符号化データを生成する第１の処理工程、
    前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理工程、
    前記第１の処理工程により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理工程により生成された前記文字画像データもしくはその圧縮符号化データを記憶手段に記憶する工程、
    前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データを生成し、該下地画像データの圧縮符号化データと該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理工程、
    外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送工程、
    を有することを特徴とする画像処理方法。
  8. 画像データの入力工程、
    前記入力工程により入力された入力画像データの圧縮符号化データを生成する第１の処理工程、
    前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理工程、
    前記第１の処理工程により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理工程により生成された前記文字画像データもしくはその圧縮符号化データを記憶手段に記憶する工程、
    前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ及び該入力画像データの文字色を再現するための文字色データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理工程、
    外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送工程、
    を有することを特徴とする画像処理方法。
  9. 画像データの入力工程、
    前記入力工程により入力された入力画像データの圧縮符号化データを生成する第１の処理工程、
    前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理工程、
    前記第１の処理工程により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理工程により生成された前記文字画像データもしくはその圧縮符号化データを記憶手段に記憶する工程、
    前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ、該入力画像データの文字色を再現するための文字色データ、及び、該下地画像データと該文字画像データと該文字色データとから合成される合成画像データと該入力画像データとの差違を縮小するための変換データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ、該変換データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理工程、
    外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送工程、
    を有することを特徴とする画像処理方法。
  10. 画像データの入力手段、
    前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
    前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
    前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
    前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データを生成し、該下地画像データの圧縮符号化データと該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
    外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
    としてコンピュータを機能させるプログラム。
  11. 画像データの入力手段、
    前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
    前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
    前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
    前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ及び該入力画像データの文字色を再現するための文字色データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
    外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
    としてコンピュータを機能させるプログラム。
  12. 画像データの入力手段、
    前記入力手段により入力された入力画像データの圧縮符号化データを生成する第１の処理手段、
    前記入力画像データから文字形状を再現するための文字画像データもしくはその圧縮符号化データを生成する第２の処理手段、
    前記第１の処理手段により生成された前記入力画像データの圧縮符号化データ及び前記第２の処理手段により生成された前記文字画像データもしくはその圧縮符号化データを記憶する記憶手段、
    前記記憶手段に記憶されている入力画像データの圧縮符号化データ及び該入力画像データの文字画像データもしくはその圧縮符号化データを基に、該入力画像データより文字画像が除去された下地画像データ、該入力画像データの文字色を再現するための文字色データ、及び、該下地画像データと該文字画像データと該文字色データとから合成される合成画像データと該入力画像データとの差違を縮小するための変換データをそれぞれ生成し、該下地画像データの圧縮符号化データ、該文字色データの圧縮符号化データ、該変換データの圧縮符号化データ及び該文字画像データもしくはその圧縮符号化データが１つのデータファイル形式に結合されてなる構造化画像データを生成する第３の処理手段、
    外部装置からの画像転送要求に含まれるパラメータの圧縮率に応じて、構造化圧縮より非構造化圧縮の方が高画質となる低圧縮率では前記入力画像データの圧縮符号化データを、非構造化圧縮より構造化圧縮の方が高画質となる高圧縮率では前記第３の処理手段により生成された構造化画像データを、前記外部装置へ転送する転送手段、
    としてコンピュータを機能させるプログラム。
  13. 請求項１０，１１又は１２記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
JP2004343893A 2004-11-29 2004-11-29 画像処理装置、画像処理方法、プログラム及び情報記録媒体 Expired - Fee Related JP4766586B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004343893A JP4766586B2 (ja) 2004-11-29 2004-11-29 画像処理装置、画像処理方法、プログラム及び情報記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004343893A JP4766586B2 (ja) 2004-11-29 2004-11-29 画像処理装置、画像処理方法、プログラム及び情報記録媒体

Publications (2)

Publication Number Publication Date
JP2006157371A JP2006157371A (ja) 2006-06-15
JP4766586B2 true JP4766586B2 (ja) 2011-09-07

Family

ID=36635129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004343893A Expired - Fee Related JP4766586B2 (ja) 2004-11-29 2004-11-29 画像処理装置、画像処理方法、プログラム及び情報記録媒体

Country Status (1)

Country Link
JP (1) JP4766586B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5187094B2 (ja) * 2008-09-17 2013-04-24 株式会社リコー 画像符号化装置
JP5036844B2 (ja) * 2010-04-15 2012-09-26 シャープ株式会社 画像圧縮装置、画像出力装置、画像読取装置、画像圧縮方法、コンピュータプログラム及び記録媒体
JP5195882B2 (ja) 2010-12-01 2013-05-15 コニカミノルタビジネステクノロジーズ株式会社 電子文書生成システム、電子文書生成方法およびプログラム
JP6353271B2 (ja) * 2013-06-04 2018-07-04 キヤノン株式会社 画像処理装置およびその方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799576A (ja) * 1993-09-27 1995-04-11 Toppan Printing Co Ltd 画像圧縮装置および画像復元装置ならびにそれらを用いた画像処理装置
JP3699814B2 (ja) * 1997-11-28 2005-09-28 富士ゼロックス株式会社 画像処理装置および画像処理方法
JP3959610B2 (ja) * 2001-12-13 2007-08-15 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2003348361A (ja) * 2002-05-22 2003-12-05 Canon Inc 画像処理装置
JP2004179940A (ja) * 2002-11-27 2004-06-24 Matsushita Electric Ind Co Ltd 画像送信装置及び画像受信装置

Also Published As

Publication number Publication date
JP2006157371A (ja) 2006-06-15

Similar Documents

Publication Publication Date Title
US8660347B2 (en) Image processing apparatus and processing method therefor
JP3304858B2 (ja) 画像送信装置および画像送信方法
JP4861711B2 (ja) 画像処理装置、画像圧縮方法、画像圧縮プログラム及び記録媒体
US8817328B2 (en) Image processing apparatus, image processing method, and image processing program
US8237937B2 (en) Apparatuses, methods, and computer readable medium for processing image data based on property information to enhance usability of the image data
US8159718B2 (en) Image processing to determine if pixel in compressed data is chromatic or achromtic based on selection threshold
JP2006005939A (ja) スキャンされた文書用のセグメント化に基づくハイブリッド圧縮機構
JP2006033828A (ja) マルチ・ファンクション・システムにおけるカラー印刷のための共通交換フォーマット・アーキテクチャ
US7630574B2 (en) Image encoding method and image apparatus
JP2006101010A (ja) 画像処理装置、画像処理方法、ならびにプログラム、記憶媒体
JP4089905B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4086192B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4766586B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4898601B2 (ja) 画像処理装置、画像処理方法及びそのプログラム
JP4097146B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
US8244047B2 (en) Image compression unit, image decompression unit and image processing system
JP4411244B2 (ja) 画像処理装置、画像処理方法、プログラム
US20100188670A1 (en) Image processing apparatus, image processing method and program executing the image processing method
JP2005332154A (ja) 画像処理装置および画像処理方法
JP5321364B2 (ja) 画像処理装置、画像処理方法、プログラム
Triantaphillidou et al. Digital image file formats
JP2007189275A (ja) 画像処理装置
JP2007060267A (ja) 縮小レイアウト機能を持った画像処理システム
JP2005051764A (ja) 画像処理装置、プログラム、コンピュータに読取可能な記憶媒体及び画像処理方法
JP2003153008A (ja) 画像符号化装置および画像復号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110610

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees