JP4212876B2 - 画像処理装置および画像処理システム - Google Patents
画像処理装置および画像処理システム Download PDFInfo
- Publication number
- JP4212876B2 JP4212876B2 JP2002353335A JP2002353335A JP4212876B2 JP 4212876 B2 JP4212876 B2 JP 4212876B2 JP 2002353335 A JP2002353335 A JP 2002353335A JP 2002353335 A JP2002353335 A JP 2002353335A JP 4212876 B2 JP4212876 B2 JP 4212876B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image signal
- color component
- processing
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Color, Gradation (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、プリンタ，デジタル複写機，ファクシミリ，複合機能画像処理装置，ＭＦＰ（マルチファンクションプリンタ）などに利用される画像処理装置および画像処理システムに関する。
【０００２】
【従来の技術】
従来、例えば特許文献１には、黒文字領域である画素に対して無彩色を表す信号値を設定することにより画像信号と分離信号を融合する画像処理装置が示されている。この特許文献１に示されている画像処理装置では、画像信号と分離信号を融合する際に、Ｒ＝Ｇ＝Ｂとなるように黒文字画素に対して補正を行い、抽出部ではＲ＝Ｇ＝Ｂなる画素を黒文字として再抽出している。また、この特許文献１には、Ｌａｂ表色系では、ａ，ｂ信号の値を０にすることによって融合する方法が示されている。また、通常のカラー画像では一般的には用いられないような特殊な値（Ｒ＝２５５，Ｇ＝Ｂ＝０など）とすることにより黒文字情報を融合する方法が示されている。さらには、再抽出の際に、誤って検出された画素を除去するため、周辺画素の抽出結果を用いて総合的判定するようにしている。
【０００３】
【特許文献１】
特開平８−９８０１６号公報
【０００４】
【発明が解決しようとする課題】
このように、従来では（例えば特許文献１においては）、黒文字画素に対して、Ｒ＝Ｇ＝Ｂや、Ｌａｂにおけるａ＝ｂ＝０などの無彩化処理を行ない、分離結果抽出手段でこれらの情報をたよりに黒文字情報を検出（再抽出）するようにしている。しかしながら、無彩化処理だけでは、分離結果抽出手段において高精度に黒文字情報を検出（再抽出）することができないという問題があった。
【０００５】
本発明は、黒文字情報が従来に比べて高精度に検出（再抽出）されることを可能にする画像処理装置および画像処理システムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、入力されたカラー画像信号に対し対象画素が黒文字画素であるか否かを判定する第１の分離手段と、
前記第１の分離手段によって対象画素が黒文字画素でないと判定された場合には、圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を増加する有彩化処理を行い、対象画素が黒文字画素であると判定された場合には、前記圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を減ずるかまたは除去する無彩化処理を行う色成分制御手段と、
前記色成分制御手段で処理された画像信号に対し前記圧縮処理方式に応じた非可逆圧縮処理を施す圧縮手段と、
前記圧縮手段で圧縮処理された画像信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された画像信号を伸張する伸張手段と、
前記伸長手段によって伸長された画像信号に対し、対象画素が無彩色であるか否かを判定することにより黒文字画素を検出する第２の分離手段と
を有していることを特徴としている。
【００１４】
また、請求項２記載の発明は、請求項１記載の画像処理装置において、前記圧縮手段は、輝度色差系の信号に変換してから画像信号の圧縮を行なうようになっていることを特徴としている。
【００１５】
また、請求項３記載の発明は、請求項１または請求項２記載の画像処理装置において、前記色成分制御手段における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものであることを特徴としている。
【００１７】
また、請求項４記載の発明は、請求項１乃至請求項３のいずれか一項に記載の画像処理装置において、前記第１の分離手段は、白背景領域上の黒文字画素や黒線画画素を黒文字画素として判定する機能を有し、前記第２の分離手段は、白画素領域に隣接した領域であって概ね無彩色である画素を黒文字画素として判定する機能を有していることを特徴としている。
【００１８】
また、請求項５記載の発明は、請求項１乃至請求項４のいずれか一項に記載の画像処理装置において、前記色成分制御手段によって所定の処理が施された画像信号を、システムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理機能を有し、指定された所定の画像フォーマットに応じて前記色成分制御手段を制御するようになっていることを特徴としている。
【００１９】
また、請求項６記載の発明は、請求項５記載の画像処理装置において、前記所定の画像フォーマットに応じた色成分制御手段の制御として、前記第１の分離手段で判定された黒文字画素の領域を周辺の領域に無彩化する領域として拡張する制御を含むことを特徴としている。
【００２０】
また、請求項７記載の発明は、請求項１または請求項２記載の画像処理装置において、前記蓄積手段に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、第２の色成分制御手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴としている。
【００２１】
また、請求項８記載の発明は、請求項１または請求項２記載の画像処理装置において、前記蓄積手段に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、前記第１の分離手段によって判定された対象画素の属性に応じて前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、第２の色成分制御手段は、前記第１の分離手段によって判定された対象画素の属性に応じて前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴としている。
【００２２】
また、請求項９記載の発明は、請求項１乃至請求項８のいずれか一項に記載の画像処理装置において、画像信号を外部機器に転送する際に、該画像信号に施された処理内容をヘッダ情報に保存して外部機器に転送するようになっていることを特徴としている。
【００２３】
また、請求項１０記載の発明は、請求項９記載の画像処理装置において、外部機器から入力した画像データに対して前記第２の分離手段によって属性の判定を行なう画像処理装置であって、前記ヘッダ情報に応じて第２の分離手段の黒文字抽出方法を制御するようになっていることを特徴としている。
【００２４】
また、請求項１１記載の発明は、請求項１０記載の画像処理装置において、外部機器から入力した画像データを前記蓄積手段に蓄積し、前記蓄積手段に蓄積された画像信号を読み出し前記第２の分離手段で対象画素の属性を検出して画像処理を施す画像処理装置であって、入力された画像信号に処理内容を示すヘッダ情報が付されていないときは、第２の分離手段による黒文字抽出を制限するかまたは行わないことを特徴としている。
【００２５】
また、請求項１２記載の発明は、入力されたカラー画像信号に対し対象画素が黒文字画素であるか否かを判定する第１の分離手段と、
前記第１の分離手段によって対象画素が黒文字画素でないと判定された場合には、圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を増加する有彩化処理を行い、対象画素が黒文字画素であると判定された場合には、前記圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を減ずるかまたは除去する無彩化処理を行う色成分制御手段と、
前記色成分制御手段で処理された画像信号に対し前記圧縮処理方式に応じた非可逆圧縮処理を施す圧縮手段と、
前記圧縮手段で圧縮処理された画像信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された画像信号を伸張する伸張手段と、
前記伸長手段によって伸長された画像信号に対し、対象画素が無彩色であるか否かを判定することにより黒文字画素を検出する第２の分離手段とを有していることを特徴としている。
【００３３】
また、請求項１３記載の発明は、請求項１２記載の画像処理システムにおいて、前記圧縮手段は、輝度色差系の信号に変換してから画像信号の圧縮を行なうようになっていることを特徴としている。
【００３４】
また、請求項１４記載の発明は、請求項１２または請求項１３記載の画像処理システムにおいて、前記色成分制御手段における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものであることを特徴としている。
【００３６】
また、請求項１５記載の発明は、請求項１２乃至請求項１５のいずれか一項に記載の画像処理システムにおいて、前記色成分制御手段によって所定の処理が施された画像信号を、システムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理機能を有し、指定された所定の画像フォーマットに応じて前記色成分制御手段を制御するようになっていることを特徴としている。
【００３７】
また、請求項１６記載の発明は、請求項１２または請求項１３記載の画像処理システムにおいて、前記蓄積手段に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、第２の色成分制御手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴としている。
【００４３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００４４】
（第１の実施形態）
図１は本発明の第１の実施形態の画像処理装置の構成例を示す図である。図１を参照すると、この第１の実施形態の画像処理装置は、画像入力手段１０１と、スキャナγ補正手段１０２と、第１の像域分離手段（第１の分離手段）１０３と、エッジ量算出手段１０４と、フィルタ処理手段１０５と、色成分制御手段１０６と、色補正手段１０７と、第２の像域分離手段（第２の分離手段）１０８と、下色除去・墨生成手段１０９と、プリンタγ補正手段１１０と、中間調処理手段１１１と、画像出力手段１１２とを有している。
【００４５】
この第１の実施形態の画像処理装置では、次のような処理がなされる。すなわち、スキャナ等の画像入力手段１０１によって光学的に読み取られた原稿は、ｒｇｂの各８ｂｉｔのデジタル画像信号に変換されて出力される。出力された画像信号は、スキャナγ補正手段１０２に入力され、反射率リニアなｒｇｂ信号は、ＬＵＴ（ルックアップテーブル）等により濃度リニアなＲＧＢ信号へと変換される。また、このとき、グレーバランスがとられ、Ｒ，Ｇ，Ｂの画素値が等しいときはグレーとなるように調整される。
【００４６】
画像入力手段１０１からの画像信号ｒｇｂは、同時に第１の像域分離手段１０３に入力され、第１の像域分離手段１０３に入力した画像は、第１の像域分離手段１０３によって黒文字画像領域と色文字画像領域及びそれ以外の絵柄領域に識別される。なお、絵柄領域とは、網点画像領域（網点上の文字に関しては絵柄領域と識別される）や連続調画像領域や地肌領域のことを指す。
【００４７】
ここで、第１の像域分離手段１０３は、例えば、特許第３１５３２２１号や特開平５−４８８９２に開示されているような像域分離方式で像域分離処理を行なう。すなわち、上記像域分離方式では、エッジ領域検出と網点領域検出と白地背景領域検出と有彩／無彩領域検出に基づいて総合的に判定しており、白地上の文字は文字領域と判定し、網点上の文字を含む網点画像や連続調画像は絵柄領域（文字以外の領域）と判定する。また、文字領域については、有彩／無彩領域検出によって、さらに、黒文字領域と色文字領域の判別が行われる。図１においては、フィルタ処理手段１０５に入力される分離信号ｓ１は、文字領域（文字画像領域）を示す信号である。また、色成分制御手段１０６に入力される信号ｃ１は、黒文字領域（黒文字画像領域）を示す信号である。
【００４８】
また、エッジ量算出手段１０４は、ｇ信号を用いて、入力画像のエッジの度合いを示すエッジ量ｅ１を算出するようになっている。
【００４９】
フィルタ処理手段１０５では、第１の像域分離手段１０３による判定結果ｓ１とエッジ量算出手段１０４によるエッジ量ｅ１に基づいて、スキャナγ補正手段１０２からのＲＧＢ画像信号に対し適応的にエッジ強調処理あるいは平滑化処理を施す。具体的には、ＲＧＢ画像信号の文字領域（黒文字及び色文字の両領域）に対しては均一なエッジ強調フィルタを施し、絵柄領域に対しては平滑化フィルタを施した後にエッジ量に基づく適応エッジ強調処理を行なう。このようなフィルタ処理によって、文字部では鮮鋭性を満足させ、絵柄部では網点部などでのモアレの抑制と網点上文字での鮮鋭性を満足させることができる。
【００５０】
また、色成分制御手段１０６は、第１の像域分離手段１０３からの黒文字分離結果（黒文字領域信号）ｃ１に基づいて、フィルタ処理手段１０５からの画像信号に対して色成分の制御を行なうようになっている。
【００５１】
図２は色成分制御手段１０６の構成例を示す図である。図２の例では、色成分制御手段１０６は、入力されたＲＧＢ信号の平均値を求める平均値手段１０６１〜１０６３と、平均値手段１０６１〜１０６３からの平均値信号と元のＲＧＢ信号とを信号ｃ１に基づいて切り換えるセレクタ１０６４とを有している。より具体的に、セレクタ１０６４は、信号ｃ１に基づいて、黒文字であると判定された画素に対しては平均値手段１０６１〜１０６３からの出力を選択し、黒文字でないと判定された画素に対してはフィルタ処理手段１０５からの信号値を選択して出力するようになっている。なお、図２に示した例では、黒文字画素であった場合には、Ｒ’＝Ｇ’＝Ｂ’＝ａｖｅ（Ｒ，Ｇ，Ｂ）とし、全ての画素を同じ値にすることによって黒文字であることを示す信号としている。つまり、色成分制御手段１０６は、黒文字コードをＲ’＝Ｇ’＝Ｂ’＝ａｖｅ（Ｒ，Ｇ，Ｂ）として画像中に埋め込んでいる。
【００５２】
色成分制御手段１０６からの画像信号Ｒ’Ｇ’Ｂ’は、色補正手段１０７に入力し、色補正手段１０６では、マスキング演算等によりＲＧＢ系の信号をプリンタ系の色材に適したＣＭＹ系の信号に変換するようになっている。色補正処理としては、さまざまな手法が考えられるが、ここでは次式（数１）のようなマスキング演算が行われるものとする。
【００５３】
【数１】
Ｃ＝α１１×Ｒ＋α１２×Ｇ＋α１３×Ｂ＋β１
Ｍ＝α２１×Ｒ＋α２２×Ｇ＋α２３×Ｂ＋β２
Ｙ＝α３１×Ｒ＋α３２×Ｇ＋α３３×Ｂ＋β３
【００５４】
上記数１において、α１１〜α３３およびβ１〜β３は予め定められた色補正係数で、出力されるＣＭＹも８ｂｉｔ（０〜２５５）の信号とする。
【００５５】
また、色成分制御手段１０６からの画像データは第２の像域分離手段１０８にも入力し、第２の像域分離手段１０８では、黒文字画素の検出（再抽出）を行なうようになっている。
【００５６】
図３は第２の像域分離手段１０８の構成例を示す図である。図３の例では、第２の像域分離手段１０８は、黒候補画素検出手段１０８１と、連結性判定手段１０８２と、白画素検出手段１０８３と、３×３の膨張処理手段１０８４と、論理積回路１０８５，１０８７と、５×５の膨張処理手段１０８６とを有している。
【００５７】
この第２の像域分離手段１０８における黒文字画素の検出処理（再抽出処理）は、次のようになされる。すなわち、Ｒ’Ｇ’Ｂ’信号に対し、黒候補画素検出手段１０８１では、対象画素がＲ＝Ｇ＝ＢかつＧ＞ｔｈ１であるか否かを判定し、対象画素がＲ＝Ｇ＝ＢかつＧ＞ｔｈ１であれば、黒候補画素として１を出力する。ここで、ｔｈ１は黒レベルを決定する濃度閾値である。このようにして、黒候補画素検出手段１０８１では、所定濃度以上の黒画素が検出される。黒候補画素検出手段１０８１の検出結果は、連結性判定手段１０８２に入力し、連結性判定手段１０８２では、例えば図４に示すようなパターンに基づきパターンマッチングが行われる。文字画像の性質から、黒文字を構成する画素（黒文字画素）は１ドットや２ドットで孤立して存在することはない。すなわち、文字とは連続した白画素中に連続した黒画素が並んでいるという特徴がある。例えば特許第３１５３２２１号に開示されている分離手段でもその性質を利用したパターンマッチングを組み込んでおり、このような検出を前段で行っておけば黒文字部で黒画素が孤立して存在することはないと言い切れる。そこで、図４の例では、３×３画素の連結性判定パターンを使用してパターンマッチングを行い、注目画素を挟んだ縦横斜めいずれかの方向で黒候補画素が３画素連結して存在する画素を検出することにより、その他の孤立画素を取り除くことができる。連結性判定では注目画素を３×３画素の中心としているため、線の端点や折れ線・曲線の角で黒画素が１画素欠落するが、後段の白地上黒エッジに対する５×５膨張処理により最終的には黒文字として検出されるので問題ない。以上のように連結性判定を行なうことで、絵柄中に点在するようなＲ＝Ｇ＝Ｂ画素を黒文字と誤って判定することがなくなる。
【００５８】
また、図３の構成例では、白画素検出手段１０８３によって検出の精度をさらに上げている。すなわち、ここでは、前述のように、黒文字領域とは白地上の黒文字を指すものなので、黒文字画素の周囲には白画素があるという特徴を用いている。白画素検出手段１０８３では、画素がＲ＝Ｇ＝ＢかつＧ＜ｔｈ２であるか否かを判定し、Ｒ＝Ｇ＝ＢかつＧ＜ｔｈ２であるならば、白画素として１を出力する。さらに、このように検出された白画素を膨張処理手段１０８４によって３×３膨張し、論理積回路１０８５において、前記連結性判定手段１０８２から出力される信号との論理積をとる。白画素は３×３膨張によって本来の白画素から１画素膨張したような領域となっており、黒文字候補画素との論理積をとることにより、白地と隣接した黒画素領域が検出できる。絵柄中に点在する黒文字に似た黒塊は、周囲に白画素がないので、ここで除去することができる。
【００５９】
以上のように、黒文字以外のＲ＝Ｇ＝Ｂ画素を除去した信号は、５×５膨張処理手段１０８６によって膨張され（５ドット幅を持つ黒文字領域に膨張され）、さらに、論理積回路１０８７において、連結性判定手段１０８２から出力される信号と論理積をとることによって、白地側にはみだした黒文字領域（２ドット分）を排除している。以上のように検出された黒文字分離信号ｃ２は、白地上の黒文字の輪郭部において３ドット幅を有する領域であり、後段の処理に用いるため出力される。
【００６０】
なお、第２の像域分離手段１０８の前に施されるフィルタ処理として、白地上の文字に対しては十分な強調処理を行い、あえて文字周囲に発生する白抜けをそのまま残し、また、色地上の黒文字に対しては強調の際に発生する白抜けを防止するような機構を用いることで、上記黒文字画素の検出（再抽出）を高精度に行なうことができる。
【００６１】
色補正手段１０７からの画像信号は、下色除去・墨生成手段１０９においてＣＭＹＫ信号に変換される。下色除去・墨生成手段１０９では、墨成分であるＫ信号が生成されると共に、ＣＭＹ信号から下色除去（ＵＣＲ）が行われる。ここで、下色除去・墨生成手段１０９は、第２の像域分離手段１０８からの黒文字分離結果ｃ２に基づいて、黒文字画素とその他の画素に対して異なる下色除去・墨生成を行なうようになっている。
【００６２】
黒文字画素でない画素（非黒文字画素）に対してのＫ信号の生成およびＣＭＹ信号からの下色除去は、次式のように行われる。
【００６３】
【数２】
Ｋ＝Ｍｉｎ（Ｃ，Ｍ，Ｙ）×β４
Ｃ’＝Ｃ−Ｋ×β５
Ｍ’＝Ｍ−Ｋ×β５
Ｙ’＝Ｙ−Ｋ×β５
【００６４】
ここで、Ｍｉｎ（Ｃ，Ｍ，Ｙ）は、ＣＭＹ信号のうち最小のものであり、β４，β５は予め定められた係数で８ｂｉｔの信号とする。また、黒文字画素に対してのＫ信号の生成およびＣＭＹ信号からの下色除去は、次式のように行われる。
【００６５】
【数３】
Ｋ＝Ｍｉｎ（Ｃ，Ｍ，Ｙ）
Ｃ’＝０
Ｍ’＝０
Ｙ’＝０
【００６６】
このように、黒文字画素に対してはＫトナー単色での再生が行われるため、版ズレ時の色ズレによる色付きや解像度低下を招くことがなく、良好な黒文字品質が得られる。
【００６７】
下色除去・墨生成手段１０９で処理された信号は、プリンタγ補正手段１１０によってプリンタエンジン特性に合わせたγ補正が行われ、さらに中間調処理手段１１１において中間調処理が施されて、画像出力手段１１２において出力される。
【００６８】
図１の構成例では、中間調処理手段１１１は、第２の像域分離手段１０８による分離結果ｃ２を用いて中間調処理方式を切り換えるよう構成されている。つまり、中間調処理手段１１１は、より具体的には、例えば、黒文字と判定された画素に対しては文字鮮鋭性の再現に有利な誤差拡散処理を施し、絵柄部などの非黒文字と判定された画素に対しては粒状性，階調再現性に有利なディザ処理を施すようになっている。なお、いまの例ではこのような切換を行なっているが、全面を誤差拡散処理にて処理しても何ら問題はない。
【００６９】
以上のように、この第１の実施形態では、第１の分離手段１０３の分離結果に基づき、黒文字画素（黒文字領域画素）をＲ＝Ｇ＝Ｂとして色成分を減ずる処理を行い、また、第２の分離手段１０８ではＲ＝Ｇ＝Ｂ情報をもとに黒文字画素を検出（再抽出）し、検出（再抽出）した黒文字画素情報を基に後段の下色除去・墨生成等の処理を行なうことで、高画質な画像再生を実現できる。
【００７０】
なお、上記の処理例では、黒文字画素の色成分を完全に０にする構成としたが、この限りではない。例えば、色成分抑制手段１０６でΔＲＧＢの値が所定値以下になるように色成分を抑制することもでき、この場合には、第２の像域分離手段１０８では、黒候補画素検出を行なう際にΔＲＧＢが所定の閾値以下の画素を黒候補画素とするように判定すればよい。このようにすると、完全に無彩色にすることがなく、色成分抑制処理後の画像をＰＣなどのモニタで表示する場合にも、黒文字画像の違和感を比較的少なくすることができる。
【００７１】
本発明は、上述のように、入力されたカラー画像信号に対し対象画素の属性を判定する第１の分離手段と、第１の分離手段によって判定された対象画素の属性に基づいて、対象画素の色成分に所定の処理を施す色成分制御手段と、色成分制御手段によって処理された画像信号に対し対象画素の属性を判定する第２の分離手段とを有しており、この場合、前記色成分制御手段は、第２の分離手段での対象画素の属性判定精度が向上するように対象画素の色成分に所定の処理を行なうことを特徴としている。
【００７２】
具体的には、本発明の第１の例として、第１の分離手段は、対象画素の属性として対象画素が黒文字画素であるか否かを判定する黒文字画素判定機能を有し、色成分制御手段は、第１の分離手段によって対象画素が黒文字画素でないと判定されると、対象画素の色成分を増加する有彩化処理を行なうようになっており、第２の分離手段は、色成分制御手段によって処理された画像信号の少なくとも色成分を解析することにより黒文字画素を検出（抽出）する機能を有している。
【００７３】
すなわち、この第１の例では、色成分制御手段１０６において非黒文字画素の色成分を増加させるようになっている。このようにすることで、絵柄部分で誤まって黒文字を検出（抽出）することを減少させ、高精度な黒文字検出（抽出）を行なうことができる。
【００７４】
図５は、この第１の例の色成分制御手段１０６の構成図である。図５を参照すると、色成分制御手段１０６は、ブロック１０６５において、入力されたＲＧＢ信号を輝度色信号のＹＵＶ信号に変換する。ここで、ＲＧＢ→ＹＵＶの変換式は、次式の通りである。
【００７５】
【数４】
Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４
Ｕ＝（Ｒ−Ｇ）／２
Ｖ＝（Ｂ−Ｇ）／２
【００７６】
ＹＵＶ信号において、Ｙ信号は輝度を表す信号であり、Ｕ，Ｖ信号は彩度を表す信号である。すなわち、数４は、無彩色つまりＲ＝Ｇ＝Ｂであれば、Ｕ，Ｖの値はいずれも０になるような変換式となっている。彩度成分を変換するブロック１０６６〜１０６８では、ブロック１０６５で変換されたＹＵＶ信号に対し、色成分を変更する。
【００７７】
ここで、ブロック１０６８は、Ｕ成分を０として出力する無彩化手段である。同様に、ブロック１０６９は、Ｖ成分を０として出力する無彩化手段である。これに対し、ブロック１０６６は、Ｕが０または正のときにＵに所定の値ｋを加算して出力し、Ｕが負のときにはｋを減算して出力するものであり、彩度を大きくする有彩化手段である。なお、ｋとしては、視覚的に色変わりが認識できないレベルの小さな値であって、かつ後段の第２の像域分離で十分に有彩画素と判定されるような適切な値とすることが望ましい。同様に、ブロック１０６７も、Ｖに対して有彩化を行なう有彩化手段である。また、ブロック１０６５からのＹ信号については何も処理を行わずにセレクタ１０６４へと出力するようになっている。
【００７８】
セレクタ１０６４では、第１の像域分離手段１０３からの黒文字分離信号ｃ１に基づいて切り換えを行なうようになっている。つまり、セレクタ１０６４は、第１の像域分離手段１０３からの黒文字分離信号ｃ１が黒文字画素を示すものであれば無彩化手段１０６８，１０６９からの出力を選択し、非黒文字画素を示すものであれば有彩化手段１０６６，１０６７からの出力を選択するようになっている。次いで、信号Ｙとセレクタ１０６４からの出力信号Ｕ’，Ｖ’は、ＹＵＶからＲＧＢに逆変換を行なうブロック１０７０にて色成分を制御されたＲ’Ｇ’Ｂ’信号に変換され出力される。ここで、ＹＵＶ→ＲＧＢの変換式は次式の通りである。
【００７９】
【数５】
Ｇ＝Ｙ−（２Ｕ＋２Ｖ）／４
Ｒ＝２Ｕ＋Ｇ
Ｂ＝２Ｖ＋Ｇ
【００８０】
図５のような構成とすることにより、非黒文字部で無彩色あるいは無彩色に非常に近い信号があった場合でも、有彩化手段によって必要十分な量だけ有彩化されるので、ユーザに色が変わったという印象を与えることなく、後段での黒文字の再抽出精度（検出精度）を向上させることができる。
【００８１】
また、本発明の第２の例として、第１の分離手段は、対象画素の属性として対象画素が色文字画素であるか否かを判定する色文字画素判定機能を有し、色成分制御手段は、第１の分離手段によって対象画素が色文字画素であると判定されると、対象画素の色成分を増加する有彩化処理を行なうようになっており、第２の分離手段は、色成分制御手段によって処理された画像信号の少なくとも色成分を解析することにより色文字画素を検出（抽出）する機能を有している。
【００８２】
図６は、この第２の例の色成分制御手段１０６の構成図である。図６を参照すると、この色成分制御手段１０６も、図５と同様の有彩化ブロック１０６６，１０６７を有しており、彩度を大きくするように構成されている。また別のパスでは、入力されたＵ，Ｖ信号をそのままセレクタ１０６４に入力するように構成されている。セレクタ１０６４では、第１の分離手段１０３で判別された色文字分離信号ｃ３に基づいて、これらを切り換えるようになっている。すなわち、セレクタ１０６４は、色文字画素に対しては有彩化ブロック１０６６，１０６７からの信号を選択し、非色文字画素に対してはスルーの信号を選択するようになっている。
【００８３】
このように色文字の彩度を高めることで、後段の第２の分離で色文字を誤って黒文字と判別することが少なくなり、黒文字画素の検出（再抽出）精度を向上させることができる。
【００８４】
また、本発明の第３の例として、第１の分離手段は、対象画素の属性として対象画素が文字画素であるか否かを判定する文字画素判定機能を有し、色成分制御手段は、第１の分離手段によって対象画素が文字画素でないと判定されると、対象画素の色成分を増加する有彩化処理を行なうようになっており、第２の分離手段は、色成分制御手段によって処理された画像信号の少なくとも色成分を解析することにより黒文字画素を検出（抽出）する機能を有している。
【００８５】
図７は、この第３の例の色成分制御手段１０６の構成図である。図７はセレクタ１０６４に入力する分離信号が図６と異なっており、他は図６と同様の構成となっている。すなわち、図７では、セレクタ１０６４には文字分離結果ｓ１が入力するようになっている。図７を参照すると、この第３の例の色成分制御手段１０６は、非文字画素に対しては有彩化ブロック１０６６，１０６７からの信号を選択し、これによって非文字画素の彩度を大きくするものとする一方、文字と判定された画素（すなわち、黒文字と色文字の画素）に対しては彩度成分の制御を行わずにスルーとする。このようにすることで、絵柄領域中における無彩画素を誤って黒文字と誤抽出することが少なくなる。
【００８６】
このように、本発明では、上記第１，第２，第３の例のように、色成分制御手段１０６は、第２の分離手段１０８での対象画素の属性判定精度が向上するように対象画素の色成分に所定の処理を行なうことによって、黒文字情報を従来に比べて高精度に検出（再抽出）することができる。
【００８７】
なお、上述した処理を組み合わせることもできる。例えば、色成分制御手段１０６は、第１の分離手段１０３によって対象画素が黒文字画素であると判定されると対象画素の色成分を減ずるかまたは除去する無彩化処理を、上記第１の例と組み合わせて行なうことができる（すなわち、第１の分離手段１０３によって対象画素が黒文字画素であると判定されると対象画素の色成分を減ずるかまたは除去する無彩化処理を行ない、また、第１の分離手段によって対象画素が黒文字画素でないと判定されると、対象画素の色成分を増加する有彩化処理を行なうこともできる）。あるいは、黒文字画素に対しては無彩化処理を行ない、色文字画素に対してはスルーとし、非文字領域に対しては有彩化処理を施すことなどもできる。
【００８８】
また、図１の構成例において、第１の分離手段１０３と同じ構成の分離回路を第２の分離手段１０８に持たせて黒文字を判定することも可能であるが、第１の分離手段１０３は非常に大きな回路構成であるのでハードウエアコストが高くなるという問題がある。これに対し、本発明のように第１の分離手段１０３の結果に応じて画像データに情報を埋め込むとともに、後段での分離回路が簡易的なものですむようにデータの加工（有彩化および／または無彩化）を行なうことで、ハードウエアコストが安く、かつ精度の高い分離信号を後段処理で用いることができる。
【００８９】
（第２の実施形態）
図８は本発明の第２の実施形態の画像処理装置の構成例を示す図である。図８を参照すると、この第２の実施形態の画像処理装置は、図１の画像処理装置において、色成分制御手段１０６からの出力を一旦蓄積手段１１３に蓄積し、蓄積手段１１３に蓄積された信号を読み出して色補正手段１０７，第２の像域分離手段１０８以降の処理を施す構成となっている。すなわち、この第２の実施形態において（図８の画像処理装置において）、蓄積手段１１３以外の各処理手段１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１２は、第１の実施形態（図１の画像処理装置）のものと同じものとなっている。
【００９０】
このように、本発明の第２の実施形態は、第１の実施形態の画像処理装置において、色成分制御手段１０６で処理された画像信号を蓄積する蓄積手段１１３を有し、第２の分離手段１０８は、蓄積手段１１３に蓄積された信号を読み出して処理を行なうことを特徴としている。
【００９１】
複数枚にわたるコピージョブ等では一旦画像データを蓄積する構成が一般的であるが、本発明では黒文字分離情報を画像データ中に埋め込む構成をとっているので、分離信号を別途保存する必要がなく（図８の構成において、蓄積手段１１３とは別途に分離信号保存用の蓄積手段を設ける必要がなく）、メモリ容量を節約することができる。
【００９２】
（第３の実施形態）
図９は本発明の第３の実施形態の画像処理装置の構成例を示す図である。図９を参照すると、この第３の実施形態の画像処理装置は、図１の画像処理装置において、色成分制御手段１０６からの出力を圧縮手段１１５で圧縮して蓄積手段１１３に蓄積し、蓄積手段１１３に蓄積された信号を読み出して伸張手段１１６で伸張し、色補正手段１０７，第２の像域分離手段１０８以降の処理を施す構成となっている。すなわち、この第３の実施形態において（図９の画像処理装置において）、圧縮手段１１５，蓄積手段１１３，伸張手段１１６以外の各処理手段１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１２は、第１の実施形態（図１の画像処理装置）のものと同じものとなっている。
【００９３】
このように、本発明の第３の実施形態は、第１の実施形態の画像処理装置において、色成分制御手段１０６で処理された画像信号に対し圧縮処理を施す圧縮手段１１５と、圧縮手段１１５で圧縮処理された画像信号を蓄積する蓄積手段１１３と、蓄積手段１１３に蓄積された画像信号を伸張する伸張手段１１６とを有し、第２の分離手段１０８は、伸張手段１１６によって伸張処理された画像信号に対して処理を行なうことを特徴としている。
【００９４】
ここで、圧縮手段１１５は可逆圧縮処理を行なうようになっていても良いし、非可逆圧縮処理を行なうようになっていても良い。但し、蓄積手段１１３への蓄積枚数やデータ転送レートを考慮して、非可逆圧縮処理方式を用いる方が好ましい。但し、この場合、非可逆圧縮では、色成分制御手段１０６によって埋め込まれた黒文字情報や、再抽出の精度を高めるための有彩化処理が、圧縮，伸張による劣化によって歪んでしまう。どの程度の信号レベル変化が起きるかは圧縮処理の方式や施されたフィルタ特性や原稿の種類などによっても異なるが、第２の像域分離手段１０８で十分な黒文字情報の検出（再抽出）が行なえるよう、圧縮手段１１５の圧縮処理方式に応じた色成分制御が必要である。
【００９５】
また、圧縮手段１１５は、輝度色差系の信号に変換してから画像信号の圧縮を行なうものが望ましい。これまで説明したように、黒文字を無彩化することで黒文字分離情報を埋め込む処理を行っているので、圧縮，伸張による黒文字部での彩度成分の変化はできるだけ小さいことが望ましい。画像信号をＹＵＶのような輝度色差信号に変換すれば黒文字部での彩度成分は０となり、圧縮，伸張による劣化を受けにくい。ＲＧＢ信号に対して版毎に圧縮するような構成では、Ｒ，Ｇ，Ｂのいずれかの信号が圧縮劣化によって変化した場合、無彩画素は有彩となってしまう。ＹＵＶであれば、Ｙに対しては変化が発生してもＵ，Ｖに変化がなければ無彩であることに変わりはない。以上のような理由で、圧縮手段１１５は、輝度色差系の信号に変換してから画像信号の圧縮を行なうものが望ましい。
【００９６】
上述した第１，第２，第３の実施形態において、色成分制御手段１０６における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものにすることができる。
【００９７】
図５では、非黒文字画素に対して一律に有彩化するように制御していた。視覚的には認識できない程度の彩度制御ではあるが、望ましくは彩度を変更することは行いたくない。このことに対応し、色成分を制御する部分を最小限に抑えるために、色成分制御手段１０６における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものにすることができる。
【００９８】
図１０には、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させる色成分制御手段１０６の構成例が示されている。すなわち、図１０の例では、色成分制御手段１０６は、入力された非黒文字画素のうち、彩度成分が所定の値よりも小さいときのみ色成分を増加するように構成されている。例えば図１０のブロック１０６６では、Ｕ成分の絶対値が２以下の時は彩度成分をｋだけ増加するよう制御するが、Ｕ成分の絶対値が２より大きいときは、処理を行わないようになっている。ブロック１０６７についても同様である。すなわち、図１０の例では、十分な彩度を有する画素は誤って黒文字と検出（再抽出）されることがないのでスルーで良く、黒文字と誤判定される可能性のある無彩に近い画素のみを有彩化するようにしている。このようにすれば、有彩化処理を必要最小限におさえることができ、色再現性も保証することができる。
【００９９】
また、図１０で説明したのと同様の目的で、上述した第１，第２，第３の実施形態において、色成分制御手段は、第２の分離手段１０８によって黒文字画素を検出（抽出）する際に、黒文字画素ではない画素を黒文字画素と誤って検出（抽出）する可能性が高い画像領域に対しては他の領域よりも多く色成分を増加させるか、あるいは、黒文字画素と誤って検出（抽出）する可能性が高い画像領域に対してのみ色成分を増加させるようにすることができる。これにより、色成分制御手段１０６による黒文字画素以外への色成分制御を最小限に抑えることを実現できる。
【０１００】
すなわち、図３に示した第２の像域分離手段１０８では、白画素に隣接したＲ＝Ｇ＝Ｂ画素塊を検出することで黒文字情報の検出（再抽出）を行なうものであったが、このような簡易な検出方法では白地上にグレーの画像がある場合などに黒文字と誤まって判定してしまうことがあった。例えば、白い紙上に貼り付けられたモノクロの写真などがこの場合に当たる。モノクロ画像といってもほとんどの場合、Ｒ＝Ｇ＝Ｂとなる画素が塊で存在することは少なく、しかも図３の分離手段では白地と隣接する３ドット幅のみを黒文字領域と判定するものなので、実質上ほぼ問題とならないが、より高画質な画像再現のためにはこのような誤判定はない方が好ましい。
【０１０１】
このため、本発明では、あらかじめ後段の像域分離手段１０８で誤判定しそうな画像領域を検出し、この画像領域にのみ誤判定を起こさないように補正を加えることで、色成分制御を必要最小限の領域に抑えるようにしている。
【０１０２】
図１１には、第２の分離手段１０８によって黒文字画素を検出（抽出）する際に、黒文字画素ではない画素を黒文字画素と誤って検出（抽出）する可能性が高い画像領域に対しては他の領域よりも多く色成分を増加させるか、あるいは、黒文字画素と誤って検出（抽出）する可能性が高い画像領域に対してのみ色成分を増加させる色成分制御手段１０６の構成例が示されている。すなわち、図１１の例では、色成分制御手段１０６は、黒文字画素に対する無彩化手段の部分Ａに加えて、後段の像域分離で誤分離を起こしやすい部分を検出し補正を加える部分Ｂを有している。
【０１０３】
図１１の構成例では、黒文字画素に対してはセレクタ１０６４によって無彩化が施された信号は、第３の像域分離手段１０７３に入力する。第３の像域分離手段１０７３は、前述の第２の像域分離手段１０８（図３）と同じ構成であり、白地上の無彩画素塊を検出するように構成されている。第３の像域分離手段１０７３で検出された黒文字分離結果ｃ４は、差分判定手段１０７４によってオリジナルの黒文字分離結果ｃ１との差分が検出され、差分判定手段１０７４では、誤判定する画像領域をｃ５として検出する。そして、誤判定する画像領域ｃ５に対して有彩化手段１０７１，１０７２で有彩化が行われ、ブロック１０７０において出力される。
【０１０４】
ここで、第３の像域分離手段１０７３では、黒文字検出（再抽出）のパラメータを、黒文字がより検出されやすいようなパラメータとして設定しておけばよい。このようにすることによって、圧縮伸張手段などによる画像の劣化で誤検出が増えてしまう箇所についてもあらかじめ検出することができる。
【０１０５】
このように、図１１の色成分制御手段１０６では、後段の第２の像域分離手段１０８で誤って検出される可能性が高い領域について有彩化し、誤検出に対する余裕度を高めることができ、また有彩化する部分も必要最小限に留めることができる。
【０１０６】
なお、図１１の構成例では、第２の像域分離手段１０８と同じ構成の検出手段を第３の分離手段１０７３に用いる例を示したが、この例のように白地上の無彩画素あるいは無彩に近い画素が誤検出する可能性が高いとわかっている場合は、特に第３の分離手段１０７３を設けなくとも、第１の像域分離手段１０３からの白地背景領域検出結果と、黒文字検出結果と、ほぼ無彩である画素情報とによって、あらかじめ有彩化しておく領域を特定することもできる。
【０１０７】
（第４の実施形態）
本発明の第４の実施形態は、上述した第１，第２，第３の実施形態の画像処理装置において、色成分制御手段１０６によって所定の処理が施された画像信号を、システムまたはユーザによって指定された所定の画像フォーマット（圧縮方式、圧縮率、画像解像度、色空間）に変換して外部機器に転送する処理機能を有し、指定された所定の画像フォーマットに応じて前記色成分制御手段を制御することを特徴としている。
【０１０８】
ここで、所定の画像フォーマットに応じた色成分制御手段の制御としては、第１の分離手段１０３で判定された黒文字画素の領域を周辺の領域に無彩化する領域として拡張する制御を含んでいる。
【０１０９】
図１２は本発明の第４の実施形態の画像処理装置の構成例を示す図である。図１２の例では、図９の画像処理装置において、蓄積手段１１３に蓄積された画像信号を所定のフォーマットに変換して外部装置に転送するようになっている。すなわち、図１２の例では、蓄積手段１１３に蓄積された画像信号を所定のフォーマットに変換して外部装置に転送する場合、蓄積手段１１３からの信号を読み出し、圧縮・伸張手段１１７にて伸張し、解像度変換手段１１９で所定の解像度に変換する。外部転送時のデータサイズを小さくするため、例えば６００ｄｐｉ解像度画像を３００ｄｐｉや２００ｄｐｉに変換する。さらに、ブロック１２０でｓＲＧＢ変換などの標準信号に変換し、ＪＰＥＧ圧縮・伸張手段１２１でＪＰＥＧフォーマットに変換し、ＮＩＣ１２２を介して外部装置に転送することができる。
【０１１０】
外部転送された画像信号は、ＰＣ上のアプリケーションとしてスキャンされた画像データとして使用するなどの他、再度画像形成装置に入力されてコピー出力されるケースがある。例えば編集ソフトによって読み取られた画像中にあるパンチ穴画像などの不要な部分を除去したり、スタンプを押すような画像編集を行ったりしたものを出力する場合がその例である。このような場合には、再度、ＮＩＣ１２２を介して、ＪＰＥＧ圧縮・伸張手段１２１でＪＰＥＧ伸張し、さらに、ブロック１２０でデバイス依存のＲＧＢ信号に変換し、解像度変換手段１１９で元の解像度（６００ｄｐｉ）に変換し、圧縮・伸張手段１１７で圧縮を施して蓄積手段１１３に格納することができる。そして、蓄積手段１１３への格納が終了すると、システムコントローラ（図示せず）により、伸張手段１１６以降の後段処理が施される。
【０１１１】
ところで、図１２において、第１の色成分制御手段１０６によって画像データ中に埋め込まれた黒文字分離情報は、解像度変換手段１１９やＪＰＥＧ圧縮・伸張手段１２１によって画像データが劣化・変更されるため、再度コピー出力する際の第２の像域分離手段１０８での黒文字情報の検出（再抽出）精度が悪くなってしまう。
【０１１２】
本発明の第４の実施形態は、このような外部転送時のフォーマット変換を経由した再出力時にも黒文字の画質を満足させようとするものであり、第１の色成分制御手段１０６を外部転送される際の画像フォーマットに応じて制御するようにしている。具体的には、黒文字画素および非黒文字画素に対して、再検出（再抽出）の際の検出マージンが向上するように更なる色成分の制御を行なうものである。
【０１１３】
例えば、非黒文字画素に対する有彩化については、第１の色成分制御手段１０６で行った有彩化よりも有彩化を強くして出力する方法がある。
【０１１４】
また、他の方法としては、無彩化する領域を拡張する方法がある。例えばＪＰＥＧ圧縮は、８×８ブロックサイズ毎に輝度色差信号（ＹＣｂＣｒ）に変換して、ＤＣＴ変換を用いて画像圧縮する方式である。無彩化された黒文字画素に対してＪＰＥＧ圧縮が施されると、８×８ブロック内の他の画素が有彩画素であった場合、黒文字画素が有彩化してしまう。通常、黒文字と判定される画素の周囲には白地背景領域が存在し、彩度の高い色画素は存在しないが、白地といえども若干の彩度を有する画素は存在するので、前述のような問題が発生する。また、これは圧縮率の設定を高くした場合に顕著である。
【０１１５】
これに対し、８×８ブロック内の画素が全て無彩画素であればＹＣｂＣｒ信号にした時点でＣｂＣｒ成分は０となるので、無彩情報は劣化することなく保存できる。よって、第１の色成分制御手段１０６は、ＪＰＥＧ圧縮を施して外部に出力すると分かっている場合、圧縮されるブロック内における黒文字画素の有無に応じてブロック内の非黒文字画素の有彩・無彩処理を制御するように構成し、黒文字画素がある場合には他の有彩画素をすべて無彩画素に補正すればよい。
【０１１６】
また、前述のように黒文字画素の周囲には彩度の高い色画素は存在しないので、ブロック内の全ての画素を無彩化することは画質的には問題ないが、例えばブロックサイズのもっと大きな圧縮方式では、有彩画素を無彩化することが画質劣化となる場合がある。このような場合には、ブロック内の十分な彩度を持つ有彩画素に対しては無彩化処理をせず、比較的彩度の低い画素に対してのみ無彩化するようにすればよい。
【０１１７】
また、ブロック単位での黒文字周囲画素の無彩化方法について述べたが、ブロック単位ではなく、黒文字画素を数画素膨張した領域に対して無彩化するように構成しても良い。この場合、変換されるデータフォーマットに応じて膨張する画素数を決定すればよい。解像度についても同様で、低解像データに変換される場合は無彩化する領域を広くとっておけば黒文字情報の保存をうまく行なうことができる。
【０１１８】
以上のように、第１の色成分制御手段１０６を制御することによって、解像度変換，圧縮方式などの異なるデータフォーマットに変換された信号にも的確に黒文字情報を埋め込むことができ、再コピーの際の高画質化が実現できる。また、上述の説明では、本画像処理装置での再コピーを例に挙げたが、埋め込まれた属性情報を再抽出し適応的な処理を実現できる外部の画像処理装置や画像処理プログラムでも有効である。
【０１１９】
（第５の実施形態）
本発明の第５の実施形態は、第２，第３の実施形態の画像処理装置において、蓄積手段１１３に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴としている。
【０１２０】
ここで、第２の色成分制御手段は、蓄積手段１１３に蓄積されている画像信号から識別された属性情報に応じて、蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送することができる。
【０１２１】
あるいは、第２の色成分制御手段は、第１の分離手段１０３によって判定された対象画素の属性に応じて蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送することもできる。
【０１２２】
図１３は本発明の第５の実施形態の画像処理装置の構成例を示す図である。図１３の例では、図１２の構成において、圧縮・伸張手段１１７と解像度変換手段１１９との間に、第２の色成分制御手段１１８がさらに設けられている。
【０１２３】
図１３の構成例は、コピー出力のために蓄積手段１１３に処理蓄積した画像データを、外部装置への出力としても利用する場合に有効である。すなわち、コピー出力のために最適化した黒文字情報の埋め込みは、そのままでは解像度変換やＪＰＥＧ圧縮によって劣化してしまうのは上述した通りである。しかし、外部転送を考慮して第４の実施形態のような広範囲な無彩化などを行なうと、コピー出力にとっては画質劣化を招く恐れがある。そこで、本発明の第５の実施形態では、外部転送されるデータフォーマットに応じた黒文字情報の補正処理を第２の色成分制御手段１１８で実行するようにしている。
【０１２４】
具体的には、第２の色成分制御手段１１８は、蓄積手段１１３に蓄積されている画像信号から識別された属性情報に応じて、蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送することができる。
【０１２５】
あるいは、第２の色成分制御手段１１８は、第１の分離手段１０３によって判定された対象画素の属性に応じて蓄積手段１０３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送することもできる。
【０１２６】
また、第２の色成分制御手段１１８での制御は、第１の像域分離手段１０３からの黒文字分離結果ｃ１に基づいて行っても良いし、再抽出手段（図示せず）によって画像データから埋め込まれている黒文字情報を再抽出し、再抽出した結果に基づいて行っても良い。
【０１２７】
ところで、上述した各実施形態において、蓄積手段１１３には、圧縮された画像データとともに、指定された出力条件や処理内容を情報として保存しておくことができる。指定された出力条件や処理内容を情報として保存しておく場合には、蓄積された画像データを後日、操作パネルなどからの出力指定によって再度出力する場合に有効である。蓄積された画像データに対する情報を読み出し、画質モード（文字写真モード、文字モード、写真モードなど）や原稿種モード（印画紙、印刷原稿）や施されたフィルタパラメータ、色成分の抑制に関するパラメータなどを認識することで、圧縮後段の色補正手段や中間調処理手段での処理内容を最適なものにすることができる。
【０１２８】
さらに、外部機器に画像信号を転送する際にも、該画像信号に施された処理内容などをヘッダ情報あるいはフッタ情報として出力できることが望ましい。具体的には、変換された解像度情報，ｓＲＧＢ信号であることを示す情報，ＪＰＥＧクオリティ，第２の色成分制御手段における処理内容などを、前記の情報に付加して出力するようにすることができる。このようにすることによって（すなわち、画像信号を外部機器に転送する際に、該画像信号に施された処理内容をヘッダ情報に保存して外部機器に転送することによって）、再度外部から入力した場合に、ヘッダ情報に応じて的確な画像フォーマットに変換することができる。
【０１２９】
また、第２の像域分離手段１０８では、ヘッダ情報に基づいて分離方法やパラメータを変更することで、精度の高い黒文字検出（抽出）を行なうことができる。例えば、圧縮率や解像度に応じて、有彩画素判定，無彩画素判定の閾値を制御するようにすることができる。具体例として、圧縮率が高い場合には劣化が起こっている可能性が高いので、判定閾値を緩くして、より黒文字を検出しやすくする。しかし、さらに圧縮率が高い場合は、黒文字を再抽出しようとすると誤検出が非常に増えて、絵柄部分の画質劣化が著しくなるので、逆に無彩画素判定を厳しくするか、黒文字再抽出機能をＯＦＦにする。このように、圧縮率に応じて第２の像域分離手段を最適に制御することで、トータル的な最適画質が得られるようにすることができる。
【０１３０】
また、解像度についても、一旦ある程度以下の低解像度画像に変換された場合は、黒文字再抽出機能をＯＦＦにした方が好適な場合があるので、このように制御するようにすることができる。
【０１３１】
また、外部編集で色成分を変更する処理が行われた場合には、同じく黒文字再抽出機能をＯＦＦにするようにすることができる。
【０１３２】
さらに、外部装置から入力された画像信号に黒文字情報の埋め込みについての情報が付加されていない場合や、ヘッダ情報がない場合は黒文字再抽出機能をＯＦＦにするようにすることができる。
【０１３３】
換言すれば、外部機器から入力した画像データに対して第２の分離手段１０８によって属性の判定を行なう画像処理装置において、前記ヘッダ情報に応じて第２の分離手段１０８の黒文字抽出方法を制御することができる。
【０１３４】
また、外部機器から入力した画像データを蓄積手段１１３に蓄積し、蓄積手段１１３に蓄積された画像信号を読み出して第２の分離手段１０８で対象画素の属性を検出（抽出）して画像処理を施す画像処理装置において、入力された画像信号に処理内容を示すヘッダ情報が付されていないときは、第２の分離手段１０８による黒文字抽出を制限するかまたは行わないようにすることができる。
【０１３５】
このように、画像データに付加する情報に応じて、第２の像域分離手段１０８の使用，未使用、およびパラメータを制御することで、再現できる画質のうち最適なものを出力できるようにすることが可能となる。
【０１３６】
上述したように、本発明によれば、入力されたカラー画像信号に対し対象画素の属性を判定する第１の分離手段と、第１の分離手段によって判定された対象画素の属性に基づいて、対象画素の色成分に所定の処理を施す色成分制御手段と、色成分制御手段によって処理された画像信号に対し対象画素の属性を判定する第２の分離手段とを有し、前記色成分制御手段は、第２の分離手段での対象画素の属性判定精度が向上するように対象画素の色成分に所定の処理を行なうことによって（より具体的には、第１の分離手段は、対象画素の属性として対象画素が黒文字画素であるか否かを判定する黒文字画素判定機能を有し、色成分制御手段は、前記第１の分離手段によって対象画素が黒文字画素でないと判定されると、対象画素の色成分を増加する有彩化処理を行ない、第２の分離手段は、色成分制御手段によって処理された画像信号の少なくとも色成分を解析することにより黒文字画素を検出（抽出）する機能を有していることによって）、黒文字情報を従来に比べて高精度に検出（再抽出）することができる。
【０１３７】
より具体的に、Ｒ＝Ｇ＝Ｂとして埋め込んだ黒文字情報が圧縮，伸張などによって劣化してしまい、黒文字情報の検出（再抽出）がうまく行えない場合があるが、本発明は、このようなケースにも対応した画素情報の劣化に対する耐性の強い画像処理装置を提供するため、黒文字を無彩化する以外に非黒文字画素を有彩化するようにしている。また、後段の黒文字情報の検出（抽出）の際に誤分離を起こしそうな部分や、十分な有彩画素は有彩化処理を行わないなど、必要な画素にのみ有彩化処理を施すようにしている。
【０１３８】
また、複数枚コピーしたり電子ソートを行なう場合は、黒文字情報を埋め込んだ画像データをハードディスク装置等の大容量記憶手段に複数ページ分、一旦蓄積し、これを読み出すことによって実現する構成があるが、このような場合こそ、分離情報をデータとして保持しない本発明の構成にすることにより、記憶手段（蓄積手段）の容量の節約およびバスへ転送するデータの少量化を図ることができる。
【０１３９】
さらに、記憶手段（蓄積手段）に記憶蓄積する際に、画像データを圧縮して蓄積する方法がとられるのが一般的であるが、このような場合、先に埋め込んだ黒文字情報をできるだけ劣化させないで蓄積することが必要である。本発明は、非可逆圧縮によりデータが変化してしまう場合にも、前記黒文字情報が劣化しないように前処理を行なうようにしている。
【０１４０】
また、蓄積手段に蓄積された画像信号などを外部に転送する際には、通常、ＪＰＥＧ等の圧縮手段によってさらに圧縮し出力することが行われるが、異なる圧縮方式あるいは異なる圧縮率での処理が行われるため、画像データ中に埋め込んだ黒文字情報が破損してしまうことがあった。このような場合、一旦外部に転送したデータを再度入力して出力する時や、他の同じ画像処理システムを有するＭＦＰなどに転送して出力する時に、高品位な再生が行えなくなる。これに対し、本発明では、蓄積した信号をさらに別の圧縮手段によって圧縮し出力する場合などにも黒文字情報の保存が行えるようにするため、第２の色成分制御手段を有し、黒文字コードをより堅固な状態に補正するようにしている。
【０１４１】
また、本発明では、画像データを蓄積する際に、画質モードや変倍率や圧縮率など、画像データに施された画像処理内容を画像データとともにヘッダ情報などに保存することによって、黒文字の再抽出の際に最適な処理を施すのを可能にしている。
【０１４２】
なお、上述した各例では、第１の像域分離手段および第２の像域分離手段は、白地上の黒文字に対しては黒文字領域と判定し、網点上の黒文字に対しては黒文字領域ではないと判定するものを前提として説明を進めてきたが、この限りではない。
【０１４３】
第１の像域分離手段が網点や色地上の黒文字を黒文字領域と判定するものである場合にも、黒文字領域画素をＲ＝Ｇ＝Ｂに補正することで黒コードを埋め込み、第２の像域分離手段によってＲ＝Ｇ＝Ｂを抽出し、黒文字処理を行なえば同様の効果を得ることができる。また、非黒文字画素を有彩化するなどの処理も、第２の分離手段での分離精度を向上させる点で有効であり、同様の効果が得られる。
【０１４４】
また、上述した各例では、画像出力手段１１２がプリンタであるとして説明したが、画像出力手段１１２としては、画像出力機能を有するものであれば良く、プリンタ以外のものであっても、本発明が適用される。
【０１４５】
図１４は本発明の画像処理装置のハードウェア構成例を示す図である。図１４を参照すると、この画像処理装置は、例えばパーソナルコンピュータ等で実現され、全体を制御するＣＰＵ２１と、ＣＰＵ２１の制御プログラム等が記憶されているＲＯＭ２２と、ＣＰＵ２１のワークエリア等として使用されるＲＡＭ２３と、ハードディスク２４と、スキャナなどの画像入力手段１０１と、画像出力手段（例えば、ディスプレイやプリンタ）１１２と、通信手段（例えばＮＩＣ）１２２とを有している。
【０１４６】
ここで、ハードディスク２４は、蓄積手段１１３に対応している。また、ＣＰＵ２１は、前述した各手段１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１５，１１６，１１７，１１８，１１９，１２０，１２１などの機能を有している。
【０１４７】
なお、ＣＰＵ２１におけるこのような各手段１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１５，１１６，１１７，１１８，１１９，１２０，１２１等としての機能は、例えばソフトウェアパッケージ（具体的には、ＣＤ−ＲＯＭ等の情報記録媒体）の形で提供することができる。
【０１４８】
また、本発明においては、各手段１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１５，１１６，１１７，１１８，１１９，１２０，１２１等における処理をコンピュータ（ＣＰＵ２１）に実現させるプログラムの形で提供することができる。
【０１４９】
換言すれば、本発明の画像処理装置は、スキャナ，プリンタ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムのマイクロプロセッサに処理を実行させる装置構成においても実施することが可能である。この場合、本発明の処理を実行するためのプログラム（すなわち、ハードウェアシステムで用いられるプログラム）は、媒体に記録された状態で提供される。プログラムなどが記録される記録媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，フレキシブルディスク，メモリカード等が用いられても良い。媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている記憶装置、例えばハードディスク２４にインストールされ起動することにより、このプログラムを実行して、本発明の処理を実現することができる。
【０１５０】
また、上述の説明では、本発明を画像処理装置として説明したが、当業者にとって、本発明は、画像処理システムとして捉えることもできるし、さらには、画像処理方法として捉えることもできる。
【０１５１】
【発明の効果】
以上に説明したように、請求項１乃至請求項１６記載の発明によれば、入力されたカラー画像信号に対し対象画素が黒文字画素であるか否かを判定する第１の分離手段と、
前記第１の分離手段によって対象画素が黒文字画素でないと判定された場合には、圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を増加する有彩化処理を行い、対象画素が黒文字画素であると判定された場合には、前記圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を減ずるかまたは除去する無彩化処理を行う色成分制御手段と、
前記色成分制御手段で処理された画像信号に対し前記圧縮処理方式に応じた非可逆圧縮処理を施す圧縮手段と、
前記圧縮手段で圧縮処理された画像信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された画像信号を伸張する伸張手段と、
前記伸長手段によって伸長された画像信号に対し、対象画素が無彩色であるか否かを判定することにより黒文字画素を検出する第２の分離手段と
を有しているので、画像信号とは別に分離信号を蓄積するという不効率さを解消するとともに、非可逆圧縮・伸長により劣化した画像信号からも精度良く黒文字画素の分離を行うことができる。
【０１５２】
具体的には、例えば、黒文字分離結果に応じて、黒文字領域については色成分を抑制あるいは完全な無彩化をし、非黒文字領域については彩度成分を増加させる処理を施すことによって、黒文字情報を従来に比べて高精度に検出（再抽出）することができる。そして、画像データ中に黒文字分離情報を保存し、後段の第２の分離手段で彩度情報に応じて黒文字情報を検出（再抽出）するよう構成しているので、圧縮などにより発生する画素値の変化に対して余裕度の高い高精度な黒文字再抽出を行なうことができる。また、非文字領域を有彩化する方法や、色文字領域を有彩化する方法も再抽出の際の余裕度を広げることが可能となる。
【０１５３】
また、後段の黒文字情報の検出（抽出）の際に誤分離を起こしそうな部分や、十分な有彩画素については、有彩化処理を行わないなど、必要な画素にのみ有彩化処理を施す（有彩化する）画像領域を必要最小限に留めることにより、ほとんど全ての部分でオリジナルの色を保存するようにできる。
【０１５４】
また、蓄積手段に記憶蓄積する際に、画像データを圧縮して蓄積する方法がとられるのが一般的であるが、輝度色差系の信号に変換してから圧縮することで、先に埋め込んだ黒文字情報をできるだけ劣化しないで蓄積することができる。
【０１５５】
また、蓄積手段に蓄積された画像信号などを外部に転送する際には、通常、ＪＰＥＧ等の圧縮手段によってさらに圧縮し出力することが行われるが、異なる圧縮方式あるいは異なる圧縮率での処理が行われるため、画像データ中に埋め込んだ黒文字情報が破損してしまうことがあった。このような場合、一旦外部に転送したデータを再度入力して出力する時や、他の同じ画像処理システムを有するＭＦＰなどに転送して出力する時に、高品位な再生が行えなくなる。これに対し、本発明では、蓄積した信号をさらに別の圧縮手段によって圧縮し出力する場合などにも、第２の色成分制御手段で黒文字コードをより堅固な状態に補正することで、黒文字情報の保存が行える。
【０１５６】
また、画像データを蓄積する際に、画質モードや変倍率や圧縮率など、画像データに施された画像処理内容を画像データとともにヘッダ情報などに保存し、再出力する際には前記情報を利用して最適な処理を行なうことによって、黒文字の検出（再抽出）を最適に行なうことができ、高画質で再出力することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の画像処理装置の構成例を示す図である。
【図２】色成分制御手段の構成例を示す図である。
【図３】第２の像域分離手段の構成例を示す図である。
【図４】連結性判定パターンの例を示す図である。
【図５】色成分制御手段の他の構成例を示す図である。
【図６】色成分制御手段の他の構成例を示す図である。
【図７】色成分制御手段の他の構成例を示す図である。
【図８】本発明の第２の実施形態の画像処理装置の構成例を示す図である。
【図９】本発明の第３の実施形態の画像処理装置の構成例を示す図である。
【図１０】色成分制御手段の他の構成例を示す図である。
【図１１】色成分制御手段の他の構成例を示す図である。
【図１２】本発明の第４の実施形態の画像処理装置の構成例を示す図である。
【図１３】本発明の第５の実施形態の画像処理装置の構成例を示す図である。
【図１４】本発明の画像処理装置のハードウェア構成例を示す図である。
【符号の説明】
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク
１０１ 画像入力手段
１１２ 画像出力手段
１２２ 通信手段
１０２ スキャナγ補正手段
１０３ 第１の像域分離手段（第１の分離手段）
１０４ エッジ量算出手段
１０５ フィルタ処理手段
１０６ 色成分制御手段
１０７ 色補正手段
１０８ 第２の像域分離手段（第２の分離手段）
１０９ 下色除去・墨生成手段
１１０ プリンタγ補正手段
１１１ 中間調処理手段
１１３ 蓄積手段
１１５ 圧縮手段
１１６ 伸張手段
１１７ 圧縮・伸張手段
１１８ 第２の色成分制御手段
１１９ 解像度変換手段
１２０ ブロック
１２１ ＪＰＥＧ圧縮・伸張手段
【発明の属する技術分野】
本発明は、プリンタ，デジタル複写機，ファクシミリ，複合機能画像処理装置，ＭＦＰ（マルチファンクションプリンタ）などに利用される画像処理装置および画像処理システムに関する。
【０００２】
【従来の技術】
従来、例えば特許文献１には、黒文字領域である画素に対して無彩色を表す信号値を設定することにより画像信号と分離信号を融合する画像処理装置が示されている。この特許文献１に示されている画像処理装置では、画像信号と分離信号を融合する際に、Ｒ＝Ｇ＝Ｂとなるように黒文字画素に対して補正を行い、抽出部ではＲ＝Ｇ＝Ｂなる画素を黒文字として再抽出している。また、この特許文献１には、Ｌａｂ表色系では、ａ，ｂ信号の値を０にすることによって融合する方法が示されている。また、通常のカラー画像では一般的には用いられないような特殊な値（Ｒ＝２５５，Ｇ＝Ｂ＝０など）とすることにより黒文字情報を融合する方法が示されている。さらには、再抽出の際に、誤って検出された画素を除去するため、周辺画素の抽出結果を用いて総合的判定するようにしている。
【０００３】
【特許文献１】
特開平８−９８０１６号公報
【０００４】
【発明が解決しようとする課題】
このように、従来では（例えば特許文献１においては）、黒文字画素に対して、Ｒ＝Ｇ＝Ｂや、Ｌａｂにおけるａ＝ｂ＝０などの無彩化処理を行ない、分離結果抽出手段でこれらの情報をたよりに黒文字情報を検出（再抽出）するようにしている。しかしながら、無彩化処理だけでは、分離結果抽出手段において高精度に黒文字情報を検出（再抽出）することができないという問題があった。
【０００５】
本発明は、黒文字情報が従来に比べて高精度に検出（再抽出）されることを可能にする画像処理装置および画像処理システムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、入力されたカラー画像信号に対し対象画素が黒文字画素であるか否かを判定する第１の分離手段と、
前記第１の分離手段によって対象画素が黒文字画素でないと判定された場合には、圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を増加する有彩化処理を行い、対象画素が黒文字画素であると判定された場合には、前記圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を減ずるかまたは除去する無彩化処理を行う色成分制御手段と、
前記色成分制御手段で処理された画像信号に対し前記圧縮処理方式に応じた非可逆圧縮処理を施す圧縮手段と、
前記圧縮手段で圧縮処理された画像信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された画像信号を伸張する伸張手段と、
前記伸長手段によって伸長された画像信号に対し、対象画素が無彩色であるか否かを判定することにより黒文字画素を検出する第２の分離手段と
を有していることを特徴としている。
【００１４】
また、請求項２記載の発明は、請求項１記載の画像処理装置において、前記圧縮手段は、輝度色差系の信号に変換してから画像信号の圧縮を行なうようになっていることを特徴としている。
【００１５】
また、請求項３記載の発明は、請求項１または請求項２記載の画像処理装置において、前記色成分制御手段における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものであることを特徴としている。
【００１７】
また、請求項４記載の発明は、請求項１乃至請求項３のいずれか一項に記載の画像処理装置において、前記第１の分離手段は、白背景領域上の黒文字画素や黒線画画素を黒文字画素として判定する機能を有し、前記第２の分離手段は、白画素領域に隣接した領域であって概ね無彩色である画素を黒文字画素として判定する機能を有していることを特徴としている。
【００１８】
また、請求項５記載の発明は、請求項１乃至請求項４のいずれか一項に記載の画像処理装置において、前記色成分制御手段によって所定の処理が施された画像信号を、システムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理機能を有し、指定された所定の画像フォーマットに応じて前記色成分制御手段を制御するようになっていることを特徴としている。
【００１９】
また、請求項６記載の発明は、請求項５記載の画像処理装置において、前記所定の画像フォーマットに応じた色成分制御手段の制御として、前記第１の分離手段で判定された黒文字画素の領域を周辺の領域に無彩化する領域として拡張する制御を含むことを特徴としている。
【００２０】
また、請求項７記載の発明は、請求項１または請求項２記載の画像処理装置において、前記蓄積手段に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、第２の色成分制御手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴としている。
【００２１】
また、請求項８記載の発明は、請求項１または請求項２記載の画像処理装置において、前記蓄積手段に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、前記第１の分離手段によって判定された対象画素の属性に応じて前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、第２の色成分制御手段は、前記第１の分離手段によって判定された対象画素の属性に応じて前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴としている。
【００２２】
また、請求項９記載の発明は、請求項１乃至請求項８のいずれか一項に記載の画像処理装置において、画像信号を外部機器に転送する際に、該画像信号に施された処理内容をヘッダ情報に保存して外部機器に転送するようになっていることを特徴としている。
【００２３】
また、請求項１０記載の発明は、請求項９記載の画像処理装置において、外部機器から入力した画像データに対して前記第２の分離手段によって属性の判定を行なう画像処理装置であって、前記ヘッダ情報に応じて第２の分離手段の黒文字抽出方法を制御するようになっていることを特徴としている。
【００２４】
また、請求項１１記載の発明は、請求項１０記載の画像処理装置において、外部機器から入力した画像データを前記蓄積手段に蓄積し、前記蓄積手段に蓄積された画像信号を読み出し前記第２の分離手段で対象画素の属性を検出して画像処理を施す画像処理装置であって、入力された画像信号に処理内容を示すヘッダ情報が付されていないときは、第２の分離手段による黒文字抽出を制限するかまたは行わないことを特徴としている。
【００２５】
また、請求項１２記載の発明は、入力されたカラー画像信号に対し対象画素が黒文字画素であるか否かを判定する第１の分離手段と、
前記第１の分離手段によって対象画素が黒文字画素でないと判定された場合には、圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を増加する有彩化処理を行い、対象画素が黒文字画素であると判定された場合には、前記圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を減ずるかまたは除去する無彩化処理を行う色成分制御手段と、
前記色成分制御手段で処理された画像信号に対し前記圧縮処理方式に応じた非可逆圧縮処理を施す圧縮手段と、
前記圧縮手段で圧縮処理された画像信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された画像信号を伸張する伸張手段と、
前記伸長手段によって伸長された画像信号に対し、対象画素が無彩色であるか否かを判定することにより黒文字画素を検出する第２の分離手段とを有していることを特徴としている。
【００３３】
また、請求項１３記載の発明は、請求項１２記載の画像処理システムにおいて、前記圧縮手段は、輝度色差系の信号に変換してから画像信号の圧縮を行なうようになっていることを特徴としている。
【００３４】
また、請求項１４記載の発明は、請求項１２または請求項１３記載の画像処理システムにおいて、前記色成分制御手段における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものであることを特徴としている。
【００３６】
また、請求項１５記載の発明は、請求項１２乃至請求項１５のいずれか一項に記載の画像処理システムにおいて、前記色成分制御手段によって所定の処理が施された画像信号を、システムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理機能を有し、指定された所定の画像フォーマットに応じて前記色成分制御手段を制御するようになっていることを特徴としている。
【００３７】
また、請求項１６記載の発明は、請求項１２または請求項１３記載の画像処理システムにおいて、前記蓄積手段に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、第２の色成分制御手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴としている。
【００４３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【００４４】
（第１の実施形態）
図１は本発明の第１の実施形態の画像処理装置の構成例を示す図である。図１を参照すると、この第１の実施形態の画像処理装置は、画像入力手段１０１と、スキャナγ補正手段１０２と、第１の像域分離手段（第１の分離手段）１０３と、エッジ量算出手段１０４と、フィルタ処理手段１０５と、色成分制御手段１０６と、色補正手段１０７と、第２の像域分離手段（第２の分離手段）１０８と、下色除去・墨生成手段１０９と、プリンタγ補正手段１１０と、中間調処理手段１１１と、画像出力手段１１２とを有している。
【００４５】
この第１の実施形態の画像処理装置では、次のような処理がなされる。すなわち、スキャナ等の画像入力手段１０１によって光学的に読み取られた原稿は、ｒｇｂの各８ｂｉｔのデジタル画像信号に変換されて出力される。出力された画像信号は、スキャナγ補正手段１０２に入力され、反射率リニアなｒｇｂ信号は、ＬＵＴ（ルックアップテーブル）等により濃度リニアなＲＧＢ信号へと変換される。また、このとき、グレーバランスがとられ、Ｒ，Ｇ，Ｂの画素値が等しいときはグレーとなるように調整される。
【００４６】
画像入力手段１０１からの画像信号ｒｇｂは、同時に第１の像域分離手段１０３に入力され、第１の像域分離手段１０３に入力した画像は、第１の像域分離手段１０３によって黒文字画像領域と色文字画像領域及びそれ以外の絵柄領域に識別される。なお、絵柄領域とは、網点画像領域（網点上の文字に関しては絵柄領域と識別される）や連続調画像領域や地肌領域のことを指す。
【００４７】
ここで、第１の像域分離手段１０３は、例えば、特許第３１５３２２１号や特開平５−４８８９２に開示されているような像域分離方式で像域分離処理を行なう。すなわち、上記像域分離方式では、エッジ領域検出と網点領域検出と白地背景領域検出と有彩／無彩領域検出に基づいて総合的に判定しており、白地上の文字は文字領域と判定し、網点上の文字を含む網点画像や連続調画像は絵柄領域（文字以外の領域）と判定する。また、文字領域については、有彩／無彩領域検出によって、さらに、黒文字領域と色文字領域の判別が行われる。図１においては、フィルタ処理手段１０５に入力される分離信号ｓ１は、文字領域（文字画像領域）を示す信号である。また、色成分制御手段１０６に入力される信号ｃ１は、黒文字領域（黒文字画像領域）を示す信号である。
【００４８】
また、エッジ量算出手段１０４は、ｇ信号を用いて、入力画像のエッジの度合いを示すエッジ量ｅ１を算出するようになっている。
【００４９】
フィルタ処理手段１０５では、第１の像域分離手段１０３による判定結果ｓ１とエッジ量算出手段１０４によるエッジ量ｅ１に基づいて、スキャナγ補正手段１０２からのＲＧＢ画像信号に対し適応的にエッジ強調処理あるいは平滑化処理を施す。具体的には、ＲＧＢ画像信号の文字領域（黒文字及び色文字の両領域）に対しては均一なエッジ強調フィルタを施し、絵柄領域に対しては平滑化フィルタを施した後にエッジ量に基づく適応エッジ強調処理を行なう。このようなフィルタ処理によって、文字部では鮮鋭性を満足させ、絵柄部では網点部などでのモアレの抑制と網点上文字での鮮鋭性を満足させることができる。
【００５０】
また、色成分制御手段１０６は、第１の像域分離手段１０３からの黒文字分離結果（黒文字領域信号）ｃ１に基づいて、フィルタ処理手段１０５からの画像信号に対して色成分の制御を行なうようになっている。
【００５１】
図２は色成分制御手段１０６の構成例を示す図である。図２の例では、色成分制御手段１０６は、入力されたＲＧＢ信号の平均値を求める平均値手段１０６１〜１０６３と、平均値手段１０６１〜１０６３からの平均値信号と元のＲＧＢ信号とを信号ｃ１に基づいて切り換えるセレクタ１０６４とを有している。より具体的に、セレクタ１０６４は、信号ｃ１に基づいて、黒文字であると判定された画素に対しては平均値手段１０６１〜１０６３からの出力を選択し、黒文字でないと判定された画素に対してはフィルタ処理手段１０５からの信号値を選択して出力するようになっている。なお、図２に示した例では、黒文字画素であった場合には、Ｒ’＝Ｇ’＝Ｂ’＝ａｖｅ（Ｒ，Ｇ，Ｂ）とし、全ての画素を同じ値にすることによって黒文字であることを示す信号としている。つまり、色成分制御手段１０６は、黒文字コードをＲ’＝Ｇ’＝Ｂ’＝ａｖｅ（Ｒ，Ｇ，Ｂ）として画像中に埋め込んでいる。
【００５２】
色成分制御手段１０６からの画像信号Ｒ’Ｇ’Ｂ’は、色補正手段１０７に入力し、色補正手段１０６では、マスキング演算等によりＲＧＢ系の信号をプリンタ系の色材に適したＣＭＹ系の信号に変換するようになっている。色補正処理としては、さまざまな手法が考えられるが、ここでは次式（数１）のようなマスキング演算が行われるものとする。
【００５３】
【数１】
Ｃ＝α１１×Ｒ＋α１２×Ｇ＋α１３×Ｂ＋β１
Ｍ＝α２１×Ｒ＋α２２×Ｇ＋α２３×Ｂ＋β２
Ｙ＝α３１×Ｒ＋α３２×Ｇ＋α３３×Ｂ＋β３
【００５４】
上記数１において、α１１〜α３３およびβ１〜β３は予め定められた色補正係数で、出力されるＣＭＹも８ｂｉｔ（０〜２５５）の信号とする。
【００５５】
また、色成分制御手段１０６からの画像データは第２の像域分離手段１０８にも入力し、第２の像域分離手段１０８では、黒文字画素の検出（再抽出）を行なうようになっている。
【００５６】
図３は第２の像域分離手段１０８の構成例を示す図である。図３の例では、第２の像域分離手段１０８は、黒候補画素検出手段１０８１と、連結性判定手段１０８２と、白画素検出手段１０８３と、３×３の膨張処理手段１０８４と、論理積回路１０８５，１０８７と、５×５の膨張処理手段１０８６とを有している。
【００５７】
この第２の像域分離手段１０８における黒文字画素の検出処理（再抽出処理）は、次のようになされる。すなわち、Ｒ’Ｇ’Ｂ’信号に対し、黒候補画素検出手段１０８１では、対象画素がＲ＝Ｇ＝ＢかつＧ＞ｔｈ１であるか否かを判定し、対象画素がＲ＝Ｇ＝ＢかつＧ＞ｔｈ１であれば、黒候補画素として１を出力する。ここで、ｔｈ１は黒レベルを決定する濃度閾値である。このようにして、黒候補画素検出手段１０８１では、所定濃度以上の黒画素が検出される。黒候補画素検出手段１０８１の検出結果は、連結性判定手段１０８２に入力し、連結性判定手段１０８２では、例えば図４に示すようなパターンに基づきパターンマッチングが行われる。文字画像の性質から、黒文字を構成する画素（黒文字画素）は１ドットや２ドットで孤立して存在することはない。すなわち、文字とは連続した白画素中に連続した黒画素が並んでいるという特徴がある。例えば特許第３１５３２２１号に開示されている分離手段でもその性質を利用したパターンマッチングを組み込んでおり、このような検出を前段で行っておけば黒文字部で黒画素が孤立して存在することはないと言い切れる。そこで、図４の例では、３×３画素の連結性判定パターンを使用してパターンマッチングを行い、注目画素を挟んだ縦横斜めいずれかの方向で黒候補画素が３画素連結して存在する画素を検出することにより、その他の孤立画素を取り除くことができる。連結性判定では注目画素を３×３画素の中心としているため、線の端点や折れ線・曲線の角で黒画素が１画素欠落するが、後段の白地上黒エッジに対する５×５膨張処理により最終的には黒文字として検出されるので問題ない。以上のように連結性判定を行なうことで、絵柄中に点在するようなＲ＝Ｇ＝Ｂ画素を黒文字と誤って判定することがなくなる。
【００５８】
また、図３の構成例では、白画素検出手段１０８３によって検出の精度をさらに上げている。すなわち、ここでは、前述のように、黒文字領域とは白地上の黒文字を指すものなので、黒文字画素の周囲には白画素があるという特徴を用いている。白画素検出手段１０８３では、画素がＲ＝Ｇ＝ＢかつＧ＜ｔｈ２であるか否かを判定し、Ｒ＝Ｇ＝ＢかつＧ＜ｔｈ２であるならば、白画素として１を出力する。さらに、このように検出された白画素を膨張処理手段１０８４によって３×３膨張し、論理積回路１０８５において、前記連結性判定手段１０８２から出力される信号との論理積をとる。白画素は３×３膨張によって本来の白画素から１画素膨張したような領域となっており、黒文字候補画素との論理積をとることにより、白地と隣接した黒画素領域が検出できる。絵柄中に点在する黒文字に似た黒塊は、周囲に白画素がないので、ここで除去することができる。
【００５９】
以上のように、黒文字以外のＲ＝Ｇ＝Ｂ画素を除去した信号は、５×５膨張処理手段１０８６によって膨張され（５ドット幅を持つ黒文字領域に膨張され）、さらに、論理積回路１０８７において、連結性判定手段１０８２から出力される信号と論理積をとることによって、白地側にはみだした黒文字領域（２ドット分）を排除している。以上のように検出された黒文字分離信号ｃ２は、白地上の黒文字の輪郭部において３ドット幅を有する領域であり、後段の処理に用いるため出力される。
【００６０】
なお、第２の像域分離手段１０８の前に施されるフィルタ処理として、白地上の文字に対しては十分な強調処理を行い、あえて文字周囲に発生する白抜けをそのまま残し、また、色地上の黒文字に対しては強調の際に発生する白抜けを防止するような機構を用いることで、上記黒文字画素の検出（再抽出）を高精度に行なうことができる。
【００６１】
色補正手段１０７からの画像信号は、下色除去・墨生成手段１０９においてＣＭＹＫ信号に変換される。下色除去・墨生成手段１０９では、墨成分であるＫ信号が生成されると共に、ＣＭＹ信号から下色除去（ＵＣＲ）が行われる。ここで、下色除去・墨生成手段１０９は、第２の像域分離手段１０８からの黒文字分離結果ｃ２に基づいて、黒文字画素とその他の画素に対して異なる下色除去・墨生成を行なうようになっている。
【００６２】
黒文字画素でない画素（非黒文字画素）に対してのＫ信号の生成およびＣＭＹ信号からの下色除去は、次式のように行われる。
【００６３】
【数２】
Ｋ＝Ｍｉｎ（Ｃ，Ｍ，Ｙ）×β４
Ｃ’＝Ｃ−Ｋ×β５
Ｍ’＝Ｍ−Ｋ×β５
Ｙ’＝Ｙ−Ｋ×β５
【００６４】
ここで、Ｍｉｎ（Ｃ，Ｍ，Ｙ）は、ＣＭＹ信号のうち最小のものであり、β４，β５は予め定められた係数で８ｂｉｔの信号とする。また、黒文字画素に対してのＫ信号の生成およびＣＭＹ信号からの下色除去は、次式のように行われる。
【００６５】
【数３】
Ｋ＝Ｍｉｎ（Ｃ，Ｍ，Ｙ）
Ｃ’＝０
Ｍ’＝０
Ｙ’＝０
【００６６】
このように、黒文字画素に対してはＫトナー単色での再生が行われるため、版ズレ時の色ズレによる色付きや解像度低下を招くことがなく、良好な黒文字品質が得られる。
【００６７】
下色除去・墨生成手段１０９で処理された信号は、プリンタγ補正手段１１０によってプリンタエンジン特性に合わせたγ補正が行われ、さらに中間調処理手段１１１において中間調処理が施されて、画像出力手段１１２において出力される。
【００６８】
図１の構成例では、中間調処理手段１１１は、第２の像域分離手段１０８による分離結果ｃ２を用いて中間調処理方式を切り換えるよう構成されている。つまり、中間調処理手段１１１は、より具体的には、例えば、黒文字と判定された画素に対しては文字鮮鋭性の再現に有利な誤差拡散処理を施し、絵柄部などの非黒文字と判定された画素に対しては粒状性，階調再現性に有利なディザ処理を施すようになっている。なお、いまの例ではこのような切換を行なっているが、全面を誤差拡散処理にて処理しても何ら問題はない。
【００６９】
以上のように、この第１の実施形態では、第１の分離手段１０３の分離結果に基づき、黒文字画素（黒文字領域画素）をＲ＝Ｇ＝Ｂとして色成分を減ずる処理を行い、また、第２の分離手段１０８ではＲ＝Ｇ＝Ｂ情報をもとに黒文字画素を検出（再抽出）し、検出（再抽出）した黒文字画素情報を基に後段の下色除去・墨生成等の処理を行なうことで、高画質な画像再生を実現できる。
【００７０】
なお、上記の処理例では、黒文字画素の色成分を完全に０にする構成としたが、この限りではない。例えば、色成分抑制手段１０６でΔＲＧＢの値が所定値以下になるように色成分を抑制することもでき、この場合には、第２の像域分離手段１０８では、黒候補画素検出を行なう際にΔＲＧＢが所定の閾値以下の画素を黒候補画素とするように判定すればよい。このようにすると、完全に無彩色にすることがなく、色成分抑制処理後の画像をＰＣなどのモニタで表示する場合にも、黒文字画像の違和感を比較的少なくすることができる。
【００７１】
本発明は、上述のように、入力されたカラー画像信号に対し対象画素の属性を判定する第１の分離手段と、第１の分離手段によって判定された対象画素の属性に基づいて、対象画素の色成分に所定の処理を施す色成分制御手段と、色成分制御手段によって処理された画像信号に対し対象画素の属性を判定する第２の分離手段とを有しており、この場合、前記色成分制御手段は、第２の分離手段での対象画素の属性判定精度が向上するように対象画素の色成分に所定の処理を行なうことを特徴としている。
【００７２】
具体的には、本発明の第１の例として、第１の分離手段は、対象画素の属性として対象画素が黒文字画素であるか否かを判定する黒文字画素判定機能を有し、色成分制御手段は、第１の分離手段によって対象画素が黒文字画素でないと判定されると、対象画素の色成分を増加する有彩化処理を行なうようになっており、第２の分離手段は、色成分制御手段によって処理された画像信号の少なくとも色成分を解析することにより黒文字画素を検出（抽出）する機能を有している。
【００７３】
すなわち、この第１の例では、色成分制御手段１０６において非黒文字画素の色成分を増加させるようになっている。このようにすることで、絵柄部分で誤まって黒文字を検出（抽出）することを減少させ、高精度な黒文字検出（抽出）を行なうことができる。
【００７４】
図５は、この第１の例の色成分制御手段１０６の構成図である。図５を参照すると、色成分制御手段１０６は、ブロック１０６５において、入力されたＲＧＢ信号を輝度色信号のＹＵＶ信号に変換する。ここで、ＲＧＢ→ＹＵＶの変換式は、次式の通りである。
【００７５】
【数４】
Ｙ＝（Ｒ＋２Ｇ＋Ｂ）／４
Ｕ＝（Ｒ−Ｇ）／２
Ｖ＝（Ｂ−Ｇ）／２
【００７６】
ＹＵＶ信号において、Ｙ信号は輝度を表す信号であり、Ｕ，Ｖ信号は彩度を表す信号である。すなわち、数４は、無彩色つまりＲ＝Ｇ＝Ｂであれば、Ｕ，Ｖの値はいずれも０になるような変換式となっている。彩度成分を変換するブロック１０６６〜１０６８では、ブロック１０６５で変換されたＹＵＶ信号に対し、色成分を変更する。
【００７７】
ここで、ブロック１０６８は、Ｕ成分を０として出力する無彩化手段である。同様に、ブロック１０６９は、Ｖ成分を０として出力する無彩化手段である。これに対し、ブロック１０６６は、Ｕが０または正のときにＵに所定の値ｋを加算して出力し、Ｕが負のときにはｋを減算して出力するものであり、彩度を大きくする有彩化手段である。なお、ｋとしては、視覚的に色変わりが認識できないレベルの小さな値であって、かつ後段の第２の像域分離で十分に有彩画素と判定されるような適切な値とすることが望ましい。同様に、ブロック１０６７も、Ｖに対して有彩化を行なう有彩化手段である。また、ブロック１０６５からのＹ信号については何も処理を行わずにセレクタ１０６４へと出力するようになっている。
【００７８】
セレクタ１０６４では、第１の像域分離手段１０３からの黒文字分離信号ｃ１に基づいて切り換えを行なうようになっている。つまり、セレクタ１０６４は、第１の像域分離手段１０３からの黒文字分離信号ｃ１が黒文字画素を示すものであれば無彩化手段１０６８，１０６９からの出力を選択し、非黒文字画素を示すものであれば有彩化手段１０６６，１０６７からの出力を選択するようになっている。次いで、信号Ｙとセレクタ１０６４からの出力信号Ｕ’，Ｖ’は、ＹＵＶからＲＧＢに逆変換を行なうブロック１０７０にて色成分を制御されたＲ’Ｇ’Ｂ’信号に変換され出力される。ここで、ＹＵＶ→ＲＧＢの変換式は次式の通りである。
【００７９】
【数５】
Ｇ＝Ｙ−（２Ｕ＋２Ｖ）／４
Ｒ＝２Ｕ＋Ｇ
Ｂ＝２Ｖ＋Ｇ
【００８０】
図５のような構成とすることにより、非黒文字部で無彩色あるいは無彩色に非常に近い信号があった場合でも、有彩化手段によって必要十分な量だけ有彩化されるので、ユーザに色が変わったという印象を与えることなく、後段での黒文字の再抽出精度（検出精度）を向上させることができる。
【００８１】
また、本発明の第２の例として、第１の分離手段は、対象画素の属性として対象画素が色文字画素であるか否かを判定する色文字画素判定機能を有し、色成分制御手段は、第１の分離手段によって対象画素が色文字画素であると判定されると、対象画素の色成分を増加する有彩化処理を行なうようになっており、第２の分離手段は、色成分制御手段によって処理された画像信号の少なくとも色成分を解析することにより色文字画素を検出（抽出）する機能を有している。
【００８２】
図６は、この第２の例の色成分制御手段１０６の構成図である。図６を参照すると、この色成分制御手段１０６も、図５と同様の有彩化ブロック１０６６，１０６７を有しており、彩度を大きくするように構成されている。また別のパスでは、入力されたＵ，Ｖ信号をそのままセレクタ１０６４に入力するように構成されている。セレクタ１０６４では、第１の分離手段１０３で判別された色文字分離信号ｃ３に基づいて、これらを切り換えるようになっている。すなわち、セレクタ１０６４は、色文字画素に対しては有彩化ブロック１０６６，１０６７からの信号を選択し、非色文字画素に対してはスルーの信号を選択するようになっている。
【００８３】
このように色文字の彩度を高めることで、後段の第２の分離で色文字を誤って黒文字と判別することが少なくなり、黒文字画素の検出（再抽出）精度を向上させることができる。
【００８４】
また、本発明の第３の例として、第１の分離手段は、対象画素の属性として対象画素が文字画素であるか否かを判定する文字画素判定機能を有し、色成分制御手段は、第１の分離手段によって対象画素が文字画素でないと判定されると、対象画素の色成分を増加する有彩化処理を行なうようになっており、第２の分離手段は、色成分制御手段によって処理された画像信号の少なくとも色成分を解析することにより黒文字画素を検出（抽出）する機能を有している。
【００８５】
図７は、この第３の例の色成分制御手段１０６の構成図である。図７はセレクタ１０６４に入力する分離信号が図６と異なっており、他は図６と同様の構成となっている。すなわち、図７では、セレクタ１０６４には文字分離結果ｓ１が入力するようになっている。図７を参照すると、この第３の例の色成分制御手段１０６は、非文字画素に対しては有彩化ブロック１０６６，１０６７からの信号を選択し、これによって非文字画素の彩度を大きくするものとする一方、文字と判定された画素（すなわち、黒文字と色文字の画素）に対しては彩度成分の制御を行わずにスルーとする。このようにすることで、絵柄領域中における無彩画素を誤って黒文字と誤抽出することが少なくなる。
【００８６】
このように、本発明では、上記第１，第２，第３の例のように、色成分制御手段１０６は、第２の分離手段１０８での対象画素の属性判定精度が向上するように対象画素の色成分に所定の処理を行なうことによって、黒文字情報を従来に比べて高精度に検出（再抽出）することができる。
【００８７】
なお、上述した処理を組み合わせることもできる。例えば、色成分制御手段１０６は、第１の分離手段１０３によって対象画素が黒文字画素であると判定されると対象画素の色成分を減ずるかまたは除去する無彩化処理を、上記第１の例と組み合わせて行なうことができる（すなわち、第１の分離手段１０３によって対象画素が黒文字画素であると判定されると対象画素の色成分を減ずるかまたは除去する無彩化処理を行ない、また、第１の分離手段によって対象画素が黒文字画素でないと判定されると、対象画素の色成分を増加する有彩化処理を行なうこともできる）。あるいは、黒文字画素に対しては無彩化処理を行ない、色文字画素に対してはスルーとし、非文字領域に対しては有彩化処理を施すことなどもできる。
【００８８】
また、図１の構成例において、第１の分離手段１０３と同じ構成の分離回路を第２の分離手段１０８に持たせて黒文字を判定することも可能であるが、第１の分離手段１０３は非常に大きな回路構成であるのでハードウエアコストが高くなるという問題がある。これに対し、本発明のように第１の分離手段１０３の結果に応じて画像データに情報を埋め込むとともに、後段での分離回路が簡易的なものですむようにデータの加工（有彩化および／または無彩化）を行なうことで、ハードウエアコストが安く、かつ精度の高い分離信号を後段処理で用いることができる。
【００８９】
（第２の実施形態）
図８は本発明の第２の実施形態の画像処理装置の構成例を示す図である。図８を参照すると、この第２の実施形態の画像処理装置は、図１の画像処理装置において、色成分制御手段１０６からの出力を一旦蓄積手段１１３に蓄積し、蓄積手段１１３に蓄積された信号を読み出して色補正手段１０７，第２の像域分離手段１０８以降の処理を施す構成となっている。すなわち、この第２の実施形態において（図８の画像処理装置において）、蓄積手段１１３以外の各処理手段１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１２は、第１の実施形態（図１の画像処理装置）のものと同じものとなっている。
【００９０】
このように、本発明の第２の実施形態は、第１の実施形態の画像処理装置において、色成分制御手段１０６で処理された画像信号を蓄積する蓄積手段１１３を有し、第２の分離手段１０８は、蓄積手段１１３に蓄積された信号を読み出して処理を行なうことを特徴としている。
【００９１】
複数枚にわたるコピージョブ等では一旦画像データを蓄積する構成が一般的であるが、本発明では黒文字分離情報を画像データ中に埋め込む構成をとっているので、分離信号を別途保存する必要がなく（図８の構成において、蓄積手段１１３とは別途に分離信号保存用の蓄積手段を設ける必要がなく）、メモリ容量を節約することができる。
【００９２】
（第３の実施形態）
図９は本発明の第３の実施形態の画像処理装置の構成例を示す図である。図９を参照すると、この第３の実施形態の画像処理装置は、図１の画像処理装置において、色成分制御手段１０６からの出力を圧縮手段１１５で圧縮して蓄積手段１１３に蓄積し、蓄積手段１１３に蓄積された信号を読み出して伸張手段１１６で伸張し、色補正手段１０７，第２の像域分離手段１０８以降の処理を施す構成となっている。すなわち、この第３の実施形態において（図９の画像処理装置において）、圧縮手段１１５，蓄積手段１１３，伸張手段１１６以外の各処理手段１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１２は、第１の実施形態（図１の画像処理装置）のものと同じものとなっている。
【００９３】
このように、本発明の第３の実施形態は、第１の実施形態の画像処理装置において、色成分制御手段１０６で処理された画像信号に対し圧縮処理を施す圧縮手段１１５と、圧縮手段１１５で圧縮処理された画像信号を蓄積する蓄積手段１１３と、蓄積手段１１３に蓄積された画像信号を伸張する伸張手段１１６とを有し、第２の分離手段１０８は、伸張手段１１６によって伸張処理された画像信号に対して処理を行なうことを特徴としている。
【００９４】
ここで、圧縮手段１１５は可逆圧縮処理を行なうようになっていても良いし、非可逆圧縮処理を行なうようになっていても良い。但し、蓄積手段１１３への蓄積枚数やデータ転送レートを考慮して、非可逆圧縮処理方式を用いる方が好ましい。但し、この場合、非可逆圧縮では、色成分制御手段１０６によって埋め込まれた黒文字情報や、再抽出の精度を高めるための有彩化処理が、圧縮，伸張による劣化によって歪んでしまう。どの程度の信号レベル変化が起きるかは圧縮処理の方式や施されたフィルタ特性や原稿の種類などによっても異なるが、第２の像域分離手段１０８で十分な黒文字情報の検出（再抽出）が行なえるよう、圧縮手段１１５の圧縮処理方式に応じた色成分制御が必要である。
【００９５】
また、圧縮手段１１５は、輝度色差系の信号に変換してから画像信号の圧縮を行なうものが望ましい。これまで説明したように、黒文字を無彩化することで黒文字分離情報を埋め込む処理を行っているので、圧縮，伸張による黒文字部での彩度成分の変化はできるだけ小さいことが望ましい。画像信号をＹＵＶのような輝度色差信号に変換すれば黒文字部での彩度成分は０となり、圧縮，伸張による劣化を受けにくい。ＲＧＢ信号に対して版毎に圧縮するような構成では、Ｒ，Ｇ，Ｂのいずれかの信号が圧縮劣化によって変化した場合、無彩画素は有彩となってしまう。ＹＵＶであれば、Ｙに対しては変化が発生してもＵ，Ｖに変化がなければ無彩であることに変わりはない。以上のような理由で、圧縮手段１１５は、輝度色差系の信号に変換してから画像信号の圧縮を行なうものが望ましい。
【００９６】
上述した第１，第２，第３の実施形態において、色成分制御手段１０６における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものにすることができる。
【００９７】
図５では、非黒文字画素に対して一律に有彩化するように制御していた。視覚的には認識できない程度の彩度制御ではあるが、望ましくは彩度を変更することは行いたくない。このことに対応し、色成分を制御する部分を最小限に抑えるために、色成分制御手段１０６における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものにすることができる。
【００９８】
図１０には、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させる色成分制御手段１０６の構成例が示されている。すなわち、図１０の例では、色成分制御手段１０６は、入力された非黒文字画素のうち、彩度成分が所定の値よりも小さいときのみ色成分を増加するように構成されている。例えば図１０のブロック１０６６では、Ｕ成分の絶対値が２以下の時は彩度成分をｋだけ増加するよう制御するが、Ｕ成分の絶対値が２より大きいときは、処理を行わないようになっている。ブロック１０６７についても同様である。すなわち、図１０の例では、十分な彩度を有する画素は誤って黒文字と検出（再抽出）されることがないのでスルーで良く、黒文字と誤判定される可能性のある無彩に近い画素のみを有彩化するようにしている。このようにすれば、有彩化処理を必要最小限におさえることができ、色再現性も保証することができる。
【００９９】
また、図１０で説明したのと同様の目的で、上述した第１，第２，第３の実施形態において、色成分制御手段は、第２の分離手段１０８によって黒文字画素を検出（抽出）する際に、黒文字画素ではない画素を黒文字画素と誤って検出（抽出）する可能性が高い画像領域に対しては他の領域よりも多く色成分を増加させるか、あるいは、黒文字画素と誤って検出（抽出）する可能性が高い画像領域に対してのみ色成分を増加させるようにすることができる。これにより、色成分制御手段１０６による黒文字画素以外への色成分制御を最小限に抑えることを実現できる。
【０１００】
すなわち、図３に示した第２の像域分離手段１０８では、白画素に隣接したＲ＝Ｇ＝Ｂ画素塊を検出することで黒文字情報の検出（再抽出）を行なうものであったが、このような簡易な検出方法では白地上にグレーの画像がある場合などに黒文字と誤まって判定してしまうことがあった。例えば、白い紙上に貼り付けられたモノクロの写真などがこの場合に当たる。モノクロ画像といってもほとんどの場合、Ｒ＝Ｇ＝Ｂとなる画素が塊で存在することは少なく、しかも図３の分離手段では白地と隣接する３ドット幅のみを黒文字領域と判定するものなので、実質上ほぼ問題とならないが、より高画質な画像再現のためにはこのような誤判定はない方が好ましい。
【０１０１】
このため、本発明では、あらかじめ後段の像域分離手段１０８で誤判定しそうな画像領域を検出し、この画像領域にのみ誤判定を起こさないように補正を加えることで、色成分制御を必要最小限の領域に抑えるようにしている。
【０１０２】
図１１には、第２の分離手段１０８によって黒文字画素を検出（抽出）する際に、黒文字画素ではない画素を黒文字画素と誤って検出（抽出）する可能性が高い画像領域に対しては他の領域よりも多く色成分を増加させるか、あるいは、黒文字画素と誤って検出（抽出）する可能性が高い画像領域に対してのみ色成分を増加させる色成分制御手段１０６の構成例が示されている。すなわち、図１１の例では、色成分制御手段１０６は、黒文字画素に対する無彩化手段の部分Ａに加えて、後段の像域分離で誤分離を起こしやすい部分を検出し補正を加える部分Ｂを有している。
【０１０３】
図１１の構成例では、黒文字画素に対してはセレクタ１０６４によって無彩化が施された信号は、第３の像域分離手段１０７３に入力する。第３の像域分離手段１０７３は、前述の第２の像域分離手段１０８（図３）と同じ構成であり、白地上の無彩画素塊を検出するように構成されている。第３の像域分離手段１０７３で検出された黒文字分離結果ｃ４は、差分判定手段１０７４によってオリジナルの黒文字分離結果ｃ１との差分が検出され、差分判定手段１０７４では、誤判定する画像領域をｃ５として検出する。そして、誤判定する画像領域ｃ５に対して有彩化手段１０７１，１０７２で有彩化が行われ、ブロック１０７０において出力される。
【０１０４】
ここで、第３の像域分離手段１０７３では、黒文字検出（再抽出）のパラメータを、黒文字がより検出されやすいようなパラメータとして設定しておけばよい。このようにすることによって、圧縮伸張手段などによる画像の劣化で誤検出が増えてしまう箇所についてもあらかじめ検出することができる。
【０１０５】
このように、図１１の色成分制御手段１０６では、後段の第２の像域分離手段１０８で誤って検出される可能性が高い領域について有彩化し、誤検出に対する余裕度を高めることができ、また有彩化する部分も必要最小限に留めることができる。
【０１０６】
なお、図１１の構成例では、第２の像域分離手段１０８と同じ構成の検出手段を第３の分離手段１０７３に用いる例を示したが、この例のように白地上の無彩画素あるいは無彩に近い画素が誤検出する可能性が高いとわかっている場合は、特に第３の分離手段１０７３を設けなくとも、第１の像域分離手段１０３からの白地背景領域検出結果と、黒文字検出結果と、ほぼ無彩である画素情報とによって、あらかじめ有彩化しておく領域を特定することもできる。
【０１０７】
（第４の実施形態）
本発明の第４の実施形態は、上述した第１，第２，第３の実施形態の画像処理装置において、色成分制御手段１０６によって所定の処理が施された画像信号を、システムまたはユーザによって指定された所定の画像フォーマット（圧縮方式、圧縮率、画像解像度、色空間）に変換して外部機器に転送する処理機能を有し、指定された所定の画像フォーマットに応じて前記色成分制御手段を制御することを特徴としている。
【０１０８】
ここで、所定の画像フォーマットに応じた色成分制御手段の制御としては、第１の分離手段１０３で判定された黒文字画素の領域を周辺の領域に無彩化する領域として拡張する制御を含んでいる。
【０１０９】
図１２は本発明の第４の実施形態の画像処理装置の構成例を示す図である。図１２の例では、図９の画像処理装置において、蓄積手段１１３に蓄積された画像信号を所定のフォーマットに変換して外部装置に転送するようになっている。すなわち、図１２の例では、蓄積手段１１３に蓄積された画像信号を所定のフォーマットに変換して外部装置に転送する場合、蓄積手段１１３からの信号を読み出し、圧縮・伸張手段１１７にて伸張し、解像度変換手段１１９で所定の解像度に変換する。外部転送時のデータサイズを小さくするため、例えば６００ｄｐｉ解像度画像を３００ｄｐｉや２００ｄｐｉに変換する。さらに、ブロック１２０でｓＲＧＢ変換などの標準信号に変換し、ＪＰＥＧ圧縮・伸張手段１２１でＪＰＥＧフォーマットに変換し、ＮＩＣ１２２を介して外部装置に転送することができる。
【０１１０】
外部転送された画像信号は、ＰＣ上のアプリケーションとしてスキャンされた画像データとして使用するなどの他、再度画像形成装置に入力されてコピー出力されるケースがある。例えば編集ソフトによって読み取られた画像中にあるパンチ穴画像などの不要な部分を除去したり、スタンプを押すような画像編集を行ったりしたものを出力する場合がその例である。このような場合には、再度、ＮＩＣ１２２を介して、ＪＰＥＧ圧縮・伸張手段１２１でＪＰＥＧ伸張し、さらに、ブロック１２０でデバイス依存のＲＧＢ信号に変換し、解像度変換手段１１９で元の解像度（６００ｄｐｉ）に変換し、圧縮・伸張手段１１７で圧縮を施して蓄積手段１１３に格納することができる。そして、蓄積手段１１３への格納が終了すると、システムコントローラ（図示せず）により、伸張手段１１６以降の後段処理が施される。
【０１１１】
ところで、図１２において、第１の色成分制御手段１０６によって画像データ中に埋め込まれた黒文字分離情報は、解像度変換手段１１９やＪＰＥＧ圧縮・伸張手段１２１によって画像データが劣化・変更されるため、再度コピー出力する際の第２の像域分離手段１０８での黒文字情報の検出（再抽出）精度が悪くなってしまう。
【０１１２】
本発明の第４の実施形態は、このような外部転送時のフォーマット変換を経由した再出力時にも黒文字の画質を満足させようとするものであり、第１の色成分制御手段１０６を外部転送される際の画像フォーマットに応じて制御するようにしている。具体的には、黒文字画素および非黒文字画素に対して、再検出（再抽出）の際の検出マージンが向上するように更なる色成分の制御を行なうものである。
【０１１３】
例えば、非黒文字画素に対する有彩化については、第１の色成分制御手段１０６で行った有彩化よりも有彩化を強くして出力する方法がある。
【０１１４】
また、他の方法としては、無彩化する領域を拡張する方法がある。例えばＪＰＥＧ圧縮は、８×８ブロックサイズ毎に輝度色差信号（ＹＣｂＣｒ）に変換して、ＤＣＴ変換を用いて画像圧縮する方式である。無彩化された黒文字画素に対してＪＰＥＧ圧縮が施されると、８×８ブロック内の他の画素が有彩画素であった場合、黒文字画素が有彩化してしまう。通常、黒文字と判定される画素の周囲には白地背景領域が存在し、彩度の高い色画素は存在しないが、白地といえども若干の彩度を有する画素は存在するので、前述のような問題が発生する。また、これは圧縮率の設定を高くした場合に顕著である。
【０１１５】
これに対し、８×８ブロック内の画素が全て無彩画素であればＹＣｂＣｒ信号にした時点でＣｂＣｒ成分は０となるので、無彩情報は劣化することなく保存できる。よって、第１の色成分制御手段１０６は、ＪＰＥＧ圧縮を施して外部に出力すると分かっている場合、圧縮されるブロック内における黒文字画素の有無に応じてブロック内の非黒文字画素の有彩・無彩処理を制御するように構成し、黒文字画素がある場合には他の有彩画素をすべて無彩画素に補正すればよい。
【０１１６】
また、前述のように黒文字画素の周囲には彩度の高い色画素は存在しないので、ブロック内の全ての画素を無彩化することは画質的には問題ないが、例えばブロックサイズのもっと大きな圧縮方式では、有彩画素を無彩化することが画質劣化となる場合がある。このような場合には、ブロック内の十分な彩度を持つ有彩画素に対しては無彩化処理をせず、比較的彩度の低い画素に対してのみ無彩化するようにすればよい。
【０１１７】
また、ブロック単位での黒文字周囲画素の無彩化方法について述べたが、ブロック単位ではなく、黒文字画素を数画素膨張した領域に対して無彩化するように構成しても良い。この場合、変換されるデータフォーマットに応じて膨張する画素数を決定すればよい。解像度についても同様で、低解像データに変換される場合は無彩化する領域を広くとっておけば黒文字情報の保存をうまく行なうことができる。
【０１１８】
以上のように、第１の色成分制御手段１０６を制御することによって、解像度変換，圧縮方式などの異なるデータフォーマットに変換された信号にも的確に黒文字情報を埋め込むことができ、再コピーの際の高画質化が実現できる。また、上述の説明では、本画像処理装置での再コピーを例に挙げたが、埋め込まれた属性情報を再抽出し適応的な処理を実現できる外部の画像処理装置や画像処理プログラムでも有効である。
【０１１９】
（第５の実施形態）
本発明の第５の実施形態は、第２，第３の実施形態の画像処理装置において、蓄積手段１１３に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴としている。
【０１２０】
ここで、第２の色成分制御手段は、蓄積手段１１３に蓄積されている画像信号から識別された属性情報に応じて、蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送することができる。
【０１２１】
あるいは、第２の色成分制御手段は、第１の分離手段１０３によって判定された対象画素の属性に応じて蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送することもできる。
【０１２２】
図１３は本発明の第５の実施形態の画像処理装置の構成例を示す図である。図１３の例では、図１２の構成において、圧縮・伸張手段１１７と解像度変換手段１１９との間に、第２の色成分制御手段１１８がさらに設けられている。
【０１２３】
図１３の構成例は、コピー出力のために蓄積手段１１３に処理蓄積した画像データを、外部装置への出力としても利用する場合に有効である。すなわち、コピー出力のために最適化した黒文字情報の埋め込みは、そのままでは解像度変換やＪＰＥＧ圧縮によって劣化してしまうのは上述した通りである。しかし、外部転送を考慮して第４の実施形態のような広範囲な無彩化などを行なうと、コピー出力にとっては画質劣化を招く恐れがある。そこで、本発明の第５の実施形態では、外部転送されるデータフォーマットに応じた黒文字情報の補正処理を第２の色成分制御手段１１８で実行するようにしている。
【０１２４】
具体的には、第２の色成分制御手段１１８は、蓄積手段１１３に蓄積されている画像信号から識別された属性情報に応じて、蓄積手段１１３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送することができる。
【０１２５】
あるいは、第２の色成分制御手段１１８は、第１の分離手段１０３によって判定された対象画素の属性に応じて蓄積手段１０３に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送することもできる。
【０１２６】
また、第２の色成分制御手段１１８での制御は、第１の像域分離手段１０３からの黒文字分離結果ｃ１に基づいて行っても良いし、再抽出手段（図示せず）によって画像データから埋め込まれている黒文字情報を再抽出し、再抽出した結果に基づいて行っても良い。
【０１２７】
ところで、上述した各実施形態において、蓄積手段１１３には、圧縮された画像データとともに、指定された出力条件や処理内容を情報として保存しておくことができる。指定された出力条件や処理内容を情報として保存しておく場合には、蓄積された画像データを後日、操作パネルなどからの出力指定によって再度出力する場合に有効である。蓄積された画像データに対する情報を読み出し、画質モード（文字写真モード、文字モード、写真モードなど）や原稿種モード（印画紙、印刷原稿）や施されたフィルタパラメータ、色成分の抑制に関するパラメータなどを認識することで、圧縮後段の色補正手段や中間調処理手段での処理内容を最適なものにすることができる。
【０１２８】
さらに、外部機器に画像信号を転送する際にも、該画像信号に施された処理内容などをヘッダ情報あるいはフッタ情報として出力できることが望ましい。具体的には、変換された解像度情報，ｓＲＧＢ信号であることを示す情報，ＪＰＥＧクオリティ，第２の色成分制御手段における処理内容などを、前記の情報に付加して出力するようにすることができる。このようにすることによって（すなわち、画像信号を外部機器に転送する際に、該画像信号に施された処理内容をヘッダ情報に保存して外部機器に転送することによって）、再度外部から入力した場合に、ヘッダ情報に応じて的確な画像フォーマットに変換することができる。
【０１２９】
また、第２の像域分離手段１０８では、ヘッダ情報に基づいて分離方法やパラメータを変更することで、精度の高い黒文字検出（抽出）を行なうことができる。例えば、圧縮率や解像度に応じて、有彩画素判定，無彩画素判定の閾値を制御するようにすることができる。具体例として、圧縮率が高い場合には劣化が起こっている可能性が高いので、判定閾値を緩くして、より黒文字を検出しやすくする。しかし、さらに圧縮率が高い場合は、黒文字を再抽出しようとすると誤検出が非常に増えて、絵柄部分の画質劣化が著しくなるので、逆に無彩画素判定を厳しくするか、黒文字再抽出機能をＯＦＦにする。このように、圧縮率に応じて第２の像域分離手段を最適に制御することで、トータル的な最適画質が得られるようにすることができる。
【０１３０】
また、解像度についても、一旦ある程度以下の低解像度画像に変換された場合は、黒文字再抽出機能をＯＦＦにした方が好適な場合があるので、このように制御するようにすることができる。
【０１３１】
また、外部編集で色成分を変更する処理が行われた場合には、同じく黒文字再抽出機能をＯＦＦにするようにすることができる。
【０１３２】
さらに、外部装置から入力された画像信号に黒文字情報の埋め込みについての情報が付加されていない場合や、ヘッダ情報がない場合は黒文字再抽出機能をＯＦＦにするようにすることができる。
【０１３３】
換言すれば、外部機器から入力した画像データに対して第２の分離手段１０８によって属性の判定を行なう画像処理装置において、前記ヘッダ情報に応じて第２の分離手段１０８の黒文字抽出方法を制御することができる。
【０１３４】
また、外部機器から入力した画像データを蓄積手段１１３に蓄積し、蓄積手段１１３に蓄積された画像信号を読み出して第２の分離手段１０８で対象画素の属性を検出（抽出）して画像処理を施す画像処理装置において、入力された画像信号に処理内容を示すヘッダ情報が付されていないときは、第２の分離手段１０８による黒文字抽出を制限するかまたは行わないようにすることができる。
【０１３５】
このように、画像データに付加する情報に応じて、第２の像域分離手段１０８の使用，未使用、およびパラメータを制御することで、再現できる画質のうち最適なものを出力できるようにすることが可能となる。
【０１３６】
上述したように、本発明によれば、入力されたカラー画像信号に対し対象画素の属性を判定する第１の分離手段と、第１の分離手段によって判定された対象画素の属性に基づいて、対象画素の色成分に所定の処理を施す色成分制御手段と、色成分制御手段によって処理された画像信号に対し対象画素の属性を判定する第２の分離手段とを有し、前記色成分制御手段は、第２の分離手段での対象画素の属性判定精度が向上するように対象画素の色成分に所定の処理を行なうことによって（より具体的には、第１の分離手段は、対象画素の属性として対象画素が黒文字画素であるか否かを判定する黒文字画素判定機能を有し、色成分制御手段は、前記第１の分離手段によって対象画素が黒文字画素でないと判定されると、対象画素の色成分を増加する有彩化処理を行ない、第２の分離手段は、色成分制御手段によって処理された画像信号の少なくとも色成分を解析することにより黒文字画素を検出（抽出）する機能を有していることによって）、黒文字情報を従来に比べて高精度に検出（再抽出）することができる。
【０１３７】
より具体的に、Ｒ＝Ｇ＝Ｂとして埋め込んだ黒文字情報が圧縮，伸張などによって劣化してしまい、黒文字情報の検出（再抽出）がうまく行えない場合があるが、本発明は、このようなケースにも対応した画素情報の劣化に対する耐性の強い画像処理装置を提供するため、黒文字を無彩化する以外に非黒文字画素を有彩化するようにしている。また、後段の黒文字情報の検出（抽出）の際に誤分離を起こしそうな部分や、十分な有彩画素は有彩化処理を行わないなど、必要な画素にのみ有彩化処理を施すようにしている。
【０１３８】
また、複数枚コピーしたり電子ソートを行なう場合は、黒文字情報を埋め込んだ画像データをハードディスク装置等の大容量記憶手段に複数ページ分、一旦蓄積し、これを読み出すことによって実現する構成があるが、このような場合こそ、分離情報をデータとして保持しない本発明の構成にすることにより、記憶手段（蓄積手段）の容量の節約およびバスへ転送するデータの少量化を図ることができる。
【０１３９】
さらに、記憶手段（蓄積手段）に記憶蓄積する際に、画像データを圧縮して蓄積する方法がとられるのが一般的であるが、このような場合、先に埋め込んだ黒文字情報をできるだけ劣化させないで蓄積することが必要である。本発明は、非可逆圧縮によりデータが変化してしまう場合にも、前記黒文字情報が劣化しないように前処理を行なうようにしている。
【０１４０】
また、蓄積手段に蓄積された画像信号などを外部に転送する際には、通常、ＪＰＥＧ等の圧縮手段によってさらに圧縮し出力することが行われるが、異なる圧縮方式あるいは異なる圧縮率での処理が行われるため、画像データ中に埋め込んだ黒文字情報が破損してしまうことがあった。このような場合、一旦外部に転送したデータを再度入力して出力する時や、他の同じ画像処理システムを有するＭＦＰなどに転送して出力する時に、高品位な再生が行えなくなる。これに対し、本発明では、蓄積した信号をさらに別の圧縮手段によって圧縮し出力する場合などにも黒文字情報の保存が行えるようにするため、第２の色成分制御手段を有し、黒文字コードをより堅固な状態に補正するようにしている。
【０１４１】
また、本発明では、画像データを蓄積する際に、画質モードや変倍率や圧縮率など、画像データに施された画像処理内容を画像データとともにヘッダ情報などに保存することによって、黒文字の再抽出の際に最適な処理を施すのを可能にしている。
【０１４２】
なお、上述した各例では、第１の像域分離手段および第２の像域分離手段は、白地上の黒文字に対しては黒文字領域と判定し、網点上の黒文字に対しては黒文字領域ではないと判定するものを前提として説明を進めてきたが、この限りではない。
【０１４３】
第１の像域分離手段が網点や色地上の黒文字を黒文字領域と判定するものである場合にも、黒文字領域画素をＲ＝Ｇ＝Ｂに補正することで黒コードを埋め込み、第２の像域分離手段によってＲ＝Ｇ＝Ｂを抽出し、黒文字処理を行なえば同様の効果を得ることができる。また、非黒文字画素を有彩化するなどの処理も、第２の分離手段での分離精度を向上させる点で有効であり、同様の効果が得られる。
【０１４４】
また、上述した各例では、画像出力手段１１２がプリンタであるとして説明したが、画像出力手段１１２としては、画像出力機能を有するものであれば良く、プリンタ以外のものであっても、本発明が適用される。
【０１４５】
図１４は本発明の画像処理装置のハードウェア構成例を示す図である。図１４を参照すると、この画像処理装置は、例えばパーソナルコンピュータ等で実現され、全体を制御するＣＰＵ２１と、ＣＰＵ２１の制御プログラム等が記憶されているＲＯＭ２２と、ＣＰＵ２１のワークエリア等として使用されるＲＡＭ２３と、ハードディスク２４と、スキャナなどの画像入力手段１０１と、画像出力手段（例えば、ディスプレイやプリンタ）１１２と、通信手段（例えばＮＩＣ）１２２とを有している。
【０１４６】
ここで、ハードディスク２４は、蓄積手段１１３に対応している。また、ＣＰＵ２１は、前述した各手段１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１５，１１６，１１７，１１８，１１９，１２０，１２１などの機能を有している。
【０１４７】
なお、ＣＰＵ２１におけるこのような各手段１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１５，１１６，１１７，１１８，１１９，１２０，１２１等としての機能は、例えばソフトウェアパッケージ（具体的には、ＣＤ−ＲＯＭ等の情報記録媒体）の形で提供することができる。
【０１４８】
また、本発明においては、各手段１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１５，１１６，１１７，１１８，１１９，１２０，１２１等における処理をコンピュータ（ＣＰＵ２１）に実現させるプログラムの形で提供することができる。
【０１４９】
換言すれば、本発明の画像処理装置は、スキャナ，プリンタ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムのマイクロプロセッサに処理を実行させる装置構成においても実施することが可能である。この場合、本発明の処理を実行するためのプログラム（すなわち、ハードウェアシステムで用いられるプログラム）は、媒体に記録された状態で提供される。プログラムなどが記録される記録媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，フレキシブルディスク，メモリカード等が用いられても良い。媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている記憶装置、例えばハードディスク２４にインストールされ起動することにより、このプログラムを実行して、本発明の処理を実現することができる。
【０１５０】
また、上述の説明では、本発明を画像処理装置として説明したが、当業者にとって、本発明は、画像処理システムとして捉えることもできるし、さらには、画像処理方法として捉えることもできる。
【０１５１】
【発明の効果】
以上に説明したように、請求項１乃至請求項１６記載の発明によれば、入力されたカラー画像信号に対し対象画素が黒文字画素であるか否かを判定する第１の分離手段と、
前記第１の分離手段によって対象画素が黒文字画素でないと判定された場合には、圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を増加する有彩化処理を行い、対象画素が黒文字画素であると判定された場合には、前記圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を減ずるかまたは除去する無彩化処理を行う色成分制御手段と、
前記色成分制御手段で処理された画像信号に対し前記圧縮処理方式に応じた非可逆圧縮処理を施す圧縮手段と、
前記圧縮手段で圧縮処理された画像信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された画像信号を伸張する伸張手段と、
前記伸長手段によって伸長された画像信号に対し、対象画素が無彩色であるか否かを判定することにより黒文字画素を検出する第２の分離手段と
を有しているので、画像信号とは別に分離信号を蓄積するという不効率さを解消するとともに、非可逆圧縮・伸長により劣化した画像信号からも精度良く黒文字画素の分離を行うことができる。
【０１５２】
具体的には、例えば、黒文字分離結果に応じて、黒文字領域については色成分を抑制あるいは完全な無彩化をし、非黒文字領域については彩度成分を増加させる処理を施すことによって、黒文字情報を従来に比べて高精度に検出（再抽出）することができる。そして、画像データ中に黒文字分離情報を保存し、後段の第２の分離手段で彩度情報に応じて黒文字情報を検出（再抽出）するよう構成しているので、圧縮などにより発生する画素値の変化に対して余裕度の高い高精度な黒文字再抽出を行なうことができる。また、非文字領域を有彩化する方法や、色文字領域を有彩化する方法も再抽出の際の余裕度を広げることが可能となる。
【０１５３】
また、後段の黒文字情報の検出（抽出）の際に誤分離を起こしそうな部分や、十分な有彩画素については、有彩化処理を行わないなど、必要な画素にのみ有彩化処理を施す（有彩化する）画像領域を必要最小限に留めることにより、ほとんど全ての部分でオリジナルの色を保存するようにできる。
【０１５４】
また、蓄積手段に記憶蓄積する際に、画像データを圧縮して蓄積する方法がとられるのが一般的であるが、輝度色差系の信号に変換してから圧縮することで、先に埋め込んだ黒文字情報をできるだけ劣化しないで蓄積することができる。
【０１５５】
また、蓄積手段に蓄積された画像信号などを外部に転送する際には、通常、ＪＰＥＧ等の圧縮手段によってさらに圧縮し出力することが行われるが、異なる圧縮方式あるいは異なる圧縮率での処理が行われるため、画像データ中に埋め込んだ黒文字情報が破損してしまうことがあった。このような場合、一旦外部に転送したデータを再度入力して出力する時や、他の同じ画像処理システムを有するＭＦＰなどに転送して出力する時に、高品位な再生が行えなくなる。これに対し、本発明では、蓄積した信号をさらに別の圧縮手段によって圧縮し出力する場合などにも、第２の色成分制御手段で黒文字コードをより堅固な状態に補正することで、黒文字情報の保存が行える。
【０１５６】
また、画像データを蓄積する際に、画質モードや変倍率や圧縮率など、画像データに施された画像処理内容を画像データとともにヘッダ情報などに保存し、再出力する際には前記情報を利用して最適な処理を行なうことによって、黒文字の検出（再抽出）を最適に行なうことができ、高画質で再出力することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の画像処理装置の構成例を示す図である。
【図２】色成分制御手段の構成例を示す図である。
【図３】第２の像域分離手段の構成例を示す図である。
【図４】連結性判定パターンの例を示す図である。
【図５】色成分制御手段の他の構成例を示す図である。
【図６】色成分制御手段の他の構成例を示す図である。
【図７】色成分制御手段の他の構成例を示す図である。
【図８】本発明の第２の実施形態の画像処理装置の構成例を示す図である。
【図９】本発明の第３の実施形態の画像処理装置の構成例を示す図である。
【図１０】色成分制御手段の他の構成例を示す図である。
【図１１】色成分制御手段の他の構成例を示す図である。
【図１２】本発明の第４の実施形態の画像処理装置の構成例を示す図である。
【図１３】本発明の第５の実施形態の画像処理装置の構成例を示す図である。
【図１４】本発明の画像処理装置のハードウェア構成例を示す図である。
【符号の説明】
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ハードディスク
１０１ 画像入力手段
１１２ 画像出力手段
１２２ 通信手段
１０２ スキャナγ補正手段
１０３ 第１の像域分離手段（第１の分離手段）
１０４ エッジ量算出手段
１０５ フィルタ処理手段
１０６ 色成分制御手段
１０７ 色補正手段
１０８ 第２の像域分離手段（第２の分離手段）
１０９ 下色除去・墨生成手段
１１０ プリンタγ補正手段
１１１ 中間調処理手段
１１３ 蓄積手段
１１５ 圧縮手段
１１６ 伸張手段
１１７ 圧縮・伸張手段
１１８ 第２の色成分制御手段
１１９ 解像度変換手段
１２０ ブロック
１２１ ＪＰＥＧ圧縮・伸張手段
Claims (16)
- 入力されたカラー画像信号に対し対象画素が黒文字画素であるか否かを判定する第１の分離手段と、
前記第１の分離手段によって対象画素が黒文字画素でないと判定された場合には、圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を増加する有彩化処理を行い、対象画素が黒文字画素であると判定された場合には、前記圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を減ずるかまたは除去する無彩化処理を行う色成分制御手段と、
前記色成分制御手段で処理された画像信号に対し前記圧縮処理方式に応じた非可逆圧縮処理を施す圧縮手段と、
前記圧縮手段で圧縮処理された画像信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された画像信号を伸張する伸張手段と、
前記伸長手段によって伸長された画像信号に対し、対象画素が無彩色であるか否かを判定することにより黒文字画素を検出する第２の分離手段と
を有していることを特徴とする画像処理装置。 - 請求項１記載の画像処理装置において、前記圧縮手段は、輝度色差系の信号に変換してから画像信号の圧縮を行なうようになっていることを特徴とする画像処理装置。
- 請求項１または請求項２記載の画像処理装置において、前記色成分制御手段における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものであることを特徴とする画像処理装置。
- 請求項１乃至請求項３のいずれか一項に記載の画像処理装置において、前記第１の分離手段は、白背景領域上の黒文字画素や黒線画画素を黒文字画素として判定する機能を有し、前記第２の分離手段は、白画素領域に隣接した領域であって概ね無彩色である画素を黒文字画素として判定する機能を有していることを特徴とする画像処理装置。
- 請求項１乃至請求項４のいずれか一項に記載の画像処理装置において、前記色成分制御手段によって所定の処理が施された画像信号を、システムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理機能を有し、指定された所定の画像フォーマットに応じて前記色成分制御手段を制御するようになっていることを特徴とする画像処理装置。
- 請求項５記載の画像処理装置において、前記所定の画像フォーマットに応じた色成分制御手段の制御として、前記第１の分離手段で判定された黒文字画素の領域を周辺の領域に無彩化する領域として拡張する制御を含むことを特徴とする画像処理装置。
- 請求項１または請求項２記載の画像処理装置において、前記蓄積手段に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、第２の色成分制御手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴とする画像処理装置。
- 請求項１または請求項２記載の画像処理装置において、前記蓄積手段に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、前記第１の分離手段によって判定された対象画素の属性に応じて前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、第２の色成分制御手段は、前記第１の分離手段によって判定された対象画素の属性に応じて前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴とする画像処理装置。
- 請求項１乃至請求項８のいずれか一項に記載の画像処理装置において、画像信号を外部機器に転送する際に、該画像信号に施された処理内容をヘッダ情報に保存して外部機器に転送するようになっていることを特徴とする画像処理装置。
- 請求項９記載の画像処理装置において、外部機器から入力した画像データに対して前記第２の分離手段によって属性の判定を行なう画像処理装置であって、前記ヘッダ情報に応じて第２の分離手段の黒文字抽出方法を制御するようになっていることを特徴とする画像処理装置。
- 請求項１０記載の画像処理装置において、外部機器から入力した画像データを前記蓄積手段に蓄積し、前記蓄積手段に蓄積された画像信号を読み出し前記第２の分離手段で対象画素の属性を検出して画像処理を施す画像処理装置であって、入力された画像信号に処理内容を示すヘッダ情報が付されていないときは、第２の分離手段による黒文字抽出を制限するかまたは行わないことを特徴とする画像処理装置。
- 入力されたカラー画像信号に対し対象画素が黒文字画素であるか否かを判定する第１の分離手段と、
前記第１の分離手段によって対象画素が黒文字画素でないと判定された場合には、圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を増加する有彩化処理を行い、対象画素が黒文字画素であると判定された場合には、前記圧縮処理方式に応じて前記カラー画像信号における対象画素の色成分を減ずるかまたは除去する無彩化処理を行う色成分制御手段と、
前記色成分制御手段で処理された画像信号に対し前記圧縮処理方式に応じた非可逆圧縮処理を施す圧縮手段と、
前記圧縮手段で圧縮処理された画像信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された画像信号を伸張する伸張手段と、
前記伸長手段によって伸長された画像信号に対し、対象画素が無彩色であるか否かを判定することにより黒文字画素を検出する第２の分離手段とを有していることを特徴とする画像処理システム。 - 請求項１２記載の画像処理システムにおいて、前記圧縮手段は、輝度色差系の信号に変換してから画像信号の圧縮を行なうようになっていることを特徴とする画像処理システム。
- 請求項１２または請求項１３記載の画像処理システムにおいて、前記色成分制御手段における有彩化処理は、処理対象画素の色成分が所定値より小さい場合にのみ色成分を増加させるものであることを特徴とする画像処理システム。
- 請求項１２乃至請求項１４のいずれか一項に記載の画像処理システムにおいて、前記色成分制御手段によって所定の処理が施された画像信号を、システムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理機能を有し、指定された所定の画像フォーマットに応じて前記色成分制御手段を制御するようになっていることを特徴とする画像処理システム。
- 請求項１２または請求項１３記載の画像処理システムにおいて、前記蓄積手段に蓄積されている画像信号をシステムまたはユーザによって指定された所定の画像フォーマットに変換して外部機器に転送する処理手段を有し、該処理手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施す第２の色成分制御手段を有し、第２の色成分制御手段は、前記蓄積手段に蓄積されている画像信号から識別された属性情報に応じて、前記蓄積手段に蓄積されている画像信号に対して再度有彩化および／または無彩化処理を施して外部機器に転送するようになっていることを特徴とする画像処理システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002353335A JP4212876B2 (ja) | 2002-12-05 | 2002-12-05 | 画像処理装置および画像処理システム |
| US10/727,663 US20040165081A1 (en) | 2002-12-05 | 2003-12-05 | Image processing apparatus, image processing system, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002353335A JP4212876B2 (ja) | 2002-12-05 | 2002-12-05 | 画像処理装置および画像処理システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008104077A Division JP4526577B2 (ja) | 2008-04-11 | 2008-04-11 | 画像処理装置および画像処理システムおよび画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004187119A JP2004187119A (ja) | 2004-07-02 |
| JP4212876B2 true JP4212876B2 (ja) | 2009-01-21 |
Family
ID=32754639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002353335A Expired - Fee Related JP4212876B2 (ja) | 2002-12-05 | 2002-12-05 | 画像処理装置および画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4212876B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7324244B2 (en) * | 2003-03-20 | 2008-01-29 | Kabushiki Kaisha Toshiba | Image forming apparatus and image forming method |
| JP2006094425A (ja) * | 2004-09-27 | 2006-04-06 | Ricoh Co Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
| JP4549227B2 (ja) * | 2005-04-28 | 2010-09-22 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 |
| JP4958626B2 (ja) * | 2006-07-04 | 2012-06-20 | シャープ株式会社 | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体 |
| JP2008028550A (ja) * | 2006-07-19 | 2008-02-07 | Ricoh Co Ltd | 画像処理装置と画像処理方法とプログラム |
| JP2011228764A (ja) | 2010-04-15 | 2011-11-10 | Seiko Epson Corp | 画像処理装置及びそのプログラム |
| JP2011228763A (ja) | 2010-04-15 | 2011-11-10 | Seiko Epson Corp | 画像処理装置及びそのプログラム |
| JP6124127B2 (ja) * | 2013-05-27 | 2017-05-10 | ブラザー工業株式会社 | 画像処理装置及びそのプログラム |
| JP6704016B2 (ja) * | 2018-07-12 | 2020-06-03 | スキャネット株式会社 | 答案採点のシステム、プログラムおよび方法 |
-
2002
- 2002-12-05 JP JP2002353335A patent/JP4212876B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004187119A (ja) | 2004-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7327874B2 (en) | Method of and apparatus for image processing apparatus, and computer product | |
| JP5540553B2 (ja) | 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム | |
| US7903872B2 (en) | Image-processing apparatus and method, computer program, and storage medium | |
| US20040165081A1 (en) | Image processing apparatus, image processing system, and image processing method | |
| US7689050B2 (en) | Image processing apparatus and method with a histogram of the extracted DC components | |
| JP6648580B2 (ja) | 原稿種認識装置、画像形成装置、原稿種認識方法およびプログラム | |
| JP4104469B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2004228811A (ja) | 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム | |
| JP4637054B2 (ja) | 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JP4212876B2 (ja) | 画像処理装置および画像処理システム | |
| JP2004193964A (ja) | 画像処理装置および画像処理方法およびプログラムおよび記録媒体 | |
| JP6705237B2 (ja) | 画像圧縮装置、画像形成装置、画像圧縮方法およびプログラム | |
| JP3362749B2 (ja) | カラー画像形成装置 | |
| JP4898601B2 (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
| JP4526577B2 (ja) | 画像処理装置および画像処理システムおよび画像処理方法 | |
| JP3929030B2 (ja) | 画像処理装置 | |
| JP4050639B2 (ja) | 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム | |
| JP4963559B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、その方法をコンピュータに実行させるプログラム | |
| JP4515986B2 (ja) | 画像処理装置およびプログラム | |
| JP3907871B2 (ja) | カラー画像処理装置 | |
| JP4185831B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP3581756B2 (ja) | 画像処理装置 | |
| JP2007189275A (ja) | 画像処理装置 | |
| JP2004235743A (ja) | 画像処理装置および画像処理方法およびプログラムおよび記録媒体 | |
| JP2007235430A (ja) | 画像処理装置、画像配信装置、画像形成装置、画像処理方法、プログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080121 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080411 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081027 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081029 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |