JP3731629B2

JP3731629B2 - Image processing apparatus, image transmission apparatus, image processing method, and image transmission method

Info

Publication number: JP3731629B2
Application number: JP05949998A
Authority: JP
Inventors: 真之久武; 邦和上野
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1998-03-11
Filing date: 1998-03-11
Publication date: 2006-01-05
Anticipated expiration: 2018-03-11
Also published as: JPH11261833A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データを高画質に蓄積してさまざまな用途に応じて最適な画像データの形式に適宜変換して出力することができる画像処理装置、画像処理方法、画像送信装置および画像送信方法に関するものである。
【０００２】
【従来の技術】
従来より、文字線画画像や写真などの自然画像が混在する原稿を効率よく圧縮するさまざまな方法が提案されている。例えば特開平４−３５３６１号公報には、情報量を圧縮すべき画像データにおいて、離散コサイン変換した結果をもとに二値画像領域と多値画像領域を分離し、各領域はそれぞれ二値画像圧縮符号化部と離散コサイン変換符号化部で圧縮符号化する技術が開示されている。このような画像データの局所的な特性に応じて圧縮符号化方式を選択的に切り換える技術は、例えばＪＰＥＧ方式単独で文字写真混在画像データを圧縮する場合に比べて圧縮効率を向上させることができるとともに、画像品質を高く保つことができるという利点がある。
【０００３】
しかしながら、このような従来の画像符号化方式を採用すると、既存の白黒ファクシミリ装置や近年ＩＴＵで標準勧告化されているカラーファクシミリ装置への画像通信ができないという欠点がある。すなわち、既存の白黒ファクシミリでは、受信装置は画像データの全面をＩＴＵ−Ｔ勧告Ｔ．４に示されたＭＨ／ＭＲ方式、Ｔ．６に示されたＭＭＲ方式のいずれか１つの二値画像圧縮符号化方式を用いて処理されることを前提としており、上述のような従来の技術が提案する符号化方式と整合しているとはいえない。同様に、カラーファクシミリにあっては原稿画像データをその内容によらず、画像データの全面をＪＰＥＧ方式により圧縮符号化処理されることを前提としているので、やはり従来の技術との整合は保証されていない。
【０００４】
一方、画像を蓄積しておいて再利用することも多く行なわれている。画像を蓄積する際には、効率よく、また高画質の画像を再現できるように行なわれる。しかし、再利用する際には、蓄積されている画像を利用する機器に応じた画像の出力が必要となる。例えば、ＣＩＥ−Ｌ^*ａ^*ｂ^*色空間で表現されている画像データを圧縮符号化して蓄積している場合、その画像データをＲＧＢ色空間で表現される画像データを受け取るディスプレイに表示させる場合には、復号化とともに色空間変換が必要となる。
【０００５】
このように、画像通信や蓄積画像の再利用を考えると、その用途に応じて画像データの階調数や再現色空間、圧縮符号化方式を適宜変換する必要があるにもかかわらず、従来技術ではその要望に充分応えていなかった。
【０００６】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、絵柄写真画像や文字・線画画像などが混在する種々の画像であっても画質の劣化を抑えて保存し、保存された画像データをさまざまな再利用の目的に応じて最適な画像データ形式で供給することができる画像処理装置および画像処理方法と、さまざまな送信相手先の受信能力に応じて最適な画像データ形式で送信することができる画像送信装置及び画像送信方法を提供することをその目的とするものである。
【０００７】
【課題を解決するための手段】
本発明は、入力された画像データを分離手段によって、文字または線画の色情報を示す第１画像データと、背景画像を示す第２画像データと、文字または線画の形状を示す選択データとに分離する。そして分離されたデータの少なくとも１つに対して、第１の画像データ変換手段で変換処理を行なって記憶手段に記憶させておく。この第１の画像データ変換手段は、分離された各画像データに対してそれぞれ独立に行なうことが可能であるので、各分離された画像データの特性に応じた処理を施すことができる。例えば第１の画像変換手段では分離されたそれぞれの画像データに適した圧縮手法を用いて圧縮処理を行なうことができる。
【０００８】
記憶手段に記憶されている画像データを利用する際には、第２の画像データ変換手段によって変換処理を行なって出力する。たとえば、出力先の特性に応じた変換処理を行なうことができ、具体的には階調変換処理、色空間変換処理及び層数変換処理等を行なうことができる。このほか、減色処理、擬似中間調処理、所定の範囲内に収まる色である場合には同一の色であるとして計数した色数を第１画像データ及び第２画像データの少なくとも一方の色数に置換する処理、検索用小画像を作成する処理などを行なうこともできる。それぞれのデータに施す処理手法は異なっていてよい。また、上述のように記憶手段に記憶させる際には複数のデータに分離した多層形式で記憶させるが、出力先がこのような多層形式の画像データを受け付けない場合には、層数変換処理によって１層のみまたは２層の画像データに変換して出力することができる。さらに、分離した画像データを圧縮して記憶手段に記憶している場合には、一度伸長し、出力先に応じた各種の変換処理を行ない、必要に応じて出力先に応じた圧縮処理を行なって、出力することができる。もちろん、記憶されている画像データを出力先がそのまま受け付ける場合には、そのまま出力してもよい。このように、種々の出力先に対応した形式の画像データを出力することができる。
【０００９】
また、記憶手段に記憶されている画像データを送信する際には、受信能力情報取得手段によって送信相手先の受信能力に関する情報を取得し、取得した相手先の受信能力に関する情報に基づいて、第２の画像データ変換手段によって記憶手段に記憶されている画像データに対して変換処理を行なって送信する。もちろん、記憶されている画像データをそのまま送信可能であれば、そのまま送信してもよい。このように、種々の送信相手先の受信能力に対応した形式の画像データによって送信することができる。
【００１０】
【発明の実施の形態】
図１は、本発明の画像処理装置の実施の一形態を示すブロック構成図である。図中、１は属性分離部、２，４は画像変換部、３は記憶部である。属性分離部１は、入力画像データの局所的な性質を検出し、その情報を選択データＳＥＬとして出力する。さらに、その選択データＳＥＬを参照して入力画像データを第１画像データＤＴ１と第２画像データＤＴ２に分離する。ここで、選択データＳＥＬは画素ごとに第１画像データＤＴ１かあるいは第２画像データＤＴ２かを示すデータであり、２値画像として扱うことができる。また、第１画像データＤＴ１および第２画像データＤＴ２において、選択データＳＥＬにより割振りが行なわれなかった位置に相当する画像データには所定の値の画像データが挿入される。第１画像データＤＴ１、第２画像データＤＴ２、選択データＳＥＬは、それぞれ画像データプレーンを構成する。
【００１１】
画像変換部２は、属性分離部１で分離された第１画像データＤＴ１、第２画像データＤＴ２、選択データＳＥＬに対して標準の変換処理を行なう。変換処理は３つの画像データプレーンに等しく行なう必要はなく、そのうちのいくつかのみでもよく、またそれぞれの画像データプレーンに最適な変換処理を独立に施すことができる。例えば選択データＳＥＬは上述のように２値画像データとして扱うことができるので２値画像に適した変換処理を行なうことができる。また、記憶部３に格納するために圧縮処理を施す場合でも、各画像データプレーンの特性に応じた圧縮手法を用いて圧縮処理を行なうことができる。この画像変換部２では、出力先によらず、例えばこの画像処理装置において効率よく、しかも画質の劣化の少ない変換処理を行なっておくことができる。
【００１２】
記憶部３は、画像変換部２で変換処理された各画像データプレーンを記憶、蓄積する。
【００１３】
画像変換部４は、記憶部３に記憶されている画像変換部２で変換処理された各画像データプレーンに対して、出力先の特性に応じた変換処理を行なう。この場合の変換処理も、３つの画像データプレーンに等しく行なう必要はなく、そのうちのいくつかのみでもよく、またそれぞれの画像データプレーンに対して変換処理を独立に施すことができる。例えば出力先の特性に応じて、階調変換処理、色空間変換処理、減色処理などの画像構造の変換処理や、３つの画像データプレーンを２つあるいは１つの画像データプレーンに変換する層数変換処理等を行なうことができる。また、出力先が符号データを受け付ける場合には、圧縮処理を行なうこともできる。この場合、画像変換部２において行なった圧縮処理の手法と異なる場合には、先に画像変換部２において行なった圧縮処理の手法を用いて伸長処理を行なった後、出力先が受け付ける圧縮手法を用いて圧縮処理を行なえばよい。
【００１４】
図２は、本発明の画像処理装置の実施の一形態における一具体例を示すブロック構成図である。図中、１１ａ〜１１ｃは圧縮部、１２ａ〜１２ｃは伸長部、１３，１５，１７，１９はセレクタ、１４ａ〜１４ｃは解像度変換部、１６ａ，１６ｃは色変換部、１８ａ，１８ｃは階調数変換部、２０ａ〜２０ｃは圧縮部である。この具体例では、画像変換部２として圧縮部１１ａ〜１１ｃを設け、画像変換部４として伸長部１２ａ〜１２ｃ、解像度変換部１４ａ〜１４ｃ、色変換部１６ａ，１６ｃ、階調数変換部１８ａ，１８ｃ、圧縮部２０ａ〜２０ｃ、セレクタ１３，１５，１７，１９を設けている。
【００１５】
属性分離部１は、上述のように入力画像データの局所的な性質を検出し、その情報を選択データＳＥＬとして出力するとともに、その選択データＳＥＬを参照して入力画像データを第１の画像データＤＴ１と第２画像データＤＴ２に分離する。図３は、本発明の画像処理装置の実施の一形態の一具体例における属性分離部の一例を示す構成図である。図中、３１は文字外形抽出部、３２はマルチプレクサである。ここでは、入力画像データの局所的な性質として、文字や線画部分の外形に注目して属性分離を行なう例を示す。もちろん、例えば文字部分の外接矩形の集合体で文字領域を抽出するなど、他の方法で属性分離を行なってもよい。
【００１６】
文字外形抽出部３１は、入力画像データから文字や線画などの外形を抽出し、抽出された文字・線画部分に対して例えば「１」を、文字・線画部分以外の背景に相当する部分に対しては例えば「０」を出力する。従って、文字外形抽出部３１の出力は第１画像データＤＴ１と第２画像データＤＴ２のいずれかを選択する選択データＳＥＬとみなすことができる。なお、文字外形抽出部２１に入力すべき画像データの色空間は、ここではＣＩＥ−Ｌ^*ａ^*ｂ^*均等色空間を想定しているが、これに限定されるものではない。
【００１７】
図４は、文字外形抽出部の動作の一例を示すフローチャートである。文字・線画部分の外形を抽出すべきＬ^*ａ^*ｂ^*色空間の画像データは、Ｓ１２１において各成分（Ｌ^*成分、ａ^*成分、ｂ^*成分）ごとに所定の大きさのブロックにまとめて、ブロック内の画素値ヒストグラムを求める。次いでＳ１２２において、ブロック内部の最大画素値と最小画素値の差分を求め、所定の大きさの第１閾値ＴＨ１より大きいか否かを調べ、さらに分散値σが所定の大きさの第２閾値ＴＨ２より大きいか否かを調べる。画素値の差分と分散値が共に大きいと判定された場合、そのブロックは急峻な画素値の変化を伴った文字・線画ブロックであると判定し、Ｓ１２３へ進む。当該ブロックを文字・線画ブロックでないと判定した場合は、Ｓ１２７において、当該ブロックに関わる選択データを全て「０」とし、当該ブロック位置の他の色成分データについても同様の処理を繰り返すべくＬＯＯＰ２によってＳ１２１へ戻る。
【００１８】
文字・線画ブロックと判定されたブロックについては、Ｓ１２３において、当該ブロックの最大画素値と最小画素値の平均値を求め、これを当該ブロックの二値化処理に関わる閾値Ｂとする。そしてＳ１２４において、当該ブロックに属する画素Ｄ_ij全てについて閾値Ｂとの比較を行ない、閾値Ｂより値が大きい画素に対してＳ１２６で「１」を割り当て、閾値Ｂより値が小さい画素に対してはＳ１２５で「０」を割り当てる。ＬＯＯＰ１によりＳ１２４に戻り、この処理をブロック内のすべての画素について行なうべく繰り返す。さらにＬＯＯＰ２により、同じブロック位置のＬ^*成分、ａ^*成分、ｂ^*成分のすべての色成分に対しても繰り返す。
【００１９】
ブロック位置の各色成分の処理が終了したら、Ｓ１２８において各色成分の二値化結果の論理和を求めて当該ブロックの選択データを生成する。そしてＬＯＯＰ３によりＳ１２１に戻り、次のブロックについての処理を行なう。このような処理を、例えば１ぺージ分あるいは１ストライプ分など、所定の大きさの画像データをすべて処理するまで繰り返す。
【００２０】
文字・線画部分の外形を抽出するアルゴリズムは、以上説明してきたような画素値の統計処理によって判定するものに限られない。この他にも、画像データの空間周波数分布を直交変換処理などにより求め、この結果を基に文字・線画部分の外形を抽出するなど、種々の方法を適用することができる。
【００２１】
図３に戻り、マルチプレクサ３２は、文字外形抽出部３１の出力値に応じて、入力画像データを第１画像データＤＴ１と第２画像データＤＴ２に分離する。例えば文字外形抽出部４１から出力されたデータが「１」を示した時は、入力画像データを第１画像データＤＴ１として出力すると同時に、第２画像データＤＴ２として所定値の画像データ、例えばＬ^*＝ａ^*＝ｂ^*＝０を出力する。文字外形抽出部３１の出力が「０」を示した時は、入力画像データを第２画像データＤＴ２として出力すると同時に、第１画像データＤＴ１として所定値の画像データ、例えばＬ^*＝ａ^*＝ｂ^*＝０を出力する。従ってこの場合には、第１画像データＤＴ１には入力画像データのうち文字・線画部分が分離され、第２画像データＤＴ２には文字・線画部分以外の背景部分が分離される。以下の説明では、第１画像データＤＴ１を文字色データ、第２画像データＤＴ２を背景画像データと呼ぶことがある。また、文字外形抽出部４１の出力はマルチプレクサ４２において第１画像データＤＴ１または第２画像データＤＴ２のいずれかを選択するために用いられたデータであり、選択データＳＥＬとして出力することができる。またこの例では、属性分離部１の出力である選択データＳＥＬ及び第１画像データＤＴ１、第２画像データＤＴ２は全て、主走査方向と副走査方向で同じ大きさとなる。
【００２２】
図５は、本発明の画像送信装置の第１の実施の形態における属性分離の具体例の説明図である。例えば入力された画像情報が図５（Ａ）に示すような絵柄や文字の混在したカラー画像であったとする。図５（Ａ）に示す画像では、文字「ＪＡＰＡＮ」とともに中間調の日本地図が描かれている。また、文字「ＪＡＰＡＮ」も各文字ごとに異なる色によって描かれている。図示の都合上、異なる色にはハッチングを変えて示している。
【００２３】
属性分離部１１の文字外形抽出部３１は、図５（Ａ）に示すような画像から文字・線画部分、すなわち文字「ＪＡＰＡＮ」の部分を抽出する。上述のように文字・線画部分に対して例えば「１」を、それ以外の部分に対して例えば「０」を出力すると、図５（Ｃ）に示すような選択データが得られる。図５（Ｃ）において、「１」の部分を黒で示している。
【００２４】
マルチプレクサ３２は、選択データによって図５（Ａ）に示す画像を分離する。選択データが「１」の部分の画像を図５（Ｂ）に示すように分離し、選択データが「０」の部分の画像を図５（Ｄ）に示すように分離する。このようにして、図５（Ａ）中の色を含む文字「ＪＡＰＡＮ」の部分が図５（Ｂ）に示す第１画像データＤＴ１として分離され、文字・線画以外の日本地図などの部分が図５（Ｄ）に示す第２画像データＤＴ２として分離される。
【００２５】
図２における圧縮部１１ａ〜１１ｃは、属性分離部１において多層に分離された画像データを記憶部３に効率よく記憶させるために、情報量を削減すべく設けられたものである。このとき、画質の劣化を抑えるべく、分離された各画像データプレーンに対してそれぞれの画像データプレーンの性質に適した圧縮符号化方式を適用する。例えば選択データＳＥＬは上述のように２値データであるので、圧縮部１１ｂは２値画像の圧縮に適した圧縮手法を用いて選択データＳＥＬを圧縮する。具体的には、ＩＴＵ−Ｔ勧告Ｔ．４に示されたＭＨ／ＭＲ方式、Ｔ．６に示されたＭＭＲ方式、Ｔ．８５に示されたＪＢＩＧ方式などを用いることができる。第１画像データＤＴ１と第２画像データＤＴ２はそれぞれ多値画像データであるので、圧縮部１１ａと圧縮部１１ｃは多値画像の圧縮に適した圧縮手法を用いて第１画像データＤＴ１と第２画像データＤＴ２を圧縮する。具体的にはＴ．８１に示されたＪＰＥＧ方式を用いることができる。また、ＪＢＩＧ方式を用いて可逆圧縮を行なってもよい。さらに、ＬＺＷ方式などのユニバーサル符号化方式を用いてもよい。
【００２６】
記憶部３には、圧縮部１１ａ〜１１ｃによってそれぞれ圧縮された各画像データプレーンの圧縮データが記憶される。図６は、記憶部の記憶空間における各画像データプレーンの配置方法の一例の説明図である。図中、４１_-SEL，４２_-SEL，４３_-SELは選択データ、４１_-DT1，４２_-DT1，４３_-DT1は第１画像データ、４１_-DT2，４２_-DT2，４３_-DT2は第２画像データである。上述のように、入力画像データを属性分離部１にて３つの画像データプレーンに分離し、それぞれ圧縮部１１ａ〜１１ｃで圧縮符号化し、その結果を記憶部３に記憶させる。このような処理は、例えば１ページごとや、副走査方向に所定数のライン毎にまとめたストライプごとなど、所定単位ごとに行なわれる。このように所定単位ごとに処理を行なうことによって、例えば画像変換部２，４においてバッファメモリが必要な場合にそのバッファメモリの容量を画像データの所定単位に相当する大きさに抑えることが可能になる。
【００２７】
図６（Ａ）に示す配置方法では、所定単位ごとの３つの画像データプレーンを、選択データＳＥＬ、第１画像データＤＴ１、第２画像データＤＴ２の順番で順次蓄積する例を示している。すなわち、最初の所定単位の画像データにおける選択データＳＥＬの符号化データ４１_-SELに引き続き第１画像データＤＴ１の符号化データ４１_-DT1、第２画像データＤＴ２の符号化データ４１_-DT2が連続して蓄積される。この最初のブロックに続く次の所定単位の画像データについても同様に、選択データＳＥＬの符号化データ４２_-SEL、第１画像データＤＴ１の符号化データ４２_-DT1、第２画像データＤＴ２の符号化データ４２_-DT2が連続した記憶空間上に蓄積される。次の所定単位の画像データの選択データＳＥＬの符号化データ４３_-SEL、第１画像データＤＴ１の符号化データ４３_-DT1、第２画像データＤＴ２の符号化データ４３_-DT2についても同様である。このように、所定単位毎に各画像データプレーンをまとめて記憶部３に蓄積することにより、例えば符号化データ量にバラツキが生じても効率よく記憶させることができる。
【００２８】
図６（Ｂ）に示す配置方法では、記憶部３の記憶空間を予めプレーン数に相当する３つの領域に分割しておく。そして、選択データＳＥＬは選択データの記憶領域に、第１画像データＤＴ１は第１画像データの記憶領域に、第２画像データＤＴ２は第２画像データの記憶領域に、それぞれ記憶させる。すなわち、最初の所定単位の画像データにおける選択データＳＥＬの符号化データ４１_-SELが選択データの記憶領域に記憶され、それに引き続き、次の所定単位の画像データにおける選択データＳＥＬの符号化データ４２_-SELが連続して蓄積され、さらに次の所定単位の画像データの選択データＳＥＬの符号化データ４３_-SELが記憶される。同様に、最初の所定単位の画像データにおける第１画像データＤＴ１の符号化データ４１_-DT1が第１画像データの記憶領域に記憶され、それに引き続き、次の所定単位の画像データにおける第１画像データＤＴ１の符号化データ４２_-DT1が連続して蓄積され、さらに次の所定単位の画像データの第１画像データＤＴ１の符号化データ４３_-DT1が記憶される。第２画像データＤＴ２についても同様に第２画像データの記憶領域に順次記憶されてゆく。このように、各プレーンの符号化画像データを記憶空間上の異なる領域に蓄積することにより、任意のプレーンだけに画像変換処理を施す場合には高速に処理を行なうことが可能になる。
【００２９】
伸長器１２ａ〜１２ｃは、記憶部３に蓄積された画像データに対して変換処理を施す際に、該当する画像データの該当画像データプレーンの圧縮符号化データを記憶部３より適宜選択して読み出し、伸長して元の画像データプレーンを復元する。
【００３０】
セレクタ１３は、出力先の特性に応じて各画像データプレーンごとに解像度変換が必要か否かによって、解像度変換が必要な画像データプレーンについては対応する解像度変換部１４ａ〜１４ｃにおいて解像度変換が行なわれるように切り換える。
【００３１】
解像度変換部１４ａ〜１４ｃは、出力先の特性に応じて各画像データプレーンごとに解像度変換処理を行なう。このとき、各解像度変換部１４ａ〜１４ｃは、各画像データプレーンに適した解像度変換処理を行なうことができる。解像度変換手法としては、例えば画質はそれほど良くなくても高速処理を優先させる場合には、ゼロ次ホールド法やニアレストネイバー法などがある。また、処理速度は遅いが高画質が要求される場合には、投影法や１６点補間法、論理演算法などがある。特に論理演算法では２値の画像データに対して有効である。画質、処理速度ともに標準的な方法としては、４点補間法などがある。各解像度変換部１４ａ〜１４ｃでは、これらの解像度変換手法から処理すべき画像データプレーンに応じた手法をそれぞれ独立して適用することが可能である。例えば選択データについては２値画像を高画質で解像度変換できる方法を選択すればよい。また、第１画像データ（文字色データ）については、カラー画像を高画質で解像度変換できる方法を選択する必要がある。このとき、第１画像データに文字の輪郭形状を含まなければ、高画質である必要はないので、カラー画像を解像度変換できる任意の方法を用いることができる。さらに、第２画像データ（絵柄データ）については、それほど高画質である必要はないものの、ある程度の画質を維持できるカラー画像の解像度変換手法を選択すればよい。
【００３２】
セレクタ１５は、出力先の特性に応じて各画像データプレーンごとに色変換が必要か否かによって、色変換が必要な画像データプレーンについては対応する色変換部１６ａ，１６ｃにおいて色に関する変換処理が行なわれるように切り換える。なお、選択プレーンについては２値のデータであるので色変換処理は行なわない。
【００３３】
色変換部１６ａ，１６ｃは、出力先の特性に応じて各画像データプレーンごとに色に関する変換処理を行なう。色に関する変換処理としては、色空間変換や色調変換、減色変換等の変換処理が含まれる。例えば記憶部３に記憶されている各画像データプレーンの色空間がＬ^*ａ^*ｂ^*色空間であり、出力先の色空間がＹＭＣＫ色空間であれば、Ｌ^*ａ^*ｂ^*色空間からＹＭＣＫ色空間への色空間変換を行なう。また、フルカラーの画像を２５６色の出力先へ出力する場合には、２５６色に減色変換処理を行なう。また、使用している色のパレット化などの処理を行なってもよい。このような色変換処理の方法としては、例えばマトリクス演算等によって行なうことができる。あるいは、ＤＬＵＴ（ダイレクトルックアップテーブル）方式等を用いてもよい。
【００３４】
セレクタ１７は、出力先の特性に応じて各画像データプレーンごとに階調数変換が必要か否かによって、階調数変換が必要な画像データプレーンについては対応する階調数変換部１８ａ，１８ｃにおいて階調数変換処理が行なわれるように切り換える。なお、選択プレーンについては２値のデータであるので階調数変換処理は行なわない。
【００３５】
階調数変換部１８ａ，１８ｃは、出力先の特性に応じて各画像データプレーンごとに階調数の変換処理を行なう。階調数は、１画素１色成分あたりのビット数を示し、例えば１６ビットのデータを８ビットのデータに変換するなどの処理を行なう。もちろん線形変換である必要はなく、出力先の特性に応じた変換処理を行なうことができる。このような階調数の変換処理は、例えばルックアップテーブルなどを用いて行なうことが可能である。
【００３６】
なお、解像度変換部１４ａ〜１４ｃ、色変換部１６ａ，１６ｃ、階調数変換部１８ａ，１８ｃの順序は任意であるし、これらのうちの１以上を設ければよいし、また他の構造変換処理を行なえるように構成してもよい。
【００３７】
セレクタ１９は、出力先の特性に応じて各画像データプレーンごとに圧縮処理が必要か否かによって、圧縮処理が必要な画像データプレーンについては対応する圧縮部２０ａ〜２０ｃにおいて圧縮符号化処理が行なわれるように切り換える。
【００３８】
圧縮部２０ａ〜２０ｃは、基本的には圧縮部１１ａ〜１１ｃと同様に、各画像データプレーンに最適な圧縮手法によって各画像データプレーンを圧縮符号化するが、このとき出力先の特性に応じた圧縮符号化処理を行なう。例えば出力先が特定の圧縮手法を要求していれば、その手法によって圧縮符号化処理を行なう。また、データ量が制限されていれば、符号量制御を行なえる手法を選択してそのデータ量の範囲内とすべく圧縮符号化処理を行なえばよい。
【００３９】
次に、本発明の画像処理装置の実施の一形態における一具体例の動作の一例を説明する。ここでは、スキャナから読み込まれた画像データを記憶部３に蓄積し、その後ディスプレイに表示させる例について説明する。スキャナで読み込まれた画像データは、属性分離部１において文字部分を抽出し、例えば図５に示したように文字外形データからなる選択データＳＥＬと、文字色のデータからなる第１画像データＤＴ１、および背景画像データからなる第２画像データＤＴ２に分離される。なお、スキャナから取り込まれた画像データの色空間と属性分離部１で処理する際の色空間が異なる場合には、属性分離部１における分離処理よりも前に色空間変換を行なっておく。
【００４０】
属性分離部１で３つの画像データプレーンに分離された画像データは、文字外形を示す選択データＳＥＬを圧縮部１１ｂで二値画像に適した圧縮手法で圧縮符号化する。また、文字色を示す第１画像データＤＴ１を圧縮部１１ａで多値画像に適した可逆圧縮手法で圧縮符号化する。さらに、背景画像を示す第２画像データＤＴ２を圧縮部１１ｃで多値画像に適した非可逆圧縮手法で圧縮符号化する。各画像データプレーンの圧縮符号化データは、記憶部３に記憶される。
【００４１】
なお、色付き文字画像をスキャナなどで読み取った場合、ＣＣＤセンサの特性ばらつきや光源のばらつきなどにより、同一色であってもその読み取り画像データはばらつく。このようなデバイス特性による色のバラツキなどは、圧縮前に画像変換部２において補正処理を行なっておくことができる。あるいは、属性分離部１における分離処理前に補正処理を行なっておいてもよい。また、このようにばらつきがある画像データは可逆圧縮してもそれほど高い圧縮率にはならない。そのため、こうした文字色データを予め定められた所定数の代表色にマッピングする処理を行なっておいてもよい。具体的には１画素当たり２４ビットの画像データを２５６色にマッピングするといったパレット化の処理を行なっておくとよい。このように色情報をパレットカラーの番号に変換しておくことで情報量が１／３に削減される。さらにそのパレットカラー番号情報を圧縮部１１ａで可逆圧縮することで大幅な情報量削減が可能となる。この時の変換処理は第１画像データ（文字色データ）だけに施せばよい。もちろん、このような減色処理を第２画像データ（背景画像データ）に対して適用してもよい。
【００４２】
記憶部３に記憶されている画像データの色空間は、属性分離部１の都合によりここではＣＩＥ−Ｌ^*ａ^*ｂ^*空間となっている。しかしながら一般的にディスプレイが取り扱う画像の色空間はＲＧＢ空間であって、記憶部３に記憶されている画像データの色空間とは異なっている。そのため、記憶部３に記憶されている画像データをディスプレイに表示させる際には、少なくとも、出力先となるディスプレイの色空間に応じた色空間変換を行なう必要がある。また、ディスプレイは通常、解像度が低く、例えば画像全体を表示させる場合にはディスプレイの解像度に合わせて解像度変換を行なう必要もある。
【００４３】
ディスプレイに表示すべき画像の圧縮データは、各画像データプレーン毎に記憶部３から読み出されて伸長部１２ａ〜１２ｃで元の画像データに復元される。そしてセレクタ１３は解像度変換部１４ａ〜１４ｃを選択し、解像度変換部１４ａ〜１４ｃにおいて各画像データプレーンの解像度をディスプレイに表示すべき解像度に変換する。さらにセレクタ１５は色変換部１６ａ，１６ｃを選択し、色変換部１６ａ，１６ｃにおいてＣＩＥ−Ｌ^*ａ^*ｂ^*空間からＲＧＢ色空間への色空間変換処理が行なわれる。なお、必要に応じて階調数変換部１８ａ，１８ｃにおいて階調数変換処理を行なってもよい。ディスプレイに表示する際には圧縮処理は必要ないので、セレクタ１９は圧縮部２０ａ〜２０ｃは選択されない。
【００４４】
このようにしてディスプレイに表示するための変換処理を行なった後、各画像データプレーンは図示しない合成部において１枚のプレーンに合成され、ディスプレイへと出力される。３つの画像データプレーンの合成は、選択データの論理に従って第１画像データ（文字色データ）と第２画像データ（背景画像データ）のいずれかを選択するだけで行なうことができる。なお、合成後に色変換や階調変換などの変換処理をさらに行なうように画像変換部４を構成してもよい。
【００４５】
画像変換部４における変換処理は、上述のように３つの画像データプレーンすべてに対して施さなくてもよい。例えば、第１画像データ（文字色データ）および選択データの解像度を低下させ、第１画像データの色空間をＬ^*ａ^*ｂ^*色空間からＲＧＢ色空間へ変換した後で選択データを用いて合成して色文字部分だけを抽出し、画像データの検索用小画像を作成することもできる。あるいは、背景画像データのみに対して解像度変換部１４ｃによる解像度変換および色変換部１６ｃによる色空間変換し、検索用小画像を作成してディスプレイに表示させることもできる。
【００４６】
上述の説明ではディスプレイに表示させる場合について述べたが、記憶部３に記憶されている画像データを例えば記録装置で記録する場合も同様である。色変換部１６ａ，１６ｃにおいてＣＩＥ−Ｌ^*ａ^*ｂ^*空間から記録装置で用いる色材で構成されるＹＭＣＫ色空間に変換し、また各色材の色再現特性などを考慮したプロファイル情報を参照して色変換処理を行なえばよい。この場合も、記録装置の記録密度に応じた解像度変換を必要に応じて行なえばよい。
【００４７】
図７は、本発明の画像処理装置の実施の一形態における別の具体例を示すブロック構成図である。図中、図１および図２と同様の部分には同じ符号を付して説明を省略する。５１は色変換部、５２ａ〜５２ｃはメモリ、５３ａ，５３ｃは二値化部、５４，５５は合成部、５６は層数変換部、５７〜５９は圧縮部、６０は選択部である。この例では、従来の白黒ファクシミリの送信データとして利用可能な１プレーンのみの白黒２値の符号化画像データ、または従来のカラーファクシミリの送信データとして利用可能な１プレーンのみのカラー符号化画像データ、あるいは多層形式の符号化画像データとして出力可能な構成を示している。
【００４８】
色変換部５１は、入力画像データの色空間と属性分離部１が処理可能な色空間が異なる場合に、入力画像データの色空間を属性分離部１で処理可能な色空間に変換する。例えば入力画像データの色空間がＲＧＢ色空間、属性分離部１における色空間がＣＩＥ−Ｌ^*ａ^*ｂ^*色空間であるとすると、ＲＧＢ色空間からＣＩＥ−Ｌ^*ａ^*ｂ^*色空間への色空間変換を行なう。
【００４９】
この例では記憶部３はそれぞれ独立した３つのメモリ５２ａ〜５２ｃによって構成されている。メモリ５２ａ〜５２ｃは、それぞれ、属性分離部１で分離された第１画像データＤＴ１、選択データＳＥＬ、第２画像データＤＴ２を記憶する。
【００５０】
二値化部５３ａ，５３ｃは、それぞれ第１画像データＤＴ１、第２画像データＤＴ２を二値化する。二値化の手法は任意であり、それぞれの画像データプレーンの特性に応じた手法を適用することができる。例えば第２画像データ（背景画像データ）ＤＴ２に対しては、周知の誤差拡散法による擬似中間調処理を行なうことができる。また、第１画像データ（文字色データ）ＤＴ１に対しては周知のディザ法による擬似中間調処理を行なうことができる。これ以外にも、例えば第１画像データ（文字色データ）ＤＴ１は文字色に対応した所定のパターンへ変換し、第２画像データ（背景画像データ）ＤＴ２はディザ法によって擬似中間調処理するなど、種々の方法およびその組み合わせが可能である。
【００５１】
合成部５４は、選択データＳＥＬの論理値に従って、二値化部５３ａで二値化された第１画像データＤＴ１か、あるいは二値化部５３ｃで二値化された第２画像データＤＴ２のいずれかを選択して出力する。同様に合成部５５は、選択データＳＥＬの論理値に従って、第１画像データＤＴ１かあるいは第２画像データＤＴ２のいずれかを選択して出力する。
【００５２】
圧縮部５７は、合成部５４から出力される合成された二値の単層画像データを、二値の画像データに適した圧縮手法を用いて圧縮処理する。例えば、ＭＨ／ＭＲ／ＭＭＲ、あるいはＪＢＩＧ等の圧縮手法を用いることができる。圧縮部５８は、合成部５５から出力される合成されたカラーの単層画像データを、カラー画像データに適した圧縮手法を用いて圧縮処理する。例えばＪＰＥＧなどの圧縮手法を用いることができる。
【００５３】
層数変換部５６は、必要に応じて３つの画像データプレーンを１層あるいは２層の画像データプレーンに変換する。詳細については後述する。なお、合成部５４や合成部５５においても、３層から１層への一種の層数変換処理を行なっているとみなすことができる。ここでは多層形式でありながら、１あるいは２つの画像データプレーンに層数を減少させる処理を必要に応じて行なう。
【００５４】
圧縮部５９は、１層ないし３層の画像データをそれぞれの画像データプレーンごとに圧縮する。圧縮部１１ａ〜１１ｃと同様に、各画像データプレーンごとに最適な圧縮手法を用いて圧縮符号化することができる。
【００５５】
選択部６０は、出力先に応じて、圧縮部５７から出力される１層のみの２値画像の圧縮符号化データ、圧縮部５８から出力される１層のみのカラー画像の圧縮符号化データ、圧縮部５９から出力される多層形式の圧縮符号化データ、あるいはメモリ５２ａ〜５２ｃに記憶されている多層形式の圧縮符号化データのうちのいずれかを選択して出力画像データとして出力する。
【００５６】
なお、図７に示した構成においては、図２に示した解像度変換部１４ａ〜１４ｃや色変換部１６ａ，１６ｃ、階調数変換部１８ａ，１８ｃを設けていないが、もちろん画像変換部４の構成要素として設けることができる。また逆に図２に示した構成では層数変換部５６を設けていないが、図２に示した構成においても層数変換部５６を設けてもよい。
【００５７】
本発明の画像処理装置の実施の一形態の別の具体例における動作の一例について説明する。例えばスキャナなどの画像入力機器から入力された入力画像データは、必要に応じて色変換部５１において色変換処理等が行なわれる。スキャナの色空間がＲＧＢ色空間、属性分離部１の処理における色空間がＣＩＥ−Ｌ^*ａ^*ｂ^*均等色空間であれば、色変換部５１においてＲＧＢ色空間からＬ^*ａ^*ｂ^*均等色空間への色空間変換が行なわれる。このとき、例えばスキャナのセンサのバラツキや光源のバラツキによる色のバラツキの補正なども行なうことができる。
【００５８】
次いで属性分離部１において第１画像データＤＴ１と第２画像データＤＴ２、そして選択データＳＥＬの３層への分離処理が行なわれる。３層に分離された各画像データプレーンは、この具体例ではそれぞれ独立して圧縮部１１ａ〜１１ｃで圧縮符号化され、３つのメモリ５２ａ〜５２ｃに記憶、保持される。
【００５９】
メモリ５２ａ〜５２ｃに記憶、保持されている圧縮された各画像データプレーンを出力先へ出力する際に、出力先が１層のみの白黒２値の圧縮画像データを要求する場合には、第１画像データＤＴ１、選択データＳＥＬ、第２画像データＤＴ２をメモリ５２ａ〜５２ｃから読み出してそれぞれ伸長部１２ａ〜１２ｃで伸長した後、伸長した第１画像データＤＴ１および第２画像データＤＴ２に対してそれぞれ二値化部５３ａ、５３ｂにおいて二値化処理を施す。それぞれ別個に二値化された第１画像データＤＴ１および第２画像データＤＴ２は、選択データＳＥＬの論理に従って合成部５４にて単層の二値画像データに合成される。そして合成部５４の出力は、出力先がサポートしている二値画像用の圧縮符号化方式を用いて圧縮部５７で圧縮処理される。選択部６０はこの圧縮符号化結果を選択して出力する。
【００６０】
次に、出力先が１層のみのカラー多値の圧縮画像データを要求する場合には、第１画像データＤＴ１、選択データＳＥＬ、第２画像データＤＴ２をメモリ５２ａ〜５２ｃから読み出してそれぞれ伸長部１２ａ〜１２ｃで伸長した後、選択データＳＥＬの論理に従って合成部５５で第１画像データＤＴ１と第２画像データＤＴ２を単層の多値画像データへと合成する。合成部５５の出力は、出力先がサポートしているカラー画像用の圧縮符号化方式により圧縮部５８で圧縮符号化処理される。選択部６０はこの結果を選択して出力する。
【００６１】
出力先が多層形式の画像データを受け取ることができる場合は、第１画像データＤＴ１、選択データＳＥＬ、第２画像データＤＴ２をメモリ５２ａ〜５２ｃから読み出してそれぞれ伸長部１２ａ〜１２ｃで伸長した後、層数変換部５６において層数を変換した後、圧縮部５９でそれぞれの画像データプレーンごとに最適な圧縮符号化方式によって圧縮符号化処理される。選択部６０はこの結果を選択して出力する。この場合、メモリ５２ａ〜５２ｃに記憶されている第１画像データＤＴ１、選択データＳＥＬ、第２画像データＤＴ２をそのまま出力可能であれば、メモリ５２ａ〜５２ｃからそれぞれ読み出してそのまま選択部６０から出力してもよい。
【００６２】
層数変換部５６についてさらに説明する。図８は、層数変換部５７の一例を示す構成図である。図中、７１はモード判定部、７２はマルチプレクサである。層数変換部５６に入力される画像データは、伸長部１２ａ〜１２ｃで伸長された第１画像データＤＴ１、第２画像データＤＴ２、選択データＳＥＬの３層の画像データである。モード判定部７１は、これら３層の画像データを解析して各画像データプレーンに有意な情報を含んでいるか否かを判定する。この判定結果に基づき、マルチプレクサ７２は３層の画像データから有意な画像データプレーンを選択し、最適な層数の画像データに変換する。
【００６３】
図９は、モード判定部７１の一例を示す構成図である。図中、８１，８２は色数計数部、８３はカウンタ、８４は比較器である。色数計数部８１は、第１画像データ（文字色データ）に含まれる色数、すなわち画像データのＬ^*成分、ａ^*成分、ｂ^*成分の組み合わせの数を計数する。上述のように、選択データによって第１画像データとして選ばれなかった画素位置には所定値の画像データが挿入されているので、この所定値に一致する文字色は有意な情報として計数しないようにしておくとよい。また、色数を計数するに際し、文字色のばらつきを考慮して所定の範囲内に収まる文字色は同一の色であるとみなすようにしてもよい。色数計数部８１の出力であるモード０信号は、色数が２以上の時に「１」となり、この時の色情報出力は無視してよい。文字色が所定値のみで色数計数結果が０であった場合は、色情報出力は所定値を示し、モード０信号は「０」となる。色数計数結果が１の場合、色情報出力はその時の有意な文字色であるＬ^*ａ^*ｂ^*色空間の画像データを示し、モード０信号は「０」となる。
【００６４】
色数計数部８２は、第２画像データ（背景画像データ）に含まれる色数を計数する。選択データによって第２画像データとして選ばれなかった画素位置には所定値の画像データが挿入されており、この所定値に一致する画像データは有意な情報として計数されないようにしておくとよい。色数計数部８２の出力であるモード１信号は、色数が２以上の時に「１」となり、この時の色情報出力は無視してよい。背景画像色がすべて所定値で色数計数結果が０であった場合は、色情報出力は所定値を示し、モード１信号は「０」となる。色数計数結果が１の場含、色情報出力はその時の有意な背景色であるＬ^*ａ^*ｂ^*色空間の画像データを示し、モード１信号は「０」となる。
【００６５】
カウンタ８３は、選択データプレーンに含まれる有意な画素の数を計数する。入力画像データが文字や線画を含まない写真画像の場合、入力画像データは属性分離部１によってすべて第２画像データに分離される。この時の選択データは全て第２画像データを選択している。このように、入力された画像情報が強い写真画像の性質を示す場合、選択データのほとんどが第２画像データを選択するデータ（例えば「０」）になり、第１画像データを選択するデータ（例えば「１」）となった画素は例えば写真上に付着していたゴミなどのノイズである可能性が高い。
【００６６】
比較器８４でカウンタ８３の出力を所定の閾値ＳＬ_THと比較し、閾値ＳＬ_THの方が大きい場合は比較器８４の出力は「０」となって、選択データプレーンには有意な情報が含まれていなかったことを示す。逆にカウンタ８３の出力の方が閾値ＳＬ_THより大きかった場合は、比較器８４の出力は「１」となって選択データプレーンが有意であることを示す。この比較器８４の出力はモード２信号となる。
【００６７】
図１０は、モード判定部７１から出力されるモード信号とマルチプレクサ７２が形成する多層データ形式の送信データの関係の一例の説明図である。選択データに有意情報を含まずにモード２信号が「０」となった場合、入力画像データはすべて第２画像データＤＴ２として分離されたことを意味し、入力画像データは文字や線画を含まない写真原稿であることが推定される。ここでモード１信号が「０」を示した場合、背景画像が単色と判定されたことを意味し、図１０▲１▼、▲５▼に示すように情報のない白紙が取り込まれたことが推定される。この時は画像データが無効であるとするのが望ましい。モード１信号が「１」を示した場合、第２画像データＤＴ２には有意情報が含まれていると考えられるので、図１０▲３▼、▲７▼に示すように、第２画像データＤＴ２を有効データとして選択する。この時は選択データＳＥＬが全て第２画像データＤＴ２を選択するデータ（例えば「０」）と見なせるとともに第１画像データＤＴ１には有意の情報が存在しないので、そのことを示す付加情報と併せて第２画像データＤＴ２のみの１層の画像データが層数変換部５６の出力となる。
【００６８】
図１１は、入力画像データが写真画像のみの場合の層数変換部５６の出力データの具体例の説明図である。図１１（Ａ）は入力画像データの一例を示している。この例では中間調からなる日本地図が描かれており、文字は存在していない。上述のようにして属性分離部１は図１１（Ａ）に示す入力画像データを分離するが、文字領域が存在しないため、選択データＳＥＬは図１１（Ｃ）に示すようにすべて「０」（第２画像データを選択）となり、また第１画像データＤＴ１も図１１（Ｂ）に示すようにすべて所定値となり、入力画像データは図１１（Ｄ）に示すようにすべて第２画像データＤＴ２に分離される。モード判定部７１にて、図１１（Ｄ）に示す第２画像データＤＴ２のみに有意情報が含まれていると判定されるので、図１１（Ｅ）に示すように第２画像データＤＴ２のみが有効データとして選択されることになる。
【００６９】
選択データＳＥＬに有意情報が含まれてモード２信号が「１」を示し、かつ、モード１信号が「０」を示している場合は、入力画像データは文字や線画のみからなる原稿であることが推定される。さらにモード０信号が「０」を示して文字色が単色と判定されている場合は、入力画像データ中の文字や線画は１色のみによって描かれていることを示す。この場合には、文字や線画が描かれている色のデータと背景色のデータを付加情報とし、図１０▲２▼に示すように選択データＳＥＬのみの１層の画像データが層数変換部５６の出力となる。
【００７０】
図１２は、入力画像データが１色の文字画像のみの場合の層数変換部５６の出力データの具体例の説明図である。図１２（Ａ）は入力画像データの一例を示している。この例ではある色によって文字「ＪＡＰＡＮ」が描かれており、その他の絵柄部分は存在していない。上述のようにして属性分離部１は図１２（Ａ）に示す入力画像データを分離すると、文字「ＪＡＰＡＮ」の部分について選択データＳＥＬが「１」（第１画像データを選択）となり、図１２（Ｃ）に示す選択データＳＥＬが得られる。またこの選択データＳＥＬが「１」の部分のみ第１画像データＤＴ１に分離されるため、図１２（Ｂ）に示すように色付きの文字「ＪＡＰＡＮ」が分離される。文字「ＪＡＰＡＮ」以外の部分は第２画像データＤＴ２に分離されるが、入力画像データ中に文字以外に有意の情報は存在しないため、第２画像データＤＴ２は図１２（Ｄ）に示すように白紙の状態となる。
【００７１】
モード判定部７１にて図１２（Ｂ）〜（Ｄ）を判定すると、図１２（Ｃ）に示す選択データＳＥＬからモード２信号が「１」となり、また図１２（Ｂ）に示す第１画像データＤＴ１からモード０信号が単色を示す「０」となって文字色が出力される。さらに図１２（Ｄ）に示す第２画像データＤＴ２からモード１信号が単色を示す「０」となって背景色が出力される。これらから、図１２（Ｅ）に示す選択データＳＥＬのみが有効データとして選択される。また、モード判定部７１から出力される文字色のデータと背景色のデータが付加情報となる。
【００７２】
上述のようにモード２信号が「１」であり、かつ、モード１信号が「０」を示し、入力画像データが文字や線画のみからなる原稿であることが推定された場合であって、モード０信号が「１」を示した場合は、入力画像データは２色以上のカラー文字・線画画像の原稿であることが推定される。この時は図１０▲６▼に示すように、背景色のデータを付加情報とし、第１画像データＤＴ１と選択データＳＥＬの２プレーンの画像データが層数変換部５６の出力となる。
【００７３】
図１３は、入力画像データがカラー文字画像のみの場合の層数変換部５６の出力データの具体例の説明図である。図１３（Ａ）は入力画像データの一例を示している。この例では文字「ＪＡＰＡＮ」がそれぞれ異なる色で描かれており、その他の絵柄部分は存在していない。上述のようにして属性分離部１は図１３（Ａ）に示す入力画像データを分離すると、文字「ＪＡＰＡＮ」の部分について選択データＳＥＬが「１」（第１画像データを選択）となり、図１３（Ｃ）に示す選択データＳＥＬが得られる。またこの選択データＳＥＬが「１」の部分のみ第１画像データＤＴ１に分離されるため、図１３（Ｂ）に示すようにカラーの文字「ＪＡＰＡＮ」が分離される。文字「ＪＡＰＡＮ」以外の部分は第２画像データＤＴ２として分離されるが、入力画像データ中に文字以外に有意の情報は存在しないため、第２画像データＤＴ２は図１３（Ｄ）に示すように白紙の状態となる。
【００７４】
モード判定部７１にて図１３（Ｂ）〜（Ｄ）を判定すると、図１３（Ｃ）に示す選択データＳＥＬからモード２信号が「１」となり、また図１３（Ｂ）に示す第１画像データＤＴ１からモード０信号が複数色を示す「１」が出力される。さらに図１３（Ｄ）に示す第２画像データＤＴ２からモード１信号が単色を示す「０」が出力される。これらから、図１３（Ｅ）に示す第１画像データＤＴ１と、図１３（Ｆ）に示す選択データＳＥＬが有効データとして選択される。また、モード判定部７１から出力される背景色のデータが付加情報となる。なお、図１３（Ｅ）においては、文字の外接矩形内を各文字の色データで埋めるように処理することによって、第１画像データＤＴ１の圧縮データ量を削減することが可能となる。
【００７５】
モード２信号が「１」を示し、かつ、モード１信号も「１」を示している場合は、入力画像データは写真画像と文字・線画画像が混在した原稿であることが推定される。ここでモード０信号が「０」を示して文字色が単色と判定されている場合、その時の文字色のデータを付加情報とするとともに、図１０▲４▼に示すように第２画像データＤＴ２と選択データＳＥＬの２プレーンの画像データが層数変換部５６の出力となる。
【００７６】
図１４は、入力画像データが単色文字画像と写真画像が混在している場合の層数変換部５６の出力データの具体例の説明図である。図１４（Ａ）は入力画像データの一例を示している。この例では１色により文字「ＪＡＰＡＮ」が描かれ、また、中間調の日本地図が描かれている。上述のようにして属性分離部１は図１４（Ａ）に示す入力画像データを分離すると、文字「ＪＡＰＡＮ」の部分について選択データＳＥＬが「１」（第１画像データを選択）となり、図１４（Ｃ）に示す選択データＳＥＬが得られる。またこの選択データＳＥＬが「１」の部分のみ第１画像データＤＴ１に分離されるため、図１４（Ｂ）に示すように１色の文字「ＪＡＰＡＮ」が分離される。また、文字「ＪＡＰＡＮ」以外の例えば日本地図の部分は図１４（Ｄ）に示すように第２画像データＤＴ２に分離される。
【００７７】
モード判定部７１にて図１４（Ｂ）〜（Ｄ）を判定すると、図１４（Ｃ）に示す選択データＳＥＬからモード２信号が「１」となり、また図１４（Ｂ）に示す第１画像データＤＴ１からモード０信号が単色を示す「０」となって、文字の色を示すデータが出力される。さらに図１４（Ｄ）に示す第２画像データＤＴ２からモード１信号として複数色を示す「１」が出力される。これらから、図１４（Ｅ）に示す選択データＳＥＬと、図１４（Ｆ）に示す第２画像データＤＴ２が有効データとして選択される。また、モード判定部７１から出力される文字色のデータが付加情報となる。
【００７８】
モード２信号が「１」を示し、かつ、モード１信号も「１」を示しており、さらにモード０信号も「１」を示した場合は、２色以上のカラー文字・線画と写真画像などが混在していることを意味する。この時は図１０▲８▼に示すように、第２画像データＤＴ２と第１画像データＤＴ１、そして選択データＳＥＬの３プレーン全ての画像データが層数変換部５６の出力となる。
【００７９】
図１５は、入力画像データがカラー文字画像と写真画像が混在している場合の層数変換部５６の出力データの具体例の説明図である。図１５に示す例は上述の図５に示した例と同じであり、図１５（Ａ）に示す入力画像データは図１５（Ｂ）〜（Ｄ）に示すように分離される。モード判定部７１にて図１５（Ｂ）〜（Ｄ）を判定すると、モード０〜２信号として「１」が出力される。これらから、図１５（Ｅ）〜（Ｇ）に示すように第１画像データＤＴ１、選択データＳＥＬ、第２画像データＤＴ２の３プレーンがすべて有効データとして選択される。また、この例においても図１３と同様、図１５（Ｅ）に示す第１画像データは、文字の外接矩形内を各文字の色データで埋めるように処理し、第１画像データの圧縮データ量を削減することができる。
【００８０】
このようにして層数変換部５６では、モード判定部７１による判定結果に従い、マルチプレクサ７２で有効データを選択することによって、層数を変換することができる。
【００８１】
図１６は、本発明の画像処理装置の実施の一形態における一実現例を示す構成図である。図中、９１は入力部、９２は属性分離部、９３〜９５は圧縮伸長器、９６〜９８は色変換部、９９は解像度変換部、１００は階調数変換部、１０１は二値化部、１０２は層数変換部、１０３はバッファ、１０４は蓄積装置、１０５は出力部、１０６は共通画像バス、１０７は合成部である。この実現例では、上述の２つの具体例のいずれも実現することが可能である。なお、これらの処理部はすべて具備していなければならないものではなく、必要な処理部を適宜用いて構成することが可能であるし、また、他の処理部を接続してももちろんよい。
【００８２】
入力部９１は、入力画像データを取り込む。属性分離部９２は、上述の具体例における属性分離部１の機能を果たし、入力画像データを第１画像データＤＴ１、第２画像データＤＴ２、選択データＳＥＬに分離する。
【００８３】
圧縮伸長器９３は、ＪＰＥＧ方式によってカラー多値の画像データの圧縮伸長処理を行なうものである。圧縮伸長器９４は、ＭＨ／ＭＲ／ＭＭＲ方式によって二値の画像データの圧縮伸長処理を行なうものである。圧縮伸長器９５は、ＪＢＩＧ方式によって二値画像あるいはカラー画像の可逆圧縮伸長処理を行なうものである。上述の具体例における圧縮部１１ａ〜１１ｃ、伸長部１２ａ〜１２ｃ、圧縮部２０ａ〜２０ｃ、圧縮部５７〜５９における圧縮処理および伸長処理は、これらの圧縮伸長器９３〜９５を適宜用いて行なうことができる。
【００８４】
色変換部９６は、図７に示した具体例の色変換部５１に対応し、入力画像データに対する色空間変換や色補正処理等の色変換を行なう。このとき、例えば画像入力デバイスの特性などを示すＩＣＣプロファイル情報などに従って色変換処理を行なうこともできる。この色変換部９６は、画像変換部２における入力側の色変換処理に用いることもできる。色変換部９７および色変換部９８は、図２に示した具体例における色変換部１６ａ，１６ｃにおける色変換処理を行なうものである。色変換部９７では内部処理のための色空間から出力先の色空間への変換処理、例えばＣＩＥ−Ｌ^*ａ^*ｂ^*色空間からｓＲＧＢ色空間への色空間変換を行なう。また色変換部９８は、色データとパレット番号を対応づけてパレット番号に変換するパレット化処理を行なう。これらの色変換部９６〜９８は、このような構成に限られるものではなく、例えば色変換部９６および９７を同じユニットとして構成するなど、種々の構成であってよい。
【００８５】
解像度変換部９９は解像度変換処理を行なうものであり、階調数変換部１００は階調数の変換処理を行なうものである。どちらも図２に示した具体例における解像度変換部１４ａ〜１４ｃおよび階調数変換部１８ａ，１８ｃに対応するものである。もちろん、画像変換部２において用いることもできる。
【００８６】
二値化部１０１は、多値の画像データに対して二値化処理を行なうものである。また、合成部１０７は、３つの画像データプレーンを合成して、１層のみの画像データを生成する。二値化部１０１および合成部１０７は、図７に示した具体例における二値化部５３ａ，５３ｃおよび合成部５４，５５に対応するものである。
【００８７】
層数変換部１０２は、３層の画像データを１層あるいは２層の画像データに変換するものであり、図７に示した具体例における層数変換部５６の機能を有している。なお、合成部１０７の機能を合わせ持った構成としてもよい。
【００８８】
バッファ１０３は、各処理部間あるいは各処理部における各画像データプレーン間の処理速度の差を吸収するために処理前あるいは処理後の画像データを一時格納するための記憶装置である。蓄積装置１０４は、記憶部３に対応し、少なくとも出力先に依存しない最良の形態に変換された入力画像データを蓄積する。なお、この蓄積装置１０４は例えば外部記憶装置などで構成することもでき、その場合にはインタフェースを介して実際の記憶装置が接続される場合もある。
【００８９】
出力部１０５は、少なくとも出力画像データを出力する。共通画像バス１０６は、入力部９１、出力部１０５や、バッファ１０３、蓄積装置１０４、その他各処理部を接続する。
【００９０】
この実現例における動作の一例について説明する。入力画像データは入力部９１より画像処理装置内部に取り込まれる。取り込まれた入力画像データの色空間が属性分離部９２で要求される色空間と異なる場合には、入力画像データを共通画像バス１０６を介して色変換部９６に送られ、属性分離部９２で要求される色空間へ色空間変換される。例えば、入力画像データがＲＧＢ色空間であり、属性分離部９２で要求される色空間がＣＩＥ−Ｌ^*ａ^*ｂ^*色空間である場合、入力画像データとともに受け取ったその入力画像データを入力した入力デバイスの特性などを示す例えばＩＣＣプロファイル情報に従い、色変換部９６でＲＧＢ色空間からＣＩＥ−Ｌ^*ａ^*ｂ^*色空間へ写像変換される。このとき、スキャナ等の入力デバイスにおけるのセンサや光源等のデバイス特性に依存する色補正なども行なうことができる。写像変換は、入力画像データを参照アドレスとしてルックアップテーブルから変換後データを読み出すような手法を取ってもよいし、もしくは所定の数式を用いて入力画像データより直接演算を行なってもよい。画像データの入力速度と色変換部９６の処理速度が異なる場合は、速度差を吸収するためにバッファ１０３へ入力画像データや変換後の画像データを一時蓄積してもよい。
【００９１】
色変換部９６による色変換処理の後、共通画像バス１０６を介して処理後の画像データが属性分離部９２に送られる。属性分離部９２では、上述のようにして例えば図５に示したように第１画像データＤＴ１、第２画像データＤＴ２、選択データＳＥＬの３層に分離する。分離された各画像データプレーンには、例えば色変換部９６，９８や解像度変換部９９、階調数変換部１００、層数変換部１０２等において出力先に依存しない種々の画像構造の変換処理を施してもよい。例えば、色変換部９８において第１画像データを予め定められた所定数の代表色にマッピングするパレット化処理を行なってもよい。具体的には１画素当たり２４ビットの画像データを２５６色にマッピングし、２５６色のパレットカラーの番号で出力する。これによって情報量が格段に削減される。さらに類似色が同じパレットカラー番号に統一されるので、そのパレットカラー番号情報を圧縮伸長器９５で可逆圧縮した場合でも大幅な情報量の削減が可能となる。もちろん第２画像データに対しても同様の処理を施してもよい。
【００９２】
属性分離部９２で３層に分離され、必要に応じて画像構造の変換処理が施された画像データのうち、文字外形を示す選択データＳＥＬについては圧縮伸長器９４で二値データに対する圧縮符号化処理を行ない、文字色を示す第１画像データＤＴ１については例えば圧縮伸長器９５で多値画像に対する可逆圧縮符号化処理を行ない、背景画像を示す第２画像データＤＴ２については例えば圧縮伸長器９３で多値画像に対する非可逆圧縮符号化処理をそれぞれ行なう。各画像データプレーンの圧縮符号化されたデータは、バッファ１０３を利用するなどして蓄積装置１０４のデータ転送速度と圧縮伸長器９３〜９５の処理速度の差を吸収しつつ、蓄積装置１０４へ格納される。
【００９３】
さて、蓄積装置１０４に格納された画像データをディスプレイに表示する事を考える。まず、蓄積装置１０４に保存されている画像の中から、表示を行なう画像を選択する。画像の選択は、例えば図示しないコントロールパネル等から行なうように構成することができる。表示すべき画像の圧縮データは、各画像データプレーン毎に蓄積装置１０４から読み出され、共通画像バス１０６を介して圧縮伸長器９３〜９５に入力され、元の画像データに伸長される。さらに共通画像バス１０６を介して合成部１０７に送られ、合成部１０７にて選択データＳＥＬの論理に従って第１画像データＤＴ１（文字色データ）と第２画像データＤＴ２（背景画像データ）の合成が行なわれて１層の画像データへと変換される。
【００９４】
こうして１つのプレーンへ戻された画像データは、共通画像バス１０６を介して色変換部９７に送られ、色変換部９７においてＣＩＥ−Ｌ^*ａ^*ｂ^*空間からディスプレイ表示用の標準的な色空間であるｓＲＧＢ色空間への色空間変換処理が行なわれる。色変換部９７では、例えばＬ^*ａ^*ｂ^*色空間のデータを入力としてルックアップテーブルなどを参照し、ｓＲＧＢ色空間のデータを出力するように構成することができる。
【００９５】
なお、この色空間変換は、合成部１０７における合成処理に先立って行なうこともできる。また、ディスプレイの特性に応じて合成処理の前に各画像データプレーンに対して、あるいは合成後の１プレーンの画像データに対して、解像度変換部９９における解像度変換処理、階調数変換部１００における階調数変換処理などを適宜行なうこともできる。
【００９６】
こうしてディスプレイの特性に応じて変換処理された画像データは、出力部１０５より図示しないディスプレイへと出力される。なお、ここで図示しないディスプレイは、ｓＲＧＢ色空間の画像データを入力・表示できることを前提としている。
【００９７】
なお、ディスプレイに画像の一部を拡大して表示する場合には、蓄積装置１０４から画像データを読み出す際に一部のみを読み出したり、あるいは圧縮伸長器９３〜９５で伸長した画像データについて一部を切り出して、以降の処理を行なってもよい。また、例えば検索用の小画像を作成する場合などでは、３層すべての画像データを蓄積装置１０４から読み出して処理する必要はなく、ある１または２つの画像データプレーンのみを読み出して処理してもよい。拡大または縮小処理は、解像度変換部９９で行なえばよい。
【００９８】
蓄積装置１０４に格納された画像データを図示しない記録装置で印字記録する場合も同様であり、記録装置の画像形成材の色再現特性などを示したプロファイル情報を参照して、色変換部９７にてＣＩＥ−Ｌ^*ａ^*ｂ^*色空間から例えばＹＭＣＫ色空間への色空間変換を行なえばよい。他の処理についてはディスプレイに出力する場合と同様に必要に応じて施せばよい。
【００９９】
蓄積装置１０４に格納された画像データを例えば従来の白黒ファクシミリなどのように２値データとして送信する場合には、各画像データプレーンを蓄積装置１０４から読み出し、圧縮伸長器９３〜９５で伸長した後、二値化部１０１で二値化して合成部１０７で１層の画像データに変換し、圧縮伸長器９４により圧縮符号化して出力部１０５から図示しない送信手段に出力すればよい。また、従来のカラーファクシミリなどのように１層のみのカラー多値データとして送信する場合には、各画像データプレーンを蓄積装置１０４から読み出し、圧縮伸長器９３〜９５で伸長した後、合成部１０７で１層の画像データに変換し、圧縮伸長器９３または９５により圧縮符号化して出力部１０５から図示しない送信手段に出力すればよい。
【０１００】
さらに、多層形式の画像データを受け取ることができる場合は、基本的には各画像データプレーンを蓄積装置１０４から読み出し、そのまま出力部１０５から図示しない送信手段に出力すればよい。蓄積装置１０４に格納する際には最適な状態で格納しているので、そのまま出力することが望ましい。しかし、そのままでは送信相手先で受け取れない場合もある。その場合には、各画像データプレーンを蓄積装置１０４から読み出し、圧縮伸長器９３〜９５で伸長した後、必要に応じて送信相手先との通信条件に従って画像構造の変換処理を行ない、送信相手先との通信条件に従って圧縮伸長器９３〜９５で圧縮符号化し、出力部１０５から図示しない送信手段に出力すればよい。
【０１０１】
このように図１６に示した例では、各処理部および蓄積装置１０４を共通画像バス１０６によって接続することにより、各処理部を画像変換部２および画像変換部４における変換処理に共用することができる。また、図２に示した構成のようにセレクタを用いなくても、任意に処理部を選択し、画像データに対して任意の変換処理を施すことができる。
【０１０２】
図１７は、本発明の画像処理装置の実施の一形態における別の実現例を示す構成図である。図中、１１１はＣＰＵ、１１２はメモリ、１１３は通信制御部、１１４は画像処理部、１１５はスキャナ、１１６はインタフェース部、１１７はバスである。図１７に示す構成は、本発明の画像送信装置の実施の一形態をも示している。
【０１０３】
ＣＰＵ１１１は、装置全体を制御する。また、上述の図１、図２、図７、図１６に示した構成のうちの一部の機能に関する処理を行なう場合もある。メモリ１１２は、スキャナ１１５で読み取られ、インタフェース部１１６を介して入力された画像データや、画像処理部１１４で変換された種々の画像情報などを記憶する。また、上述の図１、図２、図７における記憶部３や、図１６におけるバッファ１０３や蓄積装置１０４などをこのメモリ１１２で構成することもできる。
【０１０４】
通信制御部１１３は、送信相手先との間で画像データを送信するための回線接続やプロトコル制御などの通信制御を行ない、送信相手先の受信能力に関する情報を取得する受信能力情報取得手段としての機能と、実際に画像データを送信相手先に送信する送信手段としての機能を備えている。送信相手先が例えば白黒ファクシミリであるのか、カラーファクシミリであるのか、多層形式の画像データを受け付けるのか等の種別や、送信相手先のプリント出力部の記録解像度の値などといった受信能力に関する情報は、所定のプロトコル制御によって通信制御部１１３より取得される。また、通信制御部１１３自身も、１層のみの二値画像の符号化データ、１層のみのカラー画像の符号化データ、多層形式の符号かデータのすべてあるいは少なくとも１つの形式で送信可能に構成することができる。
【０１０５】
画像処理部１１４は、図１、図２、図７、図１６に示した構成のすべてあるいは一部によって構成することができる。もちろん、ＣＰＵ１１１と協働して処理を進めることができる。また、記憶部３や蓄積装置１０４などをメモリ１１２や図示しない外部記憶装置によって実現することもできる。なお、画像処理部１１４は、通信制御部１１３で取得された送信相手先の受信能力に関する情報を参照して、送信相手先の能力に応じた画像データの変換処理を行なう。
【０１０６】
スキャナ１１５は、画像を読み取る。インタフェース部１１６は、スキャナ１１５で読み取られた画像データを入力画像データとして装置内に取り込む。バス１１７は、ＣＰＵ１１１、メモリ１１２、通信制御部１１３、画像処理部１１４、インタフェース部１１６等を接続する。もちろん、他の種々の機器が接続されていてよい。
【０１０７】
図１８は、本発明の画像処理装置の実施の一形態の別の実現例における動作の一例を示すフローチャートである。まずＳ１３１において、スキャナ１１５を用いて送信すべき原稿画像を読み込む。読み込まれた画像データは、ＣＰＵ１１１の制御によりインタフェース１１６を介してメモリ１１２に格納される。そしてＳ１３２において、画像処理部１１４で送信相手先に依存しない画像処理が施される。例えば、スキャナ１１５の色空間（例えばＲＧＢ色空間）から内部処理のための色空間（例えばＬ^*ａ^*ｂ^*均等色空間）へと変換される。次いで第１画像データＤＴ１、第２画像データＤＴ２、選択データＳＥＬの３層への分離処理が行なわれる。３層に分離された各画像データは、それぞれ必要な画像構造の変換処理が行なわれ、最適な圧縮符号化処理が施される。この変換処理および圧縮符号化処理は、図１における画像変換部２における処理である。このようにして最適な状態に変換された画像データは、Ｓ１３３においてメモリ１１２に格納される。
【０１０８】
続いてＣＰＵ１１１の制御により、Ｓ１３４において送信相手先との通信制御が開始される。このとき、送信相手先の装置環境の確認作業（ネゴシエーション）が行なわれ、送信相手先が例えば白黒ファクシミリであるのか、カラーファクシミリであるのか、多層形式の画像データを受け付けるのか等の種別や、送信相手先のプリント出力部の記録解像度の値などといった受信能力に関する情報が取得される。確認作業の終了をＳ１３５で確認した後、Ｓ１３６において、例えば画像処理部１１４でメモリ１１２に格納されている画像データに対して送信相手先の受信能力に応じた変換処理が必要に応じて施される。このステップで行なわれる変換処理は、図１における画像変換部４における処理である。もちろん、メモリ１１２に格納されている画像データをそのまま送信可能な場合には、このステップにおける変換処理を行なわなくてよい。
【０１０９】
このようにして送信相手先の受信能力に応じて変換処理した後の画像データは、Ｓ１３７において再びメモリ１１２に格納される。なお、メモリ１１２は変換前と変換後の２面分の画像データが格納できる容量を準備してもよく、また１面分の容量だけを準備して書き込みと読み出しをダイナミックに制御してもよい。また、このステップを省略し、メモリ１１２に格納せずに次のステップへ移行してもよい。
【０１１０】
ＣＰＵ１１１は送信データがメモリ１１２へ格納されたことを確認すると、Ｓ１３８においてこれを通信制御部１１３を介して送信し、処理を終了する。送信データは、送信相手先に応じて変換処理されているため、相手先が通常の白黒ファクシミリであっても、カラーファクシミリであっても、また多層データ形式の画像データを受け取れる受信装置であっても、画像データを送信することができる。
【０１１１】
このとき、送信相手先によらず、先に変換処理を行なってメモリ１１２に格納するため、いわゆるメモリ送信の機能を果たすことになる。また、最良の形態でメモリ１１２に格納された画像データに対して、送信相手先の受信能力に応じた変換処理を行なうため、画質をあまり劣化させずに送信相手先の受信能力に合った送信データを生成することができ、高画質でしかも高速に送信相手先へ画像データを送信することができる。
【０１１２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、絵柄写真画像や文字・線画画像などが混在する種々の画像であっても画像データを分離して各画像データプレーンに変換処理を施して保存するため、それぞれの画像の性質に応じた最適な変換処理を行なうことができ、画質の劣化を抑えるとともに効率よく保存することができる。また、保存された画像データに対して、再利用する目的に応じて最適な変換処理を施すので、出力先において最適な画像データを供給することができる。これを利用することによって、例えば送信相手先が白黒ファクシミリやカラーファクシミリなど既存の単層画像受信装置であっても、その送信相手先に応じて最適な変換処理を施すことによって、これらの受信装置へも画像データを送信できるという効果がある。
【図面の簡単な説明】
【図１】本発明の画像処理装置の実施の一形態を示すブロック構成図である。
【図２】本発明の画像処理装置の実施の一形態における一具体例を示すブロック構成図である。
【図３】本発明の画像処理装置の実施の一形態の一具体例における属性分離部の一例を示す構成図である。
【図４】文字外形抽出部の動作の一例を示すフローチャートである。
【図５】本発明の画像送信装置の第１の実施の形態における属性分離の具体例の説明図である。
【図６】記憶部の記憶空間における各画像データプレーンの配置方法の一例の説明図である。
【図７】本発明の画像処理装置の実施の一形態における別の具体例を示すブロック構成図である。
【図８】層数変換部の一例を示す構成図である。
【図９】モード判定部の一例を示す構成図である。
【図１０】モード判定部から出力されるモード信号とマルチプレクサが形成する多層データ形式の送信データの関係の一例の説明図である。
【図１１】入力画像データが写真画像のみの場合の層数変換部の出力データの具体例の説明図である。
【図１２】入力画像データが１色の文字画像のみの場合の層数変換部の出力データの具体例の説明図である。
【図１３】入力画像データがカラー文字画像のみの場合の層数変換部の出力データの具体例の説明図である。
【図１４】入力画像データが単色文字画像と写真画像が混在している場合の層数変換部の出力データの具体例の説明図である。
【図１５】入力画像データがカラー文字画像と写真画像が混在している場合の層数変換部の出力データの具体例の説明図である。
【図１６】本発明の画像処理装置の実施の一形態における一実現例を示す構成図である。
【図１７】本発明の画像処理装置の実施の一形態における別の実現例を示す構成図である。
【図１８】本発明の画像処理装置の実施の一形態の別の実現例における動作の一例を示すフローチャートである。
【符号の説明】
１…属性分離部、２，４…画像変換部、３…記憶部、１１ａ〜１１ｃ…圧縮部、１２ａ〜１２ｃ…伸長部、１３，１５，１７，１９…セレクタ、１４ａ〜１４ｃ…解像度変換部、１６ａ，１６ｃ…色変換部、１８ａ，１８ｃ…階調数変換部、２０ａ〜２０ｃ…圧縮部、３１…文字外形抽出部、３２…マルチプレクサ、４１_-SEL，４２_-SEL，４３_-SEL…選択データ、４１_-DT1，４２_-DT1，４３_-DT1…第１画像データ、４１_-DT2，４２_-DT2，４３_-DT2…第２画像データ、５１…色変換部、５２ａ〜５２ｃ…メモリ、５３ａ，５３ｃ…二値化部、５４，５５…合成部、５６…層数変換部、５７〜５９…圧縮部、６０…選択部、７１…モード判定部、７２…マルチプレクサ、８１，８２…色数計数部、８３…カウンタ、８４…比較器、９１…入力部、９２…属性分離部、９３〜９５…圧縮伸長器、９６〜９８…色変換部、９９…解像度変換部、１００…階調数変換部、１０１…二値化部、１０２…層数変換部、１０３…バッファ、１０４…蓄積装置、１０５…出力部、１０６…共通画像バス、１０７…合成部、１１１…ＣＰＵ、１１２…メモリ、１１３…通信制御部、１１４…画像処理部、１１５…スキャナ、１１６…インタフェース部、１１７…バス。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, an image transmission apparatus, and an image transmission method capable of accumulating image data with high image quality and appropriately converting the image data into an optimum image data format according to various applications and outputting the image data. It is about.
[0002]
[Prior art]
Conventionally, various methods for efficiently compressing a manuscript in which a natural image such as a character line image or a photograph is mixed have been proposed. For example, Japanese Patent Laid-Open No. 4-35361 discloses that binary image areas and multi-valued image areas are separated based on the result of discrete cosine transform in image data whose information amount is to be compressed, and each area is a binary image. A technique for performing compression coding by a compression coding unit and a discrete cosine transform coding unit is disclosed. Such a technique for selectively switching the compression encoding method according to the local characteristics of image data can improve the compression efficiency as compared with the case where, for example, the JPEG method alone is used to compress character / photograph mixed image data. In addition, there is an advantage that the image quality can be kept high.
[0003]
However, when such a conventional image coding system is adopted, there is a drawback that image communication cannot be performed with an existing black-and-white facsimile apparatus or a color facsimile apparatus that has recently been standardized by the ITU. That is, in the existing black-and-white facsimile, the receiving apparatus uses the ITU-T recommendation T.264 for the entire image data. MH / MR system shown in FIG. 6 is assumed to be processed using any one of the binary image compression coding methods of the MMR method shown in FIG. 6, and is consistent with the coding method proposed by the conventional technique as described above. I can't say. Similarly, in color facsimiles, it is assumed that the entire image data is compressed and encoded by the JPEG method regardless of the content of the original image data, so that consistency with the conventional technology is guaranteed. Not.
[0004]
On the other hand, images are often stored and reused. When accumulating images, it is performed so that an image with high image quality can be reproduced efficiently. However, when reusing, it is necessary to output an image according to a device that uses the stored image. For example, CIE-L ^* a ^* b ^* When image data expressed in the color space is compressed and encoded and stored, when the image data is displayed on a display that receives image data expressed in the RGB color space, color space conversion is performed together with decoding. Necessary.
[0005]
In this way, considering image communication and reuse of stored images, the prior art is used despite the necessity of appropriately converting the number of gradations, reproduction color space, and compression encoding method of image data according to the application. Then, it did not fully meet the demand.
[0006]
[Problems to be solved by the invention]
The present invention has been made in view of the above-described circumstances, and stores various types of stored image data by suppressing deterioration in image quality even for various images in which a pattern photographic image, a character / line image, and the like are mixed. Image processing apparatus and image processing method that can be supplied in an optimal image data format according to the purpose of re-use, and transmission in an optimal image data format according to the receiving capabilities of various transmission destinations An object of the present invention is to provide an image transmission apparatus and an image transmission method.
[0007]
[Means for Solving the Problems]
The present invention separates input image data into first image data indicating color information of a character or line drawing, second image data indicating a background image, and selection data indicating the shape of the character or line drawing by a separating unit. To do. Then, at least one of the separated data is subjected to conversion processing by the first image data conversion means and stored in the storage means. Since the first image data conversion means can be performed independently for each separated image data, it can perform processing according to the characteristics of each separated image data. For example, the first image conversion means can perform compression processing using a compression method suitable for each separated image data.
[0008]
When using the image data stored in the storage means, the second image data conversion means performs conversion processing and outputs the result. For example, conversion processing according to the characteristics of the output destination can be performed, and specifically, gradation conversion processing, color space conversion processing, layer number conversion processing, and the like can be performed. In addition, the number of colors counted as the same color in the case of colors that fall within a predetermined range, such as subtractive color processing, pseudo halftone processing, is set as the number of colors of at least one of the first image data and the second image data. Processing for replacement, processing for creating a small search image, and the like can also be performed. The processing technique applied to each data may be different. Further, when storing in the storage means as described above, it is stored in a multi-layer format separated into a plurality of data. However, when the output destination does not accept such multi-layer image data, the number of layers is converted. It can be converted into image data of only one layer or two layers and output. Further, when the separated image data is compressed and stored in the storage means, it is once decompressed, subjected to various conversion processes according to the output destination, and subjected to a compression process according to the output destination as necessary. Can be output. Of course, when the output destination accepts the stored image data as it is, it may be output as it is. In this way, image data in a format corresponding to various output destinations can be output.
[0009]
In addition, when transmitting the image data stored in the storage unit, the reception capability information acquisition unit acquires information about the reception capability of the transmission destination, and based on the acquired information about the reception capability of the destination, The image data stored in the storage means is converted by the image data converting means 2 and transmitted. Of course, if the stored image data can be transmitted as it is, it may be transmitted as it is. As described above, it is possible to transmit the image data in a format corresponding to the receiving capability of various transmission destinations.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing an embodiment of an image processing apparatus according to the present invention. In the figure, 1 is an attribute separation unit, 2 and 4 are image conversion units, and 3 is a storage unit. The attribute separation unit 1 detects local properties of the input image data and outputs the information as selection data SEL. Further, the input image data is separated into first image data DT1 and second image data DT2 with reference to the selection data SEL. Here, the selection data SEL is data indicating whether each pixel is the first image data DT1 or the second image data DT2, and can be handled as a binary image. Further, in the first image data DT1 and the second image data DT2, image data having a predetermined value is inserted into the image data corresponding to the position where the selection data SEL has not been assigned. The first image data DT1, the second image data DT2, and the selection data SEL each constitute an image data plane.
[0011]
The image conversion unit 2 performs standard conversion processing on the first image data DT1, the second image data DT2, and the selection data SEL separated by the attribute separation unit 1. The conversion processing does not have to be performed equally for the three image data planes, only some of them may be performed, and the optimal conversion processing can be independently performed on each image data plane. For example, since the selection data SEL can be handled as binary image data as described above, conversion processing suitable for a binary image can be performed. Even when compression processing is performed for storage in the storage unit 3, the compression processing can be performed using a compression method according to the characteristics of each image data plane. The image conversion unit 2 can perform conversion processing efficiently and with little deterioration in image quality, for example, in this image processing apparatus, regardless of the output destination.
[0012]
The storage unit 3 stores and accumulates each image data plane converted by the image conversion unit 2.
[0013]
The image conversion unit 4 performs conversion processing according to the characteristics of the output destination for each image data plane converted by the image conversion unit 2 stored in the storage unit 3. The conversion process in this case need not be performed equally for the three image data planes, but only some of them may be performed, and the conversion process can be performed independently for each image data plane. For example, depending on the characteristics of the output destination, image structure conversion processing such as gradation conversion processing, color space conversion processing, and color reduction processing, and layer number conversion that converts three image data planes into two or one image data plane Processing can be performed. Further, when the output destination accepts code data, compression processing can also be performed. In this case, if it is different from the compression processing method performed in the image conversion unit 2, the decompression processing is performed using the compression processing method performed previously in the image conversion unit 2, and then the compression method accepted by the output destination. And compression processing may be performed.
[0014]
FIG. 2 is a block diagram showing a specific example in the embodiment of the image processing apparatus of the present invention. In the figure, 11a to 11c are compression units, 12a to 12c are decompression units, 13, 15, 17, and 19 are selectors, 14a to 14c are resolution conversion units, 16a and 16c are color conversion units, and 18a and 18c are gradation numbers. The conversion units 20a to 20c are compression units. In this specific example, compression units 11a to 11c are provided as the image conversion unit 2, and expansion units 12a to 12c, resolution conversion units 14a to 14c, color conversion units 16a and 16c, a gradation number conversion unit 18a, as the image conversion unit 4. 18c, compression units 20a to 20c, and selectors 13, 15, 17, and 19 are provided.
[0015]
The attribute separation unit 1 detects the local property of the input image data as described above, outputs the information as selection data SEL, and refers to the selection data SEL to convert the input image data to the first image data. Separated into DT1 and second image data DT2. FIG. 3 is a block diagram showing an example of an attribute separation unit in a specific example of the embodiment of the image processing apparatus of the present invention. In the figure, 31 is a character outline extraction unit, and 32 is a multiplexer. Here, as an example of local properties of input image data, an example of performing attribute separation by paying attention to the outer shape of a character or a line drawing portion is shown. Of course, attribute separation may be performed by other methods, for example, a character region is extracted by a set of circumscribed rectangles of character portions.
[0016]
The character outline extraction unit 31 extracts outlines such as characters and line drawings from the input image data. For example, “1” is extracted from the extracted character / line drawing portion and the background corresponding to the background other than the character / line drawing portion. For example, “0” is output. Therefore, the output of the character outline extraction unit 31 can be regarded as selection data SEL for selecting either the first image data DT1 or the second image data DT2. The color space of the image data to be input to the character outline extraction unit 21 is CIE-L here. ^* a ^* b ^* Although a uniform color space is assumed, the present invention is not limited to this.
[0017]
FIG. 4 is a flowchart showing an example of the operation of the character outline extraction unit. L to extract the outline of the character / line drawing part ^* a ^* b ^* In S121, the image data of the color space is converted to each component (L ^* Ingredient a ^* Component, b ^* A component value) is grouped into blocks of a predetermined size, and a pixel value histogram in the block is obtained. Next, in S122, a difference between the maximum pixel value and the minimum pixel value in the block is obtained, and it is checked whether or not the difference is larger than a first threshold value TH1 having a predetermined size, and further, a variance value σ is a second threshold value TH2 having a predetermined size. Check if it is greater. If it is determined that both the pixel value difference and the variance value are large, it is determined that the block is a character / line drawing block with a sharp change in pixel value, and the process proceeds to S123. If it is determined that the block is not a character / line drawing block, all selection data relating to the block is set to “0” in S127, and LOOP2 performs S121 to repeat the same processing for other color component data of the block position. Return to.
[0018]
For a block determined to be a character / line drawing block, in S123, an average value of the maximum pixel value and the minimum pixel value of the block is obtained, and this is set as a threshold B related to the binarization processing of the block. In S124, the pixel D belonging to the block _ij All are compared with the threshold B, and “1” is assigned to a pixel having a value larger than the threshold B in S126, and “0” is assigned to a pixel having a value smaller than the threshold B in S125. Returning to S124 by LOOP1, this process is repeated for all the pixels in the block. Furthermore, LOOP2 causes L at the same block position. ^* Ingredient a ^* Component, b ^* Repeat for all color components.
[0019]
When the processing of each color component at the block position is completed, in S128, the logical sum of the binarization result of each color component is obtained to generate selection data for the block. Then, the process returns to S121 by LOOP3, and the process for the next block is performed. Such a process is repeated until all image data of a predetermined size such as one page or one stripe is processed.
[0020]
The algorithm for extracting the outer shape of the character / line drawing portion is not limited to that determined by the pixel value statistical processing as described above. In addition, various methods such as obtaining the spatial frequency distribution of the image data by orthogonal transform processing and extracting the outer shape of the character / line drawing portion based on the result can be applied.
[0021]
Returning to FIG. 3, the multiplexer 32 separates the input image data into the first image data DT <b> 1 and the second image data DT <b> 2 according to the output value of the character outline extraction unit 31. For example, when the data output from the character outline extraction unit 41 indicates “1”, the input image data is output as the first image data DT1, and at the same time, the image data of a predetermined value as the second image data DT2, for example, L ^* = A ^* = B ^* = 0 is output. When the output of the character outline extraction unit 31 indicates “0”, the input image data is output as the second image data DT2, and at the same time, the image data of a predetermined value as the first image data DT1, for example, L ^* = A ^* = B ^* = 0 is output. Therefore, in this case, the character / line drawing portion of the input image data is separated from the first image data DT1, and the background portion other than the character / line drawing portion is separated from the second image data DT2. In the following description, the first image data DT1 may be referred to as character color data, and the second image data DT2 may be referred to as background image data. The output of the character outline extraction unit 41 is data used for selecting either the first image data DT1 or the second image data DT2 in the multiplexer 42, and can be output as selection data SEL. In this example, the selection data SEL, the first image data DT1, and the second image data DT2, which are outputs from the attribute separation unit 1, all have the same size in the main scanning direction and the sub-scanning direction.
[0022]
FIG. 5 is an explanatory diagram of a specific example of attribute separation in the first embodiment of the image transmission apparatus of the present invention. For example, assume that the input image information is a color image in which a pattern and characters are mixed as shown in FIG. In the image shown in FIG. 5A, a halftone Japan map is drawn together with the characters “JAPAN”. The character “JAPAN” is also drawn in a different color for each character. For convenience of illustration, different colors are shown with different hatching.
[0023]
The character outline extraction unit 31 of the attribute separation unit 11 extracts a character / line drawing portion, that is, a portion of the character “JAPAN” from an image as shown in FIG. As described above, when, for example, “1” is output for the character / line drawing portion and “0” is output for the other portions, selection data as shown in FIG. 5C is obtained. In FIG. 5C, the portion “1” is shown in black.
[0024]
The multiplexer 32 separates the image shown in FIG. The image with the selection data “1” is separated as shown in FIG. 5B, and the image with the selection data “0” is separated as shown in FIG. In this way, the portion of the character “JAPAN” including the color in FIG. 5A is separated as the first image data DT1 shown in FIG. 5B, and the portion of the map of Japan other than the character / line drawing is illustrated. This is separated as the second image data DT2 shown in FIG.
[0025]
The compression units 11a to 11c in FIG. 2 are provided to reduce the amount of information in order to efficiently store the image data separated into multiple layers in the attribute separation unit 1 in the storage unit 3. At this time, in order to suppress deterioration in image quality, a compression encoding method suitable for the property of each image data plane is applied to each separated image data plane. For example, since the selection data SEL is binary data as described above, the compression unit 11b compresses the selection data SEL using a compression method suitable for binary image compression. Specifically, ITU-T recommendation T.I. MH / MR system shown in FIG. MMR system shown in FIG. The JBIG method shown in 85 can be used. Since the first image data DT1 and the second image data DT2 are multi-valued image data, the compression unit 11a and the compression unit 11c use the compression method suitable for the compression of the multi-valued image to perform the first image data DT1 and the second image data DT2. The image data DT2 is compressed. Specifically, T.W. The JPEG method shown in 81 can be used. Further, lossless compression may be performed using the JBIG method. Furthermore, a universal encoding method such as the LZW method may be used.
[0026]
The storage unit 3 stores compressed data of each image data plane compressed by the compression units 11a to 11c. FIG. 6 is an explanatory diagram illustrating an example of an arrangement method of each image data plane in the storage space of the storage unit. In the figure, 41 _-SEL , 42 _-SEL , 43 _-SEL Is selected data, 41 _-DT1 , 42 _-DT1 , 43 _-DT1 Is the first image data, 41 _-DT2 , 42 _-DT2 , 43 _-DT2 Is the second image data. As described above, the input image data is separated into three image data planes by the attribute separation unit 1, compression-coded by the compression units 11 a to 11 c, and the result is stored in the storage unit 3. Such processing is performed for each predetermined unit, for example, for each page, or for each stripe grouped for each predetermined number of lines in the sub-scanning direction. By performing processing for each predetermined unit in this way, for example, when a buffer memory is required in the image conversion units 2 and 4, the capacity of the buffer memory can be suppressed to a size corresponding to a predetermined unit of image data. Become.
[0027]
The arrangement method shown in FIG. 6A shows an example in which three image data planes for each predetermined unit are sequentially stored in the order of selection data SEL, first image data DT1, and second image data DT2. That is, the encoded data 41 of the selection data SEL in the first predetermined unit of image data. _-SEL Subsequently to the encoded data 41 of the first image data DT1 _-DT1 , Encoded data 41 of the second image data DT2 _-DT2 Are accumulated continuously. The encoded data 42 of the selection data SEL is similarly applied to the next predetermined unit of image data following the first block. _-SEL , Encoded data 42 of the first image data DT1 _-DT1 , Encoded data 42 of the second image data DT2 _-DT2 Are stored in a continuous storage space. Encoded data 43 of selection data SEL for the next predetermined unit of image data _-SEL , Encoded data 43 of the first image data DT1 _-DT1 , Encoded data 43 of the second image data DT2 _-DT2 The same applies to. In this way, by storing the image data planes for each predetermined unit in the storage unit 3, for example, even if there is a variation in the amount of encoded data, it can be stored efficiently.
[0028]
In the arrangement method shown in FIG. 6B, the storage space of the storage unit 3 is divided into three areas corresponding to the number of planes in advance. The selection data SEL is stored in the storage area for the selection data, the first image data DT1 is stored in the storage area for the first image data, and the second image data DT2 is stored in the storage area for the second image data. That is, the encoded data 41 of the selection data SEL in the first predetermined unit of image data. _-SEL Is stored in the storage area of the selection data, and subsequently the encoded data 42 of the selection data SEL in the next predetermined unit of image data. _-SEL Are continuously stored, and the encoded data 43 of the selection data SEL for the next predetermined unit of image data is further stored. _-SEL Is memorized. Similarly, encoded data 41 of the first image data DT1 in the first predetermined unit of image data. _-DT1 Is stored in the storage area of the first image data, and subsequently, the encoded data 42 of the first image data DT1 in the next predetermined unit of image data. _-DT1 Are continuously stored, and the encoded data 43 of the first image data DT1 of the next predetermined unit of image data is further stored. _-DT1 Is memorized. Similarly, the second image data DT2 is sequentially stored in the second image data storage area. In this way, by storing the encoded image data of each plane in different areas in the storage space, it is possible to perform processing at high speed when performing image conversion processing only on an arbitrary plane.
[0029]
When the decompressors 12a to 12c perform conversion processing on the image data stored in the storage unit 3, the decompression units 12a to 12c appropriately select and read out the compressed encoded data of the corresponding image data plane of the corresponding image data from the storage unit 3. , Decompress and restore the original image data plane.
[0030]
The selector 13 performs resolution conversion in the corresponding resolution conversion units 14a to 14c for image data planes that require resolution conversion depending on whether or not resolution conversion is required for each image data plane according to the characteristics of the output destination. Switch as follows.
[0031]
The resolution conversion units 14a to 14c perform resolution conversion processing for each image data plane according to the characteristics of the output destination. At this time, each of the resolution conversion units 14a to 14c can perform resolution conversion processing suitable for each image data plane. As a resolution conversion method, for example, when priority is given to high-speed processing even if the image quality is not so good, there are a zero-order hold method and a nearest neighbor method. When the processing speed is slow but high image quality is required, there are a projection method, a 16-point interpolation method, a logical operation method, and the like. In particular, the logical operation method is effective for binary image data. As a standard method for both image quality and processing speed, there is a four-point interpolation method. In each of the resolution conversion units 14a to 14c, a method according to the image data plane to be processed can be independently applied from these resolution conversion methods. For example, for selection data, a method that can convert the resolution of a binary image with high image quality may be selected. For the first image data (character color data), it is necessary to select a method capable of converting the resolution of the color image with high image quality. At this time, if the first image data does not include the outline shape of the character, it is not necessary to have high image quality, and any method that can convert the resolution of the color image can be used. Further, for the second image data (design data), a color image resolution conversion method that can maintain a certain level of image quality may be selected although it is not necessary to have a high image quality.
[0032]
Depending on whether or not color conversion is necessary for each image data plane in accordance with the characteristics of the output destination, the selector 15 performs color-related conversion processing in the corresponding color conversion units 16a and 16c for the image data plane that requires color conversion. Switch to be done. Since the selected plane is binary data, no color conversion processing is performed.
[0033]
The color conversion units 16a and 16c perform color-related conversion processing for each image data plane according to the characteristics of the output destination. The color conversion processing includes conversion processing such as color space conversion, color tone conversion, and subtractive color conversion. For example, the color space of each image data plane stored in the storage unit 3 is L ^* a ^* b ^* If it is a color space and the output destination color space is a YMCK color space, L ^* a ^* b ^* Color space conversion from the color space to the YMCK color space is performed. When a full color image is output to an output destination of 256 colors, a color reduction conversion process is performed for 256 colors. In addition, processing such as palletizing the color being used may be performed. As a method of such color conversion processing, for example, it can be performed by matrix calculation or the like. Alternatively, a DLUT (direct lookup table) method or the like may be used.
[0034]
Depending on the characteristics of the output destination, the selector 17 determines whether or not gradation number conversion is necessary for each image data plane, and for the image data plane that requires gradation number conversion, the corresponding gradation number conversion units 18a and 18c. Is switched so that the tone number conversion process is performed at. Since the selected plane is binary data, the tone number conversion process is not performed.
[0035]
The gradation number conversion units 18a and 18c perform gradation number conversion processing for each image data plane in accordance with the characteristics of the output destination. The number of gradations indicates the number of bits per one color component of one pixel, and for example, processing such as conversion of 16-bit data into 8-bit data is performed. Of course, it is not necessary to perform linear conversion, and conversion processing according to the characteristics of the output destination can be performed. Such gradation number conversion processing can be performed using, for example, a lookup table.
[0036]
Note that the order of the resolution conversion units 14a to 14c, the color conversion units 16a and 16c, and the gradation number conversion units 18a and 18c is arbitrary, and one or more of them may be provided. You may comprise so that a process can be performed.
[0037]
The selector 19 performs compression encoding processing in the corresponding compression units 20a to 20c for the image data planes that require compression processing depending on whether compression processing is required for each image data plane according to the characteristics of the output destination. Switch as shown.
[0038]
The compression units 20a to 20c basically compress and encode each image data plane by a compression method optimal for each image data plane in the same manner as the compression units 11a to 11c. At this time, the compression units 20a to 20c correspond to the characteristics of the output destination. Perform compression encoding processing. For example, if the output destination requires a specific compression method, compression encoding processing is performed by that method. If the amount of data is limited, a method capable of controlling the code amount may be selected and the compression encoding process may be performed so that the data amount is within the range.
[0039]
Next, an example of the operation of a specific example in the embodiment of the image processing apparatus of the present invention will be described. Here, an example will be described in which image data read from the scanner is accumulated in the storage unit 3 and then displayed on the display. For the image data read by the scanner, a character part is extracted by the attribute separation unit 1. For example, as shown in FIG. 5, selection data SEL composed of character outline data and first image data DT 1 composed of character color data, And the second image data DT2 composed of the background image data. If the color space of the image data captured from the scanner is different from the color space when the attribute separation unit 1 performs processing, color space conversion is performed before the separation processing in the attribute separation unit 1.
[0040]
The image data separated into the three image data planes by the attribute separation unit 1 is compression-encoded by the compression unit 11b using the compression method suitable for the binary image by the compression unit 11b. Further, the first image data DT1 indicating the character color is compression-encoded by the compression unit 11a by a lossless compression method suitable for a multi-value image. Further, the second image data DT2 indicating the background image is compression-encoded by the compression unit 11c by an irreversible compression method suitable for a multi-valued image. The compression encoded data of each image data plane is stored in the storage unit 3.
[0041]
When a colored character image is read by a scanner or the like, the read image data varies even for the same color due to variations in characteristics of the CCD sensor and variations in the light source. Such variation in color due to device characteristics can be corrected in the image conversion unit 2 before compression. Alternatively, the correction process may be performed before the separation process in the attribute separation unit 1. Also, image data with such variations does not have a very high compression rate even if it is reversibly compressed. Therefore, a process for mapping such character color data to a predetermined number of representative colors may be performed. Specifically, palette processing such as mapping of 24-bit image data per pixel to 256 colors may be performed. By converting the color information into palette color numbers in this way, the amount of information is reduced to 1/3. Furthermore, the amount of information can be greatly reduced by reversibly compressing the palette color number information by the compression unit 11a. The conversion process at this time may be performed only on the first image data (character color data). Of course, such a color reduction process may be applied to the second image data (background image data).
[0042]
The color space of the image data stored in the storage unit 3 is CIE-L here for convenience of the attribute separation unit 1. ^* a ^* b ^* It is a space. However, in general, the color space of the image handled by the display is an RGB space, which is different from the color space of the image data stored in the storage unit 3. Therefore, when displaying the image data stored in the storage unit 3 on the display, it is necessary to perform color space conversion corresponding to at least the color space of the display serving as the output destination. The display usually has a low resolution. For example, when the entire image is displayed, it is necessary to perform resolution conversion in accordance with the resolution of the display.
[0043]
The compressed data of the image to be displayed on the display is read from the storage unit 3 for each image data plane and restored to the original image data by the decompression units 12a to 12c. Then, the selector 13 selects the resolution converters 14a to 14c, and the resolution converters 14a to 14c convert the resolution of each image data plane to the resolution to be displayed on the display. Further, the selector 15 selects the color conversion units 16a and 16c, and the CIE-L is selected in the color conversion units 16a and 16c. ^* a ^* b ^* Color space conversion processing from space to RGB color space is performed. Note that the gradation number conversion units 18a and 18c may perform gradation number conversion processing as necessary. Since compression processing is not required when displaying on the display, the selector 19 does not select the compression units 20a to 20c.
[0044]
After performing the conversion process for displaying on the display in this way, the image data planes are combined into one plane by a combining unit (not shown) and output to the display. The synthesis of the three image data planes can be performed simply by selecting either the first image data (character color data) or the second image data (background image data) according to the logic of the selection data. Note that the image conversion unit 4 may be configured to further perform conversion processing such as color conversion and gradation conversion after synthesis.
[0045]
The conversion process in the image conversion unit 4 may not be performed on all three image data planes as described above. For example, the resolution of the first image data (character color data) and selection data is reduced, and the color space of the first image data is set to L ^* a ^* b ^* After converting from the color space to the RGB color space, it is possible to create a small image for image data retrieval by extracting only the color character portion by combining with the selection data. Alternatively, only the background image data can be subjected to resolution conversion by the resolution conversion unit 14c and color space conversion by the color conversion unit 16c, and a search small image can be created and displayed on the display.
[0046]
In the above description, the case of displaying on the display has been described, but the same applies to the case where the image data stored in the storage unit 3 is recorded by, for example, a recording device. CIE-L in the color conversion units 16a and 16c ^* a ^* b ^* Color conversion processing may be performed by converting from the space to the YMCK color space composed of the color materials used in the recording apparatus and referring to profile information in consideration of the color reproduction characteristics of each color material. In this case, resolution conversion corresponding to the recording density of the recording apparatus may be performed as necessary.
[0047]
FIG. 7 is a block diagram showing another specific example in the embodiment of the image processing apparatus of the present invention. In the figure, parts similar to those in FIGS. 1 and 2 are denoted by the same reference numerals and description thereof is omitted. Reference numeral 51 denotes a color conversion unit, 52a to 52c are memories, 53a and 53c are binarization units, 54 and 55 are synthesis units, 56 is a layer number conversion unit, 57 to 59 are compression units, and 60 is a selection unit. In this example, only one plane of black and white binary encoded image data that can be used as transmission data for a conventional monochrome facsimile, or only one plane of color encoded image data that can be used as transmission data for a conventional color facsimile, Or the structure which can be output as encoded image data of a multilayer format is shown.
[0048]
The color conversion unit 51 converts the color space of the input image data into a color space that can be processed by the attribute separation unit 1 when the color space of the input image data and the color space that can be processed by the attribute separation unit 1 are different. For example, the color space of the input image data is the RGB color space, and the color space in the attribute separation unit 1 is CIE-L. ^* a ^* b ^* If it is a color space, CIE-L from RGB color space ^* a ^* b ^* Perform color space conversion to color space.
[0049]
In this example, the storage unit 3 is composed of three independent memories 52a to 52c. The memories 52a to 52c store the first image data DT1, the selection data SEL, and the second image data DT2 that are separated by the attribute separation unit 1, respectively.
[0050]
The binarization units 53a and 53c binarize the first image data DT1 and the second image data DT2, respectively. The binarization method is arbitrary, and a method according to the characteristics of each image data plane can be applied. For example, for the second image data (background image data) DT2, pseudo halftone processing by a known error diffusion method can be performed. Further, pseudo halftone processing by a known dither method can be performed on the first image data (character color data) DT1. In addition to this, for example, the first image data (character color data) DT1 is converted into a predetermined pattern corresponding to the character color, and the second image data (background image data) DT2 is subjected to pseudo halftone processing by a dither method. Various methods and combinations thereof are possible.
[0051]
The combining unit 54 selects either the first image data DT1 binarized by the binarizing unit 53a or the second image data DT2 binarized by the binarizing unit 53c according to the logical value of the selection data SEL. Select or output. Similarly, the synthesizer 55 selects and outputs either the first image data DT1 or the second image data DT2 according to the logical value of the selection data SEL.
[0052]
The compression unit 57 compresses the combined binary single-layer image data output from the combining unit 54 using a compression method suitable for the binary image data. For example, a compression method such as MH / MR / MMR or JBIG can be used. The compression unit 58 compresses the combined color single-layer image data output from the combining unit 55 using a compression method suitable for the color image data. For example, a compression method such as JPEG can be used.
[0053]
The layer number conversion unit 56 converts three image data planes into one or two layer image data planes as necessary. Details will be described later. Note that the synthesizing unit 54 and the synthesizing unit 55 can also be regarded as performing a kind of layer number conversion processing from three layers to one layer. Here, although it is a multi-layer format, processing for reducing the number of layers in one or two image data planes is performed as necessary.
[0054]
The compression unit 59 compresses image data of one layer to three layers for each image data plane. Similarly to the compression units 11a to 11c, compression encoding can be performed using an optimal compression method for each image data plane.
[0055]
According to the output destination, the selection unit 60 compresses encoded data of only one layer of binary image output from the compression unit 57, and compresses encoded data of only one layer of color image output from the compression unit 58, Either the multi-layered compressed encoded data output from the compression unit 59 or the multi-layered compressed encoded data stored in the memories 52a to 52c is selected and output as output image data.
[0056]
In the configuration shown in FIG. 7, the resolution conversion units 14a to 14c, the color conversion units 16a and 16c, and the gradation number conversion units 18a and 18c shown in FIG. It can be provided as a component. In contrast, the layer number conversion unit 56 is not provided in the configuration illustrated in FIG. 2, but the layer number conversion unit 56 may also be provided in the configuration illustrated in FIG. 2.
[0057]
An example of the operation in another specific example of the embodiment of the image processing apparatus of the present invention will be described. For example, input image data input from an image input device such as a scanner is subjected to color conversion processing or the like in the color conversion unit 51 as necessary. The color space of the scanner is the RGB color space, and the color space in the processing of the attribute separation unit 1 is CIE-L. ^* a ^* b ^* If the color space is uniform, the color conversion unit 51 converts the RGB color space to L ^* a ^* b ^* Color space conversion to a uniform color space is performed. At this time, for example, correction of variations in color due to variations in scanner sensors and variations in light sources can be performed.
[0058]
Next, in the attribute separation unit 1, the first image data DT1, the second image data DT2, and the selection data SEL are separated into three layers. In this specific example, the image data planes separated into the three layers are independently compressed and encoded by the compression units 11a to 11c and stored and held in the three memories 52a to 52c.
[0059]
When outputting compressed image data planes stored and held in the memories 52a to 52c to the output destination, when the output destination requests monochrome binary compressed image data with only one layer, the first The image data DT1, the selection data SEL, and the second image data DT2 are read from the memories 52a to 52c and decompressed by the decompression units 12a to 12c, respectively. Then, the decompressed first image data DT1 and second image data DT2 A binarization process is performed in the binarization units 53a and 53b. The first image data DT1 and the second image data DT2 binarized separately are combined into single-layer binary image data by the combining unit 54 in accordance with the logic of the selection data SEL. The output of the synthesis unit 54 is compressed by the compression unit 57 using a binary image compression encoding method supported by the output destination. The selection unit 60 selects and outputs the compression encoding result.
[0060]
Next, when requesting color multi-valued compressed image data whose output destination is only one layer, the first image data DT1, the selection data SEL, and the second image data DT2 are read from the memories 52a to 52c, respectively, and decompression units are provided. After decompression at 12a to 12c, the synthesis unit 55 synthesizes the first image data DT1 and the second image data DT2 into single-layer multivalued image data according to the logic of the selection data SEL. The output of the synthesizing unit 55 is compression-encoded by the compression unit 58 by a color image compression-encoding method supported by the output destination. The selection unit 60 selects and outputs this result.
[0061]
If the output destination can receive multi-layer image data, the first image data DT1, the selection data SEL, and the second image data DT2 are read from the memories 52a to 52c and decompressed by the decompressing units 12a to 12c, respectively. After the number of layers is converted by the number-of-layers conversion unit 56, the compression unit 59 performs compression encoding processing by an optimal compression encoding method for each image data plane. The selection unit 60 selects and outputs this result. In this case, if the first image data DT1, the selection data SEL, and the second image data DT2 stored in the memories 52a to 52c can be output as they are, they are read from the memories 52a to 52c and output from the selection unit 60 as they are. May be.
[0062]
The layer number conversion unit 56 will be further described. FIG. 8 is a configuration diagram illustrating an example of the layer number conversion unit 57. In the figure, reference numeral 71 denotes a mode determination unit, and 72 denotes a multiplexer. The image data input to the layer number conversion unit 56 is three-layer image data of the first image data DT1, the second image data DT2, and the selection data SEL expanded by the expansion units 12a to 12c. The mode determination unit 71 analyzes these three layers of image data and determines whether each image data plane includes significant information. Based on the determination result, the multiplexer 72 selects a significant image data plane from the three layers of image data, and converts it into image data of the optimum number of layers.
[0063]
FIG. 9 is a configuration diagram illustrating an example of the mode determination unit 71. In the figure, reference numerals 81 and 82 denote color number counting units, 83 denotes a counter, and 84 denotes a comparator. The color number counting unit 81 calculates the number of colors included in the first image data (character color data), that is, the L of the image data. ^* Ingredient a ^* Component, b ^* Count the number of component combinations. As described above, image data of a predetermined value is inserted at pixel positions that are not selected as the first image data by the selection data, so that a character color that matches the predetermined value is not counted as significant information. It is good to keep. In counting the number of colors, the character colors that fall within a predetermined range may be considered as the same color in consideration of variations in the character colors. The mode 0 signal output from the color number counting unit 81 is “1” when the number of colors is 2 or more, and the color information output at this time may be ignored. If the character color is only a predetermined value and the color count result is 0, the color information output indicates a predetermined value, and the mode 0 signal is “0”. When the color count result is 1, the color information output is L which is a significant character color at that time. ^* a ^* b ^* The color space image data is shown, and the mode 0 signal is “0”.
[0064]
The color number counting unit 82 counts the number of colors included in the second image data (background image data). A predetermined value of image data is inserted in the pixel position that is not selected as the second image data by the selection data, and image data that matches the predetermined value may not be counted as significant information. The mode 1 signal that is the output of the color number counting unit 82 is “1” when the number of colors is 2 or more, and the color information output at this time may be ignored. When the background image colors are all predetermined values and the color count result is 0, the color information output indicates a predetermined value and the mode 1 signal is “0”. If the color count result is 1, the color information output is a significant background color at that time. ^* a ^* b ^* This indicates color space image data, and the mode 1 signal is “0”.
[0065]
The counter 83 counts the number of significant pixels included in the selected data plane. When the input image data is a photographic image that does not include characters or line drawings, the input image data is all separated into second image data by the attribute separation unit 1. All the selection data at this time is the second image data. As described above, when the input image information indicates the nature of a strong photographic image, most of the selection data is data (for example, “0”) for selecting the second image data, and data for selecting the first image data ( For example, the pixel that is “1”) is highly likely to be noise such as dust adhering to the photograph.
[0066]
The comparator 84 outputs the output of the counter 83 to a predetermined threshold SL. _TH And threshold SL _TH If is greater, the output of the comparator 84 is “0”, indicating that the selected data plane did not contain significant information. Conversely, the output of the counter 83 is the threshold SL. _TH If it is larger, the output of the comparator 84 is “1”, indicating that the selected data plane is significant. The output of the comparator 84 is a mode 2 signal.
[0067]
FIG. 10 is an explanatory diagram of an example of the relationship between the mode signal output from the mode determination unit 71 and the transmission data in the multilayer data format formed by the multiplexer 72. When the mode 2 signal becomes “0” without including significant information in the selection data, it means that all the input image data is separated as the second image data DT2, and the input image data does not include characters or line drawings. Presumed to be a photographic manuscript. Here, when the mode 1 signal indicates “0”, it means that the background image is determined to be a single color, and a blank sheet without information is captured as shown in FIGS. 10A and 10B. Presumed. At this time, it is desirable that the image data is invalid. When the mode 1 signal indicates “1”, it is considered that the second image data DT2 includes significant information. Therefore, as shown in FIGS. 10 (3) and (7), the second image data DT2 Is selected as valid data. At this time, all the selection data SEL can be regarded as data (for example, “0”) for selecting the second image data DT2, and there is no significant information in the first image data DT1, and therefore additional information indicating that is included. One-layer image data including only the second image data DT 2 is output from the layer number conversion unit 56.
[0068]
FIG. 11 is an explanatory diagram of a specific example of output data of the layer number conversion unit 56 when the input image data is only a photographic image. FIG. 11A shows an example of input image data. In this example, a map of Japan consisting of a halftone is drawn, and there are no characters. As described above, the attribute separation unit 1 separates the input image data shown in FIG. 11A. However, since there is no character area, the selection data SEL is all “0” (see FIG. 11C). The second image data is selected), and the first image data DT1 is all set to a predetermined value as shown in FIG. 11B, and the input image data is all changed to the second image data DT2 as shown in FIG. To be separated. Since the mode determination unit 71 determines that significant information is included only in the second image data DT2 shown in FIG. 11D, only the second image data DT2 is shown in FIG. 11E. It will be selected as valid data.
[0069]
When the selection data SEL includes significant information, the mode 2 signal indicates “1”, and the mode 1 signal indicates “0”, the input image data is an original composed only of characters and line drawings. Is estimated. Further, when the mode 0 signal indicates “0” and the character color is determined to be a single color, it indicates that the character or line drawing in the input image data is drawn with only one color. In this case, the color data in which characters and line drawings are drawn and the background color data are used as additional information. As shown in FIG. 56 outputs.
[0070]
FIG. 12 is an explanatory diagram of a specific example of output data of the layer number conversion unit 56 when the input image data is only a single color character image. FIG. 12A shows an example of input image data. In this example, the character “JAPAN” is drawn with a certain color, and there is no other pattern part. When the attribute separation unit 1 separates the input image data shown in FIG. 12A as described above, the selection data SEL becomes “1” (selects the first image data) for the character “JAPAN”, and FIG. Selection data SEL shown in (C) is obtained. Further, since only the portion of the selection data SEL “1” is separated into the first image data DT1, the colored character “JAPAN” is separated as shown in FIG. The portion other than the characters “JAPAN” is separated into the second image data DT2, but since there is no significant information other than the characters in the input image data, the second image data DT2 is as shown in FIG. It will be blank.
[0071]
When the mode determination unit 71 determines FIGS. 12B to 12D, the mode 2 signal becomes “1” from the selection data SEL shown in FIG. 12C, and the first image shown in FIG. From data DT1, the mode 0 signal becomes “0” indicating a single color, and the character color is output. Further, from the second image data DT2 shown in FIG. 12D, the mode 1 signal becomes “0” indicating a single color, and the background color is output. From these, only the selection data SEL shown in FIG. 12E is selected as valid data. The character color data and the background color data output from the mode determination unit 71 are additional information.
[0072]
As described above, the mode 2 signal is “1”, the mode 1 signal indicates “0”, and it is estimated that the input image data is an original composed only of characters and line drawings. When the 0 signal indicates “1”, it is estimated that the input image data is an original of two or more color character / line drawing images. At this time, as shown in FIG. 10 (6), the background color data is used as additional information, and the two-plane image data of the first image data DT1 and the selection data SEL is output from the layer number conversion unit 56.
[0073]
FIG. 13 is an explanatory diagram of a specific example of output data of the layer number conversion unit 56 when the input image data is only a color character image. FIG. 13A shows an example of input image data. In this example, the characters “JAPAN” are drawn in different colors, and there is no other pattern portion. When the attribute separation unit 1 separates the input image data shown in FIG. 13A as described above, the selection data SEL becomes “1” (selects the first image data) for the character “JAPAN”, and FIG. Selection data SEL shown in (C) is obtained. Further, since only the portion “1” of the selection data SEL is separated into the first image data DT1, the color character “JAPAN” is separated as shown in FIG. The part other than the character “JAPAN” is separated as the second image data DT2, but since there is no significant information other than the character in the input image data, the second image data DT2 is as shown in FIG. It will be blank.
[0074]
When the mode determination unit 71 determines FIGS. 13B to 13D, the mode 2 signal becomes “1” from the selection data SEL shown in FIG. 13C, and the first image shown in FIG. “1” indicating that the mode 0 signal indicates a plurality of colors is output from the data DT1. Further, “0” indicating that the mode 1 signal indicates a single color is output from the second image data DT2 shown in FIG. From these, the first image data DT1 shown in FIG. 13E and the selection data SEL shown in FIG. 13F are selected as valid data. The background color data output from the mode determination unit 71 is additional information. In FIG. 13E, the amount of compressed data of the first image data DT1 can be reduced by processing so that the circumscribed rectangle of the character is filled with the color data of each character.
[0075]
When the mode 2 signal indicates “1” and the mode 1 signal also indicates “1”, it is estimated that the input image data is a document in which a photographic image and a character / line image are mixed. If the mode 0 signal indicates “0” and the character color is determined to be a single color, the character color data at that time is used as additional information, and the second image data DT2 as shown in FIG. The two-plane image data of the selection data SEL becomes the output of the layer number conversion unit 56.
[0076]
FIG. 14 is an explanatory diagram of a specific example of output data of the layer number conversion unit 56 when the input image data includes a monochromatic character image and a photographic image. FIG. 14A shows an example of input image data. In this example, the character “JAPAN” is drawn with one color, and a halftone Japan map is drawn. When the attribute separation unit 1 separates the input image data shown in FIG. 14A as described above, the selection data SEL becomes “1” (selects the first image data) for the character “JAPAN” portion, and FIG. Selection data SEL shown in (C) is obtained. Further, since only the portion of the selection data SEL “1” is separated into the first image data DT1, the one-color character “JAPAN” is separated as shown in FIG. For example, a part of the Japanese map other than the characters “JAPAN” is separated into second image data DT2 as shown in FIG.
[0077]
When the mode determination unit 71 determines FIGS. 14B to 14D, the mode 2 signal becomes “1” from the selection data SEL shown in FIG. 14C, and the first image shown in FIG. 14B. From the data DT1, the mode 0 signal becomes “0” indicating a single color, and data indicating the color of the character is output. Further, “1” indicating a plurality of colors is output as the mode 1 signal from the second image data DT2 shown in FIG. From these, the selection data SEL shown in FIG. 14E and the second image data DT2 shown in FIG. 14F are selected as valid data. The character color data output from the mode determination unit 71 is additional information.
[0078]
When the mode 2 signal indicates “1”, the mode 1 signal also indicates “1”, and the mode 0 signal also indicates “1”, two or more color characters / line drawings and photographic images, etc. Means mixed. At this time, as shown in FIG. 10 (8), the image data of all three planes of the second image data DT2, the first image data DT1, and the selection data SEL become the output of the layer number conversion unit 56.
[0079]
FIG. 15 is an explanatory diagram of a specific example of output data of the layer number conversion unit 56 when the input image data includes color character images and photographic images. The example shown in FIG. 15 is the same as the example shown in FIG. 5 described above, and the input image data shown in FIG. 15A is separated as shown in FIGS. When the mode determination unit 71 determines FIGS. 15B to 15D, “1” is output as the mode 0-2 signal. From these, as shown in FIGS. 15E to 15G, the three planes of the first image data DT1, the selection data SEL, and the second image data DT2 are all selected as valid data. Also in this example, as in FIG. 13, the first image data shown in FIG. 15E is processed so that the circumscribed rectangle of the character is filled with the color data of each character, and the compressed data amount of the first image data Can be reduced.
[0080]
In this way, the layer number conversion unit 56 can convert the number of layers by selecting valid data with the multiplexer 72 according to the determination result by the mode determination unit 71.
[0081]
FIG. 16 is a block diagram showing an implementation example in the embodiment of the image processing apparatus of the present invention. In the figure, 91 is an input unit, 92 is an attribute separation unit, 93 to 95 are compression / decompression units, 96 to 98 are color conversion units, 99 is a resolution conversion unit, 100 is a gradation number conversion unit, and 101 is a binarization unit. , 102 is a layer number conversion unit, 103 is a buffer, 104 is a storage device, 105 is an output unit, 106 is a common image bus, and 107 is a synthesis unit. In this implementation example, either of the two specific examples described above can be implemented. Note that all of these processing units do not have to be provided, and can be configured by using necessary processing units as appropriate, and other processing units may be connected.
[0082]
The input unit 91 captures input image data. The attribute separation unit 92 functions as the attribute separation unit 1 in the above-described specific example, and separates the input image data into the first image data DT1, the second image data DT2, and the selection data SEL.
[0083]
The compression / decompression unit 93 performs compression / decompression processing of color multilevel image data by the JPEG method. The compression / decompression unit 94 performs compression / decompression processing of binary image data by the MH / MR / MMR method. The compression / decompression unit 95 performs reversible compression / decompression processing of a binary image or a color image by the JBIG method. The compression processing and expansion processing in the compression units 11a to 11c, the expansion units 12a to 12c, the compression units 20a to 20c, and the compression units 57 to 59 in the above-described specific examples are performed using these compression / expansion devices 93 to 95 as appropriate. Can do.
[0084]
The color conversion unit 96 corresponds to the color conversion unit 51 of the specific example shown in FIG. 7, and performs color conversion such as color space conversion and color correction processing on the input image data. At this time, for example, color conversion processing can be performed in accordance with ICC profile information indicating the characteristics of the image input device. The color conversion unit 96 can also be used for color conversion processing on the input side in the image conversion unit 2. The color conversion unit 97 and the color conversion unit 98 perform color conversion processing in the color conversion units 16a and 16c in the specific example shown in FIG. The color converter 97 converts the color space for internal processing into the output destination color space, for example, CIE-L. ^* a ^* b ^* Color space conversion from the color space to the sRGB color space is performed. The color conversion unit 98 performs a palletizing process for associating the color data with the pallet number and converting it into a pallet number. These color conversion units 96 to 98 are not limited to such a configuration, and may have various configurations, for example, the color conversion units 96 and 97 are configured as the same unit.
[0085]
The resolution conversion unit 99 performs resolution conversion processing, and the gradation number conversion unit 100 performs gradation number conversion processing. Both correspond to the resolution converters 14a to 14c and the gradation number converters 18a and 18c in the specific example shown in FIG. Of course, it can also be used in the image conversion unit 2.
[0086]
The binarization unit 101 performs binarization processing on multi-value image data. The synthesizing unit 107 synthesizes three image data planes to generate image data of only one layer. The binarization unit 101 and the synthesis unit 107 correspond to the binarization units 53a and 53c and the synthesis units 54 and 55 in the specific example shown in FIG.
[0087]
The layer number conversion unit 102 converts three-layer image data into one-layer or two-layer image data, and has the function of the layer number conversion unit 56 in the specific example shown in FIG. Note that a configuration having the function of the combining unit 107 may be used.
[0088]
The buffer 103 is a storage device for temporarily storing image data before or after processing in order to absorb a difference in processing speed between processing units or between image data planes in each processing unit. The storage device 104 corresponds to the storage unit 3 and stores the input image data converted into the best form that does not depend on at least the output destination. Note that the storage device 104 can be constituted by an external storage device, for example, and in that case, an actual storage device may be connected via an interface.
[0089]
The output unit 105 outputs at least output image data. The common image bus 106 connects the input unit 91, the output unit 105, the buffer 103, the storage device 104, and other processing units.
[0090]
An example of the operation in this implementation will be described. Input image data is taken into the image processing apparatus from the input unit 91. If the color space of the captured input image data is different from the color space required by the attribute separation unit 92, the input image data is sent to the color conversion unit 96 via the common image bus 106, and the attribute separation unit 92 Color space conversion to the required color space. For example, the input image data is an RGB color space, and the color space required by the attribute separation unit 92 is CIE-L. ^* a ^* b ^* In the case of the color space, the color conversion unit 96 converts the CIE-L from the RGB color space in accordance with, for example, ICC profile information indicating the characteristics of the input device that has received the input image data and the input image data. ^* a ^* b ^* Mapping conversion to color space. At this time, color correction depending on device characteristics such as a sensor and a light source in an input device such as a scanner can also be performed. The mapping conversion may take a method of reading the converted data from the lookup table using the input image data as a reference address, or may perform a calculation directly from the input image data using a predetermined mathematical formula. When the input speed of the image data and the processing speed of the color conversion unit 96 are different, the input image data and the converted image data may be temporarily stored in the buffer 103 in order to absorb the speed difference.
[0091]
After the color conversion process by the color conversion unit 96, the processed image data is sent to the attribute separation unit 92 via the common image bus 106. As described above, the attribute separation unit 92 separates the first image data DT1, the second image data DT2, and the selection data SEL into three layers as shown in FIG. 5, for example. Each of the separated image data planes is subjected to various image structure conversion processes independent of the output destination in the color conversion units 96 and 98, the resolution conversion unit 99, the gradation number conversion unit 100, the layer number conversion unit 102, and the like. You may give it. For example, the color conversion unit 98 may perform palette processing for mapping the first image data to a predetermined number of representative colors. Specifically, image data of 24 bits per pixel is mapped to 256 colors and output with 256 palette color numbers. This greatly reduces the amount of information. Furthermore, since similar colors are unified to the same palette color number, even when the palette color number information is reversibly compressed by the compression / decompression unit 95, the amount of information can be greatly reduced. Of course, the same processing may be applied to the second image data.
[0092]
Of the image data separated into three layers by the attribute separation unit 92 and subjected to image structure conversion processing as necessary, the selection data SEL indicating the character outline is compressed and encoded by the compression / decompression unit 94 for binary data. The first image data DT1 indicating the character color is processed, for example, the compression / decompression unit 95 performs a lossless compression encoding process on the multi-valued image, and the second image data DT2 indicating the background image is processed by the compression / decompression unit 93, for example. A lossy compression encoding process is performed on the multilevel image. The compression-encoded data of each image data plane is stored in the storage device 104 while absorbing the difference between the data transfer speed of the storage device 104 and the processing speed of the compression / decompression devices 93 to 95 by using the buffer 103 or the like. Is done.
[0093]
Now, let us consider displaying image data stored in the storage device 104 on a display. First, an image to be displayed is selected from images stored in the storage device 104. The image can be selected from, for example, a control panel (not shown). The compressed data of the image to be displayed is read from the storage device 104 for each image data plane, input to the compression / decompression devices 93 to 95 via the common image bus 106, and decompressed to the original image data. Further, the data is sent to the combining unit 107 via the common image bus 106, and the combining unit 107 combines the first image data DT1 (character color data) and the second image data DT2 (background image data) according to the logic of the selection data SEL. This is performed and converted into one-layer image data.
[0094]
The image data thus returned to one plane is sent to the color conversion unit 97 via the common image bus 106, and the color conversion unit 97 uses the CIE-L. ^* a ^* b ^* Color space conversion processing from space to sRGB color space, which is a standard color space for display display, is performed. In the color conversion unit 97, for example, L ^* a ^* b ^* The color space data can be used as input to look up a lookup table or the like, and the sRGB color space data can be output.
[0095]
Note that this color space conversion can also be performed prior to the composition processing in the composition unit 107. Depending on the characteristics of the display, the resolution conversion process in the resolution conversion unit 99 and the gradation number conversion unit 100 in each image data plane before the synthesis process or for one plane of image data after synthesis. A gradation number conversion process or the like can be appropriately performed.
[0096]
The image data thus converted according to the display characteristics is output from the output unit 105 to a display (not shown). Note that a display (not shown) is assumed to be able to input and display image data in the sRGB color space.
[0097]
When a part of the image is enlarged and displayed on the display, only part of the image data is read when the image data is read from the storage device 104 or the image data decompressed by the compression / decompression units 93 to 95 is partly read. May be cut out and the subsequent processing may be performed. Further, for example, when creating a small image for search, it is not necessary to read out and process all three layers of image data from the storage device 104, and only one or two image data planes may be read out and processed. Good. The enlargement or reduction process may be performed by the resolution conversion unit 99.
[0098]
The same applies to the case where the image data stored in the storage device 104 is printed and recorded by a recording device (not shown). The color conversion unit 97 is referred to by referring to profile information indicating the color reproduction characteristics of the image forming material of the recording device. CIE-L ^* a ^* b ^* Color space conversion from the color space to, for example, the YMCK color space may be performed. Other processes may be performed as necessary as in the case of outputting to the display.
[0099]
When the image data stored in the storage device 104 is transmitted as binary data as in a conventional black-and-white facsimile, for example, each image data plane is read from the storage device 104 and decompressed by the compression / decompression devices 93 to 95. Then, binarization by the binarization unit 101, conversion to single layer image data by the synthesis unit 107, compression encoding by the compression / decompression unit 94, and output from the output unit 105 to transmission means (not shown) may be performed. Also, when transmitting as one-layer color multi-value data as in a conventional color facsimile, each image data plane is read from the storage device 104 and decompressed by the compression / decompression units 93 to 95, and then the combining unit 107. Thus, the image data may be converted into one-layer image data, compressed and encoded by the compression / decompression unit 93 or 95, and output from the output unit 105 to a transmission unit (not shown).
[0100]
Furthermore, when it is possible to receive multi-layer image data, each image data plane may be basically read from the storage device 104 and output as it is from the output unit 105 to a transmission unit (not shown). When storing in the storage device 104, it is stored in an optimal state, so it is desirable to output it as it is. However, there are cases where the transmission destination cannot receive the data as it is. In that case, each image data plane is read from the storage device 104, decompressed by the compression / decompression units 93 to 95, and then subjected to image structure conversion processing according to the communication conditions with the transmission destination as necessary. The compression / decompressors 93 to 95 may perform compression encoding according to the communication conditions and output from the output unit 105 to transmission means (not shown).
[0101]
In this way, in the example shown in FIG. 16, each processing unit and the storage device 104 are connected by the common image bus 106, so that each processing unit can be shared for the conversion processing in the image conversion unit 2 and the image conversion unit 4. it can. Further, it is possible to arbitrarily select a processing unit and perform arbitrary conversion processing on image data without using a selector as in the configuration shown in FIG.
[0102]
FIG. 17 is a block diagram showing another example of implementation in the embodiment of the image processing apparatus of the present invention. In the figure, 111 is a CPU, 112 is a memory, 113 is a communication control unit, 114 is an image processing unit, 115 is a scanner, 116 is an interface unit, and 117 is a bus. The configuration shown in FIG. 17 also shows an embodiment of the image transmission apparatus of the present invention.
[0103]
The CPU 111 controls the entire apparatus. In some cases, processing relating to a part of the functions shown in FIGS. 1, 2, 7, and 16 is performed. The memory 112 stores image data read by the scanner 115 and input through the interface unit 116, various image information converted by the image processing unit 114, and the like. In addition, the storage unit 3 in FIGS. 1, 2, and 7 described above, the buffer 103 and the storage device 104 in FIG. 16, and the like can be configured by the memory 112.
[0104]
The communication control unit 113 performs communication control such as line connection and protocol control for transmitting image data to and from a transmission destination, and serves as a reception capability information acquisition unit that acquires information regarding the reception capability of the transmission destination. And a function as a transmission means for actually transmitting image data to a transmission destination. For example, information on the receiving capability such as whether the transmission destination is a black-and-white facsimile, a color facsimile, multi-layer image data, the recording resolution value of the print output unit of the transmission destination, etc. Obtained from the communication control unit 113 by predetermined protocol control. Further, the communication control unit 113 itself is configured to be able to transmit the encoded data of only one layer of binary image, the encoded data of only one layer of color image, all the codes or data of the multilayer format, or at least one format. can do.
[0105]
The image processing unit 114 can be configured by all or part of the configuration illustrated in FIGS. 1, 2, 7, and 16. Of course, the processing can proceed in cooperation with the CPU 111. In addition, the storage unit 3, the storage device 104, and the like can be realized by the memory 112 or an external storage device (not shown). The image processing unit 114 refers to the information regarding the reception capability of the transmission destination acquired by the communication control unit 113, and performs image data conversion processing according to the capability of the transmission destination.
[0106]
The scanner 115 reads an image. The interface unit 116 takes the image data read by the scanner 115 into the apparatus as input image data. The bus 117 connects the CPU 111, the memory 112, the communication control unit 113, the image processing unit 114, the interface unit 116, and the like. Of course, other various devices may be connected.
[0107]
FIG. 18 is a flowchart showing an example of the operation in another implementation example of the embodiment of the image processing apparatus of the present invention. First, in S131, a document image to be transmitted is read using the scanner 115. The read image data is stored in the memory 112 via the interface 116 under the control of the CPU 111. In step S132, the image processing unit 114 performs image processing independent of the transmission destination. For example, from the color space of the scanner 115 (for example, RGB color space), the color space for internal processing (for example, L ^* a ^* b ^* Uniform color space). Next, the first image data DT1, the second image data DT2, and the selection data SEL are separated into three layers. Each image data separated into three layers is subjected to a necessary image structure conversion process and subjected to an optimal compression encoding process. This conversion process and compression encoding process are processes in the image conversion unit 2 in FIG. The image data converted into the optimum state in this way is stored in the memory 112 in S133.
[0108]
Subsequently, under the control of the CPU 111, communication control with the transmission destination is started in S134. At this time, the device environment of the transmission destination is confirmed (negotiation), and the type of transmission destination is, for example, a black-and-white facsimile, a color facsimile, or multi-layer image data, and transmission. Information relating to reception capability such as the recording resolution value of the print output unit of the other party is acquired. After confirming the end of the confirmation work in S135, in S136, for example, the image processing unit 114 performs conversion processing on the image data stored in the memory 112 as necessary according to the reception capability of the transmission destination. The The conversion process performed in this step is a process in the image conversion unit 4 in FIG. Of course, if the image data stored in the memory 112 can be transmitted as it is, the conversion process in this step need not be performed.
[0109]
The image data after the conversion processing according to the receiving capability of the transmission destination in this way is stored again in the memory 112 in S137. The memory 112 may be prepared with a capacity capable of storing image data for two surfaces before and after conversion, or may be prepared with a capacity for only one surface and dynamically control writing and reading. . Further, this step may be omitted, and the process may proceed to the next step without being stored in the memory 112.
[0110]
When confirming that the transmission data is stored in the memory 112, the CPU 111 transmits this via the communication control unit 113 in S138, and ends the process. Since the transmission data is converted according to the transmission destination, it is a receiving device that can receive image data in a multilayer data format regardless of whether the destination is a normal black-and-white facsimile or a color facsimile. Also, image data can be transmitted.
[0111]
At this time, since the conversion process is performed first and stored in the memory 112 regardless of the transmission destination, a so-called memory transmission function is achieved. In addition, since the image data stored in the memory 112 in the best mode is subjected to a conversion process according to the reception capability of the transmission partner, transmission suitable for the reception capability of the transmission partner can be performed without much deterioration in image quality. Data can be generated, and image data can be transmitted to a transmission destination at high speed with high image quality.
[0112]
【The invention's effect】
As can be seen from the above description, according to the present invention, image data is separated and converted to each image data plane even for various images in which a pattern photo image, a character / line image, etc. are mixed. Since the image is stored, it is possible to perform an optimal conversion process according to the properties of each image, and it is possible to efficiently store the image while suppressing deterioration in image quality. Further, since the optimum conversion processing is performed on the stored image data according to the purpose of reuse, the optimum image data can be supplied at the output destination. By utilizing this, for example, even if the transmission destination is an existing single-layer image receiving device such as a black-and-white facsimile or a color facsimile, these receiving devices can be obtained by performing optimum conversion processing according to the transmission destination. There is an effect that image data can be transmitted to the other.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram showing an embodiment of an image processing apparatus of the present invention.
FIG. 2 is a block configuration diagram showing a specific example in an embodiment of an image processing apparatus of the present invention.
FIG. 3 is a block diagram showing an example of an attribute separation unit in a specific example of an embodiment of an image processing apparatus of the present invention.
FIG. 4 is a flowchart showing an example of the operation of a character outline extraction unit.
FIG. 5 is an explanatory diagram of a specific example of attribute separation in the first embodiment of the image transmission apparatus of the present invention;
FIG. 6 is an explanatory diagram illustrating an example of an arrangement method of image data planes in a storage space of a storage unit.
FIG. 7 is a block diagram showing another specific example in the embodiment of the image processing apparatus of the present invention.
FIG. 8 is a configuration diagram illustrating an example of a layer number conversion unit.
FIG. 9 is a configuration diagram illustrating an example of a mode determination unit.
FIG. 10 is an explanatory diagram of an example of a relationship between a mode signal output from a mode determination unit and transmission data in a multilayer data format formed by a multiplexer.
FIG. 11 is an explanatory diagram of a specific example of output data of a layer number conversion unit when input image data is only a photographic image.
FIG. 12 is an explanatory diagram of a specific example of output data of the layer number conversion unit when the input image data is only one color character image.
FIG. 13 is an explanatory diagram of a specific example of output data of a layer number conversion unit when input image data is only a color character image.
FIG. 14 is an explanatory diagram of a specific example of output data of the layer number conversion unit when the input image data includes a monochromatic character image and a photographic image.
FIG. 15 is an explanatory diagram of a specific example of output data of the layer number conversion unit when the input image data includes color character images and photographic images.
FIG. 16 is a configuration diagram illustrating an implementation example in an embodiment of an image processing apparatus according to the present invention;
FIG. 17 is a configuration diagram showing another example of implementation in the embodiment of the image processing apparatus of the present invention;
FIG. 18 is a flowchart showing an example of an operation in another implementation example of the embodiment of the image processing apparatus of the present invention;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Attribute separation part, 2, 4 ... Image conversion part, 3 ... Memory | storage part, 11a-11c ... Compression part, 12a-12c ... Decompression | decompression part, 13, 15, 17, 19 ... Selector, 14a-14c ... Resolution conversion part 16a, 16c ... color conversion unit, 18a, 18c ... gradation number conversion unit, 20a-20c ... compression unit, 31 ... character outline extraction unit, 32 ... multiplexer, 41 _-SEL , 42 _-SEL , 43 _-SEL ... selected data, 41 _-DT1 , 42 _-DT1 , 43 _-DT1 ... first image data, 41 _-DT2 , 42 _-DT2 , 43 _-DT2 ... second image data, 51 ... color conversion unit, 52a to 52c ... memory, 53a, 53c ... binarization unit, 54,55 ... compositing unit, 56 ... layer number conversion unit, 57-59 ... compression unit, 60 ... Selection unit, 71 ... Mode determination unit, 72 ... Multiplexer, 81 and 82 ... Color number counting unit, 83 ... Counter, 84 ... Comparator, 91 ... Input unit, 92 ... Attribute separation unit, 93 to 95 ... Compression / decompression unit, 96-98 ... color conversion unit, 99 ... resolution conversion unit, 100 ... gradation number conversion unit, 101 ... binarization unit, 102 ... layer number conversion unit, 103 ... buffer, 104 ... storage device, 105 ... output unit, DESCRIPTION OF SYMBOLS 106 ... Common image bus, 107 ... Composition part, 111 ... CPU, 112 ... Memory, 113 ... Communication control part, 114 ... Image processing part, 115 ... Scanner, 116 ... Interface part, 117 ... Bus.

Claims

Separating means for separating input image data into first image data indicating color information of a character or line drawing, second image data indicating a background image, and selection data indicating the shape of the character or line drawing, and the separating means First image data conversion means for performing conversion processing on at least one of the separated first image data, second image data, and selection data, and converted by the first image data conversion means Storage means for storing the first image data, the second image data, and the selection data, and at least one of the first image data, the second image data, and the selection data stored in the storage means And a second image data conversion means for performing conversion processing.

The first image data converting means performs compression processing using compression methods suitable for the first image data, the second image data, and the selection data separated by the separation means. The image processing apparatus according to claim 1, wherein:

The second image data conversion unit performs an expansion process on the first image data, the second image data, and the selection data stored in the storage unit, and then according to the characteristics of the output destination. 3. The image processing apparatus according to claim 2, wherein the conversion process is performed.

The second image data conversion unit performs at least one of a gradation conversion process, a color space conversion process, and a layer number conversion process according to characteristics of an output destination. Image processing device.

The image processing apparatus according to claim 1, wherein the second image data conversion unit performs conversion processing based on an instruction from a user.

A transmission means for transmitting the image data converted by the second image data conversion means; and a reception capability information acquisition means for acquiring information regarding the reception capability of a transmission destination to which the image data is transmitted by the transmission means. The said 2nd image data conversion means has a conversion process based on the information regarding the receiving capability of the said transmission destination acquired by the said receiving capability information acquisition means, The said 2nd image data conversion means characterized by the above-mentioned. Image processing device.

The second image data conversion means performs conversion processing using different image conversion methods on at least two of the first image data, the second image data, and the selection data. Item 8. The image processing apparatus according to Item 1.

One image data conversion means for performing conversion processing on at least one of the first image data, the second image data, and the selection data is the first image data conversion means and the second image data conversion means. The image processing apparatus according to claim 1, wherein the image processing apparatus is also used.

The second image data conversion means uses the same color if the number of colors of at least one of the first image data and the second image data corresponding to the selection data is a color that falls within a predetermined range. The image processing apparatus according to claim 1, wherein the number of colors counted is replaced with the number of colors of at least one of the first image data and the second image data.

The image processing apparatus according to claim 1, wherein the second image data conversion unit performs a color reduction process on at least one of the first image data and the second image data corresponding to the selection data.

The image processing apparatus according to claim 1, wherein the second image data conversion unit binarizes at least one of the first image data and the second image data by performing pseudo halftone processing. .

The said 2nd image data conversion means produces the small image for a search using at least one of the said 1st image data and the said 2nd image data memorize | stored in the said memory | storage means. The image processing apparatus described.

Separating means for separating input image data into first image data indicating color information of a character or line drawing, second image data indicating a background image, and selection data indicating the shape of the character or line drawing, and the separating means First image data conversion means for performing conversion processing on at least one of the separated first image data, second image data, and selection data, and converted by the first image data conversion means Storage means for storing the first image data, the second image data, and the selection data, and at least one of the first image data, the second image data, and the selection data stored in the storage means Second image data conversion means for performing conversion processing, and at least one of the first image data, the second image data, and the selection data stored in the storage means Third image data conversion means for performing conversion processing different from the second image data conversion means, and selection means for selecting either the second image data conversion means or the third image data conversion means An image processing apparatus comprising:

Separating means for separating input image data into first image data indicating color information of a character or line drawing, second image data indicating a background image, and selection data indicating the shape of the character or line drawing, and the separating means First image data conversion means for performing conversion processing on at least one of the separated first image data, second image data, and selection data, and converted by the first image data conversion means Storage means for storing the first image data, the second image data, and the selection data, reception capability information acquisition means for acquiring information regarding the reception capability of a transmission destination that transmits image data, and acquisition of the reception capability information The first image data, the second image data, and the selection data stored in the storage unit based on the information regarding the reception capability of the transmission destination acquired by the unit. A second image data conversion unit that performs conversion processing on at least one of the image data, and a transmission unit that transmits the image data converted by the second image data conversion unit to the transmission destination. An image transmission device.

The reception capability information acquisition unit acquires information of an encoding method receivable at least at the transmission destination, and the second image data conversion unit acquires the code acquired by the reception capability information acquisition unit. 15. The image transmission apparatus according to claim 14, wherein the image data is encoded based on the information of the encoding method.

The input image data is separated by the separating means into first image data indicating color information of the character or line drawing, second image data indicating the background image, and selection data indicating the shape of the character or line drawing. At least one of the separated first image data, second image data, and selection data is converted by a first image data conversion unit, and the converted first image data, second Image data and the selection data are stored in a storage unit, and at least one of the first image data, the second image data, and the selection data stored in the storage unit is converted by a second image data conversion unit. An image processing method characterized by performing a conversion process.

The input image data is separated into first image data indicating color information of a character or line drawing, second image data indicating a background image, and selection data indicating the shape of the character or line drawing by a separating means, and the separated image data At least one of the first image data, the second image data, and the selection data is converted by the first image data conversion means, and the converted first image data, the second image data, and the The selection data is stored in the storage means, and the second image data conversion means or the third image data conversion means for performing different conversion processes is selected by the selection means, and the selected second image data conversion means or At least one of the first image data, the second image data, and the selection data stored in the storage unit by the third image data conversion unit. Image processing method characterized by and performs conversion processing.

The input image data is separated into first image data indicating color information of a character or line drawing, second image data indicating a background image, and selection data indicating the shape of the character or line drawing by a separating means, and the separated image data At least one of the first image data, the second image data, and the selection data is converted by the first image data conversion means, and the first image converted by the first image data conversion means Data, the second image data, and the selection data are stored in a storage unit, information on the reception capability of a transmission destination that transmits image data is acquired by a reception capability information acquisition unit, and the acquired transmission destination A second for at least one of the first image data, the second image data, and the selection data stored in the storage means based on the information regarding the reception capability of Image transmission method characterized by subjected to conversion processing by the image data conversion means, and transmits the converted the image data to said transmission destination by the transmission means.