JP5047051B2 - 画像処理装置及び画像符号化方法 - Google Patents

Description

本発明は、文書画像を圧縮する画像処理装置及び画像符号化方法に関し、特に非写真画像を含む文書画像を圧縮する画像処理装置及び画像符号化方法に関する。

近年、情報の電子化が進み、紙文書をそのまま保存するのではなく、スキャナ等によりスキャンして電子化して保存したり、その電子データを他装置に送信したりするシステムが普及してきている。送信コストを削減するため、電子化された文書に対して高い圧縮性が要求されている。一方、電子化データを部分的に編集できる再利用性と、拡大しても縮小しても画質が落ちない高画質性とが要求されている。

ところが、文書画像に文字領域や写真領域が混在する場合は、文字領域に適した圧縮（例えば可逆圧縮）を文書画像全体に対して行うと復号後の画質が良いが圧縮率が低くなってしまうという問題がある。一方、写真領域に適した圧縮（例えばＪＰＥＧ等の非可逆圧縮）を文書画像全体に対して行うと圧縮率が高いが復号後の文字が劣化してしまうという問題がある。そこで、文書画像から文字領域を抽出し、当該文字領域の画像に対しては文字用の圧縮（ＭＭＲ等）を行い、一方、文字領域を抜きだした後の下地部分を塗りつぶして写真等に適した圧縮（ＪＰＥＧ）を行う手法が提案されている。（特許文献１，２参照）。なお、塗り潰し方として、たとえば文字領域をその周囲画素の平均色で塗ったり、文字領域のヒストグラム情報により決めた色で塗ったりする手法が提案されている。

また、電子化された文書画像を文字領域や写真領域に分離し、再利用性と高画質性が重視されている文字領域等をベクトルデータに変換し、ベクトルデータで簡易に再現できない写真領域等をＪＰＥＧで圧縮する。そして各領域のベクトル化結果とＪＰＥＧ圧縮結果を合成して出力することにより、文書画像の高圧縮性、再利用性、高画質性を実現する手法が提案されている（特許文献３参照）。すなわち、文書画像に対して、まず領域分離が行われ、文書画像から文字領域・線画領域が矩形の領域で特定される。そしてベクトル化可能な文字オブジェクトや線画をベクトル化し、得られたベクトルデータをベクトル層におく。また、ベクトル化対象ではない領域、および、ベクトル化された文字領域を塗り潰した画像領域をＪＰＥＧ圧縮し、得られたＪＰＥＧデータをＪＰＥＧ層におく。それらベクトル層データとＪＰＥＧ層データとが圧縮後の文書ファイルとして保存される。

また、文書画像の高圧縮性、再利用性、高画質性を向上させるために、ベクトル化処理対象を拡大し、今まで、写真と同様にＪＰＥＧで圧縮されていたイラストなどの非写真画像を、ベクトル化する手法が提案されている（特許文献４参照）。非写真画像は「イラスト」あるいは「クリップアート画像」とも呼び、オブジェクトの輪郭が明瞭であり、出現色の色数も限られている等の特徴を有している。（なおここでいう非写真画像は、文字や線画を含むと解釈しても構わない。ただし、文字や線画の領域と分離された画像領域をさらに写真領域と非写真領域とに分離する形態の場合、写真領域と非写真領域の分離処理を行う時点では分離対象の画像領域に文字や線画は含まれていない。）
特開２００２−０７７６３３号公報 特開２００５−０１２７６８号公報 特開２００４−２６５３８４号公報 特開２００６−３４４０６９号公報

一方、文書画像において、写真領域は矩形状の画像として配置されることが多いが、イラストなどの非写真画像領域は、写真領域に比べて、矩形以外の形状の画像で描かれることが多い。一方、画像に対して領域分離処理を行う場合、文字領域やグラフィックス領域などの領域範囲を外接矩形で定義するので、イラスト領域には、イラスト本体以外に背景などの別の画像も含まれることが多い。

特許文献４の手法を用いて矩形のイラスト領域（クリップアート領域）をベクトル化すると、背景部分もイラストと同様に扱われ、背景部分の平均色を代表色とする１色の領域としてベクトル化される。しかしながら、イラスト領域内において、イラスト本体部分以外の背景部分は、１色ではなく、弱いグラデーションをしているような場合もありうる。（なお、弱いグラデーションとは、色でクラスタリングすると１つの色として判別されるが、実際には少しグラデーションしているようなもののことをいうこととする。）例えば、図２２のグラフィックス領域３４内には、イラスト画像本体（円形の画像部分）と、弱いグラデーションをしている背景領域とが含まれている。このようなグラフィックス領域３４内で、色クラスタリングを行うと、イラスト本体が色ごとにクラスタリングされるとともに、背景部分についても１つの領域として抽出され、イラスト本体と同様に代表色が算出されることになる。すなわち、グラデーションしているような背景部分を１色にした場合、元の画像との差異が大きくなり、違和感が大きくなる。したがって、実際には、背景部分はイラスト本体と同様の処理を行って１色にするのではなく、弱いグラデーションの背景として残しておきたいと考えられる。

また、非写真画像領域を含んだ文書画像は、非写真画像領域（特に図１５のような矩形の非写真画像領域３３）と、それと重なる写真領域３１とを含むこともあり得る。すなわち、イラスト本体以外の背景部分に写真領域が重なっているような場合である。このような画像に対して、まず、その非写真画像領域（イラスト領域）は抽出されて、当該抽出された非写真画像領域に対してベクトル化処理がなされる。一方、非写真領域が抽出された後に残った文書画像については、当該非写真画像領域に対応する領域を塗り潰してＪＰＥＧ圧縮する。すると、図１７のように非写真画像領域と重なる写真領域の一部が非写真画像領域の塗り潰しにより消えてしまい、元の画像を再現できないという問題があった。

本発明は、非写真画像領域を含んだ文書画像の圧縮率を高めると共に、そこに含まれる画像オブジェクトの再現時の品質や再利用性を向上させる画像処理方装置及び画像符号化方法を提供することを目的とする。

上記課題を解決するために、本発明は、非写真画像領域を含む文書画像を符号化する画像処理装置であって、
文書画像を領域分離して非写真画像領域を特定する領域特定手段と、
前記非写真画像領域をベクトル化処理により符号化する第１の符号化手段と、
前記非写真画像領域から背景領域を特定する背景特定手段と、
前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し手段と、
前記塗り潰し手段により前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化手段と
を備え、
前記背景特定手段は、
前記非写真画像領域を、クラスタ毎の基準色との距離が基準値以内の画素をグループ化したクラスタに分割し、
前記非写真画像領域の端部に存在し、かつ当該端部の画素を所定の基準よりも多く含むクラスタを前記背景領域として特定することを特徴とする。

本発明によれば、非写真画像領域を含んだ文書画像の圧縮性も再利用性も向上させ、しかも高品質が文書画像を再現することができる。

以下、図面を参照して、本発明に係る画像処理装置を用いた非写真画像領域の穴埋め処理及び合成文書ファイルの生成処理について、詳細に説明する。

［第１の実施形態］
＜装置構成＞
図１は、本発明の第１の実施形態に係る非写真画像領域の塗り潰し処理及び合成文書ファイルの生成処理を行う機能を有する画像処理装置の構成を示すブロック図である。合成文書ファイルとは、写真画像の部分はＪＰＥＧ等で、文字及び非写真画像はベクトル化されて圧縮されている。すなわちこの装置は、画像符号化方法を実行する装置と言い換えることもできる。図１において、ユニット１０はスキャンによって紙情報をカラー文書画像として入力する入力部、ユニット１１はカラー文書画像から文字領域やグラフィックス領域や線画領域などの複数種類の領域を分離する領域分離部である。領域分離処理により、各領域にはそれぞれの属性が与えられる。本実施形態の領域分離処理では、カラー文書画像を２値化し、２値画像内の黒画素連結要素を抽出し、当該抽出された黒画素連結要素に外接する矩形状の領域に基づいて分離するものとする。このとき、各領域の属性は、矩形領域の大きさ、縦横比、黒画素密度などに基づいて判定されるものとする。なお、領域分離処理は、この手法に限るものではなく、公知の技術を用いることが可能である。ユニット１２は分離された複数種類の領域の中からグラフィックス領域（グラフィックス属性が与えられている領域）を抽出するグラフィックス領域抽出部である。本実施形態において、グラフィクス領域には、写真領域（中間調領域）と、イラスト（クリップアートとも呼ぶこととする）などの非写真画像の領域とが含まれるものとする。２値画像から領域抽出を行った場合、写真の領域やクリップアートの領域は、領域サイズが大きく、黒画素密度も高くなることが多く、同じ種類（グラフィックス）の領域として抽出されやすい。したがって、次の処理で、更にグラフィックス領域群の中から、クリップアート（イラスト）領域を判定し抽出する。

ユニット１３はグラフィックス領域からクリップアート領域を判定するクリップアート領域判定部である。ユニット１４はクリップアート領域内にある各画素を色特徴に基づき領域（クラスタと呼ぶ）に分割するクリップアート領域分割部である。ユニット１５は領域分割結果に基づき、クリップアート領域内における背景画素の部分を特定するクリップアート背景特定部である。ユニット１６は、カラー文書画像において、クリップアート領域内の背景以外の部分のみを背景色で塗り潰すクリップアート背景以外部分の塗り潰し処理部である。ユニット１７は、塗りつぶし処理部１６でクリップアート部の塗り潰し処理がなされたカラー文書画像を圧縮する画像圧縮部である。ユニット１８は、クリップアートの領域分割結果で、クリップアート領域内の背景以外の画素をベクトルデータに変換する（すなわち、ベクトルデータを生成する）ベクトル変換部である。ユニット１９は圧縮データ層の圧縮データとベクトル層のベクトルデータとを合成して多層構成の圧縮文書画像ファイルを出力する（あるいは保存する）文書ファイル合成部である。なお、図１では、クリップアート領域をベクトル化処理する場合について述べたが、別途、文字領域や線画領域もベクトル変換部でベクトルデータに変換して、圧縮文書画像ファイルに格納するようにしてもよい。なお、文字領域や線画領域をベクトル化する際は、それぞれの領域に適したベクトル化手法でベクトル化処理を行うのが望ましい。圧縮文書画像ファイルを再生する際には、圧縮データ層の圧縮画像を再生した画像上に、ベクトル層のベクトルデータを再生した画像を重畳して文書を再生する。

図１４は、図１に示す画像処理装置を実現した一実施形態であるディジタル複合機（ＭＦＰ）の主要部構成を示すブロック図である。尚、本実施形態では、画像処理装置として、スキャナ機能やプリンタ機能を有するディジタル複合機（ＭＦＰ）を用いているが、汎用のスキャナとパーソナルコンピュータとを接続したシステムを当該画像処理装置として用いてもよい。

図１４に示すように、ＭＦＰは、画像処理装置として機能するコントローラユニット２０００を備えている。当該コントローラユニット２０００は、画像入力デバイスであるスキャナ２０７０や画像出力デバイスであるプリンタ２０９５を接続する。そして、スキャナ２０７０で原稿画像から読み取られた画像データをプリンタ２０９５によって印刷出力するコピー機能を実現するための制御を行う。また、コントローラユニット２０００は、ＬＡＮ１００６や公衆回線（ＷＡＮ）１００８を介して他装置との間でパターン画像やデバイス情報等の入出力を行うための制御を行う。

コントローラユニット２０００は、図１４に示すように、ＣＰＵ２００１を有している。ＣＰＵ２００１は、ＲＯＭ２００３に格納されているブートプログラムによりオペレーションシステム（ＯＳ）を立ち上げる。そして、このＯＳ上でＨＤＤ（ハードディスクドライブ）２００４に格納されているアプリケーションプログラムを実行することによって各種処理を実行する。このＣＰＵ２００１の作業領域として、ＲＡＭ２００２が用いられる。ＲＡＭ２００２はまた、ＣＰＵ２００１の作業領域だけでなく、画像データを一時記憶するための画像メモリ領域をも提供する。ＨＤＤ２００４は、上記アプリケーションプログラムとともに、画像データを格納する。

ＣＰＵ２００１には、システムバス２００７を介して、ＲＯＭ２００３やＲＡＭ２００２が接続している。さらに、ＣＰＵ２００１には、操作部Ｉ／Ｆ（操作部インタフェース）２００６、ネットワークＩ／Ｆ（ネットワークインタフェース）２０１０、モデム２０５０及びイメージバスＩ／Ｆ（イメージバスインタフェース）２００５が接続されている。

操作部Ｉ／Ｆ２００６は、タッチパネルを有する操作部２０１２とのインタフェースであり、操作部２０１２に表示する画像データを操作部２０１２に対して出力する。また、操作部Ｉ／Ｆ２００６は、操作部２０１２においてユーザにより入力された情報をＣＰＵ２００１に送出する。

また、ネットワークＩ／Ｆ２０１０は、ＬＡＮ１００６に接続され、当該ＬＡＮ１００６を介してＬＡＮ１００６に接続された各装置との間で情報の入出力を行う。モデム２０５０は、公衆回線１００８に接続し、公衆回線１００８を介して他装置との間で情報の入出力を行う。

イメージバスＩ／Ｆ２００５は、システムバス２００７と画像データを高速で転送する画像バス２００８を接続し、データ構造を変換するためのバスブリッジである。画像バス２００８は、ＰＣＩバス又はＩＥＥＥ１３９４から構成される。画像バス２００８上には、ラスタイメージプロセッサ（ＲＩＰ）２０６０、デバイスＩ／Ｆ２０２０、スキャナ画像処理部２０８０、プリンタ画像処理部２０９０、画像回転部２０３０、サムネイル作成部２０３５及び画像圧縮部２０４０が設けられている。

ＲＩＰ２０６０は、ＰＤＬコードをビットマップイメージに展開するプロセッサである。デバイスＩ／Ｆ２０２０には、スキャナ２０７０及びプリンタ２０９５が接続され、画像データの同期系／非同期系の変換を行う。スキャナ画像処理部２０８０は、入力画像データに対して補正、加工、編集処理を行う。プリンタ画像処理部２０９０は、プリント出力画像データに対してプリンタの補正、解像度変換等を行う。画像回転部２０３０は、画像データの回転を行う。画像圧縮部２０４０は、多値画像データをＪＰＥＧデータに、ニ値画像データをＪＢＩＧ、ＭＭＲ、ＭＨ等のデータに圧縮するとともに、その伸長処理も行う。

＜クリップアート領域の塗り潰し処理および文書ファイル合成処理の概要＞
図２は、本発明の第１の実施形態におけるクリップアート領域の塗り潰し処理及び文書ファイル合成処理についての概略を説明するためのフローチャートである。

まず、入力部１０において、スキャナにより紙文書を読み取り、カラー文書画像データを得る（ステップＳ１０）。次に、領域分離部１１において、入力されたカラー文書画像を二値データに変換し、この二値画像データを文字、グラフィックス、表等の複数種類の領域に分離する（ステップＳ１１）。尚、この領域分離処理を実現する一例として、米国特許第５，６８０，４７８号公報に記載の領域分離技術を用いることができる。尚、当該公報には、「Method and Apparatus for character recognition (Shin-YwanWang et aI./Canon K.K.)」が記載されている。なお、領域分離はオペレータに領域とその属性とを指定させて行っても良い。これはこの後のステップで行うクリップアート領域の特定についても同様である。さらにグラフィックス領域抽出部１２において、前工程で分離された領域から属性がグラフィックスである領域を選択する（ステップＳ１２）。さらに、クリップアート領域判定部１３において、前工程で抽出された各グラフィックス領域はクリップアートであるかを判定し、クリップアートである領域を特定する（ステップＳ１３）。すなわちクリップアート領域判定部１３はクリップアート領域特定部と言い換えることもできる。このクリップアート判定処理を実現する処理の一例として、以下の手順で判定できる。

この手順ではたとえば色数を数え、使用されている色数が基準値以下であればクリップアート（イラストなどの非写真画像）と判定する。そのため、たとえばラスタ順に着目グラフィクス領域の画素に順次着目し、着目画素の色に対応するカウンタをインクリメントして、グラフィクス領域で使用されている色数を数える。着目領域全体について色数を数えても良いが、色数が、クリップアート（すなわち非写真画像）であると判定されるクリップアート基準値を越えたなら、着目領域は写真画像領域であると判定し、着目グラフィクス領域に関する判定を打ちきっても良い。そして着目グラフィクス領域全体について色数を数えた結果、基準値以下であれば、着目グラフィクス領域はクリップアート（すなわち非写真領域）であると判定される。

なお同系色で構成される写真画像は、写真画像であっても色数が少ない場合がある。そのような写真画像を非写真画像と区別するために、単に色を数えるのではなく、たとえば各画素を、類似した色をグループ化したクラスタに分類し、クラスタの数も判定基準とする方法がある。そのために、色数を数えることに加えて次のような処理を行う。まず判定対象の画像データのラスタ走査順で先頭の画素に着目する。そして着目画素と既存のクラスタ間との類似度を求める。そして類似度が最も高い既存のクラスタがあれば、着目画素がそのクラスタに属するものと記録する。類似したクラスタがなければ着目画素の属する新規クラスタを作成し、着目画素がそのクラスタに属するものと記録する。「類似度」としては、たとえば着目画素の色と、クラスタ毎の基準色との距離（色空間における距離）を用いることができる。類似度が最も高いクラスタとは、着目画素との距離が基準値以内であり、しかも最も距離が近いクラスタである。着目画素との距離が基準値以内の既存のクラスタがない場合には、新たなクラスタが生成される。クラスタの基準色とは、クラスタを代表する色であり、たとえばクラスタが生成されて最初に属した画素の色などを採用できる。以上の処理を、処理対象画像を構成する全画素に順次着目して実行する。そして、色数が色数基準値以内であり、かつ、クラスタ数がクラスタ数基準値を越えたなら、そのグラフィクス領域はクリップアート（すなわち非写真画像）であるものとして、例えば領域のＩＤとその属性（「クリップアート領域」であるという属性）を記録する。それ以外の場合には、着目領域は写真画像であるとして属性が記録される。そして次のグラフィクス領域について、ステップＳ１３の判定を実行する。たとえば色数基準値として６４，クラスタ数基準値として色数基準値の２分の１の値などを用いることができる。もちろんこれはクリップアート領域判定の一例に過ぎない。ステップＳ１３では、最終的に、クリップアート領域と判定されたグラフィクス領域の画素の属性として、「クリップアート属性」が書き込まれる。

次に、クリップアート領域分割部１４において、クリップアート領域内の各画素を、色特徴に基づきいくつかのクラスタ（領域）に分ける。この領域分割処理の詳細については図４を参照して後述する（ステップＳ１４）。ステップＳ１４の出力は、クリップアート領域の各画素にラベリング結果が書き込まれる。たとえば、クリップアート領域の各画素にラベルとしてクラスタＩＤが書き込まれる。

そして、ベクトル変換部１８において、分割されたクリップアート領域について、領域毎に輪郭線と領域内部色に基づきベクトルデータに変換する（ステップＳ１８）。なお、ステップＳ１１で文字領域が分離されている場合には文字領域についてもベクトル化の対象となる。文字領域のベクトル処理を実現する一例としては、例えば、特許第２８８５９９９号公報に記載の、二値画像の輪郭線の追跡を行い、その座標ベクトルを選択することによりベクトル化するものが挙げられる。そして、本実施形態におけるベクトル化処理においても当該技術を利用するものとする。このベクトル化処理の結果はベクトル層に保存される。もちろんベクトル化された画像の文書画像における位置も保存される必要がある。ベクトル化は、画像オブジェクトの輪郭を高精細に再生可能な符号化方法であり、ベクトル変換部１８は画像データの符号化手段ということもできる。

一方、クリップアート背景特定部１５において、クリップアート領域分割の結果に基づき、クリップアート領域の背景部分を特定する。このクリップアート背景特定の詳細については図５を参照して後述する（ステップＳ１５）。ここではたとえば、画素に関連づけられたクラスタ番号のうち、背景色となるクラスタ番号が特定される。

次に、クリップアートの背景以外部分の塗り潰し処理部１６では、カラー文書画像において、クリップアートの背景領域番号（クラスタ番号）以外の領域番号（クラスタ番号）に対応する画素を、背景領域番号を持つ画素の色（すなわち背景色）で塗り潰す（ステップＳ１６）。なおステップＳ１１で文字領域が分離されている場合には文字領域についても、当該文字領域の背景色で塗り潰される。

次に、画像圧縮部１７において、クリップアート領域に対応する画素の塗り潰し処理後のカラー文書画像を圧縮し、圧縮データ層に保存する（ステップＳ１７）。圧縮方法の例としてはＪＰＥＧやＰＮＧ等の非可逆の画像圧縮手順を用いた方法があげられる。なお圧縮対象のカラー文書画像データは、文字領域がベクトル化されるのであれば、その文字領域についても塗りつぶされている。画像圧縮部１７は、ベクトル変換部１８とともに２種類の画像データの符号化手段を構成している。いずれかを第１の符号化手段と称した場合には他方を第２の符号化手段と称することもある。

次に、文書ファイル合成部１９において、ベクトル層と圧縮データ層のデータを合成して多層構成出力データを生成し、外部装置へ出力、或いは記憶装置に保存する（ステップＳ１９）。すなわち、文書ファイル合成部１９は、ベクトルデータと圧縮データとを格納した文書ファイルを生成する。こうして、文書画像に含まれる文字及び非写真画像はベクトル化により圧縮され、写真画像はＪＰＥＧ等の圧縮方式を用いて非可逆圧縮される。なお、本実施形態では、ステップＳ１８でクリップアート領域をベクトル化する場合、矩形のクリップアート領域全体を対象としてベクトル化処理していたので、背景部分もベクトルデータになっていると考えられる。そこで、本実施形態では、クリップアート背景特定部１５により特定された背景部分に対応するベクトルデータを削除してから、多層構成出力データのベクトル層に格納することとする。なお、本実施形態では、クリップアート領域全体をベクトルデータに変換してから背景部分に対応するベクトルデータを削除する構成としたが、これに限るものではない。例えば、クリップアートの背景部分を特定した後、クリップアート領域の背景部分以外をベクトル化対象として、ベクトルデータに変換するようにしても構わない。

＜クリップアート領域の抽出例＞
図３は、本発明の第１の実施形態による画像処理において文書画像からクリップアート領域を選択した一例を示す図である。図３に示す文書画像では、前述した領域分離法により、写真領域３１、文字領域３２、及びクリップアート領域（非写真画像領域）３３がそれぞれ矩形領域として分離されている。

＜クリップアート領域分割＞
クリップアートの領域分割処理について、図４を参照して説明する。まず、ステップＳ１４０１では、処理対象となるクリップアート画像を入力する。そして、ステップＳ１４０２では、クラスタリング処理を行う。この処理では、まず、ラスタスキャンしたスタートの画素により、最初のクラスタを生成する。そして、次の画素に対して、全てのクラスタとの類似度を求める。類似度が高いほど、画素とクラスタとの特徴が近いと考えられる。ここでは、類似度の計算にＲＧＢ色空間の距離を用いるが、他のカラー空間の情報、或いは、カラー以外の情報を特徴量としても使える。そして、一番高い類似度とこの類似度に対応したクラスタ番号を着目画素に関連づけて記録し、この類似度を事前に設定された閾値とを比較する。類似度が閾値より高ければ、対象画素を記録されたクラスタに属させる。属するクラスタは、画素毎に関連づけて記録される。閾値より低ければ新たなクラスタを生成し、着目画素をその新たなクラスタに属させる。この処理は全ての画素の処理が終わるまで繰り返し実行する。

次に、ステップＳ１４０３では、前記クラスタリング処理結果に基づき、クラスタ統合処理を行う。この処理では、まず、分離したい領域数の目標値を入力する。この目標値は、何色くらいに分離するかの目安になる。なお、この目標値は予め設定された値でもよいし、ユーザにより設定される値でもよい。そして、現在のクラスタの数を数える。現在のクラスタの数を領域数の目標値とを比較する。現在のクラスタ数が目標値より多ければ、クラスタの統合を行う。統合処理では、クラスタ間の類似度を計算し、一番類似度の高い二つのクラスタを一つに統合する。領域統合処理は現在のクラスタ数は目標値以下になるまで繰り返し実行する。クラスタが統合されると、画素毎に関連づけて記録されているクラスタ番号（クラスタ識別子とも呼ぶ）が、統合後のクラスタ番号に書き換えられる。

次に、ステップＳ１４０４では、クラスタ統合処理の結果に基づき、ノイズ領域の再処理を行う。この処理では、まず、領域分割の結果をラベリングし、そして、各ラベル領域の面積を計算する。なお、クラスタ番号は各画素毎に記録されているので、クラスタ番号でラベリングするものとすれば、ラベリング処理は省力できる。各クラスタに対応する領域（ラベル領域あるいはクラスタ領域と呼ぶことにする。）の面積はその領域が含む画素数である。クラスタ領域の面積がある閾値より小さければ、この領域をノイズ領域と判定する。そして、このノイズ領域に含まれた各画素について、隣接する近傍領域との類似度を計算し、一番類似度の高い領域に統合する、すなわちノイズ領域に属する各画素に関連づけたクラスタ番号を、統合後の領域のクラスタ番号に書き換える。これを新たなノイズ領域判定処理は全てのラベル領域が処理済みになるまで繰り返し実行する。ステップＳ１４０５では、クリップアートの領域分割結果を出力する。ここではすでに上記各手順の結果が反映された画素およびそれに関連づけた属性情報が保存されているので、それらの情報が後続の処理に渡される。

＜クリップアートの背景特定処理＞
クリップアートの背景特定処理（図２のステップＳ１５）について、図５を参照して説明する。

先ず、ステップＳ１５０１では、前記のクリップアート領域分割の結果（すなわちラベリングされたクリップアート領域の画像データ）を入力する。そして、ステップＳ１５０２では、クリップアート画像領域の辺を取る。具体的には、たとえば矩形のクリップアート画像領域の各辺（あるいは端部又は縁）を構成する画素に着目する。そして、ステップＳ１５０３では、前述の辺上にある各画素が属するクラスタ（領域）番号の情報を見て、各クラスタ（領域）の出現頻度の統計をとる。そして、ステップＳ１５０４では、各クラスタ（領域）のクリップアート画像領域の辺上に出現する出現頻度に基づいて、出現頻度の高いクラスタ（領域）を背景領域と特定する。なお、取り扱う文書の種類に応じてよく使用されるイラストの種類は異なると考えられるので、背景領域であるかどうかの判定基準は実験的に決めればよい。例えば、辺上の全画素のうちの３分の１以上を含むようなクラスタを背景領域とする。

クリップアート領域内について、こうして特定された背景領域以外の領域が塗りつぶされる。

＜クリップアートの背景特定処理例１＞
図１８は、本発明の第１の実施形態による画像処理において文書画像の例１（図３）から抽出されたクリップアート領域の背景特定処理結果である。図１８では、クラスタ１８０１と１８０２という２つのクラスタにより領域が分割されている。クリップアート領域の辺を構成する画素群１８０３を対象として、属するクラスタの統計を取ると、図１８の場合、全数がクラスタ１８０２に属することが分かる。したがって、このクリップアート矩形領域の四辺にある画素群１８０３が属するクラスタ番号の割合により、クラスタ１８０２の部分領域は背景領域として特定される。このため、クラスタ１８０１の領域に対応するカラー文書画像の画素は、ベクトルデータに変換されてベクトル層に格納されるとともに、圧縮データ層に格納される背景となるカラー文書画像上では背景領域１８０２の色で塗り潰される。

＜クリップアートの背景特定処理例２＞
図１９は、本発明の第１の実施形態による画像処理においてクリップアート領域の例２である。このクリップアート画像は領域分割処理により緑色クラスタ２００１、黄色クラスタ２００２、青色クラスタ２００３、紫色クラスタ２００４の四つの領域に分けられる。背景特定処理では、このクリップアート画像の矩形領域の四辺を構成する画素群１９０１のクラスタ情報（特にクラスタ番号）の出現頻度を数える。その結果、緑色クラスタ２００１に属する画素の数が一番多い、即ち、緑色クラスタの出現頻度が所定割合以上で高いので、緑色クラスタが背景領域と特定される。図２０は、本発明の第１の実施形態による画像処理においてクリップアート領域（図１９）の背景特定処理結果である。図２０のグレー領域（２００２，２００３，２００４）はベクトルデータに変換されるとともに、背景画像における塗りつぶし処理の対象となる。一方、それ以外の部分（緑色クラスタ２００１に相当）は特定された背景領域であり、塗りつぶし対象にはならない。

＜クリップアート領域の塗り潰し処理の例１＞
図６は、本発明の第１の実施形態による画像処理において文書画像の一例（図３）にクリップアート領域の塗りつぶし処理を行った結果を示す図である。図３のクリップアート領域３３は、図４のクリップアート領域分割処理により、領域中の画素は、色の異なるクラスタに分類される。図４では、背景上にプリンタの絵が描かれているので、背景とプリンタを構成するいくつかの色のクラスタに分割される。そして図５の手順で辺を構成する画素の属するクラスタの統計が集計され、領域の辺に出現する頻度が高いクラスタが背景のクラスタと特定される。そして、圧縮データ層（背景レイヤ）に格納される背景画像（カラー画像）において、背景クラスタ以外のクラスタに属する画素は、背景の色で置換される（すなわち背景色で塗りつぶされる）ことになる。なお図６では文字がそのまま残っているが、これはこの説明がクリップアート領域にのみ着目しているためであり、文字領域は別途ベクトル化され、背景色で塗りつぶされることが望ましい。

＜クリップアート領域の塗り潰し処理の例２＞
図２２は、本発明の第１の実施形態による画像処理において文書画像からクリップアート領域を選択した例２を示す図である。図２２に示す文書画像では、弱いグラデーションの背景部分を含むグラフィックス領域（クリップアート領域）３４がある。このグラフィックス領域を色ごとにクラスタリングすると、イラスト部分（中央の丸い２つの領域）のクラスタと、それ以外のグラデーションしている部分のクラスタとに分かれるものとする。このとき、グラデーションしている部分のクラスタは、グラフィックス領域の辺の大部分を占めるので、背景領域として特定される。イラスト部分のクラスタはベクトルデータに変換されるが、背景領域のクラスタの部分はベクトルデータにしない。そして、背景となるカラー文書画像（背景画像）上では、ベクトルデータにしたイラスト部分では塗りつぶし処理が行われ、背景領域のクラスタ部分では塗りつぶし処理が行われずに、元のグラデーション画像のまま残すことになる。図２４は、背景画像となる文書画像の例２（図２２）にクリップアート領域の塗りつぶし処理を行った結果を示す図である。クリップアート画像の背景以外の部分のみを塗り潰し、背景部分は塗りつぶさないので、背景色がグラデーションする部分はそのまま保持することができる。もし本実施形態の処理を行わずにグラフィックス領域３４全体をベクトルデータに変換したならば、背景部分のクラスタも１色のベクトルデータに変換されてしまい、図２３のように背景のグラデーション部分がなくなってしまう。

以上説明したように、第１の実施例によれば、文書画像から領域分離されたクリップアート領域をクラスタリングし、背景のクラスタとイラスト本体のクラスタとに特定する。カラー文書画像において、背景以外のクラスタの部分のみを背景色で塗り潰し、その塗り潰し処理の結果えられた画像データをＪＰＥＧ圧縮して圧縮データ層に格納する。また、クリップアート領域の背景以外のクラスタ部分（イラスト本体部分）はベクトル変換され、ベクトルデータとして、文字などのベクトルデータとともにベクトル層に格納する。なお、このような圧縮データ層とベクトル層とからなる文書ファイルは、再生すると、圧縮データ層のＪＰＥＧデータを展開した画像の上に、ベクトル層のベクトルデータを展開することになる。

クリップアートのベクトル化により文書画像のベクトル層のさらなる高編集化、高画質化、高圧縮化が可能となり、また、クリップアートの塗り潰し処理、クリップアート塗り潰し画像の圧縮により文書画像の圧縮データ層のさらなる高圧縮性が可能となる。また、クリップアートの背景部分が弱いグラデーションであったとしても、その背景部分は、塗りつぶされず、１色のベクトルデータにも変換されないので、文書ファイルは元の弱いグラデーションを再現することができる。

［第２の実施形態］
ここでは、クリップアート領域の一部が、他の写真などの領域と重なっている場合に、背景領域の特定と塗り潰し処理をどのように行うかについて説明する。

図１５は、文書画像からクリップアート領域を選択した例を示す図である。図１５に示す文書画像では、写真領域３１がクリップアート領域３３の上に重なっている。もしクリップアート領域全体に対して塗りつぶし処理を行うと、図１７のようにクリップアート領域に重なっている写真領域の一部が塗りつぶされてしまうことになる。そこで、本実施形態では、クリップアート領域を色でクラスタリングした後、第１の実施形態のようにして背景領域のクラスタを特定すると共に、他の写真領域が重なっていないか判定する。他の写真領域が重なっていると判定した場合は、当該重なっている位置に対応するクラスタも背景領域のクラスタとして特定する。図１６は、本実施形態による画像処理において、図１５の文書画像の例にクリップアート領域の塗りつぶし処理を行った結果を示す図である。写真領域が重なっている部分のクラスタに対しては塗りつぶし処理が行われないので、元の写真領域３１がそのまま残ることになる。

このように、クリップアート領域のイラスト本体部分以外が背景領域として特定されるので、塗りつぶし処理が精度よく行われるので、生成される文書ファイルを再生したときに元画像の再現性の精度が高くなる。

［第３の実施形態］
第１実施形態では、クリップアートの背景特定処理の際に、領域の辺にある画素のクラスタ情報を用いた。これに対して第３実施形態では、クリップアート領域の一部領域（角付近、辺の中央付近）にある画素に注目し、これらの画素のクラスタ情報を使い、頻度の高いクラスタを背景クラスタと特定する。

本実施形態では、背景領域の特定のために、クリップアート（非写真画像）領域中において、非写真画像領域の辺（端部）を含むサンプル領域を設定し、サンプル領域中最も多くの画素が属するクラスタを背景領域として特定する。

＜クリップアートの背景特定処理例１＞
図１９は、クリップアート領域の例を示す。このクリップアート画像は領域分割処理により緑色クラスタ２００１、黄色クラスタ２００２、青色クラスタ２００３、紫色クラスタ２００４の四つの領域に分けらたものとする。図２１は、本実施形態による画像処理において、クリップアート領域（図１９）の背景特定処理に使われるサンプル領域２１０１〜２１０８（黒い部分）を示す。サンプル領域は、クリップアート領域の角付近、辺の中央付近に設定される。背景特定処理では、このサンプル領域に含まれる画素に注目し、これらの画素の属するクラスタを集計し、出現頻度の高いクラスタを背景のクラスタとする。図２１では緑色クラスタ２００１に属する画素の数が一番多い、即ち、緑色クラスタの出現頻度が一番高いので、緑色クラスタを背景領域と特定する。

この実施形態では、サンプル領域は図２１のような黒い形の部分に設定したが、これに限るものではない。例えば、対象とするクリップアート領域に応じて、設定するサンプル領域の位置を変えても構わない。

［第４の実施形態］
クリップアート領域は背景部分が薄い色を持つ画像が多い。このような画像を第１の実施形態のように処理してもいいが、背景色は色が薄いという特性を利用すれば、クリップアートの塗り潰し処理に際して背景部分の特定ができる。第４実施形態では、クリップアートの背景特定処理に、各クラスタの彩度情報に基づき背景特定を行う。すなわち、本実施形態では、彩度が予め定めた基準彩度よりも小さい色を持ち、かつ予め定めた基準画素数よりも大きなクラスタを背景領域として特定する。

第４実施形態に係るクリップアート領域の塗り潰し処理及び文書ファイルの合成処理を行う機能を有する画像処理装置の構成ブロック図、また、フローチャートは第１実施形態と同じである。ただし、クリップアート背景特定処理（図５）が異なり、図７のような処理となる。

図７は、第４実施形態のクリップアート背景特定処理についての概略を説明するためのフローチャートである。先ず、ステップＳ１５０１では、クリップアートの領域分割結果を入力する。そして、ステップＳ２５０２では、各クラスタの色情報をＲＧＢ情報から彩度情報Ｓを取り出す。彩度情報の取り出すための一手段としてはＲＧＢカラー空間からＨＳＶカラー空間へ変換する方法があるが、それ以外の彩度情報を求める手法も考えられる。そして、ステップＳ２５０３では、各クラスタの基準色の彩度情報を分析する。ここではたとえば、クラスタの基準色の彩度を、彩度しきい値と比較し、大小関係を判定しておく。イラストで作られたクリップアートであってもスキャンノイズのあるクリップアートであっても、背景部分の色が薄い画像の場合は、彩度Ｓも相当低い。この特性を利用して、ステップＳ２５０４では、背景領域を特定する。彩度Ｓが彩度閾値（たとえば１０）より低く、かつ、クラスタがサイズ閾値よりも大きければ、このクラスタを背景領域と判定する。他の処理は第１実施形態と同じである。こうすることでより簡単な処理で背景を特定することができる。

［第５実施形態］
本実施形態では、出現頻度がある定めた誤差範囲内のクラスタが多数ある場合は、さらに第４実施形態のクリップアートの彩度情報により背景領域の判定をする。その時、彩度が低い領域を背景領域と判定する。

すなわち、クリップアート領域のクラスタのうち、最も画素数の多いクラスタと比べて、画素数の差が基準値以内であるような他のクラスタがある場合、彩度を参照して背景色を決定する。たとえば、この様な場合には、それらクラスタ（すなわち最も画素数の多いクラスタと他のクラスタとを含むクラスタ）の中で最も色の彩度が低いクラスタを前記背景領域として特定する。

［第６実施形態］
本実施形態では背景特定のために、非写真画像領域から背景として特定したクラスタの周囲を、予め定めた幅だけ拡張し、拡張された部分を背景領域に含めて背景を特定する。これは以下の理由による。すなわち、スキャンにより文書画像にあるクリップアート領域、特に境界線部分がボケたり、ノイズが多数存在したりする場合は多い。このような場合、領域分割により境界線にある画素は必ずしも同じクラスタ（領域）に属するわけではないので、背景特定後に背景以外の部分のみを塗り潰すと、背景領域に属していない画素は塗り潰し処理の対象外になる。このような画素の元色は背景領域の色に近いものなので、塗り潰し処理対象外であっても、クリップアートの塗り潰し処理の最終結果ではあまり目立つことはない。しかし、画像を綺麗にすれば圧縮率も良くなるし、見た目手も良くなる。そのため、第６の実施形態では、背景特定処理で特定された背景以外領域を周囲何画素分（今回の場合は２画素）の範囲まで膨張して塗り潰す。

＜装置構成＞
図８は、本発明の第６実施形態に係るクリップアート領域の塗り潰し処理及び合成文書ファイルの生成処理を行う機能を有する画像処理装置の構成を示すブロック図である。図８において、ユニット１０は文書画像を入力する入力部、ユニット１１は文書画像を文字や写真等の領域に分離する領域分離部である。ユニット１２は領域分離の結果から属性がグラフィックスであるグラフィックス領域を抽出するグラフィックス領域の抽出部、ユニット１３はグラフィックス領域からクリップアート領域であるかを判定するクリップアート領域判定部である。ユニット１４はクリップアート画像にある各画素を色特徴に基づき領域に分割する領域分割部、ユニット１５は領域分割結果に基づきクリップアート領域の背景部分を特定する背景特定部である。ユニット３０は背景特定処理で特定された背景以外領域を周囲何画素分範囲まで膨張するクリップアート背景以外部分の膨張部、ユニット１６は背景以外の部分を背景色で塗り潰すクリップアート背景以外部分の塗り潰し処理部である。ユニット１７はクリップアート部の塗り潰し処理の結果を圧縮する画像圧縮部、ユニット１８はクリップアートの領域分割結果をベクトルデータに変換するベクトル変換部、である。ユニット１９は圧縮データ層とベクトル層のデータを合成して多層構成出力する文書ファイル合成部である。即ち、第１の実施形態に、背景以外の領域の膨張部３０が追加されたものが第６の実施形態の画像処理装置になる。

＜クリップアート領域の塗り潰し処理および文書ファイル合成処理の概要＞
図９は、本発明の第６の実施形態におけるクリップアート領域の塗り潰し処理及び文書ファイル合成処理についての概略を説明するためのフローチャートである。図９は、図２の手順のステップＳ１５とステップＳ１６との間にステップＳ３０を挿入したものである。そこでステップＳ３０における処理についてのみ説明し、その他の説明は省略する。

クリップアート背景以外部分の膨張部３０は、ステップＳ３０において、ステップＳ１５で特定された背景領域以外の領域を拡張する。具体的には、背景特定処理で特定された背景領域が背景以外の領域と接する部分について、背景領域の画素に関連づけられたクラスタ番号を、一定の幅にわたって背景以外のクラスタのクラスタ番号に書き換える。書き換え後のクラスタ番号は、クラスタ番号をこの後使用しないならば、背景領域のクラスタ番号以外の値であれば何でも良い。また、もし背景の特定が、画素の「背景」属性をセットすることでされているなら、該当する領域背景属性を解除することで背景領域以外の領域が拡張される。

背景以外の領域を拡張したなら、後の処理は第１実施形態と同様であり、拡張した背景以外の領域が、ステップＳ１６で塗りつぶされる。

＜クリップアートの背景以外部分の膨張処理＞
クリップアートの背景以外部分の膨張処理について、図１０を参照して説明する。図１０は、黄色領域１００１と水色領域１００２と赤色領域１００３と白色領域１００４とを含むクリップアート画像の例である。背景特定処理により白色領域１００４が背景領域と判定され、赤色領域１００３と黄色領域１００１と水色領域１００２は背景以外の部分と判定される。図１１は、背景以外部分の膨張処理により拡張されたクリップアートの背景以外部分の結果の例を示す。背景以外の各色領域は、それぞれ背景領域と接する境界部分について拡張部分１００１ｅ、１００２ｅ、１００３ｅだけ拡張される。そして最終的に背景以外の部分となり、塗り潰し処理の対象となる。

この結果、背景と背景以外のオブジェクトとの境界付近にぼけ等があっても、その領域を含めて背景の色で塗りつぶされるので、再生される画像の品質が向上し、また圧縮率も向上する。

［第７実施形態］
本実施形態では、背景の特定の前に、特定された非写真領域中のから更に文字領域を特定して、特定された文字領域を文字の背景の色で塗りつぶす。

文書画像にある各領域が重なる場合は良くある。たとえば、文書画像にあるクリップアート領域の矩形中に文字領域が入っていることはしばしばある。その場合、クリップアート画像の領域分割処理や塗り潰し処理を行う前に、クリップアート領域の矩形中の文字を塗り潰す必要がある。本実施形態では、クリップアート領域に文字領域が含まれている（あるいは重複している）場合には、文字オブジェクトを先にベクトル化する。そして文字領域を塗りつぶした後、クリップアート領域のベクトル化及び塗り潰し処理を行う。これにより、文字を優先的にベクトル化することができる。

図１２は、クリップアート領域と文字領域の一部が重なる文書画像を例である。このような画像に対しては、まず、文字領域の文字オブジェクトがベクトル化された後、文字オブジェクトの塗りつぶし処理が行われる。次に、クリップアート領域を対象として、クリップアート領域の色クラスタリングとベクトル化処理が行われ、クリップアート領域の塗りつぶし処理が行われる。クリップアート領域と文字オブジェクトが塗りつぶされた文書画像のＪＰＥＧデータは圧縮データ層に格納され、文字のベクトルデータとクリップアートのベクトルデータはベクトル層に格納されて、文書ファイルが生成される。この文書ファイルを再生した場合、塗りつぶされたカラー文書画像の上に、文字やクリップアートのベクトルデータが再生されることになる。図１３は、塗りつぶされたカラー文書画像上に、文字のベクトルデータを再生した場合の図である。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、以下のようなものがある。フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。すなわち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。

本発明の第１の実施形態に係るクリップアート領域の塗り潰し処理及び合成文書ファイルの生成処理を行う機能を有する画像処理装置の構成を示すブロック図である。 本発明の第１の施形態に係るクリップアート領域の塗り潰し処理及び合成文書ファイルの生成処理についての概略を説明するためのフローチャートである。 本発明の第１の実施形態による画像処理において文書画像からクリップアート領域を選択した例１を示す図である。 本発明の第１の実施形態に係るクリップアートの領域分割処理についての概略を説明するためのフローチャートである。 本発明の第１の実施形態に係るクリップアートの背景特定処理についての概略を説明するためのフローチャートである。 本発明の第１の実施形態による画像処理において文書画像の一例にクリップアート領域の穴埋め（塗りつぶし）処理を行った結果を示す図である。 本発明の第４の実施形態に係るクリップアートの背景特定処理についての概略を説明するためのフローチャートである。 本発明の第６の実施形態に係るクリップアート領域の塗り潰し処理及び合成文書ファイルの生成処理を行う機能を有する画像処理装置の構成を示すブロック図である。 本発明の第６の実施形態に係るクリップアート領域の塗り潰し処理及び合成文書ファイルの生成処理についての概略を説明するためのフローチャートである。 本発明の第６の実施形態による画像処理において文書画像にあるクリップアート領域の例を示す図である。 本発明の第６の実施形態による画像処理において文書画像の例にクリップアート領域の背景以外部分の膨張処理を行った結果を示す図である。 本発明の第７の実施形態による画像処理において文書画像にあるクリップアート領域と文字領域が重なる例を示す図である。 本発明の第７の実施形態による画像処理において文書画像の例にクリップアート領域の穴埋め処理を行った結果を示す図である。 図１に示す画像処理装置を実現した一実施形態であるディジタル複合機（ＭＦＰ）の主要部構成を示すブロック図である。 本発明の第２の実施形態に係る文書画像からクリップアート領域を選択した例を示す図である。 本発明の第２の実施形態による画像処理において文書画像の例にクリップアート領域の穴埋め処理を行った結果を示す図である。 クリップアート領域全体を塗り潰した結果を示す図である。 本発明の第１の実施形態による画像処理において文書画像の例から抽出されたクリップアート領域の背景特定処理結果を示す図である。 本発明の第１の実施形態による画像処理においてクリップアート領域の例を示す図である。 本発明の第１の実施形態による画像処理においてクリップアート領域の例の背景部分を特定した結果を示す図である。 本発明の第３の実施形態による画像処理においてクリップアート領域の例の背景特定処理際の周囲注目領域の取り出し例を示す図である。 文書画像からクリップアート領域を選択した例を示す図である。 クリップアート領域全体にベクトル化処理を行った結果を示す図である。 クリップアート領域のイラスト本体部分を塗り潰した結果を示す図である。

符号の説明

１１ 入力部
１２ 領域分離部
１３ クリップアート領域抽出部
１４ クリップアート領域分割部
１５ クリップアート背景特定部
１６ クリップアート背景以外部分の塗り潰し処理部
１７ ＪＰＥＧ圧縮部
１８ ベクトル変換部
１９ 文書ファイル合成部
３０ クリップアート背景領域膨張部

Claims (15)

1. 非写真画像領域を含む文書画像を符号化する画像処理装置であって、
   文書画像を領域分離して非写真画像領域を特定する領域特定手段と、
   前記非写真画像領域をベクトル化処理により符号化する第１の符号化手段と、
   前記非写真画像領域から背景領域を特定する背景特定手段と、
   前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し手段と、
   前記塗り潰し手段により前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化手段と
   を備え、
   前記背景特定手段は、
   前記非写真画像領域を、クラスタ毎の基準色との距離が基準値以内の画素をグループ化したクラスタに分割し、
   前記非写真画像領域の端部に存在し、かつ当該端部の画素を所定の基準よりも多く含むクラスタを前記背景領域として特定することを特徴とする画像処理装置。
2. 非写真画像領域を含む文書画像を符号化する画像処理装置であって、
   文書画像を領域分離して非写真画像領域を特定する領域特定手段と、
   前記非写真画像領域をベクトル化処理により符号化する第１の符号化手段と、
   前記非写真画像領域から背景領域を特定する背景特定手段と、
   前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し手段と、
   前記塗り潰し手段により前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化手段と
   を備え、
   前記背景特定手段は、前記非写真画像領域に写真画像領域が重なる場合、当該写真画像領域を前記背景領域として特定することを特徴とする画像処理装置。
3. 非写真画像領域を含む文書画像を符号化する画像処理装置であって、
   文書画像を領域分離して非写真画像領域を特定する領域特定手段と、
   前記非写真画像領域をベクトル化処理により符号化する第１の符号化手段と、
   前記非写真画像領域から背景領域を特定する背景特定手段と、
   前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し手段と、
   前記塗り潰し手段により前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化手段と
   を備え、
   前記背景特定手段は、
   前記非写真画像領域を、クラスタ毎の基準色との距離が基準値以内の画素をグループ化したクラスタに分割し、
   前記非写真画像領域の中において、前記非写真画像領域の端部を含むサンプル領域を設定し、当該サンプル領域中の画素を所定の基準よりも多く含むクラスタを前記背景領域として特定することを特徴とする画像処理装置。
4. 非写真画像領域を含む文書画像を符号化する画像処理装置であって、
   文書画像を領域分離して非写真画像領域を特定する領域特定手段と、
   前記非写真画像領域をベクトル化処理により符号化する第１の符号化手段と、
   前記非写真画像領域から背景領域を特定する背景特定手段と、
   前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し手段と、
   前記塗り潰し手段により前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化手段と
   を備え、
   前記背景特定手段は、
   前記非写真画像領域を、クラスタ毎の基準色との距離が基準値以内の画素をグループ化したクラスタに分割し、
   彩度が予め定めた基準彩度よりも小さい色を持ち、かつ予め定めた基準画素数よりも大きなクラスタを前記背景領域として特定することを特徴とする画像処理装置。
5. 非写真画像領域を含む文書画像を符号化する画像処理装置であって、
   文書画像を領域分離して非写真画像領域を特定する領域特定手段と、
   前記非写真画像領域をベクトル化処理により符号化する第１の符号化手段と、
   前記非写真画像領域から背景領域を特定する背景特定手段と、
   前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し手段と、
   前記塗り潰し手段により前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化手段と
   を備え、
   前記背景特定手段は、
   前記非写真画像領域を、クラスタ毎の基準色との距離が基準値以内の画素をグループ化したクラスタに分割し、
   前記クラスタのうち、最も画素数の多いクラスタと比べて、画素数の差が基準値以内であるような他のクラスタがある場合、前記最も画素数の多いクラスタと前記他のクラスタとを含むクラスタの中で最も色の彩度が低いクラスタを前記背景領域として特定することを特徴とする画像処理装置。
6. 前記背景特定手段は、前記非写真画像領域から背景として特定したクラスタの周囲について、予め定めた幅を拡張し、拡張された部分を前記背景領域に含めることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記背景特定手段による背景の特定の前に、前記領域特定手段により特定された非写真領域の中から更に文字領域を特定する文字領域の特定手段と、
   前記文字領域を、当該文字の背景の色で塗りつぶす手段と
   を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第１の符号化手段は、前記非写真画像領域のうちの前記背景領域以外の領域についてのベクトルデータを生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記第１の符号化手段で符号化することにより生成されるベクトルデータと前記第２の符号化手段で符号化することにより得られる圧縮データとを格納した文書ファイルを生成する文書ファイルの生成手段を、更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
11. 非写真画像領域を含む文書画像を符号化する画像処理装置による画像符号化方法であって、
    領域特定手段が、文書画像を領域分離して非写真画像領域を特定する領域特定工程と、
    第１の符号化手段が、前記非写真画像領域をベクトル化処理により符号化する第１の符号化工程と、
    背景特定手段が、前記非写真画像領域から背景領域を特定する背景特定工程と、
    塗り潰し手段が、前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し工程と、
    第２の符号化手段が、前記塗り潰し工程において前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化工程と
    を有し、
    前記背景特定工程では、
    前記非写真画像領域を、クラスタ毎の基準色との距離が基準値以内の画素をグループ化したクラスタに分割し、
    前記非写真画像領域の端部に存在し、かつ当該端部の画素を所定の基準よりも多く含むクラスタを前記背景領域として特定することを特徴とする画像符号化方法。
12. 非写真画像領域を含む文書画像を符号化する画像処理装置による画像符号化方法であって、
    領域特定手段が、文書画像を領域分離して非写真画像領域を特定する領域特定工程と、
    第１の符号化手段が、前記非写真画像領域をベクトル化処理により符号化する第１の符号化工程と、
    背景特定手段が、前記非写真画像領域から背景領域を特定する背景特定工程と、
    塗り潰し手段が、前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し工程と、
    第２の符号化手段が、前記塗り潰し工程において前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化工程と
    を有し、
    前記背景特定工程では、前記非写真画像領域に写真画像領域が重なる場合、当該写真画像領域を前記背景領域として特定することを特徴とする画像符号化方法。
13. 非写真画像領域を含む文書画像を符号化する画像処理装置による画像符号化方法であって、
    領域特定手段が、文書画像を領域分離して非写真画像領域を特定する領域特定工程と、
    第１の符号化手段が、前記非写真画像領域をベクトル化処理により符号化する第１の符号化工程と、
    背景特定手段が、前記非写真画像領域から背景領域を特定する背景特定工程と、
    塗り潰し手段が、前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し工程と、
    第２の符号化手段が、前記塗り潰し工程において前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化工程と
    を有し、
    前記背景特定工程では、
    前記非写真画像領域を、クラスタ毎の基準色との距離が基準値以内の画素をグループ化したクラスタに分割し、
    前記非写真画像領域の中において、前記非写真画像領域の端部を含むサンプル領域を設定し、当該サンプル領域中の画素を所定の基準よりも多く含むクラスタを前記背景領域として特定することを特徴とする画像符号化方法。
14. 非写真画像領域を含む文書画像を符号化する画像処理装置による画像符号化方法であって、
    領域特定手段が、文書画像を領域分離して非写真画像領域を特定する領域特定工程と、
    第１の符号化手段が、前記非写真画像領域をベクトル化処理により符号化する第１の符号化工程と、
    背景特定手段が、前記非写真画像領域から背景領域を特定する背景特定工程と、
    塗り潰し手段が、前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し工程と、
    第２の符号化手段が、前記塗り潰し工程において前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化工程と
    を有し、
    前記背景特定工程では、
    前記非写真画像領域を、クラスタ毎の基準色との距離が基準値以内の画素をグループ化したクラスタに分割し、
    彩度が予め定めた基準彩度よりも小さい色を持ち、かつ予め定めた基準画素数よりも大きなクラスタを前記背景領域として特定することを特徴とする画像符号化方法。
15. 非写真画像領域を含む文書画像を符号化する画像処理装置による画像符号化方法であって、
    領域特定手段が、文書画像を領域分離して非写真画像領域を特定する領域特定工程と、
    第１の符号化手段が、前記非写真画像領域をベクトル化処理により符号化する第１の符号化工程と、
    背景特定手段が、前記非写真画像領域から背景領域を特定する背景特定工程と、
    塗り潰し手段が、前記非写真画像領域において、前記背景領域以外の領域を前記背景領域の色で塗り潰す塗り潰し工程と、
    第２の符号化手段が、前記塗り潰し工程において前記非写真画像領域における前記背景領域以外の領域が塗り潰された後の文書画像を、画像圧縮手順で符号化する第２の符号化工程と
    を有し、
    前記背景特定工程では、
    前記非写真画像領域を、クラスタ毎の基準色との距離が基準値以内の画素をグループ化したクラスタに分割し、
    前記クラスタのうち、最も画素数の多いクラスタと比べて、画素数の差が基準値以内であるような他のクラスタがある場合、前記最も画素数の多いクラスタと前記他のクラスタとを含むクラスタの中で最も色の彩度が低いクラスタを前記背景領域として特定することを特徴とする画像符号化方法。

Images