JP5219706B2 - 画像処理装置、画像処理方法、及び、画像処理プログラム - Google Patents

Description

本発明は、画像を量子化する画像処理装置に関する。

近年、情報の電子化が進み、紙文書をそのまま保存するのではなく、スキャナ等でスキャンすることにより文書画像に電子化して保存したり、その文書画像の電子データを他装置に送信するシステムが普及している。そのようなシステムにおいては、送信時に、送信コストを削減するため、電子化された文書に対して高い圧縮性が要求される場合が多い。また、電子化データを部分的に編集できる再利用性と、拡大しても縮小しても画質が落ちない高画質性も要求されている。しかしながら、文書画像に文字領域や写真領域が混在する場合に、文字領域に適した圧縮を行うと画質は良いが圧縮率が低くなってしまい、写真領域に適した圧縮を行うと圧縮率は高いが文字が劣化してしまい、画質と圧縮性を全て満たすことが困難であった。

ところが、近年、様々な技術が開発されている。特許文献１には、電子化された文書画像を文字領域や写真領域に分離し、再利用性と高画質性が重視される文字領域をベクトルデータに変換し、ベクトル化で容易に再現できない写真領域等を圧縮して、各領域の圧縮結果を合成して出力する手法が記載されている。また、特許文献２には、今まで写真として圧縮されていた画像の中に、物体の輪郭に縁がついたように明瞭で出現色も限られている等の特徴を有する特定画像（イラスト）をベクトル化できる手法が記載されている。近年では、それらの手法によって、文書画像の高圧縮性、高画質性、再利用性が考えられている。

以上のような中で、ベクトル化処理の対象は、上述の紙文書のスキャン画像に限られることはない。例えば、特許文献３では、黒板やホワイトボードなどを複数台のカメラで撮影して、サーバに取り込み、パノラマ合成したときの継ぎ目が分からないようにするために、複数台のカメラの色調特性を合わせる。そして、色調補正を行った後の画像をパノラマ合成し、パノラマ合成した画像から、板書のベクトルデータを作成して、視認しやすい時系列のＷｅｂコンテンツにして保存することが開示されている。
特開２００４−２６５３８４号公報 特開２００６−３４４０６９号公報 特開２００６−１６２６９２号公報

ホワイトボードに記入された文字や図形部分は、上述の基本的に色数が限られ、輪郭を持つという上述の特定画像（イラスト）の特徴を有している。従って、デジタルカメラでホワイトボード等を撮影して得た画像においても、色特徴に基づいて色ごとに領域を分け、各色領域の輪郭線をベクトルデータに変換し、上述の高圧縮性、高画質性、再利用性を実現することが考えられる。

一方、デジタルカメラで撮影した画像は、スキャナで紙文書を読み取るのと異なり、フラッシュや照明条件の影響により照明ムラが発生しやすいという特徴がある。

したがって、今までのベクトル化手法では、照明ムラの影響で、近い色を持つイラスト部分と背景部分とが１つの領域になってしまい、イラストを綺麗に抽出できない。特に、入力画像がグレー画像の場合には、濃度値が近いイラスト部分と背景部分が多数存在するので、イラストと背景とが分離できなくなってしまう。

これに対して、画像を先に明度補正処理してからベクトル化処理を行うことが考えられる。しかしながら、明度補正処理は、ある程度の照明ムラを取るだけであり、結局、ベクトル化処理した結果として、上記の課題が生じてしまう。

本発明は、照明ムラのある明度変化の大きい入力画像を高精度に色ごとの領域に分割する画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、処理対象の画像から、照明の中心と明度の変化方向を示す照明情報を取得する取得手段と、
前記取得手段によって取得された照明情報と前記画像に含まれる各画素の色情報とに基づいて、前記画像を色ごとの領域にクラスタリングする分割手段と、
予め設定された領域数に応じて、前記分割手段によってクラスタリングされた前記色ごとの領域を統合する領域統合手段と、を備え、
前記分割手段は、
前記画像において、前記取得手段によって取得された照明情報に基づいて、前記照明の中心から前記明度の変化方向に従って、クラスタリングにおける閾値を段階的に設定する閾値設定手段と、
前記閾値設定手段によって段階的に設定された閾値に従って、前記画像を色ごとの領域にクラスタリングするクラスタリング手段と、を更に備え、
前記領域統合手段は、
前記画像において、色の変化が大きいエッジを抽出するエッジ抽出手段と、
前記分割手段によってクラスタリングされた前記色ごとの領域のうち、類似した色を有する２つの領域を選択し、当該選択された２つの領域が、共に前記エッジ抽出手段によって抽出されたエッジを含むか、もしくは、共にエッジを含まないか、または、いずれか一方の領域のみがエッジを含んでいるか判定する判定手段と、
前記判定手段における判定の結果、前記選択された２つの領域が、共に前記エッジ抽出手段で抽出されたエッジを含むか、または、共にエッジを含まないと判定された場合に、当該選択された２つの領域を統合する領域統合手段と、を更に備える、ことを特徴とする。

本発明によれば、照明ムラのある明度変化の大きい画像を高精度に色ごとの領域に分割する。

以下に、本発明を実施するための最良の形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。

＜第１の実施形態＞
＜装置構成＞
図１は、本発明に係る第１の実施形態における照明ムラのある画像のベクトル化を行う画像処理装置の機能ブロックを示す図である。図１に示すように、本画像処理装置は、デジタルカメラで撮影した特定画像を含む照明ムラのある画像を入力する入力部１１と、入力画像の歪み補正、明度補正を行う画像補正部１２とを含んでいる。なお、特定画像とは、色数が所定数以下に限られ（例えば３２色以内など）輪郭も明瞭な画像（例えば、イラスト画像や、ホワイトボードを撮影した画像など）のことを指すものとする。また、本画像処理装置は、画像補正部１２の明度補正処理を行った画像から、照明中心及び照明変化方向の情報を取得する照明情報取得部１３と、補正後の画像を色ごとに分離する画像の色分離処理部１４とを含んでいる。更に、本画像処理装置は、各色の領域の輪郭と色情報をベクトルデータに変換する画像のベクトル変換部１５と、ベクトル結果を出力する出力部１６とを含んでいる。

図１３は、図１に示す画像処理装置に用いられるデジタル複合機の主要部構成を示すブロック図である。尚、本実施形態では、デジタル複合機として、スキャナ機能やプリンタ機能を有する多機能周辺装置（ＭＦＰ）を用いているが、汎用のスキャナとパーソナルコンピュータとを接続したシステムを画像処理装置として用いても良い。ここで、ＭＦＰとは、「Multifunction Peripheral」の略である。図１３に示すように、本画像処理装置は、コントローラユニット２０００を備えている。コントローラユニット２０００には、画像入力デバイスであるデジタルカメラ２０７０や画像出力デバイスであるプリンタ２０９５が接続されている。また、コントローラユニット２０００は、デジタルカメラ２０７０で原稿画像から読み取られた画像データを、プリンタ２０９５によって印刷出力するようなコピー機能を実現するように制御することもできる。また、コントローラユニット２０００は、ＬＡＮ１００６や公衆回線（ＷＡＮ）１００８を介して他装置との間でパターン画像やデバイス情報等の入出力を行うように制御する。

コントローラユニット２０００は、図１３に示すように、ＣＰＵ２００１を含んでいる。ＣＰＵ２００１は、ＲＯＭ２００３に格納されているブートプログラムによりオペレーションシステム（ＯＳ）を立ち上げる。そして、このＯＳ上でハードディスクドライブであるＨＤＤ２００４に格納されているアプリケーションプログラムを実行することによって各種処理を実行する。また、図１に示す各機能ブロックは、ＣＰＵ２００１によって実行される。すなわち、本実施形態では、ＣＰＵがコンピュータプログラムを実行することにより、図１に示す各処理部として機能することになる。なお、このＣＰＵ２００１の作業領域として、ＲＡＭ２００２が用いられる。ＲＡＭ２００２はまた、ＣＰＵ２００１の作業領域だけでなく、画像データを一時記憶するための画像メモリ領域としても機能する。ＨＤＤ２００４は、上記のアプリケーションプログラムとともに、画像データを格納する。なお、本実施形態では、図１の各処理部を、ＣＰＵを用いて実現することとしたが、これに限るものではなく、その一部または全部を電子回路などのハードウェアで実現するようにしても構わない。

ＣＰＵ２００１には、システムバス２００７を介して、ＲＯＭ２００３やＲＡＭ２００２が接続されている。更に、ＣＰＵ２００１には、操作部ＩＦ（インタフェース）２００６、ネットワークＩＦ２０１０、モデム２０５０及びイメージバスＩＦ２００５が接続されている。

操作部ＩＦ２００６は、タッチパネルを有する操作部２０１２とのインタフェースであり、操作部２０１２に表示する画像データを操作部２０１２に対して出力する。また、操作部ＩＦ２００６は、操作部２０１２においてユーザにより入力された情報をＣＰＵ２００１に送出する。また、ネットワークＩＦ２０１０は、ＬＡＮ１００６に接続され、ＬＡＮ１００６を介してＬＡＮ１００６に接続された各装置との間で情報の入出力を行う。モデム２０５０は、公衆回線１００８に接続され、公衆回線１００８を介して他装置との間で情報の入出力を行う。

イメージバスＩＦ２００５は、システムバス２００７と、画像データを高速で転送する画像バス２００８を接続し、データ構造を変換するためのバスブリッジである。画像バス２００８は、ＰＣＩバスにより又はＩＥＥＥ１３９４に従って構成される。画像バス２００８上には、ラスタイメージプロセッサ（ＲＩＰ）２０６０、デバイスＩＦ２０２０、画像補正部２０８０、画像処理部２０９０、プリント処理部２０３０、及び、画像圧縮部２０４０が接続されている。ＲＩＰ２０６０は、ＰＤＬコードをビットマップイメージに展開するプロセッサである。デバイスＩＦ２０２０には、デジタルカメラ２０７０及びプリンタ２０９５が接続され、画像データの同期系／非同期系の変換が行なわれる。画像補正部２０８０は、入力画像データに対して歪み補正や明度補正を行う。画像処理部２０９０は、入力画像に対して照明ムラを取り、色分離の処理等を行なう。プリント処理部２０３０は、プリント出力画像データに対してプリンタに出力するための画像の補正、解像度変換等を行う。画像圧縮部２０４０は、多値画像データをＪＰＥＧデータに、ニ値画像データをＪＢＩＧ、ＭＭＲ、ＭＨ等のデータに圧縮すると共に、その伸長処理も行う。

＜特定画像（イラストや文字）を含む照明ムラのある画像のベクトル化処理の概要＞
図２は、特定画像（イラストや文字）を含む照明ムラのある画像のベクトル化処理の手順の概略を示すフローチャートである。この画像は、例えば、図形や文字などが書き込まれたホワイトボードをデジタルカメラで撮影することによって得られる画像であるとする。図２に示す各ステップにおける処理は、例えば、図１３に示すＣＰＵ２００１によって実行される。以下、図１を参照しながら図２を説明する。

先ず、入力部１１は、照明ムラのある画像を入力する（ステップＳ１１）。次に、画像補正部１２は、入力画像の歪み補正及び明度補正を行う（ステップＳ１２）。この歪み補正を行う方法としては公知の方法を適用することができる。例えば、ホワイトボードを斜め方向から撮影した場合は四辺形状に歪むので、ホワイトボードの四辺を検知して、その四辺形が長方形になるように歪み補正を行えばよい。なお、ホワイトボードの四辺は、例えば隣接画素との明暗差が大きい画素が直線状に並んでいる部分を検知することによって行うことができる。なお、ホワイトボードを対象とする場合、そのホワイトボードの部分以外の影響を除くために、ホワイトボードの部分だけを後段の処理対象とする（例えば、その部分だけを切り出すクリッピング処理を行う）のが望ましい。また、明度補正処理を実現する一例として、公知のレティネックス法（Retinex Method）が用いることができる。ただし、明度変化が大きい画像の場合、レティネックス法を用いたとしても、画像全体に渡って全ての照明ムラを補正することは困難であるため、本発明では更に後述の処理を行う。

次に、照明情報取得部１３は、ステップＳ１２で明度補正された画像から照明の中心と明度の変化方向を示す照明情報を取得する（ステップＳ１３）。照明の中心は、例えば、ステップＳ１２で明度補正された画像の一番明るい部分の位置を照明の中心として取得するものとするが、これに限るものではない。例えば、ステップＳ１２で明度補正された画像をガウス混合分布で近似し、そのガウス分布の中央を、照明の中心として用いるようにしてもよい。また、明度の変化方向は、例えば、ステップＳ１２で明度補正された画像を微分することによって得た微分画像に基づいて、明度の変化方向を求めればよい。本実施形態においては、ここで取得された照明の中心と明度の変化方向を示す照明情報に従って、後のステップで行なわれるクラスタリングにおける閾値が動的に設定される。

次に、画像の色分離処理部１４は、ステップＳ１３で取得した照明情報と画像にある各画素の色情報とを用いて、クラスタリングにおける閾値を動的に定めることによって、画像を色ごとの領域（クラスタ）に分ける（ステップＳ１４）。

ここで、クラスタリングにおける閾値とは、着目する画素の色と、クラスタ化されている他の画素の色とが類似しているか否かを判定する際に用いられる値である。即ち、本実施形態においては、照明情報に応じて、色の類似性を定める基準を設定している。

次に、画像のベクトル変換部１５は、ステップＳ１５で分割された各色の領域（クラスタ）の輪郭と色とをベクトルデータに変換する（ステップＳ１５）。出力部１６は、ステップＳ１５のベクトル結果を出力する（ステップＳ1６）。

図３は、本実施形態における入力画像の一例を示す図である。即ち、図３は、ステップＳ１１において用いられる入力画像の一例を示している。図３に示す画像は、色が付いた文字部分と図形部分とを含むホワイトボードをデジタルカメラで撮影することによって得た入力画像である。また、図４は、本実施形態において、入力画像のホワイトボード部分を歪み補正処理及び明度補正処理した後の画像を示す図である。また、この図４では、画像補正部１２が、歪み補正を行った時点でホワイトボードの部分をクリッピング処理（切り抜き処理）してから、明度補正処理した場合の画像を示している。即ち、図４は、ステップＳ１２の処理が行われた後の画像の一例を示している。図４に示す画像においては、検出された歪みが補正され、照明ムラもある程度補正されている。

＜画像の色分離処理＞
以下、図２のステップＳ１４に示す照明ムラのある画像に対しての色分離処理について、図５を参照して説明する。先ず、ステップＳ１４１では、図２に示すステップＳ１２において歪み補正及び明度補正された画像が画像の色分離処理部１４に入力される。

次に、ステップＳ１４２では、画像にある画素の色情報に基づき、色の近い領域に分ける領域分割（クラスタリング）処理が行われる。ここで、本実施形態においては、ステップＳ１３で取得された照明の中心及び明度の変化方向を示す照明情報に従って、クラスタリングにおける閾値が動的に設定されて、クラスタリングが実行される。図４に示すように、ステップＳ１２における処理が行われても照明ムラはある程度残ってしまう。ここで、クラスタリングの際に閾値が画像内に１つに固定されていると、同じ色であるはずの部分が、その照明ムラに起因していくつかの領域に分離してしまう。その結果、文字や図形等の有意義な部分（前景）と背景とが１つの領域になってしまう場合が発生する。そこで、本実施形態においては、ステップＳ１３において取得された照明情報に従って閾値を動的に設定することによって、そのような問題が発生することを防いでいる。また、本実施形態において、クラスタとは同一の色を有する領域のことをいう。クラスタリング処理については、図６を参照して後述する。

次に、ステップＳ１４３では、クラスタ化された領域の色情報と、エッジ情報とに基づき、領域の統合を行う領域統合（以下、クラスタ統合処理ともいう）処理が行なわれる。ステップＳ１４３の処理は、ステップＳ１４２でクラスタ化された数が予め定められた所望のクラスタ数より多い場合に行われる。その場合に、色の近い文字のクラスタ同士が統合され、更に、色の近い背景のクラスタ同士が統合される。本実施形態においては、統合する際にクラスタのエッジ情報を参照することによって、文字のクラスタと背景のクラスタとが統合されてしまうことを防いでいる。クラスタ統合処理については、図７を参照して説明する。

次に、ステップＳ１４４では、クラスタ統合処理において発生した微小領域をノイズ領域として特定する。例えば、統合後のクラスタにおいて、連結画素が３画素以下の面積を有する微小領域についてはノイズ領域として判定する。なお、ノイズとして判定する閾値は３画素に限るものではなく、処理対象にする画像の種類に応じて適宜変えるのが望ましい。ステップＳ１４５では、ノイズ領域にあるノイズ画素を、当該ノイズ領域に隣接するクラスタの中で最も色の近いクラスタに属する画素とする。即ち、ステップＳ１４５において、ノイズ領域が、色の近い画素を含む他の領域に置き換えられることを意味する。本実施形態において、ステップＳ１４４〜Ｓ１４５に示す処理によって、ノイズとなる微小領域をそのままベクトル化してデータ量が増大してしまうことを防いでいる。

ステップＳ１４６では、色分離処理の結果が、ベクトル処理（図２に示すステップＳ１５）に渡される。

以上のように、本実施形態においては、照明ムラのある入力画像について色分離処理を行う際にも、また、色の領域数を変更するなどの色領域の編集を行う際にも、文字と背景とが同一クラスタ化されてしまうことを防ぐことができる。以下、図５のＳ１４２とＳ１４３に示したクラスタリング処理、及び、クラスタ統合処理の詳細について説明する。

＜クラスタリング処理＞
以下、図５のステップＳ１４２に示すクラスタリング処理について、図６を参照して説明する。先ず、ステップＳ１４２１では、ステップＳ１３で取得された照明の中心及び明度の変化方向の情報に従って、クラスタリングの際に用いられる閾値（前景と背景を判定するための閾値）が動的に複数設定される。ここで、図８は、図４の画像（ステップＳ１２の画像補正処理後の画像）の照明情報を示す図である。図８に示すように、最も明るい部分が照明の中心であり、中心から明度の変化方向に沿って次第に暗くなっている。本実施形態においては、この特徴によって、クラスタリングの際に用いられる閾値が段階に応じて決定される。以下、クラスタリングにおける閾値を設定する閾値設定の一例について説明する。

まず、照明の中心を円心にし、円心から近い半径以内（例えば、Ｒ≦Ｒ１）の領域に存在する画素については、クラスタリングにおける１つの閾値が設定される。次に、少し遠い半径以内（例えば、Ｒ１＜Ｒ≦Ｒ２）の環状の領域に存在する画素については、クラスタリングにおける他の閾値が設定される。また、更に遠い半径以内の領域（例えば、Ｒ２＜Ｒ≦Ｒ３の領域や、Ｒ＞Ｒ３の領域）に存在する画素については、クラスタリングにおける他の閾値が設定される。半径Ｒ１、Ｒ２、Ｒ３は、例えば、図８に示す明度分布において、明度の変化度合に基づいて図８を４つの領域に分け、照明の中心から各領域の境界までの距離を、照明の中心から近い順に、Ｒ１、Ｒ２、Ｒ３と決定しても良い。明度分布に基づいた領域が決定されたならば、上述のように、クラスタリングにおける閾値が各領域ごとに設定される。ここで、クラスタリングの閾値は、円心から離れるに従って、低くなるように段階的に設定される。これは円心から離れるのにしたがって暗くなっていくので、前景と背景との色の差が小さくなるため、これらを分離できるように閾値も小さくする必要があるためである。例えば、各領域（円または環状の領域）ごとに、色分布の統計を取ってクラスタリングの閾値を定めるものとする。例えば、色分布の広がり（変化度合）が大きい場合は、前景と背景との色の差も比較的大きいと考えられるので、閾値は相対的に大きい値を設定し、色分布の変化度合が小さければ、閾値は相対的に小さい値に設定すればよい。また、４つの領域それぞれでクラスタリングにおける閾値を設定する例を示したが、これに限るものではなく、処理対象となる画像の明度変化に応じて、クラスタリングにおける閾値の数は変化することになる。

以上のように、クラスタリングにおける閾値を画像全体で共通に１つ設定するのではなく、照明による明度変化の特徴に従って各領域で段階的に設定する。その結果、ステップＳ１２における明度補正処理で補正し切れない照明ムラによって、クラスタリングの際に、文字や図形など有意義の部分（前景）と色の近い背景とが１つの領域となることを防ぐことができる。

以下に説明するステップＳ１４２２〜Ｓ１４２７の処理は、ステップＳ１４２１で設定した各領域（円または環状の領域）ごとに個別に行われるものとする。

次に、ステップＳ１４２２では、ラスタスキャンを開始する画素について、最初のクラスタを生成する。ステップＳ１４２３では、次にスキャンされる画素（対象画素とする）について、この時点で生成済みの全てのクラスタ間との類似度（即ち、色特徴の距離値）を求める。ここで、類似度が高いほど、その対象画素の特徴量とクラスタの特徴量との距離値が小さいとしている。本実施形態においては、色空間における画素間の距離を示す類似度の計算にＲＧＢ値が用いられているが、他のカラー空間の情報、又は、カラー以外の情報が類似度の計算に用いられても良い。

ステップＳ１４２４では、対象画素との距離値が最も小さいクラスタ（すなわち最も類似しているクラスタ）に対応するクラスタ番号を取得し、その距離値を、ステップＳ１４２１において動的に設定された閾値と比較する。ここで、距離値が閾値以下であれば、ステップＳ１４２５に進み、対象画素を当該距離値が最も小さいクラスタ（すなわち最も類似しているクラスタ）に属させる。一方、距離値が閾値より大きければ、ステップＳ１４２６に進み、対象画素はその時点で生成済みのクラスタとは別のクラスタに属するとして、新たなクラスタを生成する。上述のように、本実施形態においては、照度の中心から離れるに従ってクラスタリングにおける閾値を小さくしている。これは、照明の中心から離れる位置にある画素ほど、前景と背景との距離値が小さくなりやすいので、生成済みのクラスタに属させる際の閾値も小さくしている。すなわち、照明の中心から離れる位置にある画素ほど、より距離値が小さい（すなわち、より類似している）ときにのみ、生成済みのクラスタに属させることになる。

次に、ステップＳ１４２７では、画像内の全ての画素について処理が終了したか否かを判断する。ここで、未処理の画素があれば、ステップＳ１４２３〜Ｓ１４２７の処理を繰り返す。

＜クラスタ統合処理＞
以下、図５のステップＳ１４３に示すクラスタ統合処理について、図７を参照して説明する。先ず、ステップＳ１４３１では、ステップＳ１２の処理による明度補正後の画像（図４）から、色の変化が大きい箇所（以下、色間のエッジとする）を抽出する。ここで、エッジ抽出手法として、公知のLaplacianフィルタを用いるが、それ以外のエッジ抽出手法が用いられても良い。ステップＳ１４３１に示す処理が行われると、例えば、図４に示す「Ｓ」という文字の輪郭線がエッジとして抽出される。なお、本実施形態では、文字画像と背景との境界の画素のうち、文字画像側（前景側）の画素をエッジ画素として判定するものとする。

次に、ステップＳ１４３２では、クラスタ化される目標値（即ち、領域の目標分離数）が入力される。ここで、その目標値は、画像内に存在する色数を予め想定しておき、予め定められるようにしても良い。例えば、ホワイトボードの場合に使用されるペンの色数は少ない（例えば６色程度）ので、目標とするクラスタ数は１２程度にしておいてもよい。次に、ステップＳ１４３３では、ステップＳ１４２において処理された現在のクラスタ数を計算する。

ステップＳ１４３４では、現在のクラスタ数を目標値と比較する。ここで、現在のクラスタ数が目標値より大きい場合に、ステップＳ１４３５〜ステップＳ１４３８に示されるクラスタ統合処理が行われる。一方、現在のクラスタ数が目標値以下である場合には、本処理を終了し、図５に示すステップＳ１４４に進む。

ステップＳ１４３５では、各クラスタ間の類似度を計算し、ステップＳ１４３６において、最も類似度の高い２つのクラスタ（クラスタペア）を選択する。

次に、ステップＳ１４３７で、その２つのクラスタが、両方ともステップＳ１４３１で抽出されたエッジ情報を含んでいるか、又は、両方ともエッジ情報を含んでいないかを判定する。ここで、両方ともエッジ情報を含んでいるか、又は、両方ともエッジ情報を含んでいない場合に該当するのであれば、ステップＳ１４３８において、２つのクラスタを１つのクラスタに統合する。すなわち、２つのクラスタがどちらもエッジ画素を含む前景同士、またはエッジ画素を含まない背景同士であれば統合することになる。ステップＳ１４３８のクラスタ統合処理は、現在のクラスタ数が目標値以下になるまで繰り返される。一方、ステップＳ１４３７において、いずれの場合にも該当しないのであれば（例えば、いずれか一方のクラスタのみエッジ情報を含んでいる場合）、ステップＳ１４３５に戻り、その次に類似度の高い２つのクラスタを検出し、ステップＳ１４３７の判定を行う。

以上のように、本実施形態においては、減色処理等におけるクラスタ統合処理の場合に、色特徴の差のみでなく、エッジ情報も見てクラスタを統合するかを判断する。その結果、エッジが多数ある文字や図形など有意義の部分（前景部分）と、エッジが殆んどない背景とが１つの領域にクラスタ化されてしまうことを防ぐことができる。

＜微小領域の処理＞
以下、図５のステップＳ１４４、Ｓ１４５に示した微小領域の特定処理、及び、微小領域の再処理について説明する。図５に示すステップＳ１４４において、微小領域の判定処理が行なわれる。ステップＳ１４４においては、先ず、ステップＳ１４３で統合された各クラスタにおいて、ラベリング処理を行う（すなわち、同色の連結画素を求める）。そして、各ラベリングされた領域（すなわち連結画素）の面積（例えば、その領域内に存在する画素数）を算出する。ここで、ラベリングされた各領域の面積が、予め定められた基準値より小さければ、その領域をノイズ領域として特定する（ノイズ領域特定）。

次に、ステップＳ１４５において、ノイズ領域を再処理する。ステップＳ１４５においては、先ず、ステップＳ１４４において特定されたノイズ領域に含まれた各画素について、隣接した画素が属するクラスタとの色の類似度を計算する。次に、ノイズ領域を、最も類似度の高いクラスタに属するとしてクラスタの変更を行う。ここで、例えば、ノイズ領域のラベリングが変更されることによって実行されても良い（領域置き換えの一例）。ステップＳ１４４及びＳ１４５に示す微小領域の特定処理及び再処理によって、例えば圧縮画像の圧縮歪みにより発生するノイズをそのままベクトル化することによって発生するデータ量の増大を防ぐことができる。

本実施形態においては、処理対象の画像に色のあるカラー部分（有彩色領域）と色のない白黒部分（無彩色領域）との両方に対して同様に、照明情報に基づいたクラスタリングにおける閾値が設定されている。しかしながら、処理対象の画像の色彩情報と照明情報とを用いて、色のあるカラー部分と色のない白黒部分それぞれにおいて、クラスタリングにおける閾値を動的に設定するようにしても良い。

例えば、ステップＳ１２において補正された画像について、ＲＧＢカラー空間からＨＳＶカラー空間への変換を実行する（彩度情報取得の一例）。ここで、Ｈは色相を示し、Ｓは色彩を示し、Ｖは輝度を示している。また、ＨＳＶカラー空間以外に、彩度情報を取得できるカラー空間への変換できるのであれば、ＨＳＶカラー空間以外に変換されても良い。

次に、色彩を示すＳ情報に基づき、画像をカラー領域と白黒領域とに区分する。次に、上述したように、照明の中心及び明度の変化方向に基づいて、照明中心を円心にしてクラスタリングにおける閾値を動的に設定する。ここで、カラー領域用と白黒領域のそれぞれの領域において別々に、クラスタリングにおける閾値が動的に設定されるようにしてもよい。

＜第２の実施形態＞
次に、第２の実施形態について説明する。デジタルカメラ入力画像には、文字等の有意義な部分があるが、一方、白板消しやマグネット等不要なものを含んでいる場合もある。このような入力画像に関して、ベクトルデータサイズを削減するために、画像から不要な情報を取り除くことが必要となる。そのため、第２の実施形態においては、画像の色分離処理後に、マグネット等不要な情報を削除してベクトル化する。

＜装置構成＞
図９は、第２の実施形態において、照明ムラのある画像のベクトル化を行う画像処理装置の機能ブロックを示す図である。図９に示すように、本画像処理装置は、デジタルカメラで撮影した特定画像（イラストや文字）を含む照明ムラのある画像を入力する入力部１１と、入力画像の歪み補正、明度補正を行う画像補正部１２とを含んでいる。また、本画像処理装置は、画像補正部の明度補正処理から照明の中心及び明度の変化方向の情報を取得する照明情報取得部１３と、補正後の画像を色ごとに分離する画像の色分離処理部１４とを含んでいる。更に、本画像処理装置は、画像の色分離処理の結果から不要な部分を取り除く削除処理部３５と、色の領域の輪郭と色情報とをベクトルデータに変換する画像のベクトル変換部１５と、ベクトル結果を出力する出力部１６とを含んでいる。

＜特定画像（イラストや文字）を含む照明ムラのある画像のベクトル化処理の概要＞
図１０は、特定画像（イラスト）を含む照明ムラのある画像のベクトル化処理の概要の手順を示すフローチャートである。図１０に示す各ステップにおける処理は、例えば、図１３に示すＣＰＵ２００１によって実行されても良い。以下、図９を参照しながら図１０を説明する。なお、図１０において、図２とステップの参照番号が同じ箇所は、図２における説明と同様である。

先ず、入力部１１は、照明ムラのある画像を入力する（ステップＳ１１）。次に、画像補正部１２は、入力画像の歪み補正及び明度補正を行う（ステップＳ１２）。次に、照明情報取得部１３は、ステップＳ１２で明度補正された画像から照明の中心及び照度の変化方向の情報を取得する（ステップＳ１３）。次に、画像の色分離処理部１４は、ステップＳ１３で取得された照明情報と各画素の色情報に基づいて画像を色ごとの領域に分離する（ステップＳ１４）。

次に、画像において不要の部分を取り除く削除処理部３５は、ステップＳ１４で分離された各色の領域から不要の領域を抽出し削除する（ステップＳ３５）。次に、画像のベクトル変換部１５は、ステップＳ１４に示す処理の結果、各色の領域の輪郭と色とをベクトルデータに変換する（ステップＳ1５）。次に、出力部１６は、ステップＳ１５のベクトル結果を出力する（ステップＳ１６）。

ここで、図１１は、本実施形態において、不要な部分を含む入力画像の一例を示す図である。図１１において太線に囲まれた部分が不要な部分である。

＜画像の要らない部分取り除く処理＞
以下、ステップＳ３５に示す画像から不要な部分を抽出して削除する削除処理について、図１２を参照して説明する。先ず、ステップＳ３５１では、削除処理部３５は、ステップＳ１４における色分離処理の結果を入力する。この処理において、各色の領域（クラスタ）の色と、各画素が属している領域の番号情報（例えば、ラベリング情報）が取得される。

次に、ステップＳ３５２では、色分離処理によって分離された各色の領域（クラスタ）に含まれた画素の数を参照し、画素の数が多い領域を背景領域として同定する（第１の領域同定の一例）。ここで、画素の数により背景が同定されているが、それ以外の方法が用いられて背景が同定されても良い。

次に、ステップＳ３５３では、ステップＳ３５２で同定された背景領域と隣接し、且つ、画素の数が予め定められた基準値以下である領域（クラスタ）を不要領域として同定する（第２の領域同定の一例）。なお、このとき、ホワイトボードの白板消しなどは、ホワイトボードの下部に存在することが多いので、画素数が基準値以下であるかと、そのクラスタの位置が画像の下部であるかとを判定することにより、不要領域かどうか判定するのがよい。また、上記条件に加えて、当該クラスタの近傍に同じ色の別クラスタがないかどうかの判断を行い、なければ不要領域とし、あれば文字などのクラスタの一部である可能性があるので不要領域ではないと判断してもよい。次に、ステップＳ３５４では、ステップＳ３５３で同定された不要領域に含まれた画素の領域番号を背景の領域番号に置き換えて変更する（不要領域置き換えの一例）。次に、ステップＳ３５５では、ステップＳ３５４の結果、画像から不要な部分が削除された結果をステップＳ１５に示すベクトル化処理に渡す。

本実施形態においては、以上のように、照明ムラのある入力画像において、第１の実施形態において説明したような色の領域分離処理を行うとともに、画像において不要な部分を削除することによって、画像のベクトルデータ量を低減することができる。また、文字や図形など有意義な部分のみを含んだ画像処理の結果を用いて、ＯＣＲ認識することができる。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接或いは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。

つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯが用いられる。若しくは、例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）が用いられる。

その他、プログラムは、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給される。即ち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれる。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラム（画像処理プログラム）を実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全てを行い、その処理によっても前述した実施形態の機能が実現され得る。更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。即ち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全てを行うことによっても前述した実施形態の機能が実現される。

本発明に係る第１の実施形態における照明ムラのある画像のベクトル化を行う画像処理装置の機能ブロックを示す図である。 特定画像（イラスト）を含む照明ムラのある画像のベクトル化処理の手順の概略を示すフローチャートである。 本実施形態における入力画像の一例を示す図である。 本実施形態における入力画像の補正処理後の画像を示す図である。 図２のステップＳ１４に示す照明ムラのある画像に対しての色分離処理の手順を示すフローチャートである。 図５のステップＳ１４２に示すクラスタリング処理の手順を示すフローチャートである。 図５のステップＳ１４３に示すクラスタ統合処理の手順を示すフローチャートである。 明度補正前の画像の照明情報を示す図である。 第２の実施形態における照明ムラのある画像のベクトル化を行う画像処理装置の機能ブロックを示す図である。 特定画像（イラスト）を含む照明ムラのある画像のベクトル化処理の概要の手順を示すフローチャートである。 本実施形態における不要な部分を含む入力画像の一例を示す図である。 ステップＳ３５に示す画像の色分離処理の各色の領域から不要な部分を抽出して削除する削除処理の手順を示すフローチャートである。 図１に示す画像処理装置に用いられるディジタル複合機の主要部構成を示すブロック図である。

符号の説明

２００７ システムバス
２００８ 画像バス

Claims (12)

1. 処理対象の画像から、照明の中心と明度の変化方向を示す照明情報を取得する取得手段と、
   前記取得手段によって取得された照明情報と前記画像に含まれる各画素の色情報とに基づいて、前記画像を色ごとの領域にクラスタリングする分割手段と、
   予め設定された領域数に応じて、前記分割手段によってクラスタリングされた前記色ごとの領域を統合する領域統合手段と、を備え、
   前記分割手段は、
   前記画像において、前記取得手段によって取得された照明情報に基づいて、前記照明の中心から前記明度の変化方向に従って、クラスタリングにおける閾値を段階的に設定する閾値設定手段と、
   前記閾値設定手段によって段階的に設定された閾値に従って、前記画像を色ごとの領域にクラスタリングするクラスタリング手段と、を更に備え、
   前記領域統合手段は、
   前記画像において、色の変化が大きいエッジを抽出するエッジ抽出手段と、
   前記分割手段によってクラスタリングされた前記色ごとの領域のうち、類似した色を有する２つの領域を選択し、当該選択された２つの領域が、共に前記エッジ抽出手段によって抽出されたエッジを含むか、もしくは、共にエッジを含まないか、または、いずれか一方の領域のみがエッジを含んでいるか判定する判定手段と、
   前記判定手段における判定の結果、前記選択された２つの領域が、共に前記エッジ抽出手段で抽出されたエッジを含むか、または、共にエッジを含まないと判定された場合に、当該選択された２つの領域を統合する領域統合手段と、を更に備える、
   ことを特徴とする画像処理装置。
2. 前記クラスタリングにおける閾値は、着目する画素の色と、生成済みのクラスタの色とが類似しているか否かを判定する際に用いられる値であって、前記照明の中心から前記明度の変化方向に離れるにつれて段階的に低くなるように設定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記クラスタリング手段は、前記着目する画素の色と前記生成済みのクラスタの色との間の色空間における距離が、前記クラスタリングにおける閾値以下である場合に、当該着目する画素を当該生成済みのクラスタに属させ、前記クラスタリングにおける閾値より大きい場合に、当該着目する画素を新たに生成するクラスタに属させることを特徴とする請求項２に記載の画像処理装置。
4. 前記分割手段は、
   前記領域統合手段によって統合された領域のうち、予め定められた基準値より少ない画素を含む領域をノイズ領域として特定するノイズ領域特定手段と、
   前記ノイズ領域特定手段によって特定されたノイズ領域に含まれる画素の色を隣接した画素が属する領域の色と比較して、前記ノイズ領域特定手段によって特定されたノイズ領域を、最も類似した色の領域に置き換える領域置き換え手段と、
   を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記閾値設定手段は、
   彩度情報を取得する彩度情報取得手段と、
   前記彩度情報取得手段によって取得された彩度情報を参照して、画像の領域を有彩色領域と無彩色領域とに区分する区分手段とを更に備え、
   前記区分手段によって区分された有彩色領域と無彩色領域とのそれぞれにおいて、色を決定する閾値を段階的に設定する、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 入力画像において明度を補正する明度補正手段を更に有し、
   前記処理対象の画像は、前記明度補正手段により明度が補正された入力画像であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記領域統合手段によって統合された領域をベクトルデータに変換する変換手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 画像処理装置において実行される画像処理方法であって、
   前記画像処理装置の取得手段が、処理対象の画像から、照明の中心と明度の変化方向を示す照明情報を取得する取得工程と、
   前記画像処理装置の分割手段が、前記取得工程において取得された照明情報と前記画像に含まれる各画素の色情報とに基づいて、前記画像を色ごとの領域にクラスタリングする分割工程と、
   前記画像処理装置の領域統合手段が、予め設定された領域数に応じて、前記分割手段によってクラスタリングされた前記色ごとの領域を統合する領域統合工程と、を有し、
   前記分割工程は、
   前記画像において、前記取得工程において取得された照明情報に基づいて、前記照明の中心から前記明度の変化方向に従って、クラスタリングにおける閾値を段階的に設定する閾値設定工程と、
   前記閾値設定工程において段階的に設定された閾値に従って、前記画像を色ごとの領域にクラスタリングするクラスタリング工程と、を更に有し、
   前記領域統合工程は、
   前記画像において、色の変化が大きいエッジを抽出するエッジ抽出工程と、
   前記分割工程においてクラスタリングされた前記色ごとの領域のうち、類似した色を有する２つの領域を選択し、当該選択された２つの領域が、共に前記エッジ抽出工程において抽出されたエッジを含むか、もしくは、共にエッジを含まないか、または、いずれか一方の領域のみがエッジを含んでいるか判定する判定工程と、
   前記判定工程における判定の結果、前記選択された２つの領域が、共に前記エッジ抽出工程で抽出されたエッジを含むか、または、共にエッジを含まないと判定された場合に、当該選択された２つの領域を統合する領域統合工程と、を更に有する、
   ことを特徴とする画像処理方法。
9. 処理対象の画像から、照明の中心と明度の変化方向を示す照明情報を取得する取得手段と、
   前記取得手段によって取得された照明情報と前記画像に含まれる各画素の色情報とに基づいて、前記画像を色ごとの領域にクラスタリングする分割手段と、
   予め設定された領域数に応じて、前記分割手段によってクラスタリングされた前記色ごとの領域を統合する領域統合手段と、してコンピュータを機能させ、
   前記分割手段は、
   前記画像において、前記取得手段によって取得された照明情報に基づいて、前記照明の中心から前記明度の変化方向に従って、クラスタリングにおける閾値を段階的に設定する閾値設定手段と、
   前記閾値設定手段によって段階的に設定された閾値に従って、前記画像を色ごとの領域にクラスタリングするクラスタリング手段と、を更に備え、
   前記領域統合手段は、
   前記画像において、色の変化が大きいエッジを抽出するエッジ抽出手段と、
   前記分割手段によってクラスタリングされた前記色ごとの領域のうち、類似した色を有する２つの領域を選択し、当該選択された２つの領域が、共に前記エッジ抽出手段によって抽出されたエッジを含むか、もしくは、共にエッジを含まないか、または、いずれか一方の領域のみがエッジを含んでいるか判定する判定手段と、
   前記判定手段における判定の結果、前記選択された２つの領域が、共に前記エッジ抽出手段で抽出されたエッジを含むか、または、共にエッジを含まないと判定された場合に、当該選択された２つの領域を統合する領域統合手段と、を更に備える、
   ことを特徴とする画像処理プログラム。
10. 処理対象の画像を色ごとの領域に分割する画像処理装置であって、
    処理対象の画像から、照明の中心と明度の変化方向を示す照明情報を取得する取得手段と、
    前記取得手段によって取得された照明情報と前記画像に含まれる各画素の色情報とに基づいて、前記画像を色ごとの領域に分割する分割手段と、
    前記分割手段によって分割された色ごとの領域のうち、最も多い画素数を含む色領域を背景領域として同定する第１の領域同定手段と、
    前記第１の領域同定手段によって同定された背景領域と隣接し、予め定められた基準値以下の画素数を含む領域を不要領域として同定する第２の領域同定手段と、
    前記第２の領域同定手段によって同定された不要領域を前記背景領域に置き換える不要領域置き換え手段と、
    前記不要領域置き換え手段によって不要領域が背景領域に置き換えられた後の領域をベクトルデータに変換する変換手段と
    を備えることを特徴とする画像処理装置。
11. 処理対象の画像を色ごとの領域に分割する画像処理装置において実行される画像処理方法であって、
    前記画像処理装置の取得手段が、前記画像から、照明の中心と明度の変化方向を示す照明情報を取得する取得工程と、
    前記画像処理装置の分割手段が、前記取得工程において取得された照明情報と前記画像に含まれる各画素の色情報とに基づいて、前記画像を色ごとの領域に分割する分割工程と、
    前記画像処理装置の第１の領域同定手段が、前記分割工程において分割された色ごとの領域のうち、最も多い画素数を含む色領域を背景領域として同定する第１の領域同定工程と、
    前記画像処理装置の第２の領域同定手段が、前記第１の領域同定工程において同定された背景領域と隣接し、予め定められた基準値以下の画素数を含む領域を不要領域として同定する第２の領域同定工程と、
    前記画像処理装置の不要領域置き換え手段が、前記第２の領域同定工程において同定された不要領域を前記背景領域に置き換える不要領域置き換え工程と、
    前記画像処理装置の変換手段が、前記不要領域置き換え工程において不要領域が背景領域に置き換えられた後の領域をベクトルデータに変換する変換工程と
    を備えることを特徴とする画像処理方法。
12. 処理対象の画像を色ごとの領域に分割するための画像処理プログラムであって、
    前記画像から、照明の中心と明度の変化方向を示す照明情報を取得する取得手段と、
    前記取得手段によって取得された照明情報と前記画像に含まれる各画素の色情報とに基づいて、前記画像を色ごとの領域に分割する分割手段と、
    前記分割手段によって分割された色ごとの領域のうち、最も多い画素数を含む色領域を背景領域として同定する第１の領域同定手段と、
    前記第１の領域同定手段によって同定された背景領域と隣接し、予め定められた基準値以下の画素数を含む領域を不要領域として同定する第２の領域同定手段と、
    前記第２の領域同定手段によって同定された不要領域を前記背景領域に置き換える不要領域置き換え手段と、
    前記不要領域置き換え手段によって不要領域が背景領域に置き換えられた後の領域をベクトルデータに変換する変換手段と
    してコンピュータを機能させることを特徴とする画像処理プログラム。