JP4977189B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、例えばスキャナなどによって光学的に読み取られた帳票の画像から帳票の背景、帳票に印刷された文字や図形などの色を表現する画像処理装置および画像処理方法に関する。

例えばスキャナやカメラなどの撮像手段で撮像された画像は、多くの場合、赤、緑、青の三刺激値の組合せで色を表現するＲＧＢ表色系で表現されている。

しかしながら、ＲＧＢ表色系ではいずれの成分も色の心理的な特徴を表しているとは言えないため、色相、彩度、明度の三成分で色を表現するＨＳＶ表色系や、色相、輝度、彩度の三成分で色を表現するＨＬＳ表色系などが通用している。

色の判別に関する従来の技術としては、例えば特定領域内のカラー画像の画素を色空間上に写像して得られた色空間上の点分布を検出し色の種類を特定する技術が開示されている（例えば特許文献１参照）。

特開平７−４４７０９号公報

しかしながら、手書きされた帳票などの印刷物の紙面上における印刷や記入に用いられたインクの色表現を行う場合、ＨＳＶ表色系やＨＬＳ表色系など既存の表色系では、筆圧や線幅の違い等に起因するインク濃度の変化に伴って彩度と明度、または輝度と彩度のいずれもが変化してしまい、インクの種類を特徴づけることができないという問題があった。

このため、ＨＳＶ表色系では、例えば赤色のインクによる記入文字と茶色のインクによって印刷された罫線の画素を区別するのは困難である。これは、既存の表色系がインクによる色の変化の特徴ではなく紙面の色とインクの種類と濃度の組合せを特徴づけており、必ずしもインク単体を特徴づけているとは言えないからである。

本発明はこのような課題を解決するためになされたもので、帳票への印刷や記入に用いられたインクによる色の変化を特徴づける成分を分離した形で色の表現を行うことを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、帳票のカラー画像が記憶された記憶部と、前記記憶部から読み出した前記カラー画像から背景色ベクトルを算出する背景色算出部と、前記背景色ベクトルを、指定された画素値を要素とする入力ベクトルまたは前記カラー画像の各画素の画素値を要素とする入力ベクトルから差し引くことで差分色ベクトルを求める差分色ベクトル算出部と、Ｎ次元（Ｎは２以上の整数）の色空間の原点から前記差分色ベクトルの方向に伸ばした線が、前記色空間の任意の位置に配置したＮ−１次元の色空間と交わる交点の座標を要素とする色ベクトルを導出する色導出部とを具備することを特徴とする。

本発明の画像処理方法は、帳票のカラー画像を記憶部に記憶するステップと、背景色算出部が、前記記憶部から読み出した前記カラー画像から背景色ベクトルを算出するステップと、指定された画素値を要素とする入力ベクトルまたは前記カラー画像の各画素の画素値を要素とする入力ベクトルから差分色ベクトル算出部が前記背景色ベクトルを差し引くことで差分色ベクトルを求めるステップと、Ｎ次元（Ｎは２以上の整数）の色空間の原点から前記差分色ベクトルの方向に伸ばした線が、前記色空間の任意の位置に配置したＮ−１次元の色空間と交わる交点の座標から前記色ベクトルの色を導出するステップとを具備することを特徴とする。

本発明によれば、帳票への印刷や記入に用いられたインクによる色の変化を特徴づける成分を分離した形で色の表現を行うことができる。

本発明の画像処理装置の第１実施形態の構成を示す図である。 帳票画像の一例を示す図である。 背景色検出部の動作を示すフローチャートである。 帳票画像の画素の色の赤色成分（Ｒ成分）Ｇ［１］のヒストグラムと中央値を示した模式図である。 帳票画像の各画素の座標および色成分から、各画素の色ベクトルを求めるまでの各数値例を示す図である。 色空間に配置されたＮ−１次元の色空間（色平面）と変位ベクトル、交点の関係を示す図である。 図４のＮ−１次元の色空間（色平面）を別の視点（面に垂直な方向）から眺めた様子を示す図である。 色ベクトルの算出動作を示すフローチャートである。 図５の色ベクトルの分布を示す図である。 色空間に配置する面を曲面とした例を示す図である。 画像処理装置の第２実施形態の構成を示す図である。 Ｎ−１次元の色空間（色平面）と交点、極座標系および色ベクトルなどの関係を示す図である。 生成される変換画像の例を示す図である。 変換前（元）の帳票画像の例を示す図である。 生成される変換画像の例を示す図である。 画像処理装置の第３実施形態の構成を示す図である。 代表色列挙部による階層的クラスタリング動作を示すフローチャートである。 代表色の抽出結果を示す図である。 画像処理装置の第４実施形態の構成を示すブロック図である。 帳票画像の一例を示す図である。 図２０の帳票画像に対して二値化処理を行った二値画像（変換画像）を示す図である。 画像処理装置の第５実施形態の構成を示すブロック図である。 図２０に示した帳票画像に対してマスク処理を行ったマスク済み画像（変換画像）を示す図である。 画像処理装置の第６実施形態の構成を示すブロック図である。 図２０に示した帳票画像に対して変換処理を行った変換画像を示す図である。

以下、図面を参照して、本発明の実施の形態の画像処理装置を詳細に説明する。

（第１実施形態）
図１は画像処理装置の第１実施形態の構成を示すブロック図である。
図１に示すように、この第１実施形態の画像処理装置は、スキャナ１などの帳票画像読取部と、キーボード２などの入力部とを接続したコンピュータ３と、このコンピュータ３から出力される情報を表示する表示装置４とを有している。

スキャナ１は、モノクロ以外の色つきの帳票を読み取りカラー画像（以下「帳票画像」と称す）をコンピュータ３に入力する。キーボード２は、ユーザにより操作されて任意の画素値をコンピュータ３に入力する。入力部としてはキーボード２以外に、任意の画素値が設定された設定ファイルやメモリ領域、レジスタなどであってもよい。

コンピュータ３は、記憶部３０、背景色ベクトル算出部としての背景色検出部３１、差分色ベクトル算出部としての変位計算部３２、色導出部として色ベクトル算出部３３、受付部３４などを有している。

受付部３４は、キーボード２により任意に指定された画素値（Ｒ，Ｇ，Ｂ）を要素とする入力ベクトルを受け付ける。また、受付部３４は、スキャナ１から入力された帳票のカラー画像（以下「帳票画像」と称す）を受け付け、記憶部３０に記憶する。

記憶部３０はメモリまたはハードディスク装置などによって実現される。記憶部３０には、光学的に読み取られた帳票画像が記憶される。記憶部３０は画像を構成する各画素の色を示す複数の色成分が記憶された画像記憶部として機能する。

記憶部３０には、第２の色空間の座標と色の番号や名前の対応表である座標−色対応テーブルが予め記憶されている。座標−色対応テーブルには、例えば、Ｎ次元、例えば３次元などの色空間（ＲＧＢ座標）上の任意の位置、例えば３つの頂点Ｒ（１，０，０）、Ｇ（０，１，０）、Ｂ（０，０，１）を結んで形成される３角形の２次元平面（これを「色平面」という）上の座標をインデックスとして色の番号が記憶されている。なおこのテーブルは３次元の色空間についても同様に構成でき、この場合、３つの座標の組をインデックスとする。

背景色検出部３１は、記憶部３０の帳票画像を読み出し、読み出した帳票画像の各画素の色成分（例えば赤色成分、緑色成分、青色成分などの３色など）の各々についてヒストグラムを計算し、計算したヒストグラムからその中央値を算出し、算出した中央値を当該色成分の背景領域における推定値とすることで、背景領域の色成分を含んだ背景色ベクトルを算出する。

すなわち、背景色検出部３１は、帳票画像の背景領域から背景色を表す複数（Ｎ個）の色成分を用いたベクトルで表現される背景色ベクトルＧ（Ｒ成分，Ｇ成分，Ｂ成分の３個の色成分を含む）を算出する。

変位計算部３２は、記憶部３０から読み出した帳票画像の各画素の複数（Ｎ個）の色成分を用いた入力ベクトル（画素値Ｒ，Ｇ，Ｂ）、またはキーボード２から受付部３４を通じて与えられた任意の画素値の組からなるＮ次元の入力ベクトルから、背景色ベクトル（背景における画素値Ｒ，Ｇ，Ｂ）を差し引くことで、変位ベクトル（各座標の差分の値：差分色ベクトル）を計算する。

換言すると、変位計算部３２は、背景色算出部３１により算出された背景色ベクトルを、受付部３４により受け付けられた入力ベクトルまたは記憶部３０から読み出した帳票画像の各画素から得られる入力ベクトルから差し引くことで、帳票画像の背景の背景色ベクトルと、指定された画素値を要素とする入力ベクトルまたは帳票画像の各画素の画素値を要素とする入力ベクトルとの差分を示す差分色ベクトルを求める。

つまり、変位計算部３２は、記憶部３０から読み出した帳票画像の各画素の複数（Ｎ個）の色成分を用いた入力ベクトル（画素値Ｒ，Ｇ，Ｂ）、またはキーボード２から受付部３４を通じて与えられた任意の画素値を要素とする入力ベクトルの、背景色ベクトル（背景画素値Ｒ，Ｇ，Ｂ）に対する変位ベクトルを計算する。

色データ算出部３３は、Ｎ次元（Ｎは２以上の整数）の色空間の原点から差分色ベクトルの方向に伸ばした線と、色空間中で任意の位置に配置した色空間よりも一つ少ない次元の空間（例えば平面など）との交点の座標を計算により求め、色ベクトルとして表示装置４へ出力する。この色空間よりも一つ少ない次元の空間をＮ−１次元の色空間と呼ぶ。Ｎ−１次元の色空間としては、Ｎ−１次元の空間、平面、曲面などを含め、Ｎ−１次元の多様体である限り前述の例に限らずどのようなものでもよい。

色データ算出部３３は、求められた色平面上の交点の座標（Ｒ，Ｇ，Ｂの値）を、記憶部３０の座標−色対応テーブルのデータと照合して、その位置（交点座標）の色を特定（識別）し、色データとして表示装置４へ出力する。交点の座標はＮ次元の色空間中の予め任意に定めた空間上で定める。以降ではこの予め任意に定めた空間を第２の色空間と呼ぶ。

なお、交点の座標をそのまま使うのではなく、交点の座標の中のいくつかの値を用いたり、組合せたりして色（色ベクトル）を導出してもよい。

この場合、色ベクトル算出部３３は、色空間の原点から差分色ベクトルの方向に伸ばした線と色空間中で任意に定めた色平面との交点の座標の複数の座標成分のうち、予め任意に定められたＭ個の成分の組合せを含む色（色ベクトル）を導出する。

換言すると、色ベクトル算出部３３は、原点から差分色ベクトルの方向に伸ばした線が、色空間の任意の位置に配置した色平面と交わる交点の座標から色を表す色ベクトルを導出する。

また、色ベクトル算出部３３は、求められた色ベクトル、つまり色平面上の交点座標（Ｒ，Ｇ，Ｂの値）をインデックスとして記憶部３０の座標−色対応テーブルを参照してデータを照合することで、色ベクトルに対応する色の番号や名前を導出する。つまりその位置の色を特定し、色データとして表示装置４へ出力する。

このような画像処理装置は、実質的にコンピュータ３に画像処理ソフトウェアを組み込むことによって主要部を構成できるため、以下ではコンピュータによる例で説明する。

但し、画像処理装置は、各部を専用ハードウェアや、その集合体、または分散処理用のコンピュータネットワークとしても構成することもでき、上述した各要素を備える構成ならば、ここで挙げた構成に関わらずどのようなもので実装しても良い。

本実施形態において、帳票画像はＲＧＢ表色系で表現されているものとする。したがって、本実施形態においては、次元数を示す値Ｎは３であり、帳票画像の画素の第１の色成分は赤色成分（Ｒ成分）、第２の色成分は緑色成分（Ｇ成分）、第３の色成分は青色成分（Ｂ成分）であるものとする。３次元空間中で色成分を図示する場合、例えばＲ軸が横方向、Ｇ軸が縦方向、Ｂ軸が奥行き方向を示すものとする。

但し、帳票画像の表現形式は、ＲＧＢ表色系に限定されるものではなく、例えばＸＹＺ表色系、ＣＭＹ表色系などで表してもよく、ここで挙げた表色系以外のどのような表色系を用いてもよい。

以下、この第１実施形態の画像処理装置の動作を説明する。この画像処理装置の場合、帳票画像は、例えば申込書などであり、その一部として、図２に示すように、ベージュ色の背景５１に黒色の罫線５２や「認印」などのプレプリント文字５５が印刷されており、捺印欄５３に赤色の印鑑５４が押印されたカラー画像であるものとする。

この帳票がスキャナ１により読み取られると、帳票画像がスキャナ１からコンピュータ３へ出力されて、コンピュータ３内で受付部３４により指定された記憶部３０に記憶される。

記憶部３０に帳票画像が記憶されるときには、帳票画像として、画像の端部（例えば左下角など）を原点とし画像を構成する各画素の位置座標と各画素の色を示す複数の色成分（赤色成分Ｒ，緑色成分Ｇ，青色成分Ｂの値）を含むデータが記憶される。

続いて、背景色検出部３１は、記憶部３０に記憶された帳票画像を読み出して、帳票画像から背景領域の色（背景色）を検出する。

ここで、図３のフローチャートを参照して背景色検出部３１による背景色の検出動作を詳細に説明する。なお説明では帳票画像の色成分の値の上限をＩｍａｘとする。

背景色検出部３１は、図３に示すように、まず、帳票画像の横幅ｗと帳票画像の高さｈをかけ算することで帳票画像を構成する画素数ａを算出する（ステップＳ１０１）。

次に、背景色検出部３１は、画素数ａを１／２倍することで閾値ｂを算出する（ステップＳ１０２）。

背景色検出部３１は、変数ｉに１を設定し（ステップＳ１０３）、変数ｉを１〜Ｎまで変えながら以下の処理を繰り返す（ステップＳ１０４〜ステップＳ１１２）。
（ａ）帳票画像の画素の色の第ｉ成分のヒストグラムＨｉを算出する。
（ｂ）算出したヒストグラムＨｉから以下の手順で第ｉ成分の中央値Ｇ［ｉ］を算出する。
但し、ｈｍａｘをヒストグラムの階級数、Ｈｉ［ｈ］をヒストグラムの第ｈ番目の階級の頻度とする。
（ア）ｓ＝０とし、Ｇ［ｉ］＝ｈｍａｘとする（ステップＳ１０４）。
（イ）変数ｈに１を設定し（ステップＳ１０５）、変数ｈを１からｈｍａｘまで変えながら以下の処理を繰り返す（ステップＳ１０６〜ステップＳ１０９）。
［１］ｓ＝ｓ＋Ｈｉ［ｈ］とする（ステップＳ１０７）。
［２］ｓ＞＝ｂならば（ステップＳ１０８の真）、繰り返し処理を終了し、ステップＳ１１０へ処理を進める。
（ウ）Ｇ［ｉ］＝ｈとする（ステップＳ１１０）。
（ｃ）（赤色成分Ｒ，緑色成分Ｇ，青色成分Ｂの値を含む）背景色ベクトルＧの第ｉ成分にＧ［ｉ］を代入する。

この例の帳票画像や文書画像においては、紙面の大部分が背景領域であるため、このように帳票画像の画素の色の第ｉ成分の中央値を計算することで、背景色の第ｉ成分を求めることができる。

図４は帳票画像の画素の色の第１成分である赤色成分Ｒのヒストグラムと中央値を示す模式図である。図５に帳票画像の画素毎の画素値の例と、背景色検出部３１で算出される背景色ベクトル（背景画素値）（Ｇ［１］、Ｇ［２］、Ｇ［３］）の例を示す。

続いて、変位計算部３２は、キー入力された任意の画素値Ｘから、背景色検出部３１で算出された背景色ベクトルＧを差し引くことで、与えられた任意の画素値Ｘの、背景色ベクトルＧに対する変位ベクトルＦを計算する。

画素値Ｘは、Ｎ次元のベクトルとして表現される。この例は３次元であるため、画素値Ｘは、Ｒ軸の座標、Ｇ軸の座標、Ｂ軸の座標という３つの値で与えられる。

変位ベクトルＦは変数ｉ＝１．．Ｎについて、変位ベクトルＦの第ｉ成分Ｆ［ｉ］を、背景色ベクトルＧの第ｉ成分Ｇ［ｉ］と任意の画素値Ｘの第ｉ成分Ｘ［ｉ］とから、式Ｆ［ｉ］＝Ｇ［ｉ］−Ｘ［ｉ］で算出する。

画素値Ｘを各画素の画素値とした場合に、変位計算部３２で計算された変位ベクトル（Ｆ［１］，Ｆ［２］，Ｆ［３］）の例を図５に示す。

色ベクトル算出部３３は、図６に示すように、３次元の色空間の原点０（０，０，０）から差分色ベクトルの方向に伸ばした線と、色空間中で任意に定めた色平面との交点の座標を求め、その交点の座標の中から、予め任意に定められたＭ個の成分Ｋ［１］、…、Ｋ［Ｍ］の組合せを含むベクトルで表される色ベクトルＫを算出する。

交点の座標は３次元の色空間中の予め任意に定めた空間上で定める。この予め任意に定めた空間を第２の色空間と呼ぶ。

この例では、Ｎ−１次元の色空間の例として、Ｆ＝（１、０、０）の点、Ｆ＝（０、１、０）の点、Ｆ＝（０、０、１）の点の３点を通る２次元平面を用いる。また、この例では、第２の色空間は、Ｎ−１次元色空間と同一の空間とする。従って、Ｍ＝２であり、第２の色空間上での座標成分は２個の実数値Ｋ［１］、Ｋ［２］で表される。

Ｋ［１］とＫ［２］は色平面上での座標を表し、色平面上の座標系としては、Ｆ［１］＝Ｆ［２］＝Ｆ［３］となる点でＫ［１］＝０、Ｋ［２］＝０で、Ｆ＝（１、０、０）の点においてＫ［１］＝Ｋｍａｘ／２、Ｋ［２］＝０となる正規直交座標系を用いる。

図７に変位ベクトル、交点、２次元平面上の座標系の関係を示す。図７は図６に示した色平面を別の視点から眺めた様子を示す図となっており、３次元の色空間の原点を通る紙面に垂直な軸上でＦ［１］＝Ｆ［２］＝Ｆ［３］となっている。

ここで、図８のフローチャートを参照して色ベクトル算出部３３による色ベクトルＫの算出動作を説明する。但しＫ［ｊ］は色ベクトルＫの第ｊ成分、Ｆｔｈは予め定めた任意の正定数、ｓｑｒｔ（ｘ）は引数ｘの平方根を表す。

まず、色ベクトル算出部３３は、Ｆｓｕｍ＝Ｆ［１］＋Ｆ［２］＋Ｆ［３］とする（ステップＳ２０１）。

続いて、色ベクトル算出部３３は、ＦｓｕｍとＦｔｈを比較し（ステップＳ２０２）、Ｆｓｕｍ＜＝Ｆｔｈならば（ステップＳ２０２の真）、Ｋ［１］＝０、Ｋ［２］＝０とする（ステップＳ２０３）。

また、Ｆｓｕｍ＞Ｆｔｈならば（ステップＳ２０２の偽）、Ｋ［１］＝（Ｆ［３］−（Ｆ［１］＋Ｆ［２］）／２）×Ｋｍａｘ／Ｆｓｕｍ
Ｋ［２］＝（Ｆ［１］−Ｆ［２］）×Ｋｍａｘ×ｓｑｒｔ（３）／（Ｆｓｕｍ×２）
とする（ステップＳ２０４）。

ステップＳ２０２の判定処理において、Ｆｓｕｍ＜＝Ｆｔｈの場合と、Ｆｓｕｍ＞Ｆｔｈの場合とで処理を変えているのは、Ｆｓｕｍ＝０の場合の０除算を防止するためである。

任意の画素値Ｘを各画素の画素値とした場合に変位計算部で計算される色ベクトル（Ｋ［１］，Ｋ［２］）の値を図５に示す。また図９に図５に示した色ベクトルの分布を示す。
図９（図５）では、黒インクと背景が原点に分布し、青インクが点（−１２３．６，１３．２）近傍に分布し、赤インクが点（６１．９，−１０７．２）近傍に分布している。

なお、上記Ｋ［１］、Ｋ［２］の他に、インクの濃度を表すＫ［３］を求めるステップを以下のように追加してもよい。Ｋ［３］＝Ｆ［１］＋Ｆ［２］＋Ｆ［３］

また、第２の色空間はＮ−１次元多様体を含むＮ＝３の３次元の色空間とし、この色空間上での座標をＫ［１］、Ｋ［２］、Ｋ［３］としてもよい。この場合、３次元の色空間は、例えばＫ［１］＝Ｆ［１］、Ｋ［２］＝Ｆ［２］、Ｋ［３］＝Ｆ［３］となる色空間として定めればよい。

また、図１０に示すように、Ｎ次元空間に設けるＮ−１次元の色空間を、曲面としてもよい。この場合はＫ［１］とＫ［２］を球体における曲面上の緯度と経度とする。つまり曲面は色空間の原点から等距離にある面の一部である。この他、色空間としては、以上で述べたものに限らず、Ｎ次元の色空間に設ける次元数がＮ−１以下の色空間ならば、湾曲面など、どのような形態のものを用いてもよい。換言するならば、色空間としてはＮ−１次元の多様体である限りいかなるものを用いてもよい。

また、入力される帳票画像の色成分としては、３つの色成分に限ることなく、例えば赤色成分Ｒと緑色成分Ｇの画像など、２つの色成分の画像を用いてもよく、Ｎ＞３のマルチスペクトル画像を用いてもよい。従って、色空間は、平面や曲面に限らず、１次元の直線や曲線にも３次元以上の空間（多様体）にもなり得る。

このようにこの第１実施形態の画像処理装置によれば、帳票画像から背景色を検出し、キー入力された色ベクトルまたは帳票画像の画素の色成分を用いた色ベクトルから引き算して得られた変位ベクトルを３次元の色空間のから差分色ベクトルの方向に伸ばした線が色空間に配置した２次元の色平面と交差した交点の座標を求め、その座標からキー入力された色ベクトルまたは帳票画像の画素の色成分を用いた色ベクトルの色を導出するので、帳票への印刷や記入に用いられたインクによる色の変化を特徴づける成分を分離した形で色を表現することができる。

（第２実施形態）
次に、図１１乃至図１６を参照して第２実施形態について説明する。
図１１は画像処理装置の第２実施形態の構成を示すブロック図である。なおこの第２実施形態において第１実施形態と同一の構成には同一の符号を付しその説明は省略する。

図１１に示すように、この第２実施形態の画像処理装置は、受付部３４および記憶部３０の他、記憶部３０から読み出した帳票画像から背景色の複数（Ｎ個）の色成分を用いた背景色ベクトルを算出する背景色検出部３１と、記憶部３０から読み出した帳票画像の各画素の色成分を用いた画素毎の色ベクトルと背景色ベクトルとの差を算出し、各画素の画素値を要素とする入力ベクトルの、背景色ベクトルに対する変位ベクトル（差分色ベクトル）を計算する変位計算部３２と、計算した変位ベクトルを色空間のから差分色ベクトルの方向に伸ばした線と色空間中で任意に定めた２次元平面との交点の座標を算出する色ベクトル算出部３３と、色ベクトル算出部３３により算出された交点の座標を用いて変換画像を生成する画像生成部３５とを有している。

変位計算部３２は、帳票画像の各画素について画素の画素値の背景画素値に対する変位ベクトルＦを計算する。変位計算部３２は、与えられた任意の画素値ではなく、当該画素の複数の色成分の値からなるベクトルをベクトルＸとする点を除いては第１実施形態の変位計算部３２の機能と同等である。

変位計算部３２は、３次元の色空間のから差分色ベクトルの方向に伸ばした線と色空間内で任意に定めた２次元平面との交点の座標を算出し、その交点の座標の中から、予め任意に定められたＭ個の成分Ｋ［１］、…、Ｋ［Ｍ］の組合せを含む色ベクトルを計算する。

画像生成部３５は、各画素について計算した色ベクトルの要素を画素値とした変換画像を生成する。

この第２実施形態では、図１２に示すように、第１実施形態と同様に、Ｆ＝（１、０、０）の点、Ｆ＝（０、１、０）の点、Ｆ＝（０、０、１）の点の３点を通る２次元平面を用いる。

２次元平面上の座標系としては、平面上でＦ［１］＝Ｆ［２］＝Ｆ［３］となる点を原点とし、Ｆ＝（１、０、０）の点において角度０となる極座標系を用いる。第２の色空間は平面として定義される。

そして、Ｍ＝１とし、Ｋ［１］を交点の極座標系原点からの距離とする。図１２では、図７と同様に、原点を通る紙面に垂直な軸上でＦ［１］＝Ｆ［２］＝Ｆ［３］となっている。

このように色ベクトルの要素を画素値とすることで、インクの色に特徴的な画素値で塗り分けられた画像を生成できる。この画像を「変換画像」という。

図１３乃至図１５に本実施形態の画像生成部３５で生成される変換画像を示す。
図２に示した帳票画像には、黒色インクで印刷された罫線５２やプレプリント文字５５と赤色の印影５４の押印がみられるが、図１３では、罫線５２やプレプリント文字５５などの黒色の画素が除外され、ベージュ色の背景５１に、赤色の印影５４のみがみられる変換画像を生成できる。

これはＦ［１］＝Ｆ［２］＝Ｆ［３］となる極座標系原点からの距離（ここではＫ［１」）が、Ｆ［１］、Ｆ［２］、Ｆ［３］のばらつき、すなわち色の鮮やかさの程度を示しているため、黒インクではほぼ０に留まり、より色の鮮やかな赤インクでは距離が０でない値となるからである。

例えば色の鮮やかさに関する座標成分をＫ［１］とすることで、Ｋ［１］の画像では、色がついていない黒色や灰色の画素が消え、色のついた例えば赤色や青色などの画素を際立たせる効果がある。

例えば図１４に示すように、黒色の罫線と青色ボールペンで、例えば“￥１０００”などと手書き（記入）されている帳票の場合、図１５に示すように、青色ボールペンで記入された“￥１０００”のみが見られる変換画像を生成することができる。

これはＦ［１］＝Ｆ［２］＝Ｆ［３］となる極座標系原点からの距離（ここではＫ［１」）が、Ｆ［１］、Ｆ［２］、Ｆ［３］のばらつき、すなわち色の鮮やかさの程度を示しているため、黒インクではほぼ０に留まり、より色の鮮やかな青インクでは距離が０でない値となるからである。

また、Ｍ＝２としてＫ［１］を交点の極座標系原点からの距離、Ｋ［２］を極座標の角度成分とすることで、インクの色の鮮やかさに加えてインクの色相の違いの数値的な表現を算出することができる。

（第３実施形態）
次に、図１６乃至図１８を参照して第３実施形態について説明する。図１６は画像処理装置の第３実施形態の構成を示すブロック図である。なおこの第３実施形態において第１実施形態と同一の構成には同一の符号を付しその説明は省略する。

この第３実施形態の画像処理装置は、受付部３４および記憶部３０の他、記憶部３０から読み出した帳票画像から背景色の複数（Ｎ個）の色成分を含む背景色ベクトルを算出する背景色検出部３１と、記憶部３０から読み出した帳票画像の各画素の色成分を要素とする入力ベクトルの、背景色ベクトルに対する変位ベクトル（差分色ベクトル）を計算する変位計算部３２と、３次元の色空間の原点から変位ベクトルの方向に伸ばした線が、色空間中で任意に定めた２次元平面と交わる交点の座標を算出し、その交点の座標成分のうち予め任意に定められたＭ個の成分の組合せを含む色ベクトルを算出する色ベクトル算出部３３と、色ベクトル算出部３３で画素毎に求められた色ベクトルを代表する代表色を０個以上列挙する代表色列挙部３６とを有している。

背景色検出部３１と変位計算部３２は第２実施形態における同名の構成要素と同一でありその説明は省略する。また色ベクトル算出部３３は第１実施形態における同名の構成要素と同一でありその説明は省略する。

代表色列挙部３６は、色ベクトル算出部３３により画素毎に求められた複数個の色ベクトルを代表する代表色をΛ≧０個列挙する。

具体的には、代表色列挙部３６は、階層的クラスタリングにより複数個の色ベクトル（ａ個）をΛ個のクラスタ（集合）にクラスタリングした後、各クラスタに属する色ベクトルの平均を算出することで代表色を列挙する。

また、代表色列挙部３６は、各代表色について、代表色で代表される色ベクトルの分布の拡がりを表すＬ個の拡がりパラメータを算出する。

ここで、図１７のフローチャートを参照して代表色列挙部３６による階層的クラスタリングについて説明する。図１７は階層的クラスタリング動作を示すフローチャートである。

なお、クラスタおよび対応する代表色の番号をλ、第λ番目のクラスタをＣ［λ］、第λ番目の代表色をμ［λ］、第λ番目のクラスタに属する色ベクトルの共分散行列をΣ［λ］、帳票画像上での画素の座標を（ｘ、ｙ）、λ＝ｘ＋ｗ×ｙとする。

この場合、代表色列挙部３６は、Λにａをセットし（図１７のステップＳ３０１）、λ＝１．．．Λについて、Ｃ［λ］を第λ番目の画素について算出した色ベクトル１つのみを含むクラスタに初期化する（ステップＳ３０２）。

そして、代表色列挙部３６は、ステップＳ３０３〜Ｓ３０８の処理を繰り返す。
λ＝１、．．．、Λについて、Ｃ［λ］に属する色ベクトルの平均ベクトルを算出し、μ［λ］に代入する（ステップＳ３０３）。

λ＝１、．．．、Λについて、Ｃ［λ］に属する色ベクトルの共分散行列を算出し、Σ［λ］に代入する（ステップＳ３０４）。

次に、λ＝１とし（ステップＳ３０５）、λ＝１、．．．、Λについて、ステップＳ３０６〜Ｓ３０８の処理を繰り返す。

代表色列挙部３６は、ξ＝λ＋１、．．．、Λについて、μ［λ］とμ［ξ］のユークリッドＤ（λ、μ）を算出し、ユークリッド距離Ｄ（λ、μ）が最小となるξをξｏｐｔに代入する（ステップＳ３０７）。

代表色列挙部３６は、Ｄ（λ、μ）と予め定めた任意の閾値Ｄｔｈとを比較し（ステップＳ３０８）、Ｄ（λ、μ）が予め定めた任意の閾値Ｄｔｈ以下ならば（ステップＳ３０８の真）、Ｃ［λ］とＣ［μ］を統合してクラスの番号λを振りなおした後（ステップＳ３０９）、ステップＳ３０３の処理に戻る。

また、Ｄ（λ、μ）が予め定めた任意の閾値Ｄｔｈを超えている場合（ステップＳ３０８の偽）、代表色列挙部３６は、λ＝λ＋１として（ステップＳ３１０）、ステップＳ３０６の処理へ戻る。

λが１を超えた場合（ステップＳ３０６の真）、代表色列挙部３６は、λ＝１、．．．、Λについて、クラスタＣ［λ］に属する色ベクトルの個数と、予め定めた任意の閾値ｎとを比較し（ステップＳ３１１）、クラスタＣ［λ］に属する色ベクトルの個数が、予め定めた任意の閾値ｎ以下ならば（ステップＳ３１１の真）、当該クラスタを削除する（ステップＳ３１２）。

さらに、代表色列挙部３６は、λ＝１、．．．、Λについて、Ｃ［λ］に属する色ベクトルの平均ベクトルを算出し、μ［λ］に代入する（ステップＳ３１３）。以上の処理により、Λ≧０個の代表色が算出される。

代表色列挙部３６は、代表色で代表される色ベクトルの分布の拡がりを表すＬ個の拡がりパラメータとして、共分散行列Σ［λ］を算出する。共分散行列Σ［λ］は、Ｍ次元の色ベクトルの分布の拡がりを表し、Ｍ次の実対象行列となるため、Ｍ×（Ｍ＋１）／２個の実数で表される。よって、本実施形態においては拡がりパラメータとしてＭ×（Ｍ＋１）／２個の実数を算出する。従って、Ｋ＝Ｍ×（Ｍ＋１）／２である。

なお、上記動作例では、代表色で代表される色ベクトルの分布の拡がりを表すＬ個の拡がりパラメータを、ステップＳ３０４で算出することとしたが、このステップは省略してもよい。

図１８は代表色の抽出結果を示す図である。同図に示すように、この例では、青色の罫線の様式に黒色で記入し、赤色の印鑑を押した帳票のスキャン画像を処理した結果を示しており、黒色インクに対応する第１クラスタ６１、赤色インクに対応する第２クラスタ６２、青色インクに対応する第３クラスタ６３とこれらのクラスタに対応する代表色６４、６５、６６が検出されている。

（第４実施形態）
次に、図１９乃至図２１を参照して第４実施形態について説明する。図１９は画像処理装置の第４実施形態の構成を示すブロック図である。なおこの第４実施形態において第３実施形態と同一の構成には同一の符号を付しその説明は省略する。

この第４実施形態の画像処理装置は、受付部３４および記憶部３０の他、記憶部３０から読み出した帳票画像から背景色の複数（Ｎ個）の色成分を含む背景画素値を算出する背景色検出部３１と、記憶部３０から読み出した帳票画像の各画素の色成分を要素とする入力ベクトルの、背景色ベクトルに対する変位を計算する変位計算部３２と、３次元の色空間の原点から変位ベクトルの方向に伸ばした線が、色空間中で任意に定めた２次元平面（Ｎ−１次元の色空間）と交わる交点の座標を算出し、その交点の座標成分のうち予め任意に定められたＭ個の成分の組合せを含む色ベクトルを生成する色ベクトル算出部３３と、この色ベクトル算出部３３で画素毎に求めた色ベクトルを代表する代表色を０個以上列挙する代表色列挙部３６と、代表色から１つ以上の選択色を選択する代表色選択部３７と、画素毎に色ベクトル算出部３３により計算された色ベクトルが代表色選択部３７により選択された選択色のいずれかと類似しているか否かを判定する類似性判定部３８と、この類似性判定部３８で類似しているものと判定された画素と類似していないものと判定された画素とを塗り分けた二値画像を生成する二値画像生成部３９とを有している。

背景色検出部３１、変位計算部３２、色ベクトル算出部３３および代表色列挙部３６は第３実施形態と同じ機能を有している。

代表色選択部３７は、帳票画像の各画素の代表色から１個以上の選択色を選択する。具体的には、代表色選択部３７は、代表色のうちの、予め任意に定めたＭ次元のベクトルＹとのユークリッド距離が予め定めた任意の正定数ｒ以上のもの全てを選択色として選択する。

このように選択色を代表色から選択することにより、例えば特定色で印刷されたプレプリント文字や罫線以外の記入や印字等に対応する代表色を選択することができる。

類似性判定部３８は、色ベクトルＫと各選択色とのユークリッド距離を算出し、いずれかの選択色について算出したユークリッド距離が予め定めた任意の定数ｒ２以下ならば類似していると判定し、全ての選択色についてユークリッド距離がｒ２を超えている場合は類似していないと判定する。

類似性判定部３８は、画素毎に色ベクトル算出部３３で計算された色ベクトルＫが代表色選択部３７で選択された選択色のいずれかと類似しているか否かを判定する。

すなわち、類似性判定部３８は、色ベクトル算出部３３により計算された各画素の色と、代表色選択部３７により選択された選択色との類似／非類似を判定する。

二値画像生成部３９は、類似性判定部３８により類似しているものと判定された画素と類似していないものと判定された画素とを塗り分けた二値画像を生成する。

この例では、二値画像を白画素が「０」、黒画素が「１」で表現されるビットマップ画像とし、類似性判定部３８で類似しているものと判定された画素については二値画像上での画素値を「１」、類似していないものと判定された画素については二値画像上での画素値を「０」とする。

図２０にこの実施形態の画像処理装置により処理前の帳票画像の一例を示し、図２１に生成された変換画像の一例を示す。図２０の帳票画像上には、緑色インクで印刷された罫線５２や同色のプレプリント文字（金額など）５５と黒色ボールペンにより記入された“￥１０００”という手書き文字５６、赤色の印影５４が見られる。

この例では、ベクトルＹが緑色のインクを表すように定められており、緑色の該当画素は白色、黒色と赤色の該当画素が黒画素に付色、つまり白色と黒色で塗り分けられるため、図２１の変換画像上には、手書き文字５６と赤色の印影５４のみが黒色で表現される。なお背景色はデフォルトで白色として付色される。

（第５実施形態）
次に、図２２、図２３を参照して第５実施形態について説明する。図２２は画像処理装置の第５実施形態の構成を示すブロック図である。なおこの第５実施形態において第４実施形態と同一の構成には同一の符号を付しその説明は省略する。

この第５実施形態の画像処理装置は、受付部３４および記憶部３０の他、記憶部３０から読み出した帳票画像から背景色の複数（Ｎ個）の色成分を用いた背景色ベクトルを算出する背景色検出部３１と、記憶部３０から読み出した画像の各画素の色成分を要素とする入力ベクトルの、背景画素値に対する変位ベクトルを計算する変位計算部３２と、３次元の色空間の原点から変位ベクトルの方向に延ばした線が、色空間中で任意に定めた２次元平面（Ｎ−１次元空間）と交わる交点の座標を算出し、その交点の座標成分のうち予め任意に定められたＭ個の成分の組合せを含む色ベクトルを生成する色ベクトル算出部３３と、この色ベクトル算出部３３により画素毎に求められた色ベクトルを代表する代表色を０個以上列挙する代表色列挙部３６と、代表色から１個以上の選択色を選択する代表色選択部３７と、画素毎に色ベクトル算出部３３により計算された色ベクトルが代表色選択部３７により選択された選択色のいずれかと類似しているか否かを判定する類似性判定部３８と、この類似性判定部により類似しているものと判定された画素の画素値を帳票画像の当該画素の画素値そのままとし、類似していないものと判定された画素の色成分の値（画素値）を背景色ベクトルの成分で置き換えたマスク済み画像を生成する画像マスク部４０とを有している。

この第５実施形態の背景色検出部３１、変位計算部３２、色ベクトル算出部３３および代表色列挙部３６などは、第３実施形態における同名の構成要素と同一でありその説明は省略する。また代表色選択部３７と類似性判定部３８は第４実施形態における同名の構成要素と同一でありその説明は省略する。

画像マスク部４０は、類似性判定部３８により類似しているものと判定された画素の画素値を帳票画像の当該画素の画素値とし、類似していないものと判定された画素の画素値を背景色ベクトルの成分としたマスク済み画像を生成する。

このようにこの第５実施形態によれば、帳票画像において類似性判定部３８で類似していないものと判定された画素を背景色で塗りつぶしたマスク済み画像を生成する画像マスク部４０を設けることで、不要な色（例えば元の帳票画像のプレプリントされた罫線５２など）を消し込んだマスク済み画像を生成することで、帳票画像上の罫線を消したり、印形だけを抽出したりすることができる。

図２０に示した帳票画像の各画素に対して処理を行ったマスク済み画像（変換画像）を図２３に示す。

図２０の帳票画像上には、緑色インクで印刷された罫線５２やプレプリント文字５５と黒色ボールペンによる記入、赤色の印影５４が見られるが、この例では、ベクトルＹが緑のインクを表すように定められており、図２３の変換画像上には、黒色ボールペンにより記入された“￥１０００”という手書き文字５６、赤色の印影５４のみが付色される。

（第６実施形態）
次に、図２４、図２５を参照して第６実施形態について説明する。図２４は画像処理装置の第６実施形態の構成を示すブロック図である。なおこの第６実施形態において、第５実施形態と同じ構成について同じ符号を付しその説明は省略する。

すなわち、この第６実施形態の画像処理装置は、図２４に示すように、第５実施形態の画像マスク部４０に替えて、変換画像生成部４１を設けたものである。

変換画像生成部４１は、類似性判定部３８により類似しているものと判定された画素について、色ベクトル算出部３３により算出された色ベクトルを予め定めた任意の関数に入力することで画素値を算出する。また変換画像生成部４１は、類似性判定部３８により、類似していないとものと判定された画素の画素値を、予め定めた任意の画素値に置換した変換画像を生成する。

具体的には、変換画像生成部４１は、類似性判定部３８で類似しているものと判定された画素について色ベクトルＫから予め定めた任意の関数Γ（Ｋ）でスカラーあるいはベクトルで表される画素値γ＝Γ（Ｋ）を算出する一方、類似していないものと判定された画素の画素値を、予め定めた任意の画素値（のベクトル）γ０に置換した変換画像を生成する。

この第６実施形態では、色ベクトルＫとして、第１実施形態と同様に２次元の正規直交座標系を用いる。そして、関数Γ（Ｋ）を下記（式１）で定義する。

Γ（Ｋ）＝（Ｋ・Ｋ０）／｜｜Ｋ０｜｜ …（式１）
但し、Ｋ０は予め定めたＭ次元の任意のベクトル、｜｜Ｘ｜｜はベクトルＸのノルム、
｜｜α・β｜｜はαとβの内積を表す。

このように関数Γ（Ｋ）を定義することにより、関数Γ（Ｋ）はベクトルＫ０で定まる色とより類似したインクによる印字または記入上の画素で大きくなる。

図２０に示した処理前の帳票画像に対して、変換処理を施して生成した変換画像の一例を図２５に示す。

図２０の帳票画像上には、緑色インクで印刷された罫線５２やプレプリント文字５５と黒色ボールペンにより記入された“￥１０００”という手書き文字５６、赤色の印影５４が見られるが、この変換例では、ベクトルＫ０が赤色のインクを表すように定められており、図２５に示すように、赤色以外の色は消滅し、変換画像には赤色の印影５４のみが見られる。

このようにこの第６実施形態によれば、類似性判定部３８で類似しているものと判定された画素について色ベクトルＫから予め定めた任意の関数Γ（Ｋ）でスカラーあるいはベクトルで表される画素値γ＝Γ（Ｋ）を算出する一方、類似していないものと判定された画素の画素値を予め定めた任意の画素値（のベクトル）γ０とした変換画像を生成することで、例えば赤色の印影５４のみを残した画像を生成でき、予め保管されている印影と照合するためのデータとして利用することができる。

なお、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。例えば各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよい。

また上記プログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。

電子媒体としては、例えばＣＤ−ＲＯＭ等の記録媒体やフラッシュメモリ、リムーバブルメディア：Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。

１…スキャナ、２…キーボード、３…コンピュータ、４…表示装置、３０…記憶部、３１…背景色検出部、３２…変位計算部、３３…色ベクトル算出部、３４…受付部、３５…画像生成部、３６…代表色列挙部、３７…代表色選択部、３８…類似性判定部、３９…二値画像生成部、４０…画像マスク部、４１…変換画像生成部。

Claims (10)

1. 帳票のカラー画像が記憶された記憶部と、
   前記記憶部から読み出した前記カラー画像から背景色ベクトルを算出する背景色算出部と、
   前記背景色ベクトルを、指定された画素値を要素とする入力ベクトルまたは前記カラー画像の各画素の画素値を要素とする入力ベクトルから差し引くことで差分色ベクトルを求める差分色ベクトル算出部と、
   Ｎ次元（Ｎは２以上の整数）の色空間の原点から前記差分色ベクトルの方向に伸ばした線が、前記色空間の任意の位置に配置したＮ−１次元の色空間と交わる交点の座標を要素とする色ベクトルを導出する色導出部と
   を具備することを特徴とする画像処理装置。
2. 前記色算出部により求められた前記色ベクトルの色を代表する代表色を列挙する代表色列挙部を具備することを特徴とする請求項１記載の画像処理装置。
3. 前記代表色列挙部は、
   前記列挙された代表色毎に、代表色で代表される色ベクトルの分布の拡がりを表す拡がりパラメータを算出することを特徴とした請求項２記載の画像処理装置。
4. 前記代表色列挙部により列挙された前記代表色から選択色を選択する代表色選択部と、
   前記色導出部により計算された各画素の色と、前記代表色選択部により選択された選択色との類似／非類似を判定する類似性判定部と、
   前記類似性判定部により色が類似している画素と非類似の画素とを塗り分けた二値画像を生成する二値画像生成部と
   を具備することを特徴とした請求項２または請求項３記載の画像処理装置。
5. 前記類似性判定部により色が類似していると判定された画素の色ベクトルを、前記カラー画像の当該画素の画素値そのままとし、色が類似していないと判定された画素の画素値を前記背景色ベクトルの成分で置き換えたマスク済み画像を生成する画像マスク部を具備することを特徴とした請求項２乃至４いずれか１記載の画像処理装置。
6. 前記類似性判定部により色が類似していると判定された画素の画素値を、前記画素の画素値を予め定めた任意の関数に入力して算出した画素値とし、色が類似していないと判定された画素の色ベクトルを、予め定めた任意の画素値とした変換画像を生成する変換画像生成部を具備することを特徴とした請求項２乃至４いずれか１記載の画像処理装置。
7. 予め色空間の座標と色とを対応させたテーブルを有し、
   前記色導出部は、
   算出した前記座標を基に前記テーブルから前記色ベクトルに対応する色の番号や名前を導出することを特徴とする請求項１記載の画像処理装置。
8. 前記色導出部は、
   前記交点の座標を示す複数の座標成分から予め任意に定められたいくつかの成分を組合せることで前記色ベクトルを導出することを特徴とする請求項１記載の画像処理装置。
9. 前記色導出部は、
   前記帳票のカラー画像のヒストグラムの中央値を背景色の画素値として算出することを特徴とする請求項１記載の画像処理装置。
10. 帳票のカラー画像を記憶部に記憶するステップと、
    背景色算出部が、前記記憶部から読み出したカラー画像から背景色ベクトルを算出するステップと、
    指定された画素値を要素とする入力ベクトルまたは前記カラー画像の各画素の画素値を要素とする入力ベクトルから差分色ベクトル算出部が前記背景色ベクトルを差し引くことで差分色ベクトルを求めるステップと、
    Ｎ次元（Ｎは２以上の整数）の色空間の原点から前記差分色ベクトルの方向に伸ばした線が、前記色空間の任意の位置に配置したＮ−１次元の色空間と交わる交点の座標から前記色ベクトルの色を導出するステップと
    を具備することを特徴とする画像処理方法。

Images