JPH06290302A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は精度の高い文字認識を実現できる画像
処理装置を提供する。 【構成】入力画像データについて暫定的な色分離を行う
ことにより得られたブロックａ、ｘ、ｙ、ｚ、ｗについ
て、これらブロックａ、ｘ、ｙ、ｚ、ｗが構成する画素
の幾何学的な情報と、これら各ブロックａ、ｘ、ｙ、
ｚ、ｗおよびこれらのバックグラウンドの濃度情報を併
用して最終的な色分離を決定するようにしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、伝票などに印刷された
文字の認識に用いられる文字認識装置に適用される画像
処理装置に関するものである。

【０００２】

【従来の技術】従来、伝票のように罫線・空白などによ
り文字の並びが区切られている表形式帳票に印刷されて
いる文字の認識を行うような場合、画像入力時の際に、
ドロップ・アウトカラーと称する帳票のフォーム部分を
構成する色を光学的フィルター処理により落し、認識対
象となる原画像からフォーム部分を消去して画像入力を
行なう事により文字認識を行うようにしている。

【０００３】このため、従来技術ではドロップ・アウト
カラーとは異なる色の帳票を扱うことはできず、もちろ
ん、バックグラウンドカラーが白で無いものも扱えなか
った。また多色刷りのものや、記載文字がドロップ・ア
ウトカラーであるものも扱うことができず、当然の事な
がら、記載文字の色が特定されないものも読み取ること
ができなかった。

【０００４】そこで、従来、特開昭６１−１５２８５号
公報によりドロップ・アウトカラーでない色で印刷され
た帳票に対応できる文字認識装置が提案されているが、
この公報のものには、色分離技術が含まれていない為に
文字枠と文字の分離が色分離技術ではなく、文字枠と文
字の分離技術のみによって実施されている。この為、認
識制度の点で限界があった。

【０００５】一方、特開昭６２−５４８５号公報、特開
昭６２−１５４１８１号公報、特開平２−６７６８９号
公報、特開平２−１３５５８４号公報、特開平２−１２
３４８８号公報、特開平３−１４０７７号公報、特開平
３−２２３９８７号公報、特開平４−３９７８９号公
報、特開平４−１６０４８６号公報、特開平４−３５４
０８３号公報では、あらかじめ設定されている方法によ
り入力画像の色分離を行ない、その結果を用いて文字認
識を行う装置が開示されている。

【０００６】

【発明が解決しようとする課題】しかしながら、これら
の文字認識装置によると、帳票色や記入色、帳票フォー
ム部分や文字部分の印刷方法、文字記入方法等に対する
制限などを緩やかにして運用すると、例えば、乱雑に記
入文字を記入欄に記載した場合などに、文字を正確に認
識する事ができないことがあり、また色ずれを起こして
いる様なケースにも対応できなかった。

【０００７】また、これら従来の文字認識装置では、ド
ロップ・アウトカラーを使う事のできない運用形態の時
に、画像をカラー・データで読み込み、何らかの色分離
処理を行ない、これら色分離されたデータから文字認識
を行なうことなどが提案されているだけであり、現実
に、文字認識のシステムを構成する場合に考慮しなけれ
ばいけない種々の問題について何ら解決策を提示してい
ない。

【０００８】この為、従来技術のみでは実際に前述した
ような現実に存在している帳票読み取りの運用形態が実
施された場合には、文字認識手段として有効なものとは
いえなかった。一例として、赤い枠に赤い文字で印刷さ
れている部分と、赤い枠に黒い文字で記入された部分が
同居するような帳票については、具体的にどのような手
段で読み取るか問題になるが、従来のものでは、これら
の問題は解決され得ない。

【０００９】本発明は、上記事情に鑑みてなされたもの
で、精度の高い文字認識を実現することができる画像処
理装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明は、入力画像デー
タについて暫定的な色分離を行うとともに、該暫定的に
色分離された各部分を構成する画素の幾何学的な情報
と、これら各部分およびバックグラウンドの濃度情報を
併用して最終的な色分離を決定するようにしている。

【００１１】また、本発明は、予め書式情報に部分領域
の定義と該領域毎に実行される色分離に関する情報を用
意し、これら情報に基づいて所定の領域での色分離を実
行するようにしている。

【００１２】また、本発明は、帳票の入力画像データに
ついて特定色を分離し、この分離された特定の色に対応
する書式情報を選択し、該選択された書式情報に対する
認識処理を実行するようにしている。

【００１３】また、本発明は、画像データから抽出され
る複数の代表色をランレングス表現し、これらランレン
グス表現データを指し示すポインターにより構成される
ポインタ・テーブルを生成し、該ポインタ・テーブルの
ポインターにより特定のデータ部分を参照可能にしてい
る。

【００１４】また、本発明は、画像の色表現形式である
色情報、濃淡情報、２値情報に対応して各処理ユニット
を用意し、入力された画像の色表現形式に応じた処理ユ
ニットを使用するようにしている。

【００１５】また、本発明は、入力画像がそのままある
いは色分離されて蓄積されるカラー画像バッファ、カラ
ー画像から得られるか、直接入力されるグレー画像を格
納するグレイ画像バッファ少なくとも一方を有し、且つ
グレー画像またはカラー画像から生成される２値画像を
格納する２値画像バッファを有し、２値画像を対象とし
た処理において、入力画像の特定部分を再チェックする
場合に、前記カラー画像バッファおよびグレイ画像バッ
ファの少なくとも一方の前記特定部分の対応部分を参照
可能にしている。

【００１６】また、本発明は、入力画像データが色分離
され、印鑑の色に相当する部分と記入文字の色部分に分
けられ、該記入色の画像データに対して文字認識または
取り消し判定が行われ該取り消し部分と判定されると、
この取り消し部分の位置に対応する印鑑色の画像データ
の位置部分を取り出して、その部分に印鑑色が存在する
か調べるとともに、その存在の有無を出力する２重線取
消し処理機能を有している。

【００１７】また、本発明は、入力された画像データか
ら帳票のフォーム・イメージを取り出し、該帳票上の文
字を認識するとともに、少なくともその文字の存在位置
を記憶し、帳票のフォーム・イメージの色に類似する色
によってフォーム・イメージを画像表示するときに、前
記認識された文字をその文字が存在していた位置に重ね
て表示するようにしている。

【００１８】また、本発明は、入力画像データに対し修
正に必要な修正パラメータを属性データとして付与して
おき、その後前記属性データに基づいて修正パラメータ
を再現し該修正パラメータにより画像データを修正して
該修正画像データについて画像処理を実行するようにし
ている。

【００１９】

【作用】この結果、本発明によれば、帳票色や記入色、
帳票フォーム部分や文字部分の印刷方法、文字記入方法
等に対する制限を緩く運用した場合や、乱雑に記入文字
を記入欄に記載した場合などにあっても、高精度の文字
認識を実現することができるようになる。

【００２０】

【実施例】以下、本発明の一実施例を図面に従い説明す
る。

【００２１】図１は、同実施例を文字認識装置に適用し
た場合の概略構成を示している。図において、１は画像
入力部で、この画像入力部１には、画像データが入力さ
れる。この場合、入力画像データとしては、例えば、Ｒ
ＧＢ（赤、緑、青）の３色からなり、それぞれ多値表現
されたものが用いられる。勿論、これ以外の表現形式の
ものでも良い。

【００２２】そして、画像入力部１では、例えば、色ず
れ補正処理、色の偏り補正処理、色変換などを行うよう
にしている。

【００２３】画像入力部１からの出力は、色分離部２に
送られる。色分離部２は、入力画像データから特定の色
部分の色画像を分離抽出するもので、これら分離した色
部分をバッファ３の各色画像バッファ３１、３２、…３
ｎに格納する。

【００２４】バッファ３の各色画像バッファ３１、３
２、…３ｎからの出力は、画像処理部４に送られ。この
画像処理部４は後述するランレングス処理などを行うも
のである。

【００２５】そして、この画像処理部４からの出力は、
文字切り出し部５に送られる。文字切り出し部５は、バ
ッファ３から読み出された画像データから文字の切り出
し処理を行うようにしている。

【００２６】そして、この文字切り出し部５での切り出
し処理結果は、文字認識部６に送られる。文字認識部６
は、文字切り出し部５より切り出された文字について認
識処理を行うものである。そして、この文字認識部６で
認識された結果は、読み取り結果修正部７に送られ、オ
ペレータにより修正されて最終的な認識結果として出力
される。

【００２７】このように構成において、画像入力部１に
は、画像データが入力される。この場合、入力画像デー
タは、例えば、ＲＧＢ（赤、緑、青）の３色で、それぞ
れ多値表現されたものである。

【００２８】そして、画像入力部１により、入力画像に
対するずれ修正、色の偏り補正の処理、色変換などが行
われる。

【００２９】ここで、色ずれ修正は、色ずれ修正パラメ
ータとして、例えば、ＲＧＢの各色に対してシフトする
量を記述したものが考えられ、その修正は、それらのシ
フト量を各色について行なう事により実現される。

【００３０】また、色の偏り補正処理は、例えば、ＲＧ
Ｂの各色に対して色の濃度を変換する事により行なわれ
る。ここで色の濃度を変換する方式には、ガンマ変換と
呼ばれる１個の色の濃度からその色の濃度の変換を行う
方式を採用して色の偏り補正処理を実現しても良いし、
ＲＧＢすべての色の濃度から、それぞれの色の濃度を決
めるような関数を用意するようにしても良い。ここでの
色の偏り補正パラメータは、それらの関数を決める様な
数値データであっても良いし、変換関数そのものであっ
ても良い。

【００３１】本装置では、これら色ずれ修正パラメータ
や色の偏り補正パラメータを保持していて、これらに基
づいて色ずれ修正と色偏り補正処理を行なう。すなわ
ち、文字認識や特徴抽出、線分抽出、２値化処理などの
実際の文字認識処理や画像処理作業の途中で、認識不能
や抽出失敗が多くなったり、何等かの異常、矛盾が生じ
たときに修正パラメータによらない色ずれ修正を行い、
新たな修正パラメータを得、この結果と修正パラメータ
ガ異なるときにパラメータを新しく書き換えることによ
ってパラメータを更新する。

【００３２】この更新は定期的に行なっても良いし、オ
ペレータの指示によって行なっても良い。また、色修正
（補正）パラメータは複数の画像入力部１に対応できる
ように複数個用意されていても良い。この場合、各画像
入力部１に対応してそれぞれの色修正（補正）パラメー
タによる色修正、及びパラメータのアップデートを行な
うようになる。

【００３３】色ずれ修正パラメータは、帳票などでの黒
い部分に基づく色分析によって求められる。この黒い部
分は、入力画像中から自動的に抽出されても良いし、あ
らかじめ設定されている書式情報に従ってその存在場所
や大きさ形が決められていても良い。

【００３４】あらかじめ決められた形のパターンが帳票
上に設定されている場合は、帳票中の特定部分に色ずれ
の修正用の模様やマーク、例えば十字形をセットしてお
いて、それに基づいて処理を行なうようになる。これら
模様、マークはその位置や形状等の情報が書式情報に登
録されていても良い。また、この模様部分を帳票番号を
記載する文字枠などとして、他の用途と共用する事もで
きる。

【００３５】一方、色ずれ修正を行うための色ずれ分析
は、黒い部分の上下と左右の両側について、補色の関係
にある色がどの位存在しているかによって計測される。
このような計測は、複数の場所で行い、この結果のアベ
レージをとって全画面に共通の色ずれ量としても良い
し、それらをそれぞれの場所での色ずれ量だと見なして
も良い。後者のケースでは全画面で色ずれが一様でない
場合に対応できる。

【００３６】図２は、色ずれの測定の方法を説明するも
のである。この場合、図に示すように黒部分の両側に２
重のにじみ、つまり２重のはみだしがあるとすると、各
色の切れ目はＡ１〜Ａ６で表される。この場合、Ａ１〜
Ａ２のエリアとＡ４〜Ａ５のエリアが補色の関係にあ
り、またＡ２〜Ａ３のエリアとＡ５〜Ａ６のエリアが補
色の関係にある事を条件に、Ａ１からＡ２までの距離、
Ａ１からＡ３までの距離が、それぞれ赤信号に対する緑
と青の色ずれ量と判定される。

【００３７】ここで、補色の関係とは、両者の和がバッ
クグラウンドカラーＡ１〜Ａ６の外側、この例では白に
なることか、またはそれに近くなることである。この考
え方は中央の領域Ａ３〜Ａ４が消失している場合でも同
様に適用する事ができる。

【００３８】この場合、２重のはみ出しでなく、１重の
はみ出しでも適用できる。１重の場合には２つの色のず
れ量は同じものとすれば良い。この例ではＲＧＢの順に
ずれている例を示したが、どの順にずれているかは各エ
リアの色から判断する事が出来る。

【００３９】帳票中で黒で無い部分についても上述の考
え方が適用できる。この場合は、隣接する部分での色の
変化に基づいて色ずれ修正パラメータを決定する。つま
り、バックグラウンドの色のＲＧＢの濃度値をＲ０、Ｇ
０、Ｂ０とし、対象部分の色をＲ１、Ｇ１、Ｂ１とする
と、色ずれを生じている所の色の変化は図３に示すよう
に表すことができ、この表から色ずれが起きているかど
うかと、色ずれ量を判定できる。

【００４０】この場合、Ａ１〜Ａ２のエリアとＡ４〜Ａ
５のエリアの和をとると、それはＡ３〜Ａ４のエリアの
色とバックグラウンドの色を加えたものとなり、またＡ
２〜Ａ３のエリアとＡ５〜Ａ６のエリアについても同様
の事が言えれば、この例の場合はＡ１とＡ２の距離、Ａ
１とＡ３の距離がそれぞれ赤信号に対する緑と青の色ず
れ量と判定される。また、仮にＡ３〜Ａ４のエリアが消
失していたり、２重のはみ出しでなく１重のはみ出しの
場合でも、各エリアの色の状態からＲ０、Ｇ０、Ｂ０、
Ｒ１、Ｇ１、Ｂ１を決定できるので、上述した考え方を
使用してやはり色ずれ量を求める事ができる。

【００４１】一方、図４に示すようなカラー印刷された
マークを検出し、その中にある赤、緑、青の各色のずれ
を調べる事により色ずれ量を検出する事ができる。

【００４２】また、この様なマークの各色から色の偏り
補正処理を実行する事もできる。すなわち、画像入力部
１から得られるマークの色情報と本来期待されるべき色
情報の差に基づいて色の偏り補正の為のパラメータまた
は関数を決定する事ができる。

【００４３】また、画像入力部１に入力される画像デー
タを生成するスキャナーのスキャンされる面上の特定部
分に色ずれの修正用のパターンを設定し、これから作ら
れる入力画像中の模様に基づいて色ずれ修正や色の偏り
補正を行なっても良い。

【００４４】図５（ａ）（ｂ）は、さらに異なる色ずれ
量を求める方法を示している。この方法は、赤、緑、青
の各色の濃度値が変化している部分で、各色の波形をず
らしながらマッチング、すなわち重ね合わせを行ない、
それらが最も重なる位置で各色のずらし量を求めるよう
になる。ここでのマッチングの方法はパターン認識の分
野で良く使われているマッチング技術を使用する事が出
来る。

【００４５】色ずれ修正の作業は、図５に示す様な各色
の変化部分だけで実行するようにして、バックグラウン
ド部分や印刷部分や記載部分などの色ずれの影響の無い
部分は色ずれ処理を施さないように構成しても良い。こ
れらの部分では各色をずらしても結果が変わらないから
である。これにより色ずれ修正の高速化がはかれる。入
力画像の色ずれがはっきりわかる部分や特定位置を拡大
表示する機能により、色ずれ状態をオペレータが確認し
やすくする事ができる。

【００４６】色ずれ修正において、入力画像を１画素単
位よりも細かい単位でずらすのは、例えば補間を使う事
によって可能となる。この場合、移動すべき位置の濃度
値を、その位置の近傍の画素の濃度値から補間計算して
決定する。

【００４７】なお、上述で述べた事は、色のボケ方が違
うケースにも適用する事が出来る。図６は、黒の両端に
赤が出現している例であるが、この様なケースは赤に対
して緑と青の焦点がずれてボケている事を示している。

【００４８】この様に、補色ではなく同色が両側にある
場合にはボケ修正用パラメータを得る事ができ、これに
より各色のボケ程度をそろえる事ができる。

【００４９】また、上記の各種の補正、修正作業は、前
もって行なわず、後で述べる文字抽出プロセスや文字認
識プロセスの中の処理でそれらの補正や修正用パラメー
タを考慮して当該処理を実行する様にしても良い。

【００５０】そして、この様にして色ずれ補正、色偏り
補正された画像入力部１からの出力は、色分離部２に送
られる。

【００５１】次に、色分離部２での色分離の方法を述べ
る。

【００５２】ここでは、帳票色登録機能について述べる
と、ＯＣＲに帳票（記入済みでも未記入でも）を入力し
た時に、その画像から色分析をして、その帳票が何色を
しているか、すなわちどの部分がどの様な色をしている
かを調べ、それに基づいて書式情報に色情報を登録す
る。登録データとしては、単に色の種類数と色データ
（ＲＧＢ）というものから実際の帳票イメージまで登録
してしまう手段が可能である。

【００５３】勿論、この時、インタラクティブにオペレ
ータが登録内容を修正できる。これは例えば、テスト的
に入力した帳票の画像に対して、様々な色についての色
抜き出し（消去）をトライアンドエラーで行ない、うま
く帳票の印刷部分を抜き出せる（消せる）色を書式情報
に登録するなどの手段である。

【００５４】また、画面上に人工的な色データ、または
帳票の入力画像を表示し、その上のある位置を指示する
事によりその場所のＲＧＢやＶＳＨや色名称を出力し、
オペレータが登録色を決定するのに分かり易いようにす
る事もできる。

【００５５】このような処理について、ズーム機能によ
ってオペレータが画像の一部分を拡大縮小するようなこ
とができれば便利である。

【００５６】このようにして作られた書式情報に基づい
て、ある特定の色を分離抽出する処理が実行される。

【００５７】書式情報に登録された色情報（背景色、記
入色を含み、それぞれ複数の可能性を持っていて良い）
に基づいて、消去すべき部分を取り除き、認識すべき部
分を抽出して認識する。

【００５８】この場合、消去すべき部分を書式情報によ
らず、入力画像から得られる色情報のみから自動的に決
定する様にも構成出来る。たとえば簡単な例では特定の
色のみを消去したり、あるいは、帳票のフォームを構成
する線らしさや、その色から自動手的にフォーム部分の
色を決定できる。認識すべき部分についても同様であ
る。

【００５９】色分離は、ＲＧＢから明度、彩度、色相
（ＶＳＨ）に変換し、それに基づいて行なう事も出来
る。また、ＲＧＢ、またはＶＳＨの空間で距離を定義
し、それに基づいて色を分離する事も有効である。

【００６０】色の名称を定義し、それに基づいて色を分
離する方法はマンマシン・インタフェースを考慮に入れ
ると有力な方式である。この場合、書式情報における定
義などもこの色名称によって行なわれる。

【００６１】この様なシステムでは各色の名称と、ＲＧ
ＢやＶＳＨなどの色表現データとが対応づいて登録され
ている。従って、書式情報などに登録された色名称はＲ
ＧＢやＶＳＨなどの色表現データに変換されて使用さ
れ、また逆にＲＧＢやＶＳＨなどの色表現データがオペ
レータに提示される時は、それはもっともそれに近い色
名称に逆変換されてオペレータに知らされる。

【００６２】次に、色分離の一般的な方法について述べ
る。

【００６３】ここでは簡単のためにグレイ画像の例で説
明する。グレイ画像の濃度値の頻度分布をとった例を図
７（ａ）（ｂ）（ｃ）に示している。この場合、０で
黒、１で白、中間部分が暗い灰色から明るい灰色として
いる。そして、Ａの分布は図８に示すの画像の頻度分布
を取ったものである。この図では灰色で書かれた数字
「５」（Ａの部分）の真ん中に明るい灰色の直線（Ｂの
部分）が貫通している例である。これらの頻度分布がそ
れぞれ図７のＡとＢに対応している。この時、直線部の
一部分ｂは暗くなっており、頻度分布のｂに対応して数
字「５」の一部分ａは明るくなっており、頻度分布ａに
対応している。これらにより全体の頻度分布はＣとな
る。この頻度分布から色分離に対応する濃度分離を行う
と、頻度を濃度値ｍで区切ってＸとＹのエリアに分けら
れることになる。

【００６４】ところが、この分離法で画像を分離する
と、図９（ａ）（ｂ）に示すようにａやｂの部分がノイ
ズとして残ってしまう。また直線は数字「５」によって
分断されてしまう。

【００６５】データが濃度情報だけでなく例えばＲＧＢ
の３色の色情報の場合は、前に説明した例と同様に、１
次元だったものを３次元に拡張して考えればよい。３次
元空間の中である領域の色を同一色と見做して色分離す
ればよい。

【００６６】しかしながら、このような濃度の色空間内
における領域分割だけで、色分離するのでは、前に述べ
たように正しい色分離はできない。この場合、Ａの部分
は直線であるとか、Ｂの部分は数字「５」であるなど各
画素の幾何学的な情報、すなわち位相情報を濃度情報と
併用しない限り、正しい色分離は論理的に不可能である
ことはこれまでの説明で明らかである。

【００６７】これを更に詳しく述べると、いま、図９
（ａ）に示す結果が得られたとする。ここで、それぞれ
のブロックａ、ｘ、ｙ、ｚ、ｗについて、それらの各組
についてそれらが直線の一部であることをチェックす
る。この結果、例えばｘとｙの間のエリアでは濃度値が
暗くなっているので、これらの間には何か黒い線が可能
性があることになり、ｘとｙは直線の一部である可能性
ありとなる。同様なことがｙとｚ、ｚとｗについてもい
え、また、ｘ、ｙ、ｚ、ｗの全体としても直線性が肯定
的となる。これらを各ブロックの輪郭線を延長すること
により接続して、図１０に示すような１つの直線として
得ることができる。

【００６８】また、例えばａとｙは輪郭線の延長がマッ
チしないことや、間にバックグラウンドカラーが存在す
るなどの理由により、接続不可能である。従って、ａは
孤立したブロックであり、ノイズとして除去される。逆
にｂの凹みは輪郭線を追跡することにより発見される
が、その凹み部分の濃度値が暗いながらもその輪郭線が
ｘｙｚ全体を直線と見做したときの輪郭線と一致するこ
とから、ｂは直線の一部と判断され、最終的に図１１に
示すような直線を得ることができる。

【００６９】図９（ｂ）に示す数字「５」についても同
様で、曲線らしさや文字の形状に関する情報から正しく
数字「５」を抜き出すことができる。

【００７０】すなわち、本発明では、暫定的な色分離の
後、暫定的に文字切り出し処理、文字認識処理、線分抽
出処理、フオーム構造理解処理などを施し、それらの結
果を用いることにより最終的な色分離結果を決定すると
いうものである。すなわち、認識、抽出、理解などの処
理途中やその結果で色分離が疑わしいと判断される場所
があれば、フィードバックを行って、当該部分の色分離
についてその結果を使いながら、分離処理のやり直しを
実行するように構成すると言う事である。

【００７１】他の例として、例えば直線部分を多く含
み、また必要な場合にはそれらの並びを調べることによ
って、それらが帳票のフォーム部分（未記入帳票画面）
を構成していることが判明した時に、それらをなす色を
自動的に帳票のフォーム部分の色として決定することが
できる。

【００７２】また、文字程度の大きさの塊が連続してい
る場合には、それらの色を文字の記入色、印刷色として
決定できる。

【００７３】このように、本発明では、書式情報に登録
された色情報や書式情報そのものがないときでも、入力
された帳票から色分析して自動的に帳票を構成する複数
の代表色を分離することが可能である。勿論、書式情報
に色情報や書式情報が定義されているときは、もっと容
易に上記の目的が達せられることはいうまでもない。次
に、図１２は領域ａ、ｂ、ｃからなる直線の近くにノイ
ズｄが存在する例である。そして、ａ、ｃの色をＣ１、
領域ｂ，ｄの色をＣ２とし、Ｃ２はＣ１とバックグラウ
ンドカラーの中間的な色であるとする。

【００７４】このような画像に対して、ある任意の点を
領域の種としてそこから始めて徐々に領域を拡大してい
く。この領域拡大については、その領域の色と同一の色
と見做せる画素で、当該領域に接続している画素をその
領域に取り込むことによって拡大していく。どの領域に
も属さなくなるまでこれを繰り返すことにより、同図に
示す４個の領域ａ、ｂ、ｃ、ｄが抽出される。

【００７５】このような領域抽出法は、画像処理分野で
知られている領域セグメンテーションの方式で、これは
領域成長法と呼ばれる手法の１つである。この他に、ス
プリット・マージやリラキゼーションなどの様々な方式
が可能である。

【００７６】次に、各領域部分について前に述べたと同
様な方法で直線性の判断からｂを直線一部、すなわちｂ
の部分の色をＣ１として分離し、ｄの部分をノイズ、す
なわちＣ２の色として分離する。

【００７７】一般的にいえば、本発明は領域セグメンテ
ーションを行っての領域の代表色を決め、それらを総合
的に判断して全体における代表色を決めるというもので
ある。また、必要に応じてこれら代表色の情報から色分
離を行う。

【００７８】領域セグメンテーションに色の近さの情報
を導入することによっても本発明による正しい色分離を
行うことができる。例えば成長法で行っている時に同一
色であるとの判断を緩めておけば、ａ，ｂ，ｃが１領域
として検出されるようにも設定できる。すなわち成長の
過程で接触している輪郭部分の多い領域についてその両
者の色が近いとしたときに、具体的にはＣ１とＣ２が近
いと判断されたとして、これらをマージして１つの大き
な領域にする。こうすればｄに大きく接触するＣ２に近
い色は無いかまたはそれはバックグラウンドカラーなの
で、それはいずれにせよノイズとして無視されてしまう
一方ｂの領域は直線の一部として正しく領域抽出され
る。

【００７９】このような本方式では色情報の他に画素の
位相情報、すなわち各画素の幾何学的関係を使っている
ので、従来の単に色の統計的な情報だけに基づいて代表
色を決めたり色分離する方式よりも、高精度な代表色決
定や色分離が可能となる。

【００８０】ある特定の色を分離抽出する為に、画像の
色情報と画像内で表現されているもの、すなわち図形、
直線、曲線、文字などの形状情報の両者を用いる事は有
効である。図１３（ａ）（ｂ）はその例を示したもので
ある。１３１は青い直線の途中が青緑に変性しているも
のである。これから単純に青色を分離すると１３２に示
すように直線はかすれてしまう。また、であるからと言
って青緑の部分も青と見倣してしまうと、例えば、１３
３に示すように青い直線に青緑のゴミが付着している様
なケースでは１３４に示す様なゴミの付着したままのイ
メージが色分離されてしまう。

【００８１】そこで、本発明では、まず青い部分につい
て形状分析を行ない、ＰとＲの部分が直線である事を認
識し、次いでかすれ部分とみなされるＱの部分をしら
べ、Ｐ、Ｑ、Ｒの色が近い事、またＰ、Ｑ、Ｒ全体で直
線とみなされる形状を持っている事を条件として、Ｐ、
Ｑ、Ｒ全部を青色エリアとみなして色分離する。この様
にすれば１３３に示す様なケースでもゴミのエリアＡが
誤って青色に色分離される事はなくなる。

【００８２】図１４は、青い線と赤い線がオーバーラッ
プしている様子を示している。Ａ１、Ｃ、Ａ２は青い
線、Ｂ１、Ｃ、Ｂ２は赤い線である。Ｃはオーバーラッ
プエリアで紫色をしている。

【００８３】この場合、通常の方法で赤を抜き出しても
青を抜き出してもＣを抜き出す事はできない。また、赤
を抜き出す時に常に紫を抜き出す様にすると真に紫色を
している部分で抜いてはいけない所まで抜いてしまう事
があり、不都合である。そこで例えば青を抜くケースで
は、まず、青に接触しているエリアを観察し、そこに当
該青色とは別の色の混色である可能性のある色が存在し
ている時、さらにその混色エリアの近傍を調べて該混色
をなすもう一方の色が存在するエリアがある時には、そ
の混色エリアも青のエリアとして抜き出すこととする。
この時、この青のエリアＡ１、Ａ２の形状が直線を表し
ておりまた、混色をなすもう一方の色であるＢ１、Ｂ２
のエリアも直線を表しており、Ｃのエリアもそれらの直
線に矛盾しない事をチェックする様にすれば、より一層
精度の高い色分離が可能となる。

【００８４】この場合の形状チェックは直線だけでな
く、曲線や、図形、文字形状ないし文字である確からし
さ、などのチェックによっても良い。

【００８５】図１５は別の例である。エリアＣが赤みが
かった黒であれば上記とほぼ同様な処理で色分離ができ
るが、赤と黒の混色が黒であるとすればｘとｚ、ｙとｗ
を接続することによって赤の色分離が可能となる。また
Ｂ２エリアが存在しない時でもｘとｚを接続する曲線を
エリアＢ１の形状から推定する事により、赤の色分離が
可能となる。

【００８６】線幅情報と色情報の両者を使う事によって
色分離を行なう方法は効果的である。この場合書式情報
に色分離にかんする指定を記載するとすれば、色分離す
べきものの色に関する情報に付加して線幅のしきい値
や、ハッチングの場合には線のピッチなどの情報を設定
する。

【００８７】図１６は帳票上に観測される線１６１上の
ある部分に設定された円領域１６２を示すものである。
例えば、その中の黒がその重心位置からＮ方向に黒がそ
の存在を調べて、その黒画素の連続する長さが最小にな
る方向の長さを持って線幅と見做す方式が知られてい
る。また別の手段としては、縦横の黒画素ののランレン
グスから線幅の推定値を求める方法も考えられる。いず
れにしても、このようにして部分的な線幅情報を得る方
法は公知である。

【００８８】これにより、その部分が特定の色をしてい
るのか、または特定の色でないかという事実と、その部
分に決められた線幅以下の部分であるかどうかという事
実の両者を使うことによって効果的な色分離を行うこと
ができる。

【００８９】上記の手法で、例えば帳票上で図１７のよ
うなハッチングが施された領域から、同一色で線幅の広
い文字部分１７１を抜き出すことができる。また、この
時、仮に線幅が狭くても、色の違う部分は例えば、１７
２の様な部分はハッチング部分を消去した後でも分離し
て残す事ができる。

【００９０】ところで、具体的な色分離の指定方法には
次に示すものが主要なものである。特定の色を分離する
場合、特定の色以外を分離する場合、無彩色を分離する
場合、有彩色を分離する場合、白を分離する場合、黒を
分離する場合、またはそれらの組合せである。

【００９１】特定の色の分離する場合は、色相（Ｈ）の
値を主に基準として判別する。無彩色、有彩色の分離の
場合は、彩度（Ｓ）の値を主に基準として判別する。白
や黒を分離する場合は彩度（Ｓ）の値が小さいものの中
から明度（Ｖ）の大小で判定を行なう。

【００９２】色分離した後の結果から、帳票の中でバッ
クグラウンドカラーである可能性のもっとも高いもの、
例えば、もっとも支配的な代表色を選ぶ事ができる。す
なわち、各代表色の中で総面積の最大の色を選ぶのであ
る。この結果を認識結果に付加して出力する事は有用で
ある。すなわち自動的に推定されたバックグラウンドカ
ラーを認識結果に付加して出力するのである。

【００９３】また、認識された帳票のフォーム部分の色
や、帳票上の特定部分の色を出力する事も有用である。

【００９４】また、認識結果として得られる文字コード
にその文字の帳票上での色やその文字の記載された位置
のバックグラウンドの色や、その文字を囲む文字枠の色
などを付加して出力することも有用である。

【００９５】また、フォーム部分の色情報は罫線情報な
どと共に帳票判別に用いる事も可能である。

【００９６】これら抽出された色情報に基づいて、オペ
レータにアラームを出したり、その旨を表示する様にも
構成できる。また、その色情報に基づいて修正画面表示
を変える様にも構成できる。

【００９７】帳票上の各部分領域ごとに色分離手段を変
えることは非常に重要な手段である。

【００９８】まず、あらかじめ書式情報には部分領域の
定義とそのエリア内で通常の２値化処理を行うか、また
は色分離処理を行うかが記載されている。実際の処理が
行われる時点で、例えば図１８に示す帳票が入力された
とする。この帳票において、認識すべきエリアは１８１
で、画像のみを取り出して、その画像データをそのまま
出力すべきエリアが１８２である。書式情報にはそのよ
うに記載されているとする。この場合エリア１８１で
は、文字枠を示すプレプリントの部分を取り除いて文字
を認識する必要がある。一方、エリア１８２では文字枠
や項目名などのプレプリント部分は消去してはいけない
ので、それらの色は取り除かれない。もし、この場合に
それらを一様に色分離してしまうと不都合を生じる。

【００９９】この場合の具体的な処理は次の様にして行
なわれる。エリア１８１に関しては書式情報に基づきカ
ラーデータで画像を入力する。一方、１８２に関しては
２値で画像を入力する。また１８２に関しては入力され
たカラーデータに対してＲＧＢの平均値を計算してモノ
クロ画像を得、それを２値か処理して２値画像を得るよ
うにしてもよい。次に、書式情報に基づきエリア１８１
では文字枠の色を分離して消去する。そしてこれに対し
て文字認識が実行される。１８２についてはそのまま画
像データが出力される。

【０１００】こうすることによって、処理時間のかかる
色分離作業を帳票上の一部分だけに限定することができ
る。通常の２値か処理は短時間で実行できるので、色分
離作業を一部分に限定することにより、全体的な処理時
間の向上を図ることができる。

【０１０１】上記の例は、色分離するかどうかを部分領
域ごとに変える方式であるが、色分離手段を複数の方式
から選択する方式も可能である。

【０１０２】例えば、エリア１８２の印鑑部の領域に於
いては、赤または橙の色分離を行うように設定された色
分離プロセスを起動し、またエリア１８１においては黒
色を分離するようなプロセスを起動するように書式情報
を登録することによって文字認識と印鑑抽出を高速に行
うことができる。こうすれば、すべての領域についてす
べての代表色を色分離するというような、従来の方式、
例えば特開平３−１４０７７号公報などの方式に比べ
て、高速に処理を行うことができる。

【０１０３】本発明では、これらの指定に附属して、そ
の領域における文字の切り出し手段、文字認識手段、文
字認識後処理手段などを複数の方式の中から特定のもの
を選択できるような指定を行なえる様にしても良い。

【０１０４】帳票の特定部分において特定の色を色分離
し、その部分にその色が存在するかどうかを判定し、存
在すればその色の対象物を認識し、その認識結果を出力
する機構は便利である。当該色の認識対象物が無いと判
断された時は、その旨出力する。またこの時、その部分
に記載された対象物の色を出力するように構成しても良
い。もちろん、この時に認識対象物を認識することな
く、これらの判定結果や色情報のみを出力するように構
成しても良い。

【０１０５】この時、印鑑判定部を本装置に組込むこと
により当該部分に印鑑が存在するかどうかや、その印鑑
がどの種類のものであるかを判定し、その結果を認識結
果として出力する事ができる。たとえば、印鑑がない時
や、所定の印鑑が押されていない時にそれを自動的にオ
ペレータに知らせたり、警告するようにシステムを構成
できる。すなわち、これら抽出された印鑑情報に基づい
て、オペレータにアラームを出したり、その旨を表示す
る様にも構成できる。また、その印鑑情報に基づいて修
正画面表示を変える様にも構成できる。

【０１０６】印鑑判定部は例えば、特定の色、例えば赤
で色分離した画像から、当該色の対象部分が存在してい
る事、またその部分の外側の輪郭形状がたとえば丸や楕
円である事、また内部形状がある程度複雑である事実等
から判定できる。

【０１０７】また、印鑑の形状の類似性の判定は、パタ
ーン認識等で良く用いられているパターンマッチング処
理などにより行なう事ができる。

【０１０８】帳票の色分離を行なう事によって得られる
結果や、さらにそれらに何らかの処理を施した結果を画
面に表示し、オペレータの確認を待って次の処理に進む
様にも構成できる。この場合、オペレータが処理結果に
不満であれば、処理結果を直接修正できる様な機構を設
けても良いし、また何らかのパラメータを変更してもう
一度当該処理をやり直しさせられる様にも構成して良
い。

【０１０９】また色分離時に判定困難な色が発見された
時に、それを必要な場合にはその周囲の状態と共に表示
して、オペレータに正解入力を促す様にも構成できる。
以降、この正解データに基づいて色分離処理を行なうよ
うにも構成できる。

【０１１０】まず、記入欄に対応する部分に第１の特定
色、例えば黒に色分離される部分があり、それらが文字
列として認識されれば、それを認識結果として出力す
る。同様に、必要であれば第Ｎの特定色まで同様の処理
を繰り返しても良い。これらに関してはこの特定色が帳
票のフォーム色と同一でなければ、色分離された画像デ
ータの中では、文字枠や記入欄は消去されていると見倣
され、文字認識には「枠なし文字認識方式」が適用され
る。また逆にこれらが同一であるときは「枠あり文字認
識方式」が適用される。記入欄のどこにも何も存在しな
いと見倣された時には空白を出力する。

【０１１１】またこれとは別に次の様にもできる。帳票
のフォームの色と同一色でない色として分離された部分
がその記入欄に存在して、それらが文字列として認識さ
れれば、それらを出力する。この場合には文字枠や記入
欄は消去されていると見倣されて、文字認識に「枠なし
文字認識方式」が適用される。そしてその記入欄で、フ
ォームと同一色の存在範囲が小さければ、記入欄の文字
はフォームと同一色で記載されていると見倣されて、文
字認識には「枠あり文字認識方式」が適用される。記入
欄のどこにも何も存在しないと見倣された時は空白を出
力する。これらの処理はどちらが先に行なわれても良
い。

【０１１２】「枠なし文字認識方式」とは、文字枠が存
在しないと仮定して文字の切り出しと文字認識を行なう
もので、さまざまな方式が知られている。

【０１１３】「枠あり文字認識方式」とは、文字枠が存
在すると仮定して文字の切り出しと文字認識を行なうも
のである。これにはあらかじめ文字枠の位置や形状が書
式情報などから与えられている「既知形状文字枠あり文
字認識方式」と、そうではない「未知形状文字枠あり文
字認識方式」の２種類がある。これらは、それぞれ書式
情報の内容によってどちらかが採用される。

【０１１４】またいずれの方式においても、「罫線接触
あり文字認識方式」と「罫線接触なし文字認識方式」が
あり、実際のパターンの状態からどちらかの方式が選択
される。

【０１１５】これらは次に示す手順で実行される。最初
に文字枠推定処理が行なわれ、文字枠位置、またはその
候補が決定される。次に文字部分を推定し、文字と文字
枠の接触の度合を調べる。もし、ここで接触が少ないか
無ければ、「罫線接触なし文字認識」が選択される。も
ちろん、接触か非接触かで方式を分けない様に構成する
ことも可能である。次に、求められた罫線位置情報に基
づきながら文字の切り出しと文字認識を行なって行く。
罫線接触がある場合には、適切な文字と罫線の切り離し
処理が行なわれる。

【０１１６】これら罫線切り離し技術や、接触文字の切
り離し処理を伴う様な文字の切り出し処理や文字認識処
理については、そうでない場合も含めて従来技術として
知られているものを使う事ができる。

【０１１７】この様に構成する事によって、常に同一の
方式で文字認識するよりも格段に精度の良い認識系を構
成する事ができる。

【０１１８】なお、色分離と色ずれ修正を同時に行なう
事ができる。色の偏り補正や色のボケ具合をそろえる補
正処理なども同時に行なえる。例えば黒い部分を分離す
る場合、もし、あらかじめ色ずれ修正パラメータが判明
している時には、ＲＧＢ各色のシフトと色分離（特定の
色を取り出す作業）を同時に行なえば良い。また、もし
あらかじめ色ずれ修正パラメータが決まっていない時で
も、黒い部分の両側に補色関係の色があれば、それらか
ら色ずれを推定して、その結果に基づいてＲＧＢ各色を
シフトしたと見なした上での黒部分を分離すれば良い。
他の色についても同様の処理が可能である。

【０１１９】次に、画像処理部４での色の表現について
説明する。

【０１２０】画像処理部４では、色分離することにより
得られた複数の代表色、すなわち微妙な色の違いを無視
して選ばれた色について、または、入力された画像デー
タについてこれらを画像の１ライン毎にランレングスと
して表し、この１ライン分の表現に対してポインターを
作り、このポインター列からなるテーブルを作成して、
このポインター列と該代表色ランレングス表現からなる
データを画像データとして格納する。そして、このよう
な画像表現を入力として、色表現に基づいて画像処理ま
たは文字認識を行う。

【０１２１】まず、色ランレングス表現の画像からその
中の一部分をもとのビットマップデータに変換して文字
認識や画像処理を行うことができる。色別のランレング
ス表現や色別のポインターになっていないと、一部分の
データを復号化することができず、画像全体を復号化し
なければならなかった。またポインター表現されたテー
ブルと白黒ランレングスデータ表現を組み合わせた形式
の画像表現に対して文字認識を行う方式も知られている
が、このままではカラー画像を扱うことができなかった
（ＵＳＰ４４２６７３１）。ある部分のある特定の色部
分をビットマップデータに変換したい場合、その部分に
対応するラインのポインターから色表現されたランレン
グスデータを参照して特定の色に関するものだけでビッ
トマップを変換するか、またはその部分の特定の色のポ
インターだけを参照してそのポインターが指し示すラン
レングスデータからビットマップデータを得るようにす
れば、高速に特定部分の特定色のみを抽出することがで
きて、それに基づいて文字認識や画像処理を行うことが
できる。これにより全画面を復号化して前記処理を行う
よりもはるかに高速な処理が可能になる。また、復号化
せずに直接ランレングス表現に対して処理を行うように
すれば一層高速な処理が可能になる。

【０１２２】帳票に現れる代表色について、それらはあ
らかじめ書式情報に記載されていて、それに基づいて抽
出されたり、そうでなくて自動的に抽出されたりする
が、それら代表色に基づいて画像を次の様に表現する。

【０１２３】この場合、代表色を表すコードＣと、その
色が連続する長さ、またはそれを符合化したものをＬと
すると、それらの組ＣＬを求め、これらの連続によって
１行分の画像を表現する。図１９は、コード化の一例を
示している。これはランレングス表現のカラー化であ
る。

【０１２４】また、各代表色ごとにランレングス符合化
する方法も使用できる。この場合、図２０（ａ）の２０
０に示すように１ラインごとに各代表色のランレングス
表現をまとめておく表現方法と図２０（ｂ）の２０１に
示すように全画面分のランレングス表現をまとめておく
表現方法があり、また、各ラインのランレングス表現の
先頭を指すポインターの設定方法にも、図２０（ｃ）の
２０２に示すように１ラインごとに各代表色のポインタ
ーをまとめておく方法と図２０（ｄ）の２０３に示すよ
うに各代表色の全画面分のポインターをまとめておく方
法がある。

【０１２５】また、ＲＧＢ各色を量子化して、各ＲＧＢ
ごとに同様のランレングスコーディングする事もでき
る。これらのコード化は隣あう画素間の少しの色の違い
をノイズと見なして無視する事によって、それらを代表
色や量子化濃度で近似する事により実現される。

【０１２６】ランレングス表現の画像に対して直接、画
像処理を施す例は、例えば特開昭６２−２４６１３８号
公報、特開昭６２−３０７６１５号公報などに開示され
ている。これらはすべて白黒ランレングスデータに対す
る画像処理方式であるが、これを各色のランレングス表
現に当てはめて実行することができる。また、これらの
画像処理技術に基づいて文字認識を実行することも可能
である。

【０１２７】例えば、特定領域内の特定色の長い直線を
検出する場合は、その特定領域を指し示すポインターを
参照して該領域を含む部分の特定色の表すンレングスデ
ータを得、そのうち、ランの長さが長くて該部分領域に
含まれるものを得て、隣り合う長いランを統合すること
によって直線を検出することができる。

【０１２８】別の例として色ランレングス表現の画像に
対して直接、画像処理を行う例を下記に示す。この場合
の画像処理の例は、色ずれ修正処理である。

【０１２９】これらのコード化された情報に基づいて画
像処理、文字切出し、文字認識を行なう事により、例え
ばＲＧＢ画像に対して処理するよりも処理速度を速める
事ができ、また画像を表現するデータ量を圧縮する事が
できる。

【０１３０】色ランレングスで表現されたデータに対し
て色ずれ修正を行なう事もできる。たとえば画像をＲＧ
Ｂに分離してラン表現を作っている時（図２０（ｄ）の
２０３）は各行の先頭ランの長さを変更するだけ１画素
単位のシフトは簡単に実現できる。

【０１３１】１画素単位以下のシフトの場合は次の様な
処理で実現される。まず各ランの境界部分の画素の値を
調べて、その濃度値から各ランの長さを整数から実数に
変換する。境界画素におけるその色の濃度が高いほどラ
ンの長さを長く、低い程短くするように各ランの長さを
変更する。この時、各ランの総合計は変えないようにす
る。

【０１３２】次に、先頭ランの長さをシフト量に従って
変更する。１行のラン表現が左から右に行なわれている
場合には左シフトの時は先頭ランをその分短くする。右
シフトの時はその分長くする。その後、各ランの総合計
を変えないように各ランの長さを整数化する。これで、
ラン表現上での画像のシフトが実現される。

【０１３３】たとえば画像を色コード＋ランレングス表
現で表している時（図２０（ｂ）の２０１）は、各１行
ラン表現の中で３個または４個のランの連続を調べる。
この連続したランの両はじのランにはさまれたランの色
と長さが色ずれによって生ずる可能性があるかどうか
を、シフト量と量はじのランの色から判断し、色ずれが
原因の場合はそのランを消滅させ、各色のシフトがあっ
たとして変更されるべき両はじのランの長さを変更す
る。または、各ランを例えばＲＧＢに色分解して事実上
図２０（ｄ）の２０３と同様な表現にかえて色ずれシフ
トを行ない、また元の表現（図２０（ｂ）の２０１）に
戻す手段も可能である。

【０１３４】いずれにしても、この様な手段で色ラン表
現の各色を直接原画像に戻す事なくずらす事ができる。

【０１３５】なお、上述の色分離を２段階に別けて行う
ことにより、処理の高速化を図ることができる。第１段
階で細かな色の違いを余り無視しないようにして色分離
を行い、その結果に基づいて第１の色のランレングス表
現を作り、次にこのランレングス表現のデータに基づい
て第２の色分離を行う。そして必要があれば第２の色分
離の結果に基づいて第２の色ランレングス・データ表現
を作成し、これを画像処理や文字認識処理の入力データ
とする。

【０１３６】一般に色分離は、処理時間が掛かるので、
第１の色分離に簡単で高速な方式を用いて粗く色分離を
行っておき、これに対して処理時間のかかる第２の色分
離を行って精密な代表色野決定を行うようにすれば、直
接原画像に対して第２の色分離処理を行うよりも高速で
分離処理を行うことができる。

【０１３７】第２の色分離手段としては、上述した各方
式が考えられ、これらは処理時間を要する色分離手段で
ある。一方、特開平４−１６０４８６号公報に示される
ものは、単純で高速なので、第１の色分離に適してい
る。

【０１３８】ＲＧＢの値は、明度（Ｖ）、彩度（Ｃ）、
色相（Ｈ）に変換してこれらの空間の中で色処理した方
が良いし、また色の指定もこれらの値によって行なった
方が便利である。これらの変換はたとえば次の様にして
実現される。

【０１３９】まず、明度（Ｖ）はＲＧＢの濃度値の平均
値として定義できる。次に彩度（Ｃ）は最小の濃度値に
基づいて定義できる。すなわち、最小の濃度が０に近い
ほど彩度は高い値をとる。なぜなら、この場合は濃度値
の高い色と濃度値の低い色の濃度値の差が大きいので鮮
やかな色が得られるからである。色相（Ｈ）を定義する
ためには、まずＲＧＢの各色に対応する数値を定める。
例えばＲを０、Ｇを１２８、Ｂを１９２とし、ＢからＲ
へ至る色の変化を表すときは、Ｒを２５６として扱う。
次に最大の濃度値の色を示す数値と次の濃度値の色を表
す数値の間の数値をそれらの濃度値の比で求めそれを入
力色の数値すなわち色相とする。

【０１４０】具体的には次の手順で求めることができ
る。ｒ、ｇ、ｂをそれぞれＲＧＢの濃度値、ｈ、ｓ、ｖ
をそれぞれＨＳＶの値として、変換の手順をＣ言語で記
述すると、下記のようになる。

【０１４１】 ｖ＝ｒ＋ｇ＋ｂ； if（ｖ＝０）｛ｃ＝０；ｈ＝０；｝ else ｛ ｒ＝（ｒ＊２５５）／ｖ； ｇ＝（ｇ＊２５５）／ｖ； ｂ＝（ｂ＊２５５）／ｖ； if（ｒ＞ｇ） ｛ if（ｇ＞ｂ） ｛/*ｒ＞ｇ＞b*/s＝ 255−b*３;h＝ ((g−b)*129)/（ｒ＋ｇ−2*b); ｝ else if（ｂ＞ｒ） ｛/*ｂ＞ｒ＞g*/s＝ 255−b*３;h＝ ((r−g)*65 )/（ｂ＋ｒ−2*b)＋192;｝ else ｛/*ｒ＞＝ｂ＞g*/s＝ 255−g*３;h＝ ((r−g)*65)/(ｒ＋ｂ−2*b)＋192;｝ ｝ else ｛ if（ｒ＞ｂ） ｛/*ｇ＞＝ｒ＞b*/s＝ 255−b*３;h＝ ((g−b)*129)/（ｇ＋ｒ−2*b); ｝ else if（ｂ＞ｇ） ｛/*ｂ＞ｇ＞＝r*/s＝ 255−r*３;h＝ ((b−r)*65)/(ｂ＋ｇ−2*r)＋128;｝ else if((ｇ＞ｂ）‖（ｂ＞ｒ)) ｛/*ｇ＞＝ｂ＞＝r*/s＝ 255−r*３;h ＝ ((b−r)*65)/(ｇ＋ｂ−2*b)＋128;｝ else ｛/*ｇ＝ｂ＝r*/s＝０;h＝０；｝ ｝ ｝ if（ｈ＞255)ｈ＝０； if（ｓ＞＝128)ｓ＝（ｓ−128)/4＋224; else ｓ＝（ｓ＊224)/128; ｖ＝ｖ／３； ） このような変換は、上記に限られるものではないが、こ
れらの値をテーブルルックアップによって求める様にし
ても良い。すなわちＲＧＢの値を量子化し、各色をＮ
Ｒ、ＮＧ、ＮＢビットで表現し、アドレス空間がＮＲ＋
ＮＧ＋ＮＢビットのテーブルを用意して、このテーブル
内のＲＧＢの値に対応するアドレスにそのＲＧＢが表す
色に対応するＨＳＶの値を格納するようにすれば良い。
また画像入力部１からの入力画像の色表現がＨＳＶであ
っても良い。

【０１４２】また、これらの変換を色の偏り補正と同時
に行なっても良いし、これらの変換を色ずれ修正と同時
に行なっても良い。

【０１４３】ところで、画像の表現には３種類あり、こ
れらは各画素が色情報を保持している場合（Ｃ）、濃淡
情報を保持している場合（Ｇ）、２値化されている場合
（Ｂ）である。

【０１４４】前者はより高度な認識処理に向いている
が、後者は高速処理に向いている。高度な認識処理を必
要としない部分にカラーデータを割り当てる事や高度な
認識処理を必要とする部分に２値データを割り当てる事
はシステムパフォーマンスを向上させる観点からは望ま
しくない。そこで、帳票上の各部分ごとにデータ表現形
式を指定する機構を導入する事は重要である。具体的に
は書式情報などに領域指定とその領域における画像表現
形式を記載できるようにする。

【０１４５】画像入力部１が前記ＣＧＢのいずれの画像
を出力するのかは、１種類に限定されている訳ではな
い。そこで、本発明装置では（Ｃ）に対応して文字認識
する機構、（Ｇ）に対応して文字認識する機構、（Ｂ）
に対応して文字認識する機構のうち少なくとも複数の機
構を備えていて、入力画像の種類に応じて処理を行なう
様にする。

【０１４６】図２１は、上述の手段を具体化するための
構成で、画像入力部２１１からの出力をそれぞれカラー
画像バッファ２１２、グレイ画像バッファ２１３、２値
画像バッファ２１４に各別に取り込み、それぞれについ
て認識部２１５〜２１７において文字認識を行い、これ
らの認識結果を読取り結果修正部２１８を介して出力す
るようになる。

【０１４７】読み取り対象帳票によって、それぞれＣＧ
Ｂのいずれで画像入力したら良いかがあるので、書式情
報等には入力すべき画像の画像表現に関する指定ができ
るようになっていると便利である。この書式情報の画像
表現に関する指定に従って画像入力装置に指定の画像表
現の出力をリクエストする。画像入力部１はそれに応じ
た画像を送ってくるので、本装置はそれに対応する処理
を行なう。

【０１４８】しかし、画像入力部１がリクエストに応じ
られない場合や、本装置からリクエストしない場合に
は、あらかじめ分かっている画像表現のデータが送られ
て来る訳ではないので、この場合には画像データに付随
しているか、あらかじめ設定されている画像表現データ
の種類に応じて認識処理などを行なう様にする。

【０１４９】また画像入力の対象が画像ファイル、すな
わち、磁気ディスクなどに蓄えられたデータの時には、
そのファイルにはデータの画像表現形式を判定できるデ
ータが付加されており、それが、画像データと共に本装
置に入力される。ＦＡＸなどの通信回線を通して送られ
る画像データについても同様であることは前にも述べ
た。

【０１５０】本機能は文字認識を行なうシステムと複数
の端末と複数の画像入力装置をネットワークで接続した
ようなシステム構成の時に有効である。何故なら、ネッ
トワークに接続された画像入力部１には各種のものが存
在する可能性があり、それらに自由に対応できるからで
ある。

【０１５１】次に、このようにして色表現された画像
（Ｃ）、濃淡表現された画像（Ｇ）に対する文字認識処
理について述べる。

【０１５２】まず、ＣまたはＧの画像を２値化して、そ
の２値画像を認識対象とする。文字の検出切出しや文字
認識の際にかすれや潰れ、輪郭乱れなどの疑いのある場
所が発生した時に、ＣまたはＧの画像の当該部分に対応
する部分を調べる。従って、本装置では、２値化の後も
ＣまたはＧ画像が保持されている。

【０１５３】図２２はブロック図である。この場合、入
力されたカラー画像はそのままかあるいは色分離されて
カラー情報としてカラー画像バッファ２２１に蓄えられ
る。この時、そのままのカラー情報と、色分離後のカラ
ー情報を別々のバッファに格納してもよい。次に、カラ
ー情報からグレイ画像が例えばＲＧＢの濃度値の平均値
を計算するなどして得、グレイ画像バッファ２２２に格
納する。入力画像がグレイの時は、それは直接このバッ
ファに入力されてカラー画像バッファは省略される。次
にグレイ画像に対して２値化処理を施すことによって２
値画像を生成し、２値画像バッファ２２３に格納する。
次に２値画像バッファ２２３のデータから１文字分の画
像データを取り出し、これに対して文字切出し部２２４
で文字切り出しを行い、文字認識部２２５で文字認識を
行う。例えば図２３（ａ）（ｂ）（ｃ）に示すようにＡ
やＢのパターンが辞書パターンとして記憶されているも
のだとして、これらと入力パターンのＸのマッチングが
取られる。例えば、テンプレートマッチングのような手
法によってマッチングする。その結果、ＡとＢのマッチ
ング程度が同じくらいでどちらか判定がつかなかったと
すると、この時辞書パターンＡとＢの組には、詳細認識
判定プロセスが付属しており、このような判定不能時に
起動されるものとする。この詳細認識判定プロセスで
は、入力パターンの特定部分について調べるような指定
がしてある。この場合、入力パターンのＹの領域部分に
ついて穴が開いているかどうか調べるという指定があ
る。そこで、この領域に対応するグレー画像バッファ２
２２を参照してそこの濃度値を調査する。その濃度値が
周囲の濃度よりもバックグラウンドの濃度値に近けれ
ば、穴が開いていると判断して入力文字は「８」と判定
される。その逆の時は「９」と判定される。

【０１５４】グレー画像の変わりにカラー画像バッファ
２２１を参照するときも同様である。文字切出し部２２
４においても同様にグレー画像バッファ２２２やカラー
画像バッファ２２１を参照することがもきる。

【０１５５】例えば、図２４は２個の文字が接触してい
る例である。この画像を縦方向に射影成分、すなわち黒
画素数を計算すると、同図のＡのようになる。この射影
成分分析から、例えばこの射影成分の最小点、この場合
はＢとＣを文字の切り出し候補点とする。そこで、これ
らの切り出し候補点に基づいて切断箇所を求め、ｂと
ｃ，そこの部分に対応するグレー画像またはカラー画像
の該当箇所を参照する。その結果、その部分が、バック
グラウンドの色に近いか、または濃度値に近いと判定さ
れたときには、その部分の切り出し候補の優先順位を上
げることができる。ｂとｃの場合、射影成分の値からは
ｂの方が切り出し点としての優先順位が高いと判定され
ているので、ｃの部分の濃度値やバックグラウンドに近
いことが判明すれば、ｃの部分を正しい切り出し点とし
て優先順位を上げることができ、結果として誤読を防ぐ
ことができる。

【０１５６】勿論、切り出し方式は、前記方式に限定さ
れるものでない。この他に輪郭情報や切り出したときの
文字の幅やそのほかの特徴を使ったり、それらを併用し
てもよいことはいうまでもない。

【０１５７】以上の考え方を一般的に述べると、認識プ
ロセスから決められる再チェックが必要な場所が決めら
れたときに、後段の処理をフィードバックする事によ
り、その場所におけるパターンの色や濃淡データを参照
しする事によって、かすれ、潰れ、輪郭乱れなどを修正
し、線分抽出、レイアウト理解、フォーム理解、検出切
出し、文字認識等を行なう。

【０１５８】次に、文字認識における２重線取消処理に
ついて述べる。

【０１５９】入力画像は色分離され、印鑑の色に相当す
る部分の記入文字の色に分けられる。そして、記入色の
画像データに対して文字認識が行われる。この時、文字
記載部分に、長い横線が２本、また１本発見された時
は、取り消し部分と判定される。長い横線は、例えば長
い横線ラインを見付け出すなどして検出することができ
る。その長さが十分でない時には、それらが１文字かま
たは接触文字である可能性も合わせて調べるように構成
する。そのような文字切り出しや文字認識が失敗すれば
それは取り消しである可能性が高くなる。この結果か
ら、取り消しであると判断されて、近傍に訂正文字があ
ればそれは訂正文字として認識され、当然そのときは、
該取り消し部分が真に取り消されている可能性が高いと
判断される。

【０１６０】次に、この取り消し部分の位置に対応する
印鑑色の画像データの一部分を取り出して、その部分に
十分な印鑑色が存在するかどうかを調べる。もし存在し
なければ装置を使用しているオペレータに警告を発生す
るようにする。また、その警告をフラグとして、または
存在有無などを文字認識結果に付随して出力するように
する。

【０１６１】印鑑の判定については、印鑑判定部を有
し、取り消し部分に印鑑が存在するかどうかを印鑑色の
画像データの形状から判定するようにしても良い。ま
た、印鑑の形状の類似性を判定できる印鑑判定部を導入
することにより、どの種類の印鑑が発見されたかを認識
結果に付随して出力することもできる。

【０１６２】通常、印鑑の色と記入色は異なるので色分
離により印鑑の色部分のみを取り出して、印鑑判定を行
なえば精度の良い判定ができる。記入部分と印鑑の重な
り部分も上述の色分離で説明した方法や、また記入部分
に印鑑が押されている可能性があるとして印鑑の判定や
照合を行なう様に構成して良い。

【０１６３】また、文字認識における文字種を同定する
場合について述べる。

【０１６４】この場合、文字線が太いことなどは、文字
がプレプリントされたものである事を示しており、その
様な証拠が多く発見された時はプレプリント用の文字切
り出し、文字認識手段を適用する。または、それを優先
的に適用するようになる。

【０１６５】最後に、修正画面の構成について述べる。

【０１６６】入力された画像データから、例えば色分離
処理によって帳票のフォーム・イメージを取り出す。フ
ォーム・イメージは、色のみから分離されても良いが、
罫線抽出処理を特定の色に対して行うようにして抽出し
ても良い。フォーム・イメージは、ビットパターンで取
り出されても良いし、また、ヘクトルデータすなわち始
点座標と終点座標の組からなる線分データの組み合わせ
として表現されていても良い。

【０１６７】次に、帳票上の文字を色分離した画像デー
タなどから認識する。この時認識した文字の存在位置や
大きさなどの情報を記憶しておく。

【０１６８】ここで色分析により得られた帳票のフォー
ム・イメージの色に類似している色によってフォーム・
イメージを表示する。その時に、認識結果の文字をその
文字が存在していた位置に重ねて表示する。この時、記
入色に対応する色で文字を表示しても良い。

【０１６９】前記で類似している色とは、予め決められ
た対応関係によって対応する色であっても良いし、計算
によって求められる近い色であっても良い。

【０１７０】これらの表示の全体や一部は、現画像表示
の全体や一部に隣接して、それらの位置関係が対応付く
ように表示しても良い。

【０１７１】なお、図１に示す実施例では、外部より与
えられる画像データを入力画像としてそのまま処理する
場合を述べたが、送信されてくる画像データや記憶装置
に蓄えられている画像データを入力画像とすることもで
きる。

【０１７２】この場合、画像データのみを送信や蓄積す
ると、該画像を処理する側で色補正を行う手掛かりを得
られないという不都合が生じる。

【０１７３】図２５は、通信システムに適用した例を示
すもので、送信部２５１に画像入力部２５１１、修正パ
ラメータ付加部２５１２、通信回線出力部２５１３を有
し、受信部２５２に通信回線入力部２５２１、修正パラ
メータ解釈部２５２２、色修正部２５２３、文字認識部
／画像処理部２５２４を有している。

【０１７４】そして、スキャナから読み込まれる画像は
例えばＲＧＢ３色の多値表現カラー画像データとして画
像入力部２５１１から入力される。すると、修正パラメ
ータ付加部２５１２によりスキャナの形式、通し番号を
表すコード、入力装置名、ＩＤ番号、機種などや色ずれ
修正に必要な修正パラメータ、または色ずれ修正済みか
どうかのフラグなど、色ずれ修正プロセスを特定できる
データが、入力した画像に属性データとして付与され
て、通信回線出力部２５１３より通信回線２５３を通じ
て文字認識機能を有する受信部２５２に送られる。

【０１７５】受信部２５２では、通信回線入力部２５２
１よりデータを受け取ると、修正パラメータ解釈部２５
２２により属性データがスキャナの型式や通し番号を表
すものであるときは、本装置に予め登録してある型式や
通し番号と色ずれ修正パラメータの対応表を参照して色
ずれ修正パラメータを解釈する。この時、対応表に修正
パラメータがないときには、エラー処理とするか、また
は自動的に色ずれ修正パラメータを得るプロセスを用い
て色ずれ修正パラメータを採用する。

【０１７６】受信したデータに直接、修正パラメータが
付属している場合は、この修正パラメータを用いる。も
し、受信データに修正パラメータを特定できる属性デー
タが付属していないときは、エラー処理とするか、また
は自動的に自動的に色ずれ修正パラメータを得るプロセ
スを用いて色ずれ修正パラメータを得る。

【０１７７】属性データが色ずれ修正ずみかどうかを表
すフラグを有していて、それが色ずれを表していれば、
色ずれ修正は行わない。

【０１７８】このようにして色ずれ修正されたデータは
文字認識部／画像処理部２５２４に送られ処理される。

【０１７９】なお、システムが画像蓄積装置を有してい
る場合は、前記した色ずれ修正を特定するための属性デ
ータを入力した画像データに付属させて蓄積し、その後
に蓄積されたデータを読み出して上述と同様な処理を行
うようになる。

【０１８０】この場合、本装置では、色ずれ修正だけで
なく、各色のボケ程度を揃える修正や、色の偏り補正な
どについても同様な処理を行うことができる。

【０１８１】その他、本発明は上記実施例に限定される
ものでは無い。要するに本発明はその要旨を逸脱しない
範囲で種々変形して用いる事ができる。

【０１８２】

【発明の効果】本発明によれば、帳票色や記入色、帳票
フォーム部分や文字部分の印刷方法、文字記入方法等に
対する制限を緩く運用した時や、乱雑に記入文字を記入
欄に記載した時などでも、高精度で文字を認識する事が
できる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成を示す図。

【図２】黒い部分が色ずれした時のＲＧＢ信号の様子を
示す図。

【図３】一般に色ずれがあった時のＲＧＢ信号の様子を
示す図。

【図４】色ずれ検出用マークを示す図。

【図５】ＲＧＢ信号の変化点を合わせる事により色ずれ
修正を行なう方法を説明する図。

【図６】色のボケ方が一様でない時のＲＧＢ信号の様子
を示す図。

【図７】グレイ画像の濃度値の頻度分布を示す図。

【図８】数字「５」に直線が貫通している例を示す図。

【図９】図８の例の色分離を説明する示す図。

【図１０】図８の例の色分離を説明する示す図。

【図１１】図８の例の色分離を説明する示す図。

【図１２】直線の近くにノイズが存在する例を示す図。

【図１３】直線の一部が若干変色している例と、直線に
その色に近い色のノイズが付着している例を示す図。

【図１４】異なる色の線分が交わっている状態を示す
図。

【図１５】黒い線分と何らかの色を持った線分が交わっ
ている状態を示す図。

【図１６】直線の部分的太さを検出する例を示す図。

【図１７】文字とハッチング部分を分離する手法を示す
図。

【図１８】色分離処理を一部分のみに限定して行なう処
理を説明する図。

【図１９】色を表現できるランレングス表現方法を説明
する図。

【図２０】色を表現できるランレングス・データのフォ
ーマット定義の方法を説明する図。

【図２１】入力画像の種類に応じて処理を行う例を示す
図。

【図２２】かすれ、潰れ、輪郭乱れなどが生じた場合の
処理例を示す図。

【図２３】文字の一部分がループなのかどうか疑わしい
ケースを説明する図。

【図２４】２個の文字が接触している例を示す図。

【図２５】通信システムに適用した例を示す図。

【符号の説明】

１…画像入力部、２…色分離部、３…バッファ、３１、
３２、３ｎ…色画像バッファ、４…画像処理部、５…文
字切り出し部、６…文字認識部、７…読み取り結果修正
部。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 入力画像データの各部分を構成する画素
   の幾何学的な情報と、これら各部分およびバックグラウ
   ンドの色情報を併用して入力画像データの色分離を決定
   することを特徴とする画像処理装置。
2. 【請求項２】 予め書式情報に部分領域の定義と該領域
   毎に実行される色分離に関する情報を用意し、これら情
   報に基づいて所定の領域での色分離を実行することを特
   徴とする画像処理装置。
3. 【請求項３】 帳票の入力画像データについて特定色を
   分離し、この分離された特定の色に対応する認識処理方
   式を書式情報から選択し、該選択された認識処理を実行
   することを特徴とする文字認識装置。
4. 【請求項４】 画像データから抽出される複数の代表色
   をランレングス表現し、これらランレングス表現データ
   を指し示すポインターにより構成されるポインタ・テー
   ブルを生成し、該ポインタ・テーブルのポインターによ
   り特定のデータ部分を参照可能にしたことを特徴とする
   画像処理装置。
5. 【請求項５】 画像の色表現形式である色情報、濃淡情
   報、２値情報に対応して各処理ユニットを用意し、入力
   された画像の色表現形式に応じた処理ユニットを使用す
   ることを特徴とする画像処理装置。
6. 【請求項６】 入力画像がそのままあるいは色分離され
   て蓄積されるカラー画像バッファ、カラー画像から得ら
   れるか、直接入力されるグレー画像を格納するグレイ画
   像バッファの少なくとも一方を有し、且つグレー画像ま
   たはカラー画像から生成される２値画像を格納する２値
   画像バッファを有し、２値画像を対象とした処理におい
   て、入力画像の特定部分を再チェックする場合に、前記
   カラー画像バッファおよびグレイ画像バッファの少なく
   とも一方の前記特定部分の対応部分を参照可能にしたこ
   とを特徴とする画像処理装置。
7. 【請求項７】 入力画像データが色分離され、印鑑の色
   に相当する部分と記入文字の色部分に分けられ、該記入
   色の画像データに対して文字認識または取り消し判定が
   行われ該取り消し部分と判定されると、この取り消し部
   分の位置に対応する印鑑色の画像データの位置部分を取
   り出して、その部分に印鑑色が存在するか調べるととも
   に、その存在の有無を出力する２重線取消し処理機能を
   有する文字認識装置。
8. 【請求項８】 入力された画像データから帳票のフォー
   ム・イメージを取り出し、該帳票上の文字を認識すると
   ともに、少なくともその文字の存在位置を記憶し、帳票
   のフォーム・イメージの色に類似する色によってフォー
   ム・イメージを画像表示するときに、前記認識された文
   字をその文字が存在していた位置に重ねて表示すること
   を特徴とする文字認識装置。
9. 【請求項９】 入力画像データに対し修正に必要な修正
   パラメータを属性データとして付与しておき、その後前
   記属性データに基づいて修正パラメータを再現し該修正
   パラメータにより画像データを修正して該修正画像デー
   タについて画像処理を実行することを特徴とする画像処
   理装置。