JP4571758B2

JP4571758B2 - Character recognition device, character recognition method, image processing device, image processing method, and computer-readable recording medium

Info

Publication number: JP4571758B2
Application number: JP2001103847A
Authority: JP
Inventors: 利夫宮澤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-04-03
Filing date: 2001-04-02
Publication date: 2010-10-27
Anticipated expiration: 2021-04-02
Also published as: JP2001351068A

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー文書画像などを入力し、文字を認識する文字認識処理や、画像処理を行なう文字認識装置、文字認識方法、画像処理装置、画像処理方法、並びにコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
従来、文字認識装置で認識対象となる文書は、新聞や雑誌など白黒で印刷されたものが一般的であった。ところが、近年、パーソナルコンピュータの普及などに伴ってカラープリンタも低価格化などと共に普及してきている。このため、文字認識の対象となる原稿がカラー文書画像である場合が多くなってきている。
【０００３】
また、パーソナルコンピュータの性能向上により、カラー文書画像をそのまま認識処理することも可能になってきているが、カラー画像はメモリサイズが大きくなるなどの制限があった。そこで、カラー画像を低解像度のカラー画像に変換したり、グレー画像を入力画像とし、内部で解像度変換処理を行い、高解像度の２値画像を作成し、その２値画像を対象に文字認識を行うことにより、入力時のメモリサイズを削減することが考えられる。
【０００４】
また、着目画素（当該画素）の周辺の濃度情報や濃度変化の情報を用いて２値化の閾値を可変設定することにより、２値化画像を得る技術が特開平５−２２５３２９号公報に開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、低解像度画像を入力画像としているため、解像度変換をおこなっても文字認識を実行する場合に必ずしも最適な高解像度が得られるとは限らない。このため、最適な高解像度を得るには装置あるいは処理方法を複雑にしなければならないという問題点があった。
【０００６】
また、入力されたカラー画像から背景濃度を求める際に、背景濃度が変化した場合について対応する必要がある。さらに、特開平５−２２５３９２号公報に開示されている技術にあっては、２値化の閾値を可変設定しているので、閾値を決定した後に当該画素と比較処理する必要があり、処理時間が長くなるという問題点があった。
【０００７】
本発明は、上記に鑑みてなされたものであって、カラー文書画像の特徴を利用することにより、より単純な構成あるいは方法でカラー文書画像の文字を認識することを第１の目的とする。
【０００８】
また、周辺の色情報を求めることにより背景濃度の変化に対応可能にさせることを第２の目的とする。また、２値化処理における処理効率を向上させることを第３の目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、請求項１にかかる文字認識装置にあっては、カラー文書画像を入力し、該カラー文書画像の文字認識を行う文字認識装置において、前記カラー文書画像を構成する各画素のカラー信号における複数の色成分信号の最大値または最小値を当該画素の代表値としてグレー画像に変換するグレー変換手段と、前記グレー変換手段で変換されたグレー画像を、前記代表値としきい値により２値化する２値化手段と、前記２値化手段の２値データから文字認識をおこなう文字認識手段と、を備えたものである。
【００１０】
この発明によれば、文字認識装置の対象原稿であるカラー文書画像は、何らかの印刷装置で印刷されている場合が多いため、白黒以外のカラー部分はカラー信号（ＲＧＢ，ＣＭＹ（Ｋ））で表現されている場合が多く、しかも、文書の地肌（紙）部分は白または明度が高い場合が多く、地肌と区別するためにも、文字部分の明度値は低くなっていることが一般的である、というカラー文書画像の特徴を利用し、グレー変換手段により、カラー信号における複数の色成分信号の最大値または最小値を当該画素の代表値としてグレー画像に変換した後、２値化し、その２値の代表値（代表色）を用いて文字認識することを単純な構成で実現させることが可能になる。
【００１３】
また、請求項２にかかる文字認識装置にあっては、さらに、前記グレー変換手段の変換時に、複数の色成分信号のうちのどの信号を代表値としたかの色情報および文字認識結果を記憶しておく記憶手段を設けたものである。
【００１４】
この発明によれば、グレー変換手段の変換時に、複数の色成分信号のうちのどの信号を代表値としたかの色情報および文字認識結果を記憶しておく記憶手段を設けることにより、後処理において、代表値の色が何色であるかを把握することが可能となる。
【００１５】
また、請求項３にかかる文字認識装置にあっては、さらに、前記記憶手段に記憶した色情報および文字認識結果を表示する表示手段を設けたものである。
【００１６】
この発明によれば、表示手段に、代表値の色情報および文字コード情報を表示することにより、ユーザーの使い勝手を向上させる。
【００１７】
また、請求項４にかかる文字認識方法にあっては、カラー文書画像を入力し、該カラー文書画像の文字認識を行う文字認識方法において、前記カラー文書画像を構成する各画素のカラー信号における複数の色成分信号の最大値または最小値を当該画素の代表値として算出する第１の工程と、前記第１の工程で算出した代表値としきい値によりを２値化する第２の工程と、前記第２の工程で２値化された代表値を用いて文字認識を行う第３の工程と、を含むものである。
【００１８】
この発明によれば、請求項１と同様に、カラー文書画像の特徴を利用し、カラー信号における複数の色成分信号の最大値または最小値を当該画素の代表値としてグレー画像に変換した後、２値化し、その２値の代表値（代表色）を用いて文字認識することを単純な方法で実現させることが可能になる。
【００２１】
また、請求項５にかかるコンピュータ読み取り可能な記録媒体にあっては、前記請求項４に記載の文字認識方法を、コンピュータに実行させるプログラムを記録したものである。
【００２２】
この発明によれば、請求項４に記載の文字認識方法を、コンピュータに実行させるプログラムを記録したことにより、請求項４に記載の文字認識動作をコンピュータによって実現することが可能になる。
【００２３】
また、請求項６にかかる画像処理装置にあっては、カラー画像を入力し、２値化する画像処理装置において、前記カラー画像を構成する各画素のカラー信号における複数の色成分信号の最大値または最小値を注目画素の代表値として算出する代表値算出手段と、注目画素の周辺の色成分から注目画素の周辺の色情報を求める色情報算出手段と、前記代表値算出手段で算出された代表値と前記カラー画像の注目画素の色成分信号、および前記注目画素の周辺の色情報によって算出される背景濃度に基づいて２値化する２値化手段と、を備えたものである。
【００２４】
この発明によれば、カラー画像の各画素におけるカラー信号の複数の色成分信号の最大値または最小値を求めてその値を代表値とし、この代表値と入力されたカラー画像の当該画素（注目画素）の色成分信号、当該画素の周辺の色成分信号から求めた周辺の色情報（背景画素）をもとに、２値化処理することにより、カラー画像における背景濃度の変化に対応することが可能になる。
【００２７】
また、請求項７にかかる画像処理装置にあっては、前記２値化手段で２値化する際に用いる入力されたカラー画像の当該画素の色成分信号は、前記代表値を求める際に用いた色成分信号以外の信号とするものである。
【００２８】
この発明によれば、請求項６の画像処理装置において、２値化する際に用いるカラー画像の当該画素の色成分信号を、代表値を求める際に用いた色成分信号以外の信号とすることにより、高精度の２値化が可能になる。
【００２９】
また、請求項８にかかる画像処理装置にあっては、前記代表値を求める色成分信号は、赤と緑の色成分信号の最大値とするものである。
【００３０】
この発明によれば、請求項６の画像処理装置において、代表値を求める色成分信号は、赤と緑の色成分信号の最大値とすることにより、たとえば白地の場合、Ｒ（赤），Ｇ（緑），Ｂ（黒）のいずれの値も８ビットデータの場合、２５５に近い値になるのに対し、黄色で非背景画素が描かれているとＲとＧの値は２５５に近く、Ｂの値はゼロに近くなり、Ｒの値が大きく、ＧとＢの値が小さい場合の色、Ｇの値が大きく、ＲとＢの値が小さい色の３色を同時に検出することが可能になる。
【００３１】
また、請求項９にかかる画像処理装置にあっては、前記２値化手段で２値化する際に用いる入力されたカラー画像の当該画素の色成分信号は、青の色成分信号とするものである。
【００３２】
この発明によれば、請求項６の画像処理装置において、２値化する際に用いる入力されたカラー画像の当該画素の色成分信号を、青の色成分信号とすることにより、正確な２値化処理が可能になる。
【００３５】
また、請求項１０にかかる画像処理装置にあっては、前記２値化処理手段による２値化処理の結果から背景画素と非背景画素とを分離するものである。
【００３６】
この発明によれば、請求項６の画像処理装置において、２値化処理の結果から背景画素と非背景画素とを分離することにより、対象物（非背景画素）に対する後処理の簡素化が実現可能になる。
【００３９】
また、請求項１１にかかる画像処理装置にあっては、前記色情報算出手段は、前記背景画素が所定の閾値に対して多く連続した場合、背景画素、非背景画素の区別なく、周辺の色成分信号を用いて周辺の色情報を算出するものである。
【００４０】
この発明によれば、請求項６の画像処理装置において、背景画素が所定の閾値に対して多く連続した場合、背景画素、非背景画素の区別なく、周辺の色成分信号を用いて周辺の色情報を算出することにより、連続して非背景画素が続く画像において周辺の色情報が得られなくなる事態が回避される。
【００４１】
また、請求項１２にかかる画像処理装置にあっては、さらに、前記代表値、入力されたカラー画像の注目画素の色成分信号、周辺の色情報、からなる３次元の２値化テーブルを備え、前記２値化手段は前記２値化テーブルの３つの特徴量を用いて２値化処理を行なうものである。
【００４２】
この発明によれば、請求項６の画像処理装置において、代表値、入力されたカラー画像の注目画素の色成分信号、周辺の色情報、の３つの特徴量を３次元の２値化テーブルとして用意してくことにより、２値化処理時における処理が迅速に行なえる。
【００４３】
また、請求項１３にかかる画像処理装置にあっては、入力されたカラー画像のビット数を少なくした後に、前記代表値を算出し、２値化テーブルを作成するものである。
【００４４】
この発明によれば、請求項６の画像処理装置において、入力されたカラー画像が、たとえば各８ビット構成であった場合に、各５ビットに変換した後、代表値の算出処理を行なうことにより、その処理の迅速化が可能になると共に、２値化テーブルを作成することによりデータ量の削減が可能になる。
【００４９】
また、請求項１４にかかる画像処理方法にあっては、カラー画像を入力し、２値化する画像処理方法において、前記カラー画像を構成する各画素のカラー信号における複数の色成分信号の最大値または最小値を注目画素の代表値として算出する代表値算出工程と、注目画素の周辺の色成分から注目画素の周辺の色情報を求める色情報算出工程と、前記代表値と前記カラー画像の注目画素の色成分信号、および前記注目画素の周辺の色情報によって算出される背景濃度に基づいて２値化する２値化工程と、を含むものである。
【００５０】
この発明によれば、カラー画像の各画素におけるカラー信号の複数の色成分信号の最大値または最小値を求めてその値を代表値とし、この代表値と入力されたカラー画像の当該画素（注目画素）の色成分信号、当該画素の周辺の色成分信号から求めた周辺の色情報（背景画素）をもとに、２値化処理することにより、カラー画像における背景濃度の変化に対応することが可能になる。
【００５３】
また、請求項１５にかかる画像処理方法にあっては、前記２値化工程で２値化する際に用いる入力されたカラー画像の注目画素の色成分信号は、前記代表値を求める際に用いた色成分信号以外の信号とするものである。
【００５４】
この発明によれば、請求項１４の画像処理方法において、２値化する際に用いるカラー画像の注目画素の色成分信号を、代表値を求める際に用いた色成分信号以外の信号とすることにより、高精度の２値化が可能になる。
【００５５】
また、請求項１６にかかる画像処理方法にあっては、前記代表値を求める色成分信号は、赤と緑の色成分信号の最大値とするものである。
【００５６】
この発明によれば、請求項１４の画像処理方法において、代表値を求める色成分信号は、赤と緑の色成分信号の最大値とすることにより、たとえば白地の場合、Ｒ（赤），Ｇ（緑），Ｂ（黒）のいずれの値も８ビットデータの場合、２５５に近い値になるのに対し、黄色で非背景画素が描かれているとＲとＧの値は２５５に近く、Ｂの値はゼロに近くなり、Ｒの値が大きく、ＧとＢの値が小さい場合の色、Ｇの値が大きく、ＲとＢの値が小さい色の３色を同時に検出することが可能になる。
【００５７】
また、請求項１７にかかる画像処理方法にあっては、前記２値化工程で２値化する際に用いる入力されたカラー画像の注目画素の色成分信号は、青の色成分信号とするものである。
【００５８】
この発明によれば、請求項１４の画像処理方法において、２値化する際に用いる入力されたカラー画像の注目画素の色成分信号を、青の色成分信号とすることにより、正確な２値化処理が可能になる。
【００６１】
また、請求項１８にかかる画像処理方法にあっては、前記２値化処理工程による２値化処理の結果から背景画素と非背景画素とを分離するものである。
【００６２】
この発明によれば、請求項１４の画像処理方法において、２値化処理の結果から背景画素と非背景画素とを分離することにより、対象物（非背景画素）に対する後処理の簡素化が実現可能になる。
【００６５】
また、請求項１９にかかる画像処理方法にあっては、前記色情報算出工程は、前記背景画素が所定の閾値に対して多く連続した場合、背景画素、非背景画素の区別なく、周辺の色成分信号を用いて周辺の色情報を算出するものである。
【００６６】
この発明によれば、請求項１４の画像処理方法において、背景画素が所定の閾値に対して多く連続した場合、背景画素、非背景画素の区別なく、周辺の色成分信号を用いて周辺の色情報を算出することにより、連続して非背景画素が続く画像において周辺の色情報が得られなくなる事態が回避される。
【００６７】
また、請求項２０にかかる画像処理方法にあっては、さらに、前記代表値、入力されたカラー画像の注目画素の色成分信号、周辺の色情報、からなる３次元の２値化テーブルを用意する工程を含み、前記２値化工程は前記２値化テーブルの３つの特徴量を用いて２値化処理を行なうものである。
【００６８】
この発明によれば、請求項１４の画像処理方法において、代表値、入力されたカラー画像の注目画素の色成分信号、周辺の色情報、の３つの特徴量を３次元の２値化テーブルとして用意してくことにより、２値化処理時における処理が迅速に行なえる。
【００６９】
また、請求項２１にかかる画像処理方法にあっては、入力されたカラー画像のビット数を少なくした後に、前記代表値を算出し、２値化テーブルを作成するものである。
【００７０】
この発明によれば、入力されたカラー画像が、たとえば各８ビット構成であった場合に、各５ビットに変換した後、代表値の算出処理を行なうことにより、その処理の迅速化が可能になると共に、２値化テーブルを作成することによりデータ量の削減が可能になる。
【００７３】
また、請求項２２にかかる画像処理方法にあっては、前記２値化工程の処理結果を用い、入力されたカラー画像中の特定パターンを認識するものである。
【００７４】
この発明によれば、請求項１４〜２１のいずれか１つに記載の画像処理を行なうことにより、背景色と対象物との分離が実現され、文字などの特定パターンの認識が可能になる。
【００７５】
また、請求項２３にかかるコンピュータ読み取り可能な記録媒体にあっては、前記請求項１４〜２２のいずれか１つに記載の画像処理方法を、コンピュータに実行させるものである。
【００７６】
この発明によれば、前記請求項１４〜２２のいずれか１つの画像処理方法を、コンピュータに実行させるプログラムを記録したことにより、請求項１４〜２２のいずれか１つに記載の画像処理動作をコンピュータによって実現することが可能になる。
【００７７】
【発明の実施の形態】
以下、本発明にかかる文字認識装置、文字認識方法、画像処理装置、画像処理方法、並びにコンピュータ読み取り可能な記録媒体の好適な実施の形態について添付図面を参照し、詳細に説明する。なお、本発明はこの実施の形態に限定されるものではない。
【００７８】
（実施の形態１）
まず、この実施の形態で取り扱うカラー画像について説明する。カラースキャナなどのカラー画像入力装置から入力されるカラー画像をデジタル化するには、まず、各点の色をＲ（赤），Ｇ（緑），Ｂ（青）の成分に分解する。これにより、Ｒ，Ｇ，Ｂの濃淡の分布として３つのモノクロ画像が得られる。これらＲチャンネル，Ｇチャンネル，Ｂチャンネルの各チャンネルに対し、共通の画素への分割、同じ量子化の階調数をとり、Ａ／Ｄ変換を行う。
【００７９】
デジタル化されたカラー画像は、Ｒ，Ｇ，Ｂ３つのモノクロデジタル画像の重ね合わせである。Ｒ，Ｇ，Ｂチャンネルでの画素への分解を共通にとってあれば、デジタルのカラー画像は、各画素に対してＲ．Ｇ，Ｂの明るさを表す３つの数値の組み（Ｒ．Ｇ，Ｂ）が決まっていると考えられる。たとえば、各チャンネル毎に階調数２５６で量子化を行った場合、Ｒ．Ｇ，Ｂそれぞれは、Ｒ＝０〜２５５，Ｇ＝０〜２５５，Ｂ＝０〜２５５の整数値をとる。なお、２５６階調は８ビットの情報量であるので、各画素あたりの情報量は８ビット×３＝２４ビットとなる。このようにＲＧＢそれぞれ８ビット、合計２４ビットで表現することをＲＧＢ２４ビットカラー表現という。
【００８０】
さて、一般に使われているカラー文書画像は、１００色とか２００色とか多くの色を用いて印刷されるのはまれである。たとえば、白黒の文字の中に部分的にカラーの文字情報があったり、ページ全体が数色の色文字となっている場合が大半である。また、その色は、印刷時に用いられるインクの原色であるシアン，マゼンタ，イエロー（以下、Ｃ，Ｍ，Ｙという）や、赤，青，緑（以下、Ｒ，Ｂ，Ｇという）であることが多い。
【００８１】
また、これらの文書画像を読み取るスキャナやファクシミリ装置、デジタルスチルカメラなどの光学的読取装置は、Ｒ，Ｂ，ＧのＣＣＤ（固体撮像素子）を用いていることが多く、これら装置からの出力は、Ｒ，Ｂ，Ｇの色成分信号であることが多い。
【００８２】
さらに、印刷時に用いるインクの原色である、Ｃ，Ｍ，Ｙと、上記装置から出力される赤，青，緑は、補色関係にあり、所定の変換式で簡単に計算することが可能である。したがって、本発明はこれらのカラー文書画像の特徴を積極的に活用することにより、より単純な装置構成でカラー画像を認識し、再現することを可能にするものである。
【００８３】
つぎに、装置の構成について説明する。図１は、本発明の実施の形態にかかる文字認識装置の構成を示すブロック図である。図において、符号１は、スキャナやファクシミリ装置、デジタルスチルカメラなどのカラー画像入力装置から入力されるカラー文書画像からグレー画像を作成するグレー変換回路、符号２はグレー変換回路１でグレー変換されたグレー画像を白／黒の２値データに変換する２値化回路、符号３は２値化回路２で２値化された２値データの文字を認識する文字認識回路である。
【００８４】
図２は、図１におけるグレー変換回路１および２値化回路２の構成を示すブロック図である。グレー変換回路１は、入力されたカラー文書画像を構成するＲ（赤），Ｇ（緑），Ｂ（青）、あるいはＣ（シアン），Ｍ（マゼンタ），Ｙ（イレロー），Ｋ（黒）の各画素のカラー信号の複数の色成分信号の最大値または最小値を、当該画素の代表値としてグレー画像を作成する。２値化回路２は、代表値の８ビット画像から、固定しきい値あるいは判別分析法などによって白画素データと黒画素データとに２値化する。
【００８５】
図３は、図１における文字認識回路３の構成を示すブロック図である。図において、符号１０は２値化回路２の２値データから、たとえば水平射影（横書き文書では横方向の射影）をとり行画像（文字列画像）を切り出す行切り出し部、符号１１は切り出された行画像（文字列画像）に対し、垂直射影をとったり黒画素の連結を追跡することにより文字塊（文字素）を切り出す文字切り出し部、符号１２は文字塊（文字素）から文字の大きさ、位置情報などを抽出する特徴抽出部、符号１３は標準文字パターン情報が格納されているパターンメモリ、符号１４は特徴抽出部１２で抽出された情報とパターンメモリ１３に格納された情報とから文字を認識し、文字コード情報を出力する文字認識部である。
【００８６】
つぎに、以上のように構成された文字認識装置の動作について説明する。図４は、本発明の実施の形態にかかる第１の動作手順例を示すフローチャートである。まず、スキャナなどからカラー文書画像を入力する（ステップＳ１１）。なお、カラー文書画像に用いられる色成分として代表的なものとしては、Ｒ，Ｇ，ＢとＣ，Ｍ，Ｙに黒（以下、Ｋという）を含めたＣ，Ｍ，Ｙ，Ｋが用いられることが多い。これらＲ，Ｇ，ＢとＣ，Ｍ，Ｙの間には、「Ｙ＝２５５−Ｂ」、「Ｃ＝２５５＝Ｒ」、「Ｍ＝２２５−Ｇ」の関係が存在し、簡単な変換式で変換することができる。
【００８７】
また、変換式は、上述の変換式に限らず、一般的には、
Ｃ＝ｋ１×Ｒ＋ｋ２×Ｇ＋ｋ３×Ｂ
Ｍ＝ｋ４×Ｒ＋ｋ５×Ｇ＋ｋ６×Ｂ
Ｙ＝ｋ７×Ｒ＋ｋ８×Ｇ＋ｋ９×Ｂ
に示すような式で表される。なお、ｋ１〜ｋ９は係数である。
【００８８】
一般に、Ｒ，Ｇ，ＢまたはＣ，Ｍ，Ｙ，（Ｋ）が用いられるのは、スキャナやファクシミリ装置、デジタルスチルカメラなどの光学的読取装置で用いられているＣＣＤがＲ，Ｇ，Ｂの色成分信号を出力することにより、また、プリンタなどの印刷装置で用いられるインクの原色がＣ，Ｍ，Ｙ，（Ｋ）であることによる。
【００８９】
一方、文字認識装置の対象原稿であるカラー文書画像は、何らかの印刷装置で印刷されている場合が多い。そのため、白黒以外のカラー部分はＲ，Ｇ，ＢまたはＣ，Ｍ，Ｙで表現されている場合が多い。また、文書の地肌（紙）部分は白または明度が高い場合が多く、地肌と区別するためにも、文字部分の明度値は低くなっていることが一般的である。
【００９０】
さて、図４のステップＳ１１を実行した後、Ｒ，Ｇ，Ｂ（Ｃ，Ｍ，Ｙ，（Ｋ））の最小値（または最大値）を代表値として算出する（ステップＳ１２）。ここで、Ｒ，Ｇ，Ｂ各８ビット２５６階調（合計２４ビット）から代表値の８ビット画像を作成する例について説明する。
【００９１】
たとえば、Ｒ，Ｇ，Ｂの色信号で、赤色（Ｒ）の文字は、Ｒ，Ｇ，Ｂ値（２５５，０，０）のようになり、緑色（Ｇ）の文字のＲ，Ｇ，Ｂ値は（０，２５５，０）のように、青色（Ｂ）のＲ，Ｇ，Ｂ値は（０，０，２５５）のようになる。
また、黒文字の場合は（０，０，０）となり、地肌（紙）の部分は（２５５，２５５，２５５）となる。これらをまとめたものを図５に示す。
【００９２】
図５に示すように、文字部分では、Ｒ，Ｇ，Ｂ値のいずれかの値が小さく（この例では０になる）なることを利用し、Ｒ，Ｇ，Ｂ値の最小値を代表値として用いることにより、色によらず文字部分と地肌部分とを分けることが可能になる。
【００９３】
つぎに、図４のステップＳ１２において代表値を算出すると、続いて、２値化処理を実行する（ステップＳ１３）。すなわち、上記代表値の段階では、図５の場合、Ｒ，Ｇ，Ｂそれぞれ８ビット（２５６階調）の２４ビットが１画素あたり８ビットになっているだけで、２値されているわけではない。代表値の８ビット画像から２値化する方法は、固定のしきい値で２値化してよいし、判別分析法など様々なところで用いられている公知の手法を採用してもよい。
【００９４】
続いて、ステップＳ１３で２値化処理された２値データを文字認識回路３に入力し、文字認識処理を実行する（ステップＳ１４）。すなわち、行切り出し部１０によって文字列が切り出される。さらに、文字切り出し部１１によって切り出された行画像（文字列画像）から、垂直射影をとったり黒画素の連結を追跡することにより文字塊を切り出し、特徴抽出部１２により文字の大きさや位置などを抽出する。その後、文字認識部１４がパターンメモリ１３の辞書を参照し、文字認識をおこない、文字コード情報を出力する。
【００９５】
続いて、上述の文字認識結果（文字コード情報）と、代表値としてＲ，Ｇ，Ｂ値のどの値を用いたかにより、その文字の色が何色であったかの色情報を併せて装置に備えているメモリあるいは外部メモリに保存するかまたはディスプレイなどに表示する（ステップＳ１５）。
【００９６】
図７は、他の文字認識装置の構成を示すブロック図であり、図１に示した文字認識装置の構成に対し、文字認識回路３の後段に文字コード情報および色情報を格納するためのメモリ４を設けたものである。また、図８は、図７の文字認識装置の動作手順を示すフローチャートであり、第２の動作手順例を示すフローチャートである。この動作手順では、前述した図４のフローチャートに対し、ステップＳ２３およびステップＳ２６を付加したものである。
【００９７】
すなわち、ステップＳ２２でＲ，Ｇ，Ｂ（Ｃ，Ｍ，Ｙ，（Ｋ））の最小値（または最大値）を代表値として算出した後、Ｒ，Ｇ，Ｂ（Ｃ，Ｍ，Ｙ，（Ｋ））のどの値を代表値として用いたかをメモリ４に記憶する（ステップＳ２３）。また、ステップＳ２６では、ステップＳ２５において認識した文字の文字コード情報をメモリ４に記憶する。なお、他の処理は図４と同じであるので省略する。
【００９８】
このように、代表値としてＲ，Ｇ，Ｂ値のどの値を用いたかを記憶することにより、文字認識結果と併せて、その文字の何色で書かれていたかの情報を得ることができる。
【００９９】
ところで、上述した実施の形態による手法を用いずに、従来よく用いられている「カラーからグレー」への変換方式として、Ｇ成分のみを抜き出すと図６に示すようになってしまい、緑文字の場合、地肌との区別ができなくなる。
【０１００】
なお、この実施の形態では、Ｒ，Ｇ，Ｂを用いて説明をおこなったが、Ｃ，Ｍ，Ｙ，（Ｋ）でもＲ，Ｇ，Ｂと同様である。また、この実施の形態では、黒文字のＲ，Ｇ，Ｂ値を（０，０，０）としたが、画像フォーマットによっては、黒文字を（２５５，２５５，２５５）と白黒反転して保持する場合もあるので、このような場合には、代表値は、Ｒ，Ｇ，Ｂ値の最大値を用いる。
【０１０１】
（実施の形態２）
図９は、本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。この画像処理装置は、Ｒ，Ｇ，Ｂのカラー画像信号を入力するカラー画像入力部１００と、Ｒ，Ｇ，Ｂのカラー画像信号の各８ビットの画像信号を各５ビットに変換するガンマ変換部１０１と、Ｒ，Ｇの画像信号の最大値を求める最大値算出部１０２と、Ｒ，Ｇ，Ｂのカラー画像信号から背景濃度を求める背景濃度算出部１０３と、上記最大値および背景濃度を２値化する２値化処理部１０４と、３次元の特徴がテーブル化されている２値化テーブル１０５と、を備えている。
【０１０２】
つぎに以上のように構成された画像処理装置について説明する。まず、カラー画像入力部１００は、デジタル複写機あるいはカラーイメージスキャナなどのカラー入力装置、あるいはコンピュータなどからＲ，Ｇ，Ｂのカラー画像信号を入力する。ガンマ変換部１０１はこのＲ，Ｇ，Ｂのカラー画像信号に対し、それぞれ８ビットの画像を５ビットの画像に変換する。さらに、最大値算出部１０２によりＲとＧの値の最大値を求め、代表値とする。
【０１０３】
また、背景濃度算出部１０３により、後述するように、Ｒ，Ｇ，Ｂのカラー画像信号５ビットから前３２画素を参照し、背景濃度を求める。この背景濃度、上記代表値、代表値の算出に用いなかったＢの画素値を２値化処理部１０４に送る。２値化処理部１０４は、代表値ＭＡＸ（Ｒ、Ｇ）５ビット、背景濃度（５ビット）、Ｂ（５ビット）を、２値化テーブル１０５を用いて２値化処理する。なお、２値化テーブル１０５は、後述するような３次元の特徴量をもっている。
【０１０４】
ところで、ここではカラー画像信号をＲ，Ｇ，Ｂとしているが、Ｃ，Ｍ，ＹあるいはＣ，Ｍ，Ｙ，Ｋなどの値であってもよい。また、最大値算出部１０２により代表値を求める際、ここではＲとＧとを用いたが、ＧとＢあるいはＲとＢであってもよいし、さらにはＣ，Ｍ，Ｙ，Ｋのいずれの組み合わせであってもよい。
さらに、これら２つの信号の比較ではなく、３つ以上を比較して代表値を求めてもよい。
【０１０５】
つぎに、当該画素の周辺の色情報として、背景濃度を求める動作について説明する。デジタルカラー複写機やデジタルカラースキャナなどの場合、主走査方向に１ラインずつデータを読み込むことになる。読み込んだデータを逐次的に処理を行なわない場合、前ラインのデータなどをラインメモリに保存しておく必要がある。そこで、１ライン内のデータのみ、それも注目画素よりも以前に入力されたデータのみを用いて当該画素の周辺の色情報（＝背景濃度）を算出する。この背景濃度の算出について以下に詳述する。
【０１０６】
図１０は、本発明の実施の形態２にかかる背景濃度の算出方法を示す説明図である。この図１０では、注目画素５１の前方３２画素の値をみて背景濃度算出する例について示している。ここで、周辺の色情報（＝背景濃度）として、「ＲとＧの最大値と、Ｂの値の差」を１つの特徴量としている。
【０１０７】
すなわち、図１０（ａ）では注目画素５１の前方３２画素で、２値化処理によって背景画素５２であると判定された画素において、
（ｉｎｔｅｎｓ（＝Ｍａｘ（Ｒ，Ｂ）−Ｂ）
を背景濃度とする。
【０１０８】
一方、図１０（ｂ）に示す画像パターンのように、前方３２画素のうち、注目画素５１の直前の１８画素がすべて非背景画素５３ａの場合には、２値化結果によらず注目画素５１の前方３２画素すべての（ｉｎｔｅｎｓの和／３２）を背景濃度とする。
【０１０９】
したがって、上記特徴量「ＲとＧの最大値と、Ｂの値の差」を用いることによって白地に書かれた３色の非背景画素（対象物）を同時に検出することが可能になる。すなわち、白地の場合、Ｒ，Ｇ，Ｂのいずれの値も８ビットデータの場合、２５５に近い値になるのに対し、黄色で非背景画素が描かれているとＲとＧの値は２５５に近く、Ｂの値はゼロに近くなる。同様に、Ｒの値が大きく、ＧとＢの値が小さい場合の色、Ｇの値が大きく、ＲとＢの値が小さい色の３色を同時に検出することができる。
【０１１０】
また、上述した処理において、背景画素５２であると判断された画素のカラー情報のみを用いて周辺の色情報（＝背景濃度）を求めることにより、非背景画素に影響されることなく周辺の色情報を求めることができる。
【０１１１】
ただし、連続して非背景画素が続いた（図１０（ｂ））場合、周辺の色情報が求まらなくなる不具合が生じる。そこで、抽出を行ないたい対象物の大きさを考慮し、たとえば、抽出対象物の最大画素数が１６画素だった場合、１６画素以上対象物が続くことがありえないので、これより若干大きめの１８画素連続して非背景画素が続けば、注目画素５１の直前のすべての画素値から背景濃度の算出を行なう。
【０１１２】
この背景濃度の算出方法を図１１のフローチャートに示す。まず、各パラメータを初期化する（ステップＳ３１）。すなわち、ｍｅａｎ１（注目画素の前方３２画素）、ｍｅａｎ（注目画素の前方３２画素のうち、背景画素と判断されたもの）、ｆｌａｇを０に初期化する。続いて、２値化処理を実行する（ステップＳ３２）。
【０１１３】
すなわち、
ｒｓｔ（ｘ）＝ｂｉｎＴａｂｌｅ（ｍａｘ（ｘ），ｂｌｕｅ（ｘ），ｍｅａｎ）
ｒｓｔ（ｘ）＝０白画素（背景）
ｒｓｔ（ｘ）＝１黒画素（非背景）
の２値化処理を実行する。続いて、背景濃度を図示のアルゴリズムにしたがって求める（ステップＳ３３）。
【０１１４】
なお、図１１において、
ｍａｘ（ｘ）＝Ｍａｘ（ｒｅｄ（ｘ），ｇｒｅｅｎ（ｘ））
ｉｎｔｅｎｓ（ｘ）＝Ｍａｘ（ｒｅｄ（ｘ），ｇｒｅｅｎ（ｘ））−ｂｌｕｅ（ｘ）
ｍｅａｎ１＝Σｉｎｔｅｎｓ（ｘ），ｍｅａｎ＝Σｉｎｔｅｎｓ（ｘ）
とする。
【０１１５】
ところで、これまで説明してきた文字認識方法、および画像処理方法を、プログラム化し、コンピュータ読み取り可能な記録媒体に記録し、コンピュータ上で実行することもできる。また、文字認識方法、画像処理方法の一部をネットワーク上に有し、通信回線を通して実現することもできる。
【０１１６】
すなわち、この実施の形態で説明した文字認識方法、画像処理方法は、図１２に示すように、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータ（ＣＰＵ２０）で実行することにより実現される。このプログラムは、キーボード２５の操作などにより、メモリ２１、ハードディスク２４、フロッピーディスク２７、ＣＤ−ＲＯＭ２６、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータ（ＣＰＵ２０）によって記録媒体から読み出されることによって実行される。また、必要に応じてこの文字認識、あるいは画像処理のデータを通信装置２２から外部装置に送受信することも可能である。
【０１１７】
また、このプログラムは、図１３に示すように、上記記録媒体を介して、インターネット３０などのネットワークによってパーソナルコンピュータなどの装置３１〜３３に配布することができる。
【０１１８】
【発明の効果】
以上説明したように、本発明にかかる文字認識装置（請求項１）によれば、文字認識装置の対象原稿であるカラー文書画像は、文字部分では、Ｒ，Ｇ，Ｂ値のいずれかの値が小さく（この例では０になる）なることを利用し、Ｒ，Ｇ，Ｂ値の最小値を代表値として用いることにより、色によらず文字部分と地肌部分とを分けることが可能になる、というカラー文書画像の特徴を利用し、グレー変換手段により、カラー信号における複数の色成分信号の最大値または最小値を当該画素の代表値としてグレー画像に変換した後、２値化し、その２値の代表値（代表色）を用いて文字認識するため、より単純な構成の装置でカラー文書画像の文字を認識することができる。
【０１２０】
また、本発明にかかる文字認識装置（請求項２）によれば、グレー変換手段の変換時に、複数の色成分信号のうちのどの信号を代表値としたかの色情報および文字認識結果を記憶しておく記憶手段を設けることにより、認識結果を利用する際などの後処理において、代表値の色が何色であるかを迅速に確認することができる。
【０１２１】
また、本発明にかかる文字認識装置（請求項３）によれば、表示手段に、代表値の色情報および文字コード情報を表示するため、認識結果の文字コード情報およびその色情報がディスプレイなどの表示部でユーザーが即座に確認することができる。
【０１２２】
また、本発明にかかる文字認識方法（請求項４）によれば、請求項１と同様に、カラー文書画像の特徴を利用し、カラー信号における複数の色成分信号の最大値または最小値を注目画素の代表値としてグレー画像に変換した後、２値化し、その２値の代表値（代表色）を用いて文字認識するため、より単純な方法でカラー文書画像の文字を認識することができる。
【０１２４】
また、本発明にかかるコンピュータ読み取り可能な記録媒体（請求項５）によれば、請求項４に記載の文字認識方法を、コンピュータに実行させるプログラムを記録したので、請求項４に記載の文字認識動作をコンピュータによって実現することができる。
【０１２５】
また、本発明にかかる画像処理装置（請求項６）によれば、カラー画像の各画素におけるカラー信号の複数の色成分信号の最大値または最小値を求めてその値を代表値とし、この代表値と入力されたカラー画像の当該画素（注目画素）の色成分信号、当該画素の周辺の色成分信号から求めた周辺の色情報（背景画素）をもとに２値化処理するため、入力されたカラー画像の背景濃度が変化しても対象物画像の２値化データを高精度に得ることができる。
【０１２７】
また、本発明にかかる画像処理装置（請求項７）によれば、請求項６の画像処理装置において、２値化する際に用いるカラー画像の当該画素の色成分信号を、代表値を求める際に用いた色成分信号以外の信号とするので、高精度の２値化が可能になる。
【０１２８】
また、本発明にかかる画像処理装置（請求項８）によれば、請求項６の画像処理装置において、代表値を求める色成分信号は、赤と緑の色成分信号の最大値とするので、白地に書かれた３色の非背景画素（対象物）を同時に検出することができる。
【０１２９】
また、本発明にかかる画像処理装置（請求項９）によれば、請求項６の画像処理装置において、２値化する際に用いる入力されたカラー画像の注目画素の色成分信号を、青の色成分信号とすることにより、正確な２値化処理が可能になる。
【０１３１】
また、本発明にかかる画像処理装置（請求項１０）によれば、請求項６の画像処理装置において、２値化処理の結果から背景画素と非背景画素とを分離するため、対象物（非背景画素）に対する後処理を簡単に行なうことができる。
【０１３３】
また、本発明にかかる画像処理装置（請求項１１）によれば、請求項６の画像処理装置において、背景画素が所定の閾値に対して多く連続した場合、背景画素、非背景画素の区別なく、周辺の色成分信号を用いて周辺の色情報を算出するため、連続して非背景画素が続く画像において周辺の色情報が得られなくなる事態が回避され、正しい背景濃度を得ることができる。
【０１３４】
また、本発明にかかる画像処理装置（請求項１２）によれば、請求項６の画像処理装置において、代表値、入力されたカラー画像の注目画素の色成分信号、周辺の色情報、の３つの特徴量を３次元の２値化テーブルとして用意してくことにより、２値化処理時における処理が迅速に行なえるので、処理効率が向上する。
【０１３５】
また、本発明にかかる画像処理装置（請求項１３）によれば、請求項１２の画像処理装置において、入力されたカラー画像が、たとえば各８ビット構成であった場合に、各５ビットに変換した後、代表値の算出処理を行なうため、代表値算出を効率よく行なうことができる。また、入力されたカラー画像が、たとえば各８ビット構成であった場合に、各５ビットに変換した後、２値化テーブルを作成するため、データ量の削減が可能になり、メモリの有効活用および容量の低減が実現する。
【０１３８】
また、本発明にかかる画像処理方法（請求項１４）によれば、カラー画像の各画素におけるカラー信号の複数の色成分信号の最大値または最小値を求めてその値を代表値とし、この代表値と入力されたカラー画像の当該画素（注目画素）の色成分信号、当該画素の周辺の色成分信号から求めた周辺の色情報（背景画素）をもとに２値化処理するため、入力されたカラー画像の背景濃度が変化しても対象物画像の２値化データを高精度に得ることができる。
【０１４０】
また、本発明にかかる画像処理方法（請求項１５）によれば、請求項１４の画像処理方法において、２値化する際に用いるカラー画像の当該画素の色成分信号を、代表値を求める際に用いた色成分信号以外の信号とするので、高精度の２値化処理を行なうことができる。
【０１４１】
また、本発明にかかる画像処理方法（請求項１６）によれば、請求項１４の画像処理方法において、代表値を求める色成分信号は、赤と緑の色成分信号の最大値とするので、白地に書かれた３色の非背景画素（対象物）を同時に検出することができる。
【０１４２】
また、本発明にかかる画像処理方法（請求項１７）によれば、請求項１４の画像処理方法において、２値化する際に用いる入力されたカラー画像の当該画素の色成分信号を、青の色成分信号とするため、正確な２値化処理を行なうことができる。
【０１４４】
また、本発明にかかる画像処理方法（請求項１８）によれば、請求項１４の画像処理方法において、２値化処理の結果から背景画素と非背景画素とを分離するので、カラー画像における対象物（非背景画素）に対する後処理を簡単におこなうことができる。
【０１４６】
また、本発明にかかる画像処理方法（請求項１９）によれば、請求項１４の画像処理方法において、背景画素が所定の閾値に対して多く連続した場合、背景画素、非背景画素の区別なく、周辺の色成分信号を用いて周辺の色情報を算出するため、連続して非背景画素が続く画像において周辺の色情報が得られなくなる事態が回避され、正しい周辺の色情報が得られる。
【０１４７】
また、本発明にかかる画像処理方法（請求項２０）によれば、請求項１４の画像処理方法において、代表値、入力されたカラー画像の当該画素の色成分信号、周辺の色情報、の３つの特徴量を３次元の２値化テーブルとして用意して２値化時に用いるので、２値化処理時における処理を効率よく行なうことができる。
【０１４８】
また、本発明にかかる画像処理方法（請求項２１）によれば、入力されたカラー画像が、たとえば各８ビット構成であった場合に、各５ビットに変換した後、代表値の算出処理を行なことにより、少ないデータでの処理となるので、代表値算出の処理効率が向上する。また、入力されたカラー画像が、たとえば各８ビット構成であった場合に、各５ビットに変換した後、２値化テーブルを作成するので、データ量の削減が実現し、メモリ容量の有効活用および小型化を図ることができる。
【０１５０】
また、本発明にかかる画像処理方法（請求項２２）によれば、請求項１４〜２１のいずれか１つに記載の画像処理を行なうことにより、背景色と対象物との分離がより確実になるので、文字などの特定パターンをより正確に認識することができる。
【０１５１】
また、本発明にかかるコンピュータ読み取り可能な記録媒体（請求項２３）によれば、請求項１４〜２２のいずれか１つの画像処理方法を、コンピュータに実行させるプログラムを記録したことにより、請求項１４〜２２のいずれか１つに記載の画像処理動作をコンピュータによって実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１にかかる文字認識装置の構成を示すブロック図である。
【図２】図１におけるグレー変換回路および２値化回路の構成を示すブロック図である。
【図３】図１における文字認識回路の構成を示すブロック図である。
【図４】本発明の実施の形態１にかかる第１の動作手順例を示すフローチャートである。
【図５】本発明の実施の形態１にかかるＲＧＢ値から代表値を決定する例を示す説明図である。
【図６】ＲＧＢ値からＧ成分のみを抜き出した場合を示す説明図である。
【図７】本発明の実施の形態１にかかる他の文字認識装置の構成を示すブロック図である。
【図８】本発明の実施の形態１にかかる第２の動作手順例を示すフローチャートである。
【図９】本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。
【図１０】本発明の実施の形態２にかかる背景濃度の算出例を示す説明図である。
【図１１】本発明の実施の形態２にかかる背景濃度の算出処理を示すフローチャートである。
【図１２】本発明にかかる文字認識方法および画像処理方法をソフトウェアによって実現するコンピュータシステム例を示すブロック図である。
【図１３】本発明にかかる文字認識方法および画像処理方法をネットワーク上で実現するシステム例を示すブロック図である。
【符号の説明】
１グレー変換回路
２２値化回路
３文字認識回路
４メモリ
１０行切り出し部
１１文字切り出し部
１２特徴抽出部
１４文字認識部
１００カラー画像入力部
１０１ガンマ変換部
１０２最大値算出部
１０３背景濃度算出部
１０４２値化処理部
１０５２値化テーブル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a character recognition process for recognizing characters by inputting a color document image or the like, a character recognition device for performing image processing, a character recognition method, an image processing device, an image processing method, and a computer-readable recording medium.
[0002]
[Prior art]
Conventionally, a document to be recognized by a character recognition device is generally printed in black and white such as a newspaper or a magazine. However, in recent years, with the spread of personal computers, color printers have also become popular with lower prices. For this reason, there are many cases where a document to be subjected to character recognition is a color document image.
[0003]
In addition, it has become possible to recognize a color document image as it is due to an improvement in the performance of a personal computer, but the color image has a limitation such as an increase in memory size. Therefore, a color image is converted to a low-resolution color image, or a gray image is used as an input image, and resolution conversion processing is internally performed to create a high-resolution binary image, and character recognition is performed on the binary image. By doing so, it is conceivable to reduce the memory size at the time of input.
[0004]
Japanese Patent Laid-Open No. 5-225329 discloses a technique for obtaining a binarized image by variably setting a binarization threshold value using density information and density change information around the pixel of interest (the pixel concerned). Has been.
[0005]
[Problems to be solved by the invention]
However, since a low-resolution image is used as an input image, even when resolution conversion is performed, an optimum high resolution is not always obtained when character recognition is executed. For this reason, there has been a problem that the apparatus or the processing method has to be complicated in order to obtain the optimum high resolution.
[0006]
Further, when the background density is obtained from the input color image, it is necessary to cope with the case where the background density changes. Further, in the technique disclosed in Japanese Patent Laid-Open No. 5-225392, the threshold value for binarization is variably set. Therefore, it is necessary to perform comparison processing with the pixel after determining the threshold value, and the processing time There was a problem that was long.
[0007]
The present invention has been made in view of the above, and a first object thereof is to recognize characters of a color document image with a simpler configuration or method by utilizing the characteristics of the color document image.
[0008]
A second object is to make it possible to cope with changes in background density by obtaining peripheral color information. A third object is to improve the processing efficiency in the binarization process.
[0009]
[Means for Solving the Problems]
  In order to achieve the above object, in the character recognition device according to claim 1, the color document image is configured in the character recognition device that inputs a color document image and performs character recognition of the color document image. Gray conversion means for converting a maximum value or minimum value of a plurality of color component signals in the color signal of each pixel into a gray image as a representative value of the pixel, and a gray image converted by the gray conversion means, Depending on the representative value and thresholdThere are provided binarization means for binarization and character recognition means for performing character recognition from the binary data of the binarization means.
[0010]
According to the present invention, since a color document image that is a target original of a character recognition device is often printed by some printing device, color portions other than black and white are expressed by color signals (RGB, CMY (K)). In many cases, the background (paper) portion of the document is white or light, and the lightness value of the character portion is generally low in order to distinguish it from the background. The gray document is converted into a gray image using the maximum or minimum value of a plurality of color component signals in the color signal as a representative value of the pixel, and binarized. Character recognition using a representative value (representative color) of values can be realized with a simple configuration.
[0013]
  Claims2In the character recognition device according to the present invention, storage means for storing color information indicating which signal of the plurality of color component signals is a representative value and a character recognition result at the time of conversion by the gray conversion means. Is provided.
[0014]
According to the present invention, the post-processing is provided by storing the color information indicating which signal of the plurality of color component signals is the representative value and the character recognition result at the time of the conversion by the gray conversion unit. Thus, it is possible to grasp the color of the representative value.
[0015]
  Claims3The character recognition apparatus according to the above further includes display means for displaying the color information and the character recognition result stored in the storage means.
[0016]
According to the present invention, user-friendliness is improved by displaying representative value color information and character code information on the display means.
[0017]
  Claims4In the character recognition method according to the above, in the character recognition method for inputting a color document image and performing character recognition of the color document image, a plurality of color component signals in the color signal of each pixel constituting the color document image are obtained. A first step of calculating a maximum value or a minimum value as a representative value of the pixel, and a representative value calculated in the first step;And thresholdAnd a third step of performing character recognition using the representative value binarized in the second step.
[0018]
According to the present invention, as in claim 1, after utilizing the characteristics of a color document image and converting a maximum value or a minimum value of a plurality of color component signals in a color signal as a representative value of the pixel, Binarization and character recognition using the binary representative value (representative color) can be realized by a simple method.
[0021]
  Claims5A computer-readable recording medium according to claim 14A program for causing a computer to execute the character recognition method described in (1) is recorded.
[0022]
  According to the invention, the claims4A program for causing a computer to execute the character recognition method according to claim 1 is recorded.4Can be realized by a computer.
[0023]
  Claims6In the image processing apparatus according to the above, in the image processing apparatus that inputs and binarizes a color image, the maximum value or the minimum value of a plurality of color component signals in the color signal of each pixel constituting the color image is obtained.AttentionRepresentative value calculating means for calculating as a representative value of a pixel;AttentionFrom the color components around the pixelAttentionColor information calculation means for obtaining color information around the pixel, representative values calculated by the representative value calculation means, and the color imageAttentionPixel color component signal, andBeforeRecordAttentionCalculated based on color information around the pixelBased on background densityBinarization means for binarization.
[0024]
According to the present invention, a maximum value or a minimum value of a plurality of color component signals of a color signal in each pixel of a color image is obtained, and the value is used as a representative value. Responding to changes in background density in a color image by performing binarization processing based on the color component signal of the pixel) and peripheral color information (background pixel) obtained from the peripheral color component signal of the pixel Is possible.
[0027]
  Claims7In the image processing apparatus, the color component signal of the pixel of the input color image used for binarization by the binarization unit is other than the color component signal used for obtaining the representative value. This signal is used.
[0028]
  According to the invention, the claims6In this image processing apparatus, by using the color component signal of the pixel of the color image used for binarization as a signal other than the color component signal used when obtaining the representative value, high-precision binarization can be achieved. It becomes possible.
[0029]
  Claims8In the image processing apparatus, the color component signal for obtaining the representative value is a maximum value of the red and green color component signals.
[0030]
  According to the invention, the claims6In the image processing apparatus, the color component signal for obtaining the representative value is set to the maximum value of the red and green color component signals. For example, in the case of a white background, R (red), G (green), and B (black) In the case of 8-bit data, both values are close to 255, but when non-background pixels are drawn in yellow, the values of R and G are close to 255, and the value of B is close to zero. It is possible to simultaneously detect three colors, a color when the value of R is large and the values of G and B are small, and a color where the value of G is large and the values of R and B are small.
[0031]
  Claims9In this image processing apparatus, the color component signal of the pixel of the input color image used when binarizing by the binarizing means is a blue color component signal.
[0032]
  According to the invention, the claims6In this image processing apparatus, the color component signal of the pixel of the input color image used for binarization is the blue color component signal, thereby enabling accurate binarization processing.
[0035]
  Claims10In the image processing apparatus according to the above, background pixels and non-background pixels are separated from the result of the binarization processing by the binarization processing means.
[0036]
  According to the invention, the claims6In this image processing apparatus, by separating the background pixel and the non-background pixel from the result of the binarization process, the post-processing for the object (non-background pixel) can be simplified.
[0039]
  Claims11In the image processing apparatus according to the first aspect, the color information calculation unit uses a surrounding color component signal without distinguishing between a background pixel and a non-background pixel when the background pixels are continuous with respect to a predetermined threshold. The peripheral color information is calculated.
[0040]
  According to the invention, the claims6In this image processing apparatus, when a large number of background pixels are continuous with respect to a predetermined threshold, the surrounding color information is calculated using the surrounding color component signals without distinguishing between the background pixels and the non-background pixels. Thus, a situation in which peripheral color information cannot be obtained in an image having non-background pixels continues can be avoided.
[0041]
  Claims12In the image processing apparatus according to the present invention, the representative value and the input color imageAttentionA three-dimensional binarization table comprising pixel color component signals and peripheral color information is provided, and the binarization means performs binarization processing using the three feature values of the binarization table. is there.
[0042]
  According to the invention, the claims6In the image processing apparatus, the representative value of the input color imageAttentionBy preparing the three feature amounts of the pixel color component signal and the surrounding color information as a three-dimensional binarization table, the processing at the time of binarization processing can be performed quickly.
[0043]
  Claims13In the image processing apparatus according toAfter reducing the number of bits of the input color image, calculate the representative value and create a binarization tableTo do.
[0044]
  According to the invention, the claims6In the image processing apparatus, when the input color image has, for example, an 8-bit configuration, it is possible to speed up the processing by converting the data to 5 bits and then performing a representative value calculation process. BecomeIn both cases, the amount of data can be reduced by creating a binary table..
[0049]
  Claims14In the image processing method according to the above, in the image processing method for inputting and binarizing a color image, the maximum value or the minimum value of a plurality of color component signals in the color signal of each pixel constituting the color image is obtained.AttentionA representative value calculating step of calculating as a representative value of a pixel;AttentionFrom the color components around the pixelAttentionA color information calculation step for obtaining color information around the pixel, the representative value and the color imageAttentionPixel color component signal, andBeforeRecordAttentionCalculated based on color information around the pixelBased on background densityAnd a binarization step for binarization.
[0050]
According to the present invention, a maximum value or a minimum value of a plurality of color component signals of a color signal in each pixel of a color image is obtained, and the value is used as a representative value. Responding to changes in background density in a color image by performing binarization processing based on the color component signal of the pixel) and peripheral color information (background pixel) obtained from the peripheral color component signal of the pixel Is possible.
[0053]
  Claims15In the image processing method according to the above, an input color image used for binarization in the binarization step is processed.AttentionThe color component signal of the pixel is a signal other than the color component signal used when obtaining the representative value.
[0054]
  According to the invention, the claims14In the image processing method, color images used for binarizationAttentionBy making the color component signal of the pixel a signal other than the color component signal used when obtaining the representative value, binarization with high accuracy becomes possible.
[0055]
  Claims16In the image processing method, the color component signal for obtaining the representative value is the maximum value of the red and green color component signals.
[0056]
  According to the invention, the claims14In the image processing method, the color component signal for obtaining the representative value is set to the maximum value of the red and green color component signals. For example, in the case of a white background, R (red), G (green), and B (black) In the case of 8-bit data, both values are close to 255, but when non-background pixels are drawn in yellow, the values of R and G are close to 255, and the value of B is close to zero. It is possible to simultaneously detect three colors, a color when the value of R is large and the values of G and B are small, and a color where the value of G is large and the values of R and B are small.
[0057]
  Claims17In the image processing method according to the above, an input color image used for binarization in the binarization step is processed.AttentionThe color component signal of the pixel is a blue color component signal.
[0058]
  According to the invention, the claims14In the image processing method of, the input color image used for binarizationAttentionBy making the color component signal of the pixel a blue color component signal, accurate binarization processing becomes possible.
[0061]
  Claims18In this image processing method, the background pixel and the non-background pixel are separated from the result of the binarization process by the binarization process.
[0062]
  According to the invention, the claims14In this image processing method, by separating the background pixel and the non-background pixel from the result of the binarization process, the post-processing for the object (non-background pixel) can be simplified.
[0065]
  Claims19In the image processing method according to the above, the color information calculation step uses a surrounding color component signal without distinguishing between the background pixel and the non-background pixel when the background pixels are many consecutive with respect to a predetermined threshold. The peripheral color information is calculated.
[0066]
  According to the invention, the claims14In this image processing method, when a large number of background pixels are continuous with respect to a predetermined threshold, the surrounding color information is calculated using the surrounding color component signals without distinguishing between the background pixels and the non-background pixels. Thus, a situation in which peripheral color information cannot be obtained in an image having non-background pixels continues can be avoided.
[0067]
  Claims20In the image processing method according to the present invention, the representative value and the input color imageAttentionIncluding a step of preparing a three-dimensional binarization table composed of pixel color component signals and peripheral color information, wherein the binarization step uses binarization processing using three feature values of the binarization table. Is to do.
[0068]
  According to the invention, the claims14In the image processing method, the representative value of the input color imageAttentionBy preparing the three feature amounts of the pixel color component signal and the surrounding color information as a three-dimensional binarization table, the processing at the time of binarization processing can be performed quickly.
[0069]
  Claims21In the image processing method related toAfter reducing the number of bits of the input color image, the representative value is calculated and a binarization table is created.Is.
[0070]
  According to the present invention, when an input color image has, for example, an 8-bit configuration, it is possible to speed up the processing by converting the data into 5 bits and then performing a representative value calculation process. BecomeAt the same time, the data volume can be reduced by creating a binarized table.
[0073]
  Claims22In this image processing method, the specific pattern in the input color image is recognized using the processing result of the binarization step.
[0074]
  According to the invention, the claims14~Any one of 21By performing the image processing described in (1), the background color and the object are separated, and a specific pattern such as a character can be recognized.
[0075]
  Claims23A computer-readable recording medium according to claim 114~22The computer executes the image processing method described in any one of the above.
[0076]
  According to this invention, the claim14~22A program that causes a computer to execute any one of the image processing methods is recorded.14~22The image processing operation described in any one of the above can be realized by a computer.
[0077]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of a character recognition device, a character recognition method, an image processing device, an image processing method, and a computer-readable recording medium according to the present invention will be described below in detail with reference to the accompanying drawings. The present invention is not limited to this embodiment.
[0078]
(Embodiment 1)
First, a color image handled in this embodiment will be described. In order to digitize a color image input from a color image input device such as a color scanner, first, the color of each point is decomposed into R (red), G (green), and B (blue) components. As a result, three monochrome images are obtained as the distribution of R, G, and B shades. Each of the R channel, G channel, and B channel is divided into common pixels and the same quantization gradation number is taken and A / D conversion is performed.
[0079]
The digitized color image is an overlay of three monochrome digital images, R, G and B. If the separation into pixels in the R, G, B channels is common, the digital color image will be R.D. It is considered that a set of three numerical values (RG, B) representing the brightness of G, B is determined. For example, when quantization is performed with 256 gradations for each channel, R.P. Each of G and B takes an integer value of R = 0 to 255, G = 0 to 255, and B = 0 to 255. Since 256 gradations have an 8-bit information amount, the information amount per pixel is 8 bits × 3 = 24 bits. Such expression with 8 bits for each of RGB and a total of 24 bits is called RGB 24-bit color expression.
[0080]
A commonly used color document image is rarely printed using 100 colors or 200 colors. For example, in most cases, black and white characters have color character information partially, or the entire page is colored characters of several colors. Also, the colors are cyan, magenta, yellow (hereinafter referred to as C, M, Y) and red, blue, green (hereinafter referred to as R, B, G), which are primary colors of ink used at the time of printing. There are many.
[0081]
In addition, optical readers such as scanners, facsimile machines, and digital still cameras that read these document images often use R, B, and G CCDs (solid-state imaging devices), and the output from these devices is , R, B, and G color component signals in many cases.
[0082]
Furthermore, C, M, and Y, which are primary colors of ink used at the time of printing, and red, blue, and green output from the above apparatus have a complementary color relationship, and can be easily calculated using a predetermined conversion formula. . Therefore, the present invention makes it possible to recognize and reproduce a color image with a simpler apparatus configuration by actively utilizing the characteristics of these color document images.
[0083]
Next, the configuration of the apparatus will be described. FIG. 1 is a block diagram showing a configuration of a character recognition apparatus according to an embodiment of the present invention. In the figure, reference numeral 1 denotes a gray conversion circuit that creates a gray image from a color document image input from a color image input device such as a scanner, a facsimile machine, or a digital still camera. Reference numeral 2 denotes gray conversion performed by the gray conversion circuit 1. A binarization circuit for converting a gray image into white / black binary data, and symbol 3 is a character recognition circuit for recognizing characters of the binary data binarized by the binarization circuit 2.
[0084]
FIG. 2 is a block diagram showing the configuration of the gray conversion circuit 1 and the binarization circuit 2 in FIG. The gray conversion circuit 1 includes R (red), G (green), B (blue), or C (cyan), M (magenta), Y (irello), and K (black) that constitute an input color document image. A gray image is created using the maximum value or the minimum value of a plurality of color component signals of the color signal of each pixel as the representative value of the pixel. The binarizing circuit 2 binarizes the representative value 8-bit image into white pixel data and black pixel data by a fixed threshold value or discriminant analysis method.
[0085]
FIG. 3 is a block diagram showing a configuration of the character recognition circuit 3 in FIG. In the figure, reference numeral 10 denotes a line cutout unit that cuts out a line image (character string image) by taking, for example, a horizontal projection (horizontal projection in a horizontally written document) from the binary data of the binarization circuit 2, and reference numeral 11 is cut out. A character cutout unit that cuts out a character block (character element) by taking a vertical projection or tracking the connection of black pixels to a line image (character string image). Reference numeral 12 denotes a character size from the character block (character element). A feature extraction unit for extracting position information and the like, symbol 13 is a pattern memory storing standard character pattern information, and symbol 14 is a character extracted from the information extracted by the feature extraction unit 12 and the information stored in the pattern memory 13. It is a character recognition unit that recognizes and outputs character code information.
[0086]
Next, the operation of the character recognition device configured as described above will be described. FIG. 4 is a flowchart showing a first operation procedure example according to the embodiment of the present invention. First, a color document image is input from a scanner or the like (step S11). As typical color components used in a color document image, C, M, Y, and K including black (hereinafter referred to as K) in R, G, B, C, M, and Y are used. There are many cases. Between these R, G, B and C, M, Y, there are relationships of “Y = 255-B”, “C = 255 = R”, “M = 225-G”, and a simple conversion formula Can be converted.
[0087]
Further, the conversion formula is not limited to the above-described conversion formula, and in general,
C = k1 * R + k2 * G + k3 * B
M = k4 × R + k5 × G + k6 × B
Y = k7 × R + k8 × G + k9 × B
It is expressed by the following formula. Note that k1 to k9 are coefficients.
[0088]
In general, R, G, B or C, M, Y, (K) are used because CCDs used in optical readers such as scanners, facsimile machines, and digital still cameras are R, G, B. By outputting the color component signal, the primary colors of the ink used in the printing apparatus such as a printer are C, M, Y, (K).
[0089]
On the other hand, a color document image that is a target document of a character recognition device is often printed by some printing device. Therefore, color parts other than black and white are often expressed in R, G, B or C, M, Y. Further, the background (paper) portion of a document is often white or has a high brightness, and the brightness value of the character portion is generally low in order to distinguish it from the background.
[0090]
Now, after performing step S11 of FIG. 4, the minimum value (or maximum value) of R, G, B (C, M, Y, (K)) is calculated as a representative value (step S12). Here, an example will be described in which an 8-bit image of a representative value is created from each of R, G, B 8-bit 256 gradations (24 bits in total).
[0091]
For example, in a color signal of R, G, B, a red (R) character becomes an R, G, B value (255, 0, 0), and a green (G) character R, G, B The value is (0, 255, 0), and the blue, blue (B) R, G, B values are (0, 0, 255).
Further, in the case of a black character, it becomes (0, 0, 0), and the background (paper) portion becomes (255, 255, 255). A summary of these is shown in FIG.
[0092]
As shown in FIG. 5, in the character portion, the minimum value of the R, G, and B values is set as the representative value by utilizing the fact that any one of the R, G, and B values is small (in this example, 0). By using as, it becomes possible to separate a character part and a background part irrespective of a color.
[0093]
Next, when the representative value is calculated in step S12 of FIG. 4, a binarization process is subsequently executed (step S13). That is, in the above representative value stage, in the case of FIG. 5, only 24 bits of 8 bits (256 gradations) for each of R, G, and B are 8 bits per pixel and are not binarized. Absent. As a method of binarizing from an 8-bit image of a representative value, binarization may be performed with a fixed threshold value, or a known method used in various places such as a discriminant analysis method may be adopted.
[0094]
Subsequently, the binary data binarized in step S13 is input to the character recognition circuit 3, and the character recognition process is executed (step S14). That is, a character string is cut out by the line cutout unit 10. Furthermore, from the line image (character string image) cut out by the character cutout unit 11, a character block is cut out by taking a vertical projection or tracking the connection of black pixels, and the size and position of the character are extracted by the feature extraction unit 12. To do. Thereafter, the character recognition unit 14 refers to the dictionary of the pattern memory 13, performs character recognition, and outputs character code information.
[0095]
Subsequently, the apparatus is provided with color information indicating the color of the character according to the character recognition result (character code information) described above and which value of the R, G, and B values is used as the representative value. Or stored in the external memory or displayed on a display (step S15).
[0096]
FIG. 7 is a block diagram showing the configuration of another character recognition device. Compared to the configuration of the character recognition device shown in FIG. 1, a memory for storing character code information and color information in the subsequent stage of the character recognition circuit 3. 4 is provided. FIG. 8 is a flowchart showing an operation procedure of the character recognition device of FIG. 7, and is a flowchart showing a second operation procedure example. In this operation procedure, Step S23 and Step S26 are added to the flowchart of FIG. 4 described above.
[0097]
That is, after calculating the minimum value (or maximum value) of R, G, B (C, M, Y, (K)) as a representative value in step S22, R, G, B (C, M, Y, ( Which value of K)) is used as the representative value is stored in the memory 4 (step S23). In step S26, the character code information of the character recognized in step S25 is stored in the memory 4. Other processes are the same as those in FIG.
[0098]
In this way, by storing which value of the R, G, and B values is used as the representative value, it is possible to obtain information on what color of the character is written together with the character recognition result.
[0099]
By the way, if only the G component is extracted as a conventionally used “color to gray” conversion method without using the method according to the above-described embodiment, the result becomes as shown in FIG. In this case, it becomes impossible to distinguish from the background.
[0100]
In this embodiment, R, G, and B are used for explanation, but C, M, Y, and (K) are the same as R, G, and B. In this embodiment, the R, G, B values of black characters are set to (0, 0, 0). However, depending on the image format, the black characters are held in black and white (255, 255, 255). In such a case, the maximum value of the R, G, and B values is used as the representative value.
[0101]
(Embodiment 2)
FIG. 9 is a block diagram showing the configuration of the image processing apparatus according to the second embodiment of the present invention. The image processing apparatus includes a color image input unit 100 that inputs R, G, and B color image signals, and a gamma conversion that converts each 8-bit image signal of the R, G, and B color image signals into 5 bits. A unit 101, a maximum value calculation unit 102 for obtaining the maximum value of the R, G image signals, a background density calculation unit 103 for obtaining a background density from the R, G, B color image signals, and the maximum value and the background density. A binarization processing unit 104 for binarization and a binarization table 105 in which three-dimensional features are tabulated are provided.
[0102]
Next, the image processing apparatus configured as described above will be described. First, the color image input unit 100 inputs R, G, B color image signals from a color input device such as a digital copying machine or a color image scanner, or a computer. The gamma converter 101 converts an 8-bit image into a 5-bit image for each of the R, G, and B color image signals. Further, the maximum value calculation unit 102 obtains the maximum value of the R and G values and uses it as a representative value.
[0103]
Further, the background density calculation unit 103 obtains the background density by referring to the previous 32 pixels from 5 bits of the R, G, B color image signals as will be described later. The background density, the representative value, and the B pixel value not used for calculating the representative value are sent to the binarization processing unit 104. The binarization processing unit 104 binarizes the representative value MAX (R, G) 5 bits, background density (5 bits), and B (5 bits) using the binarization table 105. The binarization table 105 has a three-dimensional feature amount as will be described later.
[0104]
By the way, although the color image signals are R, G, and B here, values such as C, M, Y, C, M, Y, and K may be used. Further, when the representative value is obtained by the maximum value calculation unit 102, R and G are used here. However, G and B or R and B may be used, and any of C, M, Y, and K may be used. A combination of these may be used.
Furthermore, instead of comparing these two signals, three or more may be compared to determine the representative value.
[0105]
Next, an operation for obtaining a background density as color information around the pixel will be described. In the case of a digital color copying machine or digital color scanner, data is read line by line in the main scanning direction. When the read data is not sequentially processed, it is necessary to store the data of the previous line in the line memory. Therefore, color information (= background density) around the pixel is calculated using only data within one line, or only data input before the pixel of interest. This background density calculation will be described in detail below.
[0106]
FIG. 10 is an explanatory diagram of a background density calculation method according to the second embodiment of the present invention. FIG. 10 shows an example in which the background density is calculated by looking at the value of the 32 pixels ahead of the target pixel 51. Here, as the surrounding color information (= background density), “the difference between the maximum value of R and G and the value of B” is set as one feature amount.
[0107]
That is, in FIG. 10A, in the pixels that are 32 pixels ahead of the target pixel 51 and are determined to be the background pixel 52 by the binarization process,
(Intens (= Max (R, B) -B)
Is the background density.
[0108]
On the other hand, as shown in the image pattern of FIG. 10B, when all the 18 pixels immediately before the target pixel 51 are non-background pixels 53a among the 32 front pixels, the target pixel 51 is used regardless of the binarization result. The background density is all 32 pixels in front of (sum of intenses / 32).
[0109]
Therefore, by using the feature amount “difference between the maximum value of R and G and the value of B”, it is possible to simultaneously detect non-background pixels (objects) of three colors written on a white background. That is, in the case of a white background, all the values of R, G, and B are values close to 255 in the case of 8-bit data, whereas the values of R and G are 255 when a non-background pixel is drawn in yellow. And the value of B is close to zero. Similarly, it is possible to simultaneously detect three colors: a color when the value of R is large and the values of G and B are small, and a color where the value of G is large and the values of R and B are small.
[0110]
In the above-described processing, the peripheral color information (= background density) is obtained by using only the color information of the pixel determined to be the background pixel 52, so that the peripheral color is not affected by the non-background pixel. You can ask for information.
[0111]
However, when non-background pixels continue (FIG. 10B), there is a problem that surrounding color information cannot be obtained. Therefore, in consideration of the size of the object to be extracted, for example, when the maximum number of pixels of the extraction object is 16 pixels, the object cannot continue 16 pixels or more, so 18 pixels slightly larger than this If non-background pixels continue, background density is calculated from all pixel values immediately before the target pixel 51.
[0112]
The background density calculation method is shown in the flowchart of FIG. First, each parameter is initialized (step S31). That is, mean1 (32 pixels ahead of the pixel of interest), mean (a pixel determined as a background pixel among the 32 pixels ahead of the pixel of interest), and flag are initialized to 0. Subsequently, binarization processing is executed (step S32).
[0113]
That is,
rst (x) = binTable (max (x), blue (x), mean)
rst (x) = 0 white pixel (background)
rst (x) = 1 Black pixel (non-background)
The binarization process is executed. Subsequently, the background density is obtained according to the illustrated algorithm (step S33).
[0114]
In FIG. 11,
max (x) = Max (red (x), green (x))
intens (x) = Max (red (x), green (x))-blue (x)
mean1 = Σintens (x), mean = Σintens (x)
And
[0115]
By the way, the character recognition method and the image processing method described so far can be programmed, recorded on a computer-readable recording medium, and executed on the computer. Further, a part of the character recognition method and the image processing method can be provided on a network and realized through a communication line.
[0116]
That is, the character recognition method and the image processing method described in this embodiment are realized by executing a program prepared in advance on a computer (CPU 20) such as a personal computer or a workstation as shown in FIG. . This program is recorded on a computer-readable recording medium such as the memory 21, the hard disk 24, the floppy disk 27, the CD-ROM 26, the MO, and the DVD by operating the keyboard 25, and is read from the recording medium by the computer (CPU 20). To be executed. In addition, the character recognition or image processing data can be transmitted and received from the communication device 22 to an external device as necessary.
[0117]
Further, as shown in FIG. 13, this program can be distributed to devices 31 to 33 such as a personal computer via the recording medium via a network such as the Internet 30.
[0118]
【The invention's effect】
As described above, according to the character recognition device of the present invention (Claim 1), the color document image that is the target document of the character recognition device has one of R, G, and B values in the character portion. Is made small (becomes 0 in this example), and the minimum value of the R, G, B values is used as the representative value, so that the character portion and the background portion can be separated regardless of the color. The gray document is converted into a gray image using the maximum or minimum value of a plurality of color component signals in the color signal as a representative value of the pixel, and binarized. Character recognition is performed using a representative value (representative color) of values, so that characters in a color document image can be recognized with a simpler apparatus.
[0120]
  A character recognition device according to the present invention (claims)2), By providing storage means for storing color information indicating which signal among the plurality of color component signals is a representative value and character recognition result at the time of conversion by the gray conversion means, the recognition result is obtained. In post-processing such as use, it is possible to quickly confirm the color of the representative value.
[0121]
  A character recognition device according to the present invention (claims)3), Since the color information and the character code information of the representative value are displayed on the display means, the user can immediately confirm the character code information and the color information of the recognition result on a display unit such as a display.
[0122]
  A character recognition method according to the present invention (claims)4In the same manner as in claim 1, the maximum value or the minimum value of the plurality of color component signals in the color signal is obtained by using the characteristics of the color document image.AttentionSince it is converted into a gray image as a representative value of a pixel and then binarized and character recognition is performed using the binary representative value (representative color), the character of the color document image can be recognized by a simpler method. .
[0124]
  A computer-readable recording medium according to the present invention (claims)5)4Since a program for causing a computer to execute the character recognition method according to claim 1 is recorded,4Can be realized by a computer.
[0125]
  An image processing apparatus according to the present invention (claims)6), A maximum value or a minimum value of a plurality of color component signals of the color signal in each pixel of the color image is obtained and the value is used as a representative value, and the representative value and the corresponding pixel of the input color image (target pixel) ) And the surrounding color information (background pixel) obtained from the surrounding color component signal of the pixel in question, so that even if the background density of the input color image changes Binarized data of an object image can be obtained with high accuracy.
[0127]
  An image processing apparatus according to the present invention (claims)7)6In this image processing apparatus, since the color component signal of the pixel of the color image used for binarization is a signal other than the color component signal used for obtaining the representative value, high-precision binarization is possible. become.
[0128]
  An image processing apparatus according to the present invention (claims)8)6In the image processing apparatus, since the color component signal for obtaining the representative value is the maximum value of the red and green color component signals, it is possible to simultaneously detect non-background pixels (objects) of three colors written on a white background. it can.
[0129]
  An image processing apparatus according to the present invention (claims)9)6In the image processing apparatus, an input color image used for binarizationAttentionBy making the color component signal of the pixel a blue color component signal, accurate binarization processing becomes possible.
[0131]
  An image processing apparatus according to the present invention (claims)10)6In this image processing apparatus, the background pixel and the non-background pixel are separated from the result of the binarization process, so that the post-processing for the object (non-background pixel) can be easily performed.
[0133]
  An image processing apparatus according to the present invention (claims)11)6In the image processing apparatus, when a large number of background pixels are continuous with respect to a predetermined threshold, the surrounding color information is calculated using the surrounding color component signals without distinguishing between the background pixels and the non-background pixels. A situation in which peripheral color information cannot be obtained in an image having non-background pixels is avoided, and a correct background density can be obtained.
[0134]
  An image processing apparatus according to the present invention (claims)12)6In the image processing apparatus, the representative value of the input color imageAttentionBy preparing the three feature quantities of the pixel color component signal and the surrounding color information as a three-dimensional binarization table, the processing at the time of binarization processing can be performed quickly, so that the processing efficiency is improved. .
[0135]
  An image processing apparatus according to the present invention (claims)13)12In this image processing apparatus, when the input color image has, for example, an 8-bit configuration, the representative value is calculated after being converted to 5 bits, so that the representative value can be calculated efficiently. it can.In addition, if the input color image has, for example, an 8-bit configuration, a binarization table is created after conversion to 5-bit each, so the amount of data can be reduced and the memory can be used effectively. And a reduction in capacity is realized.
[0138]
  An image processing method according to the present invention (claims)14), A maximum value or a minimum value of a plurality of color component signals of the color signal in each pixel of the color image is obtained and the value is used as a representative value, and the representative value and the corresponding pixel of the input color image (target pixel) ) And the surrounding color information (background pixel) obtained from the surrounding color component signal of the pixel in question, so that even if the background density of the input color image changes Binarized data of an object image can be obtained with high accuracy.
[0140]
  An image processing method according to the present invention (claims)15)14In this image processing method, since the color component signal of the pixel of the color image used for binarization is a signal other than the color component signal used for obtaining the representative value, high-precision binarization processing is performed. Can be done.
[0141]
  An image processing method according to the present invention (claims)16)14In this image processing method, since the color component signal for obtaining the representative value is the maximum value of the red and green color component signals, it is possible to simultaneously detect three non-background pixels (objects) written on a white background. it can.
[0142]
  An image processing method according to the present invention (claims)17)14In this image processing method, since the color component signal of the pixel of the input color image used for binarization is a blue color component signal, accurate binarization processing can be performed.
[0144]
  An image processing method according to the present invention (claims)18)14In this image processing method, since the background pixel and the non-background pixel are separated from the result of the binarization process, the post-processing for the object (non-background pixel) in the color image can be easily performed.
[0146]
  An image processing method according to the present invention (claims)19)14In this image processing method, when many background pixels are continuous with respect to a predetermined threshold, the surrounding color information is calculated using the surrounding color component signals without distinguishing between the background pixels and the non-background pixels. A situation in which peripheral color information cannot be obtained in an image including non-background pixels can be avoided, and correct peripheral color information can be obtained.
[0147]
  An image processing method according to the present invention (claims)20)14In this image processing method, the three characteristic quantities of the representative value, the color component signal of the pixel of the input color image, and the surrounding color information are prepared as a three-dimensional binarization table and used for binarization. Processing in the binarization processing can be performed efficiently.
[0148]
  An image processing method according to the present invention (claims)21According to the above, if the input color image has, for example, an 8-bit configuration, the representative value is calculated after being converted to 5 bits. Therefore, the processing efficiency of representative value calculation is improved.In addition, if the input color image has, for example, an 8-bit configuration, a binarization table is created after conversion to 5-bit each, so the data amount can be reduced and the memory capacity can be effectively used. And size reduction can be achieved.
[0150]
  An image processing method according to the present invention (claims)22)14~Any one of 21By performing the image processing described in (2), the background color and the object can be more reliably separated, so that a specific pattern such as a character can be recognized more accurately.
[0151]
  A computer-readable recording medium according to the present invention (claims)23)14~22A program that causes a computer to execute any one of the image processing methods is recorded.14~22The image processing operation described in any one of the above can be realized by a computer.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a character recognition device according to a first exemplary embodiment of the present invention.
2 is a block diagram showing a configuration of a gray conversion circuit and a binarization circuit in FIG. 1. FIG.
FIG. 3 is a block diagram showing a configuration of a character recognition circuit in FIG. 1;
FIG. 4 is a flowchart showing a first operation procedure example according to the first embodiment of the present invention;
FIG. 5 is an explanatory diagram showing an example of determining a representative value from RGB values according to the first embodiment of the present invention;
FIG. 6 is an explanatory diagram showing a case where only the G component is extracted from the RGB values.
FIG. 7 is a block diagram showing a configuration of another character recognition device according to the first exemplary embodiment of the present invention;
FIG. 8 is a flowchart showing a second operation procedure example according to the first embodiment of the present invention;
FIG. 9 is a block diagram showing a configuration of an image processing apparatus according to a second embodiment of the present invention.
FIG. 10 is an explanatory diagram of an example of calculating background density according to the second embodiment of the present invention.
FIG. 11 is a flowchart showing a background density calculation process according to the second embodiment of the present invention;
FIG. 12 is a block diagram showing an example of a computer system that implements the character recognition method and the image processing method according to the present invention by software.
FIG. 13 is a block diagram showing an example of a system for realizing a character recognition method and an image processing method according to the present invention on a network.
[Explanation of symbols]
1 Gray conversion circuit
2 Binarization circuit
3 Character recognition circuit
4 memory
10 line segment
11 Character cutout
12 Feature extraction unit
14 Character recognition part
100 color image input unit
101 Gamma converter
102 Maximum value calculator
103 Background density calculator
104 Binarization processing unit
105 Binary table

Claims

In a character recognition device that inputs a color document image and performs character recognition of the color document image,
Gray conversion means for converting a maximum value or a minimum value of a plurality of color component signals in a color signal of each pixel constituting the color document image into a gray image as a representative value of the pixel;
Binarization means for binarizing the gray image converted by the gray conversion means using the representative value and a threshold value ;
Character recognition means for performing character recognition from the binary data of the binarization means;
A character recognition device comprising:

Further, a storage unit is provided for storing color information indicating which signal among the plurality of color component signals is a representative value and a character recognition result at the time of conversion by the gray conversion unit. character recognition device according to 1.

The character recognition apparatus according to claim 2 , further comprising display means for displaying color information and a character recognition result stored in the storage means.

In a character recognition method for inputting a color document image and performing character recognition of the color document image,
A first step of calculating a maximum value or a minimum value of a plurality of color component signals in a color signal of each pixel constituting the color document image as a representative value of the pixel;
A second step of binarizing the representative value and threshold value calculated in the first step;
A third step of performing character recognition using the representative value binarized in the second step;
A character recognition method comprising:

A computer-readable recording medium having recorded thereon a program for causing a computer to execute the character recognition method according to claim 4 .

In an image processing apparatus that inputs a color image and binarizes it,
A representative value calculating means for calculating a maximum or minimum value of a plurality of color component signals as the representative value of the pixel of interest in the color signal of each pixel constituting the color image,
Color information calculation means for obtaining color information around the pixel of interest from color components around the pixel of interest ;
The color component signals of the target pixel of the color image and the representative value calculated by the representative value calculation means, and before Symbol binary binarized based on the background density calculated by the color information around the pixel of interest And
An image processing apparatus comprising:

The color component signal of the pixel of interest of the input color image used when binarizing by the binarizing means is a signal other than the color component signal used when obtaining the representative value. Item 7. The image processing apparatus according to Item 6 .

The image processing apparatus according to claim 6 , wherein the color component signal for obtaining the representative value is a maximum value of the red and green color component signals.

The color component signals of the target pixel of the input color image used when binarizing by said binarizing means, the image processing apparatus according to claim 6, characterized in that the color component signals and blue.

The image processing apparatus according to claim 6 , wherein a background pixel and a non-background pixel are separated from a result of the binarization processing by the binarization processing unit.

The color information calculation means calculates peripheral color information using peripheral color component signals without distinguishing between background pixels and non-background pixels when the background pixels are many consecutive with respect to a predetermined threshold. The image processing apparatus according to claim 6 .

And a three-dimensional binarization table comprising the representative value, the color component signal of the pixel of interest of the input color image, and peripheral color information.
The image processing apparatus according to claim 6 , wherein the binarization unit performs binarization processing using three feature amounts of the binarization table.

The image processing apparatus according to claim 12 , wherein the representative value is calculated and the binarization table is created after reducing the number of bits of the input color image .

In an image processing method for inputting and binarizing a color image,
A representative value calculation step of calculating the maximum value or the minimum value of the plurality of color component signals as the representative value of the pixel of interest in the color signal of each pixel constituting the color image,
A color information calculation step for obtaining color information around the pixel of interest from the color components around the pixel of interest ;
Binarization step of binarizing based on the background concentration calculated by the color information around the representative value and the color component signals of the target pixel in the color image, and before Symbol pixel of interest,
An image processing method comprising:

The color component signal of the pixel of interest of the input color image used for binarization in the binarization step is a signal other than the color component signal used for obtaining the representative value. Item 15. The image processing method according to Item 14 .

The image processing method according to claim 14 , wherein the color component signal for obtaining the representative value is a maximum value of the red and green color component signals.

The image processing method according to claim 14 , wherein a color component signal of a pixel of interest of an input color image used for binarization in the binarization step is a blue color component signal.

The image processing method according to claim 14 , wherein background pixels and non-background pixels are separated from a result of binarization processing in the binarization processing step.

The color information calculation step calculates peripheral color information using a peripheral color component signal without distinguishing between background pixels and non-background pixels when the background pixels are many consecutive with respect to a predetermined threshold. The image processing method according to claim 14 .

And a step of preparing a three-dimensional binarization table including the representative value, a color component signal of a pixel of interest of the input color image, and surrounding color information,
The image processing method according to claim 14 , wherein the binarization step performs binarization processing using three feature amounts of the binarization table.

15. The image processing method according to claim 14 , wherein after the number of bits of the input color image is reduced, the representative value is calculated and a binarization table is created .

The image processing method according to any one of claims 14 to 21 , wherein a specific pattern in an input color image is recognized using a processing result of the binarization step.

A computer-readable recording medium having recorded thereon a program for causing a computer to execute the image processing method according to any one of claims 14 to 22 .