JPH11338976A - 文書画像認識装置、その方法、及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】高速で認識精度の高い文書画像認識装置を提供
する。 【解決手段】文書画像入力部１０から入力されたカラー
画像は、明度画像抽出部１１でグレースケール画像に変
換される。次に、可変解像度２値化部１２で、元のグレ
ースケール画像の解像度に対応した解像度であって、よ
り高い解像度の画像に変換される。この変換の際には、
元画像間にサブピクセルを生成し、画素値を補間によっ
て求める。更に、この原画素とサブピクセルの画素値を
使用して、２値化の為の閾値を発生し、画素値と閾値を
比較することにより、画像を２値化する。２値化された
画像は２値画像認識部１３において、文字認識され、認
識結果出力部１４から認識結果が出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像認識装置に関
する。

【０００２】

【従来の技術】パーソナルコンピュータの普及とネット
ワークの整備により、電子化文書が多くなっている。し
かし、情報流通の主要媒体は依然として紙文書であり、
既存の紙文書も多く存在する。そこで、紙文書から電子
化文書へ変換を行い、変換結果を編集する文書画像認識
装置の需要が拡大している。文書画像認識装置は、文書
画像を入力とし、文書画像中の文字等を認識することに
よるコード化処理を行う装置であり、現在は２値文書画
像を入力とする製品がある。２値文書画像とは、文字の
ある部分の画像データを、例えば、“１”で表し、背景
の部分の画像データを“０”で表した文書画像のことで
ある。

【０００３】近年、画像ファイリング装置が普及してき
ており、画像ファイリング装置でファイリングした画像
を文書画像認識装置に入力して認識する需要も増加して
いる。特に、写真を含むグレースケール文書やカラー文
書が多くなっているため、２値文書のみならず、グレー
スケール文書やカラー文書を認識する需要が拡大してい
る。

【０００４】カラー文書画像認識装置は、カラー文書画
像やグレースケール文書画像をも認識対象とする。従来
のカラー文書画像認識装置では、入力文書画像が２値画
像でなく、グレースケール画像やカラー画像である場
合、明度成分を一定の閾値で２値化して２値画像を求
め、２値画像を認識する。

【０００５】図１９は、従来のカラー文書画像認識装置
の構成とカラーテキスト画像を拡大した様子を示す図で
ある。同図（ａ）は、従来のカラー文書画像認識装置の
構成を示す図である。

【０００６】文書画像入力部１７０は、文書画像を入力
する装置であり、一般にはスキャナ等である。通常、文
書に光を当て、反射してきた光を受光して、これを解析
することによって、カラー文書の場合には色彩や明度等
のパラメータを各画素毎に割り当てるものである。スキ
ャンすべき文書がグレースケール文書である場合には、
文書から反射してきた光を解析し、明度に関する情報を
取得し、これを各画素毎に割り当てるものである。この
とき、グレースケール文書の色彩は、全ての画素が無彩
色であることが取得され、これが、各画素毎の色彩のパ
ラメータとして設定される。

【０００７】明度画像抽出部１７１は、入力画像がカラ
ー画像である場合、画素毎に明度成分を抽出し、グレー
スケール画像である明度画像を一定閾値２値化部に出力
する。入力画像がグレースケール画像である場合には、
既に全ての画素の色彩に関するパラメータが無彩色に設
定されているので、明度画像抽出部１７１によって処理
されたグレースケール画像は、パラメータの内、色彩に
関するものが取り除かれているのみで、原理的には入力
画像であるグレースケール画像と処理結果であるグレー
スケール画像とは明度に関して同じデータを持った画像
データとなる。

【０００８】一定閾値２値化部１７２は、明度画像であ
るグレースケール画像が入力された場合、一定の閾値で
２値化して２値画像を求める。この閾値は、外部から指
示入力される値である。なお、以後グレースケール画像
といった場合には、基本的に明度画像抽出部１７１によ
って処理された結果の明度画像を示し、文書画像入力部
１７０がスキャンした、色彩に関するパラメータが無彩
色に設定されているグレースケール画像ではないとす
る。すなわち、色彩に関するパラメータは持っておら
ず、明度に関するパラメータのみを持っているものとす
る。しかし、色彩パラメータを持っていても、全ての画
素について、このパラメータが無彩色に設定されている
場合には、実質的に画像認識に有効なのは明度のパラメ
ータのみであるので、このようなグレースケール画像を
用いても画像認識を行うことは可能である。

【０００９】２値画像認識部１７３は、２値画像を認識
する。すなわち、一定閾値２値化部１７２で２値化され
た文書画像を２値化された画像の特徴を捉えることによ
って、文字を認識し、それをコンピュータ内部で使用し
ている認識された文字に対応するコードに置き換えるも
のである。

【００１０】認識結果出力部１７４は、２値画像認識部
１７３で行われた文字認識結果、すなわち、文書画像を
文字を表すコードの配列に再構成したファイルを出力す
る。

【００１１】

【発明が解決しようとする課題】従来のカラー文書画像
認識装置では、認識精度が低い、という欠点がある。カ
ラー文書画像は、１画素あたりのデータ量が、２値画像
の８倍以上であるため、２値画像と比較して、低解像度
でカラー文書画像認識装置に入力される。スキャナなど
の画像入力装置の処理時間の低減、画像ファイリングす
る際の使用メモリ量の低減等のためである。

【００１２】図１９（ｂ）は、低解像度カラーテキスト
画像の拡大図を示す図である。同図（ｂ）は、フルカラ
ーの１５０ｄｐｉテキスト画像であるが、カラー表示で
は、文字の周辺部分に多種類の色が確認でき、同一色の
抽出により領域を同定することが困難であることが推定
できる。

【００１３】従来の文書画像認識装置は、基本的にデー
タ量の少ない２値画像を入力する仕様であり、標準的に
は４００ｄｐｉ程度の文書画像の解像度を前提としてい
る。このため、１５０ｄｐｉ以下のカラー文書画像を入
力した場合、１５０ｄｐｉ以下の同じ解像度の２値画像
に変換して認識するため、十分な精度で認識することが
できない、欠点がある。

【００１４】本発明の課題は、高速で認識精度の高い文
書画像認識装置を提供することである。

【００１５】

【課題を解決するための手段】本発明の画像認識装置
は、入力文書画像が、カラー画像であればグレースケー
ル画像に変換し、グレースケール画像であれば、新たに
グレースケール画像を出力する画像変換手段と、該グレ
ースケール画像の解像度に応じた、より解像度の高い２
値画像に変換する可変解像度２値化手段と、該２値化さ
れた画像を認識する手段とを備えることを特徴とする。

【００１６】本発明の画像認識方法は、（ａ）入力文書
画像が、カラー画像であればグレースケール画像に変換
し、グレースケール画像であれば、新たにグレースケー
ル画像を出力するステップと、（ｂ）該グレースケール
画像の解像度に応じた、より解像度の高い２値画像に変
換するステップと、（ｃ）該２値化された画像を認識す
るステップとを備えることを特徴とする。

【００１７】本発明によれば、カラー文書画像から変換
によって求められたグレースケール文書画像、あるい
は、入力されたグレースケール画像に対し、その解像度
に応じて、適切なより高い解像度の画像データに変換す
るので、グレースケールの持っている明度に関する情報
の欠落を起こすことなく、画像を２値化することができ
る。従って、２値画像に表れる文字がつぶれてしまうこ
とを避けることが出来、より精度の高い、文字認識をす
ることができる。

【００１８】更に、文字等が含まれる描画領域を文書画
像から粗抽出し、その抽出された領域に対してのみ、本
発明の２値化処理を施すことにより処理速度を高速化す
ることができる。

【００１９】

【発明の実施の形態】本発明では、従来装置の問題点を
解決するために、入力画像の解像度に応じて解像度を高
くした２値画像に変換する。

【００２０】すなわち、入力画像の解像度が低くとも、
カラー画像やグレースケール画像であれば人間は判読で
きる。また、従来装置で２値化した結果の画像は、人間
でも非常に読みにくい。２値化結果の画像が読みにくい
理由は、画像の明度成分にある情報が欠落するためであ
る。２値化結果画像を読みやすくするためには、画像の
明度成分にある情報を２値化結果画像に反映する必要が
ある。このためには、２値化結果画像の解像度を増すの
が有効な手段である。

【００２１】入力文書画像が、カラー画像であればグレ
ースケール画像に変換した後、２値画像に変換し、グレ
ースケール画像であれば２値画像に変換するものにおい
て、入力画像の解像度に応じた解像度の２値画像に変換
する。そして、変換もしくは入力された２値画像を認識
して電子コード化する。

【００２２】入力画像の解像度に応じた解像度の２値画
像に変換する具体的な手段としては、グレースケール画
像の画素値を補間して画像の画素数を増加させるサブピ
クセル化処理を行った後、２値画像を求める方法が考え
られる。サブピクセル化処理の具体的な方法としては画
素値の線形補間がある。

【００２３】あるいは、カラー画像またはグレースケー
ル画像の認識率を高める方法としては、文字の存在する
部分とその周辺のみを全画像から抽出し、抽出された部
分画像の中で適切に閾値を生成して文字認識を行うよう
にする方法がある。この場合には、明度成分にある情報
の欠落を防ぐと言うよりは、背景の明度の高い領域の濃
淡、即ち、ノイズ成分を少なくすることにより、２値化
処理の結果がより文字の形をはっきり反映することが出
来るようにするものである。

【００２４】図１は、本実施形態のカラー文書画像認識
装置の原理構成である。文書画像入力部１０は、前述の
従来技術と同様にスキャナに相当する部分であり、カラ
ー文書画像やグレースケール文書画像（色彩パラメータ
を含む）を光を当てて、画像として取り込むユニットで
ある。

【００２５】明度画像抽出部１１は、文書画像入力部１
０で入力された画像から明度成分のみを抽出し、グレー
スケール画像（色彩パラメータを含まない）を生成する
ユニットである。明度画像抽出部１１の出力であるグレ
ースケール画像は、次の可変解像度２値化部１２に入力
される。

【００２６】可変解像度２値化部１２は、入力された解
像度の低いグレースケール画像を基に、文字が含まれて
いる部分領域を抽出（粗抽出）したり、グレースケール
画像の原画素間にサブピクセルを生成して、明度成分に
関する情報の補間を行うことにより、後段の２値画像認
識部１３に、より文字の認識のしやすい２値画像を提供
するものである。

【００２７】２値画像認識部１３は、可変解像度２値化
部１２から渡された２値画像に基づいて文字認識を行
い、画像としての文字を電子コードに置き換える処理を
行う。認識結果出力部１４は、２値画像認識部１３から
の電子コードの配列としての文書ファイルを受け取り、
これをハードディスク等の記録媒体等に記録したり、表
示モニタに認識結果としての文書ファイルを出力したり
するものである。

【００２８】なお、同図の文書画像入力部１０、明度画
像抽出部１１、２値化画像認識部１３、及び認識結果出
力部１４は、従来の構成と同様であるので、以下、詳細
な説明は省略する。すなわち、現在、白黒文書の認識装
置やソフトウェアが商品化されている現在において、ス
キャナである文書画像入力部１０や、２値画像認識部１
３、及び認識結果出力部１４の構成は、詳細な説明をす
るまでもなく、当業者によれば容易にその構造を理解で
き、また、実際に使用することができるからである。ま
た、明度画像抽出部１１においても、カラー画像等をグ
レースケール画像に置き換える装置であり、テレビ放送
等において、カラー画像を白黒画像に置き換えて放送さ
れる現状を考えると、当業者によれば、容易にその構成
は理解され、また、実際の装置も容易に手に入れること
が出来ると考えられるので、説明は省略する。

【００２９】従って、本発明の実施形態においては、図
１９で示した従来装置の構成における、一定閾値２値化
部１７２が可変解像度２値化部１２に換えることを特徴
としており、以下の説明では、この可変解像度２値化部
１２について詳細に説明する。可変解像度２値化部１２
では、グレースケール画像を入力画像の解像度に応じた
解像度の２値画像に変換、あるいは、グレースケール画
像から文字の含まれる部分の粗抽出後に画像を２値化し
て文字認識に使用できるようにする。また、解像度の変
換と粗抽出を共に行う構成を取ることも可能である。

【００３０】図２は、可変解像度２値化部の構成例を示
した図である。可変解像度２値化部の第１の構成例とし
ては、同図（ａ）に示すように、サブピクセル化処理部
２０において、グレースケール画像の原画素間にサブピ
クセルを生成し、入力画像であるグレースケール画像の
解像度に従った高解像度化を行った後、一定閾値２値化
部２１で、従来の一定閾値の２値化処理を行う構成が考
えられる。

【００３１】一定閾値とは、１つの文書画像に対して一
定の閾値を使用することを意味しており、例えば、１ペ
ージ分の文書画像の２値画像化には、ただ１つの閾値が
使用される。

【００３２】サブピクセル化は、そのままでは２値化し
ても認識率の向上が望めないグレースケール画像の原画
素間を更に細分化して、データ上に仮想の画素データを
生成してやることである。詳細は後述するが、サブピク
セルの持つ画素値（明度）は、入力されるグレースケー
ル画像の原画素の明度を補間処理して得る。補間方法の
代表としては線形補間が考えられる。

【００３３】可変解像度２値化部の第２の構成例として
は、同図（ｂ）に示すように、同図（ａ）における一定
閾値２値化部２１の代りに、局所２値化処理部２３を設
ける構成が考えられる。局所２値化処理部２３は、一定
の閾値を使用した場合より認識精度を向上可能な２値画
像を得るために、グレースケール文書画像全体の中か
ら、処理を行おうとする局所領域を描画領域内の画素ご
とに設定し、局所領域内の画素データを用いて生成した
閾値を使って画像を２値化して２値画像を求める。

【００３４】すなわち、画素毎に局所的な範囲（局所領
域；例えば、注目画素を中心とした正方形領域）で明度
の閾値を求め、２値化する。つまり、明度の値が閾値未
満の画素が黒（例えば、“１”に設定する）、明度の値
が閾値以上の画素が白（例えば、“０”に設定する）に
なるように２値化する。局所領域内における閾値は、具
体的には、画素値の平均、標準偏差、分散の線形和を用
いる方法がある。閾値の定義例としては、以下のものが
考えられる。局所２値化パラメータは定数であり、この
値を適切に設定することによって最適な閾値を得るよう
にする。なお、以下の式では、グレースケールは明度と
ほぼ同意に用いている。

【００３５】（閾値）＝（グレースケール平均）＋（局
所２値化パラメータ）×（グレースケール標準偏差） 図３は、サブピクセル化処理の原理を説明する図であ
る。

【００３６】同図で、黒丸はグレースケール画像の原画
素を示し、白丸はサブピクセルを表す。また、ＩＡ〜Ｉ
Ｄは、原画素Ａ〜Ｄのグレースケールである。また、Ｉ
１〜Ｉ５は、原画素のグレースケールから補間処理によ
って求められるべきサブピクセル１〜５のグレースケー
ルである。

【００３７】同図のように、４つの原画素に囲まれた内
部にサブピクセルを線形補間で生成する場合には、先
ず、原画素間に幾つのサブピクセルを設けるかを決定す
る。次に、サブピクセルを、設けるべきサブピクセルの
数に合わせて原画素間に均等に配置する。そして、それ
ぞれのサブピクセルに対して原画素のグレースケールか
ら補間によって、グレースケールを割り当てる。

【００３８】例えば、ｐ、ｑを１より小さく０より大き
い数として、サブピクセルを原画素Ａ〜Ｄで囲まれる領
域に配置する場合を考える。サブピクセル１は、原画素
Ａと原画素Ｂを結ぶ直線ＡＢ上にｐ：１−ｐで表される
位置に配置されている。この場合、サブピクセル１のグ
レースケールを原画素ＡとＢのグレースケールＩＡとＩ
Ｂから線形補間で求めるには、以下のような式によって
求める。

【００３９】 Ｉ１＝ｐ・ＩＢ＋（１−ｐ）・ＩＡ 同様に、サブピクセル２、３、４のグレースケールは、 Ｉ２＝ｑ・ＩＣ＋（１−ｑ）・ＩＡ Ｉ３＝ｑ・ＩＤ＋（１−ｑ）・ＩＢ Ｉ４＝ｐ・ＩＤ＋（１−ｐ）・ＩＣ のように求められる。

【００４０】また、原画素点Ａ〜Ｄで囲まれる領域の内
部にあるサブピクセル５のグレースケールＩ５は、以下
のような式によって求めることができる。 Ｉ５＝ｐ・ｑ・ＩＤ＋ｐ・（１−ｑ）・ＩＢ＋ｑ・（１
−ｐ）・ＩＣ＋（１−ｐ）・（１−ｑ）・ＩＡ 以上のような、計算を原画素間に設けられた全てのサブ
ピクセルに対し行うことによってサブピクセル化を完了
する。得られたグレースケールは、対応するサブピクセ
ルの位置と共に、原画素データと同様の方法で記録して
おく。

【００４１】図４は、入力画像であるグレースケール画
像の解像度に対して、どの程度のサブピクセルを生成す
るかを指定するテーブルの例である。図３で説明した計
算処理の最初に、原画素の間にサブピクセルを配置する
必要がある。サブピクセルをどの位の数設けるかは、任
意性のあるところであるが、サブピクセル化して２値化
した画像から十分な文字認識精度が得られるように設定
する必要がある。従って、入力画像の解像度に対して、
どのくらいのサブピクセルを設けるかを一義的に定める
数式があるわけではなく、ある程度実験データに基づい
て決定されるべきものである。

【００４２】同図では、左の欄に入力画像の解像度が、
右の欄にサブピクセル化パラメータが対応して記録され
ている。例えば、入力画像の解像度が“１００”ｄｐｉ
である場合には、サブピクセルは原画素１つに対して、
６×６の格子を形成するように生成される。また、入力
画像の解像度が“１５０”ｄｐｉである場合には、サブ
ピクセルは原画素１つに対して、３×３の格子を形成す
るように生成される。

【００４３】このように、前述のピクセル化処理部は、
同図のようなテーブルを保持しておき、グレースケール
画像が入力された場合には、その解像度からサブピクセ
ルの生成数を取得し、先ず、サブピクセルの位置を決定
する。次に図３で説明した算出方法により、各サブピク
セルに対し、グレースケールを原画素のグレースケール
から補間処理で値を求め、入力画像の解像度に従った高
解像度の画像データを生成する。

【００４４】図５は、可変解像度２値化部の別の構成例
を示した図である。図２（ｂ）の構成の場合、全画像領
域を局所２値化するため、比較的、処理時間がかかるの
で、グレースケール画像の画素値に対する大域閾値によ
り、閾値未満の画像部分を文字の周辺部として、描画領
域を粗く抽出する大局処理を描画領域粗抽出部により行
った後、局所２値化処理を行う構成が考えられる。

【００４５】すなわち、描画領域粗抽出部５０で文書画
像のうち、文字が記載されている部分及びその周辺部を
抽出し、局所２値化処理部は、この抽出された領域にお
いてグレースケール画像を２値化する。粗抽出の仕方と
しては、後述するように、文書画像の画素全体に渡っ
て、グレースケール、あるいは明度に対して、その明度
を有している画素数を集計する。そして、明度の大きい
部分で画素数が大きくなっている場合は、文書画像の背
景を表しており、明度の小さい部分で画素数が大きくな
っている場合には、文書画像の文字が分布している部分
を表しているとして、これらの２つの山の中間にあたる
画素数の少ない部分に閾値を設定する。この閾値の設定
は、２値化処理の場合と同様であって、ただし、閾値の
設定位置を少し明度の高い方にずらした位置に設定す
る。このような閾値（大域閾値）を用いて、文書画像中
の画素を抽出すると、これはちょうど文字とその周辺を
含む部分になる。このように粗抽出した領域に対して、
局所２値化処理部５１が別の閾値を用いて画像を２値化
することにより、文書画像の背景の濃淡によるノイズ成
分を削除することができるので、より文字認識のしやす
い２値画像を得ることが出来る。

【００４６】大域閾値は、具体的には、画素値の平均、
標準偏差、分散の線形和を用いる方法があり、例えば、
以下のような定めかたも可能である。大局処理パラメー
タは定数である。

【００４７】（閾値）＝（全画素値の平均）＋（大局処
理パラメータ）×（全画素値の標準偏差） この大局処理パラメータ調整することによって、大域閾
値の位置を調整し、粗抽出が最も効果的に行える位置に
設定する。

【００４８】図６は、粗抽出処理の場合に使用される大
域閾値の設定の仕方を説明する図である。同図のよう
に、粗抽出を行う場合には、文書画像全体にわたって一
定閾値を設定する場合と同様に、文書画像全体を構成す
る画素全てに対して、明度（明るさ）を取得し、どの明
るさの画素がどのような頻度で文書画像に含まれている
かの統計をとる。同図では、明るさに対する画素の頻度
が滑らかな曲線を描くようにしているが、これはあくま
で、閾値設定方法を説明するために模式的に描いたもの
であって、実際に装置を使って特定の明度の発生頻度を
表す統計処理を行う場合には、ヒストグラムのようにな
る。

【００４９】同図では、明度の小さい部分に１つの頻度
の山と、明度の大きい部分に１つの頻度の山とが出来て
いる。明るさの大きい部分は文書画像の背景であり、文
書が作成されている用紙の明るさである。一方、明るさ
の小さい部分の山は、文字や図形等が描かれている描画
領域である。このように、画素の発生頻度を明度に対し
て整理すると、描画領域に含まれる画素と背景に含まれ
る画素とに大きく分かれるので、２つの山の中間当たり
に明度の閾値を設け、この閾値よりも小さい明度を有す
る画素を文書画像から抜き出すことにより、粗抽出を行
うことができる。

【００５０】なお、文書が白黒反転画像で構成されてい
る場合には、同図の２つの山の描画領域と背景が入れ替
わるので、設定した閾値よりも大きな明度を持つ画素を
描画領域として抽出する。

【００５１】文書画像全体を一定の閾値で２値化する場
合には、閾値は、２つの山のちょうど中間当たり、すな
わち、頻度が谷のそこになっているような位置に設定さ
れる。これは、文字の形を認識するに当たって、背景の
画素まで取り込んでは精度の良い認識が出来ないからで
ある。しかし、粗抽出を行う場合には、むしろ、文字の
周辺の背景部分を含んでいたほうが、抽出された領域内
で２値化する場合の閾値を設定するのに都合がよいの
で、閾値を谷間の底から少し背景の山の方向にずらした
位置に設定する。このようにすることによって、文字等
の描画領域とその周辺の背景を含む領域が抽出されるこ
とになる。

【００５２】図７は、可変解像度２値化部の更に別の構
成例を示す図である。図２と図５の構成を合わせると、
グレースケール画像に対して、サブピクセル化処理を行
った後、描画領域を粗く抽出する大局処理を行い、その
後、描画領域内の画素毎に、局所２値化処理を行う構成
になり、図２の構成よりも高速に処理でき、図５の構成
よりも精度が高くなる効果がある。

【００５３】同図（ａ）は、サブピクセル化処理部７０
によるサブピクセルを最初に行い、後に、描画領域粗抽
出部７１によって、文書画像の粗抽出を行う。サブピク
セル化を行うことによってグレースケール画像の明度に
関する情報を欠落させず、むしろ、明度に関する情報を
補うので、２値化処理における精度を向上させることが
できる。また、粗抽出を行うことによって、文書画像の
全体を処理対象とする必要がないので、処理する画素数
が削減され、局所２値化処理部における処理速度を向上
することが出来る。

【００５４】サブピクセル処理部７０は、図３で説明し
たサブピクセル処理を文書画面全体に対して行い、描画
領域粗抽出部７１は、サブピクセルも処理対象として、
粗抽出を行う。したがって、サブピクセル化のみ、ある
いは、粗抽出処理のみを行う場合に比べて、精度や速度
の面で有効であるが、サブピクセル化を文書画像全体に
対して行わなくてはならないので、局所２値化処理部７
２の処理速度は向上する事が出来るが、サブピクセル化
処理部７０や、描画領域粗抽出部７１で扱う処理データ
量が多くなり、処理の速度を遅くしたり、データを格納
するメモリの容量が余分に必要になったりする。

【００５５】同図（ｂ）は、同図（ａ）の処理速度をよ
り向上するための構成例である。すなわち、同図（ａ）
の構成において、サブピクセル化処理部７０と描画領域
粗抽出部７１の処理順序を逆にしたのが、同図（ｂ）の
構成である。描画領域粗抽出部７３の処理が、サブピク
セル化によって、画素数の拡大されない元のグレースケ
ール画像に対して行われるため、描画領域粗抽出部７３
の扱うデータ量が少なく、より処理が高速になる。

【００５６】また、サブピクセル化処理部７４も、入力
されたグレースケール画像全体ではなく、描画領域粗抽
出部７３によって抽出された領域に対してのみサブピク
セル化を行えば良いので、同図（ａ）のように、入力さ
れたグレースケール画像全体に対しサブピクセル化を行
うよりも、扱う画素数が格段に減少するので、データを
格納するメモリ容量も少なくて済み、処理速度もより向
上することが出来る。

【００５７】また、局所２値化処理部７５の処理量は、
同図（ａ）の場合と同じ程度となるので、同図（ｂ）の
構成においては、全体としての処理速度を向上すること
が出来るとともに、メモリなどの必要とされるハードウ
ェア資源の量も削減することができる。

【００５８】一般に、サブピクセル化の後に局所２値化
を行う構成（図２、図７）では、局所２値化の閾値は、
サブピクセル化の補間点（サブピクセル）における画素
値から計算される。しかし、サブピクセル化の補間点に
おける画素値は原画素値から求められるため、サブピク
セル化の補間点における画素値を原画素値から求める数
式を、局所閾値を補間点における画素値から求める数式
に代入して得る数式から、局所２値化処理を行うことが
できる。

【００５９】図８は、局所２値化処理部のより詳細な第
１の構成例である。サブピクセル化処理部８０の処理内
容は図３に基づいて説明したので、説明を省略する。局
所２値化部８１は、閾値計算部８２と比較部８３とから
なっている。閾値計算部８２では、グレースケール画像
から直接に局所２値化処理の閾値を求める。比較部８３
は、サブピクセル化処理部８０で求めたサブピクセル化
点における画素値と該閾値を比較して、２値化結果を出
力する。

【００６０】すなわち、閾値計算部８２には、入力グレ
ースケール画像の画素点情報が直接入力される。更に、
閾値計算部８２は、特定の画素点に注目して局所領域を
定め、該局所領域内での各画素点でのグレースケール
（明度）を図６で説明したように統計的に整理し、背景
を表すと考えられる明度を持つ画素と描画領域を表すと
考えられる明度を持つ画素を出来るだけはっきりと区別
することが出来るような値に閾値を設定する。図６で
は、粗抽出について説明したので、閾値は、背景の明度
にシフトしたものを用いることを述べたが、２値化処理
を行う場合には、図６の真ん中の谷の底に当たる部分に
閾値を設定するようにする。このように設定すれば、文
字等を構成する画素を背景を構成する画素と明確に区別
することが出来るので、より認識のしやすい２値画像を
得ることが出来る。

【００６１】閾値計算部８２で計算された閾値は比較部
８３に入力される。また、サブピクセル化処理部８０で
は、サブピクセル化されたグレースケール画像の各画素
点とその画素点における明度の情報を生成し、閾値計算
部８２が注目した画素点の明度に関する情報を比較部８
３に入力し、該画素点の明度が閾値と比較される。そし
て、例えば、明度が閾値より大きい画素点の明度を
“０”、明度が閾値より小さい画素点の明度を“１”と
する。そして、注目する画素点を順次変更していき、上
記処理を繰り返し行うことによって、入力グレースケー
ル画像に対応する２値画像が得られる。ここで、画素点
と呼んでいるのは、入力グレースケール画像の原画素と
サブピクセル化によって生成されたサブピクセルの両方
を含んでいる。入力グレースケール画像の原画素を示す
ときには原画素点と呼ぶことにする。従って、図８の構
成では、入力グレースケール画像の全体をサブピクセル
化することによって、画素点の数の増加した画像データ
全体に対して、２値化を行うことになる。

【００６２】図９は、局所２値化処理部の詳細な第２の
構成例である。同図においては、グレースケール画像の
原画素点においてのみ、サブピクセル化後の局所閾値を
求め、補間点（サブピクセル）における局所閾値は、グ
レースケール画像の該画素点における局所閾値を補間し
て求める。すなわち、図８の構成においては、サブピク
セルもグレースケール画像の原画素点も同等に扱って、
局所２値化の為の閾値を算出していたが、同図の構成に
おいては、原画素点における閾値のみを算出し、サブピ
クセルに対応する閾値は補間処理によって求める。実際
には、図３で説明した補間処理を各原画素点における明
度について行うのではなく、各原画素点について求めら
れた閾値を明度値と同じようにして補間して求めるので
ある。

【００６３】すなわち、画素点閾値計算部９１では、グ
レースケール画像の原画素点においてのみ、サブピクセ
ル化後の局所閾値を求める。補間部９２では、補間点
（サブピクセル）における局所閾値を、グレースケール
画像の該画素点における局所閾値を補間して求める。比
較部８３は、サブピクセル化処理部８０で求めた画素点
における画素値と補間部９２で求めた該閾値と比較し
て、２値化結果を出力する。このような、２値化処理を
サブピクセル化処理部８０で求められた画素点全体に対
して行うことによって、２値画像を得る。

【００６４】画素点閾値計算部９１におけるグレースケ
ール画像の原画素点における局所閾値の求めかたとして
は、下記の方法がある。 （１）グレースケール画像の原画素点を補間することに
よって求めたサブピクセルにおける画素値を用いて、グ
レースケール画像の原画素点における局所閾値を求め
る。 （２）原画素値から補間点（サブピクセル）における画
素値を求める数式を、補間点（サブピクセル）における
画素値から局所閾値を求める数式に代入して得る数式か
ら求める。 （３）原画素値から補間点（サブピクセル）における画
素値を求める数式を、補間点（サブピクセル）における
画素値から画素値の平均、２乗平均を求める数式に代入
して得る数式から、グレースケール画像の原画素点にお
けるサブピクセル化後の平均、２乗平均を求めた後、標
準偏差、分散を求め、平均、標準偏差、分散の線形結合
により求める。（１）の構成は図９に示したものであ
る。（２）の構成は、図１０になる。画素点閾値計算部
は、グレースケール画像の画素値のみを使用する。
（３）は、局所２値化閾値が局所領域における画素値の
平均、標準偏差、分散の線形結合である場合である。
（３）の構成は、図１１になる。分散値は、平均、２乗
平均から求められる。標準偏差は分散値から求められ
る。下記に具体式を示す。

【００６５】分散＝２乗平均−平均の２乗 標準偏差＝√（分散） （２）、（３）において、局所領域が原画素を境界とす
る場合、局所閾値や平均などを求める数式がより単純に
なり高速処理ができる効果がある。そこで、この数式を
用いる方法もある。

【００６６】また、局所領域の指定部を有し、局所領域
が原画素を境界としない場合と、局所領域が原画素を境
界とする場合とを区別して処理する構成が可能である
（図１２）。局所領域の指定部は、サブピクセル化の補
間画素数と局所領域の大きさを指定データとし、局所領
域が原画素を境界とするか否かを局所領域原画素境界判
定部で自動判別する装置である。

【００６７】以下に、図１０〜図１２の構成について説
明する。図１０は、局所２値化処理部の第３の構成例を
示す図である。局所２値化処理部１００は、画素点閾値
計算部１０１、補間部１０２、及び比較部８３からなっ
ている。

【００６８】グレースケール画像が入力されると、グレ
ースケール画像の原画素に関するデータは、サブピクセ
ル化処理部８０と、画素点閾値計算部１０１に入力され
る。サブピクセル化処理部８０は、前述の処理により、
原画素間に所定の数のサブピクセルを生成する。画素点
閾値計算部１０１は、原画素点における閾値を、原画素
の画素値のみから求める。閾値の求めかたは、前述した
ように、図６に示したようなデータを生成し、平均値や
分散等を用いて算出する。各原画素点について求められ
た閾値は、補間部１０２において、前述のように、線形
補間などの方法によってサブピクセルに対する閾値を求
めるのに使用される。

【００６９】比較部８３では、サブピクセル化処理部８
０によって生成された原画素値及びサブピクセルの画素
値と、画素点閾値計算部１０１及び補間部１０２によっ
て求められた各画素点に対する閾値とを比較し、画素値
を２値化する。このような処理を全ての画素点について
行うことによって、２値画像を得る。

【００７０】図１１は、局所２値化処理部の第４の構成
例を示す図である。局所２値化処理部１１０は、画素点
閾値計算部１１１、補間部１１７、及び比較部１１８か
らなっている。サブピクセル化処理部８０の処理内容は
前述したものと同様である。入力されたグレースケール
画像のデータは、サブピクセル化処理部８０に入力され
ると共に、局所２値化処理部１１０の画素点閾値計算部
１１１に入力される。画素点閾値計算部１１１では、注
目した画素点を中心とする局所領域内の画素点に関する
画素値を取得し、画素点平均値計算部１１２で、画素値
の平均を算出する。また、画素点２乗平均値計算部１１
３では、画素値の２乗の平均値を局所領域内で計算す
る。画素点平均値計算部１１２からの画素値の平均値
と、画素点２乗平均値計算部１１３からの画素値の２乗
の平均値は、画素点分散値計算部１１４に入力されて、
画素値の分布に対する分散が求められる。算出された分
散は画素点標準偏差値計算部１１５に入力されて、画素
値の分布の標準偏差が求められる。

【００７１】画素値の平均値、分散値、標準偏差値は線
形結合計算部１１６に入力されて、閾値が算出される。
閾値を算出する式は、当業者によって適宜設定されるべ
きものであるが、本実施形態においては、前述したよう
に、平均値と標準偏差の線形結合を用いており、標準偏
差をどの程度閾値の設定に影響させるかの度合いを調整
するために、標準偏差にパラメータを掛けて、閾値の調
整をするようにしている。

【００７２】このようにして、ある注目する画素点に対
して閾値が求まると、これを入力グレースケール画像の
各原画素点に対して、繰り返し計算し、全ての原画素に
対して閾値を得る。これらの閾値は補間部１１７に送ら
れ、今度はサブピクセルに対する閾値が、補間によって
求められる。以上の処理の結果、原画素とサブピクセル
に対して、それぞれ閾値が求められたので、サブピクセ
ル化処理部８０から送られてくる画素値と比較部１１８
において比較され、画素値を２値化して出力する。

【００７３】図１２は、局所２値化処理部の第５の構成
例を示す図である。本構成例においては、局所２値化処
理部１２０は、局所領域原画素境界判定部１２１、原画
素境界画素点閾値計算部１２２、原画素非境界画素点閾
値計算部１２３、補間部１２４、及び比較部１２５から
なっている。

【００７４】入力されたグレースケール画像データは、
サブピクセル化処理部８０に入力され、前述の処理が行
われた後、サブピクセル化後のデータが比較部１２５に
入力される。

【００７５】また、入力されたグレースケール画像のデ
ータは、局所２値化処理部１２０の局所領域原画素境界
判定部１２１に入力される。局所領域指定部１２６から
は特定の原画素に対して、局所領域をどの範囲に定める
かを指定する入力装置であり、手動で指定するように構
成しても良いし、自動で指定するようにしてもよい。特
に、局所領域が、文字を構成する線に含まれてしまう場
合には、局所２値化の処理が上手く行かない場合がある
ので、局所領域は、注目する画素を中心として、文字を
構成する線の部分と背景の部分がほぼ１対１の割合で含
まれるようにするのが好ましい。

【００７６】局所領域指定部１２６によって局所領域を
注目する画素に対してどの範囲にするか指定されると、
局所領域原画素境界判定部１２１は、局所領域の境界に
原画素が存在するか否かを判定する。そして、原画素が
局所領域の境界にある場合には、原画素境界画素点閾値
計算部１２２にデータを送って、原画素に対する閾値を
計算させる。また、原画素が局所領域の境界にない場合
には、原画素非境界画素点閾値計算部１２３にデータを
送って、原画素に対する閾値の計算をさせる。原画素境
界画素点閾値計算部１２２と原画素非境界画素点閾値計
算部１２３の閾値の算出方法は後述する。

【００７７】原画素画素点閾値計算部１２２、あるい
は、原画素非境界画素点閾値計算部１２３によって算出
された閾値は原画素に対するものだけであるので、補間
部１２４に送られ、サブピクセルに対する閾値が補間処
理によって得られる。

【００７８】このようにして、原画素及びサブピクセル
に対して求められた閾値は、比較部に送られ、サブピク
セル化処理部８０より送られてくる画素値と比較され、
２値化されて出力される。

【００７９】ここで、原画素値からの局所平均値と局所
２乗平均値の直接計算式を示す。局所平均値と局所２乗
平均値を求めることにより、局所分散値や局所標準偏差
値が基本的な算術計算で得られ、これらの線形結合を用
いることによって、例えば、前述の図２の説明で示した
式にしたがって閾値を求めることが出来る。

【００８０】図１３は、原画素値からの局所平均値と局
所２乗平均値の算出方法を説明する図である。最初に記
号を定義する。図１３に原画素を中心とする局所領域を
図示する。簡単のため、注目する原画素の座標を（０、
０）とする。一般の原画素の座標に対する記述は、座標
を平行移動して得られる。サブピクセル化度をｎ（≧
１）と表し、２つの原画素間に新たなサブピクセル画素
がｎ−１個挿入されるものとする。局所領域は、注目す
る原画素を中心とする正方形の領域であるが、局所領域
が含む原画素のうち、注目する原画素から最も離れた原
画素からなる正方形の左上端点（すなわち、左上の原画
素の座標）を（−Ｍ、−Ｍ）とし、１≦Ｍと制約する。
この正方形からはみ出した局所領域の一方向のサブピク
セル化後のサブピクセル数をｒとした。０≦ｒ＜ｎであ
る。座標（ｉ、ｊ）の原画素値をＩ（ｉ、ｊ）と表す。

【００８１】局所領域の一辺の長さをＬとすると、下式
の関係がある。 Ｌ＝２（Ｍ＊ｎ＋ｒ）＋１ （０≦ｒ＜ｎ） すなわち、注目画素を中心として例えば縦方向には、Ｍ
個の原画素があり、原画素間にｎ−１個のサブピクセル
があり、Ｍ個目の原画素の外にはｒ個のサブピクセルが
ある。これが上下２方向にあるので、２（Ｍ＊ｎ＋ｒ）
となり、更に、注目画素１つを加えると、上記式にな
る。

【００８２】Ｌは２ｎよりも大きい奇数である。逆に、
正数ｎと２ｎよりも大きい奇数であるＬが与えられれ
ば、上式を満たすＭとｒが一意に定まる。すなわち、
（Ｌ−１）／２をｎで割って、その商と余りを算出すれ
ば、商がＭに、余りがｒに対応する。

【００８３】以下に、（１）局所領域の境界が原画素で
ある場合（ｒ＝０）と、（２）一般の場合に分けて、局
所平均値と局所２乗平均値の数式を示す。（１）の場合
の式の方が、（２）の場合の式よりも簡単である。下式
の様に表す。

【００８４】局所平均値＝Ｅ（Ｉ） 局所２乗平均値＝Ｅ（Ｉ²） 以下において、Ｃ_i（ｉ＝０、１、２、３、・・・）は
各式における係数である。同じ記号であっても、式によ
って異なる。また、以下の式においては、Ｅ（Ｉ）及び
Ｅ（Ｉ²）の前にＣ₀が掛かっている形に書かれている
が、Ｅ（Ｉ）、Ｅ（Ｉ²）を求める場合には、右辺をＣ₀
で割れば良いことは容易に理解されるであろう。 （１）局所領域の境界が原画素である場合（ｒ＝０の場
合）

【００８５】

【数１】

【００８６】ただし、係数の定義は下式の通りである。

【００８７】

【数２】

【００８８】

【数３】

【００８９】ただし、係数の定義は下式の通りである。

【００９０】

【数４】

【００９１】（２）一般の場合

【００９２】

【数５】

【００９３】ただし、係数の定義は下式の通りである。

【００９４】

【数６】

【００９５】

【数７】

【００９６】

【数８】

【００９７】ただし、係数の定義は下式の通りである。

【００９８】

【数９】

【００９９】なお、上記（２）ではＭが１以上という場
合の式を示したが、Ｍ＝０の場合の式は、（１）の場合
の式から下記（１）〜（３）のようにして得られる。
（１）Ｍを１と置く。（２）ｎをｒと置き換える。
（３）Ｉの値を局所領域の境界値で置き換える。

【０１００】上記各式で求められた画素値の局所領域に
おける平均値と２乗平均値を用いれば、分散値及び標準
偏差値が求められ、閾値を決定する式を構成することが
できる。

【０１０１】図１４は、局所２値化処理部の第６の構成
例を示す図である。本構成は、補間点（サブピクセル）
において、グレースケール画像の原画素点における画素
値とサブピクセル化後の局所閾値の差を補間した値を求
め、該補間値の符号により、該補間点における２値画像
の値を決定する構成である。本構成においては、補間処
理が２度から１度に減るため、高速化できる効果があ
る。特に、サブピクセル化が線形補間の場合、下式から
分かるように、それぞれを補間して比較する場合と同じ
結果が得られる。 ｛原画素値−２値化閾値｝に対するサブピクセル値＝原
画素値に対するサブピクセル化値−２値化閾値のサブピ
クセル化値 すなわち、局所２値化処理部１４０は、画素点閾値計算
部１４１、差計算部１４２、補間部１４３、及び符号判
定部１４４からなっている。

【０１０２】入力されたグレースケール画像データは、
差計算部１４２に直接入力されると共に、画素点閾値計
算部１４１に入力される。画素点閾値計算部１４１で
は、入力グレースケール画像の原画素点に対して、局所
領域内における閾値を局所領域に含まれる原画素値のみ
から算出し、注目する原画素に対する閾値を生成する。
次に、注目する原画素値とこの閾値が差計算部１４２に
入力され、両者の差が取られる。そして、この差を前述
の明度（グレースケール）に対する補間処理と同様に、
補間処理してサブピクセルに対する値を得る。すると、
この値は、既に、サブピクセルの画素値と閾値との差を
求めたものとなっているので、原画素に対する差とサブ
ピクセルに対する差とを符号判定部１４４に入力して、
差の符号を調べる。

【０１０３】例えば、画素値の方が閾値よりも大きい場
合には、上記差は正となり、２値化するときは、その画
素に、例えば、“０”の値を付与する。また、画素値の
方が閾値よりも小さい場合には、上記差は負となり、２
値化するときは、その画素に、例えば、“１”の値を付
与する。このような処理を全ての画素点について行うこ
とによって、２値画像を得る。

【０１０４】図１５は、局所２値化処理部の第７の構成
例を示す図である。本構成においては、グレースケール
画像の画素点において、サブピクセル化後の局所閾値を
求め、グレースケール画像の４画素点における画素値と
局所閾値を入力キー項目とし、４画素点の間の２値画像
を出力データとするテーブルにより、２値画像を求める
構成である。

【０１０５】すなわち、局所２値化処理部１５０は、画
素点閾値計算部１５１、２値画像検索部１５２、及びメ
モリ１５３からなっている。画素点閾値計算部１５１
は、入力されたグレースケール画像の画素値から局所領
域における閾値を各画素毎に求め、２値画像検索部１５
２に与えるものである。２値画像検索部１５２は、画素
点閾値計算部１５１からの閾値と、グレースケール画像
の原画素値とを受け取り、その中から、原画素点によっ
て形成される格子の最小単位である正方形を形成する４
つの原画素を選択する。そして、その４つの原画素に関
する画素値と閾値を下に、メモリ１５３に記録されるテ
ーブルを参照して、２値画像を得る。メモリ１５３に記
録されるテーブルは、４つの原画素の画素値と閾値の組
合せに対して、２値画像データを登録しているものであ
る。２値画像検索部１５２は、このテーブルを入力され
たグレースケール画像の原画素で形成される単位格子
（格子を形成する最小の正方形）全てにわたって２値画
像データを取得し、これらを組み合わせることによって
全体の２値画像を形成し、出力する。

【０１０６】以上においては、可変解像度２値化部の構
成についてのみ説明したが、図５に示すように、まず、
グレースケール画像に対して、描画領域を粗く抽出する
粗抽出処理を行い、抽出された描画領域に対してのみ、
上記した処理を行うことにより処理時間を短縮すること
ができる。

【０１０７】図１６、１７は、本実施形態に従った処理
によるカラー画像あるいはグレースケール画像の２値化
までの処理例を示す図である。図１６は、１５０ｄｐｉ
のカラー画像の処理例を示す。

【０１０８】上段は、カラー画像文書であって、１５０
ｄｐｉの解像度を持っている。実際のカラー画像では、
文字を表す黒の周囲にいろいろな色が表れる。これをグ
レースケール画像に変換したものが、中段の画像であ
る。このグレースケール画像を従来の方法で２値化した
ものが下段の右側にある２値画像である。これによれ
ば、文字の詳細な部分がつぶれてしまい、文字認識を行
うのが困難になっているのが分かる。これに対し、下段
の左側に示したのが、本実施形態の処理を行った場合の
２値画像である。本実施形態においては、サブピクセル
を生成しているので、２値画像は、元のカラー画像の解
像度よりも実質的に高い解像度となっている。従って、
情報量は増えるが、プリンタ等で印刷するのに使用する
のではなくて、データをそのまま使って文字認識に使用
することを考えると、文字がよりはっきりと表されてお
り、より文字認識をしやすくなっている。

【０１０９】図１７は、１５０ｄｐｉ、１００ｄｐｉの
グレースケール画像の処理例を示す。グレースケール画
像が１５０ｄｐｉの場合も、１００ｄｐｉの場合も、従
来の装置によって２値化した場合には、文字がつぶれて
しまって、文字認識を行う場合、誤った認識結果が得ら
れる可能性が高い。これに対し、本実施形態を適用した
場合には、サブピクセルを生成して、明度に関する情報
の欠落を防いだことにより、文字がよりはっきりと認識
でき、文字認識処理を施しても、より高い認識率を期待
することができる。

【０１１０】図１８は、本実施形態をソフトウェアで実
現する場合に必要となるハードウェア構成の説明であ
る。本実施形態では、サブピクセル化や補間処理、ある
いは、閾値の計算等をコンピュータ上で動作するプログ
ラムとして構成することが可能である。この場合、コン
ピュータに要求されるハードウェア構成としては、上記
種類の計算などを行うＣＰＵ１８１や、これらの処理を
するためのプログラムを実行可能なように記憶するＲＡ
Ｍ１８３等がバス１８０によってコミュニケーション可
能なように接続されている必要がある。その他には、Ｃ
ＰＵ１８１の動作に基本的なＢＩＯＳ等を記憶しておく
ＲＯＭ１８２や、当該プログラムを保存しておく記憶装
置１８９等を設ける。記憶装置１８９は、例えば、ハー
ドディスクなどである。その他に、当該プログラムをフ
ロッピーディスクやＣＤ−ＲＯＭ等の可搬記録媒体１８
８に記録して使用する場合には、記録媒体読取装置１８
７が必要となる。記憶装置１８９や可搬記録媒体１８８
から読み出されたプログラムはＲＡＭ１８３にＣＰＵ１
８１が実行可能なように展開されて記憶される。また、
装置を操作するユーザの命令をＣＰＵ１８１に伝達した
り、ＣＰＵ１８１の処理結果をユーザに見せるため、モ
ニタやキーボード、マウス等からなる入出力装置１８６
が設けられる。

【０１１１】更に、当該プログラムは、必ずしもユーザ
の使用するコンピュータ内に存在している必要はなく、
通信インタフェース１８４を介して、プログラム提供者
１８５の有するデータベースからダウンロードして、必
要なときにのみ使用するようにしてもよい。また、プロ
グラム提供者１８５とＬＡＮ等で接続しておき、ネット
ワーク上でプログラムを実行させて、命令の入力と結果
の表示のみをユーザの有するコンピュータ行わせるよう
にしてもよい。

【０１１２】

【発明の効果】以上説明したように、本発明によれば、
高精度かつ高速にカラー文書画像、あるいは、グレース
ケール画像を２値化できるので、高精度かつ高速に認識
できる。

【図面の簡単な説明】

【図１】本実施形態のカラー文書画像認識装置の原理構
成である。

【図２】可変解像度２値化部の構成例を示した図であ
る。

【図３】サブピクセル化処理の原理を説明する図であ
る。

【図４】入力画像であるグレースケール画像の解像度に
対して、どの程度のサブピクセルを生成するかを指定す
るテーブルの例である。

【図５】可変解像度２値化部の別の構成例を示した図で
ある。

【図６】粗抽出処理の場合に使用される大域閾値の設定
の仕方を説明する図である。

【図７】可変解像度２値化部の更に別の構成例を示す図
である。

【図８】局所２値化処理部のより詳細な第１の構成例で
ある。

【図９】局所２値化処理部の詳細な第２の構成例であ
る。

【図１０】局所２値化処理部の第３の構成例を示す図で
ある。

【図１１】局所２値化処理部の第４の構成例を示す図で
ある。

【図１２】局所２値化処理部の第５の構成例を示す図で
ある。

【図１３】原画素値からの局所平均値と局所２乗平均値
の算出方法を説明する図である。

【図１４】局所２値化処理部の第６の構成例を示す図で
ある。

【図１５】局所２値化処理部の第７の構成例を示す図で
ある。

【図１６】本実施形態に従った処理によるカラー画像あ
るいはグレースケール画像の２値化までの処理例を示す
図（その１）である。

【図１７】本実施形態に従った処理によるカラー画像あ
るいはグレースケール画像の２値化までの処理例を示す
図（その２）である。

【図１８】本実施形態をソフトウェアで実現する場合に
必要となるハードウェア構成の説明である。

【図１９】従来のカラー文書画像認識装置の構成とカラ
ーテキスト画像を拡大した様子を示す図である。

【符号の説明】

１０ 文書画像入力部 １１ 明度画像抽出部 １２ 可変解像度２値化部 １３ ２値画像認識部 １４ 認識結果出力部 ２０、２２、７０、７４、８０ サブピクセル化処
理部 ２１ 一定値閾値２値化部 ２３、５１、７２、７５、８１、９０、１００、１１
０、１２０、１４０、１５０ 局所２値化処理部 ５０、７１、７３ 描画領域粗抽出部 ８２ 閾値計算部 ８３、１１８、１２５ 比較部 ９１、１０１、１１１、１４１、１５１ 画素点閾
値計算部 ９２、１０２、１１７、１２４、１４３ 補間部 １１２ 画素点平均値計算部 １１３ 画素点２乗平均値計算部 １１４ 画素点分散値計算部 １１５ 画素点標準偏差値計算部 １１６ 線形結合計算部 １２１ 局所領域原画素境界判定部 １２２ 原画素境界画素点閾値計算部 １２３ 原画素非境界画素点閾値計算部 １４２ 差計算部 １４４ 符号判定部 １５２ ２値画像検索部 １５３ メモリ １７０ 文書画像入力部 １７１ 明度画像抽出部 １７２ 一定閾値２値化部 １７３ ２値画像認識部 １７４ 認識結果出力部 １８０ バス １８１ ＣＰＵ １８２ ＲＯＭ １８３ ＲＡＭ １８４ 通信インタフェース １８５ プログラム提供者 １８６ 入出力装置 １８７ 記録媒体読み取り装置 １８８ 可搬記録媒体 １８９ 記憶装置

Claims (57)

【特許請求の範囲】
1. 【請求項１】入力文書画像が、カラー画像であればグレ
   ースケール画像に変換し、グレースケール画像であれ
   ば、新たにグレースケール画像を出力する画像変換手段
   と、 該グレースケール画像の解像度に応じた、より解像度の
   高い２値画像に変換する可変解像度２値化手段と、 該２値化された画像を認識する手段と、を備えることを
   特徴とする装置。
2. 【請求項２】前記認識手段は、変換もしくは入力された
   ２値画像を認識して電子コード化することを特徴とする
   請求項１に記載の装置。
3. 【請求項３】更に、グレースケール画像の画素値に対す
   る大域閾値により、描画領域を粗く抽出する大局処理を
   行う描画領域粗抽出手段を備え、 該認識手段は、該描画領域粗抽出手段によって抽出され
   た領域の２値画像を認識することを特徴とする請求項１
   に記載の装置。
4. 【請求項４】大域閾値は、画素値の平均、標準偏差、分
   散の線形和を用いることを特徴とする請求項３に記載の
   装置。
5. 【請求項５】前記可変解像度２値化手段は、グレースケ
   ール画像の画素値を補間して画像の画素数を増加させる
   サブピクセル化処理を行い、特定の画素を中心とする局
   所領域内で閾値を設定し、該局所閾値を用いて２値画像
   を求めることを特徴とする請求項１に記載の装置。
6. 【請求項６】該サブピクセル化処理は該グレースケール
   画像の原画素値の線形補間によって行うことを特徴とす
   る請求項５に記載の装置。
7. 【請求項７】該可変解像度２値化手段は、画素を含む局
   所領域における画素値の分布から求めた局所閾値によ
   り、該画素値を２値化して２値画像を求め、局所閾値
   は、画素値の平均、標準偏差、分散の線形和を用いるこ
   とを特徴とする請求項５に記載の装置。
8. 【請求項８】更に、グレースケール画像の画素値に対す
   る大域閾値により、描画領域を粗く抽出する大局処理を
   行う描画領域粗抽出手段を備え、 前記可変解像度２値化手段は、該大局処理によって粗抽
   出された描画領域に対し、グレースケール画像の画素値
   を補間して画像の画素数を増加させるサブピクセル化処
   理を行い、該粗抽出された領域内の画素毎に、局所閾値
   を用いた局所２値化処理を行うことを特徴とする請求項
   ５に記載の装置。
9. 【請求項９】前記可変解像度２値化手段は、入力された
   グレースケール画像全体に対しサブピクセル化を行い、 該描画領域粗抽出手段は、該サブピクセル化されたグレ
   ースケール画像データに対して、描画領域を粗抽出する
   ことを特徴とする請求項３に記載の装置。
10. 【請求項１０】サブピクセル化後の画像点における局所
    閾値を、サブピクセル化のサブピクセルにおける画素値
    を原画素値から求める数式を、局所閾値をサブピクセル
    における画素値から求める数式に代入して得る数式か
    ら、求めることを特徴とする請求項５に記載の装置。
11. 【請求項１１】グレースケール画像の画素点において、
    サブピクセル化後の局所閾値を求め、サブピクセルにお
    ける局所閾値は、グレースケール画像の該画素点におけ
    る局所閾値を補間して求めることを特徴とする請求項５
    に記載の装置。
12. 【請求項１２】グレースケール画像の画素点をサブピク
    セル化したサブピクセルにおける画素値を用いて、グレ
    ースケール画像の画素点における局所閾値を求めること
    を特徴とする請求項１１に記載の装置。
13. 【請求項１３】グレースケール画像の画素点におけるサ
    ブピクセル化後の局所閾値は、原画素値からサブピクセ
    ルにおける画素値を求める数式を、サブピクセルにおけ
    る画素値から局所閾値を求める数式に代入して得る数式
    から、求めることを特徴とする請求項１１に記載の装
    置。
14. 【請求項１４】グレースケール画像の原画素点における
    サブピクセル化後の局所閾値は、原画素値からサブピク
    セルにおける画素値を求める数式を、サブピクセルにお
    ける画素値から画素値の平均、２乗平均を求める数式に
    代入して得る数式から、グレースケール画像の画素点に
    おけるサブピクセル化後の平均、２乗平均を求めた後、
    標準偏差、分散を求め、平均、標準偏差、分散の線形結
    合により求めることを特徴とする請求項５に記載の装
    置。
15. 【請求項１５】局所閾値を求める数式は、原画素を境界
    とする局所領域における局所閾値をサブピクセルにおけ
    る画素値から求める数式であることを特徴とする請求項
    １３に記載の装置。
16. 【請求項１６】局所領域は原画素を境界とし、グレース
    ケール画像の画素点におけるサブピクセル化後の局所閾
    値は、原画素値からサブピクセルにおける画素値を求め
    る数式を、サブピクセルにおける画素値から画素値の平
    均、２乗平均を求める数式に代入して得る数式から、グ
    レースケール画像の画素点におけるサブピクセル化後の
    平均、２乗平均を求めた後、標準偏差、分散を求め、平
    均、標準偏差、分散の線形結合により求めることを特徴
    とする請求項５に記載の装置。
17. 【請求項１７】更に、局所領域の範囲を指定する指定手
    段を有し、 サブピクセル化のサブピクセルの画素数と局所領域の大
    きさを指定データとし、局所領域が原画素を境界とする
    か否かを自動判別することを特徴とする請求項５に記載
    の装置。
18. 【請求項１８】サブピクセルにおいて、グレースケール
    画像の画素点における画素値とサブピクセル化後の局所
    閾値の差を補間した値を求め、該補間値の符号により、
    該サブピクセルにおける２値画像の値を決定することを
    特徴とする請求項１１に記載の装置。
19. 【請求項１９】グレースケール画像の画素点において、
    サブピクセル化後の局所閾値を求め、グレースケール画
    像の４画素点における画素値と局所閾値を入力キー項目
    とし、４画素点の間の２値画像を出力データとするテー
    ブルを更に備え、該テーブルを使用して２値画像を求め
    ることを特徴とする請求項５に記載の装置。
20. 【請求項２０】（ａ）入力文書画像が、カラー画像であ
    ればグレースケール画像に変換し、グレースケール画像
    であれば、新たにグレースケール画像を出力するステッ
    プと、 （ｂ）該グレースケール画像の解像度に応じた、より解
    像度の高い２値画像に変換するステップと、 （ｃ）該２値化された画像を認識するステップと、 を備えることを特徴とする方法。
21. 【請求項２１】前記ステップ（ｃ）は、変換もしくは入
    力された２値画像を認識して電子コード化することを特
    徴とする請求項２０に記載の方法。
22. 【請求項２２】更に、（ｄ）グレースケール画像の画素
    値に対する大域閾値により、描画領域を粗く抽出する大
    局処理を行うステップを備え、 該ステップ（ｃ）は、該ステップ（ｄ）によって抽出さ
    れた領域の２値画像を認識することを特徴とする請求項
    ２０に記載の方法。
23. 【請求項２３】大域閾値は、画素値の平均、標準偏差、
    分散の線形和を用いることを特徴とする請求項２２に記
    載の方法。
24. 【請求項２４】前記ステップ（ｂ）は、グレースケール
    画像の画素値を補間して画像の画素数を増加させるサブ
    ピクセル化処理を行い、特定の画素を中心とする局所領
    域内で閾値を求め、該局所閾値を用いて２値画像を求め
    ることを特徴とする請求項２０に記載の方法。
25. 【請求項２５】該サブピクセル化処理は該グレースケー
    ル画像の原画素値の線形補間によって行うことを特徴と
    する請求項２４に記載の方法。
26. 【請求項２６】該ステップ（ｂ）は、画素を含む局所領
    域における画素値の分布から求めた局所閾値により、該
    画素値を２値化して２値画像を求め、局所閾値は、画素
    値の平均、標準偏差、分散の線形和を用いることを特徴
    とする請求項２０に記載の方法。
27. 【請求項２７】更に、（ｄ）グレースケール画像の画素
    値に対する大域閾値により、描画領域を粗く抽出する大
    局処理を行うステップを備え、 前記ステップ（ｂ）は、該大局処理によって粗抽出され
    た描画領域に対し、グレースケール画像の画素値を補間
    して画像の画素数を増加させるサブピクセル化処理を行
    い、該粗抽出された領域内の画素毎に、局所閾値を用い
    た局所２値化処理を行うことを特徴とする請求項２４に
    記載の方法。
28. 【請求項２８】前記ステップ（ｂ）は、入力されたグレ
    ースケール画像全体に対しサブピクセル化を行い、 前記スイッチ（ｄ）は、該サブピクセル化されたグレー
    スケール画像データに対して、描画領域を粗抽出するこ
    とを特徴とする請求項２２に記載の方法。
29. 【請求項２９】サブピクセル化後の画像点における局所
    閾値を、サブピクセル化のサブピクセルにおける画素値
    を原画素値から求める数式を、局所閾値をサブピクセル
    における画素値から求める数式に代入して得る数式か
    ら、求めることを特徴とする請求項２４に記載の方法。
30. 【請求項３０】グレースケール画像の画素点において、
    サブピクセル化後の局所閾値を求め、サブピクセルにお
    ける局所閾値は、グレースケール画像の該画素点におけ
    る局所閾値を補間して求めることを特徴とする請求項２
    ４に記載の方法。
31. 【請求項３１】グレースケール画像の画素点をサブピク
    セル化したサブピクセルにおける画素値を用いて、グレ
    ースケール画像の画素点における局所閾値を求めること
    を特徴とする請求項３０に記載の方法。
32. 【請求項３２】グレースケール画像の画素点におけるサ
    ブピクセル化後の局所閾値は、原画素値からサブピクセ
    ルにおける画素値を求める数式を、サブピクセルにおけ
    る画素値から局所閾値を求める数式に代入して得る数式
    から、求めることを特徴とする請求項３０に記載の方
    法。
33. 【請求項３３】グレースケール画像の原画素点における
    サブピクセル化後の局所閾値は、原画素値からサブピク
    セルにおける画素値を求める数式を、サブピクセルにお
    ける画素値から画素値の平均、２乗平均を求める数式に
    代入して得る数式から、グレースケール画像の画素点に
    おけるサブピクセル化後の平均、２乗平均を求めた後、
    標準偏差、分散を求め、平均、標準偏差、分散の線形結
    合により求めることを特徴とする請求項２４に記載の方
    法。
34. 【請求項３４】局所閾値を求める数式は、原画素を境界
    とする局所領域における局所閾値をサブピクセルにおけ
    る画素値から求める数式であることを特徴とする請求項
    ３２に記載の方法。
35. 【請求項３５】局所領域は原画素を境界とし、グレース
    ケール画像の画素点におけるサブピクセル化後の局所閾
    値は、原画素値からサブピクセルにおける画素値を求め
    る数式を、サブピクセルにおける画素値から画素値の平
    均、２乗平均を求める数式に代入して得る数式から、グ
    レースケール画像の画素点におけるサブピクセル化後の
    平均、２乗平均を求めた後、標準偏差、分散を求め、平
    均、標準偏差、分散の線形結合により求めることを特徴
    とする請求項２４に記載の方法。
36. 【請求項３６】更に、（ｅ）局所領域の範囲を指定する
    ステップを有し、 サブピクセル化のサブピクセルの画素数と局所領域の大
    きさを指定データとし、局所領域が原画素を境界とする
    か否かを自動判別することを特徴とする請求項２４に記
    載の方法。
37. 【請求項３７】サブピクセルにおいて、グレースケール
    画像の画素点における画素値とサブピクセル化後の局所
    閾値の差を補間した値を求め、該補間値の符号により、
    該サブピクセルにおける２値画像の値を決定することを
    特徴とする請求項３０に記載の方法。
38. 【請求項３８】グレースケール画像の画素点において、
    サブピクセル化後の局所閾値を求め、グレースケール画
    像の４画素点における画素値と局所閾値を入力キー項目
    とし、４画素点の間の２値画像を出力データとするテー
    ブルを更に備え、該テーブルを使用して２値画像を求め
    ることを特徴とする請求項２４に記載の方法。
39. 【請求項３９】コンピュータに、（ａ）入力文書画像
    が、カラー画像であればグレースケール画像に変換し、
    グレースケール画像であれば、新たにグレースケール画
    像を出力するステップと、 （ｂ）該グレースケール画像の解像度に応じた、より解
    像度の高い２値画像に変換するステップと、 （ｃ）該２値化された画像を認識するステップと、 を備える処理を実現させることを特徴とするコンピュー
    タ読み取り可能な記録媒体。
40. 【請求項４０】前記ステップ（ｃ）は、変換もしくは入
    力された２値画像を認識して電子コード化する処理をコ
    ンピュータに実現させることを特徴とする請求項３９に
    記載の記録媒体。
41. 【請求項４１】更に、（ｄ）グレースケール画像の画素
    値に対する大域閾値により、描画領域を粗く抽出する大
    局処理を行うステップを備え、 該ステップ（ｃ）は、該ステップ（ｄ）によって抽出さ
    れた領域の２値画像を認識する処理をコンピュータに実
    現させることを特徴とする請求項３９に記載の記録媒
    体。
42. 【請求項４２】大域閾値は、画素値の平均、標準偏差、
    分散の線形和を用いることを特徴とする請求項４１に記
    載の記録媒体。
43. 【請求項４３】前記ステップ（ｂ）は、グレースケール
    画像の画素値を補間して画像の画素数を増加させるサブ
    ピクセル化処理を行い、特定の画素を中心とする局所領
    域内での閾値を求め、該局所閾値を用いて２値画像を求
    める処理をコンピュータに実現させることを特徴とする
    請求項３９に記載の記録媒体。
44. 【請求項４４】該サブピクセル化処理は該グレースケー
    ル画像の原画素値の線形補間によって行うことを特徴と
    する請求項４３に記載の記録媒体。
45. 【請求項４５】該ステップ（ｂ）は、画素を含む局所領
    域における画素値の分布から求めた局所閾値により、該
    画素値を２値化して２値画像を求め、局所閾値は、画素
    値の平均、標準偏差、分散の線形和を用いることを特徴
    とする請求項３９に記載の記録媒体。
46. 【請求項４６】更に、（ｄ）グレースケール画像の画素
    値に対する大域閾値により、描画領域を粗く抽出する大
    局処理を行うステップを備え、 前記ステップ（ｂ）は、該大局処理によって粗抽出され
    た描画領域に対し、グレースケール画像の画素値を補間
    して画像の画素数を増加させるサブピクセル化処理を行
    い、該粗抽出された領域内の画素毎に、局所閾値を用い
    た局所２値化処理をコンピュータに実現させることを特
    徴とする請求項４３に記載の記録媒体。
47. 【請求項４７】前記ステップ（ｂ）は、入力されたグレ
    ースケール画像全体に対しサブピクセル化を行い、 前記スイッチ（ｄ）は、該サブピクセル化されたグレー
    スケール画像データに対して、描画領域を粗抽出する処
    理をコンピュータに実現させることを特徴とする請求項
    ４１に記載の記録媒体。
48. 【請求項４８】サブピクセル化後の画像点における局所
    閾値を、サブピクセル化のサブピクセルにおける画素値
    を原画素値から求める数式を、局所閾値をサブピクセル
    における画素値から求める数式に代入して得る数式か
    ら、求めることを特徴とする請求項４３に記載の記録媒
    体。
49. 【請求項４９】グレースケール画像の画素点において、
    サブピクセル化後の局所閾値を求め、サブピクセルにお
    ける局所閾値は、グレースケール画像の該画素点におけ
    る局所閾値を補間して求めることを特徴とする請求項４
    ３に記載の記録媒体。
50. 【請求項５０】グレースケール画像の画素点をサブピク
    セル化したサブピクセルにおける画素値を用いて、グレ
    ースケール画像の画素点における局所閾値を求めること
    を特徴とする請求項４９に記載の記録媒体。
51. 【請求項５１】グレースケール画像の画素点におけるサ
    ブピクセル化後の局所閾値は、原画素値からサブピクセ
    ルにおける画素値を求める数式を、サブピクセルにおけ
    る画素値から局所閾値を求める数式に代入して得る数式
    から、求めることを特徴とする請求項４９に記載の記録
    媒体。
52. 【請求項５２】グレースケール画像の原画素点における
    サブピクセル化後の局所閾値は、原画素値からサブピク
    セルにおける画素値を求める数式を、サブピクセルにお
    ける画素値から画素値の平均、２乗平均を求める数式に
    代入して得る数式から、グレースケール画像の画素点に
    おけるサブピクセル化後の平均、２乗平均を求めた後、
    標準偏差、分散を求め、平均、標準偏差、分散の線形結
    合により求めることを特徴とする請求項４３に記載の記
    録媒体。
53. 【請求項５３】局所閾値を求める数式は、原画素を境界
    とする局所領域における局所閾値をサブピクセルにおけ
    る画素値から求める数式であることを特徴とする請求項
    ５１に記載の記録媒体。
54. 【請求項５４】局所領域は原画素を境界とし、グレース
    ケール画像の画素点におけるサブピクセル化後の局所閾
    値は、原画素値からサブピクセルにおける画素値を求め
    る数式を、サブピクセルにおける画素値から画素値の平
    均、２乗平均を求める数式に代入して得る数式から、グ
    レースケール画像の画素点におけるサブピクセル化後の
    平均、２乗平均を求めた後、標準偏差、分散を求め、平
    均、標準偏差、分散の線形結合により求めることを特徴
    とする請求項４３に記載の記録媒体。
55. 【請求項５５】更に、（ｅ）局所領域の範囲を指定する
    ステップを有し、サブピクセル化のサブピクセルの画素
    数と局所領域の大きさを指定データとし、局所領域が原
    画素を境界とするか否かを自動判別する処理をコンピュ
    ータに実現させることを特徴とする請求項４３に記載の
    記録媒体。
56. 【請求項５６】サブピクセルにおいて、グレースケール
    画像の画素点における画素値とサブピクセル化後の局所
    閾値の差を補間した値を求め、該補間値の符号により、
    該サブピクセルにおける２値画像の値を決定することを
    特徴とする請求項４９に記載の記録媒体。
57. 【請求項５７】グレースケール画像の画素点において、
    サブピクセル化後の局所閾値を求め、グレースケール画
    像の４画素点における画素値と局所閾値を入力キー項目
    とし、４画素点の間の２値画像を出力データとするテー
    ブルを更に備え、該テーブルを使用して２値画像を求め
    ることを特徴とする請求項４３に記載の記録媒体。