JPH11338973A - 文書画像補正装置および文書画像補正方法 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、文字画像の回転／鏡像反転の有無を
判別することにより、文書画像の向きを判別して補正す
る文書画像補正装置／方法に関する。従来は、文字方向
判定の文字種の選択等については考慮されていないが、
文字認識の精度が低い文字については文字方向判定の精
度も低くなるという問題点が存在した。 【構成】入力文字画像の中から、漢字などの文字認識の
精度が高い文字を選択的に抽出して、これに対して文字
方向判別を行う。文字選択の条件としては、切出された
文字領域の黒画素率、文字領域の長辺対短辺比、文字領
域の画素（文字）サイズ等に範囲を設定し、切り出され
た文字画像がこれらの条件を満たすかどうかを判断す
る。条件を満たす文字については、文字方向判定を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、イメージスキャナ
などの画像入力装置から入力された画像（特に文書画
像）を、正立した文書画像に補正する文書画像補正装置
または文書画像補正方法に関する。特に、文字が回転・
鏡像反転して入力された文書画像から、文字の回転角度
及び鏡像反転の有無を判別することで、文書の方向を検
出する文書画像補正装置に関する。

【０００２】

【従来の技術】従来より、文書画像を入力するための装
置として、イメージスキャナが利用されている。これま
でのイメージスキャナとしては、据え置き型のいわゆる
フラットベッド型のスキャナが使用されてるが、近年持
ち運びが容易で手動で操作される小型のハンドヘルドス
キャナの開発・製品化が進んでいる。

【０００３】このようなハンドヘルドスキャナでは、ユ
ーザがスキャナを上下左右の任意の方向に移動させるこ
とができるので、文書画像読取の際の操作の自由度が高
いといった特徴がある。しかし、読取を行う（走査す
る）方向によっては、文字がある基準方向に対して回転
して入力されることがある。これは例えば、横書きの文
書を上から読み取ったような場合に発生する。

【０００４】また、文書全体が鏡像反転して入力される
可能性がある。横書きを例にとると、文書は通常左から
右に書かれている。このような文書を右から左にかけて
走査すると、入力される文字は鏡像反転した文字となっ
てしまう。このような鏡像反転は、フラットベッドスキ
ャナ等の据え置き型の装置でも、ＯＨＰシートなどの透
過原稿読取時にシートの裏表を逆にした場合等に発生す
る。

【０００５】ここで、入力された文書画像に対して文字
認識などの処理を施す場合、文字が回転・鏡像反転して
いると文字認識の精度が低くなるため、このようにして
読み取られた文書を正しい向きに直すために、文書画像
入力後に文書画像を正立させるための補正の処理が必要
である。これまで考えられていた文書画像正立の方法に
は、例えば特開平８−２１２２９８号公報や、特開平７
−２８９４５号公報に開示された技術を上げることがで
きる。

【０００６】

【発明が解決しようとする課題】ここで、従来の技術で
は以下のような問題が問題があった。特開平８−２１２
２９８号公報では、入力文字を０°、９０°、１８０
°、２７０°の４方向から文字認識し、自信度と呼ばれ
る文字認識の精度値を求めて、自信度が最も大きい方向
を文書方向として判断する技術が開示されている。しか
し、ここでは鏡像反転した文字の補正については全く考
慮されていない。例えば「本」なる文字はほぼ左右対称
となっているため、逆方向から文字を読み取っても装置
が「本」と認識してしまう可能性が非常に高い。しか
も、自信値なる値は文字の読取方向とは無関係に文字認
識結果から認識の精度を求めるため、逆方向に読みとら
れた文字の方が、順方向から読み取られた文字よりも自
信度が高くなるという可能性を否定することはできな
い。一方、特開平７−２８９４５号では、左右対称の文
字、上下対称の文字、点対称の文字、上下回転させると
別の文字に見えてしまう文字、鏡像反転させると別の文
字に見えてしまう文字などについては、原稿の向きを判
定するためには不適切であり、文字認識の際にこれらの
文字が切りだされていた場合には文字切り出しの処理を
再度行うようにしている。

【０００７】

【課題を解決するための手段】本発明は、特定種別の文
字のみを文書の回転・鏡像反転の判定に用いるために、
文字の切り出しの際に特定の条件に基づいて切りだすべ
き文字を決定することを特徴としている。具体的には、
切りだした領域の縦横比率、黒画素（白画素）比率、画
素サイズといった、文字種別により標準的な値が異なっ
てくる数値を利用して、判定に用いる文字を選択するの
である。

【０００８】より具体的には、本発明は入力する文書画
像から、予め設定された条件を満たす文字画像を選択的
に切りだす文字画像切出部と、前記文字画像切出部で切
り出された文字画像について、文字画像の回転および鏡
像反転の有無を判定する文字方向検出部と、を備えた文
書画像補正装置であることを特徴とする。また、本発明
において、前記設定された条件は、切り出された文字画
像内の画素数に対する黒画素数の比率、切り出された文
字画像領域の長辺と短辺の長さの比率あるいは切り出さ
れた文字画像領域の縦方向あるいは横方向の少なくとも
一方の画素数であることを特徴とする。

【０００９】また、本発明において、前記文字画像切出
部は対称性が高い文字画像が現れた場合当該文字画像の
切出処理を行わないように構成されたことを特徴とす
る。一方、本発明は、入力する文書画像から、予め設定
された条件を満たす文字画像を選択的に切りだす文字画
像切出部と、前記文字画像切出部で切り出された文字画
像に対して、所定の回転角度で回転処理を施すととも
に、当該文字画像を鏡像判定させて前記回転処理を施
し、回転・鏡像反転処理された文字画像を出力する文字
画像変換部と、前記文字画像変換部から出力される文字
画像の各方向のそれぞれについて文字認識処理を行う文
字認識部と、前記文字認識部による文字認識結果に基づ
いて、入力文書画像の方向を判別する文書方向決定部
と、を備えた文書画像補正装置であることを特徴とす
る。

【００１０】また、本発明において、前記文字認識部
は、文字画像変換部より出力される文字画像のそれぞれ
の方向について、文字認識処理の確からしさを示す確信
度情報を出力し、前記文書方向決定部は、前記文字認識
部から出力された文字画像の確信度情報に基づいて入力
文書画像の方向を判別することを特徴とする。また、本
発明において、前記文書方向決定部は、前記文字認識部
から入力する確信度情報のうち、最大の値の確信度情報
を検出し、当該最大確信度に基づいて入力文書画像の方
向を判別することを特徴とする。

【００１１】更に、本発明において、前記文書方向決定
部は、前記文字認識部から入力する確信度情報を所定の
閾値と比較し、文字画像のそれぞれの方向について、い
ずれの確信度情報も前記閾値を超えない場合、当該文字
画像に基づいた文書方向判別を行わないことを特徴とす
る。また、前記文書方向決定部は、前記文字認識部から
入力する確信度情報を所定の閾値と比較し、ある文字画
像について前記閾値を超える確信度情報が所定数以上存
在する場合には、当該文字画像に基づいた文書画像方向
の判別を行わないことを特徴とする。

【００１２】更に、前記文書方向決定部は、複数の文字
画像について文字の方向を検出し、この結果に基づいて
文書画像方向の判別を行うことを特徴とする。また、前
記文書方向決定部は、複数の文字画像について、各文字
方向毎に各文字毎の確信度の平均値を算出し、前記平均
値の値に基づいて文書画像方向を判別することを特徴と
する。

【００１３】更に、前記文書方向決定部は、複数の文字
画像毎の最大確信度を持つ文字方向のうち、最も多数最
大確信度が得られる文字方向を文書画像方向と判断する
ことを特徴とする。また、前記文書方向決定部は、同一
文字方向について最大確信度が所定数以上得られた場
合、当該文字方向を文書画像方向と判断することを特徴
とする。

【００１４】一方、本発明は、入力する文書画像から、
予め設定された条件を満たす文字画像を選択的に切りだ
し、選択的に切り出された文字画像について、文字画像
の回転および鏡像反転の有無を判定する文書画像補正方
法であることを特徴とする。また、入力する文書画像か
ら、予め設定された条件を満たす文字画像を選択的に切
りだし、前記選択的に切り出された文字画像に対して、
所定の回転角度で回転処理を施すとともに、当該文字画
像を鏡像判定させて前記回転処理を施し、回転・鏡像反
転処理された文字画像を出力し、前記出力された文字画
像の各方向のそれぞれについて文字認識処理を行い、前
記文字認識結果に基づいて、入力文書画像の方向を判別
する文書画像補正方法であることを特徴とする。

【００１５】また、本発明は、入力する文書画像から、
予め設定された条件を満たす文字画像を選択的に切りだ
すステップと、選択的に切り出された文字画像につい
て、文字画像の回転および鏡像反転の有無を判定するス
テップとを有する文書画像補正プログラムを格納した情
報記録媒体であることを特徴とする。また、本発明は、
入力する文書画像から、予め設定された条件を満たす文
字画像を選択的に切りだすステップと、選択的に切り出
された文字画像に対して、所定の回転角度で回転処理を
施すとともに、当該文字画像を鏡像判定させて前記回転
処理を施し、回転・鏡像反転処理された文字画像を出力
するステップと、前記出力される文字画像の各方向のそ
れぞれについて文字認識処理を行うステップと、前記文
字認識結果に基づいて、入力文書画像の方向を判別する
ステップとを有する文書画像補正プログラムを格納した
情報記録媒体であることを特徴とする。

【００１６】

【実施の形態】図１は、本発明の一実施形態による文書
画像補正装置の要部を示したブロック図である。図にお
いて、３０１は文書画像格納部であり、図示左側に接続
される入力装置（スキャナ等）から入力された文書画像
を一時的に格納するためのものである。また、３０２は
文書方向検出部であり、入力された文書の回転・鏡像反
転方向を検出するものである。更に、３０３は画像補正
部は、文書方向検出部３０２により検出された文書方向
に基づいて、入力された文書画像の正立処理を行うもの
である。これによって、画像補正部３０３からは、正立
補正された文書画像が出力されることとなる。

【００１７】図２は、スキャン入力された文字画像の例
である。（１）〜（８）はいずれも「鏡」なる文字を読
み取った場合の例を図示するものである。ここでは、正
立画像に対して０°、９０°、１８０°、２７０°回転
された文字が、鏡像反転されたケースを含めて８方向分
図示されている。本実施形態では、この８方向について
文字認識処理を行い、これに基づいて文字の回転方向・
鏡像反転の有無を判別する。

【００１８】ここで、文字の種類によっては回転・鏡像
反転の判別が行いやすいものと、行いにくいものとが存
在する。これはすなわち、文字認識の認識率の大小に関
わってくる。例えば、ひらがなやカタカナといった文字
種は文字認識率が低く、漢字などは逆に文字認識率が高
くなる。文書の回転・鏡像反転の有無を判別しようとし
ても、かな文字を用いて判別するとなると文字認識率自
体が低いために、結果として方向検出の精度は低下す
る。そこで、本実施形態では認識率が高い文字種（漢字
等）を文書の中から選びだして、この選びだされた文字
を用いて回転・鏡像反転検出を行うのである。

【００１９】図３は、漢字、ひらがな、カタカナ、英数
字、記号といった文字種毎に、切りだされた文字領域内
の黒画素率と長辺対短辺比、更に確信度がどのような傾
向を示すのかを示した図である。図３に図示されたそれ
ぞれの数値は、各文字種毎の平均値を示している。ここ
で、黒画素率とは、読んで字の如く文字領域内の画素に
対する黒画素の割合を示している。また、長辺対短辺比
は、切りだされた文字領域の長辺の長さを短辺の長さで
割った値を示している。図の最右端の確信度とは、文字
認識の確からしさを示すものであり、数値が高いほど文
字の認識率が高いことを示している。

【００２０】図３から明らかな通り、図示された５文字
種の中では、漢字が最も確信度が高く、従って文字認識
率が高いことが判る。他の文字種については、漢字と比
較すると相対的に確信度は低い。このことからも、回転
・鏡像反転有無の判別のためには、漢字を用いることが
最も望ましいことが判る。ここで、図３に図示された値
は平均値であるので、おおよそ半数の漢字は黒画素率が
２７％を超える。また、おおよそ半数の漢字は長辺対短
辺比が１．０４以下となる。つまり、黒画素率が２７％
以上であり、且つ長辺対短辺比が１．０４以下という条
件を満たす文字を選びだすと、漢字のうち半数を選びだ
すことが可能なのである。

【００２１】一方、他の文字種について考える。例えば
ひらがなの場合、黒画素率の平均値は１６％であるが、
これは漢字の黒画素率の平均値２７％と比較すると低い
数値である。そして、この値は平均値であるから、ひら
がなのうち少なくとも半数が黒画素率１６％以下である
ことが判る。一方、黒画素率が１６％を超えるひらがな
も半数存在するが、フォント種類等にもよるとはいえ、
ひらがなの性質上黒画素率が２７％を超える可能性は非
常に低い、実質的には０と考えることができる。同様な
ことは、カタカナについても言える。従って、黒画素率
２７％を超えるか否かによって、漢字の半数を選択する
ことができ、またかな文字よりも選択の候補となる文字
を多くすることも可能なのである。

【００２２】また、英数字や記号についてはいずれも黒
画素率の平均値が２７％に近い。読取時の誤差を考えれ
ば、黒画素率のみから両者の切りわけを行うことは難し
いことが予想される。しかし、ほぼ真四角な文字が多い
漢字と比較すると、英数字や各種記号は縦長となる傾向
が非常に強い。これは図３の長辺対短辺比に数値が示さ
れる通りである。そして、長辺対短辺比が１．０４を下
回るケースは、英数字等については非常に低いと考える
ことができるのである。そこで、長辺対短辺比を加える
ことで、漢字が半数選択されるのに対し、英数字や記号
などは選択される数が少なくなる。

【００２３】また、文字の切り出し処理の際に、複数の
文字を１個の文字画像と誤認して切りだしたり、逆に一
つの漢字の部分（辺と造り等）をそれぞれ別の文字画像
と誤認して切りだしてしまう可能性がある。このような
ケースでは、長辺と短辺との比率が通常の漢字とは異な
ることが予想される。そこで、これらの誤認された文字
を除外するためにも、長辺対短辺比が利用される。

【００２４】このように、図３に例示される条件に基づ
いて、各文字毎に選択するか否かを判別すれば、漢字を
効率的に抽出することができる。図４は、ある文章の一
部について、切り出しされた文字毎の黒画素率、長辺対
短辺比、画素サイズの値と、文字選択のための条件を示
した図面である。文字選択の条件は、いずれも誤差を見
込んで、黒画素率を２５％以上６０％以下、長辺対短辺
比を１．１０以下としている。また、切りだされた領域
の画素サイズを３０×３０画素以上と定めている。ここ
で、文書に用いられる文字種が明朝体、読取解像度が４
００ｄｐｉ、文字サイズは６ポイントとする。なお、図
示された各種の数値は一例に過ぎない。

【００２５】ここで、文字サイズを３０×３０画素以上
と定めている理由は、文字認識の精度に文字サイズが影
響を及ぼすためである。一般的に言って、あまりにも小
さい文字の場合には、文字認識の精度が低下する可能性
がある。本実施形態では文字認識の精度が高いと予想さ
れる漢字を選びだすようにしているが、認識率が低い、
文字サイズの小さな文字を選択することは得策ではな
い。

【００２６】一般的な文書では、経験上、６ポイントか
ら２０ポイントの文字が使用される頻度が高い。そこ
で、６ポイント以上の文字を検出するようにすると、非
常に有利であることも判る。本実施形態の例では、３０
×３０画素は６ポイントに相当している。これは、文字
サイズ＝ポイント数×解像度÷７２で求めているからで
ある。文字サイズを６ポイント、解像度を４００ｄｐｉ
とすると、６×４００÷７２＝３３．３３３．．．とな
り、ほぼ３０×３０画素と考えることができる。

【００２７】なお、図４のケースでは特に画素サイズの
上限は設定していないが、図面の一部が非常に大きな文
字として切りだされる可能性も否定はできない。このよ
うな場合、切りだされた「文字」に対しては文字認識は
できないため、文字サイズに対して上限を設定し、この
ように図形が文字として切りだされた場合にこれらを選
択しないようにすることも可能である。上記した通り、
一般的には２０ポイントの文字が文書中に使用される文
字の上限と考えることができるため、文字サイズの上限
値に対しては２０ポイント相当の画素数を設定すればよ
い。

【００２８】また、スキャナによって読取の解像度が異
なる場合もあり、スキャナ種類によっては一台で複数通
りの解像度を設定可能な装置もある。このような場合、
同じポイント数の文字を読み取ったとしても、文字領域
内の画素サイズが大きく変化する。単純に言えば、解像
度が２倍になると文字画像の縦方向・横方向の画素数も
２倍となる。そのため、スキャナの解像度に応じて切り
出しを行う文字画像の大きさを変えることが重要となっ
てくる。

【００２９】スキャナを用いて読み取る場合、事前に読
取解像度が設定されるため、解像度に応じた文字画像の
大きさ変更の設定も、この読取解像度を利用することが
可能である。画素サイズは、文字の大きさと解像度から
算出することができるため、読取のための解像度が設定
された後に、文字の大きさと設定された解像度とから画
素サイズの上限／下限を算出すればよい。また、予めテ
ーブルの形式で解像度・文字の大きさと画素サイズとの
対応関係を装置内に設定しておけば、画素サイズをテー
ブルから読みだして設定することもできる。

【００３０】ここで、文書の中には一般的な文字以外
に、各種記号や図形などが存在する。ワードプロセッサ
等でも、黒塗りの四角や丸等の記号はよく使用されてい
るし、写真や図面が文書上に存在することもある。ま
た、印刷等の事情により、文字が黒くつぶれているケー
スも散見される。このようなものについては、文字認識
を行ったとしても方向の検出は不可能であるか、非常に
困難になることが考えられる。

【００３１】これらの記号やつぶれた文字については、
通常の文字と比較して黒画素率が非常に高くなっている
ものが多く、これらの文字を選びださないようにするこ
とも非常に重要となる。そこで、本実施形態では、黒画
素率に下限値のみではなく上限値も設定している。これ
によって、あまりにも黒すぎる「文字」を選択対象から
除外することができるのである。長辺対短辺率、画素サ
イズ、黒画素率の下限といった条件のみを用いている場
合には、これらの「文字」は上記した条件をクリアして
しまう可能性があるため、黒画素率の上限を設定するこ
とは非常に有効なことである。

【００３２】なお、文書画像の全体的な濃さにはばらつ
きがあり、全体的に薄い文書画像も、全体的に濃い文書
画像も存在する。このような文書画像に対しても黒画素
率の範囲を図４のものと同じに設定しておくと、以下の
ような問題が生じる可能性がある。全体的に文書画像が
濃い場合、図３に図示される各文字種毎の黒画素率の平
均値が全体的に高くなることが予測される。ここで、図
４の場合には黒画素率を２５％以上としているが、文書
画像の濃さによってはこの範囲内にひらがな等が入って
くる確率も高くなる。従って、この場合には文字方向判
別には適さないひらがな等が多く選択されてしまう問題
が起こる。

【００３３】一方、文書画像が全体的に薄い場合には、
図３に図示される各文字種毎の黒画素率の平均値が全体
的に低くなることが予測される。すると、図４の黒画素
率の範囲にひらがな等が含まれる可能性は低くなるもの
の、この範囲内に入ってくる漢字の数を少なくなること
が予想される。従って、この場合には文字方向の判別材
料が少なくなる。

【００３４】そこで、このようなケースに対処するため
に、黒画素率の範囲を動的に可変させる。文書画像が全
体的に濃い場合には、図４に図示された黒画素率を例え
ば２５％から２８％程度に引き上げる。逆に、文書画像
が全体的に薄い場合には、図４に図示された黒画素率を
例えば２５％から２２％に引き下げる。なお、ここでは
黒画素率の上限値は特にシフトさせていない。文字の選
択には、あまり影響がないと考えられるためである。

【００３５】図４に戻り、図示された例では「富」と
「通」が上記した３つの条件をクリアしている。そのた
め、文字の回転・鏡像反転を判別するための文字とし
て、これらの文字が選択される。ここで、本実施形態で
は漢字の全てが選択されるわけではなく、漢字以外が全
く選択される可能性がないわけでもない。上記した黒画
素率や長辺対短辺比の条件を満たさない漢字も、半数近
く存在するからである。図４の例では、「士」の字は黒
画素比率が低い。このような漢字は文字認識率が低くな
ることが予想されるため、漢字ではあるがここでは選択
されていない。また、文書先頭の「月」は長辺の長さが
短辺に対して相対的に長いため、英数字等である可能性
が残る。そのため、図４のケースでは「月」も選択され
ない。

【００３６】しかし、全体的な傾向を考えれば、確信度
が高い漢字が選択される率は他の文字種が選択される率
よりも高くなるので、本実施形態の目的は達成できるの
である。図５は、「通」の字を鏡像反転されたものもふ
くめて８方向で読み取った場合の、確信度の例を示した
図面である。ここで、入力された時点では図示（ａ）の
状態で入力されたものとする。そして、入力された文字
を０°、９０°、１８０°、２７０°回転させた画像
と、入力文字を鏡像反転させ且つ０°、９０°、１８０
°、２７０°回転させた画像とを、それぞれ文字認識
し、その結果得られる確信度を算出する。確信度は、文
字認識される際に、辞書に格納された文字と入力文字と
がどの程度確からしいかを判定することで求められる。
８方向についての確信度は、それぞれの文字の左側に記
載されている通りである。この８通りを比較すると、
（ｆ）の場合が最も確信度が高いため（９９２）に、
（ｆ）の文字が正しい文字方向であると判断することが
できる。そして、この判定された文字方向に従って、文
書全体の正立の処理を行う。

【００３７】一方、図６は同様な処理を「富」の字に対
して施した例を図示する図面である。文字が入力された
条件等は全く同じであるため、図６の場合にも本来であ
れば（ｆ）の状態が正しい方向である、と判断されるべ
きである。しかし、「富」の字は左右がほぼ対称である
ため、鏡像文字となっていても文字単位では文字認識は
十分可能である。従って、図６の（ｂ）の方が正しい向
きであると判断される可能性がある。こうなってしまう
と、（ｂ）と（ｆ）とのどちらが正しいかを判定できる
材料は確信度のみである。図６の場合には（ｂ）の状態
の方が（ｆ）の状態よりも確信度が「１」だけ高いの
で、文字が鏡像反転しているにも関わらず（ｂ）が正し
い文字方向であると判断されてしまうことになる。

【００３８】このような問題が発生する可能性を排除す
るためには、入力された文字が対称な文字であるなど、
方向判定に適していない文字であるか否かを判断する。
具体的な方法としては、以下のような手順を上げること
ができる。第一に、切りだされた文字領域の中央部分で
上下あるいは左右に２分割する。図６の例で言えば、
「富」の字を左右に２分割する。そして、分割された一
方の画像と、他方を鏡像反転した画像との間で、画素毎
の相関を求める。両者の相関が大な場合には、その文字
は左右（あるいは上下）に対称であると判断し、文書の
回転・鏡像反転を判断するための材料としては使用しな
いようにする。

【００３９】なお、この他の方法としては、左右方向、
上下方向など、文字自体がある基準線（点）で対称とな
っている文字や、回転・鏡像反転の結果他の文字との区
別が付かなくなる文字については、予めテーブルの形式
で設定しておくことも可能である。そして、文字の回転
・鏡像反転を判定する際に、対称となっている文字がテ
ーブルに設定されているか否かを判断し、設定されてい
る場合には回転判定には使用しないようにする。各方向
について文字画像を文字認識した結果得られた確信度を
調べると、いずれの方向についても同じ程度に確信度が
低いケースがでてくる。これは、いずれの方向について
も文字認識の確からしさが低いことを示すため、文字認
識に失敗しているものと考えることができる。

【００４０】このような文字画像については、文字方向
判断の基準として使用しない方が望ましい。そのため、
文字認識が正しくできたと判別するための確信度の閾値
を予め設定しておく。そして、各方向について算出され
た確信度をこの閾値と比較して、全ての方向について確
信度がこの閾値に満たない場合には、文字認識に失敗し
ているためにこの文字画像に基づいた文字方向検出を行
わないようにする。これによって、文字方向検出の精度
を向上させることが可能となる。また、各方向について
確信度を算出した結果、複数の方向に対して高い確信度
を示すケースがある。この場合、図６のように鏡像反転
したケースや、全く異なる文字として認識されてしまっ
たケースを想定することができる。そのため、正しく文
字認識ができたと判別するための閾値を設定するが、一
つの文字画像についてこの閾値を超える確信度を持つ方
向が２個以上存在する場合には、何らかの文字認識誤り
があったものと判断する。そして、この文字については
文字方向の検出を行わない。

【００４１】ここで、文字方向を変換しながらの文字認
識は、各方向について並行に処理されることもあるだろ
うが、一般的には順次文字認識の処理が行われるケース
が大半を占めることになるであろう。この場合、それぞ
れの文字方向について文字認識を行い、閾値以上の確信
度が２回得られた時点で方向検出の処理を終了するよう
にすると、それ以降の文字認識の処理を行う必要がな
い。つまり、第一の方向で確信度が閾値を超え、続く第
二の方向でも確信度が閾値を超えるような場合、方向検
出の処理を終了してしまえばその他の６方向については
文字認識を行う必要がなくなる。文字認識には比較的時
間を要するため、このような対処は処理の高速・効率化
に非常に効果的となる。ある一つの文字のみに着目し
て、文字方向を判別するようにしていると、その文字の
方向を誤って判別してしまった場合には文書画像を間違
った方向に補正してしまう可能性がある。

【００４２】このため、複数の文字に対して文字方向の
検出を行い、その結果に基づいて文書画像の補正を行う
ことが望ましい。そのための一つの方法として、Ｎ個の
文字について、文字方向毎に確信度を算出し、各方向毎
に確信度の平均値を算出し、この平均値が最も高い方向
が正しい文字方向である、と判断するものを上げること
ができる。このような対策を取ることで、単一文字のみ
に基づいて判断する場合よりも、文字方向検出の精度を
向上させることができる。

【００４３】他の方法として、Ｎ個の文字について、そ
れぞれ文字方向を独立して検出し、Ｎ個の文字の中で最
も多い文字方向を正しい文書方向であると判断する方法
も上げれらる。また、文書の性質として、同じ文字方向
の文字が連続する場合には、その文字方向は正しいもの
であると推測することができる。そのため、所定数の文
字について、連続して同一文字方向であることが検出さ
れた場合には、その文字方向を正しい文字方向であると
判断する。

【００４４】この他にも多数方法はあるであろうが、複
数の文字を用いて文書方向を検出することは、非常に有
効な方法である。文字画像から方向検出ができない場
合、そのままでは文書の正立補正ができなくなる可能性
がある。この場合、予め装置に文書方向を設定しておく
ことができる。そして、文字画像に基づいた方向検出が
できない場合、予め設定された文書方向により文書方向
を決定し、文書の正立補正を行うことができる。

【００４５】ここで、予め設定しておく文書方向は、最
もスキャナを用いて文書をスキャンする頻度が最も高い
方向を設定しておくとよい。この場合、仮に文字に基づ
いた文書方向が検出できなくても、文書画像を正立像に
補正できる可能性は非常に高くなる。図７は、図１に図
示された文書方向検出部の内部を、更に詳細に図示した
ブロック図である。図において、１０１は文字画像切り
出し部、１０２は文字画像選択部、１０３は文字方向検
出部、１０４は文書方向決定部である。

【００４６】また、図８は図７に図示された文書方向検
出部内で実行される処理の手順を図示したフローチャー
トである。以下、これらの図面を用いて、文書方向検出
部の動作を説明する。文字画像切り出し部１０１は、入
力する文書画像のなかから文字画像を切りだす機能を持
つ。文字画像の切り出しは、外部からの文字画像切り出
し指示により実行される。文字画像切り出し部１０１に
より切りだされた文字画像は、文字画像選択部１０２に
入力する。そして、切りだされた文字画像が予め設定さ
れた選択条件（図４に図示されたような条件である）を
満たすか否かを判別し、条件を満たすと判別された文字
画像を選択して出力する。また、文字画像選択部１０２
は、入力された文字画像が設定された条件を満たさない
場合、次の文字画像の切り出しを文字画像切り出し部１
０１に対して指示する。

【００４７】文字方向検出部１０３は、文字画像選択部
１０２により選択された文字画像の文字方向を検出する
ものであり、具体的には入力した文字画像の回転角度お
よび鏡像反転の有無を判別し、これに基づいて文字方向
を検出する。また、文字方向検出部１０３は、方向検出
結果を計数しており、予め定められた個数の文字方向検
出結果が得られるまでは、文字画像切り出し部１０１に
対して文字画像の切り出しを指示する。

【００４８】そして、文字方向決定部１０４により、入
力された文字画像の文字方向が決定される。図９は、図
７に図示された文字画像選択部１０２の内部を更に詳細
に図示した図面である。また、図１０は文書画像選択部
１０２の内部における処理手順を図示したフローチャー
トである。以下、これらの図面を用いて文字画像選択部
１０２の動作を説明する。

【００４９】文字画像切り出し部１０１により切りださ
れた文字画像は、黒画素率検出部１０５、長辺対短辺比
検出部１０６、画像サイズ検出部１０７、文字画像出力
部１０９のそれぞれに並行して入力する。黒画素率検出
部１０５は、入力した文字画像の黒画素率を検出し、そ
の検出結果を出力する。長辺対短辺比検出部１０６は、
入力した文字画像の長辺対短辺比を検出し、その結果を
出力する。また、画像サイズ検出部１０７は、入力した
文字画像の画素サイズを検出し、その結果を出力する。
これら各部の検出結果は、選択判定部１０８に入力され
る。選択判定部１０８は、各部から入力した検出結果、
すなわち黒画素率、長辺対短辺比、画素サイズが予め設
定された条件を満たしているか否かを判定する。これら
の条件のうち一つでも条件を満たさない場合には、当該
入力文字は方向検出に適さない文字であると判断される
ため、その文字画像は選択しない。そして、文字画像切
り出し部１０に次の文字画像の切り出しを指示する。

【００５０】一方、文字画像が各条件を満たす場合に
は、選択判定部１０８は文字画像出力部１０９に指示を
だす。文字画像出力部１０９は、選択判定部１０８から
の指示に基づいて、入力した選択文字画像を出力する。
図１１は、図７に図示された文字方向検出部１０３の内
部を更に詳細に図示したブロック図である。また、図１
２は文字方向検出部１０３の内部で実行される処理を図
示したフローチャートである。以下、これらの図面を用
いて文字方向検出部１０３の動作を説明する。

【００５１】文書方向選択部１０２から出力された文字
画像は、文字画像格納部２０１に入力し、一時的に格納
される。文字画像変換部２０２は、文字画像格納部２０
１に入力した文字画像を受けて、９０°、１８０°、２
７０°の回転処理と、鏡像反転処理とを入力した文字画
像に対して行う。文字方向が変換された文字画像は、再
び文字画像格納部２０１に送られ、ここに格納される。

【００５２】文字画像格納部２０１に入力した文字画像
は続いて、文字認識部２０３に入力する。文字認識部２
０３は一般的に知られている手法により文字認識処理を
行って、各方向毎に文字認識の結果得られる候補文字と
その確信度を、文字方向決定部２０４に出力する。ここ
で、文字認識部２０３における文字認識処理と、文字画
像変換部２０２における文字画像方向の変換処理とのタ
イミングについて説明する。

【００５３】文字画像選択部１０２から文字画像が入力
し、文字画像格納部２０１に文字画像が格納されると、
文字画像変換部２０２による文字画像の方向変換を行う
前に、文字認識部２０３で入力文字画像の認識を行う。
第一番目の文字認識が終了すると、文字画像変換部２０
２による一番目の文字方向変換（例えば９０°回転）を
実行し、この文字方向変換された文字に対して第二番目
の文字認識を、文字認識部２０３が行う。続いて、文字
画像変換部２０２が第二番目の文字方向変換を行い（１
８０°）、第三番目の文字認識が行われる。

【００５４】このように、文字認識の処理は、文字方向
変換の処理が一回行われる毎に実行されることとなる。
文字認識部２０３からの出力は文字方向決定部２０４に
入力する。文字方向決定部２０４は、文字認識部２０３
からの出力を受信する毎に、文字画像変換部２０２に対
して文字画像方向の変換を行うように順次指示を行う。
また、文字認識部２０３から候補文字と確信度を受け、
これらが所定の条件を満たすか否かを判断する。候補文
字・確信度が所定の条件を満たす場合には、これらの候
補文字・確信度とともに、その候補文字・確信度が得ら
れた文字方向の変換の方法に基づいて文字画像の方向を
決定して、出力する。

【００５５】なお、いずれの方向に文字方向を変換して
も確信度等が所定の条件を満たさない場合、文字方向決
定部２０４は文字画像切り出し部１０１に対して次の文
字画像の切り出しを指示する。図１３は図７に図示され
た文字方向決定部１０４の内部を更に詳細に図示した図
面である。また、図１４は文字方向決定部１０４の内部
で実行される処理を図示したフローチャートである。以
下、これらの図面を用いて文字方向決定図１０４の動作
を説明する。

【００５６】文字方向検出部１０３から出力された確信
度は、最大確信度検出部２０５と確信度比較部２０６と
に並行して入力する。また、文字方向検出部１０３から
出力された候補文字は、文字比較部２０８に入力する。
更に、文字方向検出部１０３から出力された変換方向に
関する情報は、検出結果判定部２０９に入力する。ま
ず、最大確信度検出部２０５は、入力する特定の文字画
像について、各方向の確信度を受ける。そして，その中
から最大の確信度を検出し、これを検出結果判定部２０
９に対して出力する。一方、確信度比較部２０６の内部
には予め閾値が設定されており、入力する確信度とこの
閾値とを逐次比較する。そして、閾値を超える確信度が
現れると、この個数を計数する。一つの文字画像につい
て、閾値超える確信度が所定値、例えば２個以上になっ
た時点で、確信度比較部２０６は検出結果判定部２０９
に対してエラー通知を行う。

【００５７】検出結果判定部２０９は、最大確信度検出
部２０５からの最大確信度と、確信度比較部２０６から
のエラー通知を受信する。そして、確信度比較部２０６
からエラー通知を受け取った場合、検出結果判定部２０
９は文字方向決定の処理途中であっても、その文字画像
については方向決定処理を終了させ、次の文字画像切り
出しを文字画像切り出し部に対して指示する。

【００５８】一方、エラー通知を受けない場合には、検
出結果判定部２０９は文字方向検出部１０３に対して文
字画像の変換を指示する。１個の文字に対して全ての方
向についての変換指示を行った後、判定結果検出部２０
９は最大確信度２０５で検出された最大確信度と所定の
閾値とを比較する。最大確信度が所定値以下である場合
には、その文字画像については方向決定を行わない。そ
して、文字画像切り出し部１０１に対して、次の文字画
像の切り出しを指示する。

【００５９】最大確信度が閾値を超える場合には、検出
結果判定部２０９は最大確信度が得られた文字画像の方
向を、文字比較部２０８に対して指示する。文字比較部
２０８は、指定された方向の候補文字を選びだし、文字
テーブル２０７に格納された文字とを比較、一致する文
字が存在するか否かを判定する。文字テーブル２０７に
は、例えば左右対称などの理由により文字方向検出を行
わない文字の一覧が格納されている。そして、候補文字
と文字テーブル２０７に格納された文字とを比較するこ
とによって、候補文字が文字方向検出に利用できる文字
か否かを、文字比較部２０８は判定する。

【００６０】一致文字が文字テーブル２０７に存在する
場合、文字比較部２０８はその旨を検出結果判定部２０
９に通知する。これを受けて、検出結果判定部は当該文
字画像についての方向決定を行わないと判断し、次文字
画像の切り出しを文字画像切り出し部１０１に対して指
示する。一方、文字テーブル２０７に候補文字と一致す
る文字が存在しない場合、文字比較部２０８はその旨を
検出結果判定部２０９に通知する。これを受けて、検出
結果判定部２０９は当該文字の文字方向と最大確信度と
を出力する。

【００６１】出力された文字方向と最大確信度とは、文
書画像の正立処理を行うために利用される。

【００６２】

【発明の効果】このように、本発明によれば、文字方向
の判別に当たって、文字認識の認識率が高い文字種（漢
字等）を選択的に切り出して、これに基づき文字方向を
判別している。このため、文字方向判別の精度が従来の
技術よりも向上するという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施形態による文書画像補正装置。

【図２】文字画像の入力例。

【図３】文字種毎の文字画像の性質を示す図面。

【図４】文字画像選択処理の一例を示す図面。

【図５】文字画像の方向検出例その１。

【図６】文字画像の方向検出例その２。

【図７】文書方向検出部の詳細ブロック図。

【図８】文書方向検出部で実行される処理を示したフロ
ーチャート。

【図９】文字画像選択部の詳細ブロック図。

【図１０】文書方向検出部で実行される処理を示したフ
ローチャート。

【図１１】文字方向検出部の詳細ブロック図。

【図１２】文字方向検出部で実行される処理を示したフ
ローチャート。

【図１３】文字方向決定部の詳細ブロック図。

【図１４】文字方向決定部で実行される処理を示したフ
ローチャート。

Claims (19)

【特許請求の範囲】
1. 【請求項１】 入力する文書画像から、予め設定された
   条件を満たす文字画像を選択的に切りだす文字画像切出
   部と、 前記文字画像切出部で切り出された文字画像について、
   文字画像の回転および鏡像反転の有無を判定する文字方
   向検出部と、を備えたことを特徴とする、文書画像補正
   装置。
2. 【請求項２】 前記設定された条件は、切り出された文
   字画像内の画素数に対する黒画素数の比率であることを
   特徴とする、請求項１に記載の文書画像補正装置。
3. 【請求項３】 前記設定された条件は、切り出された文
   字画像領域の長辺と短辺の長さの比率であることを特徴
   とする、請求項１に記載の文書画像補正装置。
4. 【請求項４】 前記設定された条件は、切り出された文
   字画像領域の縦方向あるいは横方向の少なくとも一方の
   画素数であることを特徴とする、請求項１に記載の文書
   画像補正装置。
5. 【請求項５】 前記文書画像補正装置において、 前記文字画像切出部は、対称性が高い文字画像が現れた
   場合、当該文字画像の切出処理を行わないように構成さ
   れたことを特徴とする、請求項１に記載の文書画像補正
   装置。
6. 【請求項６】 前記文書画像補正装置において、 前記文字方向検出部は、切り出された文字画像の文字認
   識を行い、文字認識の結果得られた候補文字が予め設定
   された文字と一致する場合には、当該文字画像の方向検
   出を行わないことを特徴とする、請求項１に記載の文書
   画像補正装置。
7. 【請求項７】 入力する文書画像から、予め設定された
   条件を満たす文字画像を選択的に切りだす文字画像切出
   部と、 前記文字画像切出部で切り出された文字画像に対して、
   所定の回転角度で回転処理を施すとともに、当該文字画
   像を鏡像判定させて前記回転処理を施し、回転・鏡像反
   転処理された文字画像を出力する文字画像変換部と、 前記文字画像変換部から出力される文字画像の各方向の
   それぞれについて文字認識処理を行う文字認識部と、 前記文字認識部による文字認識結果に基づいて、入力文
   書画像の方向を判別する文書方向決定部と、を備えたこ
   とを特徴とする、文書画像補正装置。
8. 【請求項８】 前記文書画像補正装置において、 前記文字認識部は、文字画像変換部より出力される文字
   画像のそれぞれの方向について、文字認識処理の確から
   しさを示す確信度情報を出力し、 前記文書方向決定部は、前記文字認識部から出力された
   文字画像の確信度情報に基づいて入力文書画像の方向を
   判別することを特徴とする、請求項７に記載の文書画像
   補正装置。
9. 【請求項９】 前記文書画像補正装置において、 前記文書方向決定部は、前記文字認識部から入力する確
   信度情報のうち、最大の値の確信度情報を検出し、当該
   最大確信度に基づいて入力文書画像の方向を判別するこ
   とを特徴とする、請求項８に記載の文書画像補正装置。
10. 【請求項１０】 前記文書画像補正装置において、 前記文書方向決定部は、前記文字認識部から入力する確
    信度情報を所定の閾値と比較し、文字画像のそれぞれの
    方向について、いずれの確信度情報も前記閾値を超えな
    い場合、当該文字画像に基づいた文書方向判別を行わな
    いことを特徴とする請求項８または９に記載の文書画像
    補正装置。
11. 【請求項１１】 前記文書画像補正装置において、 前記文書方向決定部は、前記文字認識部から入力する確
    信度情報を所定の閾値と比較し、ある文字画像について
    前記閾値を超える確信度情報が所定数以上存在する場合
    には、当該文字画像に基づいた文書画像方向の判別を行
    わないことを特徴とする、請求項８または９に記載の文
    書画像補正装置。
12. 【請求項１２】 前記文書画像補正装置において、 前記文書方向決定部は、複数の文字画像について文字の
    方向を検出し、この結果に基づいて文書画像方向の判別
    を行うことを特徴とする、請求項８に記載の文書画像補
    正装置。
13. 【請求項１３】 前記文書画像補正装置において、 前記文書方向決定部は、複数の文字画像について、各文
    字方向毎に各文字毎の確信度の平均値を算出し、前記平
    均値の値に基づいて文書画像方向を判別することを特徴
    とする、請求項１２に記載の文書画像補正装置。
14. 【請求項１４】 前記文書画像補正装置において、 前記文書方向決定部は、複数の文字画像毎の最大確信度
    を持つ文字方向のうち、最も多数最大確信度が得られる
    文字方向を文書画像方向と判断することを特徴とする、
    請求項１２に記載の文書画像補正装置。
15. 【請求項１５】 前記文書画像補正装置において、 前記文書方向決定部は、同一文字方向について最大確信
    度が所定数以上得られた場合、当該文字方向を文書画像
    方向と判断することを特徴とする、請求項１２に記載の
    文書画像補正装置。
16. 【請求項１６】 入力する文書画像から、予め設定され
    た条件を満たす文字画像を選択的に切りだし、 選択的に切り出された文字画像について、文字画像の回
    転および鏡像反転の有無を判定することを特徴とする、
    文書画像補正方法。
17. 【請求項１７】 入力する文書画像から、予め設定され
    た条件を満たす文字画像を選択的に切りだし、 前記選択的に切り出された文字画像に対して、所定の回
    転角度で回転処理を施すとともに、当該文字画像を鏡像
    判定させて前記回転処理を施し、 回転・鏡像反転処理された文字画像を出力し、 前記出力された文字画像の各方向のそれぞれについて文
    字認識処理を行い、 前記文字認識結果に基づいて、入力文書画像の方向を判
    別することを特徴とする、文書画像補正方法。
18. 【請求項１８】 入力する文書画像から、予め設定され
    た条件を満たす文字画像を選択的に切りだすステップ
    と、 選択的に切り出された文字画像について、文字画像の回
    転および鏡像反転の有無を判定するステップとを有する
    文書画像補正プログラムを格納した情報記録媒体。
19. 【請求項１９】 入力する文書画像から、予め設定され
    た条件を満たす文字画像を選択的に切りだすステップ
    と、 選択的に切り出された文字画像に対して、所定の回転角
    度で回転処理を施すとともに、当該文字画像を鏡像判定
    させて前記回転処理を施し、回転・鏡像反転処理された
    文字画像を出力するステップと、 前記出力される文字画像の各方向のそれぞれについて文
    字認識処理を行うステップと、 前記文字認識結果に基づいて、入力文書画像の方向を判
    別するステップとを有する文書画像補正プログラムを格
    納した情報記録媒体。