JP3582984B2 - 画像状態検出装置及びそれを利用した文書画像補正装置 - Google Patents
画像状態検出装置及びそれを利用した文書画像補正装置 Download PDFInfo
- Publication number
- JP3582984B2 JP3582984B2 JP12257798A JP12257798A JP3582984B2 JP 3582984 B2 JP3582984 B2 JP 3582984B2 JP 12257798 A JP12257798 A JP 12257798A JP 12257798 A JP12257798 A JP 12257798A JP 3582984 B2 JP3582984 B2 JP 3582984B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- character
- conversion
- recognition
- mirror
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、スキャナ等の画像入力装置から取り込んだ文書画像の状態を検出する画像状態検出装置、及びそれに基づきディスプレイに表示したり、記憶装置へ格納する前に画像を補正する装置であって、特に回転や鏡像反転して読込まれた画像を自動的に正立した画像に補正する文書画像補正装置に関する。
【０００２】
【従来の技術】
近年、据え置き型のフラットベッドスキャナに加え、持ち運びが容易な手動操作型の小型ハンディタイプスキャナが開発・製品化されている。ハンドヘルドスキャナはユーザが任意の方向にスキャンすることが可能であり自由度が高い反面、スキャンする方向によっては、回転したり鏡像反転した画像として読み込まれることがあり、スキャンした後に回転や鏡像変換して補正する必要があった。
【０００３】
特開平８−２１２２９８号など、従来の文書画像補正装置では、図１８のようにスキャンした文書画像から文字画像を切出し、０度、９０度、１８０度、２７０度の４方向から文字認識を行い、認識の確からしさ（認識確度）が最も大きい方向を文書方向として判別し、判別した文書方向が正方向でなければ文書画像を回転して正立（文書として正しく読める方向）した画像になるように補正していた。
【０００４】
【発明が解決しようとする課題】
従って、従来の文書画像の補正方法では、ハンドヘルドスキャナでスキャンして得られた鏡像反転した文書画像に対しては、文書画像から切り出した文字画像を０度、９０度、１８０度、２７０度のいずれの角度に回転しても文字認識できないため、正立方向が判別できずに補正できないという問題があった。
【０００５】
本発明はこの問題を解決するためになされたものであり、スキャナ等の画像入力装置から取り込んだ文書画像の状態を検出する画像状態検出装置で検出し、回転した文書画像、鏡像反転した文書画像、回転に加えて鏡像反転した文書画像いずれの画像であっても、正立方向に自動補正する文書画像補正装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明は、前記課題を解決するため、以下の手段を採用した。
【０００７】
すなわち、本発明は、画像入力手段から入力された文字画像を文字画像格納手段に格納し、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出装置であり、画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、画像入力手段が文字を取り込むときの取込方向を頻度順に蓄積する蓄積手段と、高頻度の取込方向、或いはこの文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、を備えたことを特徴とする画像状態検出装置を提供する。
【０００８】
さらに、本件発明はこの画像状態検出装置を利用した文書画像補正装置を提供する。この文書画像補正装置は、画像入力手段から入力された文字画像を格納する文字画像格納手段と、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかしているかを検出する画像状態検出手段と、この画像状態検出手段の検出結果に基づいて、前記文字画像格納手段に格納された文字画像を正立させる画像補正手段とを備えている。
【０００９】
ここで、前記画像状態検出手段は、画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、画像入力手段が文字を取り込むときの取込方向を頻度順に蓄積する蓄積手段と、高頻度の取込方向、或いはこの文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、を備えている。
【００１０】
さらに、ここでは、画像入力手段としてスキャナ、特にハンドヘルドスキャナが代表的に用いられる。スキャナで読み込まれるのは、通常複数の文字からなる文字列を含む文書画像である。そこで、一旦、文書画像を文書画像格納手段（メモリ）に格納し、その中から特定の文字画像を１個以上切り出し文字画像格納手段（メモリ）に格納するのが好ましい。
【００１１】
ハンドヘルドスキャナの場合、そのスキャン方向を本来の方向と異なる方向とすると、読み込んだ画像が鏡像反転してまう。そこで、画像状態検出手段は、文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否かを検出する。そして、画像状態検出手段により文字画像が反転していると判定された場合、画像補正手段は、前記文字画像格納手段に格納された文字画像を正立させる。
【００１２】
さらに、前記画像状態検出手段は、前記文字画像格納手段に格納された文字画像が本来の文字に対してどの程度回転した状態にあるか検出するようにし、前記画像補正手段は、前記画像状態検出手段の検出結果に従い、前記文字画像格納手段に格納された文字画像を正立させるようにすると、鏡像反転と画像回転とを組み合わせた補正を行うことができる。
【００１３】
さらに、本発明は、画像入力手段から入力された、複数の文字からなる文字列を含む文書画像を格納する文書画像格納手段と、この画像入力手段から入力された文書画像から１個以上の文字画像を切り出す文字画像切り出し手段とを備え、前記文字画像格納手段は前記文字画像切り出し手段により切り出された文字を格納し、前記画像補正手段は、前記画像状態検出手段の検出結果に従い、前記文書画像格納手段に格納された文書画像を指定した特定方向に正立した画像に補正することを提案する。
【００１４】
さらに、本発明では、以下の構成を採用することも可能である。
【００１５】
前記変換方法検出手段の検出結果に従い、前記画像変換手段の変換を制御する変換制御手段を有することも可能である。すなわち、検出結果が、所期のものとは異なる場合などは、画像変換手段による変換を前回とは異なるよう変化させ、これに基づき再度文字認識を試みるようにすると、認識がより速やかに行われる。
【００１６】
また、前記変換方法検出手段は、画像変換手段で得た回転および／または鏡像反転をした全ての回転と鏡像変換の組み合わせの中から、文字認識手段による文字画像の認識率が最大になる時の文字画像の回転角度および／または鏡像反転の有無を検出するようにすることができる。
【００１７】
また、前記変換方法検出手段は、文字認識手段による認識率が所定値以上のときの回転角度及び鏡像反転の有無を検出するようにすることができる。
【００１８】
前記変換制御手段は、回転と鏡像反転を特定の順序で組み合わせて文字画像を変換するよう画像変換手段を制御することも可能である。これは、よくスキャンする方向を優先する場合である。
【００１９】
また、前記変換制御手段は、複数角度の回転と鏡像反転の全ての組み合わせの中から特定の組み合わせについてのみ文字画像の変換を行うように文字変換手段を制御することも可能である。これは特定の方向しかスキャンしない場合を前提とする。
【００２０】
さらに、前記変換制御手段は、過去に文字画像を正立させた回転と鏡像反転の組み合わせの中から組み合わせの頻度が高い順に組み合わせて文字画像を変換するように画像変換手段を制御することが可能である。これは、スキャンする癖を学習する趣旨である。
【００２１】
また、前記変換制御手段は、画像を所定角度毎（例えば０度、９０度、１８０度、２７０度）の回転を行うとともに、各角度の回転と同時に鏡像反転するように前記画像変換手段を制御するようにしてもよい。
【００２２】
前記画像変換手段で変換したすべての文字画像の文字認識を文字認識手段により行った結果、認識結果の内、特定条件を満たさない文字画像については、前記画像補正手段による補正を行わないようにしてもよい。
また、本発明は、画像入力手段から入力された文字画像を文字画像格納手段に格納し、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出装置であり、画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、前記文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、前記変換方法検出手段により検出した変換方法のヒストグラムを蓄積する変換方法蓄積手段と、ヒストグラムの蓄積内容に基づき、検出頻度の高い変換方法を優先的に適用し変換する変換適用手段と、を備える構成としてもよい。
さらに、本発明は、画像入力手段から入力された文字画像を格納する文字画像格納手段と、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出手段と、この画像状態検出手段の検出結果に基づいて、前記文字画像格納手段に格納された文字画像を正立させる画像補正手段とを備え、前記画像状態検出手段は、画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、前記文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、前記変換方法検出手段により検出した変換方法のヒストグラムを蓄積する変換方法蓄積手段と、ヒストグラムの蓄積内容に基づき、検出頻度の高い変換方法を優先的に適用し変換する変換適用手段と 、
を備える構成とすることもできる。
【００２３】
以上、各構成は、可能な限り組み合わせることができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００２５】
例えば、画像入力手段として手動でスキャンするハンディタイプのスキャナは、図１▲１▼〜▲８▼に示したように上下左右どの方向からもスキャンできる。このため図１の▲１▼以外の方向にスキャンした場合には、スキャン方向により異なる角度及び鏡像反転した画像として読込まれる。例えば紙面上に正立した「鏡」という文字があった場合、これを図１の▲１▼〜▲８▼の各方向に走査すると取り込まれる画像はそれぞれ図２の▲１▼〜▲８▼のようになる。
【００２６】
本発明は、回転した文字や鏡像反転した文字画像は文字認識率が低い点に着目し、スキャン画像から文字画像を切出して認識率が最大になる回転角度及び／または鏡像変換の有無を検出し、元のスキャン画像に対しても同様の回転・鏡像変換を行うことで自動的に正立した画像に補正する。
【００２７】
図３は本発明の原理を示す第１の図である。本発明では、ハンドヘルドスキャナで取込んだ文書画像（図３（ａ））から１個または複数個の文字画像（図３（ｂ））を切出し、これらを正立した文字画像（図３（ｃ））にするため回転角度および鏡像反転の有無を検出する。検出結果に基づいて、切出した文字画像（図３（ｂ））を正立した文字画像（図３（ｃ））に変換したのと同一の変換を元のスキャン画像（図３（ａ））に対して行うことで、回転・鏡像反転した画像を正立した画像（図３（ｄ））に補正する。
【００２８】
一般の据え置き型のディスプレイ（例えばＣＲＴディスプレイ）は画面の上下が固定であるため、常に正立方向も固定である。しかし携帯型情報処理装置のディスプレイでは、装置の使い方や手に持つ方向によって縦に表示したり横に表示したりする場合が考えられる。このような場合、携帯型情報処理装置に取込んだ画像を正立させる際に、あらかじめ指示あるいは設定しておいた方向に対して正立させるようにする。
【００２９】
こうすることにより、（図３（ａ））のように横表示タイプの携帯型情報処理装置では横にしたときに見る方向に正立し、（図３（ｂ））のように縦表示タイプの携帯型情報処理装置では縦にした時に見る方向に正立して表示でき、常に見る方向に対して正立した画像に補正して表示することができる。
【００３０】
文書画像から切出した文字画像の回転角度および鏡像反転の有無の検出を、文字認識を利用して、以下のように行う。
【００３１】
切出した文字画像を９０度、１８０度、２７０度回転した画像、さらにそれぞれを鏡像反転した画像を生成する。例えば図５ではスキャン画像から切出した切出し文字画像（ａ）を回転・鏡像反転して▲１▼〜▲８▼の画像を生成する。生成した８種類の画像それぞれを文字認識し、認識した結果最も認識度の高い、または認識の確からしさが最大の画像の回転角度および鏡像変換の有無を検出する。図５では認識率が最も高いのは画像▲６▼で、これは元の切出し文字画像（ａ）を鏡像反転したのち左に９０度回転した画像であることが検出される。検出した回転と鏡像変換を元のスキャン画像に対して行うことで正立した画像に補正できる。
【００３２】
切出した文字画像を回転と鏡像変換を組み合わせて順次文字認識する際に、認識度がある一定の確度以上であった場合には認識されたと判断して残りの変換をスキップする。
【００３３】
図５を例に説明すると、例えば正しく認識されたと判別する認識度を０．９に設定すると画像▲１▼から順に文字認識していき画像▲６▼を認識した時点で認識率が０．９を超えることが検出される。
【００３４】
ここで、画像▲６▼が正立画像であると判断して文字認識処理を終了し、▲７▼、▲８▼の認識をスキップすることで、全ての方向について文字認識するよりも変換・認識処理回数が少なくなり、処理時間が短縮される。
【００３５】
手動走査でスキャンする場合、ある特定方向に走査するケース、例えば文書を読む方向（縦書き文書なら縦方向、横書き文書なら横方向）に走査するケースが多いと考えられる。スキャンは図１のように行えるが、図１の▲１▼や▲５▼のスキャン方向は他の方向へのスキャンよりも高頻度に行われる可能性がある。
【００３６】
そこで、複数回のスキャンからそのスキャン方向の頻度による優先順位をあらかじめ決めておき、優先順位の高い順、すなわち頻度の高いケース順に、該ケースでスキャンした画像を正立させる回転と鏡像変換を切出した文字画像に適用する。これにより、早い段階で切出し文字画像の回転角度及び鏡像回転の有無を検出することができる。
【００３７】
あるいは、スキャン頻度の高い特定のケースについてのみ、切出した文字画像に対して回転・鏡像変換を行うことで、処理を少なくできる。
【００３８】
またスキャン方向は個人の癖などにも左右させる。そこで、スキャンが行われるごとにスキャン方向のヒストグラムを累積・更新し、その頻度からダイナミックに回転と鏡像変換順序を決定することで、オペレータの相違による癖を吸収して補正を最適化することができる。
【００３９】
以下、図面に基づいて、本発明の実施例についてより詳細に説明する。
【００４０】
図６は本発明の実施例を示す図であり、スキャンした画像を格納する画像格納部１０１，スキャン画像から１文字単位に文字画像を切出す文字画像切出し部１０２，切出した文字画像格納する文字画像格納部１０３，文字画像を正立するための回転角度及び鏡像変換の有無を検出する検出部１０４，指定された回転角度及び鏡像変換の有無に基づき、スキャン画像を正立方向に正立するように補正を行う画像補正部１０５により構成する。
【００４１】
本実施例による文書画像表示装置は以下のように動作する。ハンドヘルドスキャナによりスキャンして取り込まれた画像は、画像上のノイズを除去するゴミ取り、傾き補正など必要に応じて前処理を行った後、スキャン画像として画像格納部１０１に格納する。
【００４２】
文字画像切出し部１０２は、画像格納部１０１に格納されているスキャン画像から、文字画像と判断した部分の画像を１文字単位に１個以上切出して、文字画像格納部１０３に格納する。
【００４３】
変換方法検出部１０４では、切出した各文字画像を、正立した文字画像に補正するための回転角度及び鏡像反転の有無を検出する。
【００４４】
画像補正部１０５は画像格納部１０１に検出されているスキャン画像を、変換方法検出部１０４で検出した結果に基づき正立した画像に補正して出力する。このとき変換方法検出部１０４の検出結果に加え、外部より正立方向が指示される場合には、指示を受けた正立方向に正立するようにスキャン画像を補正して出力する。
【００４５】
以上の動作により、スキャン画像が正立方向に自動補正される。
【００４６】
図７は本発明の変換方法検出部１０４の実施例であり、切出した文字画像を指示に応じて回転・鏡像変換する回転・鏡像変換部１０６、変換した文字画像を文字認識して、例えば認識率等のように認識の確からしさを出力する文字認識部１０７、文字認識の結果に基づいて回転・鏡像変換を制御して最も認識率の高い回転角度及び鏡像変換の有無を検出する変更制御手段１０８により構成する。なお、ここでは文字認識部１０７が認識の確からしさを認識確度として出力する場合を例に説明する。
【００４７】
スキャン画像から切出した文字画像は、回転・鏡像変換部１０６に入力される。変換制御部１０８は回転・鏡像変換部１０６を制御して、入力した文字画像を図５の▲１▼〜▲８▼のように９０度単位に四方向に回転した画像、およびそれらを鏡像反転した画像を順番に生成させる。文字認識部１０７は変換した文字画像を文字認識し、認識確度を変換制御部１０８に通知する。
【００４８】
変換制御部１０８は文字認識部１０７から通知を受けた認識確度に基づき、回転・鏡像変換部１０６に指示した全ての変換方法の中から、認識確度が最大になる回転角度と鏡像反転の有無を検出して変換方法として出力する。例えば図５では、変換した画像▲１▼〜▲８▼の中で画像▲６▼が認識確度が高いことが検出され、変換方法として「鏡像反転＋左９０度回転」が検出される。
【００４９】
このとき変換制御部１０８において、認識確度が指定した閾値以上であったらその時点の回転角度と鏡像反転の有無を出力して変換方法検出の処理を終了するようにしてもよい。例えば図５で閾値が０．９以上に設定され、▲１▼から▲８▼まで順番に処理を行う場合には、画像▲６▼が得られた時点で処理が終了することとなり、▲７▼、▲８▼の処理はスキップされる。
【００５０】
また、変換制御部１０６にあらかじめ変換する順序を優先順位として与えておき、優先順位に従って回転及び鏡像反転を制御してもよい。例えば図５において優先順位が▲４▼、▲７▼、▲６▼、▲２▼、▲１▼、▲８▼、▲５▼、▲３▼であったとすると、３回目の変換と文字認識を行った時点で正立した画像▲６▼が得られ、以降の変換をスキップすることができる。
【００５１】
あるいは、変換制御部１０６の内部にこれまでに検出した変換方法のヒストグラムを蓄積しておき、頻度の高い順番に変換を行うよう回転・鏡像変換部１０６を制御する。このように、検出した変換方法をフィードバックすることにより、スキャンを行うオペレータの癖など動的条件を反映して変換方法の検出を効率よく行える。例えば図１▲５▼の方向へスキャンした場合スキャンした文字画像は図５（ａ）になり、これを「鏡像変換＋左９０度回転」のヒストグラムを更新して増加させる。図１▲５▼の方向へのスキャンを繰り返し行うと「鏡像変換＋左９０度回転」の頻度が高くなり、頻度に応じて優先的に適用されるようになる。
【００５２】
以上の動作により、スキャン画像から切出した文字画像の回転角度と鏡像反転の有無が検出される。
【００５３】
このように、スキャンした画像中の文字画像の回転角度と鏡像反転の有無を検出し、スキャン画像に対して検出したのと同じ回転・鏡像変換を行うことで、上下左右いずれの方向からスキャンした画像であっても自動的に正立した画像に補正することができる。
＜文字認識の方法＞
以上が、実施例の説明であるが、本件は、文字認識の手法を応用している。そこで、本発明で利用する文字認識の一例をここに簡単に説明しておく。
【００５４】
以下は、電子情報通信学会の「信学技報 ＴＥＣＨＮＩＣＡＬ ＲＥＰＯＲＴＯＦ ＩＥＩＣＥ ＰＲＭＵ−２５（１９９７−０３）鎌田 洋、他」に公表された方式である。
【００５５】
この方式は、少量の圧縮した文字特徴により高速に認識結果候補文字を求めた後に、大量の文字特徴により高精度に認識するものであり、文字切り出し処理と、文字認識処理からなる。
【００５６】
文字切り出し処理は、テキスト文書を内容とする２値画像から、１文字分の画像を切り出す処理である。本処理は、画素から順次文字を構成する要素を統合するボトムアップ処理とし、以下の手順によって処理される。
【００５７】
まず、文字構成の基本要素として、黒画素の連結領域を抽出する。次に外接矩形が重なる複数の連結領域の外接矩形を求め、この位置関係を解析することで、行の方向を判定し、位置を抽出する行の抽出を行う。さらに行に直交する方向に重なるものを１グループとし、その外接矩形を求める行直交方向矩形統合を行い、この外接矩形を行方向に統合して、１文字として認識し、統合部分の外接矩形を文字外接矩形とする。
【００５８】
この文字外接矩形を基準とし、行内で隣接する文字外接矩形の行方向位置から仮想文字枠の幅位置を決定する。
【００５９】
上述した文字切り出し処理の主要な処理に加え、本方式では文字以外のノイズ等の除去や接触した複数の文字の分離も実現している。
【００６０】
次いで、文字認識処理は、文字切り出し処理から切り出された１文字分の画像を入力して文字を認識する処理であり、以下の手順で処理される。
【００６１】
▲１▼正規化
本手順では、文字切り出し処理で仮想文字枠により切り出された１文字分の画像を縦４８画素×横４８画素の正規化現象にする。この１文字分の画像の縦若しくは横が４８画素を越える場合は均等に縮小し、正規化画像の３／４の場合は最大辺が仮想文字枠に収まるように拡大する。
【００６２】
特徴抽出
正規化された文字画像から、文字特徴を抽出する。この方式においては、文字領域を輪郭点数が一定となるように可変分割した領域における輪郭変更量を、可変分割輪郭方向特徴としている。
【００６３】
すなわち、輪郭点を抽出後、文字外接矩形を輪郭点数が均等になるように部分領域に分割し、部分矩形領域において、領域矩形の長辺方向に関する文字輪郭の方向特徴量を求める。最後に部分矩形領域における特徴量を、領域矩形の短辺方向に関して、隣接する部分矩形領域間でぼかし、最終的な文字特徴量とする。
【００６４】
▲２▼特徴圧縮
本手順では、特徴抽出処理で抽出した文字特徴を、少数の次元からなる圧縮特徴に圧縮する。特徴圧縮の処理は、文字特徴の分布を分離しやすい少数の初期座標軸を求める初期圧縮特徴座標軸の抽出の処理と、初期座標軸を直交化した座標軸に関する原特徴の座標を圧縮特徴にする圧縮特徴の算出の処理の２段階で処理される。
【００６５】
▲３▼大分類
本手順では、特徴圧縮処理で求めた圧縮特徴を用いて、認識候補文字を求める。大分類の処理は、精度保証型高速分類と、距離計算による大分類の処理を併用している。前者は詳細分類の文字特徴を大分類特徴空間に射影し、射影される可能性のある文字種を候補文字テーブルとして保持した後、候補文字を検索する処理であるが、本方式においては、分割領域で射影する代わりに、直接に詳細分類特徴を大分類特徴空間に射影し、認識辞書作成のための文字パターンの詳細分類用文字特徴を用い、射影した分布にマージンを加えて大きくしているのが特徴である。
【００６６】
後者は、前者による認識結果候補文字数が７０を越える場合にのみ使用される。
【００６７】
▲４▼詳細識別
本手順では、大分類処理で出力された認識候補文字について、入力文字と認識辞書の原文字特徴との距離計算を行い、距離のソーティング後、最小の距離の認識候補文字を認識結果とする。
【００６８】
＜ハンドヘルドスキャナの例＞
画像入力手段としてのハンドヘルドスキャナとしては、図示しないが、紙などの被読取り媒体上の画像を光学的に読取りアナログ電気信号に変換する画像読取り部と、画像読取り部の読取り媒体上の移動量を計測する移動量計測部と、画像読取り部から出力されるアナログ画像信号を処理する画像信号処理部と、移動量計測部の移動量により画像読取り部の駆動制御を行なう読取り制御部と、外部の情報処理装置へ読取りデータの出力を行なうインターフェィス部とを備えている。
【００６９】
画像読取り部はラインセンサと光源（ＬＥＤもしくは冷陰極管）とレンズにより読取り媒体と密着方式の画像読取りを行う。読取り中は光源を点灯し、ラインセンサを起動信号で読取り開始させることで、センサ上の各位置での反射光量を電気信号に変換し、アナログ信号として出力する。
【００７０】
移動量計測部はエンコーダにより読取り媒体上の移動量をパルス信号に変換して出力する。画像信号処理部は画像読取り部からの画像信号をＡ／Ｄ変換回路によりデジタル化し、さらに必要に応じて２値化などの画像処理を行う。
【００７１】
読取り制御部は全体の読取り制御と情報処理装置へのデータの転送を行う。ラインセンサへの起動信号を読取り期間中は常に発生し、画像処理済みのラインデータを内部のバッファに保存しておく。移動量計測部からの移動パルスを検出した場合、対象ラインのバッファに保存してある画像処理済みのラインデータを情報処理装置へ割り込みで上げ、データ転送を行う。移動パルスがラインセンサの１駆動周期内で２回以上検出した場合には、スキャナの読込み性能以上にスキャナの移動が発生したので１回分のみのデータを転送する。移動パルスがラインセンサの１駆動周期内に検出されない場合には、スキャナが移動していないので、バッファに保存してある画像処理済みのラインデータを破棄して次のラインのデータの保持を行う。
【００７２】
インターフェイス部は情報処理装置への電気的インターフェースを行い、割り込みやデータアクセスを行う。情報処理装置に転送されたデータは情報処理装置の表示部に表示され、読取り中の画像データを確認することができる。
【００７３】
情報処理装置へのデータ転送は１ライン毎に行っているが、読取り制御部内のバッファ容量を大きくすることで、複数ラインデータをまとめて情報処理装置にデータ転送するように構成することも可能である。
＜他の処理例＞
次に、文字画像から検出した回転角度と鏡像反転の有無に対応して、文書画像を正立像にする変換例を説明する。
【００７４】
画像補正部１０５は、変換方法検出部１０４で検出した方向検出結果、すなわち文字画像の回転角度と鏡像反転の有無、および外部からの正立方向指示に基づいて、文書画像を正立像に変換する。以下、正立像への変換方法および実現手段を説明する。
【００７５】
まず、方向検出結果および正立方向指示と、正立像への変換方法の対応関係について説明する。正立させる方向と画像を表示するディスプレイとの対応関係を、図８に示すようにディスプレイの向きに対してそれぞれ正立方向１〜４と定義する。
文字画像の回転角度と鏡像反転の有無、および外部から指示した正立方向１〜４より、文書画像を正立像に変換するための変換方法が図９のように一意に決まる。
図９中の記号Ａ〜Ｇはそれぞれ変換方法を表し、各変換は図１０〜図１６のようになる。変換Ａ〜Ｇは、入力画像に対する以下の変換と等価である。
Ａ：９０度回転￥ Ｂ：１８０度回転
Ｃ：２７０度回転
Ｄ：左右鏡像反転
Ｅ：９０度回転＋左右鏡像反転
Ｆ：１８０度回転＋左右鏡像反転
Ｇ：２７０度回転＋左右鏡像反転
なお、入力画像が正立方向と同一方向の場合には変換は不要であり、変換処理は行なわない。
【００７６】
次に、図１７に示した画像補正部１０５の実施例により、スキャン入力した文書画像の正立方向への変換方法について説明する。
【００７７】
画像補正部１０５は、走査アドレス制御部２０１、横走査アドレス発生部２０２、縦走査アドレス発生部２０３、画素順序変換部２０４により構成する。
【００７８】
走査アドレス制御部２０１は、変換方法検出部１０４の検出結果と正立方向指示に基づいて文書画像を正立させる変換方法を決定し、この変換を行なわせるように横走査アドレス発生部２０２および縦走査アドレス発生部２０３を制御する。
横走査アドレス発生部２０２は、走査アドレス制御部２０１の指示に応じて、画像を右から左、あるいは左から右に画素単位で走査する走査アドレスを発生する。
縦走査アドレス発生部２０３は、走査アドレス制御部２０１の指示に応じて、画像を上から下、あるいは下から上に画素単位で走査する走査アドレスを発生する。
画素順序変換部２０４は、横走査アドレス発生部２０２および縦走査アドレス発生部２０３で発生した走査アドレスに従って入力画像を画素単位に走査し、画素順序を変換した画像を出力する。
【００７９】
具体例を使って、画像補正部１０５の実施例の動作を説明する。
一例として、変換方法検出部１０４により、「回転角度＝９０度、鏡像反転あり」と検出され、正立方向として「正立方向３」が指示された場合について説明する。
【００８０】
本例の場合、走査アドレス制御部２０１は、図９の対応関係から正立像への変換方法として「変換方法Ｇ」（図１６）を選択する。そして、走査アドレス制御部２０１は、図１６（ａ）の入力画像の外側に矢印で示したように、横走査アドレス発生部２０２に対して右から左方向の走査アドレス発生を指示し、同時に縦走査アドレス発生部２０３に対して下から上方向の走査アドレス発生を指示する。
このとき、走査アドレス制御部２０１は、図１６（ａ）の入力画像の内側に矢印で示した走査順序のように、全画素をくまなく走査するように、アドレス発生のタイミングを制御する。
【００８１】
横走査アドレス発生部２０２は、走査アドレス制御部２０１の指示に従い、画像を右から左方向に画素単に走査するアドレスを発生する。同様に、縦走査アドレス発生部２０３も、走査アドレス制御部２０１の指示に従い、下から上方向に画素単位に走査するアドレスを発生する。
画素順序変換部２０４は、図９（ａ）の入力画像から、横走査アドレス発生部２０２および縦走査アドレス発生部２０３で発生した走査アドレスで示される位置の画素を読み出して出力する。
【００８２】
以上の動作により、図９（ａ）の入力画像を図９（ｂ）の画像に変換する。入力画像と変換画像の各角の対応関係を▲１▼〜▲４▼で示してある。他の検出方向および正立方向の組み合わせについても、同様にして文書画像を正立像に変換できる。以上説明したように、本発明により、文字画像から検出した回転角度と鏡像反転の有無、および正立方向指示に基づいて入力文書画像を正立像に変換できる。
【００８３】
【発明の効果】
以上説明したように、本発明の文書画像補正装置によれば、スキャン画像から文字画像を切出してその回転角度及び鏡像反転の内、少なくとも鏡像反転の有無を検出し、検出結果に基づきスキャン画像を正立した画像に自動補正できる。このためハンドヘルドスキャナで上下左右いずれの方向からスキャンしても常に正立した画像が得られ、文書画像補正装置の操作性及びユーザインタフェースの改善に寄与するところが大きい。
【図面の簡単な説明】
【図１】ハンドヘルドスキャナの走査方向を示す図
【図２】各走査方向に対するスキャン画像の例
【図３】正立までの手順を示す原理図
【図４】指定方向への正立を示す図
【図５】本発明の手順を示す第２の図
【図６】実施例の構成ブロック図
【図７】変換方法検出部の構成ブロック図
【図８】ディスプレイと正立させる方向の対応関係を示す図
【図９】文字画像の方向と正立像への変換方法の対応関係を示した図
【図１０】画像変換例１を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１１】画像変換例２を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１２】画像変換例３を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１３】画像変換例４を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１４】画像変換例５を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１５】画像変換例６を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１６】画像変換例７を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１７】画像補正部の詳細を示した構成ブロック図
【図１８】従来例を示す図
【符号の説明】
１０１・・文書画像格納部（文書画像格納手段）
１０２・・文字画像切出し部
１０３・・文字画像格納部（文字画像格納手段）
１０４・・検出部（画像状態検出手段）
１０５・・画像補正部（画像補正手段）
１０６・・回転・鏡像変換部（画像変換手段）
１０７・・文字認識部（文字認識手段）
１０８・・変更制御手段
２０１・・走査アドレス制御部
２０２・・横走査アドレス発生部
２０３・・縦走査アドレス発生部
２０４・・画素順序変換部
【発明の属する技術分野】
本発明は、スキャナ等の画像入力装置から取り込んだ文書画像の状態を検出する画像状態検出装置、及びそれに基づきディスプレイに表示したり、記憶装置へ格納する前に画像を補正する装置であって、特に回転や鏡像反転して読込まれた画像を自動的に正立した画像に補正する文書画像補正装置に関する。
【０００２】
【従来の技術】
近年、据え置き型のフラットベッドスキャナに加え、持ち運びが容易な手動操作型の小型ハンディタイプスキャナが開発・製品化されている。ハンドヘルドスキャナはユーザが任意の方向にスキャンすることが可能であり自由度が高い反面、スキャンする方向によっては、回転したり鏡像反転した画像として読み込まれることがあり、スキャンした後に回転や鏡像変換して補正する必要があった。
【０００３】
特開平８−２１２２９８号など、従来の文書画像補正装置では、図１８のようにスキャンした文書画像から文字画像を切出し、０度、９０度、１８０度、２７０度の４方向から文字認識を行い、認識の確からしさ（認識確度）が最も大きい方向を文書方向として判別し、判別した文書方向が正方向でなければ文書画像を回転して正立（文書として正しく読める方向）した画像になるように補正していた。
【０００４】
【発明が解決しようとする課題】
従って、従来の文書画像の補正方法では、ハンドヘルドスキャナでスキャンして得られた鏡像反転した文書画像に対しては、文書画像から切り出した文字画像を０度、９０度、１８０度、２７０度のいずれの角度に回転しても文字認識できないため、正立方向が判別できずに補正できないという問題があった。
【０００５】
本発明はこの問題を解決するためになされたものであり、スキャナ等の画像入力装置から取り込んだ文書画像の状態を検出する画像状態検出装置で検出し、回転した文書画像、鏡像反転した文書画像、回転に加えて鏡像反転した文書画像いずれの画像であっても、正立方向に自動補正する文書画像補正装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明は、前記課題を解決するため、以下の手段を採用した。
【０００７】
すなわち、本発明は、画像入力手段から入力された文字画像を文字画像格納手段に格納し、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出装置であり、画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、画像入力手段が文字を取り込むときの取込方向を頻度順に蓄積する蓄積手段と、高頻度の取込方向、或いはこの文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、を備えたことを特徴とする画像状態検出装置を提供する。
【０００８】
さらに、本件発明はこの画像状態検出装置を利用した文書画像補正装置を提供する。この文書画像補正装置は、画像入力手段から入力された文字画像を格納する文字画像格納手段と、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかしているかを検出する画像状態検出手段と、この画像状態検出手段の検出結果に基づいて、前記文字画像格納手段に格納された文字画像を正立させる画像補正手段とを備えている。
【０００９】
ここで、前記画像状態検出手段は、画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、画像入力手段が文字を取り込むときの取込方向を頻度順に蓄積する蓄積手段と、高頻度の取込方向、或いはこの文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、を備えている。
【００１０】
さらに、ここでは、画像入力手段としてスキャナ、特にハンドヘルドスキャナが代表的に用いられる。スキャナで読み込まれるのは、通常複数の文字からなる文字列を含む文書画像である。そこで、一旦、文書画像を文書画像格納手段（メモリ）に格納し、その中から特定の文字画像を１個以上切り出し文字画像格納手段（メモリ）に格納するのが好ましい。
【００１１】
ハンドヘルドスキャナの場合、そのスキャン方向を本来の方向と異なる方向とすると、読み込んだ画像が鏡像反転してまう。そこで、画像状態検出手段は、文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否かを検出する。そして、画像状態検出手段により文字画像が反転していると判定された場合、画像補正手段は、前記文字画像格納手段に格納された文字画像を正立させる。
【００１２】
さらに、前記画像状態検出手段は、前記文字画像格納手段に格納された文字画像が本来の文字に対してどの程度回転した状態にあるか検出するようにし、前記画像補正手段は、前記画像状態検出手段の検出結果に従い、前記文字画像格納手段に格納された文字画像を正立させるようにすると、鏡像反転と画像回転とを組み合わせた補正を行うことができる。
【００１３】
さらに、本発明は、画像入力手段から入力された、複数の文字からなる文字列を含む文書画像を格納する文書画像格納手段と、この画像入力手段から入力された文書画像から１個以上の文字画像を切り出す文字画像切り出し手段とを備え、前記文字画像格納手段は前記文字画像切り出し手段により切り出された文字を格納し、前記画像補正手段は、前記画像状態検出手段の検出結果に従い、前記文書画像格納手段に格納された文書画像を指定した特定方向に正立した画像に補正することを提案する。
【００１４】
さらに、本発明では、以下の構成を採用することも可能である。
【００１５】
前記変換方法検出手段の検出結果に従い、前記画像変換手段の変換を制御する変換制御手段を有することも可能である。すなわち、検出結果が、所期のものとは異なる場合などは、画像変換手段による変換を前回とは異なるよう変化させ、これに基づき再度文字認識を試みるようにすると、認識がより速やかに行われる。
【００１６】
また、前記変換方法検出手段は、画像変換手段で得た回転および／または鏡像反転をした全ての回転と鏡像変換の組み合わせの中から、文字認識手段による文字画像の認識率が最大になる時の文字画像の回転角度および／または鏡像反転の有無を検出するようにすることができる。
【００１７】
また、前記変換方法検出手段は、文字認識手段による認識率が所定値以上のときの回転角度及び鏡像反転の有無を検出するようにすることができる。
【００１８】
前記変換制御手段は、回転と鏡像反転を特定の順序で組み合わせて文字画像を変換するよう画像変換手段を制御することも可能である。これは、よくスキャンする方向を優先する場合である。
【００１９】
また、前記変換制御手段は、複数角度の回転と鏡像反転の全ての組み合わせの中から特定の組み合わせについてのみ文字画像の変換を行うように文字変換手段を制御することも可能である。これは特定の方向しかスキャンしない場合を前提とする。
【００２０】
さらに、前記変換制御手段は、過去に文字画像を正立させた回転と鏡像反転の組み合わせの中から組み合わせの頻度が高い順に組み合わせて文字画像を変換するように画像変換手段を制御することが可能である。これは、スキャンする癖を学習する趣旨である。
【００２１】
また、前記変換制御手段は、画像を所定角度毎（例えば０度、９０度、１８０度、２７０度）の回転を行うとともに、各角度の回転と同時に鏡像反転するように前記画像変換手段を制御するようにしてもよい。
【００２２】
前記画像変換手段で変換したすべての文字画像の文字認識を文字認識手段により行った結果、認識結果の内、特定条件を満たさない文字画像については、前記画像補正手段による補正を行わないようにしてもよい。
また、本発明は、画像入力手段から入力された文字画像を文字画像格納手段に格納し、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出装置であり、画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、前記文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、前記変換方法検出手段により検出した変換方法のヒストグラムを蓄積する変換方法蓄積手段と、ヒストグラムの蓄積内容に基づき、検出頻度の高い変換方法を優先的に適用し変換する変換適用手段と、を備える構成としてもよい。
さらに、本発明は、画像入力手段から入力された文字画像を格納する文字画像格納手段と、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出手段と、この画像状態検出手段の検出結果に基づいて、前記文字画像格納手段に格納された文字画像を正立させる画像補正手段とを備え、前記画像状態検出手段は、画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、前記文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、前記変換方法検出手段により検出した変換方法のヒストグラムを蓄積する変換方法蓄積手段と、ヒストグラムの蓄積内容に基づき、検出頻度の高い変換方法を優先的に適用し変換する変換適用手段と 、
を備える構成とすることもできる。
【００２３】
以上、各構成は、可能な限り組み合わせることができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００２５】
例えば、画像入力手段として手動でスキャンするハンディタイプのスキャナは、図１▲１▼〜▲８▼に示したように上下左右どの方向からもスキャンできる。このため図１の▲１▼以外の方向にスキャンした場合には、スキャン方向により異なる角度及び鏡像反転した画像として読込まれる。例えば紙面上に正立した「鏡」という文字があった場合、これを図１の▲１▼〜▲８▼の各方向に走査すると取り込まれる画像はそれぞれ図２の▲１▼〜▲８▼のようになる。
【００２６】
本発明は、回転した文字や鏡像反転した文字画像は文字認識率が低い点に着目し、スキャン画像から文字画像を切出して認識率が最大になる回転角度及び／または鏡像変換の有無を検出し、元のスキャン画像に対しても同様の回転・鏡像変換を行うことで自動的に正立した画像に補正する。
【００２７】
図３は本発明の原理を示す第１の図である。本発明では、ハンドヘルドスキャナで取込んだ文書画像（図３（ａ））から１個または複数個の文字画像（図３（ｂ））を切出し、これらを正立した文字画像（図３（ｃ））にするため回転角度および鏡像反転の有無を検出する。検出結果に基づいて、切出した文字画像（図３（ｂ））を正立した文字画像（図３（ｃ））に変換したのと同一の変換を元のスキャン画像（図３（ａ））に対して行うことで、回転・鏡像反転した画像を正立した画像（図３（ｄ））に補正する。
【００２８】
一般の据え置き型のディスプレイ（例えばＣＲＴディスプレイ）は画面の上下が固定であるため、常に正立方向も固定である。しかし携帯型情報処理装置のディスプレイでは、装置の使い方や手に持つ方向によって縦に表示したり横に表示したりする場合が考えられる。このような場合、携帯型情報処理装置に取込んだ画像を正立させる際に、あらかじめ指示あるいは設定しておいた方向に対して正立させるようにする。
【００２９】
こうすることにより、（図３（ａ））のように横表示タイプの携帯型情報処理装置では横にしたときに見る方向に正立し、（図３（ｂ））のように縦表示タイプの携帯型情報処理装置では縦にした時に見る方向に正立して表示でき、常に見る方向に対して正立した画像に補正して表示することができる。
【００３０】
文書画像から切出した文字画像の回転角度および鏡像反転の有無の検出を、文字認識を利用して、以下のように行う。
【００３１】
切出した文字画像を９０度、１８０度、２７０度回転した画像、さらにそれぞれを鏡像反転した画像を生成する。例えば図５ではスキャン画像から切出した切出し文字画像（ａ）を回転・鏡像反転して▲１▼〜▲８▼の画像を生成する。生成した８種類の画像それぞれを文字認識し、認識した結果最も認識度の高い、または認識の確からしさが最大の画像の回転角度および鏡像変換の有無を検出する。図５では認識率が最も高いのは画像▲６▼で、これは元の切出し文字画像（ａ）を鏡像反転したのち左に９０度回転した画像であることが検出される。検出した回転と鏡像変換を元のスキャン画像に対して行うことで正立した画像に補正できる。
【００３２】
切出した文字画像を回転と鏡像変換を組み合わせて順次文字認識する際に、認識度がある一定の確度以上であった場合には認識されたと判断して残りの変換をスキップする。
【００３３】
図５を例に説明すると、例えば正しく認識されたと判別する認識度を０．９に設定すると画像▲１▼から順に文字認識していき画像▲６▼を認識した時点で認識率が０．９を超えることが検出される。
【００３４】
ここで、画像▲６▼が正立画像であると判断して文字認識処理を終了し、▲７▼、▲８▼の認識をスキップすることで、全ての方向について文字認識するよりも変換・認識処理回数が少なくなり、処理時間が短縮される。
【００３５】
手動走査でスキャンする場合、ある特定方向に走査するケース、例えば文書を読む方向（縦書き文書なら縦方向、横書き文書なら横方向）に走査するケースが多いと考えられる。スキャンは図１のように行えるが、図１の▲１▼や▲５▼のスキャン方向は他の方向へのスキャンよりも高頻度に行われる可能性がある。
【００３６】
そこで、複数回のスキャンからそのスキャン方向の頻度による優先順位をあらかじめ決めておき、優先順位の高い順、すなわち頻度の高いケース順に、該ケースでスキャンした画像を正立させる回転と鏡像変換を切出した文字画像に適用する。これにより、早い段階で切出し文字画像の回転角度及び鏡像回転の有無を検出することができる。
【００３７】
あるいは、スキャン頻度の高い特定のケースについてのみ、切出した文字画像に対して回転・鏡像変換を行うことで、処理を少なくできる。
【００３８】
またスキャン方向は個人の癖などにも左右させる。そこで、スキャンが行われるごとにスキャン方向のヒストグラムを累積・更新し、その頻度からダイナミックに回転と鏡像変換順序を決定することで、オペレータの相違による癖を吸収して補正を最適化することができる。
【００３９】
以下、図面に基づいて、本発明の実施例についてより詳細に説明する。
【００４０】
図６は本発明の実施例を示す図であり、スキャンした画像を格納する画像格納部１０１，スキャン画像から１文字単位に文字画像を切出す文字画像切出し部１０２，切出した文字画像格納する文字画像格納部１０３，文字画像を正立するための回転角度及び鏡像変換の有無を検出する検出部１０４，指定された回転角度及び鏡像変換の有無に基づき、スキャン画像を正立方向に正立するように補正を行う画像補正部１０５により構成する。
【００４１】
本実施例による文書画像表示装置は以下のように動作する。ハンドヘルドスキャナによりスキャンして取り込まれた画像は、画像上のノイズを除去するゴミ取り、傾き補正など必要に応じて前処理を行った後、スキャン画像として画像格納部１０１に格納する。
【００４２】
文字画像切出し部１０２は、画像格納部１０１に格納されているスキャン画像から、文字画像と判断した部分の画像を１文字単位に１個以上切出して、文字画像格納部１０３に格納する。
【００４３】
変換方法検出部１０４では、切出した各文字画像を、正立した文字画像に補正するための回転角度及び鏡像反転の有無を検出する。
【００４４】
画像補正部１０５は画像格納部１０１に検出されているスキャン画像を、変換方法検出部１０４で検出した結果に基づき正立した画像に補正して出力する。このとき変換方法検出部１０４の検出結果に加え、外部より正立方向が指示される場合には、指示を受けた正立方向に正立するようにスキャン画像を補正して出力する。
【００４５】
以上の動作により、スキャン画像が正立方向に自動補正される。
【００４６】
図７は本発明の変換方法検出部１０４の実施例であり、切出した文字画像を指示に応じて回転・鏡像変換する回転・鏡像変換部１０６、変換した文字画像を文字認識して、例えば認識率等のように認識の確からしさを出力する文字認識部１０７、文字認識の結果に基づいて回転・鏡像変換を制御して最も認識率の高い回転角度及び鏡像変換の有無を検出する変更制御手段１０８により構成する。なお、ここでは文字認識部１０７が認識の確からしさを認識確度として出力する場合を例に説明する。
【００４７】
スキャン画像から切出した文字画像は、回転・鏡像変換部１０６に入力される。変換制御部１０８は回転・鏡像変換部１０６を制御して、入力した文字画像を図５の▲１▼〜▲８▼のように９０度単位に四方向に回転した画像、およびそれらを鏡像反転した画像を順番に生成させる。文字認識部１０７は変換した文字画像を文字認識し、認識確度を変換制御部１０８に通知する。
【００４８】
変換制御部１０８は文字認識部１０７から通知を受けた認識確度に基づき、回転・鏡像変換部１０６に指示した全ての変換方法の中から、認識確度が最大になる回転角度と鏡像反転の有無を検出して変換方法として出力する。例えば図５では、変換した画像▲１▼〜▲８▼の中で画像▲６▼が認識確度が高いことが検出され、変換方法として「鏡像反転＋左９０度回転」が検出される。
【００４９】
このとき変換制御部１０８において、認識確度が指定した閾値以上であったらその時点の回転角度と鏡像反転の有無を出力して変換方法検出の処理を終了するようにしてもよい。例えば図５で閾値が０．９以上に設定され、▲１▼から▲８▼まで順番に処理を行う場合には、画像▲６▼が得られた時点で処理が終了することとなり、▲７▼、▲８▼の処理はスキップされる。
【００５０】
また、変換制御部１０６にあらかじめ変換する順序を優先順位として与えておき、優先順位に従って回転及び鏡像反転を制御してもよい。例えば図５において優先順位が▲４▼、▲７▼、▲６▼、▲２▼、▲１▼、▲８▼、▲５▼、▲３▼であったとすると、３回目の変換と文字認識を行った時点で正立した画像▲６▼が得られ、以降の変換をスキップすることができる。
【００５１】
あるいは、変換制御部１０６の内部にこれまでに検出した変換方法のヒストグラムを蓄積しておき、頻度の高い順番に変換を行うよう回転・鏡像変換部１０６を制御する。このように、検出した変換方法をフィードバックすることにより、スキャンを行うオペレータの癖など動的条件を反映して変換方法の検出を効率よく行える。例えば図１▲５▼の方向へスキャンした場合スキャンした文字画像は図５（ａ）になり、これを「鏡像変換＋左９０度回転」のヒストグラムを更新して増加させる。図１▲５▼の方向へのスキャンを繰り返し行うと「鏡像変換＋左９０度回転」の頻度が高くなり、頻度に応じて優先的に適用されるようになる。
【００５２】
以上の動作により、スキャン画像から切出した文字画像の回転角度と鏡像反転の有無が検出される。
【００５３】
このように、スキャンした画像中の文字画像の回転角度と鏡像反転の有無を検出し、スキャン画像に対して検出したのと同じ回転・鏡像変換を行うことで、上下左右いずれの方向からスキャンした画像であっても自動的に正立した画像に補正することができる。
＜文字認識の方法＞
以上が、実施例の説明であるが、本件は、文字認識の手法を応用している。そこで、本発明で利用する文字認識の一例をここに簡単に説明しておく。
【００５４】
以下は、電子情報通信学会の「信学技報 ＴＥＣＨＮＩＣＡＬ ＲＥＰＯＲＴＯＦ ＩＥＩＣＥ ＰＲＭＵ−２５（１９９７−０３）鎌田 洋、他」に公表された方式である。
【００５５】
この方式は、少量の圧縮した文字特徴により高速に認識結果候補文字を求めた後に、大量の文字特徴により高精度に認識するものであり、文字切り出し処理と、文字認識処理からなる。
【００５６】
文字切り出し処理は、テキスト文書を内容とする２値画像から、１文字分の画像を切り出す処理である。本処理は、画素から順次文字を構成する要素を統合するボトムアップ処理とし、以下の手順によって処理される。
【００５７】
まず、文字構成の基本要素として、黒画素の連結領域を抽出する。次に外接矩形が重なる複数の連結領域の外接矩形を求め、この位置関係を解析することで、行の方向を判定し、位置を抽出する行の抽出を行う。さらに行に直交する方向に重なるものを１グループとし、その外接矩形を求める行直交方向矩形統合を行い、この外接矩形を行方向に統合して、１文字として認識し、統合部分の外接矩形を文字外接矩形とする。
【００５８】
この文字外接矩形を基準とし、行内で隣接する文字外接矩形の行方向位置から仮想文字枠の幅位置を決定する。
【００５９】
上述した文字切り出し処理の主要な処理に加え、本方式では文字以外のノイズ等の除去や接触した複数の文字の分離も実現している。
【００６０】
次いで、文字認識処理は、文字切り出し処理から切り出された１文字分の画像を入力して文字を認識する処理であり、以下の手順で処理される。
【００６１】
▲１▼正規化
本手順では、文字切り出し処理で仮想文字枠により切り出された１文字分の画像を縦４８画素×横４８画素の正規化現象にする。この１文字分の画像の縦若しくは横が４８画素を越える場合は均等に縮小し、正規化画像の３／４の場合は最大辺が仮想文字枠に収まるように拡大する。
【００６２】
特徴抽出
正規化された文字画像から、文字特徴を抽出する。この方式においては、文字領域を輪郭点数が一定となるように可変分割した領域における輪郭変更量を、可変分割輪郭方向特徴としている。
【００６３】
すなわち、輪郭点を抽出後、文字外接矩形を輪郭点数が均等になるように部分領域に分割し、部分矩形領域において、領域矩形の長辺方向に関する文字輪郭の方向特徴量を求める。最後に部分矩形領域における特徴量を、領域矩形の短辺方向に関して、隣接する部分矩形領域間でぼかし、最終的な文字特徴量とする。
【００６４】
▲２▼特徴圧縮
本手順では、特徴抽出処理で抽出した文字特徴を、少数の次元からなる圧縮特徴に圧縮する。特徴圧縮の処理は、文字特徴の分布を分離しやすい少数の初期座標軸を求める初期圧縮特徴座標軸の抽出の処理と、初期座標軸を直交化した座標軸に関する原特徴の座標を圧縮特徴にする圧縮特徴の算出の処理の２段階で処理される。
【００６５】
▲３▼大分類
本手順では、特徴圧縮処理で求めた圧縮特徴を用いて、認識候補文字を求める。大分類の処理は、精度保証型高速分類と、距離計算による大分類の処理を併用している。前者は詳細分類の文字特徴を大分類特徴空間に射影し、射影される可能性のある文字種を候補文字テーブルとして保持した後、候補文字を検索する処理であるが、本方式においては、分割領域で射影する代わりに、直接に詳細分類特徴を大分類特徴空間に射影し、認識辞書作成のための文字パターンの詳細分類用文字特徴を用い、射影した分布にマージンを加えて大きくしているのが特徴である。
【００６６】
後者は、前者による認識結果候補文字数が７０を越える場合にのみ使用される。
【００６７】
▲４▼詳細識別
本手順では、大分類処理で出力された認識候補文字について、入力文字と認識辞書の原文字特徴との距離計算を行い、距離のソーティング後、最小の距離の認識候補文字を認識結果とする。
【００６８】
＜ハンドヘルドスキャナの例＞
画像入力手段としてのハンドヘルドスキャナとしては、図示しないが、紙などの被読取り媒体上の画像を光学的に読取りアナログ電気信号に変換する画像読取り部と、画像読取り部の読取り媒体上の移動量を計測する移動量計測部と、画像読取り部から出力されるアナログ画像信号を処理する画像信号処理部と、移動量計測部の移動量により画像読取り部の駆動制御を行なう読取り制御部と、外部の情報処理装置へ読取りデータの出力を行なうインターフェィス部とを備えている。
【００６９】
画像読取り部はラインセンサと光源（ＬＥＤもしくは冷陰極管）とレンズにより読取り媒体と密着方式の画像読取りを行う。読取り中は光源を点灯し、ラインセンサを起動信号で読取り開始させることで、センサ上の各位置での反射光量を電気信号に変換し、アナログ信号として出力する。
【００７０】
移動量計測部はエンコーダにより読取り媒体上の移動量をパルス信号に変換して出力する。画像信号処理部は画像読取り部からの画像信号をＡ／Ｄ変換回路によりデジタル化し、さらに必要に応じて２値化などの画像処理を行う。
【００７１】
読取り制御部は全体の読取り制御と情報処理装置へのデータの転送を行う。ラインセンサへの起動信号を読取り期間中は常に発生し、画像処理済みのラインデータを内部のバッファに保存しておく。移動量計測部からの移動パルスを検出した場合、対象ラインのバッファに保存してある画像処理済みのラインデータを情報処理装置へ割り込みで上げ、データ転送を行う。移動パルスがラインセンサの１駆動周期内で２回以上検出した場合には、スキャナの読込み性能以上にスキャナの移動が発生したので１回分のみのデータを転送する。移動パルスがラインセンサの１駆動周期内に検出されない場合には、スキャナが移動していないので、バッファに保存してある画像処理済みのラインデータを破棄して次のラインのデータの保持を行う。
【００７２】
インターフェイス部は情報処理装置への電気的インターフェースを行い、割り込みやデータアクセスを行う。情報処理装置に転送されたデータは情報処理装置の表示部に表示され、読取り中の画像データを確認することができる。
【００７３】
情報処理装置へのデータ転送は１ライン毎に行っているが、読取り制御部内のバッファ容量を大きくすることで、複数ラインデータをまとめて情報処理装置にデータ転送するように構成することも可能である。
＜他の処理例＞
次に、文字画像から検出した回転角度と鏡像反転の有無に対応して、文書画像を正立像にする変換例を説明する。
【００７４】
画像補正部１０５は、変換方法検出部１０４で検出した方向検出結果、すなわち文字画像の回転角度と鏡像反転の有無、および外部からの正立方向指示に基づいて、文書画像を正立像に変換する。以下、正立像への変換方法および実現手段を説明する。
【００７５】
まず、方向検出結果および正立方向指示と、正立像への変換方法の対応関係について説明する。正立させる方向と画像を表示するディスプレイとの対応関係を、図８に示すようにディスプレイの向きに対してそれぞれ正立方向１〜４と定義する。
文字画像の回転角度と鏡像反転の有無、および外部から指示した正立方向１〜４より、文書画像を正立像に変換するための変換方法が図９のように一意に決まる。
図９中の記号Ａ〜Ｇはそれぞれ変換方法を表し、各変換は図１０〜図１６のようになる。変換Ａ〜Ｇは、入力画像に対する以下の変換と等価である。
Ａ：９０度回転￥ Ｂ：１８０度回転
Ｃ：２７０度回転
Ｄ：左右鏡像反転
Ｅ：９０度回転＋左右鏡像反転
Ｆ：１８０度回転＋左右鏡像反転
Ｇ：２７０度回転＋左右鏡像反転
なお、入力画像が正立方向と同一方向の場合には変換は不要であり、変換処理は行なわない。
【００７６】
次に、図１７に示した画像補正部１０５の実施例により、スキャン入力した文書画像の正立方向への変換方法について説明する。
【００７７】
画像補正部１０５は、走査アドレス制御部２０１、横走査アドレス発生部２０２、縦走査アドレス発生部２０３、画素順序変換部２０４により構成する。
【００７８】
走査アドレス制御部２０１は、変換方法検出部１０４の検出結果と正立方向指示に基づいて文書画像を正立させる変換方法を決定し、この変換を行なわせるように横走査アドレス発生部２０２および縦走査アドレス発生部２０３を制御する。
横走査アドレス発生部２０２は、走査アドレス制御部２０１の指示に応じて、画像を右から左、あるいは左から右に画素単位で走査する走査アドレスを発生する。
縦走査アドレス発生部２０３は、走査アドレス制御部２０１の指示に応じて、画像を上から下、あるいは下から上に画素単位で走査する走査アドレスを発生する。
画素順序変換部２０４は、横走査アドレス発生部２０２および縦走査アドレス発生部２０３で発生した走査アドレスに従って入力画像を画素単位に走査し、画素順序を変換した画像を出力する。
【００７９】
具体例を使って、画像補正部１０５の実施例の動作を説明する。
一例として、変換方法検出部１０４により、「回転角度＝９０度、鏡像反転あり」と検出され、正立方向として「正立方向３」が指示された場合について説明する。
【００８０】
本例の場合、走査アドレス制御部２０１は、図９の対応関係から正立像への変換方法として「変換方法Ｇ」（図１６）を選択する。そして、走査アドレス制御部２０１は、図１６（ａ）の入力画像の外側に矢印で示したように、横走査アドレス発生部２０２に対して右から左方向の走査アドレス発生を指示し、同時に縦走査アドレス発生部２０３に対して下から上方向の走査アドレス発生を指示する。
このとき、走査アドレス制御部２０１は、図１６（ａ）の入力画像の内側に矢印で示した走査順序のように、全画素をくまなく走査するように、アドレス発生のタイミングを制御する。
【００８１】
横走査アドレス発生部２０２は、走査アドレス制御部２０１の指示に従い、画像を右から左方向に画素単に走査するアドレスを発生する。同様に、縦走査アドレス発生部２０３も、走査アドレス制御部２０１の指示に従い、下から上方向に画素単位に走査するアドレスを発生する。
画素順序変換部２０４は、図９（ａ）の入力画像から、横走査アドレス発生部２０２および縦走査アドレス発生部２０３で発生した走査アドレスで示される位置の画素を読み出して出力する。
【００８２】
以上の動作により、図９（ａ）の入力画像を図９（ｂ）の画像に変換する。入力画像と変換画像の各角の対応関係を▲１▼〜▲４▼で示してある。他の検出方向および正立方向の組み合わせについても、同様にして文書画像を正立像に変換できる。以上説明したように、本発明により、文字画像から検出した回転角度と鏡像反転の有無、および正立方向指示に基づいて入力文書画像を正立像に変換できる。
【００８３】
【発明の効果】
以上説明したように、本発明の文書画像補正装置によれば、スキャン画像から文字画像を切出してその回転角度及び鏡像反転の内、少なくとも鏡像反転の有無を検出し、検出結果に基づきスキャン画像を正立した画像に自動補正できる。このためハンドヘルドスキャナで上下左右いずれの方向からスキャンしても常に正立した画像が得られ、文書画像補正装置の操作性及びユーザインタフェースの改善に寄与するところが大きい。
【図面の簡単な説明】
【図１】ハンドヘルドスキャナの走査方向を示す図
【図２】各走査方向に対するスキャン画像の例
【図３】正立までの手順を示す原理図
【図４】指定方向への正立を示す図
【図５】本発明の手順を示す第２の図
【図６】実施例の構成ブロック図
【図７】変換方法検出部の構成ブロック図
【図８】ディスプレイと正立させる方向の対応関係を示す図
【図９】文字画像の方向と正立像への変換方法の対応関係を示した図
【図１０】画像変換例１を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１１】画像変換例２を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１２】画像変換例３を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１３】画像変換例４を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１４】画像変換例５を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１５】画像変換例６を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１６】画像変換例７を示す図で、（ａ）は入力画像、（ｂ）は変換後の画像を示す。
【図１７】画像補正部の詳細を示した構成ブロック図
【図１８】従来例を示す図
【符号の説明】
１０１・・文書画像格納部（文書画像格納手段）
１０２・・文字画像切出し部
１０３・・文字画像格納部（文字画像格納手段）
１０４・・検出部（画像状態検出手段）
１０５・・画像補正部（画像補正手段）
１０６・・回転・鏡像変換部（画像変換手段）
１０７・・文字認識部（文字認識手段）
１０８・・変更制御手段
２０１・・走査アドレス制御部
２０２・・横走査アドレス発生部
２０３・・縦走査アドレス発生部
２０４・・画素順序変換部
Claims (13)
- 画像入力手段から入力された文字画像を文字画像格納手段に格納し、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出装置であり、
画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、
文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、
前記画像入力手段が文字を取り込むときの取込方向を頻度順に蓄積する蓄積手段と、
高頻度の取込方向、および前記文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、
を備えたことを特徴とする画像状態検出装置。 - 画像入力手段から入力された文字画像を格納する文字画像格納手段と、
この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出手段と、
この画像状態検出手段の検出結果に基づいて、前記文字画像格納手段に格納された文字画像を正立させる画像補正手段とを備え、
前記画像状態検出手段は、
画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、
文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、
前記画像入力手段が文字を取り込むときの取込方向を頻度順に蓄積する蓄積手段と、
高頻度の取込方向、および前記文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、
を備えたことを特徴とする文書画像補正装置。 - 画像入力手段から入力された、複数の文字からなる文字列を含む文書画像を格納する文書画像格納手段と、
この画像入力手段から入力された文書画像から１個以上の文字画像を切り出す文字画像切り出し手段とを備え、
前記文字画像格納手段は前記文字画像切り出し手段により切り出された文字を格納し、
前記画像補正手段は、
前記画像状態検出手段の検出結果に従い、前記文書画像格納手段に格納された文書画像を指定した特定方向に正立した画像に補正することを特徴とする請求項２記載の文書画像補正装置。 - 前記変換方法検出手段の検出結果に従い、前記画像変換手段の変換を制御する変換制御手段を有することを特徴とする請求項２記載の文書画像補正装置。
- 前記変換方法検出手段は、画像変換手段で得た回転および／または鏡像反転をした全ての回転と鏡像変換の組み合わせの中から、文字認識手段による文字画像の認識率が最大になる時の文字画像の回転角度および／または鏡像反転の有無を検出することを特徴とする請求項１または２記載の装置。
- 前記変換方法検出手段は、文字認識手段による認識率が所定値以上のときの回転角度及び鏡像反転の有無を検出することを特徴とする請求項１または２記載の装置。
- 前記変換制御手段は、回転と鏡像反転を特定の順序で組み合わせて文字画像を変換するよう画像変換手段を制御することを特徴とする請求項４記載の文書画像補正装置。
- 前記変換制御手段は、複数角度の回転と鏡像反転の全ての組み合わせの中から特定の組み合わせについてのみ文字画像の変換を行うように文字変換手段を制御することを特徴とする請求項４記載の文書画像補正装置。
- 前記変換制御手段は、過去に文字画像を正立させた回転と鏡像反転の組み合わせの中から組み合わせの頻度が高い順に組み合わせて文字画像を変換するように画像変換手段を制御することを特徴とする請求項４記載の文書画像補正装置。
- 前記変換制御手段は、画像を所定角度毎の回転を行うとともに、各角度の回転と同時に鏡像反転するように前記画像変換手段を制御することを特徴とする請求項４記載の文書画像補正装置。
- 前記画像変換手段で変換したすべての文字画像の文字認識を文字認識手段により行った結果、認識結果の内、特定条件を満たさない文字画像については、前記画像補正手段による補正を行わないことを特徴とする請求項２記載の装置。
- 画像入力手段から入力された文字画像を文字画像格納手段に格納し、この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出装置であり、
画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、
文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、
前記文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、
前記変換方法検出手段により検出した変換方法のヒストグラムを蓄積する変換方法蓄積手段と、
ヒストグラムの蓄積内容に基づき、検出頻度の高い変換方法を優先的に適用し変換する変換適用手段と、
を備えたことを特徴とする画像状態検出装置。 - 画像入力手段から入力された文字画像を格納する文字画像格納手段と、
この文字画像格納手段に格納された文字画像が本来の文字に対して鏡像反転しているか否か及び／またはどの程度回転しているかを検出する画像状態検出手段と、
この画像状態検出手段の検出結果に基づいて、前記文字画像格納手段に格納された文字画像を正立させる画像補正手段とを備え、
前記画像状態検出手段は、
画像入力手段によって任意方向から取り込んだ文字画像を回転および／または鏡像反転させる画像変換手段と、
文字の特徴情報を記憶した文字認識辞書を参照して前記画像変換手段により変換した文字画像と類似する候補文字および類似度を表す認識率を求める文字認識手段と、
前記文字認識手段の認識結果に基づき原文字画像を正立させるに必要な回転角度及びまたは原文字画像の鏡像反転の有無を検出する変換方法検出手段と、
前記変換方法検出手段により検出した変換方法のヒストグラムを蓄積する変換方法蓄積手段と、
ヒストグラムの蓄積内容に基づき、検出頻度の高い変換方法を優先的に適用し変換する変換適用手段と、
を備えたことを特徴とする文書画像補正装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12257798A JP3582984B2 (ja) | 1998-05-01 | 1998-05-01 | 画像状態検出装置及びそれを利用した文書画像補正装置 |
| US09/233,498 US6804414B1 (en) | 1998-05-01 | 1999-01-20 | Image status detecting apparatus and document image correcting apparatus |
| EP99303420A EP0953932A3 (en) | 1998-05-01 | 1999-04-30 | Image status detecting apparatus and document image correcting apparatus |
| TW088107092A TW452747B (en) | 1998-05-01 | 1999-05-01 | Image status detecting and document image correcting apparatus and methods and computer readable and information storage media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12257798A JP3582984B2 (ja) | 1998-05-01 | 1998-05-01 | 画像状態検出装置及びそれを利用した文書画像補正装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003385411A Division JP2004103038A (ja) | 2003-11-14 | 2003-11-14 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11316798A JPH11316798A (ja) | 1999-11-16 |
| JP3582984B2 true JP3582984B2 (ja) | 2004-10-27 |
Family
ID=14839361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12257798A Expired - Fee Related JP3582984B2 (ja) | 1998-05-01 | 1998-05-01 | 画像状態検出装置及びそれを利用した文書画像補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3582984B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001043310A (ja) * | 1999-07-30 | 2001-02-16 | Fujitsu Ltd | 文書画像補正装置および補正方法 |
| JP2004007240A (ja) | 2002-05-31 | 2004-01-08 | Fujitsu Ltd | 画像入力装置、方法、及びプログラム |
-
1998
- 1998-05-01 JP JP12257798A patent/JP3582984B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11316798A (ja) | 1999-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6804414B1 (en) | Image status detecting apparatus and document image correcting apparatus | |
| JP2986383B2 (ja) | ライン走査画像のためのスキューを補正する方法及びその装置 | |
| US8218890B2 (en) | Method and apparatus for cropping images | |
| JP2001043310A (ja) | 文書画像補正装置および補正方法 | |
| JP2001109895A (ja) | 複数のディジタル画像の処理方法 | |
| WO2009114967A1 (zh) | 基于移动扫描的图像处理方法及装置 | |
| JP3582984B2 (ja) | 画像状態検出装置及びそれを利用した文書画像補正装置 | |
| JPH05174149A (ja) | 画像認識装置 | |
| JP2004103038A (ja) | 画像処理装置 | |
| CN115187989A (zh) | 图像的处理方法、装置、电子设备、扫描笔和存储介质 | |
| JPH0876913A (ja) | 画像処理装置 | |
| JP3814547B2 (ja) | 画像処理装置及びその方法 | |
| JP2004171337A (ja) | 画像撮影装置 | |
| JP5068883B1 (ja) | 画像処理装置およびこれを備えた原稿読取システム | |
| JP3502130B2 (ja) | 表認識装置および表認識方法 | |
| JP2926842B2 (ja) | 文字切出し回路 | |
| JP2514660B2 (ja) | 光学文字読取装置 | |
| KR20050060195A (ko) | 표면 좌표값을 이용한 이미지의 스캔 방법 및 장치 | |
| JP3031565B2 (ja) | 表領域判定方法 | |
| JP2966448B2 (ja) | 画像処理装置 | |
| JP2789835B2 (ja) | 表枠検出方法及び装置 | |
| JPH08329189A (ja) | マーク位置検出装置およびマーク位置検出方法 | |
| JPS61196382A (ja) | 文字切出し方式 | |
| JPH087042A (ja) | 画像認識方法およびその装置 | |
| JPH06162106A (ja) | 電子ファイリングシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040621 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040727 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |