JP4185625B2

JP4185625B2 - Image processing method, apparatus, and storage medium

Info

Publication number: JP4185625B2
Application number: JP13708099A
Authority: JP
Inventors: 北洋金田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-05-18
Filing date: 1999-05-18
Publication date: 2008-11-26
Anticipated expiration: 2019-05-18
Also published as: JP2000331115A

Description

【０００１】
【発明の属する技術分野】
本発明は、入力した画像の方向判別を精度良く行う為の画像処理に関するものである。
【０００２】
【従来の技術】
従来の文字認識装置やファイリング装置は、入力される原稿が正立状態であることを仮定しているために、これらの装置に入力される前に、まず操作者は画像の向きをすべて正しい方向に修正し、さらに万全を期するために、読み込まれた後の文書画像を表示器の表示画面上に一枚一枚表示して目視で確認し、万が一誤った方向で文書が取り込まれていた場合にはそれに応じて操作者が判定した適切な回転角度（９０，１８０，２７０度）で回転させるよう指示を与える必要があった。
【０００３】
また画像の方向判別や傾き判別の機能におけるモードの設定は、各々独立しており、オペレータの意思により別個に指示されるものであった。
【０００４】
【発明が解決しようとする課題】
上記従来技術では、大量の文書を一度に読み込む処理をする際の作業効率が悪く、操作者の負担が増大してしまうという問題があった。
【０００５】
上記従来技術では、方向判別機能と傾き判別という、画像の入力角度という関連付けて処理されるべき機能が独立しており、その機能に関する指示操作も別個に行わなければならず、操作性が悪かった。
【０００６】
上記従来技術では、自動判別の精度が報知されず、正常に為されているのか否かが分からず、オペレータに不安を与えていた。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理方法は、入力画像の方向を自動的に判定して方向補正処理を実行するように設定するための自動ボタンと、操作者により選択された方向に従って前記入力画像の方向補正処理を実行するように設定するための複数の方向別のボタンと、入力画像の傾きを自動的に判定して傾き補正処理を実行するか否かを示す傾き補正ＯＮ／ＯＦＦボタンとを、指示入力画面内に同時に表示する表示工程と、前記指示入力画面内に表示されている自動ボタンと複数の方向別のボタンとの選択状態に基づいて、前記入力画像の方向を自動的に判定して方向補正処理を実行するか前記操作者により選択された方向での方向補正処理を実行するかを設定するとともに、前記指示入力画面内に表示されている傾き補正ＯＮ／ＯＦＦボタンの選択状態に基づいて、前記入力画像の傾きを自動的に判定して傾き補正するモードをＯＮにするかＯＦＦにするか設定する設定工程と、前記設定工程において設定された設定内容に基づいて、前記入力画像に対する方向補正処理の実行と傾き補正処理の実行とを制御する制御工程と、を含む画像処理方法であって、前記設定工程では、前記指示入力画面内に表示されている自動ボタンと複数の方向別のボタンとのうちから、操作者により前記自動ボタンが選択されたと判断した場合は、前記指示入力画面内に表示されている前記傾き補正ＯＮ／ＯＦＦボタンの選択状態を自動的にＯＮにするとともに、前記入力画像の傾きを自動的に判定して傾き補正するモードをＯＮに設定し、前記指示入力画面内に表示されている自動ボタンと複数の方向別のボタンとのうちから、操作者により前記複数の方向別のボタンのいずれかが選択されたと判断した場合は、前記傾き補正ＯＮ／ＯＦＦボタンの選択状態の自動的な変更は行わないことを特徴とする。
【０００８】
上記課題を解決するために、本発明の画像処理装置は、入力画像の方向を自動的に判定して方向補正処理を実行するように設定するための自動ボタンと、操作者により選択された方向に従って前記入力画像の方向補正処理を実行するように設定するための複数の方向別のボタンと、入力画像の傾きを自動的に判定して傾き補正処理を実行するか否かを示す傾き補正ＯＮ／ＯＦＦボタンとを、指示入力画面内に同時に表示する表示手段と、前記指示入力画面内に表示されている自動ボタンと複数の方向別のボタンとの選択状態に基づいて、前記入力画像の方向を自動的に判定して方向補正処理を実行するか前記操作者により選択された方向での方向補正処理を実行するかを設定するとともに、前記指示入力画面内に表示されている傾き補正ＯＮ／ＯＦＦボタンの選択状態に基づいて、前記入力画像の傾きを自動的に判定して傾き補正するモードをＯＮにするかＯＦＦにするか設定する設定する設定手段と、前記設定手段において設定された設定内容に基づいて、前記入力画像に対する方向補正処理の実行と傾き補正処理の実行とを制御する制御手段と、を含む画像処理装置であって、前記設定手段では、前記指示入力画面内に表示されている自動ボタンと複数の方向別のボタンとのうちから、操作者により前記自動ボタンが選択されたと判断した場合は、前記指示入力画面内に表示されている前記傾き補正ＯＮ／ＯＦＦボタンの選択状態を自動的にＯＮにするとともに、前記入力画像の傾きを自動的に判定して傾き補正するモードをＯＮに設定し、前記指示入力画面内に表示されている自動ボタンと複数の方向別のボタンとのうちから、操作者により前記複数の方向別のボタンのいずれかが選択されたと判断した場合は、前記傾き補正ＯＮ／ＯＦＦボタンの選択状態の自動的な変更は行わないことを特徴とする。
【０００９】
上記課題を解決するために、本発明のコンピュータ読取可能な記憶媒体は、入力画像の方向を自動的に判定して方向補正処理を実行するように設定するための自動ボタンと、操作者により選択された方向に従って前記入力画像の方向補正処理を実行するように設定するための複数の方向別のボタンと、入力画像の傾きを自動的に判定して傾き補正処理を実行するか否かを示す傾き補正ＯＮ／ＯＦＦボタンとを、指示入力画面内に同時に表示する表示工程と、前記指示入力画面内に表示されている自動ボタンと複数の方向別のボタンとの選択状態に基づいて、前記入力画像の方向を自動的に判定して方向補正処理を実行するか前記操作者により選択された方向での方向補正処理を実行するかを設定するとともに、前記指示入力画面内に表示されている傾き補正ＯＮ／ＯＦＦボタンの選択状態に基づいて、前記入力画像の傾きを自動的に判定して傾き補正するモードをＯＮにするかＯＦＦにするか設定する設定工程と、前記設定工程において設定された設定内容に基づいて、前記入力画像に対する方向補正処理の実行と傾き補正処理の実行とを制御する制御工程と、の各工程をコンピュータに実行させるためのプログラムコードを格納したコンピュータ読取可能な記憶媒体であって、前記設定工程では、前記指示入力画面内に表示されている自動ボタンと複数の方向別のボタンとのうちから、操作者により前記自動ボタンが選択されたと判断した場合は、前記指示入力画面内に表示されている前記傾き補正ＯＮ／ＯＦＦボタンの選択状態を自動的にＯＮにするとともに前記入力画像の傾きを自動的に判定して傾き補正するモードをＯＮに設定し、前記指示入力画面内に表示されている自動ボタンと複数の方向別のボタンとのうちから、操作者により前記複数の方向別のボタンのいずれかが選択されたと判断した場合は、前記傾き補正ＯＮ／ＯＦＦボタンの選択状態の自動的な変更は行わないことを特徴とする。
【００１３】
【発明の実施の形態】
図４は本発明に係る装置のハード構成図である。
【００１４】
図４において、４０１はＣＰＵ（中央処理装置）であって、メモリ４０２に格納されている制御プログラムに従って、本発明に係る処理の制御を行なう。後述するフローチャートの各ステップもＣＰＵ１０１により実行される。メモリ４０２は、ＲＡＭ、ＲＯＭ、ハードディスクなどからなる記憶装置で、ＣＰＵ４０１の制御プログラム及び各種パラメータ、入力画像データや文字認識辞書などが格納される。４０３は装置に着脱可能な、光ディスク、磁気ディスク、光磁気ディスク、磁気テープなどの外部記憶媒体であり、メモリ４０２に格納されるプログラム及びデータはこの外部記憶媒体より読み込まれる。また、処理結果はこの外部記憶媒体４０３に出力される。４０４はネットワークや公衆回線を介して他端とデータをやりとりするための通信Ｉ／Ｆであり、前記メモリ４０２に格納されるプログラムやデータ、および処理結果はこの通信Ｉ／Ｆを介して入出力される場合もある。４０５はキーボード、ポインティングデバイス等の入力手段であり、オペレータの指示を伝える。画像の入力や文字認識の開始、或は認識処理した結果のテキストの記憶先の指示等は入力手段４０５より入力される。４０６は原稿を光学的に読み取り、電気信号として原稿の文書画像を装置に入力するスキャナ装置である。４０７はＣＲＴや液晶等の表示装置であり、処理結果のテキストを表示するとともに、オペレータの操作のためのインターフェースのひとつとなる。４０８はＬＢＰやインクジェット式のプリンタであり、処理結果のテキストをフォントで紙に出力する。
【００１５】
図１は、本発明に係る機能ブロック図である。
【００１６】
図１において、２は文書画像を入力する入力部であって、スキャナ４０６或は外部記憶媒体４０３から、または、通信Ｉ／Ｆ４０４を介して他端末から文書画像を入力する。４は入力された文書画像の方向を補正する文書画像方向補正部、６は指示部、８は文書画像の領域識別部、１０は文字認識を行う文字認識部であって、後述するフローチャートのように、ＣＰＵ４０１によって実現される。１２は認識結果出力部であって、表示器４０７或はプリンタ４０４或は外部記憶媒体４０３、または通信Ｉ／Ｆ４０４を介して他端末へ認識結果を出力する。１４は文書画像用メモリであって、メモリ４０２により実現する。
【００１７】
次に動作について説明する。
【００１８】
文書はまず入力部２により、その媒体に関わらず所定の画像に変換され、文書画像メモリ１４に格納する。取得された文書画像は、文書画像メモリ１４を通し文書画像方向補正部４に入力されるが、補正が行われるか否かは指示部６の指示により変化する。補正指示部６により補正を行なう旨指示されていない場合は、文書画像方向補正部４では補正を行わず、入力したままの方向の画像を領域識別部８に出力する。文書画像方向補正部４及び指示部６は後に詳細に説明する。文書画像方向補正４による画像の補正の結果は再び文書画像メモリ１４に蓄積され、領域識別部８においてはその画像を解析して文字、表、図、画像、写真等の画像の種類を表わす属性毎に小領域に分割し、領域を得た順或は座標系の基準位置に近い順に付与した番号、属性、領域の大きさ及び位置情報を小領域ごとにまとめたブロックデータとして出力し、メモリ４０２に格納する。前記領域識別部８において文字領域と判定された、文字の属性を有する小領域内の画像データを、文字認識部１０に送り、文字認識を施す。文字認識結果のテキストを認識結果出力部１２に送り、テキストを構成する文字コードに対応するフォントにより表記器４０７或はプリンタ４０８より出力する。テキストを出力する際には、ブロックデータに含まれる領域の位置情報に基づき、当該テキストを認識した文字領域にフォントを出力することで原稿文書のレイアウトを再現するようにしても良い。また、認識結果のテキスト或はテキストとブロックデータとを共に外部記憶媒体４０３に記憶、或は通信Ｉ／Ｆを介して他端末に出力しても良い。
【００１９】
以下に文書方向補正部４と指示部６について詳細に説明する。
【００２０】
図２に文書画像方向補正部４及び指示部６の処理の連携を表すフローチャートを示す。
【００２１】
Ｓ２０２は、文書画像方向補正の指示入力ルーチンで、キーボード４０５を操作者が操作することにより、操作者の意図するモードを入力する。ここにおけるモードの入力、すなわち文書画像の自動方向補正を行うか否かの指示はいったんメモリ４０２上に蓄えられる。図３は表示器４０７に表示される実際の指示入力画面の一例である。画面上“回転”の“自動”という項目（３００）の白丸を黒丸にすると文書画像方向補正部４による自動方向補正を行い、“なし”の項目の白丸を黒丸にすると自動方向補正は行わない。ここで、黒丸及び白丸はその項目が選択されているか否かを操作者が視認できるように表示している報知画像であって、この黒丸或は白丸上にマウスカーソルを合わせ、マウスボタンをクリックすることにより、その項目が選択され、黒丸表示になる。回転、白黒反転、傾き補正、ページ追加、入力画像といった各グループの中では選択状態になる項目の数は唯一であり、先に説明した動作により何れかの項目が選択された場合、その項目と同じグループであって、他の項目は、非選択状態に変更する。即ち、それらの非選択項目を白丸にする。この、各項目の選択状態は、項目データと対応づけたフラグデータとしてメモリ４０２に格納されているものとする。マウスボタンのクリックに伴い、フラグも更新する。“回転”についての指示項目のグループにおいて、“自動”を選択している場合であっても、その後にその他の項目“なし”“右９０°”“１８０°”“左９０°”が選択された場合は“自動”の選択を解除し、白丸表示にする。図３に示した指示入力画面で設定された各種項目は、画像入力に関する設定データとしてメモリ４０２に格納する。
【００２２】
Ｓ２０４は、文書を実際に入力するルーチンで、スキャナー入力の場合はドライバーへ文書取り込み指示を与え、ファイルの場合は所定の画像に変換し、いずれも文書画像メモリ１４上に文書画像を展開する。
【００２３】
Ｓ２０６は、Ｓ２０２で指示された内容によりその後の処理を決定するルーチンで、メモリ４０２内の画像入力に関する設定データを判別し、文書画像方向補正を自動で行なうように設定されている場合はＳ２０８へ進む。Ｓ２０６において、回転について“なし”と指示されていると判定された場合にはそのままＳ２１２へ制御を移行し、“右９０°”、“１８０°”、“左９０°”と指示されていると判定された場合には、Ｓ２０４で取り込んだ画像をその判定された方向に回転した後Ｓ２１２に制御を移行する。この回転処理はＳ２１０と同じである。
【００２４】
Ｓ２０８は、Ｓ２０４でメモリ上に取り込まれた画像を基にその方向を判別するルーチンである。ここでは、文書画像の中の文字領域を言語種毎に抽出し、それぞれの文字領域に含まれる文字パターンを０，９０，１８０，２７０°の４方向に回転させて各々について先に判定された言語種に適した辞書或は方法で所定数の文字パターンを文字認識を行い、文字認識の結果得た平均類似度の最も高い方向を正立方向と判断し、その正立方向の角度（０，９０，１８０，２７０度のいずれか）を出力するアルゴリズム（特願平１０−１４７６２０号参照）を想定している。
【００２５】
Ｓ２０９は、Ｓ２０８において文方判別の前処理として行った文字パターンの切り出しにより検出された文書画像内の文字数に従って、Ｓ２０８で判別した方向が正常に判別されたものと決定して良いか否かを判断するルーチンで、文書画像内の文字数を、メモリ４０２に予め格納されている基準値と比較することにより判断する。文書画像内の文字数が基準値以上であって、正常と判断された場合はＳ２１０へ、そうでない場合、即ち文書画像内の文字数が基準値より小さい場合はＳ２１１へ制御を移行させる。本ルーチンは、文字数が極端に少ないような場合には文書画像方向の判断が困難なので、そのような文書画像をあらかじめ識別するためのルーチンである。
【００２６】
Ｓ２１０は、Ｓ２０８において求められた回転角度に基づき、文書画像メモリ１４上の文書画像を正立させるよう回転させ、文書画像メモリ１４に格納し直すルーチンである。
【００２７】
Ｓ２１１は、Ｓ２０９で文書画像方向が正常に判別されなかったと判断された場合、操作者に警告を発するルーチンであって、表示器４０７或はプリンタ４０８により、またはスピーカ（図示せず）により、文書画像方向の自動補正ができなかった旨を報知するメッセージや信号を出力する。
【００２８】
或は、Ｓ２１１では、自動補正できなかった画像に対応づけて、文書画像方向の自動補正ができなかった旨を表わすデータをメモリ４０２に格納し、文字認識結果出力時或は操作者によるキーボード４０５からの指示入力に応答して自動補正できなかった画像のデータを識別可能に出力部から出力するようにしても良い。
【００２９】
Ｓ２１２は、領域判別部８により、文書画像メモリ１４上の文書画像の領域を識別するルーチンである。ここは領域識別用の前処理ルーチンも含む。ここでの領域識別処理は、文書画像メモリ１４上の画像に対して行なうので、Ｓ２１０で文書画像が回転処理されていれば回転後の画像に対して行なうことになる。
【００３０】
Ｓ２１４は、文字認識部１０により、Ｓ２１２の領域分割結果に従って、文書画像メモリ１４上の文書画像データにおける文字領域に含まれる文字パターンの文字認識を行うルーチンである。
【００３１】
Ｓ２１６は、出力部１２により、Ｓ２１４の文字認識結果のテキストを所定の形式に変換して出力するルーチンである。
【００３２】
以上述べてきたように、本発明によれば、文書方向判別技術をユーザーフレンドリーなインターフェースで文字認識装置に組み込むことにより、文書取り込みと同時に自動的に正しい方向に文書画像を補正できるようになるので、文書取り込み前後の確認作業が大幅に軽減され、画像取り込みから文字認識出力までの一括処理を高精度に実行することが可能となった。
【００３３】
先に説明したＳ２０９ルーチンでは文書内の文字数により方向判別結果の信頼性を判断していたが、何もこれに限ることはなく、例えば方向判別時の文字認識における最大類似度が、所定値（予めメモリ４０２に格納しておく基準値）と比較し、所定値を下回っていた場合は方向判別結果の信頼性が低いと判断し、Ｓ２１１に進んで補正不能警告を発するようにしても良い。
【００３４】
先に説明したＳ２１１のルーチンでは方向判別結果の信頼性が低いと判断された場合警告を出力していたが、何もこれに限ることはなく、例えばＳ２１６までの処理が終了した後、文書画像メモリ１４に格納されている画像や文字認識結果のテキスト、ブロックデータ等を含めて作成する画像ファイルに方向判別不能という識別インデックスをつけて格納しても良い。
【００３５】
次に“回転”機能を“自動”モードに設定した場合の処理について説明する。
【００３６】
図５に補正指示部６において実行される処理のフローチャートを示す。なお、以下の文章において方向補正とは、文書画像が９０度、１８０度、２７０度に傾いて入力された場合の自動補正であり、一方傾き補正とは、文書画像が±４５度以内の任意の角度で傾いた場合の自動補正を指している。
【００３７】
Ｓ５０２は、方向補正の指示画面呼び出し、入力を促すルーチンであって、図３に示した指示入力画面上でのオペレータの指示操作により、オペレータの所望のモードが指示される。
【００３８】
Ｓ５０４は、Ｓ５０２で呼び出された指示入力画面内で方向補正の指示、すなわち図３中の“回転”機能における“自動”モードを選択したか否かを判別するルーチンで、選択された場合Ｓ５０６へ、そうでない場合はＳ５１４のその他の処理へ制御を移行する。
【００３９】
Ｓ５０６は、方向補正を行うと判断した場合、メモリ４０２内の方向補正フラグをＯＮにするルーチンである。
【００４０】
Ｓ５０８は、Ｓ５０６と連動し図３中の画面上“回転”の“自動”という項目の白丸を黒丸表示にするルーチンである。
【００４１】
Ｓ５１０は、Ｓ５０４において方向補正を行うと判断した場合、傾き補正フラグも同時にＯＮにするルーチンである。即ち“回転”機能において“自動”モードが選択された場合には、オペレータの指示がなくても“傾き補正”機能を“ＯＮ”モードにして実行するよう制御するものである。
【００４２】
Ｓ５１２は、Ｓ５１０と連動し図３中の画面上“傾き補正”の“ＯＮ”という項目の白丸を黒丸表示にするルーチンである。
【００４３】
Ｓ５１４は、指示入力を終了するための種々の処理を行うルーチンである。
【００４４】
図６に補正制御部８、文書画像方向補正部４、文書画像傾き補正部１０の各々で実行する処理の連携を表すフローチャートを示す。
【００４５】
Ｓ６０２は、補正指示入力部から得られる方向補正フラグと傾き補正フラグをメモリより取り込むルーチンである。
【００４６】
Ｓ６０４は、文書画像を実際に入力するルーチンで、スキャナー入力の場合はスキャナドライバーへ文書取り込み指示を与え、ファイルの場合は所定の画像に変換し、いずれもメモリ４０２上に入力した文書画像を展開する。
【００４７】
Ｓ６０６は、Ｓ６０２で取り込まれた方向補正フラグがＯＮかＯＦＦかを判断するルーチンで、ＯＮの場合は、制御をＳ６０８文書画像方向補正へ、ＯＦＦの場合はＳ６１０へ移行する。
【００４８】
Ｓ６０８は、実際に文書画像の方向補正を行うルーチンである。ここでは、文書の文字部を言語種毎に抽出し、０，９０，１８０，２７０度の４方向に回転させて各々の方向で文字認識を行い、平均類似度の最も高い方向を正立方向と判断し、その正立と判定された一つの角度（０，９０，１８０，ｏｒ２７０度）を出力し、それに基づいて補正する。
【００４９】
Ｓ６０２は、正常に文書方向の補正が行えたか否かを判断するルーチンで、正常でない場合はＳ６２２補正不能警告へ、正常終了した場合はＳ６１４文書画像傾き補正へ制御を移行する。ここでは、文書内で検出された文字数によりその角度検出制度の妥当性を計っている。即ち、Ｓ６０８で方向補正をした時にあるしきい値以上の類似度を得た文字画像の数が予め定めた個数以上であった場合に、Ｓ６１２において正常と判定する。しかし、正常か否かの判定はこれに限るものではなく、Ｓ６０８で求めた各角度の平均類似度に最大値が所定の値を超えた場合に正常と判定しても良い。これらの判定に用いる値は、予めメモリ４０２に格納してある。
【００５０】
Ｓ６１０は、Ｓ６０２で取り込まれた傾き補正機能フラグがＯＮかＯＦＦかを判断するルーチンで、ＯＮの場合はＳ６１４文書画像傾き補正へ、ＯＦＦの場合はＳ６２６領域識別へ制御を移行する。
【００５１】
Ｓ６１４は、実際に文書画像の傾き補正を行うルーチンである。これは周知のいかなる方法を用いても良い。
【００５２】
Ｓ６１６は、傾き補正が正常に終了したか否かを判断するルーチンで、正常でない場合はＳ６１８傾き補正不能警告へ、正常終了した場合はＳ６２６の領域識別へ制御を移行する。
【００５３】
Ｓ６１８は、傾き補正が正常に終了しなかった場合、表示器４０７に警告画面を出してオペレータに確認させるルーチンである。
【００５４】
Ｓ６２０は、警告画面を閉じるなどの強制終了処理である。
【００５５】
Ｓ６２２は、方向補正が正常に終了しなかった場合表示器４０７に警告画面を出してオペレータに確認させるルーチンである。
【００５６】
Ｓ６２４は、警告画面を閉じるなどの強制終了処理である。
【００５７】
Ｓ６２６は、文書画像メモリ上の文書画像の領域を識別するルーチンである。ここは領域識別用の前処理ルーチンも含む。
【００５８】
Ｓ６２８は、Ｓ６２６の領域分割結果とメモリ上の文書画像データより文字認識を行うルーチン。
【００５９】
Ｓ６３０は、Ｓ６２８の文字認識結果を所定の形式に変換するルーチン。
【００６０】
Ｓ６１２或はＳ６１６で正常でないと判定された場合には、その旨表わす識別インデックスをその画像ファイルに付しても良い。そして、この場合には、Ｓ６２２或はＳ６１８における警告の報知を行なわなくても良い。
【図面の簡単な説明】
【図１】本発明に係る機能ブロック図
【図２】文書方向補正部及び支持部の処理を表すフローチャート
【図３】文書方向補正指示画面の例示図
【図４】本発明に係る装置のハード構成図
【図５】補正支持部の処理を示すフローチャート
【図６】方法補正機能を自動モードにした場合の処理のフローチャート[0001]
BACKGROUND OF THE INVENTION
The present invention relates to image processing for accurately determining the direction of an input image.
[0002]
[Prior art]
Since conventional character recognition devices and filing devices assume that the input document is upright, the operator must first set the image orientation to the correct direction before input to these devices. In order to make it even better, the document images after being read are displayed one by one on the display screen of the display unit and visually confirmed, and the document is taken in the wrong direction by any chance. In some cases, it is necessary to give an instruction to rotate at an appropriate rotation angle (90, 180, 270 degrees) determined by the operator accordingly.
[0003]
In addition, the mode setting in the image direction determination and tilt determination functions is independent of each other and is separately instructed by the operator's intention.
[0004]
[Problems to be solved by the invention]
The prior art has a problem in that work efficiency when processing to read a large amount of documents at a time is poor and the burden on the operator increases.
[0005]
In the above-described prior art, the functions to be processed in association with the image input angle, ie, the direction determination function and the inclination determination are independent, and the instruction operation related to the function must be performed separately, and the operability is poor. .
[0006]
In the above prior art, the accuracy of automatic discrimination is not notified, and it is not known whether or not it is normally performed, and anxiety is given to the operator.
[0007]
[Means for Solving the Problems]
In order to solve the above-described problem, an image processing method according to the present invention includes an automatic button for automatically determining the direction of an input image and performing a direction correction process, and a direction selected by an operator. And a plurality of direction-specific buttons for setting to execute the direction correction processing of the input image according to the above, and tilt correction ON indicating whether or not the tilt correction processing is executed by automatically determining the tilt of the input image The direction of the input image based on the display state of simultaneously displaying the / OFF button in the instruction input screen, and the selection state of the automatic button and the plurality of directional buttons displayed in the instruction input screen automatically determine and sets whether to perform a direction correction process in the direction selected by the operator whether to perform a direction correction processing, inclination correction oN being displayed on the instruction input screen a Based on the selection state of the OFF button, a setting step of setting whether to set OFF to ON mode of inclination corrected automatically determines the tilt of the input image, the setting content set in the setting step A control process for controlling the execution of the direction correction process and the inclination correction process for the input image, based on the instruction input screen in the setting process . When it is determined that the automatic button is selected by the operator from among the automatic button and a plurality of buttons according to directions , the selection state of the inclination correction ON / OFF button displayed in the instruction input screen is changed. automatically while the oN, the tilt of the input image to automatically determine and set to oN mode to deskew, automatic volume being displayed on the instruction input screen Automatically change the selection state of the tilt correction ON / OFF button when the operator determines that one of the plurality of direction-specific buttons has been selected by the operator. Is not performed .
[0008]
In order to solve the above-described problem, an image processing apparatus according to the present invention includes an automatic button for automatically determining the direction of an input image and performing a direction correction process, and a direction selected by an operator. And a plurality of direction-specific buttons for setting to execute the direction correction processing of the input image according to the above, and tilt correction ON indicating whether or not the tilt correction processing is executed by automatically determining the tilt of the input image The direction of the input image is based on the selection state of the display means for simultaneously displaying the / OFF button in the instruction input screen, the automatic button displayed in the instruction input screen, and a plurality of directional buttons. automatically determine and sets whether to perform a direction correction process in the direction selected by the operator whether to perform a direction correction processing, inclination correction oN being displayed on the instruction input screen a Based on the selection state of the OFF button setting, a setting unit configured to set setting whether to set OFF to ON mode to the inclination correction is determined automatically the tilt of the input image, which is set in said setting means Control means for controlling execution of direction correction processing and inclination correction processing for the input image based on content, wherein the setting means is displayed in the instruction input screen. Selection of the inclination correction ON / OFF button displayed in the instruction input screen when it is determined that the automatic button is selected by the operator from among the automatic buttons and a plurality of buttons according to directions automatically while the oN state, to determine the slope of the input image automatically set to oN mode of inclination correction, is displayed on the instruction input screen When the operator determines that one of the plurality of direction buttons is selected from the automatic button and the plurality of direction buttons, the selection state of the inclination correction ON / OFF button is automatically set. No change is made .
[0009]
In order to solve the above-described problems, a computer-readable storage medium according to the present invention selects an automatic button for automatically determining the direction of an input image and performing a direction correction process, and is selected by an operator. A plurality of direction-specific buttons for setting to execute the direction correction process of the input image according to the specified direction, and whether or not to execute the inclination correction process by automatically determining the inclination of the input image The input based on the display process of simultaneously displaying the inclination correction ON / OFF button in the instruction input screen, and the selection state of the automatic button and the plurality of directional buttons displayed in the instruction input screen. and sets whether to perform a direction correction process in the direction selected by the operator or automatically performs determination to direction correction processing direction of the image, displayed on the instruction input screen Set based on the selected state of the tilt correction ON / OFF button, a setting step of setting whether to set OFF to ON mode of inclination corrected automatically determines the tilt of the input image, in the setting step are A computer-readable storage of program code for causing a computer to execute each of the control process for controlling the execution of the direction correction process and the execution of the inclination correction process for the input image based on the set content. In the setting step, in the setting step, when it is determined that the automatic button is selected by the operator from the automatic button displayed in the instruction input screen and a plurality of buttons according to directions , inclination of the input image with automatically turns oN the selection state of the inclination correction oN / OFF button that is displayed on the instruction input screen Automatically determined by setting the ON mode of inclination correction, the out of the automatic buttons and a plurality of direction-of buttons displayed on the instruction input screen, the operator by the specific plurality of directions When it is determined that any of the buttons is selected, the selection state of the tilt correction ON / OFF button is not automatically changed .
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 4 is a hardware configuration diagram of the apparatus according to the present invention.
[0014]
In FIG. 4, reference numeral 401 denotes a CPU (Central Processing Unit) that controls processing according to the present invention in accordance with a control program stored in the memory 402. Each step of the flowchart to be described later is also executed by the CPU 101. The memory 402 is a storage device including a RAM, a ROM, a hard disk, and the like, and stores a control program for the CPU 401, various parameters, input image data, a character recognition dictionary, and the like. Reference numeral 403 denotes an external storage medium such as an optical disk, a magnetic disk, a magneto-optical disk, or a magnetic tape that can be attached to and detached from the apparatus. Programs and data stored in the memory 402 are read from the external storage medium. The processing result is output to the external storage medium 403. Reference numeral 404 denotes a communication I / F for exchanging data with the other end via a network or a public line. Programs and data stored in the memory 402 and processing results are input / output via the communication I / F. Sometimes it is done. Reference numeral 405 denotes input means such as a keyboard and a pointing device, which conveys operator instructions. An input unit 405 inputs an image, starts character recognition, or indicates a text storage destination as a result of recognition processing. A scanner device 406 optically reads a document and inputs a document image of the document as an electrical signal to the device. Reference numeral 407 denotes a display device such as a CRT or a liquid crystal, which displays a processing result text and is one of interfaces for an operator's operation. Reference numeral 408 denotes an LBP or ink-jet printer, which outputs processing result text on paper in font form.
[0015]
FIG. 1 is a functional block diagram according to the present invention.
[0016]
In FIG. 1, reference numeral 2 denotes an input unit for inputting a document image, which inputs the document image from the scanner 406 or the external storage medium 403 or from another terminal via the communication I / F 404. 4 is a document image direction correcting unit that corrects the direction of the input document image, 6 is an instruction unit, 8 is a document image region identifying unit, and 10 is a character recognizing unit that performs character recognition. Further, it is realized by the CPU 401. A recognition result output unit 12 outputs the recognition result to another terminal via the display 407, the printer 404, the external storage medium 403, or the communication I / F 404. A document image memory 14 is realized by the memory 402.
[0017]
Next, the operation will be described.
[0018]
The document is first converted into a predetermined image by the input unit 2 regardless of the medium, and stored in the document image memory 14. The acquired document image is input to the document image direction correction unit 4 through the document image memory 14, but whether or not the correction is performed varies depending on an instruction from the instruction unit 6. If the correction instructing unit 6 has not instructed to perform correction, the document image direction correcting unit 4 does not perform correction, and outputs an image in the input direction to the region identifying unit 8. The document image direction correction unit 4 and the instruction unit 6 will be described in detail later. The result of the image correction by the document image direction correction 4 is stored again in the document image memory 14, and the area identification unit 8 analyzes the image and represents the type of image such as a character, table, figure, image, or photograph. Each block is divided into small areas, and the number, attribute, area size, and position information assigned in the order in which the areas were obtained or in the order close to the reference position of the coordinate system are output as block data that is grouped for each small area. Stored in 402. The image data in the small region having the character attribute determined as the character region in the region identifying unit 8 is sent to the character recognizing unit 10 for character recognition. The text of the character recognition result is sent to the recognition result output unit 12, and is output from the notation device 407 or the printer 408 in a font corresponding to the character code constituting the text. When outputting the text, the layout of the original document may be reproduced by outputting the font to the character area where the text is recognized based on the position information of the area included in the block data. Further, the recognition result text or the text and block data may be stored in the external storage medium 403 or output to another terminal via the communication I / F.
[0019]
Hereinafter, the document direction correction unit 4 and the instruction unit 6 will be described in detail.
[0020]
FIG. 2 is a flowchart showing the cooperation of the processing of the document image direction correction unit 4 and the instruction unit 6.
[0021]
S202 is a document image direction correction instruction input routine, in which the operator operates the keyboard 405 to input the mode intended by the operator. The mode input here, that is, an instruction as to whether or not to automatically correct the document image is temporarily stored in the memory 402. FIG. 3 is an example of an actual instruction input screen displayed on the display 407. If the white circle in the “automatic” item (300) of the “rotation” on the screen is a black circle, automatic orientation correction is performed by the document image direction correction unit 4, and if the white circle in the “none” item is a black circle, automatic direction correction is not performed. . Here, black circles and white circles are notification images that are displayed so that the operator can see whether or not the item is selected. Place the mouse cursor on the black circle or white circle and click the mouse button. As a result, the item is selected and a black circle is displayed. In each group such as rotation, black and white reversal, skew correction, page addition, and input image, the number of items to be selected is unique, and if any item is selected by the operation described above, Other items in the same group are changed to a non-selected state. That is, those non-selected items are made into white circles. The selection state of each item is assumed to be stored in the memory 402 as flag data associated with the item data. The flag is updated as the mouse button is clicked. Even if “Automatic” is selected in the “Rotation” instruction item group, other items “None”, “90 ° right”, “180 °”, and “90 ° left” are selected. If this happens, deselect “Auto” and display a white circle. Various items set on the instruction input screen shown in FIG. 3 are stored in the memory 402 as setting data relating to image input.
[0022]
S204 is a routine for actually inputting a document. In the case of scanner input, a document capture instruction is given to the driver, and in the case of a file, the document is converted into a predetermined image, and both are developed on the document image memory 14.
[0023]
S206 is a routine for determining the subsequent processing based on the content instructed in S202. The setting data relating to image input in the memory 402 is discriminated. If the document image direction correction is set to be automatically performed, the process proceeds to S208. move on. If it is determined in S206 that “none” is instructed for rotation, the control proceeds directly to S212, where “right 90 °”, “180 °”, and “left 90 °” are instructed. If it is determined, after the image captured in S204 is rotated in the determined direction, control is transferred to S212. This rotation process is the same as S210.
[0024]
S208 is a routine for determining the direction based on the image captured in the memory in S204. Here, character regions in the document image are extracted for each language type, and character patterns included in the respective character regions are rotated in four directions of 0, 90, 180, and 270 degrees, and each is determined first. Character recognition is performed on a predetermined number of character patterns using a dictionary or method suitable for the language type, the direction with the highest average similarity obtained as a result of character recognition is determined as the erect direction, and the angle (0 , 90, 180, or 270 degrees) (see Japanese Patent Application No. 10-147620).
[0025]
In step S209, it is determined whether or not the direction determined in step S208 can be determined to be normally determined according to the number of characters in the document image detected by the character pattern cut-out performed as the pre-processing for writing method determination in step S208. In the determination routine, the number of characters in the document image is determined by comparing with a reference value stored in advance in the memory 402. If the number of characters in the document image is equal to or greater than the reference value and is determined to be normal, the process proceeds to S210. If not, that is, if the number of characters in the document image is smaller than the reference value, the control proceeds to S211. This routine is a routine for identifying such a document image in advance because it is difficult to determine the direction of the document image when the number of characters is extremely small.
[0026]
S210 is a routine in which the document image on the document image memory 14 is rotated upright based on the rotation angle obtained in S208 and stored in the document image memory 14 again.
[0027]
S211 is a routine for issuing a warning to the operator when it is determined in S209 that the document image direction has not been correctly determined. The document is displayed by the display 407 or the printer 408, or by a speaker (not shown). A message or signal for notifying that automatic correction of the image direction could not be performed is output.
[0028]
Alternatively, in S211, data indicating that the document image direction could not be automatically corrected is stored in the memory 402 in association with the image that could not be automatically corrected, and the keyboard 405 is output when the character recognition result is output or by the operator. The image data that could not be automatically corrected in response to the instruction input from may be output from the output unit in an identifiable manner.
[0029]
S212 is a routine for identifying the area of the document image on the document image memory 14 by the area discriminating unit 8. This includes a pre-processing routine for area identification. Since the region identification processing here is performed on the image on the document image memory 14, if the document image is rotated at S210, it is performed on the rotated image.
[0030]
S214 is a routine in which the character recognition unit 10 performs character recognition of the character pattern included in the character region in the document image data on the document image memory 14 in accordance with the region division result of S212.
[0031]
S216 is a routine in which the output unit 12 converts the text of the character recognition result of S214 into a predetermined format and outputs it.
[0032]
As described above, according to the present invention, by incorporating the document orientation determination technology into the character recognition device with a user-friendly interface, the document image can be automatically corrected in the correct direction simultaneously with the document capture. As a result, the confirmation work before and after document capture has been greatly reduced, and batch processing from image capture to character recognition output can be executed with high accuracy.
[0033]
In the above-described S209 routine, the reliability of the direction determination result is determined based on the number of characters in the document. However, the present invention is not limited to this. For example, the maximum similarity in character recognition at the time of direction determination is a predetermined value ( (Compared with a reference value stored in the memory 402 in advance), if it is below the predetermined value, it may be determined that the reliability of the direction determination result is low, and the process proceeds to S211 to issue an uncorrectable warning.
[0034]
In the routine of S211 described above, a warning is output when it is determined that the reliability of the direction determination result is low. However, nothing is limited to this. For example, after the processing up to S216 is completed, the document image is output. The image file created including the image stored in the memory 14, the text of the character recognition result, the block data, and the like may be stored with an identification index indicating that the direction cannot be determined.
[0035]
Next, processing when the “rotation” function is set to the “automatic” mode will be described.
[0036]
FIG. 5 shows a flowchart of processing executed in the correction instruction unit 6. In the following text, the direction correction is an automatic correction when the document image is input with an inclination of 90 degrees, 180 degrees, or 270 degrees. On the other hand, the inclination correction is an arbitrary correction within ± 45 degrees of the document image. Refers to automatic correction when tilted at an angle of.
[0037]
S502 is a routine for calling and inputting an instruction screen for direction correction, and the operator's desired mode is instructed by the operator's instruction operation on the instruction input screen shown in FIG.
[0038]
S504 is a routine for determining whether or not the “automatic” mode in the “rotation” function in FIG. 3 is selected in the instruction input screen called in S502, that is, the routine proceeds to S506. If not, the control shifts to other processing in S514.
[0039]
S506 is a routine for turning on the direction correction flag in the memory 402 when it is determined that the direction correction is to be performed.
[0040]
S508 is a routine that links the white circle of the item “automatic” of “rotation” on the screen in FIG.
[0041]
S510 is a routine for turning on the inclination correction flag at the same time when it is determined in S504 that the direction correction is to be performed. That is, when the “automatic” mode is selected in the “rotation” function, the “tilt correction” function is controlled to be executed in the “ON” mode without any instruction from the operator.
[0042]
S512 is a routine that links the white circle of the item “ON” of “tilt correction” on the screen in FIG.
[0043]
S514 is a routine for performing various processes for ending the instruction input.
[0044]
FIG. 6 is a flowchart showing the cooperation of processing executed by each of the correction control unit 8, the document image direction correction unit 4, and the document image inclination correction unit 10.
[0045]
S602 is a routine for fetching the direction correction flag and the inclination correction flag obtained from the correction instruction input unit from the memory.
[0046]
S604 is a routine for actually inputting a document image. In the case of a scanner input, a document import instruction is given to the scanner driver, and in the case of a file, the document image is converted into a predetermined image, both of which are developed on the memory 402. To do.
[0047]
S606 is a routine for determining whether the direction correction flag fetched in S602 is ON or OFF. If it is ON, control proceeds to S608 document image direction correction, and if it is OFF, control proceeds to S610.
[0048]
Step S608 is a routine for actually correcting the direction of the document image. Here, the character part of the document is extracted for each language type, rotated in four directions of 0, 90, 180, and 270 degrees to perform character recognition in each direction, and the direction with the highest average similarity is the upright direction. And outputs one angle (0, 90, 180, or 270 degrees) determined to be upright, and corrects based thereon.
[0049]
S602 is a routine for determining whether or not the document orientation has been corrected normally. If it is not normal, the control shifts to S622 correction impossible warning, and if it ends normally, the control shifts to S614 document image tilt correction. Here, the validity of the angle detection system is measured by the number of characters detected in the document. That is, when the number of character images that have obtained a similarity equal to or greater than a certain threshold when the direction is corrected in S608 is greater than or equal to a predetermined number, it is determined that the image is normal in S612. However, the determination as to whether or not it is normal is not limited to this, and it may be determined as normal when the maximum value of the average similarity of each angle obtained in S608 exceeds a predetermined value. Values used for these determinations are stored in the memory 402 in advance.
[0050]
S610 is a routine for determining whether the tilt correction function flag fetched in S602 is ON or OFF. If ON, the control shifts to S614 document image tilt correction, and if OFF, the control shifts to S626 area identification.
[0051]
S614 is a routine for actually correcting the inclination of the document image. For this, any known method may be used.
[0052]
S616 is a routine for determining whether or not the inclination correction has been normally completed. If it is not normal, the control shifts to the S618 inclination correction impossible warning, and if the inclination correction has ended normally, the control shifts to the area identification of S626.
[0053]
S618 is a routine for displaying a warning screen on the display unit 407 and allowing the operator to check if the tilt correction is not normally completed.
[0054]
S620 is a forced termination process such as closing the warning screen.
[0055]
S622 is a routine for displaying a warning screen on the display unit 407 and allowing the operator to confirm if the direction correction is not normally completed.
[0056]
S624 is a forced termination process such as closing the warning screen.
[0057]
S626 is a routine for identifying a document image area on the document image memory. This includes a pre-processing routine for area identification.
[0058]
S628 is a routine for recognizing characters from the region division result of S626 and the document image data in the memory.
[0059]
S630 is a routine for converting the character recognition result of S628 into a predetermined format.
[0060]
If it is determined in S612 or S616 that the image file is not normal, an identification index indicating that fact may be attached to the image file. In this case, the warning notification in S622 or S618 may not be performed.
[Brief description of the drawings]
FIG. 1 is a functional block diagram according to the present invention. FIG. 2 is a flowchart showing processing of a document orientation correcting unit and a supporting unit. FIG. 3 is an exemplary diagram of a document orientation correcting instruction screen. FIG. 5 is a flowchart showing processing of the correction support unit. FIG. 6 is a flowchart of processing when the method correction function is set to an automatic mode.

Claims

An automatic button for automatically determining the direction of the input image and performing the direction correction process, and setting to perform the input image direction correction process according to the direction selected by the operator A display step of simultaneously displaying a plurality of direction-specific buttons and an inclination correction ON / OFF button indicating whether or not to execute an inclination correction process by automatically determining the inclination of the input image in the instruction input screen When,
Based on the selection state of the automatic button displayed in the instruction input screen and a plurality of buttons according to directions, the direction of the input image is automatically determined and direction correction processing is executed or by the operator Sets whether to perform direction correction processing in the selected direction, and automatically adjusts the tilt of the input image based on the selection state of the tilt correction ON / OFF button displayed in the instruction input screen. A setting step for setting whether to turn on or off a mode for determining and correcting inclination;
A control step for controlling execution of direction correction processing and inclination correction processing for the input image based on the setting content set in the setting step, and an image processing method comprising:
In the setting step,
When it is determined that the automatic button is selected by an operator from among the automatic button displayed in the instruction input screen and a plurality of buttons according to directions , the information displayed in the instruction input screen is displayed. The selection state of the tilt correction ON / OFF button is automatically turned ON, the tilt of the input image is automatically determined, and the tilt correction mode is set ON .
If the operator determines that one of the buttons for the plurality of directions is selected from the automatic buttons and the buttons for the plurality of directions displayed in the instruction input screen, the tilt correction is turned on. An image processing method for controlling an image processing apparatus, wherein an automatic change of a selection state of an / OFF button is not performed .

The image processing according to claim 1, further comprising: a character recognition processing step of executing character recognition processing on the input image after execution control of the direction correction processing and the inclination correction processing is performed. Method.

The image processing method according to claim 1, wherein the setting in the setting step is set before the input image is input.

In the control step, when the automatic button is selected, the direction of the input image is automatically determined as one of 0 degree, 90 degrees, 180 degrees, and 270 degrees, and the direction is determined based on the determination result. The image processing method according to claim 1, wherein execution of correction processing is controlled .

The direction-specific buttons include a non-rotating button, a 90-degree button, a 180-degree button, and a 270-degree button,
In the control step,
When the automatic button is selected, the direction of the input image is automatically determined, and the input image is rotationally corrected in the determined direction.
If any of the 90-degree button , 180-degree button , and 270-degree button is selected, the input image is rotationally corrected in the selected direction,
If the no-rotate button is selected, by not rotating the input image,
The image processing method according to any one of claims 1 to 4, wherein the controller controls the direction correction processing.

An automatic button for automatically determining the direction of the input image and performing the direction correction process, and setting to perform the input image direction correction process according to the direction selected by the operator Display means for simultaneously displaying a plurality of buttons for each direction and an inclination correction ON / OFF button for automatically determining the inclination of the input image and indicating whether or not to execute the inclination correction processing in the instruction input screen. When,
Based on the selection state of the automatic button displayed in the instruction input screen and a plurality of buttons according to directions, the direction of the input image is automatically determined and direction correction processing is executed or by the operator Sets whether to perform direction correction processing in the selected direction, and automatically adjusts the tilt of the input image based on the selection state of the tilt correction ON / OFF button displayed in the instruction input screen. A setting means for setting whether to turn on or off a mode for determining and correcting inclination; and
An image processing apparatus comprising: control means for controlling execution of a direction correction process and an inclination correction process for the input image based on setting contents set by the setting means;
In the setting means,
When it is determined that the automatic button is selected by an operator from among the automatic button displayed in the instruction input screen and a plurality of buttons according to directions , the information displayed in the instruction input screen is displayed. The selection state of the tilt correction ON / OFF button is automatically turned ON, the tilt of the input image is automatically determined, and the tilt correction mode is set ON .
If the operator determines that one of the buttons for the plurality of directions is selected from the automatic buttons and the buttons for the plurality of directions displayed in the instruction input screen, the tilt correction is turned on. An image processing apparatus characterized by not automatically changing the selection state of the / OFF button .

An automatic button for automatically determining the direction of the input image and performing the direction correction process, and setting to perform the input image direction correction process according to the direction selected by the operator A display step of simultaneously displaying a plurality of direction-specific buttons and an inclination correction ON / OFF button indicating whether or not to execute an inclination correction process by automatically determining the inclination of the input image in the instruction input screen When,
Based on the selection state of the automatic button displayed in the instruction input screen and a plurality of buttons according to directions, the direction of the input image is automatically determined and direction correction processing is executed or by the operator Sets whether to perform direction correction processing in the selected direction, and automatically adjusts the tilt of the input image based on the selection state of the tilt correction ON / OFF button displayed in the instruction input screen. A setting step for setting whether to turn on or off a mode for determining and correcting inclination;
Stores a program code for causing a computer to execute each of the control process for controlling the execution of the direction correction process and the inclination correction process for the input image based on the setting content set in the setting process A computer-readable storage medium,
In the setting step,
When it is determined that the automatic button is selected by an operator from among the automatic button displayed in the instruction input screen and a plurality of buttons according to directions , the information displayed in the instruction input screen is displayed. The selection state of the inclination correction ON / OFF button is automatically turned ON, the inclination of the input image is automatically determined, and the inclination correction mode is set to ON .
If the operator determines that one of the buttons for the plurality of directions is selected from the automatic buttons and the buttons for the plurality of directions displayed in the instruction input screen, the tilt correction is turned on. A computer-readable storage medium characterized by not automatically changing the selection state of the / OFF button .