JPH11338974A - 文書処理方法及び装置、記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 異なる言語の混在する原稿の方向を判別する
ことが困難だった。 【解決手段】 入力した画像からテキスト領域を抽出し
（領域分割部１０１）、言語種を判定し（言語種判定部
１０５）、判定された結果に基づいて所定数の文字を複
数方向で文字認識して評価値を求め（文字認識部１０
６）、方向別の評価値を比較して最良方向を判定する
（方向別スコア比較部１０７）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像の文書の方向を
判別する文書処理方法及び装置、記憶媒体に関するもの
である。

【０００２】

【従来の技術】文字認識装置やファイリング装置など、
文書の電子化を行う装置の実用化が進んでいる。そのよ
うな装置自身の処理高速化に伴い、オートドキュメント
シートフィーダー（ＡＤＦ）を備えたスキャナを用い
て、一度に大量の文書原稿を連続で画像データに変換す
る場合の作業効率が重視されている。

【０００３】ＡＤＦは一般的に、同サイズ、同方向の紙
を連続して入力する仕組になっており、紙を縦に使った
原稿と横に使った原稿が混在する場合には、画像データ
における原稿向きがまちまちになってしまう。文字認識
装置やファイリング装置は、入力される原稿が正置であ
ることを仮定しているために、これらの装置に入力され
る迄に、画像の向きをすべて正しい方向に修正しなけれ
ばならない。

【０００４】上記の目的で用いられる、原稿の正しい方
向を自動的に判別する技術が方向判別技術である。その
手法としては、原稿中のテキスト領域内の文字を、文字
認識技術によって０，９０，１８０，２７０度の４方向
に回転しながら読み取り、いちばん文字として正しく読
めた方向を原稿の正しい方向とする方法が知られてい
る。

【０００５】

【発明が解決しようとする課題】文字認識を用いて原稿
方向判別を行う手法は、原稿の文字内容に大きく左右さ
れる。特に、日本語と英語のように、文字種の大きく異
なるテキストが混在する原稿を無差別に読み取って方向
判別する場合、異なる言語種に対する文字認識部分の精
度の差が大きく問題となる。また、アルファベットの文
字には、“Ｉ”や“Ｏ”のように上下の区別がないも
の、“ｂ”と“ｑ”のようにお互い回転相似形が存在す
るものなど、方向判別に適さない文字が多い。

【０００６】上記の問題の解決策のひとつとしては、で
きるだけたくさんの文字を認識して、その総合的な評価
値から方向を判別する方法がある。しかし、文字の認識
処理は、その文字数に比例する処理時間を要すため、大
量文書の効率的処理という観点からは、処理時間を増や
さずに方向判別の精度を上げることが求められる。

【０００７】また、文字認識してテキストとして得たい
場合、オペレータの視認及び手操作により正方向で画像
を入力するか、或は上記方向判別技術を有する画像入力
装置により入力された画像を文字認識装置で取り込み、
通常の文字認識指示をしなければならず、操作が煩雑で
あった。

【０００８】

【課題を解決するための手段】上記従来の技術の課題を
解決するために、本発明は、画像からテキスト領域を抽
出し、前記抽出されたテキスト領域の言語種を判別し、
前記判別された言語種に応じて、前記テキスト領域の文
字を複数の角度で認識して評価値を導出し、前記導出さ
れた評価値に基づいて前記画像の方向を判定する文書処
理方法及び装置、記憶媒体を提供する。

【０００９】上記従来の技術の課題を解決するために、
本発明は、好ましくは前記判別された言語種に応じて、
前記認識を行なう角度を切り替える。

【００１０】上記従来の技術の課題を解決するために、
本発明は、好ましくは前記判別された言語種が日本語で
ある場合には四方向で前記認識を行い、前記判別された
言語種が縦書きを用いない言語である場合には二方向で
前記認識を行なう。

【００１１】上記従来の技術の課題を解決するために、
本発明は、好ましくは前記判別された言語種に応じて、
前記認識に使用する辞書を切り替える。

【００１２】上記従来の技術の課題を解決するために、
本発明は、好ましくは前記判別された言語種に応じて、
前記認識を中断する文字数を切り替える。

【００１３】上記従来の技術の課題を解決するために、
本発明は、好ましくは前記判定された結果に応じて前記
テキスト領域の文字を認識し、認識結果を出力する。

【００１４】上記従来の技術の課題を解決するために、
本発明は、画像から文字を抽出し、前記抽出した文字の
方向を判別し、前記判別した方向に基づいて前記文字を
認識してコード化する文書処理方法及び装置、記憶媒体
を提供する。

【００１５】

【発明の実施の形態】図５は本発明に係る装置の構成図
である。

【００１６】図５において、５０１はＣＰＵ（中央処理
装置）であって、メモリ５０２に格納されている制御プ
ログラムに従って、本発明に係る処理の制御を行う。後
述するフローチャートの各ステップもＣＰＵ５０１によ
り実行される。メモリ５０２は、ＲＡＭ、ＲＯＭ、ハー
ドディスクなどからなる記憶装置で、ＣＰＵ５０１の制
御プログラム及び各種パラメータ、入力画像データや文
字認識辞書などが格納される。５０３は装置に着脱可能
な、光ディスク、磁気ディスク、光磁気ディスク、磁気
テープなどの外部記憶媒体であり、メモリ５０２に格納
されるプログラム及びデータはこの外部記憶媒体より読
み込まれる。また、処理結果はこの外部記憶媒体５０３
に出力される。５０４はネットワークや公衆回線を介し
て他端とデータをやりとりするための通信Ｉ／Ｆであ
り、前記メモリ５０２に格納されるプログラムやデー
タ、および処理結果はこの通信Ｉ／Ｆを介して入出力さ
れる場合もある。５０５はキーボード、ポインティング
デバイス等の入力手段であり、オペレータの指示を伝え
る。画像の入力や文字認識の開始、或は認識処理した結
果のテキストの記憶先の指示等は入力手段５０５より入
力される。５０６は原稿を光学的に読み取り、電気信号
として装置に入力するスキャナ装置である。５０７はＣ
ＲＴや液晶等の表示装置であり、処理結果のテキストを
表示するとともに、オペレータの操作のためのインター
フェースのひとつとなる。５０８はＬＢＰやインクジェ
ット式のプリンタであり、処理結果のテキストをフォン
トで紙に出力する。

【００１７】図１に本発明の第一の実施例のブロック図
を示す。

【００１８】１０１は文書画像をテキスト領域、図領
域、表領域といった性質の異るブロックに分割する領域
分割部、１０２はテキスト領域の行方向を判定する行方
向判定部、１０３は行切り出し部、１０４は文字切り出
し部、１０５はテキスト領域に書かれているのが日本語
文か、英語文かを判定する言語判定部、１０６は方向判
別のためのスコアを算出する文字認識部、１０７は方向
別のスコアを比較して、推定された原稿方向角度を決定
する方向別スコア比較部、１０８は決定された方向に従
って、正方向で原稿内の文字を認識してテキスト化する
文字認識部である。

【００１９】本発明の第一の実施の形態における方向判
別アルゴリズムを、図２のフローチャートを用いて説明
する。

【００２０】スキャナ５０６、外部記憶媒体５０３、或
は通信Ｉ／Ｆ５０４を介して入力した文書の二値画像に
対し、後述する領域分割や文字認識処理の精度を高める
ため、ノイズ除去や微少傾き補正などの前処理をＳ２０
１にて行い、メモリ５０２に格納する。

【００２１】Ｓ２０２で、メモリ５０２に格納されてい
る画像をテキスト領域、図領域、表領域といった性質の
異るブロックに分割する。図４に例を示す。（Ａ）はメ
モリ５０２に格納されている原稿の画像の例であり、
（Ｂ）は画像（Ａ）から抽出したブロックの位置と各ブ
ロックの属性とを対応づけて図示したものである。本処
理は、画像の黒画素の密集度などを用いて行う。領域分
割により得たブロックデータ（ブロックの位置を表す座
標、ブロックの巾・高さ等サイズデータ、そのブロック
の属性（テキスト、表、図、画像等））はメモリ５０２
に格納する。

【００２２】以後の処理は領域分割により抽出されたテ
キストブロックに対して行われる。

【００２３】Ｓ２０３にて、メモリ５０２から、処理対
称の画像から抽出されたブロックデータよりテキストの
属性が付与されているブロックデータを抽出し、抽出さ
れたテキストブロックの数が０の場合は、方向判別不能
としてメモリ５０２に格納されている原稿画像に方向判
別不能の属性を付与し、その画像に対する方向判別処理
を終了する。テキストブロックが存在する場合はＳ２０
４に進む。

【００２４】Ｓ２０４では、方向別のスコアを求める。
方向別のスコアとは、現在のメモリ５０２に格納されて
いる文書が正置の状態から０，９０，１８０，２７０い
ずれの角度回転した状態であるかを求めるために、文書
がそれぞれの角度であると仮定した場合の確信度を数値
にしたものである。具体的には、テキストブロック中の
個々の文字を、それぞれ９０度ずつ回転しながら各々の
角度で文字認識を行い、それぞれの角度の状態でどれだ
け文字として正しく認識されたかを数値で表現する。こ
の値を角度毎に認識文字数分累積したものを方向別スコ
アと呼び、これが高い数値であるほどその方向の確信度
が高いとする。Ｓ２０４における処理の詳細は後述す
る。

【００２５】Ｓ２０５では、Ｓ２０４で処理したテキス
トブロック数が定められた閾値を超えたか否かを判定
し、超えたと判定された場合はＳ２０６に進む。閾値以
下と判定されたならば、Ｓ２０３に戻って、メモリ５０
２に格納されている次のテキストブロックを抽出し、Ｓ
２０３とＳ２０４の処理を同様に繰り返す。

【００２６】Ｓ２０６では、Ｓ２０４で処理されたテキ
ストブロックの方向別スコアを合計し、角度間で比較
し、最良のスコアを持つ角度を原稿の向きと決定する。
ここでは、Ｓ２０４でスコアとして「確信度」を求めて
いる為、Ｓ２０６ではこのスコアが最大のものが最良の
ものであると判定するが、Ｓ２０４で求めるスコアとし
て「認識処理で求める距離」を求める場合は最小のもの
を最良であると判定する。

【００２７】Ｓ２０６で決定された方向属性は、ブロッ
クデータと対応づけてメモリ５０２に格納する。本方向
判別処理の開始前に文字認識が不要である旨指定されて
いる場合はここで処理を終了しても良い。

【００２８】Ｓ２０７において、Ｓ２０６で決定された
原稿の向きで、原稿の全文字を認識し、テキスト化して
メモリ５０２に格納する。

【００２９】図２中のステップＳ２０４における、文字
認識による方向別スコア算出処理の詳細について図３の
フローチャートを用いて説明する。

【００３０】Ｓ３０１では、入力されたテキストブロッ
クに対し、行方向を判別する。ここで言う行方向判別と
は、注目するテキストブロックの行方向が、画像のｘ−
ｙ座標系に対して絶対的に垂直（即ちｘ軸に対して垂
直）になっているか、あるいは水平（即ちｘ軸に対して
水平）になっているかを判断する処理を指し、いわゆ
る、日本語文書の「たてがき」と「よこがき」の区別の
意ではない。本処理は、テキストブロック内の黒画素の
周辺分布の分散を縦横で比較し、横方向の方が分散が大
きい場合は垂直、縦方向の方が分散が大きい場合は水平
と判断する。

【００３１】Ｓ２０３では、テキストブロックの文字行
を切り出す。この処理は行方向判別によって得られた行
方向に対して射影した黒画素の周辺分布の切れ目などを
利用して行う。この切り出した行領域を特定する行位置
情報は、行を切り出した順に付与される行番号と共にメ
モリ５０２に格納する。

【００３２】Ｓ３０３では、テキストブロックの各行か
ら文字を切り出す。この処理は、行毎に、行方向と垂直
に射影した黒画素の周辺分布の切れ目などを利用して行
う。この切り出した文字領域を特定する文字位置情報
は、文字を切り出した順に付与される文字番号と共に、
その文字が切り出された行と対応づけてメモリ５０２に
格納する。

【００３３】Ｓ３０４では、テキストブロックの文字内
容が英語か日本語かの判別を行う。すなわち、アルファ
ベット＋数字＋記号のみからなるテキストか、それ以外
の漢字、かな文字なども含むテキストかを判別し、前者
ならば英語、後者ならば日本語のテキストブロックであ
るとする。具体的な処理手法としては、メモリ５０２に
格納されている行位置情報及び文字位置情報を用いて、
文字画像の矩形の縦横比、ピッチ等から統計的に推定す
る方法がある。

【００３４】Ｓ３０５にて、日本語のブロックと判断さ
れた場合は、Ｓ３０６へ進む。

【００３５】Ｓ３０６では、切り出された文字画像を１
文字ずつ、０，９０，１８０，２７０度の４方向に回転
させて文字認識を行い、それぞれ角度での認識結果に対
しスコアを算出する。

【００３６】文字認識の手法としては、認識したい文字
の画素データから特徴ベクトルを抽出し、これに対して
認識辞書、すなわちあらかじめ認識対象とする文字種す
べての文字データに対して作られたベクトルの集合か
ら、特徴ベクトル空間上での距離が近い物を総当たりで
求めて認識結果の候補とする、いわゆるマッチング方式
を用いる。

【００３７】スコアはマッチング時の第１候補との距離
値および第２候補との距離値の差を第１候補との距離値
で割った値を用いる。４方向それぞれに付いて求めたス
コアを、各方向毎のカウンタに対して１文字認識毎に加
算してゆく。

【００３８】Ｓ３０７にて、テキストブロック内で認識
された文字数が閾値Ｎｊを超えたらこのテキストブロッ
クの処理を終了する。Ｎｊ以下ならばＳ３０６より繰り
返す。

【００３９】Ｓ３０５にて、英語のブロックと判断され
た場合はＳ３０８へと進む。Ｓ３０８では、Ｓ３０６と
同様に文字画像を認識して方向別スコアを加算する。但
し、英語の場合は日本語のように「たてがき」というス
タイルは存在しないので、認識は行方向が水平であれば
０，１８０度、垂直であれば９０，２７０度のそれぞれ
２方向について行えば良い。また、文字認識の時にも辞
書の文字種をアルファベット＋数字＋記号に限定して行
う。

【００４０】Ｓ３０９にて、テキストブロック内で認識
された文字数が閾値Ｎｅを超えたらこのテキストブロッ
クの処理を終了する。Ｎｅ以下ならばＳ３０６より繰り
返す。Ｓ３０７及びＳ３０９で用いる閾値Ｎｊ及びＮｅ
は、各々日本語と英語での方向判別に足ると判定できる
認識文字数の基準値であり、メモリ５０２に予め格納し
てあるものである。

【００４１】前述のＳ３０８の処理では、方向別スコア
算出のための文字認識時に、テキストブロック毎に領域
内のテキストが日本語か英語かを判別して、英語ブロッ
クだった場合は、文字認識の方向を２方向に限定してい
る。また、認識に用いる辞書の字種を英語文字のみに限
定している。この２点により認識処理に要する処理ステ
ップ数は数分の１になり、判別処理の大幅な高速化が可
能である。

【００４２】また、認識に用いる辞書の字種を限定する
ことにより、英語文字に関する認識率が向上するため、
方向別スコアの算出精度も向上する。一方、アルファベ
ットには、“Ｉ”，“ｏ”など転置をひっくりかえして
も形に相違のないもの、“ｄ”と“ｐ”など、１８０度
回転相似な文字の組など、方向判別に用いることのでき
ない文字の割合が日本語文字よりも多い。よって日本語
に対する場合より多い文字数を認識処理するほうが判別
精度の面で望ましい。前述処理ではＳ３０９中の閾値Ｎ
ｅ＞Ｎｊとすることで対応する。この２点は、英語文書
に対する判別処理の精度向上に大きく貢献する。

【００４３】以上説明したように、本発明においては、
日本語と英語が混在する文書に対しても、自動方向判別
を高速かつ高精度に行うことが可能になり、文書の電子
データ化処理の作業能率を向上させることができる。

【００４４】先の説明では、区別されるべき言語として
日本語と英語を挙げたが、日本語の代わりに中国語、英
語の代わりにドイツ語やフランス語などの横書きのみを
用いるアルファベット言語を対象にした言語組で実施さ
れてもよい。

【００４５】その場合も、異種言語が混在する文書に対
して自動方向判別が高速かつ高精度に行うことが可能に
なり、文書の電子データ化処理の作業能率を向上させる
ことができる。

【００４６】また、先の説明では、方向判別に用いるブ
ロックをテキストブロックのみとしたが、例えばテキス
トブロックが１つもない場合等、図や表、画像ブロック
の中の文字を用いて方向判別するようにしても良い。

【００４７】

【発明の効果】以上説明したように、本発明によれば、
画像からテキスト領域を抽出し、前記抽出されたテキス
ト領域の言語種を判別し、前記判別された言語種に応じ
て、前記テキスト領域の文字を複数の角度で認識して評
価値を導出し、前記導出された評価値に基づいて前記画
像の方向を判定することにより、異なる言語が混在する
文書においても、高速且つ高精度で方向半辺うとぉ行な
うことが可能となり、作業能率を向上させることができ
る。

【００４８】以上説明したように、本発明によれば、前
記判別された言語種に応じて、前記認識を行なう角度を
切り替えることにより、言語に適した方向を選択的に判
別対象とするので、方向判別の効率をより向上させるこ
とができる。

【００４９】以上説明したように、本発明によれば、前
記判別された言語種が日本語である場合には四方向で前
記認識を行い、前記判別された言語種が縦書きを用いな
い言語である場合には二方向で前記認識を行なうことに
より、縦書きと横書きのある文書と横書きのみの文書と
で適した方向を選択的に判別対象とすることができ、方
向判別の効率をより向上させることができる。

【００５０】以上説明したように、本発明によれば、前
記判別された言語種に応じて、前記認識に使用する辞書
を切り替えることにより、方向判別の際に行なう文字認
識の効率が向上し、かつ有り得ない文字とマッチングす
ることもないので、方向判別の精度を向上させることも
できる。

【００５１】以上説明したように、本発明によれば、前
記判別された言語種に応じて、前記認識を中断する文字
数を切り替えることにより、言語に応じて方向判別の信
頼度が異なる場合にも対応でき、言語種に合わせて適切
な処理を行なうことができる。

【００５２】以上説明したように、本発明によれば、前
記判定された結果に応じて前記テキスト領域の文字を認
識し、認識結果を出力することにより、方向判別と文字
認識の処理が分散しないので、正方向での文字認識処理
の操作性が格段に向上する。

【００５３】以上説明したように、本発明によれば、画
像から文字を抽出し、前記抽出した文字の方向を判別
し、前記判別した方向に基づいて前記文字を認識してコ
ード化することにより、原稿の入力からコード化までの
処理の間に、オペレータの操作を介在させる必要なく、
自動で行なうことができる。従って、操作性が格段に向
上する。

【図面の簡単な説明】

【図１】本発明に係る機能ブロック図

【図２】本発明にかかる処理のフローチャート

【図３】図２中ステップＳ２０４の処理のフローチャー
ト

【図４】領域分割の例を示す図

【図５】本発明に係る装置のハード構成図

Claims (16)

【特許請求の範囲】
1. 【請求項１】 画像からテキスト領域を抽出し、 前記抽出されたテキスト領域の言語種を判別し、 前記判別された言語種に応じて、前記テキスト領域の文
   字を複数の角度で認識して評価値を導出し、 前記導出された評価値に基づいて前記画像の方向を判定
   することを特徴とする文書処理方法。
2. 【請求項２】 前記判別された言語種に応じて、前記認
   識を行なう角度を切り替えることを特徴とする請求項１
   に記載の文書処理方法。
3. 【請求項３】 前記判別された言語種が日本語である場
   合には四方向で前記認識を行い、前記判別された言語種
   が縦書きを用いない言語である場合には二方向で前記認
   識を行なうことを特徴とする請求項１に記載の文書処理
   方法。
4. 【請求項４】 前記判別された言語種に応じて、前記認
   識に使用する辞書を切り替えることを特徴とする請求項
   １に記載の文書処理方法。
5. 【請求項５】 前記判別された言語種に応じて、前記認
   識を中断する文字数を切り替えることを特徴とする請求
   項１に記載の文書処理方法。
6. 【請求項６】 前記判定された結果に応じて前記テキス
   ト領域の文字を認識し、認識結果を出力することを特徴
   とする請求項１に記載の文書処理方法。
7. 【請求項７】 画像から文字を抽出し、 前記抽出した文字の方向を判別し、 前記判別した方向に基づいて前記文字を認識してコード
   化することを特徴とする文書処理方法。
8. 【請求項８】 画像からテキスト領域を抽出するテキス
   ト領域抽出手段と、 前記テキスト領域抽出手段により抽出されたテキスト領
   域の言語種を判別する言語種判別手段と、 前記言語種判別手段により判別された言語種に応じて、
   前記テキスト領域の文字を複数の角度で認識して評価値
   を求める評価値導出手段と、 前記評価値導出手段により導出された評価値に基づいて
   前記画像の方向を判定する方向判定手段とを有すること
   を特徴とする文書処理装置。
9. 【請求項９】 前記評価値導出手段は、前記判別された
   言語種に応じて、前記認識を行なう角度を切り替えるこ
   とを特徴とする請求項８に記載の文書処理装置。
10. 【請求項１０】 前記評価値導出手段は、前記判別され
    た言語種が日本語である場合には四方向での評価値を導
    出し、前記判別された言語種が縦書きを用いない言語で
    ある場合には二方向での評価値を導出することを特徴と
    する請求項８に記載の文書処理装置。
11. 【請求項１１】 前記評価値導出手段は、前記判別され
    た言語種に応じて、前記認識に使用する辞書を切り替え
    ることを特徴とする請求項８に記載の文書処理装置。
12. 【請求項１２】 前記評価値導出手段は、前記判別され
    た言語種に応じて、前記認識を中断する文字数を切り替
    えることを特徴とする請求項８に記載の文書処理装置。
13. 【請求項１３】 前記判定された結果に応じて前記テキ
    スト領域の文字を認識し、認識結果を出力する出力手段
    を有することを特徴とする請求項８に記載の文書処理装
    置。
14. 【請求項１４】 画像から文字を抽出する文字抽出手段
    と、 前記文字抽出手段により抽出された文字の方向を判別す
    る方向判別手段と、 前記方向判別手段により判別した方向に基づいて前記文
    字を認識してコード化する文字認識手段とを有すること
    を特徴とする文書処理装置。
15. 【請求項１５】 画像からテキスト領域を抽出する為の
    制御プログラムと、 前記抽出されたテキスト領域の言語種を判別する為の制
    御プログラムと、 前記判別された言語種に応じて、前記テキスト領域の文
    字を複数の角度で認識して評価値を導出する為の制御プ
    ログラムと、 前記導出された評価値に基づいて前記画像の方向を判定
    する為の制御プログラムとを記憶したことを特徴とする
    コンピュータにより読取可能な記憶媒体。
16. 【請求項１６】 画像から文字を抽出する為の制御プロ
    グラムと、 前記抽出した文字の方向を判別する為の制御プログラム
    と、 前記判別した方向に基づいて前記文字を認識してコード
    化する為の制御プログラムとを記憶したことを特徴とす
    るコンピュータにより読取可能な記憶媒体。