JPH0969136A - 文書方向判定方法及び装置及び文字認識装置、及びコンピュータ制御装置 - Google Patents

Abstract

(57)【要約】 【課題】文書画像データに含まれる複数領域について文
書方向を判別し、判別された各領域の方向に基づいて当
該文書画像の方向を決定することにより、より正確に文
書方向を判定する。 【解決手段】スキャナ部１１より入力された文書画像デ
ータは領域分離部１４によりを複数の領域に分離され
る。このとき、領域分離部１４において得られた複数の
部分領域のそれぞれについて、属性が付与される。領域
の属性としては、例えば、本文中の文字領域、表組中の
文字領域等である。そして、これらの各属性には予め優
先度が与えられている。文字認識／方向判別部１３は、
複数の部分領域のそれぞれについて、文字の方向を検出
して文書方向を判別する。そして、文字認識／方向判別
部１３で判別された各部分領域の文書方向と、各部分領
域に付与されている属性の優先度に基づいて当該文書画
像データの方向を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書原稿を光学的
に読み取って得られる画像データより当該文書原稿の方
向を判定する文書方向判定方法及び装置、及び該文書方
向判定装置を備えた文字認識装置に関する。

【０００２】

【従来の技術】従来、文字認識処理においては、原稿を
光学的に読み取る装置、いわゆるスキャナを用いて画像
データを獲得し、この画像データに対して、文字認識を
行なっている。この場合、もし画像データが９０°ある
いは１８０°回転されて読み取られたりしていると、文
字認識結果として全く異なるコードを出力してしまう。
これは、獲得された画像データについて一応文字認識を
実行するものの、文字の方向が正しくないため、認識結
果が滅茶苦茶なものとなってしまうためである。

【０００３】そこで、正しく文字認識が行なわれるよう
に、文書の方向が不正である場合には、原稿の読取り方
向を人が直して、再度入力し、認識処理を行なってき
た。しかしながら、（１）スキャナの処理のスピードが
向上し、オートフィーダと呼ばれる原稿自動給紙機能が
附属され始めてから、大量の原稿を処理することが増え
てきて、人がいちいち原稿の方向を補正することがむず
かしくなってきた、（２）Ａ４のスキャナの場合、原稿
の置きかたは一義的に決まってしまう、といった理由に
より、文書方向の自動判別／回転機能は必要な技術とな
ってきている。

【０００４】図１２は、文書方向の自動判別の代表的な
手法を説明する図である。図１２において、（ａ）で
は、領域分離の結果を用いて表のような線のある部分１
０００を抽出し、その方向性を見て（例えば、横方向に
長い線で分割されている特徴を用いて）その文書の方向
性を認識する方式が示されている。また、図１２の
（ｂ）に示されるように、縦方向と横方向の射影（ヒス
トグラム１００１）を検出して、その区切れ具合を見て
方向を判断したり（例えば、ヒストグラムが細切れにな
っているほうを横方向とする）、領域分離して、文字領
域の特徴にマッチした矩形領域１００２の横長、縦長と
いった特徴から文書の方向を判別する。

【０００５】以上のような判別手法による文書方向の判
別結果より、文書が横方向か縦方向かを判別し、必要に
応じて画像の回転を行なっていた。そして回転された画
像に対して、文字認識処理を行ない、認識結果を得てい
た。

【０００６】文字認識への期待は、大量の文書を整理し
たいという要求のもとで近年非常に高まっており、文字
認識装置は電子ファイリングやＤＴＰに搭載されたり、
複写機のような大量に文書を処理する機器に搭載された
りしている。このような文字認識装置により、紙に書か
れた文書中の文字を、検索に利用したり、ＤＴＰソフト
上で処理したりすることが可能となる。

【０００７】以上のように、文字認識装置において、人
間の手を煩わせない各種の自動化技術は、大きな課題と
なってきた。特に、文書方向自動補正技術は、なくては
ならない重要な技術である。

【０００８】

【発明が解決しようとする課題】上述した従来の文字認
識装置には、以下に示されるような問題がある。即ち、 （１）文書が誤った方向に入力されたことによる、文字
認識の誤認識の発生。 （２）読み取り画像データが、横を向いていたり、逆さ
を向いていたりした場合、モニター等で確認した場合の
不都合さ。 （３）文書方向判別の精度。 （４）文書中に異なる方向の文字が混在するものに対す
る方向判別の精度。 という問題がある。上述の各問題について、以下に簡単
な説明を行なう。

【０００９】（１）文書方向相違による誤認識の発生 図１３は、「高」という文字に対して、読取り方向が回
転した場合の各方向における認識結果を示す図である。
なお、図１３で示したのはあくまでも一例であり、誤認
識の結果は必ずしも図のとおりとなるとは限らない。図
１３に示したように、文書の読取り方向が２７０度回転
した場合の認識結果は「打」、１８０度の場合は
「字」、９０度の場合は認識不可能というように誤認
識、あるいは認識できないという結果を生じる。このよ
うに文字認識は、あくまでも文字が正方向を向いている
として、得られた特徴から文字候補を選び出すので、読
取り方向が回転すればその認識結果も誤ったものとな
る。

【００１０】（２）モニタ上における画像データの確認
の際の不都合さの発生 図１４は、スキャナ等で読み込まれた画像データをディ
スプレイ表示している状態を表す図である。（ａ）は、
Ａ４縦方向の文書がＡ４縦置きで読み取られた場合の表
示例で、表示が正常な場合である。（ｂ）は、Ａ４縦方
向の文書をＡ４横置きで読み取られた場合の表示例で、
人間が見ると、９０°回転している画像となっている。
これは、紙面上における文書の書かれ方（文書の方向）
と、スキャナから画像入力する際の原稿の置方の関係か
ら発生する。

【００１１】図１５は紙面上における文書の各種の配置
状態を説明する図である。紙面に対する文書の配置は、
図１５に示すように各種の形態がある。（ａ）は、Ａ４
縦置き文書で日本語の横書き文書や英語の文書等でよく
用いられる形態である。（ｂ）は、Ａ４横置きで、一行
の長さが長い文書や、ＯＨＰ用の文書、Ａ３、Ｂ４など
の文書を縮小コピーした場合などでよく用いられる形態
である。（ｃ）はＡ４横置きで、真中で段組が切り替わ
っているもので、Ａ４文書を２枚連続して縮小コピーし
た場合に用いられる形態である。（ｄ）は、Ａ４縦置き
における縦書き文書の形態である。

【００１２】一方、スキャナは機種により読み取り方法
がまちまちである。例えば、原稿サイズ最大Ａ４まで入
力できるフラットベットのスキャナや、Ａ４原稿を縦方
向にスライドして読み込む方式のスキャナ等では、原稿
読み取り方向が一義的に決まってしまう。このため、文
書配置の形態によっては、方向が不正方向に読み込まれ
てしまう。

【００１３】また、複写機のスキャナ部を利用して原稿
を読み取るものがある。このようなスキャナでは、読み
取るべき原稿の置方が比較的自由である。そのため、人
間が正しい方向に原稿をおいて画像入力することが可能
である。特に、原稿枚数の多い文書の読取りを行う際
に、オートフィーダーを用いて自動的に原稿を取り込ん
で読取りを行うことが可能なものもある。しかしなが
ら、オートフィーダーを用いて原稿の取り込を行う場
合、文書中に不正方向に向いている原稿がまじっていた
り、文書の配置方法が異なる原稿が含まれていたりする
と、画像が不正方向に入力されてしまうことになる。

【００１４】以上のような原因により、図１４に示した
ディスプレイ表示がおかしな方向になってしまう。この
ため画像を正常方向に回転する必要がある。

【００１５】（３）文書方向判別の精度 文書の方向判別は、より精度の高いものでなければなら
ない。上記従来例のように文書中の表の線を用いる判定
は、それがない文書や縦横混在の線を含んだ文書の場合
は、方向判別を誤る可能性がある。また縦横の射影をと
る場合は、文字のみで行や段落がしっかり分かれている
文書に対しては、比較的精度よく回転方向を検出できる
が、文書中に図や自然画が含まれている文書の場合は、
方向判別を誤る可能性がある。さらに、０度と１８０
度、９０度と２７０度の区別はつきにくく、方向判別の
精度は低い。

【００１６】（４）異なる方向の文字が混在する文書に
おける方向判別の誤認識の発生 図１６は１枚の原稿上に異なる方向の文字が混在する文
書の例を表す図である。同図（ａ）は、正常方向と異な
る方向の文字が存在する文書、例えば文書中の１０１０
に対する説明文字が存在する場合を示す。また、
（ｂ）、（ｃ）のように、２枚の原稿を縮小して１枚の
原稿にした文書において、片側は、縦置文書、もう片側
は横置文書の場合がある。これらは、文書中のどの文字
の方向を用いてその文書の方向を判断するかにより、方
向判断結果が異なってくる。

【００１７】本発明は上記の問題に鑑みてなされたもの
であり、文書画像データに含まれる複数領域について文
書方向を判別し、判別された各領域の方向に基づいて当
該文書画像の方向を決定することにより、より正確に文
書方向を判定する文書方向判定方法及び装置を提供する
ことを目的とする。

【００１８】また、上記各領域の方向の判別を、各領域
に含まれる文字の方向を判別することで行うことで、各
領域の方向をより正確に判定することを目的とする。

【００１９】また、本発明で提供される文書方向判定装
置を備えることにより、文書の読取り方向に関らず正し
い方向で文書画像を表示するとともに、より文字認識精
度を向上する文字認識装置を提供することを目的とす
る。

【００２０】

【課題を解決するための手段】上記の目的を達成するた
めの本発明の文書方向判定装置は以下の構成を備える。
即ち、入力された文書画像データを複数の部分領域に分
離する分離手段と、前記分離手段で得られた前記複数の
部分領域のそれぞれについて、予め優先度が与えられた
複数種類の属性のいずれに該当するかを判別し、判別さ
れた属性を付与する付与手段と、前記分離手段で得られ
た前記複数の部分領域のそれぞれについて、文書方向を
判別する判別手段と、前記判別手段で判別された各部分
領域の文書方向と、各部分領域に付与された属性の優先
度に基づいて前記文書画像データの方向を決定する決定
手段とを備える。

【００２１】また、好ましくは、前記判別手段は、方向
判別の対象となっている部分領域に含まれる複数の文字
を抽出し、各文字について複数の方向から文字認識を行
い、認識度が最も高くなる方向を当該部分領域の方向と
する。文字の方向が文書方向を示す場合が多く、文字の
方向を検出することでより正確に文書方向をはんだでき
るからである。

【００２２】また、好ましくは、前記決定手段は、優先
度の最も高い属性を有する部分領域の複数における文書
方向の判別結果が一致した場合、その文書方向を前記文
書画像データの方向として決定する。文書方向を決定す
るのに対して高い優先度を持つ複数の部分領域で方向が
一致した時点で文書方向判別の処理を打ち切ることが可
能となり、処理の効率が向上する。

【００２３】また、好ましくは、前記複数の属性は、本
文中の文字領域である属性、表組中の文字領域である属
性、タイトル中の文字領域である属性、図の解説等のた
めの文字領域である属性を含む。これら文字領域を更に
細かく分類したものであり、方向判定に用いるべき文字
領域を適切に選択できる。

【００２４】また、好ましくは、本文中の文字領域であ
る属性を最も優先度の高い属性とする。本文中の文字は
文書方向と一致する可能性が高いからである。

【００２５】また、好ましくは、タイトル中の文字領域
である属性を最も優先度の高い属性とする。タイトル中
の文字領域に含まれる文字の方向は文書方向と一致する
可能性が高いからである。

【００２６】また、上記の目的を達成する本発明の文書
方向判定装置は、入力された文書画像データより複数の
部分領域を抽出する抽出手段と、前記抽出手段で抽出さ
れた部分領域について方向を判別する判別手段と、前記
判別手段において所定以上の確実性を有して方向が判別
された複数の部分領域に関して、その判別された方向が
一致する場合、該方向を前記文書画像データの方向とし
て決定する決定手段とを備える。

【００２７】また、上記構成において、好ましくは、前
記抽出手段は文字領域を部分領域として抽出し、前記判
別手段は、抽出された文字領域に含まれる文字について
複数方向からの認識処理を行い、認識度が最も高くなる
方向を該文字領域の方向とし、前記判別手段において得
られた認識度の最大値が所定値を越えるものを前記所定
値以上の確実性を有するものとする。

【００２８】また、上記の目的を達成するための本発明
の文書方向判定装置は、入力された文書画像データより
複数の部分領域を抽出する抽出手段と、前記抽出手段で
抽出された複数の部分領域のそれぞれについて文書方向
を判別する判別手段と、各文書方向について前記判別手
段で判別された回数をカウントし、そのカウント値が最
大となる文書方向を前記文書画像データの方向として決
定する決定手段とを備える。

【００２９】また、上記構成において、好ましくは、前
記抽出手段は、複数の文字領域を抽出し、前記判別手段
は、抽出された文字領域のそれぞれに関して、文字領域
に含まれる文字について複数の方向から認識処理を行
い、認識度が最も高くなる方向を該文字領域の方向とす
る。

【００３０】また、本発明によれば、上記の構成を有す
る文書方向判定装置によって判定された文書画像データ
の方向に基づいて前記文書画像データを回転し、回転さ
れた文書画像データを用いて文字認識処理を行う認識手
段とを備える文字認識装置が提供される。入力された文
書画像データを正しい方向に回転するので、例えば文書
画像データの表示に際して、その文書画像データの入力
方向に関らず、正しい方向で文書画像を表示できるとと
もに、正しく文字認識を行うことが可能となる。

【００３１】

【発明の実施の形態】以下に添付の図面を参照し手本発
明の好適な実施の形態を説明する。

【００３２】＜実施形態１＞実施形態１における文字認
識装置では、文書方向判別の手法として、文字認識の認
識率を用いて、方向判別を行う。これは、文書の方向を
一番正確に現わしているのは、文字領域であることに注
目し、文書中の文字領域における複数の文字について、
０°、９０°、１８０°、２７０°の方向から文字認識
を行い、最も類似度が高かった方向が正しい文書の方向
であると判断する。

【００３３】文字認識処理では、まず画像中から文字切
りという手法で、一文字ごとに画像を切りだす。次に、
認識文字の選出は、文字ごとに算出される文字の特徴
が、より近い特徴の文字を選び出してくる。文字認識の
自信度（類似度）とは、その特徴にどれだけ近いかを示
す割合を示す。専門的にいうと文字の特徴分布のなかに
おける距離の近さを示す。文字認識の場合、近い文字を
数種類算出して候補文字とするが、その中でも一番距離
の近いものを第一候補文字とする。

【００３４】以上のような認識処理を４方向に対して行
なうと、４方向とも文字認識は行うが、候補文字の距離
値（自信度）は異なってくる。もちろん正しい方向に向
いた文字のほうが、距離値は近い値となる。しかしなが
ら、たとえ距離値が近いといっても、それがかならずし
も正確であるとは限らない。偶然正方向以外の角度から
の文字認識に対して、誤方向の角度の方がよい値を出す
こともある。

【００３５】そのため、複数の文字、例えば１０文字を
抽出して方向判別し、その近さの距離を計算をし、そし
て、その平均値を用いて判断基準にする。さらに、より
精度を上げるため、文字のブロックを数ヶ所選んで同様
の処理を行う。以上のように、文字認識の認識率を利用
して文書の方向判別を行う。なお、以下の実施形態で
は、文字認識の精度を用いて方向判別する前に、以下の
ような処理を行う。

【００３６】文書画像データに対して、領域分割処理を
最初に行う。この領域分割処理の結果、文字領域と判断
された領域について、文字認識処理を利用した方向判別
処理を行う。この判定に用いる文字領域は、領域分割処
理で得られる結果、更に詳細にその属性が得られる。例
えば、テキスト領域、タイトル領域、キャプション領
域、表中の文字領域に判別される。本実施形態の方式で
は、これらの属性の各々に対して優先順位を設定し、優
先順位の高い領域で判定された文書方向を優先的に採用
することを特徴とする。例えば、以下のような優先順位
が考えられる。

【００３７】（１）タイトル優先 ： 文書画像中、タ
イトルは文字サイズも大きく文字認識しやすく、更に、
その方向も正しい文書方向と一致する可能性が高い。よ
って、タイトル領域の優先順位を高く設定する。

【００３８】（２）テキスト優先 ： 文書画像中、本
文を表すテキスト領域は、文書中に一番多く存在する。
また大きさもある一定の大きさであることが多く文字認
識もしやすい。このためテキスト領域の優先順位を高く
設定する。

【００３９】（３）表中文字非優先 ： 文書画像中、
表が存在し、そのなかに、文字が存在する場合、その文
字がその原稿の本来の方向と異なる方向を向いている可
能性が高い。このため、表中の文字領域の優先順位を低
くする。

【００４０】（４）キャプション文字非優先 ： 文書
画像中、図や表が存在し、その上部、下部、横部のいず
れかに説明文字が存在することが多く、このような文字
の存在する領域をキャプション領域という。特に図や表
の横部分に存在するキャプション領域では、領域中の文
字がその原稿の本来の方向と異なる方向を向いている可
能性が高い。このため、キャプション領域の優先順位を
低くする。

【００４１】以上のように、文字領域の属性に優先順位
を設けて、優先順位の高い文字領域の文字を用いて文書
方向の判定を行う。そして、この判定の結果に従って、
原画像を正しい方向に回転させて、文字認識結果と正方
向画像データを得る。以下、本実施形態１について詳細
に説明する。

【００４２】図１は実施形態１における情報処理システ
ムの構成を表すブロック図である。本情報処理システム
は、画像の入力部、画像処理部、出力部、外部Ｉ／Ｆを
持つ画像入出力装置である。分離されたスキャナとプリ
ンタ装置の構成からなるスキャナプリンタや、一体化さ
れた複写機のようなシステムがこれに当てはまる。本シ
ステムは、Ｉ／Ｆを介してコンピュータとの接続も可能
であり、コンピュータ側からの指示により、各種動作を
行うことができるシステムである。

【００４３】１１はスキャナ部であり、文書原稿を光学
的に読み取って画像データを獲得する。スキャナ部１１
には付加機能であるオートフィーダの取り付けが可能と
なっており、該オートフィーダを装着することにより、
複数枚の原稿を連続的に入力することが可能となる。１
２は主制御部であり、ＣＰＵ１２ａ及びメモリ１２ｂ
（ＲＯＭ、ＲＡＭで構成される）を備える。主制御部１
２は文字認識／方向判別部１３及び領域分離部１４によ
る処理結果を用いて当該システムの各種制御を行うとと
もに、一時的に画像データを保存する。

【００４４】１３は文字認識／方向判別部であり、本実
施形態の特徴である文書方向の判別処理と文字認識とを
行うブロックである。１４は領域分離部であり、文書画
像データより、文字領域、図形領域、自然画領域、表領
域などを矩形に分離して、各領域の属性を付加する処理
を行う。

【００４５】１５は記憶装置であり、各種処理結果（画
像データ、領域分離結果、文字認識結果など）を保存す
る。記憶装置１５は、例えば、ハードディスクや光磁気
ディスクなどで構成される。１６はＩ／Ｆ部であり、外
部の装置へデータを送るための構成で、データ伝送の形
態としてはＳＣＳＩやＲＳ２３２Ｃなどがある。１７は
コンピュータであり、Ｉ／Ｆ部１６を介して情報を得た
り、記憶装置１５よりデータを得て、それらを利用す
る。例えば、コンピュータ１７上でＤＴＰ（Desktop Pu
blishing）アプリケーションを動作させ、文字認識処理
によって得られた文書データを記憶装置１５から獲得
し、これを編集対象のデータとして用いるように構成で
きる。１８はプリンタ部であり、領域分離情報や文字認
識情報によって加工されたデータを出力する。

【００４６】次に、図２〜図４を用いて本実施形態１の
動作について説明する。図２〜図４は実施形態１におけ
る文字認識の手順を表すフローチャートである。なお、
本フローチャートで示される手順を実現するための制御
プログラムは、メモリ１２ｂのＲＯＭに格納されてお
り、ＣＰＵ１２ａによって実行される。

【００４７】まず、ステップＳ１において、スキャナ部
１１により原稿を読み込み、文書画像データを得る。得
られた文書画像データはメモリ１２ｂのＲＡＭに格納さ
れる。次に、ステップＳ２において、文書画像データに
対する領域分離処理を行う。領域分離処理は、メモリ１
２ｂに格納した文書画像データを領域分離部１４へ入力
することで行われる。なお、領域分離処理の詳細につい
ては後述する。また、分離結果は、各領域を囲む矩形情
報とその属性情報とを有し、主記憶（メモり１２ｂのＲ
ＡＭ）に格納される。この分離結果は後の処理において
ＣＰＵ１２ａによって頻繁にアクセスされるためであ
る。

【００４８】ステップＳ３では、上述の領域分離処理に
よって分離された各領域のうち、属性が文字領域と判定
された領域（テキスト領域、タイトル領域、表中の文字
領域、図のキャプション領域）を抽出し、以降のステッ
プＳ４〜ステップＳ１６において抽出した文字領域の方
向判別処理を行う。

【００４９】まず、ステップＳ４において、当該原稿中
に文字領域と判別される領域が存在するか否かを調べ
る。原稿中に文字領域が存在しなければ、ステップＳ２
１へ進み、方向判別不能とし、読み取られた方向がその
まま正しい方向である（方向０°）とする。

【００５０】ステップＳ４において、文字領域が存在す
ればステップＳ５へ進む。ステップＳ５では、文字領域
と判断された領域の一つを抽出し、その属性に従って処
理を分岐する。即ち、抽出された文字領域の属性がタイ
トル領域であればステップＳ６へ、テキスト領域であれ
ばステップＳ７へ、キャプション領域であればステップ
Ｓ８へそれぞれ処理が分岐する。

【００５１】ステップＳ６では、当該領域をタイトル領
域として、その旨を示すTITLEフラグを記憶する。ま
た、ステップＳ８では、当該領域をキャプション領域と
して、その旨を表すCAPTIONフラグを記憶する。

【００５２】当該領域がテキスト領域の場合は、ステッ
プＳ９へ進み、当該テキスト領域が本文中のものか、表
中のものかを判断する。そして、本文中のテキスト領域
であればステップＳ１０へ、表中のテキスト領域であれ
ばステップＳ１１へそれぞれ進む。そしてステップＳ１
０では、当該領域が本文中のテキスト領域であることを
示す本文中TEXTフラグを記憶する。また、ステップＳ１
１では、当該文字領域が表中のテキスト領域であること
を示す表中TEXTフラグを記憶する。

【００５３】ステップＳ１２では複数の角度からの読取
りによる文字認識を行い、その文字認識結果に基づいて
当該領域における文書方向の判別を行う。なお、この文
書方向判別の詳細は後述する。ステップＳ１２におい
て、当該領域における文書方向が判別できた場合はステ
ップＳ１４へ、文書方向の判別が不能であった場合はス
テップＳ１６へそれぞれ進む。

【００５４】ステップＳ１４では、各フラグ別（即ち、
TITLE，CAPTION，本文中TEXT，表中TEX別）に、ステッ
プＳ１２による方向判別結果を記憶する。そして、ステ
ップＳ１５では、本文中TEXTと判断された複数の文字領
域において、方向判別結果が一致したか判断する。もし
一致方向が検出できたら、その方向を方向判別結果とし
てステップＳ２２へ進む。一方、一致方向の検出ができ
なかった場合はステップＳ１６へ進み、全ての文字領域
について上述のステップＳ５からステップＳ１５の処理
を行ったか否かを判断する。もしまだ未処理の文字領域
がある場合は、ステップＳ１３へ進み、処理の対象を次
の文字領域へ移し、ステップＳ５へ戻る。

【００５５】本文中のテキスト領域と判定された文字領
域で一致方向が検出できず、ステップＳ３で抽出された
全ての文字領域についてステップＳ５〜Ｓ１５の処理が
終了している場合は、ステップＳ１６からステップＳ１
７へ進む。ステップＳ１７では、タイトル領域と判定さ
れた文字領域の複数領域で方向判別結果が一致したか判
断する。もし一致方向が検出できたら、該一致方向を方
向判別結果とし、ステップＳ２２へ進む。

【００５６】一方、ステップＳ１７において一致方向を
検出できなければ、ステップＳ１８へ進む。ステップＳ
１８では、表中のテキスト領域と判定された文字領域で
複数箇所の方向判別結果が一致したか判断する。もし一
致方向が検出できたら、その方向を方向判別結果として
ステップＳ２２へ進む。

【００５７】ステップＳ１８において一致方向が検出で
きなかった場合は、ステップＳ１９へ進む。ステップＳ
１９では、キャプション領域と判定された文字領域で複
数箇所の方向判別結果が一致したか判断する。もし一致
方向が検出できたら、その方向を方向判別結果としてス
テップＳ２２へ進む。

【００５８】ステップＳ１９において、一致方向が検出
できなければステップＳ２０へ進む。ステップＳ２０で
は、抽出された文字領域のうち方向判別結果の得られた
領域があるかどうかを調査し、一つでも方向判別結果が
得られた領域が見つかれば、その領域の方向を方向判別
結果としてステップＳ２２へ進む。ただし、ステップＳ
２０における調査は、本文中のテキスト領域、タイトル
領域、表中のテキスト領域、キャプション領域の順に行
う。

【００５９】ステップＳ２０において方向判別結果の得
られた文字領域が存在しない場合はステップＳ２１へ進
み、方向判別不能とする。この場合、スキャナ部１１の
読取り方向をそのまま文書方向として（即ち、０度の画
像として）ステップＳ２６へ進み、処理を続行する。

【００６０】一方、何等かの方向判別結果が得られた場
合は、ステップＳ２２においてその方向判別結果を取得
し、ステップＳ２３で該方向判別結果が０度か否かを判
断する。方向判別結果が０度の場合は、画像回転を行わ
ないので、そのままステップＳ２６へ進む。

【００６１】ステップＳ２４では、方向判別結果（本例
の場合、９０°、１８０°、２７０°のいずれかとな
る）に従って、メモリ１２ｂに格納された画像データを
回転する。そして、ステップＳ２５にて、メモり１２ｂ
に格納された画像データに対して、再びステップＳ２と
同様の領域分離処理を行う。領域分離結果はステップＳ
２の場合と同様に主記憶（ＲＡＭ）に記憶される。

【００６２】ステップＳ２６では、正しい方向に修正さ
れた画像データあるいは当初から正しい方向で読み込ま
れた画像データについて、全文字領域にわたって文字認
識を実行する。ステップＳ２７では、その文字認識結果
を得て、これを記憶装置１５に格納する。

【００６３】以上のように、本実施形態１では、文書中
の文字領域を用いて文書方向の判別を行う訳だが、文書
中において各文字が最も正しい方向を向いていると判断
される本文中のテキスト領域を優先順位を高くして方向
判別に用いるので、方向判定結果の信頼性が向上する。

【００６４】そして、もし文書方向が正しい方向である
と判定された場合は、引続き画像中の文字ブロックに対
して文字認識処理を行なう。一方、不正な方向に入力さ
れた場合は、当該画像データを正しい方向に回転させ
て、得られた回転画像に対して、再び領域分離補正処理
を行ない、文字認識を行う。

【００６５】ここで、回転処理後の画像データに対して
再度領域分離を行うのは、画像回転に伴う領域分離情報
の相違を補正するためである。回転後の画像に対する領
域分離の方法としては、（Ａ）回転後の全画像データに
対して再度領域分離処理を行なう方法、あるいは（Ｂ）
アドレス変換を領域分離結果にかける方法がある。領域
分離処理は、一般に画像が正方向であることを想定して
いるため、初めの段階で行なった領域分離処理と回転画
像データに対して行なった領域分離処理は、結果が異な
ることが多い。それゆえ（Ａ）の方法を採用するのが一
般的である。

【００６６】そして、回転画像データ中の各文字領域
は、文字認識処理系（文字認識／方向判別部１３）で文
字認識される。この結果、回転処理を必要とする画像で
あっても、必要としない画像であっても、最終的に領域
分離情報と文字認識情報が得られることになる。更に、
この処理結果は、図１のＩ／Ｆ部１６を介してコンピュ
ータ１７に転送可能であり、コンピュータ１７上のアプ
リケーションソフト（例えばファイリング処理や文書処
理等）で利用される。

【００６７】もちろん、上記処理結果を記憶装置１５に
転送して格納するようにしても良いことはいうまでもな
い。このように記憶装置１５に転送する処理形態は、ス
キャナ１１より連続的に画像情報を入力して処理結果を
記憶総理１５に格納しておき、次にその情報をコンピュ
ータ１７によってまとめて読み出すといったバッチ処理
的に使われる方式に利用される。

【００６８】また、処理結果をプリンタ部１７に転送す
る処理形態では、プリンタ装置にページ記述言語を解釈
する機能があるとして、文字認識と領域分離の処理によ
り逆ＰＤＬ（画像データよりページ記述言語を作成する
方法）やＨＴＭＬ（レイアウトや文書構造を記述する方
法）で文書を再構成したり清書したりするシステムで利
用される。

【００６９】次に、文字認識処理を用いた、文書方向判
別の手法について、説明する。

【００７０】［領域分離処理］文書画像データの黒画素
を検出してゆき、輪郭線追跡、またはラベリング方式に
より、黒画素ブロックの矩形枠を作成する。次にその矩
形のなかの黒画素密度、隣接矩形ブロックの有無、矩形
の縦横比率などを判断基準にして、各矩形について文字
領域（タイトル、本文、キャプションなど）、図形領
域、自然画領域、表領域などを判別する。この処理結果
より文字領域の矩形情報が判別される。この領域分離処
理は、上述のステップＳ２，Ｓ２５にて実行される。

【００７１】［文字認識処理］文字認識処理の一つの方
法として、特徴ベクトル抽出、比較方式がある。図５は
実施形態１で用いられる文字認識処理の手法を説明する
図である。（ａ）は処理対象の文書画像を表しており、
「１．本発明の名称」を含む領域５１が文字領域として
抽出されている。文字認識処理の第１段階として、
（ｂ）に示されるように、文字の切り出し処理を行な
う。これは一つの文字の矩形を切り出す処理で、黒画素
連続性の状態を検出していけば求められる。

【００７２】次に、第２段階として、（ｃ）に示される
ように一文字の矩形をｍ×ｎのブロック（例えば、６４
×６４のブロック）に分割する。そして、そのなかから
３ｘ３のウインドを用いて、黒画素の分布方向を抽出す
る（方向ベクトル情報）。（ｄ）はその方向ベクトル情
報を示す例である。このウインドをずらしてゆき、方向
ベクトル情報を数十個得る。このベクトル情報が文字の
特徴となる。

【００７３】この特徴ベクトルとあらかじめ各文字につ
いて標準的な特徴ベクトルが登録されている文字認識辞
書とを比較して、両者が一番近い文字から順番に文字を
抽出する。一番近い文字が第一候補となり、続いて第
二、第三となる。この両者の特徴ベクトルの近さが、そ
の文字に対する距離の近さ、前述の自信度という数値に
なる。

【００７４】［文字方向判別］上述の文字認識処理で文
字の自信度が求まる訳だが、この文字認識処理を用いて
文書の方向を求める手順について図６を用いて説明す
る。図６は実施形態１における文書方向の検出方法を説
明する図である。（ａ）は正方向の文、（ｂ）は２７０
度に回転した文を示す。ここで「本」に注目すると、
（ｃ）に示すように、０度、９０度、１８０度、２７０
度の方向から文字認識を行なってみる。各角度による認
識処理は、文字矩形の領域からの画像データの読みだし
方を変更することで実現でき、特に原画像データを回転
する必要はない。さて、各角度による文字認識結果
（（ｃ））をみると、認識文字が各角度で異なってい
る。なお、（ｃ）に示した認識結果は、説明用の仮の文
字認識結果および自信度である。

【００７５】（ｃ）によれば、正方向の文字による認識
結果によれば、「本」と認識され、その自信度も０．９
０と高い値となる。９０度回転すると「町」と認識さ
れ、自信度は０．４０と落ちる。これは、不正な方向に
向いた文字の特徴より、特徴の近い文字を無理矢理引っ
張り出してきたためである。同様に１８０度、２７０度
の値も低い値を示す。この自信度は、複雑な文字程、そ
の差が顕著となる。

【００７６】図６の（ｃ）の結果によれば、文書は正方
向を向いている可能性が高いと判断される。より精度を
上げるため、さらに数個の文字について同様な処理を行
なう。一つの文字ブロックだけでは、特殊になる可能性
があるため、異なる文字領域についても行なってみる必
要がある。

【００７７】各角度からの自信度の平均値より、回転し
ている方向の値が高い値となるため、方向が判別でき
る。０度と１８０度、９０度と２７０度ではそれぞれ自
信度が異なるため、４方向の向きがわかることになる。
これにより、精度の高い方向判別結果を得る。

【００７８】次に、もし回転すべきと判断されたなら
ば、原画像を回転する。これは、図１の主制御部１２に
おけるＣＰＵ１２ａ，メモリ１２ｂを用い、公知の手法
で達成されるので、詳細な説明は省略する。

【００７９】［最終的に獲得される情報（ステップＳ２
７）］図７は最終的な文字認識を終えた時点において獲
得されるデータを説明する図である。上図のような処理
により、最終的に文書方向が補正された画像について、
原画像データ（Ａ）、領域分離データ（Ｂ）、ＯＣＲ結
果（文字認識結果）（Ｃ）を得ることができる。

【００８０】（Ａ）の原画像データは、読取り方向が正
しい方向に修正された回転後の画像データである。
（Ｂ）の領域分離データにおいて、「header」は以降の
データが領域分離データであることを示す。「rect1」
〜「rectn」は、それぞれ検出された領域に対する領域
分離データである。「rect1」〜「rectn」はそれぞれ、
７１に示すような構造を有する。即ち、領域を特定する
ための番号を示す「order」、領域の属性を示す「at
t」、領域の位置（矩形の左上の角）を示す「x1,y1」、
領域の幅、高さを表す「w,h」、当該領域の組方向（縦
書き、横書き）を表す「direction」の各データで構成
される。

【００８１】また、文字認識情報は（Ｃ）に示すような
形態となっており、「OCR1」〜「OCRn」の各データは、
「rect1」〜「rectn」の各領域の文字認識結果である。
文字認識結果はそれぞれ、７３に示すデータ構造を有す
る。また、blk headerは、各領域の文字認識結果の前に
付加するヘッダーであり、どのような矩形領域について
文字認識処理したかの情報を入れる。このblk headr
は、「type」「order」「att」「x1」「y1」「w」「h」
「direction」を有する。「order」〜「direction」の
各データは、上述の領域分離データ７１の各データと同
様である。「type」は、以降のデータがblk headerであ
ることを示す。また、文字認識結果について、日本語、
英語、その他の言語等の区別も示す。

【００８２】文字認識結果７３における「type」は、以
降のデータが文字認識結果であることを示すという点を
除いて、blk headerの「type」と同じである。また、
「文字１」等は認識結果としての文字コードである。更
に、文字認識結果７３において、「x1」「y1」「w」
「h」は一文字切り出した際の文字矩形情報である。更
に、「reserve」は予備部を示す。以上のような情報
は、アプリケーションにより使用される。例えば、電子
ファイリング、文書整形、ＤＴＰなどで利用される。

【００８３】上記実施形態１では、文書中の文字領域の
属性を優先順位の項目としており、本文中のテキストを
最も優先順位を高くしているが、優先順位の設定はこれ
に限られるものではない。例えばタイトル領域が最も正
方向を向いている確率が高いとして、タイトル領域の優
先順位を最も高くしてもよい。

【００８４】実施形態１の処理手順において、方向判定
の優先順位は、図３のステップＳ１５、Ｓ１７〜Ｓ１９
においてどの属性の領域が参照されているかによって決
定されている。そして、若いステップ番号で参照される
領域ほど優先順位が高くなる。よって、これらのステッ
プにおいて参照する領域の属性を変更することで、方向
判定における優先順位を変更できる。図８は、タイトル
領域を最高優先度の領域とした場合の文字認識処理手順
を説明するフローチャートである。なお、図８で示され
る処理手順は、図３で示される処理手順に対応し、同じ
処理を行うステップには同一のステップ番号を付した。
図８と図３の対比から明らかなように、ステップＳ１
５、Ｓ１７で参照される領域の属性を入れ換えてステッ
プＳ１５’、Ｓ１７’とすることで、優先順位の変更が
達成される。

【００８５】また、逆に、文書中の図や表などの脇に添
えて書かれたキャプション領域の属性を最も低い優先順
位としたが、表中の文字領域の方が変な方向に向いてい
る可能性が高いとして、表中の文字領域を最も優先順位
の低い領域とすることもできることは明らかである。

【００８６】＜実施形態２＞上記実施形態１では、文字
領域の属性に優先順位を与えて、優先順位の高い属性を
有する文字領域から判定される文書方向を優先的に用い
て文書方向の判定を行っている。本実施形態２では、文
字領域の方向判定において自信度の高い判定結果を用
い、この判定結果が複数の文字領域で一致する場合、そ
の方向を文書方向として決定するものである。

【００８７】実施形態２によれば、文書画像データに対
して、領域分割処理を行い、この領域分割処理の結果、
文字領域と判断された領域について、文字認識処理を利
用した方向判別処理を行う。そして、文字領域内で、あ
る程度以上の自信度を有した方向判別の結果が得られれ
ば、それを第１候補の方向認識結果とする。引き続き他
の文字領域について方向判定を行い、所定値以上の自信
度を有した方向判別の結果が得られればそれを第２候補
の方向認識結果とする。

【００８８】以上のようにして得られた第１及び第２候
補の方向認識結果が一致すれば、その方向を当該文書の
方向と判断する。

【００８９】なお、実施形態２におけるシステムの構成
は実施形態１８図１と同様であるので説明を省略する。

【００９０】図９及び図１０は実施形態２における文字
認識処理の手順を表すフローチャートである。ステップ
Ｓ４１では、スキャナ部１１により画像を光学的に読取
り、画像データを得る。ステップＳ４２では、得られた
画像データに対して実施形態１で説明した領域分離処理
を行う。そして、ステップＳ４３にて、分離された領域
より、文字領域を抽出する。

【００９１】ステップＳ４４では、抽出された文字領域
の一つについて文書方向を判別する。文書方向の判別方
法は実施形態１で説明した通りである。ここで、当該文
字領域の文字方向が判別できなければステップＳ４５へ
進み、次の未処理の文字ブロックがあるかどうかを判定
する。未処理の文字ブロックがあればステップＳ４４へ
戻る。一方、ステップＳ４５において未処理の文字ブロ
ックがなくなれば、回転方向の判別が不能であるとして
そのままステップＳ５４へ進む。なお、ステップＳ４４
における文書方向の判別の可否は、所定の自信度を有す
る判定結果を得たか否かによって行う。従って、この自
信度をある程度高い値とすることにより、自信度の小さ
い判定結果は排除される。

【００９２】ステップＳ４６では、ステップＳ４４の文
書方向判別の結果が第１判別方向として保存される。即
ち、ステップＳ４４、Ｓ４５の処理において、所定値以
上の自信度を有する文書方向の判別結果が得られた場合
に、その判別方向を第１判別方向として保存する。

【００９３】続いて、ステップＳ４７〜ステップＳ４９
において、ステップＳ４４〜ステップＳ４６と同様な処
理を行い、所定値以上の自信度を有する文書方向の判別
結果が得られれば、これを第２判別方向として保存す
る。

【００９４】ステップＳ４９において、第２判別方向が
保存されると、ステップＳ５０において第１判別方向と
第２判別方向が同じであるか否かを判定する。両判別方
向が同じであれば、ステップＳ５１へ進み、それらの判
別方向が何度であるかによって処理を分岐する。ステッ
プＳ５１において、判別方向が０度であれば、画像回転
等の処理が不要であるので、ステップＳ５４へ進み、そ
のまま文字認識処理を実行する。

【００９５】一方、ステップＳ５１において、判別方向
が９０度、２７０度、３６０度のいずれかであれば、ス
テップＳ５２へ進み、検出された判別方向に基づいて、
当該画像が正しい方向を向くように画像を回転させる。
そして、ステップＳ５３において、回転後の画像データ
において再度領域分離を行い、全文字について文字認識
を行うべくステップＳ５４へ進む。

【００９６】また、ステップＳ４７において、第２判別
方向が検出される前に処理すべき文字領域が無くなれ
ば、ステップＳ４６で保存した第１判別方向を当該文書
画像の方向として採用し、そのままステップＳ５１へ進
む。

【００９７】また、ステップＳ５０において、両判別方
向が一致しなければ、文書方向の判別は不能として、ス
テップＳ５４へ進む（即ち、画像の回転等を行わずに、
全文字の認識処理を実行する）。

【００９８】ステップＳ５４では、画像データ中の全文
字領域について文字認識を実行する。そして、ステップ
Ｓ５４において、図７で示したような領域分離情報と文
字認識情報を生成する。

【００９９】以上のように、上記実施形態２において
は、文書方向の判別における判別の可否のチェックを所
定値以上の自信度を有するか否かで行い、自信度の小さ
い判別結果を採用しないようにして、方向判別の精度を
向上している。また、複数の方向判別結果を参照するこ
とにより、更に向判別の精度を向上している。

【０１００】上記実施形態１では、文書中の所定値以上
の自信度を有する方向判別結果が得られた文書領域を２
ヶ所検出し、これらの文書領域の方向判別結果が一致す
れば、これを方向判別結果として獲得している。しかし
ながら、３つ以上の文字領域で判別方向が一致するか否
かで判断するように構成することも可能である。

【０１０１】また、上記実施形態２では、最初に検出さ
れた第１判別方向と第２判別方向の一致で文書方向を決
定し、このような方向の不確定な文書に対して、方向判
別のための処理に時間を駈けないようにしている。しか
しながら、ステップＳ５０で第１及び第２判別方向が一
致しない場合、ステップＳ４４へ処理を戻して、他の文
字領域を用いて方向検出をやり直すように構成してもよ
い。このとき、他の文字領域によって検出された方向が
上述の第１判別方向と第２判別方向のいずれかと一致す
るとき、その方向を文書方向として決定するようにすれ
ばよい。

【０１０２】＜実施形態３＞本実施形態３では、方向判
別に全文字領域の方向判定を行い、判別回数の多い方向
をもって、当該文書の方向に決定する方法を説明する。

【０１０３】図１１は実施形態３における文字認識処理
の手順を表すフローチャートである。同図において、ス
テップＳ６１〜ステップＳ６３は、図９のステップＳ４
１〜ステップＳ４３と同様の処理を行う。ステップＳ６
４では、ステップＳ６３で抽出された文字領域の一つに
ついて方向判別を行う。そして、その結果、所定値以上
の自信度を有する方向が判別されれば、ステップＳ６５
へ進む。ステップＳ６５では、ステップＳ６４で判別さ
れた方向毎に、判別回数をカウントする。判別回数のカ
ウント値は、メモり１２ｂのＲＡＭに所定の領域を設け
て格納する。そして、ステップＳ６６へ進む。

【０１０４】一方、ステップＳ６４で、所定値以上の自
信度を有する方向判定が行えなかった場合はそのままス
テップＳ６６へ進む。ステップＳ６６では、次の未処理
の文字領域が存在するか否かを判定し、未処理の文字領
域があればステップＳ６４へ戻る。また、未処理の文字
領域が無くなれば、ステップＳ６７へ進む。以上のよう
にして、すべての文字領域について方向判別が行われ、
所定値以上の自信度を有して判別された回数が各方向毎
（本例では０度、９０度、１８０度、２７０度）にカウ
ントされる。

【０１０５】ステップＳ６７では、判別回数が最大とな
った方向を検出し、これを当該文書の方向として決定す
る。以上のようにして決定された方向を判別結果として
ステップＳ５１へ進む。なお、ステップＳ５１〜ステッ
プＳ５５は、図１０で示した各ステップと同様であるの
で、ここでは説明を省略する。

【０１０６】以上説明したように、実施形態３によれ
ば、文字領域全体について方向判定を行い、最も判定さ
れた回数の多い方向を文書方向とするので、精度よく文
書方向を判定できる。

【０１０７】以上のように各実施形態によれば、文書中
の複数の文字領域を検査することにより、その文書の方
向を判定するので、より精度の高い判別結果を得ること
が可能となる。このため、文書方向が誤った方向で文書
入力が行われても、自動的に補正することが可能とな
り、特に大量に入力された文書をファイリングするシス
テムにおいて、人間の手間を省くことができる効果があ
る。文字認識処理においても、間違った方向のまま文字
認識されることがなくなり、誤認識を防止できると共
に、画像データも正しい方向で保存される。

【０１０８】上記情報処理システムにおける文書方向判
別及び文字認識処理は、パーソナルコンピュータ等にス
キャナを接続した構成においても実現できる。よって、
上記装置の機能もしくは方法の機能によって達成される
本発明の目的は、前述の実施例のプログラムを記憶させ
た記憶媒体によっても達成できるものである。即ち、上
記装置に、その記憶媒体を装着し、その記憶媒体から読
み出したプログラム自体が本発明の新規な機能を達成す
るからである。なお、記憶媒体を例えばフロッピーディ
スクとすれば、フロッピーディスクドライバを記憶装置
１５の一部として組込み、該フロッピーディスクより制
御プログラムを読み出してメモり１２ｂへ格納し、これ
をＣＰＵ１２ａで実行するようにすれば良い。

【０１０９】このための、本発明にかかるプログラムの
構造的特徴は、図１７に示す通りである。

【０１１０】図１７の（ａ）において、１７０１は分離
処理であり、入力された文書画像データを複数の部分領
域に分離する。また、１７０２は付与処理であり、上記
分離処理１７０１で得られた複数の部分領域のそれぞれ
について、予め優先度が与えられた複数種類の属性のい
ずれに該当するかを判別し、判別された属性を付与す
る。以上の処理は、図２のステップＳ２に相当する処理
である。

【０１１１】また、１７０３は判別処理であり、上記分
離処理１７０１で得られた前記複数の部分領域のそれぞ
れについて、文書方向を判別する。これは、図３のステ
ップＳ１２に相当する処理である。そして、１７０４は
決定処理であり、判別処理１７０３で判別された各部分
領域の文書方向と、各部分領域に付与されている属性の
優先度に基づいて当該文書画像データの方向を決定す
る。これは図３のステップＳ１５〜ステップＳ２０に相
当する。

【０１１２】図１７の（ｂ）は、上述の各処理を実行す
るためのプログラムモジュールを記憶媒体に格納した場
合のメモりマップを表す図である。分離処理モジュール
１７０１’、付与処理モジュール１７０２’、判別処理
モジュール１７０３’、決定処理モジュール１７０４’
は、それぞれ、分離処理１７０１、付与処理１７０２、
判別処理１７０３、決定処理１７０４を実行するプログ
ラムモジュールである。

【０１１３】また、図１８は、本発明にかかる他のプロ
グラムを説明する図である。図１８の（ａ）において、
１８０１は抽出処理であり、入力された文書画像データ
より複数の部分領域を抽出する。これは、図９のステッ
プＳ４１〜Ｓ４３に相当する処理である。１８０２は判
別処理であり、抽出処理１８０１で抽出された部分領域
について方向を判別する。これは、図９のステップＳ４
４、Ｓ４７に相当する処理である。１８０３は決定処理
であり、判別処理１８０２において所定以上の確実性を
有して方向が判別された複数の部分領域に関して、その
判別された方向が一致する場合、該方向を前記文書画像
データの方向として決定する。これは、図９のステップ
Ｓ４６、Ｓ４９、図１０のステップＳ５０に相当する処
理である。

【０１１４】図１８の（ｂ）は、上述の各処理を実行す
るためのプログラムモジュールを記憶媒体に格納した場
合のメモりマップを表す図である。分離処理モジュール
１８０１’、判別処理モジュール１８０２’、決定処理
モジュール１８０３’は、それぞれ、分離処理１８０
１、判別処理１８０２、決定処理１８０３を実行するプ
ログラムモジュールである。

【０１１５】また、図１９は、本発明にかかる更に他の
プログラムを説明する図である。図１９の（ａ）におい
て、１９０１は抽出処理であり、入力された文書画像デ
ータより複数の部分領域を抽出する。これは図１１のス
テップＳ６１〜Ｓ６３の処理に相当する。また、１９０
２は判別処理であり、上記抽出工程１９０１で抽出され
た複数の部分領域のそれぞれについて文書方向を判別す
る。これはステップＳ６４の処理に相当する。また、１
９０３は決定処理であり、各文書方向について上記判別
処理１９０２で判別された回数をカウントし、そのカウ
ント値が最大となる文書方向を前記文書画像データの方
向として決定する。これは、ステップＳ６５、Ｓ６７に
相当する。

【０１１６】また、本発明は、複数の機器から構成され
るシステムに適用しても、１つの機器からなる装置に適
用してもよい。また、本発明はシステム或は装置にプロ
グラムを供給することによって達成される場合にも適用
できることは言うまでもない。この場合、本発明に係る
プログラムを格納した記憶媒体が、本発明を構成するこ
とになる。そして、該記憶媒体からそのプログラムをシ
ステム或は装置に読み出すことによって、そのシステム
或は装置が、予め定められた仕方で動作する。

【０１１７】

【発明の効果】以上のように本発明によれば、文書画像
データに含まれる複数領域について文書方向を判別し、
判別された各領域の方向に基づいて当該文書画像の方向
を決定することが可能となり、より正確に文書方向を判
定できる。

【０１１８】また、本発明によれば、各部分領域の方向
の判別を、各領域に含まれる文字の方向を判別すること
によって行うことで、各領域の方向をより正確に判定す
ることが可能となる。

【０１１９】また、本発明によれば、文書の読取り方向
に関らず正しい方向で文書画像が表示され、より文字認
識精度が向上する。

【０１２０】

【図面の簡単な説明】

【図１】実施形態１における情報処理システムの構成を
表すブロック図である。

【図２】実施形態１における文字認識の手順を表すフロ
ーチャートである。

【図３】実施形態１における文字認識の手順を表すフロ
ーチャートである。

【図４】実施形態１における文字認識の手順を表すフロ
ーチャートである。

【図５】実施形態１で用いられる文字認識処理の手法を
説明する図である。

【図６】実施形態１における文書方向の検出方法を説明
する図である。

【図７】最終的な文字認識を終えた時点において獲得さ
れるデータを説明する図である。

【図８】タイトル領域を最高優先度の領域とした場合の
文字認識処理手順を説明するフローチャートである。

【図９】実施形態２における文字認識処理の手順を表す
フローチャートである。

【図１０】実施形態２における文字認識処理の手順を表
すフローチャートである。

【図１１】実施形態３における文字認識処理の手順を表
すフローチャートである。

【図１２】文書方向の自動判別の代表的な手法を説明す
る図である。

【図１３】「高」という文字に対して、読取り方向が回
転した場合の各方向における認識結果を示す図である。

【図１４】スキャナ等で読み込まれた画像データをディ
スプレイ表示している状態を表す図である。

【図１５】紙面上における文書の各種の配置状態を説明
する図である。

【図１６】１枚の原稿上に異なる方向の文字が混在する
文書の例を表す図である。

【図１７】本実施の形態の制御を実現するための制御プ
ログラムを格納した記憶媒体の構成を説明する図であ
る。

【図１８】本実施の形態の制御を実現するための制御プ
ログラムを格納した記憶媒体の他の構成を説明する図で
ある。

【図１９】本実施の形態の制御を実現するための制御プ
ログラムを格納した記憶媒体の他の構成を説明する図で
ある。

【符号の説明】

１１ スキャナ部 １２ 主制御部 １３ 文字認識／方向判別部 １４ 領域分離部 １５ 記憶装置 １６ Ｉ／Ｆ部 １７ コンピュータ １８ プリンタ部

Claims (17)

【特許請求の範囲】
1. 【請求項１】 入力された文書画像データを複数の部分
   領域に分離する分離手段と、 前記分離手段で得られた前記複数の部分領域のそれぞれ
   について、予め優先度が与えられた複数種類の属性のい
   ずれに該当するかを判別し、判別された属性を付与する
   付与手段と、 前記分離手段で得られた前記複数の部分領域のそれぞれ
   について、文書方向を判別する判別手段と、 前記判別手段で判別された各部分領域の文書方向と、各
   部分領域に付与された属性の優先度に基づいて前記文書
   画像データの方向を決定する決定手段とを備えることを
   特徴とする文書方向判定装置。
2. 【請求項２】 前記判別手段は、方向判別の対象となっ
   ている部分領域に含まれる複数の文字を抽出し、各文字
   について複数の方向から文字認識を行い、認識度が最も
   高くなる方向を当該部分領域の方向とすることを特徴と
   する請求項１に記載の文書方向判定装置。
3. 【請求項３】 前記決定手段は、優先度の最も高い属性
   を有する部分領域の複数における文書方向の判別結果が
   一致した場合、その文書方向を前記文書画像データの方
   向として決定することを特徴とする請求項１に記載の文
   書方向判定装置。
4. 【請求項４】 前記複数の属性は、本文中の文字領域で
   ある属性、表組中の文字領域である属性、タイトル中の
   文字領域である属性、図の解説等のための文字領域であ
   る属性を含むことを特徴とする請求項１に記載の文書方
   向判定装置。
5. 【請求項５】 本文中の文字領域である属性を最も優先
   度の高い属性とすることを特徴とする請求項３に記載の
   文書方向判定装置。
6. 【請求項６】 タイトル中の文字領域である属性を最も
   優先度の高い属性とすることを特徴とする請求項３に記
   載の文書方向判定装置。
7. 【請求項７】 入力された文書画像データより複数の部
   分領域を抽出する抽出手段と、 前記抽出手段で抽出された部分領域について方向を判別
   する判別手段と、 前記判別手段において所定以上の確実性を有して方向が
   判別された複数の部分領域に関して、その判別された方
   向が一致する場合、該方向を前記文書画像データの方向
   として決定する決定手段とを備えることを特徴とする文
   書方向判定装置。
8. 【請求項８】 前記抽出手段は文字領域を部分領域とし
   て抽出し、 前記判別手段は、抽出された文字領域に含まれる文字に
   ついて複数方向からの認識処理を行い、認識度が最も高
   くなる方向を該文字領域の方向とし、 前記所定以上の確実性とは、前記判別手段において得ら
   れた認識度の最大値が所定値を越えるものであることを
   特徴とする請求項７に記載の文書方向判定装置。
9. 【請求項９】 入力された文書画像データより複数の部
   分領域を抽出する抽出手段と、 前記抽出手段で抽出された複数の部分領域のそれぞれに
   ついて文書方向を判別する判別手段と、 各文書方向について前記判別手段で判別された回数をカ
   ウントし、そのカウント値が最大となる文書方向を前記
   文書画像データの方向として決定する決定手段とを備え
   ることを特徴とする文書方向判定装置。
10. 【請求項１０】 前記抽出手段は、複数の文字領域を抽
    出し、 前記判別手段は、抽出された文字領域のそれぞれに関し
    て、文字領域に含まれる文字について複数の方向から認
    識処理を行い、認識度が最も高くなる方向を該文字領域
    の方向とすることを特徴とする請求項９に記載の文書方
    向判定装置。
11. 【請求項１１】 請求項１乃至１０のいずれかに記載の
    文書方向判定装置によって判定された文書画像データの
    方向に基づいて前記文書画像データを回転する回転手段
    と、 前記回転手段で回転された文書画像データを用いて文字
    認識処理を行う認識手段とを備えることを特徴とする文
    字認識装置。
12. 【請求項１２】 入力された文書画像データを複数の部
    分領域に分離する分離工程と、 前記分離工程で得られた前記複数の部分領域のそれぞれ
    について、予め優先度が与えられた複数種類の属性のい
    ずれに該当するかを判別し、判別された属性を付与する
    付与工程と、 前記分離工程で得られた前記複数の部分領域のそれぞれ
    について、文書方向を判別する判別工程と、 前記判別工程で判別された各部分領域の文書方向と、各
    部分領域に付与された属性の優先度に基づいて前記文書
    画像データの方向を決定する決定工程とを備えることを
    特徴とする文書方向判定方法。
13. 【請求項１３】 入力された文書画像データより複数の
    部分領域を抽出する抽出工程と、 前記抽出工程で抽出された部分領域について方向を判別
    する判別工程と、 前記判別工程において所定以上の確実性を有して方向が
    判別された複数の部分領域に関して、その判別された方
    向が一致する場合、該方向を前記文書画像データの方向
    として決定する決定工程とを備えることを特徴とする文
    書方向判定方法。
14. 【請求項１４】 入力された文書画像データより複数の
    部分領域を抽出する抽出工程と、 前記抽出工程で抽出された複数の部分領域のそれぞれに
    ついて文書方向を判別する判別工程と、 各文書方向について前記判別工程で判別された回数をカ
    ウントし、そのカウント値が最大となる文書方向を前記
    文書画像データの方向として決定する決定工程とを備え
    ることを特徴とする文書方向判定方法。
15. 【請求項１５】 メモリ媒体から所定のプログラムを読
    みこんでコンピュータを制御するコンピュータ制御装置
    であって、前記メモリ媒体は、 入力された文書画像データを複数の部分領域に分離する
    分離工程の手順コードと、 前記分離工程で得られた前記複数の部分領域のそれぞれ
    について、予め優先度が与えられた複数種類の属性のい
    ずれに該当するかを判別し、判別された属性を付与する
    付与工程の手順コードと、 前記分離工程で得られた前記複数の部分領域のそれぞれ
    について、文書方向を判別する判別工程の手順コード
    と、 前記判別工程で判別された各部分領域の文書方向と、各
    部分領域に付与された属性の優先度に基づいて前記文書
    画像データの方向を決定する決定工程の手順コードとを
    備えることを特徴とするコンピュータ制御装置。
16. 【請求項１６】 メモリ媒体から所定のプログラムを読
    みこんでコンピュータを制御するコンピュータ制御装置
    であって、前記メモリ媒体は、 入力された文書画像データより複数の部分領域を抽出す
    る抽出工程の手順コードと、 前記抽出工程で抽出された部分領域について方向を判別
    する判別工程の手順コードと、 前記判別工程において所定以上の確実性を有して方向が
    判別された複数の部分領域に関して、その判別された方
    向が一致する場合、該方向を前記文書画像データの方向
    として決定する決定工程の手順コードとを備えることを
    特徴とするコンピュータ制御装置。
17. 【請求項１７】 メモリ媒体から所定のプログラムを読
    みこんでコンピュータを制御するコンピュータ制御装置
    であって、前記メモリ媒体は、 入力された文書画像データより複数の部分領域を抽出す
    る抽出工程の手順コードと、 前記抽出工程で抽出された複数の部分領域のそれぞれに
    ついて文書方向を判別する判別工程の手順コードと、 各文書方向について前記判別工程で判別された回数をカ
    ウントし、そのカウント値が最大となる文書方向を前記
    文書画像データの方向として決定する決定工程の手順コ
    ードとを備えることを特徴とするコンピュータ制御装
    置。