JP6115323B2

JP6115323B2 - 文書処理装置、文書処理方法およびスキャナー

Info

Publication number: JP6115323B2
Application number: JP2013114202A
Authority: JP
Inventors: 屹峰潘; 俊孫; 源何; 直井　聡; 聡直井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-05-31
Filing date: 2013-05-30
Publication date: 2017-04-19
Anticipated expiration: 2033-05-30
Also published as: CN103455806B; EP2669847A3; JP2013250975A; CN103455806A; US9070035B2; US20130322757A1; EP2669847B1; EP2669847A2

Description

本発明は、文書処理装置、文書処理方法およびスキャナーに関し、特に入力された文書の向きを決定するために用いる文書処理装置、文書処理方法およびスキャナーに関する。

デジタル図書館や文書電子化のニーズが日々高まる中、大量の実際の媒体を有する文書（例えば、紙文書、フイルム文書等）を文書画像処理システム（Document Image Processing System，DIPS）を通じてスキャンし、且つ指定された形式の電子文書に変換する必要がある。また、文書画像処理システムの１つ重要なステップとして、スキャンした文書画像から文書の向き（例如、左から右へ、右から左へ、下から上へおよび上から下への４つの候補の方向がある）を自動的に識別する必要がある。この識別処理の性能はしばしば文書画像処理システム全体の性能に影響を及ぼすことがある。

従来の識別方法は主に以下の２種類がある。１つは、画像の特徴に基づく方法であり、もう１つは、光学文字認識（Optical Character Recognition，OCR）に基づく方法である。

しかしながら、文書の向きをよりよく認識するには、特にスキャンして得られた文書画像の質がよくないときは、前記方法のいずれを使用しても満足できる識別効果を得ることができない。

従って、少なくともこの課題を解決するために、本発明の発明者は文書の向きの識別を行う新しい方法を開示した。即ち、画像の特徴の情報と光学文字認識の情報を総合的に利用し、文書の言語を考慮して識別を行う方法である。

具体的に、本発明は文書処理設備を提供する。当該設備は、入力された文書から少なくとも１つのテキスト行を抽出するテキスト行抽出ユニットと；図形特徴認識処理を通じて、入力された文書の言語について光学文字認識処理を行う必要があるかを決定する言語分類ユニットと；入力された文書の言語について光学文字認識処理を行う必要があると決定されたときは、光学文字認識処理を行うことにより少なくとも一部のテキスト行のそれぞれについて各候補方向における光学文字認識信頼度を決定する光学文字認識ユニットと；図形特徴認識処理を行うことにより各テキスト行について各候補方向における図形特徴認識信頼度を決定する図形特徴認識ユニットと；決定された図形特徴認識信頼度および光学文字認識信頼度の少なくとも一方に基づいて前記少なくとも一部のテキスト行のそれぞれについて各候補方向における総合信頼度を決定し、且つ総合信頼度に基づいて入力された文書の向きを決定する決定ユニットと、を備える。

本発明はまたスキャナーを提供する。当該スキャナーは、入力された文書の向きを決定するために用いる前記文書処理設備を備える。

本発明は、さらに文書処理方法を提供する。当該方法は、入力された文書から少なくとも１つのテキスト行を抽出するステップと；図形特徴認識処理を通じて入力された文書の言語について光学文字認識処理を行う必要があるかを決定するステップと；入力された文書の言語について光学文字認識を行う必要があると決定されたときは、光学文字認識処理を行うことにより少なくとも一部のテキスト行のそれぞれについて各候補方向における光学文字認識信頼度を決定するステップと；図形特徴認識処理を行うことにより各テキスト行について各候補方向における図形特徴認識信頼度を決定するステップと；決定された図形特徴認識信頼度および光学文字認識信頼度の少なくとも一方に基づいて前記少なくとも一部のテキスト行のそれぞれについて各候補方向における総合信頼度を決定し、且つ総合信頼度に基づいて入力された文書の向きを決定するステップと、を含む。

本発明の実施例はさらにプログラムを提供する。当該プログラムは、コンピューター設備に、入力された文書の向きを決定する前記文書処理方法を実行させる。

本発明の実施例は、さらにコンピューター読み取り可能な記録媒体を提供する。当該コンピューター読み取り可能な記録媒体に、コンピューター設備に実行させることができるプログラムが記録されている。前記プログラムを実行するときは前記コンピューター設備に前記文書処理方法を実行させる。

本発明に開示された文書処理装置、文書処理方法およびスキャナーは、文書の向きの識別を効果良く行うことができる。特にスキャンして得られた文書画像の質がよくないときは、文書の向きの識別を効果良く行うことができる。

以上、本発明の技術的方案を簡単に説明して本発明の基本的な理解を提供する。この簡単な説明は本発明に対する網羅的なものではないことは理解されるところである。また、前記概略的な説明は、本発明の肝心部分又は重要部分を決定する意図がなく、本発明の範囲を限定する意図もない。その目的は、簡単な形式で幾つかの概念を提供して後述のより詳しい説明の先行説明とすることに過ぎない。

以下、図面を参照しながら本発明の好ましい実施例について詳細な説明を行うことにより、本発明の技術的方案の前記および他の利点がより明確なものになるだろう。

以下の図面を参照しながら行う詳細な説明により、本発明をよく理解することができる。全ての図面において、同一又は類似の構成要素は、同一又は類似の符号で示される。前記図面は、以下の詳細な説明とともに本明細書に含まれ、且つ本明細書の一部を構成し、例を挙げて本発明の好ましい実施例を説明し本発明の原理と利点を解釈するために用いられる。

図面に示された各構成要素は、単に本発明を簡潔且つ明瞭に説明するために示されたものであり、比例して描いたものではない。例えば、本発明の実施例を理解しやすいために、図面の中の一部の構成要素のサイズは、他の構成要素に対して拡大されて描かれていることは、当業者に理解されるところである。
本発明の実施例に係る情報処理装置の構成を概略的に示すブロック図。グレースケール画像を有する文書を例示する概略図。候補テキスト行の、２値化後の文書を例示する概略図。選択されたテキスト行を例示する概略図。１つの２値化後のテキスト行を例示する概略図。本発明の実施例に係る文書処理の工程を示すフローチャート。本発明の実施例に係る情報処理方法と情報処理装置を実現できる情報処理設備のハートウェアの構成を示す概略図。

以下、本発明の例示的な実施例について、付属の図面を参照しつつ説明する。明瞭にするために、明細書には実際の実施形態の技術的特徴がすべて記載しているわけではない。しかし、実際の実施例の開発に当たって開発者の具体的な目標を達成するために実施形態に特定した決定を下る必要があることは理解されるところである。例えば、システムおよび業務内容の制限条件を満たすこと。また、これらの制限条件は実施形態によって変わることがある。さらに、開発作業は非常に複雑で時間がかかるものだが、当該内容の公開によって恩恵を受ける当業者にとってこのような開発作業は恒例の任務に過ぎないことも理解されるところである。

ここで説明すべきなのは、必要以上の詳細な説明により本発明がぼやけってしまうのを防ぐために図面には本発明と密接な関係を持つ装置の構造および/又は処理ステップのみを示し、本発明と密接な関係を有さない他の詳細は省略されている。

本明細書に使われる用語は、単に特定の例示的な実施例を説明するためのものであり、本発明を限定するものではない。例えば、単数の形式の用語「１」、「１つ」や、「これ」、「それ」は、コンテキストに他の状況を明記した場合を除き、複数の形式を含むこともできる。用語「含む」、「備える」、「有する」はいずれもオーペンエンドであり、そしてこれにより、記載の特徴、整数、ステップ、操作、構成要素、部材及び/又はこれらの組み合わせが存在することを意味する。ここに記載の方法のステップ、処理及び操作は、実行の順番が明確に順番付けされた場合を除き、記載または図示の特定の順番で実行しなければならないわけではない。また、付加または代替可能なステップを利用することができる、と理解されるところである。

本発明の実施例は、文書処理設備を提供する。当該設備は、入力された文書から少なくとも１つのテキスト行を抽出するテキスト行抽出ユニットと；図形特徴認識処理により、入力された文書の言語について光学文字認識処理を行う必要があるかを決定する言語分類ユニットと；入力された文書の言語について光学文字認識を行う必要があると決定されたときは、光学文字認識処理を行うことにより少なくとも一部のテキスト行のそれぞれについて各候補方向における光学文字認識信頼度を決定する光学文字認識ユニットと；図形特徴認識処理を行うことにより各テキスト行について各候補方向における図形特徴認識信頼度を決定する図形特徴認識ユニットと；決定された図形特徴認識信頼度および光学文字認識信頼度の少なくとも一方に基づいて前記少なくとも一部のテキスト行のそれぞれについて各候補方向における総合信頼度を決定し、且つ総合信頼度に基づいて入力された文書の向きを決定する決定ユニットと、を備える。

本発明の実施例は、さらにスキャナーを提供する。当該スキャナーは前記文書処理設備を使用して入力された文書の向きを決定する。

本発明の実施例は、さらに文書処理方法を提供する。当該方法は、入力された文書から少なくとも１つのテキスト行を抽出するステップと；図形特徴認識処理により、入力された文書の言語について光学文字認識処理を行う必要があるかを決定するステップと；入力された文書の言語について光学文字認識を行う必要があると決定されたときは、光学文字認識処理を行うことにより少なくとも一部のテキスト行のそれぞれについて各候補方向における光学文字認識信頼度を決定するステップと；図形特徴認識処理を行うことにより各テキスト行について各候補方向における図形特徴認識信頼度を決定するステップと；決定された図形特徴認識信頼度および光学文字認識信頼度の少なくとも一方に基づいて前記少なくとも一部のテキスト行のそれぞれについて各候補方向における総合信頼度を決定し、且つ総合信頼度に基づいて入力された文書の向きを決定するステップと、を含む。

（文書処理装置の実施例）
まず、図１を参照して本発明の実施例に係る文書処理装置１００について説明する。

文書処理装置１００は、ズーミングユニット１０１、２値化ユニット１０２と、テキスト行抽出ユニット１０３と、言語分類ユニット１０４と、光学文字認識ユニット１０５と、図形特徴認識ユニット１０６と、決定ユニット１０７を備える。

文書処理装置１００は外部から文書を受け取る。当該文書は、実際の媒体を有する文書（例えば、紙文書、フイルム文書等）をスキャンして得たものであり、また、例えば、実際の媒体を有する文書を撮影して得た写真、或いは文書を含むその他の画像ファイルであっても良い。

入力された文書はまずズーミングユニット１０１に送られる。ズーミングユニット１０１は、入力された文書をズーミングし、且つズーミングした後の文書を２値化ユニット１０２に提供する。

ここで行うズーミングとは、通常、後処理に必要な計算量を減らすために、一定の比例で入力された文書の画像をズーミングし、或いは入力された文書の画像を一定の大きさまでズーミングすることである。勿論、実際のニーズに応じて、入力された文書の画像について拡大又はその他の必要な処理を行うことができる。例えば、スキャンしたときは紙文書の置き方による傾き又はしわを補正する。これらは当業者に周知されたため、ここでは詳しく説明しない。

注意すべきなのは、図１に破線のブロックで示したズーミングユニット１０１は必須のものではない。例えば、入力された文書の画像がすでに適切な大きさの画像である場合、ズーミングユニット１０１を設ける必要はない。入力された画像を直接２値化ユニット１０２に提供することができる。

２値化ユニット１０２は、ズーミングユニット１０１からズーミングした後の文書を受け取り、或いは入力された文書を直接受け取った場合、入力された文書を２値化画像文書に変換し、変換された文書は、テキスト行を抽出するためにテキスト行抽出ユニット１０３に提供される。

ここで行う２値化処理は、一般的な意味での既知の２値化処理であり、例えば、入力された文書が有するグレースケール画像を、その後画像中の文字の部分の処理をしやすいために前景色と背景に分ける。例えば、図２はグレースケール画像を有する文書を例示する概略図であり、図３は２値化後の文書を例示する概略図である。注意すべきなのは、図３には矩形状のブロックで後に説明する候補テキスト行を示している。これらの矩形状のブロックは２値化処理を経て得た結果ではない。また、注意すべきなのは、図２と図３のページはさかさまの状態であるが、これは文書の向きを決定する処理においてはよくあるケースである。

例えば大津（Otsu）方法またはニブラック（Niblack）方法により２値化を行うことができる。勿論、本発明はこれに限らず、その他の適当な方法を使用することができる。

２値化処理の詳細について、例えば、
（外1）

とTorfinn Taxtの《Evaluation of Binarization Methods for Document Images》（IEEE Trans，Pattern Anal，Mach，Intell，１７（３）：３１２-３１５（１９９５））を参照することができる。

また、ここで行う２値化処理は、入力された文書が有するカラー画像について行うこともできることは当業者に理解されるところである。また、２値化処理を行わなくてもよい場合、例えば、入力された文書の原本が２値化処理を行う必要のない白黒画像である場合もある。従って、図１に破線のブロックで示されている２値化ユニット１０２は必須のものではない。２値化ユニット１０２を設けず、ズーミングユニット１０１が提供したズーミングした後の文書、又は直接入力された文書を直接テキスト行抽出ユニット１０３に提供することができる。

テキスト行抽出ユニット１０３はズーミングユニット１０１、又は２値化ユニット１０２から送られた文書、或いは直接入力された文書に基づいて少なくとも１つのテキスト行を抽出する。

具体的に、テキスト行抽出ユニット１０３は、例えば、まず画像の中の連結部分（Connected Component，CC）の分析に基づいて候補となる文字を抽出し、それから、文字間における空間的位置関係に基づいて隣接する文字を直列に連結し、図３に矩形状のブロックで示したように候補テキスト行を形成する。注意すべきなのは、これらの候補テキスト行には、本当のテキスト行ではないものが存在する可能性がある。例えば、図３の左下方にある２つの矩形状のブロックはそのようなものである。従って、中から文書中の文字列である可能性の最も高い候補テキスト行を選択する必要があり、且つ選択された候補テキスト行をテキスト行とする。注意すべきなのは、ここでのテキスト行は、少なくとも１つのテキスト行を含む。図４は選択されたテキスト行を例示する概略図である。

テキスト行を選択するときは、候補テキスト行の高さや、長さ、候補テキスト行について行ったテクスチャ分析の結果、又は以上の要素の組み合わせに基づいて少なくとも１つの候補テキスト行をテキスト行として選択する。テキスト行を選択する方法は、当業者に周知されたため、ここでは説明を省略する。また、当業者が実際のニーズに応じて任意の適当な処理方法を選択してテキスト行を抽出することができる。

本実施例においては、説明しやすいために、図４に示されたように、文書中の文字列である可能性のある候補テキスト行を５行選択してテキスト行とする。ただし、本発明はこれに限られない。その他の所定の数の候補テキスト行を選択してテキスト行とすることもできる。通常選択されたテキスト行の数は５行より多く、例えば２０行である。

好ましくは、候補テキスト行を選択するときは、各候補テキストについてそのテキスト行信頼度を算出することができる。当該候補テキスト行が文書中の文字列である可能性が高いほど、当該候補テキスト行のテキスト行信頼度が高い。例えば、図４に示されている５行のテキスト行４１、４２、４３、４４および４５については上から下へテキスト行信頼度が次第に低くなる。即ち、最上方のテキスト行４１のテキスト行信頼度が最も高くて、一番下のテキスト行４５のテキスト行信頼度が最も低い。また、テキスト行信頼度の計算方法も公知のものであり、実際のニーズに応じて任意の適当な処理方法を選択してテキスト行信頼度を算出することができることは、当業者に理解されるところである。

算出された候補テキスト行信頼度に基づいて所定の数の候補テキストを選択してテキスト行とすることができ、また、所定の数の候補テキストを選択してテキスト行とするのではなく、テキスト行信頼度が予め設定した閾値より高い少なくとも１行の候補テキストをテキスト行とすることもできる。さらに、本発明はこれに限られない。この閾値は予め設定したものであっても良いし、例えば、現在の文書のすべての候補テキスト行についてのテキスト行信頼度の分布状況等によって設定することもできる。例えば、閾値を現在の文書のすべての候補テキスト行についてのテキスト行信頼度の平均値、中央値又は任意の他の適当な値に設定することができる。

テキスト行抽出ユニット１０３は、抽出されたテキスト行と、好ましくはこれらのテキスト行のテキスト行信頼度とを言語分類ユニット１０４と光学文字認識ユニット１０５と図形特徴認識ユニット１０６に提供する。

言語分類ユニット１０４は、受け取ったテキスト行についてその図形の特徴に基づいて言語分類をし、入力された文書の言語について光学文字認識処理を行う必要があるかを決定する。具体的に、例えば、テキスト行のテクスチャ特徴に基づいて、例えば２Dランレングスのヒストグラム（２D Run-Length Histogram）方法と人工ニューラルネットワーク（Artificial Neural Network）分類方法を利用してテキスト行の属する言語類別について分類を行う。ここで言及した、２Dランレングスのヒストグラム方法と人工ニューラルネットワーク分類方法を利用して言語分類を行うことの詳細について、例えばShijian Lu、Linlin LiとChew Lim Tanの《Identification of Scripts and Orientations of Degraded Document Images》（Pattern Anal，Appl，１３（４），４６９-４７５（２０１０））およびRanjith UnnikrishnanとRay Smithの《Combined Script and Page Orientation Estimation Using the Tesseract OCR Engine》（MOCR，２００９）を参照することができるため、ここでは詳細な説明を省略する。

前記言語分類により、例えば、テキスト行の属する言語を中国語と日本語類、韓国語類、ラテン語類、正向きアラビア語類、逆向きアラビア語類、正向きインド語類と逆向きインド語類に分類することができる。

注意すべきなのは、各類には１種類以上の文字を含む。例えば、ラテン語類にはラテン語と類似する特徴を持つ文字、例えばキリル文字（例えば、セルビア語文字とロシア語文字）とギリシャアルファベット文字（例えばギリシャ文字）を含むことができる。正向きアラビア語類と逆向きアラビア語類はそれぞれ正向きと逆向きのアラビアアルファベット文字（例えばアラビア語等）。正向きインド語類と逆向きインド語類は、それぞれ正向きと逆向きのサンスクリット語、タミル語、カンナダ語、ベンガル語等を含む。

このように分類する理由は、本発明の発明者は研究を通じて、前の３種類の言語、即ち中国語と日本語類、韓国語類とラテン語類の文書について単に文書の図形の特徴だけでテキスト行の向きを決定することが不可能であることを判明したからである。特に画像の質が悪ければなおさらである。このような状況下において、これらの種類の言語のテキストについて光学文字認識処理を行い、これらのテキスト行向きを決定する必要がある。その後の４種類の言語、即ち正向きアラビア語類、逆向きアラビア語類、正向きインド語類と逆向きインド語類については、言語の類別が判明されると同時に、これらのテキスト行向きもすでに判明されているため、さらに光学文字認識を行う必要がない。

各テキスト行について言語の分類を行うことにより文書全体の言語分類を行うことができる。例えば、テキスト行信頼度の高いものから低いものへの順番で、行ごとに各テキスト行の各候補言語に対するテキスト行言語信頼度を決定することができる。決定されたテキスト行言語信頼度に基づいて各候補言語に対する現在の言語信頼度を決定し、且つ現在の言語信頼度の中の最大値が所定の条件を満たしたときは、当該現在の言語信頼度が対応する候補言語を、入力された文書の属する言語とする。また、その他の順番で行ごとに各テキスト行についてテキスト行言語信頼度を決定することができることは、当業者に理解されるところである。

注意すべきなのは、ここでいう「各候補言語」とは、上述の分類方法により分類した各種の言語類、または他の方法で分類した各言語類（当該分類方法について、当該分類の中の言語について光学文字認識処理を行い文書の向きを決定する必要があるかを決定することに有利であればよい）、または具体的な各言語であっても良い。

テキスト行の属する言語が或る候補言語（又は相応する言語類）である可能性が高いほど、当該テキスト行の当該候補言語（又は相応する言語類）に対するテキスト行言語信頼度が高い。例えば、或るテキスト行について、その属する可能性の最も高い言語（又は相応する言語類）のテキスト行言語信頼度を１に設定し、当該テキスト行の他の言語（又は相応する言語類）に対するテキスト行言語信頼度を０に設定する。また、本発明はこれに限らず、例えば、テキスト行の属する言語が或る候補言語（又は相応する言語類）である確率を、当該テキスト行の当該候補言語（又は相応する言語類）に対するテキスト行言語信頼度とすることができる。また、他の適当なテキスト行言語信頼度の設定方法を採用することもできる。

また、或る候補言語（又は相応する言語類）の現在の言語信頼度を、この候補言語（又は相応する言語類）に対する、すでに言語分類された各テキスト行のテキスト行言語信頼度に関連するように設定することができる。例えば、毎回新たに決定されたテキスト行の各候補言語（又は相応する言語類）に対するテキスト行言語信頼度を、相応する各候補言語（又は相応する言語類）の現在の言語信頼度に加算し、各候補言語（又は相応する言語類）の現在の言語信頼度を獲得する。

現在の言語信頼度の中の最大値が所定の条件を満たしたときは、当該現在の言語信頼度が対応する候補言語（又は相応する言語類）を、入力された文書の属する言語に決定する。前記所定の条件とは、例えば、現在の言語信頼度の中の最大値が或る所定の閾値より大きいことである。また、本発明はこれに限らず、例えば、当該条件は、現在の言語信頼度の中の最大値は、２番目に大きい値+或る所定の量より大きいであること、或いは任意の他の適切な条件であっても良い。

このようにして、言語分類ユニット１０４はテキスト行の属する言語（又は相応する言語類）を決定することにより、文書の属する言語を決定し、さらに文書の属する言語について光学文字認識処理を行う必要があるかを決定することができる。言語分類ユニット１０４は決定の結果を光学文字認識ユニット１０５と画像特徴認識ユニット１０６に提供する。

言語分類ユニット１０４が、入力された文書の言語について光学文字認識を行う必要があると決定されたときは、光学文字認識ユニット１０５は、テキスト行抽出ユニット１０３が選択したテキスト行の中の少なくとも一部について光学文字認識処理を行うことにより、処理後の各テキスト行について各候補方向における光学文字認識信頼度を決定する。また、光学文字認識処理が当該技術分野の慣用手段であることは、当業者に理解されることであるため、ここではその詳細な説明を省略する。また、当業者に理解されるように、ここでの候補方向とは、通常、上から下へ、下から上へ、左から右へ、右から左への４種類ある。勿論、本発明はこれに限らず、特定の状況下においては、例えば、テキスト行が斜めになっている場合、他の候補方向も有りうる。

注意すべきなのは、光学文字認識ユニット１０５は、光学文字認識処理を決定するときは、言語分類ユニット１０４が決定した言語又は相応する言語類を参照することができる。例えば、光学文字認識ユニット１０５は光学文字認識処理を決定するときは、決定された言語又は言語類に関連する辞書を利用することができる。これにより光学文字認識処理の効率を高めることができる。

テキスト行は、或る候補方向において行われた光学文字認識処理を通じて認識された文字の比率が高いほど、数が多いほど、行った光学文字認識の認識結果の信頼度が高いほど、当該テキスト行の当該候補方向における光学文字認識信頼度が高い。例えば、或るテキスト行の光学文字認識結果が最もよい候補方向の光学文字認識信頼度を１に設定し、当該テキスト行の他の候補方向における光学文字認識信頼度を０に設定することができる。また、本発明はこれに限らず、例えば、テキスト行の各候補方向における光学文字認識信頼度を０〜１の間の数字に設定し、或いは他の適切な光学文字認識信頼度設定方法を採用することができる。

また、一部の言語のテキスト行について、例えば、ラテン語のテキスト行について、当該テキスト行の向きはテキスト行の文字進め方向であるしかないため、光学文字認識処理を行うときは、この２つの方向だけを考慮して光学文字認識処理を行えばよい。従って、当該テキスト行の当該２つの候補方向における光学文字認識信頼度だけを算出すればよい。当該テキスト行の他の候補方向における光学文字認識信頼度は０、或いは当該方向における光学文字認識信頼度が抑制されたことを表す他の値であっても良い。これにより計算の量を減らすことができ、文書処理装置１００の効率を高めることができる。

注意すべきなのは、すべての言語のテキスト行向きがテキスト行の文字進め方向に沿うわけではない。１つ代表的な例は中国語である。大部分の現代中国語の本は文字が横書きであるが、多くの古代中国語の本の中国語の文字は縦書きである。類似する状況は日本語にも存在する。従って、もし言語分類ユニット１０４は、文書の属する言語が中国語又は日本語であると決定したときは、全部４つの候補方向において光学文字認識処理を行う必要があり、且つ当該テキスト行の全部４つの候補方向における光学文字認識信頼度を算出する必要がある。

光学文字認識ユニット１０５は、後に説明する決定ユニット１０７が文書の向きを決定するまでに、信頼度の高いテキスト行から信頼度の低いテキスト行への順番で行ごとに少なくとも一部のテキスト行について光学文字認識信頼度を決定することができる。光学文字認識処理には計算量が大きいため、このようにして光学文字認識ユニット１０５は少なくとも一部のテキスト行だけについて光学文字認識処理を行い、すでに文書の向きが決定された後の必要でない光学文字認識処理を避けることができ、文書処理装置１００の効率を高めることができる。例えば、もし行ごとに図４のテキスト行４１、４２、４３について光学文字認識処理を行った後に、決定ユニット１０７はすでに文書の向きを決定したら、続けてテキスト行４４と４５について光学文字認識処理を行う必要がなくなり、計算量を減らすことができ、文書処理装置１００の効率を高めることができる。

また、光学文字認識ユニット１０５は、テキスト行の信頼度を計算していない状態においても、任意の順番で行ごとに少なくとも一部のテキスト行について光学文字認識信頼度を決定し、或いは行ごとに光学文字認識処理を行うのではなく、すべてのテキスト行を統一して光学文字認識信頼度を決定することもできる。

光学文字認識ユニット１０５は決定された光学文字認識信頼度を決定ユニット１０７に提供する。特に、光学文字認識ユニット１０５が行ごとに少なくとも一部のテキスト行について光学文字認識信頼度を決定する場合、光学文字認識処理ユニット１０５は、１つのテキスト行について各候補方向における光学文字認識信頼度を決定した度にそれを決定ユニット１０７に提供する。

図形特徴認識ユニット１０６は、図形特徴認識を行うことにより各テキスト行抽出ユニット１０３が選択したテキスト行について各候補方向における図形特徴認識信頼度を決定する。

以下、ラテン語の文字からなる１文字列を例として、図形特徴により文字列の異なる候補方向における図形特徴認識信頼度を決定する例を示す。

図５は１つの２値化後のテキスト行を例示する概略図である。当該テキスト行は図４に示されているテキスト行４１、４２、４３、４４、４５のいずれでもない。図５には、テキスト行の上下ベースラインを示してあり、その１は第一ベースライン、２は第二ベースラインである。これらのベースラインは、テキスト行の圧倒的に大部分の図形がベースラインの間にあるように決定したものである。普通の向きのラテン文（左から右への向きを有する）について、下から“はみ出す”文字（即ち、筆画が部分的に下ベースラインより低い）と比較すると、上から「はみ出す」文字（即ち、筆画が部分的に上ベースラインより高い）は、数及び/又は使用の頻度において優位にあるため、ラテン語のテキスト行について、画像中に上ベースラインをはみ出す部分は下ベースラインをはみ出す部分より多いはずである。しかし、図５においては、画像中に第二ベースライン２をはみ出した部分は第一ベースライン１をはみ出した部分より多いため、第一、第二ベースラインをはみ出した部分の統計上の特徴により図５のテキスト行がさかさまになっている可能性が高いと決定できる。即ち、図５のテキスト行は左から右への候補方向における図形特徴認識信頼度が低く、右から左への候補方向における図形特徴認識信頼度が高い。上から下へと下から上への候補方向については、当該テキスト行がラテン語のテキスト行であり且つ当該テキスト行が上下方向に伸びるものではないことがすでに分かったので、必然的に当該テキスト行向きが上から下へまたは下から上への向きではないことになる。従って、当該テキスト行の上から下へと下から上への候補方向における図形特徴認識信頼度は０である。

また、本発明はこれに限らず、或るテキスト行について、図形特徴認識処理により可能性が最も高いと決定された候補方向における図形特徴認識信頼度を１に設定し、当該テキスト行の他の候補方向における図形特徴認識信頼度を０に設定し、或いは他の適当な図形特徴認識信頼度の設定方法を採用することができる。

また、本発明は上述の図形特徴認識の例に限らず、例えば異なる言語類別について、他の適当な図形特徴を用いて文字列の各候補方向における図形特徴認識信頼度を決定することができる。以上言及した各種の図形特徴認識処理は当該技術分野の公知技術であるためここでは詳細な説明を省略する。

上述したように、図形特徴認識ユニット１０６は、図形特徴認識処理を行うと決定するときは、言語分類ユニット１０４が決定した言語又は相応する言語類を参照して相応する認識方法および/または基準を選択することができる。特に、言語分類ユニット１０４は、すでに図形特徴認識処理を経て、入力された文書の言語について光学文字認識処理を行う必要がないと決定したときは、即ち、言語分類ユニット１０４はすでに文書の言語を決定すると同時に文書の向きを決定したときは、直接各テキスト行のテキスト行言語信頼度に基づいて当該テキスト行の図形特徴認識信頼度を決定することができる。例えば、各テキスト行のテキスト行言語信頼度を直接当該テキスト行の図形特徴認識信頼度とすることができる。

また、言語分類ユニット１０４の決定結果がどうであろうと、言語分類ユニット１０４は、図形特徴認識処理により当該テキスト行の各候補言語についてのテキスト行言語信頼度を決定すると同時に，行った図形特徴認識処理により当該テキスト行の図形特徴認識信頼度を決定することができる。即ち、画像特徴認識ユニット１０６の役割は言語分類ユニット１０４によって実現することができる。従って、ハードウェアにおいて単独の画像特徴認識ユニット１０６を省略することができ、文書処理装置１００の効率をさらに高めることができる。

図形特徴認識ユニット１０６は上述のように決定した図形特徴認識信頼度を決定ユニット１０７に提供する。

決定ユニット１０７は、光学文字認識ユニット１０５から受け取った光学文字認識信頼度および画像特徴認識ユニット１０６から受け取った図形特徴認識信頼度のうち少なくとも一方に基づいて、少なくとも一部のテキスト行の中の各行について各候補方向における総合信頼度を決定し、且つ総合信頼度に基づいて入力された文書の向きを決定する。ここで言う「少なくとも一部のテキスト行」とは、テキスト行について光学文字認識処理を行う必要がある場合には、すでに光学文字認識処理を行い且つ光学文字認識信頼度を獲得したテキスト行を指し、テキスト行について光学文字認識処理を行う必要がない場合には、図形特徴認識処理を行い且つ図形特徴認識信頼度を獲得したすべてのテキスト行を指す。

また、テキスト行について光学文字認識処理を行う必要があるときは、決定ユニット１０７は、光学文字認識信頼度と図形特徴認識信頼度との両方に基づいて総合信頼度を決定することもできるし、光学文字認識信頼度だけに基づいて総合信頼度を決定することもできる。また、テキスト行について光学文字認識処理を行う必要がないときは、決定ユニット１０７は図形特徴認識信頼度だけに基づいて総合信頼度を決定することができる。

具体的に、決定ユニット１０７は、光学文字認識信頼度と図形特徴認識信頼度との両方に基づいて総合信頼度を決定するときは、当該テキスト行の当該候補方向における総合信頼度と、当該テキスト行の当該候補方向における光学文字認識信頼度および図形特徴認識信頼度との間に正の相関関係があれば、テキスト行の各候補方向における総合信頼度を当該テキスト行の当該候補方向における光学文字認識信頼度と図形特徴認識信頼度の平均値、積または他の適当な形式に設定することができる。また、総合信頼度を決定するときは、決定ユニット１０７は、テキスト行抽出ユニット１０３が提供したテキスト行信頼度を参考にすることができる。例えば、テキスト行の各候補方向における総合信頼度を、当該テキスト行のテキスト行信頼度と、当該テキスト行の当該候補方向における光学文字認識信頼度および図形特徴認識信頼度との積の平均値に設定することができる。勿論、本発明はこれに限らず、当該テキスト行の当該候補方向における総合信頼度と当該テキスト行のテキスト行信頼度との間に正の相関関係があればよい。

また、各テキスト行の各候補方向における総合信頼度に基づいて、例えば、上述した決定処理を経たすべてのテキスト行の各候補方向における総合信頼度の和を得ることができ、且つ総合信頼度の和が最も大きい候補方向を文書全体の向きとすることができる。

特に、光学文字認識ユニット１０５は、テキスト行信頼度の高い方から低い方への順番で少なくとも一部のテキスト行について行ごとに光学文字認識信頼度を決定するときは、決定ユニット１０７は、テキスト行信頼度の高い方から低い方への順番で少なくとも一部のテキスト行について行ごとに総合信頼度を決定する。また、決定された総合信頼度に基づいて各候補方向における現在の信頼度を決定し、且つ現在の信頼度の中の最大値が所定の条件を満たしたときは、当該現在の信頼度が対応する候補方向を入力された文書の向きとする。

このようにして、決定ユニット１０７は、一部のテキスト行について行ごとに決定処理を行い、もし現在行われた決定処理により文書の向きがすでに決定されたのであれば、他のテキスト行について計算量の多い光学文字認識処理を行う必要はない。従って、文書処理装置１００の効率を高めることができる。例えば、図４のテキスト行４１、４２、４３について行ごとに決定処理を行った後に、決定ユニット１０７がすでに文書の向きを決定したのであれば、光学文字認識ユニット１０５はもうテキスト行４４と４５について光学文字認識処理を行わない。従って、計算量を減らすことができ、文書処理装置１００の効率を高めることができる。

具体的に、各候補方向における現在の信頼度を設定するときは、例えば、毎回新たに決定されたテキスト行の各候補方向における総合信頼度を、対応する各候補方向における現在の信頼度に加算して、各候補方向における現在の信頼度を獲得することができる。

また、決定された総合信頼度とテキスト行信頼度に基づいて現在の信頼度を決定することができる。例えば、テキスト行信頼度の高いテキスト行の総合信頼度が現在の信頼度において比較的に高い重みを占めるようにすることができる。

現在の信頼度の中の最大値が所定の条件を満たした場合、当該現在の信頼度が対応する候補方向を、入力された文書の向きとすることができる。当該所定の条件は、例えば、現在の信頼度の中の最大値が或る所定の閾値より高いことである。また、本発明はこれに限らず、例えば、当該条件は、現在の言語信頼度の中の最大値は、２番目に大きい値+或る所定の量より大きいであること、又は任意の他の適当な条件であっても良い。

また、言語分類ユニット１０４がすでに文書の言語を決定したと同時に文書の向きをも決定したときは、各テキスト行について光学文字認識処理を行う必要がないため、各テキスト行のテキスト行言語信頼度に基づいて当該テキスト行の図形特徴認識信頼度を直接に決定することができる。よって、各テキスト行のテキスト行言語信頼度により当該テキスト行の総合信頼度を直接に決定することができる。さらに、決定ユニット１０７は、総合信頼度又は現在の信頼度を算出せず、直接言語分類ユニット１０４が決定した文書の向きに基づき文書の向きを獲得することができる。これにより、計算量をさらに減らすことができ、文書処理装置１００の効率を高めることができる。

上述した文書処理装置１００により、同時に図形特徴認識処理と光学文字認識処理を通じて文書の向きを決定することができ、さらに好ましい例として文書の属する言語により決定に必要な計算量をできるだけ減らすことができる。従って、本発明の実施例に係る文書処理装置は、文書の向きを効率よく決定することができ、特に文書の画質が劣化するときの文書の向きの決定に適する。

（文書処理方法の実施例）
以下、図６を参照しながら本発明の実施例に係る文書処理方法について説明する。当該文書処理方法は、例えば、文書処理装置１００により実行される。図６は本発明の実施例に係る文書処理のプロセスを示すフローチャートである。

処理開始後、まずステップＳ６０１に入る。ステップＳ６０１において、入力された文書をズーミングし、さらにステップＳ６０２の処理に進む。ステップＳ６０１は、例えば、上述したズーミングユニット１０１に類似する機能を持つユニットにより実行されることができる。従って、ステップＳ６０１についての詳細な技術的説明は上述したズーミングユニット１０１についての説明を参照することができるため、ここでは詳細な説明を省略する。また、ズーミングユニット１０１を説明したときは説明したように、図６にある破線ブロックで示されているステップＳ６０１は必須のものではなく、ステップＳ６０１をスキップして後続のステップを直接実行することができる。

また、ステップＳ６０２において、入力された文書を２値化画像の文書に変換し、さらにステップＳ６０３の処理に進む。ステップＳ６０２は、例えば、上述した２値化ユニット１０２に類似する機能を持つユニットにより実行される。従って、ステップＳ６０２についての詳細な技術的説明は上述した２値化ユニット１０２についての説明を参照することができるため、ここでは詳細な説明を省略する。また、２値化ユニット１０２を説明したときは説明したように、図６にある破線ブロックで示されているステップＳ６０２は必須のものではなく、ステップＳ６０２をスキップして後続のステップを直接実行することができる。

ステップＳ６０３において、文書中の文字列である可能性が最も高い画像を少なくとも１つ抽出してテキスト行とする。それからステップＳ６０４の処理に進む。ステップＳ６０３は、例えば上述したテキスト行抽出ユニット１０３に類似する機能を持つユニットにより実行される。従って、ステップＳ６０３についての詳細な技術的説明は上述したテキスト行抽出ユニット１０３についての説明を参照することができるため、ここでは詳細な説明を省略する。

ステップＳ６０４において、受け取ったテキスト行についてその図形特徴に基づいて言語分類を行い、入力された文書の言語について光学文字認識処理を行う必要があるかを決定する。光学文字認識処理を行う必要があると決定したときは、ステップＳ６０５に進む。そうでなければ、ステップＳ６０６に進む。ステップＳ６０４は、例えば上述した言語分類ユニット１０４に類似する機能を持つユニットにより実行される。従って、ステップＳ６０４についての詳細な技術的説明は上述した言語分類ユニット１０４についての説明を参照することができるため、ここでは詳細な説明を省略する。

ステップＳ６０５において、光学文字認識処理を行うことにより少なくとも一部のテキスト行のそれぞれについて各候補方向における光学文字認識信頼度を決定し、それからステップＳ６０６に進む。ステップＳ６０５は、例えば上述した光学文字認識ユニット１０５に類似する機能を持つユニットにより実行される。従って、ステップＳ６０５についての詳細な技術的説明は上述した光学文字認識ユニット１０５についての説明を参照することができるため、ここでは詳細な説明を省略する。

ステップＳ６０６において、図形特徴認識処理を行うことにより各テキスト行について各候補方向における図形特徴認識信頼度を決定し、それからステップＳ６０７に進む。ステップＳ６０６は、例えば上述した図形特徴認識ユニット１０６に類似する機能を持つユニットにより実行される。従って、ステップＳ６０６についての詳細な技術的説明は上述した図形特徴認識ユニット１０６についての説明を参照することができるため、ここでは詳細な説明を省略する。また、前に図形特徴認識ユニット１０６について説明したときは言及されたように、ステップＳ６０６での処理をステップＳ６０４に併合して実行することもできる。また、前に決定ユニット１０７について説明したときは言及されたように、ステップＳ６０５を実行した後に、ステップＳ６０６を実行せず、ステップＳ６０６をスキップして直接その後の処理を実行することができる。

ステップＳ６０７において、図形特徴認識信頼度および光学文字認識信頼度の中の少なくとも一方に基づいて総合信頼度を決定し、且つ総合信頼度に基づいて入力された文書の向きを決定する。それから処理を終了する。ステップＳ６０７は、例えば上述した決定ユニット１０７に類似する機能を持つユニットにより実行される。従って、ステップＳ６０７についての詳細な技術的説明は、上述した決定ユニット１０７についての説明を参照することができるため、ここでは詳細な説明を省略する。

このようにして、上述した情報処理方法により、同時に図形特徴認識処理と光学文字認識処理を通じて文書の向きを決定することができ、さらに好ましい例として文書の属する言語により決定に必要な計算量をできるだけ減らすことができる。従って、本発明の実施例に係る文書処理装置は、文書の向きを効率よく決定することができ、特に文書の画質が劣化するときの文書の向きの決定に適する。

（ハートウェアの構成に関する実施例）
本発明の実施例に係る文書処理装置における各構成ユニット、サブユニット等は、ソフトウェア、ファームウェア、ハードウェア又はその任意の組み合わせの方式により構成することができる。ソフトウェア又はファームウェアにより実現する場合、記録媒体又はネットワークから専用ハードウェアの構造を有する機器（例えば図７に示された汎用機器７００）に当該ソフトウェア又はファームウェアを構成するプログラムをインストールし、当該機器は、各種のプログラムがインストールされた後に、前記各構成ユニットやサブユニットの機能を実現することができる。

図７は、本発明の実施例に係る情報処理方法と情報処理装置を実現できる情報処理設備のハートウェアの構成を示す概略図。

図７において、セントラルプロセッシングユニット（CPU）７０１は、読み取り専用メモリ（ROM）７０２に記憶されたプログラム又は記録部７０８からランダムアクセスメモリ（RAM）７０３にアップロードしたプログラムに従って各種の処理を実行する。RAM７０３には、必要に応じてCPU７０１が各種の処理等を実行するときは必要なデータを保存する。CPU７０１と、ROM７０２と、RAM７０３はバス７０４を介して互いに接続しあう。入力/出力インタフェース７０５もバス７０４に接続される。

以下の機器も入力/出力インタフェース７０５に接続する：入力部７０６（キーボード、マウス等を含む）、出力部７０７（例えばブラウン管（CRT）、液晶ディスプレイ（LCD）等のモニタやスピーカー等を含む）、記録部７０８（ハードディスク等を含む）、通信部７０９（ネットワークインタフェースカード、例えばローカルエリアネットワーク（LAN）カード、及びモデム等を含む）。通信部７０９はネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ７１０も入力/出力インタフェース７０５に接続することができる。取り外し可能な媒体７１１、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等は、必要に応じてドライブ７１０に設置することができ、その中から読み取ったコンピュータープログラムが必要に応じて記録部７０８に保存することができる。

ソフトウェアを介して前記一連の処理を実行する場合、ネットワーク、例えばインターネット、又は記録媒体、例えば取り外し可能な媒体７１１からソフトウェアを構成するプログラムをインストールする。

当業者が理解されるように、ここでの記録媒体は、図７に示されたような、中にプログラムが記録され、設備と分離して配布しユーザにプログラムを提供する取り外し可能な媒体７１１に限らない。取り外し可能な媒体７１１の例として、磁気ディスク(フロッピーディスク(登録商標)を含む)、光ディスク(コンパクトディスク（CD）による読み出し専用メモリー(CD-ROM)とデジタル多用途ディスク(DVD)を含む)、光磁気ディスク（ミニディスク(MD)(登録商標)を含む)と半導体記憶装置などを含む。また、記録媒体は、ROM７０２や記録部７０８に含まれるハードディスクであっても良い。その中にプログラムが記録され、且つそれを記録する設備と一緒にユーザに配布される。

本発明のもう１つの実施様態は、機械読み取り可能な命令コードを含むプログラムを提供する。当該機械読み取り可能な命令コードが機械に読み取りされ、実行されるときは本発明の実施例に係る文書処理方法を実行することができる。また、当該プログラムを保持する媒体、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等の各種の記録媒体も本発明の技術的方案に含まれる。

また、本発明の実施例に係る文書処理方法の各操作プロセスも、機械読み取り可能な各種の記録媒体に記憶されたコンピューター実行可能なプログラムにより実現することができる。

注意すべきなのは、本発明の実施例に係る文書処理装置の各構成ユニットは、単独なものであってもよいし、１つのユニットで複数の構成ユニットの機能を実現することも可能である。

また、本発明の文書処理方法の各ステップは、必ずしも本発明に記載の順番で行うとは限らない。並行して実行してもよいし、呼び出して実行することもできる。例えば、ステップＳ６０１は必ずしもステップＳ６０２の前に実行するとは限らず、ステップＳ６０２の後で実行してもよいし、両ステップを並行して実行することもできる。ステップＳ６０５も必ずしもステップＳ６０６の前に実行するとは限らず、ステップＳ６０６の後で実行してもよいし、両ステップを並行して実行することもできる。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
文書処理設備であって、
入力された文書から少なくとも１つのテキスト行を抽出するテキスト行抽出ユニットと、
図形特徴認識処理により、入力された文書の言語について光学文字認識処理を行う必要があるかを決定する言語分類ユニットと、
入力された文書の言語について光学文字認識を行う必要があると決定されたときは，光学文字認識処理を行うことにより少なくとも一部のテキスト行のそれぞれについて各候補方向における光学文字認識信頼度を決定する光学文字認識ユニットと、
図形特徴認識処理を行うことにより各テキスト行について各候補方向における図形特徴認識信頼度を決定する図形特徴認識ユニットと、
決定された図形特徴認識信頼度および光学文字認識信頼度の少なくとも一方に基づいて前記少なくとも一部のテキスト行のそれぞれについて各候補方向における総合信頼度を決定し、且つ総合信頼度に基づいて入力された文書の向きを決定する決定ユニットと、
を備える文書処理設備。

（付記２）
前記言語分類ユニットは、入力された文書の言語が中国語、日本語、韓国語、又はラテン語の文字を使用する言語であると決定したときは、入力された文書の言語について光学文字認識処理を行う必要があると決定する、
付記１に記載の文書処理設備。

（付記３）
前記テキスト行抽出ユニットは、各テキスト行のそれぞれが文書中の文字列である可能性を算出して且つテキスト行信頼度とし、
前記光学文字認識ユニットは、前記決定ユニットが文書の向きを決定するまでにテキスト行信頼度の高い方から低い方への順番で各テキスト行について行ごとに光学文字認識信頼度を決定する、
付記１又は２に記載の文書処理設備。

（付記４）
前記決定ユニットは、テキスト行信頼度の高い方から低い方への順番で前記少なくとも一部のテキスト行について行ごとに総合信頼度を決定する，決定された総合信頼度に基づいて各候補方向における現在の信頼度を決定し、且つ現在の信頼度の中の最大値が第一所定条件を満たしたときは、当該現在の信頼度が対応する候補方向を入力された文書の向きとして決定する、
付記３に記載の文書処理設備。

（付記５）
前記決定ユニットは、決定された総合信頼度とテキスト行信頼度に基づいて各候補方向における現在の信頼度を決定する、
付記４に記載の文書処理設備。

（付記６）
前記テキスト行抽出ユニットは、各テキスト行のそれぞれが文書中の文字列である可能性を算出してテキスト行信頼度とし、
前記言語分類ユニットは、テキスト行信頼度の高い方から低い方への順番で各テキスト行について行ごとに各候補言語のテキスト行言語信頼度を決定し、決定されたテキスト行言語信頼度に基づいて各候補言語の現在の言語信頼度を決定し、且つ現在の言語信頼度の中の最大値が第二所定条件を満たしたときは、当該現在の言語信頼度が対応する候補言語を入力された文書の属する言語として決定する、
付記３に記載の文書処理設備。

（付記７）
入力された文書をズーミングし、且つズーミングされた文書を前記テキスト行抽出ユニットに提供し、テキスト行を抽出するために用いるズーミングユニットをさらに備える、
付記１乃至６の何れかに記載の文書処理設備。

（付記８）
入力された文書を２値化画像文書に変換し、且つテキスト行を抽出するために前記テキスト行抽出ユニットに提供する２値化ユニットをさらに備える、
付記１乃至７の何れかに記載の文書処理設備。

（付記９）
入力された文書の向きを決定するために用いる付記１乃至８の何れかに記載の文書処理設備を備えるスキャナー。

（付記１０）
文書処理方法であって、
入力された文書から少なくとも１つのテキスト行を抽出するテキスト行抽出ステップと、
図形特徴認識処理により入力された文書の言語について光学文字認識処理を行う必要があるかを決定する言語分類ステップと、
入力された文書の言語について光学文字認識を行う必要があると決定されたときは，光学文字認識処理を行うことにより少なくとも一部のテキスト行のそれぞれについて各候補方向における光学文字認識信頼度を決定する光学文字認識ステップと、
図形特徴認識処理を行うことにより各テキスト行について各候補方向における図形特徴認識信頼度を決定する図形特徴認識ステップと、
決定された図形特徴認識信頼度および光学文字認識信頼度の少なくとも一方に基づいて前記少なくとも一部のテキスト行のそれぞれについて各候補方向における総合信頼度を決定し、且つ総合信頼度に基づいて入力された文書の向きを決定する決定ステップと、
を含む文書処理方法。

（付記１１）
前記言語分類ステップにおいて、入力された文書の言語が中国語、日本語、韓国語又はラテン語の文字を使用する言語であると決定したときは、入力された文書について言語光学文字認識処理を行う必要があると決定する、
付記１０に記載の文書処理方法。

（付記１２）
前記テキスト行抽出ステップにおいて、各テキスト行のそれぞれが文書中の文字列である可能性を算出してテキスト行信頼度とし、且つ
前記光学文字認識ステップにおいて、前記決定ステップで文書の向きを決定するまでに
テキスト行信頼度の高い方から低い方への順番で各テキスト行について行ごとに光学文字認識信頼度を決定する、
付記１０又は１１に記載の文書処理方法。

（付記１３）
前記決定ステップにおいて、テキスト行信頼度の高い方から低い方への順番で前記少なくとも一部のテキスト行について行ごとに総合信頼度を決定し、決定された総合信頼度に基づいて各候補方向における現在の信頼度を決定し、且つ現在の信頼度の中の最大値が第一所定条件を満たしたときは、当該現在の信頼度が対応する候補方向を入力された文書の向きとして決定する、
付記１２に記載の文書処理方法。

（付記１４）
前記決定ステップにおいて、決定された総合信頼度とテキスト行信頼度に基づいて各候補方向における現在の信頼度を決定する、
付記１３に記載の文書処理方法。

（付記１５）
前記テキスト行抽出ステップにおいて、各テキスト行のそれぞれが文書中の文字列である可能性を算出してテキスト行信頼度とし、且つ
前記言語分類ステップにおいて、テキスト行信頼度の高い方から低い方への順番で各テキスト行について行ごとに各候補言語のテキスト行言語信頼度を決定し、決定されたテキスト行言語信頼度に基づいて各候補言語の現在の言語信頼度を決定し、且つ現在の言語信頼度の中の最大値が第二所定条件を満たしたときは、当該現在の言語信頼度が対応する候補言語を入力された文書が属する言語とする、
付記１０乃至１４に記載の文書処理方法。

（付記１６）
入力された文書をズーミングするズーミングステップをさらに含み、且つズーミングされた文書は前記テキスト行抽出ステップでテキスト行を抽出するために用いられる、
付記１０乃至１５の何れかに記載の文書処理方法。

（付記１７）
入力された文書を２値化画像文書に変換する２値化ステップをさらに含み、且つ変換された２値化画像文書は前記テキスト行抽出ステップでテキスト行を抽出するために用いられる、
付記１０乃至１６に記載の文書処理方法。

（付記１８）
プログラムであって、
入力された文書の向きを決定するためにコンピューター設備に付記１０乃至１７の何れかに記載の文書処理方法を実行させるプログラム。

（付記１９）
コンピューター読み取り可能な記録媒体であって、
前記記録媒体にはコンピューター設備により実行されるプログラムが保持され、前記プログラムが実行されるときは、前記コンピューター設備に付記１０乃至１７のいずれかに記載の文書処理方法を実行させるコンピューター読み取り可能な記録媒体。

本発明の技術方案とその特徴を詳細に説明してきたが、添付の請求の範囲の要旨と範囲内に本発明に対する様々な変更、改善又は均等物を設計することができるものと認めるべきである。また、本発明の範囲は、明細書に記載された過程、設備、製造、物質の構造、手段、方法およびステップの具体的な実施例に限られない。当業者が本発明の開示内容から理解されるように、本発明によれば、上述した実施例と基本的に同じ機能を有し、基本的に同じ効果を奏する現在と将来に開発される過程、設備、製造、物質の構造、手段、方法およびステップを使用又は実行することができる。従って、添付の請求の範囲はこのような過程、設備、製造、物質の構造、手段、方法およびステップを含む。

以上、図面を参照しながら本発明の実施例について説明してきたが、上述した実施形態は本発明の技術方案を説明するためのものであり、本発明の技術方案を限定するものではない。当業者は添付の請求の範囲の要旨と範囲内に上述した実施形態に対する様々な変更、変形又は均等物を設計することができるものと認めるべきである。従って、本発明の範囲は添付の請求の範囲およびその均等物による範囲とみなされる。

Claims

文書処理設備であって、
入力された文書から少なくとも１つのテキスト行を抽出するテキスト行抽出ユニットと、
図形特徴認識処理により、入力された文書の言語について光学文字認識処理を行う必要があるかを決定する言語分類ユニットと、
入力された文書の言語について光学文字認識を行う必要があると決定されたときは、光学文字認識処理を行うことにより少なくとも一部のテキスト行のそれぞれについて各候補方向における光学文字認識信頼度を決定する光学文字認識ユニットと、
図形特徴認識処理を行うことにより各テキスト行について各候補方向における図形特徴認識信頼度を決定する図形特徴認識ユニットと、
決定された図形特徴認識信頼度および光学文字認識信頼度の少なくとも一方に基づいて前記少なくとも一部のテキスト行のそれぞれについて各候補方向における総合信頼度を決定し、且つ総合信頼度に基づいて入力された文書の向きを決定する決定ユニットと、
備える文書処理設備。
前記言語分類ユニットは、入力された文書の言語が中国語、日本語、韓国語又はラテン語の文字を使用する言語であると決定したときは、入力された文書について言語光学文字認識処理を行う必要があると決定する、
請求項１に記載の文書処理設備。
前記テキスト行抽出ユニットは、各テキスト行のそれぞれが文書中の文字列である可能性を算出してテキスト行信頼度とし、且つ
前記光学文字認識ユニットは、前記決定ユニットが文書の向きを決定するまでに、テキスト行信頼度の高い方から低い方への順番で各テキスト行について行ごとに光学文字認識信頼度を決定する、
請求項１又は２に記載の文書処理設備。
前記決定ユニットは、テキスト行信頼度の高い方から低い方への順番で前記少なくとも一部のテキスト行について行ごとに総合信頼度を決定し、決定された総合信頼度に基づいて各候補方向における現在の信頼度を決定し、且つ現在の信頼度の中の最大値が第一所定条件を満たしたときは、当該現在の信頼度が対応する候補方向を入力された文書の向きとして決定する、
請求項３に記載の文書処理設備。
前記決定ユニットは、決定された総合信頼度とテキスト行信頼度に基づいて各候補方向における現在の信頼度を決定する、
請求項４に記載の文書処理設備。
前記テキスト行抽出ユニットは、各テキスト行のそれぞれが文書中の文字列である可能性を算出してテキスト行信頼度とし、且つ
前記言語分類ユニットは、テキスト行信頼度の高い方から低い方への順番で各テキスト行について行ごとに各候補言語のテキスト行言語信頼度を決定し、決定されたテキスト行言語信頼度に基づいて各候補言語の現在の言語信頼度を決定し、且つ現在の言語信頼度の中の最大値が第二所定条件を満たしたときは、当該現在の言語信頼度が対応する候補言語を入力された文書の属する言語として決定する、
請求項１又は２に記載の文書処理設備。
入力された文書をズーミングし、且つズーミングされた文書を前記テキスト行抽出ユニットに提供し、テキスト行を抽出するために用いるズーミングユニットをさらに備える、
請求項１又は２に記載の文書処理設備。
入力された文書を２値化画像文書に変換した後に前記テキスト行抽出ユニットに提供しテキスト行を抽出するために用いる２値化ユニットをさらに備える、
請求項１又は２に記載の文書処理設備。
入力された文書の向きを決定するために用いる請求項１乃至８の何れかに記載の文書処理設備を備えるスキャナー。
入力された文書から少なくとも１つのテキスト行を抽出するステップと、
図形特徴認識処理により、入力された文書の言語について光学文字認識処理を行う必要があるかを決定するステップと、
入力された文書の言語について光学文字認識を行う必要があると決定されたときは、光学文字認識処理を行うことにより少なくとも一部のテキスト行のそれぞれについて各候補方向における光学文字認識信頼度を決定するステップと、
図形特徴認識処理を行うことにより各テキスト行について各候補方向における図形特徴認識信頼度を決定するステップと、
決定された図形特徴認識信頼度および光学文字認識信頼度の少なくとも一方に基づいて前記少なくとも一部のテキスト行のそれぞれについて各候補方向における総合信頼度を決定し、且つ総合信頼度に基づいて、入力された文書の向きを決定するステップと、
を含む文書処理方法。