JP3768743B2 - ドキュメント画像処理装置及びドキュメント画像処理方法 - Google Patents
ドキュメント画像処理装置及びドキュメント画像処理方法 Download PDFInfo
- Publication number
- JP3768743B2 JP3768743B2 JP26521299A JP26521299A JP3768743B2 JP 3768743 B2 JP3768743 B2 JP 3768743B2 JP 26521299 A JP26521299 A JP 26521299A JP 26521299 A JP26521299 A JP 26521299A JP 3768743 B2 JP3768743 B2 JP 3768743B2
- Authority
- JP
- Japan
- Prior art keywords
- document image
- word
- document
- range
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Character Discrimination (AREA)
- Facsimiles In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ファイリングシステムや文書データベース等、画像入力されたドキュメントに対して、ドキュメント間あるいはドキュメント内の関連付けを行うためのドキュメント画像処理装置及びドキュメント画像処理方法に関する。
【０００２】
【従来の技術】
これまで、スキャナ等により画像入力されたドキュメントのあるデータ位置（処理上は座標点）から別のデータ位置（同座標点）への参照関係を示すための関連付け（リンク）は、手作業で行われることが多かった。そして、これを自動的に行わせるために、リンク付けの対象となるデータ領域の文字認識を行ったうえでキーワードを選び出し、関連付けを行う方法が試みられている。
【０００３】
この場合、描画品質の良い文書であれば、文字認識の効果が発揮され、精度良くキーワードを抽出することができるが、ノイズ等を含んでいたり、図面や線画等、文字情報を正確に抽出するのが困難なドキュメントに対しては、文字認識の精度が悪くなり、関連データ間のリンク付けが正確に行われないことがある。
【０００４】
【発明が解決しようとする課題】
本発明は、前記のような問題に鑑み成されたもので、図面や線画等の文字情報を正確に抽出することが困難なドキュメントに対しても、当該図面や線画に含まれる文字列とドキュメントの他の部分とのリンク付けを精度良く行うことが可能になるドキュメント画像処理装置及びドキュメント画像処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の請求項１に係わる第１のドキュメント画像処理装置は、画像データとして取り込まれたドキュメント上の複数のデータ位置間でリンク付けを行うドキュメント画像処理装置であって、前記ドキュメント画像上でリンク付けの対象となる第１の範囲と第２の範囲を指定する範囲指定手段と、この範囲指定手段により指定された前記ドキュメント画像上の２つの範囲の文字認識に対する品質を評価する品質評価手段と、この品質評価手段により品質が高いと評価された第１又は第２の一方の範囲に対して文字認識を行い、この一方の範囲から認識された単語を、その位置情報と共に登録する単語登録手段と、前記品質評価手段により品質が低いと評価された第１又は第２の他方の範囲に対して文字認識を行い、この他方の範囲から認識された文字列を前記単語登録手段により登録された一方の範囲における単語と照合する単語照合手段と、この単語照合手段により前記他方の範囲から認識された文字列と前記単語登録手段により登録された一方の範囲における単語とが照合一致された場合には、当該照合一致された他方の範囲の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報を生成するリンク情報生成手段とを具備したことを特徴とする。
【０００８】
このような構成の第１のドキュメント画像処理装置では、ドキュメント画像上でリンク付けの対象となる第１の範囲と第２の範囲が指定されると、この範囲指定された前記ドキュメント画像上の２つの範囲の文字認識に対する品質が評価され、この品質評価により品質が高いと評価された第１又は第２の一方の範囲に対して文字認識が行われ、この一方の範囲から認識された単語が、その位置情報と共に登録され、また前記品質評価により品質が低いと評価された第１又は第２の他方の範囲に対して文字認識が行われ、この他方の範囲から認識された文字列が前記単語登録された一方の範囲における単語と照合される。そして、この単語照合により前記他方の範囲から認識された文字列と前記単語登録により登録された一方の範囲における単語とが照合一致された場合に、当該照合一致された他方の範囲の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報が生成されるので、文字認識の精度が低い場合や、表や線画等の文字情報を正確に抽出できない場合でも、リンク付けがより正確に行えることになる。
【００１１】
【発明の実施の形態】
以下図面により本発明の実施の形態について説明する。
【００１２】
（第１実施形態）
この第１実施形態では、ドキュメント上の２つの範囲をリンク付けの対象範囲として指定したときに、指定した一方の範囲内の文字列を単語辞書に登録した後に、指定した他方の範囲内の文字列抽出時にその単語辞書を参照し、照合されたときに両方の文字列の存在するデータ位置間で関連付けを行うようにしたドキュメント画像処理機能について説明する。
【００１３】
図１は本発明の実施形態に係るドキュメント画像ファイリング装置の電子回路の構成を示すブロック図である。
【００１４】
このドキュメント画像ファイリング装置は、コンピュータである制御装置（ＣＰＵ）２１を備えている。
【００１５】
制御装置（ＣＰＵ）２１は、画像入力装置２２から入力される画像データやデータ入力・指示装置２３により入力あるいは指示されたデータに応じて、ＲＯＭ２４に予め記憶されているシステムプログラムを起動させ、あるいはフロッピディスク等の外部記録媒体２５に記憶されているドキュメント画像処理用のプログラムデータを磁気ディスク装置などの記録媒体読み取り部２６により読み取らせて起動させ、回路各部の動作を制御するものである。
【００１６】
この制御装置（ＣＰＵ）２１には、前記画像入力装置２２、データ入力・指示装置２３、ＲＯＭ２４の他に、ＲＡＭ２７、表示装置２８が接続される。
【００１７】
画像入力装置２２は、文書や図面等が描かれた書類を光学的に読み込んで画像データに変換するようにした画像スキャナや通信ネットワークを介して他のコンピュータ端末装置から送られてくる画像データを受信入力するようにした通信インターフェイス等として構成されるもので、この画像入力装置２２により入力されたドキュメント画像データは、ＲＡＭ２７内の画像メモリ２７ａに格納される。
【００１８】
データ入力・指示装置２３は、文字，記号，数字等を入力するためのキーボードやデータ位置の指示や範囲指定，移動操作等を行うためのマウスを備えてなるもので、このデータ入力・指示装置２３により前記画像メモリ２７ａに格納された画像データ上の任意の領域が指定されると、その指定領域の画像データが読み出されてＲＡＭ２７内の読み出し画像メモリ２７ｂに記憶される。
一方、このドキュメント画像ファイリング装置によるドキュメント画像処理機能を実現するための主な制御プログラムとして、ＲＯＭ２４に予め記憶されるプログラムデータとしては、文字認識プログラム２４ａ、単語辞書作成プログラム２４ｂ、単語辞書照合プログラム２４ｃ、リンク情報発生プログラム２４ｄ、品質評価プログラム２４ｅ（第２実施形態で使用）が用意される。
【００１９】
また、このドキュメント画像ファイリング装置によるドキュメント画像処理機能を実現するための主なデータメモリとして、ＲＡＭ２７に確保されるメモリ領域しては、前記画像メモリ２７ａ、読み出し画像メモリ２７ｂの他に、単語辞書メモリ２７ｃ、リンク情報メモリ２７ｄが用意される。
【００２０】
前記ＲＯＭ２４に記憶される各種の制御プログラムやＲＡＭ２７に確保される各種のデータメモリについては、図２に示す機能ブロックを参照してさらに説明する。
【００２１】
図２は前記ドキュメント画像ファイリング装置における第１実施形態のドキュメント画像処理機能の構成を示すブロック図である。
【００２２】
このドキュメント画像処理機能の機能ブロックでは、前記図１におけるドキュメント画像ファイリング装置の対応構成部分を括弧書きの符号にして示す。
【００２３】
このドキュメント画像処理機能は、紙のドキュメントを画像データとして読み込むための画像入力部１（２２）と、読み込まれた画像データをファイリングするための画像格納部２（２７ａ）と、ファイリングされた画像データに対して必要に応じて読み出すための画像読出部３（２７ｂ）と、読み出された画像データをディスプレイモニタ等の画面上に表示するための画像表示部４（２８）と、画像データの全部あるいは一部を領域として指定するための領域指定部５（２３）と、指定された領域に含まれる文字列を抽出し、文字認識を行うための文字認識部６（２４ａ）と、文字認識した結果から単語を抽出して単語辞書に登録するための単語辞書作成部７（２４ｂ）と、作成された単語辞書を記憶登録するための単語辞書記憶部８（２７ｃ）と、指定された他の領域における文字認識の結果を前記登録された単語辞書と照合するための単語辞書照合部９（２４ｃ）と、この単語辞書との照合結果を利用して画像データ上の２データ位置（点）間で座標によるリンク情報を発生させるためのリンク情報発生部１０（２４ｄ）と、発生されたリンク情報を画像データと関連付けて格納しておくためのリンク情報格納部１１（２７ｄ）とにより構成される。
【００２４】
次に、前記構成のドキュメント画像ファイリング装置における第１実施形態のドキュメント画像処理機能について説明する。
【００２５】
図３は前記ドキュメント画像ファイリング装置の第１実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャートである。
【００２６】
まず、リンク先となるドキュメント領域について処理を行う。
【００２７】
画像入力部１（２２）により読み込まれて画像格納部２（２７ａ）に格納されている１枚のドキュメント画像データを画像表示部４（２８）に表示させ、その画像上の任意の一部あるいは全部を、領域指定部５（２３）によってリンク先の対象領域として指定する（ステップＳＴ１０１）。
【００２８】
具体的な領域指定手段としては、画像読出部３（２７ｂ）にて該当するドキュメントを検索して読み出し、画像表示部４（２８）に表示させ、領域指定部５（２３）による表示画面上でのドラッグ操作等により領域を指定する。そのほか、前記検索して読み出された表示画像データに対して、レイアウト解析を行ってテキストエリアを抽出し、そのエリアを対象領域として指定してもよい。
【００２９】
次に、前記ステップＳＴ１０１において指定されたリンク先の領域に対して、文字認識部６（２４ａ）による文字認識処理によって文字領域を抽出し、文字認識を行う（ステップＳＴ１０２）。ここで得られた画像データ指定領域上での文字認識結果に対して、単語辞書生成部７（２４ｂ）による単語辞書生成処理により、個々の単語に分割してこれを単語辞書記憶部８（２７ｃ）に登録する（ステップＳＴ１０３）。
【００３０】
次に、リンク元となるドキュメント領域について処理を行う。
【００３１】
前記同様に画像入力部１（２２）により読み込まれて画像格納部２（２７ａ）に格納されている１枚のドキュメント画像データを画像表示部４（２８）に表示させ、その画像上の任意の一部あるいは全部を領域指定部５（２３）によってリンク元の対象領域として指定する（ステップＳＴ１０４）。その具体的な方法は、前記ステップＳＴ１０１におけるリンク先の領域指定作業と同様である。
【００３２】
そして、この指定されたリンク元の画像領域について、文字認識部６（２４ａ）による文字認識処理により前記ステップＳＴ１０２と同様に文字領域を抽出し、文字認識を行う（ステップＳＴ１０５）。そして、その文字認識結果に対して、前記単語辞書記憶部８（２７ｃ）に記憶されて登録されている単語辞書を引き出して、単語辞書照合部９（２４ｃ）による単語辞書照合処理により、登録単語との単語照合を行う（ステップＳＴ１０６）。
【００３３】
ここで、前記ステップＳＴ１０５によるリンク元領域の文字認識の結果と単語辞書記憶部８（２７ｃ）に記憶登録されているリンク先領域内の単語とが同一のものと照合できた場合には、その文字認識の結果が得られたリンク元の画像データ位置（座標）から、単語辞書記憶部８（２７ｃ）に記憶されている照合単語のリンク先での画像データ位置へのリンク情報が、リンク情報発生部１０（２４ｄ）によるリンク情報発生処理により生成される（ステップＳＴ１０７）。このリンク情報は、例えばリンク元領域での前記登録単語と照合一致した画像データ位置を示す座標と、当該照合一致した登録単語の前記リンク先領域での画像データ位置を示す座標とを対応付けたデータリンクテーブルとして生成され、リンク情報記憶部１１（２７ｄ）に格納される。
【００３４】
次に、ドキュメント画像の具体例を使用して、リンク情報の生成処理について説明する。
【００３５】
図４は表部分とテキスト部分からなるドキュメント画像の一例を示す図である。
【００３６】
まず、リンク先のドキュメント画像データの領域指定（ステップＳＴ１０１）について説明する。
【００３７】
図５は前記ドキュメント画像に対するリンク先の領域指定表示状態を示す図である。
【００３８】
図４に示すようなドキュメント画像Ｇａを画像読み出し部３（２７ｂ）に読み出し、図５に示すように、画像表示部４（２８）に表示させた状態で、例えばその太線枠で示したようにリンク先となる部分の画像領域Ｅｒを、領域指定部５（２３）によるマウスのドラッグ操作によって指定する。
【００３９】
この領域指定手段としては、前述したように、１ページのドキュメント全体でも良いし、複数のページにまたがって指定してもよい。また、ここでは利用者が明示的に画像領域Ｅｒの位置を指定したが、これを自動的に、例えば表部分の項目名が書かれている部分を表理解技術により自動抽出して領域指定してもよい。
【００４０】
こうして抽出されたリンク先の画像領域Ｅｒに対して、文字認識部６（２４ａ）による文字認識処理により、各文字列が抽出され、その文字認識が行われると、「前面部」「背面部」「先端部」「接続部」の単語が抽出され（ステップＳＴ１０２）、これの単語が単語辞書作成部７（２４ｂ）によって単語辞書記憶部８（２７ｃ）に登録される（ステップＳＴ１０３）。
【００４１】
図６は前記ドキュメント画像のリンク先領域に対する文字認識により抽出された複数の単語の登録状態を示す図である。
【００４２】
この際、図６に示すように、単語辞書記憶部８（２７ｃ）には、前記リンク先の画像領域Ｅｒから文字認識により抽出されたそれぞれの単語に対応付けて、ドキュメントを識別するための文章番号や文書名、その単語が位置する開始座標、終了座標が記録される。
【００４３】
次に、リンク元のドキュメント画像データの領域指定（ステップＳＴ１０４）について説明する。
【００４４】
図７は前記ドキュメント画像に対するリンク元の領域指定表示状態を示す図である。
【００４５】
前記同様に図４に示すようなドキュメント画像Ｇａを画像読み出し部３（２７ｂ）に読み出し、図７に示すように、画像表示部４（２８）に表示させた状態で、例えばその太線枠で示したようにリンク元となる部分の画像領域Ｅｓを、領域指定部５（２３）によるマウスのドラッグ操作によって指定する。
【００４６】
この際、別のドキュメント画像の任意の一部分をリンク元領域Ｅｓとして指定してもよいし、数ページにわたるドキュメントの適当な範囲を領域とリンク元領域Ｅｓとして指定してもよい。また、利用者が明示的にその位置を指定する以外に、「表部分」「図形部分」「テキスト部分」等の指定により自動的に抽出し、リンク対象領域として割り当ててもよい。
【００４７】
次に、前記指定されたリンク元となる画像領域Ｅｓに対して、文字認識部６（２４ａ）により文字認識処理が行われ（ステップＳＴ１０５）、これにより得られる文字認識結果に対して、文字認識の知識処理が行なわれる（ステップＳＴ１０６）。
【００４８】
この文字認識の知識処理は、文字認識の後処理にて利用されるものであり、リンク元の画像領域Ｅｓにおける認識候補文字の集合から得られる単語を、前記単語辞書記憶部８（２７ｃ）に登録されているリンク先領域Ｅｒでの登録単語と照合する方法である。ここで、前記リンク元領域Ｅｓにおける認識文字列とリンク先領域Ｅｒにおける登録単語とが照合された場合には、前記図６における単語辞書記憶部８（２７ｃ）に辞書登録されている照合単語と共に対応付けられた文書番号及びその位置情報が引き出され、例えば図８に示すように、現在リンク元としてカーソル指定されているテキスト部分の文字列「前面部」ｒ１のデータ位置から前記位置情報に応じたリンク先である表部分の単語「前面部」ｒ２のデータ位置までのリンク情報が生成され（ステップＳＴ１０７）、画像表示部４（２８）においてリンク表示される。
【００４９】
図８は前記第１実施形態のドキュメント画像処理機能に伴うドキュメント画像上でのリンク情報生成状態を示す図である。
【００５０】
したがって、前記構成による第１実施形態のドキュメント画像処理機能によれば、ドキュメント画像Ｇａ上で指定されたリンク付けの対象となる２つの領域Ｅｒ，Ｅｓに対して、リンク先の領域Ｅｒの文字認識結果を後処理辞書に登録し、リンク元の領域Ｅｓの文字認識において、前記登録した辞書を知識処理に利用し、照合された場合には、その照合されたリンク先登録単語のデータ位置に応じてリンク情報ｒ１−ｒ２を生成するようにしたので、文字認識の精度が低い場合や、表や線画等の文字情報を正確に抽出できない場合においても、リンク付けを正確に行うことができる。
【００５１】
（第２実施形態）
この第２実施形態では、ドキュメント上の２つの範囲をリンク付けの対象範囲として指定したときに、指定した２つの範囲における文字品質に応じて単語辞書に登録する範囲と知識処理を行うべき範囲とを決定した後に、一方の範囲内の登録単語と他方の範囲内の抽出文字列との照合によるデータ位置間での関連付けを行うようにしたドキュメント画像処理機能について説明する。
【００５２】
図９は前記ドキュメント画像ファイリング装置における第２実施形態のドキュメント画像処理機能の構成を示すブロック図である。
【００５３】
このドキュメント画像処理機能の機能ブロックでは、前記図１におけるドキュメント画像ファイリング装置の対応構成部分を括弧書きの符号にして示す。
【００５４】
このドキュメント画像処理機能は、紙のドキュメントを画像データとして読み込むための画像入力部１（２２）と、読み込まれた画像データをファイリングするための画像格納部２（２７ａ）と、ファイリングされた画像データに対して必要に応じて読み出すための画像読出部３（２７ｂ）と、読み出された画像データをディスプレイモニタ等の画面上に表示するための画像表示部４（２８）と、画像データの全部あるいは一部を領域として指定するための領域指定部５（２３）と、指定された領域に含まれる文字列を抽出し、文字認識を行うための文字認識部６（２４ａ）と、文字認識した結果から単語を抽出して単語辞書に登録するための単語辞書作成部７（２４ｂ）と、作成された単語辞書を記憶登録するための単語辞書記憶部８（２７ｃ）と、指定された他の領域における文字認識の結果を前記登録された単語辞書と照合するための単語辞書照合部９（２４ｃ）と、この単語辞書との照合結果を利用して画像データ上の２データ位置（点）間で座標によるリンク情報を発生させるためのリンク情報発生部１０（２４ｄ）と、発生されたリンク情報を画像データと関連付けて格納しておくためのリンク情報格納部１１（２７ｄ）と、領域指定部５（２３）によって指定された各領域における文字画像の品質を評価し、単語辞書に登録する範囲と知識処理を行うべき範囲とを決定するための品質評価部１２（２４ｅ）とにより構成される。
【００５５】
次に、前記構成のドキュメント画像ファイリング装置における第２実施形態のドキュメント画像処理機能について説明する。
【００５６】
図１０は前記ドキュメント画像ファイリング装置の第２実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャートである。
【００５７】
まず、画像入力部１（２２）により読み込まれて画像格納部２（２７ａ）に格納されているドキュメント画像データを画像表示部４（２８）に表示させ、関連付けを行う２つの領域を領域指定部５（２３）によって指定する。すなわち、領域１の指定（ステップＳＴ２０１）及び領域２の指定（ステップＳＴ２０２）を行う。ここで指定する領域は、それぞれ１枚のドキュメントでも、複数枚にまたがるドキュメントの何れであってもよい。
【００５８】
次に、指定されたそれぞれの領域に対して、品質評価部１２（２４ｅ）における品質評価処理により文字品質を評価する。すなわち、領域１に対する文字品質の評価（ステップＳＴ２０３）及び領域２に対する文字品質の評価（ステップＳＴ２０４）を行う。この文字品質の評価手段としては、指定された各領域の領域特徴を抽出し、その結果に応じて文字品質を決定する方法がある。具体的には、指定された領域内の画像データから連結成分を抽出し、抽出された連結成分の大きさから文字らしきサイズにあった連結成分を文字候補領域として抽出し、その領域における文字候補領域の分布より、領域をいくつかのカテゴリに分類し、このカテゴリに応じて文字品質を決定するものである。
【００５９】
ここで、前記指定領域内におけるカテゴリとは、テキスト領域、表領域、図面領域、写真領域等の文書要素の種類である。例えば、テキスト領域、表領域、図面領域、写真領域の順に文字品質は高いと設定しておく。
【００６０】
品質評価の別の手段としては、前記指定領域内の文字候補領域に対して実際に文字認識を行ってその認識時における確信度を計測し、確信度が高いものを品質が高いと設定しておく。この文字認識の確信度としては、当該文字認識の辞書とのパターン照合時の類似度、認識候補の１位と２位の類似度の差異等、あるいはその組合せを利用する。
【００６１】
こうして行われた各領域の品質評価の結果より、これを比較する（ステップＳＴ２０５）。この比較の結果、高品質であると決定された一方の領域に対し、先立って文字認識部６（２４ａ）における文字認識処理によって文字認識を行う（ステップＳＴ２０６）。また、前記品質比較の結果、各領域とも同程度の文字品質と評価された場合には、例えば領域サイズの小さい方を高品質領域として扱う等の選択処理を行う。そして、前記文字品質が高い側の領域に対して行われた文字認識処理により得られた認識結果に対して、単語辞書作成部７（２４ｂ）における単語辞書作成処理により単語に分割し、これを単語辞書記憶部８（２７ｃ）に記憶させて登録する（ステップＳＴ２０７）。
【００６２】
次に、前記文字品質の評価が低い他方の指定領域について、同様に文字認識部６（２４ａ）における文字認識処理により文字領域を抽出し、文字認識を行う（ステップＳＴ２０８）。そして、この他方の領域の文字認識結果に対して、単語辞書記憶部８（２７ｃ）に記憶登録されている前記一方の領域にて抽出された単語辞書を引き出して、単語辞書照合部９における単語辞書照合処理により単語照合を行う（ステップＳＴ２０９）。
【００６３】
ここで、前記ステップＳＴ２０８における他方の領域の文字認識の結果と前記単語辞書記憶部８（２７ｃ）に記憶登録されている一方の領域の登録単語とが同一のものと照合できた場合には、当該他方の領域の照合文字列のデータ位置から、単語辞書記憶部８（２７ｃ）に記憶登録されている一方の領域の照合単語のデータ位置へのリンク情報が、リンク情報発生部１０（２４ｄ）におけるリンク情報発生処理により、そのそれぞれのデータ位置を示す座標の対応付けにより生成される（ステップＳＴ２１０）。そして、このリンク情報はリンク情報記憶部１１（２７ｄ）に格納され、画像読み出し部３（２７ｂ）に読み出されている一方及び他方の画像領域間でのリンク付け表示が画像表示部４（２８）において行われる。
【００６４】
したがって、前記構成による第２実施形態のドキュメント画像処理機能によれば、ドキュメント画像上で指定されたリンク付けの対象となる２つの領域に対して、文字品質の高い方の一方の領域の文字認識を先に行ってその単語辞書を精度良く作成し、この後文字品質の低い方の他方の領域の文字認識処理において、前記一方の登録辞書の単語を知識処理に利用し、認識文字列が照合された場合には直ちにその照合された一方の領域の登録単語のデータ位置にリンク付けを行うようにしたので、文字認識の精度が低い場合や、表や線画等の文字情報を正確に抽出できない場合においても、リンク付けを正確に行うことができる。
【００６５】
（第３実施形態）
この第３実施形態では、表部分と図面部分を含むドキュメント画像に対して、表部分から項目名、図面部分から図面中の位置を示す文字列を抽出してリンク付けを行い、表部分の各項目に対して図面部分の位置属性を与えるようにした表形式文書のドキュメント画像処理機能について説明する。
【００６６】
図１１は前記ドキュメント画像ファイリング装置の第３実施形態のドキュメント画像処理機能により成されるデータ読み取りリンク処理を示すフローチャートである。
【００６７】
図１２は表部分と図面部分からなるドキュメント画像Ｇｂの一例を示す図である。
【００６８】
図１３は前記表部分と図面部分からなるドキュメント画像Ｇｂに対するフォーマット登録状態を示す図である。
【００６９】
図１４は前記第３実施形態のドキュメント画像処理機能に伴う表形式文書ドキュメント画像上での文字認識照合状態を示す図である。
【００７０】
図１５は前記第３実施形態のドキュメント画像処理機能に伴う表形式文書ドキュメント画像上でのリンク情報生成状態を示す図である。
【００７１】
まず、画像入力部１（２２）により読み込まれて画像格納部２（２７ａ）に格納されているドキュメント画像データを画像表示部４（２８）に表示させ、そのうちで例えば図１２に示すような、表部分と図面部分からなる表形式文書のドキュメント画像Ｇｂをリンク付けの対象画像として画像読み出し部３（２７ｂ）により読み込む（ステップＳＴ３０１）。
【００７２】
この場合、対象となる表形式文書のフォーマットを登録しておく必要がある。登録されていない場合には、フォーマット登録作業を行う（ステップＳＴ３０２→ＳＴ３０２′）。ここで、登録するフォーマットは、表を形成する罫線情報と、表部分に記入される文字に関する情報と、図面部分に関する情報とからなる。
【００７３】
例えば、図１２に示すような図面部分を含む表形式文書のドキュメント画像Ｇｂが画像読み取り部３（２７ｂ）に読み込まれた場合には、図１３に示すように、罫線情報と、表部分に記入される文字の位置Ｆ１（格子部分）及び図面部分の位置Ｆ２（斜線部分）に関する情報をフォーマット情報として登録する。
【００７４】
次に、前記読み込まれた表形式文書のドキュメント画像データに対して、画像処理によって罫線情報を抽出し、抽出された罫線情報を利用して、前記登録されたフォーマットから適合するフォーマットを識別する（ステップＳＴ３０３）。そして、この識別されたフォーマットに登録されている罫線情報を呼び出して、表部分の位置合わせを行う（ステップＳＴ３０４）。ここで、表部分に記入される文字の位置情報Ｆ１から、文字の記入箇所を切り出し、表部分における各記入文字の認識を、文字認識部６（２４ａ）による文字認識処理によって行う（ステップＳＴ３０５）。そして、この記入文字の認識結果を単語辞書作成部７（２４ｂ）による単語辞書作成処理によって各単語のデータ位置の座標を対応付けた単語辞書として作成し、単語辞書記憶部８（２７ｃ）に登録する（ステップＳＴ３０６）。
【００７５】
一方、前記ステップＳＴ３０３において識別されたフォーマットに登録される図面部分の位置情報より、前記表形式文書のドキュメント画像Ｇｂから図面部分を切り出し（ステップＳＴ３０７）、切り出された画像データから文字列を抽出する（ステップＳＴ３０８）。この文字列の抽出では、予め定められた文字サイズに適合する連結成分の集合あるいはその近傍領域を文字列候補としてその画像領域を切り出す。
【００７６】
例えば図１２に示すような表形式文書のドキュメント画像Ｇｂにおける図面部分においては、図１４に示すように、実際に文字列を示す部分ｒ２ａ〜ｒ２ｄのほかに、画像のかすれやノイズ成分に影響されていくつかの余分な部分ｒ２ｅを文字列候補として抽出してしまうことがある。
【００７７】
次に、図面部分から切り出された文字列画像に対しては、文字認識部５（２４ａ）における文字認識処理によって文字認識を行うのと共に、このときステップＳＴ３０６において単語辞書記憶部８（２７ｃ）に登録されている表部分から抽出された単語辞書を用いて後処理を行い、単語照合を行う（ステップＳＴ３０９）。この際、前記図面部分から余分に抽出された文字列部分ｒ２ｅについては、単語辞書に登録されている言葉と照合できず破棄される。
【００７８】
一方、単語照合が成功した箇所については、表部分の項目名に相当する文字列ｒ１ａ〜ｒ１ｄと図面中の文字列ｒ２ａ〜ｒ２ｄとの関連付けを行い、表部分の各項目に図面中の位置情報を付加する（ステップＳＴ３１０）。
【００７９】
これにより、例えば図１５に示す矢印のような関連付けが行われる。その結果得られた表部分の登録単語に対する図面部分の対応データ位置情報を加えたリンク情報をリンク情報発生部１０（２４ｄ）により生成し、リンク情報記憶部１１（２７ｄ）に記憶させる（ステップＳＴ３１１）。
【００８０】
例えば、図１２に示すように、表データの項目名として「前面部」「背面部」というように、場所を示すような言葉である場合には、項目名そのものが場所を表しているので、あえて各項目データに位置情報を付加する必要はないが、仮に項目名が「Ｐ１」「Ｐ２」というように記号や番号で指定されている場合には、各項目に図面中の対応位置情報を付加することにより、データ化された後のリンク付けのためにこの位置情報が不可欠な情報となる。
【００８１】
したがって、前記構成による第３実施形態のドキュメント画像処理機能によれば、図面部分と表部分からなる表形式文書のドキュメント画像において、文字列の抽出が比較的精度が高く行える表部分の認識結果を単語辞書に登録し、その単語辞書を用いて図面中の文字列に対して認識しながら照合を行うことにより、表部分の項目名と図面中の文字列を効率良く関連付けることが可能となり、表部分から読み取れるデータに、図面中の位置情報を付加してデータ化することができる。
【００８２】
（第４実施形態）
この第４実施形態では、異なるドキュメント間でのリンク付けに際して、各ドキュメントの時間的順序関係を用いてリンク付けの参照方向を制限するようにしたドキュメント画像処理機能について説明する。
【００８３】
図１６は前記ドキュメント画像ファイリング装置の第４実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャートである。
【００８４】
まず、リンク付けの対象となる２つのドキュメント画像を指定する（ステップＳＴ４０１）。ここでの指定手段は、領域指定部５（２３）により、それぞれ１枚のドキュメント画像を指定しても、複数枚にまたがるドキュメント画像を指定してもよい。また、ドキュメント画像のなかでも文字部分のみというように領域指定を行ってもよい。
【００８５】
次に、前記指定された２つのドキュメント画像に対して、文字認識部６（２４ａ）による文字認識処理によって文字認識を行う（ステップＳＴ４０２）。ここで、単語辞書作成部７（２４ｂ）による単語辞書作成処理によって、一方のドキュメント画像に対する文字認識結果を形態素解析等の方法を用いて単語に分割し、分割された単語を単語辞書記憶部８（２７ｃ）に記憶させ登録する（ステップＳＴ４０３）。
【００８６】
次に、他方のドキュメント画像に対する文字認識部６（２４ａ）による文字認識結果を、前記ステップＳＴ４０３で既に単語辞書記憶部８（２７ｃ）に登録された一方のドキュメント画像から抽出された単語辞書を用いて、単語辞書照合部９（２４ｃ）によって単語照合を行い（ステップＳＴ４０４）、照合された単語同士のデータ位置を対応付けたリンク情報をリンク情報発生部１０（２４ｄ）によって生成する（ステップＳＴ４０５）。
【００８７】
そして、前記リンク付けされた両方のドキュメント画像からその作成日等の時間的な情報を抽出する（ステップＳＴ４０６）。このとき、両者のドキュメント画像からは同じ方法により抽出することが望ましい。その時間情報の抽出方法としては、ドキュメント画像の上部あるいは下部から文字領域を抽出し、文字認識することによって、その認識文字列が数字の羅列であるか、あるいは、「月」「日」「平成」等のキーワードを含む文字列であるか判断することにより、時間的な情報であるかを判別する。あるいは、予め月日が書かれていると予測されるデータ位置を数ヶ所特定しておき、その特定のデータ位置から文字列を抽出することにより、時間的な情報を得てもよい。また、画像からの抽出では得られない場合には、例えば画像を読み込んだ時間をそのまま利用したり、利用者に問い合わせてマニュアル入力したりしてもよい。
【００８８】
こうして得られた各ドキュメント画像の時間的な情報も、前記ステップＳＴ４０５において生成されたリンク情報に付加し、リンク付けされた各ドキュメント画像の表示に際しその参照方向を制限する（ステップＳＴ４０７）。
【００８９】
図１７は前記第４実施形態のドキュメント画像処理機能に伴う時間情報を有する２つのドキュメント画像間でのリンク情報生成状態を示す図である。
【００９０】
例えば、図１７に示すように、「９９年７月２０日」に作成されたドキュメント画像Ｇｂ１と「９９年８月２０日」に作成されたドキュメント画像Ｇｂ２に対して、生成されたリンク情報については、そのリンク付け表示に伴う参照方向がドキュメントＧｂ１からドキュメントＧｂ２の方向（ｒ１→ｒ２）に制限される。あるいは、各ドキュメント画像間のリンク情報に付加された時間情報に従って、当該各ドキュメント画像のリンク表示に伴い「前のドキュメント」「後ろのドキュメント」というように時間的情報を共に表示させ、両方のドキュメント間で相互にリンク表示を行ってもよい。
【００９１】
また、ここで生成したドキュメント画像のリンク位置情報から、既に別のドキュメント画像に対してのリンク位置情報が存在する場合には、当該別のドキュメント画像の時間的な情報を利用して、それぞれのリンクが時間的な順序で並ぶように、所謂ソート処理を行い、リンク情報を書き換える処理を加えてもよい（ステップＳＴ４０８）。
【００９２】
図１８は前記第４実施形態のドキュメント画像処理機能に伴う時間情報を有する複数のドキュメント画像間でのリンク情報のソート状態を示す図である。
【００９３】
例えば、図１８に示すように、新たに「９９年８月１日」付けのドキュメント画像Ｇｂ３が読み込まれ、ドキュメント画像Ｇｂ２の同じポイントにリンク付けされた場合には、時刻順に参照できるようにリンク情報の付け替え（ｒ１→ｒ２→ｒ３）を行う。
【００９４】
したがって、前記構成による第４実施形態のドキュメント画像処理機能によれば、指定された複数のドキュメント画像に対して、リンク付けを行った上で、時間的な情報を抽出し、これにより参照方向制限等の付加情報を与えたリンク情報を生成するようにしたので、時刻順にドキュメントを閲覧したり、１つ前の時刻の同様のドキュメントに戻ったりすることができる。
【００９５】
なお、前記各実施形態において記載した手法、すなわち、図３のフローチャートに示す第１実施形態でのリンク情報生成処理、図１０のフローチャートに示す第２実施形態でのリンク情報生成処理、図１１のフローチャートに示す第３実施形態でのデータ読み取りリンク処理、図１６のフローチャートに示す第４実施形態でのリンク情報生成処理等の各手法は、コンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体２５に格納して配布することができる。そして、コンピュータは、この外部記録媒体２５に記憶されたプログラムを記録媒体読み取り部２６によって読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明したドキュメント画像に対するリンク情報の生成機能を実現し、前述した手法による同様の処理を実行することができる。
【００９６】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワーク上を伝送させることができ、このネットワークに接続されたコンピュータ端末の通信制御部によって前記のプログラムデータを取り込み、前述した各種のドキュメント画像処理機能を実現することもできる。
【００９８】
【発明の効果】
本発明の請求項１に係る第１のドキュメント画像処理装置によれば、ドキュメント画像上でリンク付けの対象となる第１の範囲と第２の範囲が指定されると、この範囲指定された前記ドキュメント画像上の２つの範囲の文字認識に対する品質が評価され、この品質評価により品質が高いと評価された第１又は第２の一方の範囲に対して文字認識が行われ、この一方の範囲から認識された単語が、その位置情報と共に登録され、また前記品質評価により品質が低いと評価された第１又は第２の他方の範囲に対して文字認識が行われ、この他方の範囲から認識された文字列が前記単語登録された一方の範囲における単語と照合される。そして、この単語照合により前記他方の範囲から認識された文字列と前記単語登録により登録された一方の範囲における単語とが照合一致された場合に、当該照合一致された他方の範囲の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報が生成されるので、文字認識の精度が低い場合や、表や線画等の文字情報を正確に抽出できない場合でも、リンク付けがより正確に行えるようになる。
【０１００】
よって、本発明によれば、図面や線画等の文字情報を正確に抽出することが困難なドキュメントに対しても、当該図面や線画に含まれる文字列とドキュメントの他の部分とのリンク付けを精度良く行うことが可能になる。
【０１０１】
また、本発明の請求項４または請求項５に係る第２のドキュメント画像処理装置によれば、複数のドキュメントが画像データとして取り込まれ、この複数のドキュメント画像間でそのそれぞれのドキュメント画像上の位置情報を関連付けたリンク情報が生成されると、このリンク情報の生成によりリンク付けされた複数のドキュメント画像それぞれの時間情報が抽出され、この複数のドキュメント画像それぞれの時間情報に従った時間的順序に応じて、前記生成されたリンク情報に基づき行われる前記複数のドキュメント画像間の参照方向が制限されたり、あるいは、前記生成されたリンク情報に基づき行われる前記複数のドキュメント画像間の参照読み出しに際し、その時間的順序の情報が付加されるので、前記リンク付けが正確に行えるドキュメント画像処理装置において、さらに、時刻順にドキュメントを閲覧したり、１つ前の時刻の同様のドキュメントに戻ったりできるようになる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るドキュメント画像ファイリング装置の電子回路の構成を示すブロック図。
【図２】前記ドキュメント画像ファイリング装置における第１実施形態のドキュメント画像処理機能の構成を示すブロック図。
【図３】前記ドキュメント画像ファイリング装置の第１実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャート。
【図４】表部分とテキスト部分からなるドキュメント画像の一例を示す図。
【図５】前記ドキュメント画像に対するリンク先の領域指定表示状態を示す図。
【図６】前記ドキュメント画像のリンク先領域に対する文字認識により抽出された複数の単語の登録状態を示す図。
【図７】前記ドキュメント画像に対するリンク元の領域指定表示状態を示す図。
【図８】前記第１実施形態のドキュメント画像処理機能に伴うドキュメント画像上でのリンク情報生成状態を示す図。
【図９】前記ドキュメント画像ファイリング装置における第２実施形態のドキュメント画像処理機能の構成を示すブロック図。
【図１０】前記ドキュメント画像ファイリング装置の第２実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャート。
【図１１】前記ドキュメント画像ファイリング装置の第３実施形態のドキュメント画像処理機能により成されるデータ読み取りリンク処理を示すフローチャート。
【図１２】表部分と図面部分からなるドキュメント画像Ｇｂの一例を示す図。
【図１３】前記表部分と図面部分からなるドキュメント画像Ｇｂに対するフォーマット登録状態を示す図。
【図１４】前記第３実施形態のドキュメント画像処理機能に伴う表形式文書ドキュメント画像上での文字認識照合状態を示す図。
【図１５】前記第３実施形態のドキュメント画像処理機能に伴う表形式文書ドキュメント画像上でのリンク情報生成状態を示す図。
【図１６】前記ドキュメント画像ファイリング装置の第４実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャート。
【図１７】前記第４実施形態のドキュメント画像処理機能に伴う時間情報を有する２つのドキュメント画像間でのリンク情報生成状態を示す図。
【図１８】前記第４実施形態のドキュメント画像処理機能に伴う時間情報を有する複数のドキュメント画像間でのリンク情報のソート状態を示す図。
【符号の説明】
１ …画像入力部
２ …画像格納部
３ …画像読出部
４ …画像表示部
５ …領域指定部
６ …文字認識部
７ …単語辞書作成部
８ …単語辞書記憶部
９ …単語辞書照合部
１０ …リンク情報発生部
１１ …リンク情報記憶部
１２ …品質評価部
２１ …制御装置（ＣＰＵ）
２２ …画像入力装置
２３ …データ入力・指示装置
２４ …ＲＯＭ
２４ａ…文字認識プログラム、
２４ｂ…単語辞書作成プログラム
２４ｃ…単語辞書照合プログラム
２４ｄ…リンク情報発生プログラム
２４ｅ…品質評価プログラム
２５ …外部記録媒体
２６ …記録媒体読み取り部
２７ …ＲＡＭ
２７ａ…画像メモリ
２７ｂ…読み出し画像メモリ
２７ｃ…単語辞書メモリ
２７ｄ…リンク情報メモリ
２８ …表示装置
【発明の属する技術分野】
本発明は、ファイリングシステムや文書データベース等、画像入力されたドキュメントに対して、ドキュメント間あるいはドキュメント内の関連付けを行うためのドキュメント画像処理装置及びドキュメント画像処理方法に関する。
【０００２】
【従来の技術】
これまで、スキャナ等により画像入力されたドキュメントのあるデータ位置（処理上は座標点）から別のデータ位置（同座標点）への参照関係を示すための関連付け（リンク）は、手作業で行われることが多かった。そして、これを自動的に行わせるために、リンク付けの対象となるデータ領域の文字認識を行ったうえでキーワードを選び出し、関連付けを行う方法が試みられている。
【０００３】
この場合、描画品質の良い文書であれば、文字認識の効果が発揮され、精度良くキーワードを抽出することができるが、ノイズ等を含んでいたり、図面や線画等、文字情報を正確に抽出するのが困難なドキュメントに対しては、文字認識の精度が悪くなり、関連データ間のリンク付けが正確に行われないことがある。
【０００４】
【発明が解決しようとする課題】
本発明は、前記のような問題に鑑み成されたもので、図面や線画等の文字情報を正確に抽出することが困難なドキュメントに対しても、当該図面や線画に含まれる文字列とドキュメントの他の部分とのリンク付けを精度良く行うことが可能になるドキュメント画像処理装置及びドキュメント画像処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の請求項１に係わる第１のドキュメント画像処理装置は、画像データとして取り込まれたドキュメント上の複数のデータ位置間でリンク付けを行うドキュメント画像処理装置であって、前記ドキュメント画像上でリンク付けの対象となる第１の範囲と第２の範囲を指定する範囲指定手段と、この範囲指定手段により指定された前記ドキュメント画像上の２つの範囲の文字認識に対する品質を評価する品質評価手段と、この品質評価手段により品質が高いと評価された第１又は第２の一方の範囲に対して文字認識を行い、この一方の範囲から認識された単語を、その位置情報と共に登録する単語登録手段と、前記品質評価手段により品質が低いと評価された第１又は第２の他方の範囲に対して文字認識を行い、この他方の範囲から認識された文字列を前記単語登録手段により登録された一方の範囲における単語と照合する単語照合手段と、この単語照合手段により前記他方の範囲から認識された文字列と前記単語登録手段により登録された一方の範囲における単語とが照合一致された場合には、当該照合一致された他方の範囲の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報を生成するリンク情報生成手段とを具備したことを特徴とする。
【０００８】
このような構成の第１のドキュメント画像処理装置では、ドキュメント画像上でリンク付けの対象となる第１の範囲と第２の範囲が指定されると、この範囲指定された前記ドキュメント画像上の２つの範囲の文字認識に対する品質が評価され、この品質評価により品質が高いと評価された第１又は第２の一方の範囲に対して文字認識が行われ、この一方の範囲から認識された単語が、その位置情報と共に登録され、また前記品質評価により品質が低いと評価された第１又は第２の他方の範囲に対して文字認識が行われ、この他方の範囲から認識された文字列が前記単語登録された一方の範囲における単語と照合される。そして、この単語照合により前記他方の範囲から認識された文字列と前記単語登録により登録された一方の範囲における単語とが照合一致された場合に、当該照合一致された他方の範囲の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報が生成されるので、文字認識の精度が低い場合や、表や線画等の文字情報を正確に抽出できない場合でも、リンク付けがより正確に行えることになる。
【００１１】
【発明の実施の形態】
以下図面により本発明の実施の形態について説明する。
【００１２】
（第１実施形態）
この第１実施形態では、ドキュメント上の２つの範囲をリンク付けの対象範囲として指定したときに、指定した一方の範囲内の文字列を単語辞書に登録した後に、指定した他方の範囲内の文字列抽出時にその単語辞書を参照し、照合されたときに両方の文字列の存在するデータ位置間で関連付けを行うようにしたドキュメント画像処理機能について説明する。
【００１３】
図１は本発明の実施形態に係るドキュメント画像ファイリング装置の電子回路の構成を示すブロック図である。
【００１４】
このドキュメント画像ファイリング装置は、コンピュータである制御装置（ＣＰＵ）２１を備えている。
【００１５】
制御装置（ＣＰＵ）２１は、画像入力装置２２から入力される画像データやデータ入力・指示装置２３により入力あるいは指示されたデータに応じて、ＲＯＭ２４に予め記憶されているシステムプログラムを起動させ、あるいはフロッピディスク等の外部記録媒体２５に記憶されているドキュメント画像処理用のプログラムデータを磁気ディスク装置などの記録媒体読み取り部２６により読み取らせて起動させ、回路各部の動作を制御するものである。
【００１６】
この制御装置（ＣＰＵ）２１には、前記画像入力装置２２、データ入力・指示装置２３、ＲＯＭ２４の他に、ＲＡＭ２７、表示装置２８が接続される。
【００１７】
画像入力装置２２は、文書や図面等が描かれた書類を光学的に読み込んで画像データに変換するようにした画像スキャナや通信ネットワークを介して他のコンピュータ端末装置から送られてくる画像データを受信入力するようにした通信インターフェイス等として構成されるもので、この画像入力装置２２により入力されたドキュメント画像データは、ＲＡＭ２７内の画像メモリ２７ａに格納される。
【００１８】
データ入力・指示装置２３は、文字，記号，数字等を入力するためのキーボードやデータ位置の指示や範囲指定，移動操作等を行うためのマウスを備えてなるもので、このデータ入力・指示装置２３により前記画像メモリ２７ａに格納された画像データ上の任意の領域が指定されると、その指定領域の画像データが読み出されてＲＡＭ２７内の読み出し画像メモリ２７ｂに記憶される。
一方、このドキュメント画像ファイリング装置によるドキュメント画像処理機能を実現するための主な制御プログラムとして、ＲＯＭ２４に予め記憶されるプログラムデータとしては、文字認識プログラム２４ａ、単語辞書作成プログラム２４ｂ、単語辞書照合プログラム２４ｃ、リンク情報発生プログラム２４ｄ、品質評価プログラム２４ｅ（第２実施形態で使用）が用意される。
【００１９】
また、このドキュメント画像ファイリング装置によるドキュメント画像処理機能を実現するための主なデータメモリとして、ＲＡＭ２７に確保されるメモリ領域しては、前記画像メモリ２７ａ、読み出し画像メモリ２７ｂの他に、単語辞書メモリ２７ｃ、リンク情報メモリ２７ｄが用意される。
【００２０】
前記ＲＯＭ２４に記憶される各種の制御プログラムやＲＡＭ２７に確保される各種のデータメモリについては、図２に示す機能ブロックを参照してさらに説明する。
【００２１】
図２は前記ドキュメント画像ファイリング装置における第１実施形態のドキュメント画像処理機能の構成を示すブロック図である。
【００２２】
このドキュメント画像処理機能の機能ブロックでは、前記図１におけるドキュメント画像ファイリング装置の対応構成部分を括弧書きの符号にして示す。
【００２３】
このドキュメント画像処理機能は、紙のドキュメントを画像データとして読み込むための画像入力部１（２２）と、読み込まれた画像データをファイリングするための画像格納部２（２７ａ）と、ファイリングされた画像データに対して必要に応じて読み出すための画像読出部３（２７ｂ）と、読み出された画像データをディスプレイモニタ等の画面上に表示するための画像表示部４（２８）と、画像データの全部あるいは一部を領域として指定するための領域指定部５（２３）と、指定された領域に含まれる文字列を抽出し、文字認識を行うための文字認識部６（２４ａ）と、文字認識した結果から単語を抽出して単語辞書に登録するための単語辞書作成部７（２４ｂ）と、作成された単語辞書を記憶登録するための単語辞書記憶部８（２７ｃ）と、指定された他の領域における文字認識の結果を前記登録された単語辞書と照合するための単語辞書照合部９（２４ｃ）と、この単語辞書との照合結果を利用して画像データ上の２データ位置（点）間で座標によるリンク情報を発生させるためのリンク情報発生部１０（２４ｄ）と、発生されたリンク情報を画像データと関連付けて格納しておくためのリンク情報格納部１１（２７ｄ）とにより構成される。
【００２４】
次に、前記構成のドキュメント画像ファイリング装置における第１実施形態のドキュメント画像処理機能について説明する。
【００２５】
図３は前記ドキュメント画像ファイリング装置の第１実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャートである。
【００２６】
まず、リンク先となるドキュメント領域について処理を行う。
【００２７】
画像入力部１（２２）により読み込まれて画像格納部２（２７ａ）に格納されている１枚のドキュメント画像データを画像表示部４（２８）に表示させ、その画像上の任意の一部あるいは全部を、領域指定部５（２３）によってリンク先の対象領域として指定する（ステップＳＴ１０１）。
【００２８】
具体的な領域指定手段としては、画像読出部３（２７ｂ）にて該当するドキュメントを検索して読み出し、画像表示部４（２８）に表示させ、領域指定部５（２３）による表示画面上でのドラッグ操作等により領域を指定する。そのほか、前記検索して読み出された表示画像データに対して、レイアウト解析を行ってテキストエリアを抽出し、そのエリアを対象領域として指定してもよい。
【００２９】
次に、前記ステップＳＴ１０１において指定されたリンク先の領域に対して、文字認識部６（２４ａ）による文字認識処理によって文字領域を抽出し、文字認識を行う（ステップＳＴ１０２）。ここで得られた画像データ指定領域上での文字認識結果に対して、単語辞書生成部７（２４ｂ）による単語辞書生成処理により、個々の単語に分割してこれを単語辞書記憶部８（２７ｃ）に登録する（ステップＳＴ１０３）。
【００３０】
次に、リンク元となるドキュメント領域について処理を行う。
【００３１】
前記同様に画像入力部１（２２）により読み込まれて画像格納部２（２７ａ）に格納されている１枚のドキュメント画像データを画像表示部４（２８）に表示させ、その画像上の任意の一部あるいは全部を領域指定部５（２３）によってリンク元の対象領域として指定する（ステップＳＴ１０４）。その具体的な方法は、前記ステップＳＴ１０１におけるリンク先の領域指定作業と同様である。
【００３２】
そして、この指定されたリンク元の画像領域について、文字認識部６（２４ａ）による文字認識処理により前記ステップＳＴ１０２と同様に文字領域を抽出し、文字認識を行う（ステップＳＴ１０５）。そして、その文字認識結果に対して、前記単語辞書記憶部８（２７ｃ）に記憶されて登録されている単語辞書を引き出して、単語辞書照合部９（２４ｃ）による単語辞書照合処理により、登録単語との単語照合を行う（ステップＳＴ１０６）。
【００３３】
ここで、前記ステップＳＴ１０５によるリンク元領域の文字認識の結果と単語辞書記憶部８（２７ｃ）に記憶登録されているリンク先領域内の単語とが同一のものと照合できた場合には、その文字認識の結果が得られたリンク元の画像データ位置（座標）から、単語辞書記憶部８（２７ｃ）に記憶されている照合単語のリンク先での画像データ位置へのリンク情報が、リンク情報発生部１０（２４ｄ）によるリンク情報発生処理により生成される（ステップＳＴ１０７）。このリンク情報は、例えばリンク元領域での前記登録単語と照合一致した画像データ位置を示す座標と、当該照合一致した登録単語の前記リンク先領域での画像データ位置を示す座標とを対応付けたデータリンクテーブルとして生成され、リンク情報記憶部１１（２７ｄ）に格納される。
【００３４】
次に、ドキュメント画像の具体例を使用して、リンク情報の生成処理について説明する。
【００３５】
図４は表部分とテキスト部分からなるドキュメント画像の一例を示す図である。
【００３６】
まず、リンク先のドキュメント画像データの領域指定（ステップＳＴ１０１）について説明する。
【００３７】
図５は前記ドキュメント画像に対するリンク先の領域指定表示状態を示す図である。
【００３８】
図４に示すようなドキュメント画像Ｇａを画像読み出し部３（２７ｂ）に読み出し、図５に示すように、画像表示部４（２８）に表示させた状態で、例えばその太線枠で示したようにリンク先となる部分の画像領域Ｅｒを、領域指定部５（２３）によるマウスのドラッグ操作によって指定する。
【００３９】
この領域指定手段としては、前述したように、１ページのドキュメント全体でも良いし、複数のページにまたがって指定してもよい。また、ここでは利用者が明示的に画像領域Ｅｒの位置を指定したが、これを自動的に、例えば表部分の項目名が書かれている部分を表理解技術により自動抽出して領域指定してもよい。
【００４０】
こうして抽出されたリンク先の画像領域Ｅｒに対して、文字認識部６（２４ａ）による文字認識処理により、各文字列が抽出され、その文字認識が行われると、「前面部」「背面部」「先端部」「接続部」の単語が抽出され（ステップＳＴ１０２）、これの単語が単語辞書作成部７（２４ｂ）によって単語辞書記憶部８（２７ｃ）に登録される（ステップＳＴ１０３）。
【００４１】
図６は前記ドキュメント画像のリンク先領域に対する文字認識により抽出された複数の単語の登録状態を示す図である。
【００４２】
この際、図６に示すように、単語辞書記憶部８（２７ｃ）には、前記リンク先の画像領域Ｅｒから文字認識により抽出されたそれぞれの単語に対応付けて、ドキュメントを識別するための文章番号や文書名、その単語が位置する開始座標、終了座標が記録される。
【００４３】
次に、リンク元のドキュメント画像データの領域指定（ステップＳＴ１０４）について説明する。
【００４４】
図７は前記ドキュメント画像に対するリンク元の領域指定表示状態を示す図である。
【００４５】
前記同様に図４に示すようなドキュメント画像Ｇａを画像読み出し部３（２７ｂ）に読み出し、図７に示すように、画像表示部４（２８）に表示させた状態で、例えばその太線枠で示したようにリンク元となる部分の画像領域Ｅｓを、領域指定部５（２３）によるマウスのドラッグ操作によって指定する。
【００４６】
この際、別のドキュメント画像の任意の一部分をリンク元領域Ｅｓとして指定してもよいし、数ページにわたるドキュメントの適当な範囲を領域とリンク元領域Ｅｓとして指定してもよい。また、利用者が明示的にその位置を指定する以外に、「表部分」「図形部分」「テキスト部分」等の指定により自動的に抽出し、リンク対象領域として割り当ててもよい。
【００４７】
次に、前記指定されたリンク元となる画像領域Ｅｓに対して、文字認識部６（２４ａ）により文字認識処理が行われ（ステップＳＴ１０５）、これにより得られる文字認識結果に対して、文字認識の知識処理が行なわれる（ステップＳＴ１０６）。
【００４８】
この文字認識の知識処理は、文字認識の後処理にて利用されるものであり、リンク元の画像領域Ｅｓにおける認識候補文字の集合から得られる単語を、前記単語辞書記憶部８（２７ｃ）に登録されているリンク先領域Ｅｒでの登録単語と照合する方法である。ここで、前記リンク元領域Ｅｓにおける認識文字列とリンク先領域Ｅｒにおける登録単語とが照合された場合には、前記図６における単語辞書記憶部８（２７ｃ）に辞書登録されている照合単語と共に対応付けられた文書番号及びその位置情報が引き出され、例えば図８に示すように、現在リンク元としてカーソル指定されているテキスト部分の文字列「前面部」ｒ１のデータ位置から前記位置情報に応じたリンク先である表部分の単語「前面部」ｒ２のデータ位置までのリンク情報が生成され（ステップＳＴ１０７）、画像表示部４（２８）においてリンク表示される。
【００４９】
図８は前記第１実施形態のドキュメント画像処理機能に伴うドキュメント画像上でのリンク情報生成状態を示す図である。
【００５０】
したがって、前記構成による第１実施形態のドキュメント画像処理機能によれば、ドキュメント画像Ｇａ上で指定されたリンク付けの対象となる２つの領域Ｅｒ，Ｅｓに対して、リンク先の領域Ｅｒの文字認識結果を後処理辞書に登録し、リンク元の領域Ｅｓの文字認識において、前記登録した辞書を知識処理に利用し、照合された場合には、その照合されたリンク先登録単語のデータ位置に応じてリンク情報ｒ１−ｒ２を生成するようにしたので、文字認識の精度が低い場合や、表や線画等の文字情報を正確に抽出できない場合においても、リンク付けを正確に行うことができる。
【００５１】
（第２実施形態）
この第２実施形態では、ドキュメント上の２つの範囲をリンク付けの対象範囲として指定したときに、指定した２つの範囲における文字品質に応じて単語辞書に登録する範囲と知識処理を行うべき範囲とを決定した後に、一方の範囲内の登録単語と他方の範囲内の抽出文字列との照合によるデータ位置間での関連付けを行うようにしたドキュメント画像処理機能について説明する。
【００５２】
図９は前記ドキュメント画像ファイリング装置における第２実施形態のドキュメント画像処理機能の構成を示すブロック図である。
【００５３】
このドキュメント画像処理機能の機能ブロックでは、前記図１におけるドキュメント画像ファイリング装置の対応構成部分を括弧書きの符号にして示す。
【００５４】
このドキュメント画像処理機能は、紙のドキュメントを画像データとして読み込むための画像入力部１（２２）と、読み込まれた画像データをファイリングするための画像格納部２（２７ａ）と、ファイリングされた画像データに対して必要に応じて読み出すための画像読出部３（２７ｂ）と、読み出された画像データをディスプレイモニタ等の画面上に表示するための画像表示部４（２８）と、画像データの全部あるいは一部を領域として指定するための領域指定部５（２３）と、指定された領域に含まれる文字列を抽出し、文字認識を行うための文字認識部６（２４ａ）と、文字認識した結果から単語を抽出して単語辞書に登録するための単語辞書作成部７（２４ｂ）と、作成された単語辞書を記憶登録するための単語辞書記憶部８（２７ｃ）と、指定された他の領域における文字認識の結果を前記登録された単語辞書と照合するための単語辞書照合部９（２４ｃ）と、この単語辞書との照合結果を利用して画像データ上の２データ位置（点）間で座標によるリンク情報を発生させるためのリンク情報発生部１０（２４ｄ）と、発生されたリンク情報を画像データと関連付けて格納しておくためのリンク情報格納部１１（２７ｄ）と、領域指定部５（２３）によって指定された各領域における文字画像の品質を評価し、単語辞書に登録する範囲と知識処理を行うべき範囲とを決定するための品質評価部１２（２４ｅ）とにより構成される。
【００５５】
次に、前記構成のドキュメント画像ファイリング装置における第２実施形態のドキュメント画像処理機能について説明する。
【００５６】
図１０は前記ドキュメント画像ファイリング装置の第２実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャートである。
【００５７】
まず、画像入力部１（２２）により読み込まれて画像格納部２（２７ａ）に格納されているドキュメント画像データを画像表示部４（２８）に表示させ、関連付けを行う２つの領域を領域指定部５（２３）によって指定する。すなわち、領域１の指定（ステップＳＴ２０１）及び領域２の指定（ステップＳＴ２０２）を行う。ここで指定する領域は、それぞれ１枚のドキュメントでも、複数枚にまたがるドキュメントの何れであってもよい。
【００５８】
次に、指定されたそれぞれの領域に対して、品質評価部１２（２４ｅ）における品質評価処理により文字品質を評価する。すなわち、領域１に対する文字品質の評価（ステップＳＴ２０３）及び領域２に対する文字品質の評価（ステップＳＴ２０４）を行う。この文字品質の評価手段としては、指定された各領域の領域特徴を抽出し、その結果に応じて文字品質を決定する方法がある。具体的には、指定された領域内の画像データから連結成分を抽出し、抽出された連結成分の大きさから文字らしきサイズにあった連結成分を文字候補領域として抽出し、その領域における文字候補領域の分布より、領域をいくつかのカテゴリに分類し、このカテゴリに応じて文字品質を決定するものである。
【００５９】
ここで、前記指定領域内におけるカテゴリとは、テキスト領域、表領域、図面領域、写真領域等の文書要素の種類である。例えば、テキスト領域、表領域、図面領域、写真領域の順に文字品質は高いと設定しておく。
【００６０】
品質評価の別の手段としては、前記指定領域内の文字候補領域に対して実際に文字認識を行ってその認識時における確信度を計測し、確信度が高いものを品質が高いと設定しておく。この文字認識の確信度としては、当該文字認識の辞書とのパターン照合時の類似度、認識候補の１位と２位の類似度の差異等、あるいはその組合せを利用する。
【００６１】
こうして行われた各領域の品質評価の結果より、これを比較する（ステップＳＴ２０５）。この比較の結果、高品質であると決定された一方の領域に対し、先立って文字認識部６（２４ａ）における文字認識処理によって文字認識を行う（ステップＳＴ２０６）。また、前記品質比較の結果、各領域とも同程度の文字品質と評価された場合には、例えば領域サイズの小さい方を高品質領域として扱う等の選択処理を行う。そして、前記文字品質が高い側の領域に対して行われた文字認識処理により得られた認識結果に対して、単語辞書作成部７（２４ｂ）における単語辞書作成処理により単語に分割し、これを単語辞書記憶部８（２７ｃ）に記憶させて登録する（ステップＳＴ２０７）。
【００６２】
次に、前記文字品質の評価が低い他方の指定領域について、同様に文字認識部６（２４ａ）における文字認識処理により文字領域を抽出し、文字認識を行う（ステップＳＴ２０８）。そして、この他方の領域の文字認識結果に対して、単語辞書記憶部８（２７ｃ）に記憶登録されている前記一方の領域にて抽出された単語辞書を引き出して、単語辞書照合部９における単語辞書照合処理により単語照合を行う（ステップＳＴ２０９）。
【００６３】
ここで、前記ステップＳＴ２０８における他方の領域の文字認識の結果と前記単語辞書記憶部８（２７ｃ）に記憶登録されている一方の領域の登録単語とが同一のものと照合できた場合には、当該他方の領域の照合文字列のデータ位置から、単語辞書記憶部８（２７ｃ）に記憶登録されている一方の領域の照合単語のデータ位置へのリンク情報が、リンク情報発生部１０（２４ｄ）におけるリンク情報発生処理により、そのそれぞれのデータ位置を示す座標の対応付けにより生成される（ステップＳＴ２１０）。そして、このリンク情報はリンク情報記憶部１１（２７ｄ）に格納され、画像読み出し部３（２７ｂ）に読み出されている一方及び他方の画像領域間でのリンク付け表示が画像表示部４（２８）において行われる。
【００６４】
したがって、前記構成による第２実施形態のドキュメント画像処理機能によれば、ドキュメント画像上で指定されたリンク付けの対象となる２つの領域に対して、文字品質の高い方の一方の領域の文字認識を先に行ってその単語辞書を精度良く作成し、この後文字品質の低い方の他方の領域の文字認識処理において、前記一方の登録辞書の単語を知識処理に利用し、認識文字列が照合された場合には直ちにその照合された一方の領域の登録単語のデータ位置にリンク付けを行うようにしたので、文字認識の精度が低い場合や、表や線画等の文字情報を正確に抽出できない場合においても、リンク付けを正確に行うことができる。
【００６５】
（第３実施形態）
この第３実施形態では、表部分と図面部分を含むドキュメント画像に対して、表部分から項目名、図面部分から図面中の位置を示す文字列を抽出してリンク付けを行い、表部分の各項目に対して図面部分の位置属性を与えるようにした表形式文書のドキュメント画像処理機能について説明する。
【００６６】
図１１は前記ドキュメント画像ファイリング装置の第３実施形態のドキュメント画像処理機能により成されるデータ読み取りリンク処理を示すフローチャートである。
【００６７】
図１２は表部分と図面部分からなるドキュメント画像Ｇｂの一例を示す図である。
【００６８】
図１３は前記表部分と図面部分からなるドキュメント画像Ｇｂに対するフォーマット登録状態を示す図である。
【００６９】
図１４は前記第３実施形態のドキュメント画像処理機能に伴う表形式文書ドキュメント画像上での文字認識照合状態を示す図である。
【００７０】
図１５は前記第３実施形態のドキュメント画像処理機能に伴う表形式文書ドキュメント画像上でのリンク情報生成状態を示す図である。
【００７１】
まず、画像入力部１（２２）により読み込まれて画像格納部２（２７ａ）に格納されているドキュメント画像データを画像表示部４（２８）に表示させ、そのうちで例えば図１２に示すような、表部分と図面部分からなる表形式文書のドキュメント画像Ｇｂをリンク付けの対象画像として画像読み出し部３（２７ｂ）により読み込む（ステップＳＴ３０１）。
【００７２】
この場合、対象となる表形式文書のフォーマットを登録しておく必要がある。登録されていない場合には、フォーマット登録作業を行う（ステップＳＴ３０２→ＳＴ３０２′）。ここで、登録するフォーマットは、表を形成する罫線情報と、表部分に記入される文字に関する情報と、図面部分に関する情報とからなる。
【００７３】
例えば、図１２に示すような図面部分を含む表形式文書のドキュメント画像Ｇｂが画像読み取り部３（２７ｂ）に読み込まれた場合には、図１３に示すように、罫線情報と、表部分に記入される文字の位置Ｆ１（格子部分）及び図面部分の位置Ｆ２（斜線部分）に関する情報をフォーマット情報として登録する。
【００７４】
次に、前記読み込まれた表形式文書のドキュメント画像データに対して、画像処理によって罫線情報を抽出し、抽出された罫線情報を利用して、前記登録されたフォーマットから適合するフォーマットを識別する（ステップＳＴ３０３）。そして、この識別されたフォーマットに登録されている罫線情報を呼び出して、表部分の位置合わせを行う（ステップＳＴ３０４）。ここで、表部分に記入される文字の位置情報Ｆ１から、文字の記入箇所を切り出し、表部分における各記入文字の認識を、文字認識部６（２４ａ）による文字認識処理によって行う（ステップＳＴ３０５）。そして、この記入文字の認識結果を単語辞書作成部７（２４ｂ）による単語辞書作成処理によって各単語のデータ位置の座標を対応付けた単語辞書として作成し、単語辞書記憶部８（２７ｃ）に登録する（ステップＳＴ３０６）。
【００７５】
一方、前記ステップＳＴ３０３において識別されたフォーマットに登録される図面部分の位置情報より、前記表形式文書のドキュメント画像Ｇｂから図面部分を切り出し（ステップＳＴ３０７）、切り出された画像データから文字列を抽出する（ステップＳＴ３０８）。この文字列の抽出では、予め定められた文字サイズに適合する連結成分の集合あるいはその近傍領域を文字列候補としてその画像領域を切り出す。
【００７６】
例えば図１２に示すような表形式文書のドキュメント画像Ｇｂにおける図面部分においては、図１４に示すように、実際に文字列を示す部分ｒ２ａ〜ｒ２ｄのほかに、画像のかすれやノイズ成分に影響されていくつかの余分な部分ｒ２ｅを文字列候補として抽出してしまうことがある。
【００７７】
次に、図面部分から切り出された文字列画像に対しては、文字認識部５（２４ａ）における文字認識処理によって文字認識を行うのと共に、このときステップＳＴ３０６において単語辞書記憶部８（２７ｃ）に登録されている表部分から抽出された単語辞書を用いて後処理を行い、単語照合を行う（ステップＳＴ３０９）。この際、前記図面部分から余分に抽出された文字列部分ｒ２ｅについては、単語辞書に登録されている言葉と照合できず破棄される。
【００７８】
一方、単語照合が成功した箇所については、表部分の項目名に相当する文字列ｒ１ａ〜ｒ１ｄと図面中の文字列ｒ２ａ〜ｒ２ｄとの関連付けを行い、表部分の各項目に図面中の位置情報を付加する（ステップＳＴ３１０）。
【００７９】
これにより、例えば図１５に示す矢印のような関連付けが行われる。その結果得られた表部分の登録単語に対する図面部分の対応データ位置情報を加えたリンク情報をリンク情報発生部１０（２４ｄ）により生成し、リンク情報記憶部１１（２７ｄ）に記憶させる（ステップＳＴ３１１）。
【００８０】
例えば、図１２に示すように、表データの項目名として「前面部」「背面部」というように、場所を示すような言葉である場合には、項目名そのものが場所を表しているので、あえて各項目データに位置情報を付加する必要はないが、仮に項目名が「Ｐ１」「Ｐ２」というように記号や番号で指定されている場合には、各項目に図面中の対応位置情報を付加することにより、データ化された後のリンク付けのためにこの位置情報が不可欠な情報となる。
【００８１】
したがって、前記構成による第３実施形態のドキュメント画像処理機能によれば、図面部分と表部分からなる表形式文書のドキュメント画像において、文字列の抽出が比較的精度が高く行える表部分の認識結果を単語辞書に登録し、その単語辞書を用いて図面中の文字列に対して認識しながら照合を行うことにより、表部分の項目名と図面中の文字列を効率良く関連付けることが可能となり、表部分から読み取れるデータに、図面中の位置情報を付加してデータ化することができる。
【００８２】
（第４実施形態）
この第４実施形態では、異なるドキュメント間でのリンク付けに際して、各ドキュメントの時間的順序関係を用いてリンク付けの参照方向を制限するようにしたドキュメント画像処理機能について説明する。
【００８３】
図１６は前記ドキュメント画像ファイリング装置の第４実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャートである。
【００８４】
まず、リンク付けの対象となる２つのドキュメント画像を指定する（ステップＳＴ４０１）。ここでの指定手段は、領域指定部５（２３）により、それぞれ１枚のドキュメント画像を指定しても、複数枚にまたがるドキュメント画像を指定してもよい。また、ドキュメント画像のなかでも文字部分のみというように領域指定を行ってもよい。
【００８５】
次に、前記指定された２つのドキュメント画像に対して、文字認識部６（２４ａ）による文字認識処理によって文字認識を行う（ステップＳＴ４０２）。ここで、単語辞書作成部７（２４ｂ）による単語辞書作成処理によって、一方のドキュメント画像に対する文字認識結果を形態素解析等の方法を用いて単語に分割し、分割された単語を単語辞書記憶部８（２７ｃ）に記憶させ登録する（ステップＳＴ４０３）。
【００８６】
次に、他方のドキュメント画像に対する文字認識部６（２４ａ）による文字認識結果を、前記ステップＳＴ４０３で既に単語辞書記憶部８（２７ｃ）に登録された一方のドキュメント画像から抽出された単語辞書を用いて、単語辞書照合部９（２４ｃ）によって単語照合を行い（ステップＳＴ４０４）、照合された単語同士のデータ位置を対応付けたリンク情報をリンク情報発生部１０（２４ｄ）によって生成する（ステップＳＴ４０５）。
【００８７】
そして、前記リンク付けされた両方のドキュメント画像からその作成日等の時間的な情報を抽出する（ステップＳＴ４０６）。このとき、両者のドキュメント画像からは同じ方法により抽出することが望ましい。その時間情報の抽出方法としては、ドキュメント画像の上部あるいは下部から文字領域を抽出し、文字認識することによって、その認識文字列が数字の羅列であるか、あるいは、「月」「日」「平成」等のキーワードを含む文字列であるか判断することにより、時間的な情報であるかを判別する。あるいは、予め月日が書かれていると予測されるデータ位置を数ヶ所特定しておき、その特定のデータ位置から文字列を抽出することにより、時間的な情報を得てもよい。また、画像からの抽出では得られない場合には、例えば画像を読み込んだ時間をそのまま利用したり、利用者に問い合わせてマニュアル入力したりしてもよい。
【００８８】
こうして得られた各ドキュメント画像の時間的な情報も、前記ステップＳＴ４０５において生成されたリンク情報に付加し、リンク付けされた各ドキュメント画像の表示に際しその参照方向を制限する（ステップＳＴ４０７）。
【００８９】
図１７は前記第４実施形態のドキュメント画像処理機能に伴う時間情報を有する２つのドキュメント画像間でのリンク情報生成状態を示す図である。
【００９０】
例えば、図１７に示すように、「９９年７月２０日」に作成されたドキュメント画像Ｇｂ１と「９９年８月２０日」に作成されたドキュメント画像Ｇｂ２に対して、生成されたリンク情報については、そのリンク付け表示に伴う参照方向がドキュメントＧｂ１からドキュメントＧｂ２の方向（ｒ１→ｒ２）に制限される。あるいは、各ドキュメント画像間のリンク情報に付加された時間情報に従って、当該各ドキュメント画像のリンク表示に伴い「前のドキュメント」「後ろのドキュメント」というように時間的情報を共に表示させ、両方のドキュメント間で相互にリンク表示を行ってもよい。
【００９１】
また、ここで生成したドキュメント画像のリンク位置情報から、既に別のドキュメント画像に対してのリンク位置情報が存在する場合には、当該別のドキュメント画像の時間的な情報を利用して、それぞれのリンクが時間的な順序で並ぶように、所謂ソート処理を行い、リンク情報を書き換える処理を加えてもよい（ステップＳＴ４０８）。
【００９２】
図１８は前記第４実施形態のドキュメント画像処理機能に伴う時間情報を有する複数のドキュメント画像間でのリンク情報のソート状態を示す図である。
【００９３】
例えば、図１８に示すように、新たに「９９年８月１日」付けのドキュメント画像Ｇｂ３が読み込まれ、ドキュメント画像Ｇｂ２の同じポイントにリンク付けされた場合には、時刻順に参照できるようにリンク情報の付け替え（ｒ１→ｒ２→ｒ３）を行う。
【００９４】
したがって、前記構成による第４実施形態のドキュメント画像処理機能によれば、指定された複数のドキュメント画像に対して、リンク付けを行った上で、時間的な情報を抽出し、これにより参照方向制限等の付加情報を与えたリンク情報を生成するようにしたので、時刻順にドキュメントを閲覧したり、１つ前の時刻の同様のドキュメントに戻ったりすることができる。
【００９５】
なお、前記各実施形態において記載した手法、すなわち、図３のフローチャートに示す第１実施形態でのリンク情報生成処理、図１０のフローチャートに示す第２実施形態でのリンク情報生成処理、図１１のフローチャートに示す第３実施形態でのデータ読み取りリンク処理、図１６のフローチャートに示す第４実施形態でのリンク情報生成処理等の各手法は、コンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体２５に格納して配布することができる。そして、コンピュータは、この外部記録媒体２５に記憶されたプログラムを記録媒体読み取り部２６によって読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明したドキュメント画像に対するリンク情報の生成機能を実現し、前述した手法による同様の処理を実行することができる。
【００９６】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワーク上を伝送させることができ、このネットワークに接続されたコンピュータ端末の通信制御部によって前記のプログラムデータを取り込み、前述した各種のドキュメント画像処理機能を実現することもできる。
【００９８】
【発明の効果】
本発明の請求項１に係る第１のドキュメント画像処理装置によれば、ドキュメント画像上でリンク付けの対象となる第１の範囲と第２の範囲が指定されると、この範囲指定された前記ドキュメント画像上の２つの範囲の文字認識に対する品質が評価され、この品質評価により品質が高いと評価された第１又は第２の一方の範囲に対して文字認識が行われ、この一方の範囲から認識された単語が、その位置情報と共に登録され、また前記品質評価により品質が低いと評価された第１又は第２の他方の範囲に対して文字認識が行われ、この他方の範囲から認識された文字列が前記単語登録された一方の範囲における単語と照合される。そして、この単語照合により前記他方の範囲から認識された文字列と前記単語登録により登録された一方の範囲における単語とが照合一致された場合に、当該照合一致された他方の範囲の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報が生成されるので、文字認識の精度が低い場合や、表や線画等の文字情報を正確に抽出できない場合でも、リンク付けがより正確に行えるようになる。
【０１００】
よって、本発明によれば、図面や線画等の文字情報を正確に抽出することが困難なドキュメントに対しても、当該図面や線画に含まれる文字列とドキュメントの他の部分とのリンク付けを精度良く行うことが可能になる。
【０１０１】
また、本発明の請求項４または請求項５に係る第２のドキュメント画像処理装置によれば、複数のドキュメントが画像データとして取り込まれ、この複数のドキュメント画像間でそのそれぞれのドキュメント画像上の位置情報を関連付けたリンク情報が生成されると、このリンク情報の生成によりリンク付けされた複数のドキュメント画像それぞれの時間情報が抽出され、この複数のドキュメント画像それぞれの時間情報に従った時間的順序に応じて、前記生成されたリンク情報に基づき行われる前記複数のドキュメント画像間の参照方向が制限されたり、あるいは、前記生成されたリンク情報に基づき行われる前記複数のドキュメント画像間の参照読み出しに際し、その時間的順序の情報が付加されるので、前記リンク付けが正確に行えるドキュメント画像処理装置において、さらに、時刻順にドキュメントを閲覧したり、１つ前の時刻の同様のドキュメントに戻ったりできるようになる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るドキュメント画像ファイリング装置の電子回路の構成を示すブロック図。
【図２】前記ドキュメント画像ファイリング装置における第１実施形態のドキュメント画像処理機能の構成を示すブロック図。
【図３】前記ドキュメント画像ファイリング装置の第１実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャート。
【図４】表部分とテキスト部分からなるドキュメント画像の一例を示す図。
【図５】前記ドキュメント画像に対するリンク先の領域指定表示状態を示す図。
【図６】前記ドキュメント画像のリンク先領域に対する文字認識により抽出された複数の単語の登録状態を示す図。
【図７】前記ドキュメント画像に対するリンク元の領域指定表示状態を示す図。
【図８】前記第１実施形態のドキュメント画像処理機能に伴うドキュメント画像上でのリンク情報生成状態を示す図。
【図９】前記ドキュメント画像ファイリング装置における第２実施形態のドキュメント画像処理機能の構成を示すブロック図。
【図１０】前記ドキュメント画像ファイリング装置の第２実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャート。
【図１１】前記ドキュメント画像ファイリング装置の第３実施形態のドキュメント画像処理機能により成されるデータ読み取りリンク処理を示すフローチャート。
【図１２】表部分と図面部分からなるドキュメント画像Ｇｂの一例を示す図。
【図１３】前記表部分と図面部分からなるドキュメント画像Ｇｂに対するフォーマット登録状態を示す図。
【図１４】前記第３実施形態のドキュメント画像処理機能に伴う表形式文書ドキュメント画像上での文字認識照合状態を示す図。
【図１５】前記第３実施形態のドキュメント画像処理機能に伴う表形式文書ドキュメント画像上でのリンク情報生成状態を示す図。
【図１６】前記ドキュメント画像ファイリング装置の第４実施形態のドキュメント画像処理機能により成されるリンク情報生成処理を示すフローチャート。
【図１７】前記第４実施形態のドキュメント画像処理機能に伴う時間情報を有する２つのドキュメント画像間でのリンク情報生成状態を示す図。
【図１８】前記第４実施形態のドキュメント画像処理機能に伴う時間情報を有する複数のドキュメント画像間でのリンク情報のソート状態を示す図。
【符号の説明】
１ …画像入力部
２ …画像格納部
３ …画像読出部
４ …画像表示部
５ …領域指定部
６ …文字認識部
７ …単語辞書作成部
８ …単語辞書記憶部
９ …単語辞書照合部
１０ …リンク情報発生部
１１ …リンク情報記憶部
１２ …品質評価部
２１ …制御装置（ＣＰＵ）
２２ …画像入力装置
２３ …データ入力・指示装置
２４ …ＲＯＭ
２４ａ…文字認識プログラム、
２４ｂ…単語辞書作成プログラム
２４ｃ…単語辞書照合プログラム
２４ｄ…リンク情報発生プログラム
２４ｅ…品質評価プログラム
２５ …外部記録媒体
２６ …記録媒体読み取り部
２７ …ＲＡＭ
２７ａ…画像メモリ
２７ｂ…読み出し画像メモリ
２７ｃ…単語辞書メモリ
２７ｄ…リンク情報メモリ
２８ …表示装置
Claims (6)
- 画像データとして取り込まれたドキュメント上の複数のデータ位置間でリンク付けを行うドキュメント画像処理装置であって、
前記ドキュメント画像上でリンク付けの対象となる第１の範囲と第２の範囲を指定する範囲指定手段と、
この範囲指定手段により指定された前記ドキュメント画像上の２つの範囲の文字認識に対する品質を評価する品質評価手段と、
この品質評価手段により品質が高いと評価された第１又は第２の一方の範囲に対して文字認識を行い、この一方の範囲から認識された単語を、その位置情報と共に登録する単語登録手段と、
前記品質評価手段により品質が低いと評価された第１又は第２の他方の範囲に対して文字認識を行い、この他方の範囲から認識された文字列を前記単語登録手段により登録された一方の範囲における単語と照合する単語照合手段と、
この単語照合手段により前記他方の範囲から認識された文字列と前記単語登録手段により登録された一方の範囲における単語とが照合一致された場合には、当該照合一致された他方の範囲の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報を生成するリンク情報生成手段と、
を具備したことを特徴とするドキュメント画像処理装置。 - 前記品質評価手段は、前記範囲指定手段により指定された前記ドキュメント画像上の２つの範囲それぞれにおける領域特徴を計測し、この計測された領域特徴に応じて各々の範囲の文字認識に対する品質を評価する品質評価手段である、
ことを特徴とする請求項１に記載のドキュメント画像処理装置。 - 前記品質評価手段は、前記範囲指定手段により指定された前記ドキュメント画像上の２つの範囲のそれぞれにおいて、その範囲の全部あるいは一部の文字列を抽出して文字認識を行い、この文字認識の結果により各々の範囲の文字認識に対する品質を評価する品質評価手段である、
ことを特徴とする請求項１に記載のドキュメント画像処理装置。 - 複数のドキュメントを画像データとして取り込むドキュメント画像取り込み手段と、
このドキュメント画像取り込み手段により取り込まれた複数のドキュメント画像のうちの１つのドキュメント画像に対して文字認識を行い、この１つのドキュメント画像から認識された単語を、その位置情報と共に登録する単語登録手段と、
前記ドキュメント画像取り込み手段により取り込まれた複数のドキュメント画像のうちの他のドキュメント画像に対して文字認識を行い、この他のドキュメント画像から認識された文字列を前記単語登録手段により登録された１つのドキュメント画像からの登録単語と照合する単語照合手段と、
この単語照合手段により前記他のドキュメント画像から認識された文字列と前記単語登録手段により登録された１つのドキュメント画像からの登録単語とが照合一致された場合に、当該照合一致された他のドキュメント画像の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報を生成するリンク情報生成手段と、
このリンク情報生成手段によりリンク付けされた複数のドキュメント画像それぞれの時間情報を抽出する時間情報抽出手段と、
この時間情報抽出手段により抽出された前記複数のドキュメント画像それぞれの時間情報に従った時間的順序に応じて、前記リンク情報生成手段により生成されたリンク情報に基づき行われる前記複数のドキュメント画像間の参照方向を制限するリンク方向制限手段と、
を具備したことを特徴とするドキュメント画像処理装置。 - 複数のドキュメントを画像データとして取り込むドキュメント画像取り込み手段と、
このドキュメント画像取り込み手段により取り込まれた複数のドキュメント画像のうち の１つのドキュメント画像に対して文字認識を行い、この１つのドキュメント画像から認識された単語を、その位置情報と共に登録する単語登録手段と、
前記ドキュメント画像取り込み手段により取り込まれた複数のドキュメント画像のうちの他のドキュメント画像に対して文字認識を行い、この他のドキュメント画像から認識された文字列を前記単語登録手段により登録された１つのドキュメント画像からの登録単語と照合する単語照合手段と、
この単語照合手段により前記他のドキュメント画像から認識された文字列と前記単語登録手段により登録された１つのドキュメント画像からの登録単語とが照合一致された場合に、当該照合一致された他のドキュメント画像の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報を生成するリンク情報生成手段と、
このリンク情報生成手段によりリンク付けされた複数のドキュメント画像それぞれの時間情報を抽出する時間情報抽出手段と、
前記リンク情報生成手段により生成されたリンク情報に基づき行われる前記複数のドキュメント画像間の参照読み出しに際し、前記時間情報抽出手段により抽出された前記複数のドキュメント画像それぞれの時間情報に従った時間的順序の情報を付加する順序情報付加手段と、
を具備したことを特徴とするドキュメント画像処理装置。 - 画像データとして取り込まれたドキュメント上の複数のデータ位置間でリンク付けを行うためのドキュメント画像処理方法であって、
前記ドキュメント画像上でリンク付けの対象となる第１の範囲と第２の範囲を指定する範囲指定ステップと、
この範囲指定ステップにより指定された前記ドキュメント画像上の２つの範囲の文字認識に対する品質を評価する品質評価ステップと、
この品質評価ステップにより品質が高いと評価された第１又は第２の一方の範囲に対して文字認識を行い、この一方の範囲から認識された単語を、その位置情報と共に登録する単語登録ステップと、
前記品質評価ステップにより品質が低いと評価された第１又は第２の他方の範囲に対して文字認識を行い、この他方の範囲から認識された文字列を前記単語登録ステップにより登録された一方の範囲における単語と照合する単語照合ステップと、
この単語照合ステップにより前記他方の範囲から認識された文字列と前記単語登録ステップにより登録された一方の範囲における単語とが照合一致された場合には、当該照合一致された他方の範囲の文字列の位置情報と前記登録単語の位置情報とを関連付けたリンク情報を生成するリンク情報生成ステップと、
からなることを特徴とするドキュメント画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26521299A JP3768743B2 (ja) | 1999-09-20 | 1999-09-20 | ドキュメント画像処理装置及びドキュメント画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26521299A JP3768743B2 (ja) | 1999-09-20 | 1999-09-20 | ドキュメント画像処理装置及びドキュメント画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001094711A JP2001094711A (ja) | 2001-04-06 |
| JP3768743B2 true JP3768743B2 (ja) | 2006-04-19 |
Family
ID=17414095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26521299A Expired - Fee Related JP3768743B2 (ja) | 1999-09-20 | 1999-09-20 | ドキュメント画像処理装置及びドキュメント画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3768743B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4349183B2 (ja) | 2004-04-01 | 2009-10-21 | 富士ゼロックス株式会社 | 画像処理装置および画像処理方法 |
| JP2011158929A (ja) * | 2010-01-29 | 2011-08-18 | Hitachi-Ge Nuclear Energy Ltd | 図書閲覧システム，装置及び方法 |
| JP5669044B2 (ja) * | 2011-03-18 | 2015-02-12 | 株式会社日立製作所 | 文書検定システム及び文書検定方法 |
| WO2014207941A1 (ja) * | 2013-06-28 | 2014-12-31 | 楽天株式会社 | 判定装置、判定方法、及びプログラム |
| CN110832498B (zh) * | 2017-06-29 | 2024-04-12 | 皇家飞利浦有限公司 | 使图像中的对象的面部特征模糊 |
| CN107644415B (zh) * | 2017-09-08 | 2019-02-22 | 众安信息技术服务有限公司 | 一种文本图像质量评估方法及设备 |
-
1999
- 1999-09-20 JP JP26521299A patent/JP3768743B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001094711A (ja) | 2001-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6671684B1 (en) | Method and apparatus for simultaneous highlighting of a physical version of a document and an electronic version of a document | |
| US9075779B2 (en) | Performing actions based on capturing information from rendered documents, such as documents under copyright | |
| US8005831B2 (en) | System and methods for creation and use of a mixed media environment with geographic location information | |
| US8418055B2 (en) | Identifying a document by performing spectral analysis on the contents of the document | |
| US7818215B2 (en) | Processing techniques for text capture from a rendered document | |
| US8903759B2 (en) | Determining actions involving captured information and electronic content associated with rendered documents | |
| US20150026162A1 (en) | Processing techniques for visual capture data from a rendered document | |
| US20060045340A1 (en) | Character recognition apparatus and character recognition method | |
| US20190294912A1 (en) | Image processing device, image processing method, and image processing program | |
| US11361572B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
| JP2004334334A (ja) | 文書検索装置、文書検索方法及び記憶媒体 | |
| JP2016048444A (ja) | 帳票識別プログラム、帳票識別装置、帳票識別システム、および帳票識別方法 | |
| JP3768743B2 (ja) | ドキュメント画像処理装置及びドキュメント画像処理方法 | |
| JP2007213416A (ja) | 手書き文字列検索装置、手書き文字列検索方法及びプログラム | |
| WO2020166569A1 (ja) | 文書検索装置、文書検索システム、文書検索プログラム及び文書検索方法 | |
| US11755659B2 (en) | Document search device, document search program, and document search method | |
| JPH08221510A (ja) | 帳票文書処理装置および帳票文書処理方法 | |
| JP2586372B2 (ja) | 情報検索装置及び情報検索方法 | |
| JP2008176625A (ja) | 文字認識結果の管理装置およびその方法並びにコンピュータプログラム | |
| JP4677750B2 (ja) | 文書属性取得方法および装置並びにプログラムを記録した記録媒体 | |
| JP4823049B2 (ja) | 文書画像検索装置及びプログラム | |
| JP7377565B2 (ja) | 図面検索装置、図面データベース構築装置、図面検索システム、図面検索方法、及びプログラム | |
| JP4227057B2 (ja) | 階層型データベース入力装置および方法 | |
| JP2006163446A (ja) | 情報処理装置およびデータ検索方法およびプログラムおよび記録媒体 | |
| JP4843705B2 (ja) | 名刺読取装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040915 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060131 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130210 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |