JP4408129B2 - 画像文書処理装置、画像文書処理方法、プログラム、及び記録媒体 - Google Patents

画像文書処理装置、画像文書処理方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP4408129B2
JP4408129B2 JP2007069610A JP2007069610A JP4408129B2 JP 4408129 B2 JP4408129 B2 JP 4408129B2 JP 2007069610 A JP2007069610 A JP 2007069610A JP 2007069610 A JP2007069610 A JP 2007069610A JP 4408129 B2 JP4408129 B2 JP 4408129B2
Authority
JP
Japan
Prior art keywords
image
character
search
document
index matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007069610A
Other languages
English (en)
Other versions
JP2008171380A (ja
Inventor
ボウ ウ
ジェンジュ デュオ
ニン ル
ヤドン ウ
ジン ジャ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2008171380A publication Critical patent/JP2008171380A/ja
Application granted granted Critical
Publication of JP4408129B2 publication Critical patent/JP4408129B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/245Font recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、文書を画像として入力して蓄積する画像文書処理装置及び画像文書処理方法に関するものであり、特に、入力された画像文書に対して文書名を自動的に生成して管理する機能を有する画像文書処理装置及び画像文書処理方法に関するものである。
文書をイメージスキャナ等の画像入力装置で画像に変換して電子的に蓄積し、後から検索することを可能とする文書ファイリング装置が実用化されている。
また、蓄積された画像文書に対しては、管理を容易にするために文書名が付されるようになっている。イメージデータに文書名を自動的に付ける先行技術として、例えば、特許文献1、特許文献2がある。
特許文献1には、撮影された時間データとしての日時と、その日時に撮影した何番目のイメージデータであるかを示す番号とで、文書名を生成することが記載されている。
また、特許文献2には、与えられる経度や緯度等よりなる撮影場所の位置情報を用いて、撮影された時間データに、ユーザが手動入力にて「XXX宅」というような撮影場所等の具体的情報を付して文書名とすることが記載されている。
特許文献1:中国特許出願公開第CN1746884A明細書 特許文献2:中国特許出願公開第CN1658192A明細書
しかしながら、このような先行技術は、各画像文書に異なる文書名を生成することを目的としているので、文書名に画像文書の内容が反映されるようにはなっていない。そのため、ユーザは文書名からその画像文書の内容を把握することはできず、内容を確認するには、いちいち画像文書のファイルを開く必要がある。
本発明の目的は、ユーザの手を煩わせることなく、画像文書の内容を反映した意味のある文書名を自動的に作成して管理することのできる画像文書処理装置及び画像文書処理方法を提供することにある。
本発明の画像文書処理装置は、前記目的を達成するために、蓄積された画像文書に文書名を付して管理する画像文書処理装置であって、文字画像の画像特徴を1文字単位で格納している字形特徴辞書と、入力された画像文書中にある見出し領域を切り出す見出し抽出部と、前記見出し抽出部にて切り出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書を参照して、画像特徴の適合度が高い文字画像を候補文字として選択して前記文字列に応じた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする候補文字列生成部と、前記入力された画像文書に対し、前記候補文字列生成部にて生成された意味のある候補文字列を含む第1の文書名を作成する文書名作成部とを有することを特徴としている。
前記構成によれば、見出し抽出部が、画像文書中の見出し領域を定位して該領域に含まれる文字列、つまり、見出しを切り出す。次に、画像特徴抽出部が、切り出された見出しの文字列よりなる画像を1文字ごとに分割して各文字画像の画像特徴を抽出する。
そして、候補文字列生成部が、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、字形特徴辞書を参照して、画像特徴の適合度が高い文字画像を候補文字として選択して前記文字列に応じた候補文字列を作成する。候補文字列は、見出し領域に含まれる文字列に似た特徴を有するため、候補文字列そのままが、切り出した見出し領域の文字と同じであり意味をもつ場合もある。
しかしながら、字形の特徴の適合であるので、形状が似ている他の文字である可能性もある。そこで、候補文字列生成部は、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列にする。これにより、切り出された見出し領域に含まれる見出しと同じ文字よりなり、同じ意味をもつ、候補文字列に、高い確率で調整される。
文書名作成部は、入力された画像文書に対し、候補文字列生成部にて生成された意味のある候補文字列を含む文書名(第1の文書名:意味のある文書名)を作成し、画像文書はこの文書名にて管理される。
したがって、ユーザの手を煩わすことなく、蓄積された画像文書に対し、意味のある文書名を自動的に付すことができ、ユーザは、蓄積された画像文書を、画像文書の内容を反映した文書名にて閲覧でき、蓄積された画像文書の管理やサーチを容易に実施することができる。
本発明の他の画像文書処理装置は、前記目的を達成するために、蓄積された画像文書に文書名を付して管理する画像文書処理装置であって、文字画像の画像特徴を1文字単位で格納している字形特徴辞書と、入力された画像文書中にある見出し領域を切り出す見出し抽出部と、前記見出し抽出部にて切り出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にN個(N>1の整数)の文字画像を候補文字として選択し、前記文字列の文字数をM個(M>1の整数)とした場合に、M×N次のインデックス行列を作成し、該インデックス行列に基づいて、該インデックス行列における連続する各行の1候補文字を順に連ねた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする候補文字列生成部と、前記入力された画像文書に対し、前記候補文字列生成部にて生成された意味のある候補文字列を含む第1の文書名を作成する文書名作成部とを有することを特徴としている。
この他の画像文書処理装置は、先の本発明の画像文書処理装置における候補文字列生成部の機能をより具体化したものである。
これによれば、候補文字列生成部は、画像特徴抽出部にて抽出された文字画像の画像特徴を基に、字形特徴辞書より、画像特徴の適合度が高い順にN個(N>1の整数)の文字画像を候補文字として選択し、前記文字列の文字数をM個(M>1の整数)とした場合に、M×N次のインデックス行列を作成し、該インデックス行列に基づいて、該インデックス行列における連続する各行の1候補文字を順に連ねた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする。
これにより、画像特徴抽出部にて抽出された文字画像の画像特徴を基に、字形特徴辞書を参照して、画像特徴の適合度が高い文字画像を候補文字として選択して前記文字列に応じた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする候補文字列生成部候補文字列生成部を容易に実現することができる。
また、本発明の上記した各画像文書処理装置においては、前記文書名作成部が、前記入力された画像文書の入力時間のデータを第1の文書名に含める構成としたり、或いは、入力された画像文書の入力時間のデータを含む第2の文書名を第1の文書名とは別に作成し、1つの画像文書を第1の文書名と第2の文書名とで管理させる構成とすることもできる。
また、本発明の上記した各画像文書処理装置においては、前記見出し抽出部が、射影法と連通域統計分析法とにより、画像文書における見出し領域を切り出す構成とすることもできる。これにより、前記見出し抽出部が画像文書における見出し領域の切り出しを、容易に実現することが可能となる。
また、本発明の上記した各画像文書処理装置においては、前記画像特徴抽出部が、網格方向特徴と文字画像外囲特徴との組み合わせにより、文字画像の画像特徴を抽出する構成とすることもできる。これにより、字形の違いによるが画像特徴を効率よく抽出することができる。
本発明の画像文書処理方法は、前記目的を達成するために、蓄積された画像文書に文書名を付して管理する画像文書処理方法であって、入力された画像文書中にある見出し領域を切り出す見出し抽出ステップと、前記見出し抽出ステップにて切り出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を1文字単位で格納している字形特徴辞書を参照して、画像特徴の適合度が高い文字画像を候補文字として選択して前記文字列に応じた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする候補文字列生成ステップと、前記入力された画像文書に対し、前記候補文字列生成ステップにて生成された意味のある候補文字列を含む第1の文書名を作成して管理する文書管理ステップとを有することを特徴としている。
本発明の他の画像文書処理方法は、前記目的を達成するために、蓄積された画像文書に文書名を付して管理する画像文書処理方法であって、入力された画像文書中にある見出し領域を切り出す見出し抽出ステップと、前記見出し抽出ステップにて切り出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を1文字単位で格納している字形特徴辞書を参照して、画像特徴の適合度が高い文字画像を候補文字として選択して前記文字列に応じた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする候補文字列生成ステップと、前記入力された画像文書に対し、前記候補文字列生成ステップにて生成された意味のある候補文字列を含む第1の文書名を作成する文書作成ステップとを有し、前記第1の文書名にて蓄積された画像文書を管理することを特徴としている。
また、本発明の他の画像文書処理方法は、前記目的を達成するために、蓄積された画像文書に文書名を付して管理する画像文書処理方法であって、入力された画像文書中にある見出し領域を抽出する見出し抽出ステップと、前記見出し抽出ステップにて抽出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、前記画像特徴抽出ステップにて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を1文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にN個(N>1の整数)の文字画像を候補文字として選択し、前記文字列の文字数をM個(M>1の整数)とした場合に、M×N次のインデックス行列を作成する特徴適合ステップと、前記入力された画像文書に対し、前記特徴適合ステップにて作成されたインデックス行列に基づいて、該インデックス行列における連続する各行の1候補文字を順に連ねた候補文字列を含む第1の文書名を作成して管理する文書管理ステップとを有することを特徴としている。
本発明の他の画像文書処理方法は、前記目的を達成するために、蓄積された画像文書に文書名を付して管理する画像文書処理方法であって、入力された画像文書中にある見出し領域を抽出する見出し抽出ステップと、前記見出し抽出ステップにて抽出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、前記画像特徴抽出ステップにて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を1文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にN個(N>1の整数)の文字画像を候補文字として選択し、前記文字列の文字数をM個(M>1の整数)とした場合に、M×N次のインデックス行列を作成する特徴適合ステップと、前記入力された画像文書に対し、前記特徴適合ステップにて作成されたインデックス行列に基づいて、該インデックス行列における連続する各行の1候補文字を順に連ねた候補文字列を含む第1の文書名を作成する文書管理ステップとを有し、前記第1の文書名にて蓄積された画像文書を管理することを特徴としている。
さらに、本発明は、上記した本発明の画像文書処理装置における各部としてコンピュータを機能させるためのプログラムと、該プログラムが記録されたコンピュータ読み取り可能な記録媒体の、その範疇とする。
つまり、上記画像文書処理装置は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、上記した各部としてコンピュータを動作させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。
これらのプログラムがコンピュータによって実行されると、当該コンピュータは、上記画像文書処理装置として動作する。したがって、上記画像文書処理装置と同様の効果を奏する。
本発明の第1の画像文書処理装置は、以上のように、蓄積された画像文書に文書名を付して管理する画像文書処理装置であって、文字画像の画像特徴を1文字単位で格納している字形特徴辞書と、入力された画像文書中にある見出し領域を切り出す見出し抽出部と、前記見出し抽出部にて切り出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書を参照して、画像特徴の適合度が高い文字画像を候補文字として選択して前記文字列に応じた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする候補文字列生成部と、前記入力された画像文書に対し、前記候補文字列生成部にて生成された意味のある候補文字列を含む第1の文書名を作成する文書名作成部とを有する構成である。
本発明の第2の画像文書処理装置は、以上のように、蓄積された画像文書に文書名を付して管理する画像文書処理装置であって、文字画像の画像特徴を1文字単位で格納している字形特徴辞書と、入力された画像文書中にある見出し領域を切り出す見出し抽出部と、前記見出し抽出部にて切り出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にN個(N>1の整数)の文字画像を候補文字として選択し、前記文字列の文字数をM個(M>1の整数)とした場合に、M×N次のインデックス行列を作成し、該インデックス行列に基づいて、該インデックス行列における連続する各行の1候補文字を順に連ねた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする候補文字列生成部と、前記入力された画像文書に対し、前記候補文字列生成部にて生成された意味のある候補文字列を含む第1の文書名を作成する文書名作成部とを有する構成である。
これらによれば、ユーザの手を煩わすことなく、蓄積された画像文書に対し、意味のある文書名を自動的に付すことができ、ユーザは、蓄積された画像文書を、画像文書の内容を反映した文書名にて閲覧でき、蓄積された画像文書の管理やサーチを容易に実施することができるという効果を奏する。
本発明は、画像の特徴認識と適合技術とに基づいて、画像文書に内容に適した意味のある文書名の自動作成に関するものである。そして、より好適な実施の形態として、ここでは、画像文書の見出し領域に基づいて画像文書のインデックス情報を生成し、生成されたインデックス情報に対して検索を行う一方、インデックス情報に基づいて内容を反映した意味のある文書名を作成する装置及び方法について開示する。
以下、本発明にかかる実施の一形態について、図1〜図17に基づいて説明する。なお、本発明はこれに限定されるものではない。
図2は、本実施形態の画像文書処理装置の構成図である。図2において、1はキーボードであり、検索キーワードの入力や、後述する候補文字数、相関値、行の相関度加重因子Q等の設定値変更にも用いられる。また、キーボード1は、蓄積されている画像文書を閲覧する際の指示入力にも用いられる。
2は、イメージスキャナであり、画像文書を取得するものである。なお、画像文書の取得は、イメージスキャナ2に限られるものではなく、ネットワーク等を介して通信を行うことによって取得するものであってもよい。また、イメージスキャナ2を用いた検索キーワードの入力も可能である。
6は、デジタルカメラ等のデジタル式撮影装置であり、これも、画像文書を取得するものである。
3は、検索した画像文書を出力して表示する表示装置である。表示される内容には、相関度の情報や、画像名称などの情報も含まれる。また、表示装置3には、蓄積されている画像文書の閲覧を可能にする閲覧画面も表示される。
4は、画像文書より検索の要となる見出し領域の切り出しを行う画像文書特徴抽出処理、画像文書に対する検索を可能にするインデックス情報を作成するインデックス情報生成処理、作成したインデックス情報を用いた検索処理、インデックス情報を用いて後述する意味のある文書名を作成して画像文書を管理する画像文書管理処理等を実際に行うプロセッサである。5は、プロセッサ4が実際の処理を行うためのソフトウェア等を格納した外部記憶装置である。
前記プロセッサ4における実際の処理は、外部記憶装置5に蓄えられたソフトウェアによって実行される。プロセッサ4は、例えば通常のコンピュータ本体等で構成される。本実施の形態では、プロセッサ4は、インデックス情報生成処理に用いる後述する字形特徴辞書15(図1参照)を作成する字形特徴辞書作成処理も実施するようになっている。
外部記憶装置5は、例えば高速アクセスが可能なハードディスク等で構成することができる。外部記憶装置5は、文書画像を大量に保持するために光ディスクなどの大容量デバイスを用いるような構成をとっても構わない。
後述する字形特徴辞書15、インデックス情報データベース17、画像文書データベース19、字形見本データベース13、言語モデル61等は、この外部記憶装置5にて構成される。
図1は、本発明の実施の一形態を示すものであり、画像文書処理装置の機能を示す機能ブロック図である。
図1に示すように、本実施の形態の画像文書処理装置は、文字データベース入力部(文字DB入力部)11、字体正規化処理部12、字形見本データベース(字形見本DB)13、文字画像特徴抽出部(画像特徴抽出部)14、字形特徴辞書15、特徴適合部16、インデックス情報データベース(インデックス情報DB)17、見出し領域初期処理部(見出し抽出部)18、画像文書データベース(画像文書DB)19、画像文書特徴データベース(画像文書特徴DB)20、画像文書入力部21、検索部22、語彙解析部23、キーワード入力部24、検索結果表示部25、文書名作成部51、画像文書DB管理部52、画像文書表示部53、指示入力部54を含んでいる。
このうち、文字DB入力部11、字体正規化処理部12、字形見本DB13、文字画像特徴抽出部14、字形特徴辞書15にて、前記した字形特徴辞書作成処理を実施する字形特徴辞書生成部30が構成される。
まず、字形特徴辞書生成部30を構成する、前記機能ブロック11、12、13、14、15について説明する。
文字DB入力部11は、字形特徴辞書15を作成するために必要な、基本となる文字データベースを入力するためのものである。本装置が、例えば、中国語対応の装置であれば、中華人民共和国におけるGB2312の6737個の全文字等が入力される。また、本装置が、日本語対応の装置であれば、JIS第一水準の約3,000字種等が入力される。このような文字DB入力部11は、プロセッサ4にて構成され、文字データベースは、記録媒体を介して、或いはネットワーク等を通じて供給される。
字体正規化処理部12は、文字DB入力部11より入力された文字データベースに含まれる全ての文字について、異なるフォントとサイズの文字画像を作成するものである。異なるフォントとサイズの文字画像は、字形見本DB13に格納される。
図3に、字体正規化処理部12が字形見本DB13を作成する処理を示す。字体正規化処理部12には、本装置が中国語対応の装置であれば、例えば、宋体、倣宋体、黒体、楷体等の字形見本12aが具備されている。また、本装置が日本語対応の装置であれば、MS明朝、MSゴシック…等の字形見本が具備されている。
字体正規化処理部12における変形処理部12bが、文字データベースの文字を画像化し、文字画像を標準化処理する。次に、変形処理部12bは、字形見本12aを参照して、標準化処理した文字画像に対し、変形処理を施し、さらに異なるフォントとサイズの文字画像にする。変形処理には、例えば、曖昧化処理、拡大・縮小化処理、微細化処理等がある。このように変形処理された文字画像を、字体基準部12cは、基準文字画像として字形見本DB13に格納する。
字形見本DB13には、文字データベースの全ての文字に対して、同じ文字であっても、フォント、サイズによって決まる字形毎に基準文字画像が格納されている。例をあげると、文字種は同じ「中」であっても、定められているフォントの数だけ形状の異なる基準文字画像の「中」があり、また、定められているサイズの数だけ大きさの異なる基準文字画像の「中」が格納されている。
文字画像特徴抽出部14は、文字画像の特徴(画像特徴)を抽出して、字形特徴辞書15に格納するものでもある。本実施の形態では、文字画像特徴抽出部14は、文字画像外囲特徴と網格方向との組合せによって文字画像の特徴を抽出し、特徴ベクトルとする。なお、文字画像の特徴は、これらに限られるものではなく、他の特徴を抽出して特徴ベクトルを形成してもよい。
ここで、文字画像外囲特徴及び網格方向特徴について説明しておく。図4は、文字画像外囲特徴の説明図である。文字画像外囲特徴とは、文字画像の外部からみた輪郭の特徴である。図4に示すように、文字画像の外接矩形の4辺から走査し、白画素から黒画素に変化する点までの距離を特徴とし、最初に変化する位置と2度目に変化する位置を取り出す。
例えば、外接矩形をX行Y列に分割した場合、行を単位として左方向と右方向からそれぞれ画像を走査し、列を単位として上方向と下方向からそれぞれ走査する。なお、図4は、行を単位に左からの走査している図面である。
また、図4において、実線の矢印1にて、最初に白画素から黒画素に変化する点までの走査軌跡を示している。破線の矢印2は、2回目に白画素から黒画素に変化する点までの走査軌を示している。実線の矢印3は、最後まで白画素から黒画素に変化する点を検出することができなかった走査軌跡を示しており、このような場合、距離値は0となる。
一方、図5(a)(b)は、網格方向特徴の説明図である。文字画像を粗い網格に分割し、各格子領域内の黒画素についてあらかじめ定めた複数方向に触手を伸ばす。そして、各方向に連結する黒画素の画素数を計数し、該黒画素の各方向成分別の分布状況を表す方向寄与度を、識別関数としてユークリッド距離を用いて黒画素数の差に応じた値により距離値を除算して距離値を算出する。
図5(a)では、文字画像を4×4の16個の格子に分割し、格子の交点からX軸方向に最も近い黒画素から白画素になる点を中心に、X軸方向(0°)、45°方向、Y軸方向(90°)の3方向に触手を伸ばしている。
本実施例では、文字画像を8×8の4角の網に分割し、図5(b)に示すように、0°、45°、90°、135°、180°、225°、270°、315°の8方向に触手を伸ばすようになっている。
なお、網格方向の特徴の抽出方法としては、触手の伸ばす方向や、触手を伸ばす中心点を置き方など、様々な手法があり、例えば、日本国公開特許公報「特開2000−181994号公報」等に記載されている。
文字画像特徴抽出部14は、このような文字画像の特徴の抽出を、文字形状見本DB13に格納されている、基準文字画像の全部に対して行う。そして、文字画像特徴抽出部14は、字形見本DB13に格納されている基準文字画像の抽出結果については字形特徴辞書15に格納し、字形特徴辞書15を生成する。
図6に、文字画像特徴抽出部14による字形特徴辞書15を作成する処理を示す。文字画像特徴抽出部14における字形基準化部14aが、字形見本DB13から基準文字画像を取り出し、文字画像特徴取出部14bは、字形基準化部14aが取り出した基準文字画像に対してその特徴を取り出す。そして、特徴分類部14cが、字形見本DB13を参照して、基準文字画像毎に抽出した特徴を分類して、字形特徴辞書15に格納する。
文字画像特徴取出部14bにおいては、上述したように、単文字ごと、加重付けによる異なる基準文字画像の特徴の適値を求め、基準文字画像の標準特徴を取得する。
文字画像特徴取出部14bが、異なる字体字号を加重させることによって、異なる字形特徴辞書を作成することができる。多字体の画像特徴を融合し、単文字画像特徴を単位で字形特徴辞書を作成することで、多字体・字号画像文書の自動インデックスと管理を満足できる。
次に、画像文書特徴抽出処理を実施する画像文書特徴抽出部31を構成する、画像文書DB19、画像文書特徴DB20、見出し領域初期処理部(見出し抽出部)18、文字画像特徴抽出部14について説明する。
画像文書DB19は、画像文書入力部21より画像文書が入力されると、識別のための文書IDを付けて保存するものである。
見出し領域初期処理部18は、画像文書DB19に新しい画像文書が保存されると、そのイメージデータより画像文書における見出し領域を定位して抽出して、文字画像を前述した文字画像特徴抽出部14に送るものである。
図9に、画像文書50に対して、T1、T2、T3の3領域を見出し領域として定位した様子を示す。この図9からも分かるように、画像文書50におけるタイトル部分を見出し領域Tとして抽出する。
見出し領域初期処理部18にて抽出されて文字画像特徴抽出部14に送られる文字画像は、通常は複数の文字を含んだ文字列の画像である。したがって、これ以降は、見出し領域初期処理部18より送られる文字画像は文字列の画像であるとして説明する。
本実施の形態では、見出し領域初期処理部18は射影法と連通域統計分析により、見出し領域Tの定位及び抽出を行う。なお、このような見出し領域Tは、主にタイトル部分が相当し、例えば、日本国公開特許公報「特開平9−319747号公報」、日本国公開特許公公報「特開平8−153110」等に記載されている方法など、従来ある様々な手法を用いることができる。
画像文書の全ての文字領域(テキスト領域)を対象とすることなく、このように見出し領域Tのみを定位し抽出しているため、検索の対象となる情報量を少なくして検索時間を短くできる。
但し、全てのテキスト領域を定位することなく、見出し領域Tのみを定位することは、検索に関して言えば必須の構成要素でなく、全文テキスト領域を定位して抽出することも可能である。但し、後述する意味のある文書名の作成に関して言えば、見出し領域Tのみを定位することは必須の構成要素である。
文字画像特徴抽出部14は、見出し領域初期処理部18から入力される文字列の画像については、1文字の文字画像に分割した上で、字形特徴辞書15の作成時と同様、各文字画像の特徴を抽出する。そして、抽出した特徴は、画像文書特徴DB20に画像文書ごとに格納する。
画像文書特徴DB20には、見出し領域初期処理部18にて抽出された見出し領域Tに含まれる文字列の画像の特徴情報が、文字列を構成する各文字それぞれの特徴(特徴ベクトル)として格納される。
図9に示ように、1つの画像文書50に対して、抽出された全ての見出し領域T1、T2、T3…に含まれる文字列の文字画像の特徴、つまり文字列を構成する各文字の文字画像の特徴が、画像文書50の文書IDと共に格納される。
次に、インデックス情報作成処理を実施するインデックス情報生成部32を構成する、文字画像特徴抽出部14、字形特徴辞書15、特徴適合部16、インデックス情報DB17、画像文書特徴DB20について説明する。
文字画像特徴抽出部14、字形特徴辞書15、画像文書特徴DB20の機能は既に説明したとおりである。
特徴適合部16は、画像文書特徴DB20より文書画像の見出し領域Tに含まれる文字画像の特徴を読み出し、該読み出した特徴に基づいて、字形特徴辞書15を参照して後述するようにインデックス行列を作成して、画像文書のインデックス情報を生成するものである。
ここで、インデックス情報が1つの画像文書に対して1つ生成され、インデックス情報に含まれるインデックス行列は、見出し領域T毎に作成される。したがって、1つの画像文書内に見出し領域Tが複数ある場合は、当該画像文書のインデックス情報の中に複数のインデックス行列が含まれることとなる。
図7に、インデックス情報DB17を作成する処理を示す。上述したように、ある画像文書が入力されて画像文書DB19に格納されると、文字画像特徴取出部14bが、各見出し領域Tに含まれる文字列の文字画像の特徴を抽出して、画像文書特徴DB20に格納する。
特徴適合部16は、画像文書特徴DB20より、各見出し領域Tに含まれる文字列の画像の特徴を読み出し、単文字ごとに字形特徴辞書15内の基準文字画像と適合を行って、見出し領域Tそれぞれのインデックス行列を作成する。
そして、特徴適合部16は、これらインデックス行列に、当該画像文書のその他の情報である、文書IDや画像文書DB19内における該当する画像文書の保存位置の情報などを含めてインデックス情報とし、インデックス情報DB17に格納する。
図8に、特徴適合部16によるインデックス行列を作成する処理の一例を示す。図8は、図9における見出し領域T3に含まれる文字列「去神仙居住的地方」の8つの文字画像について、インデックス行列を作成する説明図である。
文字列『去神仙居住的地方』は、「去」「神」「仙」「居」「住」「的」「地」「方」の1文字画像に分割される。このような文字列の画像を1文字づつの画像に分割する処理は、従来よるある方法を利用できる。
「去」…「地」の8文字には、並び順に従い、「去」には1、「神」には2、…「方」には8というように、1〜8までの番号が付される。この番号は、インデックス行列の行番号に相当する。
このような8つの文字画像全てに対して、図8に参照符号Aにて示す、画像文書特徴DB20より格納されている文字画像「去」に対する特徴を取り出し(S1)、字形特徴辞書15を参照して特徴が近い(適合度が高い)順に、N個の候補文字を選択する(S2)といった処理が実施される。
適合度の高い順に抽出されるN個の候補文字には、抽出順序に応じた番号が付され、これがインデックス行列の列番号に相当する。そして、検索キーワードに含まれる各検索文字と候補文字との適合度を示す文字相関値(相関値)は、この列番号に応じて設定されている。
図8に、参照符号100にて示すテーブルは、文字列『去神仙居住的地方』のインデックス行列の内容を示している。例えば、5文字目の「住」の文字画像に対しては、行番号5の行に適合度の高い1列目から順に、「任」,「佳」,「住」,…「仁」の候補文字が抽出されている。テーブル100において、例えば候補文字「去」のインデックス行列内の位置は[1,1]、候補文字「屑」の位置は[4,2]、候補文字「仁」の位置は[5,N]となる。
なお、図8のテーブル100では、理解を助けるために、文字列の各文字に対応する候補文字に対しては○を付して示している。
このようなインデックス行列の行数Mは、見出し領域初期処理部18が見出し領域Tとして抽出した文字列の画像の文字数にて決まる。また、列数Nは、1文字について選出する候補文字数にて決まる。したがって、本発明によれば、インデックス行列の次元数(列数)を変えることで、インデックス行列内の要素数、つまり、候補文字数量を柔軟に設定することができる。そのため、画像文書の検索において、正確でほぼ漏れのない検索を行うことができる。
インデックス行列において、選択された候補文字の情報の持たせ方は、検索キーワードの入力方法に応じて適宜設定することができる。例えば、検索キーワードをキーボード1より入力する構成であれば、キーボードから入力された検索キーワードに対して検索を掛けることができるように、候補文字を文字コード等の情報で格納する。
また、イメージスキャナ2等を用いて検索キーワードをイメージデータにて入力する構成であれば、検索キーワードの特徴(特徴ベクトル)を抽出し、特徴ベクトル同士を比べて掛けることができるように、候補文字を特徴(特徴ベクトル)の情報で格納すればよい。
図9に、インデックス情報DB17におけるインデックス情報のデータ配置例を示す。複数の見出し領域T1、T2、T3…Tnが存在する画像文書50のインデックス情報では、複数の見出し領域T1、T2、T3…Tnに対して作成されたインデックス行列が線形に配置される。図9の例では、文書IDが先頭に配置され、続いて、複数のインデックス行列が配列され、最後に保存位置の情報が配置されている。ここで、5×Nは、インデックス行列のサイズを示しており5行N列であることを示している。
インデックス情報をこのようなデータ配置としておくことで、画像文書DB19内の画像文書の格納位置と、画像文書中の見出し領域Tの位置を迅速に定位して、検索結果の表示に用いることができる。
また、実際の要求に従って、インデックス情報に画像文書の他の属性を追加することもできる。
次に、インデックス情報を用いた検索処理を実施する検索部22について説明する。図10は、検索部22の機能と検索処理とを示す説明図である。検索部22は、インデックス行列検索処理部22a、文字相関値保存部(保存部)22b、相関度算出部22c、表示順序決定部(順序決定部)22d、及び画像文書抽出部22eを含む。
インデックス行列検索処理部22aには、キーワード入力部24より検索キーワードが入力される。キーワード入力部24としては、前述したキーボード1或いはイメージスキャナ2等が相当する。
インデックス行列検索処理部22aは、インデックス情報DB17に対して検索を行い、入力された検索キーワードを含むインデックス行列を検出するものである。インデックス行列検索処理部22aは、検索キーワードを1文字ごとに分割し、各検索文字を含むインデックス行列を探し、検索文字が含まれている場合は、当該検索文字のインデックス行列内の適合位置の情報を取得する。なお、インデックス行列の抽出手順例については、図11のフローチャートを用いて後述する。
文字相関値保存部22bは、インデックス行列検索処理部22aにて取得された適合位置の情報と、該適合位置の列番号に応じた文字相関値を保存するものである。
相関度算出部22cは、インデックス行列検索処理部22aにおける全てのインデックス行列に対する検出が完了すると、検出されたインデックス行列と検索キーワードとの相関度を算出するものである。
相関度の算出は、文字相関値保存部22bに保存されている適合位置及び文字相関値の情報を用い、予め設定されている相関度算出方法に従うことで算出する。相関度の算出については、図12、図13を用いて後述する。
なお、ここでは、文字相関値保存部22bが、適合位置の情報と、該適合位置の列番号に応じた文字相関値を保存する構成としていたが、文字相関値保存部22bは、適合位置のみを保存し、相関度算出部22cが、適合位置の情報より文字相関値を取得する構成としてもよい。
表示順序決定部22dは、相関度算出部22cにて算出された相関度の情報を基に、表示順序を決定するものである。表示順序決定部22dは、相関度の高いインデックス行列を含む画像文書より順に、画像文書の内容が検索結果表示部25に表示されるように表示順序を決定する。
画像文書抽出部22eは、表示順序決定部22dにて決定された順序に従い画像文書が表示されるように、画像文書DB19より画像文書のイメージデータを読み出し、検索結果表示部25に出力して表示させるものである。
検索結果表示部25は、表示順序に従い画像文書を表示する。サムネイル表示などであってもよい。検索結果表示部25としては、前述した表示装置3等が相当する。
ここで、検索手順について説明する。図11は、検索部22における検索手順を示すフローチャートである。R個の文字列よりなる検索キーワードが入力され、検索が指示されると、インデックス行列検索処理部22aは、まず、検索キーワードの第1番目の検索文字を取り出す(S11)。
次に、インデックス行列検索処理部22aは、インデックス情報DB17内の全てのインデックス行列に対して、第1番目の検索文字を検索する(S12)。
全てのインデックス行列に対する検索が完了すると、第1番目の検索文字を検索できたかどうかを判断し、1つも検索できなかった場合はS19に移行し、検索できた場合はS14に進む。
S14においては、インデックス行列検索処理部22aが、第1番目の検索文字が含まれていたインデックス行列における適合位置と文字相関値とを、文字相関値保存部22bに保存する。
続いて、インデックス行列検索処理部22aは、第1番目の検索文字が含まれていた全てのインデックス行列を取り出す(S15)。そして、検索キーワードの次の文字である第2番目の検索文字を取り出し、S15で取り出した第1番目の検索文字を含んでいたインデックス行列に対して検索する(S16)。
S15で取り出した全てのインデックス行列に対する検索が完了すると、第2番目の検索文字を検索できたかどうかを判断し(S17)、1つも検索できなかった場合は前記と同様にS19に移行し、検索できた場合はS18に進む。
S18においては、インデックス行列検索処理部22aが、第2番目の検索文字が含まれていたインデックス行列における適合位置と文字相関値とを、文字相関値保存部22bに保存する。
続いて、インデックス行列検索処理部22aは、再度S16に戻り、検索キーワードのさらに次の文字である第3番目の検索文字を取り出し、S15で取り出した第1番目の検索文字を含んでいたインデックス行列に対して検索する。
そして、ここでも、検索が完了すると、インデックス行列検索処理部22aは、第3番目の検索文字を検索できたかどうかを判断し(S17)、1つも検索できなかった場合はS19に移行し、検索できた場合は再度S18に進み、検索キーワードのさらなる次の検索文字についての検索を行う。
このようなS16〜S18までの処理、つまり、S15にて抽出した、第1番目の検索文字が含まれているインデックス行列を対象とした、第2番目以降の各検索文字の絞り込み検索を、インデックス行列検索処理部22aは、S17で文字を1つも検出できなかったと判断するか、検索キーワード内の全検索文字に対しての検索が完了したと判断するまで行い、その後、S19に移行する。
S19では、検索キーワードにおける次の文字である第2番目の検索文字を取り出す。次いで、検索文字が終わりか、つまり、全ての検索文字に対して検索を終えたかどうを判断し(S20)、終わっていない場合は、S12に戻る。
そして、前記と同様にして、インデックス行列検索処理部22aは、インデックス情報DB17内の全てのインデックス行列に対して、第2番目の検索文字を検索する。検索できた場合は、インデックス行列の適合位置と文字相関値を保存した上でS15に進み、第2番目の検索文字を含んでいる全てのインデックス行列に対して、検索キーワードの次の文字、つまり、第2番目の次である第3番目以降の各検索文字に対して、S16〜S18を繰り返し行って絞り込み検索を行う。
インデックス行列検索処理部22aは、前記のような検索を、S19で検索文字を一つ進め、進めた検索文字を含むインデックス行列を取り出し、それ以降の検索文字にて絞り込みを掛けるといった処理を、第3番目以降の各検索文字についても順次行う。
そして、S19にて検索キーワード内の全ての検索文字について取り出しを終え、S20にて、全ての検索文字に対して検索を終了したと判断した場合は、S21に進む。
S21では、相関度算出部22cが、検索キーワードと各インデックス行列との相関度を、後述するように相関度基準にしたがって算出する。
そして、表示順序決定部22dが相関度の高いインデックス行列を含む画像文書より表示されるように表示順序を決定し、画像文書抽出部22eが画像文書DB19より画像文書のイメージデータを取得し、検索結果表示部25が相関度の高い順に画像文書を表示する(S22)。
続いて、図12、図13を用いて、相関度算出部22cにおける相関度基準にしたがった、インデックス行列と検索キーワードとの相関度算出方法について説明する。
図12の参照符号101のブロックには、検索条件を記載している。そして、参照符号102のブロックには、相関度を計算するためのある仮定の検索キーワードとインデックス行列との相対関係を記載している。ブロック101に示した検索条件で、検索キーワードとインデックス行列とが、ブロック102に示すような相対関係であった場合、検索キーワードとインデックス行列の相関度は、ブロック103にて示されるような計算式にて算出されることとなる。
まず、ブロック101の検索条件について説明する。検索キーワードの文字数はR個であり、第1番目の検索文字がC1、第2番目がC2、…、第R番目がCrである。
検索対照となるインデックス行列はM×N次行列である。つまり、見出し領域Tとして切り出された文字列画像の文字数がM個であり、文字列の各文字それぞれの候補として選択された候補文字数がN個である。
検索文字と各候補文字との相関値である文字相関値は、インデックス行列の各位置に応じて定められているので、インデックス行列と同じ次数の行列となる。つまり、文字相関値行列Weightは、M×N次行列である。例えば、Weight[i][j]は、インデックス行列における位置[i,j](=Index[i][j])にある候補文字が適合された場合の文字相関値を表している。本実施の形態では、インデックス行列の列番号[j]が同じであれば、行番号[i]に関わらず、文字相関値は同じである。
行の相関度加重因子Qは、インデックス行列における隣接する2行にわたって、検索文字が適合した場合に、それら2行の文字相関値に加えられる加重である。隣接する2行にわたって検索文字が適合する場合、検索キーワードの連続する2文字を含んでいる可能性が高い。
行の相関度加重因子Qを高く設定すると、相関度算出部22cが算出する相関度への貢献度が、連続的に適合された2行の文字相関値では大きくなるが、隣接しない各行の文字相関値では小さくなる。つまり、行の相関度加重因子Qを高く設定することで、語彙を一つの単位として検索した結果に近づくようになり、逆に行の相関度加重因子Qを小さくすることで、字を1つの単位として検索した結果に近づくようになる。
検索文字C1が適合した文字相関値はW1、検索文字C2が適合した文字相関値はW2,…、検索文字Crが適合した文字相関値はWrとして表す。
続いて、ブロック102に示す、相関度を計算するために仮定した、検索キーワードとインデックス行列との相対関係について説明する。
検索キーワードとインデックス行列とは、全ての検索文字C1、C2、…Crがインデックス行列内の何れかの候補文字と適合する関係にある。検索文字C1、C2、…Crが適合した各候補文字のインデックス行列内の位置、つまり適合位置を、[C1i,C1j],[C2i,C2j],…[Cri,Crj]として表す。
そして、さらなる相対関係として、ブロック102に示す式(1)、
C(k+1)i=Cki+1,C(m+1)i=Cmi+1(m>k)
の関係にある。
該式において、k,mは、検索キーワードを構成する各検索文字の相対位置を表している。また、C(k+1)iは、検索キーワードの第k+1番目の検索文字が適合した候補文字のインデックス行列内の行番号を示し、Ckiは、検索キーワードの第k番目の検索文字が適合した候補文字のインデックス行列内の行番号を示している。
したがって、C(k+1)i=Cki+1は、検索キーワードの第k+1番目の検索文字が適合した候補文字のインデックス行列内の行番号が、検索キーワードの第k番目の検索文字が適合した候補文字のインデックス行列内の行番号にプラス1したものと同じであることを示している。換言すると、C(k+1)i=Cki+1は、検索キーワードの第k+1番目の検索文字と第k番目の検索文字とが、インデックス行列における隣接した2行にそれぞれ適合する関係にあることを示している。
C(m+1)i=Cmi+1も同様であり、検索キーワードの第m+1番目の検索文字と第m番目の検索文字とが、インデックス行列における隣接した2行にそれぞれ適合する関係にあることを示している。
検索キーワードとインデックス行列とが、このような相対関係にある場合、検索キーワードとインデックス行列との相関度は、ブロック103に示す式(2)にて算出される。
SimDegree=W1+W2+…+W(k−1)+Q*(Wk+W(k+1))+…
+W(m−1)+Q*(Wm+W(m+1))+…+Wr
該式において、W1は、第1番目の検索文字C1が適合した文字相関値であり、W2は第2番目の検索文字C2が適合した文字相関値、W(k−1)は、第(k−1)番目の検索文字C(k−1)が適合した文字相関値である。同様にして、W(k)は、第k番目の検索文字Ckが適合した文字相関値であり、W(k+1)は、第(k+1)番目の検索文字C(k+1)が適合した文字相関値である。また、W(m−1)は、第(m−1)番目の検索文字C(m−1)が適合した文字相関値である。同様にして、W(m)は、第m番目の検索文字Cmが適合した文字相関値であり、W(m+1)は、第(m+1)番目の検索文字C(m+1)が適合した文字相関値である。そして、最後のWrは、第r番目の最後の検索文字C1が適合した文字相関値である。
このように、相関度の算出においては、検索キーワードを構成する全検索文字の文字相関値Wが積算(累計)される。
そして、式(2)におけるQ*(Wk+W(k+1))は、検索キーワードにおける第k番目の検索文字Ckと第(k+1)番目の検索文字C(k+1)とが、インデックス行列における隣接した2行にそれぞれ適合しているので、文字相関値Wkと文字相関値W(k+1)とに行の相関度加重因子Qが掛け合わされていることを示している。Q*(Wm+W(m+1))についても同様である。
なお、検索キーワードの第k−1番目の検索文字と第k番目の検索文字は、隣接した2行に適合する関係にはないため、W(k−1)とWkとの両方に対して相関度加重因子Qを掛け合わせてはいない。W(m−1)とWmについても同様である。
ところで、図12のブロック102に示した検索キーワードとインデックス行列との相対関係では、全ての検索文字C1、C2、…Crがインデックス行列内の何れかの候補文字と適合する関係にあるとしたので、式(2)においては、W1〜Wrまでの全ての検索文字の文字相関値が累積されている。
しかしながら、これは一例であり、例えば、式(1)の相対関係を有するものの、検索文字C1と検索文字Crとがインデックス行列内の何れの候補文字にも適合しなかった場合の相関度を算出する式は、次式のようになり、累積項が少ない分、当然その相関度は低くなる。
SimDegree=W2+…+W(k−1)+Q*(Wk+W(k+1))+…
+W(m−1)+Q*(Wm+W(m+1))+…+W(r−1)
また、全ての検索文字C1、C2、…Crがインデックス行列内の何れかの候補文字と適合する関係にあり、かつ、検索キーワードの第k+1番目の検索文字と第k番目の検索文字、及び、第k+2番目の検索文字と第k+1番目の検索文字とが、それぞれ隣接した2行に適合する関係にある場合、相関度を算出する式は次式のようになるであろう。
SimDegree=W1+W2+…+W(k−1)
+Q*(Wk+W(k+1)+W(k+2))…+WR
この場合も、検索キーワードの第k−1番目の検索文字と第k番目の検索文字は、隣接した2行に適合する関係にはないため、W(k−1)とWkとの両方に対して相関度加重因子Qを掛け合わせてはいない。
次に、図13を用いて、相関度計算の具体例を説明する。ここでは、図8に示した、文字列『去神仙居住的地方』のインデックス行列(テーブル100参照)と、検索キーワード『神仙』との相関度を求める。
図13のブロック104に検索条件を示す。相関値行列WeightはM×N次,文字相関値はWeight[i]=[1,1−1/N,1−2/N,…,1/N](i=0,1,…,M−1),行の相関度加重因子Qである。
検索キーワード『神仙』は、それぞれ、第1番目の検索文字である『神』と第2番目の検索文字である『仙』とに分割され、それぞれに対してインデックス行列内の候補文字に対して検索される。
図8のテーブル100を参照すると分かるように、検索文字である『神』は、インデックス行列における位置[i,j]の[2,2]に適合し、検索文字である『仙』は、インデックス行列における[3,1]に適合する。
したがって、ブロック105に示すように、検索文字『神』の文字相関値は(1−1/N)、検索文字『仙』の文字相関値は1となる。
そして、検索文字『神』の行番号は[2]であり、検索文字『仙』の行番号は[3]であり、図8のテーブル100に示すように、これら2つの検索文字は、インデックス行列における隣接した2行にそれぞれ適合している。
したがって、ブロック106に示すように、検索文字『神』の文字相関値(1−1/N)と検索文字『仙』の文字相関値1には、行の相関度加重因子Qが掛け合わされ、検索キーワードの『神仙』と文字列『去神仙居住的地方』のインデックス行列との相関度は、SimDegree=Q*((1−1/N)+1)となる。
検索キーワードとインデックス行列との相関度は、相関値行列における加重(文字相関値)と行の相関度加重因子Qなどのパラメータを、ユーザの要望にしたがって柔軟に調整することで、より理想的な検索結果を得ることができる。
ユーザは、キーボード1等を用いて、相関値行列における加重(文字相関値)と行の相関度加重因子Qなどのパラメータを必要に応じて適宜設定することができる。
そして、このような画像特徴によるインデックスと適合方式は、多言語の画像文書のインデックスと検索を満足できる、文字認識を行わず、計算量が少ない。本発明は中国語に限らず各種言語の画像文書に応用できる。
続いて、意味解析能(語義解析機能)付きの検索処理について説明する。図1にも示すように、本実施の形態の画像文書処理装置では、キーワード入力部24と検索部22との間に、意味解析部23が設けられている。図14に意味解析機能付きの検索処理を示す。
意味解析部23は、意味分析処理部23aと概念辞典23bとから構成される。意味分析処理部23aは、キーワード入力部24から検索キーワードが入力されると、概念辞典23bを参照して、検索キーワードの語彙を分析する。
例えば、検索キーワードとして「中日関係」が入力されると、意味分析処理部23aは、「中日関係」に関連する単語として、例えば「中国」,「日本」,「関係」の3つを検索部22に入力する。これら「中国」,「日本」,「関係」はorの関係にあり、検索式は、「中国」or「日本」or「関係」となる。
検索部22には、該検索式「中国」or「日本」or「関係」が入力され、検索部22は、インデックス情報DB17に対して検索を掛け、「中国」を含む画像文書、「日本」を含む画像文書、及び「関係」を含む画像文書を抽出する。
これにより、入力された検索キーワードが直接的に含まれている画像文書だけでなく、関連の画像文書も検索できる。
次に、画像文書管理処理を実施する画像文書管理部57について説明する。画像文書管理部57は、文字画像特徴抽出部14、字形特徴辞書15、特徴適合部16、見出し領域初期処理部18、画像文書DB19、画像文書特徴DB20、文書名作成部51、画像文書DB管理部52、画像文書表示部53、指示入力部54より構成されており、これらについて説明する。
文字画像特徴抽出部14、字形特徴辞書15、特徴適合部16、見出し領域初期処理部18、画像文書DB19、画像文書特徴DB20の機能については既に説明している。ここでは、意味のある文書名を作成して画像文書特徴DB20の画像文書を管理する画像文書管理処理を実施するためにさらに必要な機能のみ、適宜説明する。
図15を用いて画像文書管理処理を説明する。イメージスキャナ2やデジタル撮影装置6にて構成される画像文書入力部21より、画像文書1〜Nが入力される。
入力された画像文書1〜Nに対し、見出し領域初期処理部18が、それぞれの画像文書の内容を分析して、見出し領域を切り出して文字列を取得する。続いて、図示してはいないが、文字画像特徴抽出部14が、前記と同様に、切り出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する。
そして、このように抽出された文字画像の画像特徴を基に、字形特徴辞書15及び特徴適合部16よりなる候補文字列生成部55が、画像特徴の適合度が高い文字画像を候補文字として選択して、切り出された見出し領域に含まれる文字列に応じた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする。
より具体的に言うと、候補文字列生成部55は、文字画像特徴抽出部14にて抽出された文字画像の画像特徴を基に、字形特徴辞書15より、画像特徴の適合度が高い順にN個(N>1の整数)の文字画像を候補文字として選択し、前記文字列の文字数をM個(M>1の整数)とした場合に、M×N次のインデックス行列を作成する。これは、前述した特徴適合部16の処理である。
次に、特徴適合部16は、作成したインデックス行列に基づいて、該インデックス行列における第1列目に位置する各行の候補文字を順に連ねた候補文字列を作成する。そして、この候補文字列を構成する連続する各行の候補文字よりなる単語の意味を解析し、候補文字列が意味をなすように各行の第1列目の候補文字を調整する。
図16に、作成したインデックス行列を調整して第1列目の文字列が意味のある文字列となるように、意味解析法を用いて調整した具体例を示す説明図である。
図16の上部に示す調整前のインデックス行列109は、図8にテーブル100にて示したインデックス行列と同じである。インデックス情報DB17にはこの状態で格納されている。このようなインデックス行列109より作成される候補文字列は「去伸仙居任酌地方」となり意味を成さない。
意味ある文書名として利用する候補文字列は、主語、述語、および目的語の接続詞関係等が意味的に正しくなければならない。そこで、意味解析により、意味のある候補文字列に変換する。具体的には、複数のエラー候補文字に対し、概念辞書を使用し、複数のエラー候補文字と、候補テキストの他の単語との間の意味情報を分析し、候補文字列を意味ある文字列に修正する。
このような意味解析に用いられる言語モデル61は、すべての漢字で始まる活字の統計データを提供するものであればよい。つまり、この言語モデル61のメインコンセプトにより、自動索引システムを技術的に確立することができ、中国語の新聞のスクリプトに関する統計データを得ることができる。
例えば、実装例として、bi-gramモデル(言語モデル)を使用することができる。Bi-grams は、2つの文字、2つの音節、または2つの単語のグループであり、テキストの簡単な統計分析の基礎として非常に一般的に使用される。シンボル系列で示した場合、各シンボルの外観を、独立事象とし、前記シンボル系列の確率を、以下の通り定義する。
なお、前記の機能の分解に、確率の連鎖法則を使用できる。中国語を、(N-1)オーダーマルコフ連鎖とする(シンボルの確率は、N-1オーダーシンボルの前出を条件とする)。この言語モデルはN-gramモデルと称される。
確立的なN-gramモデルの使用は、長く好結果をもたらす統計的な自然言語処理を含んでいる。N-gramは、テキストの大きい文書全般(コーパス)中の文字および単語の共起を用いて得られる統計から通常構成され、文字連鎖または単語連鎖の確立を規定する。N-gramには、通常、直接、コーパスから抽出する場合より、はるかに大きい言語をカバーできるという利点がある。言語モデルへのアプリケーションでは、 コンピュータの制限と制限のない言語の特性(文字、単語は無限に存在する)のため、N=2と設定し、bi-gramモデルとする。
図16の下部に、調整後のインデックス行列110を示す。第2行目の第1列目の「伸」がエラー候補文字として、第2列目の「神」に置き換えられている。同様に、第5行目の第1列目の「任」が第3列目の「住」に置き換えられている。そして、第6行目の第1列目の「酌」が、その前後の「居住」と「地方」との関連性から鑑みてエラー候補文字であるとして、第2列目の「的」に置き換えられている。
このようなインデックス行列110の第1列目に含まれる候補文字列は「去神仙居住的地方」となり、意味を成す。なお、特徴適合部16は、このような調整後のインデックス行列110をインデックス情報DB17に格納するようにしてもよい。
再び、図15に戻り、候補文字列生成部55にてこのように生成された意味のある候補文字列は、文書名作成部51に送られる。
文書名作成部51は、入力された画像文書に対して、候補文字列生成部55にて生成された意味のある候補文字列を含めた文書名を作成する。この意味のある候補文字列が含まれた文書名を、以下においては「意味のある文書名」と称する。
文書名作成部51には、時間データ等発生部60から、画像文書が入力された時間及び入力経路を示すデータ等のその他のデータも入力されるようになっている。文書名作成部51は、時間データ等発生部60から入力される時間データを少なくとも含むその他のデータを用いて、書類名を生成することもできる。
例えば、時間データ等のその他のデータのうち、時間データを意味のある文書名に含め、意味のある文書名を、時間データと意味のある候補文字列よりなる構成としてもよい。
或いは、時間データ等のその他のデータを用いて、同じ画像文書に、別の文書名を作成してもよい。時間データ等のその他のデータ等にて構成された文書名を、以下、オリジナル文書名と称する。
このような構成とすることで、1つの画像文書を、意味のある文書名と、時間データ等のその他のデータ等にて構成されたオリジナル文書名とで管理することが可能となる。
個々の画像文書に対して生成された意味のある文書名、及びオリジナル文書名は、画像文書DB管理部52に送られ、画像文書DB19に、画像文書のイメージデータに対応させて格納される。
画像文書DB管理部52は、キーボード1等より構成される図1に示す指示入力部54を用いて、画像文書DB19に蓄積されている画像文書の閲覧指示等がユーザよりなされると、表示装置3等より構成される図1の画像文書表示部53に、閲覧画面を表示する。
図17に、画像文書表示部53に表示される、画像文書DB19に格納されている画像文書の閲覧画面の一例を示す。
図において、左側に示されている画面201は、蓄積されている画像文書がオリジナル文書名にて一覧表示されている状態を示す。画面201の上には、各画像文書の入力順を示している。紙面一番手前にある「AR−C262M_20060803_103140」とのオリジナル文書名が付されている画像文書が、この画面にて、最も先に入力された画像文書となる。「20060803」は入力日(2006年8月3日)を表し、「103140」は時間(10時31分40秒)を表している。また、「AR−C262M」は入力経路の情報、つまり、当該画像文書を取り込んだ装置を特定する情報である。
このような表示状態において、画面に表示されている「意味のある文書名」のタグを選択するなどの操作にて、閲覧画面の表示は、図において、右側に示されている画面202へと遷移する。画面202は、蓄積されている画像文書が意味のある文書名にて一覧表示されている状態を示す。
この画面202は、画面201に対応しており、ここでも、画面201の上部に示す、紙面一番手前にある「定格惠州西湖」との意味のある文書名が付されている画像文書が、この画面にて、最も先に入力された画像文書である。因みに、画面202に記載されている「意味のある文書名」の日本語訳は、上から順に「惠州西湖に注目」、「和やかな社会の創設」、「着実に先進性を推進」、「上海での国際人材導入の雛形現る」、「リーダーシップのある人材の育成」、「人材の移動」、「理論の研究と現実問題の解決」、「安陪首相訪中にて中日関係に転機」となる。
このように、意味のある文書名にて閲覧できることにより、ユーザによる蓄積された画像文書の管理やサーチが容易に実施できるようになる。また、オリジナル文書名も併せて作成することで、時間データ等の情報も、書類名と同時にみることができる。
なお、本画像文書処理装置においては、作成したインデックス行列を用いてインデックス情報を作成し、検索処理に用いる。そのため、見出し領域初期処理部18は、画像文書に含まれる複数の見出し領域Tを抽出し、それぞれにインデックス行列を作成するようになっている。しかしながら、画像文書に意味のある文書名を作成することのみを目的とするのであれば、画像文書に含まれる複数の見出しを抽出してそれぞれにインデックス行列を作成する必要はない。
つまり、画像文書を最もよく表す見出し領域に含まれる見出しの文字列(文字画像列)に対してインデックス行列を作成し、これに基づき、特徴がマッチする文字列を使用して、意味を持つ名称を作成するように構成すればよい。
画像文書を最もよく表す見出し領域としては、例えば、抽出された複数の見出し領域のうち、画像文書の一番上の行に存在するものとすることができる。これは、重要な見出しは、画像文書の一番上の行に配されることが多いためである。
また、見出し領域に含まれる文字のサイズが、ある閾値より大きく、抽出された他の見出し領域のものよりも大きいものとすることもできる。これは、重要な見出しは、他の見出しよりも大きな文字のサイズにて記載されることが多いためである。
或いは、見出し領域に含まれる文字のフォント(字形)タイプが、抽出された他の見出し領域のものと異なるものとすることもできる。これは、重要な見出しは、他の見出しとは異なるフォント(字形)にて記載されることが多いためである。なお、これら以外の基準を付加することもでき、また、各基準は、個々に用いてもよいし、組み合わせて用いてもよい。
また、本画像文書処理装置のように、1つの画像文書について、複数の見出し領域を抽出し、それぞれにインデックス行列を作成する構成では、見出し領域の配置位置や、文字サイズ、或いはフォントにて、最も重要な見出し領域のインデックス行列を特定するようにすればよい。また、特に、このような場合であれば、抽出された複数の見出し領域のインデックス行列より、最も頻出する単語が候補文字列に含まれるように作成することも好ましい。
最後に、画像文書処理装置の各ブロック、特に、字体正規化処理部12、文字画像特徴抽出部14、特徴適合部16、見出し領域初期処理部18、検索部22、意味解析部23、文書名作成部51、画像文書DB管理部52等は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像文書処理装置は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、前記プログラムを格納したROM(read only memory)、前記プログラムを展開するRAM(random access memory)、前記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像文書処理装置の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、前記画像文書処理装置に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像文書処理装置を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
以上のように、本発明の画像文書処理装置は、蓄積された画像文書に文書名を付して管理する画像文書処理装置であって、文字画像の画像特徴を1文字単位で格納している字形特徴辞書と、入力された画像文書中にある見出し領域を切り出す見出し抽出部と、前記見出し抽出部にて切り出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書を参照して、画像特徴の適合度が高い文字画像を候補文字として選択して前記文字列に応じた候補文字列を作成すると共に、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列とする候補文字列生成部と、前記入力された画像文書に対し、前記候補文字列生成部にて生成された意味のある候補文字列を含む第1の文書名を作成する文書名作成部とを有することを特徴としている。
前記構成によれば、見出し抽出部が、画像文書中の見出し領域を定位して該領域に含まれる文字列、つまり、見出しを切り出す。次に、画像特徴抽出部が、切り出された見出しの文字列よるなる画像を1文字ごとに分割して各文字画像の画像特徴を抽出する。
そして、候補文字列生成部が、前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、字形特徴辞書を参照して、画像特徴の適合度が高い文字画像を候補文字として選択して前記文字列に応じた候補文字列を作成する。候補文字列は、見出し領域に含まれる文字列に似た特徴を有するため、候補文字列そのままが、切り出した見出し領域の文字と同じであり意味をもつ場合もある。
しかしながら、字形の特徴の適合であるので、形状が似ている他の文字である可能性もある。そこで、候補文字列生成部は、意味解析法を用いて該候補文字列を構成する各候補文字を調整して意味のある候補文字列にする。これにより、切り出された見出し領域に含まれる見出しと同じ文字よりなり、同じ意味をもつ、候補文字列に、高い確率で調整される。
文書名作成部は、入力された画像文書に対し、候補文字列生成部にて生成された意味のある候補文字列を含む文書名(第1の文書名:意味のある文書名)を作成し、画像文書はこの文書名にて管理される。
したがって、ユーザの手を煩わすことなく、蓄積された画像文書に対し、意味のある文書名を自動的に付すことができ、ユーザは、蓄積された画像文書を、画像文書の内容を反映した文書名にて閲覧でき、蓄積された画像文書の管理やサーチを容易に実施することができる。
また、前記画像文書処理装置は、ハードウェアで実現してもよいし、プログラムをコンピュータに実行させることによって実現してもよい。具体的には、本発明に係るプログラムは、前記した各部としてコンピュータを動作させるプログラムであり、本発明に係る記録媒体には、当該プログラムが記録されている。
これらのプログラムがコンピュータによって実行されると、当該コンピュータは、前記画像文書処理装置として動作する。したがって、前記画像文書処理装置と同様の効果を奏する。
発明の詳細な説明の項においてなされた具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項との範囲内で、種々変更して実施することができるものである。
本発明は、画像の特徴認識と適合技術とに基づいて、画像文書に内容に適した意味のある文書名の自動作成に関するものである。
本発明の実施の一形態を示すものであり、画像文書処理装置の機能を示す機能ブロック図である。 本実施形態の画像文書処理装置の構成図である。 字形見本データベースを作成する処理を示す説明図である。 文字画像外囲特徴の説明図である。 図5(a)及び図5(b)は共に、網格方向特徴の説明図である。 字形特徴辞書を作成する処理を示す説明図である。 インデックス情報データベースを作成する処理を示す説明図である。 インデックス行列を作成する処理を、具体例を用いて示す説明図である。 画像文書例と、インデックス情報データベース中における、この画像文書のインデックス情報のデータ配置例とを示す説明図である。 検索部の機能と検索処理を示す説明図である。 検索部における検索手順を示すフローチャートである。 検索キーワードとインデックス行列との相関度を算出する方法を示す説明図である。 検索キーワードとインデックス行列との相関度の算出を、具体例を用いて示す説明図である。 語彙分析機能付きの検索処理を示す説明図である。 画像文書管理部における処理を示す説明図である。 作成したインデックス行列を調整して第1列目の文字列が意味のある文字列となるようにする処理を、具体例を用いて示す説明図である。 画像文書表示部に表示される、画像文書DBに格納されている画像文書の閲覧画面を示す説明図である。
符号の説明
14 画像特徴抽出部
15 字形特徴辞書
16 特徴適合部
17 インデックス情報データベース(インデックス情報格納部)
18 見出し領域初期処理部(見出し抽出部)
22 検索部
22a インデックス行列検索処理部
22b 文字相関値保存部(保存部)
22c 相関度算出部
22d 表示順序決定部(順序決定部)
30 字形特徴辞書生成部
51 文書名作成部
52 画像文書DB管理部
55 候補文字列生成部
57 画像文書管理部

Claims (9)

  1. 蓄積された画像文書に文書名を付して管理する画像文書処理装置であって、
    文字画像の画像特徴を1文字単位で格納している字形特徴辞書と、
    入力された画像文書中にある見出し領域を切り出す見出し抽出部と、
    前記見出し抽出部にて切り出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出部と、
    前記画像特徴抽出部にて抽出された文字画像の画像特徴を基に、前記字形特徴辞書より、画像特徴の適合度が高い順にN個(N>1の整数)の文字画像を候補文字として選択して、前記文字列の文字数をM個(M>1の整数)とした場合に、M×N次のインデックス行列を作成するインデックス行列作成部と、
    前記インデックス行列における連続する各行の適合度が最も高い1列目に位置する各候補文字を順に連ねた候補文字列が意味のある候補文字列となるように、意味解析法を用いて、1列目に位置する各候補文字を、行毎に定められたN個の候補文字の中から選択することで調整し、前記連続する各行の1列目に位置する各候補文字を連ねた候補文字列を意味のある候補文字列とする候補文字列作成部と、
    前記入力された画像文書に対し、前記候補文字列作成部にて生成された意味のある候補文字列を含む第1の文書名を作成する文書名作成部とを有すると共に、
    前記インデックス行列作成部にて作成されたインデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納部と、
    入力された検索式中の検索キーワードを構成する1検索文字単位に前記インデックス情報格納部を検索し、検索文字を含むインデックス行列を有する画像文書を取り出す検索部とを有し、
    さらに、前記インデックス行列の各要素には、位置に応じた相関値が設定されており、
    前記検索部は、
    検索キーワードを構成する1検索文字単位にインデックス行列を検索して検索文字を含むインデックス行列を検出し、当該インデックス行列内における検索文字の適合位置の情報を、インデックス行列を有する画像文書の情報と共に保存部に格納するインデックス行列検索処理部と、
    前記保存部に格納された適合位置の情報より、各検索文字の相関値を累積して、検索キーワードとインデックス行列との相関度を算出する相関度算出部と、
    前記相関度算出部の算出結果に基づいて画像文書の取り出す順序を決定する順序決定部とを含むことを特徴とする画像文書処理装置。
  2. 前記相関度算出部は、前記適合位置の情報より、インデックス行列における隣接する行に適合していると判断すると、隣接する各行の相関値を行の相関度加重因子にて加重した上で累積することを特徴とする請求項1に記載の画像文書処理装置。
  3. 前記文書名作成部は、前記入力された画像文書が入力された時間のデータを第1の文書名に含めることを特徴とする請求項1又は2に記載の画像文書処理装置。
  4. 前記文書名作成部は、前記入力された画像文書が入力された時間のデータを含む第2の文書名を第1の文書名とは別に作成し、1つの画像文書を第1の文書名と第2の文書名とで管理することを特徴とする請求項1,2又は3に記載の画像文書処理装置。
  5. 前記画像特徴抽出部は、網格方向特徴と文字画像外囲特徴との組み合わせにより、文字画像の画像特徴を抽出することを特徴とする請求項1〜4のいずれか1項に記載の画像文書処理装置。
  6. 蓄積された画像文書に文書名を付して管理する画像文書処理方法であって、
    入力された画像文書中にある見出し領域を抽出する見出し抽出ステップと、
    前記見出し抽出ステップにて抽出された見出し領域に含まれる文字列の文字画像を1文字ごとに分割して各文字画像の画像特徴を抽出する画像特徴抽出ステップと、
    前記画像特徴抽出ステップにて抽出された文字画像の画像特徴を基に、文字画像の画像特徴を1文字単位で格納している字形特徴辞書より、画像特徴の適合度が高い順にN個(N>1の整数)の文字画像を候補文字として選択して、前記文字列の文字数をM個(M>1の整数)とした場合に、M×N次のインデックス行列を作成するインデックス行列作成ステップと、
    前記インデックス行列作成ステップにて作成された前記インデックス行列における連続する各行の適合度が最も高い1列目に位置する各候補文字を順に連ねた候補文字列が意味のある候補文字列となるように、意味解析法を用いて、1列目に位置する各候補文字を、行毎に定められたN個の候補文字の中から選択することで調整し、前記連続する各行の1列目に位置する各候補文字を連ねた候補文字列を意味のある候補文字列とする候補文字列作成ステップと、
    前記入力された画像文書に対し、前記候補文字列作成ステップにて作成された意味のある候補文字列を含む第1の文書名を作成する文書名作成ステップとを有し、
    前記第1の文書名にて蓄積された画像文書を管理し、
    さらに、前記インデックス行列作成ステップにて作成されたインデックス行列を、前記入力された画像文書に対応づけて格納するインデックス情報格納ステップと、
    入力された検索式中の検索キーワードを構成する1検索文字単位に前記インデックス情報格納ステップにて格納されたインデックス情報を検索し、検索文字を含むインデックス行列を有する画像文書を取り出す検索ステップとを有し、
    さらに、前記インデックス行列の各要素には、位置に応じた相関値が設定されており、
    前記検索ステップでは、
    検索キーワードを構成する1検索文字単位にインデックス行列を検索して検索文字を含むインデックス行列を検出し、当該インデックス行列内における検索文字の適合位置の情報を、インデックス行列を有する画像文書の情報と共に保存部に格納するインデックス行列検索処理ステップと、
    前記保存部に格納された適合位置の情報より、各検索文字の相関値を累積して、検索キーワードとインデックス行列との相関度を算出する相関度算出ステップと、
    前記相関度算出ステップの算出結果に基づいて画像文書の取り出す順序を決定する順序決定ステップとを含む画像文書処理方法。
  7. 前記相関度算出ステップでは、前記適合位置の情報より、インデックス行列における隣接する行に適合していると判断すると、隣接する各行の相関値を行の相関度加重因子にて加重した上で累積することを特徴とする請求項6に記載の画像文書処理方法。
  8. 請求項1から5の何れか1項に記載の画像文書処理装置の各部としてコンピュータを機能させるためのプログラム。
  9. 請求項8に記載のプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2007069610A 2007-01-15 2007-03-16 画像文書処理装置、画像文書処理方法、プログラム、及び記録媒体 Active JP4408129B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007100009608A CN101226595B (zh) 2007-01-15 2007-01-15 文档图像处理装置以及文档图像处理方法

Publications (2)

Publication Number Publication Date
JP2008171380A JP2008171380A (ja) 2008-07-24
JP4408129B2 true JP4408129B2 (ja) 2010-02-03

Family

ID=39668054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007069610A Active JP4408129B2 (ja) 2007-01-15 2007-03-16 画像文書処理装置、画像文書処理方法、プログラム、及び記録媒体

Country Status (3)

Country Link
US (1) US8290269B2 (ja)
JP (1) JP4408129B2 (ja)
CN (1) CN101226595B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009026288A (ja) * 2007-07-23 2009-02-05 Sharp Corp 画像文書処理装置、画像文書処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539756B2 (ja) * 2008-04-14 2010-09-08 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5332369B2 (ja) * 2008-07-18 2013-11-06 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US8131720B2 (en) * 2008-07-25 2012-03-06 Microsoft Corporation Using an ID domain to improve searching
KR101355299B1 (ko) * 2009-04-14 2014-01-23 닛본 덴끼 가부시끼가이샤 이미지 시그니처 추출 장치
JP5427577B2 (ja) * 2009-12-04 2014-02-26 パナソニック株式会社 表示制御装置及び表示画像形成方法
JP2011170690A (ja) * 2010-02-19 2011-09-01 Sony Corp 情報処理装置、情報処理方法、およびプログラム。
US9323726B1 (en) * 2012-06-27 2016-04-26 Amazon Technologies, Inc. Optimizing a glyph-based file
EP2962253A1 (en) 2013-02-27 2016-01-06 Longsand Limited Textual representation of an image
US9639526B2 (en) * 2014-01-10 2017-05-02 Microsoft Technology Licensing, Llc Mobile language translation of web content
JP6050843B2 (ja) 2015-01-30 2016-12-21 株式会社Pfu 情報処理装置、方法およびプログラム
US10528649B2 (en) * 2016-09-29 2020-01-07 Adobe Inc. Recognizing unseen fonts based on visual similarity
CN108287858B (zh) * 2017-03-02 2021-08-10 腾讯科技(深圳)有限公司 自然语言的语义提取方法及装置
CN109064787B (zh) * 2018-07-17 2021-09-24 广东小天才科技有限公司 一种点读设备
JP7343311B2 (ja) * 2019-06-11 2023-09-12 ファナック株式会社 文書検索装置及び文書検索方法
US10803301B1 (en) * 2019-08-02 2020-10-13 Capital One Services, Llc Detecting fraud in image recognition systems
CN113673544A (zh) * 2020-05-13 2021-11-19 珠海金山办公软件有限公司 一种相似字体的确定方法、装置、电子设备及存储介质
CN112199545B (zh) * 2020-11-23 2021-09-07 湖南蚁坊软件股份有限公司 基于图片文字定位的关键词显示方法、装置及存储介质
CN112733658B (zh) * 2020-12-31 2022-11-25 北京华宇信息技术有限公司 电子文档归档方法及其装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69330423T2 (de) * 1993-01-11 2002-05-16 Canon Kk Gerät und Verfahren zur Bildverarbeitung
JPH07152774A (ja) 1993-11-30 1995-06-16 Hitachi Ltd 文書検索方法および装置
JPH07182465A (ja) * 1993-12-22 1995-07-21 Hitachi Ltd 文字認識方法
US5821929A (en) * 1994-11-30 1998-10-13 Canon Kabushiki Kaisha Image processing method and apparatus
JPH08153110A (ja) 1994-11-30 1996-06-11 Canon Inc 文書ファイリング装置及び方法
JPH08272811A (ja) 1995-03-30 1996-10-18 Canon Inc 文書管理方法及びその装置
US5999647A (en) * 1995-04-21 1999-12-07 Matsushita Electric Industrial Co., Ltd. Character extraction apparatus for extracting character data from a text image
JPH09319747A (ja) 1996-05-29 1997-12-12 Ricoh Co Ltd 文書画像の構造化方法
JP2973944B2 (ja) * 1996-06-26 1999-11-08 富士ゼロックス株式会社 文書処理装置および文書処理方法
US6327387B1 (en) * 1996-12-27 2001-12-04 Fujitsu Limited Apparatus and method for extracting management information from image
JP3375292B2 (ja) 1998-12-16 2003-02-10 日本電信電話株式会社 文字認識処理方法及びその装置及びその方法を記録した記録媒体
JP2001043221A (ja) * 1999-07-29 2001-02-16 Matsushita Electric Ind Co Ltd 中国語単語分割装置
JP3425408B2 (ja) 2000-05-31 2003-07-14 株式会社東芝 文書読取装置
US6944344B2 (en) * 2000-06-06 2005-09-13 Matsushita Electric Industrial Co., Ltd. Document search and retrieval apparatus, recording medium and program
JP4461769B2 (ja) 2003-10-29 2010-05-12 株式会社日立製作所 文書検索・閲覧手法及び文書検索・閲覧装置
KR20050082593A (ko) 2004-02-19 2005-08-24 엘지전자 주식회사 Gps를 이용한 영상데이터 파일명 설정방법 및 장치
JP2005275849A (ja) 2004-03-25 2005-10-06 Canon Inc 文書処理装置および文書処理方法
JP2006059075A (ja) * 2004-08-19 2006-03-02 Fuji Xerox Co Ltd 文書処理装置およびプログラム
CN1746884A (zh) 2004-09-06 2006-03-15 英保达股份有限公司 数字影像文件自动命名方法及系统
JP2006085582A (ja) * 2004-09-17 2006-03-30 Fuji Xerox Co Ltd 文書処理装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009026288A (ja) * 2007-07-23 2009-02-05 Sharp Corp 画像文書処理装置、画像文書処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
JP4533920B2 (ja) * 2007-07-23 2010-09-01 シャープ株式会社 画像文書処理装置、画像文書処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体

Also Published As

Publication number Publication date
US20080181505A1 (en) 2008-07-31
JP2008171380A (ja) 2008-07-24
CN101226595A (zh) 2008-07-23
CN101226595B (zh) 2012-05-23
US8290269B2 (en) 2012-10-16

Similar Documents

Publication Publication Date Title
JP4408129B2 (ja) 画像文書処理装置、画像文書処理方法、プログラム、及び記録媒体
JP4533920B2 (ja) 画像文書処理装置、画像文書処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体
JP4364914B2 (ja) 画像文書処理装置、画像文書処理方法、プログラム、及び記録媒体
JP4740916B2 (ja) 画像文書処理装置、画像文書処理プログラムおよび画像文書処理プログラムを記録した記録媒体
JP2009026287A (ja) 文字画像抽出装置および文字画像抽出方法
JP4570648B2 (ja) 画像文書処理装置、画像文書処理方法、画像文書処理プログラムおよび記録媒体
US8577882B2 (en) Method and system for searching multilingual documents
JP4772817B2 (ja) 画像文書処理装置および画像文書処理方法
EP2806336A1 (en) Text prediction in a text input associated with an image
KR102373884B1 (ko) 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법
US20160103915A1 (en) Linking thumbnail of image to web page
JP5430312B2 (ja) データ処理装置、データ名生成方法及びコンピュータプログラム
JP3693734B2 (ja) 情報検索装置およびその情報検索方法
KR20020006223A (ko) 자동 색인 로봇 시스템 및 이를 이용한 처리 방법
JPH08272813A (ja) ファイリング装置
JP2009110204A (ja) 文書処理装置、文書処理システム、文書処理方法及び文書処理プログラム
CN116842138A (zh) 基于文档的检索方法、装置、设备及存储介质
JP2001092831A (ja) 文書検索装置及び文書検索方法
Keerthika et al. Multi-linguistic optical character recognition
JP2004287992A (ja) 文書情報処理装置並びにプログラム
JPH0954781A (ja) 文書検索システム
JP2001184365A (ja) 文書検索システムおよび記録媒体
KR20160139484A (ko) 워드 추출 방법 및 장치
JPH04352063A (ja) 日本語文書処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091105

R150 Certificate of patent or registration of utility model

Ref document number: 4408129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4