JP3620299B2 - 文書ファイリング装置及び文書ファイリング方法 - Google Patents
文書ファイリング装置及び文書ファイリング方法 Download PDFInfo
- Publication number
- JP3620299B2 JP3620299B2 JP22254398A JP22254398A JP3620299B2 JP 3620299 B2 JP3620299 B2 JP 3620299B2 JP 22254398 A JP22254398 A JP 22254398A JP 22254398 A JP22254398 A JP 22254398A JP 3620299 B2 JP3620299 B2 JP 3620299B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- feature
- search
- search data
- data storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば文書や図面等の画像を電子的にファイリングするシステムに関し、特に文書や図面に記載された文字を認識し、画像と共に蓄積した文書・図面を任意の入力キーワードで全文検索する文書ファイリング装置及び文書ファイリング方法に関するものである。
【０００２】
【従来の技術】
従来、文書画像を電子的に保存し、検索および表示するためには、文書画像に対して人手でキーワード情報を付加して保存する方法が用いられている。また人手によるキーワード入力の手間を省くために文字認識機能を有するシステムで文書画像中の文字を認識し、関連するキーワードまたは全文を文書画像とともに保存する方法が用いられている。後者では、文字認識の性能が不完全であるために、誤認識が生じる。それ故検索のために入力したキーワードに対し、入力キーワードと異なる文字列が検索結果として表示される「検索ノイズ」が発生する。また、文書画像中の文字が入力キーワードと同一であるにもかかわらず、文字認識の誤認識のために検索結果として表示されない「検索漏れ」も発生する。
【０００３】
検索精度を向上させるためには、検索ノイズ及び検索漏れを極力少なくする必要がある。
検索時の検索ノイズ、検索漏れを減少させる方法には、「文字認識結果の候補を複数個保持する方法」および「検索方法をあいまいにして文字認識性能の不完全性を補助する方法」がある。
「文字認識結果の候補を複数個保持する方法」として、文字認識結果をラティス構造で保持し、ラティス構造の文字認識結果を探索して文字コードを検索することにより正解文字を検索する方法がある（「全文検索可能な文書画像データベースシステムの開発」（第８回ディジタル図書館ワークショップ（図書館情報大学、１９９６年１０月２３日））。これを従来技術１とする。
【０００４】
従来技術１の説明を図２７〜図２９を用いて行う。図２７で５は文書画像を入力する入力手段、５２は文字認識手段、５５は検索手段、５６は認識辞書、５１は文字認識の実行を制御したり文書画像の入力および入力キーワードを用いた検索を制御する制御手段、４は入力キーワードでの検索結果を表示する表示手段、５７は検索データ格納部である。図２８は文書画像の例であり、図２９（ａ）は図２８の文字画像であり、６０〜６５は文字切り出し候補点を示す。図２９（ｂ）は図２９（ａ）の文字切り出し候補点の組合わせから文字認識を行った結果を示す。
【０００５】
従来技術１では、文字認識手段５２が文字認識の際、黒画素連結成分で挟まれる位置を文字切り出し候補点とし（図２９（ａ）の候補点６０〜６５）、各文字切り出し候補点間の画像に対して文字認識を行い、認識結果候補文字の類似度から文字を保存するか否かを判定し、文字候補を保持または棄却する。図２９（ｂ）が文字認識手段５２が作成した検索用データの例である。例えば、図２９（ａ）の文字切り出し候補点６１および６２で挟まれる画像に対する文字認識結果は、図２９（ｂ）の「す」となる。検索手段５５は図２９（ｂ）に示すラティス構造の検索データをたどりながら文字列を検索し、入力キーワードと一致するか否かを判定する。従来技術１は検索データをラティス構造とし、文字切り出しエラーに対応して正解文字数をより多く含ませ実質的な認識率を向上させることで、検索性能を向上させようとするものである。
【０００６】
「検索方法をあいまいにして文字認識性能の不完全性を補助する方法」としては、例えば特開平８−２７２８１３に記載されるように、入力キーワードと認識結果との一致度の計算方法を、
ｍ＝一致した文字数／入力キーワードの文字数 ＊１００（％） ・・・ 数式（１）
で算出し、認識結果候補文字中に全ての検索文字を含まなくとも検索結果として出力するものがある。
【０００７】
以下に従来技術２として特開平８−２７２８１３の説明をする。
図３０は特開平８−２７２８１３の構成を示す図である。図３０で５は文書画像を入力する入力手段、７２は文字を認識する文字認識手段、７６は文字認識の際に使用する各文字の標準パターンを格納した認識辞書、７５は検索手段、７１は文字認識の実行を制御したり文書画像の入力および入力キーワードを用いた検索を制御する制御手段、７７は画像および認識結果データを格納する検索データ格納部、４は検索結果を表示する表示手段である。
【０００８】
はじめにデータの格納方法について説明する。文字認識手段７２は入力手段５から入力された文書画像内の文字の切り出し、認識を行い、文字画像１文字に対して４文字までの認識結果候補文字を制御手段７１に出力する。制御手段７１は個々の文字に対し、文字画像と認識結果候補文字を例えば４文字ずつ、検索データ格納部７７に保存する。
【０００９】
次に検索方法について説明する。図３１は検索データ格納部７７の一部である。いま、検索のための入力キーワードを「内部処理統合型」とした場合の文字認識結果と入力キーワードの照合部分を矢印で示す。検索手段７５は、４位までの候補文字全てと照合する。
いま、数式（１）でｍがある閾値、例えば６０（％）以上の場合にこれを検索結果候補とする。この場合、図３１では入力キーワードの文字数が７文字に対し６文字と照合しているので、
ｍ＝６／７＊１００ ＝ ８５．７（％）
となり、検索結果候補となる。
【００１０】
【発明が解決しようとする課題】
従来技術１の場合、文字切り出し候補点の決定は黒画素の連結成分の切れ目とするので、例えば図２０の「／Ｗ」のように隣り合う文字が接触して連続する場合、１文字としての文字切り出しを行うことができず、結果としてその文字が誤認識となり、検索漏れとなってしまう問題点があった。また、文字切り出しが成功した場合でも文字認識において正しい結果が出力できなかった場合には上記と同様に検索漏れが発生する。
【００１１】
また、従来技術２においては、入力キーワードと照合する文字の不一致となる部分がどのような文字であっても、一致する部分が共通であると同一の一致度として計算される問題点があった。これにより、例えば、入力キーワードが「日本人」に対し、文字列が「日本入」「日本語」「日本国」「日本の」「日本は」などはどれもｍ＝２／３＊１００＝６７％（数式（１）より）で同一の一致度となり、検索結果として出力し表示する。
【００１２】
ここで、「日本入」の場合は「入」が誤認識しており、実際は「日本人」である場合、上記の「日本語」「日本国」「日本の」「日本は」等と一致度が等しいために、一致度の高い順に表示した場合、「日本入」をこれらの中に埋もれて表示してしまう。ユーザは表示手段４が表示したこのような検索ノイズの中から更に希望する結果を探す必要があり、この不一致を許可する閾値が小さいほど検索ノイズも大量に出力されるためにユーザが本当に検索したい文書が検索ノイズに埋もれ、結果としてユーザが使いづらいという問題点があった。また、閾値を大きくすると検索漏れが大きくなるといった問題点があった。
本発明はこれらの課題を解決するためになされたものである。
【００１３】
請求項１の文書ファイリング装置は、文書画像が入力される入力手段と、予め各文字の標準パターンが格納された認識辞書と、前記入力手段により入力された文書画像から文字を切り出し、前記認識辞書を参照して切り出された文字を認識し文字コードを作成する文字認識手段と、前記文字認識手段が認識した文字毎に特徴を作成する特徴作成手段と、前記文字認識手段が作成した文字コードと前記特徴作成手段が作成した特徴を保存する検索データ格納部と、予め前記標準パターンの特徴を保持する特徴辞書と、検索時入力された検索用の入力キーワード各文字の特徴を前記特徴辞書から取得する検索特徴作成手段と、前記入力キーワードと前記検索データ格納部内のデータとを照合する際に、前記入力キーワードと前記検索データ格納部の文字コードが一致している部分に対しては文字コード同士の距離を計算し、文字コードが一致していない部分においては前記検索データ格納部内の該文字の特徴と前記特徴辞書内の特徴を照合してその距離を計算し前記文字コードの距離と前記特徴の距離をもとに検索結果を決定する検索手段と、この検索手段の検索結果を表示する表示手段とを備える。
【００１４】
請求項２の文書ファイリング装置では、前記特徴作成手段は、前記文字認識手段が文字認識を行う際に文字切り出しを行った各文字矩形において文字の外郭部の垂直、水平、右上がり、右下がりの４方向成分特徴を作成する構成にされる。
【００１６】
請求項３の文書ファイリング装置では、前記検索手段は、前記入力キーワードと前記検索データ格納部との照合において、前記入力キーワードと一致する文字数の割合が所定の値以上の場合に、文字コードが一致していない部分での前記検索データ格納部内の該文字の特徴および前記特徴辞書内の特徴を照合しその一致度を計算する構成にされる。
【００１７】
請求項４の文書ファイリング装置では、前記特徴作成手段は、前記文字認識手段が認識した文字コードを所定の基準を用いて検定し、その個々の文字認識結果が正解文字であると判定した文字に対しては特徴を作成せず前記文字認識手段が出力する文字コードのみを保存し、正解文字と判定できない場合は前記文字認識手段が出力する文字コードと前記特徴作成手段が作成する特徴を保存する構成にされる。
【００１８】
請求項５の文書ファイリング装置では、前記検索手段は、前記検索データ格納部における検索用データが文字コードのみ保持する部分は文字コードの距離を計算し、文字コードと特徴を保持する部分は文字コードと特徴の距離を計算する構成にされる。
【００１９】
請求項６の文書ファイリング装置では、前記文字認識手段は文書が縦書きであるか、横書きであるかを判定しその結果を前記検索データ格納部に保存し、前記検索特徴作成手段は、特徴を照合する入力キーワードと前記検索データ格納部の文字列の文字数が異なる場合は、検索データ格納部内のデータが縦書きであるか、横書きであるかの情報をもとに特徴を所定の基準にしたがって再作成する構成にされる。
【００２０】
請求項７の文書ファイリング装置では、前記検索手段は、入力キーワードと検索データ格納部の文字列の文字コードが一致していない部分の文字数が異なる場合は、動的計画法によって入力キーワードと検索データ格納部内の該当文字の特徴同士の照合を行う構成にされる。
【００２１】
請求項８の文書ファイリング装置では、前記文字認識手段は文書が縦書きであるか、横書きであるかを判定しその結果を前記検索データ格納部に保存し、前記特徴作成手段は、縦書きと横書きに対応する夫々の特徴作成方法を備え、前記文字認識手段が縦書きであるか、横書きであるかを判定した結果により、対応する特徴作成方法を用いて特徴作成する構成にされる。
【００２２】
請求項９の文書ファイリング装置では、前記特徴作成手段は、複数の異なる特徴作成方法を備え、入力キーワードの文字の種類により、夫々対応した特徴作成方法を選択する構成にされる。
【００２３】
請求項１０の文書ファイリング装置では、前記特徴作成手段は、入力キーワードが英字または記号の場合、入力キーワードを構成する隣り合う文字の特徴同士を一部重ねあわせて統合特徴を作成する構成にされる。
【００２４】
請求項１１の文書ファイリング装置では、前記文字認識手段は、文字認識の際に文字切り出しを行い、各文字毎の矩形情報を前記検索データ格納部へ保存し、前記検索特徴作成手段が出力した入力キーワードの各文字の矩形形状と、前記検索データ格納部から取得した文字矩形の情報および入力キーワードの文字のうち照合対象とする文字数から、特徴を照合するかしないかを判定し、特徴照合しないと判定した場合は前記検索データ格納部の該文字列と前記入力キーワードが一致していないとみなす特徴照合判定手段を備える。
【００２５】
請求項１２の文書ファイリング方法では、文書画像を入力する入力ステップと、前記入力ステップにより入力された文書画像から文字を切り出し、予め各文字の標準パターンが格納された認識辞書を参照して切り出された文字を認識し文字コードを作成する文字認識ステップと、前記文字認識ステップが認識した文字毎に特徴を作成する特徴作成ステップと、前記文字認識ステップが作成した文字コードと前記特徴作成ステップが作成した特徴を検索データ格納部に保存する検索データステップと、検索時入力された検索用の入力キーワード各文字の特徴を予め標準パターンの特徴が保持された特徴辞書から取得する検索特徴作成ステップと、前記入力キーワードと前記検索データ格納部内のデータとを照合する際に、前記入力キーワードと前記検索データ格納部の文字コードが一致している部分に対しては文字コード同士の距離を計算し、文字コードが一致していない部分においては前記検索データ格納部内の該文字の特徴と前記特徴辞書内の特徴を照合してその距離を計算し前記文字コードの距離と前記特徴の距離をもとに検索結果を決定する検索ステップと、この検索ステップの検索結果を表示する表示ステップとを備える。
【００２６】
【発明の実施の形態】
実施の形態１
以下本発明の実施の形態１について説明する。まず、はじめに文書の登録方法について、図１〜図７を用いて説明する。
図１は本発明の実施の形態１におけるブロック図である。図１において、５は文書登録時にスキャナを使用して紙文書の画像を光電変換により電子化、或いは予め光電変換された画像をネットワーク経由等で入力する入力手段、９は文字認識に使用する認識辞書、２は入力手段５により与えられた画像から文字を抽出して、縦書き、横書きの判定をし、さらに認識辞書９を参照して抽出した文字を認識し、文字コードを出力する文字認識手段、３は文字認識手段２が文字認識を行った文字矩形毎に特徴を作成する特徴作成手段である。
【００２７】
１０は文字認識手段２および特徴作成手段３が作成した文字コード、特徴及び縦書き、横書きの種類を保存する検索データ格納部、４は検索結果、文書画像を表示する表示手段、６は検索時においてユーザが入力した入力キーワードに相当する画像内の文字部分を検索データ格納部１０から検索する検索手段、７は入力キーワードと検索データ格納部１０内の文字データとの特徴の照合を行うか否かを判定する特徴照合判定手段、１１は予め標準パターンの特徴を保持する特徴辞書、８は入力した入力キーワードの文字毎の特徴を特徴辞書１１から読み出し、読み出した文字毎の特徴の加工を行う検索特徴作成手段、１２は前記入力手段１からの電子化された文書画像を格納する文書画像格納手段、１は前記各手段を制御して文書の登録、検索処理を管理する制御手段である。
【００２８】
図２（ａ）は文書画像の例であり、図２（ｂ）は図２（ａ）の文書画像を文字認識した結果である。図３は文字認識処理における各文字毎に切り出した結果から特徴を作成する場合の領域分割方法の説明図、図４は方向成分特徴を作成するために用いるマスクの例、図５は検索データ格納部１０に格納するデータの例、図６は文書登録処理のフローチャート、図７は検索用データ作成（図６に示すステップＳ１０２の処理）のフローチャートである。
はじめに文書の登録方法について図６、図７のフローチャートをもとに説明する。
【００２９】
図６のステップＳ１０１で、入力手段５により文書画像を入力する。入力手段５を実現するには、スキャナを使用して紙文書を光電変換により電子化してもよいし、予め光電変換された画像をネットワーク経由等で入力してもよい。入力する文書画像の例を図２（ａ）に示す。入力手段５によって入力された画像は、ここでは各画素値が１（黒）か０（白）の値をとる２値画像とする。次に、ステップＳ１０２で、検索データ格納部１０に格納するデータの作成を行う。ここでは制御手段１は、入力画像を文字認識手段２へ渡し、文字認識を起動する。そしてステップＳ１０３へ進み、ステップＳ１０２で作成した文字コード、特徴及び縦書き、横書きの種類を検索データ格納部１０に保存する。
【００３０】
次に図７に示す処理の流れに従い文字認識手段２と特徴作成手段３とによるステップＳ１０２における検索データ作成の詳細について述べる。はじめに、図７のステップＳ２０１で、文字認識手段２は、入力画像から文字領域の抽出を行う。文字領域の抽出方法は、例えば文書画像内の黒画素が連続する領域を連結し、黒画素の連結成分の幅、高さの値から文字列であるか否かを決定し、隣接する文字列同士をまとめ一領域とする。
【００３１】
次に図７のステップＳ２０２で文字認識手段２は各領域毎に縦書き、横書きの判定をする。判定方法は公知の方法を用い、例えば領域内の文字列の並びから、各文字列の幅、高さを求め、縦長の文字列が多く存在する領域を縦書き、横長の文字列が多く存在する領域を横書きと判定する。次にステップＳ２０３で文字認識手段２は文字認識を実行する。ここでは、公知技術を用いて文字切り出し、文字認識を行い、１文字画像あたり１文字または複数の候補文字を作成する。
【００３２】
文字切り出し方法は、例えばＳ２０１で決定した領域の各文字列画像を縦方向と横方向から走査し、黒画素数の周辺分布を求め、黒画素数の少ない部分を切り出し候補点として１文字毎の画像に分割する。文字認識処理は、文字切り出しによって一文字単位に分割した画像に対し、例えば８×８次元の各小領域の黒画素数をカウントし、標準パターンに対して各次元毎に差分の絶対値の和を求め、差分の絶対値の和の小さい標準パターンを有する文字を抽出し、認識結果として出力する。
【００３３】
次に、図７のステップＳ２０４に進み、特徴作成手段３は各文字から特徴を作成する。ここでは、図３に示すように個々の文字切り出し後の矩形を仮想的に８分割し、各領域毎に文字画像のエッジの４方向成分特徴（水平、垂直、右上がり、右下がり特徴）を抽出する。４方向成分特徴の作成方法は、図３に示すような８分割された各領域内で図４で示すマスクを走査し、画像とマスクのビットＡＮＤをとる。その結果がマスクと同一の場合にそのマスクの方向成分を１増加させる。そのようにして特徴を作成した例を図５に示す。図５では縦書き、横書きの判定・認識をして作成した文字コード、および各文字の特徴を示している。図５で「水平」は水平成分特徴、「垂直」は垂直成分特徴、「右上」は右上がり成分特徴、「右下」は右下がり方向成分特徴である。
【００３４】
次に上述のように図６のステップＳ１０３へ進み、制御手段１は図５に示す文字認識手段２および特徴作成手段３が作成した文字コード、特徴及び縦書き、横書きの種類を検索データ格納部１０に保存する。
【００３５】
次に図５、図８〜図１０を用いて検索時の動作を説明する。
図８は検索のフローチャートであり、図９、図１０は検索の動作を説明する図である。まず、図８のフローチャートを基に検索の動作を説明する。はじめに図８のステップＳ３０１で検索手段６が、ユーザーの入力した入力キーワードと検索データ格納部１０内の文字コードデータとの照合を行う。検索手段６は検索データ格納部１０内を探索し、入力キーワードと一致する文字が存在した場合、その文字の格納位置を示す数字をバッファに保持する。
【００３６】
図９において、２１は検索データ内の文字の位置を示す番号である。はじめに図５のデータ番号１と照合する。図９で２０は入力キーワードと検索データの一致した文字の文字番号を示す。いま、データ番号１の検索データと入力キーワードとの照合において、入力キーワードの各文字に対して文字コードが一致した文字番号２０がバッファ（図示せず）に格納される。入力キーワードの文字「文」に対しては文字番号１が、「認」に対しては３が、「識」に対しては４が対応付けられる。図１０は図５のデータ番号２と照合したものであり、図１０の２４はデータ番号２の検索データと入力キーワードが一致した文字の文字番号を示す。
【００３７】
次に、ステップＳ３０２で検索手段６は検索候補エリアを算出する。ここでは、入力キーワードと一致した文字の文字番号を検定して候補エリアとするか否かを決定する。決定するための条件は、入力キーワードを構成する全文字の中で、検索データと一致する文字が占める割合が３０％以上であり、文字番号が入力キーワードの出現順に並んでおり、一致した文字番号が近接する場合に候補エリアとする。図９の例は２０が、図１０の例では２４が候補エリアとなる。
【００３８】
次にステップＳ３０３に進み、検索手段６は検索データと入力キーワードとの特徴の照合を行うか否かを判定する。図９の２０の結果は上記の条件を満たしており、一致していない入力キーワード文字「字」と検索データ「宇」の特徴を照合する。入力キーワード「字」に対する特徴は検索特徴作成手段８が特徴辞書１１から読み出し、文字「字」の特徴をバッファ（図示せず）にロードする。また、「宇」の検索用特徴に対しては検索手段６が同じくバッファ（図示せず）にロードする。ロードしたバッファ（図示せず）の例を図９の２２および２３に示す。
【００３９】
ステップＳ３０３での判定結果が検索データと入力キーワードとの特徴の照合を行うであると次にステップＳ３０４に進み、検索手段６は検索データと入力キーワードとの特徴間の距離を算出する。
特徴間の距離の計算方法は
【００４０】
【数１】
【００４１】
とする。ただし、Ｆｄｉｃは辞書の特徴値、Ｆｉｍｇは検索データの特徴値、Ｉは方向成分数、Ｊは各方向成分毎の特徴数であり、ここではＩ＝４、Ｊ＝８である。また、１≦ｉ≦Ｉ、１≦ｊ≦Ｊである。
いま、図９の例でＤを計算すると、Ｄ１［ｄｉｃ，ｉｍｇ］ ＝ １２となる。
また、図１０に示す例ではＤ２［ｄｉｃ，ｉｍｇ］ ＝ ４９となる。
【００４２】
次にステップＳ３０５に進み、検索手段６は入力キーワードと検索データの全体の距離によってキーワード候補とするかどうかを決定する。いま、入力キーワード内の文字と検索データの文字コードデータが一致した文字間の距離を０とし、全体の距離の計算を
Ｄｉｓｔ＝ ΣＤ／入力キーワード文字数 ・・・ 数式（３）
で計算し、距離がある所定値Ａ以下の場合は候補として出力すると、図９の例ではＤｉｓｔ１＝１２／４＝３となり、図１０の例ではＤｉｓｔ２＝４９／４＝１２となる。例えばＡ＝１０で棄却する場合では図１０の例が候補から棄却される。また、閾値で棄却しなくとも、入力キーワードと形状の異なる「文の認識」が、入力キーワードに近い「文宇認識」に比べ大きな距離となり、距離の小さい順に候補をソーティングして表示する場合、入力キーワードに近い「文宇認識」が「文の認識」に比べ正しい候補により近い側に表示されるためユーザは候補の中から正解を見つける手間が軽減され使い勝手が向上する。
なお、ステップＳ３０３での判定結果が検索データと入力キーワードとの特徴の照合を行わないであると、ステップＳ３０４およびステップＳ３０５を飛ばし終了になる。
【００４３】
実施の形態１では、作成する特徴を４方向成分特徴としたが、この特徴に限らず、他の特徴、例えばメッシュ特徴でもヒストグラム特徴でもよい。また、特徴作成手段３が作成する特徴は文字認識手段２が文字認識に使用した特徴を流用しても良い。
また、特徴の距離の計算方法および入力キーワード全体との距離計算方法はこれに限ったものではない。更に実施の形態１でのＡの値もこの限りではない。
【００４４】
また、実施の形態１では全ての認識結果に対して特徴を作成し保存するが、これに限らず、例えば文字認識の評価値が非常に高く認識結果が確実に正解であると判定できる場合はその文字コードの特徴値の保存を省略することによって検索データ保存のための容量を削減することができる。例えば、図１１に示すフローチャートを用いて文書登録を実行し、ステップＳ２０５で文字認識の類似度が一定値以下の文字に対して特徴作成手段３が特徴を作成する。その結果の例を図１２に示す。図１２では「宇」「の」「識」の文字について特徴を作成している。検索時において、検索手段６は検索データ格納部１０内で特徴が存在しない文字コードは数式（４）で文字コードのみの照合を行い、特徴が存在する文字は、数式（４）と数式（２）を用いて計算する。
【００４５】
【数２】
【００４６】
候補エリア全体での距離を
Ｄｉｓｔ＝ （ΣＤ ＋ ΣＣ）／入力キーワード文字数 ・・・ 数式（３）■
によって計算し、入力キーワードと一致するかしないかを判定する。
【００４７】
以上説明したように、この実施の形態１では、誤認識により文字認識結果が一致しない場合でも、一致していない文字の特徴を比較し、これを用いて検索を行うことによって正しい候補と誤った候補を類似度によって選別することができる。
【００４８】
実施の形態２
次に、文字切り出しエラー等で入力キーワードと検索データの文字数が異なる場合の検索方法について図１３〜図１７を用いて説明する。
今、図１３（ａ）に示すように文字認識手段２の文字切り出しエラーにより「Ｊ」と「Ｅ」が誤って１文字として切出され、図１３（ｂ）に示す検索データが出力された場合に入力キーワード「ＲＥＪＥＣＴ」を用いて検索する例について説明する。
【００４９】
はじめに図８のステップＳ３０１で、入力キーワードと検索用データの文字コードによる照合を行う。ここでは、入力キーワードと検索データの「Ｒ」「Ｅ」「Ｃ」「Ｔ」が一致する。ステップＳ３０２で候補エリアを算出する。ここでは「Ｒ」「Ｅ」「Ｃ」「Ｔ」の文字並びも順番も正しいので、検索候補エリアとする。次にステップＳ３０３で特徴間の照合を行うか否か判定する。ここでは、一致した文字数が入力入力キーワードの４／６＝６６．７％であり、３０％以上であるので、特徴の照合を行う。
【００５０】
検索データの「作」と入力キーワードの「ＪＥ」との照合を行う例について説明する。検索特徴作成手段８は「Ｊ」「Ｅ」の特徴を特徴辞書１１からバッファ（図示せず）に読み出す。図１４に「Ｊ」「Ｅ」の特徴を示す。図１４で［ ］に囲まれる部分が同一方向成分特徴であり、図１７に示す領域番号の順に並べてある。次に、「作」の特徴と「ＪＥ」の特徴の照合を行うが、文字数が異なるために、特徴数も異なる。このため、実施の形態１のような差分をとる方法は使用できない。この場合、一般に良く知られている動的計画法（ＤＰマッチング）によって照合を行う。ここでは検索データが横書きであることから、図１８の１５，および１６のように上下２つの領域を統合して、動的計画法で矢印へ向かう照合を行う。図１８の１５は入力キーワードの特徴または検索用データの特徴で多い方（この例の場合は入力キーワード「ＪＥ」の特徴）であり、１６はこの例の場合は検索データ「作」の特徴である。
【００５１】
検索特徴作成手段８は「Ｊ」と「Ｅ」の特徴を各成分毎に横方向に連結して作成する。ここでは水平、垂直、右上、右下の各方向成分を、領域「１」「２」「３」「４」と領域「５」「６」「７」「８」に分け、「Ｊ」「Ｅ」の各方向成分を連結する。図１５で水平（上）とは、図１７の領域「１」「２」「３」「４」の水平成分を「Ｊ」「Ｅ」の順に特徴辞書を連結して並べたものであり、水平（下）とは、図１７の領域「５」「６」「７」「８」の水平成分を「Ｊ」「Ｅ」の順に特徴辞書を連結して並べたものである。
図１６は図１３の検索データ「作」について、図１５と同様に検索特徴作成手段８が並べ替えたものである。
いま、ある成分特徴間の距離を
【００５２】
【数３】
【００５３】
とする。ここで、ＦＤは入力キーワード内の文字特徴、ＦＩは検索データ内の文字特徴、ｎ＝１は図１５、図１６で水平（上）成分を表し、ｎ＝２は水平（下）、ｎ＝３は垂直（上）、ｎ＝４は垂直（下）、ｎ＝５は右上（上）、ｎ＝６は右上（下）、ｎ＝７は右下（上）、ｎ＝８は右下（下）の各成分を示す。また、ここでは１≦ｉ≦Ｉであり、Ｉ＝８、また１≦ｊ≦ＪでＪ＝４である。 例えば、ｉ＝２、ｊ＝１のとき、ＦＤｎｉは図１５の点線で示す部分１３即ち、図１７の「２」「６」で示す部分の領域に含まれる文字特徴を示し、Ｆｉｎｊは図１６の点線で示す部分１４即ち、図１７の「１」「５」で示す部分の領域の文字特徴との距離計算を数式（５）を用いて行う。
このとき
【００５４】
【数４】
【００５５】
を計算し、
ｄｉｓｔ［ｄｉｃ，ｉｍｇ］ ＝ Ｄｄｐ（Ｉ，Ｊ）／Ｉ ・・・ 数式（７）
として各特徴間の距離ｄｉｓｔを計算する。
ここで、図１５、図１６の例で実際に計算するとｄｉｓｔ［ｄｉｃ，ｉｍｇ］ ＝ ２５／８ ＝ ３
となる。
次にステップＳ３０５で入力キーワードと検索データ内の候補領域全体の距離を計算する。数式（３）から
Ｄｉｓｔ ＝ ３／６ ＝ ０．５となる。
このように、特徴数が異なる場合は、特徴を再作成し、ＤＰマッチングを用いることにより、検索可能となる。
【００５６】
この例では、検索データが横書きであることから、縦の２領域を統合して複数文字の特徴を横に連結したが、検索データが縦書きの場合は、図１９の１７と１８のように横の４領域を統合して、動的計画法により矢印（縦）に向かって照合する。検索特徴作成手段８は特徴を縦に連結する。
特徴間距離の計算方法は
【００５７】
【数５】
【００５８】
および数式（６）、数式（７）、数式（３）を用いる。数式（５）■でｎが１６であるのは、４方向成分を４領域について比較するためである。
【００５９】
実施の形態２では、入力キーワードと検索データの特徴数が異なる場合、動的計画法により、照合を行っているが、これに限らず、例えば多い方の特徴数を少ない方の特徴数に一致させ、実施の形態１のように照合を行うことも可能である。
【００６０】
実施の形態３
次に、検索データ格納部１０内の文字が途中で分割されている場合でも文字の特徴を再作成することによって検索可能となる例を図８、図２０〜図２４を用いて説明する。
図２０の文字画像に対し、文字認識手段２が図２１のように文字認識し、同様に特徴作成手段３によって図２１のように特徴を作成する。ここで、図２１に示す検索データから入力キーワード「Ｓ／Ｗ」を検索する場合について説明する。
【００６１】
図８のステップＳ３０１で入力キーワードと検索データの文字コードの照合を行う。いま、図２１の文字コードと入力キーワード「Ｓ／Ｗ」の文字コードが一致するのは「Ｓ」のみである。次に図８のステップＳ３０２で候補エリアを算出し、ステップＳ３０３で検索手段６は特徴を照合するか否かを決定する。いま、一致している文字の入力キーワード全体に占める割合は１／３＝３３．３％であるので照合候補とする。次にステップＳ３０４で一致していない文字コードの特徴の照合を行う。図２１の検索データ「ノＮ」の特徴と特徴辞書１１からバッファに取り入れた「／Ｗ」の特徴を実施の形態１と同様に照合し、Ｄ（ｄｉｃ，ｉｍｇ） ＝ ２３となる。ここで、入力キーワードが英字の場合は、文字が接触することが多いので、それに対応して特徴を再作成する。
【００６２】
再作成の方法を図２２および図２３を用いて説明する。検索特徴作成手段８は、入力キーワードが英字の場合は、文字の接触に対応して特徴を再作成する。この時、図２２に示す文字の次の文字が英字の場合は、接触に対応した特徴の再作成をする。ここでは、入力キーワードに「／」が含まれるので、「／」および「Ｗ」の特徴を再作成する。特徴辞書１１内に標準パターンを保持しておき、標準パターンを次のように仮想的に分割することにより作成する。図２３の「Ｗ」に実線で示す部分の左から１／４の領域（矢印３０から矢印３１で挟まれる領域３６）を図２３「／」で示す特徴の右１／４（図２３の３７）に重ねあわせる。その後、「Ｗ」の残ったイメージ（矢印３１と矢印３２に挟まれる領域）を３３〜３５で示す点線で４等分し、各方向成分特徴を再作成する。再作成した特徴の結果を図２４に示す。次に再び再作成した特徴と検索データの特徴との照合を行う。即ち図２１の特徴と図２４の特徴を照合してＤ＝１４を得る。
【００６３】
特徴の再作成前の距離に比べ値が小さくなっており、より画像の形状に近づいたことがわかる。これによって英字の入力キーワードでの検索データとの距離が小さくなり、検索漏れが起きにくくなる。
【００６４】
本実施の形態では、標準パターンを保持し、それから再計算して特徴を作成する例について述べたが、これに限らず、特徴辞書１１の作成時に各文字の標準パターンの特徴を作成するための領域を細分して保存し、検索特徴作成手段８が特徴辞書１１から照合する文字の特徴をバッファにロードする時に特徴の隣接する各成分を統合することによって特徴を再作成することも可能である。例えば、横書き対応として横方向に４等分ではなく１６等分し、各領域内の方向成分特徴を作成した標準パターンの特徴を特徴辞書１１内に保存する。検索特徴作成手段８が特徴を作成する時は、英字、記号以外は隣接する４領域を統合して特徴を再作成し、英字、記号は領域の左１／４を左隣の文字と統合させ、残り３／４を４分割、すなわち１２／１６の領域を４等分するので３／１６（隣接する３特徴）ずつ特徴を統合することで実施の形態３に示す特徴作成が作成可能となる。
【００６５】
また、縦書きの文章で英字はほとんど採用されないので、特徴辞書１１の作成時に縦書きと横書きで特徴の精度を変えて、横書きはより細かく分割して特徴を作成し、縦書きは粗い特徴によって作成することも可能である。同様にこれにより特徴辞書１１の容量を削減することが可能となる。
【００６６】
実施の形態４
特徴の照合を行う前に正解候補となり得るかを判定することによって処理時間の短縮および検索ノイズを抑制する方法を図２５、図２６を用いて説明する。
いま、図２５に示す「ＲＥＡＣＴ」の検索データと入力キーワード「ＲＥＳＰＥＣＴ」との照合について説明する。
図２５に記述するｓｘ、ｓｙ、ｗ、ｈとは、ｓｘ、ｓｙが検索データの各文字矩形の左上点のｘ座標およびｙ座標、ｗが矩形の幅、ｈが矩形の高さである。
【００６７】
はじめに図８のＳ３０１、Ｓ３０２で各文字コードの照合を行い、一致している部分を図示していないバッファに作成する。ここでは「Ｒ」「Ｅ」「Ｃ」「Ｔ」と一致する。次に図８のＳ３０３で検索手段６は特徴の照合を行うか否かを判定する。入力キーワードと４／７＝５７％一致し、順序関係、隣接関係を満たすので、候補領域とする。検索データの「Ａ」および入力キーワードの「ＳＰＥ」が一致しないので、特徴照合判定手段７は各文字の特徴の照合を行うか否かの判定をする。ここで、特徴照合判定手段７は図２５に示すｗ、ｈを読み込み、「Ａ」の文字矩形形状を求める。ここでは、ｈ／ｗ＝１．０である。
【００６８】
また、検索特徴作成手段８は入力キーワード「Ｓ」「Ｐ」「Ｅ」の各文字に対して図２６の表から矩形情報を推定する。ここでは「Ｓ」「Ｐ」「Ｅ」の各文字ともその他４３に属する。そこで特徴照合判定手段７は「Ｓ」「Ｐ」「Ｅ」を連結した場合の矩形形状を計算する。いま、検索データの文字高さが６０なので「Ｓ」「Ｐ」「Ｅ」を連結した矩形形状は、６０×０．７×３ ＝ １２６から６０×１．２×３＝２１６の間となる。検索データ「Ａ」の文字幅＝６０であり、「ＳＰＥ」の連結幅の取り得る値は１２６〜２１６であるので例えば入力キーワードと検索データの特徴を照合する文字の幅の差が一方の２倍以上の場合は特徴の照合を行わずに候補から外すという条件を追加すると、「Ａ」と「ＳＰＥ」の照合は行わずに候補から外すことができる。
【００６９】
このように照合する特徴の幅に一定の差がある場合は特徴を照合する対象とせずに一致していないとみなすことにより、明らかに一致しない照合を回避することが可能である。
この場合検索手段６はＳ３０３で特徴の照合を行わず、同様にＳ３０４を実行せず、Ｓ３０５で候補としない。
【００７０】
実施の形態４では特徴の矩形幅から入力キーワードと検索データの照合を行うか行わないか決定したが、これに限らず、例えば入力キーワードと検索データ内の特徴を照合する文字の文字数の差が２以上になると照合を行わないなどとしてもよい。
【００７１】
実施の形態４では特徴同士の照合を行う際に入力キーワードと文字認識結果の文字矩形を用いて特徴の照合を行うか否かを判定することにより、無駄な照合を省くことが可能となり、その結果処理時間の短縮、検索精度の向上を行える。
【００７２】
【発明の効果】
以上説明したように、本発明によると、請求項１と請求項２及び請求項１２では、文字コードと特徴を保存しておき、検索時には文字コードと特徴とから検索を行うことにより、文字認識エラーが生じた部分の検索において、適切な距離の付与が可能となる。
【００７３】
また、請求項３では、文字コードが一致する割合が一定値以上の領域で特徴の照合を行うことにより、検索ノイズの増加を抑えることが可能となり、処理時間も短縮される。
【００７４】
請求項４では、前記文字認識手段が認識した文字認識結果が正解文字であるときは特徴を作成せず文字コードのみを保存し、正解文字と判定できない場合は文字コードと前記特徴作成手段が作成する特徴を保存する構成にされているので検索データ格納部で格納する容量を削減することが可能となる。
【００７５】
請求項５では、検索用データが文字コードのみ保持する部分は文字コードのみによる距離から一致を判定し、文字コードと特徴を保持する部分は文字コードと特徴から一致度を計算する構成にされているので、検索ノイズを減少することが可能となる。
【００７６】
請求項６および請求項７では、入力キーワードと検索データ格納部の文字列の文字数が異なる場合、特徴を所定の基準にしたがって再作成する構成にされているので、文字切り出しエラーによる誤認識データも適切な距離を付与した検索が可能となる。
【００７７】
請求項８では、縦書きか、横書きかの判定結果により、対応する特徴作成方法を用いて特徴を作成する構成にされているので、縦書き、横書きの場合のいずれにおいても文字切り出しエラーに対処した検索が可能である。
【００７８】
請求項９では、入力キーワードの文字の種類により、夫々対応した特徴作成方法を選択する構成にされ、請求項１１では、入力キーワードが英字または記号の場合、入力キーワードを構成する隣り合う文字の特徴同士を一部重ねあわせて統合特徴を作成する構成にされているので、英字にありがちな隣り合う文字の接触による誤認識にも対応して検索可能となる。
【００７９】
請求項１１では、矩形情報および文字数情報を用いて明らかに異なる文字列同士の照合を回避する構成にされているので、検索ノイズの減少、処理時間の短縮が可能となる。
【００８０】
【図面の簡単な説明】
【図１】本発明の実施の形態１を示すブロック図。
【図２】実施の形態１での登録用画像の説明図。
【図３】文字切り出し結果と特徴作成領域の説明図。
【図４】４方向成分特徴を作成するマスクの説明図。
【図５】検索用データの内容の説明図。
【図６】登録処理のフローチャート。
【図７】文字認識、特徴作成のフローチャート。
【図８】検索のフローチャート。
【図９】実施の形態１での検索動作を説明する図。
【図１０】実施の形態１での検索動作を説明する図。
【図１１】登録処理の変形のフローチャート。
【図１２】変形登録処理による検索データの説明図。
【図１３】実施の形態２で用いる検索データの説明図。
【図１４】「Ｊ」「Ｅ」の特徴辞書の説明図。
【図１５】「Ｊ」「Ｅ」の特徴を再作成した例を示す説明図。
【図１６】「作」の特徴を再作成した例を示す説明図。
【図１７】領域番号を示す説明図。
【図１８】実施の形態２で横書きの場合の照合方法を示す説明図。
【図１９】実施の形態２で縦書きの場合の照合方法を示す説明図。
【図２０】実施の形態３での登録文書の例を示す説明図。
【図２１】実施の形態３での検索データの内容を示す説明図。
【図２２】特徴を再作成する文字を示す説明図。
【図２３】特徴再作成の方法を示す説明図。
【図２４】再作成した特徴辞書の説明図。
【図２５】実施の形態４での検索データの内容を示す説明図。
【図２６】文字コード−形状判定テーブルを示す説明図。
【図２７】従来技術１のブロック図。
【図２８】従来技術１で用いる文書画像を示す説明図。
【図２９】従来技術１の文字切り出し候補点および文字保存の例を示す説明図。
【図３０】従来技術２のブロック図。
【図３１】従来技術２の画像・認識結果データベースを示す説明図。
【符号の説明】
１ 制御手段、 ２ 文字認識手段、 ３ 特徴作成手段、 ４ 表示手段
５ 入力手段、 ６ 検索手段、 ７ 特徴照合判定手段、
８ 検索特徴作成手段、 ９ 認識辞書、１０ 検索データ格納部、
１１ 特徴辞書、 １２ 文書画像格納手段。
【発明の属する技術分野】
この発明は、例えば文書や図面等の画像を電子的にファイリングするシステムに関し、特に文書や図面に記載された文字を認識し、画像と共に蓄積した文書・図面を任意の入力キーワードで全文検索する文書ファイリング装置及び文書ファイリング方法に関するものである。
【０００２】
【従来の技術】
従来、文書画像を電子的に保存し、検索および表示するためには、文書画像に対して人手でキーワード情報を付加して保存する方法が用いられている。また人手によるキーワード入力の手間を省くために文字認識機能を有するシステムで文書画像中の文字を認識し、関連するキーワードまたは全文を文書画像とともに保存する方法が用いられている。後者では、文字認識の性能が不完全であるために、誤認識が生じる。それ故検索のために入力したキーワードに対し、入力キーワードと異なる文字列が検索結果として表示される「検索ノイズ」が発生する。また、文書画像中の文字が入力キーワードと同一であるにもかかわらず、文字認識の誤認識のために検索結果として表示されない「検索漏れ」も発生する。
【０００３】
検索精度を向上させるためには、検索ノイズ及び検索漏れを極力少なくする必要がある。
検索時の検索ノイズ、検索漏れを減少させる方法には、「文字認識結果の候補を複数個保持する方法」および「検索方法をあいまいにして文字認識性能の不完全性を補助する方法」がある。
「文字認識結果の候補を複数個保持する方法」として、文字認識結果をラティス構造で保持し、ラティス構造の文字認識結果を探索して文字コードを検索することにより正解文字を検索する方法がある（「全文検索可能な文書画像データベースシステムの開発」（第８回ディジタル図書館ワークショップ（図書館情報大学、１９９６年１０月２３日））。これを従来技術１とする。
【０００４】
従来技術１の説明を図２７〜図２９を用いて行う。図２７で５は文書画像を入力する入力手段、５２は文字認識手段、５５は検索手段、５６は認識辞書、５１は文字認識の実行を制御したり文書画像の入力および入力キーワードを用いた検索を制御する制御手段、４は入力キーワードでの検索結果を表示する表示手段、５７は検索データ格納部である。図２８は文書画像の例であり、図２９（ａ）は図２８の文字画像であり、６０〜６５は文字切り出し候補点を示す。図２９（ｂ）は図２９（ａ）の文字切り出し候補点の組合わせから文字認識を行った結果を示す。
【０００５】
従来技術１では、文字認識手段５２が文字認識の際、黒画素連結成分で挟まれる位置を文字切り出し候補点とし（図２９（ａ）の候補点６０〜６５）、各文字切り出し候補点間の画像に対して文字認識を行い、認識結果候補文字の類似度から文字を保存するか否かを判定し、文字候補を保持または棄却する。図２９（ｂ）が文字認識手段５２が作成した検索用データの例である。例えば、図２９（ａ）の文字切り出し候補点６１および６２で挟まれる画像に対する文字認識結果は、図２９（ｂ）の「す」となる。検索手段５５は図２９（ｂ）に示すラティス構造の検索データをたどりながら文字列を検索し、入力キーワードと一致するか否かを判定する。従来技術１は検索データをラティス構造とし、文字切り出しエラーに対応して正解文字数をより多く含ませ実質的な認識率を向上させることで、検索性能を向上させようとするものである。
【０００６】
「検索方法をあいまいにして文字認識性能の不完全性を補助する方法」としては、例えば特開平８−２７２８１３に記載されるように、入力キーワードと認識結果との一致度の計算方法を、
ｍ＝一致した文字数／入力キーワードの文字数 ＊１００（％） ・・・ 数式（１）
で算出し、認識結果候補文字中に全ての検索文字を含まなくとも検索結果として出力するものがある。
【０００７】
以下に従来技術２として特開平８−２７２８１３の説明をする。
図３０は特開平８−２７２８１３の構成を示す図である。図３０で５は文書画像を入力する入力手段、７２は文字を認識する文字認識手段、７６は文字認識の際に使用する各文字の標準パターンを格納した認識辞書、７５は検索手段、７１は文字認識の実行を制御したり文書画像の入力および入力キーワードを用いた検索を制御する制御手段、７７は画像および認識結果データを格納する検索データ格納部、４は検索結果を表示する表示手段である。
【０００８】
はじめにデータの格納方法について説明する。文字認識手段７２は入力手段５から入力された文書画像内の文字の切り出し、認識を行い、文字画像１文字に対して４文字までの認識結果候補文字を制御手段７１に出力する。制御手段７１は個々の文字に対し、文字画像と認識結果候補文字を例えば４文字ずつ、検索データ格納部７７に保存する。
【０００９】
次に検索方法について説明する。図３１は検索データ格納部７７の一部である。いま、検索のための入力キーワードを「内部処理統合型」とした場合の文字認識結果と入力キーワードの照合部分を矢印で示す。検索手段７５は、４位までの候補文字全てと照合する。
いま、数式（１）でｍがある閾値、例えば６０（％）以上の場合にこれを検索結果候補とする。この場合、図３１では入力キーワードの文字数が７文字に対し６文字と照合しているので、
ｍ＝６／７＊１００ ＝ ８５．７（％）
となり、検索結果候補となる。
【００１０】
【発明が解決しようとする課題】
従来技術１の場合、文字切り出し候補点の決定は黒画素の連結成分の切れ目とするので、例えば図２０の「／Ｗ」のように隣り合う文字が接触して連続する場合、１文字としての文字切り出しを行うことができず、結果としてその文字が誤認識となり、検索漏れとなってしまう問題点があった。また、文字切り出しが成功した場合でも文字認識において正しい結果が出力できなかった場合には上記と同様に検索漏れが発生する。
【００１１】
また、従来技術２においては、入力キーワードと照合する文字の不一致となる部分がどのような文字であっても、一致する部分が共通であると同一の一致度として計算される問題点があった。これにより、例えば、入力キーワードが「日本人」に対し、文字列が「日本入」「日本語」「日本国」「日本の」「日本は」などはどれもｍ＝２／３＊１００＝６７％（数式（１）より）で同一の一致度となり、検索結果として出力し表示する。
【００１２】
ここで、「日本入」の場合は「入」が誤認識しており、実際は「日本人」である場合、上記の「日本語」「日本国」「日本の」「日本は」等と一致度が等しいために、一致度の高い順に表示した場合、「日本入」をこれらの中に埋もれて表示してしまう。ユーザは表示手段４が表示したこのような検索ノイズの中から更に希望する結果を探す必要があり、この不一致を許可する閾値が小さいほど検索ノイズも大量に出力されるためにユーザが本当に検索したい文書が検索ノイズに埋もれ、結果としてユーザが使いづらいという問題点があった。また、閾値を大きくすると検索漏れが大きくなるといった問題点があった。
本発明はこれらの課題を解決するためになされたものである。
【００１３】
請求項１の文書ファイリング装置は、文書画像が入力される入力手段と、予め各文字の標準パターンが格納された認識辞書と、前記入力手段により入力された文書画像から文字を切り出し、前記認識辞書を参照して切り出された文字を認識し文字コードを作成する文字認識手段と、前記文字認識手段が認識した文字毎に特徴を作成する特徴作成手段と、前記文字認識手段が作成した文字コードと前記特徴作成手段が作成した特徴を保存する検索データ格納部と、予め前記標準パターンの特徴を保持する特徴辞書と、検索時入力された検索用の入力キーワード各文字の特徴を前記特徴辞書から取得する検索特徴作成手段と、前記入力キーワードと前記検索データ格納部内のデータとを照合する際に、前記入力キーワードと前記検索データ格納部の文字コードが一致している部分に対しては文字コード同士の距離を計算し、文字コードが一致していない部分においては前記検索データ格納部内の該文字の特徴と前記特徴辞書内の特徴を照合してその距離を計算し前記文字コードの距離と前記特徴の距離をもとに検索結果を決定する検索手段と、この検索手段の検索結果を表示する表示手段とを備える。
【００１４】
請求項２の文書ファイリング装置では、前記特徴作成手段は、前記文字認識手段が文字認識を行う際に文字切り出しを行った各文字矩形において文字の外郭部の垂直、水平、右上がり、右下がりの４方向成分特徴を作成する構成にされる。
【００１６】
請求項３の文書ファイリング装置では、前記検索手段は、前記入力キーワードと前記検索データ格納部との照合において、前記入力キーワードと一致する文字数の割合が所定の値以上の場合に、文字コードが一致していない部分での前記検索データ格納部内の該文字の特徴および前記特徴辞書内の特徴を照合しその一致度を計算する構成にされる。
【００１７】
請求項４の文書ファイリング装置では、前記特徴作成手段は、前記文字認識手段が認識した文字コードを所定の基準を用いて検定し、その個々の文字認識結果が正解文字であると判定した文字に対しては特徴を作成せず前記文字認識手段が出力する文字コードのみを保存し、正解文字と判定できない場合は前記文字認識手段が出力する文字コードと前記特徴作成手段が作成する特徴を保存する構成にされる。
【００１８】
請求項５の文書ファイリング装置では、前記検索手段は、前記検索データ格納部における検索用データが文字コードのみ保持する部分は文字コードの距離を計算し、文字コードと特徴を保持する部分は文字コードと特徴の距離を計算する構成にされる。
【００１９】
請求項６の文書ファイリング装置では、前記文字認識手段は文書が縦書きであるか、横書きであるかを判定しその結果を前記検索データ格納部に保存し、前記検索特徴作成手段は、特徴を照合する入力キーワードと前記検索データ格納部の文字列の文字数が異なる場合は、検索データ格納部内のデータが縦書きであるか、横書きであるかの情報をもとに特徴を所定の基準にしたがって再作成する構成にされる。
【００２０】
請求項７の文書ファイリング装置では、前記検索手段は、入力キーワードと検索データ格納部の文字列の文字コードが一致していない部分の文字数が異なる場合は、動的計画法によって入力キーワードと検索データ格納部内の該当文字の特徴同士の照合を行う構成にされる。
【００２１】
請求項８の文書ファイリング装置では、前記文字認識手段は文書が縦書きであるか、横書きであるかを判定しその結果を前記検索データ格納部に保存し、前記特徴作成手段は、縦書きと横書きに対応する夫々の特徴作成方法を備え、前記文字認識手段が縦書きであるか、横書きであるかを判定した結果により、対応する特徴作成方法を用いて特徴作成する構成にされる。
【００２２】
請求項９の文書ファイリング装置では、前記特徴作成手段は、複数の異なる特徴作成方法を備え、入力キーワードの文字の種類により、夫々対応した特徴作成方法を選択する構成にされる。
【００２３】
請求項１０の文書ファイリング装置では、前記特徴作成手段は、入力キーワードが英字または記号の場合、入力キーワードを構成する隣り合う文字の特徴同士を一部重ねあわせて統合特徴を作成する構成にされる。
【００２４】
請求項１１の文書ファイリング装置では、前記文字認識手段は、文字認識の際に文字切り出しを行い、各文字毎の矩形情報を前記検索データ格納部へ保存し、前記検索特徴作成手段が出力した入力キーワードの各文字の矩形形状と、前記検索データ格納部から取得した文字矩形の情報および入力キーワードの文字のうち照合対象とする文字数から、特徴を照合するかしないかを判定し、特徴照合しないと判定した場合は前記検索データ格納部の該文字列と前記入力キーワードが一致していないとみなす特徴照合判定手段を備える。
【００２５】
請求項１２の文書ファイリング方法では、文書画像を入力する入力ステップと、前記入力ステップにより入力された文書画像から文字を切り出し、予め各文字の標準パターンが格納された認識辞書を参照して切り出された文字を認識し文字コードを作成する文字認識ステップと、前記文字認識ステップが認識した文字毎に特徴を作成する特徴作成ステップと、前記文字認識ステップが作成した文字コードと前記特徴作成ステップが作成した特徴を検索データ格納部に保存する検索データステップと、検索時入力された検索用の入力キーワード各文字の特徴を予め標準パターンの特徴が保持された特徴辞書から取得する検索特徴作成ステップと、前記入力キーワードと前記検索データ格納部内のデータとを照合する際に、前記入力キーワードと前記検索データ格納部の文字コードが一致している部分に対しては文字コード同士の距離を計算し、文字コードが一致していない部分においては前記検索データ格納部内の該文字の特徴と前記特徴辞書内の特徴を照合してその距離を計算し前記文字コードの距離と前記特徴の距離をもとに検索結果を決定する検索ステップと、この検索ステップの検索結果を表示する表示ステップとを備える。
【００２６】
【発明の実施の形態】
実施の形態１
以下本発明の実施の形態１について説明する。まず、はじめに文書の登録方法について、図１〜図７を用いて説明する。
図１は本発明の実施の形態１におけるブロック図である。図１において、５は文書登録時にスキャナを使用して紙文書の画像を光電変換により電子化、或いは予め光電変換された画像をネットワーク経由等で入力する入力手段、９は文字認識に使用する認識辞書、２は入力手段５により与えられた画像から文字を抽出して、縦書き、横書きの判定をし、さらに認識辞書９を参照して抽出した文字を認識し、文字コードを出力する文字認識手段、３は文字認識手段２が文字認識を行った文字矩形毎に特徴を作成する特徴作成手段である。
【００２７】
１０は文字認識手段２および特徴作成手段３が作成した文字コード、特徴及び縦書き、横書きの種類を保存する検索データ格納部、４は検索結果、文書画像を表示する表示手段、６は検索時においてユーザが入力した入力キーワードに相当する画像内の文字部分を検索データ格納部１０から検索する検索手段、７は入力キーワードと検索データ格納部１０内の文字データとの特徴の照合を行うか否かを判定する特徴照合判定手段、１１は予め標準パターンの特徴を保持する特徴辞書、８は入力した入力キーワードの文字毎の特徴を特徴辞書１１から読み出し、読み出した文字毎の特徴の加工を行う検索特徴作成手段、１２は前記入力手段１からの電子化された文書画像を格納する文書画像格納手段、１は前記各手段を制御して文書の登録、検索処理を管理する制御手段である。
【００２８】
図２（ａ）は文書画像の例であり、図２（ｂ）は図２（ａ）の文書画像を文字認識した結果である。図３は文字認識処理における各文字毎に切り出した結果から特徴を作成する場合の領域分割方法の説明図、図４は方向成分特徴を作成するために用いるマスクの例、図５は検索データ格納部１０に格納するデータの例、図６は文書登録処理のフローチャート、図７は検索用データ作成（図６に示すステップＳ１０２の処理）のフローチャートである。
はじめに文書の登録方法について図６、図７のフローチャートをもとに説明する。
【００２９】
図６のステップＳ１０１で、入力手段５により文書画像を入力する。入力手段５を実現するには、スキャナを使用して紙文書を光電変換により電子化してもよいし、予め光電変換された画像をネットワーク経由等で入力してもよい。入力する文書画像の例を図２（ａ）に示す。入力手段５によって入力された画像は、ここでは各画素値が１（黒）か０（白）の値をとる２値画像とする。次に、ステップＳ１０２で、検索データ格納部１０に格納するデータの作成を行う。ここでは制御手段１は、入力画像を文字認識手段２へ渡し、文字認識を起動する。そしてステップＳ１０３へ進み、ステップＳ１０２で作成した文字コード、特徴及び縦書き、横書きの種類を検索データ格納部１０に保存する。
【００３０】
次に図７に示す処理の流れに従い文字認識手段２と特徴作成手段３とによるステップＳ１０２における検索データ作成の詳細について述べる。はじめに、図７のステップＳ２０１で、文字認識手段２は、入力画像から文字領域の抽出を行う。文字領域の抽出方法は、例えば文書画像内の黒画素が連続する領域を連結し、黒画素の連結成分の幅、高さの値から文字列であるか否かを決定し、隣接する文字列同士をまとめ一領域とする。
【００３１】
次に図７のステップＳ２０２で文字認識手段２は各領域毎に縦書き、横書きの判定をする。判定方法は公知の方法を用い、例えば領域内の文字列の並びから、各文字列の幅、高さを求め、縦長の文字列が多く存在する領域を縦書き、横長の文字列が多く存在する領域を横書きと判定する。次にステップＳ２０３で文字認識手段２は文字認識を実行する。ここでは、公知技術を用いて文字切り出し、文字認識を行い、１文字画像あたり１文字または複数の候補文字を作成する。
【００３２】
文字切り出し方法は、例えばＳ２０１で決定した領域の各文字列画像を縦方向と横方向から走査し、黒画素数の周辺分布を求め、黒画素数の少ない部分を切り出し候補点として１文字毎の画像に分割する。文字認識処理は、文字切り出しによって一文字単位に分割した画像に対し、例えば８×８次元の各小領域の黒画素数をカウントし、標準パターンに対して各次元毎に差分の絶対値の和を求め、差分の絶対値の和の小さい標準パターンを有する文字を抽出し、認識結果として出力する。
【００３３】
次に、図７のステップＳ２０４に進み、特徴作成手段３は各文字から特徴を作成する。ここでは、図３に示すように個々の文字切り出し後の矩形を仮想的に８分割し、各領域毎に文字画像のエッジの４方向成分特徴（水平、垂直、右上がり、右下がり特徴）を抽出する。４方向成分特徴の作成方法は、図３に示すような８分割された各領域内で図４で示すマスクを走査し、画像とマスクのビットＡＮＤをとる。その結果がマスクと同一の場合にそのマスクの方向成分を１増加させる。そのようにして特徴を作成した例を図５に示す。図５では縦書き、横書きの判定・認識をして作成した文字コード、および各文字の特徴を示している。図５で「水平」は水平成分特徴、「垂直」は垂直成分特徴、「右上」は右上がり成分特徴、「右下」は右下がり方向成分特徴である。
【００３４】
次に上述のように図６のステップＳ１０３へ進み、制御手段１は図５に示す文字認識手段２および特徴作成手段３が作成した文字コード、特徴及び縦書き、横書きの種類を検索データ格納部１０に保存する。
【００３５】
次に図５、図８〜図１０を用いて検索時の動作を説明する。
図８は検索のフローチャートであり、図９、図１０は検索の動作を説明する図である。まず、図８のフローチャートを基に検索の動作を説明する。はじめに図８のステップＳ３０１で検索手段６が、ユーザーの入力した入力キーワードと検索データ格納部１０内の文字コードデータとの照合を行う。検索手段６は検索データ格納部１０内を探索し、入力キーワードと一致する文字が存在した場合、その文字の格納位置を示す数字をバッファに保持する。
【００３６】
図９において、２１は検索データ内の文字の位置を示す番号である。はじめに図５のデータ番号１と照合する。図９で２０は入力キーワードと検索データの一致した文字の文字番号を示す。いま、データ番号１の検索データと入力キーワードとの照合において、入力キーワードの各文字に対して文字コードが一致した文字番号２０がバッファ（図示せず）に格納される。入力キーワードの文字「文」に対しては文字番号１が、「認」に対しては３が、「識」に対しては４が対応付けられる。図１０は図５のデータ番号２と照合したものであり、図１０の２４はデータ番号２の検索データと入力キーワードが一致した文字の文字番号を示す。
【００３７】
次に、ステップＳ３０２で検索手段６は検索候補エリアを算出する。ここでは、入力キーワードと一致した文字の文字番号を検定して候補エリアとするか否かを決定する。決定するための条件は、入力キーワードを構成する全文字の中で、検索データと一致する文字が占める割合が３０％以上であり、文字番号が入力キーワードの出現順に並んでおり、一致した文字番号が近接する場合に候補エリアとする。図９の例は２０が、図１０の例では２４が候補エリアとなる。
【００３８】
次にステップＳ３０３に進み、検索手段６は検索データと入力キーワードとの特徴の照合を行うか否かを判定する。図９の２０の結果は上記の条件を満たしており、一致していない入力キーワード文字「字」と検索データ「宇」の特徴を照合する。入力キーワード「字」に対する特徴は検索特徴作成手段８が特徴辞書１１から読み出し、文字「字」の特徴をバッファ（図示せず）にロードする。また、「宇」の検索用特徴に対しては検索手段６が同じくバッファ（図示せず）にロードする。ロードしたバッファ（図示せず）の例を図９の２２および２３に示す。
【００３９】
ステップＳ３０３での判定結果が検索データと入力キーワードとの特徴の照合を行うであると次にステップＳ３０４に進み、検索手段６は検索データと入力キーワードとの特徴間の距離を算出する。
特徴間の距離の計算方法は
【００４０】
【数１】
とする。ただし、Ｆｄｉｃは辞書の特徴値、Ｆｉｍｇは検索データの特徴値、Ｉは方向成分数、Ｊは各方向成分毎の特徴数であり、ここではＩ＝４、Ｊ＝８である。また、１≦ｉ≦Ｉ、１≦ｊ≦Ｊである。
いま、図９の例でＤを計算すると、Ｄ１［ｄｉｃ，ｉｍｇ］ ＝ １２となる。
また、図１０に示す例ではＤ２［ｄｉｃ，ｉｍｇ］ ＝ ４９となる。
【００４２】
次にステップＳ３０５に進み、検索手段６は入力キーワードと検索データの全体の距離によってキーワード候補とするかどうかを決定する。いま、入力キーワード内の文字と検索データの文字コードデータが一致した文字間の距離を０とし、全体の距離の計算を
Ｄｉｓｔ＝ ΣＤ／入力キーワード文字数 ・・・ 数式（３）
で計算し、距離がある所定値Ａ以下の場合は候補として出力すると、図９の例ではＤｉｓｔ１＝１２／４＝３となり、図１０の例ではＤｉｓｔ２＝４９／４＝１２となる。例えばＡ＝１０で棄却する場合では図１０の例が候補から棄却される。また、閾値で棄却しなくとも、入力キーワードと形状の異なる「文の認識」が、入力キーワードに近い「文宇認識」に比べ大きな距離となり、距離の小さい順に候補をソーティングして表示する場合、入力キーワードに近い「文宇認識」が「文の認識」に比べ正しい候補により近い側に表示されるためユーザは候補の中から正解を見つける手間が軽減され使い勝手が向上する。
なお、ステップＳ３０３での判定結果が検索データと入力キーワードとの特徴の照合を行わないであると、ステップＳ３０４およびステップＳ３０５を飛ばし終了になる。
【００４３】
実施の形態１では、作成する特徴を４方向成分特徴としたが、この特徴に限らず、他の特徴、例えばメッシュ特徴でもヒストグラム特徴でもよい。また、特徴作成手段３が作成する特徴は文字認識手段２が文字認識に使用した特徴を流用しても良い。
また、特徴の距離の計算方法および入力キーワード全体との距離計算方法はこれに限ったものではない。更に実施の形態１でのＡの値もこの限りではない。
【００４４】
また、実施の形態１では全ての認識結果に対して特徴を作成し保存するが、これに限らず、例えば文字認識の評価値が非常に高く認識結果が確実に正解であると判定できる場合はその文字コードの特徴値の保存を省略することによって検索データ保存のための容量を削減することができる。例えば、図１１に示すフローチャートを用いて文書登録を実行し、ステップＳ２０５で文字認識の類似度が一定値以下の文字に対して特徴作成手段３が特徴を作成する。その結果の例を図１２に示す。図１２では「宇」「の」「識」の文字について特徴を作成している。検索時において、検索手段６は検索データ格納部１０内で特徴が存在しない文字コードは数式（４）で文字コードのみの照合を行い、特徴が存在する文字は、数式（４）と数式（２）を用いて計算する。
【００４５】
【数２】
候補エリア全体での距離を
Ｄｉｓｔ＝ （ΣＤ ＋ ΣＣ）／入力キーワード文字数 ・・・ 数式（３）■
によって計算し、入力キーワードと一致するかしないかを判定する。
【００４７】
以上説明したように、この実施の形態１では、誤認識により文字認識結果が一致しない場合でも、一致していない文字の特徴を比較し、これを用いて検索を行うことによって正しい候補と誤った候補を類似度によって選別することができる。
【００４８】
実施の形態２
次に、文字切り出しエラー等で入力キーワードと検索データの文字数が異なる場合の検索方法について図１３〜図１７を用いて説明する。
今、図１３（ａ）に示すように文字認識手段２の文字切り出しエラーにより「Ｊ」と「Ｅ」が誤って１文字として切出され、図１３（ｂ）に示す検索データが出力された場合に入力キーワード「ＲＥＪＥＣＴ」を用いて検索する例について説明する。
【００４９】
はじめに図８のステップＳ３０１で、入力キーワードと検索用データの文字コードによる照合を行う。ここでは、入力キーワードと検索データの「Ｒ」「Ｅ」「Ｃ」「Ｔ」が一致する。ステップＳ３０２で候補エリアを算出する。ここでは「Ｒ」「Ｅ」「Ｃ」「Ｔ」の文字並びも順番も正しいので、検索候補エリアとする。次にステップＳ３０３で特徴間の照合を行うか否か判定する。ここでは、一致した文字数が入力入力キーワードの４／６＝６６．７％であり、３０％以上であるので、特徴の照合を行う。
【００５０】
検索データの「作」と入力キーワードの「ＪＥ」との照合を行う例について説明する。検索特徴作成手段８は「Ｊ」「Ｅ」の特徴を特徴辞書１１からバッファ（図示せず）に読み出す。図１４に「Ｊ」「Ｅ」の特徴を示す。図１４で［ ］に囲まれる部分が同一方向成分特徴であり、図１７に示す領域番号の順に並べてある。次に、「作」の特徴と「ＪＥ」の特徴の照合を行うが、文字数が異なるために、特徴数も異なる。このため、実施の形態１のような差分をとる方法は使用できない。この場合、一般に良く知られている動的計画法（ＤＰマッチング）によって照合を行う。ここでは検索データが横書きであることから、図１８の１５，および１６のように上下２つの領域を統合して、動的計画法で矢印へ向かう照合を行う。図１８の１５は入力キーワードの特徴または検索用データの特徴で多い方（この例の場合は入力キーワード「ＪＥ」の特徴）であり、１６はこの例の場合は検索データ「作」の特徴である。
【００５１】
検索特徴作成手段８は「Ｊ」と「Ｅ」の特徴を各成分毎に横方向に連結して作成する。ここでは水平、垂直、右上、右下の各方向成分を、領域「１」「２」「３」「４」と領域「５」「６」「７」「８」に分け、「Ｊ」「Ｅ」の各方向成分を連結する。図１５で水平（上）とは、図１７の領域「１」「２」「３」「４」の水平成分を「Ｊ」「Ｅ」の順に特徴辞書を連結して並べたものであり、水平（下）とは、図１７の領域「５」「６」「７」「８」の水平成分を「Ｊ」「Ｅ」の順に特徴辞書を連結して並べたものである。
図１６は図１３の検索データ「作」について、図１５と同様に検索特徴作成手段８が並べ替えたものである。
いま、ある成分特徴間の距離を
【００５２】
【数３】
とする。ここで、ＦＤは入力キーワード内の文字特徴、ＦＩは検索データ内の文字特徴、ｎ＝１は図１５、図１６で水平（上）成分を表し、ｎ＝２は水平（下）、ｎ＝３は垂直（上）、ｎ＝４は垂直（下）、ｎ＝５は右上（上）、ｎ＝６は右上（下）、ｎ＝７は右下（上）、ｎ＝８は右下（下）の各成分を示す。また、ここでは１≦ｉ≦Ｉであり、Ｉ＝８、また１≦ｊ≦ＪでＪ＝４である。 例えば、ｉ＝２、ｊ＝１のとき、ＦＤｎｉは図１５の点線で示す部分１３即ち、図１７の「２」「６」で示す部分の領域に含まれる文字特徴を示し、Ｆｉｎｊは図１６の点線で示す部分１４即ち、図１７の「１」「５」で示す部分の領域の文字特徴との距離計算を数式（５）を用いて行う。
このとき
【００５４】
【数４】
を計算し、
ｄｉｓｔ［ｄｉｃ，ｉｍｇ］ ＝ Ｄｄｐ（Ｉ，Ｊ）／Ｉ ・・・ 数式（７）
として各特徴間の距離ｄｉｓｔを計算する。
ここで、図１５、図１６の例で実際に計算するとｄｉｓｔ［ｄｉｃ，ｉｍｇ］ ＝ ２５／８ ＝ ３
となる。
次にステップＳ３０５で入力キーワードと検索データ内の候補領域全体の距離を計算する。数式（３）から
Ｄｉｓｔ ＝ ３／６ ＝ ０．５となる。
このように、特徴数が異なる場合は、特徴を再作成し、ＤＰマッチングを用いることにより、検索可能となる。
【００５６】
この例では、検索データが横書きであることから、縦の２領域を統合して複数文字の特徴を横に連結したが、検索データが縦書きの場合は、図１９の１７と１８のように横の４領域を統合して、動的計画法により矢印（縦）に向かって照合する。検索特徴作成手段８は特徴を縦に連結する。
特徴間距離の計算方法は
【００５７】
【数５】
および数式（６）、数式（７）、数式（３）を用いる。数式（５）■でｎが１６であるのは、４方向成分を４領域について比較するためである。
【００５９】
実施の形態２では、入力キーワードと検索データの特徴数が異なる場合、動的計画法により、照合を行っているが、これに限らず、例えば多い方の特徴数を少ない方の特徴数に一致させ、実施の形態１のように照合を行うことも可能である。
【００６０】
実施の形態３
次に、検索データ格納部１０内の文字が途中で分割されている場合でも文字の特徴を再作成することによって検索可能となる例を図８、図２０〜図２４を用いて説明する。
図２０の文字画像に対し、文字認識手段２が図２１のように文字認識し、同様に特徴作成手段３によって図２１のように特徴を作成する。ここで、図２１に示す検索データから入力キーワード「Ｓ／Ｗ」を検索する場合について説明する。
【００６１】
図８のステップＳ３０１で入力キーワードと検索データの文字コードの照合を行う。いま、図２１の文字コードと入力キーワード「Ｓ／Ｗ」の文字コードが一致するのは「Ｓ」のみである。次に図８のステップＳ３０２で候補エリアを算出し、ステップＳ３０３で検索手段６は特徴を照合するか否かを決定する。いま、一致している文字の入力キーワード全体に占める割合は１／３＝３３．３％であるので照合候補とする。次にステップＳ３０４で一致していない文字コードの特徴の照合を行う。図２１の検索データ「ノＮ」の特徴と特徴辞書１１からバッファに取り入れた「／Ｗ」の特徴を実施の形態１と同様に照合し、Ｄ（ｄｉｃ，ｉｍｇ） ＝ ２３となる。ここで、入力キーワードが英字の場合は、文字が接触することが多いので、それに対応して特徴を再作成する。
【００６２】
再作成の方法を図２２および図２３を用いて説明する。検索特徴作成手段８は、入力キーワードが英字の場合は、文字の接触に対応して特徴を再作成する。この時、図２２に示す文字の次の文字が英字の場合は、接触に対応した特徴の再作成をする。ここでは、入力キーワードに「／」が含まれるので、「／」および「Ｗ」の特徴を再作成する。特徴辞書１１内に標準パターンを保持しておき、標準パターンを次のように仮想的に分割することにより作成する。図２３の「Ｗ」に実線で示す部分の左から１／４の領域（矢印３０から矢印３１で挟まれる領域３６）を図２３「／」で示す特徴の右１／４（図２３の３７）に重ねあわせる。その後、「Ｗ」の残ったイメージ（矢印３１と矢印３２に挟まれる領域）を３３〜３５で示す点線で４等分し、各方向成分特徴を再作成する。再作成した特徴の結果を図２４に示す。次に再び再作成した特徴と検索データの特徴との照合を行う。即ち図２１の特徴と図２４の特徴を照合してＤ＝１４を得る。
【００６３】
特徴の再作成前の距離に比べ値が小さくなっており、より画像の形状に近づいたことがわかる。これによって英字の入力キーワードでの検索データとの距離が小さくなり、検索漏れが起きにくくなる。
【００６４】
本実施の形態では、標準パターンを保持し、それから再計算して特徴を作成する例について述べたが、これに限らず、特徴辞書１１の作成時に各文字の標準パターンの特徴を作成するための領域を細分して保存し、検索特徴作成手段８が特徴辞書１１から照合する文字の特徴をバッファにロードする時に特徴の隣接する各成分を統合することによって特徴を再作成することも可能である。例えば、横書き対応として横方向に４等分ではなく１６等分し、各領域内の方向成分特徴を作成した標準パターンの特徴を特徴辞書１１内に保存する。検索特徴作成手段８が特徴を作成する時は、英字、記号以外は隣接する４領域を統合して特徴を再作成し、英字、記号は領域の左１／４を左隣の文字と統合させ、残り３／４を４分割、すなわち１２／１６の領域を４等分するので３／１６（隣接する３特徴）ずつ特徴を統合することで実施の形態３に示す特徴作成が作成可能となる。
【００６５】
また、縦書きの文章で英字はほとんど採用されないので、特徴辞書１１の作成時に縦書きと横書きで特徴の精度を変えて、横書きはより細かく分割して特徴を作成し、縦書きは粗い特徴によって作成することも可能である。同様にこれにより特徴辞書１１の容量を削減することが可能となる。
【００６６】
実施の形態４
特徴の照合を行う前に正解候補となり得るかを判定することによって処理時間の短縮および検索ノイズを抑制する方法を図２５、図２６を用いて説明する。
いま、図２５に示す「ＲＥＡＣＴ」の検索データと入力キーワード「ＲＥＳＰＥＣＴ」との照合について説明する。
図２５に記述するｓｘ、ｓｙ、ｗ、ｈとは、ｓｘ、ｓｙが検索データの各文字矩形の左上点のｘ座標およびｙ座標、ｗが矩形の幅、ｈが矩形の高さである。
【００６７】
はじめに図８のＳ３０１、Ｓ３０２で各文字コードの照合を行い、一致している部分を図示していないバッファに作成する。ここでは「Ｒ」「Ｅ」「Ｃ」「Ｔ」と一致する。次に図８のＳ３０３で検索手段６は特徴の照合を行うか否かを判定する。入力キーワードと４／７＝５７％一致し、順序関係、隣接関係を満たすので、候補領域とする。検索データの「Ａ」および入力キーワードの「ＳＰＥ」が一致しないので、特徴照合判定手段７は各文字の特徴の照合を行うか否かの判定をする。ここで、特徴照合判定手段７は図２５に示すｗ、ｈを読み込み、「Ａ」の文字矩形形状を求める。ここでは、ｈ／ｗ＝１．０である。
【００６８】
また、検索特徴作成手段８は入力キーワード「Ｓ」「Ｐ」「Ｅ」の各文字に対して図２６の表から矩形情報を推定する。ここでは「Ｓ」「Ｐ」「Ｅ」の各文字ともその他４３に属する。そこで特徴照合判定手段７は「Ｓ」「Ｐ」「Ｅ」を連結した場合の矩形形状を計算する。いま、検索データの文字高さが６０なので「Ｓ」「Ｐ」「Ｅ」を連結した矩形形状は、６０×０．７×３ ＝ １２６から６０×１．２×３＝２１６の間となる。検索データ「Ａ」の文字幅＝６０であり、「ＳＰＥ」の連結幅の取り得る値は１２６〜２１６であるので例えば入力キーワードと検索データの特徴を照合する文字の幅の差が一方の２倍以上の場合は特徴の照合を行わずに候補から外すという条件を追加すると、「Ａ」と「ＳＰＥ」の照合は行わずに候補から外すことができる。
【００６９】
このように照合する特徴の幅に一定の差がある場合は特徴を照合する対象とせずに一致していないとみなすことにより、明らかに一致しない照合を回避することが可能である。
この場合検索手段６はＳ３０３で特徴の照合を行わず、同様にＳ３０４を実行せず、Ｓ３０５で候補としない。
【００７０】
実施の形態４では特徴の矩形幅から入力キーワードと検索データの照合を行うか行わないか決定したが、これに限らず、例えば入力キーワードと検索データ内の特徴を照合する文字の文字数の差が２以上になると照合を行わないなどとしてもよい。
【００７１】
実施の形態４では特徴同士の照合を行う際に入力キーワードと文字認識結果の文字矩形を用いて特徴の照合を行うか否かを判定することにより、無駄な照合を省くことが可能となり、その結果処理時間の短縮、検索精度の向上を行える。
【００７２】
【発明の効果】
以上説明したように、本発明によると、請求項１と請求項２及び請求項１２では、文字コードと特徴を保存しておき、検索時には文字コードと特徴とから検索を行うことにより、文字認識エラーが生じた部分の検索において、適切な距離の付与が可能となる。
【００７３】
また、請求項３では、文字コードが一致する割合が一定値以上の領域で特徴の照合を行うことにより、検索ノイズの増加を抑えることが可能となり、処理時間も短縮される。
【００７４】
請求項４では、前記文字認識手段が認識した文字認識結果が正解文字であるときは特徴を作成せず文字コードのみを保存し、正解文字と判定できない場合は文字コードと前記特徴作成手段が作成する特徴を保存する構成にされているので検索データ格納部で格納する容量を削減することが可能となる。
【００７５】
請求項５では、検索用データが文字コードのみ保持する部分は文字コードのみによる距離から一致を判定し、文字コードと特徴を保持する部分は文字コードと特徴から一致度を計算する構成にされているので、検索ノイズを減少することが可能となる。
【００７６】
請求項６および請求項７では、入力キーワードと検索データ格納部の文字列の文字数が異なる場合、特徴を所定の基準にしたがって再作成する構成にされているので、文字切り出しエラーによる誤認識データも適切な距離を付与した検索が可能となる。
【００７７】
請求項８では、縦書きか、横書きかの判定結果により、対応する特徴作成方法を用いて特徴を作成する構成にされているので、縦書き、横書きの場合のいずれにおいても文字切り出しエラーに対処した検索が可能である。
【００７８】
請求項９では、入力キーワードの文字の種類により、夫々対応した特徴作成方法を選択する構成にされ、請求項１１では、入力キーワードが英字または記号の場合、入力キーワードを構成する隣り合う文字の特徴同士を一部重ねあわせて統合特徴を作成する構成にされているので、英字にありがちな隣り合う文字の接触による誤認識にも対応して検索可能となる。
【００７９】
請求項１１では、矩形情報および文字数情報を用いて明らかに異なる文字列同士の照合を回避する構成にされているので、検索ノイズの減少、処理時間の短縮が可能となる。
【００８０】
【図面の簡単な説明】
【図１】本発明の実施の形態１を示すブロック図。
【図２】実施の形態１での登録用画像の説明図。
【図３】文字切り出し結果と特徴作成領域の説明図。
【図４】４方向成分特徴を作成するマスクの説明図。
【図５】検索用データの内容の説明図。
【図６】登録処理のフローチャート。
【図７】文字認識、特徴作成のフローチャート。
【図８】検索のフローチャート。
【図９】実施の形態１での検索動作を説明する図。
【図１０】実施の形態１での検索動作を説明する図。
【図１１】登録処理の変形のフローチャート。
【図１２】変形登録処理による検索データの説明図。
【図１３】実施の形態２で用いる検索データの説明図。
【図１４】「Ｊ」「Ｅ」の特徴辞書の説明図。
【図１５】「Ｊ」「Ｅ」の特徴を再作成した例を示す説明図。
【図１６】「作」の特徴を再作成した例を示す説明図。
【図１７】領域番号を示す説明図。
【図１８】実施の形態２で横書きの場合の照合方法を示す説明図。
【図１９】実施の形態２で縦書きの場合の照合方法を示す説明図。
【図２０】実施の形態３での登録文書の例を示す説明図。
【図２１】実施の形態３での検索データの内容を示す説明図。
【図２２】特徴を再作成する文字を示す説明図。
【図２３】特徴再作成の方法を示す説明図。
【図２４】再作成した特徴辞書の説明図。
【図２５】実施の形態４での検索データの内容を示す説明図。
【図２６】文字コード−形状判定テーブルを示す説明図。
【図２７】従来技術１のブロック図。
【図２８】従来技術１で用いる文書画像を示す説明図。
【図２９】従来技術１の文字切り出し候補点および文字保存の例を示す説明図。
【図３０】従来技術２のブロック図。
【図３１】従来技術２の画像・認識結果データベースを示す説明図。
【符号の説明】
１ 制御手段、 ２ 文字認識手段、 ３ 特徴作成手段、 ４ 表示手段
５ 入力手段、 ６ 検索手段、 ７ 特徴照合判定手段、
８ 検索特徴作成手段、 ９ 認識辞書、１０ 検索データ格納部、
１１ 特徴辞書、 １２ 文書画像格納手段。
Claims (12)
- 文書画像が入力される入力手段と、予め各文字の標準パターンが格納された認識辞書と、前記入力手段により入力された文書画像から文字を切り出し、前記認識辞書を参照して切り出された文字を認識し文字コードを作成する文字認識手段と、前記文字認識手段が認識した文字毎に特徴を作成する特徴作成手段と、前記文字認識手段が作成した文字コードと前記特徴作成手段が作成した特徴を保存する検索データ格納部と、予め前記標準パターンの特徴を保持する特徴辞書と、検索時入力された検索用の入力キーワード各文字の特徴を前記特徴辞書から取得する検索特徴作成手段と、前記入力キーワードと前記検索データ格納部内のデータとを照合する際に、前記入力キーワードと前記検索データ格納部の文字コードが一致している部分に対しては文字コード同士の距離を計算し、文字コードが一致していない部分においては前記検索データ格納部内の該文字の特徴と前記特徴辞書内の特徴を照合してその距離を計算し前記文字コードの距離と前記特徴の距離をもとに検索結果を決定する検索手段と、この検索手段の検索結果を表示する表示手段とを備えたことを特徴とする文書ファイリング装置。
- 前記特徴作成手段は、前記文字認識手段が文字認識を行う際に文字切り出しを行った各文字矩形において文字の外郭部の垂直、水平、右上がり、右下がりの４方向成分特徴を作成する構成にされたことを特徴とする請求項１に記載の文書ファイリング装置。
- 前記検索手段は、前記入力キーワードと前記検索データ格納部との照合において、前記入力キーワードと一致する文字数の割合が所定の値以上の場合に、文字コードが一致していない部分での前記検索データ格納部内の該文字の特徴と前記特徴辞書内の特徴を照合しその距離を計算する構成にされたことを特徴とする請求項１に記載の文書ファイリング装置。
- 前記特徴作成手段は、前記文字認識手段が認識した文字コードを所定の基準を用いて検定し、その個々の文字認識結果が正解文字であると判定した文字に対しては特徴を作成せず前記文字認識手段が出力する文字コードのみを保存し、正解文字と判定できない場合は前記文字認識手段が出力する文字コードと前記特徴作成手段が作成する特徴を保存する構成にされたことを特徴とする請求項１に記載の文書ファイリング装置 。
- 前記検索手段は、前記検索データ格納部における検索用データが文字コードのみ保持する部分は文字コードの距離を計算し、文字コードと特徴を保持する部分は文字コードと特徴の距離を計算する構成にされたことを特徴とする請求項４に記載の文書ファイリング装置。
- 前記文字認識手段は文書が縦書きであるか、横書きであるかを判定しその結果を前記検索データ格納部に保存し、前記検索特徴作成手段は、特徴を照合する入力キーワードと前記検索データ格納部の文字列の文字数が異なる場合は、検索データ格納部内のデータが縦書きであるか、横書きであるかの情報をもとに特徴を所定の基準にしたがって再作成する構成にされたことを特徴とする請求項１に記載の文書ファイリング装置。
- 前記検索手段は、入力キーワードと検索データ格納部の文字列の文字コードが一致していない部分の文字数が異なる場合は、動的計画法によって入力キーワードと検索データ格納部内の該当文字の特徴同士の照合を行う構成にされたことを特徴とする請求項１又は請求項２の何れかに記載の文書ファイリング装置。
- 前記文字認識手段は文書が縦書きであるか、横書きであるかを判定しその結果を前記検索データ格納部に保存し、前記特徴作成手段は、縦書きと横書きに対応する夫々の特徴作成方法を備え、前記文字認識手段が縦書きであるか、横書きであるかを判定した結果により、対応する特徴作成方法を用いて特徴作成する構成にされたことを特徴とする請求項１に記載の文書ファイリング装置。
- 前記特徴作成手段は、複数の異なる特徴作成方法を備え、入力キーワードの文字の種類により、夫々対応した特徴作成方法を選択する構成にされたことを特徴とする請求項１に記載の文書ファイリング装置。
- 前記特徴作成手段は、入力キーワードが英字または記号の場合、入力キーワードを構成する隣り合う文字の特徴同士を一部重ねあわせて統合特徴を作成する構成にされたことを特徴とする請求項９に記載の文書ファイリング装置。
- 前記文字認識手段は、文字認識の際に文字切り出しを行い、各文字毎の矩形情報を前記検索データ格納部へ保存し、前記検索特徴作成手段が出力した入力キーワードの各文字の矩形形状と、前記検索データ格納部から取得した文字矩形の情報および入力キーワードの文字のうち照合対象とする文字数から、特徴を照合するかしないかを判定し、特徴照合しないと判定した場合は前記検索データ格納部の該文字列と前記入力キーワードが一致していないとみなす特徴照合判定手段を備えた請求項１〜請求項１０の何れか一に記載の文書ファイリング装置。
- 文書画像を入力する入力ステップと、前記入力ステップにより入力された文書画像から文字を切り出し、予め各文字の標準パターンが格納された認識辞書を参照して切り出された文字を認識し文字コードを作成する文字認識ステップと、前記文字認識ステップが認識した文字毎に特徴を作成する特徴作成ステップと、前記文字認識ステップが作成した文字コードと前記特徴作成ステップが作成した特徴を検索データ格納部に保存する検索データステップと、検索時入力された検索用の入力キーワード各文字の特徴を予め標準パターンの特徴が保持された特徴辞書から取得する検索特徴作成ステップと、前記入力キーワードと前記検索データ格納部内のデータとを照合する際に、前記入力キーワードと前記検索データ格納部の文字コードが一致している部分に対しては文字コード同士の距離を計算し、文字コードが一致していない部分においては前記検索データ格納部内の該文字の特徴と前記特徴辞書内の特徴を照合してその距離を計算し前記文字コードの距離と前記特徴の距離をもとに検索結果を決定する検索ステップと、この検索ステップの検索結果を表示手段に表示する表示ステップとを備えたことを特徴とする文書ファイリング方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22254398A JP3620299B2 (ja) | 1998-08-06 | 1998-08-06 | 文書ファイリング装置及び文書ファイリング方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22254398A JP3620299B2 (ja) | 1998-08-06 | 1998-08-06 | 文書ファイリング装置及び文書ファイリング方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000057315A JP2000057315A (ja) | 2000-02-25 |
| JP3620299B2 true JP3620299B2 (ja) | 2005-02-16 |
Family
ID=16784100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22254398A Expired - Lifetime JP3620299B2 (ja) | 1998-08-06 | 1998-08-06 | 文書ファイリング装置及び文書ファイリング方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3620299B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005322080A (ja) * | 2004-05-10 | 2005-11-17 | Fuji Xerox Co Ltd | 文書管理装置および方法 |
| WO2007094078A1 (ja) * | 2006-02-14 | 2007-08-23 | Hitachi, Ltd. | 文字列検索方法およびその装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01106263A (ja) * | 1987-10-20 | 1989-04-24 | Mitsubishi Electric Corp | 文書の格納検索装置 |
| JPH04225471A (ja) * | 1990-12-27 | 1992-08-14 | Fuji Electric Co Ltd | キーワード検索方法 |
| JPH08147314A (ja) * | 1994-11-17 | 1996-06-07 | Canon Inc | 認識型文書ファイリング装置及びその制御方法 |
| JP3673553B2 (ja) * | 1995-03-31 | 2005-07-20 | キヤノン株式会社 | ファイリング装置 |
| JP3727995B2 (ja) * | 1996-01-23 | 2005-12-21 | キヤノン株式会社 | 文書処理方法及び装置 |
-
1998
- 1998-08-06 JP JP22254398A patent/JP3620299B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000057315A (ja) | 2000-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5664027A (en) | Methods and apparatus for inferring orientation of lines of text | |
| KR100339446B1 (ko) | 주소 인식 장치 및 주소 인식 방법 | |
| US8005300B2 (en) | Image search system, image search method, and storage medium | |
| EP0834826B1 (en) | Positioning templates in optical character recognition systems | |
| US5539841A (en) | Method for comparing image sections to determine similarity therebetween | |
| JP3246432B2 (ja) | 宛名読取り装置および郵便物等区分機 | |
| JP2004139484A (ja) | 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム | |
| JPWO2010092952A1 (ja) | パターン認識装置 | |
| Gopisetty et al. | Automated forms-processing software and services | |
| JP3598711B2 (ja) | 文書ファイリング装置 | |
| JP4140221B2 (ja) | 画像照合装置および画像照合プログラム | |
| JP3589007B2 (ja) | 文書ファイリングシステムおよび文書ファイリング方法 | |
| JP3620299B2 (ja) | 文書ファイリング装置及び文書ファイリング方法 | |
| JP2002342343A (ja) | 文書管理システム | |
| JPH08221510A (ja) | 帳票文書処理装置および帳票文書処理方法 | |
| JP3798179B2 (ja) | パターン抽出装置及び文字切り出し装置 | |
| JPH06103411A (ja) | 文書読取装置 | |
| JP2003030654A (ja) | パターン識別装置、パターン識別方法及びパターン識別用プログラム | |
| JP4221960B2 (ja) | 帳票識別装置及びその識別方法 | |
| JPH08287188A (ja) | 文字列認識装置 | |
| JP4328511B2 (ja) | パターン認識装置、パターン認識方法、プログラムおよび記憶媒体 | |
| JP2902097B2 (ja) | 情報処理装置及び文字認識装置 | |
| JPH0689330A (ja) | 画像ファイリングシステム | |
| JPH0256086A (ja) | 文字認識の後処理方法 | |
| JP4805485B2 (ja) | 単語認識方法および単語認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |