JP3619333B2 - パターン認識システム - Google Patents
パターン認識システム Download PDFInfo
- Publication number
- JP3619333B2 JP3619333B2 JP23143596A JP23143596A JP3619333B2 JP 3619333 B2 JP3619333 B2 JP 3619333B2 JP 23143596 A JP23143596 A JP 23143596A JP 23143596 A JP23143596 A JP 23143596A JP 3619333 B2 JP3619333 B2 JP 3619333B2
- Authority
- JP
- Japan
- Prior art keywords
- result
- editing
- recognition
- recognition result
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パターン認識処理（例えば文字認識処理）を行なって得られる認識結果を編集する認識結果編集方法およびパターン認識システムおよび情報記録媒体に関する。
【０００２】
【従来の技術】
一般に、文字認識システムでは、原稿等の文書をスキャナ等で読込み、文書画像とした後、この文書画像から文字画像を切り出して文字認識処理を行ない、認識結果を得るようになっている。このような文字認識システムでは、文字認識処理自体には差程の時間を要しないが、認識結果の確認，修正等の編集に相当の時間を要する。すなわち、認識結果の確認，修正等の編集は、元の文書（あるいは文書画像）とその認識結果とを全文（全ページ，全行）にわたって突き合わせチェックすることによってなされ、また、通常は、正確さを期すために、このような全文の突き合わせチェックを２回繰り返して行なっていた。
【０００３】
【発明が解決しようとする課題】
このように、従来では、認識結果の確認，修正等の編集を行なう場合、通常、認識結果とその元となった文書（あるいは文書画像）との全文にわたる突き合わせチェックを２回繰り返して行なっていたので、認識結果の確認，修正等の編集に相当の時間を要し、特に大量の文書の認識結果の確認，修正等の編集を行なう場合に、作業効率が著しく低下してしまうという問題があった。
【０００４】
本発明は、文書が大量のものである場合にも、認識結果の確認，修正などの編集を、効率良く行なうことの可能な認識結果編集方法およびパターン認識システムおよび情報記録媒体を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、認識用の辞書と、文書画像に対して前記辞書を用いてパターン認識処理を施す認識処理手段と、該認識処理手段による認識結果に対してユーザに確認，修正などの編集を行なわせる編集処理手段とを備え、前記編集処理手段は、認識結果に対して少なくとも２回の編集処理を施し、その際、各編集処理において、認識結果あるいは編集処理結果の抜き取り率を互いに相違させ、前記各編集処理は、所定の抜き取り率で認識結果あるいは編集処理結果のページまたは行またはブロック及びそれに対応する元の文書画像を抜き取り、表示画面上に、抜き取った認識結果あるいは編集処理結果を表示する際の基準線を表示し、この基準線の一方の側には、該基準線に沿って現在編集対象となる認識結果あるいは編集処理結果を表示し、また、該基準線の他方の側には、該基準線の一方の側に表示される現在編集対象となる認識結果あるいは編集処理結果に対応した文書画像を該基準線に沿って表示することを特徴としている。
【００１０】
また、請求項２記載の発明は、請求項１記載のパターン認識システムにおいて、抜き取り率は、更新可能に設定されることを特徴としている。
【００１１】
また、請求項３記載の発明は、請求項１記載のパターン認識システムにおいて、認識処理手段で認識結果とともに認識結果の確信度が算出されるとき、編集処理手段は、１回目の編集処理では、所定の閾値以上の確信度の認識結果をスキップさせ、低確信度の認識結果のみを修正させるようになっていることを特徴としている。
【００１２】
また、請求項４記載の発明は、請求項３記載のパターン認識システムにおいて、編集処理手段は、さらに、２回目の編集処理で修正がなされた割合いを修正率として出力する機能を有しており、確信度の閾値は、編集処理手段から出力される修正率に応じて更新可能になっていることを特徴としている。
【００１３】
また、請求項５記載の発明は、請求項１記載のパターン認識システムにおいて、さらに、辞書を管理する辞書管理手段が設けられており、辞書管理手段は、編集処理手段において修正頻度の高い文字についての情報が修正文字情報として出力されるとき、該修正文字情報に基づいて辞書の更新を行なう機能を有していることを特徴としている。
【００１４】
また、請求項６記載の発明は、請求項５記載のパターン認識システムにおいて、辞書の更新の都度、抜き取り率を低下させることを特徴としている。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は本発明に係るパターン認識システムの構成例を示す図である。なお、図１の例では、パターン認識システムは、文書中の文字を認識する文字認識システムとして構成されている。
【００２４】
図１を参照すると、この文字認識システムは、原稿などの文書を文書画像として入力する画像入力部１と、画像入力部１で読込まれた文書画像を記憶する文書画像記憶部２と、認識対象となる各文字について例えばその標準パターンや標準的な特徴量が登録されている認識用の辞書５と、画像入力部１から入力された文書画像から認識対象となる文字画像を切り出して該文字画像の特徴を抽出して辞書５と比較する文字認識処理を行なう認識処理部４と、認識処理部４からの認識結果を記憶する認識結果記憶部６と、認識結果についての確認，修正などの編集を行なう編集処理部８と、編集処理部８からの編集処理結果を記憶する編集処理結果記憶部９と、辞書５の更新等の管理を行なう辞書管理部１０と、認識結果に対する編集処理などの条件を設定するための条件設定部４０とを有している。
【００２５】
図２は図１の文字認識システムのハードウェア構成例を示す図である。図２を参照すると、この文字認識システムは、例えばパーソナルコンピュータ等で実現され、全体を制御するＣＰＵ１１と、ＣＰＵ１１の制御プログラム等が記憶されているＲＯＭ１２と、ＣＰＵ１１のワークエリア等として使用されるＲＡＭ１３と、原稿等の文書を文書画像として読込むスキャナ１４と、スキャナ１４で読込まれた文書画像（あるいは、文書画像から認識用に切り出された文字画像）が例えばページ単位で例えば圧縮されて記憶される文書画像ファイル１５と、文字認識用の辞書が記憶される辞書ファイル１６と、文書画像（文字画像）に対して文字認識処理を行なって得られた認識結果がテキスト（コード化された情報）として記憶されるテキストファイル１７と、認識結果の編集処理結果が記憶される編集処理結果ファイル４１と、編集処理時に一時的な記憶領域として用いられるテンポラリファイル４２と、認識結果に対する編集処理の条件を設定したり、認識結果に対して確認，修正などの編集を行なったりするのに用いられる表示装置１８および入力装置１９とを有している。
【００２６】
ここで、スキャナ１４，文書画像ファイル１５，辞書１６，テキストファイル１７，編集処理結果ファイル４１は、図１の画像入力部１，文書画像記憶部２，辞書５，認識結果記憶部６，編集処理結果記憶部９にそれぞれ対応している。また、ＣＰＵ１１は、図１の認識処理部４，編集処理部８の機能を有している。さらに、後述のように、ＣＰＵ１１は、図１の辞書管理部１０の機能を有することもできる。
【００２７】
また、図２の表示装置１８，入力装置１９，ＣＰＵ１１，ＲＡＭ１３などは、図１の条件設定部４０としての機能も有している。すなわち、編集処理などの条件を、入力装置１９等から入力させて、ＣＰＵ１１によりＲＡＭ１３内に設定することができる。
【００２８】
なお、ＣＰＵ１１におけるこのような認識処理部，編集処理部，辞書管理部，さらには条件設定部等としての機能は、例えばソフトウェアパッケージ（具体的には、ＣＤ−ＲＯＭ等の情報記録媒体）の形で提供することができ、このため、図２の例では、情報記録媒体２０がセットさせるとき、これを駆動する媒体駆動装置２１が設けられている。
【００２９】
また、入力装置１９には、例えばキーボード，マウス等を用いることができ、表示装置１８には、ＣＲＴやＬＣＤなどのディスプレイを用いることができる。この場合、ディスプレイ１８の画面に表示されているアイコン等をマウスによってポイントすることで、処理の選択や、所定処理の開始，終了指示などを行なったり、キーボードやマウスにより、画面上で、カーソル移動を行なったり、さらには、スクロールを行なったりすることができる。
【００３０】
換言すれば、本発明のパターン認識システム（文字認識システム）は、イメージスキャナ，ディスプレイ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムコードを読み込ませて、この汎用計算機システムのマイクロプロセッサにパターン認識処理（文字認識処理）を実行させる装置構成においても実施することが可能である。この場合、本発明のパターン認識処理プログラムや編集処理プログラムや辞書管理プログラムなどを格納する情報記憶媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，ＦＤ等が用いられても良い。また、文書画像の入力は、スキャナを使用しないで、画像イメージファイルとして与えられても良い。
【００３１】
また、図１，図２の文字認識システムにおいて、認識処理部４は、認識結果を求めるとともに、その認識結果の確信度（確からしさ）をも求めるようになっていても良い。この確信度の算出処理については、例えば特開平４−２１１８８３号に開示の仕方で行なうことができる。
【００３２】
すなわち、確信度とは、最終認識結果の文字がどの程度確からしいかを表わすもので、０％から１００％の数値で表わされたり、あるいは、その数値を何段階かに量子化して表わすことができる。例えば、次のＡ，Ｂ，Ｃの３ランクで表わすことができる。
Ａランク：認識結果は正しい。
Ｂランク：認識結果は怪しい（正しいか間違いか分からない）。
Ｃランク：認識結果は間違い。
【００３３】
この場合、認識処理部４では、最終の認識結果を得るための複数段階の処理により得られる情報に基づき、総合的に確信度を決定する。例えば、パターンマッチング処理から第一候補の評価値あるいは第一候補と第二候補との評価値の差，パス選択処理からパス決定時の評価値，ルール処理から、どのようなルールが適用され修正されたかを表わす情報，言語処理から言語修正の結果を表わす情報を集め、これらの情報を証拠として例えばデンプスター・シェーファー（Ｄｅｍｐｓｔｅｒ ＆ Ｓｈａｆｅｒ）の確率理論を使って確信度を総合的に判断する。
【００３４】
このような確信度の決定は、最終の処理段階で、それまでの処理段階で得られた情報を集めて一括して行なうか、あるいは各処理段階で得られた情報に基づき候補の確信度を求め、これによって前処理段階までに求められた確信度を更新する操作を最終処理段階まで繰り返すことにより行なう。
【００３５】
このように、認識処理部４において、確信度が求められる場合には、後述のように、編集処理部８における認識結果の確認，修正等の編集処理において、かかる確信度に応じて、認識結果の表示の際に色や輝度などの視覚的条件を変化させ、あるいは認識結果に対応させて文字または記号を表示すれば、装置利用者は、認識結果の確信度を容易に認識し、修正が必要な文字を素早く的確に見つけ、その修正作業を効率よく行なうことができる。
【００３６】
また、編集処理部８は、認識処理部４からの認識結果に対して、第１回目の編集処理を行ない（より具体的には、認識結果記憶部６に記憶されている認識結果に対して編集処理を行ない）、この編集処理結果を編集処理結果記憶部９の第１の結果記憶部９ａ（図２の第１の結果ファイル４１ａ）に格納する第１の編集処理部３１と、認識処理部４からの認識結果に対して第２回目以後の編集処理を行ない（より具体的には、第１の結果記憶部９ａ（図２の第１の結果ファイル４１ａ）に格納されている第１回目の編集処理結果に対してさらに編集処理を行ない）、編集処理結果記憶部９の第２の結果記憶部９ｂ（図２の第２の結果ファイル４１ｂ）に格納する第２の編集処理部３２とを備えている。
【００３７】
ここで、第１の編集処理部３１および第２の編集処理部３２は、認識結果に対する編集処理を行なう場合、例えば、表示装置１８の画面上に、認識結果あるいは編集処理結果を表示する際の基準線を表示し、この基準線の一方の側には、該基準線に沿って現在編集対象となる認識結果あるいは編集処理結果を表示し、また、該基準線の他方の側には、該基準線の一方の側に表示される現在編集対象となる認識結果あるいは編集処理結果に対応した文書画像（文字画像）を該基準線に沿って表示することができる。
【００３８】
図３には、ある１ページ分の文書の例が示されており、図４（ａ），（ｂ）には、図３の文書の認識結果あるいは編集処理結果を確認，修正等するための表示装置１８における表示例がそれぞれ示されている。
【００３９】
図４（ａ）の表示例では、画面上に縦の基準線Ｌ１を表示し、この基準線Ｌ１に沿って、そのすぐ右側には、現在編集対象となる認識結果列あるいは編集処理結果列“本日は晴天なり、”を行方向（＝縦）に表示し、また、そのすぐ左側には、上記編集対象となる認識結果列あるいは編集処理結果列に対応した文書画像（文字画像）列“本日は晴天なり、”を縦の基準線Ｌ１に沿って行方向（＝縦）に表示している。
【００４０】
また図４（ｂ）の表示例では、画面上の横の基準線Ｈ１を表示し、この基準線Ｈ１に沿って、そのすぐ上側には、現在編集対象となる認識結果列あるいは編集処理結果列“本日は晴天なり、”を行方向（＝横）に表示し、また、そのすぐ下側には、上記編集対象となる認識結果列あるいは編集処理結果列に対応した文書画像（文字画像）列“本日は晴天なり、”を横の基準線Ｈ１に沿って行方向（＝横）に表示している。
【００４１】
なお、表示画面上において、図４（ａ）のように行方向を縦にするか、あるいは、図４（ｂ）のように行方向を横にするかは、例えば認識処理開始時などに、例えば図１の条件設定部４０（図２の入力装置１９）などにおいて、行方向を「縦」または「横」と指定することで設定できる。
【００４２】
また、第１の編集処理部３１および第２の編集処理部３２は、表示装置１８の表示画面上で、基準線の一方の側に表示される認識結果（テキスト）と基準線の他方の側に表示される文書画像（文字画像）とを、常に連動させて、スクロールあるいは移動させる機能を有している。具体的に、例えば図４（ａ）の状態で、基準線Ｌ１の右側に表示されている認識結果（テキスト）を例えば右方向に１行分移動させると、図５に示すように、これと連動させて、基準線Ｌ１の左側に表示されている文書画像（文字画像）も右方向に１行分移動させるような表示制御を行なうことができる。また、例えば図４（ａ）の状態で、基準線Ｌ１の右側に表示されている認識結果（テキスト）を例えば上方向に２文字分移動させると、図６に示すように、これと連動させて、基準線Ｌ１の左側に表示されている文書画像（文字画像）も上方向に２文字分移動させるような表示制御を行なうことができる。
【００４３】
このように、表示装置１８の表示画面上で、基準線の一方の側に表示される認識結果あるいは編集処理結果と基準線の他方の側に表示される文書画像（文字画像）とを、常に対応させて表示する機能（基準線に沿って、かつ、該基準線を挾んで互いに対向して（並列に）表示する機能）を第１の編集処理部３１および第２の編集処理部３２が有している場合には、認識結果あるいは編集処理結果とこれに対応した文書画像（文字画像）列との対比が容易になり、オペレータは、認識結果あるいは編集処理結果の確認，修正を容易に行なうことができる。
【００４４】
また、認識結果あるいは編集処理結果の確認，修正を行なう際、表示装置１８の画面上で、現在修正中の文字については、これが現在修正中であることを識別可能に表示することもできる。具体的に、図４（ａ）の例において、例えば図７のように、“天”が“夫”と誤認識されており、認識結果あるいは編集処理結果中で現在修正中の文字が“夫”である場合、認識結果の表示領域において“夫”の文字のところを例えば矩形で囲み、また、文書画像の表示領域において、これに対応した“天”の文字画像のところを例えば赤色の矩形で囲むこともできる。
【００４５】
また、図４（ａ），（ｂ）などの表示例において、文書画像（文字画像）を表示する場合、後述のように、文書画像ファイル１５に例えば圧縮されて格納されている文書画像（文字画像）を拡大して、例えばスキャナ入力時の文書画像と等倍で表示することもできる。
【００４６】
また、図４（ａ），（ｂ）などの表示例では、画面には、認識結果（テキスト）と文書画像（文字画像）のみしか表示されていないが、この画面において、さらに、例えば編集対象ページのイメージ全体を表示し、また、編集対象ページにおいて、修正した文字，低確信度の文字数，総文字数等の情報などを表示する機能を第１の編集処理部３１，第２の編集処理部３２にもたせることも可能である。
【００４７】
このように、第１の編集処理部３１と第２の編集処理部３２とは、上記のような１つの表示画面内での基本的な表示制御機能に関しては、これらを同じものにすることができる。
【００４８】
しかしながら、認識結果の確認，修正等の編集を効率良く行なうため、本発明では、第１の編集処理部３１と第２の編集処理部３２とで、編集処理機能を互いに相違させている。
【００４９】
すなわち、第１の編集処理部３１の編集処理機能と第２の編集処理部３２の編集処理機能とを同じものにする場合には、編集処理を同じ仕方で２回以上繰り返して行なうことと等価であり、この編集処理が、認識結果とその元になった文書との全文にわたる突き合わせチェックを行なうものである場合、前述したように、作業効率が著しく低下してしまう。
【００５０】
本発明では、従来におけるこのような問題を解決するため、第１の編集処理部３１の編集処理機能が、例えば、認識結果とその元になった文書との全文にわたる突き合わせチェックを行なうものである場合、第２の編集処理部３２は、全文にわたる認識結果（すなわち、この場合、編集処理結果）をチェックするのではなく、全文にわたる編集処理結果の中から、所定の抜き取り率で、認識結果（編集処理結果）を抜き出し、抜き出した認識結果（編集処理結果）に対してのみ、確認，修正などの編集処理を行なうようになっている。
【００５１】
より具体的に、文書画像記憶部２に会議録原稿等の文書の文書画像がページ単位に、例えばｎページ分格納され、認識処理部４がｎページ分の文書画像に対してページ単位に認識処理を行ない、ｎページ分の認識結果が認識結果記憶部６（テキストファイル１７）に記憶されるとき、第１の編集処理部３１は、例えば、ｎページ分の認識結果を全ページ（ｎページ）、ページ単位に編集処理（確認，修正）するよう機能する一方、第２の編集処理部３２は、全ページを対象に編集処理を行なうのではなく、例えば、全ページ（ｎページ）分の認識結果（編集処理結果）から、所定の抜き取り率ｗ（０＜ｗ＜１）でページ単位に、ｎ×ｗページ分の認識結果（編集処理結果）を抜き出し、抜き出したｎ×ｗページ分の認識結果（編集処理結果）のみをページ単位に編集処理する機能を有している。
【００５２】
ここで、ｎページ分の認識結果（編集処理結果）から、所定の抜き取り率ｗでｎ×ｗページ分の認識結果（編集処理結果）を抜き出す仕方として、例えば１からｎまでの範囲内で、ｎ×ｗ個の乱数値を発生させ、この乱数によって、ｎページ分からｎ×ｗページ分をランダムに抽出する（抜き出す）ことができる。
【００５３】
なお、ｎページ分の認識結果（編集処理結果）から、上記のような仕方で、ｎ×ｗページ分の認識結果（編集処理結果）を抜き出したときに、抜き出したｎ×ｗページ分の認識結果（編集処理結果）は、編集処理がなされるに先立って、テンポラリファイル４２に一時格納されるようになっている。また、編集処理において、図４（ａ），（ｂ）のような表示制御処理が行なわれる場合、ｎ×ｗページ分の認識結果（編集処理結果）に対応した元の文書画像もテンポラリファイル４２に一時格納されるようになっている。
【００５４】
また、抜き取り率ｗは、例えばユーザによって、条件設定部４０（表示装置１８，入力装置１９）により、任意のものに設定可能となっており、また、抜き取り率ｗは、これを更新（変更）可能になっている。また、抜き取り率ｗは、これが一旦設定されると、更新（変更）がなされるまで、例えばＲＡＭ１３内に現在の抜き取り率として保持されるようになっている。
【００５５】
具体的に、抜き取り率ｗの設定は、次のような仕方で行なうことができる。先ず、図８のような初期画面が表示されている状態で、ユーザが「抜き取り率設定」のアイコン（％）をポイントすると、図９のような抜き取り率設定画面が表示される。ここで、抜き取り率設定画面の抜き取り率設定窓には、現在の抜き取り率ｗ（％）が表示される。なお、このシステムの初期状態（セットアップ直後）では、抜き取り率ｗとしてデフォルト値“１００”が設定されており、従って、この段階では、抜き取り表示窓には“１００”が表示される。ユーザは、これを所望の抜き取り率に設定（変更）したい場合には、例えば入力装置１９から、所望の抜き取り率の数値（％），すなわち１〜１００の範囲の数値を入力する。例えば、編集対象となる会議録原稿の総ページ数が１００ページであり、このうちの２０ページ分を抜き取りたいときには、抜き取り率ｗは、２０／１００＝２０（％）であるので、ユーザは“２０”を入力する。
【００５６】
これにより、抜き取り率設定窓の数値は、“１００”から“２０”に変わる。抜き取り率ｗが２０（％）で良い場合は、ユーザは、抜き取り率設定窓の数値が“２０”であることを確認して、抜き取り率設定画面のアイコン（ＯＫ）をポイントする。これにより、抜き取り率ｗは、２０（％）に確定し、これが更新（変更）されない限り、例えばＲＡＭ１３内にパラメータとして保持される。なお、この設定を取り消したいとき、例えば、この数値“２０”とは異なる数値にしたいときには、ユーザは、抜き取り率設定画面のアイコン（キャンセル）をポイントする。これにより、画面は初期画面に戻り、再び上記の操作を行なって抜き取り率設定画面を表示させ、所望の抜き取り率の数値を入力する。
【００５７】
このようにして、抜き取り率ｗの設定，更新（変更）等を行なうことができる。
【００５８】
図１０は第１の編集処理部３１の処理動作例，操作例を説明するためのフローチャートである。図１０を参照すると、第１の編集処理部３１は、図４（ａ），（ｂ）に示したような画面を表示して、ユーザにページ単位での確認，修正などの編集処理を行なわせることができる。すなわち、第１の編集処理部３１は、先ず、終了ボタンあるいは次ページボタンあるいは確定ボタンが選択されたか否かを判断する（ステップＳ１，Ｓ２，Ｓ３）。
【００５９】
この結果、次ページボタンが選択されたときには、認識結果記憶部６（テキストファイル１７）および文書画像記憶部２（文書画像ファイル１５）に格納されているｎページ分の認識結果および文書画像のうち、未処理分の先頭ページを例えば図４（ａ），（ｂ）に示したように画面表示する（ステップＳ４）。これにより、ユーザは、このページの認識結果を前述のようにして確認，修正等することができる（ステップＳ５）。このようにして、１ページ分の編集処理が終了すると、再びステップＳ１に戻り、上述したと同様の処理が繰り返される。すなわち、この繰り返し処理において、ユーザが順次に次ページボタンを選択すると（ステップＳ２）、認識結果記憶部６（テキストファイル１７）および文書画像記憶部２（文書画像ファイル１５）に格納されているｎページ分の認識結果および文書画像がページ単位に順次に画面表示され、ユーザは、ｎページ分の認識結果をページ単位に、順次、確認，修正することができる。
【００６０】
このような一連の処理において、ユーザが確定ボタンを選択すると（ステップＳ３）、第１の編集処理部３１は、ｎページ分の認識結果の編集（確認，修正等）を全て行なったかをチェックする（ステップＳ６）。この結果、ｎページ分の認識結果の編集（確認，修正等）を全て行なったときには、認識結果に対する編集（ｎページ分の編集）を確定し、この編集処理結果を第２の結果記憶部９ｂ（第２の結果ファイル４１ｂ）に格納する（ステップＳ７）。
【００６１】
また、上記一連の処理において、ユーザが終了ボタンを選択すると（ステップＳ１）、第１の編集処理部３１における編集処理（プログラム）の実行を終了する。
【００６２】
なお、上述の処理例では、次ページボタンによって次ページを順次に選択する処理しか示されていないが、前ページボタンをさらに設け、前ページボタンを選択すると前ページへ戻るなどの処理を追加することも可能である。
【００６３】
また、図１１，図１２は第２の編集処理部３２の処理動作例，操作例を説明するためのフローチャートである。図１１，図１２を参照すると、例えば図８に示したような初期画面が表示されている状態で（ステップＳ１１）、所望のページ数分のページの抜き出しがすでになされてテンポラリファイル４２に格納されているか否かを判断する（ステップＳ１２）。
【００６４】
所望のページ数分のページの抜き出しが未だなされていないときには、総ページから所望のページ数分のページの抜き出しを行ないこれらをテンポラリファイル４２に格納するまでの処理（ステップＳ１３乃至Ｓ１８）を行なう。
【００６５】
すなわち、抜き取り率ｗが所望の値に設定されているか否かを判断し（ステップＳ１３）、所望の値に設定されていないときには、ユーザは、前述のように、抜き取り率設定画面を表示して、所望の抜き取り率ｗを設定する（ステップＳ１４）。このようにして、例えば、ＲＡＭ１３内に所望の抜き取り率ｗが設定されたときには、第２の編集処理部３２は、総ページ数ｎの値の範囲内で、この抜き取り率ｗで、乱数値を発生させ（ステップＳ１５）、発生させた乱数値によって、総ページ数ｎからランダムにｎ×ｗ（％）分のページ番号を抽出する（ステップＳ１６）。次いで、抽出したｎ×ｗ（％）ページ分の上記ページ番号に対応する各ページの認識結果（編集処理結果）および文書画像を第１の結果記憶部９ａ（第１の結果ファイル４１ａ）および文書画像記憶部２（文書画像ファイル１５）からそれぞれ読み出し、これらを、テンポラリファイル４２に格納する（ステップＳ１７）。
【００６６】
このようにして抜き出したｎ×ｗ（％）ページ分の認識結果（編集処理結果）および文書画像がテンポラリファイル４２に格納された後、第２の編集処理部３２は、抜き出したページに関する情報（例えばｎ×ｗページ分のページ番号）の一覧表を画面に表示する（ステップＳ１８）。
【００６７】
この段階で、第２の編集処理部３２は、図４（ａ），（ｂ）に示したような画面を表示して、ユーザにページ単位での確認，修正などの編集処理を行なわせることができる。すなわち、第２の編集処理部３２は、終了ボタンあるいは抽出ボタンあるいは確定ボタンが選択されたか否かを判断する（ステップＳ１９，Ｓ２０，Ｓ２１）。
【００６８】
この結果、抽出ボタンが選択されたときには、抜き出されてテンポラリファイル４２に格納されているｎ×ｗ（％）ページ分の認識結果（編集処理結果）および文書画像のうち、未処理分の先頭ページを例えば図４（ａ），（ｂ）に示したように画面表示する（ステップＳ２２）。これにより、ユーザは、このページの認識結果（編集処理結果）を前述のようにして確認，修正等することができる（ステップＳ２３）。このようにして、１ページ分の編集処理が終了すると、再びステップＳ１２に戻り、上述したと同様の処理が繰り返される。すなわち、この繰り返し処理において、ユーザが順次に抽出ボタンを選択すると（ステップＳ２０）、抜き出されてテンポラリファイル４２に格納されているｎ×ｗ（％）ページ分の認識結果（編集処理結果）および文書画像がページ単位に順次に画面表示され、ユーザは、ｎ×ｗ（％）ページ分の認識結果をページ単位に、順次、確認，修正することができる。
【００６９】
このような一連の処理において、ユーザが確定ボタンを選択すると（ステップＳ２１）、第２の編集処理部３２は、ｎ×ｗ（％）ページ分の認識結果（編集処理結果）の編集（確認，修正等）を全て行なったかをチェックする（ステップＳ２４）。この結果、ｎ×ｗ（％）ページ分の認識結果（編集処理結果）の編集（確認，修正等）を全て行なったときには、認識結果（編集処理結果）に対する抜き取り編集（ｎ×ｗ（％）ページ分の編集）を確定し、この編集処理結果を第２の結果記憶部９ｂ（第２の結果ファイル４１ｂ）に格納する（ステップＳ２５）。
【００７０】
また、上記一連の処理において、ユーザが終了ボタンを選択すると（ステップＳ１９）、第２の編集処理部３２における抜き取り編集処理（プログラム）の実行を終了する。
【００７１】
また、認識処理部４において認識結果とともに確信度が求められる場合、第１の編集処理部３１および第２の編集処理部３２は、認識結果あるいは編集処理結果の確認，修正を行なう際、認識結果あるいは編集処理結果中の低確信度文字については、これを他の文字と識別可能に表示することもできる。例えば、認識結果あるいは編集処理結果の表示領域において、認識結果あるいは編集処理結果中の低確信度文字を反転表示し、また、文書画像（文字画像）の表示領域において、低確信度文字を反転表示することもできる。
【００７２】
また、このように、認識結果とともに確信度が算出されるとき、第１の編集処理部３１および第２の編集処理部３２は、認識結果あるいは編集処理結果の確認，修正などの編集を行なうような場合に、表示装置１８の画面上に表示される認識結果あるいは編集処理結果中および／または文書画像（文字画像）中の確信度が所定の閾値（例えば９０％）以上の文字をスキップさせて、低確信度の文字のみを順番に表示することもできる。すなわち、認識結果あるいは編集処理結果中および／または文書画像（文字画像）中から、確信度が所定閾値（例えば９０％）以下の文字を抽出して、この文字についてのみ、認識結果（編集処理結果）および／または文字画像を次々と表示させることもできる。
【００７３】
なお、この場合、上記確信度の閾値は、例えば条件設定部４０（あるいは図２の入力装置１９）により更新可能に設定される。
【００７４】
また、このような低確信度文字のスキップ表示は、例えば図４（ａ），（ｂ）のような、基準線の一方の側には、該基準線に沿って現在編集対象となる認識結果列あるいは編集処理結果列を表示し、また、該基準線の他方の側には、該基準線の一方の側に表示される現在編集対象となる認識結果列あるいは編集処理結果列に対応した文書画像（文字画像）列を該基準線に沿って表示画面において行なうこともできるし、あるいは、認識結果あるいは編集処理結果のみの表示画面，あるいは文書画像（文字画像）のみの表示画面において行なうこともできる。
【００７５】
このように、第１の編集処理部３１および第２の編集処理部３２において、所定の閾値以上の確信度の文字についてはこれをスキップさせて（飛ばして）、低確信度の文字のみを表示する機能をもたせれば、認識結果あるいは編集処理結果の確認，修正等の際に、利用者は文書全体に目を通す必要がなくなり、作業効率を高めることができる。
【００７６】
上述の例では、このような確信度に基づくスキップ表示機能（スキップ修正機能）を、第１の編集処理部３１と第２の編集処理部３２との両方にもたせるとしたが、このようなスキップ修正機能を、全ページを編集対象にする第１の編集処理部３１にのみもたせ、全ページから抜き出した所定のページだけを編集対象にする第２の編集処理部３２には、スキップ修正機能をもたせないようにすることも可能である。
【００７７】
すなわち、第１の編集処理部３１にスキップ修正機能をもたせることで、全ページを対象にする場合にも、このスキップ修正機能により修正作業を効率良く行なうことができる。一方、このスキップ修正機能を第２の編集処理部３２にもたせない場合にも、第２の編集処理部３２における編集対象は、第１の編集処理部３１においてスキップ修正がなされた結果の編集処理結果であり、また、第２の編集処理部３２では、全ページのうちの一部のページだけを編集対象とするので、スキップ修正せずに１文字毎に逐次確認，修正を行なわせる場合にも、修正作業効率は差程低下せず、また、スキップ修正しないことにより確認精度，修正精度をより一層向上させることができる。
【００７８】
なお、利用者の要望等により、上記とは逆に、このようなスキップ修正機能を、全ページから抜き出した所定のページだけを編集対象にする第２の編集処理部３２にのみもたせ、全ページを編集対象にする第１の編集処理部３１には、スキップ修正機能をもたせないようにすることも可能である。また、第１の編集処理部３１，第２の編集処理部３２のいずれにも、スキップ修正機能をもたせないようにすることも可能である。
【００７９】
さらに、本発明において、第１の編集処理部３１および第２の編集処理部３２は、編集（確認，修正等）前後の履歴（修正履歴）を作成管理するようになっており、このような修正履歴により、修正頻度の高い文字についての情報を修正文字情報として管理し、ユーザにより図８の修正文字通知ボタンが操作されたとき、例えば図１３に示すように、修正文字情報画面を表示装置１８に表示し、ユーザに修正頻度の高い文字を通知する機能をも有している。
【００８０】
具体的に、修正頻度の高い文字としては、第１の編集処理部３１および第２の編集処理部３２において、例えば２０回以上修正されている文字とすることができ、このような文字が存在することによって、修正の頻度が高くなり、修正作業の効率を低下させている。
【００８１】
従って、上記のように修正頻度の高い文字をユーザに通知することによって、ユーザは、辞書管理部１０を起動して、辞書５内のこの文字の標準パターンや標準的な特徴量を修正し、この文字について認識処理部４で正確な認識がなされるようにすることができる。すなわち、修正文字情報（修正頻度の高い文字の情報）を通知することで、辞書管理部１０により認識用の辞書５が更新（学習）され、この認識処理システムの認識精度を逐次向上させることが可能となる。
【００８２】
また、上記の例では、辞書５内のこの文字の標準パターンや標準的な特徴量の修正を、ユーザにより行なわせるとしたが、辞書管理部１０において、自動的に辞書５を更新（学習）するよう構成することも可能である。すなわち、第１の編集処理部３１および第２の編集処理部３２からの修正文字情報を辞書管理部１０に与え、辞書管理部１０において、第１の編集処理部３１および第２の編集処理部３２からの修正文字情報に基づいて、修正頻度の高い文字についての標準パターンや標準的な特徴量を修正頻度が少なくなる方向に自動更新し、辞書５を自動更新（学習）することも可能である。
【００８３】
なお、このような辞書５の更新処理は、例えばページ毎に行なわれても良いし、ｎページ分の文書全体（例えばｎページ分の会議録原稿）の編集処理が完了した時点で行なわれても良い。
【００８４】
また、このような辞書５の更新（学習）がなされることによって、認識処理部４の認識精度が向上し、修正頻度が低下すると考えられるので、辞書５の更新管理がなされる毎に、抜き取り率ｗを低くすることができる。
【００８５】
例えば、第２の編集処理部３２における抜き取り率ｗを、システムの稼働当初は、例えば、１００％に設定して処理を行なわせ、次いで、辞書５が更新されると、抜き取り率ｗを１００％から例えば８０％に設定変更し、次いで、辞書５が更新されると、抜き取り率ｗを８０％から例えば６０％に設定変更するというように、抜き取り率ｗを辞書５の更新の都度、下げることができる。これにより、使用する毎に、作業効率を徐々に高めることが可能となる。
【００８６】
さらに、本発明において、上記第２の編集処理部３２は、抜き出したページについての認識結果（編集処理結果）の確認，修正等の編集を行なったとき、どの程度の割合いで修正がなされたかの情報，すなわち修正率の情報を出力（例えばユーザに通知）する機能をも有している。このような機能をも有している場合、ユーザは、この修正率の情報を見ることで、第１回目の編集処理において確認修正もれの度合を知ることができる。すなわち、第２の編集処理部３２での編集処理において、修正率が高いと、第１回目の編集処理において確認修正もれが多いことがわかる。これにより、ユーザは、第１回目の編集処理にスキップ修正が用いられる場合、この修正率情報に基づき確信度の閾値の変更を行ない、第１回目の編集処理における確認修正もれの度合いを少なくすることができる。例えば、修正率が高い場合には、確信度の閾値をより高く設定し直す一方、修正率が低い場合は、確信度の閾値をより低く設定し直すことができる。
【００８７】
なお、このような確信度の閾値の変更をユーザによらずに自動的に行なうこともできる。すなわち、修正率情報の出力に応じて、確信度の閾値を自動的に更新することもできる。
【００８８】
上述の説明では、第１の編集処理部３１では抜き取り処理を行なわず、第２の編集処理部３２で抜き取り処理を行なうとしたが、これとは逆に、第１の編集処理部３１で抜き取り処理を行ない、第２の編集処理部３２で抜き取り処理を行なわないようにすることもできる。また、この場合、例えば、第１の編集処理部３１ではスキップ修正処理を行なわず、第２の編集処理部３２でスキップ修正処理を行なうようにすることもできる。なお、ここで、抜き取り処理を行なわないことは、抜き取り率ｗを１００％にすることを意味する。
【００８９】
また、上述の説明では、説明の便宜上、編集処理部８が第１の編集処理部３１と第２の編集処理部３２とからなるものとしたが、第１の編集処理部３１，第２の編集処理部３２のそれぞれの機能を、１つの編集処理部８にもたせることも可能である。
【００９０】
また、上述の説明では、抜き取り率ｗを、ページ単位に設定したが（全ページに対する抜き取りページ数として設定したが）、ページ単位に限らず、任意の単位（例えば行単位，あるいはブロック単位）に設定することも可能である。
【００９１】
換言すれば、本発明は、認識結果に対して少なくとも２回の編集処理を施し、その際、各編集処理において、認識結果の抜き取り率を互いに相違させ、各編集処理において、所定の抜き取り率で認識結果の抜き取りがなされたとき、抜き取られた認識結果に対してのみ、編集処理を施すことを特徴としている。
【００９２】
次に、このような構成の文字認識システムの処理動作の具体例について説明する。本発明の文字認識システムがソフトウェアパッケージ（情報記録媒体）２０の形で提供される場合、ユーザは、この情報記録媒体２０を媒体駆動装置２１にセットし、文字認識システムソフトを例えばＲＡＭ１３にロードする。この段階で、ＣＰＵ１１は、例えばＲＡＭ１３にロードされた文字認識システムソフトに従って、処理を実行することができる。
【００９３】
スキャナ１４が例えばＡＤＦである場合、スキャナ１４に例えば複数枚の原稿をセットすると、スキャナ１４は、複数枚の原稿を順次に読取る。説明を簡単にするため、各原稿が片面単票原稿であるとすると、１枚の原稿が１ページに対応し、従って、例えばｎ（ｎ≧１）枚の原稿を読取ると、ｎページ分の文書画像がページ単位に得られ、これらが、文書画像ファイル１５に順次に格納される。
【００９４】
ＣＰＵ１１では、文書画像ファイル１５に格納されたｎページ分の文書画像に対し、辞書ファイル１６中の辞書を用いてページ単位に文字認識処理を行ない、ページ毎の認識結果をテキストとして、テキストファイル１７に順次に格納する。
【００９５】
ユーザは、例えばこの段階で、テキストファイル１７にページ単位に格納されたｎページ分の認識結果（テキスト）に対して、ページ単位に確認，修正等の編集処理（第１回目の編集処理）を行なうことができる。すなわち、ユーザはページ毎に誤認識文字等を修正することができる。この編集処理は、前述の第１の編集処理部３１によって全ページｎを対象に行なわれる。この場合、この編集処理は、ユーザが修正の必要な箇所にマウス等でカーソルを移動させて行なうこともできるが、前述のようなスキップ修正機能が備わっている場合、低確信度文字のところに、カーソルを自動的にスキップさせ、低確信度文字についての認識結果をユーザに確認させ、また、修正させるようにすることもできる。すなわち、例えば１ページ分の認識結果（テキスト）の先頭から低確信度文字をサーチし、低確信度文字が検出されたときには、この文字のところにカーソルを自動設定して、ユーザに確認，修正等を行なわせ、この文字について確認，修正等が終了した旨のキー操作がなされると、次の低確信度文字のところにカーソルを自動的にスキップし、ユーザにこの文字について確認，修正を行なわせるような表示制御を行なうこともできる。これにより、認識結果の確認，修正等の際に、ユーザは文書全体に目を通す必要がなくなり、作業効率を高めることができる。
【００９６】
このようにして、全ページｎ分の認識結果に対する確認，修正等の編集が終了すると、この全ページｎ分の編集処理結果（認識結果）を第１の結果ファイル４１ａに格納する。
【００９７】
この段階で、ユーザは、認識結果に対して第２回目の編集処理を行なうことができる。すなわち、第１の結果ファイル４１ａに格納された認識結果（編集処理結果）に対し、さらに編集処理を行なうことができる。この編集処理は、前述の第２の編集処理部３２によって、第１の結果ファイル４１ａに格納された全ページｎ分の認識結果（編集処理結果）の中から所定の抜き取り率ｗで（予め設定された抜き取り率ｗで）任意のページをランダムに抜き出して行なわれる。すなわち、利用者は、抜き出したページについて、誤認識文字等を修正することができる。この場合、この編集処理は、例えばスキップ修正機能を働かせることなく、行なわれる。このようにして抜き出したページの認識結果（編集処理結果）に対する確認，修正等の編集が終了すると、この編集処理結果を第２の結果ファイル４１ｂに格納する。このようにして、第１回目，第２回目の編集処理を行なうことができる。また、必要に応じて、第３回目の編集処理を行なうこともできる。
【００９８】
上記のように第１回目，第２回目の編集処理がなされるとき、辞書管理部１０では、第１回目の編集前後の修正履歴、および第２回目の編集前後の修正履歴を利用して、修正頻度の高い文字について、辞書５（例えば、ユーザパターン辞書、あるいはユーザ言語辞書など）のメンテナンス（更新など）を行なう。なお、この辞書メンテナンスは、例えば、この処理の専門家によって行なうことができる。修正頻度の高い文字がどの程度存在するかの情報は、上記修正履歴中の「修正文字情報」により、容易に確認可能であり、例えば、ある文字についての標準パターンなどを更新後、ある一定の期間様子を見て、この文字について更新した標準パターンを辞書５に登録しても大丈夫だと判断した場合には、この文字について更新した標準パターンを辞書５に登録して用いることができる。
【００９９】
また、ユーザは、第２回目の編集処理を行なったとき、そのときの修正率の情報を得ることができる。すなわち、ユーザは、第２回目の編集処理で得られた修正率情報により、第１回目の編集処理において確認修正漏れがどの程度発生しているかを任意のタイミングで確認することができ、これによって、確信度の閾値を適切なものに設定変更することができる。
【０１００】
また、上述の例では、ｎページ分の認識結果（編集処理結果）から、所定の抜き取り率ｗでｎ×ｗページ分の認識結果（編集処理結果）を抜き出す仕方として、例えば１からｎまでの範囲内で、ｎ×ｗ個の乱数値を発生させ、この乱数によって、ｎページ分からｎ×ｗページ分をランダムに抽出する（抜き出す）ようにしているが、所定の抜き取り率ｗでｎ×ｗページ分の認識結果（編集処理結果）を抜き出す仕方として、乱数を発生させてランダムに抽出する方法以外の任意の抜き出し法を用いることもできる。例えば、第１ページ目（表紙部分）は必ず抜き取って検査しなければならないような場合、上述のようなランダムな抜き取り法では、第１ページ目（表紙部分）が抜き取られないことがある。従って、このような場合には、必ず第１ページ目（表紙部分）が抜き取られるような任意の演算法で、ｎページからｎ×ｗページを抽出し、抜き取ることもできる。
【０１０１】
【発明の効果】
以上に説明したように、請求項１乃至請求項６記載の発明によれば、認識結果の確認，修正などの編集において、編集の作業効率を著しく向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る文字認識システムの構成例を示す図である。
【図２】図１の文字認識システムのハードウェア構成例を示す図である。
【図３】ある１ページ分の文書の例を示す図である。
【図４】図３の文書の認識結果あるいは編集処理結果を確認，修正等するための表示例を示す図である。
【図５】表示画面上で、基準線の一方の側に表示される認識結果あるいは編集処理結果と基準線の他方の側に表示される文書画像（文字画像）とを、常に連動させて、スクロールあるいは移動させる機能を説明するための図である。
【図６】表示画面上で、基準線の一方の側に表示される認識結果あるいは編集処理結果と基準線の他方の側に表示される文書画像（文字画像）とを、常に連動させて、スクロールあるいは移動させる機能を説明するための図である。
【図７】図３の文書の認識結果を確認，修正等するための表示例を示す図である。
【図８】編集処理の初期画面の一例を示す図である。
【図９】抜き取り設定画面の一例を示す図である。
【図１０】第１の編集処理部の処理例を示すフローチャートである。
【図１１】第２の編集処理部の処理例を示すフローチャートである。
【図１２】第２の編集処理部の処理例を示すフローチャートである。
【図１３】修正文字情報画面の表示例を示す図である。
【符号の説明】
１ 画像入力部
２ 文書画像記憶部
４ 認識処理部
５ 辞書
６ 認識結果記憶部
８ 編集処理部
９ 編集処理結果記憶部
９ａ 第１の結果記憶部
９ｂ 第２の結果記憶部
１０ 辞書管理部
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ スキャナ
１５ 文書画像ファイル
１６ 辞書ファイル
１７ テキストファイル
１８ 表示装置
１９ 入力装置
２０ 情報記録媒体
２１ 媒体駆動装置
３１ 第１の結果記憶部
３２ 第２の結果記憶部
４０ 条件設定部
４１ 編集処理結果ファイル
４１ａ 第１の結果ファイル
４１ｂ 第２の結果ファイル
４２ テンポラリファイル
【発明の属する技術分野】
本発明は、パターン認識処理（例えば文字認識処理）を行なって得られる認識結果を編集する認識結果編集方法およびパターン認識システムおよび情報記録媒体に関する。
【０００２】
【従来の技術】
一般に、文字認識システムでは、原稿等の文書をスキャナ等で読込み、文書画像とした後、この文書画像から文字画像を切り出して文字認識処理を行ない、認識結果を得るようになっている。このような文字認識システムでは、文字認識処理自体には差程の時間を要しないが、認識結果の確認，修正等の編集に相当の時間を要する。すなわち、認識結果の確認，修正等の編集は、元の文書（あるいは文書画像）とその認識結果とを全文（全ページ，全行）にわたって突き合わせチェックすることによってなされ、また、通常は、正確さを期すために、このような全文の突き合わせチェックを２回繰り返して行なっていた。
【０００３】
【発明が解決しようとする課題】
このように、従来では、認識結果の確認，修正等の編集を行なう場合、通常、認識結果とその元となった文書（あるいは文書画像）との全文にわたる突き合わせチェックを２回繰り返して行なっていたので、認識結果の確認，修正等の編集に相当の時間を要し、特に大量の文書の認識結果の確認，修正等の編集を行なう場合に、作業効率が著しく低下してしまうという問題があった。
【０００４】
本発明は、文書が大量のものである場合にも、認識結果の確認，修正などの編集を、効率良く行なうことの可能な認識結果編集方法およびパターン認識システムおよび情報記録媒体を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、認識用の辞書と、文書画像に対して前記辞書を用いてパターン認識処理を施す認識処理手段と、該認識処理手段による認識結果に対してユーザに確認，修正などの編集を行なわせる編集処理手段とを備え、前記編集処理手段は、認識結果に対して少なくとも２回の編集処理を施し、その際、各編集処理において、認識結果あるいは編集処理結果の抜き取り率を互いに相違させ、前記各編集処理は、所定の抜き取り率で認識結果あるいは編集処理結果のページまたは行またはブロック及びそれに対応する元の文書画像を抜き取り、表示画面上に、抜き取った認識結果あるいは編集処理結果を表示する際の基準線を表示し、この基準線の一方の側には、該基準線に沿って現在編集対象となる認識結果あるいは編集処理結果を表示し、また、該基準線の他方の側には、該基準線の一方の側に表示される現在編集対象となる認識結果あるいは編集処理結果に対応した文書画像を該基準線に沿って表示することを特徴としている。
【００１０】
また、請求項２記載の発明は、請求項１記載のパターン認識システムにおいて、抜き取り率は、更新可能に設定されることを特徴としている。
【００１１】
また、請求項３記載の発明は、請求項１記載のパターン認識システムにおいて、認識処理手段で認識結果とともに認識結果の確信度が算出されるとき、編集処理手段は、１回目の編集処理では、所定の閾値以上の確信度の認識結果をスキップさせ、低確信度の認識結果のみを修正させるようになっていることを特徴としている。
【００１２】
また、請求項４記載の発明は、請求項３記載のパターン認識システムにおいて、編集処理手段は、さらに、２回目の編集処理で修正がなされた割合いを修正率として出力する機能を有しており、確信度の閾値は、編集処理手段から出力される修正率に応じて更新可能になっていることを特徴としている。
【００１３】
また、請求項５記載の発明は、請求項１記載のパターン認識システムにおいて、さらに、辞書を管理する辞書管理手段が設けられており、辞書管理手段は、編集処理手段において修正頻度の高い文字についての情報が修正文字情報として出力されるとき、該修正文字情報に基づいて辞書の更新を行なう機能を有していることを特徴としている。
【００１４】
また、請求項６記載の発明は、請求項５記載のパターン認識システムにおいて、辞書の更新の都度、抜き取り率を低下させることを特徴としている。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図１は本発明に係るパターン認識システムの構成例を示す図である。なお、図１の例では、パターン認識システムは、文書中の文字を認識する文字認識システムとして構成されている。
【００２４】
図１を参照すると、この文字認識システムは、原稿などの文書を文書画像として入力する画像入力部１と、画像入力部１で読込まれた文書画像を記憶する文書画像記憶部２と、認識対象となる各文字について例えばその標準パターンや標準的な特徴量が登録されている認識用の辞書５と、画像入力部１から入力された文書画像から認識対象となる文字画像を切り出して該文字画像の特徴を抽出して辞書５と比較する文字認識処理を行なう認識処理部４と、認識処理部４からの認識結果を記憶する認識結果記憶部６と、認識結果についての確認，修正などの編集を行なう編集処理部８と、編集処理部８からの編集処理結果を記憶する編集処理結果記憶部９と、辞書５の更新等の管理を行なう辞書管理部１０と、認識結果に対する編集処理などの条件を設定するための条件設定部４０とを有している。
【００２５】
図２は図１の文字認識システムのハードウェア構成例を示す図である。図２を参照すると、この文字認識システムは、例えばパーソナルコンピュータ等で実現され、全体を制御するＣＰＵ１１と、ＣＰＵ１１の制御プログラム等が記憶されているＲＯＭ１２と、ＣＰＵ１１のワークエリア等として使用されるＲＡＭ１３と、原稿等の文書を文書画像として読込むスキャナ１４と、スキャナ１４で読込まれた文書画像（あるいは、文書画像から認識用に切り出された文字画像）が例えばページ単位で例えば圧縮されて記憶される文書画像ファイル１５と、文字認識用の辞書が記憶される辞書ファイル１６と、文書画像（文字画像）に対して文字認識処理を行なって得られた認識結果がテキスト（コード化された情報）として記憶されるテキストファイル１７と、認識結果の編集処理結果が記憶される編集処理結果ファイル４１と、編集処理時に一時的な記憶領域として用いられるテンポラリファイル４２と、認識結果に対する編集処理の条件を設定したり、認識結果に対して確認，修正などの編集を行なったりするのに用いられる表示装置１８および入力装置１９とを有している。
【００２６】
ここで、スキャナ１４，文書画像ファイル１５，辞書１６，テキストファイル１７，編集処理結果ファイル４１は、図１の画像入力部１，文書画像記憶部２，辞書５，認識結果記憶部６，編集処理結果記憶部９にそれぞれ対応している。また、ＣＰＵ１１は、図１の認識処理部４，編集処理部８の機能を有している。さらに、後述のように、ＣＰＵ１１は、図１の辞書管理部１０の機能を有することもできる。
【００２７】
また、図２の表示装置１８，入力装置１９，ＣＰＵ１１，ＲＡＭ１３などは、図１の条件設定部４０としての機能も有している。すなわち、編集処理などの条件を、入力装置１９等から入力させて、ＣＰＵ１１によりＲＡＭ１３内に設定することができる。
【００２８】
なお、ＣＰＵ１１におけるこのような認識処理部，編集処理部，辞書管理部，さらには条件設定部等としての機能は、例えばソフトウェアパッケージ（具体的には、ＣＤ−ＲＯＭ等の情報記録媒体）の形で提供することができ、このため、図２の例では、情報記録媒体２０がセットさせるとき、これを駆動する媒体駆動装置２１が設けられている。
【００２９】
また、入力装置１９には、例えばキーボード，マウス等を用いることができ、表示装置１８には、ＣＲＴやＬＣＤなどのディスプレイを用いることができる。この場合、ディスプレイ１８の画面に表示されているアイコン等をマウスによってポイントすることで、処理の選択や、所定処理の開始，終了指示などを行なったり、キーボードやマウスにより、画面上で、カーソル移動を行なったり、さらには、スクロールを行なったりすることができる。
【００３０】
換言すれば、本発明のパターン認識システム（文字認識システム）は、イメージスキャナ，ディスプレイ等を備えた汎用の計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムコードを読み込ませて、この汎用計算機システムのマイクロプロセッサにパターン認識処理（文字認識処理）を実行させる装置構成においても実施することが可能である。この場合、本発明のパターン認識処理プログラムや編集処理プログラムや辞書管理プログラムなどを格納する情報記憶媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，ＦＤ等が用いられても良い。また、文書画像の入力は、スキャナを使用しないで、画像イメージファイルとして与えられても良い。
【００３１】
また、図１，図２の文字認識システムにおいて、認識処理部４は、認識結果を求めるとともに、その認識結果の確信度（確からしさ）をも求めるようになっていても良い。この確信度の算出処理については、例えば特開平４−２１１８８３号に開示の仕方で行なうことができる。
【００３２】
すなわち、確信度とは、最終認識結果の文字がどの程度確からしいかを表わすもので、０％から１００％の数値で表わされたり、あるいは、その数値を何段階かに量子化して表わすことができる。例えば、次のＡ，Ｂ，Ｃの３ランクで表わすことができる。
Ａランク：認識結果は正しい。
Ｂランク：認識結果は怪しい（正しいか間違いか分からない）。
Ｃランク：認識結果は間違い。
【００３３】
この場合、認識処理部４では、最終の認識結果を得るための複数段階の処理により得られる情報に基づき、総合的に確信度を決定する。例えば、パターンマッチング処理から第一候補の評価値あるいは第一候補と第二候補との評価値の差，パス選択処理からパス決定時の評価値，ルール処理から、どのようなルールが適用され修正されたかを表わす情報，言語処理から言語修正の結果を表わす情報を集め、これらの情報を証拠として例えばデンプスター・シェーファー（Ｄｅｍｐｓｔｅｒ ＆ Ｓｈａｆｅｒ）の確率理論を使って確信度を総合的に判断する。
【００３４】
このような確信度の決定は、最終の処理段階で、それまでの処理段階で得られた情報を集めて一括して行なうか、あるいは各処理段階で得られた情報に基づき候補の確信度を求め、これによって前処理段階までに求められた確信度を更新する操作を最終処理段階まで繰り返すことにより行なう。
【００３５】
このように、認識処理部４において、確信度が求められる場合には、後述のように、編集処理部８における認識結果の確認，修正等の編集処理において、かかる確信度に応じて、認識結果の表示の際に色や輝度などの視覚的条件を変化させ、あるいは認識結果に対応させて文字または記号を表示すれば、装置利用者は、認識結果の確信度を容易に認識し、修正が必要な文字を素早く的確に見つけ、その修正作業を効率よく行なうことができる。
【００３６】
また、編集処理部８は、認識処理部４からの認識結果に対して、第１回目の編集処理を行ない（より具体的には、認識結果記憶部６に記憶されている認識結果に対して編集処理を行ない）、この編集処理結果を編集処理結果記憶部９の第１の結果記憶部９ａ（図２の第１の結果ファイル４１ａ）に格納する第１の編集処理部３１と、認識処理部４からの認識結果に対して第２回目以後の編集処理を行ない（より具体的には、第１の結果記憶部９ａ（図２の第１の結果ファイル４１ａ）に格納されている第１回目の編集処理結果に対してさらに編集処理を行ない）、編集処理結果記憶部９の第２の結果記憶部９ｂ（図２の第２の結果ファイル４１ｂ）に格納する第２の編集処理部３２とを備えている。
【００３７】
ここで、第１の編集処理部３１および第２の編集処理部３２は、認識結果に対する編集処理を行なう場合、例えば、表示装置１８の画面上に、認識結果あるいは編集処理結果を表示する際の基準線を表示し、この基準線の一方の側には、該基準線に沿って現在編集対象となる認識結果あるいは編集処理結果を表示し、また、該基準線の他方の側には、該基準線の一方の側に表示される現在編集対象となる認識結果あるいは編集処理結果に対応した文書画像（文字画像）を該基準線に沿って表示することができる。
【００３８】
図３には、ある１ページ分の文書の例が示されており、図４（ａ），（ｂ）には、図３の文書の認識結果あるいは編集処理結果を確認，修正等するための表示装置１８における表示例がそれぞれ示されている。
【００３９】
図４（ａ）の表示例では、画面上に縦の基準線Ｌ１を表示し、この基準線Ｌ１に沿って、そのすぐ右側には、現在編集対象となる認識結果列あるいは編集処理結果列“本日は晴天なり、”を行方向（＝縦）に表示し、また、そのすぐ左側には、上記編集対象となる認識結果列あるいは編集処理結果列に対応した文書画像（文字画像）列“本日は晴天なり、”を縦の基準線Ｌ１に沿って行方向（＝縦）に表示している。
【００４０】
また図４（ｂ）の表示例では、画面上の横の基準線Ｈ１を表示し、この基準線Ｈ１に沿って、そのすぐ上側には、現在編集対象となる認識結果列あるいは編集処理結果列“本日は晴天なり、”を行方向（＝横）に表示し、また、そのすぐ下側には、上記編集対象となる認識結果列あるいは編集処理結果列に対応した文書画像（文字画像）列“本日は晴天なり、”を横の基準線Ｈ１に沿って行方向（＝横）に表示している。
【００４１】
なお、表示画面上において、図４（ａ）のように行方向を縦にするか、あるいは、図４（ｂ）のように行方向を横にするかは、例えば認識処理開始時などに、例えば図１の条件設定部４０（図２の入力装置１９）などにおいて、行方向を「縦」または「横」と指定することで設定できる。
【００４２】
また、第１の編集処理部３１および第２の編集処理部３２は、表示装置１８の表示画面上で、基準線の一方の側に表示される認識結果（テキスト）と基準線の他方の側に表示される文書画像（文字画像）とを、常に連動させて、スクロールあるいは移動させる機能を有している。具体的に、例えば図４（ａ）の状態で、基準線Ｌ１の右側に表示されている認識結果（テキスト）を例えば右方向に１行分移動させると、図５に示すように、これと連動させて、基準線Ｌ１の左側に表示されている文書画像（文字画像）も右方向に１行分移動させるような表示制御を行なうことができる。また、例えば図４（ａ）の状態で、基準線Ｌ１の右側に表示されている認識結果（テキスト）を例えば上方向に２文字分移動させると、図６に示すように、これと連動させて、基準線Ｌ１の左側に表示されている文書画像（文字画像）も上方向に２文字分移動させるような表示制御を行なうことができる。
【００４３】
このように、表示装置１８の表示画面上で、基準線の一方の側に表示される認識結果あるいは編集処理結果と基準線の他方の側に表示される文書画像（文字画像）とを、常に対応させて表示する機能（基準線に沿って、かつ、該基準線を挾んで互いに対向して（並列に）表示する機能）を第１の編集処理部３１および第２の編集処理部３２が有している場合には、認識結果あるいは編集処理結果とこれに対応した文書画像（文字画像）列との対比が容易になり、オペレータは、認識結果あるいは編集処理結果の確認，修正を容易に行なうことができる。
【００４４】
また、認識結果あるいは編集処理結果の確認，修正を行なう際、表示装置１８の画面上で、現在修正中の文字については、これが現在修正中であることを識別可能に表示することもできる。具体的に、図４（ａ）の例において、例えば図７のように、“天”が“夫”と誤認識されており、認識結果あるいは編集処理結果中で現在修正中の文字が“夫”である場合、認識結果の表示領域において“夫”の文字のところを例えば矩形で囲み、また、文書画像の表示領域において、これに対応した“天”の文字画像のところを例えば赤色の矩形で囲むこともできる。
【００４５】
また、図４（ａ），（ｂ）などの表示例において、文書画像（文字画像）を表示する場合、後述のように、文書画像ファイル１５に例えば圧縮されて格納されている文書画像（文字画像）を拡大して、例えばスキャナ入力時の文書画像と等倍で表示することもできる。
【００４６】
また、図４（ａ），（ｂ）などの表示例では、画面には、認識結果（テキスト）と文書画像（文字画像）のみしか表示されていないが、この画面において、さらに、例えば編集対象ページのイメージ全体を表示し、また、編集対象ページにおいて、修正した文字，低確信度の文字数，総文字数等の情報などを表示する機能を第１の編集処理部３１，第２の編集処理部３２にもたせることも可能である。
【００４７】
このように、第１の編集処理部３１と第２の編集処理部３２とは、上記のような１つの表示画面内での基本的な表示制御機能に関しては、これらを同じものにすることができる。
【００４８】
しかしながら、認識結果の確認，修正等の編集を効率良く行なうため、本発明では、第１の編集処理部３１と第２の編集処理部３２とで、編集処理機能を互いに相違させている。
【００４９】
すなわち、第１の編集処理部３１の編集処理機能と第２の編集処理部３２の編集処理機能とを同じものにする場合には、編集処理を同じ仕方で２回以上繰り返して行なうことと等価であり、この編集処理が、認識結果とその元になった文書との全文にわたる突き合わせチェックを行なうものである場合、前述したように、作業効率が著しく低下してしまう。
【００５０】
本発明では、従来におけるこのような問題を解決するため、第１の編集処理部３１の編集処理機能が、例えば、認識結果とその元になった文書との全文にわたる突き合わせチェックを行なうものである場合、第２の編集処理部３２は、全文にわたる認識結果（すなわち、この場合、編集処理結果）をチェックするのではなく、全文にわたる編集処理結果の中から、所定の抜き取り率で、認識結果（編集処理結果）を抜き出し、抜き出した認識結果（編集処理結果）に対してのみ、確認，修正などの編集処理を行なうようになっている。
【００５１】
より具体的に、文書画像記憶部２に会議録原稿等の文書の文書画像がページ単位に、例えばｎページ分格納され、認識処理部４がｎページ分の文書画像に対してページ単位に認識処理を行ない、ｎページ分の認識結果が認識結果記憶部６（テキストファイル１７）に記憶されるとき、第１の編集処理部３１は、例えば、ｎページ分の認識結果を全ページ（ｎページ）、ページ単位に編集処理（確認，修正）するよう機能する一方、第２の編集処理部３２は、全ページを対象に編集処理を行なうのではなく、例えば、全ページ（ｎページ）分の認識結果（編集処理結果）から、所定の抜き取り率ｗ（０＜ｗ＜１）でページ単位に、ｎ×ｗページ分の認識結果（編集処理結果）を抜き出し、抜き出したｎ×ｗページ分の認識結果（編集処理結果）のみをページ単位に編集処理する機能を有している。
【００５２】
ここで、ｎページ分の認識結果（編集処理結果）から、所定の抜き取り率ｗでｎ×ｗページ分の認識結果（編集処理結果）を抜き出す仕方として、例えば１からｎまでの範囲内で、ｎ×ｗ個の乱数値を発生させ、この乱数によって、ｎページ分からｎ×ｗページ分をランダムに抽出する（抜き出す）ことができる。
【００５３】
なお、ｎページ分の認識結果（編集処理結果）から、上記のような仕方で、ｎ×ｗページ分の認識結果（編集処理結果）を抜き出したときに、抜き出したｎ×ｗページ分の認識結果（編集処理結果）は、編集処理がなされるに先立って、テンポラリファイル４２に一時格納されるようになっている。また、編集処理において、図４（ａ），（ｂ）のような表示制御処理が行なわれる場合、ｎ×ｗページ分の認識結果（編集処理結果）に対応した元の文書画像もテンポラリファイル４２に一時格納されるようになっている。
【００５４】
また、抜き取り率ｗは、例えばユーザによって、条件設定部４０（表示装置１８，入力装置１９）により、任意のものに設定可能となっており、また、抜き取り率ｗは、これを更新（変更）可能になっている。また、抜き取り率ｗは、これが一旦設定されると、更新（変更）がなされるまで、例えばＲＡＭ１３内に現在の抜き取り率として保持されるようになっている。
【００５５】
具体的に、抜き取り率ｗの設定は、次のような仕方で行なうことができる。先ず、図８のような初期画面が表示されている状態で、ユーザが「抜き取り率設定」のアイコン（％）をポイントすると、図９のような抜き取り率設定画面が表示される。ここで、抜き取り率設定画面の抜き取り率設定窓には、現在の抜き取り率ｗ（％）が表示される。なお、このシステムの初期状態（セットアップ直後）では、抜き取り率ｗとしてデフォルト値“１００”が設定されており、従って、この段階では、抜き取り表示窓には“１００”が表示される。ユーザは、これを所望の抜き取り率に設定（変更）したい場合には、例えば入力装置１９から、所望の抜き取り率の数値（％），すなわち１〜１００の範囲の数値を入力する。例えば、編集対象となる会議録原稿の総ページ数が１００ページであり、このうちの２０ページ分を抜き取りたいときには、抜き取り率ｗは、２０／１００＝２０（％）であるので、ユーザは“２０”を入力する。
【００５６】
これにより、抜き取り率設定窓の数値は、“１００”から“２０”に変わる。抜き取り率ｗが２０（％）で良い場合は、ユーザは、抜き取り率設定窓の数値が“２０”であることを確認して、抜き取り率設定画面のアイコン（ＯＫ）をポイントする。これにより、抜き取り率ｗは、２０（％）に確定し、これが更新（変更）されない限り、例えばＲＡＭ１３内にパラメータとして保持される。なお、この設定を取り消したいとき、例えば、この数値“２０”とは異なる数値にしたいときには、ユーザは、抜き取り率設定画面のアイコン（キャンセル）をポイントする。これにより、画面は初期画面に戻り、再び上記の操作を行なって抜き取り率設定画面を表示させ、所望の抜き取り率の数値を入力する。
【００５７】
このようにして、抜き取り率ｗの設定，更新（変更）等を行なうことができる。
【００５８】
図１０は第１の編集処理部３１の処理動作例，操作例を説明するためのフローチャートである。図１０を参照すると、第１の編集処理部３１は、図４（ａ），（ｂ）に示したような画面を表示して、ユーザにページ単位での確認，修正などの編集処理を行なわせることができる。すなわち、第１の編集処理部３１は、先ず、終了ボタンあるいは次ページボタンあるいは確定ボタンが選択されたか否かを判断する（ステップＳ１，Ｓ２，Ｓ３）。
【００５９】
この結果、次ページボタンが選択されたときには、認識結果記憶部６（テキストファイル１７）および文書画像記憶部２（文書画像ファイル１５）に格納されているｎページ分の認識結果および文書画像のうち、未処理分の先頭ページを例えば図４（ａ），（ｂ）に示したように画面表示する（ステップＳ４）。これにより、ユーザは、このページの認識結果を前述のようにして確認，修正等することができる（ステップＳ５）。このようにして、１ページ分の編集処理が終了すると、再びステップＳ１に戻り、上述したと同様の処理が繰り返される。すなわち、この繰り返し処理において、ユーザが順次に次ページボタンを選択すると（ステップＳ２）、認識結果記憶部６（テキストファイル１７）および文書画像記憶部２（文書画像ファイル１５）に格納されているｎページ分の認識結果および文書画像がページ単位に順次に画面表示され、ユーザは、ｎページ分の認識結果をページ単位に、順次、確認，修正することができる。
【００６０】
このような一連の処理において、ユーザが確定ボタンを選択すると（ステップＳ３）、第１の編集処理部３１は、ｎページ分の認識結果の編集（確認，修正等）を全て行なったかをチェックする（ステップＳ６）。この結果、ｎページ分の認識結果の編集（確認，修正等）を全て行なったときには、認識結果に対する編集（ｎページ分の編集）を確定し、この編集処理結果を第２の結果記憶部９ｂ（第２の結果ファイル４１ｂ）に格納する（ステップＳ７）。
【００６１】
また、上記一連の処理において、ユーザが終了ボタンを選択すると（ステップＳ１）、第１の編集処理部３１における編集処理（プログラム）の実行を終了する。
【００６２】
なお、上述の処理例では、次ページボタンによって次ページを順次に選択する処理しか示されていないが、前ページボタンをさらに設け、前ページボタンを選択すると前ページへ戻るなどの処理を追加することも可能である。
【００６３】
また、図１１，図１２は第２の編集処理部３２の処理動作例，操作例を説明するためのフローチャートである。図１１，図１２を参照すると、例えば図８に示したような初期画面が表示されている状態で（ステップＳ１１）、所望のページ数分のページの抜き出しがすでになされてテンポラリファイル４２に格納されているか否かを判断する（ステップＳ１２）。
【００６４】
所望のページ数分のページの抜き出しが未だなされていないときには、総ページから所望のページ数分のページの抜き出しを行ないこれらをテンポラリファイル４２に格納するまでの処理（ステップＳ１３乃至Ｓ１８）を行なう。
【００６５】
すなわち、抜き取り率ｗが所望の値に設定されているか否かを判断し（ステップＳ１３）、所望の値に設定されていないときには、ユーザは、前述のように、抜き取り率設定画面を表示して、所望の抜き取り率ｗを設定する（ステップＳ１４）。このようにして、例えば、ＲＡＭ１３内に所望の抜き取り率ｗが設定されたときには、第２の編集処理部３２は、総ページ数ｎの値の範囲内で、この抜き取り率ｗで、乱数値を発生させ（ステップＳ１５）、発生させた乱数値によって、総ページ数ｎからランダムにｎ×ｗ（％）分のページ番号を抽出する（ステップＳ１６）。次いで、抽出したｎ×ｗ（％）ページ分の上記ページ番号に対応する各ページの認識結果（編集処理結果）および文書画像を第１の結果記憶部９ａ（第１の結果ファイル４１ａ）および文書画像記憶部２（文書画像ファイル１５）からそれぞれ読み出し、これらを、テンポラリファイル４２に格納する（ステップＳ１７）。
【００６６】
このようにして抜き出したｎ×ｗ（％）ページ分の認識結果（編集処理結果）および文書画像がテンポラリファイル４２に格納された後、第２の編集処理部３２は、抜き出したページに関する情報（例えばｎ×ｗページ分のページ番号）の一覧表を画面に表示する（ステップＳ１８）。
【００６７】
この段階で、第２の編集処理部３２は、図４（ａ），（ｂ）に示したような画面を表示して、ユーザにページ単位での確認，修正などの編集処理を行なわせることができる。すなわち、第２の編集処理部３２は、終了ボタンあるいは抽出ボタンあるいは確定ボタンが選択されたか否かを判断する（ステップＳ１９，Ｓ２０，Ｓ２１）。
【００６８】
この結果、抽出ボタンが選択されたときには、抜き出されてテンポラリファイル４２に格納されているｎ×ｗ（％）ページ分の認識結果（編集処理結果）および文書画像のうち、未処理分の先頭ページを例えば図４（ａ），（ｂ）に示したように画面表示する（ステップＳ２２）。これにより、ユーザは、このページの認識結果（編集処理結果）を前述のようにして確認，修正等することができる（ステップＳ２３）。このようにして、１ページ分の編集処理が終了すると、再びステップＳ１２に戻り、上述したと同様の処理が繰り返される。すなわち、この繰り返し処理において、ユーザが順次に抽出ボタンを選択すると（ステップＳ２０）、抜き出されてテンポラリファイル４２に格納されているｎ×ｗ（％）ページ分の認識結果（編集処理結果）および文書画像がページ単位に順次に画面表示され、ユーザは、ｎ×ｗ（％）ページ分の認識結果をページ単位に、順次、確認，修正することができる。
【００６９】
このような一連の処理において、ユーザが確定ボタンを選択すると（ステップＳ２１）、第２の編集処理部３２は、ｎ×ｗ（％）ページ分の認識結果（編集処理結果）の編集（確認，修正等）を全て行なったかをチェックする（ステップＳ２４）。この結果、ｎ×ｗ（％）ページ分の認識結果（編集処理結果）の編集（確認，修正等）を全て行なったときには、認識結果（編集処理結果）に対する抜き取り編集（ｎ×ｗ（％）ページ分の編集）を確定し、この編集処理結果を第２の結果記憶部９ｂ（第２の結果ファイル４１ｂ）に格納する（ステップＳ２５）。
【００７０】
また、上記一連の処理において、ユーザが終了ボタンを選択すると（ステップＳ１９）、第２の編集処理部３２における抜き取り編集処理（プログラム）の実行を終了する。
【００７１】
また、認識処理部４において認識結果とともに確信度が求められる場合、第１の編集処理部３１および第２の編集処理部３２は、認識結果あるいは編集処理結果の確認，修正を行なう際、認識結果あるいは編集処理結果中の低確信度文字については、これを他の文字と識別可能に表示することもできる。例えば、認識結果あるいは編集処理結果の表示領域において、認識結果あるいは編集処理結果中の低確信度文字を反転表示し、また、文書画像（文字画像）の表示領域において、低確信度文字を反転表示することもできる。
【００７２】
また、このように、認識結果とともに確信度が算出されるとき、第１の編集処理部３１および第２の編集処理部３２は、認識結果あるいは編集処理結果の確認，修正などの編集を行なうような場合に、表示装置１８の画面上に表示される認識結果あるいは編集処理結果中および／または文書画像（文字画像）中の確信度が所定の閾値（例えば９０％）以上の文字をスキップさせて、低確信度の文字のみを順番に表示することもできる。すなわち、認識結果あるいは編集処理結果中および／または文書画像（文字画像）中から、確信度が所定閾値（例えば９０％）以下の文字を抽出して、この文字についてのみ、認識結果（編集処理結果）および／または文字画像を次々と表示させることもできる。
【００７３】
なお、この場合、上記確信度の閾値は、例えば条件設定部４０（あるいは図２の入力装置１９）により更新可能に設定される。
【００７４】
また、このような低確信度文字のスキップ表示は、例えば図４（ａ），（ｂ）のような、基準線の一方の側には、該基準線に沿って現在編集対象となる認識結果列あるいは編集処理結果列を表示し、また、該基準線の他方の側には、該基準線の一方の側に表示される現在編集対象となる認識結果列あるいは編集処理結果列に対応した文書画像（文字画像）列を該基準線に沿って表示画面において行なうこともできるし、あるいは、認識結果あるいは編集処理結果のみの表示画面，あるいは文書画像（文字画像）のみの表示画面において行なうこともできる。
【００７５】
このように、第１の編集処理部３１および第２の編集処理部３２において、所定の閾値以上の確信度の文字についてはこれをスキップさせて（飛ばして）、低確信度の文字のみを表示する機能をもたせれば、認識結果あるいは編集処理結果の確認，修正等の際に、利用者は文書全体に目を通す必要がなくなり、作業効率を高めることができる。
【００７６】
上述の例では、このような確信度に基づくスキップ表示機能（スキップ修正機能）を、第１の編集処理部３１と第２の編集処理部３２との両方にもたせるとしたが、このようなスキップ修正機能を、全ページを編集対象にする第１の編集処理部３１にのみもたせ、全ページから抜き出した所定のページだけを編集対象にする第２の編集処理部３２には、スキップ修正機能をもたせないようにすることも可能である。
【００７７】
すなわち、第１の編集処理部３１にスキップ修正機能をもたせることで、全ページを対象にする場合にも、このスキップ修正機能により修正作業を効率良く行なうことができる。一方、このスキップ修正機能を第２の編集処理部３２にもたせない場合にも、第２の編集処理部３２における編集対象は、第１の編集処理部３１においてスキップ修正がなされた結果の編集処理結果であり、また、第２の編集処理部３２では、全ページのうちの一部のページだけを編集対象とするので、スキップ修正せずに１文字毎に逐次確認，修正を行なわせる場合にも、修正作業効率は差程低下せず、また、スキップ修正しないことにより確認精度，修正精度をより一層向上させることができる。
【００７８】
なお、利用者の要望等により、上記とは逆に、このようなスキップ修正機能を、全ページから抜き出した所定のページだけを編集対象にする第２の編集処理部３２にのみもたせ、全ページを編集対象にする第１の編集処理部３１には、スキップ修正機能をもたせないようにすることも可能である。また、第１の編集処理部３１，第２の編集処理部３２のいずれにも、スキップ修正機能をもたせないようにすることも可能である。
【００７９】
さらに、本発明において、第１の編集処理部３１および第２の編集処理部３２は、編集（確認，修正等）前後の履歴（修正履歴）を作成管理するようになっており、このような修正履歴により、修正頻度の高い文字についての情報を修正文字情報として管理し、ユーザにより図８の修正文字通知ボタンが操作されたとき、例えば図１３に示すように、修正文字情報画面を表示装置１８に表示し、ユーザに修正頻度の高い文字を通知する機能をも有している。
【００８０】
具体的に、修正頻度の高い文字としては、第１の編集処理部３１および第２の編集処理部３２において、例えば２０回以上修正されている文字とすることができ、このような文字が存在することによって、修正の頻度が高くなり、修正作業の効率を低下させている。
【００８１】
従って、上記のように修正頻度の高い文字をユーザに通知することによって、ユーザは、辞書管理部１０を起動して、辞書５内のこの文字の標準パターンや標準的な特徴量を修正し、この文字について認識処理部４で正確な認識がなされるようにすることができる。すなわち、修正文字情報（修正頻度の高い文字の情報）を通知することで、辞書管理部１０により認識用の辞書５が更新（学習）され、この認識処理システムの認識精度を逐次向上させることが可能となる。
【００８２】
また、上記の例では、辞書５内のこの文字の標準パターンや標準的な特徴量の修正を、ユーザにより行なわせるとしたが、辞書管理部１０において、自動的に辞書５を更新（学習）するよう構成することも可能である。すなわち、第１の編集処理部３１および第２の編集処理部３２からの修正文字情報を辞書管理部１０に与え、辞書管理部１０において、第１の編集処理部３１および第２の編集処理部３２からの修正文字情報に基づいて、修正頻度の高い文字についての標準パターンや標準的な特徴量を修正頻度が少なくなる方向に自動更新し、辞書５を自動更新（学習）することも可能である。
【００８３】
なお、このような辞書５の更新処理は、例えばページ毎に行なわれても良いし、ｎページ分の文書全体（例えばｎページ分の会議録原稿）の編集処理が完了した時点で行なわれても良い。
【００８４】
また、このような辞書５の更新（学習）がなされることによって、認識処理部４の認識精度が向上し、修正頻度が低下すると考えられるので、辞書５の更新管理がなされる毎に、抜き取り率ｗを低くすることができる。
【００８５】
例えば、第２の編集処理部３２における抜き取り率ｗを、システムの稼働当初は、例えば、１００％に設定して処理を行なわせ、次いで、辞書５が更新されると、抜き取り率ｗを１００％から例えば８０％に設定変更し、次いで、辞書５が更新されると、抜き取り率ｗを８０％から例えば６０％に設定変更するというように、抜き取り率ｗを辞書５の更新の都度、下げることができる。これにより、使用する毎に、作業効率を徐々に高めることが可能となる。
【００８６】
さらに、本発明において、上記第２の編集処理部３２は、抜き出したページについての認識結果（編集処理結果）の確認，修正等の編集を行なったとき、どの程度の割合いで修正がなされたかの情報，すなわち修正率の情報を出力（例えばユーザに通知）する機能をも有している。このような機能をも有している場合、ユーザは、この修正率の情報を見ることで、第１回目の編集処理において確認修正もれの度合を知ることができる。すなわち、第２の編集処理部３２での編集処理において、修正率が高いと、第１回目の編集処理において確認修正もれが多いことがわかる。これにより、ユーザは、第１回目の編集処理にスキップ修正が用いられる場合、この修正率情報に基づき確信度の閾値の変更を行ない、第１回目の編集処理における確認修正もれの度合いを少なくすることができる。例えば、修正率が高い場合には、確信度の閾値をより高く設定し直す一方、修正率が低い場合は、確信度の閾値をより低く設定し直すことができる。
【００８７】
なお、このような確信度の閾値の変更をユーザによらずに自動的に行なうこともできる。すなわち、修正率情報の出力に応じて、確信度の閾値を自動的に更新することもできる。
【００８８】
上述の説明では、第１の編集処理部３１では抜き取り処理を行なわず、第２の編集処理部３２で抜き取り処理を行なうとしたが、これとは逆に、第１の編集処理部３１で抜き取り処理を行ない、第２の編集処理部３２で抜き取り処理を行なわないようにすることもできる。また、この場合、例えば、第１の編集処理部３１ではスキップ修正処理を行なわず、第２の編集処理部３２でスキップ修正処理を行なうようにすることもできる。なお、ここで、抜き取り処理を行なわないことは、抜き取り率ｗを１００％にすることを意味する。
【００８９】
また、上述の説明では、説明の便宜上、編集処理部８が第１の編集処理部３１と第２の編集処理部３２とからなるものとしたが、第１の編集処理部３１，第２の編集処理部３２のそれぞれの機能を、１つの編集処理部８にもたせることも可能である。
【００９０】
また、上述の説明では、抜き取り率ｗを、ページ単位に設定したが（全ページに対する抜き取りページ数として設定したが）、ページ単位に限らず、任意の単位（例えば行単位，あるいはブロック単位）に設定することも可能である。
【００９１】
換言すれば、本発明は、認識結果に対して少なくとも２回の編集処理を施し、その際、各編集処理において、認識結果の抜き取り率を互いに相違させ、各編集処理において、所定の抜き取り率で認識結果の抜き取りがなされたとき、抜き取られた認識結果に対してのみ、編集処理を施すことを特徴としている。
【００９２】
次に、このような構成の文字認識システムの処理動作の具体例について説明する。本発明の文字認識システムがソフトウェアパッケージ（情報記録媒体）２０の形で提供される場合、ユーザは、この情報記録媒体２０を媒体駆動装置２１にセットし、文字認識システムソフトを例えばＲＡＭ１３にロードする。この段階で、ＣＰＵ１１は、例えばＲＡＭ１３にロードされた文字認識システムソフトに従って、処理を実行することができる。
【００９３】
スキャナ１４が例えばＡＤＦである場合、スキャナ１４に例えば複数枚の原稿をセットすると、スキャナ１４は、複数枚の原稿を順次に読取る。説明を簡単にするため、各原稿が片面単票原稿であるとすると、１枚の原稿が１ページに対応し、従って、例えばｎ（ｎ≧１）枚の原稿を読取ると、ｎページ分の文書画像がページ単位に得られ、これらが、文書画像ファイル１５に順次に格納される。
【００９４】
ＣＰＵ１１では、文書画像ファイル１５に格納されたｎページ分の文書画像に対し、辞書ファイル１６中の辞書を用いてページ単位に文字認識処理を行ない、ページ毎の認識結果をテキストとして、テキストファイル１７に順次に格納する。
【００９５】
ユーザは、例えばこの段階で、テキストファイル１７にページ単位に格納されたｎページ分の認識結果（テキスト）に対して、ページ単位に確認，修正等の編集処理（第１回目の編集処理）を行なうことができる。すなわち、ユーザはページ毎に誤認識文字等を修正することができる。この編集処理は、前述の第１の編集処理部３１によって全ページｎを対象に行なわれる。この場合、この編集処理は、ユーザが修正の必要な箇所にマウス等でカーソルを移動させて行なうこともできるが、前述のようなスキップ修正機能が備わっている場合、低確信度文字のところに、カーソルを自動的にスキップさせ、低確信度文字についての認識結果をユーザに確認させ、また、修正させるようにすることもできる。すなわち、例えば１ページ分の認識結果（テキスト）の先頭から低確信度文字をサーチし、低確信度文字が検出されたときには、この文字のところにカーソルを自動設定して、ユーザに確認，修正等を行なわせ、この文字について確認，修正等が終了した旨のキー操作がなされると、次の低確信度文字のところにカーソルを自動的にスキップし、ユーザにこの文字について確認，修正を行なわせるような表示制御を行なうこともできる。これにより、認識結果の確認，修正等の際に、ユーザは文書全体に目を通す必要がなくなり、作業効率を高めることができる。
【００９６】
このようにして、全ページｎ分の認識結果に対する確認，修正等の編集が終了すると、この全ページｎ分の編集処理結果（認識結果）を第１の結果ファイル４１ａに格納する。
【００９７】
この段階で、ユーザは、認識結果に対して第２回目の編集処理を行なうことができる。すなわち、第１の結果ファイル４１ａに格納された認識結果（編集処理結果）に対し、さらに編集処理を行なうことができる。この編集処理は、前述の第２の編集処理部３２によって、第１の結果ファイル４１ａに格納された全ページｎ分の認識結果（編集処理結果）の中から所定の抜き取り率ｗで（予め設定された抜き取り率ｗで）任意のページをランダムに抜き出して行なわれる。すなわち、利用者は、抜き出したページについて、誤認識文字等を修正することができる。この場合、この編集処理は、例えばスキップ修正機能を働かせることなく、行なわれる。このようにして抜き出したページの認識結果（編集処理結果）に対する確認，修正等の編集が終了すると、この編集処理結果を第２の結果ファイル４１ｂに格納する。このようにして、第１回目，第２回目の編集処理を行なうことができる。また、必要に応じて、第３回目の編集処理を行なうこともできる。
【００９８】
上記のように第１回目，第２回目の編集処理がなされるとき、辞書管理部１０では、第１回目の編集前後の修正履歴、および第２回目の編集前後の修正履歴を利用して、修正頻度の高い文字について、辞書５（例えば、ユーザパターン辞書、あるいはユーザ言語辞書など）のメンテナンス（更新など）を行なう。なお、この辞書メンテナンスは、例えば、この処理の専門家によって行なうことができる。修正頻度の高い文字がどの程度存在するかの情報は、上記修正履歴中の「修正文字情報」により、容易に確認可能であり、例えば、ある文字についての標準パターンなどを更新後、ある一定の期間様子を見て、この文字について更新した標準パターンを辞書５に登録しても大丈夫だと判断した場合には、この文字について更新した標準パターンを辞書５に登録して用いることができる。
【００９９】
また、ユーザは、第２回目の編集処理を行なったとき、そのときの修正率の情報を得ることができる。すなわち、ユーザは、第２回目の編集処理で得られた修正率情報により、第１回目の編集処理において確認修正漏れがどの程度発生しているかを任意のタイミングで確認することができ、これによって、確信度の閾値を適切なものに設定変更することができる。
【０１００】
また、上述の例では、ｎページ分の認識結果（編集処理結果）から、所定の抜き取り率ｗでｎ×ｗページ分の認識結果（編集処理結果）を抜き出す仕方として、例えば１からｎまでの範囲内で、ｎ×ｗ個の乱数値を発生させ、この乱数によって、ｎページ分からｎ×ｗページ分をランダムに抽出する（抜き出す）ようにしているが、所定の抜き取り率ｗでｎ×ｗページ分の認識結果（編集処理結果）を抜き出す仕方として、乱数を発生させてランダムに抽出する方法以外の任意の抜き出し法を用いることもできる。例えば、第１ページ目（表紙部分）は必ず抜き取って検査しなければならないような場合、上述のようなランダムな抜き取り法では、第１ページ目（表紙部分）が抜き取られないことがある。従って、このような場合には、必ず第１ページ目（表紙部分）が抜き取られるような任意の演算法で、ｎページからｎ×ｗページを抽出し、抜き取ることもできる。
【０１０１】
【発明の効果】
以上に説明したように、請求項１乃至請求項６記載の発明によれば、認識結果の確認，修正などの編集において、編集の作業効率を著しく向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る文字認識システムの構成例を示す図である。
【図２】図１の文字認識システムのハードウェア構成例を示す図である。
【図３】ある１ページ分の文書の例を示す図である。
【図４】図３の文書の認識結果あるいは編集処理結果を確認，修正等するための表示例を示す図である。
【図５】表示画面上で、基準線の一方の側に表示される認識結果あるいは編集処理結果と基準線の他方の側に表示される文書画像（文字画像）とを、常に連動させて、スクロールあるいは移動させる機能を説明するための図である。
【図６】表示画面上で、基準線の一方の側に表示される認識結果あるいは編集処理結果と基準線の他方の側に表示される文書画像（文字画像）とを、常に連動させて、スクロールあるいは移動させる機能を説明するための図である。
【図７】図３の文書の認識結果を確認，修正等するための表示例を示す図である。
【図８】編集処理の初期画面の一例を示す図である。
【図９】抜き取り設定画面の一例を示す図である。
【図１０】第１の編集処理部の処理例を示すフローチャートである。
【図１１】第２の編集処理部の処理例を示すフローチャートである。
【図１２】第２の編集処理部の処理例を示すフローチャートである。
【図１３】修正文字情報画面の表示例を示す図である。
【符号の説明】
１ 画像入力部
２ 文書画像記憶部
４ 認識処理部
５ 辞書
６ 認識結果記憶部
８ 編集処理部
９ 編集処理結果記憶部
９ａ 第１の結果記憶部
９ｂ 第２の結果記憶部
１０ 辞書管理部
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ スキャナ
１５ 文書画像ファイル
１６ 辞書ファイル
１７ テキストファイル
１８ 表示装置
１９ 入力装置
２０ 情報記録媒体
２１ 媒体駆動装置
３１ 第１の結果記憶部
３２ 第２の結果記憶部
４０ 条件設定部
４１ 編集処理結果ファイル
４１ａ 第１の結果ファイル
４１ｂ 第２の結果ファイル
４２ テンポラリファイル
Claims (6)
- 認識用の辞書と、文書画像に対して前記辞書を用いてパターン認識処理を施す認識処理手段と、該認識処理手段による認識結果に対してユーザに確認，修正などの編集を行なわせる編集処理手段とを備え、前記編集処理手段は、認識結果に対して少なくとも２回の編集処理を施し、その際、各編集処理において、認識結果あるいは編集処理結果の抜き取り率を互いに相違させ、前記各編集処理は、所定の抜き取り率で認識結果あるいは編集処理結果のページまたは行またはブロック及びそれに対応する元の文書画像を抜き取り、表示画面上に、抜き取った認識結果あるいは編集処理結果を表示する際の基準線を表示し、この基準線の一方の側には、該基準線に沿って現在編集対象となる認識結果あるいは編集処理結果を表示し、また、該基準線の他方の側には、該基準線の一方の側に表示される現在編集対象となる認識結果あるいは編集処理結果に対応した文書画像を該基準線に沿って表示することを特徴とするパターン認識システム。
- 請求項１記載のパターン認識システムにおいて、前記抜き取り率は、更新可能に設定されることを特徴とするパターン認識システム。
- 請求項１記載のパターン認識システムにおいて、前記認識処理手段で認識結果とともに認識結果の確信度が算出されるとき、前記編集処理手段は、１回目の編集処理では、所定の閾値以上の確信度の認識結果をスキップさせ、低確信度の認識結果のみを修正させるようになっていることを特徴とするパターン認識システム。
- 請求項３記載のパターン認識システムにおいて、前記編集処理手段は、さらに、２回目の編集処理で修正がなされた割合いを修正率として出力する機能を有しており、前記確信度の閾値は、前記編集処理手段から出力される修正率に応じて更新可能になっていることを特徴とするパターン認識システム。
- 請求項１記載のパターン認識システムにおいて、さらに、前記辞書を管理する辞書管理手段が設けられており、前記辞書管理手段は、前記編集処理手段において修正頻度の高い文字についての情報が修正文字情報として出力されるとき、該修正文字情報に基づいて辞書の更新を行なう機能を有していることを特徴とするパターン認識システム。
- 請求項５記載のパターン認識システムにおいて、辞書の更新の都度、抜き取り率を低下させることを特徴とするパターン認識システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23143596A JP3619333B2 (ja) | 1996-08-13 | 1996-08-13 | パターン認識システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23143596A JP3619333B2 (ja) | 1996-08-13 | 1996-08-13 | パターン認識システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1063773A JPH1063773A (ja) | 1998-03-06 |
| JP3619333B2 true JP3619333B2 (ja) | 2005-02-09 |
Family
ID=16923511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23143596A Expired - Fee Related JP3619333B2 (ja) | 1996-08-13 | 1996-08-13 | パターン認識システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3619333B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4873138B2 (ja) * | 2006-06-21 | 2012-02-08 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| JP5356654B2 (ja) | 2007-03-15 | 2013-12-04 | 日本電気株式会社 | 郵便物自動区分システム |
| JP2009230658A (ja) * | 2008-03-25 | 2009-10-08 | Mitsubishi Electric Corp | 文字検索システム |
| JP2013130997A (ja) * | 2011-12-21 | 2013-07-04 | Kyocera Document Solutions Inc | 画像形成装置 |
| JP6464440B1 (ja) * | 2017-12-27 | 2019-02-06 | 株式会社日本デジタル研究所 | 会計処理装置、会計処理システム、会計処理方法及びプログラム |
| JP7260455B2 (ja) * | 2019-10-25 | 2023-04-18 | 株式会社 ゆうちょ銀行 | 情報処理装置、情報処理方法および情報処理プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57162081A (en) * | 1981-03-31 | 1982-10-05 | Toshiba Corp | Optical character reader |
| JPH03185582A (ja) * | 1989-12-14 | 1991-08-13 | Fujitsu Ltd | 文字認識装置の辞書修正方式 |
| JPH05346970A (ja) * | 1991-04-04 | 1993-12-27 | Fuji Xerox Co Ltd | 文書認識装置 |
| JPH0728766A (ja) * | 1993-06-24 | 1995-01-31 | Toshiba Corp | パターン認識システム及び監視システム |
| JPH0793485A (ja) * | 1993-09-22 | 1995-04-07 | Toshiba Corp | 画像ファイリング装置 |
| JPH08202485A (ja) * | 1995-01-31 | 1996-08-09 | Toshiba Corp | タブレット劣化検出方法、タブレット劣化報知方法、文字認識方法及び文字認識装置 |
-
1996
- 1996-08-13 JP JP23143596A patent/JP3619333B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1063773A (ja) | 1998-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4313422B2 (ja) | 適応学習を使用する選択のための代案を提示する方法と装置 | |
| JPH11149520A (ja) | 文書画像処理装置および方法 | |
| RU2641225C2 (ru) | Способ выявления необходимости обучения эталона при верификации распознанного текста | |
| JPH1021326A (ja) | 認識結果表示方法および文字認識システムおよび情報記録媒体 | |
| CN102289667A (zh) | 对经历光学字符识别(ocr)过程的文本文档中出现的错误的用户纠正 | |
| JP3619333B2 (ja) | パターン認識システム | |
| EP0457534A2 (en) | Image processing method and apparatus | |
| JP2006277001A (ja) | 入力イメージ表示方法および入力イメージ表示プログラム | |
| US11042695B2 (en) | Information processing apparatus and non-transitory computer readable medium for generating input screen information | |
| WO2002003240A1 (en) | Proofreading system of chinese characters by means of one-to-one comparison | |
| JPH07271916A (ja) | 学習パターン生成装置及びこれを用いた文字認識装置 | |
| JPH07129713A (ja) | 文字認識装置 | |
| JP4162195B2 (ja) | 画像処理装置、及び画像処理プログラム | |
| JP2005352735A (ja) | 文書ファイル作成支援装置、文書ファイル作成支援方法及びそのプログラム | |
| JP4167386B2 (ja) | 地図記号認識結果の確認支援方法及び装置並びに記録媒体 | |
| JP3142902B2 (ja) | 画像記憶装置および画像検索方法 | |
| JPH0520492A (ja) | 文書認識修正装置 | |
| JP2972791B2 (ja) | 文書作成装置における編集修正システム | |
| JPH1139366A (ja) | コンピュータ入力システム及び方法 | |
| JPH06251187A (ja) | 文字認識誤り修正方法及び装置 | |
| JPH10283393A (ja) | 設計支援システム | |
| JPH06348889A (ja) | 文字認識装置 | |
| JP2000123116A (ja) | 文字認識結果修正方法 | |
| JPH0685179B2 (ja) | 画像処理プログラムの生成方法 | |
| KR20230103855A (ko) | 이미지 스타일 변형 장치, 방법 및 이를 위한 컴퓨터 판독가능 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041112 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |