JPH1021326A

JPH1021326A - 認識結果表示方法および文字認識システムおよび情報記録媒体

Info

Publication number: JPH1021326A
Application number: JP8188341A
Authority: JP
Inventors: Nahoko Kudou; 奈保子工藤; Kaoru Kaneko; かおる金子
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1996-06-28
Filing date: 1996-06-28
Publication date: 1998-01-23
Also published as: CN1103088C; CN1170912A

Abstract

(57)【要約】【課題】認識結果の確認，修正などの編集時等におい
て、作業効率を著しく向上させることの可能な認識結果
表示方法を提供する。【解決手段】画面上に縦の基準線Ｌ₁を表示し、この
基準線Ｌ₁に沿って、そのすぐ右側には、現在編集対象
となる認識結果(テキスト)列“本日は晴天なり、”を行
方向(＝縦)に表示し、また、そのすぐ左側には、上記編
集対象となる認識結果(テキスト)列に対応した文書画像
(文字画像)列“本日は晴天なり、”を縦の基準線Ｌ₁に
沿って行方向(＝縦)に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書画像から切り
出される文字画像に対して文字認識処理を行なって得ら
れる認識結果を画面上に表示する認識結果表示方法およ
び文字認識システムおよび情報記録媒体に関する。

【０００２】

【従来の技術】一般に、文字認識システムでは、原稿等
の文書をスキャナ等で読込み、文書画像とした後、この
文書画像から文字画像を切り出して文字認識処理を行な
い、認識結果を得るようになっている。このようなシス
テムにおいて、認識結果の確認，修正等の編集を容易に
させるため、従来、例えば特公平７−７２９０３号に示
されているように、得られた認識結果とその元となった
文書画像との両方を画面上に表示する機能を有するもの
が知られている。

【０００３】より具体的に、特公平７−７２９０３号に
示されている文字認識装置では、表示部に、図１３に示
すように、２値化された文書画像と認識結果とを同時に
表示するようにしている。すなわち、図１３の例では、
表示部の画面の左半分には、文書画像が表示され、表示
部の画面の右半分には、画面左半分に表示されている文
書画像と対応した認識結果が表示され、必要に応じて、
左半分に表示される文書画像と右半分に表示される認識
結果とは、互いに対応するように、スクロール可能とな
っている。具体的に、図１３の状態において、左半分に
表示されている文書画像を２行分上方向にスクロールさ
せると、図１４に示すように、右半分に表示されている
認識結果も、これに連動させて上方向にスクロールさせ
ることができる。

【０００４】このように、上述の文字認識装置では、文
書画像と認識結果の両方が表示され、その一方の画像に
対応するように他方の画像がスクロールすることによ
り、オペレータは、表示部の表示画面上で、認識結果と
原稿の対比を行なうことができる。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の文字認識システムでは、文字認識結果の確認，
修正の際に、認識結果とその元となった文書画像とを表
示画面上に対応させて表示し、また、これらを互いに連
動させてスクロールできるものの、認識結果と文書画像
との対応関係が見ずらいという問題があった。すなわ
ち、オペレータは、表示画面上で、認識結果を文書画像
と照合する場合、その都度、視線の大きな移動を強いら
れるため、疲労度が高くなり、作業効率が低下するとい
う問題があった。また、文字認識結果の確認，修正の際
に、オペレータは、文書画像全体に目を通す必要が生
じ、特に大量の文書画像の認識結果の確認，修正を行な
うような場合に、作業効率が低下するという問題があっ
た。

【０００６】本発明は、認識結果の確認，修正などの編
集時等において、作業効率を著しく向上させることの可
能な認識結果表示方法および文字認識システムおよび情
報記録媒体を提供することを目的としている。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明は、所定の文書画像に対して文
字認識処理を行なって得られる認識結果を表示画面に表
示する認識結果表示方法において、表示画面上に、認識
結果を表示する際の基準線を表示し、この基準線の一方
の側には、該基準線に沿って現在編集対象となる認識結
果列を表示し、また、該基準線の他方の側には、該基準
線の一方の側に表示される現在編集対象となる認識結果
列に対応した文書画像列を該基準線に沿って表示し、こ
の場合、現在編集対象となる認識結果列とこれに対応し
た文書画像列とを、該基準線を挾んで互いに対向して表
示することを特徴としている。

【０００８】また、請求項２記載の発明は、所定の文書
画像に対して文字認識処理を行なって得られる認識結果
を表示画面に表示する認識結果表示方法において、文字
認識処理では、認識結果とともに認識結果の確信度を算
出し、認識結果を表示画面に表示する際に所定の閾値以
上の確信度の文字をスキップさせて表示することを特徴
としている。

【０００９】また、請求項３記載の発明は、文書画像を
入力する画像入力手段と、該文書画像に対して文字認識
処理を施す認識処理手段と、該認識処理手段による認識
結果が表示画面上に表示される表示手段と、該認識結果
を表示手段に表示する際の表示制御を行なう表示制御手
段とを備え、表示制御手段は、表示画面上に、認識結果
を表示する際の基準線を表示し、この基準線の一方の側
には、該基準線に沿って現在編集対象となる認識結果列
を表示し、また、該基準線の他方の側には、該基準線の
一方の側に表示される現在編集対象となる認識結果列に
対応した文書画像列を該基準線に沿って表示し、この場
合、現在編集対象となる認識結果列とこれに対応した文
書画像列とを、該基準線を挾んで互いに対向して表示す
るようになっていることを特徴としている。

【００１０】また、請求項４記載の発明は、請求項３記
載の文字認識システムにおいて、基準線についての条件
を設定するための基準線設定手段がさらに設けられてお
り、表示制御手段は、基準線設定手段により設定された
基準線についての条件に従って、基準線を表示すること
を特徴としている。

【００１１】また、請求項５記載の発明は、請求項３記
載の文字認識システムにおいて、認識結果が表示される
画面領域と文書画像が表示される画面領域とが、それぞ
れウインドウとして設定される場合、基準線は、双方の
ウインドウの枠の重なり部分として表示されることを特
徴としている。

【００１２】また、請求項６記載の発明は、文書画像を
入力する画像入力手段と、該文書画像に対して文字認識
処理を施す認識処理手段と、該認識処理手段による認識
結果が表示画面上に表示される表示手段と、認識処理手
段による認識結果の確信度を求める確信度算出手段と、
該認識結果を表示手段に表示する際の表示制御を行なう
表示制御手段とを備え、表示制御手段は、認識結果を表
示する際に所定の閾値以上の確信度の文字をスキップさ
せて表示することを特徴としている。

【００１３】また、請求項７記載の発明は、表示画面上
に、認識結果を表示する際の基準線を表示し、この基準
線の一方の側には、該基準線に沿って現在編集対象とな
る認識結果列を表示し、また、該基準線の他方の側に
は、該基準線の一方の側に表示される現在編集対象とな
る認識結果列に対応した文書画像列を該基準線に沿って
表示し、この場合、現在編集対象となる認識結果列とこ
れに対応した文書画像列とを、該基準線を挾んで互いに
対向して表示するためのプログラムが情報記録媒体に記
録されていることを特徴としている。

【００１４】また、請求項８記載の発明は、文字認識処
理では、認識結果とともに認識結果の確信度を算出し、
認識結果を表示画面に表示する際に所定の閾値以上の確
信度の文字をスキップさせて表示するためのプログラム
が情報記録媒体に記録されていることを特徴としてい
る。

【００１５】請求項１乃至請求項８記載の発明では、認
識結果の確認，修正などの編集時等において、作業効率
を著しく向上させることができる。

【００１６】特に、請求項１，請求項３乃至請求項５，
請求項７記載の発明は、表示画面上に、認識結果を表示
する際の基準線を表示し、この基準線の一方の側には、
該基準線に沿って現在編集対象となる認識結果列を表示
し、また、該基準線の他方の側には、該基準線の一方の
側に表示される現在編集対象となる認識結果列に対応し
た文書画像列を該基準線に沿って表示し、この場合、現
在編集対象となる認識結果列とこれに対応した文書画像
列とを、該基準線を挾んで互いに対向して表示するの
で、利用者は、現在編集対象となる認識結果(テキスト)
列を、その元となる文書画像(文字画像)列と画面上で極
めて容易に照合することができ(視線を大きく移動させ
たりすることなく照合することができ)、現在編集対象
となる認識結果(テキスト)中で、元の文書画像(文字画
像)と異なる箇所(誤認識した箇所，あるいは抜け等の生
じた箇所)を極めて容易に見出すことができる。

【００１７】また、請求項２，請求項６，請求項８記載
の発明は、文字認識処理では、認識結果とともに認識結
果の確信度を算出し、認識結果を表示画面に表示する際
に所定の閾値以上の確信度の文字をスキップさせて表示
するので、認識結果の確認，修正等の際に、利用者は文
書全体に目を通す必要がなくなり、作業効率を高めるこ
とができる。

【００１８】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図１は本発明に係る文字認識システ
ムの構成例を示す図である。図１を参照すると、この文
字認識システムは、原稿などの文書を文書画像として入
力する画像入力部１と、画像入力部１で読込まれた文書
画像を記憶する文書画像記憶部２と、画像入力部１から
入力された文書画像から認識対象となる文字画像を切り
出して該文字画像の特徴を抽出して所定の辞書５と比較
する文字認識処理を行なう認識処理部４と、認識処理部
４からの認識結果を記憶する認識結果記憶部６と、ディ
スプレイなどの表示部７と、認識結果についての確認，
修正などの編集等を行なうために、認識結果を表示部７
の画面上に表示する制御を行なう表示制御部８と、認識
結果の表示形式等の条件を設定するための条件設定部９
とを有している。

【００１９】図２は図１の文字認識システムのハードウ
ェア構成例を示す図である。図２を参照すると、この文
字認識システムは、例えばパーソナルコンピュータ等で
実現され、全体を制御するＣＰＵ１１と、ＣＰＵ１１の
制御プログラム等が記憶されているＲＯＭ１２と、ＣＰ
Ｕ１１のワークエリア等として使用されるＲＡＭ１３
と、原稿等の文書を文書画像として読込むスキャナ１４
と、スキャナ１４で読込まれた文書画像(あるいは、文
書画像から認識用に切り出された文字画像)が例えばペ
ージ単位で例えば圧縮されて記憶される文書画像ファイ
ル１５と、文字認識用の辞書が記憶されている辞書ファ
イル１６と、文書画像(文字画像)に対して文字認識処理
を行なって得られた認識結果がテキスト(コード化され
た情報)として記憶されるテキストファイル１７と、認
識結果の表示形式等の条件を設定したり、得られた認識
結果(テキスト)に対して確認，修正などの編集を行なっ
たりするためのディスプレイ１８および入力装置１９と
を有している。

【００２０】ここで、スキャナ１４，文書画像ファイル
１５，辞書１６，テキストファイル１７は、図１の画像
入力部１，文書画像記憶部２，辞書５，認識結果記憶部
６にそれぞれ対応している。また、ＣＰＵ１１は、図１
の認識処理部４，表示制御部８の機能を有している。

【００２１】なお、ＣＰＵ１１におけるこのような認識
処理部，表示制御部等としての機能は、例えばソフトウ
ェアパッケージ(具体的には、ＣＤ−ＲＯＭ等の情報記
録媒体)の形で提供することができ、このため、図２の
例では、情報記録媒体２０がセットさせるとき、これを
駆動する媒体駆動装置２１が設けられている。

【００２２】また、入力装置１９には、例えばキーボー
ド，マウス等を用いることができ、この場合、ディスプ
レイ１８の画面に表示されているアイコン等をマウスに
よってポイントすることで、処理の選択や、所定処理の
開始，終了指示などを行なったり、キーボードやマウス
により、画面上で、カーソル移動を行なったり、さらに
は、スクロールを行なったりすることができる。

【００２３】換言すれば、本発明の文字認識システム
は、イメージスキャナ，ディスプレイ等を備えた汎用の
計算機システムにＣＤ−ＲＯＭ等の情報記録媒体に記録
されたプログラムコードを読み込ませて、この汎用計算
機システムのマイクロプロセッサに文字認識処理を実行
させる装置構成においても実施することが可能である。
この場合、本発明の文字認識処理プログラムや表示制御
プログラムなどを格納する情報記憶媒体としては、ＣＤ
−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，Ｆ
Ｄ等が用いられても良い。また、文書画像の入力は、ス
キャナを使用しないで、画像イメージファイルとして与
えられても良い。

【００２４】ところで、本発明では、表示制御部８は、
認識結果(テキスト)の確認，修正などの編集がなされる
ような場合に、表示部７(ディスプレイ１８)の画面上
に、認識結果を表示する際の基準線を表示し、この基準
線の一方の側には、該基準線に沿って現在編集対象とな
る認識結果(テキスト)列を表示し、また、該基準線の他
方の側には、該基準線の一方の側に表示される現在編集
対象となる認識結果(テキスト)列に対応した文書画像
(文字画像)列を該基準線に沿って表示し、この場合、現
在編集対象となる認識結果(テキスト)列とこれに対応し
た文書画像(文字画像)列とを、該基準線を挾んで互いに
対向して(並列に)表示するようになっている。

【００２５】図３には、ある１ページ分の文書の例が示
されており、図４(ａ)，(ｂ)には、図３の文書の認識結
果を確認，修正等するための表示例がそれぞれ示されて
いる。

【００２６】図４(ａ)の表示例では、画面上に縦の基準
線Ｌ₁を表示し、この基準線Ｌ₁に沿って、そのすぐ右側
には、現在編集対象となる認識結果(テキスト)列“本日
は晴天なり、”を行方向(＝縦)に表示し、また、そのす
ぐ左側には、上記編集対象となる認識結果(テキスト)列
に対応した文書画像(文字画像)列“本日は晴天なり、”
を縦の基準線Ｌ₁に沿って行方向(＝縦)に表示してい
る。

【００２７】また図４(ｂ)の表示例では、画面上の横の
基準線Ｈ₁を表示し、この基準線Ｈ₁に沿って、そのすぐ
上側には、現在編集対象となる認識結果(テキスト)列
“本日は晴天なり、”を行方向(＝横)に表示し、また、
そのすぐ下側には、上記編集対象となる認識結果(テキ
スト)列に対応した文書画像(文字画像)列“本日は晴天
なり、”を横の基準線Ｈ₁に沿って行方向(＝横)に表示
している。

【００２８】なお、表示画面上において、図４(ａ)のよ
うに行方向を縦にするか、あるいは、図４(ｂ)のように
行方向を横にするかは、例えば認識処理開始時などに、
例えば図１の条件設定部９や図２の入力装置１９などに
おいて、行方向を「縦」または「横」と指定することで
設定され、また、これに応じて、基準線をＬ₁のように
縦方向に設定するか、Ｈ₁のように横方向に設定するか
を設定できる。

【００２９】あるいは、基準線については、これを別途
に、縦方向Ｌ₁，横方向Ｈ₁のように、例えば図１の条件
設定部９や図２の入力装置１９などにより設定すること
ができる。換言すれば、基準線についての条件を設定す
るための基準線設定部が設けられていても良い。

【００３０】また、図４(ａ)，(ｂ)の表示例において、
編集対象となる認識結果(テキスト)が表示される画面領
域は、ウィンドウ(テキスト編集窓)Ｗ₁として設定さ
れ、この場合、画面上のテキスト編集窓Ｗ₁には、テキ
ストファイル１７から編集対象となる認識結果(テキス
ト)の全部あるいは、一部が表示され、この際、基準線
と最も隣接して、現在編集対象となる認識結果列(テキ
スト列)が表示されるようになっている。

【００３１】また、図４(ａ)，(ｂ)の表示例において、
文書画像(文字画像)が表示される画面領域も、ウィンド
ウ(イメージ窓)Ｗ₂として設定され、この場合、画面上
のイメージ窓Ｗ₂には、文書画像ファイル１５から、文
書画像(文字画像)が読み出されて表示され、この際、基
準線と最も隣接して、基準線の一方の側において基準線
と最も隣接して表示される認識結果列(テキスト列)に対
応した文書画像(文字画像)列が表示されるようになって
いる。

【００３２】このように、認識結果(テキスト)が表示さ
れる画面領域と文書画像(文字画像)が表示される画面領
域とが、それぞれウインドウ(すなわち、テキスト編集
窓Ｗ₁，イメージ窓Ｗ₂)として設定される場合、基準線
Ｌ₁あるいはＨ₁を、双方のウインドウの枠の重なり部分
(すなわち、テキスト編集窓Ｗ₁の枠とイメージ窓Ｗ₂の
枠との重なり部分)として表示することもできる。この
場合には、基準線の表示形式(基準線をＬ₁のように表示
するか、Ｈ₁のように表示するか)は、例えば条件設定部
９において、ウインドウ(すなわち、テキスト編集窓，
イメージ窓)をどのように表示するかを設定すること
で、自動的に定められる。

【００３３】また、本発明において、表示制御部８は、
表示部７の画面上で、基準線の一方の側に表示される認
識結果(テキスト)と基準線の他方の側に表示される文書
画像(文字画像)とを、常に連動させて、スクロールある
いは移動させる機能を有している。具体的に、例えば図
４(ａ)の状態で、基準線Ｌ₁の右側に表示されている認
識結果(テキスト)を例えば右方向に１行分移動させる
と、図５に示すように、これと連動させて、基準線Ｌ₁
の左側に表示されている文書画像(文字画像)も右方向に
１行分移動させるような表示制御を行なうことができ
る。また、例えば図４(ａ)の状態で、基準線Ｌ₁の右側
に表示されている認識結果(テキスト)を例えば上方向に
２文字分移動させると、図６に示すように、これと連動
させて、基準線Ｌ₁の左側に表示されている文書画像(文
字画像)も上方向に２文字分移動させるような表示制御
を行なうことができる。なお、このような認識結果，文
書画像のスクロール，移動は、それぞれのウインドウを
互いに連動させて移動させることで行なうこともでき
る。

【００３４】このように、表示部７の画面上で、基準線
の一方の側に表示される認識結果(テキスト)と基準線の
他方の側に表示される文書画像(文字画像)とを、常に連
動させて、スクロールあるいは移動させる機能を有して
いることにより、図５あるいは図６からもわかるよう
に、常に、現在編集対象となる認識結果列とこれに対応
した文書画像(文字画像)列とを、該基準線に沿って、か
つ、該基準線を挾んで互いに対向して(並列に)表示する
ことができる。

【００３５】また、表示制御部８は、認識結果の確認，
修正を行なう際、現在修正中の文字については、これが
現在修正中であることを識別可能に表示することもでき
る。具体的に、図４(ａ)の例において、例えば図７のよ
うに、“天”が“夫”と誤認識されており、認識結果
(テキスト)中で現在修正中の文字が“夫”である場合、
認識結果の表示領域において“夫”の文字のところを例
えば矩形で囲み、また、文書画像の表示領域において、
これに対応した“天”の文字画像のところを例えば赤色
の矩形で囲むこともできる。

【００３６】また、表示制御部８は、認識結果(テキス
ト)の確認，修正を行なう際、認識結果(テキスト)中の
低確信度文字については、これを他の文字と識別可能に
表示することもできる。例えば、認識結果(テキスト)の
表示領域において、認識結果(テキスト)中の低確信度文
字を反転表示し、また、文書画像(文字画像)の表示領域
において、低確信度文字を反転表示することもできる。

【００３７】また、図４(ａ)，(ｂ)などの表示例におい
て、文書画像(文字画像)を表示する場合、後述のよう
に、文書画像ファイル１５に例えば圧縮されて格納され
ている文書画像(文字画像)を拡大して、例えばスキャナ
入力時の文書画像と等倍で表示することもできる。

【００３８】また、図４(ａ)，(ｂ)などの表示例では、
画面には、認識結果(テキスト)と文書画像(文字画像)の
みしか表示されていないが、後述のように、この画面に
おいて、さらに、例えば編集対象ページのイメージ全体
を表示し、また、編集対象ページにおいて、修正した文
字，低確信度の文字数，総文字数等の情報を表示するこ
とも可能である。

【００３９】また、上述のように、低確信度文字につい
ての表示を行なう場合、認識処理部４は、認識結果を求
めるとともに、その認識結果の確信度(確からしさ)をも
求めるようになっている。この確信度の算出処理につい
ては、例えば特開平４−２１１８８３号に開示の仕方で
行なうことができる。

【００４０】すなわち、確信度とは、最終認識結果の文
字がどの程度確からしいかを表わすもので、０％から１
００％の数値で表わされたり、あるいは、その数値を何
段階かに量子化して表わすことができる。例えば、次の
Ａ，Ｂ，Ｃの３ランクで表わすことができる。Ａランク：認識結果は正しい。Ｂランク：認識結果は怪しい(正しいか間違いか分から
ない)。Ｃランク：認識結果は間違い。

【００４１】この場合、認識処理部４では、最終の認識
結果を得るための複数段階の処理により得られる情報に
基づき、総合的に確信度を決定する。例えば、パターン
マッチング処理から第一候補の評価値あるいは第一候補
と第二候補との評価値の差，パス選択処理からパス決定
時の評価値，ルール処理から、どのようなルールが適用
され修正されたかを表わす情報，言語処理から言語修正
の結果を表わす情報を集め、これらの情報を証拠として
例えばデンプスター・シェーファー(Dempster& Shafer)
の確率理論を使って確信度を総合的に判断する。

【００４２】このような確信度の決定は、最終の処理段
階で、それまでの処理段階で得られた情報を集めて一括
して行なうか、あるいは各処理段階で得られた情報に基
づき候補の確信度を求め、これによって前処理段階まで
に求められた確信度を更新する操作を最終処理段階まで
繰り返すことにより行なう。

【００４３】そして、かかる確信度に応じて、認識結果
の表示の際に色や輝度などの視覚的条件を変化させ、あ
るいは認識結果に対応させて文字または記号を表示する
ことにより、装置利用者は、認識結果の確信度を容易に
認識し、修正が必要な文字を素早く的確に見つけ、その
修正作業を効率よく行なうことができる。

【００４４】また、このように、認識結果とともに確信
度が算出されるとき、表示制御部８は、認識結果(テキ
スト)の確認，修正などの編集を行なうような場合に、
表示部７(ディスプレイ１８)の画面上に表示される認識
結果(テキスト)中および／または文書画像(文字画像)中
の確信度が所定の閾値(例えば９０％)以上の文字をスキ
ップさせて、低確信度の文字のみを順番に表示すること
もできる。すなわち、認識結果(テキスト)中および／ま
たは文書画像(文字画像)中から、確信度が所定閾値(例
えば９０％)以下の文字を抽出して、この文字について
のみ、認識結果および／または文字画像を次々と表示さ
せることもできる。

【００４５】なお、このような低確信度文字のスキップ
表示は、例えば図４(ａ)，(ｂ)のような、基準線の一方
の側には、該基準線に沿って現在編集対象となる認識結
果(テキスト)列を表示し、また、該基準線の他方の側に
は、該基準線の一方の側に表示される現在編集対象とな
る認識結果(テキスト)列に対応した文書画像(文字画像)
列を該基準線に沿って表示画面において行なうこともで
きるし、あるいは、認識結果(テキスト)のみの表示画
面，あるいは文書画像(文字画像)のみの表示画面におい
て行なうこともできる。

【００４６】また、確信度の閾値の設定については、図
１の条件設定部９や図２の入力装置１９により行なうこ
とができる。

【００４７】図８は本発明の認識結果表示方法の第１の
処理例を示すフローチャートである。図８を参照する
と、第１の処理例では、認識結果を表示する場合、表示
画面上に、認識結果を表示する際の基準線を表示し(ス
テップＳ１)、この基準線の一方の側には、該基準線に
沿って基準線と最隣接させて、現在編集対象となる認識
結果列を表示し(ステップＳ２)、また、該基準線の他方
の側には、該基準線の一方の側に表示される現在編集対
象となる認識結果列に対応した文書画像列を該基準線に
沿って基準線と最隣接させて、表示する(ステップＳ
２)。これにより、現在編集対象となる認識結果列とこ
れに対応した文書画像列とを、該基準線を挾んで互いに
対向して(並列に)表示することができる。

【００４８】また、図９は本発明の認識結果表示方法の
第２の処理例を示すフローチャートである。図９を参照
すると、第２の処理例では、文字認識処理において、認
識結果とともに、認識結果の確信度を算出する(ステッ
プＳ１１)。次いで、得られた認識結果を表示画面に表
示するが(ステップＳ１２)、その際に、認識結果をサー
チし、所定の閾値以下の確信度の文字を調べる(ステッ
プＳ１３)。そして、所定閾値以下の確信度の文字があ
るか否かを判断し(ステップＳ１４)、所定閾値以下の確
信度の文字があるときには、所定閾値以下の確信度の文
字までスキップさせて表示する(ステップＳ１５)。換言
すれば、所定の閾値以上の確信度の文字については、こ
れをスキップさせて(飛ばして)、表示する。これによ
り、認識結果の確認，修正等の際に、利用者は文書全体
に目を通す必要がなくなり、作業効率を高めることがで
きる。

【００４９】次に、このような構成の文字認識システム
の処理動作の具体例について説明する。本発明の文字認
識システムがソフトウェアパッケージ(情報記録媒体)２
０の形で提供される場合、利用者は、この情報記録媒体
２０を媒体駆動装置２１にセットし、文字認識システム
ソフトを例えばＲＡＭ１３にロードする。この段階で、
ＣＰＵ１１は、例えばＲＡＭ１３にロードされた文字認
識システムソフトに従って、処理を実行することができ
る。

【００５０】スキャナ１４が例えばＡＤＦである場合、
スキャナ１４に例えば複数枚の原稿をセットすると、ス
キャナ１４は、複数枚の原稿を順次に読取る。説明を簡
単にするため、各原稿が片面単票原稿であるとすると、
１枚の原稿が１ページに対応し、従って、例えばｎ(ｎ
≧１)枚の原稿を読取ると、ｎページ分の文書画像がペ
ージ単位に得られ、これらが、文書画像ファイル１５に
順次に格納される。

【００５１】ＣＰＵ１１では、文書画像ファイル１５に
格納されたｎページ分の文書画像に対し、辞書ファイル
１６中の辞書を用いてページ単位に文字認識処理を行な
い、ページ毎の認識結果をテキストとして、テキストフ
ァイル１７に順次に格納する。

【００５２】利用者は、例えばこの段階で、テキストフ
ァイル１７にページ単位に格納されたｎページ分の認識
結果(テキスト)に対して、ページ単位に確認，修正等の
編集処理を行なうことができる。この編集処理を行なう
場合、利用者は、表示画面上の所定のアイコン(例えば
「確認修正」などのアイコン)をクリックすることで、
編集処理プログラムを起動する。編集処理プログラムが
起動されると(あるいは、文書イメージファイル１５，
テキストファイル１７中に、複数種類の文書が格納され
ている場合には、さらに、編集対象となる文書の種類を
選択すると)、画面上には、例えば図１０に示すよう
に、基準線(図１０の例では、縦の基準線)Ｌ₁と、編集
対象となる文書の認識結果(テキスト)を表示するための
テキスト編集窓Ｗ₁と、編集対象となる認識結果(テキス
ト)に対応した文書画像を表示するためのイメージ窓Ｗ₂
と、編集対象ページのイメージ全体を表示するための全
体イメージ窓Ｗ₃と、この編集処理(確認，修正等)で修
正した認識結果(テキスト)中の文字，低確信度の文字
数，総文字数(全て、編集対象ページ中の数)を表示する
ための情報表示窓Ｗ₄とが表示される。

【００５３】次いで、編集対象ページのイメージ全体を
文書画像ファイル１５から読出して全体イメージ窓Ｗ₃
に表示し、また、編集対象ページの先頭から例えば１行
分の文字数分の認識結果(テキスト)を、テキストファイ
ル１７から読出してテキスト編集窓Ｗ₁に表示する。こ
のとき、いま編集対象となる１行分の文字数分の認識結
果(テキスト)列は、例えば図１０のように表示される。
(図示の例では、基準線Ｌ₁の右側に、基準線Ｌ₁に沿っ
て基準線Ｌ₁とすぐ隣接して表示される)。また、基準線
Ｌ₁の右側に基準線Ｌ₁とすぐ隣接して表示される認識結
果(テキスト)列に対応した文書画像(文字画像)を文書画
像ファイル１５から読出し、これが圧縮されて格納され
ていた場合には、これを拡大して(例えば、スキャナ入
力時のイメージと等倍で)、イメージ窓Ｗ₂に表示する。
このとき、図１０に示すように、基準線Ｌ₁の右側に基
準線Ｌ₁とすぐ隣接して表示される認識結果(テキスト)
列に対応した文書画像(文字画像)列は、基準線Ｌ₁の左
側に、基準線Ｌ₁に沿って基準線Ｌ₁と最も隣接して表示
される。すなわち、現在編集対象となる認識結果(テキ
スト)列とこれに対応する文書画像(文字画像)列とが、
基準線Ｌ₁を挾んで互いに対向して(並列に)表示され
る。

【００５４】これにより、利用者は、現在編集対象とな
る認識結果(テキスト)列を、その元となる文書画像(文
字画像)列と画面上で極めて容易に照合することができ
(視線を大きく移動させたりすることなく照合すること
ができ)、現在編集対象となる認識結果(テキスト)中
で、元の文書画像(文字画像)と異なる箇所(誤認識した
箇所，あるいは抜け等の生じた箇所)を極めて容易に見
出すことができる。

【００５５】いま、編集対象となる認識結果(テキスト)
中で、例えば誤認識した文字を見出したときには、利用
者は、この文字のところにカーソルを設定する。このと
き、図１１に示すように、認識結果のこの文字のところ
が矩形で囲まれ、また、文書画像中の対応した文字画像
のところも矩形で囲まれて表示される。この状態でオペ
レータは、例えば、キーボードからこの文字の正しい読
みを入力する。これにより、画面上には、図１１に示す
ように、この文字の修正候補が候補選択ウィンドウＷ₅
に表示され、利用者は、修正候補の中から正しいものを
例えば候補選択ボタン等で選択し、認識結果(テキスト)
中の誤認識した文字を正しい文字に置換することができ
る。また、編集対象となる認識結果(テキスト)中で、例
えば抜けを見出したときには、利用者は、この箇所にカ
ーソルを設定し、例えば挿入モードに設定し、例えばキ
ーボードから抜けた文字を入力し、認識結果(テキスト)
中の抜けのあった箇所にこれを挿入することができる。

【００５６】このようにして、現在、画面に表示されて
いる１行分の文字数のテキストについて、カーソルを移
動させて誤認識文字や抜けの修正を行ない、また、確認
を行なった後、利用者は、移動ボタン(例えばスクロー
ルキー)などを操作して、編集対象ページから例えば次
の１行分の文字数分の認識結果(テキスト)をテキストフ
ァイル１７から読出してテキスト編集窓Ｗ₁に表示す
る。このとき、次の１行分の文字数分の認識結果(テキ
スト)列は、図１２のように表示される(図示の例では、
基準線Ｌ₁の右側に、基準線Ｌ₁に沿って基準線Ｌ₁とす
ぐ隣接して表示される)。また、基準線Ｌ₁の右側に基準
線Ｌ₁とすぐ隣接して表示される認識結果(テキスト)列
に対応した文書画像(文字画像)を文書画像ファイル１５
から読出し、これが圧縮されて格納されていた場合に
は、これを拡大して(例えば、スキャナ入力時のイメー
ジと等倍で)、イメージ窓Ｗ₂に表示する。このとき、図
１２に示すように、基準線Ｌ₁の右側に基準線Ｌ₁とすぐ
隣接して表示される認識結果(テキスト)列に対応した文
書画像(文字画像)列は、基準線Ｌ₁の左側に、基準線Ｌ₁
に沿って基準線Ｌ₁と最も隣接して表示される。すなわ
ち、編集対象となる認識結果(テキスト)列とこれに対応
する文書画像(文字画像)列とが、基準線Ｌ₁を挾んで互
いに対向して(並列に)表示される。

【００５７】これにより、利用者は、次の１行分の認識
結果(テキスト)についても、これを、その元となる文書
画像(文字画像)と画面上で極めて容易に照合することが
でき、元の文書画像と異なる箇所(誤認識した箇所，あ
るいは抜け等の生じた箇所)を極めて容易に見出すこと
ができ、前述したと同様の仕方で、確認，修正を行なう
ことができる。

【００５８】なお、図１０と図１２とを比べればわかる
ように、この例では、次の１行分の認識結果(テキスト)
列を基準線Ｌ₁のすぐ右側に表示するとき、前の１行分
の認識結果(テキスト)列は、右側に１行分シフトして表
示され、また、前の１行分の文書画像(文字画像)列は、
次の１行分の文書画像(文字画像)列が基準線Ｌ₁のすぐ
左側に表示されることによって、画面上から消去され
る。

【００５９】換言すれば、上記のような次の１行分の認
識結果列の表示は、テキスト編集窓Ｗ₁とイメージ窓Ｗ₂
とを、それぞれ１つ右側にシフトすることによって行な
うことができる。

【００６０】また、上述の処理例では、利用者が修正の
必要な箇所にマウス等でカーソルを移動させたが、前述
のようなスキップ表示機能が備わっている場合、低確信
度文字のところに、カーソルを自動的にスキップさせ、
低確信度文字についての認識結果を利用者に確認させ、
また、修正させるようにすることもできる。すなわち、
例えば１ページ分の認識結果(テキスト)の先頭から低確
信度文字をサーチし、低確信度文字が検出されたときに
は、この文字のところにカーソルを自動設定して、利用
者に確認，修正等を行なわせ、この文字について確認，
修正等が終了した旨のキー操作がなされると、次の低確
信度文字のところにカーソルを自動的にスキップし、利
用者にこの文字について確認，修正を行なわせるような
表示制御を行なうこともできる。

【００６１】これにより、認識結果の確認，修正等の際
に、利用者は文書全体に目を通す必要がなくなり、作業
効率を高めることができる。

【００６２】このようにして、１ページ分の確認，修正
等の編集が終了すると、利用者は、例えば次ページキー
を操作することで、次のページの編集処理を同様の仕方
で行なうことができる。また、前ページへ戻りたいとき
には、例えば前ページキーを操作すれば良い。

【００６３】そして、全ページについて編集処理を終了
したときには、例えば終了ボタンをクリックする。これ
によって、確認，修正等の編集処理が確定する。

【００６４】

【発明の効果】以上に説明したように、請求項１乃至請
求項８記載の発明によれば、認識結果の確認，修正など
の編集時等において、作業効率を著しく向上させること
ができる。

【００６５】特に、請求項１，請求項３乃至請求項５，
請求項７記載の発明によれば、表示画面上に、認識結果
を表示する際の基準線を表示し、この基準線の一方の側
には、該基準線に沿って現在編集対象となる認識結果列
を表示し、また、該基準線の他方の側には、該基準線の
一方の側に表示される現在編集対象となる認識結果列に
対応した文書画像列を該基準線に沿って表示し、この場
合、現在編集対象となる認識結果列とこれに対応した文
書画像列とを、該基準線を挾んで互いに対向して表示す
るので、利用者は、現在編集対象となる認識結果(テキ
スト)列を、その元となる文書画像(文字画像)列と画面
上で極めて容易に照合することができ(視線を大きく移
動させたりすることなく照合することができ)、現在編
集対象となる認識結果(テキスト)中で、元の文書画像
(文字画像)と異なる箇所(誤認識した箇所，あるいは抜
け等の生じた箇所)を極めて容易に見出すことができ
る。

【００６６】また、請求項２，請求項６，請求項８記載
の発明によれば、文字認識処理では、認識結果とともに
認識結果の確信度を算出し、認識結果を表示画面に表示
する際に所定の閾値以上の確信度の文字をスキップさせ
て表示するので、認識結果の確認，修正等の際に、利用
者は文書全体に目を通す必要がなくなり、作業効率を高
めることができる。

【図面の簡単な説明】

【図１】本発明に係る文字認識システムの構成例を示す
図である。

【図２】図１の文字認識システムのハードウェア構成例
を示す図である。

【図３】ある１ページ分の文書の例を示す図である。

【図４】図３の文書の認識結果を確認，修正等するため
の表示例を示す図である。

【図５】表示画面上で、基準線の一方の側に表示される
認識結果(テキスト)と基準線の他方の側に表示される文
書画像(文字画像)とを、常に連動させて、スクロールあ
るいは移動させる機能を説明するための図である。

【図６】表示画面上で、基準線の一方の側に表示される
認識結果(テキスト)と基準線の他方の側に表示される文
書画像(文字画像)とを、常に連動させて、スクロールあ
るいは移動させる機能を説明するための図である。

【図７】図３の文書の認識結果を確認，修正等するため
の表示例を示す図である。

【図８】本発明の認識結果表示方法の第１の処理例を示
すフローチャートである。

【図９】本発明の認識結果表示方法の第２の処理例を示
すフローチャートである。

【図１０】図３の文書の認識結果を確認，修正等するた
めの表示例を示す図である。

【図１１】図３の文書の認識結果を確認，修正等するた
めの表示例を示す図である。

【図１２】図３の文書の認識結果を確認，修正等するた
めの表示例を示す図である。

【図１３】文書画像と認識結果との従来の表示例を示す
図である。

【図１４】従来のスクロール機能を説明するための図で
ある。

【符号の説明】

１画像入力部２文書画像記憶部４認識処理部５辞書６認識結果記憶部７表示部８表示制御部９条件設定部１１ＣＰＵ１２ＲＯＭ１３ＲＡＭ１４スキャナ１５文書画像ファイル１６辞書ファイル１７テキストファイル１８ディスプレイ１９入力装置２０情報記録媒体２１媒体駆動装置

Claims

【特許請求の範囲】

【請求項１】所定の文書画像に対して文字認識処理を
行なって得られる認識結果を表示画面に表示する認識結
果表示方法において、表示画面上に、認識結果を表示す
る際の基準線を表示し、この基準線の一方の側には、該
基準線に沿って現在編集対象となる認識結果列を表示
し、また、該基準線の他方の側には、該基準線の一方の
側に表示される現在編集対象となる認識結果列に対応し
た文書画像列を該基準線に沿って表示し、この場合、現
在編集対象となる認識結果列とこれに対応した文書画像
列とを、該基準線を挾んで互いに対向して表示すること
を特徴とする認識結果表示方法。
【請求項２】所定の文書画像に対して文字認識処理を
行なって得られる認識結果を表示画面に表示する認識結
果表示方法において、前記文字認識処理では、認識結果
とともに認識結果の確信度を算出し、認識結果を表示画
面に表示する際に所定の閾値以上の確信度の文字をスキ
ップさせて表示することを特徴とする認識結果表示方
法。
【請求項３】文書画像を入力する画像入力手段と、該
文書画像に対して文字認識処理を施す認識処理手段と、
該認識処理手段による認識結果が表示画面上に表示され
る表示手段と、該認識結果を表示手段に表示する際の表
示制御を行なう表示制御手段とを備え、前記表示制御手
段は、表示画面上に、認識結果を表示する際の基準線を
表示し、この基準線の一方の側には、該基準線に沿って
現在編集対象となる認識結果列を表示し、また、該基準
線の他方の側には、該基準線の一方の側に表示される現
在編集対象となる認識結果列に対応した文書画像列を該
基準線に沿って表示し、この場合、現在編集対象となる
認識結果列とこれに対応した文書画像列とを、該基準線
を挾んで互いに対向して表示するようになっていること
を特徴とする文字認識システム。
【請求項４】請求項３記載の文字認識システムにおい
て、前記基準線についての条件を設定するための基準線
設定手段がさらに設けられており、前記表示制御手段
は、基準線設定手段により設定された基準線についての
条件に従って、基準線を表示することを特徴とする文字
認識システム。
【請求項５】請求項３記載の文字認識システムにおい
て、認識結果が表示される画面領域と文書画像が表示さ
れる画面領域とが、それぞれウインドウとして設定され
る場合、基準線は、双方のウインドウの枠の重なり部分
として表示されることを特徴とする文字認識システム。
【請求項６】文書画像を入力する画像入力手段と、該
文書画像に対して文字認識処理を施す認識処理手段と、
該認識処理手段による認識結果が表示画面上に表示され
る表示手段と、前記認識処理手段による認識結果の確信
度を求める確信度算出手段と、該認識結果を表示手段に
表示する際の表示制御を行なう表示制御手段とを備え、
前記表示制御手段は、前記認識結果を表示する際に所定
の閾値以上の確信度の文字をスキップさせて表示するこ
とを特徴とする文字認識システム。
【請求項７】表示画面上に、認識結果を表示する際の
基準線を表示し、この基準線の一方の側には、該基準線
に沿って現在編集対象となる認識結果列を表示し、ま
た、該基準線の他方の側には、該基準線の一方の側に表
示される現在編集対象となる認識結果列に対応した文書
画像列を該基準線に沿って表示し、この場合、現在編集
対象となる認識結果列とこれに対応した文書画像列と
を、該基準線を挾んで互いに対向して表示するためのプ
ログラムが記録されていることを特徴とする情報記録媒
体。
【請求項８】文字認識処理では、認識結果とともに認
識結果の確信度を算出し、認識結果を表示画面に表示す
る際に所定の閾値以上の確信度の文字をスキップさせて
表示するためのプログラムが記録されていることを特徴
とする情報記録媒体。