JPH0916712A - 文書読取装置 - Google Patents

Abstract

(57)【要約】 【目的】 文書を読み取る際、削除や挿入等の修正部分
を含んだ状態で読み取りを行い、かつ修正部分を誤認識
しないで文字認識できるようにする。 【構成】 制御部１２は、操作部１１を使いオペレータ
により画像データの修正部分および修正内容が指定され
ると、修正制御手段１２ａにてこの修正指定をレイアウ
トメモリ４に格納する。レイアウト解析部３は、この修
正指定を受けて修正解析手段３ａにて修正データを組み
込んだレイアウトデータを作成してレイアウトメモリ４
に格納する。そして、文字認識部５は、文字認識する際
に、修正認識手段５ａにて前記修正データに従い修正処
理しながら認識データを作成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文書上に記録された文
字と文字以外の図形、絵、写真および罫線等のイメージ
を読み取る文書読取装置に関する。特に、手書き修正を
加えた活字印刷文書の認識方法に関する。

【０００２】

【従来の技術】文書読取装置は、読み取り対象の文書か
らスキャナ等を用いて画像データを作成し、画像データ
から文字とイメージの領域を識別し、文字領域から行さ
らには文字を切り出すレイアウト解析を行ってレイアウ
トデータを作成し、画像データとレイアウトデータから
１文字毎の画像データを認識して文字コードに変換し、
画像データ、レイアウトデータ、文字コードを用いて文
書データを作成するものである。

【０００３】従来、この種の文書読取装置では、添削等
により手書き修正を加えた活字印刷文書の認識で、手書
き修正部分を活字印刷部分と同様に処理していた。

【０００４】

【発明が解決しようとする課題】従来の文書読取装置で
は、手書き修正部分を活字印刷部分と同様に認識するの
で、以下に示す問題点がある。図１１は従来の文書読取
装置の問題点の説明図である。 （１） 削除により修正した場合。

【０００５】取消線を記入した文字を文字切り出しを間
違えて認識するため、不要な文字が認識結果に入ってし
まう。また、平均文字幅を使って文字切り出しする場
合、取消線を記入した文字が原因で１行全部の文字切り
出しを誤る可能性がある。 （２） 置換により修正した場合。 置換する手書き文字の行と、置換される取消線を記入し
た文字を含む活字行を、２行に分離できる場合と、分離
できず１行になる場合がある。２行：手書き行を活字と
して認識して不要な行が認識結果に入る。そして、この
ときは認識不良の場合が多い。また、置換される取消線
を記入した文字を含む活字行は、取消線を記入した文字
を認識するため、不要な文字が認識結果に入る。さら
に、平均文字幅を使って文字切り出しする場合、取消線
を記入した文字が原因で１行全部の文字切り出しを誤る
可能性がある。 １行：手書き修正部分の認識が不良となり間違った認識
結果となる。このとき、手書き修正部分の前後も間違っ
た認識結果となってしまうことがある。また、行高さを
使って文字切り出しする場合、行が高くなるので当該行
の文字切り出しを間違えてこの行全部が認識不良とな
る。 （３） 挿入により修正した場合。

【０００６】挿入する手書き文字の行と、挿入記号と、
挿入される活字行の行切り出しは、３行、手書き行＋挿
入記号と活字行の２行、手書き行と挿入記号＋活字行の
２行、１行に切り出す場合がある。 ３行：手書き行を活字として認識して不要な行が認識結
果に入る。挿入記号を文字行として認識して不要な行が
認識結果に入る。活字行は挿入文字を含まない認識結果
となる。 ２行（手書き行＋挿入記号と活字行）：手書き行＋挿入
記号を活字として認識して不要な行が認識結果に入る。
活字行は挿入文字を含まない認識結果となる。 ２行（手書き行と挿入記号＋活字行）：手書き行を活字
として認識して不要な行が認識結果に入る。活字行は挿
入記号の活字部分を認識するため不要な文字が入り、ま
た、挿入文字を含まない認識結果となる。 １行：手書き行と挿入記号と活字部分を一緒に認識する
ため不要な文字が入り、また、挿入文字を含まない認識
結果となる。

【０００７】以上のように、従来の文書読取装置では、
手書きによる修正があると、認識誤りが多くなるので、
オペレータによる手書き修正に従った認識結果の修正作
業量が多大になってしまうものであった。

【０００８】

【課題を解決するための手段】上述した課題を解決する
ため、本発明は、画像データからレイアウトデータを作
成し格納するレイアウト解析手段に、オペレータにより
指示された修正部分およびその修正内容に応じた修正デ
ータを組み込んだレイアウトデータを作成する手段を備
える。そして、文字認識手段は、前記レイアウト解析手
段にて作成された修正データが組み込まれたレイアウト
データに応じて画像データから認識データを作成する手
段を備える。

【０００９】

【作用】上述した構成を有する本発明は、読み取り対象
となる文書を走査して画像データを得て、オペレータに
よりこの画像データの画像表示に対して修正部分および
修正内容が指定されると、レイアウト解析時に修正部分
およびその修正内容を組み込んだレイアウトデータを作
成し、文字認識する際に、この修正データが組み込まれ
たレイアウトデータに従い修正部分は修正しながら認識
データを作成し、これを出力することとする。

【００１０】

【実施例】図１は本発明の第１の実施例の文書読取装置
の構成を示すブロック図である。画像入力部１は、読み
取り対象の文書を光学的に走査し、画像データを作成す
る。また、画像ファイルや通信回線を介して図示しない
他システムから画像データを得ることもできる。

【００１１】画像メモリ２は、画像入力部１から出力さ
れる画像データを格納する。レイアウト解析部３は、画
像メモリ２内の画像データから領域を抽出し、それぞれ
の領域を文字とイメージに識別し、さらに、文字領域か
ら行を切り出し、行から文字を切り出す。上述した領
域、行、文字の処理結果でレイアウトデータを構成す
る。

【００１２】レイアウトメモリ４は、レイアウト解析部
３から出力されるレイアウトデータを格納する。文字認
識部５は、レイアウトメモリ４内のレイアウトデータ
と、画像メモリ２内の画像データとから、１文字毎の画
像データを認識して文字コードに変換する。この文字コ
ードを認識データとする。さらに、文字認識部５は、こ
の認識データを知識処理することもできる。

【００１３】認識メモリ６は、文字認識部５から出力さ
れる認識データを格納する。結果出力部７は、画像メモ
リ２内の画像データと、レイアウトメモリ４内のレイア
ウトデータと、認識メモリ６内の認識データの少なくと
も１つを使って文書データを作成し、この文書データを
プリンタ８や出力メモリ９等の出力装置に出力する。そ
して、出力メモリ９を介して、他の文書データ処理シス
テム（ワープロ、ＤＴＰシステム、文書管理システム
等）に文書データを渡す。または、通信により他の文書
データ処理システムに文書データを渡すこともできる。

【００１４】ＣＲＴ等の表示部１０とキーボードやマウ
ス等の操作部１１は、処理の開始・終了指示、処理結果
（画像データ、レイアウトデータ、および認識データ）
の表示およびその確認・修正等、オペレータと文書読取
装置とのインタフェースをとる。制御部１２は、上述し
た各部、各メモリの動作全体を制御する。

【００１５】ここで、この制御部１２には、後述する修
正内容および修正箇所を指定してなる修正データに応じ
て各部を制御する修正制御手段１２ａが備えられる。ま
た、前記レイアウト解析部３には、前記修正データに応
じて行切り出しを行い、修正データを含む行データを作
成してレイアウトメモリ４に格納するとともに、修正デ
ータを含む行データから文字切り出しを行い、修正デー
タを含む文字データを作成してレイアウトメモリ４に格
納する修正解析手段３ａが備えられ、そして前記文字認
識部５には、前記レイアウト解析部３で作成された修正
データを含む文字データに対して文字認識を行う修正認
識手段５ａが備えられている。

【００１６】図２は上述した第１の実施例の文書読取装
置の動作を示す処理フローチャートであり、以下、第１
の実施例の文書読取装置の動作を説明する。なお、図中
のＳは処理ステップを表している。まず、画像入力部１
により画像入力する（Ｓ１）。この画像入力は、画像入
力部１により、読み取り対象の入力文書を光学的に走査
し、文書上に記録された文字およびイメージを光電変換
により画像信号に変換し、さらにこの画像データをデジ
タル２値の画像データに変換する。この画像データを画
像メモリ２に格納する。

【００１７】画像入力が終わると、レイアウト解析部３
により領域解析する（Ｓ２）。領域解析は、まず、レイ
アウト解析部３により、画像メモリ２内の画像データか
ら黒画素の周辺分布ヒストグラムを利用する方法等を使
って領域を抽出し、各領域の幾何学的特徴により領域を
文字とイメージに識別する。領域解析が終わると、オペ
レータにより領域データを確認・修正する（Ｓ３）。領
域データの確認・修正処理は、制御部１２により前記領
域データ（枠表示）と画像メモリ２内の画像データを表
示部１０に重ねて表示し、オペレータにより操作部１１
を使い領域データを確認・修正する。確認・修正後の領
域データをレイアウトメモリ４に格納する。

【００１８】領域データの確認・修正が終わると、レイ
アウト解析部３により行切り出しする（Ｓ４）。この行
切り出しは、レイアウト解析部３により、レイアウトメ
モリ４内の領域データに従い、画像メモリ２内の文字領
域の画像データから黒画素の周辺分布ヒストグラムを利
用する方法等を使って行を切り出す。行切り出しが終わ
ると、オペレータにより行データを確認・修正する（Ｓ
５）。この行データの確認・修正処理は、制御部１２に
より前記行データ（枠表示）と画像メモリ２内の画像デ
ータを表示部１０に重ねて表示し、オペレータにより操
作部１１を使い行データを確認・修正する。確認・修正
後の行データをレイアウトメモリ４に格納する。

【００１９】行データの確認・修正が終わると、レイア
ウト解析部３により文字切り出しする（Ｓ６）。この文
字切り出し処理は、レイアウト解析部３により、レイア
ウトメモリ４内の行データに従い、画像メモリ２内の行
の画像データから黒画素の周辺分布ヒストグラムを利用
する方法等を使って文字を切り出す。文字切り出しが終
わると、オペレータにより文字データを確認・修正する
（Ｓ７）。この文字データの確認・修正処理は、制御部
１２により前記文字データ（枠表示）と画像メモリ２内
の画像データを表示部１０に重ねて表示し、オペレータ
により操作部１１を使い文字データを確認・修正する。
確認・修正後の文字データをレイアウトメモリ４に格納
する。

【００２０】文字データの確認・修正が終わると、文字
認識部５により文字認識する（Ｓ８）。この文字認識処
理は、文字認識部５により、レイアウトメモリ４内のレ
イアウトデータに従い、画像メモリ２内の画像データの
文字画像を、文字認識部５内にある標準的な文字の認識
特徴を格納した認識辞書を用いたパターンマッチングに
より文字コード（候補文字を含む）に変換する。さら
に、この文字コードを文字認識部５内にある単語辞書、
文法ルールを使って、知識処理して修正する。この文字
コードを認識データとする。そして、この認識データを
認識メモリ５に格納する。

【００２１】文字認識が終わると、オペレータが認識デ
ータを確認・修正する（Ｓ９）。認識データの確認・修
正処理は、制御部１２により表示部１０に認識メモリ６
内の認識データを文字（テキスト）表示し、レイアウト
メモリ４内のレイアウトデータに従い画像メモリ２内の
画像データを画像表示し、オペレータが操作部１１を使
ってこの文字表示と画像表示を比較して認識データを確
認・修正する。確認・修正後の認識データを認識メモリ
６に格納する。

【００２２】認識データの確認・修正が終わると、結果
出力部７により読み取り結果を出力する（Ｓ１０）。こ
の結果出力処理は、結果出力部７により、画像メモリ２
内の画像データと、レイアウトメモリ４内のレイアウト
データと、認識メモリ６内の認識データの中の少なくと
も１つから文書データを作成し、この文書データをプリ
ンタ８で印刷、または出力メモリ９に格納する。

【００２３】次に、手書き修正部分がある場合の処理を
説明する。読み取り対象の文書に手書き修正部分がある
場合、図２のＳ３の領域データの確認・修正処理時に、
手書き修正部分をオペレータが指定する。図３は第１の
実施例における手書き修正部分の指定方法を示す説明
図、図４は手書き修正部分の指定前に使う第１の実施例
の手書き修正部分の種類の選択メニューを示す説明図で
ある。

【００２４】図２Ｓ３の領域データの確認・修正処理で
は、表示部１０に画像メモリ２内の画像データに重ねて
領域データを表示する。このとき、文字領域枠とイメー
ジ領域枠は線色、線種等で区別する。オペレータが、こ
の文字領域の表示を見て手書き修正部分を発見し、この
手書き修正部分が図３（ａ）欄に示す削除の場合、図４
に示すように表示部１０に表示している選択メニューの
中の「削除」を操作部１１のマウスで選択することで修
正内容を指定し、操作部１１のマウスのドラグにより、
図３（ｃ）欄に示すように修正の種類に対応させて決め
てある削除枠１１０により修正部分を指定する。

【００２５】同様に、手書き修正部分が図３（ａ）欄に
示す置換の場合、選択メニューの「置換」を選択して修
正内容を指定し、マウスドラグにより追加枠１２０の指
定後に削除枠１１０により修正部分を指定する。このと
き、制御部１２の修正制御手段１２ａにより追加枠１２
０と削除枠１１０を連結線１３０で自動的に結ぶ。同様
に、手書き修正部分が図３（ａ）欄に示す挿入の場合、
選択メニューの「挿入」を選択して修正内容を指定し、
マウスドラグにより追加枠１２０の指定後に挿入記号１
４０、挿入線１５０により修正部分を指定する。このと
き、制御部１２の修正制御手段１２ａにより追加枠１２
０と挿入記号１４０を連結線１３０で自動的に結ぶ。

【００２６】そして、手書き修正部分の指定と領域デー
タの確認・修正の終了時、制御部１２は、修正制御手段
１２ａにてこの修正内容および修正箇所からなる手書き
修正データを領域データに追加してレイアウトメモリ４
に格納する。図２Ｓ４のレイアウト解析部３による行切
り出しにおいて、レイアウトメモリ４内の文字領域デー
タに手書き修正データがある場合は、レイアウト解析部
３は修正解析手段３ａによりこの手書き修正データの削
除枠１１０、追加枠１２０、挿入記号１４０に対応する
画像メモリ２内の画像データを除いた文字領域の画像デ
ータに対して行を切り出して行データを作成する。この
削除枠１１０、追加枠１２０、挿入記号１４０に対応す
る画像メモリ２内の画像データの除去は、例えば、読み
出した画像データの黒画素を白画素とすることにより行
う。

【００２７】この行データに前記領域データに追加した
手書き修正データを移動して、この手書き修正データを
含んだ行データをレイアウトメモリ４に格納する。図２
Ｓ５のオペレータによる行データの確認・修正処理にお
いて、レイアウトメモリ４内の行データに手書き修正デ
ータがある場合は、制御部１２は修正制御手段１２ａに
より表示部１０に画像メモリ２内の画像データに重ねて
行データを表示し、さらに、手書き修正データを図３の
（ｂ）欄に示すように表示する。なお、この行データの
確認・修正処理時におけるオペレータによる修正は、手
書き修正データにも適用できる。確認・修正後の手書き
修正データを含んだ行データをレイアウトメモリ４に格
納する。

【００２８】図２Ｓ６のレイアウト解析部３による文字
切り出しにおいて、レイアウトメモリ４内の行データに
手書き修正部分がある場合は、レイアウト解析部３は修
正解析手段３ａによりこの手書き修正データの削除枠１
１０、追加枠１２０、挿入記号１４の部分に対応する画
像メモリ２内の画像データを除いた行の画像データに対
して文字を切り出して文字データを作成する。また、追
加枠１２０に対応する画像メモリ２内の画像データに対
して、例えば手書き文字対応のフリーピッチの文字を切
り出して手書き修正文字データを作成する。以上の手書
き修正文字データを含んだ文字データをレイアウトメモ
リ４に格納する。

【００２９】図２Ｓ７のオペレータによる文字データの
確認・修正処理において、レイアウトメモリ４内の文字
データに手書き修正データがある場合、制御部１２は修
正制御手段１２ａにより表示部１０に画像メモリ２内の
画像データに重ねて文字データを表示し、さらに、手書
き修正文字データを文字データと同様に表示する。な
お、この文字データの確認・修正処理時におけるオペレ
ータによる修正は、手書き修正文字データにも適用でき
る。確認・修正後の手書き修正文字データを含んだ文字
データをレイアウトメモリ４に格納する。

【００３０】図２Ｓ８の文字認識処理において、レイア
ウトメモリ４内にレイアウトデータに手書き修正（文
字）データがある場合の処理を図５を用いて説明する。
ここで、図５は第１の実施例の手書き修正部分の文字認
識方法の説明図である。手書き修正データが削除の場
合、文字認識部５は修正認識手段５ａにより削除枠１１
０部分を除いた画像メモリ２内の画像データについて、
文字データに従い、活字文字認識（標準的な活字の認識
特徴を格納した認識辞書を使った文字認識）する。手書
き修正データが置換の場合、修正認識手段５ａにより削
除枠１１０部分を除いた画像メモリ２内の画像データに
ついて、追加枠１２０部分を手書き修正文字データに従
い、手書き文字認識（標準的な手書き文字の認識特徴を
格納した認識辞書を使った文字認識）し、この追加枠に
連結した削除枠１１０を含んだ行を文字データに従い活
字文字認識し、この活字文字認識結果の削除枠位置に前
記手書き文字認識結果を追加する。手書き修正データが
挿入の場合、修正認識手段５ａにより挿入記号１４０部
分を除いた画像メモリ２内の画像データについて、追加
枠１２０部分を手書き修正文字データに従い手書き文字
認識し、この追加枠に連結した挿入記号と挿入線を含ん
だ行を文字データに従い活字文字認識し、この活字文字
認識結果の挿入線位置に前記手書き文字認識結果を追加
する。以上の文字認識結果（認識データ）を認識メモリ
６に格納する。以上の処理により、手書き修正があって
も、その部分を正しく認識することができるものであ
る。

【００３１】以上説明した第１の実施例によれば、以下
のような効果が得られる。すなわち、第１の実施例によ
れば、領域データの確認・修正処理の段階でオペレータ
により手書き修正部分を指定し、この手書き修正部分を
以降のレイアウト解析、文字認識で手書き修正指定に従
って処理するので、手書き修正が行われた状態で認識結
果を作成でき、また、手書き修正による活字部分への悪
影響、例えば、行、文字切り出し不良、手書き修正部分
が活字部分に入り込むことによる文字認識不良等を防止
できる。このため、手書き修正を含んだ認識率の高い認
識結果を得られ、また、認識結果の修正操作が削減でき
処理時間を短縮できる。

【００３２】次に本発明の第２の実施例を説明する。な
お、第２の実施例において文書読取装置の制御ブロック
は図１で説明した第１の実施例のものと同じである。ま
た、画像入力から結果出力までの処理の流れは、図２の
フローチャートで説明した処理と同じである。第２の実
施例において、レイアウト解析部３の修正解析手段３ａ
に、手書き修正部分を自動的に検出する機能を付加す
る。図６、図７、図８は手書き修正部分の検出処理フロ
ーチャートで、図６は手書き修正が削除の場合、図７は
手書き修正が置換の場合、図８は手書き修正が挿入の場
合を示している。また、図９は手書き修正部分の検出処
理例の説明図で、図９（ａ）は削除部分の検出例、図９
（ｂ）は置換部分の検出例、図９（ｃ）は挿入部分の検
出例である。

【００３３】まず、図６と図９（ａ）を用いて削除部分
の検出処理を説明する。この削除部分の検出処理は、図
２のＳ６で説明した文字切り出し処理時に実行されるも
のである。すなわち、レイアウト解析部３により図２Ｓ
２、３の領域解析および領域データの確認・修正、Ｓ
４、５の行切り出しおよび行データの確認・修正を行っ
た後、まず、修正解析手段３ａは文字を切り出して文字
データを作成する（Ｓ１１）。この文字データに対して
文字幅ＣＷが当該行の高さＬＨの２倍（好適任意な値）
よりも大きければＳ１３に進み、文字幅ＣＷが当該行の
高さＬＨの２倍以下ならばＳ１５に進む（Ｓ１２）。Ｓ
１３は、取消線を検出するために行方向のランレングス
を調べる。このとき、取消線の傾き、曲げを考慮して幅
を持たせてランレングスを調べる。ランレングスを調べ
て、最長、あるいは取消線を２本として、２番目に長い
もののランレングスＲＬＨがＳ１２の文字幅ＣＷの０．
８倍（好適任意な値）よりも長ければ、Ｓ１４へ進み、
短ければＳ１５に進む。調べた文字データが上記Ｓ１２
とＳ１３の条件を満たしていれば、Ｓ１４の処理として
当該文字を削除部分とする。すなわち、図９（ａ）に示
すように当該文字枠５００を削除枠として、この削除枠
を削除部分の手書き修正のデータとする。なお、上記Ｓ
１２の条件では、文字１字のみを削除している場合には
ＣＷ＜ＬＨ×２となって削除部分を認識できない場合が
あるが、図２Ｓ９の認識データの確認・修正処理で１文
字分の削除で済むので、操作量が少なく、削除部分とし
て検出できないことの悪影響は少ないものである。

【００３４】そして、最終文字まできたか判断し（Ｓ１
５）、最終文字で無ければ次の文字に移り（Ｓ１６）、
上述したＳ１２からの処理を行い、次の文字データに対
して削除部分であるか否かの判断を行う。各文字データ
に対して削除部分であるか否かの判断を行って、上記Ｓ
１５で最終文字であると判断すると、処理を終了し、図
２のＳ７の文字データの確認・修正の処理へ移行する。

【００３５】次に、図７と図９（ｂ）を用いて置換部分
の検出処理を説明する。この置換部分の検出処理は、図
２のＳ４の行切り出し処理時に実行されるものである。
すなわち、 レイアウト解析部３により図２Ｓ２、３の
領域解析および領域データの確認・修正を行った後、修
正解析手段３ａは領域データの文字領域５０１と同じ大
きさの黒画像５０２を作り（Ｓ２１）、画像メモリ２内
の画像データを縦、横方向に走査して一定値ＴＨ（好適
任意の値、例えば１０ポイント）より長い白ランがあれ
ば、前記黒画像５０２を白にして行ブロック画像５０３
を作成する（Ｓ２２）。この行ブロック画像５０３か
ら、行ブロック画像の外形、行ピッチを利用して手書き
行５０４と活字行５０５が接触した凸行５０６、また
は、分離した分離凸行（図示せず）を抽出する（Ｓ２
３）。この凸行５０６の手書き行５０４と活字行５０５
の接触する部分に対応する画像メモリ２内の画像データ
の白画素の追跡により手書き行５０４と活字行５０５を
分離して分割凸部を作成し、さらに、手書き行の行枠５
０７を検出する（Ｓ２４）。

【００３６】次に、この分割凸行の活字行５０５におい
て手書き行５０４の近くに削除部分があるかを、図６で
説明した前記削除部分の検出処理と同様にして調べ、削
除部分がある場合はＳ２６へ進み、削除部分がない場合
はＳ２７に進む（Ｓ２５）。Ｓ２６は、前記Ｓ２５で検
出した手書き行と削除部分を合わせて置換部分とする。
すなわち、手書き行枠５０７を追加枠とし、削除枠５０
８、これらを結ぶ連結線５０９を置換部分の手書き修正
データとする。

【００３７】そして、最終文字領域まできたか判断し
（Ｓ２７）、最終文字領域で無ければ次の文字領域に移
り（Ｓ２８）、上述したＳ２１からの処理を行い、次の
文字領域データに対して置換部分があるか否かの判断を
行う。各文字領域データに対して置換部分があるか否か
の判断を行って、上記Ｓ２７で最終文字領域であると判
断すると、処理を終了し、図２のＳ６の文字切り出し処
理へ移行する。そして、このＳ６の処理で上述した図６
で説明した削除部分の検出処理を行うことで、置換部分
と削除部分を求めることができることになる。

【００３８】次に、図８と図９（ｃ）を用いて挿入部分
の検出処理を説明する。この挿入部分の検出処理も、図
７で説明した置換部分の検出処理と同様に、図２のＳ４
の行切り出し処理時に実行されるものであり、挿入部分
の検出処理は、図７のＳ２１からＳ２３までの処理の後
に行われる。すなわち、図７のＳ２３にて行ブロック画
像から手書き行と活字行が接触した凸行、または、分離
した分離凸行を抽出した後、修正解析手段３ａはこの凸
行または分割凸行の手書き行と活字行の接触部分５１０
に対応する画像メモリ２内の画像データについて、輪郭
追跡によりその外形特徴、手書き行との幅の比較により
挿入記号５１１を検出する（Ｓ３１）。このとき、挿入
記号を囲む挿入記号枠５１２を作成し、さらに、輪郭追
跡の方向転換により尖端部５１３を検出する。挿入記号
を検出した場合はＳ３３に進み、挿入記号を検出できな
かった場合はＳ３６に進む（Ｓ３２）。Ｓ３３は、Ｓ３
１で検出した尖端部５１３に従い挿入記号枠５１２に挿
入線５１４を付加する。そして、前記凸行から挿入記号
により手書き行を分離し、手書き行枠５１５を作成する
（Ｓ３４）。この手書き行と挿入記号を合わせて挿入部
分とする（Ｓ３５）。すなわち、手書き行枠５１５と、
挿入線５１４を含む挿入記号枠５１２と、手書き行枠５
１５と挿入記号枠５１２を結ぶ連結線５１６を合わせて
挿入部分の手書き修正データとする。なお、手書き行と
活字行の文字切り出し、文字認識では、挿入記号の悪影
響を避けるため、画像データから挿入記号部分を削除し
てから処理する。

【００３９】そして、最終文字領域まできたか判断し
（Ｓ３６）、最終文字領域で無ければ次の文字領域に移
り（Ｓ３７）、図７で説明したＳ２１からの処理を行
い、次の文字領域データに対して挿入部分があるか否か
の判断を行う。各文字領域データに対して挿入部分があ
るか否かの判断を行って、上記Ｓ３６で最終文字領域で
あると判断すると、処理を終了し、図２のＳ６の文字切
り出し処理へ移行する。そして、このＳ６の処理で上述
した図６で説明した削除部分の検出処理を行うことで、
挿入部分と置換部分と削除部分を求めることができるこ
とになる。

【００４０】なお、第２の実施例でも、第１の実施例と
同様に、上述した手書き修正部分の検出結果の確認・修
正は可能である。以上説明した第２の実施例によれば、
レイアウト解析部３により手書き修正部分を自動的に検
出できるので、オペレータが手書き修正部を指定する必
要がなく、オペレータの操作量を削減できる。また、レ
イアウト解析部３を用いた手書き修正部分の自動検出
は、オペレータの指定に比べて処理が早いので、処理時
間を短縮できる。

【００４１】次に本発明の第３の実施例を説明する。な
お、第３の実施例において文書読取装置の制御ブロック
は図１で説明した第１の実施例のものと同じである。ま
た、画像入力から結果出力までの処理の流れは、図２の
フローチャートで説明した処理と同じである。第１およ
び第２の実施例では、図２のＳ８の文字認識で手書き修
正に従って処理し、Ｓ９の認識データの確認・修正で手
書き修正に従って文字認識した結果を処理した。つま
り、Ｓ９の認識データの確認・修正では、認識データに
区別が無く、手書き修正部分と他の部分を同じに扱う。

【００４２】これに対して第３の実施例では、上記Ｓ８
の文字認識で手書き修正部分を他の処理結果と区別して
認識データを作成し、Ｓ９の認識データの確認・修正で
手書き修正部分を他の認識データと区別して処理する。
図１０は第３の実施例の認識結果の表示例を示す説明図
である。この図１０における認識結果の表示は、表示部
１０に表示する認識データの文字表示であり、制御部１
２は手書き修正部分のある画像表示と修正した認識結果
の表示を比較できるように表示する。

【００４３】すなわち、認識結果の表示において、手書
き修正データの文字表示部分は、反転表示、表示色、背
景色、網掛け、ブリンク等により、他の認識データの文
字表示と異なる表示とする。そして、手書き修正データ
が削除の場合、削除記号６０１を表示する。また、手書
き修正データが置換の場合、置換記号６０２で手書き行
の認識結果を挟んで表示する。さらに、手書き修正デー
タが挿入の場合、挿入記号６０３で手書き行の認識結果
を挟んで表示する。

【００４４】以上の手書き修正データの文字表示を操作
部１１を使い、例えばマウスカーソルで指定すると、レ
イアウトメモリ４内のレイアウトデータに従い、画像メ
モリ２内の画像データの手書き修正部分を画像表示し
て、手書き修正部分のある画像表示と修正した認識結果
の表示を比較できるようにする。また、図２Ｓ８の認識
データの確認・修正処理では、例えば、以下の機能を追
加する。 （１） 操作部１１のキーボードの「タブ」キーの押下
で、次の手書き修正データ部分に修正対象を移動する。 （２） 手書き修正データ部分を修正対象としたとき、
操作部１１のマウスやキーボードを使って簡単な操作で
削除記号や置換記号や挿入記号の配置や文字の訂正など
自動修正する。 （３） 複数ある手書き修正データ部分で、同じ修正内
容のものを一括修正する。 （４） 修正済部分を他と同じ表示とする。

【００４５】以上のように、第３の実施例によれば、オ
ペレータが表示部１０に表示した認識データの文字表示
と画像データの画像表示を比較して、手書き修正部分の
認識データを確認・修正できるので、オペレータによる
手書き修正部分の指定あるいはレイアウト解析部３の修
正解析手段３ａによる手書き修正部分の自動検出の誤り
を修正できるので、正しい認識結果が得られる。

【００４６】なお、上記第１、第２、第３の実施例で
は、修正部分が手書きのものとしたが、この部分を活字
としても、第１、第２、第３の実施例と同様な処理で正
しく認識処理ができる。また、上記第１、第２、第３の
実施例では、修正部分以外を活字としたが、この部分を
手書きとしても、第１、第２、第３の実施例と同様な処
理で正しく認識処理ができる。

【００４７】さらに、第２の実施例の手書き修正部分の
検出で、横書き文書に対する処理を説明したが、縦書き
文書に対しても、走査方向を横から縦にする、文字幅を
縦方向とする等により、同様な処理で修正部分の検出が
行える。同様に、第１、第３の実施例でも、縦書き文書
を処理できる。また、上記第１、第２、第３の実施例で
は、修正部分を削除、置換および挿入としたが、他に順
序入替え、改行、字下げ等の一般の添削部分の読み取り
に適用することも可能である。

【００４８】

【発明の効果】以上説明したように、本発明は、オペレ
ータにより修正部分および修正内容が指定されたり、自
動的に修正部分および修正内容が検出されると、この修
正データに従い認識データを作成することとしたので、
手書き修正が行われた状態で認識結果を作成でき、ま
た、手書き修正による活字部分への悪影響、例えば、
行、文字切り出し不良、手書き修正部分が活字部分に入
り込むことによる文字認識不良等を防止できる。このた
め、手書き修正を含んだ認識率の高い認識結果を得ら
れ、また、認識結果の修正操作が削減でき処理時間を短
縮できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の文書読取装置の構成を
示すブロック図である。

【図２】第１の実施例の文書読取装置の動作を示す処理
フローチャートである。

【図３】第１の実施例における手書き修正部分の指定方
法を示す説明図である。

【図４】第１の実施例の手書き修正部分の種類の選択メ
ニューを示す説明図である。

【図５】第１の実施例の手書き修正部分の文字認識方法
の説明図である。

【図６】手書き修正部分の検出処理フローチャートであ
る。

【図７】手書き修正部分の検出処理フローチャートであ
る。

【図８】手書き修正部分の検出処理フローチャートであ
る。

【図９】手書き修正部分の検出処理例の説明図である。

【図１０】第３の実施例の認識結果の表示例を示す説明
図である。

【図１１】従来の文書読取装置の問題点の説明図であ
る。

【符号の説明】

１ 画像入力部 ２ 画像メモリ ３ レイアウト解析部 ４ レイアウトメモリ ５ 文字認識部 ６ 認識メモリ ７ 結果出力部 １０ 表示部 １１ 操作部 １２ 制御部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 記録媒体上に記録された文字あるいはイ
   メージを走査して画像データを作成してこれを格納する
   画像入力手段と、 前記画像入力手段にて作成され格納されている画像デー
   タからレイアウトデータを作成してこれを格納するレイ
   アウト解析手段と、 前記レイアウト解析手段にて作成され格納されているレ
   イアウトデータに従い、前記画像入力手段にて作成され
   格納されている画像データの文字画像を認識してこれを
   格納する文字認識手段とを備え、 前記レイアウト解析手段は、オペレータにより指示され
   た修正部分およびその修正内容に応じた修正データを組
   み込んだレイアウトデータを作成および格納する手段を
   備え、 前記文字認識手段は、前記レイアウト解析手段にて作成
   された修正データが組み込まれたレイアウトデータに応
   じて画像データから認識データを作成する手段を備えた
   ことを特徴とする文書読取装置。
2. 【請求項２】 請求項１記載の文書読取装置において、 前記レイアウト解析手段は、前記画像データの修正部分
   および修正内容を検出して修正データを作成する機能を
   備えていることを特徴とする文書読取装置。
3. 【請求項３】 請求項１または２記載の文書読取装置に
   おいて、 前記文字認識手段は、前記修正データに従い修正部分お
   よび修正内容を明示できる認識データを作成する機能を
   備えているとともに、 前記文字認識手段で認識された修正部分および修正内容
   を明示できる認識データと前記画像メモリに格納された
   画像データを表示して、両者を比較して確認・修正を行
   える認識結果確認・修正手段を備えたことを特徴とする
   文書読取装置。