JPH11120185A

JPH11120185A - 情報処理装置及びその方法

Info

Publication number: JPH11120185A
Application number: JP9277040A
Authority: JP
Inventors: Makoto Takaoka; 真琴高岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-10-09
Filing date: 1997-10-09
Publication date: 1999-04-30
Also published as: US20020064316A1; US6539116B2

Abstract

(57)【要約】【課題】文書画像データをより効率的に利用し、かつ
管理することができる情報処理装置及びその方法を提供
する。【解決手段】入力された文書画像データの構成を解析す
る。解析されたテキストブロック中の文字列を文字認識
する。その文字認識結果を言語解析する。その言語解析
結果として得られる単語の同義語、類似語を抽出する。
言語解析結果として得られる単語を他言語の単語に変換
する。解析されたテキストブロック中の文字列を他言語
に翻訳する。そして、少なくとも、文書画像データの構
成を解析した解析結果、文字認識結果、言語解析結果を
記憶し、また、抽出結果、変換結果、翻訳結果の内、少
なくとも１つを文字認識結果と対応づけてＲＡＭ３に記
憶する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された文書画
像データを管理する情報処理装置及びその方法に関する
ものである。

【０００２】

【従来の技術】従来、文書画像データの内容を再利用す
る場合、スキャナ等の画像入力手段で文書画像データを
読み込み、その読み込んだ文書画像データに対して文字
認識処理を行って得られるデータを用いて再利用を図っ
ていた。また、近年の文書画像データのレイアウトも多
様化してきており、文字認識処理をより効率的に実行す
るために、文字認識処理を実行する前にレイアウト認識
処理を実行し、その精度も重要視されるようになってき
た。

【０００３】そこで、文書画像データをレイアウト認識
処理と文字認識処理が行われた後の結果の形式で、保存
しておけば文書画像データの内容まで取得することがで
きる。そして、保存された文書画像データから所望の文
書画像データを検索する場合に、その取得した内容を利
用することは、検索効率を向上するのに有効ことである
ため、文書画像データに対応させてレイアウト認識処理
結果と文字認識処理結果を保存する文書画像データ保存
形式が出始めてきている。

【０００４】このような文書画像データ保存形式は、特
定アプリケーションのファイルフォーマットである場合
が多く、例えば、マイクロソフト社のＲＴＦ（Ｒｉｃｈ
ＴｅｘｔＦｏｒｍａｔ）であったり、ジャストシステ
ム社の一太郎フォーマットであったり、最近では、イン
ターネットでよく用いられているＨＴＭＬ形式であった
りする。

【０００５】しかしながら、特定アプリケーションのフ
ァイルフォーマットの場合、相互互換がともすればでき
なかったり、交換精度が低下したりする場合が多い。そ
こで、レイアウト解析処理と文字認識処理の処理結果よ
り得られる情報をできるだけ多く保存し、各種アプリケ
ーションに変換するのに精度が落ちないようにするため
の中間フォーマットが必要とされてきた。

【０００６】そのような背景の元、どのようなアプリケ
ーションあるいはシステムでもコンバート（変換処理）
が可能な中間フォーマットが提唱されてきた。ＳＧＭＬ
形式やＰＤＦ（ＰａｇｅＤｅｓｃｒｉｐｔｉｏｎＦｏ
ｒｍａｔ）形式がその一例である。また、このような中
間フォーマットを総称して、ＤＡＯＦ（Ｄｏｃｕｍｅｎ
ｔＡｎａｌｙｓｉｓＯｕｔｐｕｔＦｏｒｍａｔ）と
呼ぶ。

【０００７】また、文書画像データを保存したり、交換
する場合、文書画像データそのものをビットマップデー
タや圧縮した後に、保存、交換を行う。しかしながら、
このような保存形式だと、自然画のような画像データは
良いが、文書画像データの場合、検索することができな
い。そこで、文書画像データを圧縮して持っていてもよ
いが、それ以外に文書画像データを画像解析して、文字
コード、レイアウト記述、そして文書画像データ中の図
や絵等は画像化する記述、さらに表はその構造を解析
し、表計算ソフトに適用できる保存形式が必要になって
きた。

【０００８】その解決手段として、従来のＤＡＯＦは文
書画像データを解析し、レイアウト記述、文字認識記
述、表構造記述、画像記述のデータ構成で文書画像デー
タを保存する。

【０００９】ここで、従来のＤＡＯＦのデータ構造につ
いて、図１１を用いて説明する。

【００１０】図１１は従来のＤＡＯＦのデータ構造を示
す図である。

【００１１】図１１において、４０１はＨｅａｄｅｒで
あり、処理対象の文書画像データに関する情報が保持さ
れる。レイアウト記述データ部４０２では、文書画像デ
ータ中のＴＥＸＴ（文字）、ＴＩＴＬＥ（タイトル）、
ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥＡＲＴ（線
画）、ＰＩＣＴＵＲＥ（自然画）、ＦＲＡＭＥ（枠）、
ＴＡＢＬＥ（表）等の属性毎に認識された各ブロックの
属性情報とその矩形アドレス情報を保持する。文字認識
記述データ部４０３では、ＴＥＸＴ、ＴＩＴＬＥ、ＣＡ
ＰＴＩＯＮ等のＴＥＸＴブロックを文字認識して得られ
る文字認識結果を保持する。表記述データ部４０４で
は、ＴＡＢＬＥブロックの構造の詳細を格納する。画像
記述データ部４０５は、ＰＩＣＴＵＲＥやＬＩＮＥＡＲ
Ｔ等のブロックのイメージデータを文書画像データから
切り出して保持する。

【００１２】このようなＤＡＯＦは、中間データとして
のみならず、それ自体がファイル化されて保存される場
合もある。これに伴い、この中間フォーマットが多数保
存されその整理や検索が重要視されてきた。また、文書
画像データのみを保存するのと違い、文字情報等で検索
が可能となり、このＤＡＯＦを利用した検索の要望が強
くなってきた。

【００１３】

【発明が解決しようとする課題】しかしながら、上述し
た従来のＤＡＯＦは、レイアウト認識処理や文字認識処
理の処理結果は、文書画像データを忠実に再現するため
のもとして利用されているため、所望の文書画像データ
を検索したり、その文書画像データと関連性のある文書
画像データ群をグループ化させたりすることはできなか
った。また、このような処理を実現するために、ＤＡＯ
Ｆで管理されるデータ間の論理的な関係により汎用性を
持たせることが必要とされている。

【００１４】本発明は上記の問題点に鑑みてなされたも
のであり、文書画像データをより効率的に利用し、かつ
管理することができる情報処理装置及びその方法を提供
することを目的とする。

【００１５】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による情報処理装置は以下の構成を備える。
即ち、入力された文書画像データを管理する情報処理装
置であって、前記入力された文書画像データの構成を解
析する構成解析手段と、前記解析手段で解析されたテキ
ストブロック中の文字列を文字認識する文字認識手段
と、前記文字認識手段の文字認識結果を言語解析する言
語解析手段と、前記言語解析手段で言語解析結果として
得られる単語の同義語、類似語を抽出する抽出手段と、
前記言語解析結果として得られる単語を他言語の単語に
変換する変換手段と、前記構成解析手段で解析されたテ
キストブロック中の文字列を他言語に翻訳する翻訳手段
と少なくとも、前記構成解析手段の解析結果、前記文字
認識手段の文字認識結果、前記言語解析手段の言語解析
結果を記憶し、また、前記抽出手段の抽出結果、前記変
換手段の変換結果、前記翻訳手段の翻訳結果の内、少な
くとも１つを前記文字認識結果と対応づけて記憶する記
憶手段とを備える。

【００１６】また、好ましくは、前記記憶手段は、前記
構成解析手段の解析結果、前記文字認識手段の認識結果
を論理的に記述したデータ構造で記憶する。

【００１７】また、好ましくは、前記記憶手段は、前記
抽出手段の抽出結果である同義語、類似語を単語単位
で、かつ前記文字認識手段の文字認識結果とリンクさせ
て記憶することを特徴とする請求項１に記載の情報処理
装置。前記記憶手段は、前記変換手段の変換結果である
他言語の単語を、前記文字認識手段の文字認識結果とリ
ンクさせて記憶する。

【００１８】また、好ましくは、前記記憶手段は、前記
翻訳手段の翻訳結果を、前記文字認識手段の文字認識結
果とリンクさせて記憶する。

【００１９】上記の目的を達成するための本発明による
情報処理方法は以下の構成を備える。即ち、入力された
文書画像データを管理する情報処理方法であって、前記
入力された文書画像データの構成を解析する構成解析工
程と、前記解析工程で解析されたテキストブロック中の
文字列を文字認識する文字認識工程と、前記文字認識工
程の文字認識結果を言語解析する言語解析工程と、前記
言語解析工程で言語解析結果として得られる単語の同義
語、類似語を抽出する抽出工程と、前記言語解析結果と
して得られる単語を他言語の単語に変換する変換工程
と、前記構成解析工程で解析されたテキストブロック中
の文字列を他言語に翻訳する翻訳工程と少なくとも、前
記構成解析工程の解析結果、前記文字認識工程の文字認
識結果、前記言語解析工程の言語解析結果を記憶し、ま
た、前記抽出工程の抽出結果、前記変換工程の変換結
果、前記翻訳工程の翻訳結果の内、少なくとも１つを前
記文字認識結果と対応づけて記憶媒体に記憶する記憶工
程とを備える。

【００２０】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
入力された文書画像データを管理する情報処理のプログ
ラムコードが格納されたコンピュータ可読メモリであっ
て、前記入力された文書画像データの構成を解析する構
成解析工程のプログラムコードと、前記解析工程で解析
されたテキストブロック中の文字列を文字認識する文字
認識工程と、前記文字認識工程の文字認識結果を言語解
析する言語解析工程のプログラムコードと、前記言語解
析工程で言語解析結果として得られる単語の同義語、類
似語を抽出する抽出工程のプログラムコードと、前記言
語解析結果として得られる単語を他言語の単語に変換す
る変換工程と、前記構成解析工程で解析されたテキスト
ブロック中の文字列を他言語に翻訳する翻訳工程のプロ
グラムコードと少なくとも、前記構成解析工程の解析結
果、前記文字認識工程の文字認識結果、前記言語解析工
程の言語解析結果を記憶し、また、前記抽出工程の抽出
結果、前記変換工程の変換結果、前記翻訳工程の翻訳結
果の内、少なくとも１つを前記文字認識結果と対応づけ
て記憶媒体に記憶する記憶工程のプログラムコードとを
備える。

【００２１】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。

【００２２】図１は本発明の実施形態の情報処理装置の
構成を示すブロック図である。

【００２３】図１において、ＣＰＵ１はメインバス７を
介して情報処理装置１０全体の制御を実行するととも
に、情報処理装置１０の外部に接続される入力装置１１
（例えば、イメージスキャナ、記憶装置、ネットワーク
回線を介して接続される他の情報処理装置、電話回線を
介して接続されるファクシミリ等）を入力Ｉ／Ｆ（印あ
フェース）４を介して制御する。また、情報処理装置１
０の外部に接続される出力装置１２（例えば、プリン
タ、モニタ、ネットワーク回線を介して接続される他の
情報処理装置、電話回線を介して接続されるファクシミ
リ等）５を介して制御する。また、ＣＰＵ１は、ＫＢＤ
Ｉ／Ｆ（キーボードインタフェース）６を介して入力部
（例えば、キーボード２３やポインティングデバイス２
４やペン２５）から入力された指示に従って、画像の入
力、画像処理、色変換処理、画像の出力制御等の一連の
処理を実行する。更に、入力装置１１より入力された画
像データや、キーボード３やポインティングデバイス２
４やペン２５を用いて作成された画像データを表示する
表示部３０をビデオＩ／Ｆ（インタフェース）２８を介
して制御する。

【００２４】ＲＯＭ２は、ＣＰＵ１の各種制御を実行す
る各種制御プログラムを記憶している。ＲＡＭ３は、Ｃ
ＰＵ１によりＯＳや本発明を実現するための制御プログ
ラムを含むその他の制御プログラムがロードされ実行さ
れる。また、制御プログラムを実行するために用いられ
る各種作業領域、一時待避領域として機能する。また、
入力装置１１より入力された画像データや、キーボード
２３やポインティングデバイス２４やペン２５を用いて
作成された画像データを、一旦、保持するＶＲＡＭ（不
図示）が構成されている。

【００２５】次に、本実施形態で実行される処理の概要
について、図２を用いて説明する。図２は本発明の実施
形態で実行される処理の概要を示すフローチャートであ
る。

【００２６】まず、文書画像データを取り込み、取り込
んだ文書画像データに対し、レイアウト認識（詳細は後
述）を行い、ＴＥＸＴ（文字）、ＴＩＴＬＥ（タイト
ル）、ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥＡＲ
Ｔ（線画）、ＰＩＣＴＵＲＥ（自然画）、ＦＲＡＭＥ
（枠）、ＴＡＢＬＥ（表）等の属性毎に各ブロックを解
析する（ステップＳ２０２）。次に、文字認識（詳細は
後述）を行う（ステップＳ２０３９。これは、レイアウ
ト認識で認識されたＴＥＸＴブロックに対して行い、１
文字ごとに文字認識処理を行う。認識結果は、第一候
補、第二候補のように、いくつかの認識結果を保持す
る。次に、文字認識結果の第１候補を用いて、文字認識
結果として得られた文字列に対応する単語を確定する自
然言語処理を行う（ステップＳ２０４）。この言語処理
では、候補文字列の前後関係より、文字がおかしい場合
候補文字から、合う文字を抜きだして、第一候補と入れ
替えたり、あるいはまったく候補に入っていなく、新規
に文字を当てはめる場合もある。この処理結果は、文字
認識結果として保持されている候補文字列を訂正するこ
とで、反映される。

【００２７】次に、言語処理結果で得られた単語ごとに
同義語、あるいは類義語を抽出する同義語処理を行う
（ステップＳ２０５）。抽出された同義語は、言語処理
結果である本来の文字列より、多くなったり少なくなっ
たりするが、これは、新規にデータ構造を作成し、文字
認識結果として保持されている文字列とリンクが張れる
ようにすればよい。言語処理結果で得られた単語列を、
機械翻訳により、他言語単語を抽出する単語翻訳処理を
行う（ステップＳ２０６）。次に、文字認識処理結果の
第一候補を機械翻訳するＴＥＸＴＢｌｏｃｋ翻訳処理
を行う（ステップＳ２０７）。このＴＥＸＴＢｌｏｃ
ｋ翻訳処理では、文字認識結果が正しくないと、翻訳結
果に誤訳が多くなるが、言語処理結果に対し再翻訳を行
ったり、入力部を介してユーザが誤訳の訂正を行うこと
で誤訳を削減することができる。尚、機械翻訳では、前
後の文脈より適切な翻訳結果を作成するため、この処理
では、一文字ごとの結果ではな＜、一連の文書となる文
字列に対し翻訳処理を行う。この翻訳結果は可変長のた
め、同義語処理と同様、新規にデータ構造を作成し、文
字認識結果である文字列とリンクを張っておく。

【００２８】次に、上述した処理の具体例について、図
３を用いて説明する。

【００２９】図３は本発明の実施形態で実行される処理
の具体例を説明するための図である。

【００３０】例えば、「評価辞書」という文字列が文書
画像データ中にあるとする。この文字列の内、”価”の
文字の文字認識結果が”イ”、”西”の２文字であると
する。この文字認識結果に対し、言語処理を行うと、”
価”の文字として認識される。これにより、文字認識結
果の文字数は、２文字の文字認識結果が結合されて保持
される。また、”評価”、”辞書”それぞれの単語に対
し同義語処理を行うと、例えば、”検査”、”辞典”と
いう同義語が抽出される。この処理は、ＲＯＭ２等に同
義語対比テーブル（不図示）を記憶しておき、これを参
照することで行う。また、”評価”、”辞書”それぞれ
の単語に対し単語翻訳処理を行うと、例えば、”ｅｖａ
ｌｕａｔｅ”、”ｄｉｃｔｉｏｎａｒｙ”という翻訳単
語が抽出される。この処理も、ＲＯＭ２等に単語翻訳テ
ーブル（不図示）を記憶しておき、これを参照すること
で実現される。ここでは、英語に翻訳する例を示した
が、中国語、韓国語等の他国言語で翻訳することも可能
である。また、”評価辞書”に対しＴＥＸＴＢｌｏｃ
ｋ処理を行うと、例えば、”ｅｖａｌｕａｔｉｏｎｄｉ
ｃｔｉｏｎａｒｙ”というように翻訳される。以上の例
は、簡単な熟語のため、それ程変化はないが、一連の文
章として存在するＴＥＸＴＢｌｏｃｋの場合、前後関
係から適切な翻訳を行うことになる。

【００３１】次に、本実施形態による処理例について、
図４を用いて説明する。

【００３２】図４は本発明の実施形態の処理例を示す図
である。

【００３３】例えば、文書画像データ１０１に対し、レ
イアウト認識及び文字認識を行うと、その結果である文
書解析結果画像１０２が作成される。文書解析結果画像
１０２では、レイアウト認識によって認識される認識枠
が示されている。次に、同義語処理を行うと、その結果
である同義語置き換え文書解析結果画像１０３が作成さ
れる。この同義語文書解析結果画像１０３は、文字認識
結果に対し言語処理を行い、単語ごとの同義語を抽出
し、その同義語を文字認識結果中の対応する単語と置き
換えたものである。

【００３４】次に、単語翻訳処理を行うと、その結果で
ある他言語学語置き換え文書解析結果画像１０４が作成
される。この他言語単語置き換え文書解析結果画像１０
４は、言語処理結果に対し単語ごとの翻訳を行い、その
翻訳された他国語言語を文字認識結果中の対応する単語
と置き換えたものである。次に、ＴＥＸＴＢｌｏｃｋ
翻訳処理を行うと、その結果である他言語翻訳置き換え
文書解析結果画像１０５が作成される。この他言語翻訳
置き換え文書解析結果画像１０５は、レイアウト認識で
認識されたＴＥＸＴブロックに対し、その認識順番に従
ってＴＥＸＴブロック中の文字列の機械翻訳を行い、そ
の翻訳結果を対応するＴＥＸＴブロックと置き換えたも
のである。

【００３５】このように、本実施形態によれば、文書画
像データから認識した各ブロックに対応する上述しの処
理を行い、各処理結果にリンクを張っておく。これによ
り、文書画像データのレイアウトを損なわずに、各処理
結果を管理することができる。

【００３６】次に、本実施形態で実行される処理によっ
て得られる各処理結果を保持するデータ構造例につい
て、図５を用いて説明する。

【００３７】図５は本発明の実施形態で実行される処理
によって得られる各処理結果を保持するデータ構造例を
示す図である。

【００３８】図５において、４０１はＨｅａｄｅｒであ
り、処理対象の文書画像データに関する情報が保持され
る。４０２はレイアウト記述データ部であり、レイアウ
ト認識処理の処理結果を保持する。４０３は文字認識記
述データ部であり、文字認識処理の処理結果を保持す
る。４０４は表記述データ部であり、レイアウト認識処
理で認識されたＴＡＢＬＥブロックに関するデータを保
持する。４０５は画像記述部であり、レイアウト認識処
理で認識されたＰＩＣＴＵＲＥブロック等の画像ブロッ
クに関するデータを保持する。４０６は同義語記述デー
タ部であり、同義語処理の処理結果を保持する。４０７
は他言語単語記述データ部であり、単語翻訳処理の処理
結果を保持する。４０８は他言語翻訳記述データ部であ
り、ＴＥＸＴＢｌｏｃｋ処理の処理結果を保持する。

【００３９】尚、同義語記述データ部４０６、他言語単
語記述データ部４０７、他言語翻訳記述データ部４０８
それぞれが独立して存在するのは、処理内容によって、
保持する文字列等のデータが変化したり、それぞれ特徴
のあるデータ情報を必要とするからである。例えば、文
字認識記述データ部４０３は、一文字単位でデータを保
持するが、同義語記述データ部４０６、他言語単語記述
データ部４０７は、単語単位でデータを保持する。ま
た、他言語翻訳記述データ部４０８、翻訳対象となった
ＴＥＸＴブロックに関する情報が必要となる。

【００４０】次に、図５のデータ構造例の詳細につい
て、図６を用いて説明する。

【００４１】図６は本発明の実施形態の図５のデータ構
造例の詳細を示す図である。

【００４２】図６において、レイアウト記述データ部４
０２では、レイアウト認識されたそれぞれのブロックの
矩形アドレスとその属性（ａｔｔｒｉｂｕｔｅ）を保持
する。その他各種情報は省略する。文字認識記述データ
部４０３では、ＢｌｏｃｋＤｅｓｃｒｉｐｔｏｒで対象
とするＴＥＸＴブロックの詳細情報を保持する。また、
ＬｉｎｅＤｅｓｃｒｉｐｔｏｒでは、ＴＥＸＴブロッ
クの１行ごとの情報を保持する。これらは主に、文字認
識処理で実行される文字切り出し処理から得られる情報
から生成される。ＥｌｅｍｅｎｔＤｅｓｃｒｉｐｔｏ
ｒでは、文字認識処理の処理結果が記述され、第１候補
から第ｎ候補まで記述される。通常は、第８候補程度迄
を保持する。

【００４３】表記述データ部４０４では、レイアウト認
識処理でＴＥＢＬＥブロックと認識された矩形情報の他
に、属性として、ＴＡＢＬＥ、ＲＥＧＩＯＮ、ＣＥＬ
Ｌ、ＥＬＥＭＥＮＴを設けている。ＴＡＢＬＥは表全体
を示す領域、ＲＥＧＩＯＮは罫線枠で囲まれた最大枠を
示す領域、ＣＥＬＬは表の意味のある最小単位の枠、Ｅ
ＬＥＭＥＮＴは１行単位の文字列領域の枠を示す。

【００４４】画像記述データ部４０５では、レイアウト
認識処理で認識されたＰＩＣＴＵＲＥ等の画像ブロック
の矩形情報を示す情報、画像のタイプを示す情報、解像
度を示す情報を保持する。同義語記述データ部４０６、
他言語単語記述データ部４０７は、文字認識記述データ
部４０３と同様なＢｌｏｃｋＤｅｓｃｒｉｐｔｏｒ、
ＬｉｎｅＤｅｓｃｒｉｐｔｏｒを有し、また、Ｗｏｒ
ｄＤｅｓｃｒｉｏｔｏｒを保持する。ここに、同義語
が格納されたり、他言語単語を格納する。他言語翻訳記
述データ部４０８は、ＢｌｏｃｋＤｅｓｃｒｉｐｔｏ
ｒ、ＬｉｎｅＤｅｓｃｒｉｐｔｏｒを有し、Ｌｉｎｅ
Ｄｅｓｃｒｉｐｔｏｒに翻訳情報を保持する。

【００４５】次に、本実施形態で実行される処理の詳細
について、図７を用いて説明する。図７は本発明の実施
形態で実行される処理の詳細を示すフローチャートであ
る。

【００４６】まず、ステップＳ６０２で、レイアウト認
識処理を行う。詳しくは、文書画像データの黒画素を検
出してゆき、輪郭線追跡、またはラベリング方式によ
り、黒画素ブロックの矩形枠を作成する。次に、その矩
形枠のなかの黒画素密度、隣接矩形枠の有無、矩形枠の
縦横比率などを判断基準にして、ＴＡＢＬＥブロック、
ＰＩＣＴＵＲＥブロック等の画像ブロック、ＴＥＸＴブ
ロック等の属性毎にブロックを認識する。このレイアウ
ト認識処理によって認識された各属性のブロック毎に対
応する処理を行う。

【００４７】ＴＥＸＴブロックが認識された場合（ステ
ップＳ６０３）、ステップＳ６０４で、文字認識処理を
行う。

【００４８】ステップＳ６０４で行う文字認識処理の一
つの方法として、特徴ベクトル抽出比較方式がある。例
えば、”本”という文字が文書画像データ中にあったと
する。これに対し、第一段階として、文字切り出し処理
を行なう。これは一つの文字の矩形を切り出す処理で、
黒画素連続性の状態を検出していけば求められる。第二
段階として、一文字をｍ×ｎのブロックに切り出す。例
えば、６４×６４にする。そして、そのブロックの中か
ら２×２のウインドウを用いて、黒画素の分布方向を抽
出する（方向ベクトル情報）。この２×２のウインドウ
をずらしてゆき、方向ベクトル情報を数十個得る。この
ベクトル情報が切り出した文字の特徴となる。この特徴
ベクトルとあらかじめ用意してある文字認識辞書とを比
較して、特徴ベクトルに一番近い文字から順番に文字を
抽出する。一番近い文字が第一候補となり、続いて第
二、第三候補となる。この特徴ベクトルの近さが、その
文字に対する距離の近さ、これが類似度という数値とな
る。そして、類似度が近ければ、より精度の高い文字と
いうことになる。

【００４９】また、上述したレイアウト認識処理で、Ｔ
ＡＢＬＥブロックが認識された場合（ステップＳ６０
５）、ステップＳ６０６で、表解析を行う。

【００５０】また、上述したレイアウト認識処理で、Ｐ
ＩＣＴＵＲＥブロック等の画像ブロックが認識された場
合（ステップＳ６０７）、ステップＳ６０８で、画像切
り出しを行う。次に、ステップＳ６０９で、切り出した
画像を圧縮するか否かを判定する。圧縮する場合（ステ
ップＳ６０９でＹＥＳ）、ステップＳ６１０に進み、そ
の切り出した画像を圧縮する。一方、圧縮しない場合
（ステップＳ６０９でＮＯ）、ステップＳ６１２に進
む。

【００５１】また、上述したレイアウト認識処理で、上
記のＴＥＸＴブロック、ＴＡＢＬＥブロック、画像ブロ
ック以外のブロックが認識された場合（ステップＳ６１
１）、そのブロックをそのまま保持する。

【００５２】ステップＳ６１２で、レイアウト認識処理
によって認識された各属性のブロック毎に対し施された
処理によって得られたデータを基に、ＤＡＯＦを作成す
る。尚、この時点で作成されるＤＡＯＦは図１１に示し
た従来のＤＡＯＦと同様の構成を有する。

【００５３】ステップＳ６１３で、ＴＥＸＴブロックに
対し言語処理を行う。ステップＳ６１４で、同義語処理
を行うか否かを判定する。同義語処理を行う場合（ステ
ップＳ６１４でＹＥＳ）、ステップＳ６１５に進み、同
義語処理を行う。一方、同義語処理を行わない場合（ス
テップＳ６１４でＮＯ）、ステップＳ６１６に進む。ス
テップＳ６１６で、他言語単語処理を行うか否かを判定
する。他言語単語処理を行う場合（ステップＳ６１６で
ＹＥＳ）、ステップＳ６１７に進み、他言語単語処理を
行う。一方、他言語単語処理を行わない場合（ステップ
Ｓ６１６でＮＯ）、ステップＳ６１８に進む。ステップ
Ｓ６１８で、他言語翻訳処理を行うか否かを判定する。
他言語翻訳処理を行う場合（ステップＳ６１８でＹＥ
Ｓ）、ステップＳ６１９に進み、他言語翻訳処理を行
う。一方、他言語翻訳処理を行わない場合（ステップＳ
６１８でＮＯ）、ステップＳ６２０に進む。

【００５４】ステップＳ６２０で、ステップＳ６１４〜
ステップＳ６１９の処理によって得られるデータを、ス
テップＳ６１２で作成したＤＡＯＦにデータを追加し、
拡張ＤＡＯＦを作成する。以上説明した処理によって、
例えば、図６に示したようなデータ構造を有するＤＡＯ
Ｆを作成することができる。

【００５５】次に、本発明の応用例を説明する。

【００５６】図８は本発明の応用例を説明するための情
報処理システムの構成例を示す図である。

【００５７】図８に示す情報処理システム例では、コン
ピュータ１０にスキャナ７０１、複写機７０２の画像入
力手段が接続され、それらの画像入力手段から入力され
た文書画像データをハードディスク等の記憶媒体７０４
に保存することができる。

【００５８】この情報処理システムによって、記憶媒体
７０４に上述した処理によって得られた複数のＤＡＯＦ
とそれに対応する文書画像データが格納され、格納され
ているＤＡＯＦを利用して所望の文書画像データを検索
する場合について、図８を用いて説明する。

【００５９】図９は本発明の図８の情報処理システムの
記憶媒体に格納された文書画像データから所望の文書画
像データを検索する手順を説明するための図である。

【００６０】ここでは、記憶媒体７０４には、数百、数
千の文書画像データとそれに対応するＤＡＯＦが格納さ
れているとする。そして、これらの文書画像データから
所望の文書画像データを検索する場合には、コンピュー
タ１０の表示部３０に表示されるＧＵＩ（グラフィック
ユーザインタフェース）８０３を用いて検索を行う。ま
ず、検索キーワードの項目に検索条件である文字列を入
力する。検索方法としては、ＤＡＯＦの文字認識記述デ
ータ部４０３の内容を参照して、例えば、曖昧検索を用
いて、第一候補、第二候補のように、候補文字も含めた
検索を行う。また、文字認識の誤認識の精度を考慮し
て、単語の間抜けもカバーするような検索を行う（８０
４）。

【００６１】また、この検索に加えて、検索条件の文字
列の照合を同義語記述データ部４０６の内容も加味して
検索を行っても良い（８０５）。これは、検索条件であ
る文字列の類義語、同義語を有する文書画像データも検
索するためである。

【００６２】更に、この検索に加えて、他言語単語記述
データ部４０７の内容も加味して検索を行っても良い
（８０６）。これによって、他言語の文字列を検索条件
として入力しても所望の文書画像データを検索すること
ができる。

【００６３】以上の検索によって、ＧＵＩ８０３内に検
索条件に該当する文書画像データ８０７が検索結果とし
て表示される。尚、上述したＤＡＯＦの内容を参照した
検索方法は、上述したものに限らず、例えば、他言語翻
訳記述データ部４０８の内容を加味した検索等、ユーザ
の好みに応じて様々な検索方法で検索することが可能で
ある。

【００６４】また、ＧＵＩ８０３が表示する検索結果を
表示する表示形態は、図９に示したものに限定されず、
図１０に示すような表示形態であっても良い。

【００６５】図１０に示すＧＵＩ９０１では、検索結果
である文書画像データ９０２以外に、他言語翻訳記述デ
ータ部４０８の内容を参照して作成した文書画像データ
９０２内のＴＥＸＴブロックが翻訳されている文書画像
データ９０３を表示する。このように、元の文書画像デ
ータ９０２と他言語翻訳記述データ部４０８の内容を反
映させた文書画像データを対比させて表示するため、他
言語での判読が可能となる。

【００６６】尚、図１０では、文書画像データ９０２
と、そのＴＥＸＴブロックの他言語翻訳を含む文書画像
データ９０３を表示するようにしたが、文書画像データ
９０２内のＴＥＸＴブロックに対しクリックした場合
に、その他言語翻訳を表示すような構成にしてもよい。

【００６７】また、これ以外にも、ＤＡＯＦを利用した
検索結果の表示が可能であることは言うまでもない。

【００６８】また、応用例では、文書画像データを検索
する例を示したが、本実施形態のＤＡＯＦは、文書画像
データの補助データとして活用することもできる。例え
ば、他言語の文書画像データや他言語が混在する文書画
像データ内の文字列の上、あるいは下にルビをふる形式
で、同義語、他言語単語、他言語翻訳を挿入して表示す
ることで、より判読が容易な文書画像データを作成する
ことができる。

【００６９】以上説明したように、本実施形態によれ
ば、文書画像データに対し図６に示したＤＡＯＦを保持
する。これにより、文書画像データから所望の文書画像
データを検索する場合、検索条件である文字列が文字認
識記述データ部４０３に保持されてなくても、同義語記
述データ部４０６に保持されていれば、それに基づいて
検索するが可能になり、検索率を向上することができ
る。

【００７０】また、日本語以外の言語、例えば、英語を
検索条件とした文書画像データの検索が可能となる。こ
れは、例えば、日本語の特許文書画像データを検索する
場合にも、アメリカ人が日本の特許を調査するのに、英
語の検索条件で、所望の特許文書画像データを検索する
ことが可能となる。また、英語以外、中国語、韓国語な
どでもこれと同等の使用方法ができる。

【００７１】また、文書画像データを再利用する場合
に、同様のレイアウトで、他言語に翻訳された文書画像
データも再現することができる。あるいは、ワープロソ
フトと連携の操作になるが、文書画像データ中の所望の
ＴＥＸＴブロックをクリックすることにより、その部分
だけ他言語の翻訳表示に切り替えることも可能である。
これにより、翻訳文書との対比読みができ、他言語が混
在する文書画像データを読みやすくすることができる。

【００７２】まとめると、本実施形態によれば、（１）
曖昧検索、同義語検索、他言語検索が可能となる。
（２）他言語翻訳結果が、即座に読むことができる。
（３）他言語、あるいは他言語が混在するような文書画
像データの判読補助手段を提供することができる。

【００７３】尚、本発明は、複数の機器（例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など）から構成されるシステムに適用してもよい。

【００７４】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００７５】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００７６】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【００７７】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００７８】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００７９】

【発明の効果】以上説明したように、本発明によれば、
文書画像データをより効率的に利用し、かつ管理するこ
とができる情報処理装置及びその方法を提供できる。

【００８０】

【図面の簡単な説明】

【図１】本発明の実施形態の情報処理装置の構成を示す
ブロック図である。

【図２】本発明の実施形態で実行される処理の概要を示
すフローチャートである。

【図３】本発明の実施形態で実行される処理の具体例を
説明するための図である。

【図４】本発明の実施形態の処理例を示す図である。

【図５】本発明の実施形態で実行される処理によって得
られる各処理結果を保持するデータ構造例を示す図であ
る。

【図６】本発明の実施形態の図５のデータ構造例の詳細
を示す図である。

【図７】本発明の実施形態で実行される処理の詳細を示
すフローチャートである。

【図８】本発明の応用例を説明するための情報処理シス
テムの構成例を示す図である。

【図９】本発明の図８の情報処理システムの記憶媒体に
格納された文書画像データから所望の文書画像データを
検索する手順を説明するための図である。

【図１０】本発明の実施形態の検索による検索結果の表
示例を示す図である。

【図１１】従来のＤＡＯＦのデータ構造を示す図であ
る。

【符号の説明】１ＣＰＵ２ＲＯＭ３ＲＡＭ４入力Ｉ／Ｆ５出力Ｉ／Ｆ６ＫＢＤＩ／Ｆ７メインバス１０コンピュータ１１入力装置１２出力装置２３ポインティングデバイス２４キーボード２５ペン２８ビデオＩ／Ｆ３０表示部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ０６Ｆ 15/62 ３２５Ｚ

Claims

【特許請求の範囲】

【請求項１】入力された文書画像データを管理する情
報処理装置であって、前記入力された文書画像データの構成を解析する構成解
析手段と、前記解析手段で解析されたテキストブロック中の文字列
を文字認識する文字認識手段と、前記文字認識手段の文字認識結果を言語解析する言語解
析手段と、前記言語解析手段で言語解析結果として得られる単語の
同義語、類似語を抽出する抽出手段と、前記言語解析結果として得られる単語を他言語の単語に
変換する変換手段と、前記構成解析手段で解析されたテキストブロック中の文
字列を他言語に翻訳する翻訳手段と少なくとも、前記構
成解析手段の解析結果、前記文字認識手段の文字認識結
果、前記言語解析手段の言語解析結果を記憶し、また、
前記抽出手段の抽出結果、前記変換手段の変換結果、前
記翻訳手段の翻訳結果の内、少なくとも１つを前記文字
認識結果と対応づけて記憶する記憶手段とを備えること
を特徴とする情報処理装置。
【請求項２】前記記憶手段は、前記構成解析手段の解
析結果、前記文字認識手段の認識結果を論理的に記述し
たデータ構造で記憶することを特徴とする請求項１に記
載の情報処理装置。
【請求項３】前記記憶手段は、前記抽出手段の抽出結
果である同義語、類似語を単語単位で、かつ前記文字認
識手段の文字認識結果とリンクさせて記憶することを特
徴とする請求項１に記載の情報処理装置。
【請求項４】前記記憶手段は、前記変換手段の変換結
果である他言語の単語を、前記文字認識手段の文字認識
結果とリンクさせて記憶することを特徴とする請求項１
に記載の情報処理装置。
【請求項５】前記記憶手段は、前記翻訳手段の翻訳結
果を、前記文字認識手段の文字認識結果とリンクさせて
記憶することを特徴とする請求項１に記載の情報処理装
置。
【請求項６】入力された文書画像データを管理する情
報処理方法であって、前記入力された文書画像データの構成を解析する構成解
析工程と、前記解析工程で解析されたテキストブロック中の文字列
を文字認識する文字認識工程と、前記文字認識工程の文字認識結果を言語解析する言語解
析工程と、前記言語解析工程で言語解析結果として得られる単語の
同義語、類似語を抽出する抽出工程と、前記言語解析結果として得られる単語を他言語の単語に
変換する変換工程と、前記構成解析工程で解析されたテキストブロック中の文
字列を他言語に翻訳する翻訳工程と少なくとも、前記構
成解析工程の解析結果、前記文字認識工程の文字認識結
果、前記言語解析工程の言語解析結果を記憶し、また、
前記抽出工程の抽出結果、前記変換工程の変換結果、前
記翻訳工程の翻訳結果の内、少なくとも１つを前記文字
認識結果と対応づけて記憶媒体に記憶する記憶工程とを
備えることを特徴とする情報処理方法。
【請求項７】前記記憶工程は、前記構成解析工程の解
析結果、前記文字認識工程の認識結果を論理的に記述し
たデータ構造で前記記憶媒体に記憶することを特徴とす
る請求項６に記載の情報処理方法。
【請求項８】前記記憶工程は、前記抽出工程の抽出結
果である同義語、類似語を単語単位で、かつ前記文字認
識工程の文字認識結果とリンクさせて前記記憶媒体に記
憶することを特徴とする請求項６に記載の情報処理方
法。
【請求項９】前記記憶工程は、前記変換工程の変換結
果である他言語の単語を、前記文字認識工程の文字認識
結果とリンクさせて前記記憶媒体に記憶することを特徴
とする請求項６に記載の情報処理方法。
【請求項１０】前記記憶工程は、前記翻訳工程の翻訳
結果を、前記文字認識工程の文字認識結果とリンクさせ
て前記記憶媒体に記憶することを特徴とする請求項６に
記載の情報処理方法。
【請求項１１】入力された文書画像データを管理する
情報処理のプログラムコードが格納されたコンピュータ
可読メモリであって、前記入力された文書画像データの構成を解析する構成解
析工程のプログラムコードと、前記解析工程で解析されたテキストブロック中の文字列
を文字認識する文字認識工程と、前記文字認識工程の文字認識結果を言語解析する言語解
析工程のプログラムコードと、前記言語解析工程で言語解析結果として得られる単語の
同義語、類似語を抽出する抽出工程のプログラムコード
と、前記言語解析結果として得られる単語を他言語の単語に
変換する変換工程と、前記構成解析工程で解析されたテ
キストブロック中の文字列を他言語に翻訳する翻訳工程
のプログラムコードと少なくとも、前記構成解析工程の
解析結果、前記文字認識工程の文字認識結果、前記言語
解析工程の言語解析結果を記憶し、また、前記抽出工程
の抽出結果、前記変換工程の変換結果、前記翻訳工程の
翻訳結果の内、少なくとも１つを前記文字認識結果と対
応づけて記憶媒体に記憶する記憶工程のプログラムコー
ドとを備えることを特徴とするコンピュータ可読メモ
リ。