JP4948586B2 - 文書画像生成装置、文書画像生成方法、コンピュータプログラム及び記録媒体 - Google Patents

Description

本発明は、画像により表現される文章に対して補足説明を付加する処理を行う文書画像生成装置、文書画像生成方法、コンピュータプログラム及び記録媒体に関する。

従来、原稿をスキャンして得られた画像に表現される文書等、電子データで表現される文書に対して、文字認識を行い、自動で翻訳を行う技術が知られている。特許文献１には、文書中の単語に対する訳語を単語に近接した行間に配置し、文書の行間が狭い場合には文書の文字サイズを小さくした文書を作成する技術が記載されている。特許文献２には、文書の単語に近接した行間に訳語を配置する際に、訳語の表示長さを文書の単語の表示長さよりも小さくなるように訳語の表示形態を調整する技術が記載されている。特許文献３には、熟語に対して訳語を配置することが可能であり、訳語を配置した熟語に対しては下線を付す技術が記載されている。特許文献４には、文書に対する訳文を生成し、生成した訳文を文書の行間に配置した文書を作成する技術が記載されている。

特開平７−１２１５３９号公報 特開平５−３２４７２０号公報 特開平６−３０１７１３号公報 特開平２００９−５３８３８号公報

特許文献１に記載の技術では、文書の文字サイズが小さくなるので、文書のイメージが崩れ、文書のレイアウトを維持できない。特許文献２及び３に記載の技術では、訳語の表示長さが調整されるため、文書が横書き文書の場合はＸ軸方向のレイアウトの維持は考慮されるものの、Ｙ軸方向のレイアウトの維持については考慮されていないので、文書及び訳語がＹ軸方向に伸びていき、文書のレイアウトが維持できない。文書のレイアウトが維持できない場合は、元の文書との比較が困難になるという問題がある。また特許文献４に記載の技術では、訳文では語順が文書から変化するので、文書と訳文との間で単語同士の対応関係を把握することが困難となる。また単語の綴り間違い、文字の誤認識、又は誤訳等があった場合には、訳文全体が間違った訳文となり、訳文から文書の意味を理解することが困難になるという問題がある。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、文書の文字サイズ及び文字位置等を変化させず、各単語及び連語に対する訳語等の補足説明を追加した文書の画像を生成することによって、文書のレイアウトを維持し、文書をより理解し易くする文書画像生成装置、文書画像生成方法、コンピュータプログラム及び記録媒体を提供することにある。

本発明に係る文書画像生成装置は、複数の行を含んでなる文書を表す画像から、文書に含まれる単語、又は複数の単語からなる連語に対する補足説明を文書に付加した補足説明付文書を表す画像を生成する文書画像生成装置において、文書を表す原文書画像を取得する原文書画像取得手段と、該原文書画像取得手段が取得した原文書画像に含まれる文字の認識及び原文書画像中での文字位置の特定を行う文字認識手段と、該文字認識手段が認識した文字で構成される文書に対して自然言語処理を行うことによって、文書に含まれる単語又は連語の意味を確定し、各単語又は連語の意味に対応する補足説明を取得する補足説明取得手段と、文書に含まれる単語又は連語の内で、文書中に補足説明を配置すべき単語又は連語を選択する手段と、前記文字認識手段が認識した文字の位置に基づき、各単語又は連語に対応して取得した補足説明について、文書中で補足説明を配置すべき位置として、原文書画像中で該単語又は連語に近接した行間の位置を定める位置決定手段と、該位置決定手段が定めた原文書画像中の位置に相当する位置に各補足説明を配置した補足説明テキストレイヤを、原文書画像からなる原文書画像レイヤに重ねることにより、補足説明付文書を表す画像を生成する画像生成手段とを備え、前記位置決定手段は、補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長いか否かを判定する手段と、補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長い場合に、前記単語又は連語の前後の単語が他の補足説明を配置すべき単語であるか否かを判定する手段と、補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語ではない場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語ではない単語に近接する行間の位置とを含む位置を定める手段と、補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語である場合に、補足説明に対応する単語又は連語の前後の単語の内で他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短いか否かを判定する手段と、他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語であって該単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い単語に近接する行間の位置の一部とを含む位置を定める手段と、文書中で補足説明を配置すべき位置として定めた位置に配置できる文字列の長さよりも長い補足説明の長さを縮小する手段とを有することを特徴とする。

本発明に係る文書画像生成装置は、前記位置決定手段は、補足説明を取得した連語が、該連語に含まれる複数の単語が文書中で不連続に配置されている不連続連語であるか否かを判定する手段と、補足説明を取得した連語が不連続連語である場合に、文書中で補足説明を配置すべき位置として、不連続連語に含まれる先頭単語、不連続連語に含まれる連続単語列、又は不連続連語に含まれる最長単語のいずれかに原文書画像中で近接した行間の位置を定める手段とを有することを特徴とする。

本発明に係る文書画像生成装置は、前記画像生成手段は、原文書画像中の不連続連語の位置に相当する位置に不連続連語であることを示す印を配置した画像からなる印画像レイヤを、原文書画像レイヤに更に重ねるように構成してあることを特徴とする。

本発明に係る文書画像生成装置は、前記画像生成手段は、原文書画像に含まれる各文字を示すテキストデータを、透明にした状態で原文書画像中の各文字の位置に相当する位置に配置した原文書テキストレイヤを、原文書画像レイヤに更に重ねるように構成してあることを特徴とする。

本発明に係る文書画像生成装置は、前記補足説明取得手段は、補足説明として、単語若しくは連語に対する訳語、単語若しくは連語の読み、又は単語若しくは連語に対する注釈を取得するように構成してあることを特徴とする。

本発明に係る文書画像生成装置は、前記補足説明取得手段は、前記文字認識手段が認識
した文字で構成される行毎の文字列を行順に連結してなる文書の内容に対して自然言語処
理を行うように構成してあることを特徴とする。

本発明に係る文書画像生成装置は、複数の行を含んでなる文書を表す画像から、文書に含まれる単語、又は複数の単語からなる連語に対する補足説明として訳語を文書に付加した補足説明付文書を表す画像を生成する文書画像生成装置において、文書を表す原文書画像を取得する原文書画像取得手段と、該原文書画像取得手段が取得した原文書画像に含まれる文字の認識及び原文書画像中での文字位置の特定を行う文字認識手段と、該文字認識手段が認識した文字で構成される行毎の文字列を行順に連結してなる文書の内容に対して自然言語処理を行うことによって、文書に含まれる単語又は連語の意味を確定し、各単語又は連語の意味に対応する訳語を取得する手段と、文書に含まれる単語又は連語の内で、訳語を付加すべき単語又は連語を選択する手段と、前記文字認識手段が認識した文字の位置に基づき、各単語又は連語に対応して取得した訳語について、文書中で訳語を配置すべき位置として、原文書画像中で該単語又は連語に近接した行間の位置を定める位置決定手段と、該位置決定手段が定めた原文書画像中の位置に相当する位置に各訳語を配置した補足説明テキストレイヤ、原文書画像中の不連続連語の位置に相当する位置に不連続連語であることを示す印を配置した画像からなる印画像レイヤ、及び原文書画像に含まれる各文字を示すテキストデータを透明にした状態で原文書画像中の各文字の位置に相当する位置に配置した原文書テキストレイヤを、原文書画像からなる原文書画像レイヤに重ねることにより、補足説明付文書を表す画像を生成する手段とを備え、前記位置決定手段は、訳語を取得した連語の内、連語に含まれる複数の単語が文書中で不連続に配置されている不連続連語について、文書中で訳語を配置すべき位置として、不連続連語に含まれる先頭単語、不連続連語に含まれる連続単語列、又は不連続連語に含まれる最長単語の内で長さが最大のものに原文書画像中で近接した行間の位置を定める手段と、訳語の内で当該訳語に対応する単語又は連語の長さよりも長い訳語について、前記単語又は連語の前後の単語が他の訳語を配置すべき単語であるか否かを判定する手段と、訳語に対応する単語又は連語の前後の単語のいずれか又は両方が他の訳語を配置すべき単語ではない場合に、文書中で訳語を配置すべき位置として、訳語に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の訳語を配置すべき単語ではない単語に近接する行間の位置とを含む位置を定める手段と、訳語に対応する単語又は連語の前後の単語のいずれか又は両方が他の訳語を配置すべき単語である場合に、訳語に対応する単語又は連語の前後の単語の内で他の訳語を配置すべき単語の長さから所定長を差し引いた長さよりも他の訳語の長さの方が短いか否かを判定する手段と、他の訳語を配置すべき単語の長さから所定長を差し引いた長さよりも他の訳語の長さの方が短い場合に、文書中で訳語を配置すべき位置として、訳語に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の訳語を配置すべき単語であって該単語の長さから所定長を差し引いた長さよりも他の訳語の長さの方が短い単語に近接する行間の位置の一部とを含む位置を定める手段と、文書中で訳語を配置すべき位置として定めた位置に配置できる文字列の長さよりも長い訳語の長さを縮小する手段とを有することを特徴とする。

本発明に係る文書画像生成装置は、外部の装置から送信されたウェブページ用のデータを受信する手段と、該手段が受信したデータに基づいてウェブページを表示する手段とを更に備え、前記原文書画像取得手段は、原文書画像として、ウェブページを取得する手段を有することを特徴とする。

本発明に係る文書画像生成方法は、複数の行を含んでなる文書を表す画像から、文書に含まれる単語、又は複数の単語からなる連語に対する補足説明を文書に付加した補足説明付文書を表す画像を生成する方法において、文書を表す原文書画像を取得するステップと、取得した原文書画像に含まれる文字の認識及び原文書画像中での文字位置の特定を行うステップと、認識した文字で構成される文書に対して自然言語処理を行うことによって、文書に含まれる単語又は連語の意味を確定し、各単語又は連語の意味に対応する補足説明を取得するステップと、文書に含まれる単語又は連語の内で、文書中に補足説明を配置すべき単語又は連語を選択するステップと、認識した文字の位置に基づき、各単語又は連語に対応して取得した補足説明について、文書中で補足説明を配置すべき位置として、原文書画像中で該単語又は連語に近接した行間の位置を定める位置決定ステップと、該位置決定ステップで定めた原文書画像中の位置に相当する位置に各補足説明を配置した補足説明テキストレイヤを、原文書画像からなる原文書画像レイヤに重ねることにより、補足説明付文書を表す画像を生成するステップとを含み、前記位置決定ステップは、補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長いか否かを判定するステップと、補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長い場合に、前記単語又は連語の前後の単語が他の補足説明を配置すべき単語であるか否かを判定するステップと、補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語ではない場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語ではない単語に近接する行間の位置とを含む位置を定めるステップと、補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語である場合に、補足説明に対応する単語又は連語の前後の単語の内で他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短いか否かを判定するステップと、他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語であって該単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い単語に近接する行間の位置の一部とを含む位置を定めるステップと、文書中で補足説明を配置すべき位置として定めた位置に配置できる文字列の長さよりも長い補足説明の長さを縮小するステップとを含むことを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、複数の行を含んでなる文書を表す画像から、文書に含まれる単語、又は複数の単語からなる連語に対する補足説明を文書に付加した補足説明付文書を表す画像を生成する処理を実行させるためのコンピュータプログラムにおいて、文書を表す原文書画像を取得するステップと、取得した原文書画像に含まれる文字の認識及び原文書画像中での文字位置の特定を行うステップと、認識した文字で構成される文書に対して自然言語処理を行うことによって、文書に含まれる単語又は連語の意味を確定し、各単語又は連語の意味に対応する補足説明を取得するステップと、文書に含まれる単語又は連語の内で、文書中に補足説明を配置すべき単語又は連語を選択するステップと、認識した文字の位置に基づき、各単語又は連語に対応して取得した補足説明について、文書中で補足説明を配置すべき位置として、原文書画像中で該単語又は連語に近接した行間の位置を定める位置決定ステップと、該位置決定ステップで定めた原文書画像中の位置に相当する位置に各補足説明を配置した補足説明テキストレイヤを、原文書画像からなる原文書画像レイヤに重ねることにより、補足説明付文書を表す画像を生成するステップとを含み、前記位置決定ステップは、補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長いか否かを判定するステップと、補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長い場合に、前記単語又は連語の前後の単語が他の補足説明を配置すべき単語であるか否かを判定するステップと、補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語ではない場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語ではない単語に近接する行間の位置とを含む位置を定めるステップと、補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語である場合に、補足説明に対応する単語又は連語の前後の単語の内で他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短いか否かを判定するステップと、他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語であって該単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い単語に近接する行間の位置の一部とを含む位置を定めるステップと、文書中で補足説明を配置すべき位置として定めた位置に配置できる文字列の長さよりも長い補足説明の長さを縮小するステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明に係るコンピュータでの読み取りが可能な記録媒体は、前記記載のコンピュータプログラムを記録してあることを特徴とする。

本発明においては、画像読取装置等を用いて取得した原文書画像から文字を認識し、認識した文字から構成される文書の自然言語処理を行うことで、文書に含まれる単語又は連語に対する訳語等の補足説明を取得し、補足説明を単語又は連語に近接する行間の位置に相当する位置に配置した補足説明テキストレイヤを、原文書画像からなる原文書画像レイヤに重ねることにより補足説明付文書画像を生成する。

また本発明においては、補足説明を取得した連語が不連続連語である場合に、不連続連語に対する補足説明を、補足説明画像中で、不連続連語に含まれる連続単語、連続単語列又は最長単語に近接する行間の位置に相当する位置に配置する。これにより、不連続連語の意味が理解し易くなる位置に、補足説明が配置される。

また本発明においては、不連続連語を示す下線等の印を配置した印画像レイヤを原文書画像レイヤに更に重ねることにより補足説明付文書画像を生成することで、補足説明付文書画像中で不連続連語の範囲が明確に示される。

また本発明においては、単語又は連語の長さよりも長い補足説明については、補足説明の長さが補足説明を配置すべき配置スペースに収まるように、補足説明の長さを縮小する。他の補足説明を配置すべき単語が前後に存在しない場合には、単語又は連語に近接する行間の位置に加えて、前後の単語に近接した行間の位置にまで補足説明を配置できるようにする。また前後の単語が他の補足説明を配置すべき単語であっても、前後の単語に近接して配置すべき他の補足説明の長さが単語の長さに比べて十分に短い場合は、単語又は連語に近接した行間の位置に加えて、前後の単語に近接した行間の位置の一部を含む位置にまで補足説明を配置できるようにする。

また本発明においては、補足説明テキストレイヤに加えて、原文書画像に含まれる文字を示すテキストデータを各文字の位置に相当する位置に配置した原文書テキストレイヤを、原文書画像レイヤに更に重ねることにより補足説明付文書画像を生成することで、原文書テキストレイヤに含まれるテキスト又は補足説明テキストレイヤに含まれるテキストを手掛かりとして文書の内容を検索することを可能にする。

また本発明においては、補足説明は、単語若しくは連語に対する訳語、単語若しくは連語の読み仮名等の読み、又は単語若しくは連語に対する注釈のいずれかである。

また本発明においては、認識した文字で構成される各行を行順に連結してなる文書の内容に対して自然言語処理を行うことにより、複数の行に亘った文単位で自然言語処理を行う。

また本発明においては、ウェブページ用のデータから原文書画像を生成し、生成した原文書画像から補足説明付文書画像を生成することにより、ウェブページの読解を容易にする。

本発明にあっては、補足説明付文書画像は、原文書画像レイヤに補足説明テキストレイヤを重ねることによって生成されるので、文書に含まれる文字のサイズ及び位置は不変であり、文書のレイアウトは維持される。また補足説明付文書画像では、文書を翻訳した訳文を生成するのではなく、単語又は連語に対する訳語を付加しているので、訳文を配置する方法に比べて文書中のスペースを有効利用でき、また原文書と訳語との対応関係がより明確となって把握し易くなる。従って、原文書と訳語付の文書とを比較することが容易であり、文書の内容を正しく理解することが容易となる。

また本発明にあっては、原文書画像レイヤを作成する際に、取得した原文書画像に基づいて原文書を再描画するのではなく、取得した原文書画像自体を原文書画像とするので、文字認識の処理における誤認識等の原因によって原文書の内容が改変されることがなく、原文書の内容の改変を防止することができる。また補足説明付文書画像に含まれる補足説明テキストレイヤは、画像データではなく主にテキストからなるデータであるので、補足説明付文書画像の省容量化を図ることができる。また、補足説明テキストレイヤに含まれるテキストを手掛かりとして文書の内容を検索することができるので、文書内容の詳細な検討又は文書内容の再利用等が容易となる。また、原文書画像レイヤとは別に、補足説明テキストレイヤ、印画像レイヤ及び原文書テキストレイヤを個別に作成し、各レイヤを重ねることによって補足説明付文書画像を作成しているので、全てを含む画像を描画する方法に比べて、処理がより簡便となり、各レイヤの取捨選択も容易となる等、本発明は優れた効果を奏する。

実施の形態１に係る本発明の文書画像生成装置の内部構成を示すブロック図である。 原文書画像及び補足説明付文書画像の例を示す模式図である。 実施の形態１に係る文書画像生成装置が実行する処理の手順を示すフローチャートである。 文字認識により得られた文字データの例を示す概念図である。 ステップＳ１４の訳語取得処理の手順を示すフローチャートである。 行データの内容例を示す概念図である。 テキストデータ及び改行データの内容例を示す概念図である。 訳語データの内容例を示す概念図である。 ステップＳ１５の付属情報決定処理の手順を示すフローチャートである。 ステップＳ１５の付属情報決定処理の手順を示すフローチャートである。 後方修正処理の手順を示すフローチャートである。 前方修正処理の手順を示すフローチャートである。 訳語の長さが単語よりも長い場合の例を示す模式図である。 訳語の長さが連語よりも長く、前後に他の訳語が配置される場合の例を示す模式図である。 訳語の開始位置及び終端位置の両方を修正できる付属情報決定処理におけるステップＳ１５１２以降の処理の手順を示すフローチャートである。 訳語の長さが連語よりも長く、前後に他の訳語が配置される場合の例を示す模式図である。 ステップＳ１６の補足説明付文書画像生成処理の手順を示すフローチャートである。 補足説明テキストレイヤ及び印画像レイヤの例を示す模式図である。 実施の形態２に係る本発明の文書画像生成装置の内部構成を示すブロック図である。 実施の形態２に係る文書画像生成装置が実行する処理の手順を示すフローチャートである。

以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
（実施の形態１）
図１は、実施の形態１に係る本発明の文書画像生成装置の内部構成を示すブロック図である。本実施の形態に係る文書画像生成装置１は、ＰＣ又はサーバ装置等の汎用コンピュータを用いて構成されており、演算を行うＣＰＵ１１と、演算に伴って発生する一時的な情報を記憶するＲＡＭ１２と、光ディスク又はメモリカード等の記録媒体２から情報を読み取るＣＤ−ＲＯＭドライブ等のドライブ部１３と、ハードディスク等の記憶部１４とを備えている。ＣＰＵ１１は、記録媒体２から本発明のコンピュータプログラム２１をドライブ部１３に読み取らせ、読み取ったコンピュータプログラム２１を記憶部１４に記憶させる。コンピュータプログラム２１は必要に応じて記憶部１４からＲＡＭ１２へロードされ、ロードされたコンピュータプログラム２１に基づいてＣＰＵ１１は文書画像生成装置に必要な処理を実行する。なお、コンピュータプログラム２１は、インターネット又はＬＡＮ等の通信ネットワークを介して図示しない外部のサーバ装置から文書画像生成装置１へダウンロードされて記憶部１４に記憶される形態であってもよい。

また記憶部１４には、自然言語処理に必要なデータを記録した辞書データベース２２を記憶している。辞書データベース２２は、言語の文法、構文の出現頻度、及び単語の意味等を示す情報を記録している。辞書データベース２２は、最初から記憶部１４に記憶されている形態でもよく、また記録媒体２に記録されてあってドライブ部１３で記録媒体２から読み取られて記憶部１４に記憶される形態でもよい。

また文書画像生成装置１は、使用者が操作することによる各種の処理指示等の情報が入力されるキーボード又はポインティングデバイス等の入力部１５と、各種の情報を表示する液晶ディスプレイ等の表示部１６とを備えている。更に文書画像生成装置１は、画像読取装置３１及び画像形成装置３２が接続されたインタフェース部１７を備えている。画像読取装置３１は、フラットベッドスキャナ又はフィルムスキャナ等のスキャナであり、画像形成装置３２は、インクジェットプリンタ又はレーザープリンタ等のプリンタである。なお画像読取装置３１及び画像形成装置３２は一体に構成されていてもよい。画像読取装置３１は、文書原稿に記録された画像を光学的に読み取って画像データを生成し、生成した画像データを文書画像生成装置１へ送信し、インタフェース部１７は、画像読取装置３１から送信された画像データを受信する。またインタフェース部１７は、画像データを画像形成装置３２へ送信し、画像形成装置３２は、文書画像生成装置１から送信された画像データに基づいて画像を形成する。

ＣＰＵ１１は、本発明のコンピュータプログラム２１をＲＡＭ１２にロードし、ロードしたコンピュータプログラム２１に従って、本発明の文書画像生成方法の処理を実行する。文書画像生成方法では、画像読取装置３１で文書原稿に記録された画像を読み取ることによって生成した原文書画像から、文書中の単語又は連語に対する訳語を補足説明として付加した補足説明付文書画像を生成する。ここで連語とは、複数の単語から構成され、独自の意味を有する語句であり、名詞句、動詞句、熟語、又は慣用句等が連語に相当する。また連語には、連語に含まれる複数の単語が文書中に連続して配置されている連続連語と、複数の単語が不連続に配置されている不連続連語とがある。不連続連語は、例えば、「He takes difference into consideration.」という文章の「takes…into consideration」のように、連語に含まれる複数の単語の間に他の単語が配置されている連語である。また本実施の形態では、連語の途中で改行が行われている連語についても、不連続連語として扱う。

図２は、原文書画像及び補足説明付文書画像の例を示す模式図であり、図２（ａ）は原文書画像の例を示し、図２（ｂ）は補足説明付文書画像の例を示す。図２（ａ）に示す原文書画像には、「X-ray crystallographic analysis also confirmed the molecular structure. 」という内容の文章が含まれている。本発明の文書画像生成方法では、図２（ｂ）に示すように、連語「X-ray crystallographic analysis 」、並びに単語「confirmed 」、「molecular 」及び「structure 」に対する訳語を付した補足説明付文書画像を生成する。連語「X-ray crystallographic analysis 」は本来は連続連語であるものの、図２（ａ）に示す例では途中で改行が行われているので、不連続連語として扱われる。本実施の形態においては、図２に示すように、横書きの文書に対し、単語又は連語の下側の行間に訳語を配置する例について説明する。

図３は、実施の形態１に係る文書画像生成装置１が実行する処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２１に従って、以下の処理を実行する。文書画像生成装置１は、まず、文書を表す画像である原文書画像を取得する処理を行う（Ｓ１１）。ステップＳ１１では、画像読取装置３１に文書原稿が載置された状態で、使用者が入力部１５を操作することにより、入力部１５は処理指示を受け付け、ＣＰＵ１１は、インタフェース部１７から画像読取装置３１へ画像読取の指示を送信する。画像読取装置３１は、文書原稿に記録された画像を光学的に読み取ることによって画像データを生成し、生成した画像データを文書画像生成装置１へ送信する。文書画像生成装置１は、画像読取装置３１から送信された画像データをインタフェース部１７で受信し、受信した画像データをＲＡＭ１２に記憶することによって、画像データが表す原文書画像を取得する処理を実行する。なお、ステップＳ１１では、予め記憶部１４に記憶してある画像データをＲＡＭ１２に読み出すことによって、原文書画像を取得する処理を実行してもよい。またＣＰＵ１１は、ステップＳ１１の処理の際に、必要に応じて、解像度の調整、及び画像データのデータ形式の変換等の画像処理を行う。

ＣＰＵ１１は、次に、ＲＡＭ１２に記憶した画像データが表す原文書画像から、文字が含まれている文字領域を抽出し（Ｓ１２）、抽出した文字領域に含まれる文字を認識する処理を実行する（Ｓ１３）。ステップＳ１３の処理では、ＣＰＵ１１は、例えば従来のＯＣＲ（Optical Character Recognition ）技術を利用して、文字領域に含まれる文字の認識と、原文書画像中での文字位置の特定とが行われる。

図４は、文字認識により得られた文字データの例を示す概念図である。図４に示す例は、図２に例を示した原文書画像中から文字を認識した結果の一部を示している。文字認識により得られた文字データは、文字の認識結果と文字に係る付属情報とを含んでなる。文字認識処理では、行内にあるスペースも文字として認識するようになっており、文字データにはスペースを認識した認識結果とその認識結果に係る付属情報とが含まれている。図４に示す文字データは、文字の夫々に順に付した文字番号、各文字の原文書画像における位置、文字領域に付した領域番号、各文字の行内での位置を示す行内位置情報、文字のサイズ、及び文字の内容を示す認識結果を含んでなる。各文字の位置は、原文書画像における文字の左端のＸ座標、上端のＹ座標、右端のＸ座標、及び下端のＹ座標で表されている。図４には、原文書画像の下端左端を原点とし、座標をポイントの単位で表した例を示している。行内位置情報は、行頭を示す１、行末を示す２、行中を示す０、及び行頭かつ行末を示す３の何れかの数値で文字の行内での位置を示す。例えば、ＣＰＵ１１は、原文書画像中で文字の左側に他の文字が無い場合に行内位置情報の１を生成し、文字の右側に他の文字が無い場合に行内位置情報の２を生成し、右にも左にも他の文字がない場合に行内位置情報の３を生成する処理を行う。文字のサイズとしては、文字のフォントサイズをポイントの単位で示している。ＣＰＵ１１は、ステップＳ１３の文字認識処理により取得した文字データを、ＲＡＭ１２に記憶させる。

ＣＰＵ１１は、次に、文字認識処理により取得した文字データから、認識した文字で構成される文書に含まれる単語又は連語に対する訳語を取得する訳語取得処理を実行する（Ｓ１４）。図５は、ステップＳ１４の訳語取得処理の手順を示すフローチャートである。ＣＰＵ１１は、ステップＳ１３で取得した文字データに基づいて、文書に含まれる各行におけるテキストの内容を表す行データを生成する（Ｓ１４１）。ステップＳ１４１では、ＣＰＵ１１は、文字番号の順に行頭の文字から行末の文字まで文字を並べることによって一行分の行データを生成し、各行毎に行データを生成する。図６は、行データの内容例を示す概念図である。図６に示す例は、図２に例を示した原文書画像中から行データを生成した結果を示している。０を開始値として各行に順に付した行番号に関連付けて、各行におけるテキストの内容を表す行テキストが関連付けられている。行テキストの内容は、文字認識処理で認識された文字を示す文字コードからなる。

ＣＰＵ１１は、次に、生成した行データに基づき、文書に含まれるテキストの内容を表すテキストデータ、及び文書中での改行位置を記録した改行データを生成する（Ｓ１４２）。ステップＳ１４２では、ＣＰＵ１１は、各行の行テキストを行番号の順に連結することにより、テキストデータを生成する。このとき、文書に記載されている言語が英語等のスペースで単語が区切られている言語である場合は、各行テキストの最後尾にスペースを挿入した上で行テキストを連結する。これは、スペースで単語が区切られている言語では、改行位置が単語の区切りになっていることが多いためである。日本語等のスペースで単語が区切られていない言語の場合は、ＣＰＵ１１は、スペースを挿入せずに行テキストを連結する。更にステップＳ１４２では、ＣＰＵ１１は、行テキストを連結する都度、連結により生成されたテキストデータの中でどの位置が文書中での改行位置に対応した位置であるかを記録することにより、改行データを生成する。

図７は、テキストデータ及び改行データの内容例を示す概念図である。図７（ａ）はテキストデータの例を示し、図６の例に示す各行データを順に連結した内容となっている。図７中ではテキストデータを２行に亘って表示しているが、データ上ではテキストデータは一行分のデータとなっている。ステップＳ１４２では、ステップＳ１２で抽出した文字領域からステップＳ１３で認識した文字が含まれるテキストデータが生成される。即ち、ステップＳ１４２で生成されるテキストデータには、一般的に複数の文が含まれる。図７（ｂ）は改行データの内容例を示しており、各行番号が示す行における改行位置を、０を開始値としてテキスト中の各文字に順に付した番号で示している。スペースで単語が区切られている言語の場合は、図７（ｂ）に示すように、改行位置は、行テキストを連結する際に挿入したスペースの位置とすればよい。スペースで単語が区切られていない言語の場合は、各行末の文字の位置を改行位置とすればよい。改行位置で行データを連結したテキストデータを生成することにより、以降の処理で行う自然言語処理では、複数の行に亘って文単位で自然言語処理を実行することができ、効率的で高精度の自然言語処理を実行することが可能となる。例えば、複数の行に亘る連語については、行単位の自然言語処理では連語に含まれる各単語に対する訳語が得られるのみであるのに対し、複数の行に亘った自然言語処理では連語の訳語が得られる。

ＣＰＵ１１は、次に、生成したテキストデータに対して、自然言語処理を行うことにより、テキストデータが表す文章に含まれる単語及び連語の意味を推定する処理を行う（Ｓ１４３）。ステップＳ１４３では、ＣＰＵ１１は、辞書データベース２２に記録されたデータに基づいて、文章の形態素解析、局所構文解析、及び品詞推定等の自然言語処理を行うことにより、文章中に含まれる単語、及び複数の単語からなる連語を特定し、意味を推定する。ＣＰＵ１１は、次に、文章に含まれる単語及び連語の内、補足説明付文書画像に付加するために訳語を取得すべき単語及び連語を選択する処理を行う（Ｓ１４４）。辞書データベース２２に記録してあるデータでは、単語及び連語の夫々について難易度を予め定めてあり、また記憶部１４は、補足説明付文書画像中に訳語を付加すべき単語及び連語の難易度を設定した設定情報を記憶している。設定情報の内容は、使用者が入力部１５を操作することにより、使用者によって予め設定しておくことが可能である。ステップＳ１４４では、ＣＰＵ１１は、設定情報で定められた難易度以上の難易度が定められている単語及び連語を、訳語を取得すべき単語及び連語として選択する。ステップＳ１４４により、訳語を配置することが必要な単語及び連語が選択される。なお、ステップＳ１４４では、訳語を付加すべき単語及び連語の難易度を入力するための入力画面を表示部１６に表示し、入力部１５で難易度を入力される処理を行ってもよく、また、使用者が入力部１５を操作することにより、訳語を取得すべき単語及び連語を逐一指定する処理を行ってもよい。

ＣＰＵ１１は、次に、選択した単語及び連語の夫々について、辞書データベース２２から訳語を取得する処理を行う（Ｓ１４５）。訳語が複数存在する場合は、ＣＰＵ１１は、ステップＳ１４３の自然言語処理により推定した意味に対応する訳語を取得する。ＣＰＵ１１は、単語又は連語と取得した訳語とを関連付けた訳語データを生成してＲＡＭ１２に記憶させ、処理をメインの処理へ戻す。図８は、訳語データの内容例を示す概念図である。訳語を取得すべき連語として「X-ray crystallographic analysis 」が選択され、訳語を取得すべき単語として「confirmed 」、「molecular 」及び「structure 」が選択され、夫々に対して訳語が関連付けられている。

ＣＰＵ１１は、次に、取得した訳語の夫々について、補足説明付文書画像に訳語を配置する際の位置及びサイズ等の訳語の配置状態を示す付属情報を決定する付属情報決定処理を実行する（Ｓ１５）。図９及び図１０は、ステップＳ１５の付属情報決定処理の手順を示すフローチャートである。ＣＰＵ１１は、文字データに基づいて、文書に含まれる各行の行間の大きさを計算する（Ｓ１５０１）。ステップＳ１５０１では、ＣＰＵ１１は、文字データから各行の先頭文字の上端及び下端のＹ座標を取得し、一の行の先頭文字の下端のＹ座標と次の行の先頭文字の上端のＹ座標との差を計算することにより、行間の大きさを計算する。ＣＰＵ１１は、計算した行間の大きさを各行に関連付けてＲＡＭ１２に記憶させる。ＣＰＵ１１は、次に、取得した訳語の中から、一の訳語を選択する（Ｓ１５０２）。

ＣＰＵ１１は、次に、ステップＳ１５０２で選択した訳語が不連続連語の訳語であるか否かを判定する（Ｓ１５０３）。訳語が不連続連語の訳語である場合は（Ｓ１５０３：ＹＥＳ）、ＣＰＵ１１は、訳語に係る不連続連語に含まれる単語又は連続単語列の内、行間に訳語を配置することにより訳語を近接させる単語又は連続単語列を決定する処理を行う（Ｓ１５０４）。ステップＳ１５０４では、ＣＰＵ１１は、不連続連語に含まれる先頭単語、連続単語列、又は最長単語の長さを互いに比較し、長さが最大である単語又は連続単語列を、訳語を近接させる単語又は連続単語列として決定する処理を行う。長さの比較には、連続単語列に含まれるスペースをも一文字として数えた文字数を比較すればよい。不連続連語の場合、できるだけ長い単語又は連続単語列に訳語を近接させた方が訳語と連語との対応関係を把握し易い。また使用者が文章を文頭から順に読んでいく際には、不連続連語の訳語はできるだけ先頭の単語に近接していた方が意味を理解し易い。従って、ステップＳ１５０４の処理により、不連続連語の意味がより理解し易くなる位置に、訳語の配置位置が定められる。

ステップＳ１５０３で訳語が不連続連語の訳語ではない場合（Ｓ１５０３：ＮＯ）、又はステップＳ１５０４が終了した場合は、訳語のフォントサイズを決定する処理を行う（Ｓ１５０５）。ステップＳ１５０５では、ＣＰＵ１１は、訳語を近接して配置させるべき単語、連語又は連続単語列が含まれる行と次の行との行間の大きさを取得し、取得した行間の大きさと、訳語を近接して配置させるべき単語、連語又は連続単語列のフォントサイズとを比較する。行間の大きさが、単語、連語又は連続単語列のフォントサイズの４０％よりも小さい場合は、ＣＰＵ１１は、訳語のフォントサイズを、単語、連語又は連続単語列のフォントサイズの４０％に決定する。行間の大きさが、単語、連語又は連続単語列のフォントサイズの８０％よりも大きい場合は、ＣＰＵ１１は、訳語のフォントサイズを、単語、連語又は連続単語列のフォントサイズの８０％に決定する。行間の大きさが、単語、連語又は連続単語列のフォントサイズの４０％以上８０％以下である場合は、ＣＰＵ１１は、訳語のフォントサイズを、行間と同じ大きさに決定する。なお、閾値として、４０％又は８０％とは異なる値を用いてもよい。

ステップＳ１５０５のように、各単語又は連語別に訳語のフォントサイズを決定することにより、画像読取時に行が歪んで読み取られる等の原因により文書中で行間の大きさに変動がある場合でも、各行の文字に重ならないように訳語を配置することができる。なお、本発明では、各単語又は連語別に訳語のフォントサイズを決定するのではなく、行単位で訳語のフォントサイズを決定する処理を行ってもよい。この場合は、一行内で訳語のフォントサイズが変動することがないので、行間に訳語を配置した文書の美観が向上する。また本発明では、文字を認識した文字領域単位で統一した訳語のフォントサイズを定める処理を行ってもよい。この場合は、訳語のフォントサイズが段落等の文字領域内で統一され、行間に訳語を配置した文書の美観が向上する。

ＣＰＵ１１は、次に、単語又は連語に近接する行間の中で、行に沿った方向の訳語を配置すべき開始位置、及び訳語を配置することが可能な終端位置を設定する処理を行う（Ｓ１５０６）。ここで、開始位置は、訳語が配置されたときの訳語の先端の位置であり、終端位置は、訳語がこれ以降には配置されないように定めた限界の位置である。ステップＳ１５０６は、ＣＰＵ１１は、訳語を近接して配置させるべき単語、連語又は連続単語列の最初の文字の左端のＸ座標を、開始位置に設定し、単語、連語又は連続単語列の最後の文字の右端のＸ座標を、終端位置に設定する。連語の途中に改行が存在する場合は、ＣＰＵ１１は、行末を終端位置に設定する。なお、本発明では、開始位置を、単語、連語又は連続単語列の最初の文字の左端から所定量だけずらした位置としてもよく、終端位置を、最後の文字の右端から所定量だけずらした位置としてもよい。またステップＳ１５０６では、ＣＰＵ１１は、以前の処理により開始位置又は終端位置が既に定まっている場合は既に定まっている位置を採用する処理を行う。

ＣＰＵ１１は、次に、訳語の文字数にフォントサイズを乗じることによって訳語の長さを計算し、終端位置の値から開始位置の値を引くことによって訳語を配置可能な配置スペースの長さを計算し、訳語の長さが配置スペースの長さよりも長いか否かを判定する（Ｓ１５０７）。訳語の長さが配置スペースの長さ以下である場合は（Ｓ１５０７：ＮＯ）、ＣＰＵ１１は、訳語の長さの圧縮率を１に決定する（Ｓ１５０８）。即ち、訳語を縮小せずに文書中に配置することになる。ＣＰＵ１１は、次に、単語又は連語に近接する行間の中で、行に交差する方向の訳語の配置位置を決定する処理を行う（Ｓ１５０９）。ステップＳ１５０９では、ＣＰＵ１１は、訳語を近接して配置させるべき単語、連語又は連続単語列に含まれる各文字の下端のＹ座標を全て取得し、取得したＹ座標の値を平均し、Ｙ座標の平均値から訳語のフォントサイズだけ下方へずらした位置を、行に交差する方向の訳語の配置位置と決定する。ステップＳ１５０９の処理により、補足説明付文書中で訳語を配置する位置が、文書中の単語、連語又は連続単語列に近接する行間に定まる。またステップＳ１５０５以降、ステップＳ１５０９までの処理により、ステップＳ１５０２で選択した訳語のフォントサイズ、配置位置、及び圧縮率を示す付属情報が決定される。

ステップＳ１５０９が終了した後は、ＣＰＵ１１は、取得した訳語の内、まだ付属情報を決定していない訳語があるか否かを判定する（Ｓ１５１０）。まだ付属情報を決定していない訳語がある場合は（Ｓ１５１０：ＹＥＳ）、ＣＰＵ１１は、処理をステップＳ１５０２へ戻して、まだ付属情報を決定していない訳語の中から一の訳語を選択する。まだ付属情報を決定していない訳語が無い場合は（Ｓ１５１０：ＮＯ）、ＣＰＵ１１は、付属情報決定処理を終了する。

ステップＳ１５０７で訳語の長さが配置スペースの長さよりも長い場合は（Ｓ１５０７：ＹＥＳ）、ＣＰＵ１１は、配置スペースの長さの値を訳語の長さの値で除することにより、訳語の長さの圧縮率を計算する（Ｓ１５１１）。ＣＰＵ１１は、次に、計算した圧縮率が予め定めてある閾値より小さいか否かを判定する（Ｓ１５１２）。圧縮率の閾値は、１以下の所定の値に予め定められており、コンピュータプログラム２１に含まれているか、又は設定により記憶部１４に記憶されている。圧縮率が閾値以上である場合は（Ｓ１５１２：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。

ステップＳ１５１２で圧縮率が閾値より小さい場合は（Ｓ１５１２：ＹＥＳ）、ＣＰＵ１１は、行中で、訳語を近接して配置させるべき単語、連語又は連続単語列の後方に隣接する位置に、他の訳語を行間に配置しない単語が存在するか否かを判定する（Ｓ１５１３）。他の訳語を行間に配置しない単語が後方に存在する場合は（Ｓ１５１３：ＹＥＳ）、ＣＰＵ１１は、後方に隣接する単語の最後の文字の右端のＸ座標を終端位置に設定することにより、終端位置を修正する（Ｓ１５１４）。ＣＰＵ１１は、次に、訳語を配置可能な配置スペースの長さを計算し、訳語の長さが配置スペースの長さよりも長いか否かを判定する（Ｓ１５１５）。訳語の長さが配置スペースの長さ以下である場合は（Ｓ１５１５：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１５０８へ進める。訳語の長さが配置スペースの長さよりも長い場合は（Ｓ１５１５：ＹＥＳ）、ＣＰＵ１１は、配置スペースの長さの値を訳語の長さの値で除することにより、訳語の長さの圧縮率を計算し（Ｓ１５１６）、処理をステップＳ１５０９へ進める。

ステップＳ１５１３で、他の訳語を行間に配置しない単語が後方に存在しない場合は（Ｓ１５１３：ＮＯ）、ＣＰＵ１１は、行中で、訳語を近接して配置させるべき単語、連語又は連続単語列の前方に隣接する位置に、他の訳語を行間に配置しない単語が存在するか否かを判定する（Ｓ１５１７）。他の訳語を行間に配置しない単語が前方に存在する場合は（Ｓ１５１７：ＹＥＳ）、ＣＰＵ１１は、前方に隣接する単語の中心位置よりも後方に位置する範囲内で、開始位置を前方にずらすことにより、開始位置を修正する（Ｓ１５１８）。ステップＳ１５１８では、例えば、ＣＰＵ１１は、訳語の長さから配置スペースの長さを引いた値が、前方に隣接する単語の中心位置から開始位置までの距離より小さい場合は、訳語の長さから配置スペースの長さを引いた値だけ開始位置を前方にずらす処理を行う。また例えば、ＣＰＵ１１は、訳語の長さから配置スペースの長さを引いた値が、前方に隣接する単語の中心位置から開始位置までの距離以上である場合には、前方に隣接する単語の中心位置から所定量だけ後方にずれた位置を開始位置とする処理を行う。開始位置を前方にずらし過ぎた場合は、訳語と単語又は連語との対応関係が不明瞭となるので、ステップＳ１５１８の処理では、開始位置を、前方に隣接する単語の中心位置よりも後方の位置とするのが適切である。ステップＳ１５１８が終了した後は、ＣＰＵ１１は、処理をステップＳ１５１５へ進める。

ステップＳ１５１７で、他の訳語を行間に配置しない単語が前方に存在しない場合は（Ｓ１５１７：ＮＯ）、ＣＰＵ１１は、訳語を近接して配置させるべき単語、連語又は連続単語列の位置が行末ではなく、当該単語、連語又は連続単語列の後方に隣接する単語の長さから所定の最小訳語間隔を差し引いた値よりも、後方の単語に近接して配置させるべき訳語の長さが小さいか否かを判定する（Ｓ１５１９）。最小訳語間隔は、文書中に配置する訳語が互いに区別できるように訳語の間に確保すべきスペースの長さの下限値である。最小訳語間隔の値としては、予め定められている値を用いるか、又は訳語のフォントサイズに応じた値を用いる。後方の単語の長さから最小訳語間隔を差し引いた値よりも後方の訳語の長さが小さい場合は（Ｓ１５１９：ＹＥＳ）、ＣＰＵ１１は、後方の訳語を配置する位置を本来の位置より後方へずらし、選択中の訳語を配置することが可能な終端位置をより後方へずらす後方修正処理を行う（Ｓ１５２０）。

図１１は、後方修正処理の手順を示すフローチャートである。ＣＰＵ１１は、現在の配置スペースの長さと行中の単語の間隔と後方の単語の長さとを足し合わせた値から、後方の訳語の長さと最小訳語間隔とを差し引いた値が、圧縮率を１とした選択中の訳語の長さよりも小さいか否かを判定する（Ｓ１５２０１）。前記値が圧縮率１の訳語の長さよりも小さい場合は（Ｓ１５２０１：ＹＥＳ）、ＣＰＵ１１は、現在の配置スペースの長さと行中の単語の間隔と後方の単語の長さとを足し合わせた値から、後方の訳語の長さと最小訳語間隔とを差し引いた値で、圧縮率を１とした選択中の訳語の長さを除することにより、訳語の長さの圧縮率を計算する（Ｓ１５２０２）。ＣＰＵ１１は、次に、計算した圧縮率を圧縮率１の訳語の長さに乗ずることにより訳語の長さを計算し、訳語の開始位置の座標に訳語の長さを加算した座標を終端位置の座標に設定することにより、訳語の終端位置を修正する（Ｓ１５２０３）。ＣＰＵ１１は、次に、後方の単語の開始位置の座標に後方の単語の長さを加算した座標から、後方の訳語の長さを差し引いた座標を、後方の訳語の開始位置に設定することにより、後方の訳語を配置すべき位置を修正する（Ｓ１５２０４）。

ステップＳ１５２０１で、現在の配置スペースの長さと行中の単語の間隔と後方の単語の長さとを足し合わせた値から、後方の訳語の長さと最小訳語間隔とを差し引いた値が、圧縮率を１とした選択中の訳語の長さ以上である場合は（Ｓ１５２０１：ＮＯ）、訳語の長さの圧縮率を１に決定する（Ｓ１５２０５）。ＣＰＵ１１は、次に、訳語の開始位置の座標に圧縮率１の訳語の長さを加算した座標を終端位置の座標に設定することにより、訳語の終端位置を修正する（Ｓ１５２０６）。ＣＰＵ１１は、次に、訳語の開始位置の座標に訳語の長さと最小訳語間隔とを加算した座標を、後方の訳語の開始位置に設定することにより、後方の訳語を配置すべき位置を修正する（Ｓ１５２０７）。ステップＳ１５２０４又はステップＳ１５２０７が終了した後は、ＣＰＵ１１は、後方修正処理を終了し、処理を付属情報決定処理へ戻す。ステップＳ１５２０の後方修正処理が終了した後は、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。

ステップＳ１５１９で、訳語を近接して配置させるべき単語、連語若しくは連続単語列の位置が行末であるか、又は、後方の訳語の長さが、後方の単語の長さから最小訳語間隔を差し引いた値以上である場合は（Ｓ１５１９：ＮＯ）、ＣＰＵ１１は、訳語を近接して配置させるべき単語、連語又は連続単語列の位置が行頭ではなく、当該単語、連語又は連続単語列の前方に隣接する単語の長さから最小訳語間隔を差し引いた値よりも、前方の単語に近接して配置させるべき訳語の長さが小さいか否かを判定する（Ｓ１５２１）。前方の単語の長さから最小訳語間隔を差し引いた値よりも前方の訳語の長さが小さい場合は（Ｓ１５２１：ＹＥＳ）、ＣＰＵ１１は、選択中の訳語を配置することが可能な開始位置をより前方へずらす前方修正処理を行う（Ｓ１５２２）。

図１２は、前方修正処理の手順を示すフローチャートである。ＣＰＵ１１は、現在の配置スペースの長さと行中の単語の間隔と前方の単語の長さとを足し合わせた値から、前方の訳語の長さと最小訳語間隔とを差し引いた値が、圧縮率を１とした選択中の訳語の長さよりも小さいか否かを判定する（Ｓ１５２２１）。前記値が圧縮率１の訳語の長さよりも小さい場合は（Ｓ１５２２１：ＹＥＳ）、ＣＰＵ１１は、現在の配置スペースの長さと行中の単語の間隔と前方の単語の長さとを足し合わせた値から、前方の訳語の長さと最小訳語間隔とを差し引いた値で、圧縮率を１とした選択中の訳語の長さを除することにより、訳語の長さの圧縮率を計算する（Ｓ１５２２２）。ＣＰＵ１１は、次に、前方の単語の開始位置の座標に前方の訳語の長さと最小訳語間隔とを加算した座標を、訳語の開始位置に設定することにより、選択中の訳語の開始位置を修正する（Ｓ１５２２３）。

ステップＳ１５２２１で、現在の配置スペースの長さと行中の単語の間隔と前方の単語の長さとを足し合わせた値から、前方の訳語の長さと最小訳語間隔とを差し引いた値が、圧縮率を１とした選択中の訳語の長さ以上である場合は（Ｓ１５２２１：ＮＯ）、訳語の長さの圧縮率を１に決定する（Ｓ１５２２４）。ＣＰＵ１１は、次に、訳語の終端位置の座標から圧縮率１の訳語の長さを差し引いた座標を開始位置の座標に設定することにより、訳語の開始位置を修正する（Ｓ１５２２５）。ステップＳ１５２２３又はステップＳ１５２２５が終了した後は、ＣＰＵ１１は、前方修正処理を終了し、処理を付属情報決定処理へ戻す。ステップＳ１５２２の前方修正処理が終了した後は、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。またステップＳ１５２１で、訳語を近接して配置させるべき単語、連語若しくは連続単語列の位置が行頭であるか、又は、前方の訳語の長さが、前方の単語の長さから最小訳語間隔を差し引いた値以上である場合でも（Ｓ１５２１：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。

ステップＳ１５０７以降の処理により、訳語を近接して配置させるべき単語、連語又は連続単語列の長さよりも長い訳語については、訳語の長さが配置スペースに収まるように、訳語の長さが縮小される。訳語の長さを縮小することにより、訳語を配置したときに他の訳語に位置が重なることが無く、単語又は連語と訳語との対応関係が明確となる。また他の訳語を配置すべき単語が前後に存在しない場合には、訳語を近接して配置させるべき単語、連語又は連続単語列に近接した行間の位置に加えて、前後の単語に近接した行間の位置を含む位置に、訳語の行に沿った方向の配置位置が定められる。このため、訳語を配置する際には、前後の単語に近接した部分にまで訳語が配置され、極端に訳語の長さが圧縮されることが無く、読み易い大きさで訳語を配置することができる。図１３は、訳語の長さが単語よりも長い場合の例を示す模式図である。図１３（ａ）には、訳語の長さを縮小して訳語を配置した例を示し、図１３（ｂ）には、前後の単語に近接した行間の位置にまで訳語を配置した例を示す。単語「show」に対する訳語の長さが長く、後方の単語「an」には訳語が配置されないので、図１３（ｂ）に示す例では、後方の単語に近接した部分を含む位置に訳語が配置され、訳語の大きさが図１３（ａ）に比べて読み易い大きさとなっている。

また前述の処理では、前後の単語が共に他の訳語を配置すべき単語であっても、前後の単語に近接して配置すべき他の訳語の長さが単語の長さに比べて十分に短い場合は、訳語を近接して配置させるべき単語、連語又は連続単語列に近接した行間の位置に加えて、前後の単語に近接した行間の位置の一部を含む位置に、訳語の行に沿った方向の配置位置が定められる。図１４は、訳語の長さが連語よりも長く、前後に他の訳語が配置される場合の例を示す模式図である。連語「identified as 」に近接して訳語「〜が〜であると認識する」が配置される例を示す。図１４（ａ）は、後方の単語に近接した行間の位置の一部にも訳語を配置した例を示す。後方の単語に近接した行間の位置の一部にも訳語を配置する場合は、訳語の終端位置を後方へずらし、更に、後方の単語に近接して配置すべき他の訳語の位置をより後方にずらすことになる。図１４（ｂ）は、後方の単語に近接した行間の位置の一部にも訳語を配置した上で訳語の長さを縮小した例を示す。訳語の終端位置を後方へずらしても、訳語の配置スペースよりも訳語の長さの方がまだ長い場合には、訳語の長さを縮小することになる。図１４（ｃ）は、前方の単語に近接した行間の位置の一部にも訳語を配置した例を示す。前方の単語に近接した行間の位置の一部にも訳語を配置する場合は、前方の単語に近接して配置すべき他の訳語の位置は変更せずに、訳語の開始位置を前方へずらすことになる。図１４（ｄ）は、前方の単語に近接した行間の位置の一部にも訳語を配置した上で訳語の長さを縮小した例を示す。訳語の開始位置を前方へずらしても、訳語の配置スペースよりも訳語の長さの方がまだ長い場合には、訳語の長さを縮小することになる。このように、前後の単語に他の訳語が配置されていても、単語と訳語との対応関係が保たれる範囲内で前後の単語に近接した部分にまで訳語が配置されることにより、極端に訳語の長さが圧縮されることが無く、読み易い大きさで訳語を配置することができる。なお、本発明は、付属情報決定処理でステップＳ１５１９〜Ｓ１５２２の処理を省略する形態であってもよい。この形態では、ステップＳ１５１７でＮＯの場合は処理をステップＳ１５０９へ進めればよい。

以上で説明した付属情報決定処理では、訳語の開始位置又は終端位置のいずれか一方のみを修正する処理を行っているが、本発明では、訳語の開始位置及び終端位置の両方を修正できる処理を行ってもよい。訳語の開始位置及び終端位置の両方を修正できる付属情報決定処理を次に説明する。訳語の開始位置及び終端位置の両方を修正できる付属情報決定処理においても、図９のフローチャートで説明したステップＳ１５０１〜Ｓ１５１２と同様の処理を行う。図１５は、訳語の開始位置及び終端位置の両方を修正できる付属情報決定処理におけるステップＳ１５１２以降の処理の手順を示すフローチャートである。

ステップＳ１５１２で圧縮率が閾値より小さい場合は（Ｓ１５１２：ＹＥＳ）、ＣＰＵ１１は、行中で、訳語を近接して配置させるべき単語、連語又は連続単語列の後方に隣接する位置に、他の訳語を行間に配置しない単語が存在するか否かを判定する（Ｓ１５３１）。他の訳語を行間に配置しない単語が後方に存在する場合は（Ｓ１５３１：ＹＥＳ）、ＣＰＵ１１は、後方に隣接する単語の最後の文字の右端のＸ座標を終端位置に設定することにより、訳語の終端位置を修正し、訳語の長さの圧縮率を計算する（Ｓ１５３２）。ステップＳ１５３２では、ＣＰＵ１１は、訳語の長さが配置スペースの長さよりも長いか否かを判定し、訳語の長さが配置スペースの長さよりも長い場合は、配置スペースの長さの値を訳語の長さの値で除することにより圧縮率を計算し、訳語の長さが配置スペースの長さ以下である場合は、圧縮率を１にする処理を行う。ＣＰＵ１１は、次に、計算した圧縮率が予め定めてある閾値より小さいか否かを判定する（Ｓ１５３３）。圧縮率が閾値以上である場合は（Ｓ１５３３：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。

ステップＳ１５３３で圧縮率が閾値より小さい場合は（Ｓ１５３３：ＹＥＳ）、ＣＰＵ１１は、行中で、訳語を近接して配置させるべき単語、連語又は連続単語列の前方に隣接する位置に、他の訳語を行間に配置しない単語が存在するか否かを判定する（Ｓ１５３４）。他の訳語を行間に配置しない単語が前方に存在する場合は（Ｓ１５３４：ＹＥＳ）、ＣＰＵ１１は、前方に隣接する単語の中心位置よりも後方に位置する範囲内で、開始位置を前方にずらすことにより、訳語の開始位置を修正し、訳語の長さの圧縮率を計算する（Ｓ１５３５）。ＣＰＵ１１は、次に、処理をステップＳ１５０９へ進める。

ステップＳ１５３１で、他の訳語を行間に配置しない単語が後方に存在しない場合は（Ｓ１５３１：ＮＯ）、ＣＰＵ１１は、行中で、訳語を近接して配置させるべき単語、連語又は連続単語列の前方に隣接する位置に、他の訳語を行間に配置しない単語が存在するか否かを判定する（Ｓ１５３６）。他の訳語を行間に配置しない単語が前方に存在する場合は（Ｓ１５３６：ＹＥＳ）、ＣＰＵ１１は、訳語の開始位置を修正し、訳語の長さの圧縮率を計算する（Ｓ１５３７）。ＣＰＵ１１は、次に、計算した圧縮率が閾値より小さいか否かを判定する（Ｓ１５３８）。圧縮率が閾値以上である場合は（Ｓ１５３８：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。圧縮率が閾値より小さい場合は（Ｓ１５３８：ＹＥＳ）、ＣＰＵ１１は、訳語を近接して配置させるべき単語、連語又は連続単語列の位置が行末ではなく、当該単語、連語又は連続単語列の後方に隣接する単語の長さから所定の最小訳語間隔を差し引いた値よりも、後方の単語に近接して配置させるべき訳語の長さが小さいか否かを判定する（Ｓ１５３９）。訳語を近接して配置させるべき単語、連語若しくは連続単語列の位置が行末であるか、又は、後方の訳語の長さが、後方の単語の長さから最小訳語間隔を差し引いた値以上である場合は（Ｓ１５３９：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。後方の単語の長さから最小訳語間隔を差し引いた値よりも後方の訳語の長さが小さい場合は（Ｓ１５３９：ＹＥＳ）、ＣＰＵ１１は、後方修正処理を行う（Ｓ１５４０）。ステップＳ１５４０の後方修正処理では、図１１のフローチャートで説明したステップＳ１５２０の後方修正処理と同様の処理を実行する。ステップＳ１５４０が終了した後は、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。

ステップＳ１５３６で、訳語を近接して配置させるべき単語、連語又は連続単語列の前方に隣接する位置に、他の訳語を行間に配置しない単語が存在しない場合は（Ｓ１５３６：ＮＯ）、ＣＰＵ１１は、訳語を近接して配置させるべき単語、連語又は連続単語列の位置が行末ではなく、当該単語、連語又は連続単語列の後方に隣接する単語の長さから所定の最小訳語間隔を差し引いた値よりも、後方の単語に近接して配置させるべき訳語の長さが小さいか否かを判定する（Ｓ１５４１）。後方の単語の長さから最小訳語間隔を差し引いた値よりも後方の訳語の長さが小さい場合は（Ｓ１５４１：ＹＥＳ）、ＣＰＵ１１は、後方修正処理を行う（Ｓ１５４２）。ステップＳ１５４２の後方修正処理では、図１１のフローチャートで説明したステップＳ１５２０の後方修正処理と同様の処理を実行する。ＣＰＵ１１は、次に、ステップＳ１５４２の後方修正処理で計算した圧縮率が閾値より小さいか否かを判定する（Ｓ１５４３）。圧縮率が閾値以上である場合は（Ｓ１５４３：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。

ステップＳ１５３４で、他の訳語を行間に配置しない単語が前方に存在しない場合（Ｓ１５３４：ＮＯ）、ステップＳ１５４１で、訳語を近接して配置させるべき単語、連語若しくは連続単語列の位置が行末であるか、又は、後方の訳語の長さが、後方の単語の長さから最小訳語間隔を差し引いた値以上である場合（Ｓ１５４１：ＮＯ）、或いは、ステップＳ１５４３で圧縮率が閾値より小さい場合は（Ｓ１５４３：ＹＥＳ）、ＣＰＵ１１は、訳語を近接して配置させるべき単語、連語又は連続単語列の位置が行頭ではなく、当該単語、連語又は連続単語列の前方に隣接する単語の長さから最小訳語間隔を差し引いた値よりも、前方の単語に近接して配置させるべき訳語の長さが小さいか否かを判定する（Ｓ１５４４）。訳語を近接して配置させるべき単語、連語若しくは連続単語列の位置が行頭であるか、又は、前方の訳語の長さが、前方の単語の長さから最小訳語間隔を差し引いた値以上である場合は（Ｓ１５４４：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１５０９へ進める。前方の単語の長さから最小訳語間隔を差し引いた値よりも前方の訳語の長さが小さい場合は（Ｓ１５４４：ＹＥＳ）、ＣＰＵ１１は、前方修正処理を行う（Ｓ１５４５）。ステップＳ１５４５の前方修正処理では、図１２のフローチャートで説明したステップＳ１５２２の前方修正処理と同様の処理を実行する。ＣＰＵ１１は、次に、処理をステップＳ１５０９へ進める。

ステップＳ１５３１〜Ｓ１５４１の処理を実行することにより、訳語の開始位置及び終端位置の両方を修正することができる。図１６は、訳語の長さが連語よりも長く、前後に他の訳語が配置される場合の例を示す模式図である。図１６に示す例は、後方の単語に近接した行間の位置の一部にも訳語を配置し、更に、前方の単語に近接した行間の位置の一部にも訳語を配置した例である。このように、前後の単語に近接した行間の位置を用いて訳語を配置することにより、訳語の長さをできるだけ圧縮せずに、読み易い大きさで訳語を配置することができる。

以上の如く、ステップＳ１５の付属情報決定処理を終了した後は、訳語データに含まれる訳語に、決定した付属情報を関連付けた上で、訳語データをＲＡＭ１２に記憶させ、処理をメインの処理へ戻す。ステップＳ１３〜Ｓ１５の処理は、ステップＳ１２で抽出した文字領域の夫々について実行される。

ＣＰＵ１１は、次に、原文書画像中に、付属情報で定められた配置状態で夫々の訳語を配置した補足説明付文書画像を生成する補足説明付文書画像生成処理を行う（Ｓ１６）。図１７は、ステップＳ１６の補足説明付文書画像生成処理の手順を示すフローチャートである。ＣＰＵ１１は、まず、原文書画像と同一の大きさのレイヤ中に、訳語データに含まれる夫々の訳語のテキストデータを、付属情報が示すサイズで、付属情報が示す配置位置に配置した補足説明テキストレイヤを生成する（Ｓ１６１）。具体的には、付属情報が示すフォントサイズで生成した訳語の長さを圧縮率で圧縮し、訳語の先頭文字の左端は開始位置となり、訳語の下端は行に交差する方向の配置位置となるように、各訳語のテキストを配置した画像を生成する。ステップＳ１６１では、生成する補足説明テキストレイヤ中の訳語のテキストデータ以外の部分は透明にしておく。ＣＰＵ１１は、次に、原文書画像と同一の大きさの画像中に、訳語を取得した不連続連語に対する下線に相当する線を、不連続連語であることを示す印として配置した印画像レイヤを生成する（Ｓ１６２）。ステップＳ１６２では、生成する印画像レイヤ中の線以外の部分は透明にしておく。

図１８は、補足説明テキストレイヤ及び印画像レイヤの例を示す模式図である。図１８に示す例は、図２に例を示した原文書画像中から生成した補足説明テキストレイヤ及び印画像レイヤである。図１８（ａ）は、補足説明テキストレイヤを示し、原文書画像中の単語及び連語に対する訳語が配置されている。図１８（ｂ）は、印画像レイヤを示し、原文書画像中の連語「X-ray crystallographic analysis 」に対する下線に相当する線が配置されている。この連語は、連語の途中で改行が行われることにより不連続連語となっており、連語に対する下線に相当する線が配置される。

ＣＰＵ１１は、次に、原文書画像と同一の大きさの透明なレイヤ中に、原文書画像中の各文字の位置に相当する位置に各文字を示すテキストデータを透明にした状態で配置した原文書テキストレイヤを生成し（Ｓ１６３）、原文書画像を画像レイヤにした原文書画像レイヤを生成する（Ｓ１６４）。ＣＰＵ１１は、次に、補足説明テキストレイヤ、印画像レイヤ、及び原文書テキストレイヤを、原文書画像レイヤに重ねることにより、補足説明付文書画像を生成し（Ｓ１６５）、生成した補足説明付文書画像を表す画像データをＲＡＭ１２に記憶させ、処理をメインの処理へ戻す。例えば、ステップＳ１６では、ＰＤＦ（Portable Document Format）形式の画像で補足説明付文書画像を生成することとし、ＣＰＵ１１は、ＰＤＦ形式のレイヤとして各レイヤを生成し、生成した補足説明テキストレイヤ、印画像レイヤ、及び原文書テキストレイヤを、原文書画像レイヤに重ねることにより、ＰＤＦ形式の補足説明付文書画像を生成する。図２（ｂ）に示す補足説明付文書画像は、図２（ａ）に示す原文書画像に図１８に示す補足説明テキストレイヤ及び印画像レイヤ並びに透明な原文書テキストレイヤを重ねることにより生成した補足説明付文書画像である。原文書画像レイヤに補足説明テキストレイヤ及び原文書テキストレイヤを重ねた補足説明付文書画像を生成することにより、文書の内容及び訳語の内容を補足説明付文書画像から検索することが可能となり、また文書の内容及び訳語の内容をコピーすることも容易となる。なお、印画像レイヤ及び原文書テキストレイヤは、補足説明付文書画像を生成するために必須のものではなく、ステップＳ１６では、原文書画像レイヤに少なくとも補足説明テキストレイヤを重ねることにより、印画像レイヤ及び／又は原文書テキストレイヤを含まない補足説明付文書画像を生成する処理を行ってもよい。

ＣＰＵ１１は、次に、補足説明付文書画像を表す画像データを、インタフェース部１７から画像形成装置３２へ送信し、画像形成装置３２に画像データに基づいて補足説明付文書画像を形成させる処理を行い（Ｓ１７）、本発明の文書画像生成の処理を終了する。なお、本発明では、ステップＳ１７で補足説明付文書画像を形成する処理を行わずに、表示部１６で表示するか、又は補足説明付文書画像を表す画像データを記憶部１４に記憶させる処理を行ってもよい。

以上の処理により、図２（ｂ）に示す如き補足説明付文書画像が生成される。文書に含まれる単語又は連語に対する訳語が、単語又は連語に近接する行間に配置されており、文書を読む使用者は、訳語を利用して文書の内容を理解することができる。なお、図２（ｂ）には、単語又は連語に近接する上下の行間の内、下側の行間に訳語を配置する例を示しているが、本発明では、単語又は連語の上側の行間に訳語を配置してもよい。補足説明付文書画像は、原文書画像レイヤに補足説明テキストレイヤを重ねることによって生成されるので、文書に含まれる文字のサイズ及び位置は不変であり、文書のレイアウトは維持される。従って、原文書と訳語付の文書とを比較することが容易であり、文書の内容を正しく理解することが容易となる。また補足説明付文書画像では、文書を翻訳した訳文を生成するのではなく、単語又は連語に対する訳語を付加しているので、原文書と訳語との対応関係は明らかであり、把握し易い。また原文書での単語の綴り間違い、文字認識の処理における誤認識、又は自然言語処理の不備による誤訳等があった場合でも、誤った訳語が付加されるだけであって、前後の文脈から訳語が誤っていることを推測することは容易であり、使用者が文書の内容を正しく理解することを大きく妨げることはない。また本発明では、原文書に対する加工を行わないので、文字認識の処理における誤認識等の原因により誤った内容の原文書を生成することが無く、使用者は正しく文書の内容を理解することができる。

また図２（ｂ）に示す如く、補足説明付文書画像では、不連続連語に対する訳語を付加すると共に、不連続連語に下線を付してある。下線を付してあることにより、不連続連語の範囲が明確に示されており、使用者が不連続連語の範囲を把握し、文書の意味を理解することが容易となる。なお、不連続連語であることを示す印としては、下線に限るものではなく、本発明では、波線を付すか、又は同一の不連続連語に含まれる単語には同一の数字を付す等、その他の印を補足説明付文書画像中に配置する処理を行ってもよい。また本発明では、不連続連語に限らず、連続連語についても連語の範囲を明確に示す印を補足説明付文書画像中に配置する処理を行ってもよい。この場合は、連続連語を示す印と不連続連語を示す印としては互いに異なる印を用いることが望ましい。

なお、本実施の形態においては、本発明の文書画像生成装置１は画像読取装置３１及び画像形成装置３２が接続された汎用コンピュータである形態を示したが、本発明の文書画像生成装置は、画像読取機能を備えたスキャナ又は複合機等の画像処理装置であってもよい。また本実施の形態においては、コンピュータプログラム２１に基づいて本発明の文書画像生成方法を実行する形態を示したが、これに限るものではなく、本発明の文書画像生成装置は、本発明の文書画像生成方法に係る処理の一部又は全部を実行する専用の情報処理回路を備えて本発明に係る処理を実行する形態であってもよい。

また本実施の形態においては、画像読取装置３１で生成した原文書画像に対して本発明に係る処理を実行する形態を示したが、本発明の文書画像生成装置は、その他の方法で得られた原文書画像に対して本発明に係る処理を実行する形態であってもよい。例えば、文書画像生成装置１は、ファクシミリ通信又は電子メール等により外部から送信された画像データを受信し、受信した画像データに対して文書画像生成方法の処理を実行する形態であってもよい。また例えば、文書画像生成装置１は、インタフェース部１７に撮影装置を接続してあり、撮影装置が文書を撮影することによって取得した原文書画像に対して文書画像生成方法の処理を実行する形態であってもよい。

（実施の形態２）
図１９は、実施の形態２に係る本発明の文書画像生成装置１の内部構成を示すブロック図である。本実施の形態に係る文書画像生成装置１は、外部のウェブサーバ装置４が接続されている通信ネットワークＮに接続された通信部１８を備えている。通信部１８は、通信ネットワークＮを介してウェブサーバ装置４から送信されたウェブページ用のデータを受信し、ＣＰＵ１１は、受信したデータに基づいたウェブページを表示部１６に表示させる。文書画像生成装置１のその他の構成は実施の形態１と同様であり、対応する部分に同符号を付してその説明を省略する。実施の形態２に係る文書画像生成装置１は、ウェブページを表示部１６に表示する際に、ウェブページに含まれる単語又は連語に対する訳語を生成して表示する処理を行う。

図２０は、実施の形態２に係る文書画像生成装置１が実行する処理の手順を示すフローチャートである。ＣＰＵ１１は、ＲＡＭ１２にロードしたコンピュータプログラム２１に従って、以下の処理を実行する。文書画像生成装置１は、通信ネットワークＮを介してウェブサーバ装置４から送信されたウェブページ用のデータを通信部１８で受信し、受信したデータに基づいて、ウェブページである原文書画像を表す画像データを生成することにより、ウェブページ用のデータと原文書画像とを取得する（Ｓ２１）。ＣＰＵ１１は、ウェブページ用のデータと原文書画像を表す画像データとをＲＡＭ１２に記憶させる。ＣＰＵ１１は、次に、ＲＡＭ１２に記憶した画像データが表す原文書画像から、文字が含まれている文字領域を抽出し（Ｓ２２）、抽出した文字領域に含まれる文字を認識する処理を実行する（Ｓ２３）。ステップＳ２２の処理では、実施の形態１におけるステップＳ１２と同様の処理を行い、ステップＳ２３の処理では、実施の形態１におけるステップＳ１３と同様の処理を行う。

ＣＰＵ１１は、次に、ＲＡＭ１２に記憶したウェブページ用のデータから、テキストデータを抽出し、抽出したテキストデータとステップＳ２３で認識した文字とを比較し、文字をテキストデータに合わせるように、認識した文字を修正する処理を行う（Ｓ２４）。なお、ウェブページ用のデータが画像データ等のテキストデータを抽出できないデータである場合は、ステップＳ２４の処理を省略してもよい。ＣＰＵ１１は、次に、認識した文字で構成される文書に含まれる単語又は連語に対する訳語を取得する訳語取得処理を実行し（Ｓ２５）、取得した訳語の夫々について付属情報を決定する付属情報決定処理を実行する（Ｓ２６）。ステップＳ２５の処理では、実施の形態１におけるステップＳ１４と同様の処理を行い、ステップＳ２６の処理では、実施の形態１におけるステップＳ１５と同様の処理を行う。

ＣＰＵ１１は、次に、原文書画像中に、付属情報で定められた配置状態で夫々の訳語を配置した補足説明付文書画像を生成する補足説明付文書画像生成処理を行う（Ｓ２７）。ステップＳ２７の処理では、実施の形態１におけるステップＳ１６と同様の処理を行う。ＣＰＵ１１は、次に、生成した補足説明付文書画像を表示部１６に表示させる処理を行い（Ｓ２８）、本発明の文書画像生成の処理を終了する。なお、文書画像生成装置１は、更に、図示しない画像形成装置を用いて補足説明付文書画像を形成する処理を行ってもよい。

以上の処理により、ウェブページに含まれる単語又は連語に対する訳語が行間に配置された補足説明付文書画像が表示部１６に表示される。ウェブページを閲覧する使用者は、外国語で記載されたウェブページであっても、訳語を利用してウェブページの内容を理解することができる。補足説明付文書画像は、元のウェブページである原文書画像レイヤに補足説明テキストレイヤを重ねることによって生成されるので、使用者はウェブページのレイアウトが維持された状態で訳語付のウェブページを閲覧することができる。

なお、以上の実施の形態１及び２では、補足説明として単語又は連語に対する訳語を取得し、訳語を行間に配置した補足説明付文書画像を生成する形態を示したが、本発明に係る補足説明は訳語に限るものではない。例えば、本発明は、補足説明として、単語又は連語の読みを読み仮名、発音記号又はピンイン記号等で説明した読み情報を、単語又は連語に近接した行間に配置する形態であってもよい。この形態の場合は、文書を読む使用者は、文書中の単語又は連語の読みを確認することができる。また例えば、本発明は、補足説明として、単語又は連語の意味、同義語又は由来等を説明した注釈を、単語又は連語に近接した行間に配置する形態であってもよい。この形態の場合は、文書を読む使用者は、たとえ母国語であっても難解な言葉又は専門用語等を理解することができる。これらの形態では、文書画像生成装置１は、単語又は連語に関連づけた読み情報又は注釈を辞書データベース２２に予め記録しておき、辞書データベース２２から読み情報又は注釈を取得する処理を行う。

また以上の実施の形態１及び２では、横書きの文書に対して本発明を適用する例を示したが、本発明は縦書きの文書に対しても適用可能である。例えば、日本語による縦書きの文書に対して本発明の処理を実行する形態であってもよく、この形態の場合は、訳語は単語又は連語に近接する右側の行間に配置すればよい。また以上の実施の形態１及び２では、文書画像生成装置１は辞書データベース２２を内部の記憶部１４に記録してある形態を示したが、これに限るものではなく、本発明の文書画像生成装置は、外部の辞書データベースを用いて本発明に係る処理を実行する形態であってもよい。例えば、文書画像生成装置の外部のサーバ装置に辞書データベースを記憶しておき、文書画像生成装置は、必要に応じて外部の辞書データベースから必要なデータを読み出すことによって本発明に係る処理を実行してもよい。

１ 文書画像生成装置
１１ ＣＰＵ
１２ ＲＡＭ
１４ 記憶部
１６ 表示部
１７ インタフェース部
１８ 通信部
２ 記録媒体
２１ コンピュータプログラム
２２ 辞書データベース
３１ 画像読取装置
３２ 画像形成装置

Claims (11)

1. 複数の行を含んでなる文書を表す画像から、文書に含まれる単語、又は複数の単語からなる連語に対する補足説明を文書に付加した補足説明付文書を表す画像を生成する文書画像生成装置において、
   文書を表す原文書画像を取得する原文書画像取得手段と、
   該原文書画像取得手段が取得した原文書画像に含まれる文字の認識及び原文書画像中での文字位置の特定を行う文字認識手段と、
   該文字認識手段が認識した文字で構成される文書に対して自然言語処理を行うことによって、文書に含まれる単語又は連語の意味を確定し、各単語又は連語の意味に対応する補足説明を取得する補足説明取得手段と、
   文書に含まれる単語又は連語の内で、文書中に補足説明を配置すべき単語又は連語を選択する手段と、
   前記文字認識手段が認識した文字の位置に基づき、各単語又は連語に対応して取得した補足説明について、文書中で補足説明を配置すべき位置として、原文書画像中で該単語又は連語に近接した行間の位置を定める位置決定手段と、
   該位置決定手段が定めた原文書画像中の位置に相当する位置に各補足説明を配置した補足説明テキストレイヤを、原文書画像からなる原文書画像レイヤに重ねることにより、補足説明付文書を表す画像を生成する画像生成手段とを備え、
   前記位置決定手段は、
   補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長いか否かを判定する手段と、
   補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長い場合に、前記単語又は連語の前後の単語が他の補足説明を配置すべき単語であるか否かを判定する手段と、
   補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語ではない場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語ではない単語に近接する行間の位置とを含む位置を定める手段と、
   補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語である場合に、補足説明に対応する単語又は連語の前後の単語の内で他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短いか否かを判定する手段と、
   他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語であって該単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い単語に近接する行間の位置の一部とを含む位置を定める手段と、
   文書中で補足説明を配置すべき位置として定めた位置に配置できる文字列の長さよりも長い補足説明の長さを縮小する手段と
   を有することを特徴とする文書画像生成装置。
2. 前記位置決定手段は、
   補足説明を取得した連語が、該連語に含まれる複数の単語が文書中で不連続に配置されている不連続連語であるか否かを判定する手段と、
   補足説明を取得した連語が不連続連語である場合に、文書中で補足説明を配置すべき位置として、不連続連語に含まれる先頭単語、不連続連語に含まれる連続単語列、又は不連続連語に含まれる最長単語のいずれかに原文書画像中で近接した行間の位置を定める手段と
   を有することを特徴とする請求項１に記載の文書画像生成装置。
3. 前記画像生成手段は、
   原文書画像中の不連続連語の位置に相当する位置に不連続連語であることを示す印を配置した画像からなる印画像レイヤを、原文書画像レイヤに更に重ねるように構成してあること
   を特徴とする請求項２に記載の文書画像生成装置。
4. 前記画像生成手段は、
   原文書画像に含まれる各文字を示すテキストデータを、透明にした状態で原文書画像中の各文字の位置に相当する位置に配置した原文書テキストレイヤを、原文書画像レイヤに更に重ねるように構成してあること
   を特徴とする請求項１から３までのいずれか一つに記載の文書画像生成装置。
5. 前記補足説明取得手段は、
   補足説明として、単語若しくは連語に対する訳語、単語若しくは連語の読み、又は単語若しくは連語に対する注釈を取得するように構成してあること
   を特徴とする請求項１から４までのいずれか一つに記載の文書画像生成装置。
6. 前記補足説明取得手段は、
   前記文字認識手段が認識した文字で構成される行毎の文字列を行順に連結してなる文書の内容に対して自然言語処理を行うように構成してあること
   を特徴とする請求項１から５までのいずれか一つに記載の文書画像生成装置。
7. 複数の行を含んでなる文書を表す画像から、文書に含まれる単語、又は複数の単語からなる連語に対する補足説明として訳語を文書に付加した補足説明付文書を表す画像を生成する文書画像生成装置において、
   文書を表す原文書画像を取得する原文書画像取得手段と、
   該原文書画像取得手段が取得した原文書画像に含まれる文字の認識及び原文書画像中での文字位置の特定を行う文字認識手段と、
   該文字認識手段が認識した文字で構成される行毎の文字列を行順に連結してなる文書の内容に対して自然言語処理を行うことによって、文書に含まれる単語又は連語の意味を確定し、各単語又は連語の意味に対応する訳語を取得する手段と、
   文書に含まれる単語又は連語の内で、訳語を付加すべき単語又は連語を選択する手段と、
   前記文字認識手段が認識した文字の位置に基づき、各単語又は連語に対応して取得した訳語について、文書中で訳語を配置すべき位置として、原文書画像中で該単語又は連語に近接した行間の位置を定める位置決定手段と、
   該位置決定手段が定めた原文書画像中の位置に相当する位置に各訳語を配置した補足説明テキストレイヤ、原文書画像中の不連続連語の位置に相当する位置に不連続連語であることを示す印を配置した画像からなる印画像レイヤ、及び原文書画像に含まれる各文字を示すテキストデータを透明にした状態で原文書画像中の各文字の位置に相当する位置に配置した原文書テキストレイヤを、原文書画像からなる原文書画像レイヤに重ねることにより、補足説明付文書を表す画像を生成する手段とを備え、
   前記位置決定手段は、
   訳語を取得した連語の内、連語に含まれる複数の単語が文書中で不連続に配置されている不連続連語について、文書中で訳語を配置すべき位置として、不連続連語に含まれる先頭単語、不連続連語に含まれる連続単語列、又は不連続連語に含まれる最長単語の内で長さが最大のものに原文書画像中で近接した行間の位置を定める手段と、
   訳語の内で当該訳語に対応する単語又は連語の長さよりも長い訳語について、前記単語又は連語の前後の単語が他の訳語を配置すべき単語であるか否かを判定する手段と、
   訳語に対応する単語又は連語の前後の単語のいずれか又は両方が他の訳語を配置すべき単語ではない場合に、文書中で訳語を配置すべき位置として、訳語に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の訳語を配置すべき単語ではない単語に近接する行間の位置とを含む位置を定める手段と、
   訳語に対応する単語又は連語の前後の単語のいずれか又は両方が他の訳語を配置すべき単語である場合に、訳語に対応する単語又は連語の前後の単語の内で他の訳語を配置すべき単語の長さから所定長を差し引いた長さよりも他の訳語の長さの方が短いか否かを判定する手段と、
   他の訳語を配置すべき単語の長さから所定長を差し引いた長さよりも他の訳語の長さの方が短い場合に、文書中で訳語を配置すべき位置として、訳語に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の訳語を配置すべき単語であって該単語の長さから所定長を差し引いた長さよりも他の訳語の長さの方が短い単語に近接する行間の位置の一部とを含む位置を定める手段と、
   文書中で訳語を配置すべき位置として定めた位置に配置できる文字列の長さよりも長い訳語の長さを縮小する手段と
   を有することを特徴とする文書画像生成装置。
8. 外部の装置から送信されたウェブページ用のデータを受信する手段と、
   該手段が受信したデータに基づいてウェブページを表示する手段とを更に備え、
   前記原文書画像取得手段は、
   原文書画像として、ウェブページを取得する手段を有すること
   を特徴とする請求項１から７までのいずれか一つに記載の文書画像生成装置。
9. 複数の行を含んでなる文書を表す画像から、文書に含まれる単語、又は複数の単語からなる連語に対する補足説明を文書に付加した補足説明付文書を表す画像を生成する方法において、
   文書を表す原文書画像を取得するステップと、
   取得した原文書画像に含まれる文字の認識及び原文書画像中での文字位置の特定を行うステップと、
   認識した文字で構成される文書に対して自然言語処理を行うことによって、文書に含まれる単語又は連語の意味を確定し、各単語又は連語の意味に対応する補足説明を取得するステップと、
   文書に含まれる単語又は連語の内で、文書中に補足説明を配置すべき単語又は連語を選択するステップと、
   認識した文字の位置に基づき、各単語又は連語に対応して取得した補足説明について、文書中で補足説明を配置すべき位置として、原文書画像中で該単語又は連語に近接した行間の位置を定める位置決定ステップと、
   該位置決定ステップで定めた原文書画像中の位置に相当する位置に各補足説明を配置した補足説明テキストレイヤを、原文書画像からなる原文書画像レイヤに重ねることにより、補足説明付文書を表す画像を生成するステップとを含み、
   前記位置決定ステップは、
   補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長いか否かを判定するステップと、
   補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長い場合に、前記単語又は連語の前後の単語が他の補足説明を配置すべき単語であるか否かを判定するステップと、
   補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語ではない場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語ではない単語に近接する行間の位置とを含む位置を定めるステップと、
   補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語である場合に、補足説明に対応する単語又は連語の前後の単語の内で他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短いか否かを判定するステップと、
   他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語であって該単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い単語に近接する行間の位置の一部とを含む位置を定めるステップと、
   文書中で補足説明を配置すべき位置として定めた位置に配置できる文字列の長さよりも長い補足説明の長さを縮小するステップと
   を含むことを特徴とする文書画像生成方法。
10. コンピュータに、複数の行を含んでなる文書を表す画像から、文書に含まれる単語、又は複数の単語からなる連語に対する補足説明を文書に付加した補足説明付文書を表す画像を生成する処理を実行させるためのコンピュータプログラムにおいて、
    文書を表す原文書画像を取得するステップと、
    取得した原文書画像に含まれる文字の認識及び原文書画像中での文字位置の特定を行うステップと、
    認識した文字で構成される文書に対して自然言語処理を行うことによって、文書に含まれる単語又は連語の意味を確定し、各単語又は連語の意味に対応する補足説明を取得するステップと、
    文書に含まれる単語又は連語の内で、文書中に補足説明を配置すべき単語又は連語を選択するステップと、
    認識した文字の位置に基づき、各単語又は連語に対応して取得した補足説明について、文書中で補足説明を配置すべき位置として、原文書画像中で該単語又は連語に近接した行間の位置を定める位置決定ステップと、
    該位置決定ステップで定めた原文書画像中の位置に相当する位置に各補足説明を配置した補足説明テキストレイヤを、原文書画像からなる原文書画像レイヤに重ねることにより、補足説明付文書を表す画像を生成するステップとを含み、
    前記位置決定ステップは、
    補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長いか否かを判定するステップと、
    補足説明の長さが当該補足説明に対応する単語又は連語の長さよりも長い場合に、前記単語又は連語の前後の単語が他の補足説明を配置すべき単語であるか否かを判定するステップと、
    補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語ではない場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語ではない単語に近接する行間の位置とを含む位置を定めるステップと、
    補足説明に対応する単語又は連語の前後の単語のいずれか又は両方が他の補足説明を配置すべき単語である場合に、補足説明に対応する単語又は連語の前後の単語の内で他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短いか否かを判定するステップと、
    他の補足説明を配置すべき単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い場合に、文書中で補足説明を配置すべき位置として、補足説明に対応する単語又は連語に近接した行間の位置と、前記単語又は連語の前後の単語の内で他の補足説明を配置すべき単語であって該単語の長さから所定長を差し引いた長さよりも他の補足説明の長さの方が短い単語に近接する行間の位置の一部とを含む位置を定めるステップと、
    文書中で補足説明を配置すべき位置として定めた位置に配置できる文字列の長さよりも長い補足説明の長さを縮小するステップと
    を含む処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。

Images