JP5211193B2 - 翻訳表示装置 - Google Patents

Description

本発明は、翻訳表示装置に関する。

第１言語を用いた文書を表す原文書画像を解析し、原文書画像に含まれる文を第２言語に翻訳した翻訳文字列を、原文書画像に重ね合わせて表示する装置がある。

たとえば、特許文献１には、第１言語の原文書画像中で選択された文字エリアの文字列を、第２言語に翻訳する翻訳機能を備えたプロジェクタが開示されている。特許文献１に開示される技術によれば、原文書画像中で選択された文字エリアの文字列（原文文字列）を翻訳し、その翻訳した文字列を、選択された文字エリアの上に表示したり、文字エリアと隣接するようにポップアップダイアログを用いて表示する。

しかしながら、特許文献１に開示される技術では、選択された文字エリアの原文文字列に対してのみ翻訳した文字列（翻訳文字列）が表示されるので、原文書画像に含まれる全文に対応する翻訳文字列を視認することができない。さらに、特許文献１に開示される技術では、翻訳文字列は、選択された文字エリアの上、または、文字エリアと隣接する位置に配置されて表示されるので、文字エリアの原文文字列と翻訳文字列との対応関係がわかりにくく、原文文字列と翻訳文字列とを対比して視認するのに利便性がよいものとはいえない。

このような問題点を解決できる技術として、特許文献２には、原文書画像に含まれる原文に対する翻訳文字列を、各文に近接した行間に配置して表示する技術が開示されている。特許文献２に開示される技術では、原文書画像に含まれる第１言語を用いた文書中の特定の文字列（原文文字列）に対応する翻訳文字列を、原文文字列の直下の行間に配置して表示する。このように、原文文字列に対応する翻訳文字列が、原文文字列の直下の行間に配置されて表示されるので、原文文字列とその文字列に対応する翻訳文字列との対応関係がわかりやすく、原文と翻訳文字列とを対比して視認するのに利便性がよい。

特開２００７−２４９４８２号公報 特開平４−３１１２６２号公報

しかしながら、特許文献２に開示される技術では、原文書画像に含まれる各文の行間が狭い場合には、その行間に配置されて表示される翻訳文字列が小さくなりすぎて、視認が困難になるおそれがある。

したがって本発明の目的は、文書画像に含まれる第１言語の文字列に対応する第２言語に翻訳した翻訳文字列を、第１言語の文字列の直下の行間に配置して表示する翻訳表示装置であって、原文文字列と翻訳文字列とを対比して視認するのに利便性がよく、かつ、翻訳文字列の視認性を向上することができる翻訳表示装置を提供することである。

本発明は、第１言語で構成される複数の文を含んでなる文書を表す文書画像を取得する文書画像取得手段と、
前記文書画像から文字領域を抽出し、抽出した文字領域に含まれる第１言語の文字の認識と、前記文書画像中における第１言語の文字の位置の特定を行う文字認識手段と、
前記文字認識手段が認識した第１言語の文字で構成される第１言語の文字列である原文文字列を、第２言語に翻訳して翻訳文字列を生成する翻訳文字列生成手段と、
前記文字認識手段が特定した第１言語の文字の位置に基づいて、前記翻訳文字列の配置位置を、前記文書画像中における前記原文文字列に近接した行間の位置に定める翻訳文字列配置手段と、
前記翻訳文字列配置手段が定めた前記文書画像中の位置に前記翻訳文字列が配置された翻訳文付文書を表す画像を生成する画像生成手段と、
前記画像生成手段が生成した翻訳文付文書を表す画像を表示する表示手段と、
前記表示手段に表示された翻訳文付文書を表す画像の一部分を拡大表示する指示が入力される拡大表示指示入力手段と、
前記拡大表示指示入力手段から入力された指示に基づいて、翻訳文付文書を表す画像の一部分を拡大した部分拡大画像を生成する部分拡大画像生成手段と、
前記画像生成手段および前記表示手段を制御する制御手段であって、前記拡大表示指示入力手段から拡大表示の指示が入力された場合、前記翻訳文付文書を表す画像に前記部分拡大画像を重ね合わせた画像である部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御する制御手段と、を含み、
前記部分拡大画像生成手段は、翻訳文付文書を表す画像における行間部分の拡大率が、残余の部分の拡大率よりも大きくなるように、前記部分拡大画像を生成することを特徴とする翻訳表示装置である。

また本発明は、第１言語で構成される複数の文を含んでなる文書を表す文書画像を取得する文書画像取得手段と、
前記文書画像から文字領域を抽出し、抽出した文字領域に含まれる第１言語の文字の認識と、前記文書画像中における第１言語の文字の位置の特定を行う文字認識手段と、
前記文字認識手段が認識した第１言語の文字で構成される第１言語の文字列である原文文字列を、第２言語に翻訳して翻訳文字列を生成する翻訳文字列生成手段と、
前記文字認識手段が特定した第１言語の文字の位置に基づいて、前記翻訳文字列の配置位置を、前記文書画像中における前記原文文字列に近接した行間の位置に定める翻訳文字列配置手段と、
前記翻訳文字列配置手段が定めた前記文書画像中の位置に前記翻訳文字列が配置された翻訳文付文書を表す画像を生成する画像生成手段と、
前記画像生成手段が生成した翻訳文付文書を表す画像を表示する表示手段と、
前記表示手段に表示された翻訳文付文書を表す画像の一部分を拡大表示する指示が入力される拡大表示指示入力手段と、
前記拡大表示指示入力手段から入力された指示に基づいて、翻訳文付文書を表す画像の一部分を拡大した部分拡大画像を生成する部分拡大画像生成手段と、
前記画像生成手段および前記表示手段を制御する制御手段であって、前記拡大表示指示入力手段から拡大表示の指示が入力された場合、前記翻訳文付文書を表す画像に前記部分拡大画像を重ね合わせた画像である部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御する制御手段と、を含み、
前記部分拡大画像生成手段は、翻訳文付文書を表す画像における行間の位置に、前記原文文字列を編集可能な状態で付加して、前記部分拡大画像を生成し、
前記制御手段は、前記翻訳文付文書を表す画像に、前記原文文字列が編集可能な状態で付加された部分拡大画像を重ね合わせて部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御することを特徴とする翻訳表示装置である。

また本発明の翻訳表示装置は、前記部分拡大画像生成手段が、翻訳文付文書を表す画像における行間の位置に、前記原文文字列を編集可能な状態で付加して、前記部分拡大画像を生成し、
前記制御手段が、前記翻訳文付文書を表す画像に、前記原文文字列が編集可能な状態で付加された部分拡大画像を重ね合わせて部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御することを特徴とする。

また本発明の翻訳表示装置は、前記部分拡大画像において、編集可能な状態で付加された前記原文文字列を修正する指示が入力される修正指示入力手段を備え、
前記翻訳文字列生成手段が、前記修正指示入力手段から入力された指示に基づいて修正された原文文字列を、第２言語に翻訳して新たな翻訳文字列を生成し、
前記部分拡大画像生成手段が、前記新たな翻訳文字列が配置された部分拡大画像を生成し、
前記制御手段が、前記翻訳文付文書を表す画像に、前記新たな翻訳文字列が配置された部分拡大画像を重ね合わせて部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御することを特徴とする。

本発明によれば、翻訳表示装置は、文書画像取得手段と、文字認識手段と、翻訳文字列生成手段と、翻訳文字列配置手段と、画像生成手段と、表示手段と、拡大表示指示入力手段と、部分拡大画像生成手段と、画像生成手段および表示手段を制御する制御手段とを含んで構成される。文書画像取得手段は、第１言語で構成される複数の文を含んでなる文書を表す文書画像を取得する。文字認識手段は、文書画像取得手段が取得した文書画像から文字領域を抽出し、抽出した文字領域に含まれる第１言語の文字の認識と、文書画像中における第１言語の文字の位置の特定を行う。翻訳文字列生成手段は、文字認識手段が認識した第１言語の文字で構成される第１言語の文字列である原文文字列を、第２言語に翻訳して翻訳文字列を生成する。翻訳文字列配置手段は、文字認識手段が特定した第１言語の文字の位置に基づいて、翻訳文字列の配置位置を、文書画像中における原文文字列に近接した行間の位置に定める。画像生成手段は、翻訳文字列配置手段が定めた文書画像中の位置に翻訳文字列が配置された翻訳文付文書を表す画像を生成する。そして、表示手段は、画像生成手段が生成した翻訳文付文書を表す画像を表示する。このように、本発明の翻訳表示装置では、文書画像中における原文文字列に近接した行間の位置に翻訳文字列が配置された翻訳文付文書を表す画像が、表示手段に表示されるので、第１言語の原文文字列と、その原文文字列に対応する翻訳文字列との対応関係がわかりやすく、第１言語の原文文字列と第２言語の翻訳文字列とを対比して視認するのに利便性がよい。

さらに、本発明の翻訳表示装置では、表示手段に表示された翻訳文付文書を表す画像の一部分を拡大表示する指示が拡大表示指示入力手段から入力されると、部分拡大画像生成手段は、翻訳文付文書を表す画像の一部分を拡大した部分拡大画像を生成する。そして、制御手段に制御された画像生成手段は、翻訳文付文書を表す画像に、部分拡大画像生成手段が生成した部分拡大画像を重ね合わせた画像である部分拡大付画像を生成し、制御手段に制御された表示手段は、前記部分拡大付画像を表示する。このように、本発明の翻訳表示装置では、拡大表示指示入力手段から入力された指示に基づいて、翻訳文付文書を表す画像の一部分を拡大した部分拡大付画像が表示手段に表示されるので、翻訳文付文書を表す画像における所望の一部分の視認性を向上することができる。

また本発明によれば、部分拡大画像生成手段は、翻訳文付文書を表す画像における行間部分の拡大率が、残余の部分の拡大率よりも大きくなるように、部分拡大画像を生成する。これによって、本発明の翻訳表示装置では、拡大表示指示入力手段から入力された指示に基づいて、翻訳文付文書を表す画像における行間部分がより大きく拡大された部分拡大付画像が表示手段に表示されるので、行間に配置された翻訳文字列をより大きく拡大して表示することができる。

また本発明によれば、部分拡大画像生成手段は、翻訳文付文書を表す画像における行間の位置に、原文文字列を編集可能な状態で付加して、部分拡大画像を生成する。これによって、本発明の翻訳表示装置では、翻訳文付文書を表す画像における行間の位置に、原文文字列が付加された部分拡大付画像が表示手段に表示されるので、翻訳文付文書における第１言語の文書画像および第２言語の翻訳文字列と、文字認識手段が認識した第１言語の原文文字列とを対比して視認することができる。そのため、第１言語の原文文字列が、文書画像を文字認識手段により正確に認識した文字列となっているかを、視認することができる。

また本発明によれば、翻訳表示装置は、修正指示入力手段をさらに備える。この修正指示入力手段は、部分拡大画像において、編集可能な状態で付加された原文文字列を、修正する指示が入力される。そして、翻訳文字列生成手段は、修正指示入力手段から入力された指示に基づいて修正された原文文字列を、第２言語に翻訳して新たな翻訳文字列を生成する。さらに、部分拡大画像生成手段は、新たな翻訳文字列が配置された部分拡大画像を生成する。これによって、本発明の翻訳表示装置では、修正された原文文字列に対応した新たな翻訳文字列が配置された部分拡大画像が表示手段に表示されるので、正確に翻訳された新たな翻訳文字列を視認することができる。

本発明の実施の一形態に係る翻訳表示装置１００の構成を示すブロック図である。 翻訳表示装置１００が実行する処理の手順を示すフローチャートである。 翻訳表示装置１００が実行する処理の手順を示すフローチャートである。 参考例に係る翻訳表示装置２００の構成を示すブロック図である。 翻訳表示装置２００が実行する処理の手順を示すフローチャートである。

図１は、本発明の実施の一形態に係る翻訳表示装置１００の構成を示すブロック図である。翻訳表示装置１００は、表示手段である表示ディスプレイ１、表示内容記憶手段２、画像生成手段３、プレゼン実行手段４、指示入力管理手段５、指示入力手段６、制御手段７、文書画像取得手段８、文字認識手段９、翻訳文字列生成手段１０、翻訳文字列配置手段１１、および部分拡大画像生成手段１２を含んで構成される。

翻訳表示装置１００は、パーソナルコンピュータなどの汎用コンピュータを用いて構成され、パーソナルコンピュータ用ＯＳが備える基本機能であるウィンドウ表示機能を用いて、アプリケーションプログラムを実行したときに、ウィンドウ画面に、文書画像に含まれる第１言語（たとえば、英語）の文字列に対応する第２言語（たとえば、日本語）に翻訳した翻訳文字列を、第１言語の文字列の直下の行間に配置して表示する装置である。文書画像は、ＣＡＤ（Computer Aided Design）や各種ワープロソフトなどで作成された文書データから成り、複数のページから成って、所定の順番に並んでいる。本実施形態の翻訳表示装置１００は、複数のページから成る文書画像に対して頁送りなどの指示が指示入力手段６から入力されて、表示ディスプレイ１に表示する文書画像が切替わるごとに、リアルタイムで、翻訳文字列が行間に配置された画像を表示する。本実施形態の翻訳表示装置１００は、該装置を操作する操作者が、表示ディスプレイ１に表示される文書画像を見ながら、聴衆者に対してプレゼンテーションを行うときなどに利用される。

表示ディスプレイ１は、各種の情報を表示する手段であり、たとえば液晶ディスプレイなどにより実現される。表示内容記憶手段２は、表示ディスプレイ１により表示される画像などの情報を一時的に記憶する手段であり、たとえばＲＡＭ（Random Access Memory）などにより実現される。

指示入力手段６は、拡大表示指示入力手段および修正指示入力手段としての機能を果たし、操作者が操作することによる各種の処理指示などの情報が入力されるキーボード、マウスなどにより実現される。指示入力管理手段５は、指示入力手段６から入力された処理指示を示す指示信号を取得し、その指示信号をプレゼン実行手段４および部分拡大画像生成手段１２に送信する。

図２Ａおよび図２Ｂは、翻訳表示装置１００が実行する処理の手順を示すフローチャートである。翻訳表示装置１００では、指示入力手段６から入力された文書画像表示の処理指示を示す指示信号を、指示入力管理手段５が取得し、その指示信号がプレゼン実行手段４に送信される。文書画像表示の指示信号を受信したプレゼン実行手段４は、複数のページから成る文書画像のデータを、不図示の記憶手段から取得し、その文書画像のデータを画像生成手段３に送信する。画像生成手段３は、受信した文書画像のデータを表示内容記憶手段２に送信し、表示内容記憶手段２は、文書画像のデータを一旦記憶する。翻訳表示装置１００では、表示ディスプレイ１が、表示内容記憶手段２から文書画像のデータを取出して文書画像を表示すると、翻訳表示処理が開始される。

ステップｓ１では、文書画像取得手段８は、表示内容記憶手段２から文書画像のデータを取得する。

次にステップｓ２では、文字認識手段９は、文書画像取得手段８が取得した文書画像のデータから、文字が含まれている文字領域を抽出する。具体的には、文字認識手段９は、領域分割処理を用いる。たとえば、文字認識手段９は、エッジ検出結果に基づいて、文字領域、写真領域、網点領域、下地領域などに分割し、その分割結果から文字領域を抽出する。さらに文字認識手段９は、抽出した文字領域に含まれる第１言語の文字を認識する処理を実行する。文字認識手段９は、たとえば従来のＯＣＲ（Optical Character
Recognition）技術を利用して、文字領域に含まれる第１言語の文字の認識と、文書画像中の第１言語の文字位置の特定とを行う。各文字の位置は、文書画像における文字の左端のＸ座標、上端のＹ座標、右端のＸ座標、および下端のＹ座標で表される。なお、文字認識手段９は、一の行における文字の下端のＹ座標と、次の行における文字の上端のＹ座標との間を、行間と認識する。

次にステップｓ３では、翻訳文字列生成手段１０は、文字認識手段９が認識した第１言語の文字で構成される第１言語の文字列である原文文字列を、第２言語に翻訳して翻訳文字列を生成する。翻訳文字列生成手段１０は、原文文字列に対応する訳語を、不図示の辞書データベースから取得し、翻訳文字列を生成する。

次にステップｓ４では、翻訳文字列配置手段１１は、文字認識手段９が特定した第１言語の文字の位置に基づいて、翻訳文字列生成手段１０が生成した翻訳文字列の配置位置を、文書画像中における原文文字列に近接した行間の位置に定める。

次にステップｓ５では、画像生成手段３は、翻訳文字列配置手段１１が定めた文書画像中の位置に相当する位置に、翻訳文字列が配置された翻訳文付文書を表す画像を生成する。このようにして生成された翻訳文付文書を表す画像は、一旦、表示内容記憶手段２に記憶される。

次にステップｓ６では、表示ディスプレイ１は、表示内容記憶手段２から翻訳文付文書を表す画像を取出して、表示する。このように、本実施形態の翻訳表示装置１００では、文書画像中における原文文字列に近接した行間の位置に翻訳文字列が配置された翻訳文付文書を表す画像が、表示ディスプレイ１に表示されるので、第１言語の原文文字列と、その原文文字列に対応する翻訳文字列との対応関係がわかりやすく、第１言語の原文文字列と第２言語の翻訳文字列とを対比して視認するのに利便性がよい。

次にステップｓ７では、指示入力管理手段５は、指示入力手段６から拡大表示する指示が入力されたか否かを判断する。指示入力管理手段５が、拡大表示する指示が入力されたと判断した場合にはステップｓ１０に進み、拡大表示する指示が入力されていないと判断した場合にはステップｓ８に進む。

ステップｓ８では、指示入力管理手段５は、表示画像更新のタイミングであるか否かを判断する。指示入力管理手段５は、一定時間ごとに表示ディスプレイ１に表示されている表示画像を調べ、表示画像が変化しているか否かで表示画像更新のタイミングを判断する。たとえば、指示入力管理手段５は、指示入力手段６から文書画像の頁送りなどの指示が入力されて、表示ディスプレイ１に表示する文書画像が切替わるときに、表示画像更新のタイミングであると判断する。指示入力管理手段５が、表示画像更新のタイミングであると判断した場合にはステップｓ９に進み、表示画像更新のタイミングではないと判断した場合にはステップｓ７に戻る。ステップｓ９では、表示内容記憶手段２は、翻訳文付文書を表す画像を消去し、ステップｓ１に戻る。

ステップｓ７で拡大表示する指示が入力されたと判断された場合、ステップｓ１０では、部分拡大画像生成手段１２は、表示ディスプレイ１に表示されている翻訳文付文書を表す画像に対して、指示入力手段（マウス）６でポイントされた位置（拡大表示位置）を検知し、そのポイントされた位置を中心とする周囲の所定領域（拡大表示領域）を取得する。

次にステップｓ１１では、部分拡大画像生成手段１２は、翻訳文付文書を表す画像における、拡大表示領域内の行間に対応する部分の拡大率を大きくした部分拡大画像を生成する。具体的には、部分拡大画像生成手段１２は、拡大表示領域内における翻訳文付文書を表す画像を、文字領域と行間領域とに分離する。そして、部分拡大画像生成手段１２は、文字領域の拡大率を「ｎ」とし、文字の配列方向に直交する方向に関して行間の拡大率を「ｍ」とした場合、「ｎ＜ｍ」とすることで、拡大表示領域内の行間に対応する部分の拡大率を大きくする。なお、部分拡大画像生成手段１２が生成する部分拡大画像は、たとえば、ポップアップダイアログを用いた形式である。

次にステップｓ１２では、部分拡大画像生成手段１２は、翻訳文付文書を表す画像における行間に対応する位置に、文字認識手段９が認識した原文文字列（認識文字列）を編集可能な状態で付加して、部分拡大画像を生成する。

次にステップｓ１３では、制御手段７によって制御された画像生成手段３は、翻訳文付文書を表す画像に、部分拡大画像生成手段１２が生成した部分拡大画像を重ね合わせた画像である部分拡大付画像を生成する。このようにして生成された部分拡大付画像は、一旦、表示内容記憶手段２に記憶される。

次にステップｓ１４では、表示ディスプレイ１は、表示内容記憶手段２から部分拡大付画像を取出して、表示する。

以上のように、本実施形態の翻訳表示装置１００では、指示入力手段６から入力された指示に基づいて、翻訳文付文書を表す画像の一部分を拡大した部分拡大付画像が表示ディスプレイ１に表示されるので、翻訳文付文書を表す画像における所望の一部分の視認性を向上することができる。

また、本実施形態の翻訳表示装置１００では、部分拡大画像生成手段１２が、翻訳文付文書を表す画像における行間に対応する部分の拡大率が、残余の部分の拡大率よりも大きくなるように、部分拡大画像を生成する。これによって、翻訳表示装置１００では、翻訳文付文書を表す画像における行間に対応する部分がより大きく拡大された部分拡大付画像が表示ディスプレイ１に表示されるので、行間に配置された翻訳文字列をより大きく拡大して表示することができる。

また、本実施形態の翻訳表示装置１００では、部分拡大画像生成手段１２が、翻訳文付文書を表す画像における行間に対応する位置に、原文文字列を編集可能な状態で付加して、部分拡大画像を生成する。これによって、翻訳表示装置１００では、翻訳文付文書を表す画像における行間に対応する位置に、原文文字列が付加された部分拡大付画像が表示ディスプレイ１に表示されるので、翻訳文付文書における第１言語の文書画像および第２言語の翻訳文字列と、文字認識手段９が認識した第１言語の原文文字列とを対比して視認することができる。そのため、第１言語の原文文字列が、文書画像を文字認識手段９により正確に認識した文字列となっているかを、視認することができる。

次にステップｓ１５では、指示入力管理手段５は、表示ディスプレイ１に表示されている部分拡大付画像における部分拡大画像を消去する指示が、指示入力手段６から入力されたか否かを判断する。指示入力管理手段５が、部分拡大画像を消去する指示が入力されたと判断した場合にはステップｓ１６に進み、部分拡大画像を消去する指示が入力されていないと判断した場合にはステップｓ１７に進む。

ステップｓ１６では、画像生成手段３は、部分拡大付画像における部分拡大画像を消去した画像、すなわち、部分拡大画像を重ね合わせる前の翻訳文付文書を表す画像を生成する。これによって、表示ディスプレイ１には、部分拡大画像が消去された、翻訳文付文書を表す画像が表示される。このように、部分拡大画像が消去された、翻訳文付文書を表す画像の表示が完了すると、ステップｓ７に戻る。

ステップｓ１７では、指示入力管理手段５は、部分拡大付画像における部分拡大画像において、編集可能な状態で付加された原文文字列（認識文字列）を修正する指示が、指示入力手段６から入力されたか否かを判断する。指示入力管理手段５は、表示ディスプレイ１に表示されている部分拡大付画像において、編集可能な状態で付加された原文文字列に対応する部分が、指示入力手段（マウス）６でポイントされたか否かによって修正指示が入力されたか否かを判断する。なお、原文文字列の修正は、指示入力手段６により行われる。原文文字列は、指示入力手段６でポイントされたときに編集可能なウィンドウとなり、マウス、キーボード操作によって編集・修正できる。そして、指示入力手段６により、終了ボタンが押下されれば（またはマウスでダブルクリックされれば）、編集・修正の操作が終了する。指示入力管理手段５が、修正指示が入力されたと判断した場合にはステップｓ１８に進み、修正指示が入力されていないと判断した場合にはステップｓ１９に進む。

ステップｓ１８では、まず、翻訳文字列生成手段１０が、指示入力手段６から入力された指示に基づいて修正された原文文字列を、第２言語に翻訳して新たな翻訳文字列を生成する。次に、部分拡大画像生成手段１２が、新たな翻訳文字列が配置された部分拡大画像を生成する。そして、制御手段７に制御された画像生成手段３が、翻訳文付文書を表す画像に、新たな翻訳文字列が配置された部分拡大画像を重ね合わせて部分拡大付画像を生成し、表示ディスプレイ１が、新たに生成された部分拡大付画像を表示する。このように、新たに生成された部分拡大付画像の表示が完了すると、ステップｓ１５に戻る。

ステップｓ１９では、指示入力管理手段５は、表示画像更新のタイミングであるか否かを判断する。指示入力管理手段５が、表示画像更新のタイミングであると判断した場合にはステップｓ２０に進み、表示画像更新のタイミングではないと判断した場合にはステップｓ１５に戻る。ステップｓ２０では、画像生成手段３は、部分拡大付画像における部分拡大画像を消去した画像、すなわち、部分拡大画像を重ね合わせる前の翻訳文付文書を表す画像を生成する。これによって、表示ディスプレイ１には、部分拡大画像が消去された、翻訳文付文書を表す画像が表示される。このように、部分拡大画像が消去された、翻訳文付文書を表す画像の表示が完了すると、ステップｓ９に戻る。

以上のように、本実施形態の翻訳表示装置１００では、修正された原文文字列に対応した新たな翻訳文字列が配置された部分拡大画像が表示ディスプレイ１に表示されるので、正確に翻訳された新たな翻訳文字列を視認することができる。

図３は、参考例に係る翻訳表示装置２００の構成を示すブロック図である。翻訳表示装置２００は、表示手段である表示ディスプレイ２１、表示内容記憶手段２２、画像生成手段２３、プレゼン実行手段２４、指示入力管理手段２５、指示入力手段２６、表示ディスプレイ２１および画像生成手段２３を制御する制御手段２７、文書画像取得手段２８、文字認識手段２９、翻訳文字列生成手段３０、翻訳文字列配置手段３１、翻訳文付文書画像蓄積記憶手段３２、翻訳文字列変化領域抽出手段３３、強調翻訳文字列生成手段３４、および計時手段３５を含んで構成される。

翻訳表示装置２００は、前述した翻訳表示装置１００と同様に、文書画像に含まれる第１言語（たとえば、英語）の文字列を第２言語（たとえば、日本語）に翻訳し、その翻訳された翻訳文字列を、第１言語の文字列の直下の行間に配置して表示する装置である。

文書画像は、ＣＡＤや各種ワープロソフトなどで作成された文書データから成り、複数のページから成って、所定の順番に並んでいる。本実施形態の翻訳表示装置２００は、複数のページから成る文書画像に対して頁送りなどの指示が指示入力手段２６から入力されて、表示ディスプレイ２１に表示する文書画像が切替わるごとに、リアルタイムで、翻訳文字列が行間に配置された画像を表示する。

表示ディスプレイ２１は、各種の情報を表示する手段であり、たとえば液晶ディスプレイなどにより実現される。表示内容記憶手段２２は、表示ディスプレイ２１により表示される画像などの情報を一時的に記憶する手段であり、たとえばＲＡＭなどにより実現される。

指示入力手段２６は、操作者が操作することにより各種の処理指示などの情報が入力されるキーボード、マウスなどにより実現される。指示入力管理手段２５は、指示入力手段２６から入力された処理指示を示す指示信号を取得し、その指示信号をプレゼン実行手段２４に送信する。

図４は、翻訳表示装置２００が実行する処理の手順を示すフローチャートである。翻訳表示装置２００では、指示入力手段２６から入力された文書画像表示の処理指示を示す指示信号を、指示入力管理手段２５が取得し、その指示信号がプレゼン実行手段２４に送信される。文書画像表示の指示信号を受信したプレゼン実行手段２４は、複数のページから成る文書画像のデータを、画像生成手段２３に送信する。画像生成手段２３は、受信した文書画像のデータを表示内容記憶手段２２に送信し、表示内容記憶手段２２は、文書画像のデータを一旦記憶する。翻訳表示装置２００では、表示内容記憶手段２２が文書画像のデータを一旦記憶すると、翻訳表示処理が開始される。

ステップａ１では、文書画像取得手段２８は、表示内容記憶手段２２から文書画像のデータを取得する。

次にステップａ２では、文字認識手段２９は、文書画像取得手段２８が取得した文書画像のデータから、文字が含まれている文字領域を抽出する。具体的には、文字認識手段２９は、領域分割処理を用いる。たとえば、文字認識手段２９は、エッジ検出結果に基づいて、文字領域、写真領域、網点領域、下地領域などに分割し、その分割結果から文字領域を抽出する。さらに文字認識手段２９は、抽出した文字領域に含まれる第１言語の文字を認識する処理を実行する。

文字認識手段２９は、たとえば従来のＯＣＲ技術を利用して、文字領域に含まれる第１言語の文字の認識と、文書画像中の第１言語の文字位置の特定とを行う。各文字の位置は、文書画像における文字の左端のＸ座標、上端のＹ座標、右端のＸ座標、および下端のＹ座標で表される。なお、文字認識手段２９は、一の行における文字の下端のＹ座標と、次の行における文字の上端のＹ座標との間を、行間と認識する。

次にステップａ３では、翻訳文字列生成手段３０は、文字認識手段２９が認識した第１言語の文字で構成される第１言語の文字列である原文文字列を、第２言語に翻訳して翻訳文字列を生成する。翻訳文字列生成手段３０は、原文文字列に対応する訳語を、辞書データベースから取得し、翻訳文字列を生成する。

次にステップａ４では、翻訳文字列配置手段３１は、文字認識手段２９が特定した第１言語の文字の位置に基づいて、翻訳文字列生成手段３０が生成した翻訳文字列の配置位置を、文書画像中における原文文字列に近接した行間の位置に定める。

次にステップａ５では、画像生成手段２３は、翻訳文字列配置手段３１が定めた文書画像中の位置に相当する位置に、翻訳文字列が配置された翻訳文付文書を表す画像を生成する。

次にステップａ６では、記憶手段である翻訳文付文書画像蓄積記憶手段３２は、画像生成手段２３が翻訳文付文書を表す画像を生成するごとに、その翻訳文付文書を表す画像を順次記憶する。翻訳表示装置２００では、複数のページから成る文書画像に対して頁送りなどの指示が指示入力手段２６から入力されるごとに、画像生成手段２３が翻訳文付文書を表す画像を生成することになるが、翻訳文付文書画像蓄積記憶手段３２は、生成された順番に翻訳文付文書を表す画像を記憶する。

次にステップａ７では、翻訳文字列変化領域抽出手段３３は、翻訳文付文書画像蓄積記憶手段３２から、最後に記憶された最新の翻訳文付文書を表す画像（以後、「最新の翻訳文付文書を表す画像」という）と、それより以前に記憶された任意の翻訳文付文書を表す画像（以後、「過去の翻訳文付文書を表す画像」という）とを取出して、各画像に含まれる翻訳文字列を比較する。翻訳文字列変化領域抽出手段３３が取出す過去の翻訳文付文書を表す画像は、最新の画像に対して１つ前の直前の画像でもよく、その直前の画像よりもさらに前に翻訳文付文書画像蓄積記憶手段３２に記憶された画像でもよい。

そして、翻訳文字列変化領域抽出手段３３は、翻訳文付文書画像蓄積記憶手段３２から取出した最新の翻訳文付文書を表す画像と、過去の翻訳文付文書を表す画像とを比較し、最新の翻訳文付文書を表す画像から翻訳文字列が異なる領域を示す翻訳文字列変化領域を抽出する。

たとえば、翻訳文字列変化領域抽出手段３３は、最新の翻訳文付文書を表す画像において、過去の翻訳文付文書を表す画像に対して一部の翻訳文字列が異なっている場合には、その異なった一部の領域を、翻訳文字列変化領域として抽出する。また、翻訳文字列変化領域抽出手段３３は、最新の翻訳文付文書を表す画像において、過去の翻訳文付文書を表す画像に対して全部の翻訳文字列が異なっている場合には、その異なった全部の領域を、翻訳文字列変化領域として抽出する。

なお、翻訳文字列変化領域抽出手段３３は、１つの翻訳文付文書を表す画像のみが、翻訳文付文書画像蓄積記憶手段３２に記憶されている場合には、その１つの翻訳文付文書を表す画像のみを翻訳文付文書画像蓄積記憶手段３２から取出し、取出した翻訳文付文書を表す画像に含まれる全部の翻訳文字列を翻訳文字列変化領域として抽出する。

次にステップａ８では、強調翻訳文字列生成手段３４は、翻訳文字列変化領域抽出手段３３が抽出した翻訳文字列変化領域に含まれる翻訳文字列を認識し、その認識した翻訳文字列を強調する加工を施して、強調翻訳文字列を生成する。

強調翻訳文字列生成手段３４は、翻訳文字列変化領域外の翻訳文字列と比較して、翻訳文字列変化領域内の翻訳文字列に対して、文字の大きさを拡大する、文字のフォントを変更する、文字の色を変更する、などの強調加工を施すことによって強調翻訳文字列を生成する。

強調翻訳文字列生成手段３４は、翻訳文字列変化領域内の翻訳文字列の文字の大きさを拡大して強調翻訳文字列を生成する場合には、最新の翻訳文付文書を表す画像における、翻訳文字列変化領域内の行間に対応する部分の拡大率を大きくして強調翻訳文字列を生成する。また、強調翻訳文字列生成手段３４は、翻訳文字列変化領域内の翻訳文字列の文字のフォントを変更、または、文字の色を変更して強調翻訳文字列を生成する場合には、最新の翻訳文付文書を表す画像における、翻訳文字列変化領域内の翻訳文字列を、翻訳文字列変化領域外の翻訳文字列とは異なる予め定められたフォント、または色に変更して強調翻訳文字列を生成する。

次にステップａ９では、制御手段２７によって制御された画像生成手段２３は、最新の翻訳文付文書を表す画像の翻訳文字列変化領域に、強調翻訳文字列生成手段３４が生成した強調翻訳文字列を重ね合わせた画像である強調翻訳文字画像を生成する。この画像生成手段２３が生成した強調翻訳文字画像は、強調翻訳文字列の下側に配置される翻訳文字列変化領域内の翻訳文字列が透過して視認されないように、背景の色が下地の色と同色にされた強調翻訳文字列が重ね合わされた画像である。

なお、文字の大きさが拡大された強調翻訳文字列を重ね合わせた画像とする場合、たとえば、拡大された強調翻訳文字列が挿入できるように、翻訳文付文書を表す画像における翻訳文字列変化領域外の左右の部分では、翻訳文字列の文字間隔を狭くする、翻訳文字列を全体的に左右に移動させる、などの方法によって、拡大された強調翻訳文字列の重ね合わせ領域を確保する。

このようにして生成された強調翻訳文字画像は、一旦、表示内容記憶手段２２に記憶される。そして、制御手段２７によって制御された表示ディスプレイ２１は、表示内容記憶手段２２から強調翻訳文字画像を取出して、表示する。

本実施形態の翻訳表示装置２００では、計時手段３５が、表示ディスプレイ２１に強調翻訳文字画像が表示されてからの時間を計時する。そして、表示ディスプレイ２１に強調翻訳文字画像が表示されてから予め定められた時間が経過すると、画像生成手段２３は、強調翻訳文字画像における強調翻訳文字列を消去した画像、すなわち、強調翻訳文字列を重ね合わせる前の最新の翻訳文付文書を表す画像を生成する。これによって、表示ディスプレイ２１には、強調翻訳文字列が消去された、翻訳文付文書を表す画像が表示される。

なお、翻訳表示装置２００は、指示入力手段２６から入力される指示に基づいて、強調翻訳文字画像から強調翻訳文字列を消去した画像を生成するように構成されてもよい。この場合には、まず、指示入力管理手段２５は、表示ディスプレイ２１に表示されている強調翻訳文字画像における強調翻訳文字列を消去する指示が、指示入力手段２６から入力されたか否かを判断する。そして、指示入力管理手段２５が、強調翻訳文字列を消去する指示が入力されたと判断した場合には、画像生成手段２３が、強調翻訳文字画像における強調翻訳文字列を消去した画像を生成し、これによって、表示ディスプレイ２１には、強調翻訳文字列が消去された、翻訳文付文書を表す画像が表示される。

次にステップａ１０では、指示入力管理手段２５は、表示画像更新のタイミングであるか否かを判断する。指示入力管理手段２５は、一定時間ごとに表示ディスプレイ２１に表示されている表示画像を調べ、表示画像が変化しているか否かで表示画像更新のタイミングを判断する。たとえば、指示入力管理手段２５は、指示入力手段２６から文書画像の頁送りなどの指示が入力されて、表示ディスプレイ２１に表示する文書画像が切替わるときに、表示画像更新のタイミングであると判断する。指示入力管理手段２５が、表示画像更新のタイミングであると判断した場合にはステップａ１１に進み、表示画像更新のタイミングではないと判断した場合にはステップａ１０を繰返す。ステップａ１１では、表示内容記憶手段２２は、強調翻訳文字画像を消去し、ステップａ１に戻る。

以上のように、本参考例の翻訳表示装置２００では、文書画像中における原文文字列に近接した行間の位置に翻訳文字列が配置された翻訳文付文書を表す画像が生成されるので、第１言語の原文文字列と、その原文文字列に対応する翻訳文字列との対応関係がわかりやすく、第１言語の原文文字列と第２言語の翻訳文字列とを対比して視認するのに利便性がよい。

さらに、本参考例の翻訳表示装置２００では、最新の翻訳文付文書を表す画像における翻訳文字列変化領域に含まれる翻訳文字列が強調された画像（強調翻訳文字画像）が表示ディスプレイ２１に表示されるので、翻訳文付文書を表す画像における、過去のものとは異なる変化をした翻訳文字列の視認性を向上することができる。

１，２１ 表示ディスプレイ
２，２２ 表示内容記憶手段
３，２３ 画像生成手段
４，２４ プレゼン実行手段
５，２５ 指示入力管理手段
６，２６ 指示入力手段
７，２７ 制御手段
８，２８ 文書画像取得手段
９，２９ 文字認識手段
１０，３０ 翻訳文字列生成手段
１１，３１ 翻訳文字列配置手段
１２ 部分拡大画像生成手段
３２ 翻訳文付文書画像蓄積記憶手段
３３ 翻訳文字列変化領域抽出手段
３４ 強調翻訳文字列生成手段
３５ 計時手段
１００，２００ 翻訳表示装置

Claims (4)

1. 第１言語で構成される複数の文を含んでなる文書を表す文書画像を取得する文書画像取得手段と、
   前記文書画像から文字領域を抽出し、抽出した文字領域に含まれる第１言語の文字の認識と、前記文書画像中における第１言語の文字の位置の特定を行う文字認識手段と、
   前記文字認識手段が認識した第１言語の文字で構成される第１言語の文字列である原文文字列を、第２言語に翻訳して翻訳文字列を生成する翻訳文字列生成手段と、
   前記文字認識手段が特定した第１言語の文字の位置に基づいて、前記翻訳文字列の配置位置を、前記文書画像中における前記原文文字列に近接した行間の位置に定める翻訳文字列配置手段と、
   前記翻訳文字列配置手段が定めた前記文書画像中の位置に前記翻訳文字列が配置された翻訳文付文書を表す画像を生成する画像生成手段と、
   前記画像生成手段が生成した翻訳文付文書を表す画像を表示する表示手段と、
   前記表示手段に表示された翻訳文付文書を表す画像の一部分を拡大表示する指示が入力される拡大表示指示入力手段と、
   前記拡大表示指示入力手段から入力された指示に基づいて、翻訳文付文書を表す画像の一部分を拡大した部分拡大画像を生成する部分拡大画像生成手段と、
   前記画像生成手段および前記表示手段を制御する制御手段であって、前記拡大表示指示入力手段から拡大表示の指示が入力された場合、前記翻訳文付文書を表す画像に前記部分拡大画像を重ね合わせた画像である部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御する制御手段と、を含み、
   前記部分拡大画像生成手段は、翻訳文付文書を表す画像における行間部分の拡大率が、残余の部分の拡大率よりも大きくなるように、前記部分拡大画像を生成することを特徴とする翻訳表示装置。
2. 第１言語で構成される複数の文を含んでなる文書を表す文書画像を取得する文書画像取得手段と、
   前記文書画像から文字領域を抽出し、抽出した文字領域に含まれる第１言語の文字の認識と、前記文書画像中における第１言語の文字の位置の特定を行う文字認識手段と、
   前記文字認識手段が認識した第１言語の文字で構成される第１言語の文字列である原文文字列を、第２言語に翻訳して翻訳文字列を生成する翻訳文字列生成手段と、
   前記文字認識手段が特定した第１言語の文字の位置に基づいて、前記翻訳文字列の配置位置を、前記文書画像中における前記原文文字列に近接した行間の位置に定める翻訳文字列配置手段と、
   前記翻訳文字列配置手段が定めた前記文書画像中の位置に前記翻訳文字列が配置された翻訳文付文書を表す画像を生成する画像生成手段と、
   前記画像生成手段が生成した翻訳文付文書を表す画像を表示する表示手段と、
   前記表示手段に表示された翻訳文付文書を表す画像の一部分を拡大表示する指示が入力される拡大表示指示入力手段と、
   前記拡大表示指示入力手段から入力された指示に基づいて、翻訳文付文書を表す画像の一部分を拡大した部分拡大画像を生成する部分拡大画像生成手段と、
   前記画像生成手段および前記表示手段を制御する制御手段であって、前記拡大表示指示入力手段から拡大表示の指示が入力された場合、前記翻訳文付文書を表す画像に前記部分拡大画像を重ね合わせた画像である部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御する制御手段と、を含み、
   前記部分拡大画像生成手段は、翻訳文付文書を表す画像における行間の位置に、前記原文文字列を編集可能な状態で付加して、前記部分拡大画像を生成し、
   前記制御手段は、前記翻訳文付文書を表す画像に、前記原文文字列が編集可能な状態で付加された部分拡大画像を重ね合わせて部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御することを特徴とする翻訳表示装置。
3. 前記部分拡大画像生成手段は、翻訳文付文書を表す画像における行間の位置に、前記原文文字列を編集可能な状態で付加して、前記部分拡大画像を生成し、
   前記制御手段は、前記翻訳文付文書を表す画像に、前記原文文字列が編集可能な状態で付加された部分拡大画像を重ね合わせて部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御することを特徴とする請求項１に記載の翻訳表示装置。
4. 前記部分拡大画像において、編集可能な状態で付加された前記原文文字列を修正する指示が入力される修正指示入力手段を備え、
   前記翻訳文字列生成手段は、前記修正指示入力手段から入力された指示に基づいて修正された原文文字列を、第２言語に翻訳して新たな翻訳文字列を生成し、
   前記部分拡大画像生成手段は、前記新たな翻訳文字列が配置された部分拡大画像を生成し、
   前記制御手段は、前記翻訳文付文書を表す画像に、前記新たな翻訳文字列が配置された部分拡大画像を重ね合わせて部分拡大付画像を生成するように前記画像生成手段を制御し、前記部分拡大付画像を表示するように前記表示手段を制御することを特徴とする請求項２または３に記載の翻訳表示装置。

Images