WO2024018553A1 - 被翻訳データ作成装置、被翻訳データ作成方法、及び被翻訳データ作成プログラム - Google Patents

Abstract

文章の部分が複数列に配置された画像と、前記画像から抽出された前記文章の各単語のテキストと、を記憶する記憶部と、前記画像において、前記文章の部分について、まとめて翻訳する対象となる翻訳対象部分を設定する設定部と、前記記憶部から前記設定された翻訳対象部分のテキストを読み出すことにより、前記文章の言語以外の他の言語に翻訳するための被翻訳データを作成する作成部と、を備える被翻訳データ作成装置。

Description

被翻訳データ作成装置、被翻訳データ作成方法、及び被翻訳データ作成プログラム

　本開示の技術は、被翻訳データ作成装置、被翻訳データ作成方法、及び被翻訳データ作成プログラムに関する。

　従来、英文の本の全てのページを、本を壊さないで、翻訳することが要請されている。このような要請に応えるため、特開２０１５－２０４０１５号公報には、本を、見開きの状態でキャンし、見開きのＰＤＦ画像を生成し、ＰＤＦ画像からテキストを抽出し、抽出したテキストを翻訳することが開示されている。翻訳は、各ＰＤＦ画像のテキストを上から順に行う。

　各ＰＤＦ画像のテキストを上から順に翻訳すると、本に向かって左ページのある行のテキストから当該行の改行部分を超えて右ページの行の改行部分までのテキストを同じ行のテキストとして、翻訳する。

　しかし、このような同じ行として翻訳する対象の当該左ページのテキストと右ページのテキストとは、意味的は関連しておらず、別々の文として翻訳されるべきである。よって、翻訳結果は、原文に対応しない。

　以上は、複数段（列・コラム）に段組みされている１枚の画像からテキストを抽出し、抽出したテキストを翻訳する場合も同様である。

　本開示の技術は、文章の部分が複数列に配置された画像中のテキストを、各列について被翻訳データとして作成することの可能な被翻訳データ作成装置を提供することを目的とする。

　上記目的達成の本開示の技術の第１の態様の被翻訳データ作成装置は、文章の部分が複数列に配置された画像と、前記画像から抽出された前記文章の各単語のテキストと、を記憶する記憶部と、前記画像において、前記文章の部分について、まとめて翻訳する対象となる翻訳対象部分を設定する設定部と、前記記憶部から前記設定された翻訳対象部分のテキストを読み出すことにより、前記文章の言語以外の他の言語に翻訳するための被翻訳データを作成する作成部と、を備える。

　態様２の態様の被翻訳データ作成装置は、態様１において、前記記憶部に記憶された前記画像を読み出す読み出し部と、前記読み出された前記画像を表示する表示部と、を備え、前記設定部は、前記表示された画像において前記翻訳対象部分を設定する。

　態様３の態様の被翻訳データ作成装置は、態様２において、前記表示部は、前記翻訳対象部分におけるテキストの部分を強調表示する。

　態様４の態様の被翻訳データ作成装置は、態様２又は態様３において、前記表示部は、前記翻訳対象部分を強調表示すると共に前記翻訳対象部分として設定された部分が正しいか否かを確認するメッセージを表示する。

　態様５の態様の被翻訳データ作成装置は、態様２～態様４の何れか１項において、前記設定部は、前記画像において前記翻訳対象部分をブロックとして設定する。

　態様６の態様の被翻訳データ作成装置は、態様２～態様５の何れか１項において、前記設定部は、前記画像を複数の異なる領域に分割する境界を設定することにより、前記翻訳対象部分を設定する。

　態様７の態様の被翻訳データ作成装置は、態様１～態様６の何れか１項において、前記画像は、各々文章の部分が複数列に配置された連続する複数のページ画像を含み、前記設定部は、複数の前記ページ画像に亘って前記翻訳対象部分を設定する。

　態様８の態様の被翻訳データ作成装置は、態様１～態様７の何れか１項において、前記被翻訳データの翻訳結果を取得する取得部を更に備える。

　態様９の態様の被翻訳データ作成装置は、態様８において、前記翻訳対象部分におけるテキスト以外の部分と、前記被翻訳データの翻訳結果と、を合成する合成部を更に備える。

　態様１０の態様の被翻訳データ作成装置は、態様９において、前記合成部は、前記翻訳対象部分におけるテキスト以外の部分の中の選択された部分と、前記被翻訳データの翻訳結果と、を合成する。

　態様１１の態様の被翻訳データ作成装置は、態様８において、前記画像における前記翻訳対象部分として設定されなかった部分と、前記被翻訳データの翻訳結果と、を合成する合成部を更に備える。

　態様１２の態様の被翻訳データ作成装置は、態様１１において、前記合成部は、前記画像における前記翻訳対象部分として設定されなかった部分の中の選択された部分と、前記被翻訳データの翻訳結果と、を合成する。

　態様１３の態様の被翻訳データ作成装置は、態様１～態様１２の何れか１項において、前記翻訳結果を出力する出力部を更に備える。

　態様１４の態様の被翻訳データ作成装置は、態様１３において、前記出力部は、前記翻訳結果を、表示領域における、前記画像における前記翻訳対象部分の位置に対応する位置に、表示する。

　態様１５の態様の被翻訳データ作成装置は、態様１３又は態様１４において、前記設定部は、前記画像における複数の異なる領域に前記翻訳対象部分を設定し、
　前記出力部は、前記複数の異なる領域に設定された前記翻訳対象部分の翻訳結果の各々を、表示領域に、同一の表示態様で表示する。

　態様１６の態様の被翻訳データ作成装置は、態様１において、前記画像は、各々文章の部分が複数列に配置された複数のページ画像を含み、前記設定部は、前記画像における最初のページ画像について、前記翻訳対象部分を設定し、前記作成部は、前記最初のページ画像について設定された翻訳対象部分のテキストを読み出すと共に、前記最初のページ画像以外の他のページ画像について、前記最初のページ画像について設定された前記翻訳対象部分を、当該他のページ画像における翻訳対象部分として、前記テキストを読み出すことにより、前記被翻訳データを作成する。

　態様１７の態様の被翻訳データ作成装置は、態様１において、前記画像は、各々文章の部分が複数列に配置された複数のページ画像を含み、前記設定部は、前記複数のページ画像の各々について、前記翻訳対象部分を自動的に設定する。

　態様１８の態様の被翻訳データ作成装置は、態様１６又は態様１７において、前記被翻訳データの翻訳結果を取得する取得部を更に備える。

　態様１９の態様の被翻訳データ作成装置は、態様１８において、前記複数のページ画像の各々毎に、前記翻訳対象部分以外の部分と、前記被翻訳データの翻訳結果と、を合成する合成部を更に備える。

　第２０の態様の被翻訳データ作成装置は、態様１～態様１９の何れか１項において、前記文書の部分には、文が、途中で改行されることにより、複数の行に配置されている。

　態様２１の態様の被翻訳データ作成方法は、文章の部分が複数列に配置された画像と、前記画像から抽出された前記文章の各単語のテキストと、を記憶する記憶部を備える被翻訳データ作成装置の被翻訳データ作成方法であって、設定部が、前記画像において、前記文章の部分について、まとめて翻訳する対象となる翻訳対象部分を設定するステップと、作成部が、前記記憶部から前記翻訳対象部分のテキストを読み出すことにより、前記文章の言語以外の他の言語に翻訳するための被翻訳データを作成するステップと、を備える。

　態様２２の態様の被翻訳データ作成プログラムは、文章の部分が複数列に配置された画像と、前記画像から抽出された前記文章の各単語のテキストと、を記憶する記憶部を備える被翻訳データ作成装置に、前記文章の言語以外の他の言語に被翻訳データ作成処理を実行させる被翻訳データ作成プログラムであって、前記被翻訳データ作成処理は、設定部が、前記画像において、前記文章の部分について、まとめて翻訳する対象となる翻訳対象部分を設定するステップと、作成部が、前記記憶部から前記設翻訳対象部分のテキストを読み出すことにより、前記文章の言語以外の他の言語に翻訳するための被翻訳データを作成するステップと、を備える。

　第１の態様の被翻訳データ作成装置は、画像に文章の部分が複数列に配置されていても、精度のよい翻訳を実行させるための被翻訳データを作成することができる。

　態様２の態様の被翻訳データ作成装置は、ユーザは、画像において翻訳対象部分を任意に設定することができる。

　態様３の態様の被翻訳データ作成装置は、ユーザは、翻訳対象部分におけるテキストの部分を理解することができる。

　態様４の態様の被翻訳データ作成装置は、ユーザは、翻訳対象部分を理解すると共に翻訳対象部分として設定された部分が正しいか否かを確認することができる。

　態様５の態様の被翻訳データ作成装置は、画像において翻訳対象部分を容易に設定することができる。

　態様６の態様の被翻訳データ作成装置は、画像において翻訳対象部分を容易に設定することができる。

　態様７の態様の被翻訳データ作成装置は、複数のページの少なくとも２ページの画像に亘って翻訳対象部分を設定することができる。

　態様８の態様の被翻訳データ作成装置は、被翻訳データの翻訳結果を取得することができる。

　態様９の態様の被翻訳データ作成装置は、翻訳対象部分にあるテキスト以外の部分の画像と翻訳結果とを合成することができる。

　態様１０の態様の被翻訳データ作成装置は、翻訳対象部分にあるテキスト以外の部分の中の選択された部分の画像と翻訳結果とを合成することができる。

　態様１１の態様の被翻訳データ作成装置は、画像にある翻訳対象部分以外の部分の画像と翻訳結果とを合成することができる。

　態様１２の態様の被翻訳データ作成装置は、画像にある翻訳対象部分以外の部分の中の選択された部分の画像と翻訳結果とを合成することができる。

　態様１３の態様の被翻訳データ作成装置は、翻訳結果をユーザに理解させることができる。

　態様１４の態様の被翻訳データ作成装置は、翻訳結果を、ユーザに画像に対応するように理解させることができる。

　態様１５の態様の被翻訳データ作成装置は、複数の異なる領域に設定された翻訳対象部分の翻訳結果の各々をユーザに違和感なく理解させることができる。

　態様１６の態様の被翻訳データ作成装置は、画像が、各々文章の部分が複数列に配置された複数のページの画像を含んでいても、各ページの画像について、精度のよい翻訳を実行させるための被翻訳データを作成することができる。

　態様１７の態様の被翻訳データ作成装置は、画像が、各々文章の部分が複数列に配置された複数のページの画像を含んでいても、各ページの画像について、翻訳対象部分を自動的に設定することができる。

　態様１８の態様の被翻訳データ作成装置は、画像が、各々文章の部分が複数列に配置された複数のページの画像を含んでいても、各ページの画像の翻訳結果を取得することができる。

　態様１９の態様の被翻訳データ作成装置は、複数のページの画像の各々にある翻訳対象部分以外の部分の画像と翻訳結果とを合成することができる。

　態様２０の態様の被翻訳データ作成方法は、文が、途中で改行されることにより、複数の行に配置されている文書の部分が複数列に配置された画像において、精度のよい翻訳を実行させるための被翻訳データを作成することができる。

　態様２１の態様の被翻訳データ作成方法は、画像に、文章の部分が複数列に配置されていても、精度のよい翻訳を実行させるための被翻訳データを作成することができる。

　態様２２の態様のプログラムは、画像に、文章の部分が複数列に配置されていても、精度のよい翻訳を実行させるための被翻訳データを作成することができる。

第１の実施の形態の翻訳システムを示すブロック図である。 被翻訳データ作成装置１０のブロック図である。 プロジェクトファイルの中のフォルダを示す図である。 フォルダ４２Ｆ１１に記憶されるデータを示す図である。 フォルダ４２Ｆ１２に記憶されるデータを示す図である。 フォルダ４２Ｆ１３に記憶されるデータを示す図である。 フォルダ４２Ｆ１４に記憶されるデータを示す図である。 フォルダ４２Ｆ１５に記憶されるデータを示す図である。 フォルダ４２Ｇに記憶されるデータを示す図である。 フォルダ４２Ｈに記憶されるデータを示す図である。 フォルダ４２Ｉに記憶されるデータを示す図である。 フォルダ４２Ｊに記憶されるデータを示す図である。 ＣＰＵ２２の機能ブロック図である。 ＣＰＵ２２が実行する被翻訳データ作成処理プログラム４２Ｐのフローチャートである。 図３Ｂのステップ８４のテキスト取り出し処理プログラムのフローチャートである。 選択画面１３０を示す図である。 ユーザーインターフェース２００の画像を示す図である。 画像取り出しモードでの、取り出す画像の範囲３０４Ｇを設定し、範囲３０４Ｇから取り出す画像３１０Ｇを出力文書表示エリア３０２に配置する様子を示す図である。 翻訳のためのテキストの取り出しの範囲であるブロック３０４を設定する様子を示す図である。 ブロック３０４内のテキストの各単語の周囲に枠３０６を表示する様子を示す図である。 ブロック３０４の設定後、ブロックの再設定を問うメッセージ２０５を表示する様子を示す図である。 スキャン画像３００においてブロックを２つ連続して指定する様子を示す図である。 ブロックに画像が存在する場合、画像取り出しモードを設定し、取り出す画像の範囲３０４Ｇを設定し、出力文書表示エリア３０２に、範囲３０４Ｇの画像３１０Ｇを配置する様子を示す図である。 見開き画像の左ページと右ページとの境界を指定する場合のテキスト取り出し処理プログラムのフローチャートである。 スキャン画像３００において左ページと右ページとの境界の上端の点５０２と下端の点５０４とを指定することにより境界５０６を指定する様子を示す図である。 スキャン画像３００において、左ページの画像の範囲５１０と右ページの画像の範囲５１２とを指定する様子を示す図である。 見た目重視モード選択ボタン２７０と原文重視モード選択ボタン２８０とが更に表示されるユーザーインターフェース２００を示す図である。 見た目重視モード選択ボタン２７０が操作された場合の、出力文書表示エリア３０２の表示内容を示す図である。 原文重視モード選択ボタン２８０が操作された場合の、出力文書表示エリア３０２の表示内容を示す図である。 ヘッダ取り込みボタン２０８Ｈとフッダ取り込みボタン２０８Ｆとが更に表示されるユーザーインターフェース２００を示す図である。 テキスト表示エリア２３０が、テキストが表示される第１のエリア３０８Ａと、テキストの翻訳が表示される第２のエリア３０８Ｂと、が存在するように、変更されたユーザーインターフェース２００を示す図である。 既に翻訳が訂正された単語を、テキスト表示エリア２３０に表示する場合、枠３０８Ｗを付加することにより、当該訂正が行われた原文の単語を強調表示する様子を示す図である。 上部に文章の部分が１列に配置された部分が位置し、下部に文章の部分が２列に配置された部分（２列に段組みされた部分）が位置する画像が翻訳対象として表示されたユーザーインターフェース２００を示す図である。 左ページの画像についてブロック３０４が指定されると、テキスト表示エリア２３０に、ブロック３０４のテキスト３０８が表示され、出力文書２０４に、テキスト３０８の翻訳３１０が表示される様子を示す図である。 上部と下部とに文章の部分が２列に配置された部分（２列に段組みされた部分）が位置し、中間部に文章の部分が１列に配置された部分が位置する画像が翻訳対象として表示されたユーザーインターフェース２００を示す図である。 自動モードでの被翻訳データ作成処理プログラム４２Ｐのフローチャートである。 全動モードでの被翻訳データ作成処理プログラム４２Ｐのフローチャートである。

　以下、図面を参照して、本開示の技術の実施の形態を説明する。
［第１の実施の形態］
　第１の実施の形態を説明する。図１に示すように、翻訳システムは、インターネット１２を介して相互に接続されている被翻訳データ作成装置１０、テキスト抽出装置１６、及び翻訳装置１８を備える。

　被翻訳データ作成装置１０には、スキャナ１４が接続されている。スキャナ１４は、書籍の複数の見開き面の各々を走査（スキャン）することにより画像データを生成し、生成した各見開き面の画像データをＰＤＦ（Ｐｏｒｔａｂｌｅ　Ｄｏｃｕｍｅｎｔ　Ｆｏｒｍａｔ）に変換し、当該ＰＤＦを被翻訳データ作成装置１０に送信する。

　ＰＤＦの各ページの画像は、本開示の技術の「スキャン画像」の一例である。上記のように書籍の見開き面には、左側のページと右側のページとがあるので、ＰＤＦの各ページの画像は、文章の部分が２列に配置されたスキャン画像である。

　被翻訳データ作成装置１０は、ＰＤＦをテキスト抽出装置１６に送信する。テキスト抽出装置１６は、受信したＰＤＦからテキストを抽出し、抽出したテキスト及びＰＤＦにおけるテキストの位置を表す座標等を被翻訳データ作成装置１０に送信する。

　被翻訳データ作成装置１０は、テキストを翻訳装置１８に送信する。翻訳装置１８は、受信したテキストを翻訳し、翻訳データを被翻訳データ作成装置１０に送信する。図１には、翻訳装置１８は１個のみ表示されているが、翻訳装置には、詳細には後述するが、Ｄｅｅｐｌ翻訳サービスを提供する翻訳装置と、Ｇｏｏｇｌｅ翻訳サービスを提供する翻訳装置とがある。

　被翻訳データ作成装置１０が翻訳装置１８に送信するテキストは、本開示の技術の「被翻訳データ」の一例である。

　上記例では、翻訳システムは、テキスト抽出装置１６及び翻訳装置１８を別々に備えるが、本開示の技術はこれに限定されない。例えば、テキスト抽出装置１６は省略し、テキスト抽出処理機能を、被翻訳データ作成装置１０又は翻訳装置１８が有し、被翻訳データ作成装置１０又は翻訳装置１８がテキスト抽出処理を実行するようにしてもよい。また、翻訳装置１８は省略し、翻訳処理機能を、被翻訳データ作成装置１０又はテキスト抽出装置１６が有し、被翻訳データ作成装置１０又はテキスト抽出装置１６が翻訳処理を実行するようにしてもよい。更に、テキスト抽出装置１６及び翻訳装置１８は省略し、テキスト抽出処理機能及び翻訳処理機能を被翻訳データ作成装置１０が有し、被翻訳データ作成装置１０がテキスト抽出処理機能及び翻訳処理を実行するようにしてもよい。

　図２Ａに示すように、被翻訳データ作成装置１０は、コンピュータ２０と、各々コンピュータ２０に接続されているディスプレイ３２、通信インターフェース（Ｉ／Ｆ）３６、キーボード３８、マウス４０、及び記憶装置４２と、を備えている。

　記憶装置４２は、本開示の技術の「記憶部」の一例である。マウス４０は、本開示の技術の「設定部」の一例である。ディスプレイ３２は、本開示の技術の「出力部」、「表示部」の一例である。通信インターフェース（Ｉ／Ｆ）３６は、本開示の技術の「取得部」の一例である。

　コンピュータ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２４、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２６、及び入出力（Ｉ／Ｏ）ポート２８を備えている。ＣＰＵ２２、ＲＯＭ２４、ＲＡＭ２６、及びＩ／Ｏポート２８は、バス３０を介して、相互に接続されている。Ｉ／Ｏポート２８には、ディスプレイ３２、通信インターフェース（Ｉ／Ｆ）３６、スキャナ１４、キーボード３８、マウス４０、及び記憶装置４２が接続されている。通信インターフェース（Ｉ／Ｆ）３６は、インターネット１２を介して、テキスト抽出装置１６及び翻訳装置１８と通信可能に接続されている。

　記憶装置４２は、一時的でない有形のコンピュータが可読可能な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｔａｎｇｉｂｌｅ　Ｃｏｍｐｕｔｅｒ　Ｒｅａｄａｂｌｅ　ｍｅｄｉａ）であり、例えば、ＨＤＤ（Ｈａｒｄ　ｄｉｓｋ　ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　ｓｔａｔｅ　ｄｒｉｖｅ）等の不揮発性の記憶装置である。

　記憶装置４２には、データテーブル４２Ｔ及び被翻訳データ作成処理プログラム４２Ｐが記憶されている。

　データテーブル４２Ｔには、スキャン画像記憶エリア４２Ｍ１１～４２Ｍ１５及びプロジェクトファイル記憶エリア４２Ｍ２１、４２Ｍ２２が設けられている。

　スキャン画像記憶エリア４２Ｍ１１～４２Ｍ１５には、スキャナ１４から送信されたＰＤＦが記憶されている。具体的には、スキャン画像記憶エリア４２Ｍ１１～４２Ｍ１５のそれぞれには、識別名のＰＤＦａ～ＰＤＦｅで識別されるＰＤＦが記憶されている。

　プロジェクトファイル記憶エリア４２Ｍ２１、４２Ｍ２２は、スキャン画像記憶エリア４２Ｍ１１、４２Ｍ１２に対応して設けられている。詳細には、ＰＤＦについて被翻訳データ作成処理プログラム４２Ｐが実行されると、当該ＰＤＦについてのプロジェクトファイルが作成され、当該ＰＤＦを記憶するスキャン画像記憶エリアに対応して、当該プロジェクトファイルを記憶するプロジェクトファイル記憶エリアが設けられる。

　図２Ａに示す例では、スキャン画像記憶エリア４２Ｍ１１、４２Ｍ１２に対応してプロジェクトファイル記憶エリア４２Ｍ２１、４２Ｍ２２が設けられている。識別名のＰＤＦａ、ＰＤＦｂで識別されるＰＤＦについて被翻訳データ作成処理プログラム４２Ｐが実行され、プロジェクトファイルａ、プロジェクトファイルｂで識別される各プロジェクトファイルが作成される。プロジェクトファイルａ、プロジェクトファイルｂで識別される各プロジェクトファイルがプロジェクトファイル記憶エリア４２Ｍ２１、４２Ｍ２２に記憶されている。なお、ＰＤＦｃ～ＰＤＦｅで識別されるＰＤＦについては被翻訳データ作成処理プログラム４２Ｐが実行されておらず、プロジェクトファイル記憶エリアが設けられていない。

　次に、図２Ｂ～図２Ｋを参照して、プロジェクトファイルを説明する。「プロジェクトファイルａ」、「プロジェクトファイルｂ」で識別される各プロジェクトファイルは同様の内容になっているので、以下、プロジェクトファイルａで識別されるプロジェクトファイルのみ説明し、他のプロジェクトファイルの説明を省略する。即ち、プロジェクトファイル記憶エリア４２Ｍ２１の記憶内容を説明する。

　図２Ｂに示すように、プロジェクトファイル記憶エリア４２Ｍ２１には、ＰＤＦの各ページについてのフォルダ４２Ｆ１０、４２Ｆ２０、・・・（ページ枚数分）、ＰＤＦ全体についてのフォルダ４２Ｇ～４２Ｊと、が設けられている。

　各ページについてのフォルダ４２Ｆ１０、４２Ｆ２０、・・・は、同様の内容になっているので、以下、ページ１についてのフォルダ４２Ｆ１０のみ説明し、他のフォルダ４２Ｆ２０、・・・の説明を省略する。フォルダ４２Ｆ１０には、フォルダ４２Ｆ１１～フォルダ４２Ｆ１５が設けられている。フォルダ４２Ｆ１１は、翻訳前の状態のページの画像を記憶するフォルダである。フォルダ４２Ｆ１２は、アノテーションしたテキストデータを記憶するフォルダである。フォルダ４２Ｆ１３は、翻訳作業後の文書画像を記憶するフォルダである。フォルダ４２Ｆ１４は、翻訳のため選択済みのテキストの位置を記憶するフォルダである。フォルダ４２Ｆ１５は、取り出した画像を記憶するフォルダである。

　次に、ＰＤＦ全体についてのフォルダ４２Ｇ～４２Ｊを説明する。フォルダ４２Ｇは、取り出し画像のメタデータを記憶するフォルダである。フォルダ４２Ｈは、翻訳後の画像に表示するテキストを記憶するフォルダである。フォルダ４２Ｉは、翻訳したテキストを記憶するフォルダである。フォルダ４２Ｊは、プロジェクトと翻訳作業のメタデータを記憶するフォルダである。

　次に、上記各フォルダ（４２Ｆ１１～４２Ｊ）を詳細に説明する。

　図２Ｃに示すように、フォルダ４２Ｆ１１は、翻訳前の状態のページの画像を記憶する。上記のように、スキャナ１４からＰＤＦが送信されると、受信したＰＤＦの画像データは、スキャン画像記憶エリアに記憶される。フォルダ４２Ｆ１１には、スキャン画像記憶エリア４２Ｍ１１に記憶されているＰＤＦの翻訳前の状態の１ページ全体の画像データが、コピーされて、記憶される。

　図２Ｄに示すように、フォルダ４２Ｆ１２は、アノテーションしたテキストデータを記憶する。詳細には後述するが、ＰＤＦの１ページ全体の画像データがテキスト抽出装置１６に送信される。テキスト抽出装置１６は、ＰＤＦの１ページ全体の画像データから各単語のテキストを抽出し、テキストの言語を検出し、各単語のＰＤＦの１ページの画像における位置を特定する。具体的には、例えば、'The',　'Logic',　'of',　'Scientific'の各単語のテキストが抽出された場合、テキストの言語として、英語が検出される。１ページの画像における各単語のテキストの位置（四隅の位置）を、以下のように特定される。

　例えば、'The'の左上の位置として、 [1154, 420]、右上の位置として、 [1279, 420]、右下の位置として、 [1279, 465]、及び、左下の位置として、 [1154, 465]]が特定される。他の単語についてもの同様に、左上～左下の位置が以下のように特定される。
'Logic'について、 [1310, 420], [1481, 420], [1481, 479], [1310, 479]]。
'of'について、[1512, 420], [1577, 420], [1577, 465], [1512, 465]]。
'Scientific'について、[1602, 420], [1895, 420], [1895, 465], [1602, 465]]。

　テキスト抽出装置１６は、各単語のテキスト、テキストの言語、各単語のＰＤＦの１ページの画像における位置を、被翻訳データ作成装置１０に送信する。各単語のテキスト、テキストの言語、各単語のＰＤＦの１ページの画像における位置がフォルダ４２Ｆ１２に記憶される。

　図２Ｅに示すように、フォルダ４２Ｆ１３は、翻訳作業後の文書画像を記憶する。詳細には後述するが、テキスト（被翻訳データ）が翻訳装置１８に送信される。翻訳装置１８は、テキストを、指定された言語に翻訳し、翻訳データを被翻訳データ作成装置１０に送信する。図２Ｅに示すように、被翻訳データ作成装置１０では、翻訳内容を元の画像のテキストの位置に対応するように配置することにより、文書画像を生成し、生成した文書画像をフォルダ４２Ｆ１３に記憶する。

　図２Ｆに示すように、フォルダ４２Ｆ１４は、翻訳のため選択済みのテキストの位置を記憶する。詳細には後述するが、ユーザは、マウス４０を介して、ＰＤＦの表示されたページの画像について、翻訳してほしい範囲を選択する。これにより翻訳の範囲が設定される。一方、上記のように、被翻訳データ作成装置１０は、当該ページの画像については、テキスト抽出装置１６から、各単語のテキストの位置を受信している。フォルダ４２Ｆ１４は、ＰＤＦの表示されたページの画像についての翻訳してほしい範囲における、翻訳のため選択済みの各テキストの位置を記憶する。例えば、あるテキストについて、左上～左下の位置として、（ｘ１、ｙ１）、（ｘ２、ｙ１）、（ｘ２、ｙ２）、（ｘ１、ｙ２）が記憶される。

　図２Ｇに示すように、フォルダ４２Ｆ１５には、取り出した画像を記憶する。詳細には後述するが、翻訳元のＰＤＦのページに画像（グラフ等）等があり、翻訳結果の出力文書に当該画像を配置したい場合、ユーザは、マウス４０を用いて、翻訳元のＰＤＦのページにおいて画像を選択する。なお、当該画像は、当該画像を含む長方形の範囲を、左上と右下の２点の位置を選択することにより、選択される。被翻訳データ作成装置１０は、翻訳元のＰＤＦのページにおける選択された画像を取り出し、取り出した画像を、フォルダ４２Ｆ１５に記憶させる。図２Ｇに示す例では、翻訳元のＰＤＦの１ページに２つのグラフの画像１５Ｇ１、１５Ｇ２が存在し、ユーザが画像１５Ｇ１、１５Ｇ２を選択し、フォルダ４２Ｆ１５に、画像１５Ｇ１、１５Ｇ２と、各画像の識別データ（ＩＤ）とが対応して記憶されている例が示されている。例えば、画像１５Ｇ１を、取り出す画像として選択する場合、ユーザは、マウス４０を用いて、画像１５Ｇ１を含む長方形の範囲の左上の位置（ｘＬＵ、ｙＬＵ）と右下の位置（ｘＲＤ、ｙＲＤ）を選択する。画像１５Ｇ１と、画像１５Ｇ１のＩＤ（例えば、ＩＤ１５ｇ１）とが対応して記憶される。なお、図２Ｇに示す例は図２Ｃに示す例とは異なるが、本実施の形態の内容を理解し易くするため便宜的に、ページ１に２つのグラフの画像１５Ｇ１、１５Ｇ２が存在するとしている。

　図２Ｈに示すように、フォルダ４２Ｇは、取り出した画像を特定するためのデータであるメタデータを記憶する。メタデータには、ページ数、画像のＩＤ、位置１、位置２がある。図２Ｇに示す例で説明すると、例えば、上記のように画像１５Ｇ１が取り出されたので、ページ数として１、画像のＩＤとしてＩＤ１５ｇ１、位置１（左上の位置）として（ｘＬＵ、ｙＬＵ）、及び位置２（右下の位置）として（ｘＲＤ、ｙＲＤ）が対応してフォルダ４２Ｇに記憶される。

　図２Ｉに示すように、フォルダ４２Ｈは、翻訳後の画像（出力文書画像）に表示するテキストを記憶する。具体的には、フォルダ４２Ｈは、テキスト毎に、テキスト、言語（翻訳後）、回転角度、フォントサイズ、ページ、開始位置、ステータス、行間隔、及びフォントサイズ補正値を記憶する。ステータスとは、テキストを現在、翻訳処理中なのか、あるいは、すでに出力文書画像への出力が終了したのかを、被翻訳データ作成装置１０が判断できるようにするためのフラグである。翻訳処理中の場合にはＶＩＥＷ、出力終了の場合にはＮＥＷがフラグとして記憶される。

　図２Ｊに示すように、フォルダ４２Ｉは、翻訳したテキスを記憶する。具体的には、フォルダ４２Ｉは、テキスト毎に、テキスト、言語、回転角度、最大フォントサイズ、ページ、位置(左上位置と右下位置の対角２点)を記憶する。最大フォントサイズとは、座標を指定して取り出したテキストの中で最大のフォントである。これは、フォントサイズの調整のために使用される。

　図２Ｋに示すように、フォルダ４２Ｊは、プロジェクトと翻訳作業のメタデータとを記憶する。具体的には、フォルダ４２Ｊは、本プロジェクトファイルの対象の元となったＰＤＦへのパス（リンク）、ページ数、前回開いていたページ、及びＰＤＦタイトルを記憶する。詳細には後述するが、被翻訳データ作成処理（図３Ｂ）では、ユーザは、ＰＤＦのページを指定し、指定されたページについて翻訳する範囲を選択し、その範囲のテキスト（被翻訳データ）を作成する。被翻訳データ作成処理は、ＰＤＦの全てのページについて翻訳が完了せずに終了する場合もある。よって、翻訳が全てのページについて完了しているＰＤＦもあれば、途中で翻訳が中断しているＰＤＦもある。途中で翻訳が中断している場合には、翻訳を続いて行えるように、前回開いていたページを記憶するようにしている。

　図３Ａには、ＣＰＵ２２の機能ブロック図が示されている。ＣＰＵ２２の機能は、表示制御機能、判断機能、取得機能、受け付け機能、送信処理機能、記憶処理機能、テキスト取り出し処理機能、及び出力処理機能を有する。図３Ａに示すように、ＣＰＵ２２は、被翻訳データ作成処理（図３Ｂ）を実行することにより、表示制御部２３、判断部２５、取得部２７、受け付け部２９、送信処理部３１、記憶処理部３３、テキスト取り出し処理部３５、及び出力処理部３７として機能する。

　ＣＰＵ２２、具体的には、テキスト取り出し処理部３５は、本開示の技術の「作成部」、「読み出し部」の一例である。

　次に、本実施の形態の作用を説明する。

　図３Ｂには、ＣＰＵ２２が実行する被翻訳データ作成処理プログラム４２Ｐのフローチャートが示されている。ＣＰＵ２２が被翻訳データ作成処理プログラム４２Ｐを実行すると、被翻訳データ作成処理が実行される。被翻訳データ作成処理プログラム４２Ｐは、図示しないスタートボタンがオンされた場合にスタートする。

　ステップ４４で、表示制御部２３は、ディスプレイ３２に、図４に示すように、選択画面１３０を表示する。選択画面１３０には、プロジェクトファイルを、画像のファイルから新規作成することを促す表示部１３２と、既存のプロジェクトを開くことを促す表示部１３４と、がある。上記例（図２Ａ参照）では、５つのスキャン画像（ＰＤＦａ～ＰＤＦｅで識別されるＰＤＦ）が記憶され、ＰＤＦａ、ＰＤＦｂで識別されるＰＤＦのみについてプロジェクトファイルが作成されている。プロジェクトファイルを新規に作成する対象は、ＰＤＦｃ～ＰＤＦｅで識別されるＰＤＦであるので、当該ＰＤＦの識別名１３２ｃ～１３２ｅが、表示部１３２に対応して表示される。一方、既存のプロジェクトファイルとしては、識別名のプロジェクトファイルａ、プロジェクトファイルｂで識別されるプロジェクトファイルであるので、プロジェクトファイルの識別名１３４ａ、１３４ｂが、表示部１３４に対応して表示される。

　ステップ４６で、判断部２５は、新規作成が選択されたか否かを判断する。

　ユーザは、プロジェクトファイルを新規に作成し、被翻訳データを作成したいと考えた場合は、マウス４０で、識別名１３２ｃ～１３２ｅの何れかを選択する。一方、ユーザは、既存のプロジェクトファイルを選択し、被翻訳データの作成を続行したいと考えた場合は、マウス４０で、識別名１３４ａ又は識別名１３４ｂを選択する。

　識別名１３２ｃ～１３２ｅの何れかが選択された、即ち、新規作成が選択された場合、ステップ４６が肯定判定となり、被翻訳データ作成処理は、ステップ４８に進む。識別名１３４ａ又は識別名１３４ｂが選択された場合、ステップ４６が否定判定となり、被翻訳データ作成処理は、ステップ５０に進む。

　ステップ４８で、取得部２７は、プロジェクトファイルを作成する。例えば、識別名１３２ｃが選択された場合、ＰＤＦｃで識別されるＰＤＦについてプロジェクトファイル（図２Ｂ参照）が作成される。具体的には、当該ＰＤＦの各ページについてのフォルダ４２Ｆ１０、４２Ｆ２０、・・・と、ＰＤＦ全体についてのフォルダ４２Ｇ～４２Ｊと、が作成される。例えば、当該ＰＤＦの各ページの画像がフォルダ４２Ｆ１１に記憶される。当該ＰＤＦの画像データがテキスト抽出装置１６に出力され、テキスト抽出装置１６から送信された、当該ＰＤＦの各ページのテキスト、テキストの言語、及びテキストの位置のデータを受信し、これらのデータがフォルダ４２Ｆ１２に記載される。この段階では、フォルダ４２Ｆ１３～フォルダ４２Ｆ１５、及び、フォルダ４２Ｇ～４２Ｉにはデータは記憶されない。フォルダ４２Ｊには、当該ＰＤＦへのパス（リンク）及びページ数が記載される。

　ステップ５０で、取得部２７は、プロジェクトファイルを読み出す。例えば、識別名１３４ａが選択された場合、プロジェクトファイルａで識別されるプロジェクトファイル（図２Ｂ参照）が読み出される。

　ステップ４８又はステップ５０の処理が実行されると、被翻訳データ作成処理は、ステップ５２に進む。ステップ５２で、取得部２７は、スキャン画像を記憶装置４２から取り込む。具体的には、上記例では、例えば、識別名１３２ｃが選択された場合、ＰＤＦｃで識別されるＰＤＦのスキャン画像が取り込まれる。識別名１３４ａが選択された場合、プロジェクトファイルａで識別されるプロジェクトファイルに対応するＰＤＦ（ＰＤＦａで識別されるＰＤＦ）が取り込まれる。

　ステップ５４で、表示制御部２３はディスプレイ３２の表示画面に、図５に示すユーザーインターフェース２００の画像を表示する。

　ユーザーインターフェース２００には、スキャン画像表示エリア２０２及び出力文書画像表示エリア２０４が表示される。

　ユーザーインターフェース２００には、テキストの取り出しを指示するボタン２０６、画像の取り出しを指示するボタン２０８、改行を自動で判断させることを指示するボタン２１０、改行せず連結させることを指示するボタン２１２、及び元テキスト通りに改行させることを指示するボタン２１４が表示される。

　ユーザーインターフェース２００には、Ｄｅｅｐｌ翻訳サービスを提供する翻訳装置に翻訳をさせることを指示するボタン２１６、Ｇｏｏｇｌｅ翻訳サービスを提供する翻訳装置に翻訳をさせることを指示するボタン２１８、及び翻訳しないことを指示するボタン２２０が表示される。

　ユーザーインターフェース２００には、テキスト選択後にそのまま翻訳させることを指示するボタン２２２、テキスト選択後に編集してから翻訳させることを指示するボタン２２４、自動で翻訳元の言語を判断させることを指示するボタン２２６、及び翻訳先の言語を指示するボタン２２８が表示される。

　ユーザーインターフェース２００には、テキスト表示エリア２３０が表示される。ユーザーインターフェース２００には、行間を指示するボタン２３２、原文比フォントサイズを指示するボタン２３４、確定ボタン２３６、及びページの編集をクリアにさせることを指示するボタン２３８が表示される。なお、ボタン２３４において、例えば、０.８が指示されると、出力文書のフォントとして、原文（元の本の画像）のフォントの０．８のフォントが指示される、
　ユーザーインターフェース２００には、現在表示しているページ（例えば、「３／７」）を示すページ表示エリア２４２、翻訳する対象を前ページ（例えば、「２／７」）に移行させることを指示するボタン２４４、及び翻訳する対象を後ページ（例えば、「４／７」）に移行させることを指示するボタン２４６が表示される。現在表示しているページとして「３／７」が表示されることは、ＰＤＦには７ページの画像が存在し、その中の３ページが表示されていることを意味する。

　ユーザーインターフェース２００には、元資料（翻訳前の当初のＰＤＦのスキャン画像）の一部を回転補正することを指示するボタンを表示するエリア２４０が表示される。エリア２４０には、表示されているページの中の回転補正する範囲を選択することを指示するボタン２５２、元の縮尺を維持して回転させることを指示するボタン２５４、及び選択した範囲に収まるサイズに縮尺して回転させることを指示するボタン２５６がある。エリア２４０には、左に１°回転させることを指示するボタン２５８、左に９０°回線させることを指示するボタン２６０、右に１°回転させることを指示するボタン２６２、右に９０°回転させることを指示するボタン２６４、キャンセルを指示するボタン２６６、及び編集完了を設定するボタン２６８がある。

　例えば、当該ＰＤＦは、７ページのスキャン画像があり、ボタン２４４又はボタン２４６が操作され、当該ＰＤＦの３ページ目が選択されると、スキャン画像表示エリア２０２には、当該ＰＤＦの３ページ目のスキャン画像３００が表示される。

　ユーザは、ユーザーインターフェース２００の上記ボタンを選択して、設定をする。例えば、ユーザは、当該ＰＤＦの３ページ目のスキャン画像３００について、一部を回転補正することを希望する場合には、エリア２４０のボタン２５２を操作する。ユーザは、スキャン画像３００について、テキストの取り出しを希望する場合には、ボタン２０６を操作する。ユーザは、スキャン画像３００の中の画像の取り出しを希望する場合には、ボタン２０８を操作する。その他、ボタンを用いて、所望の設定を行う。

　ステップ５６で、受け付け部２９は、ユーザーインターフェース２００の設定を受け付ける。

　ステップ５８で、判断部２５は、スキャン画像の回転補正モードが選択されたか否かを判断する。即ち、判断部２５は、ボタン２５２が操作されたか否かを判断する。ボタン２５２が操作されたと判断された場合、被翻訳データ作成処理はステップ６０に進む。ボタン２５２が操作されたと判断されなかった場合、被翻訳データ作成処理はステップ７２に進む。

　ユーザは、スキャン画像３００を見て傾いていると判断すると、その傾きを補正するため、スキャン画像の回転補正モードを選択（ボタン２５２を操作）する。スキャン画像が傾いていると、テキスト抽出処理１６の抽出結果が悪いからである。

　ユーザは、ボタン２５２を操作した後、回転補正する範囲を、マウス４０で選択する。ユーザは、その範囲の画像を左に回転させることを希望する場合、ボタン２５８を操作する。なお、ボタン２５４が操作されると、上記範囲の画像が元の縮尺を維持して回転させることが指示され、ボタン２５６が操作されると、上記範囲の画像が、選択した範囲に収まるサイズに縮尺して回転させることが指示される。

　ステップ６０で、受け付け部２９は、回転補正の設定を受け付ける。上記のように、ボタン２５８等の操作による設定を受け付ける。

　ステップ６２で、表示制御部２３は、スキャン画像を、設定に従って、回転する。

　スキャン画像が９０°右向きであった場合、ユーザは、ボタン２６０を操作し、その設定が受け付けられ（ステップ６０）、上記範囲の画像が９０°左に回転する（ステップ６２）。

　以上とは逆に、ユーザは、その範囲の画像を右に回転させることを希望する場合、ボタン２６２又はボタン２６４を操作し、その設定が受け付けられ（ステップ６０）、上記範囲の画像が、これに応じて右に回転する（ステップ６２）。

　ステップ６４で、判断部２５は、ボタン２６８が操作されることにより、編集完了が設定されたか否かを判断する。

　ボタン２６６が操作されると、ステップ６４が否定判定となり、この設定が受け付けられ（ステップ６０）、上記範囲の画像が元の状態で表示される（ステップ６２）。

　ボタン２５８～２６４が操作される毎に、ステップ６４が否定判定となり、その設定が受け付けられ（ステップ６０）、上記範囲の画像が、これに応じて回転する（ステップ６２）。

　一方、上記範囲の画像の傾きが現在の傾きでよいと判断したユーザは、ボタン２６８を操作する。これにより、ステップ６４が肯定判定となり、被翻訳データ作成処理はステップ６６に進む。

　ステップ６６で、送信処理部３１は、現在のページの回転処理後のスキャン画像をテキスト抽出装置１６へ送信し、ステップ６８で、判断部２５は、テキストと座標のデータを受信したか否かを判断する。テキスト抽出装置１６は、現在のページの回転処理後のスキャン画像からテキストを抽出し、当該ページのテキスト、テキストの言語、及びテキストの位置（座標）のデータを被翻訳データ作成装置１０に送信し、被翻訳データ作成装置１０はこれらのデータを受信する（ステップ６８が肯定判定となる）。これにより、回転補正前の元のスキャン画像からのテキスト抽出よりは、抽出結果がよくなる場合がある。

　ステップ７０で、記憶処理部３３は、テキスト、テキスト言語、座標のデータをフォルダ４２Ｆ１２（図２Ｂ、図２Ｄ参照）に記憶する。

　ステップ７０の処理後、被翻訳データ作成処理は、ステップ８６に進む。ステップ８６で、判断部２５は、ＰＤＦを出力するか否かを判断する。

　スキャン画像の回転補正モードの上記処理が終了すると、ユーザは、ボタン２０６又はボタン２０８を操作する場合がある。ボタン２０６又はボタン２０８が操作されると、ステップ８６が否定判定となり、被翻訳データ作成処理はステップ５６に戻り、ユーザーインターフェースの設定（ボタン２０６又はボタン２０８の操作）が受け付けられ、ステップ５８が否定判定となる。

　ステップ５８が否定判定となると、被翻訳データ作成処理はステップ７２に進む。

　ステップ７２で、判断部２５は、画像取り出しモードが選択されたか否かを判断する。ボタン２０８が操作されると、ステップ７２が肯定判定となり、被翻訳データ作成処理はステップ７４に進む。ボタン２０６が操作されると、ステップ７２が否定判定となり、被翻訳データ作成処理はステップ８２に進む。

　ステップ７４で、受け付け部２９は、取り出す範囲の設定を受け付ける。ユーザは、ボタン２０８を操作することにより画像取り出しモードを選択すると、図６に示すように、取り出す画像の範囲３０４Ｇを、左上と右下の各位置をマウス４０により、設定する。ステップ７４でこの設定が受け付けられ、ステップ７６で、取得部２７は、スキャン画像３００から設定された範囲３０４Ｇの画像を取り出し、ステップ７８で、表示制御部２３は、出力文書表示エリア３０２に、範囲３０４Ｇの画像３１０Ｇを配置する。

　ステップ８０で、記憶処理部３３は、プロジェクトファイルのフォルダ４２Ｆ１５（図２Ｇ参照）に画像３１０Ｇを記憶する。ステップ８０の処理の後、被翻訳データ作成処理はステップ８６に進む。

　ボタン２０６が操作されると、ステップ８６が否定判定となり、被翻訳データ作成処理はステップ５６に戻り、ユーザーインターフェースの設定（ボタン２０６の操作）が受け付けられ、ステップ５８、７２が否定判定となり、ステップ８２で、判断部２５は、テキスト取り出しモードが選択されたか否かを判断し、ステップ８２が肯定判定となる。ステップ８２が肯定判定となると、被翻訳データ作成処理はステップ８４に進む。ステップ８２が否定判定となると、被翻訳データ作成処理はステップ８６に進む。

　ステップ８４で、テキスト取り出し処理部３５は、テキスト取り出し処理を実行する。

　図３Ｃには、図３Ｂのステップ８４のテキスト取り出し処理プログラムのフローチャートが示されている。

　ステップ１０２で、テキスト取り出し処理部３５は、ブロックが指定されたか否かを判断する。ステップ１０２が否定判定の場合、ステップ１０２が肯定判定となるまで、ステップ１０２の判断が実行される。ユーザは、ボタン２０６を操作すると、図７に示すように、翻訳のためのテキストを取り出す範囲であるブロック３０４をマウス４０で左上と右下の各位置を設定する。
これにより、ステップ１０２が肯定判定となり、ステップ１０４で、テキスト取り出し処理部３５は、ブロック３０４の指定（左上と右下の各位置の設定）を受け付ける。

　ところで、図７に示すように、当該ＰＤＦの当該ページのスキャン画像３００には、文章の部分が２列に配置されている。左側の列の文と右側の列の文とは、上部からの位置が同じであっても、異なる文であり同じ文を構成しない。よって、上部からの位置が同じである左側の列の文と右側の列の文とを同じ文として翻訳用のテキストとして翻訳してしまうと、翻訳結果は原文に対応しない。そこで、ユーザは、同じ列においてブロック３０４を設定する。ブロック３０４は、文章の部分について列内において、まとめて翻訳する対象となる翻訳対象部分である。ユーザは、ブロック３０４を設定することにより、文章の部分について列内において、まとめて翻訳する対象となる翻訳対象部分を設定する。

　ステップ１０６で、テキスト取り出し処理部３５は、ブロック３０４内のテキストを読み出す。上記のように、各ページのフォルダ４２Ｆ１２には、テキスト、テキスト言語、座標のデータが記憶されている。そこで、ステップ１０６で、テキスト取り出し処理部３５は、当該ページにおいて指定されたブロック３０４に存在するテキストを、フォルダ４２Ｆ１２から読み出す。ステップ１０６で、テキスト取り出し処理部３５は、ブロック３０４に存在するテキストの位置をフォルダ４２F１４（図２Ｆ）に記憶する。

　ステップ１０８で、テキスト取り出し処理部３５は、図８に示すように、フォルダ４２Ｆ１２（図２Ｄ参照）に記憶されているテキストの座標の位置のデータに基づいて、ブロック３０４内のテキストの各単語の周囲に枠３０６を表示する。図８には、「Ｓｃｉｅｎｔｉｆｉｃ」のみ拡大して表示しているが、実際は拡大されるわけではない。これは、理解を容易にするため、特に拡大して表示している。なお、ブロック３０４内の単語の周囲に枠３０６を表示することに限定されず、単語に下線を引いてもよい。

　ステップ１０８の処理後、被翻訳データ作成処理はステップ１１０に進む。ブロック３０４が、スキャン画像３００の中の文章の段落に対応する場合、段落の上側と下側とがブロック内の範囲になるように、設定される。しかし、例えば、図９に示すように、ブロック３０４が、段落の下側を超え、更に次の段落の上側も超えて、設定される場合がある。このようにブロック３０４が、段落の下側を超え、更に次の段落の上側も超えて、設定されると、翻訳の対象となるテキストに、次の段落の文の途中までの単語が含まれ、翻訳結果が、原文の意味に沿わなくなる。そこで、テキスト取り出し処理部３５は、ブロック３０４が設定されると、図９に示すように、ブロックの再設定を問うメッセージ２０５を表示するようにしてもよい。メッセージ２０５は、例えば、「再指定しますか？」等である。ユーザは、翻訳対象部分として設定された部分が正しいか否かを確認することができる。なお、ユーザは、ブロックを再設定する場合には、再度、左上と右下の各位置を再度指定する。

　ステップ１１０で、テキスト取り出し処理部３５は、ボタン２２２が操作されてか否かを判断することにより、そのまま翻訳モードが選択されているか否かを判断する。ボタン２２２が操作された場合には、ステップ１１０が肯定定判定となり、被翻訳データ作成処理はステップ１１２に進む。

　ボタン２２４が操作された場合には、ステップ１１０が否定判定となり、被翻訳データ作成処理はステップ１１４に進む。ボタン２２４は、ユーザが、テキスト選択後に、テキストを編集してから翻訳させることを希望する場合に操作されるボタンであり、ボタン２２４が操作されると、ユーザが編集できるように、ステップ１１４で、テキスト取り出し処理部３５は、図８に示すように、テキスト表示エリア２３０にブロック３０４内のテキスト３０８を表示する。

　ステップ１１６で、テキスト取り出し処理部３５は、確定ボタン２３６がオンされたか否かを判断する。テキスト表示エリア２３０に表示されたテキストを編集する場合には、ユーザは、マウス４０で編集対象を指定し、キーボード３８を用いて、編集する。マウス４０又はキーボード３８からの入力があった場合には、確定ボタン２３６がオンされたと判断できず、ステップ１１６は否定判定となり、ステップ１１８で、テキスト取り出し処理部３５は、編集を受け付け、被翻訳データ作成処理はステップ１１６に戻る。編集が続くと、マウス４０又はキーボード３８からの入力があり、ステップ１１６は否定判定となり、ステップ１１８で、テキスト取り出し処理部３５は、編集を受け付ける。ステップ１１８では、テキスト取り出し処理部３５は、編集されたテキストの位置をフォルダ４２F１４に記憶する。

　ユーザは、編集が終わると、確定ボタン２３６をオンする。これにより、ステップ１１６が肯定判定となり、被翻訳データ作成処理はステップ１１２に進む。

　ステップ１１２で、テキスト取り出し処理部３５は、ブロック３０４の内のテキストを、ボタン２２８により指示された翻訳先の言語を示すデータと共に、指定された翻訳装置１８に送信する。ボタン２１６が操作されていれば、Ｄｅｅｐｌ翻訳サービスを提供する翻訳装置に、ボタン２１８が操作されていれば、Ｇｏｏｇｌｅ翻訳サービスを提供する翻訳装置に、ブロック３０４の内のテキストを送信する。

　ステップ１２０で、テキスト取り出し処理部３５は、翻訳データを受信したか否かを判断する。ステップ１２０の判断処理は、肯定判定となるまで、繰り返される。ブロック３０４の内のテキストを受信した翻訳装置１８は、指示された言語にテキストを翻訳し、翻訳データを、被翻訳データ作成装置１０に送信する。被翻訳データ作成装置１０は、翻訳データを受信し、ステップ１２０が肯定判定となる。

　ステップ１２２で、テキスト取り出し処理部３５は、図８に示すように、翻訳データを、出力文書表示エリア３０２の、元のＰＤＦのページの画像３０６におけるブロック３０４の位置に対応する位置に表示する。

　ステップ１２４で、テキスト取り出し処理部３５は、プロジェクトファイルのフォルダ４２Ｈ（図２Ｉ参照）に、翻訳データ、即ち、テキスト毎に、テキスト、言語（翻訳後）、回転角度、フォントサイズ、ページ、開始位置、ステータス、行間隔、及びフォントサイズ補正値を記憶する。

　ステップ１２４の処理が終了すると、図３Ｂのステップ８４の処理が終了し、被翻訳データ作成処理はステップ８６に進む。

　ステップ８６で、判断部２５は、ＰＤＦを出力するか否かを判断する。ディスプレイに示されている処理画面には、ユーザーインターフェース２００の他に、各種指示をするための図示しない指示ボタンがあり、指示ボタンにはＰＤＦの出力を指示する指示ボタンがある。当該ＰＤＦの出力を指示する指示ボタンが操作されなければ、ステップ８６は否定判定となり、被翻訳データ作成処理はステップ５６に戻る。

　例えば、ボタン２４４又はボタン２４６が操作されると、ステップ８６が否定判定となり、ステップ５６で、翻訳する対象を前ページ又は後ページに移行させることの設定が受け付けられ、スキャン画像表示エリア２０２に、前ページ又は後ページが表示され、スキャン画像の回転補正モード、画像取り出しモード、又はテキスト取り出しモードが選択され、以上の処理が実行される。

　ボタン２４４又はボタン２４６等が操作されず、上記ＰＤＦの出力を指示する指示ボタンが操作されると、ステップ８６は肯定判定となり、被翻訳データ作成処理はステップ８８に進む。

　ステップ８８で、出力処理部３７は、出力文書表示エリア３０２の画像をＰＤＦで出力する。当該ＰＤＦがディスプレイ３２に表示される。出力文書表示エリア３０２の画像のみではなく当該翻訳対象のＰＤＦにおいて翻訳が終了したページを全て又は選択的にＰＤＦで出力してもよい。なお、印刷装置を備え、出力文書表示エリア３０２の画像を印刷装置により印刷するようにしてもよい。ステップ８８の処理が終了すると、被翻訳データ作成処理プログラム４２Ｐの実行が終了する。

　以上説明したように本実施の形態では、文章の部分が２列に配置されているスキャン画像３００において、同じ列（左側の列または右側の列）においてブロック３０４を設定しているので、上部からの位置が同じである左側の列の文と右側の列の文とを同じ文として翻訳用のテキストとして翻訳することを防止し、翻訳結果が原文に対応するように、被翻訳データを作成することができる。よって、翻訳結果を原文に対応させることができる。ブロック３０４を設定するので、スキャン画像において翻訳対象部分を容易に設定することができる。

　また、本実施の形態では、翻訳のためのテキストを取り出す範囲であるブロック３０４をマウス４０で設定するので、翻訳対象部分を任意に設定することができる。

　更に、本実施の形態では、ブロック３０４内のテキストの各単語の周囲に枠３０６又は下線を表示するので、ユーザは、翻訳対象部分におけるテキストの部分を理解することができる。

　本実施の形態では、ブロック３０４の内のテキストの送信先の翻訳装置１８から、翻訳データを受信するので、被翻訳データの翻訳結果を取得することができる。

　また、本実施の形態では、出力文書表示エリア３０２の画像をＰＤＦで出力（表示または印刷）するので、翻訳結果をユーザに理解させることができる。

 　次に、変形例を説明する。
（変形例１）
　ステップ１０２の処理の説明では、理解を容易にするため、ブロックが１つ指定された場合、ステップ１０２が肯定判定となるとしているが、本開示の技術はこれに限定されず、ブロックを複数連続して指定した場合に、ステップ１０２が肯定判定となるようにしてもよい。

　図１０には、スキャン画像３００においてブロックを複数、例えば、２つ連続して指定する様子が示されている。ユーザは、キーボード３８の所定のキーを操作した状態で、マウス４０で、ブロックを連続して複数指定することができる。図１０に示す例では、ユーザは、キーボード３８の所定のキーを操作した状態で、マウス４０で、ブロック３０４Ａとブロック３０４Ｂとを連続して複数指定する。この場合、ブロック３０４Ａ及びブロック３０４Ｂの各々のテキストが読み出され（ステップ１０６）、各単語の周囲に枠が表示される（ステップ１０８）。ボタン２２４が操作されていると、ブロック３０４Ａ及びブロック３０４Ｂの各々のテキストがテキスト表示エリア２３０に表示される（ステップ１１４）。ブロック３０４Ａ及びブロック３０４Ｂの各々のテキストが翻訳される。各翻訳データが、出力文書表示エリア３０２の、元のＰＤＦのページの画像３００におけるブロック３０４Ａ及びブロック３０４Ｂの各々に対応する範囲３１０Ａ、３１０Ｂに表示される（ステップ１２２）。

　ところで、図１０に示すように、ブロック３０４Ａには画像が存在するが、翻訳データが範囲３１０Ａに表示されても、ブロック３０４Ａに存在する画像は、範囲３１０Ａに表示されない。そこで、ユーザは、図１１に示すように、ボタン２０８を指定して、画像取り出しモードを設定し、取り出す画像の範囲３０４Ｇを設定する。これにより、出力文書表示エリア３０２に、範囲３０４Ｇの画像３１０Ｇが配置される（ステップ７８）。

　更に、ブロックを連続して複数指定する対象は１つのスキャン画像に限定されず、ボタン２４６を用いて現在のページに続いて後の少なくとも１ページについて連続してブロックを指定してもよい。よって、複数のスキャン画像に亘ってブロックを設定することができる。

　変形例１では、図１０に示すように、ブロック３０４Ａに画像が存在する場合、取り出す画像の範囲３０４Ｇを設定することにより、出力文書表示エリア３０２に、範囲３０４Ｇの画像３１０Ｇが配置される。よって、翻訳対象部分にあるテキスト以外の部分の画像（選択された部分の画像）と翻訳結果とを合成することができる。
（変形例２）
　以上説明したように本実施の形態では、文章の部分が２列に配置されているスキャン画像３００にはおいて、同じ列（左側の列または右側の列）においてブロック３０４を設定している。本開示の技術はこれに限定されない。ブロックに代えて、左側の列と右側の列との境界を設定するようにしてもよい。

　図１２には、左側の列と右側の列との境界、具体的には、見開き画像（スキャン画像）の左ページと右ページとの境界を指定する場合のテキスト取り出し処理プログラムのフローチャートが示されている。

　ステップ３５２で、テキスト取り出し処理部３５は、フラグＦに０がセットされていないか、即ち、Ｆ＝０か否かを判断する。フラグＦは当該ＰＤＦのページについて、上記境界が設定されているか否かを判断するためのフラグである。Ｆ＝０の場合には、テキスト取り出し処理はステップ３５４に進む。

　ステップ３５４で、テキスト取り出し処理部３５は、本の見開きの画像の左ページと右ページとの境界が指定されたか否かを判断する。

　変形例２では、上記のように、ブロックの指定に代えて、図１３に示すように、ユーザは、マウス４０で、スキャン画像３００（見開き画像）において、左ページと右ページとの境界の上端の点５０２と下端の点５０４とを指定することにより、点５０２と点５０４との線分である境界５０６を指定する。

　ステップ３５６で、テキスト取り出し処理部３５は、境界５０６の指定を受け付け、ステップ３５８で、テキスト取り出し処理部３５は、フラグＦに１をセットする。

　ステップ３６０で、テキスト取り出し処理部３５は、境界５０６で定まる左ページの上から下と右ページの上から下の順で１ブロックの範囲として設定する。これにより、文章の部分について列内において、まとめて翻訳する対象となる翻訳対象部分が設定される。

　ステップ３６０の処理後、テキスト取り出し処理は、図３Ｃのステップ１０６以降の処理を実行する。上記のように境界５０６で定まる左ページの上から下と右ページの上から下の順で１ブロックの範囲として設定されるので、当該ページのスキャン画像のテキストが、左ページの上から下と右ページの上から下の順で読み出され（ステップ１０６）、当該ページ全体におけるテキストの各単語の周囲に枠が表示される（ステップ１０８）。ボタン２２４が操作されていると、図１３に示すように、当該ページ全体におけるテキスト３０８がテキスト表示エリア２３０に表示される（ステップ１１４）。なお、当該ページ全体におけるテキストの全てがテキスト表示エリア２３０に表示できない場合、スライダ２３０Ｂが出現し、スライダ２３０Ｂが上下に移動させることにより、テキスト表示エリア２３０に表示されていないテキストが表示される。当該ページ全体におけるテキストが翻訳され、翻訳データが、出力文書表示エリア３０２に、元のＰＤＦのページの画像３００における左ページ及び右ページに対応する範囲に表示される（ステップ１２２）。

　ところで、上記のように、ボタン２４４又はボタン２４６が操作され、ステップ８６が否定判定となり、翻訳する対象が前ページ又は後ページに移行し、前ページ又は後ページにおいてテキスト取り出しモードが選択されると、上記のように、フラグＦに１がセットされているので、ステップ３５２が否定判定となり、テキスト取り出し処理はステップ３６０に進み、上記処理が前ページ又は後ページのテキストについて実行される。

　なお、変形例２では、当該ページに画像が存在する場合、当該画像は、画像取り出しモードの処理により、出力文書表示エリア３０２に、元のＰＤＦのページの画像３００における範囲に対応する範囲に表示される（ステップ７８）。

　変形例２では、左ページと右ページとの境界の上端の点５０２と下端の点５０４とを指定することにより、点５０２と点５０４との線分である境界５０６を指定するので、スキャン画像において翻訳対象部分を容易に設定することができる。

　変形例２では、図１３に示すように、ユーザは、マウス４０で、スキャン画像３００（見開き画像）において、左ページと右ページとの境界の上端の点５０２と下端の点５０４とを指定することにより、点５０２と点５０４との線分である境界５０６を指定する。本開示の技術はこれに限定されない。例えば、図１４に示すように、スキャン画像３００において、左ページの画像の範囲５１０と右ページの画像の範囲５１２とを指定するようにしてもよい。
（変形例３）
　変形例３におけるユーザーインターフェース２００には、図１５に示すように、見た目重視モード選択ボタン２７０と原文重視モード選択ボタン２８０とが更に表示される。

　見た目重視モード選択ボタン２７０は、出力文書表示エリア３０２に表示する翻訳データを、ブロックが異なっても、文字間隔、行間隔、及びフォントサイズが各ブロックで同じように表示することを指示するボタンである。

　原文重視モード選択ボタン２８０は、翻訳データを、各ブロックについて、表示開始位置を原文の位置に対応して、出力文書表示エリア３０２に表示することを指示するボタンである。

　図１６には、見た目重視モード選択ボタン２７０が操作された場合の、出力文書表示エリア３０２の表示内容が示されている。図１６に示すように見た目重視モードの場合、翻訳データを、ブロックが異なっても、文字間隔、行間隔、及びフォントサイズが各ブロックで同じように表示される。複数の異なる領域に設定された翻訳対象部分の翻訳結果の各々をユーザに違和感なく理解させることができる。なお、各ブロックの翻訳データは、原文の位置に対応しなくなる場合がある。

　図１７には、原文重視モード選択ボタン２８０が操作された場合の、出力文書表示エリア３０２の表示内容が示されている。図１７に示すように、翻訳データは、各ブロックについて表示開始位置を原文の位置に対応して表示されるので、原文の位置に対応する。翻訳結果を、ユーザにスキャン画像に対応するように理解させることができる。但し、例えば、翻訳データの文字数が、原文のテキストの文字数よりも多くなる場合、原文重視モード選択ボタン２８０が操作される場合、翻訳データを出力文書表示エリア３０２に表示する場合、他のブロックの翻訳データと重なる場合もある。そこで、文字間隔を指定するエリア２８２、行間隔を指定するエリア２８４、及びフォントサイズを指示するエリア２８６がある。よって、エリア２８２～２８６に指定された値に応じて、文字間隔、行間隔、及びフォントサイズが調整される。これにより、翻訳データの表示位置を、他のブロックの翻訳データと重ならないように調整することができる。
（変形例４）
　変形例４におけるユーザーインターフェース２００には、図１８に示すように、ヘッダ取り込みボタン２０８Ｈとフッダ取り込みボタン２０８Ｆとが更に表示される。

　図１８に示すように、各ページのスキャン画像３００に、ヘッダの部分３０２Ｈと、フッダの部分３０２Ｆとがある場合がある。変形例４では、ヘッダの部分３０２Ｈと、フッダの部分３０２Ｆとを、画像として取り込む、ヘッダ取り込みモードとフッダ取り込みモードとが存在する。即ち、変形例４では、図３Ｂに示す被翻訳データ作成処理プログラム４２Ｐに、更に、画像取り込みモードの処理（ステップ７２～７８）と同様のヘッダ取り込みモードの処理とフッダ取り込みモードの処理とが存在する。

　ユーザは、ヘッダの部分３０２Ｈを取り込むため、ヘッダ取り込みボタン２０８Ｈを操作し、ヘッダの部分３０２Ｈを、左上と右下の各位置を指定することにより、設定する。受け付け部２９は、当該設定を受け付ける。取得部２７は、スキャン画像３００から、ヘッダの部分３０２Ｈの画像を取り出し、表示制御部２３は、出力文書表示エリア３０２に、ヘッダの部分３０２Ｈの画像４０２Ｈを配置する。

　ユーザは、フッダの部分３０２Ｆを取り込むため、フッダ取り込みボタン２０８Ｆを操作し、フッダの部分３０２Ｆを、左上と右下の各位置を指定することにより、設定する。受け付け部２９は、当該設定を受け付ける。取得部２７は、スキャン画像３００から、フッダの部分３０２Ｆの画像を取り出し、表示制御部２３は、出力文書表示エリア３０２に、フッダの部分３０２Ｆの画像４０２Ｆを配置する。

　ＰＤＦの最初のページのスキャン画像についてヘッダの部分３０２Ｈ又はフッダの部分３０２Ｆの画像の取り出しを行うと、当該ＰＤＦの他のページについても、最初のページでの設定と同じ部分の画像をヘッダの部分の画像又はフッダの部分の画像として取り込む。
（変形例５）
　上記実施の形態では、ボタン２２４が操作されている場合には、ユーザが編集できるように、ブロック３０４内のテキスト３０８がテキスト表示エリア２３０（図８参照）に表示され、翻訳データが、出力文書表示エリア３０２に配置される。

　これに対し、変形例５では、翻訳データを受信した場合（ステップ１２０が肯定判定）、図１９に示すように、テキスト表示エリア２３０が、テキストが表示される第１のエリア３０８Ａと、テキストの翻訳が表示される第２のエリア３０８Ｂと、が存在するように、変更される。よって、第１のエリア３０８Ａの原文の単語（例えば、「light」）の翻訳（例えば、「光の」）を第２のエリア３０８Ｂにおいて確認し、その翻訳が正しい翻訳でないと判断したユーザは、第２のエリア３０８Ｂ中の翻訳（「光の」）を、正しい翻訳（「軽い」）に訂正する編集を行うことができる。その結果の翻訳（「軽い」）３０８Ｒが、出力文書表示エリア３０２の翻訳３１０に反映される。被翻訳データ作成装置１０は、このような訂正が行われた原文の単語を記憶しておく。そして、図２０に示すように、ブロック３０４Ａ、３０４Ｂ内のテキストをテキスト表示エリア２３０に表示する場合、表示するテキスト３０８ＡＢに、訂正が行われた原文の単語が存在すれば、当該単語を強調表示する。例えば、枠３０８Ｗを付加する。これにより、枠３０８Ｗが付された単語が正しく翻訳されたのか注意すべきことをユーザに喚起することができる。
（更なる変形例）
　上記実施の形態では、スキャン画像３００は、書籍の見開き面の画像であり、見開きの左ページの画像と右ページの画像とを有する。本開示の技術はこれに限定されない。図２１には、上部に文章の部分が１列に配置された部分が位置し、下部に文章の部分が２列に配置された部分（２列に段組みされた部分）が位置する画像でもよい。この画像において、図２１に示すように、左ページの画像についてブロック３０４が指定されると、図２２に示すように、テキスト表示エリア２３０に、ブロック３０４のテキスト３０８が表示され、出力文書２０４に、テキスト３０８の翻訳３１０が表示される。

　更に、図２３に示すように、上部と下部とに文章の部分が２列に配置された部分（２列に段組みされた部分）が位置し、中間部に上部に文章の部分が１列に配置された部分が位置する画像でもよい。
［第２の実施の形態］
　第２の実施の形態を説明する。第２の実施の形態の構成は、第１の実施の構成と同様であるので、その説明を省力し、以下、第２の実施の形態の作用を説明する。

　第２の実施の形態は、書籍の全ての見開き面のスキャン画像に基づいて、被翻訳データを自動的に作成するものである。よって、前提として、まず、スキャナ１４が、書籍の全ての見開き面の各々を走査（スキャン）することにより画像データを生成し、生成した各見開き面の画像データをＰＤＦに変換し、当該ＰＤＦを被翻訳データ作成装置１０に送信している。

　第２の実施の形態のＣＰＵ２２の機能部には、図３Ａに示す例の内容の他に、「合成部」を更に備える。ＣＰＵ２２は、本開示の技術の「合成部」の一例である。

　図２４Ａには、ＣＰＵ２２が実行する自動モードの被翻訳データ作成処理プログラム４２Ｐのフローチャートが示されている。

　ステップ４０２で、取得部２７は、スキャン画像（ＰＤＦの全てのページのスキャン画像）を取り込む。なお、ステップ４０２では、プロジェクトファイルが作成される（ステップ４８（図３Ｂ参照））。

　ステップ４０４で、受け付け部２９は、ＰＤＦのページを識別する変数ｐに０をセットし、ステップ４０６で、受け付け部２９は、変数ｐを１インクリメントし、ステップ４０８で、判断部２５は、変数ｐは１か否かを判断する。ステップ４０８が肯定判定の場合、被翻訳データ作成処理は、ステップ４１０に進み、ステップ４０８が否定判定の場合、被翻訳データ作成処理は、ステップ４１２に進む。

　ステップ４１０で、受け付け部２９は、ｐ（＝１）ページのスキャン画像における元の見開き画像の左右の境界の指定を受け付ける。これは、変形例２（図１２、図１３参照）と同様である。なお、図１４に示す方法でもよい。当該境界の指定により、文章の部分について列内において、まとめて翻訳する対象となる翻訳対象部分が設定される。

　ステップ４１２で、送信処理部３１は、ｐページのスキャン画像の境界５０６（図１３参照）で定まる左側のスキャン画像と右側のスキャン画像とをテキスト抽出装置１６に送信する。ステップ４１４で、判断部２５は、テキストと座標のデータを受信したか否かを判断する。テキスト抽出装置１６からテキストと座標のデータが受信された場合、ステップ４１４が肯定判定となり、被翻訳データ作成処理はステップ４１６に進む。

　ステップ４１６で、記憶処理部３３は、テキスト及び座標のデータを、変数ｐで定まるページのフォルダ４２Ｆ１２（図２Ｂ参照）に記憶し、ｐページのスキャン画像のテキスト以外の残りの部分の残り画像を、変数ｐで定まるページのフォルダ（変数ｐ＝２の場合にはフォルダ４２Ｆ２０）に記憶する。

　ステップ４１８で、受け付け部２９は、変数ｐが最終ページの値ＰＥか否かを判断する。ステップ４１８が否定判定の場合、ＰＤＦの全てのページについてテキストが抽出されていないので、被翻訳データ作成処理は、ステップ４０６に進む。

　ステップ４１８が肯定判定の場合、ＰＤＦの全てのページについてテキストが抽出されており、被翻訳データ作成処理は、ステップ４２０に進む。ステップ４２０で、送信処理部３１は、ＰＤＦの全てのページについての全テキストを翻訳装置１８に送信する。翻訳装置１８は、例えば、上記Ｄｅｅｐｌ翻訳サービスを提供する翻訳装置である。なお、Ｇｏｏｇｌｅ翻訳サービスを提供する翻訳装置でもよく、ユーザが指定してもよい。

　ステップ４２２で、判断部２５は、翻訳データを受信したか否かを判断する。ＰＤＦの全てのページについての全テキストを受信した翻訳装置１８は、全テキストを翻訳し、その翻訳データを被翻訳データ作成装置１０に送信する。これにより、ステップ４２２が肯定判定となり、被翻訳データ作成処理は、ステップ４２４に進む。

　ステップ４２４で、合成部は、変数ｐに０を再度セットし、ステップ４２６で、合成部は、変数ｐを１インクリメントする。

　ステップ４２８で、合成部は、翻訳データを、ｐページの残り画像（フォルダ４２Ｆ２０に記憶されている、ｐページのスキャン画像のテキスト以外の残りの部分の画像）に、元の位置に対応するように合成することにより、ｐページの翻訳文書を作成する。

　ステップ４３０で、合成部は、変数ｐが最終ページの値ＰＥか否かを判断する。ステップ４３０が否定判定の場合、ＰＤＦの全てのページについて翻訳データが合成されていないので、被翻訳データ作成処理は、ステップ４２６に戻る。ステップ４３０が肯定判定の場合、ＰＤＦの全てのページについて翻訳データが合成されたので、被翻訳データ作成処理はステップ４３２に進む。ステップ４３２で、出力処理部３７は、全てのページ（ｐ＝１～ＰＥまで）の翻訳文書をＰＤＦで出力する。

　以上説明したように第２の実施の形態では、文章の部分が２列に配置されているスキャン画像において、最初に、ユーザは、ｐ（＝１）ページのスキャン画像における元の見開き画像の左右の境界を指定する。被翻訳データ作成装置１０は、当該スキャン画像の境界で定まる左側のスキャン画像と右側のスキャン画像とをテキスト抽出装置１６に送信し、テキスト等を受信し、当該テキスト等を翻訳装置１８に送信し、翻訳データを受信する。よって、上部からの位置が同じである左側の列の文と右側の列の文とを同じ文として翻訳用のテキストとして翻訳することを防止し、精度のよい翻訳を実行させるための被翻訳データを作成することができる。よって、翻訳結果を原文に対応させることができる。

　また、第２の実施の形態では、左側のスキャン画像と右側のスキャン画像とをテキスト抽出装置１６に送信するために、ユーザは、１ページのスキャン画像における元の見開き画像の左右の境界を指定するだけである。残りのページは、当該境界を基準として、左側のスキャン画像と右側のスキャン画像とをテキスト抽出装置１６に送信する。よって、書籍の全ページについての翻訳が得られる。特に、２ページ以降は自動的に翻訳が得られる。

　更に、第２の実施の形態では、合成部は、翻訳データを、各ページの残り画像に、元の位置に対応するように合成することにより、翻訳文書を作成するので、翻訳対象部分にあるテキスト以外の部分の画像と翻訳結果とを合成することができる。
［第３の実施の形態］
　第３の実施の形態を説明する。第３の実施の形態の構成は、第１の実施の構成と同様であるので、その説明を省力し、以下、第３の実施の形態の作用を説明する。第３の実施の形態の作用は、第２の実施の形態の作用と同様の部分があるので、主として異なる部分を説明する。

　第３の実施の形態のＣＰＵ２２の機能部には、図３Ａに示す例の内容の他に、「決定部」を更に備える。

　第２の実施の形態では、左側のスキャン画像と右側のスキャン画像とをテキスト抽出装置１６に送信するために、ユーザは、１ページのスキャン画像における元の見開き画像の左右の境界を指定する。

　これに対し、第３の実施の形態では、スキャン画像における元の見開き画像の左右の境界の特定も含め全自動で書籍の全ての見開き面のスキャン画像に基づいて、被翻訳データを自動的に作成するものである。

　図２４Ｂには、ＣＰＵ２２が実行する全自動モードの被翻訳データ作成処理プログラム４２Ｐのフローチャートが示されている。

　第３の実施の形態は、第２の実施の形態の同様に、前提として、スキャナ１４が、書籍の全ての見開き面の各々を走査（スキャン）することにより画像データを生成し、生成した各見開き面の画像データをＰＤＦに変換し、当該ＰＤＦを被翻訳データ作成装置１０に送信している。

　第２の実施の形態の同様に、ステップ４０２～４０６の処理が実行され、ステップ４１０Ａで、決定部は、ｐページのスキャン画像にある各々余白により囲まれた複数の部分画像の境界を決定する。当該境界の決定により、文章の部分について列内において、まとめて翻訳する対象となる翻訳対象部分が設定される。

　ここで、スキャン画像において複数の部分画像の境界を決定する方法を説明する。

　上記境界を決定する第１の方法を説明する。部分画像は、文字列が存在する領域の画像である。例えば、スキャン画像の中の２つの部分画像の境界は、スキャン画像の中央を通る上下方向の線（図１３の境界５０６参照）により、幾何学的に予め定まる。決定部は、ｐページのスキャン画像にある各々余白により囲まれた複数の部分画像の境界を、スキャン画像の大きさから幾何学的に決定する。

　上記境界を決定する第２の方法を説明する。スキャナ１４が書籍を走査（スキャン）する際に、走査する見開き面の濃度を検出する機能を有し、ＰＤＦを被翻訳データ作成装置１０に送信する際、見開き面の濃度の情報も送信するようにしてもよい。決定部は、見開き面の濃度の情報に基づいて、上記境界を決定してもよい。より具体的には、所定の濃度値を閾値として予め定めておく。決定部は、スキャン画像の見開き面の各位置を、その濃度が閾値以上に濃い場合には、黒位置と、その濃度が閾値より薄い場合には、色位置と定める（バイナリ画像の生成）。決定部は、スキャン画像を一定の面積の複数の領域に分割し、各領域（分割領域）の黒位置の数が所定値以上の領域は文字が存在する領域（文字領域）であると決定する。決定部は、スキャン画像において左端から右端までの領域毎の、スキャン画像の上端から下端までの文字領域の数（度数）のヒストグラムを作成する。決定部は、ヒストグラムから、左端から右端までの各領域について、隣の領域の度数との差を計算し、差が所定以上の領域を文字列の最初又は最後の領域（境界領域）として定める。例えば、文章の部分が２列に配置されたスキャン画像の場合には、境界領域は４個定まる。また、文章の部分が３列に配置されたスキャン画像の場合には、境界領域は６個定まる。そこで、決定部は、例えば、境界領域が４個定まった場合には、２番目の境界領域と３番目の境界領域との中央を、上記境界として決定する。また、決定部は、例えば、境界領域が６個定まった場合には、２番目の境界領域と３番目の境界領域との中央を、第１の境界として決定し、４番目の境界領域と５番目の境界領域との中央を、第２の境界として決定する。

　上記境界を決定する第３の方法を説明する。決定部は、スキャン画像にレイアウト解析処理を実施することにより、スキャン画像においてテキスト領域を抽出する。決定部は、スキャン画像において、各テキスト領域が区画されるように、境界を決定する。

　上記境界を決定する第４の方法を説明する。決定部は、人工知能（ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ））を用いて、スキャン画像の各位置の濃度の情報に基づいて、文字列が存在する領域と余白の領域とを検出し、上記境界を決定するようにしてもよい。より具体的には、スキャン画像の各位置の濃度の値と各位置がテキスト領域か否かの情報とを教師データとして学習モデルを学習しておく。決定部は、スキャン画像の各位置の濃度と上記学習モデルとから、スキャン画像において文字列が存在する領域と余白の領域とを検出し、上記境界を決定する。

　ステップ４１２で、送信処理部３１は、ｐページのスキャン画像にある、ｐページのスキャン画像を上記境界により分断して得た複数の部分画像の各々をテキスト抽出装置１６に送信する。

　その後、第２の実施の形態の同様に、ステップ４１６以降の処理が実行される。

　以上説明したように第３の実施の形態では、スキャン画像における元の見開き画像の左右の境界の特定も含め全自動で書籍の全ての見開き面のスキャン画像に基づいて、被翻訳データを自動的に作成するものである。

　第３の実施の形態も、第２の実施の形態と同様に、上部からの位置が同じである左側の列の文と右側の列の文とを同じ文として翻訳用のテキストとして翻訳することを防止し、翻訳結果が原文に対応するように、被翻訳データを作成することができる。よって、翻訳結果を原文に対応させることができる。

　特に、上記境界を決定する第３の方法では、決定部は、スキャン画像にレイアウト解析処理を実施することにより、スキャン画像においてテキスト領域を抽出し、スキャン画像において、各テキスト領域が区画されるように、境界を決定する。よって、各ページのスキャン画像に、文章の部分が２列であったり３列であったりと列数が混合していても、翻訳結果が原文に対応するように、被翻訳データを作成することができる。具体的には、１つのページのスキャン画像内において文章の部分が１列の部分と２列の部分とが混合したり（図２１～図２３参照）、同じページのスキャン画像内では同じ列数であるが（図５参照）、ページが異なると列数が異なったりする場合でも、翻訳結果が原文に対応するように、被翻訳データを作成することができる。上記のようにスキャン画像におけるテキスト領域以外の部分は残り画像として出力文書に、翻訳内容と合成される。ところで、テキスト領域以外の部分には、余白、ヘッダ、フッダ、写真、グラフ、又は漫画等が存在する。上記第３の方法では、これらが残り画像として出力文書に、翻訳内容と合成される。なお、各実施の形態及び各変形例では、スキャン画像に、写真、グラフ、又は漫画等が存在する場合、テキスト以外のコンテンツがあることを表示し、ユーザに、画像取り込みモードにより、出力文書に合成させるようにしてもよい。上記のように余白、ヘッダ、フッダ、写真、グラフ、又は漫画等を残り画像として出力文書に、翻訳内容と合成される処理は、画像取り込みモードで合成するよりも処理時間を短縮させることができる。一方、画像取り込みモードの場合であれば、必要なもののみを選択的に出力文書に合成させることができる。

　以上説明した各実施の形態及び各変形例では、英語から日本語への翻訳のための被翻訳データを作成しているが、本開示の技術はこれに限定されない。上記翻訳は、第１の言語ら、第１の言語とは異なる第２の言語への翻訳である。第１の言語は、例えば、英語、日本語、中国語、韓国語、ドイツ語、フランス語、スペイン語、アラビア語、ヘブライ語、パシュトゥー語、ペルシア語等である。第２の言語は、例えば、日本語、中国語、韓国語、ドイツ語、フランス語、スペイン語、アラビア語、ヘブライ語、パシュトゥー語、ペルシア語、英語等である。より具体的には、例えば、上記翻訳は、第１の言語を英語とすると、第２の言語としては、日本語の他、中国語、韓国語、ドイツ語、フランス語、スペイン語、アラビア語、ヘブライ語、パシュトゥー語、ペルシア語等である。また、第１の言語を日本語とすると、第２の言語としては、英語、中国語、韓国語、ドイツ語、フランス語、スペイン語、アラビア語、ヘブライ語、パシュトゥー語、ペルシア語等である。第１の言語と第２の言語とのパターンは、これらに限定されず、各言語も上記の言語に限定されない。

　本開示において、各構成要素（装置等）は、矛盾が生じない限りは、１つのみ存在しても２つ以上存在してもよい。

　以上説明した各例では、コンピュータを利用したソフトウェア構成により被翻訳データ作成処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、被翻訳データ作成処理が実行されるようにしてもよい。被翻訳データ作成処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。

　なお、上述した被翻訳データ作成処理プログラム４２Ｐは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、被翻訳データ作成処理プログラム４２Ｐは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

　以上説明した情報出力処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。

Claims (22)

1. 　文章の部分が複数の列に配置された画像と、前記画像から抽出された前記文章の各単語のテキストと、を記憶する記憶部と、
   　前記画像において、前記文章の部分について、まとめて翻訳する対象となる翻訳対象部分を設定する設定部と、
   　前記記憶部から前記設定された翻訳対象部分のテキストを読み出すことにより、前記文章の言語以外の他の言語に翻訳するための被翻訳データを作成する作成部と、
   　を備える被翻訳データ作成装置。
2. 　前記記憶部に記憶された前記画像を読み出す読み出し部と、
   　前記読み出された前記画像を表示する表示部と、
   　を備え、
   　前記設定部は、前記表示された画像において前記翻訳対象部分を設定する、請求項１に記載の被翻訳データ作成装置。
3. 　前記表示部は、前記翻訳対象部分におけるテキストの部分を強調表示する、請求項２に記載の被翻訳データ作成装置。
4. 　前記表示部は、前記翻訳対象部分を強調表示すると共に前記翻訳対象部分として設定された部分が正しいか否かを確認するメッセージを表示する、請求項２に記載の被翻訳データ作成装置。
5. 　前記設定部は、前記画像において前記翻訳対象部分をブロックとして設定する、請求項２に記載の被翻訳データ作成装置。
6. 　前記設定部は、前記画像を複数の異なる領域に分割する境界を設定することにより、前記翻訳対象部分を設定する、請求項２に記載の被翻訳データ作成装置。
7. 　前記画像は、各々文章の部分が複数の列に配置された連続する複数のページの画像を含み、
   　前記設定部は、前記複数のページの少なくとも２ページの画像に亘って前記翻訳対象部分を設定する、請求項１に記載の被翻訳データ作成装置。
8. 　前記被翻訳データの翻訳結果を取得する取得部を更に備える、請求項１に記載の被翻訳データ作成装置。
9. 　前記翻訳対象部分におけるテキスト以外の部分と、前記被翻訳データの翻訳結果と、を合成する合成部を更に備える請求項８に記載の被翻訳データ作成装置。
10. 　前記合成部は、前記翻訳対象部分におけるテキスト以外の部分の中の選択された部分と、前記被翻訳データの翻訳結果と、を合成する、請求項９に記載の被翻訳データ作成装置。
11. 　前記画像における前記翻訳対象部分として設定されなかった部分と、前記被翻訳データの翻訳結果と、を合成する合成部を更に備える請求項８に記載の被翻訳データ作成装置。
12. 　前記合成部は、前記画像における前記翻訳対象部分として設定されなかった部分の中の選択された部分と、前記被翻訳データの翻訳結果と、を合成する、請求項１１に記載の被翻訳データ作成装置。
13. 　前記翻訳結果を出力する出力部を更に備える、請求項１に記載の被翻訳データ作成装置。
14. 　前記出力部は、前記翻訳結果を、表示領域における、前記画像における前記翻訳対象部分の位置に対応する位置に、表示する、請求項１３に記載の被翻訳データ作成装置。
15. 　前記設定部は、前記画像における複数の異なる領域に前記翻訳対象部分を設定し、
    　前記出力部は、前記複数の異なる領域に設定された前記翻訳対象部分の翻訳結果の各々を、表示領域に、同一の表示態様で表示する、請求項１３に記載の被翻訳データ作成装置。
16. 　前記画像は、各々文章の部分が複数の列に配置された複数のページの画像を含み、
    　前記設定部は、前記画像における最初のページの画像について、前記翻訳対象部分を設定し、
    　前記作成部は、前記最初のページの画像について設定された翻訳対象部分のテキストを取得すると共に、前記最初のページの画像以外の他のページの画像について、前記最初のページの画像について設定された前記翻訳対象部分を、当該他のページの画像における翻訳対象部分として、前記テキストを取得することにより、前記被翻訳データを作成する、請求項１に記載の被翻訳データ作成装置。
17. 　前記画像は、各々文章の部分が複数の列に配置された複数のページの画像を含み、
    　前記設定部は、前記複数のページの画像の各々について、前記翻訳対象部分を自動的に決定する、請求項１に記載の被翻訳データ作成装置。
18. 　前記被翻訳データの翻訳結果を取得する取得部を更に備える、請求項１６又は請求項１７に記載の被翻訳データ作成装置。
19. 　前記複数のページの画像の各々毎に、前記翻訳対象部分以外の部分と、前記被翻訳データの翻訳結果と、を合成する合成部を更に備える請求項１８に記載の被翻訳データ作成装置。
20. 　前記文書の部分には、文が、途中で改行されることにより、複数の行に配置されている、請求項１に記載の被翻訳データ作成装置。
21. 　文章の部分が複数の列に配置された画像と、前記画像から抽出された前記文章の各単語のテキストと、を記憶する記憶部を備える被翻訳データ作成装置の被翻訳データ作成方法であって、
    　設定部が、前記画像において、前記文章の部分について、まとめて翻訳する対象となる翻訳対象部分を設定するステップと、
    　作成部が、前記記憶部から前記翻訳対象部分のテキストを読み出すことにより、前記文章の言語以外の他の言語に翻訳するための被翻訳データを作成するステップと、
    　を備える被翻訳データ作成方法。
22. 　文章の部分が複数の列に配置された画像と、前記画像から抽出された前記文章の各単語のテキストと、を記憶する記憶部を備える被翻訳データ作成装置に、前記文章の言語以外の他の言語に被翻訳データ作成処理を実行させる被翻訳データ作成プログラムであって、
    　前記被翻訳データ作成処理は、
    　設定部が、前記画像において、前記文章の部分について列内において、まとめて翻訳する対象となる翻訳対象部分を設定するステップと、
    　作成部が、前記記憶部から前記設翻訳対象部分のテキストを読み出すことにより、前記文章の言語以外の他の言語に翻訳するための被翻訳データを作成するステップと、
    　を備える被翻訳データ作成プログラム。

Images