JP7356332B2 - 翻訳結果表示制御システム、翻訳結果表示制御方法及びプログラム - Google Patents

Description

本開示は、翻訳結果表示制御システム、翻訳結果表示制御方法及びプログラムに関する。

特許文献１には、撮影された画像に含まれる文字列を翻訳する翻訳装置が記載されている。特許文献１に記載の翻訳装置は、連続する２つの行が結合条件を満たすと判定された場合、これら２つの行を結合して翻訳し、結合条件を満たさないと判定された場合、これら２つの行をそれぞれ翻訳する。

特開２０１５－１０６１８４号公報

例えばメニューや看板などのなかには、複数行のそれぞれに箇条書きで項目が記述されているものもあれば、複数行にわたって連続して説明が記述されているものもある。ここで、複数行のそれぞれに記述されている項目を結合して翻訳したり、複数行にわたって連続して記述されている説明を行ごとに翻訳したりすると、適切な翻訳とはならないことがある。

しかし特許文献１に記載の翻訳装置では、複数行を結合して翻訳するかそれぞれ翻訳するかが、予め定められた結合条件によって一律に決定されてしまう。

そのため、撮影された画像を見れば複数行の文字列を結合して翻訳することが望ましいとユーザが判断できるような場合でも、結合条件次第では、行ごとに翻訳されてしまうことがある。逆に、複数行の文字列を行ごとに翻訳することが望ましいとユーザが判断できるような場合に複数行が結合された文字列が翻訳されてしまうことがある。

上記実情に鑑みて、本開示では、複数行の文字列をそれぞれ翻訳した翻訳結果と複数行の文字列を結合した文字列を翻訳した翻訳結果のうちユーザが所望するいずれかを表示させることができる翻訳結果表示制御システム、翻訳結果表示制御方法及びプログラムを提案する。

上記課題を解決するために、本開示に係る翻訳結果表示制御装置は、ターゲット画像から、複数行の文字列を抽出する文字列抽出手段と、前記複数行の文字列を行ごとに翻訳した行別翻訳結果、又は、前記複数行の文字列を結合した文字列を翻訳した結合翻訳結果のいずれか一方が前記ターゲット画像に重畳された翻訳結果画像を生成する翻訳結果画像生成手段と、前記翻訳結果画像を表示させる表示制御手段と、前記翻訳結果画像が表示された後に受け付けるユーザの操作に応じて、表示されている前記翻訳結果画像に配置されている前記一方を他方に更新する更新手段と、を含む。

本開示の一態様では、前記ターゲット画像から、それぞれ複数行の文字列が示されている複数の領域を抽出するレイアウト解析手段、をさらに含み、前記文字列抽出手段は、前記複数の領域のそれぞれについて、当該領域に配置されている複数行の文字列を抽出し、前記翻訳結果画像生成手段は、前記領域に示されている文字列についての前記行別翻訳結果又は前記結合翻訳結果のいずれか一方が当該領域に重畳された前記翻訳結果画像を生成する。

この態様では、前記翻訳結果画像生成手段は、前記複数の領域のすべてについて前記一方が重畳された前記翻訳結果画像を生成し、前記更新手段は、前記操作に応じて、表示されている前記翻訳結果画像内のすべての前記領域について、当該領域に配置されている前記一方を前記他方に更新してもよい。

あるいは、前記更新手段は、表示されている前記翻訳結果画像内の前記複数の領域のうちからユーザに指定される前記領域に配置されている前記一方を前記他方に更新してもよい。

また、本開示に係る翻訳結果表示制御方法は、ターゲット画像から、複数行の文字列を抽出するステップと、前記複数行の文字列を行ごとに翻訳した行別翻訳結果、又は、前記複数行の文字列を結合した文字列を翻訳した結合翻訳結果のいずれか一方が前記ターゲット画像に重畳された翻訳結果画像を生成するステップと、前記翻訳結果画像を表示させるステップと、前記翻訳結果画像が表示された後に受け付けるユーザの操作に応じて、表示されている前記翻訳結果画像に配置されている前記一方を他方に更新するステップと、を含む。

また、本開示に係るプログラムは、ターゲット画像から、複数行の文字列を抽出する手順、前記複数行の文字列を行ごとに翻訳した行別翻訳結果、又は、前記複数行の文字列を結合した文字列を翻訳した結合翻訳結果のいずれか一方が前記ターゲット画像に重畳された翻訳結果画像を生成する手順、前記翻訳結果画像を表示させる手順、前記翻訳結果画像が表示された後に受け付けるユーザの操作に応じて、表示されている前記翻訳結果画像に配置されている前記一方を他方に更新する手順、をコンピュータに実行させる。

本開示の一実施形態に係る翻訳システムの全体構成の一例を示す図である。 本開示の一実施形態に係る翻訳端末の背面の一例を示す図である。 本開示の一実施形態に係る翻訳端末の構成の一例を示す図である。 ターゲット画像の一例を示す図である。 翻訳結果画像の一例を示す図である。 翻訳結果画像の一例を示す図である。 本開示の一実施形態に係る翻訳端末で実装される機能の一例を示す機能ブロック図である。 本開示の一実施形態に係る翻訳端末において行われる処理の流れの一例を示すフロー図である。 本開示の一実施形態に係る翻訳端末において行われる処理の流れの一例を示すフロー図である。 翻訳結果画像の一例を示す図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本開示で提案する翻訳システム１の全体構成の一例を示す図である。図２は、本開示で提案する翻訳端末１０の背面の一例を示す図である。図３は、本開示で提案する翻訳端末１０の構成の一例を示す図である。

図１に示すように、本開示で提案する翻訳システム１には、翻訳端末１０、及び、サーバ１２が含まれている。翻訳端末１０及びサーバ１２は、インターネット等のコンピュータネットワーク１４に接続されている。そのため翻訳端末１０とサーバ１２との間はインターネット等のコンピュータネットワーク１４を介して通信可能となっている。

本実施形態に係るサーバ１２は、翻訳機能を備えたサーバコンピュータ等のコンピュータシステムである。サーバ１２は、クラウドサーバであっても構わない。サーバ１２は、例えば、翻訳対象である文字列を翻訳端末１０から受信する。当該文字列には、当該文字列の言語を示す翻訳前言語データ、及び、当該文字列の翻訳結果の言語を示す翻訳後言語データが関連付けられている。そして、サーバ１２は、翻訳端末１０から受信する文字列を、当該文字列に関連付けられている翻訳後言語データが示す言語に翻訳する。そして、サーバ１２は、翻訳結果の文字列を翻訳端末１０に返信する。また、本実施形態に係るサーバ１２は、翻訳端末１０から受け付ける音声を翻訳した翻訳結果の音声を翻訳端末１０に返信することもできる。

図３に示すように、本実施形態に係る翻訳端末１０には、例えば、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、操作部１０ｄ、撮影部１０ｅ、タッチパネル１０ｆ、マイク１０ｇ、スピーカ１０ｈが含まれる。

プロセッサ１０ａは、例えば翻訳端末１０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。

通信部１０ｃは、例えばコンピュータネットワーク１４を介してサーバ１２との間でデータを授受するための通信インタフェースである。ここで通信部１０ｃに、基地局を含む携帯電話回線を経由してインターネット等のコンピュータネットワーク１４と通信を行う無線通信モジュールが含まれていてもよい。また通信部１０ｃに、Ｗｉ－Ｆｉ（登録商標）ルータ等を経由してインターネット等のコンピュータネットワーク１４と通信を行う無線ＬＡＮモジュールが含まれていてもよい。

操作部１０ｄは、例えばユーザが行った操作の内容をプロセッサ１０ａに出力するボタンやタッチセンサ等の操作部材である。

撮影部１０ｅは、例えばデジタルカメラなどの撮影デバイスである。図２に示すように、撮影部１０ｅは、本実施形態に係る翻訳端末１０の背面に設けられている。

タッチパネル１０ｆは、例えばタッチセンサと液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイとが一体となったデバイスである。タッチパネル１０ｆは、翻訳端末１０の前面に設けられており、プロセッサ１０ａが生成する画面などを表示させる。

マイク１０ｇは、例えば受け付ける音声を電気信号に変換する音声入力デバイスである。ここでマイク１０ｇが、翻訳端末１０に内蔵されている、人混みでも人の声が認識しやすいノイズキャンセリング機能を備えたデュアルマイクであってもよい。

スピーカ１０ｈは、例えば音声を出力する音声出力デバイスである。ここでスピーカ１０ｈが、翻訳端末１０に内蔵されている、騒がしい場所でも使えるダイナミックスピーカーであってもよい。

本実施形態に係る翻訳システム１では、第１の話者と第２の話者との間の双方向の会話において、第１の話者が話す音声の翻訳と第２の話者が話す音声の翻訳とを交互に行うことができる。

また、本実施形態に係る翻訳システム１では、翻訳端末１０の撮影部１０ｅによって撮影される画像から抽出される文字列の翻訳を行うことができる。

図４は、本実施形態に係る撮影部１０ｅによって撮影される画像であるターゲット画像２０の一例を示す図である。そして本実施形態では、公知のレイアウト解析技術によって、ターゲット画像２０から翻訳対象領域２２が抽出される。ここで図４に示すように、複数の翻訳対象領域２２（図４の例では、翻訳対象領域２２ａ、及び、翻訳対象領域２２ｂ）が抽出されてもよい。また、１つの翻訳対象領域２２には、複数行の文字列が示されていてもよい。

そして、複数の翻訳対象領域２２のそれぞれについて、当該翻訳対象領域２２に配置されている複数行の文字列の抽出、及び、当該文字列の言語の特定が実行される。図４の例では、翻訳対象領域２２ａから日本語の２行の文字列が抽出され、翻訳対象領域２２ｂから日本語の４行の文字列が抽出される。

そして、本実施形態では、抽出される文字列が、所定の言語設定操作によって予め設定された言語に翻訳される。ここでは例えば、抽出される文字列が英語に翻訳されることとする。なお、本実施形態に係る翻訳システム１では、デフォルトでは、抽出された複数行の文字列が行ごとに翻訳される。

そして、図５に示すように、翻訳対象領域２２から抽出される複数行の文字列の行ごとの翻訳結果を示す行別翻訳結果画像２４が当該翻訳対象領域２２に重畳された翻訳結果画像２６ａがタッチパネル１０ｆに表示される。ここで、半透明の行別翻訳結果画像２４が翻訳対象領域２２に重畳された翻訳結果画像２６ａがタッチパネル１０ｆに表示されてもよい。

図５に示す翻訳結果画像２６ａでは、翻訳対象領域２２ａから抽出される複数行の文字列の行ごとの翻訳結果を示す行別翻訳結果画像２４ａが翻訳対象領域２２ａに配置されている。また、翻訳対象領域２２ｂから抽出される複数行の文字列の行ごとの翻訳結果を示す行別翻訳結果画像２４ｂが翻訳対象領域２２ｂに配置されている。

また、翻訳結果画像２６ａには、操作画像２８ａが配置される。ここでユーザが操作画像２８ａに対するタップ操作等の所定の表示モード変更操作を行うと、図５に示す翻訳結果画像２６ａは、複数行の文字列を結合した文字列の翻訳結果を示す結合翻訳結果画像３０が配置された、図６に示す翻訳結果画像２６ｂに更新される。ここで、半透明の結合翻訳結果画像３０が翻訳対象領域２２に重畳された翻訳結果画像２６ｂがタッチパネル１０ｆに表示されてもよい。

翻訳結果画像２６ｂでは、行別翻訳結果画像２４ａが、翻訳対象領域２２ａから抽出される複数行の文字列を結合した文字列の翻訳結果を示す結合翻訳結果画像３０ａに更新されている。また、翻訳結果画像２６ｂでは、行別翻訳結果画像２４ｂが、翻訳対象領域２２ｂから抽出される複数行の文字列を結合した文字列の翻訳結果を示す結合翻訳結果画像３０ｂに更新されている。

図６に示す翻訳結果画像２６ｂには、操作画像２８ｂが配置されている。ここでユーザが操作画像２８ｂに対するタップ操作等の所定の表示モード変更操作を行うと、図６に示す翻訳結果画像２６ｂは、図５に示す翻訳結果画像２６ａに更新される。

例えばメニューや看板などのなかには、複数行のそれぞれに箇条書きで項目が記述されているものもあれば、複数行にわたって連続して説明が記述されているものもある。ここで、複数行のそれぞれに箇条書きで記述されている項目を結合して翻訳したり、複数行にわたって連続して記述されている説明を行ごとに翻訳したりすると、適切な翻訳とはならないことがある。

本実施形態では以上で説明したようにして、ユーザは、複数行の文字列をそれぞれ翻訳した翻訳結果が表示される状態と複数行の文字列を結合した文字列を翻訳した翻訳結果が表示される状態とを切り替えることができる。このようにして本実施形態によれば、複数行の文字列をそれぞれ翻訳した翻訳結果と複数行の文字列を結合した文字列を翻訳した翻訳結果のうちユーザが所望するいずれかを表示させることができることとなる。そのため、ユーザは、適切な翻訳結果を目視できることとなる。

例えば、ターゲット画像２０や翻訳結果を見ることで、ユーザが適切な翻訳結果が表示されていないと判断できることがある。例えば、ユーザは、図５の行別翻訳結果画像２４ｂを見ると、行別翻訳結果画像２４ｂに適切な翻訳結果が示されていないと判断できる。また例えば、ユーザは、図６の結合翻訳結果画像３０ａを見ると、結合翻訳結果画像３０ａに適切な翻訳結果が示されていないと判断できる。このような場合にユーザが上述の表示モード変更操作を行うことで、適切な翻訳結果が表示されるよう表示される翻訳結果画像２６を切り替えることができる。

以下、本実施形態に係る翻訳端末１０の機能及び翻訳端末１０で実行される処理についてさらに説明する。

図７は、本実施形態に係る翻訳端末１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る翻訳端末１０で、図７に示す機能のすべてが実装される必要はなく、また、図７に示す機能以外の機能が実装されていても構わない。

図７に示すように、本実施形態に係る翻訳端末１０には、機能的には例えば、表示モードデータ記憶部４０、ターゲット画像取得部４２、レイアウト解析部４４、文字列抽出部４６、文字列送信部４８、翻訳結果受信部５０、翻訳結果画像生成部５２、表示制御部５４、操作受付部５６、翻訳結果画像更新部５８、が含まれる。

表示モードデータ記憶部４０は、記憶部１０ｂを主として実装される。ターゲット画像取得部４２は、プロセッサ１０ａ及び撮影部１０ｅを主として実装される。レイアウト解析部４４、文字列抽出部４６、翻訳結果画像生成部５２は、プロセッサ１０ａを主として実装される。文字列送信部４８、翻訳結果受信部５０は、通信部１０ｃを主として実装される。表示制御部５４、翻訳結果画像更新部５８は、プロセッサ１０ａ及びタッチパネル１０ｆを主として実装される。操作受付部５６は、プロセッサ１０ａ及び操作部１０ｄを主として実装される。

以上の機能は、コンピュータである翻訳端末１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装される。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して翻訳端末１０に供給される。

表示モードデータ記憶部４０は、本実施形態では例えば、翻訳システム１における翻訳結果の表示モードを示す表示モードデータを記憶する。本実施形態では例えば、複数行の文字列をそれぞれ翻訳した翻訳結果が表示される行別表示モード、又は、複数行の文字列を結合した文字列を翻訳した翻訳結果が表示される結合表示モードのいずれかの表示モードが設定可能である。ここでは例えば、行別表示モードが設定されている際には、表示モードデータの値は０であり、結合表示モードが設定されている際には、表示モードデータの値は１であることとする。また、初期状態では、表示モードデータ記憶部４０には、値が０である表示モードデータが記憶されていることとする。

ターゲット画像取得部４２は、本実施形態では例えば、撮影部１０ｅによって撮影されるターゲット画像２０を取得する。

レイアウト解析部４４は、本実施形態では例えば、公知のレイアウト解析技術を用いることで、ターゲット画像２０から、それぞれ複数行の文字列が示されている複数の翻訳対象領域２２を抽出する。

文字列抽出部４６は、本実施形態では例えば、ＯＣＲ（Optical character recognition）技術などを用いることで、複数の翻訳対象領域２２のそれぞれについて、当該翻訳対象領域２２に配置されている複数行の文字列を抽出する。また、文字列抽出部４６は、抽出される文字列の言語を特定する。

ここで文字列抽出部４６は、表示モードデータ記憶部４０に記憶されている表示モードデータの値に応じた文字列の抽出を実行する。

例えば、表示モードが行別表示モードである際には、文字列抽出部４６は、翻訳対象領域２２に配置されている複数行の文字列を行ごとに抽出する。そして、表示モードが結合表示モードである際には、文字列抽出部４６は、翻訳対象領域２２に配置されている複数行の文字列を結合した文字列を抽出する。

文字列送信部４８は、本実施形態では例えば、抽出される文字列をサーバ１２に送信する。

翻訳結果受信部５０は、本実施形態では例えば、サーバ１２から送信される翻訳結果の文字列を受信する。

本実施形態では例えば、翻訳端末１０からサーバ１２に送信される文字列には、当該文字列の言語を示す翻訳前言語データ、及び、当該文字列の翻訳結果の言語を示す翻訳後言語データが関連付けられている。ここでは例えば、翻訳端末１０からサーバ１２に送信される文字列に、日本語を示す翻訳前言語データ、及び英語を示す翻訳後言語データが関連付けられている。そして、サーバ１２は、当該文字列の受信に応じて、受信した文字列を、当該文字列に関連付けられている翻訳後言語データに示されている言語に翻訳する。そして、サーバ１２は、翻訳端末１０から受信した文字列の翻訳結果の文字列を翻訳端末１０に送信する。

ここで、表示モードが行別表示モードである際には、例えば、文字列の送信、及び、翻訳結果の受信は、抽出された行単位で実行される。表示モードが結合表示モードである際には、例えば、文字列の送信、及び、翻訳結果の受信は、翻訳対象領域２２に配置されている複数行の文字列を結合した文字列単位で実行される。

翻訳結果画像生成部５２は、本実施形態では例えば、複数行の文字列を行ごとに翻訳した翻訳結果、又は、当該複数行の文字列を結合した文字列を翻訳した翻訳結果のいずれか一方がターゲット画像２０に重畳された翻訳結果画像２６を生成する。翻訳結果画像生成部５２は、例えば、翻訳結果受信部５０が受信する翻訳結果の文字列に基づいて、翻訳結果画像２６を生成する。以下、複数行の文字列を行ごとに翻訳した翻訳結果を行別翻訳結果と呼び、複数行の文字列を結合した文字列を翻訳した翻訳結果を結合翻訳結果と呼ぶこととする。翻訳結果画像生成部５２は、翻訳対象領域２２に示されている文字列についての行別翻訳結果又は結合翻訳結果のいずれか一方が当該翻訳対象領域２２に重畳された翻訳結果画像２６を生成してもよい。また、翻訳結果画像生成部５２は、半透明の行別翻訳結果又は半透明の結合翻訳結果のいずれか一方がターゲット画像２０に重畳された翻訳結果画像２６を生成してもよい。

表示制御部５４は、本実施形態では例えば、翻訳結果画像生成部５２が生成する翻訳結果画像２６をタッチパネル１０ｆに表示させる。

操作受付部５６は、本実施形態では例えば、ユーザによる表示モード変更操作を受け付ける。上述のように、例えば、図５に示す操作画像２８ａや図６に示す操作画像２８ｂに対するタップ操作等の所定の操作が、表示モード変更操作に相当する。

翻訳結果画像更新部５８は、本実施形態では例えば、翻訳結果画像２６が表示された後に受け付けるユーザの操作に応じて、表示されている翻訳結果画像２６を更新する。例えば、表示されている翻訳結果画像２６に行別翻訳結果が配置されている場合は、翻訳結果画像更新部５８は、表示モード変更操作の受付に応じて、当該行別翻訳結果を結合翻訳結果に更新する。また、表示されている翻訳結果画像２６に結合翻訳結果が配置されている場合は、翻訳結果画像更新部５８は、表示モード変更操作の受付に応じて、当該結合翻訳結果を行別翻訳結果に更新する。

ここで、本実施形態に係る翻訳端末１０においてターゲット画像２０が撮影された際に行われる処理の流れの一例を、図８に示すフロー図を参照しながら説明する。本処理例では、表示モードデータ記憶部４０に、値が０である表示モードデータが記憶されていることとする。

まず、ターゲット画像取得部４２が、撮影部１０ｅによって撮影されたターゲット画像２０を取得する（Ｓ１０１）。

そして、レイアウト解析部４４が、Ｓ１０１に示す処理で取得されたターゲット画像２０から、複数の翻訳対象領域２２を抽出する（Ｓ１０２）。図４に示すターゲット画像２０の例では、翻訳対象領域２２ａ、及び、翻訳対象領域２２ｂが抽出される。

そして、文字列抽出部４６が、複数の翻訳対象領域２２のそれぞれについて、当該翻訳対象領域２２に配置されている複数行の文字列を抽出し、抽出される文字列の言語を特定する（Ｓ１０３）。以下、Ｓ１０３に示す処理で抽出される文字列をターゲット文字列と呼ぶこととする。

上述のように表示モードデータ記憶部４０に値が０である表示モードデータが記憶されている場合は、文字列抽出部４６は、翻訳対象領域２２に配置されている各行の文字列にそれぞれ対応する複数のターゲット文字列を抽出する。図４の例では、翻訳対象領域２２ａから２つのターゲット文字列が抽出され、翻訳対象領域２２ｂから４つのターゲット文字列が抽出される。

そして、文字列送信部４８は、Ｓ１０３に示す処理で抽出された複数のターゲット文字列のうちから、Ｓ１０５及びＳ１０６に示す処理が実行されていないものを１つ選択する（Ｓ１０４）。

そして、文字列送信部４８は、Ｓ１０４に示す処理で選択されたターゲット文字列をサーバ１２に送信する（Ｓ１０５）。当該ターゲット文字列には翻訳前言語データ及び翻訳後言語データが関連付けられている。

そして、翻訳結果受信部５０は、Ｓ１０５に示す処理で送信されたターゲット文字列の受信に応じてサーバ１２から送信される、当該ターゲット文字列の翻訳結果の文字列を受信する（Ｓ１０６）。

そして、文字列送信部４８は、Ｓ１０３に示す処理で抽出されたすべてのターゲット文字列についてＳ１０５及びＳ１０６に示す処理が実行されたか否かを確認する（Ｓ１０７）。

すべてのターゲット文字列についてＳ１０５及びＳ１０６に示す処理が実行されていない場合は（Ｓ１０７：Ｎ）、Ｓ１０４に示す処理に戻る。

すべてのターゲット文字列についてＳ１０５及びＳ１０６に示す処理が実行された場合は（Ｓ１０７：Ｙ）、翻訳結果画像生成部５２が、Ｓ１０６に示す処理で受信した翻訳結果の文字列に基づいて、翻訳結果画像２６を生成する（Ｓ１０８）。

ここでは例えば、複数のターゲット文字列のそれぞれについて、ターゲット画像２０において当該ターゲット文字列が配置されている位置に、当該ターゲット文字列の翻訳結果の文字列が重畳された、図５に示す翻訳結果画像２６ａが生成される。

図５に示す翻訳結果画像２６ａでは、翻訳対象領域２２ａから抽出された１行目の文字列の翻訳結果が１行目に配置され、２行目の文字列の翻訳結果が２行目に配置された行別翻訳結果画像２４ａが翻訳対象領域２２ａに配置されている。また、翻訳対象領域２２ｂから抽出された１行目から４行目の文字列の翻訳結果がそれぞれ１行目から４行目に配置された行別翻訳結果画像２４ｂが翻訳対象領域２２ｂに配置されている。また、翻訳結果画像２６ａには、操作画像２８ａが配置されている。

そして、表示制御部５４が、Ｓ１０８に示す処理で生成された翻訳結果画像２６をタッチパネル１０ｆに表示させて（Ｓ１０９）、本処理例に示す処理は終了される。

次に、図５に示す翻訳結果画像２６ａがタッチパネル１０ｆに表示される際に行われる処理の流れの一例を、図９に示すフロー図を参照しながら説明する。

まず、操作受付部５６が、ユーザによる表示モード変更操作が行われることを監視する（Ｓ２０１）。

そして、ユーザによる表示モード変更操作が行われたことが検出されると、操作受付部５６は、表示モードデータ記憶部４０に記憶されている値が０である表示モードデータを値が１であるものに更新する（Ｓ２０２）。

そして、文字列抽出部４６が、複数の翻訳対象領域２２のそれぞれについて、当該翻訳対象領域２２に配置されている複数行の文字列を再抽出する（Ｓ２０３）。

上述のようにＳ２０２に示す処理で、表示モードデータ記憶部４０には値が１である表示モードデータが記憶されることとなる。この場合は、文字列抽出部４６は、翻訳対象領域２２に配置されている複数行の文字列を結合したターゲット文字列を抽出する。図４の例では、翻訳対象領域２２ａから１つのターゲット文字列が抽出され、翻訳対象領域２２ｂからも１つのターゲット文字列が抽出される。

図９におけるＳ２０４～Ｓ２０７に示す処理では、図８のＳ１０４～Ｓ１０７に示す処理と同様の処理が実行される。そのためＳ２０４～Ｓ２０７に示す処理については説明を省略する。なお、Ｓ２０４に示す処理では、翻訳対象領域２２ａから抽出された１つのターゲット文字列と、翻訳対象領域２２ｂから抽出された１つのターゲット文字列のうちから、Ｓ２０５及びＳ２０６に示す処理が実行されていないものが選択される。

すべてのターゲット文字列についてＳ２０５及びＳ２０６に示す処理が実行された場合は（Ｓ２０７：Ｙ）、翻訳結果画像更新部５８が、Ｓ２０６に示す処理で受信した翻訳結果の文字列に基づいて、新たな翻訳結果画像２６を生成する（Ｓ２０８）。

ここでは例えば、複数のターゲット文字列のそれぞれについて、ターゲット画像２０において当該ターゲット文字列が配置されている位置に、当該ターゲット文字列の翻訳結果の文字列が重畳された、図６に示す翻訳結果画像２６ｂが生成される。

図６に示す翻訳結果画像２６ｂでは、翻訳対象領域２２ａに配置されている２行の文字列を結合した文字列の翻訳結果を示す結合翻訳結果画像３０ａが翻訳対象領域２２ａに配置されている。また、翻訳対象領域２２ｂに配置されている４行の文字列を結合した文字列の翻訳結果を示す結合翻訳結果画像３０ｂが翻訳対象領域２２ｂに配置されている。また、翻訳結果画像２６ｂには、操作画像２８ｂが配置されている。

そして、表示制御部５４が、Ｓ２０８に示す処理で生成された翻訳結果画像２６をタッチパネル１０ｆに表示させて（Ｓ２０９）、本処理例に示す処理は終了される。このようにして、表示されている翻訳結果画像２６に配置されている行別翻訳結果又は結合翻訳結果の一方が他方に更新される。

図６に示す翻訳結果画像２６ｂがタッチパネル１０ｆに表示される際に表示モード変更操作を受け付けた際には、Ｓ２０１～Ｓ２０９に示す処理と同様の処理が実行される。この場合は、Ｓ２０２に示す処理で、表示モードデータ記憶部４０に記憶されている値が１である表示モードデータを値が０であるものに更新される。また、Ｓ２０３に示す処理で、翻訳対象領域２２に配置されている複数行の文字列の各行にそれぞれ対応する複数のターゲット文字列が抽出される。そして、最終的には、図５に示す翻訳結果画像２６ａがタッチパネル１０ｆに表示される。

以上の例では、翻訳結果画像生成部５２は、複数の翻訳対象領域２２のすべてについて行別翻訳結果又は結合翻訳結果の一方が重畳された翻訳結果画像２６を生成する。そして、翻訳結果画像更新部５８は、表示モード変更操作の受付に応じて、表示されている翻訳結果画像２６内のすべての翻訳対象領域２２について、当該翻訳対象領域２２に配置されている行別翻訳結果又は結合翻訳結果の一方を他方に更新する。

ここで本実施形態において、翻訳対象領域２２ごとに、行別翻訳結果が表示される状態と結合翻訳結果が表示される状態を切り替えることができても構わない。例えば、ユーザが翻訳対象領域２２に対するタップ操作等の翻訳対象領域２２を指定する操作を行えてもよい。そして、翻訳結果画像更新部５８は、当該操作の受付に応じて、表示されている翻訳結果画像２６内の複数の翻訳対象領域２２のうちからユーザに指定される翻訳対象領域２２に配置されている行別翻訳結果又は結合翻訳結果の一方を他方に更新してもよい。図１０には、翻訳対象領域２２ａに行別翻訳結果画像２４ａが配置され、翻訳対象領域２２ｂに結合翻訳結果画像３０ｂが配置された翻訳結果画像２６ｃの一例が示されている。

なお、この場合、例えば、レイアウト解析部４４が、抽出される複数の翻訳対象領域２２のそれぞれに対応付けられた表示モードデータを生成してもよい。そしてレイアウト解析部４４は、生成された表示モードデータを表示モードデータ記憶部４０に記憶させてもよい。そして、翻訳対象領域２２を指定する表示モード変更操作を受け付けた際には、操作受付部５６が、指定された翻訳対象領域２２に対応付けられた表示モードデータを更新してもよい。そして、指定された翻訳対象領域２２について、Ｓ２０３～Ｓ２０７に示す処理が実行されてもよい。そして、翻訳結果画像更新部５８が、指定された翻訳対象領域２２について翻訳結果が更新された新たな翻訳結果画像２６を生成してもよい。そして、翻訳結果画像更新部５８が、生成された新たな翻訳結果画像２６をタッチパネル１０ｆに表示させてもよい。

以上のようにすれば、ユーザは、翻訳対象領域２２ごとに、当該翻訳対象領域２２に行別翻訳結果が表示される状態と当該翻訳対象領域２２に結合翻訳結果が表示される状態とを切り替えることができる。そのため、それぞれの翻訳対象領域２２について、複数行の文字列をそれぞれ翻訳した翻訳結果と複数行の文字列を結合した文字列を翻訳した翻訳結果のうちユーザが所望するいずれかを表示させることが可能となる。

また、以上の説明では、初期状態の表示モードが行別表示モードであった。そのため、翻訳結果画像生成部５２は、Ｓ１０８に示す処理で、行別翻訳結果がターゲット画像２０に重畳された翻訳結果画像２６を生成する。ここで初期状態の表示モードが結合表示モードであっても構わない。この場合は、翻訳結果画像生成部５２は、Ｓ１０８に示す処理で、結合翻訳結果がターゲット画像２０に重畳された翻訳結果画像２６を生成することとなる。

なお、本発明は上述の実施形態に限定されるものではない。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

１ 翻訳システム、１０ 翻訳端末、１０ａ プロセッサ、１０ｂ 記憶部、１０ｃ 通信部、１０ｄ 操作部、１０ｅ 撮影部、１０ｆ タッチパネル、１０ｇ マイク、１０ｈ スピーカ、１２ サーバ、１４ コンピュータネットワーク、２０ ターゲット画像、２２，２２ａ，２２ｂ 翻訳対象領域、２４，２４ａ，２４ｂ 行別翻訳結果画像、２６，２６ａ，２６ｂ，２６ｃ 翻訳結果画像、２８ａ，２８ｂ 操作画像、３０，３０ａ，３０ｂ 結合翻訳結果画像、４０ 表示モードデータ記憶部、４２ ターゲット画像取得部、４４ レイアウト解析部、４６ 文字列抽出部、４８ 文字列送信部、５０ 翻訳結果受信部、５２ 翻訳結果画像生成部、５４ 表示制御部、５６ 操作受付部、５８ 翻訳結果画像更新部。

Claims (6)

1. ターゲット画像から、複数行の文字列を抽出する文字列抽出手段と、
   前記複数行の文字列を行ごとに翻訳した行別翻訳結果、又は、前記複数行の文字列を結合した文字列を翻訳した結合翻訳結果のいずれか一方が前記ターゲット画像に重畳された翻訳結果画像を生成する翻訳結果画像生成手段と、
   前記翻訳結果画像を表示させる表示制御手段と、
   前記翻訳結果画像が表示された後に受け付けるユーザの操作に応じて、表示されている前記翻訳結果画像に配置されている前記一方を他方に更新する更新手段と、
   を含むことを特徴とする翻訳結果表示制御システム。
2. 前記ターゲット画像から、それぞれ複数行の文字列が示されている複数の領域を抽出するレイアウト解析手段、をさらに含み、
   前記文字列抽出手段は、前記複数の領域のそれぞれについて、当該領域に配置されている複数行の文字列を抽出し、
   前記翻訳結果画像生成手段は、前記領域に示されている文字列についての前記行別翻訳結果又は前記結合翻訳結果のいずれか一方が当該領域に重畳された前記翻訳結果画像を生成する、
   ことを特徴とする請求項１に記載の翻訳結果表示制御システム。
3. 前記翻訳結果画像生成手段は、前記複数の領域のすべてについて前記一方が重畳された前記翻訳結果画像を生成し、
   前記更新手段は、前記操作に応じて、表示されている前記翻訳結果画像内のすべての前記領域について、当該領域に配置されている前記一方を前記他方に更新する、
   ことを特徴とする請求項２に記載の翻訳結果表示制御システム。
4. 前記更新手段は、表示されている前記翻訳結果画像内の前記複数の領域のうちからユーザに指定される前記領域に配置されている前記一方を前記他方に更新する、
   ことを特徴とする請求項２に記載の翻訳結果表示制御システム。
5. ターゲット画像から、複数行の文字列を抽出するステップと、
   前記複数行の文字列を行ごとに翻訳した行別翻訳結果、又は、前記複数行の文字列を結合した文字列を翻訳した結合翻訳結果のいずれか一方が前記ターゲット画像に重畳された翻訳結果画像を生成するステップと、
   前記翻訳結果画像を表示させるステップと、
   前記翻訳結果画像が表示された後に受け付けるユーザの操作に応じて、表示されている前記翻訳結果画像に配置されている前記一方を他方に更新するステップと、
   を含むことを特徴とする翻訳結果表示制御方法。
6. ターゲット画像から、複数行の文字列を抽出する手順、
   前記複数行の文字列を行ごとに翻訳した行別翻訳結果、又は、前記複数行の文字列を結合した文字列を翻訳した結合翻訳結果のいずれか一方が前記ターゲット画像に重畳された翻訳結果画像を生成する手順、
   前記翻訳結果画像を表示させる手順、
   前記翻訳結果画像が表示された後に受け付けるユーザの操作に応じて、表示されている前記翻訳結果画像に配置されている前記一方を他方に更新する手順、
   をコンピュータに実行させることを特徴とするプログラム。

Images