JPWO2019150996A1 - 言語提示装置、言語提示方法、及び言語提示プログラム - Google Patents

Abstract

言語提示装置は、透明提示部を挟んで互いに対面して位置する第１のユーザと第２のユーザとの会話に供する。言語提示装置は、第１のユーザ及び第２のユーザのうち少なくとも一方の発した第１の音声を取得し、第１の音声の内容と、第１の音声の内容が第１のユーザ又は第２のユーザに適した言語に翻訳された翻訳内容とを取得し、第１の音声の内容及び翻訳内容を、いずれか一方を左右方向に反転して透明提示部に提示する。

Description

本開示は、発言された音声の認識結果に基づく言語を提示する言語提示装置、言語提示方法、及び言語提示プログラムに関する。

特許文献１では、少なくとも２種類の言語による音声を入力し、入力された内容を認識し、認識された内容を異なる言語の内容に翻訳する音声翻訳装置が開示されている。この音声翻訳装置は、翻訳された内容を音声で出力するとともに、入力された音声のテキストと翻訳された内容のテキストとを画面上の互いに異なる向きに表示する。

国際公開第２０１７／０８６４３４号

本開示は、上述した従来の事情に鑑みて案出され、互いの言語を理解できない人同士の会話中に、自己の言語及び相手の言語を互いの顔に向けて提示して互いの顔に視線を向けることを可能とし、自然な感じでスムーズな会話の実現を簡易化する言語提示装置、言語提示方法、及び言語提示プログラムを提供することを目的とする。

本開示は、透明提示部を挟んで位置する第１のユーザと第２のユーザのうち少なくとも一方の発した第１の音声を取得する第１の取得部と、取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１のユーザ又は前記第２のユーザに適した言語に翻訳された翻訳内容とを取得する第２の取得部と、取得された前記第１の音声の内容及び前記翻訳内容を、いずれか一方を左右方向に反転して前記透明提示部に提示する制御部と、を備える、言語提示装置を提供する。

また、本開示は、透明提示部を挟んで位置する第１のユーザと第２のユーザとの会話に供する言語提示装置における言語提示方法であって、前記第１のユーザ及び前記第２のユーザのうち少なくとも一方の発した第１の音声を取得するステップと、取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１のユーザ又は前記第２のユーザに適した言語に翻訳された翻訳内容とを取得するステップと、取得された前記第１の音声の内容及び前記翻訳内容を、いずれか一方を左右方向に反転して前記透明提示部に提示するステップと、を有する、言語提示方法を提供する。

また、本開示は、透明提示部を挟んで位置する第１のユーザと第２のユーザとの会話に供する、コンピュータである言語提示装置に、前記第１のユーザ及び前記第２のユーザのうち少なくとも一方の発した第１の音声を取得するステップと、取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１のユーザ又は前記第２のユーザに適した言語に翻訳された翻訳内容とを取得するステップと、取得された前記第１の音声の内容及び前記翻訳内容を、いずれか一方を左右方向に反転して前記透明提示部に提示するステップと、を実現させるための、言語提示プログラムを提供する。

また、本開示は、透明提示部と、ユーザの発した第１言語における第１の音声を取得する取得部と、取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１言語とは異なる第２言語に翻訳された第２の内容とを、お互いが左右方向に反転するように前記透明提示部に提示する制御部と、を備える、言語提示装置を提供する。

また、本開示は、透明提示部に接続されたコンピュータである言語提示装置に、ユーザの発した第１言語における第１の音声を取得するステップと、取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１言語とは異なる第２言語に翻訳された第２の内容と、を取得するステップと、取得された前記第１の音声の内容及び前記第２の内容を、お互いが左右方向に反転するように前記透明提示部に提示するステップと、を実現させるための、言語提示プログラムを提供する。

本開示によれば、互いの言語を理解できない人同士の会話中に、自己の言語及び相手の言語を互いの顔に向けて提示して互いの顔に視線を向けることを可能とし、自然な感じでスムーズな会話の実現を簡易化できる。

実施の形態１に係る言語提示システムのシステム構成例を詳細に示すブロック図 ホスト及びゲストによる言語提示システムの使用例を示す説明図 時刻ｔ１におけるホストの発言をトリガとした言語提示システムの動作概要の一例を示す説明図 図３のタイミング以降の時刻ｔ２における言語提示システムの動作概要の一例を示す説明図 図４のタイミング以降の時刻ｔ３における言語提示システムの動作概要の一例を示す説明図 時刻ｔ３以降の時刻ｔ４におけるゲストの発言をトリガとした言語提示システムの動作概要の一例を示す説明図 図６のタイミング以降の時刻ｔ５における言語提示システムの動作概要の一例を示す説明図 実施の形態１に係る言語提示システムの動作手順の一例を詳細に説明するシーケンス図

（実施の形態１の内容に至る経緯）
上述した特許文献１の構成によれば、互いの言語を理解できない人同士の会話であっても、互いに画面を見ることで両者の円滑な会話を実現できる可能性はある。しかし、この特許文献１では、互いの言語を理解できない人同士の会話の途中に、両者とも相手の顔（例えば、目）から離れて音声翻訳装置の画面を見る必要があった。従って、会話中に互いに相手の目を見て会話することに日常的に慣れている人（例えば、日本に観光や仕事等で訪れた外国人）にとっては違和感を与えることになり、自然な感じでスムーズな会話を実現することが困難であるという課題があった。

そこで、以下の実施の形態１では、上述した従来の事情に鑑みて案出され、互いの言語を理解できない人同士の会話中に、自己の言語及び相手の言語を互いの顔に向けて提示して互いの顔に視線を向けることを可能とし、自然な感じでスムーズな会話の実現を簡易化する言語提示装置、言語提示方法、及び言語提示プログラムの例を説明する。

以下、添付図面を適宜参照しながら、本開示に係る言語提示装置、言語提示方法、及び言語提示プログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

以下、本開示に係る言語提示装置を含む言語提示システムのユースケースの一例として、受付等のカウンターに配置された透明スクリーンを挟んで、互いの言語を理解できないホスト及びゲストが互いに相手の顔を見ながら対面して行う会話に供する（言い換えると、会話を支援する）例を説明する（図２参照）。なお、以下の実施の形態は、言語提示システムのユーザとして、ホスト及びゲストの関係（つまり、サービスを提供する側と提供を受ける側との関係）が常に成り立たなくてよく、例えば互いに均等な立場の関係にあるユーザ同士の会話にも同様に適用されてよい。

図１は、実施の形態１に係る言語提示システム１００のシステム構成例を詳細に示すブロック図である。図２は、ホストＨＳＴ１及びゲストＧＳＴ１による言語提示システム１００の使用例を示す説明図である。図２に示すように、実施の形態１に係る言語提示システム１００の利用者であって互いの言語（例えば母国語）を理解できないホストＨＳＴ１及びゲストＧＳＴ１は、カウンター等のテーブルＴＢＬ１上に固定的に設置された透明スクリーン３０を挟んで互いの相手の顔を見ながら対面して会話を行う。

図１に示す言語提示システム１００は、対面翻訳機１０と、プロジェクタ２０と、透明スクリーン３０と、ボタンＢＴ１と、スイッチＳＷ１，ＳＷ２と、マイクＭＣ１と、スピーカＳＰ１と、翻訳サーバ５０とを含む構成である。対面翻訳機１０と翻訳サーバ５０とは、有線もしくは無線の通信路を用いたネットワークＮＷを介して互いに通信可能に接続される。

言語提示装置の一例としての対面翻訳機１０は、通信部１１と、メモリ１２と、制御部１３と、記憶部１４とを含む構成である。対面翻訳機１０は、例えばサーバ装置もしくはＰＣ（Personal Computer）等のコンピュータである情報処理装置を用いて構成され、例えばホストＨＳＴ１及びゲストＧＳＴ１がともに視認不可な位置（例えば、カウンター内（図示略）もしくはバックヤードの監視室（図示略）内）に配置される。対面翻訳機１０は、透明スクリーン３０を挟んで互いに対面して位置するホストＨＳＴ１及びゲストＧＳＴ１の会話を支援する。

通信部１１は、翻訳サーバ５０との間の通信に関する通信インターフェースとしての役割を有し、マイクＭＣ１により収音された音声（後述参照）のデータ（以下、「発話音声データ」という）を、ネットワークＮＷを介して翻訳サーバ５０に送信する。通信部１１は、翻訳サーバ５０から送信された翻訳テキストデータや翻訳音声データを、ネットワークＮＷを介して受信する。通信部１１は、自ら取得したデータ又は情報をメモリ１２に一時的に保存してよい。

メモリ１２は、例えばＲＡＭ（Random Access Memory）とＲＯＭ（Read Only Memory）とを用いて構成され、対面翻訳機１０の動作の実行に必要なプログラムやデータ、更には、動作中に生成されたデータ又は情報を一時的に保持する。ＲＡＭは、例えば対面翻訳機１０の動作時に使用されるワークメモリである。ＲＯＭは、例えば対面翻訳機１０を制御するためのプログラム及びデータを予め記憶して保持する。

また、メモリ１２は、ホストＨＳＴ１が使用する言語（例えば日本語）に関する情報と、ゲストＧＳＴ１が使用する言語（例えば英語）に関する情報とを対応付けて保持する。ホストＨＳＴ１が使用する言語に関する情報は、例えばＲＯＭに予め記録されてもよいし、ホストＨＳＴ１の操作（例えば、言語選択用のボタンＢＴ１の押下）により設定された情報として都度メモリ１２に記憶されてよい。ゲストＧＳＴ１が使用する言語に関する情報は、ゲストＧＳＴ１の操作（例えば、言語選択用のボタンＢＴ１の押下）により設定された情報として都度メモリ１２に記憶される。なお、図２では、透明スクリーン３０に、ゲストＧＳＴ１が使用する言語に関する情報が設定される状況が図示されている。例えば、ゲストＧＳＴ１は、プロジェクタ２０から透明スクリーン３０に投影された言語の種類（例えば、英語、韓国語、中文（繁体字）、中文（簡体字））のうち、自己が使用するいずれか一つの言語を、ボタンＢＴ１を短押ししながら切り替え、ボタンＢＴ１の長押しによって自己の言語を選択する。ここでは、英語、韓国語、中文（繁体字）、中文（簡体字）が例示されているが、これらの言語に限定されず、例えばメモリ１２に予め登録されている使用可能な言語情報に対応して透明スクリーン３０に選択可能に提示されてよい。図２では、例えば英語（Ｅｎｇｌｉｓｈ）が選択肢として仮に選択された状態又は最終的に選択された状態を示すためにハイライト提示されている。この選択されたゲストＧＳＴ１が使用する言語に関する情報は、ボタンＢＴ１からのゲストＧＳＴ１の操作に応じた信号が対面翻訳機１０に入力されてメモリ１２に登録される。なお、言語に関する情報の設定の仕方は、上述した例に限定されない。

また、メモリ１２は、ホストＨＳＴ１が発した音声（第１の音声の一例）の内容が文字認識された第１のテキストデータの透明スクリーン３０における投影位置の情報（つまり、第１のテキストデータが透明スクリーン３０に提示される高さの情報）を保持する。同様に、メモリ１２は、ゲストＧＳＴ１が発した音声（第２の音声の一例）の内容が文字認識された第２のテキストデータの透明スクリーン３０における投影位置の情報（つまり、第２のテキストデータが透明スクリーン３０に提示される高さの情報）を保持する。

制御部１３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）もしくはＦＰＧＡ（Field Programmable Gate Array）を用いて構成されたプロセッサＰＲＣ１である。制御部１３は、対面翻訳機１０の動作を司るコントローラとして機能し、対面翻訳機１０の各部の動作を全体的に統括するための制御処理、対面翻訳機１０の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。制御部１３は、メモリ１２に記憶されたプログラム及びデータに従って動作する。制御部１３は、動作時にメモリ１２を使用し、制御部１３が生成又は取得したデータ又は情報をメモリ１２に一時的に保存してよい。制御部１３の動作の詳細については、図８を参照して後述する。

記憶部１４は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を用いて構成された記録装置である。記憶部１４は、例えば制御部１３が生成又は取得したデータ又は情報を記憶する。なお、記憶部１４は対面翻訳機１０の構成から省略されてもよい。

透明提示部の一例としてのプロジェクタ２０は、対面翻訳機１０との間でデータもしくは情報の送受信が可能に接続される。プロジェクタ２０は、透明スクリーン３０に対向するように配置される。プロジェクタ２０は、対面翻訳機１０から送出された投影指示を含む投影画像のデータを受信して取得すると、その投影指示に基づき、その投影指示により指定された投影画像を透明スクリーン３０に投影するための投影光（例えば可視光）を生成して透明スクリーン３０に向けて投影する。これにより、プロジェクタ２０は、対面翻訳機１０により指定された投影画像（例えば、ホストＨＳＴ１やゲストＧＳＴ１の発した音声に対応するテキストデータ）を透明スクリーン３０に投影可能となり、ホストＨＳＴ１及びゲストＧＳＴ１の会話を支援できる。

透明提示部の一例としての透明スクリーン３０は、例えば透明なガラス板にプロジェクタ２０からの投影光が映し出されるためのシートが貼り付けられた構成であり、固定的に設置される。透明スクリーン３０は、プロジェクタ２０からの投影光（例えば可視光）が投影されて、ホストＨＳＴ１及びゲストＧＳＴ１の会話を支援するための投影画像（例えば、ホストＨＳＴ１やゲストＧＳＴ１の発した音声に対応するテキストデータ）をホストＨＳＴ１及びゲストＧＳＴ１の両方に提示する。なお、透明スクリーン３０は、必ずしもプロジェクタ２０は必要ではなく、例えば透過率が約４０％以上の透過性のあるディスプレイが好ましく、特に透過率７０％以上であることが好ましい。また、上記のような透過性のある液晶ディスプレイや透過性のある有機ＥＬディスプレイなどでもよい。

さらに、例えば透明モードとスクリーンモードとが交互に切り換え可能な透明スクリーン（例えば、下記参考非特許文献１参照）でよい。

（参考非特許文献１）
パナソニック株式会社、透明スクリーン、［online］、［平成３０年１月２２日検索］、インターネット＜URL：https://panasonic.biz/cns/invc/screen/technology.html＞

なお、実施の形態１において、プロジェクタ２０及び透明スクリーン３０の代わりに、透明提示部の一例として、対面翻訳機１０からのデータもしくは情報の表示が可能であってホストＨＳＴ１及びゲストＧＳＴ１が直接にタッチ等の操作を検出可能な、透明のタッチパネルが設けられてもよい。

ボタンＢＴ１は、ホストＨＳＴ１やゲストＧＳＴ１の使用する言語に関する情報を設定するために使用される言語選択用のボタンであり、例えば図２に示すように、テーブルＴＢＬ１上に載置された透明スクリーン３０の円形基台の略中央部に押下可能に設けられる。図２の透明スクリーン３０には、ゲストＧＳＴ１のための言語選択用の投影画像が投影されており、ゲストＧＳＴ１は、自己の使用する言語（例えば、ゲストＧＳＴ１の母国語）を、ボタンＢＴ１を押下することで選択等する。なお、ボタンＢＴ１は、ゲストＧＳＴ１が押下し易いように、ホストＨＳＴ１が位置する側よりもゲストＧＳＴ１が位置する側により近くに配置されてよいし（図２参照）、ホストＨＳＴ１及びゲストＧＳＴ１から略等距離の位置に配置されてもよい。

スイッチＳＷ１は、ホストＨＳＴ１が発言するタイミングを対面翻訳機１０に指示するために、ホストＨＳＴ１により押下されるスイッチである。言い換えると、スイッチＳＷ１は、ホストＨＳＴ１が発言する直前にホストＨＳＴ１により押下される。これにより、対面翻訳機１０は、スイッチＳＷ１からの信号に基づいて、ホストＨＳＴ１が発言したタイミングを認識可能である。

スイッチＳＷ２は、ゲストＧＳＴ１が発言を行うタイミングを対面翻訳機１０に指示するために、ゲストＧＳＴ１により押下されるスイッチである。言い換えると、スイッチＳＷ２は、ゲストＧＳＴ１が発言する直前にゲストＧＳＴ１により押下される。これにより、対面翻訳機１０は、スイッチＳＷ２からの信号に基づいて、ゲストＧＳＴ１が発言したタイミングを認識可能である。

マイクＭＣ１は、交互に会話を行うホストＨＳＴ１及びゲストＧＳＴ１のうちいずれかが発した音声を収音し、収音された音声の信号を対面翻訳機１０に送出する。なお、マイクＭＣ１は、ホストＨＳＴ１の音声よりゲストＧＳＴ１の音声をより収音し易くするために、透明スクリーン３０の基台のゲストＧＳＴ１側に向くように配置されてよい。また、マイクＭＣ１は、ホストＨＳＴ１及びゲストＧＳＴ１のそれぞれの音声を均等に収音するために、透明スクリーン３０の基台のホストＨＳＴ１側及びゲストＧＳＴ１側の両方から等距離となるように配置されてよい。

スピーカＳＰ１は、対面翻訳機１０から出力された音声データの信号を入力して音声出力する。スピーカＳＰ１に入力される音声データの信号は、例えば、ホストＨＳＴ１の発した音声の音声データの信号、ゲストＧＳＴ１の発した音声の音声データの信号、ホストＨＳＴ１の発した音声の内容がゲストＧＳＴ１に適した言語に翻訳された翻訳結果の音声の音声データ（つまり、翻訳音声データ）の信号、又は、ゲストＧＳＴ１の発した音声の内容がホストＨＳＴ１に適した言語に翻訳された翻訳結果の音声の音声データ（つまり、翻訳音声データ）の信号のうちいずれかである。

言語提示装置の一例としての翻訳サーバ５０は、通信部５１と、メモリ５２と、翻訳制御部５３と、記憶部５４とを含む構成である。翻訳サーバ５０は、例えばサーバ装置もしくはＰＣ等のコンピュータである情報処理装置を用いて構成され、対面翻訳機１０とネットワークＮＷを介して接続されるクラウドサーバである。翻訳サーバ５０は、対面翻訳機１０から音声データを受信して取得すると、その音声データに対応する音声を文字認識するとともに、その音声データを翻訳処理する。翻訳サーバ５０は、文字認識結果であるテキストデータ（以下、「認識テキストデータ」という）、翻訳処理結果であるテキストデータ（以下、「翻訳テキストデータ」という）、翻訳処理結果である音声データ（以下、「翻訳音声データ」という）を対面翻訳機１０に送信する。

通信部５１は、対面翻訳機１０との間の通信に関する通信インターフェースとしての役割を有し、上述した認識テキストデータ、翻訳テキストデータ、翻訳音声データを、ネットワークＮＷを介して対面翻訳機１０に送信する。通信部１１は、対面翻訳機１０から送信された発話音声データを、ネットワークＮＷを介して受信する。通信部５１は、自ら取得したデータ又は情報をメモリ５２に一時的に保存してよい。

メモリ５２は、例えばＲＡＭとＲＯＭとを用いて構成され、翻訳サーバ５０の動作の実行に必要なプログラムやデータ、更には、動作中に生成されたデータ又は情報を一時的に保持する。ＲＡＭは、例えば翻訳サーバ５０の動作時に使用されるワークメモリである。ＲＯＭは、例えば翻訳サーバ５０を制御するためのプログラム及びデータを予め記憶して保持する。

翻訳制御部５３は、例えばＣＰＵ、ＭＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成されたプロセッサＰＲＣ２である。翻訳制御部５３は、翻訳サーバ５０の動作を司るコントローラとして機能し、翻訳サーバ５０の各部の動作を全体的に統括するための制御処理、翻訳サーバ５０の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。翻訳制御部５３は、メモリ５２に記憶されたプログラム及びデータに従って動作する。翻訳制御部５３は、動作時にメモリ５２を使用し、翻訳制御部５３が生成又は取得したデータ又は情報をメモリ５２に一時的に保存してよい。翻訳制御部５３の動作の詳細については、図８を参照して後述する。

記憶部５４は、例えばＨＤＤ又はＳＳＤを用いて構成された記録装置である。記憶部５４は、例えば翻訳制御部５３が生成又は取得したデータ又は情報を記憶する。また、記憶部５４は、翻訳制御部５３が認識テキストデータを翻訳処理する時に用いる辞書ＤＢ（database）を保持する。また、記憶部５４は、翻訳制御部５３が翻訳テキストデータに対応する音声データ（つまり、翻訳音声データ）を生成するために用いる音声ＤＢを保持する。翻訳サーバ５０は、例えばネットワークＮＷを介して接続された外部辞書サーバ（図示略）との間で定期的に通信することで、上述した辞書ＤＢや音声ＤＢそれぞれの内容を定期的に更新してよい。

次に、実施の形態１に係る言語提示システム１００の動作概要について、図３から図７を参照して説明する。図３は、時刻ｔ１におけるホストＨＳＴ１の発言をトリガとした言語提示システム１００の動作概要の一例を示す説明図である。図４は、図３のタイミング以降の時刻ｔ２における言語提示システム１００の動作概要の一例を示す説明図である。図５は、図４のタイミング以降の時刻ｔ３における言語提示システム１００の動作概要の一例を示す説明図である。図６は、時刻ｔ３以降の時刻ｔ４におけるゲストＧＳＴ１の発言をトリガとした言語提示システム１００の動作概要の一例を示す説明図である。図７は、図６のタイミング以降の時刻ｔ５における言語提示システム１００の動作概要の一例を示す説明図である。なお、図３〜図７では、例えばゲストＧＳＴ１から見た視点が主方向となるように図示されている。

図３に示すように、時刻ｔ＝ｔ１において、ホストＨＳＴ１がスイッチＳＷ１を押下して「浜離宮から大江戸線に乗って下さい」と発言したとする。対面翻訳機１０は、マイクＭＣ１においてホストＨＳＴ１の発した「浜離宮から大江戸線に乗って下さい」の音声が収音されると、その音声のデータ（発話音声データ）をマイクＭＣ１から取得して翻訳サーバ５０に送信する。翻訳サーバ５０は、対面翻訳機１０から送信された発話音声データを文字認識処理し、その文字認識結果である認識テキストデータ（つまり、「浜離宮から大江戸線に乗って下さい」のテキストデータ）を生成して対面翻訳機１０に送信する。対面翻訳機１０は、翻訳サーバ５０から送信された認識テキストデータを受信して取得する。対面翻訳機１０は、認識テキストデータＨＴＸ１を、プロジェクタ２０を介して透明スクリーン３０に投影させることでホストＨＳＴ１に提示する。

次に、図４に示すように、時刻ｔ＝ｔ１以降の時刻ｔ＝ｔ２において、翻訳サーバ５０は、文字認識結果である認識テキストデータを、記憶部５４内に記憶される辞書ＤＢを参照して翻訳処理して翻訳テキストデータ（つまり、「Ｐｌｅａｓｅ ｇｅｔ ｏｎ ｔｈｅ Ｏｅｄｏ Ｌｉｎｅ ｆｒｏｍ ｔｈｅ Ｈａｍａｒｉｋｙｕ」のテキストデータ）を生成する。また、時刻ｔ＝ｔ２において、翻訳サーバ５０は、翻訳テキストデータに対応する音声データ（翻訳音声データ）を生成する。翻訳サーバ５０は、翻訳テキストデータ及び翻訳音声データを対応付けて対面翻訳機１０に送信する。対面翻訳機１０は、翻訳サーバ５０から送信された翻訳テキストデータ及び翻訳音声データを受信して取得する。対面翻訳機１０は、翻訳テキストデータＧＬＴＸ１を、認識テキストデータＨＴＸ１が透明スクリーン３０上に提示される方向とは左右方向に反転した状態で、プロジェクタ２０を介して透明スクリーン３０に投影させることでゲストＧＳＴ１に提示する。また、対面翻訳機１０は、時刻ｔ＝ｔ２において、翻訳音声データをスピーカＳＰ１から音声出力する。なお、翻訳サーバ５０が翻訳テキストデータ及び翻訳音声データを生成するタイミングは時刻ｔ２でなくその前の時刻ｔ１でもよい。図４では、時刻ｔ２において、対面翻訳機１０は、少なくとも翻訳テキストデータＧＬＴＸ１を、認識テキストデータＨＴＸ１が透明スクリーン３０上に提示される方向とは左右方向に反転した状態で、プロジェクタ２０を介して透明スクリーン３０に投影させることでゲストＧＳＴ１に提示すればよい。

次に、図５に示すように、時刻ｔ＝ｔ２以降の時刻ｔ＝ｔ３において、対面翻訳機１０は、時刻ｔ＝ｔ２において透明スクリーン３０上に投影されていた認識テキストデータＨＴＸ１の投影を翻訳テキストデータＧＬＴＸ１の投影よりも早く停止するように、プロジェクタ２０に認識テキストデータＨＴＸ１の投影停止を指示する。これにより、時刻ｔ＝ｔ２より後の時刻ｔ３においては、透明スクリーン３０上にはゲストＧＳＴ１に提示される翻訳テキストデータＧＬＴＸ１が長く投影され続けることで、対面翻訳機１０は、ホストＨＳＴ１と比べてゲストＧＳＴ１に対して一層親切な会話支援を行うことができる。

次に、時刻ｔ＝ｔ３以降の時刻ｔ＝ｔ４において、ゲストＧＳＴ１がスイッチＳＷ２を押下して「Ｔｈａｎｋ ｙｏｕ ｆｏｒ ｌｅｔｔｉｎｇ ｍｅ ｋｎｏｗ」と発言したとする。対面翻訳機１０は、マイクＭＣ１においてゲストＧＳＴ１の発した「Ｔｈａｎｋ ｙｏｕ ｆｏｒ ｌｅｔｔｉｎｇ ｍｅ ｋｎｏｗ」の音声が収音されると、その音声のデータ（発話音声データ）をマイクＭＣ１から取得して翻訳サーバ５０に送信する。翻訳サーバ５０は、対面翻訳機１０から送信された発話音声データを文字認識処理し、その文字認識結果である認識テキストデータ（つまり、「Ｔｈａｎｋ ｙｏｕ ｆｏｒ ｌｅｔｔｉｎｇ ｍｅ ｋｎｏｗ」のテキストデータ）を生成して対面翻訳機１０に送信する。対面翻訳機１０は、翻訳サーバ５０から送信された認識テキストデータを受信して取得する。対面翻訳機１０は、認識テキストデータＧＬＴＸ２を、プロジェクタ２０を介して透明スクリーン３０に投影させることでゲストＧＳＴ１に提示する。

次に、図７に示すように、時刻ｔ＝ｔ４以降の時刻ｔ＝ｔ５において、翻訳サーバ５０は、文字認識結果である認識テキストデータを、記憶部５４内に記憶される辞書ＤＢを参照して翻訳処理して翻訳テキストデータ（つまり、「教えてくれてありがとう」のテキストデータ）を生成する。また、時刻ｔ＝ｔ５において、翻訳サーバ５０は、翻訳テキストデータに対応する音声データ（翻訳音声データ）を生成する。翻訳サーバ５０は、翻訳テキストデータ及び翻訳音声データを対応付けて対面翻訳機１０に送信する。対面翻訳機１０は、翻訳サーバ５０から送信された翻訳テキストデータ及び翻訳音声データを受信して取得する。対面翻訳機１０は、翻訳テキストデータＨＬＴＸ２を、認識テキストデータＧＬＴＸ２が透明スクリーン３０上に提示される方向とは左右方向に反転した状態で、プロジェクタ２０を介して透明スクリーン３０に投影させることでホストＨＳＴ１に提示する。また、対面翻訳機１０は、時刻ｔ＝ｔ５において、翻訳音声データをスピーカＳＰ１から音声出力する。なお、翻訳サーバ５０が翻訳テキストデータ及び翻訳音声データを生成するタイミングは時刻ｔ５でなくその前の時刻ｔ４でもよい。図７では、時刻ｔ５において、対面翻訳機１０は、少なくとも翻訳テキストデータＨＬＴＸ２を、認識テキストデータＧＬＴＸ２が透明スクリーン３０上に提示される方向とは左右方向に反転した状態で、プロジェクタ２０を介して透明スクリーン３０に投影させることでホストＨＳＴ１に提示すればよい。

次に、実施の形態１に係る言語提示システム１００の動作手順について、図８を参照して説明する。図８は、実施の形態１に係る言語提示システム１００の動作手順の一例を詳細に説明するシーケンス図である。図８の説明の前提として、言語提示システム１００の利用者であるホストＨＳＴ１（第１のユーザの一例）が使用する言語（例えば、日本語）に関する情報と、ゲストＧＳＴ１（第２のユーザの一例）が使用する言語（例えば、英語）に関する情報とは対面翻訳機１０及び翻訳サーバ５０において既知とする。また、図８に示す動作手順は、ホストＨＳＴ１及びゲストＧＳＴ１のいずれが先に発言するかを問わない。

図８において、会話の発言を行うホストＨＳＴ１又はゲストＧＳＴ１は、スイッチＳＷ１又はスイッチＳＷ２を押下する。この押下された旨の信号は、対面翻訳機１０の通信部１１を介して制御部１３により入力される。マイクＭＣ１は、ホストＨＳＴ１又はゲストＧＳＴ１が発した音声の音声データを収音する（Ｓ１）。

対面翻訳機１０の制御部１３（第１の取得部の一例）は、ステップＳ１においてマイクＭＣ１により収音された音声（第１の音声の一例）の音声データを、通信部１１を介して入力して取得する（Ｓ１１）。対面翻訳機１０の制御部１３は、ステップＳ１１の時点の直前にどのスイッチが押下されたかを認識できるので、ステップＳ１１の時点で取得された音声データがホストＨＳＴ１又はゲストＧＳＴ１のいずれにより発言されたのかを把握できる。なお、対面翻訳機１０の制御部１３は、ホストＨＳＴ１及びゲストＧＳＴ１がどの言語を使用するかを予め認識しているので、例えば発話音声データを用いた公知の言語推定処理を実行することで発話音声データの言語を推定し、ホストＨＳＴ１が発言したのかゲストＧＳＴ１が発言したのかを推測してもよい。

対面翻訳機１０の通信部１１は、ステップＳ１１において取得された音声データ（つまり、発話音声データ）を翻訳サーバ５０に送信する（Ｓ１２）。なお、ホストＨＳＴ１が使用する言語（例えば、日本語）に関する情報並びにゲストＧＳＴ１が使用する言語（例えば、英語）に関する情報を翻訳サーバ５０の翻訳制御部５３が認識していない設定である場合、例えば、対面翻訳機１０の通信部１１は、発話音声データとともに、ホストＨＳＴ１及びゲストＧＳＴ１がそれぞれ使用する言語に関する情報を翻訳サーバ５０に送信してよい。これにより、翻訳サーバ５０の翻訳制御部５３は、ステップＳ１２の時点で対面翻訳機１０から送信された言語に関する情報に基づいて、いずれの言語からいずれの言語に翻訳すればよいかを認識できる。

翻訳サーバ５０の翻訳制御部５３は、ステップＳ１２において対面翻訳機１０から送信された発話音声データを受信して取得し、その発話音声データを用いて公知の文字認識処理を実行する（Ｓ２１）。翻訳サーバ５０の翻訳制御部５３は、ステップＳ２１の文字認識結果を用いて、発話音声データの内容が文字認識処理された認識テキストデータを生成する（Ｓ２２）。翻訳サーバ５０の通信部５１は、ステップＳ２２において生成された認識テキストデータを対面翻訳機１０に送信する（Ｓ２３）。

また、翻訳サーバ５０の翻訳制御部５３は、ステップＳ２１の文字認識結果を用いて、記憶部５４に記憶される辞書ＤＢを参照してホストＨＳＴ１又はゲストＧＳＴ１に適した言語に翻訳処理することで、翻訳テキストデータを生成する（Ｓ２４）。更に、翻訳サーバ５０の翻訳制御部５３は、記憶部５４に記憶される音声ＤＢを参照してホストＨＳＴ１又はゲストＧＳＴ１に適した、翻訳テキストデータ内のそれぞれのテキストデータ（例えば単語、文章）に対応する音声データを繋ぎ合わせた翻訳音声データを生成する（Ｓ２４）。翻訳サーバ５０の通信部５１は、ステップＳ２４において生成された翻訳テキストデータ及び翻訳音声データの両方を対面翻訳機１０に送信する（Ｓ２５）。

翻訳サーバ５０の翻訳制御部５３は、ステップＳ２１の処理を実行した後、ステップＳ２２，Ｓ２３の処理とステップＳ２４，Ｓ２５の処理とを並列に実行してもよいし、ステップＳ２２，Ｓ２３，Ｓ２４，Ｓ２５の順に実行してもよい。

なお、図８ではステップＳ２１〜Ｓ２５のそれぞれの処理が対面翻訳機１０とは異なる外部のサーバ（つまり、翻訳サーバ５０）により実行される旨を説明しているが、実施の形態１において、ステップＳ２１〜Ｓ２５のそれぞれの処理のうち一部の処理又は全部の処理は例えば対面翻訳機１０において実行されても構わない。これにより、言語提示システム１００のシステム構成のうち、翻訳サーバ５０の構成を省略できたり、又は翻訳サーバ５０の処理量を軽減可能となったりできる。従って、言語提示システム１００は、対面翻訳機１０と翻訳サーバ５０との間のネットワークＮＷを介したデータの通信量を低減でき、又は対面翻訳機１０単独において図８に示す処理を完結できるので、ホストＨＳＴ１とゲストＧＳＴ１との会話の迅速な反応性を効果的に支援できる。

対面翻訳機１０の通信部１１（第２の取得部の一例）は、ステップＳ２３において翻訳サーバ５０から送信された認識テキストデータを受信して取得する（Ｓ１３）。対面翻訳機１０の制御部１３は、その認識テキストデータを透明スクリーン３０に投影するための第１の投影指示を生成し、その認識テキストデータを含む第１の投影指示を、通信部１１を介してプロジェクタ２０に送信する（Ｓ１３）。プロジェクタ２０は、対面翻訳機１０からの第１の投影指示に基づいて、ホストＨＳＴ１やゲストＧＳＴ１に視認可能に認識テキストデータを透明スクリーン３０に投影する（Ｓ２）。

また、対面翻訳機１０の通信部１１（第２の取得部の一例）は、ステップＳ２５において翻訳サーバ５０から送信された翻訳テキストデータ及び翻訳音声データを受信して取得する（Ｓ１４）。翻訳テキストデータは、発話音声データの音声の内容がホストＨＳＴ１又はゲストＧＳＴ１に適した言語に翻訳された音声（第２の音声の一例）の内容を示す。翻訳音声データは、翻訳テキストデータを構成するそれぞれの単語に対応する音声データが連結されて構成された音声データである。対面翻訳機１０の制御部１３は、その翻訳音声データをスピーカＳＰ１に出力することで、翻訳音声データの内容である翻訳音声をスピーカＳＰ１から音声出力させてホストＨＳＴ１又はゲストＧＳＴ１に提示する（Ｓ３）。

また、対面翻訳機１０の制御部１３は、認識テキストデータの透明スクリーン３０上における向きとは左右方向に反転した状態で翻訳テキストデータが投影されるための第２の投影指示を生成し、翻訳テキストデータを含む第２の投影指示を、通信部１１を介してプロジェクタ２０に送信する（Ｓ１５）。プロジェクタ２０は、対面翻訳機１０からの第２の投影指示に基づいて、ホストＨＳＴ１やゲストＧＳＴ１に視認可能に翻訳テキストデータを透明スクリーン３０に投影する（Ｓ４）。

以上により、実施の形態１の言語提示システム１００では、対面翻訳機１０は、透明スクリーン３０を挟んで互いに対面して位置するホストＨＳＴ１とゲストＧＳＴ１のうち少なくとも一方の発した発話音声データを取得する。対面翻訳機１０は、取得された発話音声データの音声の内容と、発話音声データの音声の内容がホストＨＳＴ１又はゲストＧＳＴ１に適した言語に翻訳された翻訳音声データの音声の内容とを取得する。対面翻訳機１０は、取得された発話音声データの音声の内容及び翻訳音声データの音声の内容を、いずれか一方を左右方向に反転して透明スクリーン３０に提示する。

これにより、言語提示システム１００によれば、例えばホストＨＳＴ１及びゲストＧＳＴ１のように、互いの言語を理解できない人同士の会話中に、自己の言語及び相手の言語を互いの顔に向けて提示できるので、互いの顔に視線を向けることを可能とし、自然な感じでスムーズな会話の実現を簡易化できる。

また、対面翻訳機１０は、発話音声データの音声の内容が文字認識された認識テキストデータ（第１のテキストデータの一例）を第１の音声の内容として取得し、認識テキストデータがホストＨＳＴ１又はゲストＧＳＴ１に適する言語に翻訳された翻訳テキストデータ（第２のテキストデータの一例）を翻訳内容として取得する。これにより、対面翻訳機１０は、ホストＨＳＴ１又はゲストＧＳＴ１の発言した会話の内容をテキストデータとして透明スクリーン３０に的確に提示できるので、例えばテレビジョン放送におけるテロップ（つまり、字幕）のように会話の理解を効果的に促すことができる。

また、対面翻訳機１０は、発話音声データの内容がホストＨＳＴ１又はゲストＧＳＴ１に適した言語に翻訳された第２の音声の音声データ（例えば、翻訳音声データ）を翻訳内容として更に取得する。これにより、対面翻訳機１０は、テキストだけでなく音声出力でも相手に伝えることで、ホストＨＳＴ１又はゲストＧＳＴ１の発言した会話が相手の理解可能な言語に翻訳された音声を相手に効果的に伝えることができ、相手の理解の一助として会話内容の迅速な理解を支援できる。

また、対面翻訳機１０は、発話音声データの音声の内容を、第１の色（例えば、水色）で塗り潰された第１の形状枠（例えば、矩形状の枠）からの抜き文字として透明スクリーン３０に提示可能にプロジェクタ２０に投影指示する。抜き文字とは、例えば水色で全て塗りつぶされた矩形状枠から、文字の部分だけ切り抜かれて浮き出てホストＨＳＴ１が視認可能となる文字であり、後述する枠文字に比べると認識し易くはない。一方、対面翻訳機１０は、翻訳テキストデータの音声の内容を、透明色の第２の形状枠（例えば、矩形状の枠）内に第２の色（例えば、白）を付与した枠文字として透明スクリーン３０に提示可能にプロジェクタ２０に投影指示する。枠文字とは、例えば背景が透明色で白色の矩形状枠内に、文字の部分だけ白が付与されてゲストＧＳＴ１が視認可能となる文字であり、上述した抜き文字に比べると認識し易い。これにより、対面翻訳機１０は、例えばホストＨＳＴ１には抜き文字として自身の発言した内容のテキストを確認的に提示すればよく、一方で、ゲストＧＳＴ１には枠文字として抜き文字に比べてゲストＧＳＴ１にとって視認性の良好なテキストを提示可能となるので、互いの理解可能なテキストデータの認識の混同を避けるように、ゲストＧＳＴ１に対する好意的な配慮を行った透明スクリーン３０へのテキストの提示を実行できる。

また、透明提示部の一例として、プロジェクタ２０及び透明スクリーン３０の代わりに、ホストＨＳＴ１及びゲストＧＳＴ１がそれぞれ操作可能なタッチパネル（図示略）により構成されてよい。対面翻訳機１０は、ホストＨＳＴ１及びゲストＧＳＴ１によりそれぞれタッチパネルに指定された、第１の提示位置及び第２の提示位置に基づいて、認識テキストデータ（第１の音声の内容の一例）を第１の提示位置に提示するとともに、翻訳テキストデータ（翻訳内容の一例）を第２の提示位置に提示する。これにより、対面翻訳機１０は、ホストＨＳＴ１及びゲストＧＳＴ１の双方がそれぞれ指定したタッチパネル上の任意の位置に認識テキストデータや翻訳テキストデータを表示（提示）でき、ホストＨＳＴ１及びゲストＧＳＴ１が相手の顔を見易く、かつ例えば目線の少し下程度の位置等、実際の会話時において互いに視認し易い位置にそれぞれの言語に対応したテキストデータを提示できる。

また、対面翻訳機１０は、翻訳テキストデータ（翻訳内容の一例）を認識テキストデータ（第１の音声の内容の一例）より上部となるように、認識テキストデータ及び翻訳テキストデータのそれぞれの内容を透明スクリーン３０に提示する。これにより、対面翻訳機１０は、例えばホストＨＳＴ１よりもゲストＧＳＴ１の方を優先して、翻訳テキストデータをゲストＧＳＴ１が見易い透明スクリーン３０の上部側の位置に提示でき、ゲストＧＳＴ１に対する好意的な配慮を行った透明スクリーン３０へのテキストの提示を実行できる。

また、対面翻訳機１０は、翻訳テキストデータ（翻訳内容の一例）を認識テキストデータ（第１の音声の内容の一例）より時間的に長く透明スクリーン３０に提示する。これにより、対面翻訳機１０は、例えばホストＨＳＴ１よりもゲストＧＳＴ１の方を優先して、ゲストＧＳＴ１が視認する翻訳テキストデータを、ホストＨＳＴ１が確認的に視認する認識テキストデータよりも時間的に長く透明スクリーン３０上に提示できるので、ゲストＧＳＴ１に対する好意的な配慮を行った透明スクリーン３０へのテキストの提示を実行できる。

また、対面翻訳機１０は、翻訳テキストデータ（翻訳内容の一例）を、認識率の高い所定色（例えば、白色）を付与して透明スクリーン３０に提示する。これにより、対面翻訳機１０は、透明スクリーン３０に投影された所定色（例えば、白色）の翻訳テキストデータをゲストＧＳＴ１に視認させるので、ゲストＧＳＴ１の翻訳テキストデータの内容の理解を迅速に行わせることができる。

また、透明提示部の一例として、透明スクリーン３０とプロジェクタ２０とにより構成される。対面翻訳機１０は、認識テキストデータ（第１の音声の内容の一例）及び翻訳テキストデータ（翻訳内容の一例）を透明スクリーン３０への投影指示をプロジェクタ２０に送出する。これにより、対面翻訳機１０は、プロジェクタ２０を介して、ホストＨＳＴ１の発言した認識テキストデータやゲストＧＳＴ１に適した翻訳テキストデータを透明スクリーン３０上に簡易に提示できる。

また、透明提示部の一例として、ホストＨＳＴ１及びゲストＧＳＴ１がそれぞれ操作可能なタッチパネル（図示略）により構成される。対面翻訳機１０は、認識テキストデータ（第１の音声の内容の一例）及び翻訳テキストデータ（翻訳内容の一例）を表示するようにタッチパネルに送出する。これにより、プロジェクタ２０や透明スクリーンが配備されていなくても、対面翻訳機１０は、ホストＨＳＴ１及びゲストＧＳＴ１がタッチパネルを挟んで対面した状態でタッチパネルに表示された認識テキストデータや翻訳テキストデータを確認できるので、自然な感じの会話を効果的に実現可能となる。

また、実施の形態１では、透明スクリーン３０に投影される各種のテキストデータ（具体的には、認識テキストデータ、翻訳テキストデータ）の大きさはプロジェクタ２０により指定され、その大きさは例えば対面翻訳機１０からの投影指示に含まれてよい。これにより、対面翻訳機１０は、例えばホストＨＳＴ１やゲストＧＳＴ１の操作により指定された年代に合わせて、透明スクリーン３０に提示されるテキストデータの大きさを柔軟に変更可能である。

また、実施の形態１では、透明提示部の一例として透明スクリーン３０が配備される。従って、例えば高級感の演出が可能な場所（例えば、デパートの化粧品売り場やプレミアム列車の受付）に透明スクリーン３０が配置されることで、特別な顧客（例えば、ゲストＧＳＴ１）に対するおもてなしを行う際のサービスツールとして言語提示システム１００の利用が可能となる。

また、実施の形態１の言語提示システム１００では、対面翻訳機１０の制御部１３（取得部の一例）は、透明スクリーン３０（透明提示部の一例）と、ホストＨＳＴ１又はゲストＧＳＴ１（ユーザの一例）の発した第１言語（例えば、日本語）における第１の音声（例えば、発話音声データに含まれる音声）を取得する。対面翻訳機１０の制御部１３は、取得された第１の音声の内容と、第１の音声の内容が第１言語とは異なる第２言語（例えば、英語）に翻訳された翻訳内容とを、お互いが左右方向に反転するようにプロジェクタ２０を介して又は直接に、透明スクリーン３０に提示する。

これにより、対面翻訳機１０は、ユーザ（例えば、日本語を話すホストＨＳＴ１）の発言した第１言語（例えば、日本語）の音声の内容と、その音声の内容が他のユーザ（例えば、英語を話すゲストＧＳＴ１）に適した第２言語（例えば、英語）に翻訳された翻訳内容とをそれぞれ左右方向に反転して透明スクリーン３０に提示できる。従って、例えば互いに言語を理解できない人同士が会話する場合に、自己の言語及び相手の言語を、透明スクリーン３０を介して相手の顔が見えながら確認可能となるので、自然な感じでスムーズな会話の実現を簡易化できる。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

なお、実施の形態１に係る言語提示システム１００において、透明スクリーン３０が配置されるテーブルＴＢＬ１は図２に示したカウンター上に載置されることに限定されず、例えば人が把持して移動可能なスタンド付きポールに接続されたテーブル（図示略）であってもよい。これにより、特定の限定された位置にホストＨＳＴ１やゲストＧＳＴ１が立ち寄って会話することに留まらず、透明スクリーン３０のモビリティ性を向上できてホストＨＳＴ１やゲストＧＳＴ１の会話場所を任意に変更可能となる。

なお、上述した実施の形態１では、ホストＨＳＴ１及びゲストＧＳＴ１が受付等のカウンターに配置された透明スクリーンを挟んで対面して会話する例を説明したが、透明スクリーンが配置される場所は、受付等のカウンターに限定されず、例えばタクシー、飲食店、会議室、駅の案内所等でも構わない。例えば、タクシー内の運転席と後部座席との間の透明ガラスを透明スクリーン３０として利用可能であるし、飲食店や会議室や駅の案内所では対面して会話する人同士の間に透明スクリーン３０が配備されてよい。

また、上述した実施の形態１に係る言語提示システム１００は、いわゆるタッチパネル等に互いの言語のテキストデータが表示される指差し翻訳においても適用可能である。

なお、本出願は、２０１８年１月３０日出願の日本特許出願（特願２０１８−０１３４１５）に基づくものであり、その内容は本出願の中に参照として援用される。

本開示は、互いの言語を理解できない人同士の会話中に、自己の言語及び相手の言語を互いの顔に向けて提示して互いの顔に視線を向けることを可能とし、自然な感じでスムーズな会話の実現を簡易化する言語提示装置、言語提示方法、及び言語提示プログラムとして有用である。

１０ 対面翻訳機
１１、５１ 通信部
１２、５２ メモリ
１３ 制御部
１４、５４ 記憶部
２０ プロジェクタ
３０ 透明スクリーン
５３ 翻訳制御部
ＭＣ１ マイク
ＮＷ ネットワーク
ＰＲＣ１，ＰＲＣ２ プロセッサ
ＳＰ１ スピーカ
ＳＷ１、ＳＷ２ スイッチ
１００ 言語提示システム

Claims (14)

1. 透明提示部を挟んで位置する第１のユーザと第２のユーザのうち少なくとも一方の発した第１の音声を取得する第１の取得部と、
   取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１のユーザ又は前記第２のユーザに適した言語に翻訳された翻訳内容とを取得する第２の取得部と、
   取得された前記第１の音声の内容及び前記翻訳内容を、いずれか一方を左右方向に反転して前記透明提示部に提示する制御部と、を備える、
   言語提示装置。
2. 前記第２の取得部は、
   前記第１の音声の内容が文字認識された第１のテキストデータを前記第１の音声の内容として取得し、
   前記第１のテキストデータが前記言語に翻訳された第２のテキストデータを前記翻訳内容として取得する、
   請求項１に記載の言語提示装置。
3. 前記第２の取得部は、
   前記第１の音声の内容が前記言語に翻訳された前記翻訳内容の音声データを更に取得する、
   請求項１に記載の言語提示装置。
4. 前記制御部は、
   前記第１の音声の内容を、第１の色で塗り潰された第１の形状枠からの抜き文字として前記透明提示部に提示し、
   前記翻訳内容を、透明色の第２の形状枠内に第２の色を付与した枠文字として前記透明提示部に提示する、
   請求項１に記載の言語提示装置。
5. 前記透明提示部は、
   前記第１のユーザ及び前記第２のユーザがそれぞれ操作可能なタッチパネルにより構成され、
   前記制御部は、
   前記第１のユーザ及び前記第２のユーザによりそれぞれ前記タッチパネルに指定された、第１の提示位置及び第２の提示位置に基づいて、前記第１の音声の内容を前記第１の提示位置に提示するとともに、前記翻訳内容を前記第２の提示位置に提示する、
   請求項１に記載の言語提示装置。
6. 前記制御部は、
   前記翻訳内容を前記第１の音声の内容より上部となるように、前記第１の音声の内容及び前記翻訳内容をそれぞれ前記透明提示部に提示する、
   請求項１に記載の言語提示装置。
7. 前記制御部は、
   前記翻訳内容を前記第１の音声の内容より長く前記透明提示部に提示する、
   請求項１に記載の言語提示装置。
8. 前記制御部は、
   前記翻訳内容を、認識率の高い所定色を付与して前記透明提示部に提示する、
   請求項１に記載の言語提示装置。
9. 前記透明提示部は、
   透明スクリーンとプロジェクタとにより構成され、
   前記制御部は、
   前記第１の音声の内容及び前記翻訳内容の前記透明スクリーンへの投影指示を前記プロジェクタに送出する、
   請求項１に記載の言語提示装置。
10. 前記透明提示部は、
    前記第１のユーザ及び前記第２のユーザがそれぞれ操作可能なタッチパネルにより構成され、
    前記制御部は、
    前記第１の音声の内容及び前記翻訳内容を表示するように前記タッチパネルに送出する、
    請求項１に記載の言語提示装置。
11. 透明提示部を挟んで位置する第１のユーザと第２のユーザとの会話に供する言語提示装置における言語提示方法であって、
    前記第１のユーザ及び前記第２のユーザのうち少なくとも一方の発した第１の音声を取得するステップと、
    取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１のユーザ又は前記第２のユーザに適した言語に翻訳された翻訳内容とを取得するステップと、
    取得された前記第１の音声の内容及び前記翻訳内容を、いずれか一方を左右方向に反転して前記透明提示部に提示するステップと、を有する、
    言語提示方法。
12. 透明提示部を挟んで位置する第１のユーザと第２のユーザとの会話に供する、コンピュータである言語提示装置に、
    前記第１のユーザ及び前記第２のユーザのうち少なくとも一方の発した第１の音声を取得するステップと、
    取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１のユーザ又は前記第２のユーザに適した言語に翻訳された翻訳内容とを取得するステップと、
    取得された前記第１の音声の内容及び前記翻訳内容を、いずれか一方を左右方向に反転して前記透明提示部に提示するステップと、を実現させるための、
    言語提示プログラム。
13. 透明提示部と、
    ユーザの発した第１言語における第１の音声を取得する取得部と、
    取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１言語とは異なる第２言語に翻訳された翻訳内容とを、お互いが左右方向に反転するように前記透明提示部に提示する制御部と、を備える、
    言語提示装置。
14. 透明提示部に接続されたコンピュータである言語提示装置に、
    ユーザの発した第１言語における第１の音声を取得するステップと、
    取得された前記第１の音声の内容と、前記第１の音声の内容が前記第１言語とは異なる第２言語に翻訳された翻訳内容と、を取得するステップと、
    取得された前記第１の音声の内容及び前記翻訳内容を、お互いが左右方向に反転するように前記透明提示部に提示するステップと、を実現させるための、
    言語提示プログラム。

Images