JP6676093B2 - 異言語間コミュニケーション支援装置及びシステム - Google Patents

Description

本発明は、異言語間コミュニケーション支援装置及びシステムに関するものである。

従来から、異言語間の会話において、話し手が第１言語によって発した発話文の音声を所望する第２言語の文に翻訳し、この翻訳文を合成音声に変換して聞き手に向けて再生する翻訳装置が利用されている。

例えば、特許文献１には、音声認識手段と、機械翻訳手段と、音声合成手段と、発話検出手段と、音声出力手段とを備えた音声翻訳装置が開示されている。機械翻訳手段は、発話された文の全体を翻訳することにより翻訳文を生成し、音声出力手段は、発話文の全体に対応する当該翻訳文を音声合成により出力する。

特許第５７５０３８０号公報

しかしながら、発話文全体の翻訳処理には多くの処理時間を必要とし、更に、そのようにして出力された翻訳文は発話文全体に対応する長さを有しているため、聞き手が当該翻訳文を認知するために多くの時間を要することとなり、スムーズな会話の妨げになる。特に、聞き手がある程度話し手の言語を理解できる場合には、発話文全体を翻訳することによるこれらの問題は顕著となるため、聞き手が知らない語句だけを翻訳すれば、処理時間を短縮でき、翻訳機能を利用した会話として好ましい。

本発明は、かかる事情に鑑みてなされたものであり、異言語間のコミュニケーションを円滑に進めることを可能とする異言語間コミュニケーション支援装置及びシステムを提供することを目的とする。

本発明に係る異言語間コミュニケーション支援装置は、第１言語の語句及び該語句の訳語が互いに紐付けて登録された辞書を記憶する記憶部と、辞書に登録された第１言語の語句のうち訳出の対象とする語句の選択を受け付け、訳出の対象であることを示す訳出対象情報又は訳出の対象でないことを示す訳出非対象情報を第１言語の語句に紐付けて辞書に登録する登録部と、第１言語文字列を受け付ける第１言語文字列受付部と、第１言語の文字列から、辞書において訳出対象情報が登録された語句を抽出する抽出部と、抽出された語句の訳語を辞書から取得し、該訳語を出力する訳語出力部とを備えることを特徴とする。

本発明によれば、聞き手のレベルに応じて異言語間のコミュニケーションを円滑に進めることを可能とする異言語間コミュニケーション支援装置を提供することができる。

本発明の第１実施形態に係る異言語間コミュニケーション支援装置１０の機能上の構成を示すブロック図である。 辞書テーブルの一例を示す図である。 異言語間コミュニケーション支援装置１０による出力設定登録処理の動作フローの一例を示す図である。 出力設定選択画面７００の一例を示す図である。 異言語間コミュニケーション支援装置１０による翻訳処理の動作フローの一例を示す図である。 異言語間コミュニケーション支援装置１０による訳出の一例を示す図である。 異言語間コミュニケーション支援装置１０による訳出の一例を示す図である。 異言語間コミュニケーション支援装置１０による訳出の一例を示す図である。 異言語間コミュニケーション支援装置１０による訳出の一例を示す図である。 本発明の第２実施形態に係る異言語間コミュニケーション支援装置２０の機能上の構成を示すブロック図である。 辞書テーブルの他の一例を示す図である。 異言語間コミュニケーション支援装置２０による翻訳処理及び警告処理の動作フローの一例を示す図である。 異言語間コミュニケーション支援装置２０による訳語及び警告の出力の一例を示す図である。 異言語間コミュニケーション支援装置２０による訳語及び警告の出力の一例を示す図である。 異言語間コミュニケーション支援装置２０による訳語及び警告の出力の一例を示す図である。

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

［第１実施形態］
（１）異言語間コミュニケーション支援装置１０の構成
図１は、本発明の第１実施形態に係る異言語間コミュニケーション支援装置１０の機能上の構成を示すブロック図である。

異言語間コミュニケーション支援装置１０は、第１言語による発話を受け付け、当該発話に含まれる語句のうち訳出の対象として予め設定された語句について、所定の言語（第１言語、又は第１言語と異なる第２言語）によって表された訳語を出力することができる。そのために、異言語間コミュニケーション支援装置１０は、操作部１１と、音声入力部１２と、音声出力部１３と、表示部１４と、記憶部１５と、処理部１６とを備える。

操作部１１は、例えば、タッチパネルやキーボタン等で構成され、ユーザによる文字、数字、記号等の入力の操作を受け付け、当該操作に対応する信号を処理部１６に供給する。音声入力部１２は、例えば、一般的なマイクロフォン等で構成され、発話の音声を取得して音声信号に変換する。音声出力部１３は、例えば、一般的なスピーカ等で構成され、処理部１６から供給された音声信号に基づいた音声を生成する。表示部１４は、例えば、液晶ディスプレイや有機ＥＬ（Electro−Luminescence）ディスプレイ等で構成され、処理部１６から供給された表示データに基づいた画像等を表示する。なお、表示部１４及び音声出力部１６は、各ユーザが利用するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）等の少なくとも一のウェアラブル端末によって構成されていてもよい。

記憶部１５は、例えば、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備え、処理部１６での処理に用いられるコンピュータプログラム、データ等を記憶する。また、記憶部１５は、後述する辞書テーブルを記憶する。また、記憶部１５は、後述する異言語間コミュニケーション支援装置１０による訳語の出力設定を記憶する。

処理部１６は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部１６は、例えばＣＰＵであり、異言語間コミュニケーション支援装置１０の全体的な動作を統括的に制御する。処理部１６は、記憶部１５に記憶されているプログラム等に基づいて異言語間コミュニケーション支援装置１０の各種処理が適切な手順で実行されるように、操作部１１等の動作を制御する。処理部１６は、記憶部１５に記憶されているコンピュータプログラムに基づいて処理を実行する。

処理部１６は、後述する出力設定登録処理及び翻訳処理等を行う。そのために、処理部１６は、例えば、登録処理部１６１と、第１言語文字列受付部である音声受付処理部１６２及び音声認識処理部１６３と、語句抽出処理部１６４と、訳語出力処理部１６５とを備える。登録処理部１６１は、辞書テーブルの各種の設定の選択を受け付け、当該設定を辞書テーブルに登録する。音声受付処理部１６２は、翻訳対象となる発話者の発話に係る音声を受け付ける。音声認識処理部１６３は、受け付けた音声を認識し、当該音声に対応する文字列を生成する。語句抽出処理部１６４は、生成した文字列から、辞書テーブルにおいて訳出の対象である語句を抽出する。訳語出力処理部１６５は、訳出の対象である語句の訳語を、所定の方法により出力する。

図２は、記憶部１５に記憶された辞書テーブルの一例を示す図である。図２に示すとおり、辞書テーブルには、「語句」毎に、「訳語」、「タグ」、及び「訳出情報」等の情報が紐付けて登録されている。

「語句」は、異言語間コミュニケーション支援装置１０が翻訳を行う対象となる言語（第１言語）によって表現された、文中の要素を示す文字列（テキスト）情報である。当該語句は、例えば、一又は複数の単語から成る語句の他、形態素、構文、慣用句等、言語における任意の要素を含む。また、辞書テーブルには、同一の基準的語句から派生した活用形が異なる複数の語句が、別々の語句として登録されてもよい。図２に示す辞書テーブルでは、第１言語は英語である。しかしながら、第１言語は、英語に限らず、日本語、中国語、韓国語、フランス語、ドイツ語、スペイン語、ポルトガル語等の他の任意の言語（方言やスラング等を含む）であってもよい。

「訳語」は、語句に対応する訳語を示す文字列情報である。「訳語」は、上述した第１言語とは異なる言語（第２言語）によって表された訳語だけでなく、第１言語自体によって表された訳語を含んでもよい。図２に示す例では、「訳語」は、第２言語としての日本語によって表された訳語である「訳語（日本語）」と、第１言語としての英語によって表された訳語である「訳語（英語）」とを含む。例えば、「ａｂｓｏｌｕｔｅｌｙ」の語句に対応する「訳語（日本語）」は、「まったく」、「絶対に」、及び「実に」等を含み、「ａｂｓｏｌｕｔｅｌｙ」の語句に対応する「訳語（英語）」は、「ｖｅｒｙ」等を含む。なお、第１言語と同一の言語によって表された訳語は、例えば、語句の類義語、特に、難易度の低い類義語等を含んでもよい。

「タグ」は、所定の分類基準にしたがって語句を分類した場合の、当該語句が属するカテゴリーを示す情報である。図２に示す例では、「レベル」、「文法的機能」、及び「分野」の複数の「タグ」が示されている。「レベル」は、語句の難易度を示す情報である。図２に示す例では、周知の分類基準であるＪＡＣＥＴ８０００に基づいて、語句が「１」から「８」の段階に分類されている。例えば、「１」の段階に分類された語句は、単語を所定の難易度順に並べた場合の１番目から１０００番目のいずれかに該当する単語であり、「２」の段階に分類された語句は、１００１番目から２０００番目のいずれかに該当する単語である。「３」から「８」までの段階に分類された語句についても、同様に定義される。なお、語句の難易度を示す所定の分類基準は、ＪＡＣＥＴ８０００に限らず、例えば、周知の標準語彙水準１２０００（ＳＶＬ１２０００）、又はＷＬＣベース辞書等、その他任意の分類基準であってもよい。「文法的機能」は、当該語句が示す文法的な機能を示す情報であり、例えば、名詞、動詞、形容詞等の単語の品詞や、現在形、過去形等の時制等の、任意の文法的機能を含む。「分野」は、当該語句が表す物事が含まれるテーマを示す情報である。「分野」は、例えば、特定の専門家によって専ら使用される学術的なテーマなどの専門分野を含んでもよい。また、「分野」は、日常会話等における様々な話題に係る一般的なテーマを含んでもよい。なお、「タグ」は、上述した例に限らず、任意のタグを設定することができる。

「訳出情報」は、語句が異言語間コミュニケーション支援装置１０による訳出の対象であるか否かを示す情報である。ここで、訳出とは、当該語句の訳語を所定の方法により出力することをいい、例えば、訳語を表示部１４に表示すること、及び訳語を音声出力部１３から音声出力すること等を含む。図２に示すとおり、辞書テーブルの「訳出情報」の欄において、当該語句が訳出の対象であることを示す情報（訳出対象情報）は、「対象」として、当該語句が訳出の対象でないことを示す情報（訳出非対象情報）は、「非対象」としてそれぞれ表されている。なお、訳出対象情報は、更に、訳語を表示部１４に表示することにより訳出する対象であることを示す「対象（表示）」と、訳語を音声出力部１３から音声出力することにより訳出する対象であることを示す「対象（音声）」とを含んでもよい。また、訳出対象情報は、訳語を、表示部１４に表示すると共に、音声出力部１３から音声出力することにより訳出する対象であることを示す「対象（表示／音声）」を更に含んでもよい。

（２）異言語間コミュニケーション支援装置１０の動作
（２−１）出力設定登録処理
図３は、異言語間コミュニケーション支援装置１０による出力設定登録処理の動作フローの一例を示す図である。出力設定登録処理は、異言語間コミュニケーション支援装置１０による訳出に関する設定を登録するための処理である。

（ステップＳ１１）
まず、異言語間コミュニケーション支援装置１０の登録処理部１６１は、ユーザによって指定された出力設定を受け付ける。具体的には、登録処理部１６１は、記憶部１５に記憶された表示データに基づいて、表示部１４に出力設定選択画面を表示する。そして、ユーザが操作部１１を操作することにより出力設定選択画面において各項目を指定すると、登録処理部１６１は、指定された出力設定を受け付ける。

図４は、出力設定選択画面７００の一例を示す図である。出力設定選択画面７００は、原文出力設定領域７０１と、翻訳出力設定領域７０２と、テストスコア設定領域７０３を含む。

原文出力設定領域７０１は、異言語間コミュニケーション支援装置１０に入力される音声（入力音声）の表示部１４への表示に関する設定を行うための領域であり、例えば、「原文の表示出力」の項目７０１ａと、「翻訳箇所の強調表示」の項目７０１ｂとを含む。「原文の表示出力」の項目７０１ａでは、入力音声に対応する文字列を表示部１４に表示するか否かを選択することができる。「翻訳箇所の強調表示」の項目７０１ｂでは、表示部１４に表示される入力音声に対応する文字列のうち、訳出対象の語句に対応する文字列を強調表示するか否かを選択することができる。

翻訳出力設定領域７０２は、例えば、訳語の音声出力部１３からの音声出力に関する設定を行うための「（１）音声出力」の領域７０２ａ、及び訳語の表示部１４への表示に関する設定を行うための「（２）表示出力」の領域７０２ｂを含む。「（１）音声出力」の領域７０２ａでは、日本語又は英語の訳語を音声出力部１３から音声出力するか否かを選択することができると共に、当該音声出力の対象となる語句を、辞書テーブルにおけるタグ（レベル、文法的機能、及び分野等）によって選択することができる。「（２）表示出力」の領域７０２ｂでは、日本語又は英語の訳語を表示部１４に表示するか否かを選択することができると共に、当該表示の対象となる語句を、辞書テーブルにおけるタグ（レベル、文法的機能、及び分野等）によって選択することができる。なお、翻訳出力設定領域７０２では、訳出の対象となる語句を個別に選択することができてもよい。

テストスコア設定領域７０３は、例えば、外部テストスコアの読み込みを選択するためのアイコン７０３ａと、テストを受けることを選択するためのアイコン７０３ｂとを含む。登録処理部１６１は、ユーザがアイコン７０３ａを選択した場合、予めユーザが受けた外部の英語テストのスコアを読み込む。具体的には、登録処理部１６１は、アイコン７０３ａが選択されると、外部のテスト機関等が保有する情報処理装置にアクセスし、当該情報処理装置に記憶されたテストスコアを取得する。そして、登録処理部１６１は、取得したテストスコアに基づいて、当該ユーザの英語レベルを判定する。また、登録処理部１６１は、ユーザがアイコン７０３ｂを選択した場合、ＣＡＴ（Ｃｏｍｐｕｔｅｒ Ａｄａｐｔｉｖｅ Ｔｅｓｔ）等の英語テストを実施する。具体的には、登録処理部１６１は、アイコン７０３ｂが選択されると、表示部１４にＣＡＴ等の英語テストの問題を順次表示する。そして、登録処理部１６１は、ユーザが操作部１１を操作することにより入力した回答を受け付ける。そして、登録処理部１６１は、英語テストが終了すると、テストスコアを算出した上で、当該ユーザの英語レベルを判定する。

（ステップＳ１２）
次に、登録処理部１６１は、ステップＳ１１で受け付けた出力設定を、記憶部１５に記憶する。具体的には、出力設定に係る各種の項目を記憶部１５に記憶すると共に、翻訳出力設定領域７０２において選択されたタグを有する語句について、辞書テーブルに登録された訳出情報を、訳出の対象であることを示す訳出対象情報に更新する。なお、登録処理部１６１は、上述した外部の英語テストのスコアが読み込まれることにより当該ユーザの英語レベルが判定された場合、当該英語レベル以上の語句について、辞書テーブルに登録された訳出情報を、訳出の対象であることを示す訳出対象情報に更新する。また、登録処理部１６１は、上述した英語テストが実施されることにより当該ユーザの英語レベルが判定された場合、当該英語レベル以上の語句について、辞書テーブルに登録された訳出情報を、訳出の対象であることを示す訳出対象情報に更新する。以上で、出力設定登録処理が終了する。

（２−２）翻訳処理
図５は、異言語間コミュニケーション支援装置１０による翻訳処理の動作フローの一例を示す図である。

（ステップＳ２１）
まず、英語話者が英語による発話を行うと、音声受付処理部１６２は、音声入力部１２を介して当該発話に係る音声を受け付ける。具体的には、例えば、図６に示すとおり、英語話者が英語によって「Ｉ ａｂｓｏｌｕｔｅｌｙ ｆｅｅｌ ｔｈａｔ ｕｒｂａｎ ｌｉｆｅｓｔｙｌｅ ｉｓ ｐｒｅｆｅｒａｂｌｅ．」との発話１０１を行う。そして、音声入力部１２が当該発話１０１の音声を音声信号に変換すると、音声受付処理部１６２は、音声入力部１２から当該音声信号を受信する。

（ステップＳ２２）
次に、音声認識処理部１６３は、音声受付処理部１６２が受け付けた音声を音声認識処理によって認識し、当該音声に対応する文字列を生成する。図６に示す例では、音声認識処理部１６３は、発話１０１に対応する文字列「Ｉ ａｂｓｏｌｕｔｅｌｙ ｆｅｅｌ ｔｈａｔ ｕｒｂａｎ ｌｉｆｅｓｔｙｌｅ ｉｓ ｐｒｅｆｅｒａｂｌｅ．」を生成する。

このとき、例えば、音声認識処理部１６３は、隠れマルコフモデル（ＨＭＭ）を用いて、音声受付処理部１６２が音声入力部１２から受信した音声信号の波形と所定の音響モデルとのマッチングを行う方式によって音声認識処理を実行してもよい。或いは、音声認識処理部１６３は、音響モデルとのマッチングに加えて、文法的観点に基づく語句のつながりの確率を反映した言語モデルとのマッチングを行う方式によって音声認識処理を実行してもよい。しかしながら、音声認識処理は、これらの方式に限られず、任意の方式によって実行されてもよい。

（ステップＳ２３）
次に、語句抽出処理部１６４は、記憶部１５に記憶された辞書テーブルを参照し、生成された文字列から、辞書テーブルにおいて訳出対象情報が登録された語句を抽出する。

ここで、上述した出力設定登録処理の結果、辞書テーブルは、図２に示すとおり、「レベル」のタグが「５」以上である語句に訳出対象情報が登録されているものとする。すなわち、「レベル」のタグが「５」以上である語句が、異言語間コミュニケーション支援装置１０による訳出の対象であるものとする。そして、図２を参照すると、当該発話１０１に含まれる「Ｉ」のレベルは「１」、「ａｂｓｏｌｕｔｅｌｙ」のレベルは「２」、「ｆｅｅｌ」のレベルは「２」、「ｔｈａｔ」のレベルは「１」、「ｕｒｂａｎ」のレベルは「５」、「ｌｉｆｅｓｔｙｌｅ」のレベルは「３」、「ｉｓ」のレベルは「１」、「ｐｒｅｆｅｒａｂｌｅ」のレベルは「６」である。以上より、上述した発話１０１に対応する文字列のうち、レベルが「５」以上である「ｕｒｂａｎ」及び「ｐｒｅｆｅｒａｂｌｅ」の語句が、訳出の対象となる。

（ステップＳ２４）
次に、訳語出力処理部１６５は、記憶部１５に記憶された辞書テーブルを参照し、上述した出力設定登録処理において設定された内容に応じて、抽出された語句の訳語を出力することにより、翻訳処理が終了する。訳語の出力のタイミングは、例えば、発話１０１の途中、又は発話１０１の終了後のいずれであってもよい。以下では、図６〜図９を用いて、異言語間コミュニケーション支援装置１０による訳出の種々の態様について説明する。なお、図６〜図９に示す態様は、あくまで一例であって、異言語間コミュニケーション支援装置１０による訳出の態様はこれらには限られない。

図６に示す例では、異言語間コミュニケーション支援装置１０は、訳語に対応する音声を合成することにより、訳語を音声出力部１３から音声出力する。具体的には、異言語間コミュニケーション支援装置１０は、英語話者による発話１０１を受け付けると、訳出の対象である「ｕｒｂａｎ」の語句に対応する訳語「都会の」の音声２０１を音声出力部１３から音声出力する。更に、異言語間コミュニケーション支援装置１０は、訳出の対象である「ｐｒｅｆｅｒａｂｌｅ」の語句に対応する訳語「好ましい」の音声２０２を音声出力部１３から音声出力する。なお、音声を出力するタイミングは、例えば、発話１０１の途中、及び発話１０１の終了後のいずれであってもよい。

図７に示す例では、異言語間コミュニケーション支援装置１０は、訳語に対応する文字列を表示部１４の翻訳表示領域３００に表示し、更に、入力音声に対応する文字列を原文表示領域４００に表示する。具体的には、異言語間コミュニケーション支援装置１０は、英語話者による発話１０１を受け付けると、訳出の対象である「ｕｒｂａｎ」の語句に対応する訳語「都会の」の文字列３０１を表示部１４の翻訳表示領域３００に表示する。更に、異言語間コミュニケーション支援装置１０は、訳出の対象である「ｐｒｅｆｅｒａｂｌｅ」の語句に対応する訳語「好ましい」の文字列３０２を表示部１４の翻訳表示領域３００に表示する。また、異言語間コミュニケーション支援装置１０は、入力音声に対応する文字列「Ｉ ａｂｓｏｌｕｔｅｌｙ ｆｅｅｌ ｔｈａｔ ｕｒｂａｎ ｌｉｆｅｓｔｙｌｅ ｉｓ ｐｒｅｆｅｒａｂｌｅ．」を、表示部１４の原文表示領域４００に表示する。更に、異言語間コミュニケーション支援装置１０は、入力音声に対応する当該文字列に重ねて、訳出の対象である「ｕｒｂａｎ」の文字列を囲う強調表示のための枠４０１と、訳出の対象である「ｐｒｅｆｅｒａｂｌｅ」の文字列を囲う強調表示のための枠４０２とを表示する。なお、強調表示の態様は、枠に限らず、当該文字に下線（実線、二重線、波線、点線等）を施す態様、当該文字の色を他の文字と異なる色とする態様、当該文字のサイズを変更する（大きく又は小さくする）態様、当該文字を動かす態様等、任意の態様であってよい。

図８に示す例では、異言語間コミュニケーション支援装置１０は、訳語を、入力音声の言語と同一の言語によって表示する。具体的には、異言語間コミュニケーション支援装置１０は、訳出の対象である「ｕｒｂａｎ」の語句に対応する英語で表された訳語「ｔｏｗｎ」の文字列３０２と、訳出の対象である「ｐｒｅｆｅｒａｂｌｅ」の語句に対応する英語で表された訳語「ｂｅｔｔｅｒ」の文字列３０４とを、表示部１４の翻訳表示領域３００に表示する。

図９に示す例では、異言語間コミュニケーション支援装置１０は、辞書テーブルに登録された訳出対象情報の種類に応じて、音声出力と表示出力とに分けて訳語を出力する。具体的には、辞書テーブルにおいて、「ｕｒｂａｎ」及び「ｐｒｅｆｅｒａｂｌｅ」の語句に登録された訳出情報が「対象（音声）」であり、「ａｂｓｏｌｕｔｅｌｙ」及び「ｆｅｅｌ」の語句に登録された訳出情報が「対象（表示）」であるものとする。このとき、図８に示すとおり、異言語間コミュニケーション支援装置１０は、英語話者による発話１０１を受け付けると、「ｕｒｂａｎ」の語句に対応する訳語「都会の」の音声２０１、及び「ｐｒｅｆｅｒａｂｌｅ」の語句に対応する訳語「好ましい」の音声２０２を音声出力部１３から音声出力する。更に、異言語間コミュニケーション支援装置１０は、「ａｂｓｏｌｕｔｅｌｙ」の語句に対応する訳語「絶対に」の文字列３０５と、「ｆｅｅｌ」の語句に対応する訳語「と感じます」の文字列３０６とを、表示部１４の翻訳表示領域３００に表示する。

以上のとおり、上述した本発明の実施形態に係る異言語間コミュニケーション支援装置１０では、第１言語の語句及び該語句の訳語が互いに紐付けて登録された辞書テーブルを記憶する記憶部１５と、辞書テーブルに登録された第１言語の語句のうち訳出の対象とする語句の選択を受け付け、訳出の対象か否かを示す訳出情報を第１言語の語句に紐付けて辞書テーブルに登録する登録処理部１６１とを備える。そのため、ユーザは、設定したタグに基づいて、訳出の対象となる語句を選択することが可能となる。したがって、異言語間コミュニケーション支援装置１０はユーザが訳出を希望する語句の訳語のみを出力することとなるため、異言語間コミュニケーション支援装置１０によって、異言語間の会話を円滑に進めることが可能となる。

［第２実施形態］
次に、本発明の第２実施形態に係る異言語間コミュニケーション支援装置２０について説明する。異言語間コミュニケーション支援装置２０は、上述した異言語間コミュニケーション支援装置１０が備える機能に加えて、第１言語による発話の内容に応じて、所定の警告を出力する機能を備える。すなわち、異言語間コミュニケーション支援装置２０は、第１言語による発話を受け付け、当該発話に含まれる語句のうち警告の対象として予め設定された語句について、所定の警告を出力することができる。以下では、異言語間コミュニケーション支援装置２０のうち、上述した第１実施形態に係る異言語間コミュニケーション支援装置１０と異なる部分について説明し、異言語間コミュニケーション支援装置１０と同一の部分については適宜説明を省略する。

図１０は、本発明の第２実施形態に係る異言語間コミュニケーション支援装置２０の機能上の構成を示すブロック図である。図１０に示すとおり、異言語間コミュニケーション支援装置２０が備える処理部１６は、警告出力処理部１６６を更に備える。

異言語間コミュニケーション支援装置２０において、記憶部１５が記憶している辞書テーブルは、図１１に示すとおり、更に「警告情報」が登録されている。ここで、「警告情報」は、語句が異言語間コミュニケーション支援装置２０による警告の対象であるか否かを示す情報である。図１１に示すとおり、辞書テーブルの「警告情報」の欄において、当該語句が警告の対象であることを示す情報（警告対象情報）は、「対象」として、当該語句が警告の対象でないことを示す情報（警告非対象情報）は、「非対象」としてそれぞれ表されている。

なお、警告対象情報は、更に、警告を表示部１４に表示する対象であることを示す「対象（表示）」と、警告を音声出力部１３から音声出力する対象であることを示す「対象（音声）」とを含んでもよい。また、警告対象情報は、警告を、表示部１４に表示すると共に、音声出力部１３から音声出力する対象であることを示す「対象（表示／音声）」を更に含んでもよい。

異言語間コミュニケーション支援装置２０が備える登録処理部１６１は、辞書テーブルについて、上述した訳出情報（訳出対象情報又は訳出非対象情報）の登録処理に準じて、上述した警告情報（警告対象情報又は警告非対象情報）を登録する。

異言語間コミュニケーション支援装置２０が備える語句抽出処理部１６４は、辞書テーブルにおいて訳出の対象である語句を抽出する他、警告の対象である語句を抽出する。

ここで、図１２を参照して、異言語間コミュニケーション支援装置２０による翻訳及び警告処理の動作フローについて説明する。
（ステップＳ３１）
まず、英語話者が英語による発話を行うと、音声受付処理部１６２は、音声入力部１２を介して当該発話に係る音声を受け付ける。具体的には、例えば、図１３に示すとおり、英語話者が英語によって「Ｉ ａｂｓｏｌｕｔｅｌｙ ｆｅｅｌ ｔｈａｔ ｕｒｂａｎ ｌｉｆｅｓｔｙｌｅ ｉｓ ｐｒｅｆｅｒａｂｌｅ．」との発話１０１を行う。そして、音声入力部１２が当該発話１０１の音声を音声信号に変換すると、音声受付処理部１６２は、音声入力部１２から当該音声信号を受信する。

（ステップＳ３２）
次に、音声認識処理部１６３は、音声受付処理部１６２が受け付けた音声を音声認識処理によって認識し、当該音声に対応する文字列を生成する。図１３に示す例では、音声認識処理部１６３は、発話１０１に対応する文字列「Ｉ ａｂｓｏｌｕｔｅｌｙ ｆｅｅｌ ｔｈａｔ ｕｒｂａｎ ｌｉｆｅｓｔｙｌｅ ｉｓ ｐｒｅｆｅｒａｂｌｅ．」を生成する。

（ステップＳ３３）
次に、語句抽出処理部１６４は、記憶部１５に記憶された辞書テーブルを参照し、生成された文字列から、辞書テーブルにおいて訳出対象情報が登録された語句及び警告対象情報が登録された語句をそれぞれ抽出する。

ここで、上述した出力設定登録処理の結果、辞書テーブルは、図１１に示すとおり、「レベル」のタグが「５」以上である語句に訳出対象情報が登録されているものとする。更に、辞書テーブルは、図１１に示すとおり、「レベル」のタグが「６」以上である語句に警告対象情報が登録されているものとする。

（ステップＳ３４）
次に、警告出力処理部１６６は、語句抽出処理部１６４によって、辞書テーブルにおいて警告対象情報が登録された語句が抽出された場合、所定の警告を出力する。例えば、警告出力処理部１６６は、所定の警告メッセージに対応する音声を合成することにより、警告を音声出力部１３から音声出力する。所定の警告メッセージの内容は特に限定されないが、話者に対して、当該話者が使用している語句のレベルが高いことを明示又は示唆する内容であってもよい。所定の警告メッセージは、上述した出力設定登録処理において設定された内容に応じて、警告対象情報が登録された語を含んでもよい。図１３の例では、発話１０１は、警告対象情報が登録された「ｐｒｅｆｅｒａｂｌｅ」の語を含むため、警告出力処理部１６６は、「Ｐｌｅａｓｅ ｄｏｎ'ｔ ｕｓｅ “ｐｒｅｆｅｒａｂｌｅ”．」との警告メッセージ５００を音声出力する。

（ステップＳ３５）
次に、訳語出力処理部１６５は、記憶部１５に記憶された辞書テーブルを参照し、上述した出力設定登録処理において設定された内容に応じて、抽出された語句の訳語を出力する。訳語の出力のタイミングは、例えば、発話１０１の途中、又は発話１０１の終了後のいずれであってもよい。上述のとおり、ステップＳ３４の警告の出力を、ステップＳ３５の訳語の出力に先立って処理することにより、ユーザに対するレスポンスの速度が向上する。しかしながら、警告及び翻訳の出力は同時に行ってもよく、或いは、翻訳の処理を警告の処理に先立って行ってもよい。以上で、異言語間コミュニケーション支援装置２０による翻訳及び警告処理の動作フローが終了する。

図１４は、異言語間コミュニケーション支援装置２０による警告の他の態様を説明するための図である。異言語間コミュニケーション支援装置２０は、警告メッセージを表示部１４に表示してもよい。図１４に示すとおり、異言語間コミュニケーション支援装置２０は、「Ｐｌｅａｓｅ ｄｏｎ'ｔ ｕｓｅ “ｐｒｅｆｅｒａｂｌｅ”．」との警告メッセージ６０１を、警告表示領域６００に表示してもよい。図１４に示すとおり、警告メッセージ６０１は、警告対象情報が登録された語句「ｐｒｅｆｅｒａｂｌｅ」を含んでもよい。

図１５は、異言語間コミュニケーション支援装置２０による警告の更に他の態様を説明するための図である。異言語間コミュニケーション支援装置２０は、例えば図１５に示すとおり、原文表示領域４００に表示された入力音声に対応する文字列「Ｉ ａｂｓｏｌｕｔｅｌｙ ｆｅｅｌ ｔｈａｔ ｕｒｂａｎ ｌｉｆｅｓｔｙｌｅ ｉｓ ｐｒｅｆｅｒａｂｌｅ．」に重ねて、所定の警告を表示してもよい。異言語間コミュニケーション支援装置２０は、例えば図１５に示すとおり、所定の警告メッセージ６０２として、警告対象情報が登録された語句である「ｐｒｅｆｅｒａｂｌｅ」の文字列から伸びた矢印及び「Ｄｉｆｆｉｃｕｌｔ Ｔｅｒｍ！！」との文字列を表示してもよい。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。また、各処理ステップ間に他のステップを追加してもよい。また、１ステップとして記載されているステップを、複数ステップに分けて実行してもよいし、複数ステップに分けて記載されているものを、１ステップとして把握することもできる。

［変形例］
異言語間コミュニケーション支援装置１０又は２０は、会話中に聞き手が聞き直した語句については、聞き手が知らない語句であると判断し、辞書テーブルに登録された当該語句に係る訳出情報を訳出対象情報に更新してもよい。そのために、異言語間コミュニケーション支援装置１０又は２０は、例えば、音声受付部（音声受付処理部）が受け付けた音声が質問か否かを判定する質問判定部（質問判定処理部）と、質問であると判定された音声に含まれる語句について、辞書テーブルに登録された当該語句に係る訳出情報が訳出の対象でないことを示す訳出非対象情報である場合、当該訳出情報を訳出対象情報に更新する更新部（更新処理部）とを含んでもよい。質問判定部は、例えば、音声受付部が受け付けた音声に係る音の高さの変化率が所定の閾値を超えた場合、当該音声が質問であると判定してもよい。或いは、質問判定部は、音声認識部（音声認識処理部）が生成した音声に対応する文字列に所定のキーワード（「何（なに）」、「どういう」、「意味」、「エクスキューズミー」、「パードゥン」等）が含まれる場合に、当該音声が質問であると判定してもよい。

異言語間コミュニケーション支援装置１０又は２０は、辞書テーブルにおける訳出情報（訳出対象情報又は訳出非対象情報）の変更を、音声を介して行ってもよい。そのために、異言語間コミュニケーション支援装置１０又は２０が備える登録部（登録処理部）は、音声認識部（音声認識処理部）が生成した音声に対応する文字列に、辞書テーブルに記憶された語句が含まれる場合、当該語句の訳出情報を変更してもよい。

異言語間コミュニケーション支援装置１０又は２０は、会話中の話題を分析し、会話中等に語句の訳出情報を変更して辞書テーブルを更新してもよい。そのために、異言語間コミュニケーション支援装置１０又は２０は、会話中に音声認識部（音声認識処理部）が生成した文字列に所定の語句が含まれるか否かを判定する判定部と、当該判定部が所定の語句が含まれるとの判定を所定の回数だけ行った場合に、辞書テーブルにおける当該語句の訳出情報を訳出対象情報に変更する更新部とを備えてもよい。

異言語間コミュニケーション支援装置１０又は２０は、会話又は講演等の最中において、ユーザが知らない語句等を聞いた場合に、当該語句を指定して、指定された語句についてはその後、訳出（表示又は音声出力等）を行うようにしてもよい。そのために、異言語間コミュニケーション支援装置１０又は２０は、訳語出力部（訳語出力処理部）によって表示部に表示された第１言語の文字列のうち、少なくとも一の語句の指定を受け付ける受付部と、受け付けた指定に係る少なくとも一の語句について、辞書テーブルの訳出情報を更新する更新部とを備えてもよい。

異言語間コミュニケーション支援装置１０又は２０は、スマートフォンや翻訳専用装置等の任意のデバイスに実装されてもよい。また、異言語間コミュニケーション支援装置１０又は２０は、眼鏡型、イヤホン型、補聴器型等の任意の形状のウェエアラブルなデバイスに実装されてもよい。また、異言語間コミュニケーション支援装置１０又は２０は、テレビ、ラジオ等に実装されてもよい。

本実施形態に係る異言語間コミュニケーションシステムが備える各構成は、単一のデバイスではなく、話者が利用するデバイス、聞き手が利用するデバイス、及び話者と聞き手とが共用するデバイス等の複数のデバイスに分散して実装されてもよい。そして、例えば、話者が利用するスマートフォンやＨＭＤその他のデバイスには警告が表示され、聞き手が利用するスマートフォンやＨＭＤその他のデバイスには翻訳や原文が表示されるように構成されていてもよい。

本実施形態に係る異言語間コミュニケーション支援装置は、異言語間コミュニケーションを翻訳という観点で捉えると、翻訳装置として把握することが可能である。

１０、２０…異言語間コミュニケーション支援装置、１１…操作部、１２…音声入力部、１３…音声出力部、１４…表示部、１５…記憶部、１６…処理部、１６１…登録処理部、１６２…音声受付処理部、１６３…音声認識処理部、１６４…語句抽出処理部、１６５…訳語出力処理部、１６６…警告出力処理部

Claims (15)

1. 第１言語の語句及び該語句の訳語が互いに紐付けて登録された辞書を記憶する記憶部と、
   前記辞書に登録された前記第１言語の語句のうち訳出の対象とする語句の選択を受け付け、訳出の対象であることを示す訳出対象情報又は訳出の対象でないことを示す訳出非対象情報を前記第１言語の語句に紐付けて前記辞書に登録する登録部と、
   第１言語の文字列を受け付ける第１言語文字列受付部と、
   前記第１言語の文字列から、前記辞書において前記訳出対象情報が登録された語句を抽出する抽出部と、
   抽出された前記語句の訳語を前記辞書から取得し、該訳語を出力し、且つ前記第１言語文字列受付部が受け付けた前記第１言語の文字列を表示する訳語出力部と、
   前記訳語出力部が表示した前記第１言語の文字列のうち、少なくとも一の語句の指定を受け付ける受付部と、
   受け付けた指定に係る前記少なくとも一の語句に紐付けて前記辞書に登録された前記訳出非対象情報を、前記訳出対象情報に更新する更新部と、
   を備える異言語間コミュニケーション支援システム。
2. 前記第１言語文字列受付部は、
   第１言語の音声を受け付ける音声受付部と、
   受け付けた前記第１言語の音声を認識し、該音声に対応する第１言語の文字列を生成する音声認識部と、を備える、請求項１に記載の異言語間コミュニケーション支援システ
   ム。
3. 前記訳語出力部は、取得された前記訳語に対応する音声を合成することにより、前記取得された訳語を出力する、請求項１又は２に記載の異言語間コミュニケーション支援システム。
4. 前記訳語出力部は、取得された前記訳語の文字列を表示することにより、前記取得された訳語を出力する、請求項１から３のいずれか一項に記載の異言語間コミュニケーション支援システム。
5. 前記訳語出力部は、前記抽出部が抽出した語句に対応する文字列を強調して、前記第１言語文字列受付部が受け付けた前記第１言語の文字列を更に表示する、請求項１に記載の異言語間コミュニケーション支援システム。
6. 前記辞書には、前記第１言語の語句毎に、所定の分類基準にしたがったカテゴリーが更に登録されている、請求項１から５のいずれか一項に記載の異言語間コミュニケーション支援システム。
7. 前記登録部は、一のカテゴリーの選択を受け付け、前記訳出対象情報を、前記辞書において該一のカテゴリーが登録された語句に紐付けて前記辞書に登録する、請求項６に記載の異言語間コミュニケーション支援システム。
8. 前記訳語出力部は、前記取得された訳語のうち、
   前記辞書において第１のカテゴリーが登録された訳語について、該訳語に対応する音声を合成し、
   前記辞書において第２のカテゴリーが登録された訳語について、該訳語の文字列を表示することにより、
   前記取得された訳語を出力する、請求項６又は７に記載の異言語間コミュニケーション支援システム。
9. 前記所定の分類基準は、難易度、文法的機能、又は分野である、請求項６から８のいずれか一項に記載の異言語間コミュニケーション支援システム。
10. 眼鏡型端末である、請求項１から９のいずれか一項に記載の異言語間コミュニケーション支援システム。
11. 前記辞書に登録された前記訳語の言語は、第１言語、又は第１言語とは異なる第２言語である、請求項１から１０のいずれか一項に記載の異言語間コミュニケーション支援システム。
12. 前記登録部は、更に、前記辞書に登録された前記第１言語の語句のうち警告の対象とする語句の選択を受け付け、警告の対象であることを示す警告対象情報又は警告の対象でないことを示す警告非対象情報を前記第１言語の語句に紐付けて前記辞書に登録し、
    前記抽出部は、更に、前記第１言語の文字列から、前記辞書において前記警告対象情報が登録された語句を抽出し、
    前記異言語間コミュニケーション支援は、更に、前記辞書において前記警告対象情報が登録された前記語句を前記抽出部が抽出した場合に、所定の警告を出力する警告出力部を備える、請求項１から１１までのいずれか一項に記載の異言語間コミュニケーション支援システム。
13. 前記警告出力部は、所定の警告メッセージに対応する音声を合成することにより、前記所定の警告を出力する、請求項１２に記載の異言語間コミュニケーション支援システム。
14. 前記警告出力部は、所定の警告メッセージを表示することにより、前記所定の警告を出力する、請求項１２又は１３に記載の異言語間コミュニケーション支援システム。
15. 第１言語の語句及び該語句の訳語が互いに紐付けて登録された辞書を記憶する記憶部と、
    前記辞書に登録された前記第１言語の語句のうち訳出の対象とする語句の選択を受け付け、訳出の対象であることを示す訳出対象情報又は訳出の対象でないことを示す訳出非対象情報を前記第１言語の語句に紐付けて前記辞書に登録する登録部と、
    第１言語の文字列を受け付ける第１言語文字列受付部と、
    前記第１言語の文字列から、前記辞書において前記訳出対象情報が登録された語句を抽出する抽出部と、
    抽出された前記語句の訳語を前記辞書から取得し、該訳語を出力し、且つ前記第１言語文字列受付部が受け付けた前記第１言語の文字列を表示する訳語出力部と、
    前記訳語出力部が表示した前記第１言語の文字列のうち、少なくとも一の語句の指定を受け付ける受付部と、
    受け付けた指定に係る前記少なくとも一の語句に紐付けて前記辞書に登録された前記訳出非対象情報を、前記訳出対象情報に更新する更新部と、
    を備える異言語間コミュニケーション支援装置。

Images