JP4745036B2 - 音声翻訳装置および音声翻訳方法 - Google Patents

Description

本発明は、話者によって発話された原言語音声を目的言語音声に翻訳する音声翻訳装置に関する。

従来より、話者によって発話された原言語音声を取得し、その音声を目的言語音声に翻訳して出力する音声翻訳装置が提案されている（例えば、特許文献１参照。）。

上記特許文献１の音声翻訳装置は、原言語音声の音響的特徴の一部であるプロソディと言語表現の組み合わせを考慮した翻訳テーブルを用いることにより、原言語音声のプロソディの強調箇所やプロソディの区切り箇所により表現される意味を、目的言語音声のプロソディの強調箇所やプロソディの区切り箇所に反映させる。また、この音声翻訳装置は、目的言語音声を、上述のように原言語音声のプロソディで表現される意味に応じた言語表現にする。

その結果、原言語音声のプロソディの強調箇所の区別、あるいは、プロソディの区切り箇所の区別により表現される意味の違いが、目的言語音声での適切なプロソディ強調箇所の区別に反映されたり、言語表現の訳し分けに反映されたりする。これにより、精度の高い音声翻訳が行なわれる。

言い換えれば、上記特許文献１の音声翻訳装置は、言語表現とプロソディ的特徴の組み合わせを考慮して原言語音声が表現する文意を特定し、目的言語でその文意が適切に表現されるよう、言語表現とプロソディ的特徴を決定して音声合成することで、原言語での文意を正確に翻訳しようとしている。
特開２００１−１１７９２２号公報

しかしながら、上記特許文献１の音声翻訳装置では、原言語音声に含まれる話者の感情および意図を聴取者に適切に伝えることができないという問題がある。例えば、この音声翻訳装置では、話者が丁寧な言語表現で皮肉を込めて原言語音声を発話しても、丁寧な言語表現の目的言語音声にしか翻訳することができず、その話者の意図する皮肉やその感情を聴取者に適切に伝えることができない。

また、上記特許文献１の音声翻訳装置では、対訳文例あるいは対訳の構文（言語表現）と、プロソディ的特徴の現れる位置との組み合わせテーブルに基づいて、原言語音声の文意を目的言語の文意に翻訳するので、言語表現とプロソディ的特徴のあらゆる組み合わせを考慮する必要があり、上述のテーブルの構築が非常に困難であるという課題を有す。

さらに、上記特許文献１の音声翻訳装置では、言語表現とプロソディ情報の組み合わせで表現される感情および意図の情報を直接取り扱う構成をとっていないため、原言語音声から目的言語音声へと翻訳する際に、目的言語として出力できる翻訳文の表現の自由度に制限があるという課題を有している。

この課題について例を挙げて説明する。お客として招いた人（名前をトム(Tom)さんとする）に対して、用意してあったケーキを勧める場合の丁寧な発話として、日本語では例えば「ケーキはいかがですか？」がある。「いかがですか」という謙譲的な表現をもちいることで、丁寧さを表現しているが、これは、丁寧さは主に人間の上下関係において意識されるという日本語の慣習によるものである。一方、同じ状況での丁寧な発話として、英語では例えば「Eat the cake, Tom.」という。日本語の感覚で解釈すると命令的であり丁寧さが表現されているとは考えにくいが、英語では、相手の名前の呼びかけを伴い、かつ、相手に利益を与える状況で率直でシンプルな表現（ここでは命令形）を使うことで丁寧さが表現されるからである。これは、英語において丁寧さは親しみを表現することで意図されるという英語の慣習によるものである。

ここで、日本語の発話「ケーキはいかがですか？」から、英語の発話「Eat the cake, Tom.」へと、日本語の発話で意図された「丁寧さ」を伝えるように翻訳することを考える。‘Tom’（トム）という固有名詞（名前）は日本語の発話には存在しないが、これは、日本語での会話において、頻繁に相手の名前を呼びかける習慣がないためであって、日本語の発話として不自然な（不十分な）表現ということではない。特許文献１の翻訳テーブルを用いた音声翻訳装置では、言語表現とプロソディ情報の組み合わせが等価である対訳例を選んで翻訳を行うので、このように原言語にない内容を補うような翻訳は不可能である。また、特許文献１の音声翻訳装置を用いて、固有名詞（名前）を含まない英語の翻訳結果が得られたとしても、日本語の話者が意図した「丁寧さ」が失われる。

このように、発話の意図および感情のレベルでの情報伝達を考えた場合には、言語間での意図および感情の表現の考え方の違いを考慮に入れた翻訳文生成が必要であるが、特許文献１の音声翻訳装置には翻訳文生成の自由度に制限ある。

本発明は、かかる問題に鑑みてなされたものであり、原言語音声に含まれる話者の感情および意図を目的言語音声で聴取者に適切に伝えることができる音声翻訳装置を提供することを目的とする。

上記目的を達成するために、本発明に係る音声翻訳装置は、話者によって発話された第１言語の音声を第２言語の音声に翻訳する音声翻訳装置であって、前記第１言語の音声を取得する音声取得手段と、前記音声取得手段によって取得された第１言語の音声に含まれる前記話者の感情および意図のうち少なくとも１つを感情意図として特定する感情意図特定手段と、第２言語の音声ごとに、当該音声の言語属性を示す第２言語属性情報と、当該音声の音響的特徴を示す第２音響特徴情報と、当該音声に含まれる感情および意図のうち少なくとも１つを示す第２感情意図情報とを関連付けて記憶している第２記憶手段と、前記音声取得手段によって取得された第１言語の音声を認識して、前記認識結果に類似する第２言語の複数のテキストを生成する翻訳手段と、前記翻訳手段により生成された第２言語の複数のテキストから、当該テキストの言語属性および前記感情意図特定手段により特定された感情意図が、前記第２記憶手段に記憶されている第２言語の何れかの音声に対する第２言語属性情報および第２感情意図情報の内容に近いテキストを検索するテキスト検索手段と、前記第２記憶手段に記憶されている第２音響特徴情報のうち、前記テキスト検索手段により検索されたテキストの言語属性および前記感情意図特定手段により特定された感情意図に近い内容を示す第２言語属性情報および第２感情意図情報に関連付けられている第２音響特徴情報を取得する音響特徴情報取得手段と、前記テキスト検索手段により検索されたテキストに対して音声合成を行なって、前記音響特徴情報取得手段により取得された第２音響特徴情報の示す音響的特徴を含む第２言語の合成音声を出力する合成出力手段とを備えることを特徴とする。

これにより、第１言語の音声の意味内容に類似する第２言語の複数のテキストから、そのテキストの言語属性と第１言語の音声に含まれる感情意図とが、第２記憶手段の何れかの音声の第２言語属性情報および第２感情意図情報の内容に近いテキストが検索されるため、第１言語の音声に含まれる感情意図を聴取者に伝えるのにふさわしい言語属性を有する第２言語のテキストを見つけ出すことができる。さらに、前記第２記憶手段に記憶されている音響特徴情報のうち、上述のように検索されたテキストの言語属性と第１言語の音声に含まれる感情意図とに近い内容を示す第２言語属性情報および第２感情意図情報に関連付けられている音響特徴情報が取得されるため、その検索されたテキストに対して、第１言語の音声に含まれる感情意図を聴取者に伝えるのにふさわしい音響特徴情報を取得することができる。そして、その音響特徴情報の示す音響的特徴が、検索された第２言語のテキストの合成音声に反映されるため、原言語たる第１言語の音声に含まれる話者の感情および意図を、目的言語たる第２言語の合成音声により聴取者に適切に伝えることができる。

即ち、本発明では、第１言語の音声に含まれる感情意図を特定して、その感情意図を第２言語で表現し得る言語属性および音響的特徴を有する第２言語の音声が合成されるため、言語的文化上の感情や意図の表現方法の違いに柔軟に対応した翻訳を行なうことができる。

また、従来では、言語表現とプロソディ的特徴のあらゆる組み合わせを考慮する必要があり、テーブルの構築が非常に困難であったが、本発明では、第２言語属性情報と第２音響特徴情報と第２感情意図情報との組み合わせを考慮することにより、従来のようなテーブル構築の困難性を回避することができる。

また、前記第２記憶手段において第２言語の音声ごとに関連付けられている前記第２言語属性情報と前記第２音響特徴情報と前記第２感情意図情報のうち少なくとも２つは、当該第２言語の音声に与える印象が互いに異なるような内容を示すことを特徴としてもよい。

例えば、第２記憶手段に記憶されている第２言語属性情報の示す言語属性は、その言語属性だけで聴取者を褒めるような肯定的な印象を第２言語の音声に与えるのに対して、その第２言語属性情報に関連付けられている第２音響特徴情報の示す音響的特徴は、その音響的特徴だけで聴取者をけなすような否定的な印象を第２言語の音声に与える。このように、第２記憶手段に記憶されている第２言語属性情報と第２音響特徴情報と第２感情意図情報のうち少なくとも２つによって表される印象が互いに異なるため、合成出力手段から出力される第２言語の合成音声全体で複雑な感情や意図を表現することができる。

また、前記感情意図特定手段は、第１言語の音声ごとに、当該音声の言語属性を示す第１言語属性情報と、当該音声の音響的特徴を示す第１音響特徴情報と、当該音声に含まれる感情および意図のうち少なくとも１つを示す第１感情意図情報とを関連付けて記憶している第１記憶手段と、前記音声取得手段によって取得された第１言語の音声から、当該音声の言語属性および音響的特徴のうち少なくとも１つを特定する言語音響特定手段と、前記第１記憶手段に記憶されている第１言語属性情報および第１音響特徴情報のうち、前記言語音響特定手段で特定された内容に近い情報に関連付けられている第１感情意図情報を前記第１記憶手段から検索し、当該第１感情意図情報の示す内容を、前記音声取得手段によって取得された第１言語の音声に含まれる感情意図として特定する検索特定手段とを備えることを特徴としてもよい。

このように、第１記憶手段を用いることによって、話者によって発話された第１言語の音声の言語属性や音響的特徴から、その第１言語の音声に含まれる話者の感情や意図を適切に特定することができる。

また、前記第１記憶手段において第１言語の音声ごとに関連付けられている前記第１言語属性情報と前記第１音響特徴情報と前記第１感情意図情報のうち少なくとも２つは、当該第１言語の音声に与える印象が互いに異なるような内容を示すことを特徴としてもよい。

例えば、第１記憶手段に記憶されている第１言語属性情報の示す言語属性は、その言語属性だけで聴取者を褒めるような肯定的な印象を第１言語の音声に与えるのに対して、その第１言語属性情報に関連付けられている第１音響特徴情報の示す音響的特徴は、その音響的特徴だけで聴取者をけなすような否定的な印象を第１言語の音声に与える。このように、第１記憶手段に記憶されている第１言語属性情報と第１音響特徴情報と第１感情意図情報のうち少なくとも２つによって表される印象が互いに異なるため、話者によって発話された第１言語の音声の言語属性や音響的特徴から、その第１言語の音声全体に含まれる話者の複雑な感情や意図を適切に特定することができる。

また、前記検索特定手段は、前記第１記憶手段から検索した前記第１感情意図情報をユーザによる操作に基づいて変更し、変更された前記第１感情意図情報の示す内容を、前記音声取得手段によって取得された第１言語の音声に含まれる感情意図として特定することを特徴としてもよい。

例えば、第１記憶手段から検索された第１感情意図情報の内容が、ユーザである話者の本来の感情や意図を適切に示していないような場合にも、その第１感情意図情報がユーザの操作によって変更されるため、話者によって発話された第１言語の音声に含まれる話者の感情や意図を適切に特定することができる。つまり、ユーザである話者は、あらゆる感情や意図を、その話者によって発話された第１言語の音声に自由に設定することができ、翻訳の自由度を広げることができる。

また、前記テキスト検索手段は、言語属性および音響的特徴のそれぞれに対する重みをユーザによる操作に基づいて変更し、変更された重みに基づいてテキストの検索を行うことを特徴としてもよい。

これにより、第１言語の音声に含まれる感情意図を第２言語の音声で表現するにあたって、第２言語の音声の言語属性による表現の度合いと音響的特徴による表現の度合いとを、例えばユーザである話者の操作によって自由に変更することができ、翻訳の自由度を広げることができる。

また、前記翻訳手段は、第１言語の複数の文例、第２言語の単語の概念を意味クラスとして含む複数の文例、および前記第１言語の各文例と前記第２言語の各文例との類似度を記憶している対訳文例記憶手段と、前記対訳文例記憶手段に記憶されている第１言語の複数の文例から、前記音声取得手段によって取得された第１言語の音声の認識結果に対応する文例を特定し、特定した前記第１言語の文例に類似する第２言語の文例を、前記対訳文例記憶手段に記憶されている第２言語の複数の文例から選択する文例選択手段と、前記文例選択手段により選択された第２言語の文例を用いて前記第２言語のテキストを生成するテキスト生成手段とを備え、前記テキスト生成手段は、前記文例選択手段によって選択された第２言語の文例に、前記第１言語の音声に含まれていない単語の意味クラスが含まれているときには、前記意味クラスを含む第２言語のテキストを生成し、前記意味クラスに対応する単語の入力をユーザに促すことを特徴としてもよい。

これにより、第２言語の文例に意味クラスを含め、第１言語の音声に含まれていない単語の意味クラスが第２言語の文例に含まれているときには、その意味クラスに対応する単語の入力がユーザに促されるため、例えば、ユーザである話者はその単語を含む第１言語の音声を発話し直すことができる。その結果、その意味クラスの単語を含む第２言語の合成音声を出力して、第１言語の音声に含まれる話者の感情および意図を聴取者に適切に伝えることができる。

例えば、話者によって日本語の音声で「ケーキはいかがですか。」が発話されたときには、日本語にない単語の意味クラス＜Name＞を含む英語のテキスト「Eat the cake, ＜Name＞.」が、その日本語の音声の感情および意図を適切に伝える英語のテキストとして生成される。そして、例えば話者が「トムさん、ケーキはいかがですか。」と発話し直すことによって、第１言語たる日本語の音声「ケーキはいかがですか。」に含まれる感情および意図を適切に伝える第２言語たる英語の音声「Eat the cake, Tom.」を合成することができる。このように、本発明では、第１言語の音声に当初含まれていない単語も補って、その第１言語の音声を適切な第２言語の音声に翻訳することができ、翻訳の自由度を広げることができる。

なお、本発明は、このような特徴的な手段を備える音声翻訳装置として実現することができるだけでなく、音声翻訳装置に含まれる特徴的な手段をステップとする音声翻訳方法として実現したり、音声翻訳装置に含まれる特徴的な手段としてコンピュータを機能させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。

本発明の音声翻訳装置は、原言語音声に含まれる話者の感情および意図を目的言語音声で聴取者に適切に伝えることができるという作用効果を奏する。

以下、本発明の実施の形態について図を参照しながら説明する。
図１は、本発明の実施の形態における音声翻訳装置の外観図である。

本発明の実施の形態における音声翻訳装置２００は、話者によって発話された原言語音声に含まれる話者の感情および意図が聴取者に適切に伝わるように、その原言語音声を目的言語音声に翻訳する装置であって、例えば、パーソナルコンピュータなどによって構成される。

即ち、音声翻訳装置２００は、本体２０１と、入力装置たるキーボード２０２およびマウス２０４と、ディスプレイ２０３と、マイク２０９と、スピーカ２１０と、外部ハードディスク２０５とを備えている。また、本体２０１は、記憶媒体として例えば内部ハードディスク２０６を内蔵しているとともに、ＣＤ―ＲＯＭ（Compact Disk Read Only Memory）２０７がセット可能なように構成されている。

このような音声翻訳装置２００は、キーボード２０２やマウス２０４に対するユーザ（例えば話者）の操作に基づいて、マイク２０９から話者の原言語音声を取得すると、内部ハードディスク２０６や、外部ハードディスク２０５、内部ハードディスク２０６から必要とされる情報を読み出す。そして、音声翻訳装置２００は、その原言語音声を目的言語音声に翻訳してその目的言語音声をスピーカ２１０から出力する。なお、外部ハードディスク２０５は、回線などによって接続される他のシステムの記憶媒体であってもよい。

図２は、音声翻訳装置２００の機能ブロック図である。
音声翻訳装置２００は、入力部１０１、音響分析部１０２、音声認識部１０３、第１格納部１０４、原言語属性解析部１０５、ベクトル計算部１０６、第２格納部１０７、原言語テーブル検索部１０８、翻訳部１０９、第３格納部１１０、目的言語属性解析部１１１、目的言語属性計算部１１２、第４格納部１１３、目的言語テーブル検索部１１４、音声合成部１１５、および出力部１１６を備えている。

なお、本実施の形態では、入力部１０１が原言語音声（第１言語の音声）を取得する音声取得手段として構成され、音響分析部１０２、音声認識部１０３、第１格納部１０４、原言語属性解析部１０５、ベクトル計算部１０６、第２格納部１０７、および原言語テーブル検索部１０８が、音声取得手段によって取得された原言語音声に含まれる話者の感情および意図のうち少なくとも１つを感情意図として特定する感情意図特定手段として構成されている。

ここで、第２格納部１０７は、原言語音声ごとに、その音声の言語属性を示す第１言語属性情報（言語属性ベクトル）と、その音声の音響的特徴を示す第１音響特徴情報（音響特徴ベクトル）と、その音声に含まれる感情および意図のうち少なくとも１つを示す第１感情意図情報（感情意図ベクトル）とを関連付けて記憶している第１記憶手段として構成されている。また、音響分析部１０２、音声認識部１０３、第１格納部１０４、原言語属性解析部１０５、およびベクトル計算部１０６は、音声取得手段によって取得された原言語音声から、その音声の言語属性および音響的特徴のうち少なくとも１つを特定する言語音響特定手段として構成されている。さらに、原言語テーブル検索部１０８は、第１記憶手段に記憶されている第１言語属性情報および第１音響特徴情報のうち、言語音響特定手段で特定された内容に近い情報に関連付けられている第１感情意図情報を第１記憶手段から検索し、その第１感情意図情報の示す内容を、音声取得手段によって取得された原言語音声に含まれる感情意図として特定する検索特定手段として構成されている。

さらに、本実施の形態では、第４格納部１１３が、目的言語音声ごとに、その音声の言語属性を示す第２言語属性情報（言語属性ベクトル）と、その音声の音響的特徴を示す第２音響特徴情報（音響特徴ベクトル）と、その音声に含まれる感情および意図のうち少なくとも１つを示す第２感情意図情報（感情意図ベクトル）とを関連付けて記憶している第２記憶手段として構成されている。

また、本実施の形態では、翻訳部１０９が、音声取得手段によって取得された原言語音声を認識して、その認識結果に類似する目的言語の複数のテキストを生成する翻訳手段として構成され、目的言語テーブル検索部１１４と翻訳部１０９が、翻訳手段により生成された目的言語の複数のテキストから、そのテキストの言語属性および感情意図特定手段により特定された感情意図が、第２記憶手段に記憶されている目的言語の何れかの音声に対する第２言語属性情報および第２感情意図情報の内容に近いテキストを検索するテキスト検索手段として構成されている。さらに、目的言語属性解析部１１１、第３格納部１１０、目的言語属性計算部１１２、および目的言語テーブル検索部１１４が、第２記憶手段に記憶されている第２音響特徴情報のうち、テキスト検索手段により検索されたテキストの言語属性および感情意図特定手段により特定された感情意図に近い内容を示す第２言語属性情報および第２感情意図情報に関連付けられている第２音響特徴情報を取得する音響特徴情報取得手段として構成されている。さらに、音声合成部１１５と出力部１１６が、テキスト検索手段により検索されたテキストに対して音声合成を行なって、音響特徴情報取得手段により取得された第２音響特徴情報の示す音響的特徴を含む目的言語の合成音声を出力する合成出力手段として構成されている。

入力部１０１は、マイク２０９として構成されており、原言語音声、つまり翻訳の対象となる原言語の発話音声を取得して音声信号に変換する。

音響分析部１０２は、入力部１０１から出力される音声信号の示す原言語音声に対して音響的な分析を行い、原言語音声に含まれる各種の音響的特徴（例えば、ピッチ変化カーブや、平均ピッチ、ピッチダイナミックレンジ、声門開放度、スペクトル傾斜、無音区間位置など）の情報を取得する。本実施の形態では、音響分析部１０２は、音響的特徴を（平均ピッチ、ピッチダイナミックレンジ、声門開放度、スペクトル傾斜）の４つの要素からなる音響特徴ベクトルとして例えばフレームごとに取得する。

音声認識部１０３は、入力部１０１から出力される音声信号の示す原言語音声に対して、音声認識処理を行い、認識結果を原言語のテキストとして出力する。

第１格納部１０４は、原言語属性辞書１０４ａを格納している。この原言語属性辞書１０４ａは、原言語の単語ごとに、その単語の表記と、その単語の例えば品詞などを含む通常の単語辞書情報と、その単語の感情意図に関する言語属性情報とを示す。

図３は、原言語属性辞書１０４ａの内容を示す図である。
原言語属性辞書１０４ａは、上述のように、単語ごとに、その単語の表記と単語辞書情報と言語属性情報とを示す。単語辞書情報は、通常の言語解析に必要な品詞や、活用型、読みなどを示し、言語属性情報は、その単語の意味から表現される感情および意図に関する言語属性、例えば丁寧さや、親しみ、上昇下降、賞罰、美醜、質問などを示す。なお、上昇下降は、相手を持ち上げたり下げたりするような属性を示し、賞罰は、相手を褒めたりけなしたりするような属性を示し、美醜は、相手を美しく表現したり醜く表現したりするような属性を示す。また、本実施の形態では、言語属性情報は内容語属性と機能語属性とに分けて示される。内容語属性は、名詞や、動詞、形容詞などのその単語自身が意味をもつ内容語の言語属性であり、機能語属性は、その単語自身の意味よりも他の内容語の意味を活用するような働きかけの役割をもつ機能語、例えば助詞や助動詞などの言語属性である。言語属性情報は、ベクトルの形式で言語属性を示している。例えば、内容語の言語属性は（丁寧さ、親しみ、上昇下降、賞罰、美醜）の５つの要素からなり、機能語の言語属性は（丁寧さ、親しみ、否定、質問）の４つの要素からなる。以下、このようにベクトル形式で示される言語属性を言語属性ベクトルという。

原言語属性解析部１０５は、音声認識部１０３の認識結果たる原言語のテキストに含まれる単語のそれぞれの言語属性ベクトルを、原言語属性辞書１０４ａを参照して生成する。

ベクトル計算部１０６は、音声認識部１０３の音声認識によって確定された原言語音声の時間軸上の単語の位置関係と、音響分析部１０２によって取得された音響的特徴とを用いて、原言語音声の文全体から文末ピッチ変動とポーズ頻度とを算出する。そして、ベクトル計算部１０６は、音響分析部１０２で取得されたフレームごとの音響特徴ベクトルを、文単位の音響特徴ベクトルに変換し、その音響特徴ベクトルの要素に、上述の文末ピッチ変動とポーズ頻度とを追加する。その結果、ベクトル計算部１０６は、（平均ピッチ、ピッチダイナミックレンジ、声門開放度、スペクトル傾斜、文末ピッチ変動、ポーズ頻度）の６つの要素からなる音響特徴ベクトルを文単位に生成する。

さらに、ベクトル計算部１０６は、原言語属性解析部１０５から生成された単語ごとの言語属性ベクトルから、文単位の言語属性ベクトル（丁寧さ、親しみ、上昇下降、賞罰、美醜、質問）を算出して出力する。

第２格納部１０７は、原言語感情テーブル１０７ａを格納している。この原言語感情テーブル１０７ａは、原言語に関する実際の音声言語データから作成されたものである。

図４は、原言語感情テーブル１０７ａの内容を示す図である。
原言語感情テーブル１０７ａは、第１言語の音声ごとに、その音声の感情意図ベクトルと、言語属性ベクトルと、音響特徴ベクトルとを関連付けて示す。

言語属性ベクトルは、（丁寧さ、親しみ、上昇下降、賞罰、美醜、質問）の６つの要素から構成される。このような言語属性ベクトルは、言語的内容、意味あるいは概念のもつ好悪のような話者の感情や、依頼や命令といった話者の態度や、聴取者が話者と比べて対等であるか目上であるかを示す属性、聴取者が話者と主従の関係にあるか否かを示す属性、聴取者と話者とが親しいかどうかを示す属性等、話者と聴取者の社会的関係性を反映した話者の意図を言語属性としてベクトルで表現している。

音響特徴ベクトルは、（平均ピッチ、ピッチダイナミックレンジ、声門開放度、スペクトル傾斜、文末ピッチ変動、ポーズ頻度）の６つの要素から構成される。このような音響特徴ベクトルは、話者の感情や、依頼や命令といった話者の態度、聴取者が話者と比べて対等であるか目上であるかを示す内容、聴取者が話者と主従の関係にあるか否かを示す内容、聴取者と話者とが親しいかどうかを示す内容等、話者と聴取者の社会的関係性を反映した話者の意図を音響的特徴量としてベクトルで表現している。

感情意図ベクトルは、（喜び、嫌悪、怒り、もてなし）の４つの要素から構成される。このような感情意図ベクトルは、音声全体として表現されている感情や、依頼や命令といった話者の態度、聴取者が話者と比べて対等であるか目上であるかを示す内容、聴取者が話者と主従の関係にあるか否かを示す内容、聴取者と話者とが親しいかどうかを示す内容等、話者と聴取者の社会的関係性を反映した話者の意図をベクトルで表現している。

なお、このような原言語感情テーブル１０７ａは、例えば、原言語を母国語とする話者の感情や表情や態度が現れた実際に発話された音声に対し、複数人に対して実施された、言語的内容と声質や口調といった音響的特徴をあわせた音声全体の印象を問うアンケート調査によって音声ごとに特定された印象と、言語属性の分析結果と音響的特徴の分析結果とを合わせて記録することによって作られるものである。

原言語テーブル検索部１０８は、ベクトル計算部１０６によって生成された原言語音声の音響特徴ベクトルと言語属性ベクトルの組み合わせを検索キーとして用い、それらのベクトルと最も一致するデータを原言語感情テーブル１０７ａから検索する。そして原言語テーブル検索部１０８は、そのデータを見つけると、そのデータに関連付けられた感情意図ベクトルを特定して出力する。

このように本実施の形態では、原言語音声ごとに、その音声の言語属性ベクトルと音響特徴ベクトルと感情意図ベクトルとを関連付けている原言語感情テーブル１０７ａを用いることによって、話者によって発話された原言語音声の言語属性および音響的特徴から、その原言語音声に含まれる話者の感情や意図を適切に特定することができる。また、原言語感情テーブル１０７ａにおいて原言語音声ごとに関連付けられている言語属性ベクトルと音響特徴ベクトルには、その原言語音声に与える印象が同じ内容を示すものだけでなく、その原言語音声に与える印象が互いに異なるような内容を示すものもある。その結果、聴取者を褒めるような肯定的な印象を与える言語属性ベクトルと、聴取者をけなすような否定的な印象を与える音響特徴ベクトルとから、原言語に含まれる話者の複雑な感情や意図を適切に特定することができる。このように、本実施の形態では、言語的な特徴と音響的な特徴とが裏腹となるような感情や意図まで特定することができる。

言い換えれば、本実施の形態では、原言語感情テーブル１０７ａにより、原言語音声の言語表現の特徴である言語属性ベクトルと、原言語音声の口調（イントネーションや声質などの要素）の特徴である音響特徴ベクトルとから、原言語音声全体として表現される話者の感情や意図を感情意図ベクトルという、複数の感情意図の側面を要素にもつベクトル表現に変換することにより、「喜び」といった比較的単純な感情はもちろん、「嫌み」や「嘲笑」といったような複雑な感情も考慮して、目的言語への翻訳を行うことができるという格別の効果を有する。

翻訳部１０９は、音声認識部１０３の認識結果である原言語のテキストを解析することにより、そのテキストを目的言語のテキストに翻訳して出力する。また、翻訳部１０９は、翻訳するときには、１つの原言語のテキストから複数の目的言語のテキストを生成する。そして、翻訳部１０９は、これらの目的言語のテキストに対して後述するスコアを目的言語テーブル検索部１１４から取得したときには、目的言語の各テキストのスコアと後述する類似度とに基づいて、目的言語の各テキストをソートして表示操作部１１７に表示させる。

第３格納部１１０は、目的言語属性辞書１１０ａを格納している。この目的言語属性辞書１１０ａは、原言語属性辞書１０４ａと同様に、目的言語の単語やフレーズごとに、その単語やフレーズの表記と、その単語やフレーズの品詞などを含む通常の単語辞書情報と、その単語やフレーズの感情意図に関する言語属性情報とを示す。

図５は、目的言語属性辞書１１０ａの内容を示す図である。
目的言語属性辞書１１０ａは、上述のように、単語やフレーズごとに、その単語やフレーズの表記（スペル）と単語辞書情報と言語属性情報とを示す。単語辞書情報は、通常の言語解析に必要な品詞や、活用形、発音などを示し、言語属性情報は、その単語やフレーズの意味から表現される感情および意図に関する言語属性、例えば丁寧さや、親しみ、上昇下降、賞罰、美醜、質問などを示す。また、本実施の形態では、言語属性情報は内容語属性と機能語属性とに分けて示される。内容語属性は、名詞や、動詞、形容詞などのその単語自身が意味をもつ内容語の言語属性であり、機能語属性は、それ自身の意味よりも他の内容語の意味を活用するような働きかけの役割をもつ機能語または機能表現、例えば冠詞や、be動詞、慣用的なフレーズ表現の一部などの言語属性を示している。例えば、内容語の言語属性は（丁寧さ、親しみ、上昇下降、賞罰、美醜）の５要素からなり、機能語の言語属性は（丁寧さ、親しみ、否定、質問、強調）の５つの要素からなる。以下、このようにベクトル形式で示される言語属性を言語属性ベクトルという。

目的言語属性解析部１１１は、翻訳部１０９の翻訳結果である目的言語のテキストごとに、そのテキストに含まれる単語やフレーズのそれぞれの言語属性ベクトルを、目的言語属性辞書１１０ａを参照して生成する。

目的言語属性計算部１１２は、目的言語のテキストごとに、目的言語属性解析部１１１によって生成された単語やフレーズの言語属性ベクトルを用いて所定の計算を行い、目的言語の文単位にまとめた言語属性ベクトル（丁寧さ、親しみ、上昇下降、賞罰、美醜、質問）を生成する。

第４格納部１１３は、目的言語感情テーブル１１３ａを格納している。この目的言語感情テーブル１１３ａは、原言語感情テーブル１０７ａと同じく、目的言語に関する実際の音声言語データから作成されたものである。

図６は、目的言語感情テーブル１１３ａの内容を示す図である。
この目的言語感情テーブル１１３ａは、感情意図ベクトルと、言語属性ベクトルと、音響特徴ベクトルとを関連付けて示す。

言語属性ベクトルは、（丁寧さ、親しみ、上昇下降、賞罰、美醜、質問）の６つの要素から構成される。このような言語属性ベクトルは、言語的内容、意味あるいは概念のもつ好悪のような話者の感情や、依頼や命令といった話者の態度や、聴取者が話者と比べて対等であるか目上であるかを示す属性、聴取者が話者と主従の関係にあるか否かを示す属性、聴取者と話者とが親しいかどうかを示す属性等、話者と聴取者の社会的関係性を反映した話者の意図を言語属性としてベクトルで表現している。

音響特徴ベクトルは、（平均ピッチ、ピッチダイナミックレンジ、声門開放度、スペクトル傾斜、文末ピッチ変動、ポーズ頻度）の６つの要素から構成される。このような音響特徴ベクトルは、話者の感情や、依頼や命令といった話者の態度、聴取者が話者と比べて対等であるか目上であるかを示す内容、聴取者が話者と主従の関係にあるか否かを示す内容、聴取者と話者とが親しいかどうかを示す内容等、話者と聴取者の社会的関係性を反映した話者の意図を音響的特徴量としてベクトルで表現している。

感情意図ベクトルは、（喜び、嫌悪、怒り、もてなし）の４つの要素から構成される。このような感情意図ベクトルは、音声全体として表現されている感情や、依頼や命令といった話者の態度、聴取者が話者と比べて対等であるか目上であるかを示す内容、聴取者が話者と主従の関係にあるか否かを示す内容、聴取者と話者とが親しいかどうかを示す内容等、話者と聴取者の社会的関係性を反映した話者の意図をベクトルで表現している。

なお、このような目的言語感情テーブル１１３ａは、例えば、目的言語を母国語とする話者の感情や表情や態度が現れた実際に発話された音声に対し、複数人に対して実施された、言語的内容と声質や口調といった音響的特徴をあわせた音声全体の印象を問うアンケート調査によって音声ごとに特定された印象と、言語属性の分析結果と音響的特徴の分析結果とを合わせて記録することによって作られるものである。

目的言語テーブル検索部１１４は、翻訳部１０９で生成された目的言語のテキストごとに、そのテキストの言語属性ベクトルと、原言語テーブル検索部１０８から出力された原言語の感情意図ベクトルとの組み合わせに近い組み合わせを、目的言語感情テーブル１１３ａから検索する。ここで、目的言語属性計算部１１２で生成されたテキストの言語属性ベクトルと、原言語テーブル検索部１０８から出力された原言語の感情意図ベクトルとの組み合わせを、第１セットといい、目的言語感情テーブル１１３ａに含まれる言語属性ベクトルと感情意図ベクトルとの組み合わせを、第２セットという。

つまり、目的言語テーブル検索部１１４は、目的言語属性計算部１１２で生成されたテキストごとに、そのテキストに対応する第１セットに近い複数の第２セットを目的言語感情テーブル１１３ａから検索する。このように検索して見つけ出された第２セットを、以下、スコア対象の第２セットという。

さらに、目的言語テーブル検索部１１４は、目的言語のテキストごとに、第１セットと各スコア対象の第２セットとの間の一致度を示すスコアを算出する。そして、目的言語テーブル検索部１１４は、目的言語のテキストごとに、その算出したスコアを翻訳部１０９に出力する。また、目的言語テーブル検索部１１４は、目的言語感情テーブル１１３ａから音響特徴ベクトルを取得して音声合成部１１５に出力する。

音声合成部１１５は、目的言語テーブル検索部１１４から出力された音響特徴ベクトルを取得して、その音響特徴ベクトルの各要素の値に基づいて、韻律情報（例えばピッチや、パワー、デュレーションなど）および声質制御パラメータを生成する。そして、音声合成部１１５は、その韻律情報や声質制御パラメータに基づいて、翻訳部１０９によって翻訳された目的言語の複数のテキストのうち最終的に選択されたテキストに対する読み上げ音声を合成する。

出力部１１６は、スピーカ２１０として構成されており、音声合成部１１５によって合成された音声を利用者に目的言語の音声として提供する。

表示操作部１１７は、話者と音声翻訳装置２００とのインターフェースを図るものであって、ディスプレイ２０３およびキーボード２０２ならびにマウス２０４を含んで構成されている。このような表示操作部１１７は、原言語の音声認識結果や目的言語のテキストを表示したり、話者からの操作を受け付けてその操作に応じた指示を翻訳部１０９に対して促す。

なお、第１格納部１０４、第２格納部１０７、第３格納部１１０および第４格納部１１３は、例えば外部ハードディスク２０５、内部ハードディスク２０６およびＣＤ−ＲＯＭ２０７のうち少なくとも１つから構成されている。また、原言語特徴分析部１０２、音声認識部１０３、原言語属性解析部１０５、ベクトル計算部１０６、原言語テーブル検索部１０８、翻訳部１０９、目的言語属性解析部１１１、目的言語属性計算部１１２、目的言語テーブル検索部１１４、および音声合成部１１５は、本体２０１にセットされたＣＰＵ（Central Processing Unit）がプログラムを読み込むことによって実現される。

図７は、翻訳部１０９の機能ブロック図である。
翻訳部１０９は、翻訳制御部９１と、対訳辞書９２ａを格納する第５格納部９２と、対訳テーブル９３ａを格納する第６格納部９３とから構成される。

なお、本実施の形態では、第６格納部９３が、原言語の複数の文例、目的言語の単語の概念を意味クラスとして含む複数の文例、および原言語の各文例と目的言語の各文例との類似度を記憶している対訳文例記憶手段として構成されている。また、翻訳制御部９１が、対訳文例記憶手段に記憶されている原言語の複数の文例から、音声取得手段によって取得された原言語音声の認識結果に対応する文例を特定し、特定した原言語の文例に類似する目的言語の文例を、対訳文例記憶手段に記憶されている目的言語の複数の文例から選択する文例選択手段と、その文例選択手段により選択された目的言語の文例を用いて目的言語のテキストを生成するテキスト生成手段として構成されている。

翻訳制御部９１は、対話辞書９２ａおよび対話テーブル９３ａを参照することにより、音声認識部１０３によって生成された原言語のテキストを、目的言語の複数種のテキストに翻訳する。そして、翻訳制御部９１は、その複数種のテキストを目的言語属性解析部１１１に出力する。さらに、翻訳制御部９１は、目的言語テーブル検索部１１４から、目的言語の各テキストに対するスコアを取得すると、そのスコアと類似度に従った順序に目的言語の各テキストをソートして表示操作部１１７に表示させる。そして、翻訳制御部９１は、それらの目的言語のテキストのうち、ユーザによって選択されたテキストを音声合成部１１５に出力する。

図８は、対訳辞書９２ａの内容を示す図である。
対訳辞書９２ａは、原言語における単語と品詞を含む文法情報および意味情報（意味クラス）の対応関係を示す辞書情報１２０１と、目的言語における単語と品詞を含む文法情報および意味情報（意味クラス）の対応関係を示す辞書情報１２０２と、原言語と目的言語のそれぞれの単語における対訳関係を示す対訳情報１２０３とを示す。

辞書情報１２０１は、上述のように、原言語の単語と品詞と意味クラスを対応づけて示している。例えば、辞書情報１２０１は、「トム」という語彙の品詞が＜固有名詞＞であり、その意味クラスが＜人名＞であることを示す。

辞書情報１２０２は、上述のように、目的言語の単語と品詞と意味クラスを対応付けて示している。例えば、辞書情報１２０２は、「Tom」という語彙の品詞が＜ProperNoun＞であり、その意味クラスが＜Name＞であることを示す。

対訳情報１２０３は、上述のように、原言語と目的言語のそれぞれの単語における対訳関係を表している。例えば、対訳情報１２０３は、単語「トム」と単語「Tom」が対訳関係にある対訳ペアとして対応づけられていることを示す。

図９は、対訳テーブル９３ａの内容を示す図である。
対訳テーブル９３ａは、図９に示すように、原言語の複数の文例を示す原言語文例リスト１３０１と、目的言語の複数の文例を示す目的言語文例リスト１３０２と、原言語の各文例と目的言語の各文例との間の類似度を示す対訳類似度テーブル１３０３とを有する。

原言語文例リスト１３０１は、原言語の複数の文例と、それらの文例ごとに付された識別子ＯＩＤとを示す。ここで、文例中の＜品詞＞はその品詞に属する単語を示し、文例中の＜意味クラス＞はその意味クラスに属する単語を示す。例えば、文例中の＜形容動詞＞は形容動詞に属する単語を示し、文例中の＜花＞は意味クラスとして「花」に属する単語を示す。

目的言語文例リスト１３０２は、目的言語の複数の文例と、それらの文例ごとに付された識別子ＴＩＤとを示す。ここで、文例中の＜品詞＞はその品詞に属する単語を示し、文例中の＜意味クラス＞はその意味クラスに属する単語を示す。例えば、文例中の＜Adj＞はAdjective（形容詞）に属する単語を示し、文例中の＜Flower＞は意味クラスとして「Flower」に属する単語を示す。

対訳類似度テーブル１３０３は、原言語の各文例と目的言語の各文例との類似度を２次元のテーブルで示したものである。即ち、対訳類似度テーブル１３０３の上端の一行には、目的言語の複数の文例の識別子ＴＩＤが配置され、対訳類似度テーブル１３０３の左端の一列には、原言語の複数の文例の識別子ＯＩＤが配置されている。そして、識別子ＴＩＤの属する列と識別子ＯＩＤの属する行とが交わる部位に、その識別子ＴＩＤの文例と識別子ＯＩＤの文例との類似度が配置されている。例えば、この対訳類似度テーブル１３０３は、目的言語の識別子ＴＩＤ「２１」の文例と、原言語の識別子ＯＩＤ「２１」の文例との類似度が「１．０」であることを示し、目的言語の識別子ＴＩＤ「２１」の文例と、原言語の識別子ＯＩＤ「２２」の文例との類似度が「０．３」であることを示す。

ここで、類似度は０から１までの数値で表現されており、類似度「１」は両文例が最も類似していることを示す。なお、本実施の形態における対訳類似度テーブル１３０３では、直接の対訳関係にある原言語の文例と目的言語の例文とに対して、同じ番号の識別子が付与されており、対訳類似度テーブル１３０３の対角要素の類似度は、常に最も高い「１．０」である。

図１０は、翻訳部１０９による翻訳の動作を示すフローチャートである。
まず、翻訳部１０９の翻訳制御部９１は、音声認識部１０３から原言語のテキストを受け取ると、そのテキストに含まれる単語ごとに、その単語を対訳辞書９２ａから検索し、その単語の品詞および意味クラスと、その単語と対訳関係にある目的言語の単語（以下、対訳語彙という）とを取得する（ステップＳ１０７１）。例えば、翻訳制御部９１は、「きれいな花が咲いてますね。」という原言語のテキストを受け取ると、単語「花」に対して、品詞＜名詞＞と意味クラス＜花＞と対訳語彙「flower」とを取得する。さらに、翻訳制御部９１は、単語「きれいな」に対して、品詞＜形容動詞＞と対訳語彙「beautiful」とを取得する。

次に、翻訳制御部９１は、原言語のテキストと、ステップＳ１０７１で取得した、単語ごとの品詞および意味クラスとを用いて、対訳テーブル９３ａの原言語文例リスト１３０１の中から、その原言語のテキストに最も一致する文例の識別子ＯＩＤを特定する（ステップＳ１０７２）。例えば、翻訳制御部９１は、「きれいな花が咲いてますね。」という原言語のテキストに最も一致する文例「＜形容動詞＞＜花＞が咲いてますね。」の識別子ＯＩＤ「２１」を特定する。

次に、翻訳制御部９１は、対訳テーブル９３ａの対訳類似度テーブル１３０３において、ステップＳ１０７２で特定した原言語の文例の識別子ＯＩＤの行を参照することにより、閾値以上の類似度をもつ目的言語の文例の識別子ＴＩＤを特定する（ステップＳ１０７３）。例えば、閾値は０．２である。このような場合、翻訳制御部９１は、原言語の文例の識別子ＯＩＤ「２１」に対して、０．２以上の類似度をもつ目的言語の文例の識別子ＴＩＤとして、「２１」と「２２」と「２３」とを特定する。

次に、翻訳制御部９１は、ステップＳ１７０３で特定した複数の識別子ＴＩＤに対応する目的言語の文例を、目的言語文例リスト１３０２から取得する（ステップＳ１０７４）。例えば、翻訳制御部９１は、識別子ＴＩＤ「２１」に対応する目的言語の文例として「A <Adj> <Flower> is open.」を取得し、識別子ＴＩＤ「２２」に対応する目的言語の文例として「The <Flower> is not <Adj>.」を取得し、識別子ＴＩＤ「２３」に対応する目的言語の文例として「The <Adj> <Flower> is open.」を取得する。

次に、翻訳制御部９１は、ステップＳ１０７４で取得した目的言語の各文例に含まれる＜品詞＞あるいは＜意味クラス＞の箇所に、ステップＳ１０７１で取得した対訳語彙を当てはめる（ステップＳ１０７５）。即ち、翻訳制御部９１は、対訳語彙の品詞と意味クラスを参照して、その対訳語彙を目的言語の文例の適切な箇所に当てはめる。

例えば、翻訳制御部９１は、ステップＳ１７０１において、単語「きれいな」に対する対訳語彙「beautiful」と、単語「花」に対する対訳語彙「flower」とを取得する。この場合、翻訳制御部９１は、対訳語彙「beautiful」の品詞が＜Adj＞であり、対訳語彙「flower」の品詞が＜Noun＞であってその意味クラスが＜Flower＞なので、識別子ＴＩＤ「２１」の文例の＜Adj＞の箇所に「beautiful」を当てはめ、＜Flower＞の箇所に「flower」を当てはめる。

その結果、識別子ＴＩＤ「２１」の文例から、目的言語のテキストとして翻訳文「A beautiful flower is open.」が生成される。これと同様に、識別子ＴＩＤ「２２」の文例から、目的言語のテキストとして翻訳文「The flower is not beautiful.」が生成され、識別子ＴＩＤ「２３」の文例から、目的言語のテキストとして翻訳文「A very beautiful flower is open.」が生成される。

図１１は、原言語属性解析部１０５とベクトル計算部１０６の動作を説明するための説明図である。

原言語属性解析部１０５は、例えば図１１の（ａ）に示すように、音声認識部１０３から「きれいな花が咲いてますね。」を示す原言語のテキスト７０１を取得すると、そのテキスト７０１に含まれる単語ごとの言語属性ベクトルを原言語属性辞書１０４ａから選択して生成する。例えば、原言語属性解析部１０５は、内容語「きれいな」に対する言語属性ベクトル（ 0， 0， 1， 2， 1）や、機能語「が」に対する言語属性ベクトル（ 0， 0， 0， 0）などを生成する。

ベクトル計算部１０６は、このような単語ごとの言語属性ベクトルを用いて、文単位の言語属性ベクトルを生成する。

即ち、ベクトル計算部１０６は、単語を内容語と機能語で区別し、内容語によって構成される文意を機能語が修飾するという考えに基づいて、文単位の言語属性ベクトルを次のように求める。

まず、ベクトル計算部１０６は、上述のように生成された各内容語の言語属性ベクトルの要素ごとの平均値を算出する。例えば、ベクトル計算部１０６は、内容語「きれいな」、「花」および「咲い」のそれぞれの言語属性ベクトルの要素ごとの平均値（0， 0， 1， 1， 1.3）を算出する。

次に、ベクトル計算部１０６は、その平均値のベクトル（0， 0， 1， 1， 1.3）に、機能語の言語属性ベクトルの「丁寧さ」および「親しみ」の要素を加算する。例えば、図１１の（ａ）に示すように、機能語「が」、「て」、「ます」および「ね」の言語属性ベクトルにおいて、要素「丁寧さ」の合計が「１」であって、要素「親しみ」の合計「１」であるため、ベクトル計算部１０６は、平均値のベクトル（0， 0， 1， 1， 1.3）の要素「丁寧さ」に「１」を加算するとともに要素「親しみ」に「１」を加算する。その結果、ベクトル（1， 1， 1， 1， 1.3）が生成される。

次に、ベクトル計算部１０６は、各機能語の言語属性ベクトルに含まれる要素「否定」の合計が０より大きい値の場合は、上述のように生成されたベクトルの要素「上昇下降」、「賞罰」および「美醜」に「−１」を加える。例えば、図１１の（ａ）に示すように、機能語「が」、「て」、「ます」および「ね」の言語属性ベクトルにおいて、要素「否定」の合計が「０」であって０よりも大きな値でないため、ベクトル計算部１０６は、上述のように生成されたベクトル（1， 1， 1， 1， 1.3）の要素「上昇下降」、「賞罰」および「美醜」に「−１」を加えることなく、そのベクトルの状態を維持する。

次に、ベクトル計算部１０６は、各機能語の言語属性ベクトルの要素「質問」の合計を、上述のように生成されたベクトルに新たな要素として付け加える。例えば、図１１の（ａ）に示すように、機能語「が」、「て」、「ます」および「ね」の言語属性ベクトルにおいて、要素「質問」の合計が「０」であるため、ベクトル計算部１０６は、上述のように生成されたベクトル（1， 1， 1， 1， 1.3）に新たな要素「質問」として「０」を加える。その結果、原言語のテキスト７０１の文単位の言語属性ベクトル（1， 1， 1， 1， 1.3, 0）が生成される。

上述と同様、原言語属性解析部１０５は、例えば図１１の（ｂ）に示すように、音声認識部１０３から「ケーキはいかがですか。」を示す原言語のテキスト７０２を取得すると、そのテキスト７０２に含まれる単語ごとの言語属性ベクトルを原言語属性辞書１０４ａから選択して生成する。例えば、原言語属性解析部１０５は、内容語「ケーキ」に対する言語属性ベクトル（ 0， 0， 0， 2， 0）や、機能語「か」に対する言語属性ベクトル（ 0， 0， 0， 1）などを生成する。

そして、ベクトル計算部１０６は、上述のように生成された各内容語の言語属性ベクトルの要素ごとの平均値を算出する。例えば、ベクトル計算部１０６は、内容語「ケーキ」および「いかが」のそれぞれの言語属性ベクトルの要素ごとの平均値（1， 0， 0， 1.5， 0）を算出する。

次に、図１１の（ｂ）に示すように、機能語「は」、「です」および「か」の言語属性ベクトルにおいて、要素「丁寧さ」の合計が「１」であって、要素「親しみ」の合計「０」であるため、ベクトル計算部１０６は、平均値のベクトル（1， 0， 0， 1.5， 0）の要素「丁寧さ」に「１」を加算するとともに要素「親しみ」に「０」を加算する。その結果、ベクトル（2， 0， 0， 1.5， 0）が生成される。

次に、図１１の（ｂ）に示すように、機能語「が」、「て」、「ます」および「ね」の言語属性ベクトルにおいて、要素「否定」の合計が「０」であって０よりも大きな値でないため、ベクトル計算部１０６は、上述のように生成されたベクトル（2， 0， 0， 1.5， 0）の要素「上昇下降」、「賞罰」および「美醜」に「−１」を加えることなく、そのベクトルの状態を維持する。

次に、例えば、図１１の（ｂ）に示すように、機能語「は」、「です」および「か」の言語属性ベクトルにおいて、要素「質問」の合計が「１」であるため、ベクトル計算部１０６は、上述のように生成されたベクトル（2， 0， 0， 1.5， 0）に新たな要素「質問」として「１」を加える。その結果、原言語のテキスト７０２の文単位の言語属性ベクトル（2， 0， 0， 1.5， 0, 1）が生成される。

図１２は、目的言語属性解析部１１１と目的言語属性計算部１１２の動作を説明するための説明図である。

目的言語属性解析部１１１は、例えば図１２の（ａ）に示すように、音声認識部１０３から「A beautiful flower is open.」を示す目的言語のテキスト１００１を取得すると、そのテキスト１００１に含まれる単語ごとの言語属性ベクトルを目的言語属性辞書１１０ａから選択して生成する。例えば、目的言語属性解析部１１１は、内容語「beautiful」に対する言語属性ベクトル（0， 0， 1， 2， 1）や、機能語「a」に対する言語属性ベクトル（0， 0， 0， 0， 0）などを生成する。

目的言語属性計算部１１２は、このような単語ごとの言語属性ベクトルを用いて、文単位の言語属性ベクトルを生成する。

目的言語属性計算部１１２は、単語を内容語と機能語で区別し、内容語によって構成される文意を機能語が修飾するという考えに基づいて、文単位の言語属性ベクトルを次のように求める。

まず、目的言語属性計算部１１２は、上述のように生成された各内容語の言語属性ベクトルの要素ごとの平均値を算出する。例えば、目的言語属性計算部１１２は、内容語「beautiful」、「flower」および「open」のそれぞれの言語属性ベクトルの要素ごとの平均値（0， 0， 1， 1， 1.3）を算出する。

次に、目的言語属性計算部１１２は、その平均値のベクトル（0， 0， 1， 1， 1.3）に、機能語の言語属性ベクトルの「丁寧さ」および「親しみ」の要素を加算する。例えば、図１２の（ａ）に示すように、機能語「a」および「is」の言語属性ベクトルにおいて、要素「丁寧さ」の合計が「０」であって、要素「親しみ」の合計が「０」であるため、目的言語属性計算部１１２は、平均値のベクトル（0， 0， 1， 1， 1.3）の要素「丁寧さ」に「０」を加算するとともに要素「親しみ」に「０」を加算する。その結果、ベクトル（0， 0， 1， 1， 1.3）が生成される。

次に、目的言語属性計算部１１２は、各機能語の言語属性ベクトルに含まれる要素「否定」の合計が０より大きい値の場合は、上述のように生成されたベクトルの要素「上昇下降」、「賞罰」および「美醜」に「−１」を加える。さらに、目的言語属性計算部１１２は、各機能語の言語属性ベクトルに含まれる要素「強調」の合計が０より大きい値の場合は、上述のように生成されたベクトルの要素「上昇下降」、「賞罰」および「美醜」に「１」を加える。例えば、図１２の（ａ）に示すように、機能語「a」および「is」の言語属性ベクトルにおいて、要素「否定」の合計が「０」であって０よりも大きな値でなく、要素「強調」の合計が「０」であって０よりも大きな値でないため、目的言語属性計算部１１２は、上述のように生成されたベクトル（0， 0， 1， 1， 1.3）の要素「上昇下降」、「賞罰」および「美醜」に「−１」および「１」を加えることなく、そのベクトルの状態を維持する。

次に、目的言語属性計算部１１２は、各機能語の言語属性ベクトルの要素「質問」の合計を、上述のように生成されたベクトルに新たな要素として付け加える。例えば、図１２の（ａ）に示すように、機能語「a」および「is」の言語属性ベクトルにおいて、要素「質問」の合計が「０」であるため、目的言語属性計算部１１２は、上述のように生成されたベクトル（0， 0， 1， 1， 1.3）に新たな要素「質問」として「０」を加える。その結果、目的言語のテキスト１００１の文単位の言語属性ベクトル（0， 0， 1， 1， 1.3, 0）が生成される。

上述と同様、目的言語属性解析部１１１は、例えば図１２の（ｂ）に示すように、音声認識部１０３から「The flower is not beautiful.」を示す目的言語のテキスト１００２を取得すると、そのテキスト１００２に含まれる単語ごとの言語属性ベクトルを目的言語属性辞書１１０ａから選択して生成する。例えば、目的言語属性解析部１１１は、内容語「flower」に対する言語属性ベクトル（ 0， 0， 1， 0， 2）や、機能語「the」に対する言語属性ベクトル（ 0， 0， 0， 0， 0）などを生成する。

そして、目的言語属性計算部１１２は、上述のように生成された各内容語の言語属性ベクトルの要素ごとの平均値を算出する。例えば、目的言語属性計算部１１２は、内容語「flower」および「beautiful」のそれぞれの言語属性ベクトルの要素ごとの平均値（0， 0， 1， 1， 1.5）を算出する。

次に、図１２の（ｂ）に示すように、機能語「the」、「is」および「not」の言語属性ベクトルにおいて、要素「丁寧さ」の合計が「０」であって、要素「親しみ」の合計が「０」であるため、目的言語属性計算部１１２は、平均値のベクトル（0， 0， 1， 1， 1.5）の要素「丁寧さ」に「０」を加算するとともに要素「親しみ」に「０」を加算する。その結果、ベクトル（0， 0， 1， 1， 1.5）が生成される。

次に、図１２の（ｂ）に示すように、機能語「the」、「is」および「not」の言語属性ベクトルにおいて、要素「否定」の合計が「１」であって０よりも大きな値であり、要素「強調」の合計が「０」であって０よりも大きな値でないため、目的言語属性計算部１１２は、上述のように生成されたベクトル（0， 0， 1， 1， 1.5）の要素「上昇下降」、「賞罰」および「美醜」に「−１」を加え、ベクトル（0， 0， 0， 0， 0.5）を算出する。

次に、例えば、図１２の（ｂ）に示すように、機能語「the」、「is」および「not」の言語属性ベクトルにおいて、要素「質問」の合計が「０」であるため、目的言語属性計算部１１２は、上述のように算出されたベクトル（0， 0， 0， 0， 0.5）に新たな要素「質問」として「０」を加える。その結果、目的言語のテキスト１００２の文単位の言語属性ベクトル（0， 0， 0， 0， 0.5, 0）が生成される。

図１３は、目的言語属性解析部１１１と目的言語属性計算部１１２の他の動作を説明するための説明図である。

上述と同様、目的言語属性解析部１１１は、例えば図１３に示すように、音声認識部１０３から「A very beautiful flower is open.」を示す目的言語のテキスト２４０１を取得すると、そのテキスト２４０１に含まれる単語ごとの言語属性ベクトルを目的言語属性辞書１１０ａから選択して生成する。例えば、目的言語属性解析部１１１は、内容語「flower」に対する言語属性ベクトル（ 0， 0， 1， 0， 2）や、機能語「very」に対する言語属性ベクトル（ 0， 0， 0， 0， 1）などを生成する。

そして、目的言語属性計算部１１２は、上述のように生成された各内容語の言語属性ベクトルの要素ごとの平均値を算出する。例えば、目的言語属性計算部１１２は、内容語「flower」、「beautiful」および「open」のそれぞれの言語属性ベクトルの要素ごとの平均値（0， 0， 1， 1， 1.3）を算出する。

次に、図１２の（ｂ）に示すように、機能語「a」、「is」および「very」の言語属性ベクトルにおいて、要素「丁寧さ」の合計が「０」であって、要素「親しみ」の合計「０」であるため、目的言語属性計算部１１２は、平均値のベクトル（0， 0， 1， 1， 1.3）の要素「丁寧さ」に「０」を加算するとともに要素「親しみ」に「０」を加算する。その結果、ベクトル（0， 0， 1， 1， 1.3）が生成される。

次に、図１３に示すように、機能語「the」、「is」および「very」の言語属性ベクトルにおいて、要素「強調」の合計が「１」であって０よりも大きな値であり、要素「否定」の合計が「０」であって０よりも大きな値でないため、目的言語属性計算部１１２は、上述のように生成されたベクトル（0， 0， 1， 1， 1.3）の要素「上昇下降」、「賞罰」および「美醜」に「１」を加え、ベクトル（0， 0， 2， 2， 2.3）を算出する。

次に、例えば、図１３に示すように、機能語「a」、「is」および「very」の言語属性ベクトルにおいて、要素「質問」の合計が「０」であるため、目的言語属性計算部１１２は、上述のように算出されたベクトル（0， 0， 2， 2， 2.3）に新たな要素「質問」として「０」を加える。その結果、目的言語のテキスト１００２の文単位の言語属性ベクトル（0， 0， 2， 2， 2.3， 0）が生成される。

図１４は、目的言語テーブル検索部１１４によって算出されるスコアを説明するための説明図である。

目的言語テーブル検索部１１４は、翻訳部１０９で生成された目的言語のテキストごとに、そのテキストの言語属性ベクトルと、原言語テーブル検索部１０８から出力された原言語の感情意図ベクトルとの組み合わせ（上述の第１セット）に近い組み合わせを、上述のスコア対象の第２セットとして、目的言語感情テーブル１１３ａから検索する。

例えば、図１４に示すように、原言語音声がやさしく語りかける口調の「きれいな花が咲いてますね。」であって、翻訳部１０９で生成された目的言語のテキストが「A beautiful flower is open.」と「The flower is not beautiful.」と「A very beautiful flower is open.」とである。この場合、目的言語テーブル検索部１１４は、ベクトル計算部１０６から原言語の感情意図ベクトル（2, 0, 0, 0）を取得するとともに、目的言語属性計算部１１２からテキスト「A beautiful flower is open.」に対する言語属性ベクトル（0， 0， 1， 1， 1.3, 0）と、テキスト「The flower is not beautiful.」に対する言語属性ベクトル（0， 0， 0， 0， 0.5, 0）と、テキスト「A very beautiful flower is open.」に対する言語属性ベクトル（ 0， 0， 2， 2， 2.3， 0）とを取得する。

目的言語テーブル検索部１１４は、テキスト「A beautiful flower is open.」に対して、上述のように取得された感情意図ベクトル（2, 0, 0, 0）および言語属性ベクトル（0， 0， 1， 1， 1.3, 0）の組み合わせ（第１セット）に近い組み合わせを、図６に示す目的言語感情テーブル１１３ａに含まれる感情意図ベクトルおよび言語属性ベクトルの組み合わせ（第２セット）から検索する。そして、目的言語テーブル検索部１１４は、目的言語感情テーブル１１３ａの複数の第２セットの中から、その目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３にある第２セットを、スコア対象の第２セットとして見つけ出す。

このように複数のスコア対象の第２セットを見つけ出すと、目的言語テーブル検索部１１４は、上述の第１セットと、行１１１０１にあるスコア対象の第２セットとの間のスコアを算出する。なお、感情意図の一致度たるスコアは、第１セットとスコア対象の第２セットとの間において、感情意図ベクトルおよび言語属性ベクトルの各対応する要素の値の差の絶対値の和で表され、その和の値が小さいスコアほど高い一致度を示す。例えば、上述のような場合、第１セットは感情意図ベクトル（ 2, 0, 0, 0）と言語属性ベクトル（0， 0， 1， 1， 1.3, 0）との組み合わせであり、行１１１０１にあるスコア対象の第２セットは感情意図ベクトル（ 2, 0, 0, 0）と言語属性ベクトル（0， 0， 1， 1， 1.3, 0）との組み合わせであるため、目的言語テーブル検索部１１４はスコア「０」を算出する。

さらに、目的言語テーブル検索部１１４は、上述の第１セットと、行１１１０２にあるスコア対象の第２セットとの間のスコア「５」を算出するとともに、上述の第１セットと、行１１１０３にあるスコア対象の第２セットとの間のスコア「７．８」を算出する。そして、目的言語テーブル検索部１１４は、テキスト「A beautiful flower is open.」に対してこのように算出したスコアを翻訳部１０９に出力する。

また、目的言語テーブル検索部１１４は、上述と同様、テキスト「The flower is not beautiful.」に対して、上述のように取得された感情意図ベクトル（2, 0, 0, 0）および言語属性ベクトル（0， 0， 0， 0， 0.5, 0）の組み合わせ（第１セット）に近い組み合わせを、図６に示す目的言語感情テーブル１１３ａに含まれる感情意図ベクトルおよび言語属性ベクトルの組み合わせ（第２セット）から検索する。そして、目的言語テーブル検索部１１４は、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３にある第２セットを、スコア対象の第２セットとして見つけ出す。

このように複数のスコア対象の第２セットを見つけ出すと、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０１にあるスコア対象の第２セットとの間のスコア「２．８」を算出する。さらに、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０２にあるスコア対象の第２セットとの間のスコア「７．８」を算出するとともに、上述の第１セットと、行１１０３にあるスコア対象の第２セットとの間のスコア「５」を算出する。そして、目的言語テーブル検索部１１４は、テキスト「The flower is not beautiful.」に対してこのように算出したスコアを翻訳部１０９に出力する。

また、目的言語テーブル検索部１１４は、上述と同様、テキスト「A very beautiful flower is open.」に対して、上述のように取得された感情意図ベクトル（2, 0, 0, 0）および言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の組み合わせ（第１セット）に近い組み合わせを、図６に示す目的言語感情テーブル１１３ａに含まれる感情意図ベクトルおよび言語属性ベクトルの組み合わせ（第２セット）から検索する。そして、目的言語テーブル検索部１１４は、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３にある第２セットを、スコア対象の第２セットとして見つけ出す。

このように複数のスコア対象の第２セットを見つけ出すと、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０１にあるスコア対象の第２セットとの間のスコア「３」を算出する。さらに、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０２にあるスコア対象の第２セットとの間のスコア「８」を算出するとともに、上述の第１セットと、行１１０３にあるスコア対象の第２セットとの間のスコア「１０．８」を算出する。そして、目的言語テーブル検索部１１４は、テキスト「A very beautiful flower is open.」に対してこのように算出したスコアを翻訳部１０９に出力する。

さらに、例えば、図１４に示すように、原言語音声が怒った口調の「きれいな花が咲いてますね。」であって、翻訳部１０９で生成された目的言語のテキストが「A beautiful flower is open.」と「The flower is not beautiful.」と「A very beautiful flower is open.」とである。この場合、目的言語テーブル検索部１１４は、ベクトル計算部１０６から原言語の感情意図ベクトル（0.5, 2, 1.5, 0）を取得するとともに、目的言語属性計算部１１２からテキスト「A beautiful flower is open.」に対する言語属性ベクトル（0， 0， 1， 1， 1.3, 0）と、テキスト「The flower is not beautiful.」に対する言語属性ベクトル（0， 0， 0， 0， 0.5, 0）と、テキスト「A very beautiful flower is open.」に対する言語属性ベクトル（0， 0， 2， 2， 2.3， 0）とを取得する。

目的言語テーブル検索部１１４は、上述と同様、テキスト「A beautiful flower is open.」に対して、上述のように取得された感情意図ベクトル（0.5, 2, 1.5, 0）および言語属性ベクトル（0， 0， 1， 1， 1.3, 0）の組み合わせ（第１セット）に近い組み合わせを、図６に示す目的言語感情テーブル１１３ａに含まれる感情意図ベクトルおよび言語属性ベクトルの組み合わせ（第２セット）から検索する。そして、目的言語テーブル検索部１１４は、目的言語感情テーブル１１３ａの複数の第２セットの中から、その目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３にある第２セットを、スコア対象の第２セットとして見つけ出す。

このように複数のスコア対象の第２セットを見つけ出すと、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０１にあるスコア対象の第２セットとの間のスコア「５」を算出する。さらに、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０２にあるスコア対象の第２セットとの間のスコア「０」を算出するとともに、上述の第１セットと、行１１０３にあるスコア対象の第２セットとの間のスコア「２．８」を算出する。そして、目的言語テーブル検索部１１４は、テキスト「A beautiful flower is open.」に対してこのように算出したスコアを翻訳部１０９に出力する。

また、目的言語テーブル検索部１１４は、上述と同様、テキスト「The flower is not beautiful.」に対して、上述のように取得された感情意図ベクトル（0.5, 2, 1.5, 0）および言語属性ベクトル（0， 0， 0， 0， 0.5, 0）の組み合わせ（第１セット）に近い組み合わせを、図６に示す目的言語感情テーブル１１３ａに含まれる感情意図ベクトルおよび言語属性ベクトルの組み合わせ（第２セット）から検索する。そして、目的言語テーブル検索部１１４は、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３にある第２セットを、スコア対象の第２セットとして見つけ出す。

このように複数のスコア対象の第２セットを見つけ出すと、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０１にあるスコア対象の第２セットとの間のスコア「７．８」を算出する。さらに、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０２にあるスコア対象の第２セットとの間のスコア「２．８」を算出するとともに、上述の第１セットと、行１１０３にあるスコア対象の第２セットとの間のスコア「０」を算出する。そして、目的言語テーブル検索部１１４は、テキスト「The flower is not beautiful.」に対してこのように算出したスコアを翻訳部１０９に出力する。

また、目的言語テーブル検索部１１４は、上述と同様、テキスト「A very beautiful flower is open.」に対して、上述のように取得された感情意図ベクトル（0.5, 2, 1.5, 0）および言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の組み合わせ（第１セット）に近い組み合わせを、図６に示す目的言語感情テーブル１１３ａに含まれる感情意図ベクトルおよび言語属性ベクトルの組み合わせ（第２セット）から検索する。そして、目的言語テーブル検索部１１４は、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３にある第２セットを、スコア対象の第２セットとして見つけ出す。

このように複数のスコア対象の第２セットを見つけ出すと、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０１にあるスコア対象の第２セットとの間のスコア「８」を算出する。さらに、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０２にあるスコア対象の第２セットとの間のスコア「３」を算出するとともに、上述の第１セットと、行１１０３にあるスコア対象の第２セットとの間のスコア「５．８」を算出する。そして、目的言語テーブル検索部１１４は、テキスト「A very beautiful flower is open.」に対してこのように算出したスコアを翻訳部１０９に出力する。

図１５は、表示操作部１１７のディスプレイ２０３における表示例を示す図である。
翻訳部１０９の翻訳制御部９１は、目的言語テーブル検索部１１４から目的言語の各テキストに対するスコアを取得すると、小さいスコアを有するテキストが上位となるように、その目的言語の複数のテキストをソートし、その結果をディスプレイ２０３の翻訳結果欄１４０３に表示させる。

例えば、原言語音声は、やさしく語りかける口調の「きれいな花が咲いてますね。」であって、翻訳部１０９で先に生成された目的言語のテキストは、「A beautiful flower is open.」と「The flower is not beautiful.」と「A very beautiful flower is open.」とである。この場合、翻訳制御部９１は、テキスト「A beautiful flower is open.」に対するスコア「０」、「５」および「７．８」を取得し、テキスト「The flower is not beautiful.」に対するスコア「２．８」、「７．８」および「５」を取得し、テキスト「A very beautiful flower is open.」に対するスコア「３」、「８」および「１０．８」を取得する。

ここで、翻訳制御部９１は、目的言語のテキストのスコアのうち、全てのスコアが例えば閾値「２．５」より大きい場合には、そのテキストを表示対象から除外するとともに翻訳結果から破棄する。つまり、翻訳制御部９１は、テキスト「The flower is not beautiful.」と「A very beautiful flower is open.」を表示対象から除外するとともに翻訳結果から破棄する。このように、本実施の形態では、翻訳制御部９１により生成された目的言語の複数のテキストから、そのテキストの言語属性および原言語テーブル検索部１０８により特定された感情意図が、目的言語感情テーブル１１３ａにある目的言語の何れかの音声に対する言語属性ベクトルおよび感情意図ベクトルの内容に近いテキストが検索される。

その結果、翻訳制御部９１は、全てのテキストの中で最も小さいスコア「０」を有するテキスト「A beautiful flower is open.」を翻訳結果欄１４０３に表示させる。

さらに、翻訳制御部９１は、翻訳結果欄１４０３に表示される目的言語のテキストに対応する対訳文を、ディスプレイ２０３の対訳文欄１４０４に表示させる。例えば、翻訳制御部９１は、目的言語のテキスト「A beautiful flower is open.」に対応する対訳文「きれいな花が咲いてますね。」を対訳文欄１４０４に表示させる。なお、この対訳文は、目的言語のテキストの言語表現または言語的意味に対応する文である。話者は、このような対訳文を見ることにより、目的言語のテキストの言語表現としての意味を確認することができる。

翻訳制御部９１は、このような対訳文を作成するときには、表示された目的言語のテキストを作成するために使用された文例の識別子ＴＩＤを特定し、その識別子ＴＩＤと同じ数値を有する識別子ＯＩＤを有する原言語の文例を、原言語文例リスト１３０１から取得する。そして、翻訳制御部９１は、上述の文例の＜品詞＞および＜意味クラス＞の箇所に、その品詞や意味クラスに応じた原言語の単語を当てはめる。翻訳制御部９１は、このような当てはめを行なうときには、図１０に示すステップＳ１０７１で取得した原言語の単語の品詞および意味クラスを利用する。このような当てはめを行なった結果、表示された目的言語のテキストに対応する対訳文が生成される。

また、ディスプレイ２０３は、原言語テーブル検索部１０８から取得した原言語の感情意図ベクトルをベクトル欄１４０２に表示する。なお、感情意図ベクトルは棒グラフとして表示され、その感情意図ベクトルに含まれる各要素の大きさは棒の長さによって示される。

また、ディスプレイ２０３は、音声認識部１０３から取得した認識結果たる原言語のテキスト「きれいな花が咲いてますね。」を認識結果欄１４０１に表示する。さらに、ディスプレイ２０３は、ポインタ１４０５と、「音声合成」と記された合成実行ボタン１４０６と、キャンセルボタン１４０７とを表示する。

ポインタ１４０５は例えばマウス２０４によって移動される。例えば、話者は、マウス２０４を操作してポインタ１４０５をテキスト「A beautiful flower is open.」上に配置し、そのマウス２０４をクリックする。その結果、ディスプレイ２０３は、そのテキストと対訳文との背景に網掛け模様を表示させる。このような模様の表示によって、話者はどのテキストが選択されているかを容易に確認することができる。

このような状態で、話者がマウス２０４を操作してポインタ１４０５を合成実行ボタン１４０６上に配置してそのマウス２０４をクリックすると、表示操作部１１７は、話者によってテキスト「A beautiful flower is open.」が選択されたことと、そのテキストに対する音声合成の実行の指示を翻訳制御部９１に通知する。また、話者がマウス２０４を操作してポインタ１４０５をキャンセルボタン１４０７上に配置してそのマウス２０４をクリックすると、表示操作部１１７は、音声合成の終了の指示を翻訳制御部９１に通知する。

図１６は、表示操作部１１７のディスプレイ２０３における他の表示例を示す図である。

例えば、原言語音声は、怒った口調の「きれいな花が咲いてますね。」であって、翻訳部１０９で先に生成された目的言語のテキストは、「A beautiful flower is open.」と「The flower is not beautiful.」と「A very beautiful flower is open.」とである。この場合、翻訳制御部９１は、テキスト「A beautiful flower is open.」に対するスコア「５」、「０」および「２．８」を取得し、テキスト「The flower is not beautiful.」に対するスコア「７．８」、「２．８」および「０」を取得し、テキスト「A very beautiful flower is open.」に対するスコア「８」、「３」および「５．８」を取得する。

ここで、翻訳制御部９１は、目的言語のテキストのスコアのうち、全てのスコアが例えば閾値「２．５」より大きい場合には、そのテキストを表示対象から除外するとともに翻訳結果から破棄する。つまり、翻訳制御部９１は、テキスト「A very beautiful flower is open.」を表示対象から除外するとともに翻訳結果から破棄する。

その結果、翻訳制御部９１は、まず、テキスト「A beautiful flower is open.」とテキスト「The flower is not beautiful.」とをそれぞれのスコアの小さいものから順にソートして翻訳結果欄１４０３に表示させようとする。

ここで、テキスト「A beautiful flower is open.」の最も小さいスコアと、テキスト「The flower is not beautiful.」の最も小さいスコアとは共に「０」である。そこで、翻訳制御部９１は、原言語のテキストに対する、目的言語のテキスト「A beautiful flower is open.」の類似度と、目的言語のテキスト「The flower is not beautiful.」の類似度とを、対訳類似度テーブル１３０３を参照して特定する。その結果、翻訳制御部９１は、目的言語のテキスト「A beautiful flower is open.」の類似度「１．０」と、目的言語のテキスト「The flower is not beautiful.」の類似度「０．３」とを特定する。

そして、翻訳制御部９１は、それらの目的言語のテキストを類似度の大きいものから順に、つまり「A beautiful flower is open.」、「The flower is not beautiful.」の順に、ディスプレイ２０３の翻訳結果欄１４０３に表示させる。

さらに、翻訳制御部９１は、翻訳結果欄１４０３に表示される目的言語の各テキストに対応する対訳文、例えば「きれいな花がさいてますね。」および「その花はきれいではありませんね。」を、ディスプレイ２０３の対訳文欄１４０４に表示させる。

さらに、翻訳制御部９１は、ディスプレイ２０３の認識結果欄１４０１に、音声認識部１０３から取得した原言語のテキスト「きれいな花が咲いてますね。」を表示させるとともに、ディスプレイ２０３のベクトル欄１４０２に、原言語テーブル検索部１０８から取得した原言語の感情意図ベクトルを表示させる。

さらに、ディスプレイ２０３は、ポインタ１４０５と、「音声合成」と記された合成実行ボタン１４０６と、キャンセルボタン１４０７とを表示する。上述のように、ポインタ１４０５は目的言語のテキストの選択に使用され、合成実行ボタン１４０６は音声合成の実行の指示に使用され、キャンセルボタン１４０７は音声合成の終了の指示に使用される。

図１７は、目的言語テーブル検索部１１４によって特定される音響特徴ベクトルを説明するための説明図である。

翻訳制御部９１は、話者によって選択された目的言語のテキストと、そのテキストに対する音声合成の実行の指示とを表示操作部１１７から受け付けると、そのテキストの文単位の言語属性ベクトルを目的言語属性解析部１１１および目的言語属性計算部１１２に生成させる。

そして、目的言語テーブル検索部１１４は、原言語テーブル検索部１０８から取得した原言語の感情意図ベクトルと、上述のように目的言語属性計算部１１２によって生成された目的言語の言語属性ベクトルとの組み合わせに最も一致するデータを、目的言語感情テーブル１１３ａから検索する。

例えば、図１５に示される内容がディスプレイ２０３に表示されているときに、目的言語のテキスト「A beautiful flower is open.」の音声合成の実行が指示されると、目的言語テーブル検索部１１４は、やさしく語りかける口調の「きれいな花が咲いてますね。」に対する感情意図ベクトル（2， 0， 0， 0）と、目的言語のテキスト「A beautiful flower is open.」に対する言語属性ベクトル（0， 0， 1， 1， 1.3， 0）とを取得する。そして、目的言語テーブル検索部１１４は、感情意図ベクトル（2， 0， 0， 0）と言語属性ベクトル（0， 0， 1， 1， 1.3， 0）との組み合わせに最も一致するデータを、目的言語感情テーブル１１３ａの行１１０１から見つける。その結果、目的言語テーブル検索部１１４は、そのデータ、つまり目的言語感情テーブル１１３ａの行１１０１にある感情意図ベクトルおよび言語属性ベクトルに関連付けられている音響特徴ベクトル（2， 1， 1， 1， 1， 0）を音声合成部１１５に出力する。

これにより、目的言語のテキスト「A beautiful flower is open.」がやさしい口調で音声合成されて出力される。

一方、図１６に示される内容がディスプレイ２０３に表示されているときに、目的言語のテキスト「A beautiful flower is open.」の音声合成の実行が指示されると、目的言語テーブル検索部１１４は、怒った口調の「きれいな花が咲いてますね。」に対する感情意図ベクトル（0.5， 2， 1.5， 0）と、目的言語のテキスト「A beautiful flower is open.」に対する言語属性ベクトル（0， 0， 1， 1， 1.3， 0）とを取得する。そして、目的言語テーブル検索部１１４は、感情意図ベクトル（0.5， 2， 1.5， 0）と言語属性ベクトル（0， 0， 1， 1， 1.3， 0）との組み合わせに最も一致するデータを、目的言語感情テーブル１１３ａの行１１０２から見つける。その結果、目的言語テーブル検索部１１４は、そのデータ、つまり目的言語感情テーブル１１３ａの行１１０２にある感情意図ベクトルおよび言語属性ベクトルに関連付けられている音響特徴ベクトル（-2， 1， -2， -1， 0， 1）を音声合成部１１５に出力する。

これにより、否定的な内容を示す目的言語のテキスト「A beautiful flower is open.」が怒った口調で音声合成されて出力される。

また、図１６に示される内容がディスプレイ２０３に表示されているときに、目的言語のテキスト「The flower is not beautiful.」の音声合成の実行が指示されると、目的言語テーブル検索部１１４は、怒った口調の「きれいな花が咲いてますね。」に対する感情意図ベクトル（0.5， 2， 1.5， 0）と、目的言語のテキスト「The flower is not beautiful.」に対する言語属性ベクトル（0， 0， 0， 0， 0.5， 0）とを取得する。そして、目的言語テーブル検索部１１４は、感情意図ベクトル（0.5， 2， 1.5， 0）と言語属性ベクトル（0， 0， 0， 0， 0.5， 0）との組み合わせに最も一致するデータを、目的言語感情テーブル１１３ａの行１１０３から見つける。その結果、目的言語テーブル検索部１１４は、そのデータ、つまり目的言語感情テーブル１１３ａの行１１０３にある感情意図ベクトルおよび言語属性ベクトルに関連付けられている音響特徴ベクトル（1， 1， 0， 0， 0， 0）を音声合成部１１５に出力する。

これにより、否定的な内容を示す目的言語のテキスト「The flower is not beautiful.」が怒った口調ではなく落ち着いた口調で音声合成されて出力される。

このように本実施の形態では、目的言語感情テーブル１１３ａにおいて目的言語音声ごとに関連付けられている言語属性ベクトルと音響特徴ベクトルには、その目的言語音声に与える印象が同じ内容を示すものだけでなく、その目的言語音声に与える印象が互いに異なるような内容を示すものもある。その結果、上述のように、否定的な印象を与える言語属性を有する目的言語のテキストを、否定的な怒りの印象を与える音響的特徴で合成することができるとともに、肯定的な落ち着いた印象を与える音響的特徴で合成することもできる。このように、本実施の形態では、言語的な特徴と音響的な特徴とが裏腹となるような合成音声を生成することができ、その合成音声全体で複雑な感情や意図を表現することができる。したがって、原言語の言語表現に縛られない自由度の高い翻訳を行なうことができる。

このように構成された本実施の形態における音声翻訳装置２００の動作を図１８に従って説明する。

図１８は、本発明の実施の形態における音声翻訳装置２００の動作を示すフローチャートである。

まず、音声翻訳装置２００の入力部１０１は、話者が発話した原言語音声を取得する（ステップＳ１０１）。次に、音声認識部１０３は、ステップＳ１０１で取得された原言語音声に対して音声認識処理を行い、その認識結果として原言語のテキストを生成する（ステップＳ１０２）。このとき、音声認識部１０３は、原言語音声と原言語のテキストとの間の単語レベルでの時間的な対応関係を示す情報を出力するともに、表示操作部１１７に認識結果たる原言語のテキストを出力する。

次に、音声翻訳装置２００の原言語属性解析部１０５は、ステップＳ１０２で生成された原言語のテキストに含まれる各単語の言語属性を、原言語属性辞書１０４ａを参照することにより取得する（ステップＳ１０３）。ここで、原言語属性解析部１０５は、各単語の言語属性を言語属性ベクトルとして取得する。

音響分析部１０２は、ステップＳ１０１で取り込まれた原言語音声の音響的分析を行い、原言語音声に含まれる各種の音響的特徴、即ち平均ピッチ、ピッチダイナミックレンジ、声門開放度、およびスペクトル傾斜を取得する（ステップＳ１０４）。なお、これらの音響的特徴の情報は、従来提案されているピッチ分析手法や、声質の同定方法、スペクトル分析手法によって得られる情報である。

次に、ベクトル計算部１０６は、文単位の言語属性ベクトルと音響特徴ベクトルとを生成する（ステップＳ１０５）。即ち、ベクトル計算部１０６は、ステップＳ１０２の音声認識によって確定された原言語音声の時間軸上の単語の位置関係と、ステップＳ１０４で取得された音響的特徴とを用いて、原言語音声の文末ピッチ変動とポーズ頻度とを算出する。さらに、ベクトル計算部１０６は、ステップＳ１０４で取得された音響的特徴から文単位の音響特徴ベクトルを生成するとともに、この文単位の音響特徴ベクトルに、上述のように算出した２つの音響的特徴（即ち、文末ピッチ変動とポーズ頻度）を追加する。さらに、ベクトル計算部１０６は、ステップＳ１０３で取得した単語ごとの言語属性ベクトルから、文単位の言語属性ベクトルを算出する。

次に、原言語テーブル検索部１０８は、ステップＳ１０５で生成された原言語の言語属性ベクトルと音響特徴ベクトルの組み合わせを検索キーとして用い、それらのベクトルと最も一致するデータを原言語感情テーブル１０７ａから検索する（ステップＳ１０６）。そして、原言語テーブル検索部１０８は、そのデータを見つけると、そのデータに関連付けられた感情意図ベクトルを特定するとともに、表示操作部１１７にその感情意図ベクトルを表示させる。

例えば、「きれいな花が咲いてますね。」がやさしく語りかけるような口調で話された場合、ベクトル計算部１０６は言語属性ベクトル（1， 1， 1， 1， 1.3， 0）と音響特徴ベクトル（2， 1， 1， 1， 1， 0）を生成する。この場合、原言語テーブル検索部１０８は、これらのベクトルと最も一致するデータを、図４に示す原言語感情テーブル１０７ａの行８０１から見つける。その結果、原言語テーブル検索部１０８は、感情意図ベクトル（2， 0， 0， 0）を特定する。この感情意図ベクトルは、話者が喜びの感情あるいは意図を持って発話していることを示している。一方、「きれいな花が咲いてますね。」が怒ったような口調で話された場合、ベクトル計算部１０６は言語属性ベクトル（1， 1， 1， 1， 1.3， 0）と音響特徴ベクトル（-2， 1， -2， -1， 0， 1）を生成する。この場合、原言語テーブル検索部１０８は、これらのベクトルと最も一致するデータを、図４に示す原言語感情テーブル１０７ａの行８０２から見つける。その結果、原言語テーブル検索部１０８は、感情意図ベクトル（0.5， 2， 1.5， 0）を特定する。この感情意図ベクトルは、話者が若干の喜びと、嫌悪と、怒りという３種類の感情が入り交じった「嫌み」や「嘲笑」ともいうべき複雑な感情や意図を持って発話していることを示している。

次に、翻訳部１０９は、音声認識部１０３の認識結果である原言語のテキストを目的言語の複数のテキストへ翻訳する（ステップＳ１０７）。

そして、目的言語属性解析部１１１は、目的言語のテキストごとに、そのテキストに含まれる各単語やフレーズの言語属性を、目的言語属性辞書１１０ａを参照することにより取得し、目的言語属性計算部１１２は、目的言語のテキストごとに、文単位の言語属性ベクトルを生成する（ステップＳ１０８）。

次に、目的言語テーブル検索部１１４は、ステップＳ１０７での翻訳結果である目的言語のテキストごとに、そのテキストに対応する第１セットに近い複数の第２セットをスコア対象として目的言語感情テーブル１１３ａから検索する。ここで、第１セットとは、ステップＳ１０６で原言語テーブル検索部１０８によって検索された原言語の感情意図ベクトルと、目的言語のテキストごとにステップＳ１０８で生成された目的原語の言語属性ベクトルとの組み合わせである。第２セットとは、目的言語感情テーブル１１３ａに含まれる言語属性ベクトルと感情意図ベクトルとの組み合わせである。さらに、目的言語テーブル検索部１１４は、目的言語のテキストごとに、第１セットと各スコア対象の第２セットとの間のスコアを算出する（ステップＳ１０９）。このスコアは翻訳部１０９の翻訳制御部９１に出力される。

次に、翻訳制御部９１は、小さいスコアを有するテキストが上位となるように、ステップＳ１０７で生成された目的言語の複数のテキストをソートし、その結果を表示操作部１１７に表示させる（ステップＳ１１０）。ただし、翻訳制御部９１は、テキストに対応する何れのスコアも所定の閾値より大きい場合には、そのテキストを表示対象から除外して、そのテキストを翻訳結果から破棄する。例えば、翻訳制御部９１は、テキストに対応する何れのスコアも２．５より大きい場合には、そのテキストを翻訳結果から破棄する。

ここで、翻訳制御部９１は、目的言語の複数のテキストの最小のスコアが同じである場合には、原言語との類似度の高いテキストが上位となるように、その目的言語の複数のテキストをソートする。

このように表示操作部１１７に目的言語の複数のテキストが表示されると、翻訳制御部９１は、話者によって操作されたキーボード２０２またはマウス２０４からの指示を受け付ける（ステップＳ１１１）。このような指示には、その複数のテキストの中から何れかのテキストを選択してそのテキストの音声合成の開始を促す指示と、音声合成の終了を促す指示とがある。

次に、翻訳制御部９１は、テキストを選択して音声合成の開始を促す指示があったか否かを判別する（ステップＳ１１２）。音声合成の終了の指示があったと判別したときには（ステップＳ１１２のＮｏ）、翻訳制御部９１は音声合成の処理を終了し、テキストを選択して合成音声の開始を促す指示があったと判別したしたときには（ステップＳ１１２のＹｅｓ）、翻訳制御部９１は、その選択されたテキストを音声合成部１１５と目的言語属性解析部１１１に出力する。

目的言語のテキストを取得した目的言語属性解析部１１１は、ステップＳ１０８と同様の処理を行い、そのテキストの言語属性ベクトルを生成する（ステップＳ１１３）。

次に、目的言語テーブル検索部１１４は、ステップＳ１０６で原言語テーブル検索部１０８が決定した原言語の感情意図ベクトルと、ステップＳ１１３で生成された目的言語の言語属性ベクトルとの組み合わせを検索キーとして用い、目的言語感情テーブル１１３ａの中から、それらのベクトルの組み合わせと最も一致するデータを特定する。そして、目的言語テーブル検索部１１４は、そのデータに関連付けられている音響特徴ベクトルを取得する（ステップＳ１１４）。

次に、音声合成部１１５は、ステップＳ１１４で取得された音響特徴ベクトルの各要素の値に基づいて、あらかじめ定められた標準の韻律パラメータ（平均ピッチ、ピッチダイナミックレンジ、文末ピッチ変動）および声質制御パラメータ（スペクトル傾斜、声門開放度）を内部修正し、目的言語のテキストを音声合成する（ステップＳ１１５）。なお、音声合成部１１５は、音響特徴ベクトルの各要素の標準値を０とし、その各要素の標準値からの増減に同調して、音声合成部１１５内部の標準の韻律パラメータと声質制御パラメータとを増減する。

最後に、出力部１１６は、ステップＳ１１５で合成された音声を出力する（ステップＳ１１６）。

このように本実施の形態の音声翻訳装置２００では、原言語音声の意味内容に類似する目的言語の複数のテキストから、そのテキストの言語属性ベクトルと原言語音声に含まれる感情意図ベクトルとが、目的言語感情テーブル１１３ａの言語属性ベクトルおよび感情意図ベクトルの内容に近いテキストが検索されるため、原言語音声に含まれる感情意図を聴取者に伝えるのにふさわしい言語属性ベクトルを有する目的言語のテキストを見つけ出すことができる。さらに、目的言語感情テーブル１１３ａにある音響特徴ベクトルのうち、上述のように検索されたテキストの言語属性ベクトルと原言語音声に含まれる感情意図ベクトルとに近い内容を示すデータに関連付けられている音響特徴ベクトルが取得されるため、その検索されたテキストに対して、原言語音声に含まれる感情意図を聴取者に伝えるのにふさわしい音響特徴ベクトルを取得することができる。そして、その音響特徴ベクトルの示す音響的特徴が、検索された目的言語のテキストの合成音声に反映されるため、原言語音声に含まれる話者の感情および意図を、目的言語の合成音声により聴取者に適切に伝えることができる。

即ち、本実施の形態の音声翻訳装置２００では、原言語音声に含まれる感情意図を特定して、その感情意図を目的言語で表現し得る言語属性および音響的特徴を有する目的言語の音声が合成されるため、言語的文化上の感情や意図の表現方法の違いに柔軟に対応した翻訳を行なうことができる。

（変形例１）
ここで、上記実施の形態における音声翻訳装置２００の第１の変形例について説明する。

上記実施の形態では、目的言語属性辞書１１０ａは、単語およびフレーズごとに、その単語やフレーズの表記と単語辞書情報と言語属性情報とを示していた。

本変形例にかかる目的言語属性辞書は、さらに、意味クラスごとに、その意味クラスの表記と言語属性情報とを示す。

図１９は、本変形例にかかる目的言語属性辞書の内容を示す図である。
この目的言語属性辞書１１０ｂには、意味クラス＜Name＞と、内容語属性、つまり内容語の言語属性ベクトル（0, 2, 0, 0, 0,）とが関連付けられている。

ここで、このように構成された目的言語属性辞書１１０ｂを有する音声翻訳装置２００が、穏やかな口調で発話された原言語音声「ケーキはいかがですか。」に対して行なう処理について説明する。

まず、音声認識部１０３は、図１１の（ｂ）に示すように、原言語音声から原言語のテキスト「ケーキはいかがですか。」を生成して、原言語属性解析部１０５は、そのテキストに含まれる単語ごとの言語属性ベクトルを生成する。さらに、音声翻訳装置２００のベクトル計算部１０６は、そのテキストの最終的な文単位の言語属性ベクトル（2， 0， 0， 1.5， 0, 1）を生成する。また、音響分析部１０２およびベクトル計算部１０６は、その原言語音声から、穏やかな口調を示す音響特徴ベクトル（2， 1， 1， 1， 1， 0）を生成する。

そして、原言語テーブル検索部１０８は、生成された言語属性ベクトル（2， 0， 0， 1.5， 0, 1）と音響特徴ベクトル（2， 1， 1， 1， 1， 0）との組み合わせに最も一致するデータを原言語感情テーブル１０７ａから検索する。そして、原言語テーブル検索部１０８は、図４に示す原言語感情テーブル１０７ａの行８０３でそのデータに関連付けられている感情意図ベクトル（1， 0， 0， 2）を取得する。つまり、音声翻訳装置２００は、原言語音声には、喜んでもてなそうという意図があると判断している。

さらに、翻訳制御部９１は、対訳テーブル９３ａを参照して、原言語のテキスト「ケーキはいかがですか。」に対応する目的言語のテキスト「Eat the cake, ＜Name＞.」と「Would you like to eat the cake?」を生成する。ここで、原言語のテキストには意味クラス＜名前（固有名詞）＞に属する単語が含まれていないので、翻訳制御部９１は、目的言語文例リスト１３０２にある文例の意味クラス＜Name＞に単語を当てはめることなく、上述のような目的言語のテキスト「Eat the cake, <Name>.」を生成している。

図２０は、本変形例にかかる目的言語属性解析部１１１と目的言語属性計算部１１２の動作を説明するための説明図である。

目的言語属性解析部１１１は、例えば図２０の（ａ）に示すように、音声認識部１０３から「Eat the cake, ＜Name＞.」を示す目的言語のテキスト１９０２を取得すると、そのテキスト１９０２に含まれる単語ごとの言語属性ベクトルを目的言語属性辞書１１０ｂから選択して生成する。例えば、目的言語属性解析部１１１は、内容語としての意味クラス＜Name＞に対する言語属性ベクトル（ 0， 1， 0， 0， 0）や、機能語「the」に対する言語属性ベクトル（ 0， 0， 0， 0, 0）などを生成する。目的言語属性計算部１１２は、このような単語ごとの言語属性ベクトルを用いて、文単位の言語属性ベクトル（0， 1， 0， 1.5， 0， 0）を生成する。

また、目的言語属性解析部１１１は、例えば図２０の（ｂ）に示すように、音声認識部１０３から「Would you like to eat the cake?」を示す目的言語のテキスト１９０１を取得すると、そのテキスト１９０１に含まれる単語ごとの言語属性ベクトルを目的言語属性辞書１１０ｂから選択して生成する。例えば、目的言語属性解析部１１１は、内容語「cake」に対する言語属性ベクトル（0， 0， 0， 2， 0）や、機能語としてのフレーズ「Would you like to」に対する言語属性ベクトル（1， 0， 0， 1, 0）などを生成する。目的言語属性計算部１１２は、このような単語ごとの言語属性ベクトルを用いて、文単位の言語属性ベクトル（1， 0， 0， 1.5， 0， 1）を生成する。

図２１は、本変形例にかかる目的言語テーブル検索部１１４によって算出されるスコアを説明するための説明図である。

例えば、目的言語テーブル検索部１１４は、ベクトル計算部１０６から原言語の感情意図ベクトル（1, 0, 0, 2）を取得するとともに、目的言語属性計算部１１２からテキスト「Eat the cake, ＜Name＞.」に対する言語属性ベクトル（0， 1， 0， 1.5， 0， 0）と、テキスト「Would you like to eat the cake?」に対する言語属性ベクトル（1， 0， 0， 1.5， 0， 1）とを取得する。

目的言語テーブル検索部１１４は、テキスト「Eat the cake, ＜Name＞.」に対して、上述のように取得された感情意図ベクトル（1, 0, 0, 2）および言語属性ベクトル（0， 1， 0， 1.5， 0， 0）の組み合わせ（第１セット）に近い組み合わせを、図６に示す目的言語感情テーブル１１３ａに含まれる感情意図ベクトルおよび言語属性ベクトルの組み合わせ（第２セット）から検索する。そして、目的言語テーブル検索部１１４は、目的言語感情テーブル１１３ａの複数の第２セットの中から、その目的言語感情テーブル１１３ａの行１１０４，１１０５にある第２セットを、スコア対象の第２セットとして見つけ出す。

このように複数のスコア対象の第２セットを見つけ出すと、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０４にあるスコア対象の第２セットとの間のスコア「０」を算出する。さらに、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０５にあるスコア対象の第２セットとの間のスコア「５」を算出する。そして、目的言語テーブル検索部１１４は、テキスト「Eat the cake, ＜Name＞.」に対してこのように算出したスコアを翻訳部１０９に出力する。

また、目的言語テーブル検索部１１４は、テキスト「Would you like to eat the cake?」に対して、上述のように取得された感情意図ベクトル（1, 0, 0, 2）および言語属性ベクトル（1， 0， 0， 1.5， 0， 1）の組み合わせ（第１セット）に近い組み合わせを、図６に示す目的言語感情テーブル１１３ａに含まれる感情意図ベクトルおよび言語属性ベクトルの組み合わせ（第２セット）から検索する。そして、目的言語テーブル検索部１１４は、目的言語感情テーブル１１３ａの複数の第２セットの中から、その目的言語感情テーブル１１３ａの行１１０４，１１０５にある第２セットを、スコア対象の第２セットとして見つけ出す。

このように複数のスコア対象の第２セットを見つけ出すと、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０４にあるスコア対象の第２セットとの間のスコア「３」を算出する。さらに、目的言語テーブル検索部１１４は、上述の第１セットと、行１１０５にあるスコア対象の第２セットとの間のスコア「２」を算出する。そして、目的言語テーブル検索部１１４は、テキスト「Would you like to eat the cake?」に対してこのように算出したスコアを翻訳部１０９に出力する。

図２２は、本変形例にかかる表示操作部１１７のディスプレイ２０３における表示例を示す図である。

翻訳部１０９の翻訳制御部９１は、目的言語テーブル検索部１１４から目的言語の各テキストに対するスコアを取得すると、小さいスコアを有するテキストが上位となるように、その目的言語の複数のテキストをソートし、その結果をディスプレイ２０３の翻訳結果欄１４０３に表示させる。

例えば、原言語音声は、穏やかな口調の「ケーキはいかがですか。」であって、翻訳部１０９で先に生成された目的言語のテキストは、「Eat the cake, ＜Name＞.」と「Would you like to eat the cake?」とである。この場合、翻訳制御部９１は、テキスト「Eat the cake, ＜Name＞.」に対するスコア「０」および「５」を取得し、テキスト「Would you like to eat the cake?」に対するスコア「３」および「２」を取得する。

そして、翻訳制御部９１は、テキスト「Eat the cake, ＜Name＞.」の最も小さいスコア「０」と、テキスト「Would you like to eat the cake?」の最も小さいスコア「２」とを比較する。その結果、翻訳制御部９１は、スコアの小さいテキスト「Eat the cake, ＜Name＞.」が先頭になるように、テキスト「Eat the cake, ＜Name＞.」とテキスト「Would you like to eat the cake?」とをディスプレイ２０３の翻訳結果欄１４０３に表示させる。

なお、図９の対訳テーブル９３ａに示すように、原言語のテキスト「ケーキはいかがですか。」に対する目的言語のテキスト「Eat the cake, ＜Name＞.」の類似度は「０．４」であって、その原言語のテキストに対する目的言語のテキスト「Would you like to eat the cake?」の類似度は「１．０」である。しかしながら、翻訳制御部９１は、テキスト「Eat the cake, ＜Name＞.」のスコアの方が、テキスト「Would you like to eat the cake?」のスコアよりも小さいので、テキスト「Eat the cake, ＜Name＞.」をテキスト「Would you like to eat the cake?」よりも上位に表示させる。

このように、翻訳制御部９１は、原言語音声に含まれていない単語「トム」の意味クラス＜Name＞が目的言語の文例に含まれているときには、その意味クラス＜Name＞を含む目的言語のテキスト「Eat the cake, ＜Name＞.」を生成し、そのテキストをディスプレイ２０３に表示させることで、その意味クラス＜Name＞に対応する単語の入力をユーザ（話者）に促す。

ディスプレイ２０３の翻訳結果欄１４０３の先頭に表示されたテキスト「Eat the cake, ＜Name＞.」を見た話者は、自ら発話した原言語音声に対して適切な目的言語のテキストが「Eat the cake, ＜Name＞.」であることを把握する。そして、話者は、そのテキストを音声合成しようとするときには、原言語音声で「トムさん、ケーキはいかがですか。」を発話し直す。その結果、音声翻訳装置２００は、ディスプレイ２０３の翻訳結果欄１４０３の先頭（最上位）に、原言語音声「トムさん、ケーキはいかがですか。」に対して適切な目的言語のテキストとして「Eat the cake, Tom.」を表示させる。そして、話者がそのテキストを選択して音声合成の開始を指示すれば、音声翻訳装置２００は、上述のように、そのテキストに対して最適な音響特徴ベクトルを取得し、そのテキストに対して音声合成を行なうことにより、その音響特徴ベクトルの示す音響的特徴を含む目的言語の合成音声を生成して出力する。なお、上述の例では、話者が原言語音声「トムさん、ケーキはいかがですか。」を発話し直したが、「トム」という単語を話者がキーボード２０２から直接入力してもよい。

このように本変形例では、目的言語文例リスト１３０２にある文例に意味クラスを含めるとともに、目的言語属性辞書１１０ｂにその意味クラスの言語属性ベクトルを含め、原言語音声に含まれていない単語の意味クラスが目的言語の文例に含まれているときには、テキスト生成手段たる翻訳制御部９１によって、その意味クラスに対応する単語の入力がユーザに促される。その結果、例えば、ユーザである話者はその単語を含む原言語音声を発話し直すことができ、音声翻訳装置２００は、その意味クラスの単語を含む目的言語の合成音声を出力して、当初の原言語音声に含まれる話者の感情および意図を聴取者に適切に伝えることができる。すなわち、本変形例では、原言語音声に当初含まれていない単語も補って、その原言語音声を適切な目的言語音声に翻訳することができ、翻訳の自由度を広げることができる。

（変形例２）
ここで、上記実施の形態における音声翻訳装置２００の第２の変形例について説明する。

上記実施の形態では、原言語テーブル検索部１０８から出力された感情意図ベクトルを、そのまま目的言語テーブル検索部１１４での検索に用いた。

本変形例では、さらに、原言語テーブル検索部１０８から出力された感情意図ベクトルを変更し、その変更された感情意図ベクトルを目的言語テーブル検索部１１４での検索に用いる。

図２３は、本変形例にかかる音声翻訳装置の機能ブロック図である。
本変形例にかかる音声翻訳装置２００ａは、基本的に上記実施の形態の音声翻訳装置２００と同様に構成されているが、表示操作部１１７の代わりに表示操作部１１７ａを備えるとともにベクトル変更部１１８を備えている。

ベクトル変更部１１８は、原言語テーブル検索部１０８から出力された原言語の感情意図ベクトルの各要素の値を、表示操作部１１７ａからの指示にしたがって変更する。

なお、本変形例では、原言語テーブル検索部１０８とベクトル変更部１１８が検索特定手段として構成されている。

表示操作部１１７ａは、ユーザである話者からの操作に基づき、感情意図ベクトルの各要素の変更後の値を取得して、その変更後の値をベクトル変更部１１８に指示する。

図２４は、本変形例にかかる表示操作部１１７ａのディスプレイ２０３における表示例を示す図である。

ディスプレイ２０３は、ベクトル欄１４０２に、原言語テーブル検索部１０８から出力された感情意図ベクトルを、図２４中の黒色の棒グラフで表示するとともに、任意設定可能な感情意図ベクトルを、図２４中の網掛けされた棒グラフで表示する。マウス２０４によるポインタ１４０５のその網掛けされた棒上への配置および上下方向へのドラッグ・アンド・ドロップ操作によって、ディスプレイ２０３は、任意設定可能な感情意図ベクトルを示す網掛けされた棒グラフの各棒を、その操作に応じて伸張して表示する。

さらに、ディスプレイ２０３は、スコアと類似度に従った順序で目的言語の各テキストを翻訳結果欄１４０３に表示する。例えば、ディスプレイ２０３は、テキスト「A beautiful flower is open.」、「The flower is not beautiful.」、「A very beautiful flower is open.」の順で、これらのテキストを表示する。

また、ディスプレイ２０３は、「変更」と記された変更ボタン１４０８を表示する。例えば、話者は、マウス２０４を用いて、ベクトル欄１４０２に表示された任意設定可能な感情意図ベクトルの要素「嫌悪」に対応する棒を図２４中の上方に伸ばす。そして、話者は、マウス２０４を用いて、ポインタ１４０５を変更ボタン１４０８の上に配置し、マウス２０４をクリックする。その結果、表示操作部１１７ａは、ベクトル変更部１１８に対して、上述のように伸ばされた棒の長さに相当する要素「嫌悪」の値を指示する。

このような指示を受けたベクトル変更部１１８は、原言語テーブル検索部１０８から出力された感情意図ベクトルを、指示された要素「嫌悪」の値を有する感情意図ベクトルに変更して、目的言語感情テーブル検索部１１４に出力する。

感情意図ベクトルが変更されると、目的言語テーブル検索部１１４は、その変更された感情意図ベクトルに基づいて、目的言語の各テキストに対するスコアを再計算する。

図２５は、変更前後の感情意図ベクトルに基づくスコアを示す図である。
例えば、目的言語テーブル検索部１１４は、怒った口調の原言語音声「きれいな花が咲いてますね。」に対する感情意図ベクトル（0.5， 2， 1.5， 0）を原言語テーブル検索部１０８から取得するとともに、目的言語のテキスト「A beautiful flower is open.」に対する言語属性ベクトル（0， 0， 1， 1， 1.3， 0）と、「The flower is not beautiful.」に対する言語属性ベクトル（0， 0， 0， 0， 0.5， 0）と、「A very beautiful flower is open.」に対する言語属性ベクトル（0， 0， 2， 2， 2.3， 0）とを取得する。

そして、目的言語テーブル検索部１１４は、テキスト「A beautiful flower is open.」に対して、感情意図ベクトル（0.5， 2， 1.5， 0）および言語属性ベクトル（0， 0， 1， 1， 1.3， 0）の第１セットと、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３，１１０６にあるスコア対象の第２セットとの間のスコア「５」、「０」、「３」、「５」を算出する。さらに、目的言語テーブル検索部１１４は、テキスト「The flower is not beautiful.」に対して、感情意図ベクトル（0.5， 2， 1.5， 0）および言語属性ベクトル（0， 0， 0， 0， 0.5， 0）の第１セットと、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３，１１０６にあるスコア対象の第２セットとの間のスコア「８」、「３」、「０」、「８」を算出する。さらに、目的言語テーブル検索部１１４は、テキスト「A very beautiful flower is open.」に対して、感情意図ベクトル（0.5， 2， 1.5， 0）および言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の第１セットと、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３，１１０６にあるスコア対象の第２セットとの間のスコア「１１」、「３」、「６」、「２」を算出する。

翻訳制御部９１は、このように算出されたスコアを取得すると、テキスト「A beautiful flower is open.」および「The flower is not beautiful.」の最小のスコアが「０」であって、テキスト「A very beautiful flower is open.」の最小のスコアが「２」であるため、テキスト「A very beautiful flower is open.」がテキスト「A beautiful flower is open.」および「The flower is not beautiful.」よりも下位になるようにこれらのテキストをソートする。また、原言語のテキスト「きれいな花が咲いてますね。」に対する目的言語のテキスト「A beautiful flower is open.」の類似度は、その原言語のテキストに対する目的言語のテキスト「The flower is not beautiful.」の類似度よりも大きいため、翻訳制御部９１は、テキスト「A beautiful flower is open.」がテキスト「The flower is not beautiful.」よりも上位になるようにこれらのテキストをソートする。

翻訳制御部９１は、図２４に示すように、このようにソートされた結果にしたがって、上記各目的言語のテキストをディスプレイ２０３の翻訳結果欄１４０３に表示させる。

ここで、例えば、このようなディスプレイ２０３を見た話者は、感情意図ベクトルの要素「嫌悪」に対応する網掛けされた棒を伸ばし、その要素の値を「２」から「４」に変更する。その結果、ベクトル変更部１１８は、言語テーブル検索部１０８から出力された感情意図ベクトル（0.5， 2， 1.5， 0）を（0.5， 4， 1.5， 0）に変更して目的言語テーブル検索部１１４に出力する。

目的言語テーブル検索部１１４は、このように変更された感情意図ベクトルを取得すると、スコアを再計算する。例えば、目的言語テーブル検索部１１４は、テキスト「A beautiful flower is open.」に対して、感情意図ベクトル（0.5， 4， 1.5， 0）および言語属性ベクトル（0， 0， 1， 1， 1.3， 0）の第１セットと、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３，１１０６にあるスコア対象の第２セットとの間のスコア「６．５」、「２」、「５」、「３」を算出する。さらに、目的言語テーブル検索部１１４は、テキスト「The flower is not beautiful.」に対して、感情意図ベクトル（0.5， 4， 1.5， 0）および言語属性ベクトル（0， 0， 0， 0， 0.5， 0）の第１セットと、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３，１１０６にあるスコア対象の第２セットとの間のスコア「９．５」、「５」、「２」、「６」を算出する。さらに、目的言語テーブル検索部１１４は、テキスト「A very beautiful flower is open.」に対して、感情意図ベクトル（0.5， 4， 1.5， 0）および言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の第１セットと、目的言語感情テーブル１１３ａの行１１０１，１１０２，１１０３，１１０６にあるスコア対象の第２セットとの間のスコア「１０」、「５」、「８」、「０」を算出する。

翻訳制御部９１は、このように再び算出されたスコアを取得すると、テキスト「A very beautiful flower is open.」の最小のスコアが「０」であって、テキスト「A beautiful flower is open.」および「The flower is not beautiful.」の最小のスコアが「２」であるため、テキスト「A very beautiful flower is open.」がテキスト「A beautiful flower is open.」および「The flower is not beautiful.」よりも上位になるようにこれらのテキストをソートする。また、原言語のテキスト「きれいな花が咲いてますね。」に対する目的言語のテキスト「A beautiful flower is open.」の類似度は、その原言語のテキストに対する目的言語のテキスト「The flower is not beautiful.」の類似度よりも大きいため、翻訳制御部９１は、テキスト「A beautiful flower is open.」がテキスト「The flower is not beautiful.」よりも上位になるようにこれらのテキストをソートする。

図２６は、再計算されたスコアに基づいてディスプレイ２０３に表示される表示例を示す図である。

翻訳制御部９１は、上述のように、感情意図ベクトルが変更されるとスコアを再計算し、目的言語の各テキストをそのスコアおよび類似度にしたがって再びソートする。そして、翻訳制御部９１は、そのソート結果を翻訳結果欄１４０３に表示させる。即ち、ディスプレイ２０３は、テキスト「A very beautiful flower is open.」、「A beautiful flower is open.」、「The flower is not beautiful.」の順で、これらのテキストを表示する。その結果、感情意図ベクトルの変更前に最下位にあったテキスト「A very beautiful flower is open.」は、感情意図ベクトルの変更後には最上位に移動して表示される。

そして、そのテキスト「A very beautiful flower is open.」が選択されて音声合成されたときには、嫌味という複雑な感情および意図を含む目的言語の合成音声が出力される。

なお、例えば、感情意図ベクトルの要素「怒り」の値が大きくなるようにその感情意図ベクトルが変更されたときには、テキスト「The flower is not beautiful.」が最上位の位置に表示される。即ち、原言語のテキスト「きれいな花が咲いてますね。」に対して逆の意味を有する目的言語のテキストが、原言語音声に含まれる感情および意図を適切に伝えるテキストとして話者に提示される。

図２７は、本変形例にかかる音声翻訳装置２００ａの動作を示すフローチャートである。

本変形例にかかる音声翻訳装置２００ａの動作は、上記実施の形態の図１８に示す動作に対して、さらに、感情意図ベクトルの変更の指示があったか否かを判別するステップＳ１１７と、感情意図ベクトルを変更するステップＳ１１８とを含む。

即ち、目的言語テーブル検索部１１４はスコアを算出して（ステップＳ１０９）、翻訳制御部９１はそのスコアおよび類似度にしたがって目的言語の各テキストをソートしてディスプレイ２０３に表示させる（ステップＳ１１０）。その後、ベクトル変更部１１８は、表示操作部１１７ａから感情意図ベクトルの変更の指示があったか否か、即ち、話者がベクトル欄１４０２に表示されている網掛けされた棒を伸張して変更ボタン１４０８を選択したか否かを判別する（ステップＳ１１７）。ここで、変更の指示がなかったと判別したときには（ステップＳ１１７のＮｏ）、ベクトル変更部１１８は感情意図ベクトルの変更を行なわず、翻訳制御部９１は、テキストを選択して音声合成の開始を促す指示または音声合成の終了を促す指示をユーザから受け付ける（ステップＳ１１１）。

一方、変更の指示があったと判別したときには（ステップＳ１１７のＹｅｓ）、ベクトル変更部１１８はその指示にしたがって感情意図ベクトルを変更する（ステップＳ１１８）。このように感情意図ベクトルが変更されると、目的言語テーブル検索部１１４は再びスコアを算出して（ステップＳ１０９）、翻訳制御部９１はそのスコアおよび類似度にしたがって目的言語の各テキストをソートしてディスプレイ２０３に表示させる（ステップＳ１１０）。

このように本変形例では、例えば、原言語感情テーブル１０７ａから検索された感情意図ベクトルの内容が、ユーザである話者の本来の感情や意図を適切に示していないような場合にも、その感情意図ベクトルがユーザの操作によって変更されるため、話者によって発話された原言語音声に含まれる話者の感情や意図を適切に特定することができる。つまり、ユーザである話者は、あらゆる感情や意図を、強調したり弱めたりすることにより、その話者から発話された原言語音声に自由に容易に設定することができ、翻訳の自由度を広げることができる。

（変形例３）
ここで、上記実施の形態における音声翻訳装置２００の第２の変形例について説明する。

上記実施の形態では、目的言語の各テキストをスコアにしたがってソートし、スコアの等しいテキストがある場合には、それらのテキストの原言語に対する類似度にしたがって各テキストをソートした。

本変形例では、上述と同様、目的言語の各テキストをスコアにしたがってソートするが、スコアの等しいテキストがある場合には、それらのテキストの原言語に対する類似度と、言語属性ベクトルおよび音響特徴ベクトルの大きさとによって算出される評価値にしたがって各テキストをソートする。

例えば、評価値をＳとし、原言語のテキストに対する目的言語のテキストの類似度をＳｉｍとし、言語属性ベクトルの大きさを｜ＶＬ｜とし、音響特徴ベクトルの大きさを｜ＶＡ｜とする。この場合、評価値は（式１）のように示される。

Ｓ＝Ｘ×Ｓｉｍ＋Ｙ×｜ＶＬ｜＋Ｚ×｜ＶＡ｜ ・・・（式１）

なお、（式１）において、Ｘは類似度の重みを示し、Ｙは言語属性ベクトルの重みを示し、Ｚは音響特徴ベクトルの重みを示す。さらに、重みＸ，Ｙ，Ｚは、Ｘ＋Ｙ＋Ｚ＝３と０≦Ｘ，Ｙ，Ｚ≦３の条件を満たす。

また、本変形例では、上述のような重みＸ，Ｙ，Ｚを話者による操作にしたがって変更する。

図２８は、本変形例にかかる音声翻訳装置の機能ブロック図である。
本変形例にかかる音声翻訳装置２００ｂは、基本的に上記実施の形態の音声翻訳装置２００と同様に構成されているが、表示操作部１１７の代わりに表示操作部１１７ｂを備え、翻訳部１０９の代わりに翻訳部１０９ａを備え、目的言語テーブル検索部１１４の代わりに目的言語テーブル検索部１１４ａを備えるとともに、ソート条件変更部１１９を備えている。

なお、本変形例では、目的言語テーブル検索部１１４ａと翻訳部１０９ａとソート条件変更部１１９とが検索特定手段として構成されている。

目的言語テーブル検索部１１４ａは、翻訳部１０９ａで生成された目的言語のテキストごとにスコアを算出すると、目的言語感情テーブル１１３ａにおいてスコア対象の第２セットに含まれる言語属性ベクトルの大きさと、その第２セットに関連付けられている音響特徴ベクトルの大きさと、算出されたスコアとを翻訳部１０９ａの翻訳制御部９１に出力する。

表示操作部１１７ｂは、上述の重みＸ，Ｙ，Ｚの変更の内容を示すとともに変更の実行を促す指示を話者から受け付けて、その指示をソート条件変更部１１９に出力する。そして、表示操作部１１７ｂは、翻訳部１０９ａの翻訳制御部９１によってソートされた順序で目的言語の各テキストを表示する。

ソート条件変更部１１９は、重みＸ，Ｙ，Ｚの初期値をＸ＝３、Ｙ＝０、およびＺ＝０とし、表示操作部１１７ｂからの指示に基づき、その重みＸ，Ｙ，Ｚを変更する。

翻訳部１０９ａの翻訳制御部９１は、目的言語のテキストごとに、目的言語テーブル検索部１１４ａから、そのテキストに対して算出されたスコアと、言語属性ベクトルの大きさと、音響特徴ベクトルの大きさとを取得する。

そしてこの翻訳制御部９１は、目的言語テーブル検索部１１４ａから取得したスコアにしたがって目的言語の各テキストをソートする。そして、スコアの等しいテキストがある場合には、翻訳制御部９１は、上述の（式１）によって評価値を算出して、その評価値にしたがってそれらのテキストをソートする。

図２９は、スコアと評価値とを示す図である。
例えば、目的言語テーブル検索部１１４ａは、図２９の（ａ）に示すように、穏やかな口調の原言語音声「きれいな花が咲いてますね。」に対する感情意図ベクトル（ 2， 0， 0， 0）を原言語テーブル検索部１０８から取得するとともに、目的言語のテキスト「A beautiful flower is open.」に対する言語属性ベクトル（ 0， 0， 1， 1， 1.3， 0）と、「A very beautiful flower is open.」に対する言語属性ベクトル（ 0， 0， 2， 2， 2.3， 0）とを取得する。

ここで、目的言語テーブル検索部１１４ａは、図２９の（ａ）に示すように、テキスト「A beautiful flower is open.」に対して、感情意図ベクトル（ 2， 0， 0， 0）および言語属性ベクトル（ 0， 0， 1， 1， 1.3， 0）の第１セットと、目的言語感情テーブル１１３ａの行１１０１，１１０７にあるスコア対象の第２セットとの間のスコア「０」、「３」を算出する。

そして、目的言語テーブル検索部１１４ａは、そのスコア「０」および「３」を翻訳制御部９１に出力する。さらに、目的言語テーブル検索部１１４ａは、そのスコア「０」を算出するときに用いた目的言語感情テーブル１１３ａの行１１０１にあるスコア対象の第２セット（感情意図ベクトル（2， 0， 0， 0）および言語属性ベクトル（0， 0， 1， 1， 1.3， 0））に含まれる言語属性ベクトル（0， 0， 1， 1， 1.3， 0）の大きさと、その第２セットに関連付けら得ている音響特徴ベクトル（2， 1， 1， 1， 1， 0）の大きさとを翻訳制御部９１に出力する。さらに、目的言語テーブル検索部１１４ａは、スコア「３」を算出するときに用いた目的言語感情テーブル１１３ａの行１１０７にあるスコア対象の第２セット（感情意図ベクトル（2， 0， 0， 0）および言語属性ベクトル（0， 0， 2， 2， 2.3， 0））に含まれる言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の大きさと、その第２セットに関連付けられている音響特徴ベクトル（ 1， 0， 1， 1， 1， 0）の大きさとを翻訳制御部９１に出力する。

また、目的言語テーブル検索部１１４ａは、図２９の（ａ）に示すように、テキスト「A very beautiful flower is open.」に対して、感情意図ベクトル（2， 0， 0， 0）および言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の第１セットと、目的言語感情テーブル１１３ａの行１１０１，１１０７にあるスコア対象の第２セットとの間のスコア「３」、「０」を算出する。

そして、目的言語テーブル検索部１１４ａは、そのスコア「３」および「０」を翻訳制御部９１に出力する。さらに、目的言語テーブル検索部１１４ａは、そのスコア「３」を算出するときに用いた目的言語感情テーブル１１３ａの行１１０１にあるスコア対象の第２セット（感情意図ベクトル（2， 0， 0， 0）および言語属性ベクトル（0， 0， 1， 1， 1.3， 0））に含まれる言語属性ベクトル（0， 0， 1， 1， 1.3， 0）の大きさと、その第２セットに関連付けられている音響特徴ベクトル（2， 1， 1， 1， 1， 0）の大きさとを翻訳制御部９１に出力する。さらに、目的言語テーブル検索部１１４ａは、スコア「０」を算出するときに用いた目的言語感情テーブル１１３ａの行１１０７にあるスコア対象の第２セット（感情意図ベクトル（2， 0， 0， 0）および言語属性ベクトル（ 0， 0， 2， 2， 2.3， 0））に含まれる言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の大きさと、その第２セットに関連付けられている音響特徴ベクトル（ 1， 0， 1， 1， 1， 0）の大きさとを翻訳制御部９１に出力する。

翻訳制御部９１は、上述のように算出されたスコアを取得すると、テキスト「A beautiful flower is open.」の最小のスコアとテキスト「A very beautiful flower is open.」の最小のスコアとが共に「０」であるため、（式１）に基づいて評価値を算出する。

翻訳制御部９１は、ソート条件変更部１１９によって重みＸ，Ｙ，Ｚが変更されていなければ、図２９の（ｂ）に示すように、Ｘ＝３、Ｙ＝０、およびＺ＝０として、テキスト「A beautiful flower is open.」と「A very beautiful flower is open.」の評価値を算出する。

翻訳制御部９１は、テキスト「A beautiful flower is open.」の評価値を算出するときには、そのテキストの最小のスコアが「０」であるため、目的言語テーブル検索部１１４ａでそのスコア「０」を算出するときに使用された言語属性ベクトル（0， 0， 1， 1， 1.3， 0）の大きさと、その言語属性ベクトルに関連付けられている音響特徴ベクトル（2， 1， 1， 1， 1， 0）の大きさと、原言語に対する類似度「１．０」とを、上記（式１）に当てはめる。その結果、翻訳制御部９１は、評価値Ｓ＝３×１．０＋０×（３．６９）^1/2＋０×（８）^1/2＝３．０を算出する。

翻訳制御部９１は、テキスト「A very beautiful flower is open.」の評価値を算出するときには、そのテキストの最小のスコアが「０」であるため、目的言語テーブル検索部１１４ａでそのスコア「０」を算出するときに使用された言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の大きさと、その言語属性ベクトルに関連付けられている音響特徴ベクトル（1， 0， 1， 1， 1， 0）の大きさと、原言語に対する類似度「０．７」とを、上記（式１）に当てはめる。その結果、翻訳制御部９１は、評価値Ｓ＝３×０．７＋０×（１３．２９）^1/2＋０×（４）^1/2＝２．１を算出する。

ここで、例えば、ソート条件変更部１１９は、重みＸ，Ｙ，Ｚを、図２９の（ｂ）に示すように、Ｘ＝０、Ｙ＝３、およびＺ＝０に変更する。

このような場合、翻訳制御部９１は、テキスト「A beautiful flower is open.」の評価値を算出するときには、そのテキストの最小のスコアが「０」であるため、目的言語テーブル検索部１１４ａでそのスコア「０」を算出するときに使用された言語属性ベクトル（0， 0， 1， 1， 1.3， 0）の大きさと、その言語属性ベクトルに関連付けられている音響特徴ベクトル（2， 1， 1， 1， 1， 0）の大きさと、原言語に対する類似度「１．０」とを、上記（式１）に当てはめる。その結果、翻訳制御部９１は、評価値Ｓ＝０×１．０＋３×（３．６９）^1/2＋０×（８）^1/2＝５．７６を算出する。

翻訳制御部９１は、テキスト「A very beautiful flower is open.」の評価値を算出するときには、そのテキストの最小のスコアが「０」であるため、目的言語テーブル検索部１１４ａでそのスコア「０」を算出するときに使用された言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の大きさと、その言語属性ベクトルに関連付けられている音響特徴ベクトル（1， 0， 1， 1， 1， 0）の大きさと、原言語に対する類似度「０．７」とを、上記（式１）に当てはめる。その結果、翻訳制御部９１は、評価値Ｓ＝０×０．７＋３×（１３．２９）^1/2＋０×（４）^1/2＝１０．９を算出する。

さらに、例えば、ソート条件変更部１１９は、重みＸ，Ｙ，Ｚを、図２９の（ｂ）に示すように、Ｘ＝０、Ｙ＝０、およびＺ＝３に変更する。

このような場合、翻訳制御部９１は、テキスト「A beautiful flower is open.」の評価値を算出するときには、そのテキストの最小のスコアが「０」であるため、目的言語テーブル検索部１１４ａでそのスコア「０」を算出するときに使用された言語属性ベクトル（0， 0， 1， 1， 1.3， 0）の大きさと、その言語属性ベクトルに関連付けられている音響特徴ベクトル（2， 1， 1， 1， 1， 0）の大きさと、原言語に対する類似度「１．０」とを、上記（式１）に当てはめる。その結果、翻訳制御部９１は、評価値Ｓ＝０×１．０＋０×（３．６９）^1/2＋３×（８）^1/2＝８．４８を算出する。

翻訳制御部９１は、テキスト「A very beautiful flower is open.」の評価値を算出するときには、そのテキストの最小のスコアが「０」であるため、目的言語テーブル検索部１１４ａでそのスコア「０」を算出するときに使用された言語属性ベクトル（0， 0， 2， 2， 2.3， 0）の大きさと、その言語属性ベクトルに関連付けられている音響特徴ベクトル（1， 0， 1， 1， 1， 0）の大きさと、原言語に対する類似度「０．７」とを、上記（式１）に当てはめる。その結果、翻訳制御部９１は、評価値Ｓ＝０×０．７＋０×（１３．２９）^1/2＋３×（４）^1/2＝６を算出する。

図３０は、表示操作部１１７ｂのディスプレイ２０３の重みが変更されていない場合における表示例を示す図である。

ディスプレイ２０３は、三角形のバランス表１４０９と、マーク１４１１と、変更ボタン１４１０とを表示させる。

マーク１４１１は、例えば話者によるマウス２０４のドラッグ・アンド・ドロップ操作によって、バランス表１４０９の各頂点に配置される。つまり、図３０において、マーク１４１１がバランス表１４０９の下の頂点にあるときには、そのマーク１４１１は、類似度の重みＸが「３」であって、言語表現すなわち言語属性ベクトルの重みＹが「０」であって、音響的特徴すなわち音響特徴ベクトルの重みＺが「０」であることを示す。また、マーク１４１１がバランス表１４０９の左上の頂点にあるときには、そのマーク１４１１は、類似度の重みＸが「０」であって、言語表現すなわち言語属性ベクトルの重みＹが「３」であって、音響的特徴すなわち音響特徴ベクトルの重みＺが「０」であることを示す。さらに、マーク１４１１がバランス表１４０９の右上の頂点にあるときには、そのマーク１４１１は、類似度の重みＸが「０」であって、言語表現すなわち言語属性ベクトルの重みＹが「０」であって、音響的特徴すなわち音響特徴ベクトルの重みＺが「３」であることを示す。言い換えれば、バランス表１４０９およびマーク１４１１は、原言語音声に含まれる感情および意図を目的言語音声で聴取者に伝えるにあたり、テキストの類似性と、言語表現と、音響的特徴とのうち何れに重みをおいてその感情および意図を目的言語音声に含めるかを示す。

このようなマーク１４１１は、初期状態においてバランス表１４０９の下の頂点に配置され、重みＸ，Ｙ，ＺがそれぞれＸ＝３、Ｙ＝０，Ｚ＝０であって類似度に大きな重みをつけて評価値が算出されていることを示している。

また、翻訳制御部９１は、図２９の（ｂ）に示すように、Ｘ＝３、Ｙ＝０，Ｚ＝０に基づいて、テキスト「A beautiful flower is open.」の評価値Ｓ＝３．０と、テキスト「A very beautiful flower is open.」の評価値Ｓ＝２．１とを算出しているため、評価値の大きいテキスト「A beautiful flower is open.」がテキスト「A very beautiful flower is open.」よりも上位になるように、これらのテキストを翻訳結果欄１４０３に表示させている。

ここで、話者は、マウス２０４を操作することによりマーク１４１１をバランス表１４０９の左上の頂点に配置するとともに、変更ボタン１４１０を選択する。すなわち、ユーザは、マウス２０４の操作によりポインタ１４０５を変更ボタン１４１０上に配置してマウス２０４をクリックする。これにより、表示操作部１１７ｂは、重みＸ，Ｙ，ＺをそれぞれＸ＝０、Ｙ＝３，Ｚ＝０に変更するようにソート条件変更部１１９に指示する。

その結果、ソート条件変更部１１９は、重みＸ，Ｙ，ＺをそれぞれＸ＝０、Ｙ＝３，Ｚ＝０に変更して、それらの重みを翻訳制御部９１に出力する。

翻訳制御部９１は、ソート条件変更部１１９から変更された重みＸ，Ｙ，Ｚを取得すると、その重みにしたがって、図２９の（ｂ）に示すように、テキスト「A beautiful flower is open.」の評価値Ｓ＝５．７６と、テキスト「A very beautiful flower is open.」の評価値Ｓ＝１０．９とを算出する。そして、翻訳制御部９１は、評価値の大きいテキスト「A very beautiful flower is open.」がテキスト「A beautiful flower is open.」よりも上位になるように、これらのテキストをソートする。

図３１は、表示操作部１１７ｂのディスプレイ２０３の重みが変更された場合における表示例を示す図である。

上述のように、マーク１４１１は、話者によるマウス２０４の操作によって、バランス表１４０９の左上に配置されて表示されている。そして、翻訳制御部９１によるソートによって、ディスプレイ２０３の翻訳結果欄１４０３には、テキスト「A very beautiful flower is open.」が上位となり、テキスト「A beautiful flower is open.」が下位となるように、これらのテキストが表示される。

ここで、話者は、マウス２０４を操作することによりマーク１４１１をバランス表１４０９の右上の頂点に配置するとともに、変更ボタン１４１０を選択する。すなわち、ユーザは、マウス２０４の操作によりポインタ１４０５を変更ボタン１４１０上に配置してマウス２０４をクリックする。これにより、表示操作部１１７ｂは、重みＸ，Ｙ，ＺをそれぞれＸ＝０、Ｙ＝０，Ｚ＝３に変更するようにソート条件変更部１１９に指示する。

その結果、ソート条件変更部１１９は、重みＸ，Ｙ，ＺをそれぞれＸ＝０、Ｙ＝０，Ｚ＝３に変更して、それらの重みを翻訳制御部９１に出力する。

翻訳制御部９１は、ソート条件変更部１１９から変更された重みＸ，Ｙ，Ｚを取得すると、その重みにしたがって、図２９の（ｂ）に示すように、テキスト「A beautiful flower is open.」の評価値Ｓ＝８．４８と、テキスト「A very beautiful flower is open.」の評価値Ｓ＝６とを算出する。そして、翻訳制御部９１は、評価値の大きいテキスト「A beautiful flower is open.」がテキスト「A very beautiful flower is open.」よりも上位になるように、これらのテキストをソートする。

図３２は、表示操作部１１７ｂのディスプレイ２０３の重みが変更された場合における他の表示例を示す図である。

上述のように、マーク１４１１は、話者によるマウス２０４の操作によって、バランス表１４０９の右上に配置されて表示されている。そして、翻訳制御部９１によるソートによって、ディスプレイ２０３の翻訳結果欄１４０３には、テキスト「A beautiful flower is open.」が上位となり、テキスト「A very beautiful flower is open.」が下位となるように、これらのテキストが表示される。

図３３は、本変形例にかかる音声翻訳装置２００ｂの動作を示すフローチャートである。

本変形例にかかる音声翻訳装置２００ｂの動作は、上記実施の形態の図１８に示す動作に対して、さらに、重みの変更の指示があったか否かを判別するステップＳ１１９と、重みを変更するステップＳ１２０とを含む。

即ち、目的言語属性計算部１１２によって目的言語のテキストの言語属性ベクトルが生成されると（ステップＳ１０８）、目的言語テーブル検索部１１４ａは目的言語のテキストごとにスコアと言語属性ベクトルおよび音響特徴ベクトルの大きさとを算出する（ステップＳ１０９ａ）。さらに、翻訳制御部９１は、スコアが等しいテキストがあれば評価値を算出し、そのスコアおよび評価値にしたがって目的言語の各テキストをソートしてディスプレイ２０３に表示させる（ステップＳ１１０ａ）。その後、ソート条件変更部１１９は、表示操作部１１７ｂから重みの変更の指示があったか否か、即ち、話者がマーク１４１１を移動させて変更ボタン１４１０を選択したか否かを判別する（ステップＳ１１９）。

ここで、変更の指示がなかったと判別したときには（ステップＳ１１９のＮｏ）、ソート条件変更部１１９は重みＸ，Ｙ，Ｚの変更を行なわず、翻訳制御部９１は、テキストを選択して音声合成の開始を促す指示または音声合成の終了を促す指示をユーザから受け付ける（ステップＳ１１１）。

一方、変更の指示があったと判別したときには（ステップＳ１１９のＹｅｓ）、ソート条件変更部１１９はその指示にしたがって重みＸ，Ｙ，Ｚを変更する（ステップＳ１２０）。このように重みが変更されると、翻訳制御部９１は、その変更された重みを用いて再び評価値を算出して、スコアおよびその評価値にしたがって目的言語の各テキストをソートしてディスプレイ２０３に表示させる（ステップＳ１１０ａ）。

このように本変形例では、原言語音声に含まれる感情および意図を目的言語音声で表現するにあたって、目的言語音声の言語属性による表現の度合いと音響的特徴による表現の度合いとのバランスを、ユーザである話者の操作によって自由に変更することができ、翻訳の自由度を広げることができる。

以上、本発明の音声翻訳装置について実施の形態およびその変形例を用いて説明したが、本発明はこれらに限定されるものではない。

例えば、実施の形態および変形例では、原言語属性辞書１０４ａおよび目的言語属性辞書１１０ａ，１１０ｂの言語属性ベクトルの要素を、感情や意図に関するものとしたが、性別に関するもの（つまり、男性的語彙や女性的語彙）や、年齢に関するもの（言葉づかいによる推定年齢層）、方言などの地方に関する情報など、発話者の個人性に関するものとしてもよい。同じく、音響特徴ベクトルの要素を、音声の特徴から抽出できる性別に関する情報（例えば男性の声や女性の声）、年齢に関するもの（声から推定される年齢層）など、話者の個人性に関するものとしてもよい。さらに、言語属性ベクトルや音響特徴ベクトルに、上述のような要素を追加したときには、その要素に対応する要素を感情意図ベクトルの要素に追加してもよい。

また、実施の形態および変形例では、ユーザが翻訳結果欄１４０３のリストから所望の翻訳結果を選択して音声合成するようにしたが、最もスコアの高いものを自動的に音声合成するようにしてもよい。

本発明に係る音声翻訳装置は、原言語話者との意思疎通が極めて重要な場面での通訳装置、あるいは、通訳支援装置への応用が可能である。例えば、医療現場で外国人の患者に対応する場合、外国人被疑者に対する弁護士の接見場面などである。他にも、ネイティブのイントネーションや口調などを学習し、外国語の表現能力を高めるための外国語学習装置などへの応用が可能である。

本発明の実施の形態における音声翻訳装置の外観図である。 本発明の実施の形態における音声翻訳装置の機能ブロック図である。 本発明の実施の形態における原言語属性辞書の内容を示す図である。 本発明の実施の形態における原言語感情テーブルの内容を示す図である。 本発明の実施の形態における目的言語属性辞書の内容を示す図である。 本発明の実施の形態における目的言語感情テーブルの内容を示す図である。 本発明の実施の形態における翻訳部の機能ブロック図である。 本発明の実施の形態における対訳辞書の内容を示す図である。 本発明の実施の形態における対訳テーブルの内容を示す図である。 本発明の実施の形態における翻訳部による翻訳の動作を示すフローチャートである。 本発明の実施の形態における原言語属性解析部とベクトル計算部の動作を説明するための説明図である。 本発明の実施の形態における目的語属性解析部と目的語属性計算部の動作を説明するための説明図である。 本発明の実施の形態における目的語属性解析部と目的語属性計算部の他の動作を説明するための説明図である。 本発明の実施の形態における目的言語テーブル検索部によって算出されるスコアを説明するための説明図である。 本発明の実施の形態における表示操作部のディスプレイにおける表示例を示す図である。 本発明の実施の形態における表示操作部のディスプレイにおける他の表示例を示す図である。 本発明の実施の形態における目的言語テーブル検索部によって特定される音響特徴ベクトルを説明するための説明図である。 本発明の実施の形態における音声翻訳装置の動作を示すフローチャートである。 本発明の実施の形態における変形例１の目的言語属性辞書の内容を示す図である。 本発明の実施の形態における変形例１の目的語属性解析部と目的語属性計算部の動作を説明するための説明図である。 本発明の実施の形態における変形例１の目的言語テーブル検索部によって算出されるスコアを説明するための説明図である。 本発明の実施の形態における変形例１の表示操作部のディスプレイにおける表示例を示す図である。 本発明の実施の形態における変形例２の音声翻訳装置の機能ブロック図である。 本発明の実施の形態における変形例２の表示操作部のディスプレイにおける表示例を示す図である。 本発明の実施の形態における変形例２の変更前後の感情意図ベクトルに基づくスコアを示す図である。 本発明の実施の形態における変形例２の再計算されたスコアに基づいてディスプレイに表示される表示例を示す図である。 本発明の実施の形態における変形例２の音声翻訳装置の動作を示すフローチャートである。 本発明の実施の形態における変形例３の音声翻訳装置の機能ブロック図である。 本発明の実施の形態における変形例３のスコアと評価値とを示す図である。 本発明の実施の形態における変形例３の表示操作部のディスプレイの重みが変更されていない場合における表示例を示す図である。 本発明の実施の形態における変形例３の表示操作部のディスプレイの重みが変更された場合における表示例を示す図である。 本発明の実施の形態における変形例３の表示操作部のディスプレイの重みが変更された場合における他の表示例を示す図である。 本発明の実施の形態における変形例３の音声翻訳装置の動作を示すフローチャートである。

符号の説明

９１ 翻訳制御部
９２ 第５格納部
９２ａ 対訳辞書
９３ 第６格納部
９３ａ 対訳テーブル
１０１ 入力部
１０２ 音響分析部
１０３ 音声認識部
１０４ 第１格納部
１０４ａ 原言語属性辞書
１０５ 原言語属性解析部
１０６ ベクトル計算部
１０７ 第２格納部
１０７ａ 原言語感情テーブル
１０８ 原言語テーブル検索部
１０９，１０９ａ 翻訳部
１１０ 第３格納部
１１０ａ，１１０ｂ 目的言語属性辞書
１１１ 目的言語属性解析部
１１２ 目的言語属性計算部
１１３ 第４格納部
１１３ａ 目的言語感情テーブル
１１４，１１４ａ 目的言語テーブル検索部
１１５ 音声合成部
１１６ 出力部
１１７，１１７ａ、１１７ｂ 表示操作部
１１８ ベクトル変更部
１１９ ソート条件変更部
２００ 音声翻訳装置
２０１ 本体
２０２ キーボード
２０３ ディスプレイ
２０４ マウス
２０５ 外部ハードディスク
２０６ 内部ハードディスク
２０７ ＣＤ−ＲＯＭ
２０９ マイク
２１０ スピーカ
１３０１ 原言語文例リスト
１３０２ 目的言語文例リスト
１３０３ 対訳類似度テーブル

Claims (9)

1. 話者によって発話された第１言語の音声を第２言語の音声に翻訳する音声翻訳装置であって、
   前記第１言語の音声を取得する音声取得手段と、
   前記音声取得手段によって取得された第１言語の音声に含まれる前記話者の感情および意図のうち少なくとも１つを感情意図として特定する感情意図特定手段と、
   第２言語の音声ごとに、当該音声の言語属性を示す第２言語属性情報と、当該音声の音響的特徴を示す第２音響特徴情報と、当該音声に含まれる感情および意図のうち少なくとも１つを示す第２感情意図情報とを関連付けて記憶している第２記憶手段と、
   前記音声取得手段によって取得された第１言語の音声を認識して、前記認識結果に類似する第２言語の複数のテキストを生成する翻訳手段と、
   前記翻訳手段により生成された第２言語の複数のテキストから、当該テキストの言語属性および前記感情意図特定手段により特定された感情意図が、前記第２記憶手段に記憶されている第２言語の何れかの音声に対する第２言語属性情報および第２感情意図情報の内容に近いテキストを検索するテキスト検索手段と、
   前記第２記憶手段に記憶されている第２音響特徴情報のうち、前記テキスト検索手段により検索されたテキストの言語属性および前記感情意図特定手段により特定された感情意図に近い内容を示す第２言語属性情報および第２感情意図情報に関連付けられている第２音響特徴情報を取得する音響特徴情報取得手段と、
   前記テキスト検索手段により検索されたテキストに対して音声合成を行なって、前記音響特徴情報取得手段により取得された第２音響特徴情報の示す音響的特徴を含む第２言語の合成音声を出力する合成出力手段と
   を備えることを特徴とする音声翻訳装置。
2. 前記第２記憶手段において第２言語の音声ごとに関連付けられている前記第２言語属性情報と前記第２音響特徴情報と前記第２感情意図情報のうち少なくとも２つは、当該第２言語の音声に与える印象が互いに異なるような内容を示す
   ことを特徴とする請求項１記載の音声翻訳装置。
3. 前記感情意図特定手段は、
   第１言語の音声ごとに、当該音声の言語属性を示す第１言語属性情報と、当該音声の音響的特徴を示す第１音響特徴情報と、当該音声に含まれる感情および意図のうち少なくとも１つを示す第１感情意図情報とを関連付けて記憶している第１記憶手段と、
   前記音声取得手段によって取得された第１言語の音声から、当該音声の言語属性および音響的特徴のうち少なくとも１つを特定する言語音響特定手段と、
   前記第１記憶手段に記憶されている第１言語属性情報および第１音響特徴情報のうち、前記言語音響特定手段で特定された内容に近い情報に関連付けられている第１感情意図情報を前記第１記憶手段から検索し、当該第１感情意図情報の示す内容を、前記音声取得手段によって取得された第１言語の音声に含まれる感情意図として特定する検索特定手段とを備える
   ことを特徴とする請求項１または２記載の音声翻訳装置。
4. 前記第１記憶手段において第１言語の音声ごとに関連付けられている前記第１言語属性情報と前記第１音響特徴情報と前記第１感情意図情報のうち少なくとも２つは、当該第１言語の音声に与える印象が互いに異なるような内容を示す
   ことを特徴とする請求項３記載の音声翻訳装置。
5. 前記検索特定手段は、前記第１記憶手段から検索した前記第１感情意図情報をユーザによる操作に基づいて変更し、変更された前記第１感情意図情報の示す内容を、前記音声取得手段によって取得された第１言語の音声に含まれる感情意図として特定する
   ことを特徴とする請求項３または４記載の音声翻訳装置。
6. 前記テキスト検索手段は、言語属性および音響的特徴のそれぞれに対する重みをユーザによる操作に基づいて変更し、変更された重みに基づいてテキストの検索を行う
   ことを特徴とする請求項１から５の何れか１項に記載の音声翻訳装置。
7. 前記翻訳手段は、
   第１言語の複数の文例、第２言語の単語の概念を意味クラスとして含む複数の文例、および前記第１言語の各文例と前記第２言語の各文例との類似度を記憶している対訳文例記憶手段と、
   前記対訳文例記憶手段に記憶されている第１言語の複数の文例から、前記音声取得手段によって取得された第１言語の音声の認識結果に対応する文例を特定し、特定した前記第１言語の文例に類似する第２言語の文例を、前記対訳文例記憶手段に記憶されている第２言語の複数の文例から選択する文例選択手段と、
   前記文例選択手段により選択された第２言語の文例を用いて前記第２言語のテキストを生成するテキスト生成手段とを備え、
   前記テキスト生成手段は、前記文例選択手段によって選択された第２言語の文例に、前記第１言語の音声に含まれていない単語の意味クラスが含まれているときには、前記意味クラスを含む第２言語のテキストを生成し、前記意味クラスに対応する単語の入力をユーザに促す
   ことを特徴とする請求項１から６の何れか１項に記載の音声翻訳装置。
8. 話者によって発話された第１言語の音声を、記憶手段を用いて第２言語の音声に翻訳する音声翻訳方法であって、
   前記記憶手段は、第２言語の音声ごとに、当該音声の言語属性を示す第２言語属性情報と、当該音声の音響的特徴を示す第２音響特徴情報と、当該音声に含まれる感情および意図のうち少なくとも１つを示す第２感情意図情報とを関連付けて記憶しており、
   前記音声翻訳方法は、
   前記第１言語の音声を取得する音声取得ステップと、
   前記音声取得ステップで取得された第１言語の音声に含まれる前記話者の感情および意図のうち少なくとも１つを感情意図として特定する感情意図特定ステップと、
   前記音声取得ステップで取得された第１言語の音声を認識して、前記認識結果に類似する第２言語の複数のテキストを生成する翻訳ステップと、
   前記翻訳ステップで生成された第２言語の複数のテキストから、当該テキストの言語属性および前記感情意図特定ステップで特定された感情意図が、前記記憶手段に記憶されている第２言語の何れかの音声に対する言語属性情報および感情意図情報の内容に近いテキストを検索するテキスト検索ステップと、
   前記記憶手段に記憶されている音響特徴情報のうち、前記テキスト検索ステップで検索されたテキストの言語属性および前記感情意図特定ステップで特定された感情意図に近い内容を示す言語属性情報および感情意図情報に関連付けられている音響特徴情報を取得する音響特徴情報取得ステップと、
   前記テキスト検索ステップで検索されたテキストに対して音声合成を行なって、前記音響特徴情報取得ステップで取得された音響特徴情報の示す音響的特徴を含む第２言語の合成音声を出力する合成出力ステップと
   を含むことを特徴とする音声翻訳方法。
9. 話者によって発話された第１言語の音声を、記憶手段を用いて第２言語の音声に翻訳するためのプログラムであって、
   前記記憶手段は、第２言語の音声ごとに、当該音声の言語属性を示す第２言語属性情報と、当該音声の音響的特徴を示す第２音響特徴情報と、当該音声に含まれる感情および意図のうち少なくとも１つを示す第２感情意図情報とを関連付けて記憶しており、
   前記プログラムは、
   前記第１言語の音声を取得する音声取得ステップと、
   前記音声取得ステップで取得された第１言語の音声に含まれる前記話者の感情および意図のうち少なくとも１つを感情意図として特定する感情意図特定ステップと、
   前記音声取得ステップで取得された第１言語の音声を認識して、前記認識結果に類似する第２言語の複数のテキストを生成する翻訳ステップと、
   前記翻訳ステップで生成された第２言語の複数のテキストから、当該テキストの言語属性および前記感情意図特定ステップで特定された感情意図が、前記記憶手段に記憶されている第２言語の何れかの音声に対する言語属性情報および感情意図情報の内容に近いテキストを検索するテキスト検索ステップと、
   前記記憶手段に記憶されている音響特徴情報のうち、前記テキスト検索ステップで検索されたテキストの言語属性および前記感情意図特定ステップで特定された感情意図に近い内容を示す言語属性情報および感情意図情報に関連付けられている音響特徴情報を取得する音響特徴情報取得ステップと、
   前記テキスト検索ステップで検索されたテキストに対して音声合成を行なって、前記音響特徴情報取得ステップで取得された音響特徴情報の示す音響的特徴を含む第２言語の合成音声を出力する合成出力ステップと
   をコンピュータに実行させることを特徴とするプログラム。

Images