JP4064413B2 - コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム - Google Patents

コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム Download PDF

Info

Publication number
JP4064413B2
JP4064413B2 JP2005187375A JP2005187375A JP4064413B2 JP 4064413 B2 JP4064413 B2 JP 4064413B2 JP 2005187375 A JP2005187375 A JP 2005187375A JP 2005187375 A JP2005187375 A JP 2005187375A JP 4064413 B2 JP4064413 B2 JP 4064413B2
Authority
JP
Japan
Prior art keywords
paraphrase
source language
input
sentence
interpretation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005187375A
Other languages
English (en)
Other versions
JP2007004730A (ja
Inventor
聡史 釜谷
哲朗 知野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005187375A priority Critical patent/JP4064413B2/ja
Priority to US11/370,105 priority patent/US7904291B2/en
Priority to CNA2006100941509A priority patent/CN1892643A/zh
Publication of JP2007004730A publication Critical patent/JP2007004730A/ja
Application granted granted Critical
Publication of JP4064413B2 publication Critical patent/JP4064413B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Description

この発明は、複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムに関するものである。
近年、グローバル化の進展や計算機ネットワーク技術の発展などに伴い、異言語間でコミュニケーションをとる機会が増加している。一方、自然言語処理技術の進展に伴い、例えば日本語で書かれた任意のテキストを、英語などの他言語テキストに変換する機械翻訳装置が開発され、実用化されている。
また、音声処理技術の進展に伴い、電子データとして存在する自然言語文字列を、音声出力に変換する音声合成装置や、利用者による音声発話を入力とし、これを文字列変換することで、音声による自然言語文字列の入力を可能にする音声入力装置が開発され、実用化されている。
このような、自然言語処理技術および音声処理技術の進展に伴い、これらを統合し、異なる言語を母語とする者同士のコミュニケーションを支援するコミュニケーション支援装置の実現への期待が高まっている。
頑健な機械翻訳を実現するためには、幅広い言語現象を扱える文法規則や大規模な単語辞書や翻訳知識が必要不可欠である。また、特に自由な発話を許容する翻訳装置を実現するためには、ある程度制限された発話においても発生する多義性や曖昧性の解決などの問題に加えて、入力発話に見られる倒置や省略などの非文法性に代表され、翻訳結果に大きく影響を与える種々の言語現象の解決が不可欠である。このように、種々の利用者発話に対して頑健に処理可能であり、かつ、高精度な翻訳性能を持つ翻訳装置の実現は、非常に困難な課題となっている。
高精度な翻訳を実現するため、特許文献１では、翻訳処理を実行する前に、入力された文を翻訳しやすいように言い換えた文を利用者に対して提示し、利用者が選択した文に対して翻訳処理を実行する技術が提案されている。
一般に、翻訳処理自体に失敗したために、または翻訳処理において部分的な訳出しかできなかったために、利用者の発話内容を正しく対象言語話者に伝えることができなかった場合、利用者は再度翻訳処理を試みるために再入力や再処理を翻訳装置に対して指示する。
国際公開第００／１３１０２号パンフレット
しかしながら、同一発話の再入力や再処理を実行するだけでは、通常、翻訳装置は同じ訳出結果を出力するため、いつまでも発話内容を正しく伝達することができないという問題があった。また、これを回避して、異なる訳出結果を出力するためには、利用者は、伝えたい内容を原言語内で別の表現で言い換え、さらに可能ならば、翻訳装置が翻訳可能な文を利用者自身が想定した上で別の表現の再入力を行わなければならないという問題があった。
特許文献１の方法では、翻訳処理前に言い換え文を提示しているが、利用者は、翻訳装置がどのような文章が翻訳可能であり、前回発話した内容のどのような点が悪くて翻訳に失敗したか、などを考慮することや、さらにその上で、翻訳装置が正しい訳出を可能とする入力文を想定し発話することができない。
本発明は、上記に鑑みてなされたものであって、翻訳が失敗したときであっても、入力文を換言した文を利用者に対して提示することにより、利用者による入力文の推敲を支援することができるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置において、翻訳の元となる原言語文の意味内容の解釈である原言語解釈と、前記原言語解釈と同じ意味内容で表現形式の異なる換言解釈とを対応づけた換言知識を格納する換言知識記憶手段と、利用者が入力した前記原言語文を受付ける入力受付手段と、前記入力受付手段が受付けた前記原言語文の意味内容を解析し、前記原言語解釈を出力する原言語解析手段と、前記原言語解析手段が出力した前記原言語解釈に対応づけられた前記換言解釈を、前記換言知識記憶手段から取得し、取得した前記換言解釈に基づき前記入力受付手段が受付けた前記原言語文を換言した原言語換言文を生成する換言手段と、前記原言語解析手段が出力した前記原言語解釈と、前記換言手段が前記換言知識記憶手段から取得した前記換言解釈とを翻訳し、翻訳の対象言語で記述した文である対象言語文を出力する翻訳手段と、を備えたことを特徴とする。
また、本発明は、上記装置を実行することができるコミュニケーション支援方法およびコミュニケーション支援プログラムである。
本発明によれば、翻訳が失敗したときであっても、利用者により入力された原言語発話と同等、あるいは準ずる意味内容を有し、自装置が翻訳可能な原言語文を提示することができる。このため、利用者は、提示された原言語文を参照することにより、翻訳が失敗した原因を把握し、提示された原言語文を手本として適切な入力文を推敲できることができるとともに、直接提示された原言語換言文を選択することで再入力の煩雑さを低減することができるという効果を奏する。
以下に添付図面を参照して、この発明にかかるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムの最良な実施の形態を詳細に説明する。
（第１の実施の形態）
第１の実施の形態にかかるコミュニケーション支援装置は、予め記憶手段に格納された換言知識を参照し、入力された原言語文と同等、あるいは準ずる意味内容で表記の異なる文である原言語換言文に変換し、利用者に提示するものである。なお、以下では、日本語を原言語、英語を対象言語として翻訳処理を実行することを前提として説明するが、原言語および対象言語の組み合わせはこれに限るものではなく、あらゆる言語の組み合わせについて適用することができる。
図１は、第１の実施の形態にかかるコミュニケーション支援装置１００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１００は、入力受付部１０１と、原言語解析部１０２と、翻訳部１０３と、表示制御部１０４と、換言部１０５と、出力部１０６と、換言知識記憶部１２１とを備えている。
入力受付部１０１は、利用者による原言語文の入力を受付けるものである。原言語文の入力は、キーボード、ポインティングデバイス、手書き文字認識などの一般的に用いられているあらゆる入力方法を適用することができる。また、入力受付部１０１は、利用者からの音声入力を受付け、受付けた音声に対し音声認識処理を行い、原言語文を出力するように構成してもよい。
この際に行われる音声認識処理は、ＬＰＣ分析、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）、ダイナミックプログラミング、ニューラルネットワーク、Ｎグラム言語モデルなどを用いた、一般的に利用されているあらゆる音声認識方法を適用することができる。
原言語解析部１０２は、入力受付部１０１が受付けた原言語文に対し、原言語の語彙情報、文法規則を参照した形態素解析、構文解析、係り受け解析、意味解析、文脈解析などの自然言語解析処理を行うことによって、原言語文が表している意味内容の解釈である原言語解釈を出力するものである。
なお、原言語解析部１０２により行われる自然言語解析処理は、Ａ＊アルゴリズムを用いた形態素解析や、アーリー法、チャート法、一般化ＬＲ法による構文解析など、一般的に利用されているあらゆる方法を適用することができる。また、形態素情報、構文情報、意味情報などを格納した自然言語処理用の辞書が、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスク、メモリカード、ＲＡＭ（Ｒａｎｄｏｍ ＡｃｃｅｓＳｍｅｍｏｒｙ）などの一般的に利用されている記憶手段に格納され、これらの自然言語解析処理において参照される。
第１の実施の形態においては、原言語文の形態素系列と統語構造を原言語解釈として出力する。形態素系列とは、原言語文を形態素解析した結果であり、原言語文を構成する単語と品詞の組からなる系列である。また、統語構造とは、原言語文を構文解析した結果であり、原言語構造を文脈自由文法（Ｃｏｎｔｅｘｔ Ｆｒｅｅ Ｇｒａｍｍａｒ）などの文法規則を用いて解析した構文構造である。
原言語解析部１０２が出力する原言語解釈の書式の一例を以下に示す。入力された原言語文「私が食べる」に対する形態素系列は、以下の（１）式のような形式で与えられる。
<pron 私><cm が><v 食べる> ・・・（１）
上記形態素系列は、原言語文「私が食べる」が“私”、"が"、"食べる"の３つの単語に分割可能であり、それぞれの文法範疇に対応する品詞"pron"、"cm"、"v"が割り当てられていることを示している。
また、統語構造は、以下の（２）式のような形式で与えられる。
(s（np <pron 私><cm が>）(vp <v 食べる>)) ・・・（２）
上記統語構造は、入力表層に対応する単語、文法範疇の書き換え関係を括弧により表現した形式である。すなわち、(np <pron 私> <cm が>)は、文法範疇advとcmが、文法範疇npによって書き換えられることを示し、さらに、(s（np <pron 私><cm が>）(vp <v 食べる>))は、文法範疇npとvpが、文法範疇sによって書き換えられることを示している。
なお、上記のような記述形式は一例であり、従来から用いられているあらゆる形態素系列の記述形式および統合構造の記述形式により記述するように構成することができる。
翻訳部１０３は、日本語による原言語文を英語による対象言語文に翻訳するものである。なお、翻訳部１０３より行われる翻訳処理は、一般的なトランスファ方式、用例ベース方式、統計ベース方式、中間言語方式の機械翻訳システムにおいて利用されているあらゆる方法を適用することができる。
表示制御部１０４は、原言語文、原言語解析部１０２による解析の過程や翻訳部１０３による訳出過程において発生した処理に関する不具合の情報を、利用者に提示するものである。すなわち、入力した原言語文の訳出結果だけでなく、一連の解析・翻訳処理の成否および問題点を利用者が参照し、次に入力する原言語文を検討する際の参考とすることができる。不具合の情報としては、例えば、部分的にしか訳出できなかったことを示す情報などを提示する。
また、翻訳部１０３により生成された対象言語文も併せて提示される。これにより、対象言語を理解することのできる利用者が、提示された訳出結果の適切さを直接評価することも可能となる。
また、表示制御部１０４は、換言部１０５により出力された原言語換言文を利用者に提示し、提示した原言語換言文を利用者が選択した場合、当該原言語換言文を原言語文の入力として入力受付部１０１に送るように構成してもよい。これにより、利用者が原言語文を再入力する負担を軽減することができる。
換言知識記憶部１２１は、翻訳の元となる原言語文の意味内容の解釈である原言語解釈と、原言語解釈と同等、あるいは準ずる意味内容で表記の異なる文である換言解釈とを対応づけた換言知識を格納するものである。また、換言知識記憶部１２１は、換言知識に、当該換言知識を適用する際の優先順位を表す優先度を対応づけて格納するように構成してもよい。本実施例において、優先度は、１〜１０で示される離散値で与え、数値が大きい換言知識ほど優先して換言処理に採用されるように構成している。なお、優先度の与え方はこれに限るものではなく、換言知識を適用する際の優先順位を表す値であればどのような基準を用いてもよい。換言知識記憶部１２１は、ＨＤＤ、光ディスク、メモリカード、ＲＡＭなどの一般的に利用されているあらゆる記憶手段により構成することができる。
図２は、換言知識記憶部１２１のデータ構造の一例を示す説明図である。同図に示すように、換言知識記憶部１２１は、換言知識と優先度とを対応づけて格納している。換言知識を示す原言語解釈および換言解釈は、統語構造、形態素系列のどちらの形式により表してもよい。
同図に示す例では、換言知識２０１は、変換元である原言語文の統語構造と変換先である統語構造との組により表されている。また、換言知識２０２は、変換元である原言語文の形態素系列と、変換先である形態素系列との組により表されている。
ここで、変換元の統語構造または形態素系列を表した部分を前件部という。原言語文が入力されたとき、当該原言語文に対する原言語解釈と適合する前件部を検索し、検索した前件部と対応づけられた換言解釈を取得し、換言処理において使用する。同図の例では、統語構造で表された前件部２０３および形態素系列で表された前件部２０４が示されている。
換言知識においては、統語構造または形態素系列は、二重括弧“《》”で括られた、動的な割り当てが可能な変数部分２０５、２０７と、それ以外の一般的な言語表現であり編集不可能な定数部分２０６により表現することができる。換言知識における統語構造または形態素系列は、変数部分のみ、または、定数部分のみで表現してもよい。
変数部分は、記号"？"を用いて“《文法範疇 ？》”の形式で表記することができる。これは、記載された文法範疇に属する任意の単語を割り当てることができることを表す。また、同図の変数部分２０７に示すように、記号"＊"を用いて“《＊》”の形式で表記することができ、この場合は、任意の統語構造、または、形態素系列を変数部分に割り当てることができることを表す。
換言部１０５は、原言語文と、当該原言語文を原言語解析部１０２が解析した結果である形態素系列と統語構造を検索キーとして、換言知識記憶部１２１から適用可能な換言知識を取得し、取得した換言知識を原言語文に対して適用することにより、原言語換言文を生成するものである。
ここで、換言知識が適用可能であるとは、各換言知識が持つ前件部である変換元の統語構造または形態素系列が、入力された原言語文に対する統語構造または形態素系列に対して割当可能であることをいう。このとき、適用可能な換言知識が複数個存在する場合は、適合度の最も大きい換言知識を採用する。なお、予め定められた個数の換言知識を適合度の大きい順に複数採用し、複数の原言語換言文を出力するように構成してもよい。
適合度は、換言知識の前件部が、入力された原言語文に対する統語構造または形態素系列を被覆する割合が大きく、変数部分の数が少なく、換言知識の優先度が大きいほど大きくなるように算出する。また、換言知識の前件部が形態素系列であるものより統語構造であるものほど大きくなるように算出する。これら評価においては、構造的、表層的な一致の度合いを最大とする前件部の割り当て方を計算する動的計画法などを適用することができる。
なお、換言知識記憶部１２１に換言知識の優先度を格納しない場合は、換言部１０５は、優先度を除く要素を用いて適合度を算出する。また、換言部１０５は、生成した原言語換言文に対して翻訳部１０３により翻訳処理を試行し、翻訳に成功すること、または、最初の入力時に発生した誤りを回避できることを確認した上で当該原言語換言文を出力するように構成してもよい。
出力部１０６は、翻訳部１０３が翻訳した対象言語文を受け取り、その内容を対象言語である英語の合成音声として出力するものである。出力部１０６により行われる音声合成処理は、音声素片編集音声合成、フォルマント音声合成、音声コーパスベースの音声合成、テキストトゥスピーチなどの一般的に利用されているあらゆる方法を適用することができる。
なお、出力部１０６による音声出力は省略してもよい。すなわち、入力受付部１０１による音声入力や、出力部１０６による音声出力の代わりに、キーボード、ポインティングデバイスなどの入力装置による原言語のテキスト入力と、テキストを画面表示するディスプレイなどの表示装置による対象言語のテキスト出力を行うように構成してもよい。また、プリンタなどへのテキスト印刷により対象言語文を出力するように構成してもよい。さらに、必要に応じて上記出力方法の切り替えや併用を行うように構成してもよい。
次に、このように構成された第１の実施の形態にかかるコミュニケーション支援装置１００によるコミュニケーション支援処理について説明する。図３は、第１の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。
まず、入力受付部１０１が、利用者が入力した原言語文（以下、Ｓｉと表す）の入力を受付ける（ステップＳ３０１）。次に、原言語解析部１０２が、原言語文Ｓｉに対して自然言語解析処理を実行し、原言語解釈を出力する（ステップＳ３０２）。具体的には、形態素解析の結果である形態素系列（以下、Ｓｍと表す）と、構文解析の結果である構文構造（以下、Ｓａと表す）とを出力する。
次に、翻訳部１０３が、原言語解析部１０２により出力された原言語解釈を翻訳することにより翻訳の対象言語で記述された対象言語文（以下、Ｔｏと表す）を出力する（ステップＳ３０３）。
次に、表示制御部１０４は、原言語文Ｓｉ、対象言語文Ｔｏ、翻訳結果（以下、ＴＲと表す）を翻訳結果提示画面に表示する（ステップＳ３０４）。図４は、翻訳結果提示画面の内容の一例を示す説明図である。翻訳結果とは、解析の過程や訳出過程において発生した処理に関する不具合の情報である。
同図において、入力文表示エリア４０１は、最新の利用者発話の入力を入力受付部１０１が受付けた結果である原言語文を表示する部分である。訳出表示エリア４０２は、原言語文を翻訳した結果である対象言語文を表示する部分である。訳出状況表示エリア４０３は、翻訳結果ＴＲを表示する部分である。
同図においては、入力された原言語文として「急いでって言ったじゃないか。」が表示され、当該原言語文を翻訳した結果、対象言語文「Ｈｕｒｒｙ．Ｉ Ｓａｉｄ．」が出力されたが、翻訳が失敗し部分訳となった例が示されている。
翻訳結果提示画面に表示された情報を参照し、利用者は、翻訳が発話意図に沿って正常に行われたか否かを判断し、翻訳の成否を入力する。
次に、入力受付部１０１は、利用者から翻訳成功の入力を受付けたか否かを判断する（ステップＳ３０５）。翻訳成功の入力を受付けていない場合は（ステップＳ３０５：ＮＯ）、原言語文Ｓｉを換言した原言語換言文（以下、Ｓｐと表す）を取得するために換言処理を実行する（ステップＳ３０６）。換言処理の詳細については後述する。
換言処理の実行後、表示制御部１０４は、換言処理により取得された原言語換言文Ｓｐを換言結果提示画面に表示する（ステップＳ３０７）。図５は、換言結果提示画面の内容の一例を示す説明図である。同図において、修正例文表示エリア５０１は、換言処理により原言語文が換言された結果である原言語換言文を表示する部分である。また、原言語文と原言語換言文との差異点５０２を下線表示などにより強調して表示するように構成してもよい。
修正例文表示エリア５０１に表示された原言語換言文が発話意図に適っていると判断した場合、利用者は、マイクによる音声入力や、キーボード入力、ポインティングデバイスなどの入力手段を用いて、当該原言語換言文を再度入力する原言語文として直接選択することができるように構成してもよい。
以上のような処理により、翻訳が失敗したときであっても、利用者に対して、正しく翻訳できる文の例である原言語換言文を表示し、また、換言した部分を強調表示することができる。このため、利用者は、翻訳失敗の原因を判断し、別の表現を適切に推敲することが可能となる。また、表示された修正例文をそのまま原言語文として入力することができるため、原言語文を再入力する負担を軽減することができる。
表示制御部１０４による画面表示の後、入力受付部１０１が、原言語文Ｓｉの再入力を受付け（ステップＳ３０８）、原言語解析部１０２による原言語文の解析処理に戻り処理を繰り返す（ステップＳ３０２）。
ステップＳ３０５において、翻訳成功の入力を受付けたと判断された場合は（ステップＳ３０５：ＹＥＳ）、出力部１０６が対象言語文Ｔｏを音声合成し、対象言語による音声として出力し（ステップＳ３０９）、コミュニケーション支援処理を終了する。
第１の実施の形態にかかるコミュニケーション支援装置１００では、例えば、最初に表示された翻訳結果に対して利用者が問題なく翻訳が成功したと判断した場合は、換言処理を実行せずに翻訳結果である対象言語文Ｔｏを音声出力することができる。このため、特許文献１の方法のように翻訳処理の成否にかかわらず言い換えた文を選択する必要がなく、利用者の操作負担を低減することができる。
次に、ステップＳ３０６における換言処理の詳細について説明する。図６は、第１の実施の形態における換言処理の全体の流れを示すフローチャートである。
まず、換言部１０５が、原言語文の解析結果である形態素系列Ｓｍおよび構文構造Ｓａを検索キーとして、適用可能な換言知識を換言知識記憶部１２１から取得し、取得した換言知識を換言知識集合［Ｐ］に格納する（ステップＳ６０１）。なお、換言知識集合［Ｐ］は、換言知識を格納するための情報であり、ＲＡＭなどの記憶手段に格納する。また、換言知識集合［Ｐ］は、換言処理開始時に空にされているものとする。
次に、換言部１０５が、換言知識集合［Ｐ］が空であるか否かを判断する（ステップＳ６０２）。空である場合は（ステップＳ６０２：ＹＥＳ）、適用する換言知識が存在せず、原言語換言文を出力することができないため、換言処理を終了する。
換言知識集合［Ｐ］が空でない場合は（ステップＳ６０２：ＮＯ）、換言部１０５は、［Ｐ］から、利用可能であり、適合度が最大である換言知識（以下、Ｐｘと表す）を取得する（ステップＳ６０３）。ここで、利用可能な換言知識とは、後述する翻訳結果の判定処理により、正常に翻訳できないと判断された換言知識を除いたものをいう。従って、最初の処理においては、［Ｐ］に含まれるすべての換言知識が利用可能である。
次に、換言部１０５が、取得した換言知識Ｐｘを適用して原言語文を換言し、原言語換言文Ｓｐを生成する（ステップＳ６０４）。例えば、入力された原言語文が「急いでって言ったじゃないか。」であり、取得した換言知識Ｐｘが図２の換言知識２０１で示すような換言知識であった場合、原言語換言文Ｓｐとして、「急いで下さいって言ったじゃないか。」が生成される。
次に、翻訳部１０３が、原言語換言文Ｓｐを翻訳し、対象言語文（以下、Ｔｏｒと表す）を出力する（ステップＳ６０５）。続いて、翻訳部１０３が、この翻訳処理が正常に行われたか否かを判断する（ステップＳ６０６）。正常に行われた場合は（ステップＳ６０６：ＹＥＳ）、換言部１０５は、原言語換言文Ｓｐを出力し、換言処理を終了する（ステップＳ６０８）。
翻訳処理が正常に行われなかった場合は（ステップＳ６０６：ＮＯ）、換言部１０５は、取得した換言知識Ｐｘを利用不可にする（ステップＳ６０７）。次に、換言部１０５は、換言知識集合［Ｐ］内のすべての換言知識を処理したか否かを判断し（ステップＳ６０９）、すべての換言知識を処理していない場合は（ステップＳ６０９：ＮＯ）、次に適合度が大きい換言知識を取得して処理を繰り返す（ステップＳ６０３）。すべての換言知識を処理した場合は（ステップＳ６０９：ＹＥＳ）、換言処理を終了する。
このように、第１の実施の形態にかかるコミュニケーション支援装置１００では、翻訳が失敗したときであっても、翻訳が正常に完了するまで、入力された原言語文と異なる表記で、同等、あるいは準ずる意味内容を有し、自装置が翻訳可能な原言語換言文を利用者に対して提示することができる。このため、利用者は翻訳が失敗した原因を把握し、提示された原言語換言文を参考にして、適切な入力文を推敲することができる。また、提示された原言語換言文を再入力する原言語文として指定することができるため、再入力の負担を軽減することができる。
（第２の実施の形態）
第２の実施の形態にかかるコミュニケーション支援装置は、ある発話内容に対して、訳出が不適当であると判断し利用者が採用しなかった初期入力、あるいはそれに係る再入力文のそれぞれと、最終的に利用者が採用した再入力文とから換言知識を抽出し、それを新たな換言知識として記憶手段に登録するものである。
図７は、第２の実施の形態にかかるコミュニケーション支援装置７００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置７００は、入力受付部１０１と、原言語解析部１０２と、翻訳部１０３と、表示制御部１０４と、換言部１０５と、出力部１０６と、換言知識抽出部７０７と、換言知識記憶部１２１と、入力履歴記憶部７２２とを備えている。
第２の実施の形態においては、換言知識抽出部７０７と、入力履歴記憶部７２２とを追加したことが第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかるコミュニケーション支援装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
入力履歴記憶部７２２は、入力受付部１０１により受付けられた原言語文と、当該原言語文を原言語解析部１０２が解析した結果である形態素系列および統語構造と、該原言語文が入力された時点の再入力フラグの状態とを対応づけ、発話した順序で記憶している。再入力フラグとは、利用者による入力が、ある発話意図または発話内容に対する初めての入力であることを示すオフ状態と、２回目以降の再入力であることを示すオン状態を持つ。これにより、換言知識を抽出する際に利用者が再入力をしている範囲を特定することができる。
図８は、入力履歴記憶部７２２のデータ構造の一例を示す説明図である。同図に示すように、入力履歴記憶部７２２は、入力履歴として、原言語文８０３と、原言語文８０３を形態素解析した結果である形態素系列８０４と、原言語文８０３を構文解析した結果である統語構造８０５と、再入力フラグの状態８０６とを対応づけ、１つの発話入力の単位として格納している。同図においては、入力履歴８０１と入力履歴８０２とが格納されている例が示されている。
各入力履歴は、入力された時刻が新しい順に並べられており、同図に示す例では、上に示された入力履歴ほど新しい発話入力となるように記憶している。入力履歴記憶部７２２を参照することにより、例えば、同図における入力履歴８０１に対応する発話の方が、入力履歴８０２に対応する発話に比べて新しい発話であること、さらに、これら２つの発話が連続した発話であることを検知することができる。
換言知識抽出部７０７は、ある発話内容に対して、訳出が不適当であると判断し利用者が採用しなかった初期入力、あるいはそれに係る再入力文のそれぞれと、最終的に利用者が採用した再入力文との組を、原言語文の間の変換である換言であると捉えて、換言知識として抽出するものである。
図９は、換言知識抽出部７０７が抽出した換言知識の一例を示した説明図である。同図は、図８の入力履歴８０２内の原言語文を初期入力文とし、入力履歴８０１内の原言語文を再入力文としたときに抽出される換言知識の例を示している。換言知識は、以下に示す４段階で抽出され、換言知識記憶部１２１に重複のないように保存される。
第１に、初期入力文と再入力文を、それぞれ構文解析した結果である統語構造を対応づけ、換言知識として抽出する。このとき、本実施例では、初期優先度として５を設定する。この結果、例えば、図９に示す換言知識９０１が得られる。
第２に、初期入力文と再入力文をそれぞれ解析した結果である統語構造において、当該統語構造に含まれる単語の一部を変数化した統語構造を対応づけ、換言知識として抽出する。このとき、本実施例では、初期優先度として３を設定する。この結果、例えば、図９に示す換言知識９０２が得られる。
第３に、初期入力文と再入力文を、それぞれ形態素解析した結果である形態素系列を対応づけ、換言知識として抽出する。このとき、本実施例では、初期優先度として３を設定する。この結果、例えば、図９に示す換言知識９０３が得られる。
第４に、初期入力文と再入力文をそれぞれ形態素解析した結果である形態素系列において、当該形態素系列に含まれる単語の一部を変数化した形態素系列を対応づけ、換言知識として抽出する。このとき、本実施例では、初期優先度として１を設定する。この結果、例えば、図９に示す換言知識９０４が得られる。
なお、同図においては１つの単語のみを変数化した例が示されているが、複数の単語を変数化して対応づけた換言知識を抽出してもよい。また、上記第２および第４の段階において、変数化することができる文法範疇は、例えば、名詞、動詞、副詞などに代表される内容語とするように構成するなど、限定的に処理してもよい。さらに、各段階で抽出した換言知識に付与する初期優先度は、各段階に定めた数値でなくてもよい。
次に、このように構成された第２の実施の形態にかかるコミュニケーション支援装置７００によるコミュニケーション支援処理について説明する。図１０は、第２の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。
まず、入力受付部１０１が、利用者が入力した原言語文Ｓｉの入力を受付ける（ステップＳ１００１）。また、入力受付部１０１は、入力中の発話が再入力であるか通常入力であるかを識別するための再入力フラグをオフに設定し、通常入力状態にする。再入力フラグは、後述するステップＳ１０１１においてオンに設定され、換言知識抽出処理を実行するか否かの判断（ステップＳ１０１３）において参照される。
次に、入力受付部１０１は、受付けた原言語文Ｓｉを入力履歴記憶部７２２に保存する（ステップＳ１００２）。ここで受付けた原言語文Ｓｉは、入力時の再入力フラグの状態であるオフ状態と対応付けて記憶されている。
次に、原言語解析部１０２が、原言語文Ｓｉに対して自然言語解析処理を実行し、原言語解釈を出力するとともに、入力履歴記憶部７２２に原言語解釈を保存する（ステップＳ１００３）。具体的には、形態素解析の結果である形態素系列Ｓｍと、構文解析の結果である構文構造Ｓａとを出力し、入力履歴記憶部７２２に保存する。
ステップＳ１００４からステップＳ１００９までの翻訳処理、換言処理、画面表示処理および再入力受付処理は、第１の実施の形態にかかるコミュニケーション支援装置１００におけるステップＳ３０３からステップＳ３０８までと同様の処理なので、その説明を省略する。
ステップＳ１００９において、原言語文の再入力を受付けた後、入力受付部１０１は、再入力フラグをオンに更新し（ステップＳ１０１０）、原言語解析部１０２による原言語文の解析処理に戻り処理を繰り返す（ステップＳ１００３）。
ステップＳ１００６において、翻訳成功の入力を受付けたと判断された場合は（ステップＳ１００６：ＹＥＳ）、出力部１０６が対象言語文Ｔｏを音声合成し、対象言語による音声として出力する（ステップＳ１０１２）。
この後、第２の実施の形態にかかるコミュニケーション支援装置７００においては、原言語文の入力履歴から換言知識を抽出するために、以下のステップＳ１０１３、ステップＳ１０１４の処理を実行する。
まず、換言知識抽出部７０７が、再入力フラグがオンであるか否かを判断する（ステップＳ１０１３）。オンでない場合は（ステップＳ１０１３：ＮＯ）、原言語文の再入力が行われておらず、抽出する換言知識が存在しないため、コミュニケーション支援処理を終了する。
再入力フラグがオンである場合は（ステップＳ１０１３：ＹＥＳ）、換言知識抽出処理を実行した後（ステップＳ１０１４）、コミュニケーション支援処理を終了する。換言知識抽出処理の詳細については、以下に詳述する。
図１１は、ステップＳ１０１４における換言知識抽出処理の全体の流れを示すフローチャートである。まず、換言知識抽出部７０７は、まだ取得していない入力履歴のうち、最新の入力履歴を入力履歴記憶部７２２から取得する（ステップＳ１１０１）。次に、換言知識抽出部７０７は、取得した入力履歴から原言語文、形態素系列、統語構造を取得し、入力・再入力集合［Ｉ］に追加する（ステップＳ１１０２）。なお、入力・再入力集合［Ｉ］は、入力履歴を格納するための情報であり、ＲＡＭなどの記憶手段に格納する。また、入力・再入力集合［Ｉ］は、ある発話意図または発話内容に対して換言知識を抽出する前に空にされているものとする。
次に、換言知識抽出部７０７は、取得した入力履歴に対応する再入力フラグがオンであるか否かを判断し（ステップＳ１１０３）、オンである場合は（ステップＳ１１０３：ＹＥＳ）、次の入力履歴を取得して処理を繰り返す（ステップＳ１１０１）。これにより、ある発話意図または発話内容についての初期入力文に対して入力されたすべての再入力文を取得することができる。
再入力フラグがオンでない場合は（ステップＳ１１０３：ＮＯ）、ある発話意図または発話内容に対する初期入力文に到達したと判断し、以下のようにステップＳ１１０４およびステップＳ１１０５において換言知識の抽出を行う。
まず、換言知識抽出部７０７は、入力・再入力集合［Ｉ］から１組の形態素系列（以下、Ｉｍと表す）と、統語構造（以下、Ｉａと表す）との組を取得する（ステップＳ１１０４）。ここで、ステップＳ１００３において出力された初期入力文に対する形態素系列Ｓｍ、統語構造Ｓａには、ステップＳ１００６で翻訳成功入力を受けた、すなわち、利用者によって採用された発話が入っているので、それぞれ形態素系列Ｉｍ、統語構造Ｉａを対応づけた換言知識を換言知識記憶部１２１に保存し（ステップＳ１１０５）、換言知識抽出処理を終了する。このとき、換言知識記憶部１２１が既に保持している換言知識と同内容のものは追加せず、また、変換操作を伴わない自身から自身への変換を規定するような変換知識は排除されるようにしている。
次に、第２の実施の形態におけるコミュニケーション支援処理の具体例について説明する。図１２は、換言知識記憶部１２１のデータ構造の一例を示す説明図である。また、図１３は、この例において、コミュニケーション支援処理で出力されるデータの一例を示す説明図である。ここでは、図１２に示すような換言知識が換言知識記憶部１２１に登録されていることを前提とする。
まず、入力受付部１０１が、原言語文の入力を受付ける（ステップＳ１００１）。ここでは、図１３に示すような原言語文１３０１を利用者が発話し、当該発話を音声認識した結果の入力が受付けられたものとする。この原言語文１３０１を、原言語解析部１０２が解析することにより（ステップＳ１００３）、形態素系列１３０２および統語構造１３０３が出力される。
また、翻訳部１０３が翻訳処理を実行し、対象言語文１３０４を出力する（ステップＳ１００４）。この際、翻訳処理の成否や解析の過程で発生した不具合などを含む翻訳処理結果１３０５を同時に出力する。この例では、翻訳に失敗して部分的にのみ翻訳が実行され、翻訳処理結果１３０５として、「部分訳になりました。」が出力されたことが示されている。
これにより、利用者は、自身の発話である原言語文１３０１が正しく対象言語である英語に翻訳されていないことを確認できる。ここで利用者は、翻訳が不適当であると判定したとする。このとき、入力受付部１０１が、ステップＳ１００６において翻訳成功の入力を受付けないことを判定し（ステップＳ１００６：ＮＯ）、換言処理が実行される（ステップＳ１００７）。
換言処理では、原言語文１３０１に対応する形態素系列Ｓｍおよび統語構造Ｓａが前件部を満たす換言知識を、換言知識記憶部１２１を参照して順次、換言知識集合［Ｐ］に追加する（ステップＳ６０１）。
この例では、図１２の換言知識１２０１の前件部を満たすため、この換言知識１２０１を原言語文１３０１に適用して原言語換言文１３０６（「急いでしてと言ったじゃないか。」）が生成される（ステップＳ６０４）。原言語換言文１３０６の翻訳処理が成功したとすると（ステップＳ６０６：ＹＥＳ）、この原言語換言文１３０６が出力される（ステップＳ６０８）。
図１３に示すような原言語換言文１３０６が提示されることにより、利用者は、「急いで」の後に「して」という単語を付加すれば翻訳が成功することを確認できるため、再入力文を適切に推敲することができる。また、原言語換言文１３０６をそのまま入力文として採用してよい場合は、画面上で当該原言語換言文１３０６を指定する操作を行うことにより、容易に原言語文の再入力を行うことが可能となる。
仮に、利用者が、原言語換言文１３０６は発話意図に沿わないと判断し、新たに原言語文を再入力したとする（ステップＳ１００９）。図１４は、この例において、コミュニケーション支援処理で出力されるデータの一例を示す説明図である。
同図は、再入力文「急いで下さいって言ったじゃないか。」が入力された例を示している。この場合は、入力受付部１０１が再入力フラグをオンに設定し（ステップＳ１０１０）、入力履歴部に原言語再入力文と、入力時点での再入力フラグの状態であるオン状態とを対応付けて記憶する（ステップＳ１０１１）。また、原言語解析部１０２が再入力文に対して解析処理を実行して（ステップＳ１００３）、形態素系列１４０２および統語構造１４０３が出力される。
また、翻訳部１０３が翻訳処理を実行し、対象言語文１４０４を出力するとともに（ステップＳ１００４）、翻訳処理結果１４０５を同時に出力する。この出力に対して、利用者が、適切に翻訳が実行されたと判定し、入力受付部１０１が利用者から翻訳成功の入力を受付けたとすると（ステップＳ１００６：ＹＥＳ）、出力部１０６が、対象言語文１４０４を音声合成して出力する（ステップＳ１０１２）。
続いて、換言知識抽出処理が実行される。ここで、入力履歴記憶部７２２には、ここまでに示した例のような入力の仮定に伴って、図８に示すような情報が格納されていることを前提とする。
まず、最新の発話から順に、再入力フラグがオフ状態の発話を取得するまで、入力履歴を入力・再入力集合［Ｉ］に追加する（ステップＳ１１０２）。ただし、本実施例では、
利用者によって採用された最新の入力である、原言語入力Ｓｉと同値のものは取り出さないようにしている。図１５は、この結果得られた入力・再入力集合［Ｉ］のデータ構造の一例を示す説明図である。
同図に示すように、入力・再入力集合［Ｉ］は、入力履歴を１つ格納している。次に、この入力・再入力集合［Ｉ］から、形態素系列Ｉｍ、統語構造Ｉａを抽出し（ステップＳ１１０４）、この時点で記憶されている、すなわち、利用者によって採用された原言語入力Ｓｉに対するステップＳ１００３における出力として保持されている形態素系列Ｓｍ、統語構造Ｓａと、抽出した形態素系列Ｉｍ、統語構造Ｉａとをそれぞれ対応づけることにより、換言知識を抽出する（ステップＳ１１０５）。図１６は、換言知識抽出処理により得られる換言知識の一例を示す説明図である。
同図に示す例は、以下に示すような４段階の手順により抽出された換言知識である。第１に、初期入力文に対する統語構造Ｓａと統語構造Ｉａとを対応づけて換言知識とし、初期優先度として５を与える。これにより、図１６における換言知識１６０１が得られる。第２に、統語構造Ｓａと統語構造Ｉａにおいて、各対応する単語を変数化した統語構造を対応づけて換言知識とし、初期優先度として３を与える。これにより、換言知識１６０２、１６０３、１６０４が得られる。
第３に、形態素系列Ｓｍと形態素系列Ｉｍとを対応づけて換言知識とし、初期優先度として３を与える。これにより、図１６における換言知識１６０５が得られる。第４に、形態素系列Ｓｍと形態素系列Ｉｍにおいて、各対応する単語を変数化した形態素系列を対応づけて換言知識とし、初期優先度として１を与える。これにより、換言知識１６０６、１６０７、１６０８が得られる。
抽出した換言知識は、換言知識記憶部１２１に記憶されている既存の換言知識と重複しないように登録する。すなわち、すでに登録済みの換言知識は換言知識記憶部１２１に追加しないようにする。
このように、第２の実施の形態にかかるコミュニケーション支援装置では、利用者が言い換えて再入力した文を参照して換言知識を抽出し、記憶手段に登録することができる。このため、換言可能な発話の範囲を漸増的に広げ、利用者の発話傾向に適応した換言知識を取得することが可能となる。また、利用者の再入力文推敲支援を強化し、原言語文の入力処理負担をさらに軽減することが可能となる。
（第３の実施の形態）
第３の実施の形態にかかるコミュニケーション支援装置は、提示した原言語換言文を利用者が選択した場合に、当該原言語換言文に対応する換言知識の優先度が高くなるように、あるいは、採用されなかった原言語換言文を生成する換言知識の前記優先度が低くなるように変更するものである。
図１７は、第３の実施の形態にかかるコミュニケーション支援装置１７００の構成を示すブロック図である。同図に示すように、コミュニケーション支援装置１７００は、入力受付部１０１と、原言語解析部１０２と、翻訳部１０３と、表示制御部１０４と、換言部１０５と、出力部１０６と、換言知識抽出部７０７と、換言知識更新部１７０８と、換言知識記憶部１２１と、入力履歴記憶部７２２とを備えている。
第３の実施の形態においては、換言知識更新部１７０８を追加したことが第２の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかるコミュニケーション支援装置７００の構成を表すブロック図である図７と同様であるので、同一符号を付し、ここでの説明は省略する。
換言知識更新部１７０８は、提示した原言語換言文を利用者が選択した場合に、当該原言語換言文に対応する換言知識の優先度が高くなるように、あるいは、採用されなかった原言語換言文を生成する換言知識の優先度が低くなるように変更するものである。具体的には、換言知識更新部１７０８は、換言提示部において提示した原言語換言文が利用者により採用された場合、または、それと同じ内容が発話された場合に、当該原言語換言文の換言を実現した換言知識、および、換言知識記憶部１２１内で同等の換言処理を実現することが可能である換言知識の優先度を大きく設定する。また、換言知識更新部１７０８は、利用者が当該原言語換言文と異なる発話をした場合には、その換言を実現した換言知識、および、換言知識記憶部１２１内で同等の換言処理を実現する換言知識の優先度を小さくする処理を実行する。
また、利用者が言い換えることなく、最初の入力において翻訳処理が正常に実行された場合に、その入力発話を生成可能である換言知識の優先度を大きくするように構成してもよい。以上のような処理によって、以降の原言語換言文生成時における換言知識の適応の優先度を動的に変更することができる。また、これにより、利用者に適応した換言知識が優先され、逆に、利用者が好まない換言知識の適用を避けることが可能となる。
次に、このように構成された第３の実施の形態にかかるコミュニケーション支援装置１７００によるコミュニケーション支援処理について説明する。図１８−１および図１８−２は、第３の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。
ステップＳ１８０１からステップＳ１８１１までの入力受付処理、原言語解析処理、翻訳処理、換言処理、画面表示処理および再入力受付処理は、第２の実施の形態にかかるコミュニケーション支援装置７００におけるステップＳ１００１からステップＳ１０１１までと同様の処理なので、その説明を省略する。また、ステップＳ１８１６からステップＳ１８１８までの音声出力処理、換言知識抽出処理は、第２の実施の形態にかかるコミュニケーション支援装置７００におけるステップＳ１０１２からステップＳ１０１４までと同様の処理なので、その説明を省略する。
第３の実施の形態においては、ステップＳ１８１２からステップＳ１８１５において、再入力文を参照して換言知識の優先度を更新する処理が追加された点が、第２の実施の形態と異なっている。以下に、この処理の詳細について説明する。
まず、ステップＳ１８１１において、入力受付部１０１が再入力フラグをオンに更新した後、換言知識更新部１７０８が、再入力された原言語文（再入力文）が、換言処理によって生成された原言語換言文と同一であるか否かを判断する（ステップＳ１８１２）。
同一である場合は（ステップＳ１８１２：ＹＥＳ）、換言知識更新部１７０８は、換言採用フラグをオンに設定する（ステップＳ１８１３）。同一でない場合は（ステップＳ１８１２：ＮＯ）、換言知識更新部１７０８は、換言採用フラグをオフに設定する（ステップＳ１８１４）
この後、換言知識更新部１７０８が換言知識更新処理を実行し（ステップＳ１８１５）、原言語解析部１０２による原言語文の解析処理に戻り処理を繰り返す（ステップＳ１８０３）。ステップＳ１８１５における換言知識更新処理の詳細について、以下に説明する。
図１９は、第３の実施の形態における換言知識更新処理の全体の流れを示すフローチャートである。まず、換言知識更新部１７０８は、換言採用フラグがオンであるか否かについて判断する（ステップＳ１９０１）。換言採用フラグがオンである場合は（ステップＳ１９０１：ＹＥＳ）、換言知識更新部１７０８は、更新優先度（以下、ｕと表す）に１を設定する（ステップＳ１９０２）。換言採用フラグがオフである場合は（ステップＳ１９０１：ＮＯ）、換言知識更新部１７０８は、更新優先度（以下、ｕと表す）に−１を設定する（ステップＳ１９０３）。ここで設定する更新優先度は、常に同じ値を与えることなく、適合度などに基づいて動的に変更するようにしてもよい。
次に、換言知識更新部１７０８は、ステップＳ６０１において作成された換言知識集合［Ｐ］から、１つの換言知識（以下、Ｐｕと表す）を取得する（ステップＳ１９０４）。続いて、換言知識更新部１７０８は、旧原言語文に対して取得した換言知識Ｐｕを適用し、対応する原言語換言文（以下、Ｓｕと表す）を出力する（ステップＳ１９０５）。
ここで、旧原言語文とは、ステップＳ１８０９において直前に利用者が再入力した原言語文Ｓｉではなく、その前にステップＳ１８０１またはステップＳ１８０９において入力された原言語文をいう。利用者が採用しなかった原言語換言文と同じ原言語換言文を出力する換言知識の優先度を下げるためには、利用者が採用しなかった原言語換言文に対応する原言語文である旧原言語文に対して換言知識を適用して判断する必要があるからである。なお、利用者が原言語換言文を採用した場合、旧原言語文は、直前に利用者が再入力した原言語文Ｓｉと一致する。
次に、換言知識更新部１７０８は、換言処理において利用された原言語換言文Ｓｐと、ステップＳ１９０５において出力した原言語換言文Ｓｕとが一致するか否かを判断する（ステップＳ１９０６）。一致しない場合は（ステップＳ１９０６：ＮＯ）、優先度の更新処理は行わずに、次の換言知識の取得処理に戻り処理を繰り返す（ステップＳ１９０４）。
ＳｐとＳｕとが一致する場合は（ステップＳ１９０６：ＹＥＳ）、換言知識更新部１７０８は、換言知識Ｐｕの優先度に更新優先度ｕを加算する（ステップＳ１９０７）。次に、換言知識更新部１７０８は、算出した優先度で換言知識記憶部１２１内に保存されている換言知識Ｐｕの優先度を更新する（ステップＳ１９０８）。
このようにして、利用者が採用した原言語換言文に対応する換言知識だけでなく、当該換言知識と同じ原言語換言文を出力することのできる換言知識の優先度を同時に更新することが可能となる。
次に、換言知識更新部１７０８は、換言知識集合［Ｐ］内のすべての換言知識を処理したか否かを判断し（ステップＳ１９０９）、すべての換言知識を処理していない場合は（ステップＳ１９０９：ＮＯ）、次の換言知識を取得して処理を繰り返す（ステップＳ１９０４）。すべての換言知識を処理した場合は（ステップＳ１９０９：ＹＥＳ）、換言知識更新処理を終了する。
次に、第３の実施の形態におけるコミュニケーション支援処理の具体例について説明する。ここでは、第２の実施の形態における具体例の説明と同様に、図１２に示すような換言知識が換言知識記憶部１２１に登録されていることを前提とする。
第２の実施の形態における具体例と同様に、図１３に示すような原言語換言文１３０６が提示され、利用者、利用者が、原言語換言文１３０６は発話意図に沿わないと判断し、新たに図１４に示すような原言語文１４０１を再入力したとする（ステップＳ１８０９）。
この場合、換言知識更新部１７０８は、再入力された原言語文が、換言処理によって生成された原言語換言文と同一でないと判断し（ステップＳ１８１２：ＮＯ）、換言採用フラグはオフが設定され（ステップＳ１８１４）、換言知識更新処理が実行される（ステップＳ１８１５）。
換言知識更新処理では、換言採用フラグがオフに設定されていることから、更新優先度ｕに値“−１"を設定する（ステップＳ１９０３）。図２０は、この時点における換言知識集合［Ｐ］の一例を示した説明図である。同図に示すように、換言知識集合［Ｐ］は要素を１つのみ含むことから、図２０に示した換言知識２００１を換言知識Ｐｕとして取得する（ステップＳ１９０４）。
この換言知識Ｐｕは、換言処理において利用された換言知識と同一であるため、換言知識Ｐｕを適用して出力される原言語換言文Ｓｕと、換言処理において出力された原言語換言文Ｓｐと一致する（ステップＳ１９０６：ＹＥＳ）。
従って、換言知識Ｐｕの優先度にｕ（＝−１）が加算され（ステップＳ１９０７）、換言知識記憶部１２１内の対応する換言知識の優先度が更新される（ステップＳ１９０８）。これらの操作は、更新優先度が負の値であるので、優先度を小さくすることに相当する。
図２１は、以上の処理により更新された後の換言知識記憶部１２１の一例を示す説明図である。同図に示すように、更新前の換言知識記憶部１２１を示した図１２の換言知識１２０１と比較すると、対応する換言知識２１０１は優先度が更新されている。一方、上記例における換言処理で参照されなかった換言知識２１０２の優先度は更新されていない。
次に、図２２に示すような換言知識が換言知識記憶部１２１に登録されており、図８に示すような入力履歴が入力履歴記憶部７２２に格納されていることを前提とした別の例について説明する。図２２は、この例において、換言知識記憶部１２１に格納されているデータの一例を示す説明図である。また、図２３は、この例において、コミュニケーション支援処理で出力されるデータの一例を示す説明図である。
まず、入力受付部１０１が、原言語文の入力を受付ける（ステップＳ１８０１）。ここでは、図２３に示すような原言語文２３０１の入力が受付けられたものとする。この原言語文２３０１を、原言語解析部１０２が解析することにより（ステップＳ１８０３）、形態素系列２３０２および統語構造２３０３が出力される。
また、翻訳部１０３が翻訳処理を実行し、対象言語文２３０４を出力する（ステップＳ１８０４）。この際、翻訳処理の成否を表す翻訳処理結果２３０５を同時に出力する。この例では、翻訳に失敗して部分的にのみ翻訳が実行され、翻訳処理結果２３０５として、「部分訳になりました。」が出力されたことが示されている。
これにより、利用者は、自身の発話である原言語文１３０１が正しく対象言語である英語に翻訳されていないことを確認し、翻訳が不適当であると判定することができる。この後、入力受付部１０１が、ステップＳ１８０６において翻訳成功の入力を受付けないことを判定し（ステップＳ１８０６：ＮＯ）、換言処理を実行する（ステップＳ１８０７）。
換言処理では、原言語文２３０１に対応する形態素系列Ｓｍおよび統語構造Ｓａが前件部を満たす換言知識を、換言知識記憶部１２１を参照して順次、換言知識集合［Ｐ］に追加する（ステップＳ６０１）。図２４は、この状態で抽出された換言知識集合［Ｐ］の一例を示した説明図である。
図２４に示すような換言知識集合［Ｐ］に含まれる換言知識の中から、適合度が最大となる換言知識Ｐｘとして、換言知識２４０１が取得されたとする（ステップＳ６０３）。
取得した換言知識Ｐｘを原言語文に適用し、原言語換言文Ｓｐとして、図２３に示すような原言語換言文２３０６（「急いで下さいってお願いしたじゃないか。」）が生成される（ステップＳ６０４）。
なお、仮に原言語換言文２３０６の翻訳処理が失敗した場合は（ステップＳ６０６：ＮＯ）、換言知識集合［Ｐ］から利用可能な換言知識Ｐｘを順に参照して原言語換言文の生成処理を実行し、翻訳が成功するか（ステップＳ６０６：ＹＥＳ）、または、適用可能な換言知識が存在しなくなるまで処理を繰り返す（ステップＳ６０９）が、ここでは翻訳処理が成功したと仮定する。
次に、利用者が原言語換言文２３０６を原言語文として採用するように選択の指示をした場合、または、利用者が原言語換言文２３０６と同一の原言語文を発話し、当該発話を音声入力した場合は、原言語文として「急いで下さいってお願いしたじゃないか。」の入力が受付けられる（ステップＳ１８０９）。
この場合、再入力された原言語文と、原言語換言文２３０６が一致するため（ステップＳ１８１２：ＹＥＳ）、換言採用フラグにオンが設定され（ステップＳ１８１３）、換言知識更新処理が実行される（ステップＳ１８１５）。
換言知識更新処理では、まず、換言採用フラグがオンに設定されていることから（ステップＳ１９０１：ＹＥＳ）、換言知識更新部１７０８は、更新優先度ｕに１を設定する（ステップＳ１９０２）。
また、換言知識集合［Ｐ］が複数の要素を含むことから、順次取得した換言知識Ｐｕを原言語文に対して適用し、出力された原言語換言文Ｓｕが原言語換言文２３０６と一致する換言知識の優先度を更新する（ステップＳ１９０４〜ステップＳ１９０９）。この例では、更新優先度が正の値であるので、優先度を大きくすることに相当する。
図２５は、以上の処理により更新された後の換言知識記憶部１２１の一例を示す説明図である。同図の換言知識２５０１、２５０２、２５０３、２５０４は、更新前の換言知識記憶部１２１を示した図２２と比較すると、換言知識の優先度が更新されている。
換言知識更新処理の後、再入力された原言語文「急いで下さいってお願いしたじゃないか。」を新たな原言語文として処理が繰り返される。図２６は、この場合に、コミュニケーション支援処理で出力されるデータの一例を示す説明図である。
同図に示すような再入力された原言語文２６０１を原言語解析部１０２が解析することにより（ステップＳ１８０３）、形態素系列２６０２および統語構造２６０３が出力される。
また、翻訳部１０３が翻訳処理を実行し、対象言語文２６０４を出力する（ステップＳ１８０４）。この際、翻訳処理の成否を表す翻訳処理結果２６０５を同時に出力する。この例では、翻訳が成功し、翻訳処理結果１３０５として、「正常に翻訳されました。」が出力されたことが示されている。
これにより、利用者は、自身の発話である原言語文１３０１が正しく対象言語である英語に翻訳されたことを確認することができる。この後、入力受付部１０１が、ステップＳ１８０６において翻訳成功の入力を受付け（ステップＳ１８０６：ＹＥＳ）、出力部１０６による対象言語文Ｔｏの音声出力処理が実行される（ステップＳ１８１６）。続いて、換言知識抽出処理が実行されるが、この例では、再入力による発話の修正が行われていないため、新たな換言知識は抽出されない（ステップＳ１８１８）。
このように、第３の実施の形態にかかるコミュニケーション支援装置では、換言知識と換言知識を適用する際の優先順位を表す優先度とを対応づけて記憶手段に格納し、提示した原言語換言文を利用者が選択した場合に、当該原言語換言文に対応する換言知識の優先度が高くなるように、あるいは、採用されなかった原言語換言文を生成する換言知識の優先度が低くなるように変更することにより、より適切な換言知識が優先して適用されるようにすることができる。このため、利用者の発話傾向に適応した換言提示が可能となる。
なお、第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に予め組み込んで提供することが可能である。
第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
第１〜第３の実施の形態にかかるコミュニケーション支援装置で実行されるコミュニケーション支援プログラムは、上述した各部（入力受付部、原言語解析部、翻訳部、表示制御部、換言部、出力部、換言知識抽出部、換言知識更新部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が上述した記録媒体からコミュニケーション支援プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
以上のように、本発明にかかるコミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラムは、音声入力または文字入力した原言語文を対象言語に翻訳して文字出力または音声出力するコミュニケーション支援装置に適している。
第１の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 換言知識記憶部のデータ構造の一例を示す説明図である。 第１の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 翻訳結果提示画面の内容の一例を示す説明図である。 換言結果提示画面の内容の一例を示す説明図である。 第１の実施の形態における換言処理の全体の流れを示すフローチャートである。 第２の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 入力履歴記憶部のデータ構造の一例を示す説明図である。 換言知識抽出部が抽出した換言知識の一例を示した説明図である。 第２の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 換言知識抽出処理の全体の流れを示すフローチャートである。 換言知識記憶部のデータ構造の一例を示す説明図である。 コミュニケーション支援処理で出力されるデータの一例を示す説明図である。 コミュニケーション支援処理で出力されるデータの一例を示す説明図である。 入力・再入力集合［Ｉ］のデータ構造の一例を示す説明図である。 換言知識抽出処理により得られる換言知識の一例を示す説明図である。 第３の実施の形態にかかるコミュニケーション支援装置の構成を示すブロック図である。 第３の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第３の実施の形態におけるコミュニケーション支援処理の全体の流れを示すフローチャートである。 第３の実施の形態における換言知識更新処理の全体の流れを示すフローチャートである。 換言知識集合［Ｐ］の一例を示した説明図である。 換言知識記憶部の一例を示す説明図である。 換言知識記憶部に格納されているデータの一例を示す説明図である。 コミュニケーション支援処理で出力されるデータの一例を示す説明図である。 換言知識集合［Ｐ］の一例を示した説明図である。 換言知識記憶部の一例を示す説明図である。 コミュニケーション支援処理で出力されるデータの一例を示す説明図である。
符号の説明
１００、７００、１７００ コミュニケーション支援装置
１０１ 入力受付部
１０２ 原言語解析部
１０３ 翻訳部
１０４ 表示制御部
１０５ 換言部
１０６ 出力部
１２１ 換言知識記憶部
２０１、２０２ 換言知識
２０３、２０４ 前件部
２０５、２０７ 変数部分
２０６ 定数部分
４０１ 入力文表示エリア
４０２ 訳出表示エリア
４０３ 訳出状況表示エリア
５０１ 修正例文表示エリア
５０２ 差異点
７０７ 換言知識抽出部
７２２ 入力履歴記憶部
８０１、８０２ 入力履歴
８０３ 原言語文
８０４ 形態素系列
８０５ 統語構造
８０６ 再入力フラグの状態
９０１、９０２、９０３、９０４ 換言知識
１２０１ 換言知識
１３０１ 原言語文
１３０２ 形態素系列
１３０３ 統語構造
１３０４ 対象言語文
１３０５ 翻訳処理結果
１３０６ 原言語換言文
１４０１ 原言語文
１４０２ 形態素系列
１４０３ 統語構造
１４０４ 対象言語文
１４０５ 翻訳処理結果
１６０１、１６０２、１６０３、１６０４、１６０５、１６０６、１６０７、１６０８ 換言知識
１７０８ 換言知識更新部
２００１ 換言知識
２１０１、２１０２ 換言知識
２３０１ 原言語文
２３０２ 形態素系列
２３０３ 統語構造
２３０４ 対象言語文
２３０５ 翻訳処理結果
２３０６ 原言語換言文
２４０１ 換言知識
２５０１、２５０２、２５０３、２５０４ 換言知識
２６０１ 原言語文
２６０２ 形態素系列
２６０３ 統語構造
２６０４ 対象言語文
２６０５ 翻訳処理結果

Claims (8)

  1. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置において、
    翻訳の元となる原言語文の意味内容の解釈である原言語解釈と、前記原言語解釈と同じ意味内容で表現形式の異なる換言解釈とを対応づけた換言知識を格納する換言知識記憶手段と、
    利用者が入力した前記原言語文を受付ける入力受付手段と、
    前記入力受付手段が受付けた前記原言語文の意味内容を解析し、前記原言語解釈を出力する原言語解析手段と、
    前記原言語解析手段が出力した前記原言語解釈に対応づけられた前記換言解釈を、前記換言知識記憶手段から取得し、取得した前記換言解釈に基づき前記入力受付手段が受付けた前記原言語文を換言した原言語換言文を生成する換言手段と、
    前記原言語解析手段が出力した前記原言語解釈と、前記換言手段が前記換言知識記憶手段から取得した前記換言解釈とを翻訳し、翻訳の対象言語で記述した文である対象言語文を出力する翻訳手段と、
    を備えたことを特徴とするコミュニケーション支援装置。
  2. 前記入力受付手段は、利用者が入力した前記原言語文を言い換えて入力した少なくとも１つの前記原言語文である再入力文から、利用者が選択した１の前記再入力文を受付け、
    利用者が入力した前記原言語文に対する前記原言語解釈と、前記再入力文に対する前記原言語解釈である再入力解釈とを対応づけて格納する入力履歴記憶手段と、
    前記入力履歴記憶手段から、前記入力受付手段が利用者による選択を受付けた前記再入力文に対する前記再入力解釈である選択解釈と、利用者が入力した前記原言語文に対する前記原言語解釈、または、前記選択解釈以外の前記再入力解釈とを対応づけて前記換言知識を抽出し、前記換言知識記憶手段に登録する換言知識抽出手段と、
    をさらに備えたことを特徴とする請求項１に記載のコミュニケーション支援装置。
  3. 前記換言知識記憶手段は、前記換言知識を適用する際の優先順位を表す優先度を前記換言知識と対応づけて格納し、
    前記換言知識の採用状況に基づき前記優先度を変更する換言知識更新手段をさらに備えたことを特徴とする請求項１または２に記載のコミュニケーション支援装置。
  4. 前記換言知識更新手段は、利用者が選択した前記再入力文と異なる原言語換言文を生成する前記換言知識の優先度を選択前の優先度より低く、利用者が選択した前記再入力文と同一の原言語換言文を生成する前記換言知識の前記優先度を選択前の優先度より高く変更することを特徴とする請求項３に記載のコミュニケーション支援装置。
  5. 前記換言知識記憶手段は、翻訳の元となる原言語文を形態素解析した結果である形態素系列と、前記形態素系列が示す意味内容と同じ意味内容で表現形式の異なる換言形態素系列とを対応づけた換言知識を格納し、
    前記原言語解析手段は、前記入力受付手段が受付けた前記原言語文を形態素解析した結果である前記形態素系列を前記原言語解釈として出力し、
    前記換言手段は、前記原言語解析手段が出力した前記形態素系列に対応づけられた前記換言形態素系列を、前記換言知識記憶手段から取得し、取得した前記換言形態素系列に基づき前記入力受付手段が受付けた前記原言語文を換言した原言語換言文を生成し、
    前記翻訳手段は、前記原言語解析手段が出力した前記形態素系列と、前記換言手段が生成した前記換言形態素系列とを翻訳し、翻訳の対象言語で記述した文である対象言語文を出力することを特徴とする請求項１〜４のいずれか１つに記載のコミュニケーション支援装置。
  6. 前記換言知識記憶手段は、翻訳の元となる原言語文を構文解析した結果である統合構造と、前記統合構造が示す意味内容と同じ意味内容で表現形式の異なる換言統合構造とを対応づけた換言知識を格納し、
    前記原言語解析手段は、前記入力受付手段が受付けた前記原言語文を構文解析した結果である前記統合構造を前記原言語解釈として出力し、
    前記換言手段は、前記原言語解析手段が出力した前記統合構造に対応づけられた前記換言統合構造を、前記換言知識記憶手段から取得し、取得した前記換言統合構造に基づき前記入力受付手段が受付けた前記原言語文を換言した原言語換言文を生成し、
    前記翻訳手段は、前記原言語解析手段が出力した前記統合構造列と、前記換言手段が生成した前記換言統合構造とを翻訳し、翻訳の対象言語で記述した文である対象言語文を出力することを特徴とする請求項１〜４のいずれか１つに記載のコミュニケーション支援装置。
  7. 複数の言語間の翻訳を行うことによりコミュニケーションを支援するコミュニケーション支援装置で実行されるコミュニケーション支援方法において、
    入力受付手段が、利用者が入力した翻訳の元となる原言語文を受付ける入力受付ステップと、
    原言語解析手段が、前記入力受付ステップが受付けた前記原言語文の意味内容を解析し、前記原言語文の意味内容の解釈である原言語解釈を出力する原言語解析ステップと、
    換言手段が、前記原言語解釈と、前記原言語解釈と同じ意味内容で表現形式の異なる換言解釈とを対応づけた換言知識を格納する記憶手段から、前記原言語解析ステップが出力した前記原言語解釈に対応づけられた前記換言解釈を取得し、取得した前記換言解釈に基づき前記入力受付ステップが受付けた前記原言語文を換言した原言語換言文を生成する換言ステップと、
    翻訳手段が、前記原言語解析ステップが出力した前記原言語解釈と、前記換言ステップが記憶手段から取得した前記換言解釈とを翻訳し、翻訳の対象言語で記述した文である対象言語文を出力する翻訳ステップと、
    を備えたことを特徴とするコミュニケーション支援方法。
  8. コンピュータを、
    利用者が入力した翻訳の元となる原言語文を受付ける入力受付手段と、
    前記入力受付手段が受付けた前記原言語文の意味内容を解析し、前記原言語文の意味内容の解釈である原言語解釈を出力する原言語解析手段と、
    前記原言語解釈と、前記原言語解釈と同じ意味内容で表現形式の異なる換言解釈とを対応づけた換言知識を格納する記憶手段から、前記原言語解析手段が出力した前記原言語解釈に対応づけられた前記換言解釈を取得し、取得した前記換言解釈に基づき前記入力受付手段が受付けた前記原言語文を換言した原言語換言文を生成する換言手段と、
    前記原言語解析手段が出力した前記原言語解釈と、前記換言手段が記憶手段から取得した前記換言解釈とを翻訳し、翻訳の対象言語で記述した文である対象言語文を出力する翻訳手段と、
    として機能させるためのコミュニケーション支援プログラム。
JP2005187375A 2005-06-27 2005-06-27 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム Expired - Fee Related JP4064413B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005187375A JP4064413B2 (ja) 2005-06-27 2005-06-27 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
US11/370,105 US7904291B2 (en) 2005-06-27 2006-03-08 Communication support apparatus and computer program product for supporting communication by performing translation between languages
CNA2006100941509A CN1892643A (zh) 2005-06-27 2006-06-27 通过执行语言间的翻译来支持交流的交流支持装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005187375A JP4064413B2 (ja) 2005-06-27 2005-06-27 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム

Publications (2)

Publication Number Publication Date
JP2007004730A JP2007004730A (ja) 2007-01-11
JP4064413B2 true JP4064413B2 (ja) 2008-03-19

Family

ID=37568657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005187375A Expired - Fee Related JP4064413B2 (ja) 2005-06-27 2005-06-27 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム

Country Status (3)

Country Link
US (1) US7904291B2 (ja)
JP (1) JP4064413B2 (ja)
CN (1) CN1892643A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903618A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 一种语音输入方法及电子设备
US11182565B2 (en) 2018-02-23 2021-11-23 Samsung Electronics Co., Ltd. Method to learn personalized intents
US11314940B2 (en) 2018-05-22 2022-04-26 Samsung Electronics Co., Ltd. Cross domain personalized vocabulary learning in intelligent assistants

Families Citing this family (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8553854B1 (en) 2006-06-27 2013-10-08 Sprint Spectrum L.P. Using voiceprint technology in CALEA surveillance
US8059790B1 (en) * 2006-06-27 2011-11-15 Sprint Spectrum L.P. Natural-language surveillance of packet-based communications
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP4393494B2 (ja) * 2006-09-22 2010-01-06 株式会社東芝 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
JP4398966B2 (ja) * 2006-09-26 2010-01-13 株式会社東芝 機械翻訳を行う装置、システム、方法およびプログラム
US9633005B2 (en) 2006-10-10 2017-04-25 Abbyy Infopoisk Llc Exhaustive automatic processing of textual information
US8214199B2 (en) * 2006-10-10 2012-07-03 Abbyy Software, Ltd. Systems for translating sentences between languages using language-independent semantic structures and ratings of syntactic constructions
US8145473B2 (en) 2006-10-10 2012-03-27 Abbyy Software Ltd. Deep model statistics method for machine translation
US9047275B2 (en) 2006-10-10 2015-06-02 Abbyy Infopoisk Llc Methods and systems for alignment of parallel text corpora
US9984071B2 (en) 2006-10-10 2018-05-29 Abbyy Production Llc Language ambiguity detection of text
US9235573B2 (en) 2006-10-10 2016-01-12 Abbyy Infopoisk Llc Universal difference measure
US9645993B2 (en) 2006-10-10 2017-05-09 Abbyy Infopoisk Llc Method and system for semantic searching
US20080086298A1 (en) * 2006-10-10 2008-04-10 Anisimovich Konstantin Method and system for translating sentences between langauges
US8195447B2 (en) * 2006-10-10 2012-06-05 Abbyy Software Ltd. Translating sentences between languages using language-independent semantic structures and ratings of syntactic constructions
US8548795B2 (en) 2006-10-10 2013-10-01 Abbyy Software Ltd. Method for translating documents from one language into another using a database of translations, a terminology dictionary, a translation dictionary, and a machine translation system
JP4791984B2 (ja) * 2007-02-27 2011-10-12 株式会社東芝 入力された音声を処理する装置、方法およびプログラム
US8959011B2 (en) 2007-03-22 2015-02-17 Abbyy Infopoisk Llc Indicating and correcting errors in machine translation systems
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9779079B2 (en) * 2007-06-01 2017-10-03 Xerox Corporation Authoring system
US8812296B2 (en) 2007-06-27 2014-08-19 Abbyy Infopoisk Llc Method and system for natural language dictionary generation
US20120101803A1 (en) * 2007-11-14 2012-04-26 Ivaylo Popov Formalization of a natural language
US8219407B1 (en) 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8239185B2 (en) * 2008-01-17 2012-08-07 Geacom, Inc. Method and system for situational language translation
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US9262409B2 (en) 2008-08-06 2016-02-16 Abbyy Infopoisk Llc Translation of a selected text fragment of a screen
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
WO2010105265A2 (en) * 2009-03-13 2010-09-16 Jean-Pierre Makeyev Text creation system and method
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8484016B2 (en) 2010-05-28 2013-07-09 Microsoft Corporation Locating paraphrases through utilization of a multipartite graph
US8775156B2 (en) 2010-08-05 2014-07-08 Google Inc. Translating languages in response to device motion
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9164988B2 (en) * 2011-01-14 2015-10-20 Lionbridge Technologies, Inc. Methods and systems for the dynamic creation of a translated website
JP5666937B2 (ja) 2011-02-16 2015-02-12 株式会社東芝 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
CN102650988B (zh) * 2011-02-25 2017-12-26 北京百度网讯科技有限公司 一种基于目标语言复述资源的机器翻译方法及装置
CN102650987A (zh) * 2011-02-25 2012-08-29 北京百度网讯科技有限公司 一种基于源语言复述资源的机器翻译方法及装置
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8538742B2 (en) * 2011-05-20 2013-09-17 Google Inc. Feed translation for a social network
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8510328B1 (en) * 2011-08-13 2013-08-13 Charles Malcolm Hatton Implementing symbolic word and synonym English language sentence processing on computers to improve user automation
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8954315B2 (en) 2011-10-10 2015-02-10 Ca, Inc. System and method for mixed-language support for applications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US8989485B2 (en) 2012-04-27 2015-03-24 Abbyy Development Llc Detecting a junction in a text line of CJK characters
US8971630B2 (en) 2012-04-27 2015-03-03 Abbyy Development Llc Fast CJK character recognition
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9195654B2 (en) * 2013-03-15 2015-11-24 Google Inc. Automatic invocation of a dialog user interface for translation applications
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US11151899B2 (en) * 2013-03-15 2021-10-19 Apple Inc. User training by intelligent digital assistant
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
CN105265005B (zh) 2013-06-13 2019-09-17 苹果公司 用于由语音命令发起的紧急呼叫的系统和方法
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
JP2015060095A (ja) 2013-09-19 2015-03-30 株式会社東芝 音声翻訳装置、音声翻訳方法およびプログラム
KR102214178B1 (ko) * 2013-12-13 2021-02-10 한국전자통신연구원 자동 통역 장치 및 방법
RU2592395C2 (ru) 2013-12-19 2016-07-20 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Разрешение семантической неоднозначности при помощи статистического анализа
RU2586577C2 (ru) 2014-01-15 2016-06-10 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Фильтрация дуг в синтаксическом графе
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US20150347399A1 (en) * 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-Call Translation
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9614969B2 (en) 2014-05-27 2017-04-04 Microsoft Technology Licensing, Llc In-call translation
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
RU2596600C2 (ru) 2014-09-02 2016-09-10 Общество с ограниченной ответственностью "Аби Девелопмент" Способы и системы обработки изображений математических выражений
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9626358B2 (en) 2014-11-26 2017-04-18 Abbyy Infopoisk Llc Creating ontologies by analyzing natural language texts
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9836457B2 (en) * 2015-05-25 2017-12-05 Panasonic Intellectual Property Corporation Of America Machine translation method for performing translation between languages
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9778929B2 (en) 2015-05-29 2017-10-03 Microsoft Technology Licensing, Llc Automated efficient translation context delivery
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
JP6671027B2 (ja) * 2016-02-01 2020-03-25 パナソニックＩｐマネジメント株式会社 換言文生成方法、該装置および該プログラム
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
CN107004000A (zh) * 2016-06-29 2017-08-01 深圳狗尾草智能科技有限公司 一种语料生成装置和方法
KR102565275B1 (ko) * 2016-08-10 2023-08-09 삼성전자주식회사 병렬 처리에 기초한 번역 방법 및 장치
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
JP7027757B2 (ja) * 2017-09-21 2022-03-02 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
US11120224B2 (en) * 2018-09-14 2021-09-14 International Business Machines Corporation Efficient translating of social media posts
JPWO2020149069A1 (ja) * 2019-01-15 2021-11-25 パナソニックＩｐマネジメント株式会社 翻訳装置、翻訳方法およびプログラム
US20240086622A1 (en) * 2022-09-12 2024-03-14 Rovi Guides, Inc. Methods and system for paraphrasing communications

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3385146B2 (ja) * 1995-06-13 2003-03-10 シャープ株式会社 会話文翻訳装置
JP2927350B2 (ja) 1997-03-27 1999-07-28 株式会社モノリス 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法
US7912696B1 (en) 1998-08-31 2011-03-22 Sony Corporation Natural language processing apparatus and natural language processing method
US7050979B2 (en) * 2001-01-24 2006-05-23 Matsushita Electric Industrial Co., Ltd. Apparatus and method for converting a spoken language to a second language
JP3933449B2 (ja) * 2001-11-22 2007-06-20 株式会社東芝 コミュニケーション支援装置
JP3840129B2 (ja) * 2002-03-15 2006-11-01 株式会社東芝 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
JP3762327B2 (ja) * 2002-04-24 2006-04-05 株式会社東芝 音声認識方法および音声認識装置および音声認識プログラム
JP4198550B2 (ja) * 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
JP3898606B2 (ja) * 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
JP4053490B2 (ja) * 2003-03-25 2008-02-27 株式会社東芝 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置
JP3920812B2 (ja) * 2003-05-27 2007-05-30 株式会社東芝 コミュニケーション支援装置、支援方法、及び支援プログラム
JP4080951B2 (ja) * 2003-05-30 2008-04-23 株式会社東芝 フレーム補間方法及び装置並びに画像表示システム
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
JP4076520B2 (ja) * 2004-05-26 2008-04-16 富士通株式会社 翻訳支援プログラムおよび単語対応付けプログラム
JP4271115B2 (ja) * 2004-09-29 2009-06-03 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903618A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 一种语音输入方法及电子设备
US11182565B2 (en) 2018-02-23 2021-11-23 Samsung Electronics Co., Ltd. Method to learn personalized intents
US11314940B2 (en) 2018-05-22 2022-04-26 Samsung Electronics Co., Ltd. Cross domain personalized vocabulary learning in intelligent assistants

Also Published As

Publication number Publication date
US7904291B2 (en) 2011-03-08
CN1892643A (zh) 2007-01-10
JP2007004730A (ja) 2007-01-11
US20060293876A1 (en) 2006-12-28

Similar Documents

Publication Publication Date Title
JP4064413B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
JP4439431B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
US6952665B1 (en) Translating apparatus and method, and recording medium used therewith
JP4050755B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
US6374224B1 (en) Method and apparatus for style control in natural language generation
JP4791984B2 (ja) 入力された音声を処理する装置、方法およびプログラム
KR101532447B1 (ko) 아시아어 문자를 생성하는 인식 아키텍처
JP2848458B2 (ja) 言語翻訳システム
JP2001100781A (ja) 音声処理装置および音声処理方法、並びに記録媒体
US20070198245A1 (en) Apparatus, method, and computer program product for supporting in communication through translation between different languages
JP2016053726A (ja) 現場にて音声−音声翻訳をメンテナンスするシステム及び方法
US20090204401A1 (en) Speech processing system, speech processing method, and speech processing program
US20090138266A1 (en) Apparatus, method, and computer program product for recognizing speech
JPH0916602A (ja) 翻訳装置および翻訳方法
CA2650614A1 (en) System and method for generating a pronunciation dictionary
JP5336805B2 (ja) 音声翻訳装置、方法、およびプログラム
JP2008243080A (ja) 音声を翻訳する装置、方法およびプログラム
El Ouahabi et al. Toward an automatic speech recognition system for amazigh-tarifit language
JP4811557B2 (ja) 音声再生装置及び発話支援装置
JP5208795B2 (ja) 通訳装置、方法、及びプログラム
Zong et al. Toward practical spoken language translation
JP2005031150A (ja) 音声処理装置および方法
JP2003162524A (ja) 言語処理装置
JP2001117752A (ja) 情報処理装置および情報処理方法、並びに記録媒体
JP2001117583A (ja) 音声認識装置および音声認識方法、並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071226

R151 Written notification of patent or utility model registration

Ref document number: 4064413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140111

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees