JP5653392B2 - 音声翻訳装置、方法およびプログラム - Google Patents

音声翻訳装置、方法およびプログラム Download PDF

Info

Publication number
JP5653392B2
JP5653392B2 JP2012146880A JP2012146880A JP5653392B2 JP 5653392 B2 JP5653392 B2 JP 5653392B2 JP 2012146880 A JP2012146880 A JP 2012146880A JP 2012146880 A JP2012146880 A JP 2012146880A JP 5653392 B2 JP5653392 B2 JP 5653392B2
Authority
JP
Japan
Prior art keywords
example
character string
language
similar
translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012146880A
Other languages
English (en)
Other versions
JP2014010623A (ja
Inventor
住田 一男
一男 住田
鈴木 博和
博和 鈴木
建太郎 降幡
建太郎 降幡
聡史 釜谷
聡史 釜谷
知野 哲朗
哲朗 知野
尚義 永江
尚義 永江
康顕 有賀
康顕 有賀
貴史 益子
貴史 益子
Original Assignee
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝 filed Critical 株式会社東芝
Priority to JP2012146880A priority Critical patent/JP5653392B2/ja
Publication of JP2014010623A publication Critical patent/JP2014010623A/ja
Application granted granted Critical
Publication of JP5653392B2 publication Critical patent/JP5653392B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/20Handling natural language data
    • G06F17/28Processing or translating of natural language
    • G06F17/289Use of machine translation, e.g. multi-lingual retrieval, server side translation for client devices, real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/20Handling natural language data
    • G06F17/28Processing or translating of natural language
    • G06F17/2809Data driven translation
    • G06F17/2827Example based machine translation; Alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/20Handling natural language data
    • G06F17/28Processing or translating of natural language
    • G06F17/2809Data driven translation
    • G06F17/2836Machine assisted translation, e.g. translation memory
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/005Language recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99934Query formulation, input preparation, or translation

Description

本発明の実施形態は、音声翻訳装置、方法およびプログラムに関する。

近年のグローバル化に伴い、異なる言語を母語とするユーザ同士のコミュニケーションを支援する音声翻訳装置への期待が高まっている。また実際に、音声翻訳機能を提供するサービスも運用されている。しかし、音声認識または機械翻訳を誤りなく実行することは難しい。そこで、発話された原言語を翻訳した言語である目的言語を利用するユーザが目的言語の訳文を理解できない場合に、理解不能な箇所を指定することで原言語を利用する話者に修正を促す手法がある。

特許第4042360号公報

しかし、理解不能な箇所の修正は原言語側でユーザが文字列の修正を行なう必要があり、また、目的言語側のユーザも訳文を一文ごとに確認し、その確認の結果を入力しなければならず、応答性の高い会話を実現することが難しい。

本開示は、上述の課題を解決するためになされたものであり、円滑かつ応答性の高い音声翻訳を提供することができる音声翻訳装置、方法、およびプログラムを提供することを目的とする。

本実施形態に係る音声翻訳装置は、取得部、音声認識部、翻訳部、検索部、選択部および用例提示部を含む。取得部は、第1言語による発話を音声信号として取得する。音声認識部は、前記音声信号について順次音声認識を行ない、音声認識結果の文字列である第1言語文字列を得る。翻訳部は、前記第1言語文字列を前記第1言語とは異なる第2言語に翻訳し、翻訳結果の文字列である第2言語文字列を得る。検索部は、前記第1言語文字列ごとに該第1言語文字列に類似する前記第1言語での用例である類似用例を検索し、該類似用例が存在する場合は、該類似用例と該類似用例を第2言語に翻訳した結果である対訳用例とを得る。選択部は、ユーザの指示により、前記類似用例が存在する第1言語文字列および前記対訳用例が存在する第2言語文字列の少なくとも一方を選択文字列として選択する。用例提示部は、前記選択文字列に関する類似用例および対訳用例を1以上提示する。

本実施形態に係る音声翻訳装置を示すブロック図。 用例格納部に格納される原言語の用例と目的言語の用例との一例を示す図。 本実施形態に係る音声翻訳装置の動作を示すフローチャート。 用例検索処理の詳細を示すフローチャート。 類似用例および対訳用例の提示処理の詳細を示すフローチャート。 本実施形態に係る音声翻訳装置の実装例を示す図。 タッチパネルディスプレイの画面表示の一例を示す図。 本実施形態に係る音声翻訳装置の動作における第1処理を示す図。 本実施形態に係る音声翻訳装置の動作における第2処理を示す図。 本実施形態に係る音声翻訳装置の動作における第3処理を示す図。 本実施形態に係る音声翻訳装置の動作における第4処理を示す図。 本実施形態に係る音声翻訳装置の動作における第5処理を示す図。 本実施形態に係る音声翻訳装置の動作における第6処理を示す図。 本実施形態に係る音声翻訳装置の動作における第7処理を示す図。 原言語側のユーザが用例を選択する場合の動作における第1処理を示す図。 原言語側のユーザが用例を選択する場合の動作における第2処理を示す図。 適切な用例が存在しない場合の表示例を示す図。 第2の実施形態に係る用例格納部に格納されるテーブルの一例を示す図。 第2の実施形態に係る音声翻訳装置の動作の具体例を示す図。 第3の実施形態に係る音声翻訳装置を含む音声認識システムを示す図。

近年、例えばスマートフォン(高機能携帯端末)で動作する音声翻訳アプリケーションソフトが商用化されている。また、音声翻訳機能を提供するサービスも運用されている。これらのアプリケーションソフトおよびサービスは、ユーザが一文あるいは数文といった短い単位で音声を発話し、音声認識により対応する文字列に変換する。さらに、機械翻訳により他の言語の文字列に翻訳し、音声合成により翻訳結果の文字列を音声で読み上げるといった動作をする。原言語を利用するユーザには短い単位で発話すること、目的言語を利用するユーザにはその単位で翻訳結果の確認または音声合成音声の聞き取りを行なうことなどが求められる。
このため、このような従来のアプリケーションソフトを用いた会話では、待ち時間が頻繁に発生することになり、応答性のよい会話を行なうことが難しいというのが現状である。ユーザに対して一文単位で発話することを求めるような制約を設けることなく、制約なく発話する内容が相手に伝わることが望ましいが、そのような機能は提供されていない。

以下、図面を参照しながら本実施形態に係る音声翻訳装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。本実施形態では、発話された言語を示す原言語を日本語とし、原言語を翻訳したい言語を示す目的言語を英語として、日本語と英語との間の翻訳を例に説明するが、翻訳処理の対象となる言語は、これらの2言語に限られることなく、あらゆる言語を対象とすることができる。
(第1の実施形態)
第1の実施形態に係る音声翻訳装置について図1のブロック図を参照して説明する。
第1の実施形態に係る音声翻訳装置100は、音声取得部101、音声認識部102、機械翻訳部103、表示部104、用例格納部105、用例検索部106、ポインティング指示検出部107、文字列選択部108、用例提示部109を含む。

音声取得部101は、ユーザが原言語(第1言語ともいう)で発話した音声を音声信号として取得する。
音声認識部102は、音声取得部101から音声信号を受け取り、音声信号を音声認識処理し、音声認識した結果の原言語の文字列である原言語文字列を得る。音声認識部102は、音声取得部101から音声信号が入力される間、音声認識処理における処理単位ごとに順次音声認識が行われ、原言語文字列が得られるたびに後段に渡される。音声認識の処理単位は、音声中に存在するポーズや言語的な区切り、音声認識候補が確定されるとき、または一定の時間間隔により決定される。また、音声認識した結果が取り出せることをイベントによってユーザに通知してもよい。なお、音声認識の具体的な処理は、一般的な処理を行えばよいため、ここでの説明は省略する。

機械翻訳部103は、音声認識部102から原言語文字列を受け取り、原言語文字列を目的言語(第2言語ともいう)の文字列に機械翻訳し、翻訳結果の文字列である目的言語文字列を得る。機械翻訳の具体的な処理は、一般的な処理を行えばよいため、ここでの説明を省略する。
表示部104は、例えばディスプレイであり、音声認識部102から原言語文字列を、機械翻訳部103から目的言語文字列をそれぞれ受け取り、原言語文字列および目的言語文字列を表示する。また、後述する用例提示部109から類似用例および対訳用例を受け取り、表示する。類似用例は、原言語文字列に類似する原言語での用例である。対訳用例は、類似用例を目的言語に翻訳した結果の用例である。

用例格納部105は、原言語の用例(以下、原言語用例ともいう)と目的言語の用例(以下、目的言語用例ともいう)とを関連づけて格納する。用例格納部105に格納される原言語の用例と目的言語の用例とについては、図2を参照して後述する。
用例検索部106は、音声認識部102から原言語文字列を受け取り、用例格納部105に蓄積される原言語の用例から原言語文字列に類似する類似用例を検索する。
ポインティング指示検出部107は、表示部104上においてユーザから指示された位置に対応する位置情報を取得する。

文字列選択部108は、ポインティング指示検出部107から位置情報を受け取り、表示部104に表示された文字列のうち、位置情報に対応した原言語文字列または目的言語文字列を選択文字列として選択する。
用例提示部109は、文字列選択部108から選択文字列を、用例検索部106から選択文字列に関する類似用例および対訳用例をそれぞれ受け取り、類似用例と対訳用例とを表示部104に表示させる。また、用例提示部109は、選択文字列、選択された類似用例および対訳用例を強調表示する。

次に、用例格納部105に格納される原言語用例と目的言語用例との一例について図2を参照して説明する。
図2に示すように、原言語である原言語用例201と、原言語用例201に対応する目的言語である目的言語用例202とが対応づけられて格納される。具体的には、例えば原言語である「あまり歩けない」と、「あまり歩けない」の翻訳結果である「I can’t walk so long distance.」とが、それぞれ原言語用例201と目的言語用例202として格納される。

次に、本実施形態にかかる音声翻訳装置100の動作について図3のフローチャートを参照して説明する。なお、フローチャートには図示していないが、音声認識部102ならびに機械翻訳部103は並列的に動作するため、図3の処理に先立ち、音声認識部102ならびに機械翻訳部103の処理を起動しておく。
ステップS301では、音声認識部102が、音声認識処理を行なった結果の原言語文字列を得る。
ステップS302では、表示部104が、原言語文字列が表示する。
ステップS303では、機械翻訳部103が、機械翻訳処理を行なった結果の目的言語文字列を得る。

ステップS304では、表示部104が、目的言語文字列を表示する。なお、表示部104では、ステップS302で原言語文字列を表示せず、目的言語文字列が得られたあとに、原言語文字列と目的言語文字列とを一緒に表示するようにしてもよい。

ステップS305では、用例検索部106が、用例検索処理を行なう。用例検索処理については、図4のフローチャートを参照して後述する。
ステップS306では、ポインティング指示検出部107が、ユーザからの指示、すなわち意味が不明な目的言語文字列に対するポインティングがあるかどうかを検出する。ユーザからの指示は、例えば、表示部104がタッチパネル式のディスプレイであれば、類似用例および対訳用例が存在することを示す記号をタッチすることで、ユーザからの指示があったと検出される。ユーザからの指示を検出した場合は、ステップS307に進み、ユーザからの指示を検出しない場合は、ステップS301に戻り、同様の処理を繰り返す。

ステップS307では、音声認識部102が、音声認識処理を一時停止する。
ステップS308では、用例提示部109が、用例の提示処理を行なう。具体的な用例の提示処理については図5のフローチャートを参照して後述する。
ステップS309では、音声認識部102が、音声認識処理を再開し、ステップS301から同様の処理を繰り返す。その後、発話の入力が無くなった場合、またはユーザによる音声認識処理の終了指示があった場合に音声翻訳装置の動作を終了する。

次に、ステップS305の動作の詳細について図4のフローチャートを参照して説明する。
ステップS401では、用例検索部106が、原言語文字列を受け取る。
ステップS402では、用例検索部106が、抽出した原言語文字列に類似用例が存在するかどうかを、用例格納部105から検索する。類似用例の検索は、例えば原言語文字列と原言語の用例との編集距離を算出して、閾値以上の一致度を有する場合に原言語の用例が類似用例であると判定してもよいし、形態素解析により単語数の一致度が閾値以上であれば類似用例であると判定してもよい。類似用例が存在する場合は、ステップS403に進み、類似用例が存在しない場合は、ステップS305およびステップS306の処理を終了する。
ステップS403では、用例提示部109が、類似用例が存在する原言語文字列に類似用例が存在することを示す記号を対応づけて表示部104に表示させ、原言語文字列に対応する目的言語文字列に対訳用例が存在することを示す記号を表示部104に表示させる。

次に、ステップS308の類似用例および対訳用例の提示処理について図5のフローチャートを参照して説明する。以下では、特に言及しない限り、類似用例および対訳用例をまとめて用例と呼ぶ。
ステップS501では、用例提示部109が、通知とともに用例を表示する。通知は、ユーザから意味を確認したい旨に指示があったことを示す確認メッセージである。用例は1つだけ表示してもよいし、複数の用例を一覧(リスト)として提示してもよい。用例のリストの提示方法は、例えば音声認識結果との類似度が高い順に上位5つを提示してもよいし、用例を全て提示してもよいし、提示された用例の履歴を参照して提示するなど任意の方法でもよい。

ステップS502では、ポインティング指示検出部107が、用例のリストの中からある用例がポインティングされたかどうか、すなわち用例が選択されたかどうかを検出する。用例が選択された場合は、ステップS503に進み、用例が選択されない場合は、ステップS504に進む。
ステップS503では、用例提示部109が、選択された用例を強調表示する。具体的には、例えば対訳用例がポインティングされることにより、選択された対訳用例の文字色が反転したり、ハイライト表示されればよい。また、対訳用例が強調表示されると対応する類似用例も強調表示される。逆の場合も同様である。
ステップS504では、用例提示部109が、確認メッセージ(単に通知ともいう)を提示する。確認メッセージは、選択された用例が適切かどうかをユーザに決定させるためのメッセージである。

ステップS505では、ポインティング指示検出部107が、削除に関する指示があるかどうかを検出する。削除に関する指示は、例えば削除ボタンが選択される場合に、削除指示があると検出される。削除に関する指示がある場合は、ステップS506に進み、削除に関する指示がある場合は、ステップS502に戻り、同様の処理を繰り返す。
ステップS506では、用例提示部109が、提示された用例の中に適切な用例がないものとして、相手方に内容が伝わらなかったことを示す確認メッセージを表示部104に表示させる。
ステップS507では、ポインティング指示検出部107が、確認メッセージに対するユーザからのポインティングがあるかどうかを検出する。確認メッセージがある場合はステップS508に進み、確認メッセージがない場合は、ユーザからのポインティングがあるまで待機する。

ステップS508では、ポインティング指示検出部107が、ユーザからのポインティングが肯定を示すかどうかを検出する。ユーザからのポインティングが肯定を示さない場合は、ステップS509に進み、ユーザからのポインティングが肯定を示す場合は、ステップS510に進む。
ステップS509では、用例提示部109が、確認メッセージを非表示とし、選択された用例の強調表示を取り消し、通常の表示に戻して、ステップS502に戻って同様の処理を行なう。
ステップS510では、用例提示部109が、選択された用例を表示エリアの対応する箇所に追加して表示する。
ステップS511では、用例提示部109が、処理対象である原言語文字列および目的言語文字列を削除する。
ステップS512では、用例提示部109が、ステップS501で表示した用例のリストを非表示にする。以上で用例提示処理を終了する。

次に、音声翻訳装置の実装例について図6を参照して説明する。
図6は、本実施形態にかかる音声翻訳装置100をいわゆるタブレット形状のハードウェアに実装する例を示す。図6に示す音声翻訳装置600は、筐体601、タッチパネルディスプレイ602およびマイクロフォン603を含む。
筐体601は、タッチパネルディスプレイ602、マイクロフォン603が搭載される。
タッチパネルディスプレイ602は、ディスプレイが静電容量式であれば、指で触れるとその場所がポインティングされたことを検出することができるポインティング機能(ポインティング指示検出部)と文字および画像などを表示することができる表示機能(表示部)とを有する。
マイクロフォン603は、一般的なマイクロフォンを用いればよく、ここでの説明は省略する。

次に、タッチパネルディスプレイ602の画面表示の一例について図7を参照して説明する。
画面表示のレイアウト例として、図7に示すように、画面の左半分に原言語文字列が表示される表示エリア701が表示され、画面の右半分に目的言語文字列が表示される表示エリア702が表示される。また、画面の右端には、発話開始ボタン703、言語切り替えボタン704、削除ボタン705、終了ボタン706が表示される。

発話開始ボタン703は、ユーザが発話開始を指示する際にポインティングされる領域である。言語切り替えボタン704は、ユーザが原言語と目的言語とを切り替えるためにポインティングされる領域である。削除ボタン705は、用例などを削除するためにポインティングされる領域である。終了ボタン706は、音声認識処理を終了するためにポインティングされる領域である。
なお、図7に示すようなレイアウトに限らず、必要に応じてボタン群がポップアップするなどどのような配置および構成であってもよい。また、タッチパネルディスプレイに限らず、スクリーンおよびキーボードの組み合わせといった、画面表示と入力とが独立した状態であってもよい。

次に、本実施形態に係る音声翻訳装置の動作の具体例について図8から図14までを参照して説明する。ここでは、図6に示す音声翻訳装置600を用いた動作例を説明する。
図8では、目的言語側のユーザが発話した場合の表示例を示す。なお図8の例は、目的言語の発話を原言語に機械翻訳する場合であるが、上述した原言語の日本語と目的言語の英語とを入れ替えて上述の処理と同様の処理を行えばよい。具体的には、ユーザが発話音声801「Have you already gone around here?」を発話すると、音声認識結果802−Eとして「Have you already gone around here?」が表示エリア702に表示され、音声認識結果802−Eの機械翻訳結果802−Jとして「この辺りはもう周られましたか?」が表示エリア701に表示される。

図9では、原言語側のユーザが発話した場合の表示例を示す。具体的には、音声取得部101が、発話音声901として「見て回りたいんだけど、あまり歩きたくないんで、バスツアーとかがいいなあ」を取得し、順次音声認識した結果である原言語文字列902−J「見て回りたい」、903−J「あまり歩きたくない」、904−J「バスツアーとかがいい」を表示エリア701に表示する。加えて、音声認識結果に対応する機械翻訳結果である目的言語文字列902−E「I would like to look around.」、903−E「Amari doesn’t want to walk.」、904−E「A bus tour is good.」をそれぞれ表示エリア702に表示する。記号905は類似用例および対訳用例が存在することを示す記号である。ここで、目的言語文字列903−Eが機械翻訳誤りのため、意味が通じない訳となっていると仮定する。

図10では、目的言語側のユーザが、意味が通じない目的言語文字列903−Eをポインティングした場合を示す。ポインティングの方法は、例えば、記号905をタッチすることで選択してもよいし、カーソル1001を記号905に合わせてもよい。また、その際、確認メッセージ1002−Eおよび対応する確認メッセージ1002−Jを表示する。図10の例では、表示エリア701において確認メッセージ1002−J「何とおっしゃりたいのでしょうか?」が表示され、表示エリア702において確認メッセージ1002−E「Can you see what the partner wants to say?」が表示される。

図11では、ユーザにより目的言語文字列が選択された結果、原言語文字列の類似用例および対応する目的言語文字列の対訳用例がそれぞれの表示エリア701、702に表示される。具体的には、用例格納部105を参照して、類似用例1101−J「あまり歩けない」、1102−J「私はあまり歩きたくない」および1103−J「明日は歩きたい」と、類似用例に対応する対訳用例1101−E「I can’t walk so long distance.」、1102−E「I don’t want to walk.」および1103−E「Tomorrow, I’d like to walk.」が表示される。

図12では、目的言語側のユーザが対訳用例を選択した場合を示し、例えば選択された対訳用例1201−Eと対応する類似用例1201−Jとが共にハイライト表示される。ここでは、対訳用例1201−Eとして「I can’t walk so long distance.」が選択されてハイライト表示され、対応する類似用例1201−J「あまり歩けない」がハイライト表示される。また、対訳用例が選択された場合に、原言語側の表示エリア701に確認メッセージ1202「おっしゃりたいことはこの内容でよろしいですか?」が表示される。なお、類似用例および対訳用例がそれぞれ複数表示される場合は、スクロールバー1104により類似用例および対訳用例をスクロールしてもよい。

図13では、原言語側のユーザが、ハイライト表示された類似用例の内容で承諾するかどうかをポインティングする。具体的に図13では、確認メッセージ1202中の「はい」または「いいえ」をタッチする、またはカーソル1001で指定する。これによって、ポインティング指示検出部107が、ユーザが「はい」および「いいえ」のどちらを選択したかを検出する。

図14では、原言語側のユーザが「はい」を選択した場合、類似用例および対訳用例の一覧表示を取り消し、選択された類似用例および対応する対訳用例をそれぞれの表示エリア701、702に追加表示すると共に、翻訳誤りである元の原言語文字列と元の目的言語文字列とを削除する。例えば、原言語文字列1401−Jとして「あまり歩きたくない」を取消線で消し、その上に類似用例「あまり歩けない」を表示する。一方、目的言語文字列1401−Eとして、「Amari doesn’t want to walk.」を取消線で消し、その上に対訳用例「I can’t walk so long distance.」を表示する。このようにすることで、目的言語側のユーザが翻訳結果の意味が理解できない場合でも、目的言語側のユーザが用例を選択すれば、原言語側のユーザに対応する用例が表示される。原言語側のユーザが選択された類似用例が適切かどうかの決定をするだけでよいので、原言語側のユーザの文の言い換え能力が問われずに、容易にユーザの意図通りの会話をすることができる。

なお、上述の例では、目的言語側のユーザが対訳用例を選択した場合を示すが、原言語側のユーザが類似用例を選択してもよい。原言語側のユーザが類似用例を選択する具体例を図15および図16を参照して説明する。
図15に示すように、原言語側のユーザが類似用例を選択する。ここでは、類似用例1501−J「私はあまり歩きたくない」を選択すると、ハイライト表示される。類似用例1501−Jが選択されると、目的言語側の表示エリア702にある対訳用例1501−E「I don’t want to walk.」がハイライト表示される。併せて、目的言語側の表示エリアに確認メッセージ1502「Can you see what the partner wants to say?」が表示される。

図16では、目的言語側のユーザがハイライト表示された対訳用例の内容で承諾するかどうかをカーソル1001などでポインティングする。このように、原言語側のユーザが、発言した内容の原言語文字列の中で類似用例が存在する文がある場合に、原言語側のユーザ自ら類似用例を選択して言い換えることができる。

次に、類似用例および対訳用例の中に適切な用例が存在しない場合を図17に示す。

目的言語側のユーザまたは原言語側のユーザが、適切な用例が存在しないと判断し、用例を選択しない場合は、処理対象である原言語文字列および目的言語文字列に用例が挿入されない。さらに、処理対象である原言語文字列および目的言語文字列が削除され、確認メッセージ1701が表示される。確認メッセージ1701は例えば、「申し訳ありませんが、伝わらなかったようです。」といった内容を表示すればよい。
この場合、処理対象となった目的言語文字列の内容は目的言語側のユーザには伝わらなかったが、少なくとも原言語側のユーザは、発話が機械翻訳された内容が目的言語側のユーザに伝わらなかったことがわかるので、原言語側のユーザが別の内容の発話で言い直すなどの対応が可能となる。

以上に示した第1の実施形態によれば、原言語文字列に類似用例が存在するかどうかを検索し、類似用例が存在し、かつユーザからの選択があった場合に類似用例および対訳用例を提示する。これにより、音声認識結果の原言語文字列および機械翻訳結果の目的言語文字列において理解不能な箇所をユーザの双方で協力して用例を選択することで、不明な箇所を解消し、異なる言語において円滑に会話することができる。また、対訳用例が選択した場合にのみ音声認識を停止して用例を提示することができるので、会話のレスポンス性を損なうことなく会話することができる。

(第2の実施形態)
第2の実施形態では、用例格納部105に原言語の用例または目的言語の用例に注釈を関連づけて格納する点が第1の実施形態と異なる。原言語を目的言語に翻訳する場合、原言語には意味が曖昧な場合がある。例えば、「結構です」という日本語は、「不要です」という断りを日本語ユーザが意図しているのか、「大丈夫です」という承諾を意図しているのかが曖昧である。また同様に、「You’re welcome.」という英語は、「いらっしゃい(Welcom to you)」という歓迎を英語ユーザが意図しているのか、「どういたしまして(Don’t mention it)」という感謝を意図しているのかが曖昧である。
そこで、第2の実施形態では、原言語文字列または目的言語文字列に注釈を関連づけることで、原言語を話すユーザおよび目的言語を話すユーザの意図を正しく反映させた用例をユーザに提示することができる。

第2の実施形態に係る音声翻訳装置は、第1の実施形態に係る音声翻訳装置100と同様であるが、用例格納部105に格納される用例と、用例検索部106における動作とが異なる。
用例格納部105は、原言語の用例と注釈とを対応づけ、目的言語の用例と注釈とを対応づけて格納する。
用例検索部106は、原言語文字列に類似用例が存在する場合、さらに、類似用例に注釈が存在するかどうかを検索する。

次に、第2の実施形態に係る用例格納部105に格納されるテーブルの一例について図18を参照して説明する。
図18に示すように、原言語用例1801と注釈1802とが対応づけられ、目的言語用例1803と注釈1804とが関連づけられて格納される。具体的には、原言語用例1805−J「結構です」と注釈1805−1「大丈夫です」とが関連づけられ、原言語用例1806−J「結構です」と注釈1806−1「不要です」とが関連づけられて格納される。このように、複数の意味を有する原言語用例には、それぞれの意味に対応する注釈が付けられる。
ここで、これら注釈が存在する原言語用例の翻訳である目的言語の用例には、原言語用例ではなく注釈に応じた目的言語での翻訳が格納される。すなわち、原言語用例1805−J「結構です」と注釈1805−1「大丈夫です」とに対応する目的言語用例1805−Eとして、「That’s good.」が関連づけられて格納される。また、原言語用例1806−J「結構です」と注釈1806−1「不要です」とに対応する目的言語用例1806−Eとして、「No thank you.」が関連づけられて格納される。

また、目的言語用例に注釈が存在する場合は、目的言語用例1807−E「You’re welcome.」と注釈1807−1「Welcome to you.」とが関連づけられ、目的言語用例1808−E「You’re welcome.」と注釈1808−1「Don’t mention it.」とが関連づけられる。ここで、これら注釈が存在する目的言語用例に対応する原言語では、注釈が存在する原言語用例の場合と同様に、注釈に対応した原言語が格納される。例えば、注釈1807−1「Welcome to you」の原言語での翻訳である原言語用例1807−J「いらっしゃいませ」が目的言語用例1807−E「You’re welcome.」と注釈1807−1「Welcome to you」とに関連づけられて格納される。

同様に、注釈1808−1「Welcome to you」の原言語での翻訳である原言語用例1808−E「とんでもありません」が目的言語用例1808−E「You’re welcome.」と注釈1807−1「Welcome to you.」とに関連づけられて格納される。このように、同一の原言語用例でも、注釈が存在する場合は、注釈に応じた翻訳を目的言語用例として関連づけて格納する。逆に、同一の目的言語用例でも、注釈が存在する場合は、注釈に応じた翻訳を原言語用例として関連づけて格納する。

次に、第2の実施形態に係る音声翻訳装置の動作の具体例について図19を参照して説明する。
図19は、図11に示す例と同様であるが、用例のリストが表示される際に類似用例に加えて注釈も共に表示される例を示す。具体的には、類似用例として「結構です(大丈夫です)」、「結構です(不要です)」が一覧として表示される。なお、類似用例に注釈が存在する場合の記号1901は、類似用例に注釈がない場合の記号と区別することが望ましい。例えば、注釈がない場合は記号を白抜きとし、注釈がある場合は記号を塗りつぶしとすればよい。これにより、ユーザは意味が曖昧な文であり、注釈が存在することを認識できる。

なお、図19の例では、類似用例1902−J「結構です[大丈夫です]」、1903−J「結構です[不要です]」と類似用例が2つ提示されているのに対し、対訳用例は、1902−E1「That’s fine,」、1902−E2「All right.」および1903−E「No thank you.」と3つ提示される。これは、対訳用例に対応した類似用例を選択する際に、類似用例および注釈が重複する場合は1つ表示すればよいためである。

以上に示した第2の実施形態によれば、用例に注釈が関連づけられている場合は、用例を表示する際に用例と注釈とを表示することで、目的言語側および原言語側の両方のユーザが注釈を参照することができ、意味の曖昧な用例について適切な意味を示す用例を選択できる。

(第3の実施形態)
上述の第1および第2実施形態は単一のデバイス内での構成を想定しているが、複数のデバイスに処理を分散させてもよい。第3の実施形態では、サーバとクライアントとに分けて処理を実現する場合を想定する。
一般に、携帯電話やタブレットPC等のクライアントの計算資源および記憶資源が限定されるデバイスで音声翻訳処理をさせる場合は、データ量および探索空間の自由度に制約が生じる。よって、処理負荷が大きい音声認識、機械翻訳および用例検索の処理を、計算資源および記憶資源の拡張が容易なサーバで動作させることで、クライアントの処理量を軽減することができる。

ここで、第3の実施形態に係る音声翻訳装置を含む音声認識システムについて図20のブロック図を参照して説明する。
図20に示す音声認識システムは、サーバ2000とクライアント2500とを含む。

サーバ2000は、音声認識部2001、機械翻訳部2002、用例検索部2003、用例格納部2004、サーバ通信部2005およびサーバ制御部2006を含む。
音声認識部2001、機械翻訳部2002、用例検索部2003および用例格納部2004は、第1の実施形態に係る音声認識部102、機械翻訳部103、用例検索部106および用例格納部105と同様の動作を行なうのでここでの説明は省略する。
サーバ通信部2005は、後述のクライアント通信部2506とデータの送受信を行なう。
サーバ制御部2006は、サーバ全体の動作を制御する。

クライアント2500は、音声取得部2501、表示部2502、ポインティング指示検出部2503、文字列選択部2504、用例提示部2505、クライアント通信部2506およびクライアント制御部2507を含む。
音声取得部2501、表示部2502、ポインティング指示検出部2503、文字列選択部2504および用例提示部2505は、第1の実施形態にかかる音声取得部101、表示部104、ポインティング指示検出部107、文字列選択部108および用例提示部109と同様の処理を行なうのでここでの説明は省略する。
クライアント通信部2506は、サーバ通信部2005とデータの送受信を行なう。
クライアント制御部2507は、クライアント2500の全体の制御を行なう。

次に、サーバ2000およびクライアント2500による音声翻訳処理の一例について説明する。
クライアント2500では、音声取得部2501がユーザからの音声を取得し、クライアント通信部2506が音声信号をサーバ2000へ送信する。
サーバ2000では、サーバ通信部2005がクライアント2500からの音声信号を受信し、音声認識部2001が音声信号について音声認識処理を行なう。その後、機械翻訳部103が音声認識結果について機械翻訳処理を行なう。サーバ通信部2005が、音声認識結果および機械翻訳結果をクライアント2500へ送信する。また、用例検索部2003が音声認識結果と類似する類似用例を検索し、類似用例が存在する場合は、類似用例および対応する対訳用例がクライアント2500に送信される。

クライアント2500では、クライアント通信部2506が音声認識結果および機械翻訳結果とそれぞれに対応する類似用例および対訳用例とを受信し、表示部2502が音声認識結果および機械翻訳結果を表示する。ポインティング指示検出部2503がユーザからの指示を検出した場合は、用例提示部2505が選択文字列に関連する対訳用例および類似用例を提示する。

なお、音声認識結果に類似用例が存在する場合で、クライアント2500が全ての類似用例を受信せずに、任意の数だけ抽出された類似用例および対応する対訳用例を受信するように設定している場合もある。この場合は、クライアント2500は、受信していない他の類似用例または対応する対訳用例を受信すべく、リクエストをサーバ2000に送信する。サーバ2000の用例検索部2003は、未抽出の類似用例および対応する対訳用例を抽出し、サーバ通信部2005がこれらの類似用例および対訳用例を送信する。クライアント2500では、クライアント通信部2506がこれらの類似用例および対訳用例を受信して、新たな類似用例および対訳用例を表示してもよい。

また、サーバ2000が、類似用例が存在することを示すフラグのみクライアント2500に送信してもよい。クライアント2500では、ユーザからのポインティングがあった場合に、選択文字列に関する類似用例および対訳用例のリクエストをサーバ2000に送信し、サーバ2000がリクエストに応じて類似用例および対訳用例をクライアント2500に送信すればよい。このようにすることで必要な場合にのみ用例の検索処理を行なうので、クライアントにおいて音声翻訳処理の動作をより高速に行なうことができる。

以上に示した第3の実施形態によれば、処理負荷が大きい音声認識、機械翻訳および用例検索の処理を、計算資源および記憶資源の拡張が容易なサーバで動作させることで、クライアントの処理量を軽減することができる。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した音声翻訳装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RW、Blu−ray(登録商標)Discなど)、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態の音声翻訳装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LANやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は1つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

100,600・・・音声翻訳装置、101,2501・・・音声取得部、102,2001・・・音声認識部、103,2002・・・機械翻訳部、104,2502・・・表示部、105,2004・・・用例格納部、106,2003・・・用例検索部、107,2503・・・ポインティング指示検出部、108,2504・・・文字列選択部、109,2505・・・用例提示部、201,1801,1805,1806,1807,1808・・・原言語用例、202,1803,1805,1806,1807,1808・・・目的言語用例、601・・・筐体、602・・・タッチパネルディスプレイ、603・・・マイクロフォン、701,702・・・表示エリア、703・・・発話開始ボタン、704・・・ボタン、705・・・削除ボタン、706・・・終了ボタン、801,901・・・発話音声、802−E・・・音声認識結果、802−J・・・機械翻訳結果、902−J,903−J,904−J,1401−J,・・・原言語文字列、902−E,903−E,904−E,1401−E,・・・目的言語文字列、905,1901・・・記号,1001・・・カーソル、1002,1202,1502,1701・・・確認メッセージ、1101−J,1102−J,1103−J,1201−J,1501−J1902−J,1903−J・・・類似用例、1101−E,1102−E,1103−E,1201−E,1501−E1902−E1,1902−E2,1903−E・・・対訳用例、1104・・・スクロールバー、1802,1804,1805・・・注釈、2000・・・サーバ、2005・・・サーバ通信部、2006・・・サーバ制御部、2500・・・クライアント、2506・・・クライアント通信部、2507・・・クライアント制御部。

Claims (11)

  1. 第1言語による発話を音声信号として取得する取得部と、
    前記音声信号について順次音声認識を行ない、音声認識結果の文字列である第1言語文字列を得る音声認識部と、
    前記第1言語文字列を前記第1言語とは異なる第2言語に翻訳し、翻訳結果の文字列である第2言語文字列を得る翻訳部と、
    前記第1言語文字列ごとに該第1言語文字列に類似する前記第1言語での用例である類似用例を検索し、該類似用例が存在する場合は、該類似用例と該類似用例を第2言語に翻訳した結果である対訳用例とを得る検索部と、
    ユーザの指示により、前記類似用例が存在する第1言語文字列および前記対訳用例が存在する第2言語文字列の少なくとも一方を選択文字列として選択する選択部と、
    前記選択文字列に関する類似用例および対訳用例を1以上提示する用例提示部と、を具備することを特徴とする音声翻訳装置。
  2. 前記第1言語文字列および前記類似用例と、前記第2言語文字列および前記対訳用例とをそれぞれ表示する表示部をさらに具備し、
    前記用例提示部は、前記第1言語文字列に類似用例が存在する場合、該第1言語文字列および対応する第2言語文字列に、用例が存在することを示す第1記号を関連づけて前記表示部に表示させることを特徴とする請求項1に記載の音声翻訳装置。
  3. 前記用例提示部は、前記選択文字列が選択された場合、複数の類似用例および複数の対訳用例の一覧を提示することを特徴とする請求項1または請求項2に記載の音声翻訳装置。
  4. 前記用例提示部は、前記類似用例および前記対訳用例のどちらか一方が選択された場合、該類似用例および該対訳用例の双方を強調表示し、強調された類似用例または強調された対訳用例が適切であるかどうかの決定を促すための第1通知を提示することを特徴とする請求項1から請求項3のいずれか1項に記載の音声翻訳装置。
  5. 前記類似用例と、該類似用例に対応する対訳用例とを関連づけて格納する格納部をさらに具備する請求項1から請求項4のいずれか1項に記載の音声翻訳装置。
  6. 前記格納部は、前記類似用例と、前記対訳用例と、該類似用例および該対訳用例の少なくとも一方の意図を説明するための注釈とを関連づけて格納し、
    前記表示部は、前記類似用例に前記注釈が関連づく場合、該類似用例と該注釈とを共に表示し、前記対訳用例に該注釈が関連づく場合、該対訳用例と該注釈とを共に表示することを特徴とする請求項5に記載の音声翻訳装置。
  7. 前記格納部は、前記類似用例と、前記対訳用例と、該類似用例および該対訳用例の少なくとも一方の意図を説明するための注釈とを関連づけて格納し、
    前記用例提示部は、前記第1言語文字列に類似用例が存在し、かつ該類似用例に前記注釈が関連づく場合、該注釈が存在することを示す第2記号を該第1言語文字列および対応する第2言語文字列に関連づけて前記表示部に表示させることを特徴とする請求項5に記載の音声翻訳装置。
  8. 前記用例提示部は、前記第2言語文字列が選択された際に、前記第1言語で確認を促すための第2通知を前記表示部に表示させることを特徴とする請求項1から請求項7のいずれか1項に記載の音声翻訳装置。
  9. 第1言語による発話を音声信号として取得する取得部と、
    前記音声信号について順次音声認識された音声認識結果の文字列である第1言語文字列と、前記第1言語文字列を前記第1言語とは異なる第2言語に翻訳された翻訳結果の文字列である第2言語文字列とを、表示する表示部と、
    ユーザから指示された前記表示部上の位置を検出する検出部と、
    前記位置に基づいて、前記第1言語文字列および前記第2言語文字列の少なくとも一方を選択文字列として選択する選択部と、
    前記選択文字列に関して、前記第1言語文字列に類似する前記第1言語での用例である1以上の類似用例と、該類似用例を第2言語に翻訳した結果である1以上の対訳用例とを提示する用例提示部と、を具備し、
    前記表示部は、提示された前記類似用例および前記対訳用例をさらに表示することを特徴とする音声翻訳装置。
  10. 第1言語による発話を音声信号として取得し、
    前記音声信号について順次音声認識を行ない、音声認識結果の文字列である第1言語文字列を得、
    前記第1言語文字列を前記第1言語とは異なる第2言語に翻訳し、翻訳結果の文字列である第2言語文字列を得、
    前記第1言語文字列ごとに該第1言語文字列に類似する前記第1言語での用例である類似用例を検索し、該類似用例が存在する場合は、該類似用例と該類似用例を第2言語に翻訳した結果である対訳用例とを得、
    ユーザの指示により、前記類似用例が存在する第1言語文字列および前記対訳用例が存在する第2言語文字列の少なくとも一方を選択文字列として選択し、
    前記選択文字列に関する類似用例および対訳用例を1以上提示することを具備することを特徴とする音声翻訳方法。
  11. コンピュータを、
    第1言語による発話を音声信号として取得する取得手段と、
    前記音声信号について順次音声認識を行ない、音声認識結果の文字列である第1言語文字列を得る音声認識手段と、
    前記第1言語文字列を前記第1言語とは異なる第2言語に翻訳し、翻訳結果の文字列である第2言語文字列を得る翻訳手段と、
    前記第1言語文字列ごとに該第1言語文字列に類似する前記第1言語での用例である類似用例を検索し、該類似用例が存在する場合は、該類似用例と該類似用例を第2言語に翻訳した結果である対訳用例とを得る検索手段と、
    ユーザの指示により、前記類似用例が存在する第1言語文字列および前記対訳用例が存在する第2言語文字列の少なくとも一方を選択文字列として選択する選択手段と、
    前記選択文字列に関する類似用例および対訳用例を1以上提示する用例提示手段として機能させるための音声翻訳プログラム。
JP2012146880A 2012-06-29 2012-06-29 音声翻訳装置、方法およびプログラム Active JP5653392B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012146880A JP5653392B2 (ja) 2012-06-29 2012-06-29 音声翻訳装置、方法およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012146880A JP5653392B2 (ja) 2012-06-29 2012-06-29 音声翻訳装置、方法およびプログラム
US13/859,152 US9002698B2 (en) 2012-06-29 2013-04-09 Speech translation apparatus, method and program
CN201310130904.1A CN103514153A (zh) 2012-06-29 2013-04-16 语音翻译装置、方法和程序
US14/670,064 US20150199341A1 (en) 2012-06-29 2015-03-26 Speech translation apparatus, method and program

Publications (2)

Publication Number Publication Date
JP2014010623A JP2014010623A (ja) 2014-01-20
JP5653392B2 true JP5653392B2 (ja) 2015-01-14

Family

ID=49778997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012146880A Active JP5653392B2 (ja) 2012-06-29 2012-06-29 音声翻訳装置、方法およびプログラム

Country Status (3)

Country Link
US (2) US9002698B2 (ja)
JP (1) JP5653392B2 (ja)
CN (1) CN103514153A (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5653392B2 (ja) * 2012-06-29 2015-01-14 株式会社東芝 音声翻訳装置、方法およびプログラム
CA2906399A1 (en) 2013-03-15 2014-10-09 Translate Abroad, Inc. Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices
US8965129B2 (en) 2013-03-15 2015-02-24 Translate Abroad, Inc. Systems and methods for determining and displaying multi-line foreign language translations in real time on mobile devices
US9747899B2 (en) * 2013-06-27 2017-08-29 Amazon Technologies, Inc. Detecting self-generated wake expressions
JP6235280B2 (ja) 2013-09-19 2017-11-22 株式会社東芝 音声同時処理装置、方法およびプログラム
JP6178198B2 (ja) 2013-09-30 2017-08-09 株式会社東芝 音声翻訳システム、方法およびプログラム
JP2015153108A (ja) 2014-02-13 2015-08-24 株式会社東芝 音声会話支援装置、及び音声会話支援方法及びプログラム
US9524293B2 (en) * 2014-08-15 2016-12-20 Google Inc. Techniques for automatically swapping languages and/or content for machine translation
JP2016095727A (ja) * 2014-11-14 2016-05-26 シャープ株式会社 表示装置、サーバ、コミュニケーション支援システム、コミュニケーション支援方法、及び制御プログラム
USD749115S1 (en) 2015-02-20 2016-02-09 Translate Abroad, Inc. Mobile device with graphical user interface
JP6090757B2 (ja) * 2015-04-14 2017-03-08 シントレーディング株式会社 通訳配信装置、通訳配信方法、およびプログラム
US9836457B2 (en) 2015-05-25 2017-12-05 Panasonic Intellectual Property Corporation Of America Machine translation method for performing translation between languages
USD797764S1 (en) * 2015-11-05 2017-09-19 Samsung Electronics Co., Ltd. Display screen or portion thereof with animated graphical user interface
USD791823S1 (en) * 2015-11-26 2017-07-11 Guangzhou Shenma Mobile Information Technology Co., Ltd. Display screen with graphical user interface
USD791182S1 (en) * 2015-11-26 2017-07-04 Guangzhou Shenma Mobile Information Technology Co., Ltd. Display screen with graphical user interface
CN108700981A (zh) * 2016-02-08 2018-10-23 三菱电机株式会社 输入显示控制装置、输入显示控制方法和输入显示系统
CN106055544A (zh) * 2016-06-18 2016-10-26 哈尔滨理工大学 一种外语学习翻译装置
CN108270928A (zh) * 2018-04-20 2018-07-10 维沃移动通信有限公司 一种语音识别的方法及移动终端
JP6448838B2 (ja) * 2018-06-12 2019-01-09 三菱電機株式会社 表示制御装置、表示制御方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162005A (ja) * 1996-11-27 1998-06-19 Sony Corp 記憶媒体、並びに検索装置および検索方法
JP2003029776A (ja) * 2001-07-12 2003-01-31 Matsushita Electric Ind Co Ltd 音声認識装置
JP4042360B2 (ja) * 2001-07-18 2008-02-06 日本電気株式会社 自動通訳システム及びその方法並びにプログラム
US20030154080A1 (en) * 2002-02-14 2003-08-14 Godsey Sandra L. Method and apparatus for modification of audio input to a data processing system
JP4559946B2 (ja) * 2005-09-29 2010-10-13 株式会社東芝 入力装置、入力方法および入力プログラム
CN101008942A (zh) * 2006-01-25 2007-08-01 北京金远见电脑技术有限公司 机器翻译装置和机器翻译方法
JP4786384B2 (ja) * 2006-03-27 2011-10-05 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
JP4557919B2 (ja) * 2006-03-29 2010-10-06 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
CN101295296A (zh) * 2007-04-28 2008-10-29 东 舒 同声翻译器
JP5100445B2 (ja) * 2008-02-28 2012-12-19 株式会社東芝 機械翻訳する装置および方法
JP2009205579A (ja) * 2008-02-29 2009-09-10 Toshiba Corp 音声翻訳装置およびプログラム
WO2010125736A1 (ja) * 2009-04-30 2010-11-04 日本電気株式会社 言語モデル作成装置、言語モデル作成方法、およびコンピュータ読み取り可能な記録媒体
JP5403696B2 (ja) * 2010-10-12 2014-01-29 株式会社Nec情報システムズ 言語モデル生成装置、その方法及びそのプログラム
JP2013206253A (ja) * 2012-03-29 2013-10-07 Toshiba Corp 機械翻訳装置、方法、およびプログラム
JP5653392B2 (ja) * 2012-06-29 2015-01-14 株式会社東芝 音声翻訳装置、方法およびプログラム

Also Published As

Publication number Publication date
US20140006007A1 (en) 2014-01-02
CN103514153A (zh) 2014-01-15
JP2014010623A (ja) 2014-01-20
US9002698B2 (en) 2015-04-07
US20150199341A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
US9165257B2 (en) Typing assistance for editing
AU2012227212B2 (en) Consolidating speech recognition results
Schalkwyk et al. “Your word is my command”: Google search by voice: A case study
JP3822990B2 (ja) 翻訳装置、記録媒体
KR101324910B1 (ko) 텍스트 데이터와 오디오 데이터 간의 맵핑 자동 생성
JP5362095B2 (ja) インプットメソッドエディタ
JP5166255B2 (ja) データ入力システム
JP3920812B2 (ja) コミュニケーション支援装置、支援方法、及び支援プログラム
TWI293455B (en) System and method for disambiguating phonetic input
JP2007280364A (ja) 言語モデルの切替・適応方法及び言語モデル切替・適応装置
US20090249198A1 (en) Techniques for input recogniton and completion
TWI488174B (zh) 自動地建立文字資料與音訊資料間之映射
US9236045B2 (en) Methods and apparatus for proofing of a text input
KR101781557B1 (ko) 텍스트 입력을 용이하게 하기 위한 방법 및 시스템
JP2010524137A (ja) 第2言語モードを有する入力メソッドエディタ
US9378739B2 (en) Identifying corresponding positions in different representations of a textual work
US20140081619A1 (en) Photography Recognition Translation
US20120254810A1 (en) Combined Activation for Natural User Interface Systems
KR20130082339A (ko) 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
KR20100029221A (ko) 명칭 엔터티와 신규 단어를 검출하는 것
KR20180032665A (ko) 데이터 스트림들의 실시간 자연어 처리
US20160203125A1 (en) Building conversational understanding systems using a toolset
US20140379334A1 (en) Natural language understanding automatic speech recognition post processing
US20140304605A1 (en) Information processing apparatus, information processing method, and computer program
KR20160127810A (ko) 온스크린 아이템 선택 및 명확화를 위한 모델 기반 방식

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141118

R151 Written notification of patent or utility model registration

Ref document number: 5653392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151