JP4087400B2 - 音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム - Google Patents
音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム Download PDFInfo
- Publication number
- JP4087400B2 JP4087400B2 JP2005269057A JP2005269057A JP4087400B2 JP 4087400 B2 JP4087400 B2 JP 4087400B2 JP 2005269057 A JP2005269057 A JP 2005269057A JP 2005269057 A JP2005269057 A JP 2005269057A JP 4087400 B2 JP4087400 B2 JP 4087400B2
- Authority
- JP
- Japan
- Prior art keywords
- translation
- unit
- speech
- recognition
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Description
第1の実施の形態にかかる音声対話翻訳装置は、入力された音声を音声認識し、1つの文節が入力されたと判断されるごとに、認識結果を翻訳するとともに翻訳結果である対訳文を音声合成して出力するものである。
第1の実施の形態では、翻訳判断部104は、言語的知識により翻訳すべきか否かを判断している。このため、騒音などの影響で音声認識に誤りが多いと、言語的に正しい情報を受けとれず、翻訳の判断が正常に行われない可能性が高くなる。従って、言語的知識以外の情報により、翻訳すべきか否かを判断する方法が有効となる。
Nk=(i1,i2,i3,・・・,im×n)・・・(1)
第3の実施の形態にかかる音声対話翻訳装置は、自装置の動作を検出する加速度センサからの情報を参照して、自装置の動作が予め定められた動作に該当すると判断したときに、認識結果を翻訳するとともに翻訳結果である対訳文を音声合成して出力するものである。
101 操作入力受付部
102 音声入力受付部
103 音声認識部
104 翻訳判断部
105 翻訳部
106 表示制御部
107 音声合成部
108 音声出力制御部
109 記憶制御部
121 原語記憶部
122 翻訳判断規則記憶部
123 訳語記憶部
601、602、603、604 画面
611、612、613 カーソル
701、702、703、704 画面
711、712、713 カーソル
801、802、803 日本語
811、812、813、814 英語
901、902、903 日本語
913 英語
1101、1102 日本語
1304 翻訳判断部
1310 画像入力受付部
1311 画像認識部
1322 翻訳判断規則記憶部
1401 顔領域抽出部
1402 顔部品検出部
1403 特徴量抽出部
2104 翻訳判断部
2110 動作検出部
2122 翻訳判断規則記憶部
Claims (6)
- 利用者が発話した翻訳の元となる原言語による音声を認識して認識結果を出力する音声認識手段と、
前記音声認識手段が出力した前記認識結果を記憶する原語記憶手段と、
撮像手段で撮像した利用者または対話相手の顔の画像の入力を受付ける画像入力受付手段と、
前記画像入力受付手段が受付けた前記顔の画像を認識し、利用者または対話相手の顔の向きや表情を含む顔画像情報を取得する画像認識手段と、
前記画像認識手段が取得した前記顔画像情報が変化したか否かを判断し、前記顔画像情報が変化したと判断した場合に、前記顔画像情報が変化する前までに前記原語記憶手段に記憶された前記認識結果を1単位として翻訳すると判断する翻訳判断手段と、
前記翻訳判断手段が、前記認識結果を翻訳すると判断した場合に、前記認識結果を翻訳の対象言語で記述された対訳文に変換して出力する翻訳手段と、
前記翻訳手段が出力した前記対訳文を対象言語による音声に合成する音声合成手段と、
を備えたことを特徴とする音声対話翻訳装置。 - 前記音声合成手段は、前記画像認識手段が取得した前記顔画像情報が変化したか否かを判断し、前記顔画像情報が変化したと判断した場合に、前記翻訳手段が出力した前記対訳文を対象言語による音声に合成することを特徴とする請求項1に記載の音声対話翻訳装置。
- 前記翻訳判断手段は、前記画像認識手段が取得した前記顔画像情報が変化したか否かを判断し、前記顔画像情報が変化したと判断した場合に、前記認識結果を前記原語記憶手段から削除すると判断し、
前記翻訳判断手段が、前記認識結果を前記原語記憶手段から削除すると判断した場合に、前記認識結果を前記原語記憶手段から削除する記憶制御手段をさらに備えたことを特徴とする請求項1に記載の音声対話翻訳装置。 - 利用者が発話した翻訳の元となる原言語による音声を認識して認識結果を出力する音声認識手段と、
前記音声認識手段が出力した前記認識結果を記憶する原語記憶手段と、
自装置の動作を検出する動作検出手段と、
前記動作検出手段が検出した前記動作が予め定められた動作に該当するか否かを判断し、予め定められた動作に該当すると判断した場合に、予め定められた動作に該当する前までに前記原語記憶手段に記憶された前記認識結果を1単位として翻訳すると判断する翻訳判断手段と、
前記翻訳判断手段が、前記認識結果を翻訳すると判断した場合に、前記認識結果を翻訳の対象言語で記述された対訳文に変換して出力する翻訳手段と、
前記翻訳手段が出力した前記対訳文を対象言語による音声に合成する音声合成手段と、
を備えたことを特徴とする音声対話翻訳装置。 - 前記音声合成手段は、前記動作検出手段が検出した動作が予め定められた動作に該当するか否かを判断し、予め定められた動作に該当すると判断した場合に、前記翻訳手段が出力した前記対訳文を対象言語による音声に合成することを特徴とする請求項4に記載の音声対話翻訳装置。
- 前記翻訳判断手段は、前記動作検出手段が検出した前記動作が予め定められた動作に該当するか否かを判断し、予め定められた動作に該当すると判断した場合に、前記認識結果を前記原語記憶手段から削除すると判断し、
前記翻訳判断手段が、前記認識結果を前記原語記憶手段から削除すると判断した場合に、前記認識結果を前記原語記憶手段から削除する記憶制御手段をさらに備えたことを特徴とする請求項4に記載の音声対話翻訳装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005269057A JP4087400B2 (ja) | 2005-09-15 | 2005-09-15 | 音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム |
US11/384,391 US20070061152A1 (en) | 2005-09-15 | 2006-03-21 | Apparatus and method for translating speech and performing speech synthesis of translation result |
CNA2006101538750A CN1932807A (zh) | 2005-09-15 | 2006-09-14 | 用于翻译语音和进行翻译结果的语音合成的装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005269057A JP4087400B2 (ja) | 2005-09-15 | 2005-09-15 | 音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007080097A JP2007080097A (ja) | 2007-03-29 |
JP4087400B2 true JP4087400B2 (ja) | 2008-05-21 |
Family
ID=37856408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005269057A Expired - Fee Related JP4087400B2 (ja) | 2005-09-15 | 2005-09-15 | 音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20070061152A1 (ja) |
JP (1) | JP4087400B2 (ja) |
CN (1) | CN1932807A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10402500B2 (en) | 2016-04-01 | 2019-09-03 | Samsung Electronics Co., Ltd. | Device and method for voice translation |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US20080221892A1 (en) * | 2007-03-06 | 2008-09-11 | Paco Xander Nathan | Systems and methods for an autonomous avatar driver |
WO2009016631A2 (en) * | 2007-08-01 | 2009-02-05 | Ginger Software, Inc. | Automatic context sensitive language correction and enhancement using an internet corpus |
US8219407B1 (en) | 2007-12-27 | 2012-07-10 | Great Northern Research, LLC | Method for processing the output of a speech recognizer |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
JP5451982B2 (ja) * | 2008-04-23 | 2014-03-26 | ニュアンス コミュニケーションズ,インコーポレイテッド | 支援装置、プログラムおよび支援方法 |
WO2010025460A1 (en) * | 2008-08-29 | 2010-03-04 | O3 Technologies, Llc | System and method for speech-to-speech translation |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US20110238407A1 (en) * | 2009-08-31 | 2011-09-29 | O3 Technologies, Llc | Systems and methods for speech-to-speech translation |
JPWO2011033834A1 (ja) * | 2009-09-18 | 2013-02-07 | 日本電気株式会社 | 音声翻訳システム、音声翻訳方法および記録媒体 |
CN102065380B (zh) * | 2009-11-18 | 2013-07-31 | 中国联合网络通信集团有限公司 | 沉默订购关系提示方法、装置及增值业务管理系统 |
CN102388416B (zh) * | 2010-02-25 | 2014-12-10 | 松下电器产业株式会社 | 信号处理装置及信号处理方法 |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
JP5014449B2 (ja) * | 2010-02-26 | 2012-08-29 | シャープ株式会社 | 会議システム、情報処理装置、会議支援方法、情報処理方法、及びコンピュータプログラム |
GB2478314B (en) * | 2010-03-02 | 2012-09-12 | Toshiba Res Europ Ltd | A speech processor, a speech processing method and a method of training a speech processor |
JP5058280B2 (ja) * | 2010-03-12 | 2012-10-24 | シャープ株式会社 | 翻訳装置、翻訳方法及びコンピュータプログラム |
US8874429B1 (en) * | 2012-05-18 | 2014-10-28 | Amazon Technologies, Inc. | Delay in video for language translation |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
TWI490792B (zh) * | 2012-10-22 | 2015-07-01 | Pixart Imaging Inc | 使用者辨識及確認裝置、方法以及使用該裝置之車用中央控制系統 |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197336A1 (en) * | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
KR20140146965A (ko) * | 2013-06-18 | 2014-12-29 | 삼성전자주식회사 | 디스플레이 장치, 서버를 포함하는 변환 시스템 및 디스플레이 장치의 제어 방법 |
KR102127351B1 (ko) | 2013-07-23 | 2020-06-26 | 삼성전자주식회사 | 사용자 단말 장치 및 그 제어 방법 |
JP2015060423A (ja) * | 2013-09-19 | 2015-03-30 | 株式会社東芝 | 音声翻訳装置、音声翻訳方法およびプログラム |
CN103744843B (zh) | 2013-12-25 | 2017-01-04 | 北京百度网讯科技有限公司 | 一种在线语音翻译方法及装置 |
JP2015125499A (ja) * | 2013-12-25 | 2015-07-06 | 株式会社東芝 | 音声通訳装置、音声通訳方法及び音声通訳プログラム |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
CN104252861B (zh) * | 2014-09-11 | 2018-04-13 | 百度在线网络技术(北京)有限公司 | 视频语音转换方法、装置和服务器 |
US9805028B1 (en) | 2014-09-17 | 2017-10-31 | Google Inc. | Translating terms using numeric representations |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
JP2016181018A (ja) * | 2015-03-23 | 2016-10-13 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
US10192546B1 (en) * | 2015-03-30 | 2019-01-29 | Amazon Technologies, Inc. | Pre-wakeword speech processing |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10339224B2 (en) | 2016-07-13 | 2019-07-02 | Fujitsu Social Science Laboratory Limited | Speech recognition and translation terminal, method and non-transitory computer readable medium |
KR101827773B1 (ko) * | 2016-08-02 | 2018-02-09 | 주식회사 하이퍼커넥트 | 통역 장치 및 방법 |
KR101861006B1 (ko) | 2016-08-18 | 2018-05-28 | 주식회사 하이퍼커넥트 | 통역 장치 및 방법 |
WO2018055983A1 (ja) * | 2016-09-23 | 2018-03-29 | パナソニックIpマネジメント株式会社 | 翻訳装置、翻訳システム、および評価サーバ |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
WO2018087969A1 (ja) * | 2016-11-11 | 2018-05-17 | パナソニックIpマネジメント株式会社 | 翻訳装置の制御方法、翻訳装置、および、プログラム |
JP6876936B2 (ja) * | 2016-11-11 | 2021-05-26 | パナソニックIpマネジメント株式会社 | 翻訳装置の制御方法、翻訳装置、および、プログラム |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US10431216B1 (en) * | 2016-12-29 | 2019-10-01 | Amazon Technologies, Inc. | Enhanced graphical user interface for voice communications |
US11582174B1 (en) | 2017-02-24 | 2023-02-14 | Amazon Technologies, Inc. | Messaging content data storage |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
EP3567585A4 (en) * | 2017-11-15 | 2020-04-15 | Sony Corporation | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD |
CN112055876A (zh) * | 2018-04-27 | 2020-12-08 | 语享路有限责任公司 | 利用语音识别技术的多方对话记录/输出方法及用于其的装置 |
CN110914828B (zh) * | 2018-09-19 | 2023-07-04 | 深圳市合言信息科技有限公司 | 语音翻译方法及翻译装置 |
CN109344411A (zh) * | 2018-09-19 | 2019-02-15 | 深圳市合言信息科技有限公司 | 一种自动侦听式同声传译的翻译方法 |
CN109582982A (zh) * | 2018-12-17 | 2019-04-05 | 北京百度网讯科技有限公司 | 用于翻译语音的方法和装置 |
CN109977866B (zh) * | 2019-03-25 | 2021-04-13 | 联想(北京)有限公司 | 内容翻译方法及装置、计算机系统及计算机可读存储介质 |
US11222652B2 (en) * | 2019-07-19 | 2022-01-11 | Apple Inc. | Learning-based distance estimation |
CN111785258B (zh) * | 2020-07-13 | 2022-02-01 | 四川长虹电器股份有限公司 | 一种基于说话人特征的个性化语音翻译方法和装置 |
US11657803B1 (en) * | 2022-11-02 | 2023-05-23 | Actionpower Corp. | Method for speech recognition by using feedback information |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0664585B2 (ja) * | 1984-12-25 | 1994-08-22 | 株式会社東芝 | 翻訳編集装置 |
JPS61217871A (ja) * | 1985-03-25 | 1986-09-27 | Toshiba Corp | 翻訳処理装置 |
US5351189A (en) * | 1985-03-29 | 1994-09-27 | Kabushiki Kaisha Toshiba | Machine translation system including separated side-by-side display of original and corresponding translated sentences |
JPH0636158B2 (ja) * | 1986-12-04 | 1994-05-11 | 沖電気工業株式会社 | 音声分析合成方法及び装置 |
US6356865B1 (en) * | 1999-01-29 | 2002-03-12 | Sony Corporation | Method and apparatus for performing spoken language translation |
US6556972B1 (en) * | 2000-03-16 | 2003-04-29 | International Business Machines Corporation | Method and apparatus for time-synchronized translation and synthesis of natural-language speech |
US20040111272A1 (en) * | 2002-12-10 | 2004-06-10 | International Business Machines Corporation | Multimodal speech-to-speech language translation and display |
US20040210444A1 (en) * | 2003-04-17 | 2004-10-21 | International Business Machines Corporation | System and method for translating languages using portable display device |
US20070016401A1 (en) * | 2004-08-12 | 2007-01-18 | Farzad Ehsani | Speech-to-speech translation system with user-modifiable paraphrasing grammars |
US7295904B2 (en) * | 2004-08-31 | 2007-11-13 | International Business Machines Corporation | Touch gesture based interface for motor vehicle |
US20060253272A1 (en) * | 2005-05-06 | 2006-11-09 | International Business Machines Corporation | Voice prompts for use in speech-to-speech translation system |
-
2005
- 2005-09-15 JP JP2005269057A patent/JP4087400B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-21 US US11/384,391 patent/US20070061152A1/en not_active Abandoned
- 2006-09-14 CN CNA2006101538750A patent/CN1932807A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10402500B2 (en) | 2016-04-01 | 2019-09-03 | Samsung Electronics Co., Ltd. | Device and method for voice translation |
Also Published As
Publication number | Publication date |
---|---|
CN1932807A (zh) | 2007-03-21 |
US20070061152A1 (en) | 2007-03-15 |
JP2007080097A (ja) | 2007-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4087400B2 (ja) | 音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム | |
US11769483B2 (en) | Multilingual text-to-speech synthesis | |
JP6802005B2 (ja) | 音声認識装置、音声認識方法及び音声認識システム | |
US8954329B2 (en) | Methods and apparatus for acoustic disambiguation by insertion of disambiguating textual information | |
TW521262B (en) | Method for enhancing dictation and command discrimination | |
US20090138266A1 (en) | Apparatus, method, and computer program product for recognizing speech | |
JP2008032834A (ja) | 音声翻訳装置及びその方法 | |
KR101836430B1 (ko) | 음성 인식과 번역 방법 및 그를 위한 단말 장치와 서버 | |
US20190096401A1 (en) | Information processing apparatus | |
JP5040778B2 (ja) | 音声合成装置、方法及びプログラム | |
JP2008243080A (ja) | 音声を翻訳する装置、方法およびプログラム | |
US11900931B2 (en) | Information processing apparatus and information processing method | |
JP2001188779A (ja) | 情報処理装置および方法、並びに記録媒体 | |
KR20180033875A (ko) | 음성 신호를 번역하는 방법 및 그에 따른 전자 디바이스 | |
KR102557092B1 (ko) | 투명 디스플레이를 이용한 자동 통번역 및 대화 보조 시스템 | |
JP4296290B2 (ja) | 音声認識装置、音声認識方法及びプログラム | |
JP7347511B2 (ja) | 音声処理装置、音声処理方法、およびプログラム | |
JP5476760B2 (ja) | コマンド認識装置 | |
JP2006172110A (ja) | 応答データ出力装置、応答データ出力方法およびプログラム | |
JP2011039468A (ja) | 電子辞書で音声認識を用いた単語探索装置及びその方法 | |
US20210064640A1 (en) | Information processing apparatus and information processing method | |
JP4951422B2 (ja) | 音声認識装置、および音声認識方法 | |
CN112017633B (zh) | 语音识别方法、装置、存储介质及电子设备 | |
WO2005057424A2 (en) | Methods and arrangements for enhancing machine processable text information | |
KR20230013826A (ko) | 인공 지능 모델을 이용하여 음성 인식 서비스를 제공하는 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080220 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |