JP6462651B2 - 音声翻訳装置、音声翻訳方法及びプログラム - Google Patents
音声翻訳装置、音声翻訳方法及びプログラム Download PDFInfo
- Publication number
- JP6462651B2 JP6462651B2 JP2016241190A JP2016241190A JP6462651B2 JP 6462651 B2 JP6462651 B2 JP 6462651B2 JP 2016241190 A JP2016241190 A JP 2016241190A JP 2016241190 A JP2016241190 A JP 2016241190A JP 6462651 B2 JP6462651 B2 JP 6462651B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- word
- words
- conference
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013519 translation Methods 0.000 title claims description 163
- 238000000034 method Methods 0.000 title claims description 69
- 238000001914 filtration Methods 0.000 claims description 40
- 239000000284 extract Substances 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 229920001917 Ficoll Polymers 0.000 claims 1
- 230000014616 translation Effects 0.000 description 128
- 238000009825 accumulation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/47—Machine-assisted translation, e.g. using translation memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/51—Translation evaluation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Machine Translation (AREA)
Description
図1は本発明の1実施形態に係る、会議音声翻訳方法のフローチャートである。
上記実施形態と同様の発明概念に基づいて、図7は他の実施形態に係る、会議音声翻訳装置のブロック図である。次に、本実施形態について、図面を参照して説明する。上記実施形態と同一部分については、その説明を省略する。
20・・・単語セット
30・・・音声翻訳エンジン
40・・・会議中の音声
50・・・翻訳結果
60・・・抽出単語
70・・・フィルタ処理された単語
301・・・音声認識エンジン
305・・・機械翻訳エンジン
700・・・会議音声翻訳装置
701・・・抽出部
710・・・受信部
720・・・蓄積部
Claims (11)
- 音声認識部と、
機械翻訳部と、
会議の関連情報に基づいて、単語セットから前記会議に用いられる単語を抽出し、この抽出した単語を前記音声認識部及び前記機械翻訳部へ送る抽出部と、
前記会議における第1言語音声を受信する受信部とを備え、
前記音声認識部は、前記抽出した単語に基づいて、前記第1言語音声を第1言語テキストとして認識し、
前記機械翻訳部は、前記抽出した単語に基づいて、前記第1言語テキストを第2言語テキストへ翻訳し、
前記会議の関連情報は、前記会議の議題及びユーザ情報を含んでおり、
前記単語セットは、ユーザ語彙、グループ語彙、及びユーザとグループ間の関係情報を含んでおり、
前記抽出部は、
前記ユーザ情報に基づいて、前記ユーザ語彙から前記ユーザに関連するユーザ単語を抽出し、
前記関係情報に基づいて、前記グループ語彙から前記ユーザが属するグループのグループ語を抽出し、
前記議題に基づいて、抽出されたユーザ単語及びグループ語から前記会議に関連する単語を抽出する
ことを特徴とする音声翻訳装置。 - 前記抽出部は、前記抽出した単語の原テキスト、前記原テキストの発音及び翻訳結果に基づいて、前記抽出した単語をフィルタ処理するフィルタリング部を更に備えた、
請求項1に記載の音声翻訳装置。 - 前記フィルタリング部は、
抽出した各単語の前記原テキストの発音が一致しているか否か比較し、
前記原テキストの発音が一致している場合、一致した各単語について、前記原テキストと前記翻訳結果が一致しているか否か比較し、
前記原テキストと前記翻訳結果が一致している場合、前記原テキストの発音、前記原テキスト及び前記翻訳結果が全て一致している単語をフィルタ処理し、
前記原テキストと前記翻訳結果の少なくとも1つが一致しない場合、該単語の使用頻度に基づいて、原テキストの発音が一致している単語をフィルタ処理する、
請求項2に記載の音声翻訳装置。 - 前記フィルタリング部は、
前記使用頻度に基づいて、前記抽出した単語をソートし、
第1閾値より低い使用頻度の単語をフィルタ除去するか、又は、低使用頻度の単語群の内、所定個数又は所定割合の単語をフィルタ除去する、
請求項3に記載の音声翻訳装置。 - 前記会議における前記ユーザの音声に基づいて、新ユーザ単語を蓄積し、前記新ユーザ単語を前記音声認識部及び前記機械翻訳部へ送る蓄積部を更に備えた、
請求項1に記載の音声翻訳装置。 - 前記会議における前記ユーザの音声に基づいて、新ユーザ単語を蓄積し、前記新ユーザ単語を前記単語セットの前記ユーザ語彙へ追加する蓄積部を更に備え、
前記新ユーザ単語は、前記会議の議題及びユーザ情報を含む、
請求項1に記載の音声翻訳装置。 - 前記蓄積部は以下の機能の少なくとも1つを有する、
前記新ユーザ単語の原テキスト、前記原テキストの発音及び翻訳結果をマニュアル入力する;
前記新ユーザ単語の原テキストをマニュアル入力し、テキスト-音素変換モジュールを用いて前記原テキストの発音を生成し、前記機械翻訳部を用いて前記原テキストの翻訳結果を生成する;
前記会議における前記ユーザの音声から声データを収集し、前記音声認識部を用いて原テキスト及びこの発音を生成し、前記機械翻訳部を用いて前記原テキストの翻訳結果を生成する;
前記会議の音声認識結果及び機械翻訳結果から前記新ユーザ単語を選択する;
前記音声認識結果及び前記機械翻訳結果において、未知語を前記新ユーザ単語として検出する;
請求項5に記載の音声翻訳装置。 - 前記ユーザ語彙のユーザ単語の使用頻度を更新する更新部を更に備えた、
請求項6に記載の音声翻訳装置。 - 新グループ語を、ユーザ単語に基づいた前記単語セットの前記グループ語彙に追加するグループ語追加部を更に備え、
前記グループ語追加部は、
前記グループに属するユーザのユーザ単語を獲得し、
前記ユーザの数及び同一ユーザ単語の使用頻度を計算し、
前記ユーザの数が第2閾値より大きいユーザ単語、及び、前記使用頻度が第3閾値より大きいユーザ単語を、グループ語として前記グループ語彙に追加する、
請求項6に記載の音声翻訳装置。 - 音声翻訳装置の抽出部により、会議の関連情報に基づいて、単語セットから前記会議に用いられる単語を抽出するステップと、
前記抽出部により、前記ステップで抽出した単語を、音声認識部及び機械翻訳部へ送るステップと、
前記音声翻訳装置の受信部により、前記会議における第1言語音声を受信するステップと、
前記音声認識部により、前記抽出した単語に基づいて、前記第1言語音声を第1言語テキストとして認識するステップと、
前記機械翻訳部により、前記抽出した単語に基づいて、前記第1言語テキストを第2言語テキストへ翻訳するステップと、
を備え、
前記会議の関連情報は、前記会議の議題及びユーザ情報を含んでおり、
前記単語セットは、ユーザ語彙、グループ語彙、及びユーザとグループ間の関係情報を含んでおり、
前記抽出するステップは、
前記ユーザ情報に基づいて、前記ユーザ語彙から前記ユーザに関連するユーザ単語を抽出し、
前記関係情報に基づいて、前記グループ語彙から前記ユーザが属するグループのグループ語を抽出し、
前記議題に基づいて、抽出されたユーザ単語及びグループ語から前記会議に関連する単語を抽出する
ことを特徴とする音声翻訳方法。 - 音声認識及び機械翻訳を行うためのコンピュータに用いられるプログラムであって、
前記コンピュータに、
会議の関連情報に基づいて、単語セットから前記会議に用いられる単語を抽出する機能と、
この機能により抽出した単語を、音声認識部及び機械翻訳部へ送る機能と、
前記会議における第1言語音声を受信する機能と、
前記音声認識部により、前記抽出した単語に基づいて、前記第1言語音声を第1言語テキストとして認識する機能と、
前記機械翻訳部により、前記抽出した単語に基づいて、前記第1言語テキストを第2言語テキストへ翻訳する機能と、
を実現させ、
前記会議の関連情報は、前記会議の議題及びユーザ情報を含んでおり、
前記単語セットは、ユーザ語彙、グループ語彙、及びユーザとグループ間の関係情報を含んでおり、
前記抽出する機能は、
前記ユーザ情報に基づいて、前記ユーザ語彙から前記ユーザに関連するユーザ単語を抽出し、
前記関係情報に基づいて、前記グループ語彙から前記ユーザが属するグループのグループ語を抽出し、
前記議題に基づいて、抽出されたユーザ単語及びグループ語から前記会議に関連する単語を抽出する
ことを特徴とするプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610094537.8 | 2016-02-19 | ||
CN201610094537.8A CN107102990A (zh) | 2016-02-19 | 2016-02-19 | 对语音进行翻译的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017146587A JP2017146587A (ja) | 2017-08-24 |
JP6462651B2 true JP6462651B2 (ja) | 2019-01-30 |
Family
ID=59629975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016241190A Expired - Fee Related JP6462651B2 (ja) | 2016-02-19 | 2016-12-13 | 音声翻訳装置、音声翻訳方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20170242847A1 (ja) |
JP (1) | JP6462651B2 (ja) |
CN (1) | CN107102990A (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156012A (zh) * | 2016-06-28 | 2016-11-23 | 乐视控股(北京)有限公司 | 一种字幕生成方法及装置 |
KR102449875B1 (ko) | 2017-10-18 | 2022-09-30 | 삼성전자주식회사 | 음성 신호 번역 방법 및 그에 따른 전자 장치 |
CN108712271A (zh) * | 2018-04-02 | 2018-10-26 | 深圳市沃特沃德股份有限公司 | 翻译方法和翻译装置 |
US11886473B2 (en) | 2018-04-20 | 2024-01-30 | Meta Platforms, Inc. | Intent identification for agent matching by assistant systems |
US11010436B1 (en) | 2018-04-20 | 2021-05-18 | Facebook, Inc. | Engaging users by personalized composing-content recommendation |
CN112055876A (zh) * | 2018-04-27 | 2020-12-08 | 语享路有限责任公司 | 利用语音识别技术的多方对话记录/输出方法及用于其的装置 |
JP7124442B2 (ja) * | 2018-05-23 | 2022-08-24 | 富士電機株式会社 | システム、方法、及びプログラム |
CN109101499B (zh) * | 2018-08-02 | 2022-12-16 | 北京中科汇联科技股份有限公司 | 基于神经网络的人工智能语音学习方法 |
CN109033423A (zh) * | 2018-08-10 | 2018-12-18 | 北京搜狗科技发展有限公司 | 同传字幕显示方法及装置、智能会议方法、装置及系统 |
KR20210052958A (ko) * | 2019-11-01 | 2021-05-11 | 엘지전자 주식회사 | 인공 지능 서버 |
US11437026B1 (en) * | 2019-11-04 | 2022-09-06 | Amazon Technologies, Inc. | Personalized alternate utterance generation |
CN110728156B (zh) | 2019-12-19 | 2020-07-10 | 北京百度网讯科技有限公司 | 翻译方法、装置、电子设备及可读存储介质 |
CN111447397B (zh) * | 2020-03-27 | 2021-11-23 | 深圳市贸人科技有限公司 | 一种基于视频会议的翻译方法、视频会议系统及翻译装置 |
CN112511847A (zh) * | 2020-11-06 | 2021-03-16 | 广东公信智能会议股份有限公司 | 视频图像叠加实时语音字幕的方法及装置 |
US12056457B2 (en) * | 2022-03-22 | 2024-08-06 | Charles University, Faculty Of Mathematics And Physics | Computer-implemented method of real time speech translation and a computer system for carrying out the method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5175684A (en) * | 1990-12-31 | 1992-12-29 | Trans-Link International Corp. | Automatic text translation and routing system |
JPH07271784A (ja) * | 1994-03-31 | 1995-10-20 | Sharp Corp | 文書処理装置 |
JP3624698B2 (ja) * | 1998-07-01 | 2005-03-02 | 株式会社デンソー | 音声認識装置、その装置を用いたナビゲーションシステム及び自動販売システム |
JP4816409B2 (ja) * | 2006-01-10 | 2011-11-16 | 日産自動車株式会社 | 認識辞書システムおよびその更新方法 |
JP4715704B2 (ja) * | 2006-09-29 | 2011-07-06 | 富士通株式会社 | 音声認識装置、および音声認識プログラム |
JP4466665B2 (ja) * | 2007-03-13 | 2010-05-26 | 日本電気株式会社 | 議事録作成方法、その装置及びそのプログラム |
JP4466666B2 (ja) * | 2007-03-14 | 2010-05-26 | 日本電気株式会社 | 議事録作成方法、その装置及びそのプログラム |
EP2274742A1 (en) * | 2008-04-15 | 2011-01-19 | Mobile Technologies, Llc | System and methods for maintaining speech-to-speech translation in the field |
JP2015060095A (ja) * | 2013-09-19 | 2015-03-30 | 株式会社東芝 | 音声翻訳装置、音声翻訳方法およびプログラム |
-
2016
- 2016-02-19 CN CN201610094537.8A patent/CN107102990A/zh active Pending
- 2016-09-12 US US15/262,493 patent/US20170242847A1/en not_active Abandoned
- 2016-12-13 JP JP2016241190A patent/JP6462651B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017146587A (ja) | 2017-08-24 |
CN107102990A (zh) | 2017-08-29 |
US20170242847A1 (en) | 2017-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6462651B2 (ja) | 音声翻訳装置、音声翻訳方法及びプログラム | |
US8532994B2 (en) | Speech recognition using a personal vocabulary and language model | |
CN107945805B (zh) | 一种智能化跨语言语音识别转化方法 | |
US20100070276A1 (en) | Method and apparatus for interaction or discourse analytics | |
CN107886951B (zh) | 一种语音检测方法、装置及设备 | |
CN107943786B (zh) | 一种中文命名实体识别方法及系统 | |
JP2008225068A (ja) | 議事録作成方法、その装置及びそのプログラム | |
CN1870728A (zh) | 自动加配字幕的方法和系统 | |
CN101923854A (zh) | 一种交互式语音识别系统和方法 | |
CN111489765A (zh) | 一种基于智能语音技术的话务服务质检方法 | |
Bougrine et al. | Toward a Web-based speech corpus for Algerian dialectal Arabic varieties | |
CN111415128B (zh) | 控制会议的方法、系统、装置、设备和介质 | |
CN109710949A (zh) | 一种翻译方法及翻译机 | |
CN111797599A (zh) | 一种会议记录抽取与ppt插入方法与系统 | |
JP6242963B2 (ja) | 言語モデル改良装置及び方法、音声認識装置及び方法 | |
Lebourdais et al. | Overlaps and gender analysis in the context of broadcast media | |
CN113409774A (zh) | 语音识别方法、装置及电子设备 | |
CN115831125A (zh) | 语音识别方法、装置、设备、存储介质及产品 | |
Salimbajevs et al. | Latvian speech-to-text transcription service | |
JP5713782B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN111768773A (zh) | 一种智能决策会议机器人 | |
CN117411970B (zh) | 一种基于声音处理的人机耦合客服控制方法及系统 | |
CN112992150B (zh) | 话术模板使用效果评价方法及装置 | |
JP6830148B1 (ja) | 修正候補特定装置、修正候補特定方法及び修正候補特定プログラム | |
CN112562856B (zh) | 一种通过语音搜索健康知识的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180806 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6462651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |