JP6987124B2 - 通訳装置及び方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｔｒａｎｓｌａｔｉｎｇ ａ ｌａｎｇｕａｇｅ） - Google Patents

通訳装置及び方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｔｒａｎｓｌａｔｉｎｇ ａ ｌａｎｇｕａｇｅ） Download PDF

Info

Publication number
JP6987124B2
JP6987124B2 JP2019506184A JP2019506184A JP6987124B2 JP 6987124 B2 JP6987124 B2 JP 6987124B2 JP 2019506184 A JP2019506184 A JP 2019506184A JP 2019506184 A JP2019506184 A JP 2019506184A JP 6987124 B2 JP6987124 B2 JP 6987124B2
Authority
JP
Japan
Prior art keywords
language
sentence
terminal
word
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506184A
Other languages
English (en)
Other versions
JP2019533181A (ja
Inventor
サンギル アン
カンシク ジュン
ヒョンテク ヨン
ヒョク チョイ
Original Assignee
ハイパーコネクト インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハイパーコネクト インコーポレイテッド filed Critical ハイパーコネクト インコーポレイテッド
Publication of JP2019533181A publication Critical patent/JP2019533181A/ja
Application granted granted Critical
Publication of JP6987124B2 publication Critical patent/JP6987124B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

記載された実施例は、よりスムーズで、反応性が向上した使用者経験を提供することができる通訳装置及び方法に関する。
通信技術が発展し、電子装置が小型化するに伴って個人用端末が一般消費者に広く普及している。特に最近では、スマートフォンやスマートタブレットのような携帯用個人端末が広く普及している。前記端末の大部分は、通信機能を含んでいる。使用者は、端末を用いてインターネットで検索を行ったり、他の使用者とメッセージを送受信することができる。
また、小型カメラ技術、小型マイク技術、小型ディスプレイ技術及び小型スピーカー技術の発展に伴い、スマートフォンのようなほとんどの端末には、カメラ、マイク、ディスプレイ及びスピーカーが含まれている。使用者は、端末を用いて音声を録音したり、音声が含まれている動画を撮影することができる。使用者は、端末に含まれたスピーカーを介して前記録音された音声を確認するか、ディスプレイを介して前記撮影された動画を確認することができる。
また、使用者は、端末の通信機能を用いて、前記録音された音声または前記撮影された動画を他の使用者と共有することができる。使用者は、以前に録音された音声または以前に撮影された動画を他の使用者に伝送することができる。また、使用者は、端末によって現在録音されている音声または現在撮影されている動画をリアルタイムで他の使用者に伝送することができる。
また、同時に、前記他の使用者は、自分の端末によって現在録音されている音声または現在撮影されている動画をリアルタイムで前記使用者に伝送することができる。使用者の端末に含まれたディスプレイは、使用者の端末によって現在撮影されている動画及び他の使用者の端末によって現在撮影されている動画を同時に表示することができる。また、使用者の端末に含まれたスピーカーは、他の使用者の端末によって現在録音されている音声を同時に再生することができる。すなわち、使用者及び他の使用者は、各自の端末を用いて、互いに映像通話（ｖｉｄｅｏ ｃａｌｌ）を行うことができる。
前記使用者及び他の使用者は、互いにすでに知っている関係であることもあり、互いに知らない関係であることもある。前記使用者の端末及び前記他の使用者の端末を含む複数の端末は、サーバーに連結されることができる。サーバーは、前記使用者の端末及び前記他の使用者の端末の間を仲介することができる。したがって、前記使用者及び他の使用者は、互いに知らない関係であったとしても、サーバーの仲介を介して互いに映像通話をすることができる。
前記使用者が使用する言語は、前記他の使用者が使用する言語と互いに異なることができる。映像通話をする使用者が使用する言語が互いに異なる場合には、相手の音声が使用者の端末のスピーカーを介して再生されても、使用者は相手の話を聞き取れないことがある。
記載された実施例によれば、映像通話をする使用者が使用する言語が互いに異なっても各自が相手の話を聞き取るようにすることができる通訳装置及び方法が提供されることができる。
また、実施例によれば、よりスムーズな使用者経験を提供することができる通訳装置及び方法が提供されることができる。
また、実施例によれば、反応性が向上した使用者経験を提供することができる通訳装置及び方法が提供されることができる。
また、実施例によれば、改善された使用者経験を提供することができる通訳装置及び方法が提供されることができる。
実施例に係る通訳方法は、第１端末から第１言語の音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階、前記受信された音声認識結果を連続的に表示する段階、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階、及び表示された前記終結した文章を前記取得された翻訳文に置換する段階を含むことができる。
また、前記受信された音声認識結果を連続的に表示する段階は、前記音声認識結果を受信する途中に、現在までに受信された前記音声認識結果中から少なくとも一部を連続的に表示する段階を含み、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、前記音声認識結果を表示する途中に、現在までに表示された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章の前記第２言語への翻訳文を取得する段階を含み、前記表示された前記終結した文章を前記取得された翻訳文に置換する段階は、前記音声認識結果を表示する途中に、前記少なくとも一つ以上の終結した文章を前記取得された翻訳文に置換する段階を含むことができる。
また、前記通訳方法は、前記第１端末から前記音声がエンコードされることによって生成された音声データを連続的に受信する段階、及び前記受信された音声データを用いて前記音声を連続的に再生する段階をさらに含み、前記受信された音声認識結果を連続的に表示する段階は、前記音声を再生する途中に、現在までに受信された前記音声認識結果中から少なくとも一部を連続的に表示する段階を含むことができる。
また、前記通訳方法は、前記表示された前記終結した文章を前記取得された翻訳文に置換する段階以前に、前記第１言語で表示された前記音声認識結果に含まれたそれぞれの単語を同一または類似の意味を有する前記第２言語の単語に連続的に置換する段階をさらに含むことができる。
また、前記表示された前記終結した文章を前記取得された翻訳文に置換する段階は、少なくとも一部が前記第２言語の単語に置換された前記終結した文章を前記取得された翻訳文に置換する段階を含むことができる。
また、前記第２言語の単語に連続的に置換する段階は、前記第１言語で表示された前記それぞれの単語と同一または類似の意味を有する前記第２言語の単語を前記第１端末または第１サーバーから受信する段階、及び前記第１言語で表示された前記それぞれの単語を前記受信された第２言語の単語に連続的に置換する段階を含むことができる。
また、前記第２言語の単語に連続的に置換する段階は、前記第１言語で表示された前記それぞれの単語を第１サーバーに伝送する段階、前記伝送されたそれぞれの単語と同一または類似の意味を有する前記第２言語の単語を前記第１サーバーから受信する段階、及び前記第１言語で表示された前記それぞれの単語を前記受信された第２言語の単語に連続的に置換する段階を含むことができる。
また、前記第２言語の単語に連続的に置換する段階は、第１データベースにおいて、前記音声認識結果に含まれたそれぞれの単語を照会する段階、もし前記照会された単語に対応する前記第２言語の単語が前記第１データベース内に存在する場合、前記照会の結果として、前記照会された単語に対応する前記第２言語の単語を前記第１データベースから取得する段階、及び前記第１言語で表示された前記照会された単語を前記取得された第２言語の単語に置換する段階を含むことができる。
また、前記第２言語の単語に連続的に置換する段階は、第１データベースにおいて、前記音声認識結果に含まれたそれぞれの単語を照会する段階、もし前記照会された単語に対応する前記第２言語の単語が前記第１データベース内に存在しない場合、前記照会された単語を第１サーバーに伝送する段階、前記伝送された単語と同一または類似の意味を有する前記第２言語の単語を前記第１サーバーから受信する段階、前記伝送された単語及び前記受信された第２言語の単語を前記第１データベース内にキャッシュ（ｃａｃｈｅ）する段階、及び前記第１言語で表示された前記伝送された単語を前記受信された第２言語の単語に置換する段階をさらに含むことができる。
また、前記通訳方法は、前記第１言語の語順及び前記第２言語の語順の間の類似度を算出する段階をさらに含み、前記表示された前記終結した文章を前記取得された翻訳文に置換する段階以前に、前記算出された類似度が基準値よりも大きければ、前記第１言語で表示された前記音声認識結果に含まれたそれぞれの単語を同一または類似の意味を有する前記第２言語の単語に連続的に置換する段階をさらに含み、前記表示された前記終結した文章を前記取得された翻訳文に置換する段階は、少なくとも一部が前記第２言語の単語に置換された前記終結した文章を前記取得された翻訳文に置換する段階を含むことができる。
また、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、前記翻訳文を前記第１端末または第２サーバーから受信する段階を含むことができる。
また、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、前記表示された音声認識結果内から前記終結した文章を検出する段階、前記終結した文章を第２サーバーに伝送する段階、及び前記終結した文章の前記第２言語への翻訳文を前記第２サーバーから受信する段階を含むことができる。
また、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、前記表示された音声認識結果内から前記終結した文章を検出する段階、第２データベースにおいて、前記終結した文章を照会する段階、及びもし前記終結した文章に対応する前記第２言語への翻訳文が前記第２データベース内に存在する場合、前記照会の結果として、前記終結した文章に対応する前記第２言語への翻訳文を前記第２データベースから取得する段階を含むことができる。
また、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、前記表示された音声認識結果内から前記終結した文章を検出する段階、第２データベースにおいて、前記終結した文章を照会する段階、もし前記終結した文章に対応する前記第２言語への翻訳文が前記第２データベース内に存在しない場合、前記終結した文章を第２サーバーに伝送する段階、前記終結した文章の前記第２言語への翻訳文を前記第２サーバーから受信する段階、及び前記終結した文章及び前記受信された第２言語への翻訳文を前記第２データベース内にキャッシュ（ｃａｃｈｅ）する段階をさらに含むことができる。
他の実施例に係る通訳方法は、第１端末が第１言語の音声を連続的に受信する段階、前記受信されている音声を連続的にエンコードする段階、前記エンコードされた音声を第１サーバーに連続的に伝送する段階、前記第１サーバーから前記エンコードされた音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階、前記受信された音声認識結果を第２端末に連続的に伝送する段階、前記受信されている音声内から終結した文章を検出する段階、前記検出された文章に対応する前記第１言語のテキストを第２サーバーに伝送する段階、前記第２サーバーから前記検出された文章の第２言語への翻訳文を前記第２言語のテキストとして受信する段階、及び前記受信された翻訳文を前記第２端末に伝送する段階を含むことができる。
また、前記受信されている音声を連続的にエンコードする段階は、前記音声を受信している途中に、現在までに受信された前記音声のうちの少なくとも一部を連続的にエンコードする段階を含み、前記エンコードされた音声を第１サーバーに連続的に伝送する段階は、前記音声を受信している途中に、現在までエンコードされた前記音声のうちの少なくとも一部を前記第１サーバーに連続的に伝送する段階を含み、前記第１サーバーから前記エンコードされた音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階は、前記音声を受信している途中に、前記第１サーバーから前記伝送されたエンコードされた音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階を含むことができる。
また、前記受信された音声認識結果を第２端末に連続的に伝送する段階は、前記音声を受信している途中に、前記受信された音声認識結果を前記第２端末に連続的に伝送する段階を含み、前記受信されている音声内から終結した文章を検出する段階は、前記音声を受信している途中に、現在まで伝送された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章を検出する段階を含み、前記検出された文章に対応する前記第１言語のテキストを第２サーバーに伝送する段階は、前記音声を受信している途中に、前記検出された少なくとも一つ以上の終結した文章に対応する前記第１言語のテキストを前記第２サーバーに伝送する段階を含むことができる。
また、前記第２サーバーから前記検出された文章の第２言語への翻訳文を前記第２言語のテキストとして受信する段階は、前記音声を受信している途中に、前記第２サーバーから前記伝送されたテキストの前記第２言語への翻訳文を前記第２言語のテキストとして受信する段階を含み、前記受信された翻訳文を前記第２端末に伝送する段階は、前記音声を受信している途中に、前記受信された翻訳文を前記第２端末に伝送する段階を含むことができる。
また、前記通訳方法は、前記エンコードされた音声を前記第２端末に連続的に伝送する段階をさらに含み、前記受信された音声認識結果を第２端末に連続的に伝送する段階は、前記エンコードされた音声を伝送している途中に、前記受信された音声認識結果を前記第２端末に連続的に伝送する段階を含むことができる。
また他の実施例に係る通訳方法は、第１端末から第１言語の音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階、前記受信された音声認識結果を第２端末に連続的に伝送する段階、前記受信された音声認識結果内から終結した文章を検出する段階、前記検出された文章の第２言語への翻訳文を取得する段階、及び前記取得された翻訳文を前記第２端末に伝送する段階を含むことができる。
また、前記受信された音声認識結果を第２端末に連続的に伝送する段階は、前記音声認識結果を受信する途中に、現在までに受信された前記音声認識結果中から少なくとも一部を前記第２端末に連続的に伝送する段階を含み、前記受信された音声認識結果内から終結した文章を検出する段階は、現在までに伝送された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章を検出する段階を含み、前記検出された文章の第２言語への翻訳文を取得する段階は、前記検出された少なくとも一つ以上の終結した文章の前記第２言語への翻訳文を取得する段階を含み、前記取得された翻訳文を前記第２端末に伝送する段階は、前記音声認識結果を受信する途中に、前記取得された翻訳文を前記第２端末に伝送する段階を含むことができる。
実施例に係る通訳装置は、第１端末から第１言語の音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する通信部、及び前記受信された音声認識結果を連続的に表示する表示部を含み、前記通信部は、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得し、前記表示部は、表示された前記終結した文章を前記取得された翻訳文に置換することができる。
他の実施例に係る通訳装置は、第１言語の音声を連続的に受信する入力部、前記受信されている音声を連続的にエンコードする制御部、及び前記エンコードされた音声を第１サーバーに連続的に伝送する通信部を含み、前記通信部は、前記第１サーバーから前記エンコードされた音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信し、前記通信部は、前記受信された音声認識結果を第２端末に連続的に伝送し、前記制御部は、前記受信されている音声内から終結した文章を検出し、前記通信部は、前記検出された文章に対応する前記第１言語のテキストを第２サーバーに伝送し、前記通信部は、前記第２サーバーから前記検出された文章の第２言語への翻訳文を前記第２言語のテキストとして受信し、前記通信部は、前記受信された翻訳文を前記第２端末に伝送することができる。
記載された実施例によれば、映像通話をする使用者が使用する言語が互いに異なっても、各自が相手の話を聞き取ることができる。
また、実施例によれば、よりスムーズな使用者経験が提供されることができる。
また、実施例によれば、反応性が向上した使用者経験が提供されることができる。
また、実施例によれば、改善された使用者経験が提供されることができる。
実施例に係る通訳装置が動作する環境を示すネットワーク構成図である。 実施例に係る通訳装置の構成を示すブロック図である。 実施例に係る第１端末によって通訳方法が行われる過程を示すフローチャートである。 実施例に係る第１端末が第１言語の音声を連続的に受信する段階を説明するための参考図である。 実施例に係る第２端末によって通訳方法が行われる過程を示すフローチャートである。 実施例に係る受信された音声認識結果を連続的に表示する段階を説明するための参考図である。 実施例に係る受信された音声認識結果を連続的に表示する段階を説明するための他の参考図である。 実施例に係る受信された音声認識結果を連続的に表示する段階を説明するためのまた他の参考図である。 実施例に係る表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階が行われる過程を示すフローチャートである。 他の実施例に係る表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階が行われる過程を示すフローチャートである。 また他の実施例に係る表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階が行われる過程を示すフローチャートである。 実施例に係る表示された終結した文章を取得された翻訳文に置換する段階を説明するための参考図である。 実施例に係る受信された音声認識結果を連続的に表示する段階を説明するためのまた他の参考図である。 実施例に係る表示された終結した文章を取得された翻訳文に置換する段階を説明するための他の参考図である。 他の実施例に係る第２端末によって通訳方法が行われる過程を示すフローチャートである。 実施例により音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階が行われる過程を示すフローチャートである。 実施例に係る音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階を説明するための参考図である。 実施例に係る音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階を説明するための他の参考図である。 実施例に係る音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階を説明するためのまた他の参考図である。 他の実施例により音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階が行われる過程を示すフローチャートである。 また他の実施例により音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階が行われる過程を示すフローチャートである。 また他の実施例により音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階が行われる過程を示すフローチャートである。 実施例に係る第２言語の単語に置換された終結した文章を取得された翻訳文に置換する段階を説明するための参考図である。 また他の実施例に係る第２端末によって通訳方法が行われる過程を示すフローチャートである。 実施例に係るサーバーによって通訳方法が行われる過程を示すフローチャートである。
本発明の利点及び特徴、そしてそれらを達成する方法は、添付した図面と共に詳細に後述されている実施例を参照すると明確になる。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる様々な形態で具現されるものであり、単に本実施例は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一の参照符号は、同一の構成要素を指す。
「第１」または「第２」などが様々な構成要素を記述するために使用されるが、このような構成要素は、前記のような用語によって制限されるものではない。前記のような用語は、単に１つの構成要素を他の構成要素と区別するために使用することができる。したがって、以下に言及される第１構成要素は、本発明の技術的思想内で第２構成要素であることもできる。
本明細書で使用される用語は、実施例を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」または「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素または段階が１つ以上の他の構成要素または段階の存在または追加を排除しないという意味を内包する。
他の定義がなければ、本明細書で使用されるすべての用語は、本発明が属する技術分野における通常の知識を有する者に共通的に理解され得る意味として解釈されることができる。また、一般的に使用される辞書に定義されている用語は、明白に定義されていない限り理想的にまたは過度に解釈されない。
以下では、図１〜図２５を参照して、実施例に係る通訳装置１００、１５０及び方法について詳細に説明することにする。
図１は、実施例に係る通訳装置１００、１５０が動作する環境を示すネットワーク構成図である。図１を参照すると、通訳装置１００、１５０が動作する環境は、第１通訳装置１００、及び前記第１通訳装置１００と互いに連結された第２通訳装置１５０を含むことができる。
他の実施例によれば、前記通訳装置１００、１５０が動作する環境は、前記第１通訳装置１００または前記第２通訳装置１５０と互いに連結された第１サーバー２００をさらに含むことができる。また他の実施例によれば、前記通訳装置１００、１５０が動作する環境は、前記第１通訳装置１００または前記第２通訳装置１５０と互いに連結された第２サーバー３００をさらに含むことができる。また他の実施例によれば、前記通訳装置１００、１５０が動作する環境は、前記第１通訳装置１００または前記第２通訳装置１５０と互いに連結された第３サーバー４００をさらに含むことができる。
前記通訳装置１００、１５０が動作する環境は、前記第１サーバー２００〜第３サーバー４００のうちのいずれか一つも含まないことができる。他の実施例によれば、前記通訳装置１００、１５０が動作する環境は、前記第１サーバー２００〜第３サーバー４００のうちの少なくとも一部を含むことができる。
第１通訳装置１００は、端末であることができる。以下では、説明の便宜のために、第１通訳装置１００を指す用語として、第１通訳装置１００及び第１端末１００を混用することにする。第１端末１００は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、または携帯用電子機器などであることができる。第１端末１００は、プログラムまたはアプリケーションを実行することができる。
第１端末１００は、通信網に連結されることができる。第１端末１００は、前記通信網を介して、外部の他の装置と互いに連結されることができる。第１端末１００は、互いに連結された他の装置にデータを伝送したり、前記他の装置からデータを受信することができる。
第１端末１００と連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は、３Ｇ、ＬＴＥ、またはＬＴＥ−Ａなどのような移動通信網を含むことができる。通信網は、ワイファイ（Ｗｉ−Ｆｉ）、ＵＭＴＳ／ＧＰＲＳ、またはイーサネット（Ｅｔｈｅｒｎｅｔ）（登録商標）などのような有線または無線通信網を含むことができる。通信網は、マグネチック保安送信（ＭＳＴ，Ｍａｇｎｅｔｉｃ Ｓｅｃｕｒｅ Ｔｒａｎｓｍｉｓｓｉｏｎ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ジグビー（ＺｉｇＢｅｅ）、Ｚ−Ｗａｖｅ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、低電力ブルートゥース（ＢＬＥ，Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、または赤外線通信（ＩＲ，ＩｎｆｒａＲｅｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）などのような近距離通信網を含むことができる。通信網は、近距離ネットワーク（ＬＡＮ，Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ，Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、またはワイド・エリア・ネットワーク（ＷＡＮ，Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含むことができる。
図２は、実施例に係る通訳装置１００、１５０の構成を示すブロック図である。図２を参照すると、実施例に係る通訳装置１００、１５０は、入力部１０１、制御部１０２、保存部１０３、通信部１０４、及び表示部１０５を含むことができる。
入力部１０１は、外部から信号を受信することができる。入力部１０１は、通訳装置１００、１５０の使用者から信号を受信することができる。また、入力部１０１は、外部装置から信号を受信することができる。
入力部１０１は、例えば、マイク、カメラ、キーボード、マウス、トラックボール、タッチスクリーン、ボタン、スイッチ、センサー、ネットワークインターフェース、または、その他の入力装置を含むことができる。入力部１０１は、入力部１０１に含まれたマイクを介して外部から音声を受信することができる。入力部１０１は、通訳装置１００、１５０の使用者から音声を受信することができる。また、入力部１０１は、外部の音声再生装置から音声を受信することができる。
制御部１０２は、通訳装置１００、１５０の動作を制御することができる。制御部１０２は、通訳装置１００、１５０に含まれたそれぞれの構成要素と互いに連結されることができる。制御部１０２は、通訳装置１００、１５０に含まれたそれぞれの構成要素の動作を制御することができる。制御部１０２は、入力部１０１によって受信された信号に対する応答として、通訳装置１００、１５０の動作を制御することができる。
また、制御部１０２は、信号を処理することができる。制御部１０２は、入力部１０１によって受信された信号を処理することができる。例えば、制御部１０２は、入力部１０１に含まれたマイクを介して受信された音声を処理することができる。
また、制御部１０２は、演算を行うことができる。制御部１０２は、入力部１０１によって受信された信号に基づいて演算を行うことができる。制御部１０２は、入力部１０１によって受信された信号または保存部１０３に保存されたデータを用いて演算を行うことができる。例えば、制御部１０２は、入力部１０１に含まれたマイクを介して受信された音声をエンコードすることができる。制御部１０２は、演算結果が保存部１０３に保存されるように制御することができる。制御部１０２は、演算結果が表示部１０５によって表示されるように制御することができる。
制御部１０２は、例えば、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）、グラフィック処理装置（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＧＰＵ）、マイクロコントローラーユニット（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ，ＭＣＵ）、またはマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）を含むことができる。
保存部１０３は、データを保存することができる。保存部１０３は、制御部１０２によって行われた演算結果を保存することができる。例えば、保存部１０３は、制御部１０２によってエンコードされた音声を保存することができる。保存部１０３は、通信部１０４を介して外部に伝送するデータを保存したり、通信部１０４を介して外部から受信されたデータを保存することができる。
保存部１０３は、揮発性メモリーまたは非揮発性メモリーを含むことができる。保存部１０３は、例えば、フラッシュ（ｆｌａｓｈ）メモリー、ＲＯＭ、ＲＡＭ、ＥＥＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスクドライブ（ＨＤＤ，Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、またはレジスター（ｒｅｇｉｓｔｅｒ）などを含むことができる。保存部１０３は、例えば、ファイルシステム、データベース、またはエンベデッドデータベースなどを含むことができる。
通信部１０４は、外部にデータを伝送したり、外部からデータを受信することができる。通信部１０４は、他の通訳装置１００、１５０、第１サーバー２００、第２サーバー３００、または第３サーバー４００にデータを伝送することができる。通信部１０４は、他の通訳装置１００、１５０、第１サーバー２００、第２サーバー３００、または第３サーバー４００からデータを受信することができる。通信部１０４は、制御部１０２によって行われた演算結果を外部に伝送することができる。また、通信部１０４は、保存部１０３に保存されたデータを外部に伝送することができる。
通信部１０４によって伝送されるデータまたは通信部１０４によって受信されたデータは、保存部１０３に保存されることができる。例えば、通信部１０４は、保存部１０３に保存されたエンコードされた音声を第１サーバー２００に伝送することができる。また、通信部１０４は、前記送信に対する応答として、前記第１サーバー２００から前記エンコードされた音声に対する音声認識結果を受信することができる。
通信部１０４は、例えば、３Ｇモジュール、ＬＴＥモジュール、ＬＴＥ−Ａモジュール、Ｗｉ−Ｆｉモジュール、ワイギグ（ＷｉＧｉｇ）モジュール、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）モジュール、またはＬＡＮカードなどのような遠距離用のネットワークインターフェースを含むことができる。また、通信部１０４は、マグネチック保安送信（ＭＳＴ，Ｍａｇｎｅｔｉｃ Ｓｅｃｕｒｅ Ｔｒａｎｓｍｉｓｓｉｏｎ）モジュール、ブルートゥースモジュール、ＮＦＣモジュール、ＲＦＩＤモジュール、ジグビー（ＺｉｇＢｅｅ）モジュール、Ｚ−Ｗａｖｅモジュール、または赤外線モジュールなどのような近距離用のネットワークインターフェースを含むことができる。また、通信部１０４は、その他のネットワークインターフェースを含むことができる。
表示部１０５は、画面を表示することができる。制御部１０２は、表示部１０５が画面を表示するように表示部１０５を制御することができる。表示部１０５は、使用者インターフェースを表示することができる。表示部１０５は、使用者からの入力に対する応答として、他の画面を表示することができる。
表示部１０５は、データを表示することができる。表示部１０５は、制御部１０２によって行われた演算結果を表示することができる。表示部１０５は、保存部１０３に保存されたデータを表示することができる。表示部１０５は、通信部１０４によって受信されたデータを表示することができる。例えば、表示部１０５は、第１サーバー２００から受信された音声認識結果を表示することができる。
表示部１０５は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、またはＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの平板表示装置を含むことができる。表示部１０５は、曲面ディスプレイまたはフレクシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）を含むことができる。表示部１０５は、タッチスクリーンを含むことができる。
第２通訳装置１５０は、端末であることができる。以下では、説明の便宜のために、第２通訳装置１５０を指す用語として、第２通訳装置１５０及び第２端末１５０を混用することにする。第２端末１５０は、第１端末１００と互いに同じ種類の端末であることもでき、互いに異なる種類の端末であることもできる。第２端末１５０は、プログラムまたはアプリケーションを実行することができる。
第２端末１５０は、通信網に連結されることができる。第２端末１５０は、前記通信網を介して外部の他の装置と互いに連結されることができる。第２端末１５０は、互いに連結された他の装置にデータを伝送したり、前記他の装置からデータを受信することができる。
第２端末１５０は、前記第１端末１００と互いに連結されることができる。第２端末１５０は、前記通信網を介して前記第１端末１００と互いに連結されることができる。第２端末１５０は、第１端末１００にデータを伝送したり、第１端末１００からデータを受信することができる。
互いに連結された第１端末１００及び第２端末１５０は、互いにメッセージ、ファイル、音声データ、映像、または動画などを送受信することができる。また、第１端末１００及び第２端末１５０は、互いに音声通話または映像通話（ｖｉｄｅｏ ｃａｌｌ）をすることができる。
第１端末１００及び第２端末１５０は、互いに直接データを送受信することができる。また、第１端末１００及び第２端末１５０は、第１サーバー２００、第２サーバー３００、第３サーバー４００、または他の仲介装置を経由して、互いにデータを送受信することができる。
第１端末１００の使用者が使用する言語及び第２端末１５０の使用者が使用する言語は、互いに同一または互いに異なることができる。第１端末１００の使用者が使用する言語は、第１言語であることができる。第１言語は、例えば、韓国語、英語、日本語、中国語、ドイツ語、フランス語、スペイン語、またはイタリア語などであることができる。第２端末１５０の使用者が使用する言語は、第２言語であることができる。第２言語は、例えば、韓国語、英語、日本語、中国語、ドイツ語、フランス語、スペイン語、またはイタリア語などであることができる。第１言語及び第２言語は、互いに同一または互いに異なることができる。
第１サーバー２００は、第１端末１００または第２端末１５０と互いに連結されることができる。第１サーバー２００が第１端末１００と互いに連結された場合、第１サーバー２００は、第１端末１００と通信網を介して互いにデータを送受信することができる。第１サーバー２００が第２端末１５０と互いに連結された場合、第１サーバー２００は、第２端末１５０と通信網を介して互いにデータを送受信することができる。
第１サーバー２００は、辞書（ｄｉｃｔｉｏｎａｒｙ）サーバーであることができる。第１サーバー２００は、辞書サービスを提供することができる。第１サーバー２００は、第１端末１００または第２端末１５０から第１言語の単語を受信することができる。第１サーバー２００は、前記受信された第１言語の単語を用いて、前記第１言語の単語の意味と互いに同一または類似の意味を有する第２言語の単語を取得することができる。第１サーバー２００は、前記取得された第２言語の単語を第１端末１００または第２端末１５０に伝送することができる。
第２サーバー３００は、第１端末１００または第２端末１５０と互いに連結されることができる。第２サーバー３００が第１端末１００と互いに連結された場合、第２サーバー３００は、第１端末１００と通信網を介して互いにデータを送受信することができる。第２サーバー３００が第２端末１５０と互いに連結された場合、第２サーバー３００は、第２端末１５０と通信網を介して互いにデータを送受信することができる。
第２サーバー３００は、翻訳サーバーであることができる。第２サーバー３００は、翻訳サービスを提供することができる。第２サーバー３００は、第１端末１００または第２端末１５０から第１言語の文章を受信することができる。第２サーバー３００は、前記受信された第１言語の文章を用いて、前記文章の第２言語への翻訳文を取得することができる。第２サーバー３００は、前記取得された翻訳文を第１端末１００または第２端末１５０に伝送することができる。
第３サーバー４００は、第１端末１００または第２端末１５０と互いに連結されることができる。第３サーバー４００が第１端末１００と互いに連結された場合、第３サーバー４００は、第１端末１００と通信網を介して互いにデータを送受信することができる。第３サーバー４００が第２端末１５０と互いに連結された場合、第３サーバー４００は、第２端末１５０と通信網を介して互いにデータを送受信することができる。
第３サーバー４００は、音声認識サーバーであることができる。第３サーバー４００は、音声認識サービスを提供することができる。第３サーバー４００は、第１端末１００または第２端末１５０からエンコードされた音声を受信することができる。第３サーバー４００は、前記エンコードされた音声を用いて音声認識を行うことができる。第３サーバー４００は、前記音声認識の結果として、前記エンコードされた音声をテキストに変換することができる。第３サーバー４００は、前記変換されたテキストを第１端末１００または第２端末１５０に伝送することができる。
以下では、図３〜図２５を参照して、実施例に係る通訳方法内での通訳装置１００、１５０のより具体的な動作について詳細に説明することにする。
図３は、実施例に係る第１端末１００によって通訳方法が行われる過程を示すフローチャートである。図３を参照すると、実施例に係る通訳方法においては、まず、第１端末１００が第１言語の音声を連続的に受信する段階Ｓ１００が行われることができる。
第１端末１００の使用者は、第１端末１００に向かって第１言語で話をすることができる。また、外部の再生装置は、第１端末１００に向かって第１言語の音声を再生することができる。前記第１言語は、例えば、韓国語、英語、日本語、中国語、ドイツ語、フランス語、スペイン語、またはイタリア語などであることができる。
図４は、実施例に係る第１端末１００が第１言語の音声を連続的に受信する段階Ｓ１００を説明するための参考図である。図４に示すように、第１端末１００の使用者は、第１端末１００に向かって英語で話をすることができる。すなわち、前記第１言語は、英語であることができる。使用者は、「Ｉ ｌｏｖｅ ｙｏｕ. Ｄｏ ｙｏｕ ｌｏｖｅ ｍｅ？」のように英語の２つの文章を話すことができる。
第１端末１００は、第１端末１００の入力部１０１に含まれたマイクを介して前記第１言語の音声を連続的に受信することができる。第１端末１００は、使用者が話すのと同時に前記音声を受信することができる。使用者が話をすると、第１端末１００は、前記音声をリアルタイムで受信することができる。使用者が継続して話をする場合、第１端末１００は、前記音声を継続して受信することができる。
再び図３を参照すると、次に、前記受信されている音声を連続的にエンコードする段階Ｓ１１０が行われることができる。第１端末１００の制御部１０２は、入力部１０１によって連続的に受信されている前記音声をエンコードすることができる。前記音声が受信されている途中に、第１端末１００の制御部１０２は、現在までに受信された前記音声のうちの少なくとも一部を連続的にエンコードすることができる。
制御部１０２は、前記音声をエンコードすることによって、アナログ信号である前記音声をデジタル信号であるエンコードされた音声に変換することができる。前記エンコードされた音声は、保存部１０３に保存されることができる。制御部１０２は、アコースティックエコーキャンセレーション（ａｃｏｕｓｔｉｃ ｅｃｈｏ ｃａｎｃｅｌｌａｔｉｏｎ）を行うことによって、エコー現象を減らすことができる。
制御部１０２は、前記受信されている音声を連続的にエンコードすることができる。制御部１０２は、前記音声が受信されると同時に前記音声をエンコードすることができる。前記音声が受信されると、制御部１０２は、前記音声をリアルタイムでエンコードすることができる。前記音声が継続して受信されている場合、制御部１０２は、前記音声を継続してエンコードすることができる。
次に、前記エンコードされた音声を第３サーバー４００に連続的に伝送する段階Ｓ１２０が行われることができる。第３サーバー４００は、音声認識サービスを提供するサーバーであることができる。前記音声が受信されている途中に、第１端末１００の通信部１０４は、現在までにエンコードされた前記音声のうちの少なくとも一部を前記第３サーバー４００に連続的に伝送することができる。
第１端末１００の通信部１０４は、前記エンコードされた音声を第３サーバー４００に連続的に伝送することができる。通信部１０４は、前記音声がエンコードされると同時に前記エンコードされた音声を第３サーバー４００に伝送することができる。前記音声がエンコードされると、通信部１０４は、前記エンコードされた音声をリアルタイムで伝送することができる。前記音声が継続してエンコードされている場合、通信部１０４は、前記エンコードされた音声を継続して伝送することができる。
また、追加的に、第１端末１００の通信部１０４は、前記エンコードされた音声を第２端末１５０に連続的に伝送することができる。通信部１０４は、前記音声がエンコードされると同時に前記エンコードされた音声を第２端末１５０に伝送することができる。第２端末１５０は、第１端末１００から前記エンコードされた音声を連続的に受信することができる。第２端末１５０は、前記受信されたエンコードされた音声を連続的にデコードすることができる。第２端末１５０は、前記デコードされた音声を連続的に再生することができる。
次に、前記第３サーバー４００から前記エンコードされた音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階Ｓ１３０が行われることができる。前記エンコードされた音声の送信に対する応答として、第１端末１００の通信部１０４は、第３サーバー４００から前記エンコードされた音声に対する音声認識結果を受信することができる。前記音声が受信されている途中に、第１端末１００の通信部１０４は、第１サーバー２００から前記音声認識結果を連続的に受信することができる。
通信部１０４は、前記音声認識結果を前記第１言語のテキストとして受信することができる。前記第１言語が英語である場合、通信部１０４は、前記音声認識結果として英語のテキストを受信することができる。
第３サーバー４００は、前記エンコードされた音声が認識されると同時に、前記音声認識結果を第１端末１００に伝送することができる。前記エンコードされた音声が認識されると、第３サーバー４００は、前記音声認識結果をリアルタイムで伝送することができる。前記エンコードされた音声が継続して認識されている場合、第３サーバー４００は、前記音声認識結果を継続して伝送することができる。第１端末１００の通信部１０４は、前記音声認識結果を前記第３サーバー４００から連続的に受信することができる。
次に、前記受信された音声認識結果を第２端末１５０に連続的に伝送する段階Ｓ１４０が行われることができる。前記音声が受信されている途中に、第１端末１００の通信部１０４は、前記受信された音声認識結果を前記第２端末１５０に連続的に伝送することができる。前記エンコードされた音声を伝送している途中に、通信部１０４は、前記音声認識結果を第２端末１５０に連続的に伝送することができる。
第１端末１００の通信部１０４は、前記受信された音声認識結果を第２端末１５０に連続的に伝送することができる。通信部１０４は、前記音声認識結果が受信されると同時に、前記音声認識結果を第２端末１５０に伝送することができる。前記音声認識結果が受信されると、通信部１０４は、前記音声認識結果をリアルタイムで伝送することができる。前記音声認識結果が継続して受信されている場合、通信部１０４は、前記音声認識結果を継続して伝送することができる。
第２端末１５０は、第１端末１００から前記音声認識結果を連続的に受信することができる。第２端末１５０は、前記受信された音声認識結果を連続的に表示することができる。
次に、前記受信されている音声内から終結した文章を検出する段階Ｓ１５０が行われることができる。終結した文章とは、一つの完全な文章が完成するために必要なすべての文章成分を含む文章を指すことができる。前記音声が受信されている途中に、第１端末１００の制御部１０２は、現在までに伝送された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章を検出することができる。前記音声認識結果が第２端末１５０に連続的に伝送される途中に、第１端末１００の制御部１０２は、現在までに伝送された前記音声認識結果内から少なくとも一つ以上の終結した文章を検出することができる。
例えば、現在まで第２端末１５０に伝送された音声認識結果が図４の２つの文章中で「Ｉ ｌｏｖｅ ｙｏｕ. Ｄｏ」の部分であると仮定することにする。制御部１０２は、前記の部分で一つの終結した文章として「Ｉ ｌｏｖｅ ｙｏｕ.」を検出することができる。
再び図３を参照すると、次に、前記検出された文章に対応する前記第１言語のテキストを第２サーバー３００に伝送する段階Ｓ１６０が行われることができる。前記第２サーバー３００は、翻訳サービスを提供するサーバーであることができる。第１端末１００の通信部１０４は、前記検出された文章を第１言語のテキストとして、第２サーバー３００に伝送することができる。前記音声が受信されている途中に、通信部１０４は、前記検出された少なくとも一つ以上の終結した文章を第２サーバー３００に伝送することができる。例えば、通信部１０４は、英語のテキスト「Ｉ ｌｏｖｅ ｙｏｕ.」を第２サーバー３００に伝送することができる。
次に、前記第２サーバー３００から前記検出された文章の第２言語への翻訳文を前記第２言語のテキストとして受信する段階Ｓ１７０が行われることができる。第２サーバー３００は、第１言語の文章を前記文章の第２言語への翻訳文に変換することができる。第２サーバー３００は、前記変換された翻訳文を第１端末１００に伝送することができる。
前記検出された文章の送信に対する応答として、第１端末１００の通信部１０４は、第２サーバー３００から前記検出された文章の第２言語への翻訳文を受信することができる。前記音声が受信されている途中に、第１端末１００の通信部１０４は、第２サーバー３００から前記伝送されたテキストの第２言語への翻訳文を受信することができる。通信部１０４は、前記第２言語への翻訳文として第２言語のテキストを受信することができる。
前記第２言語は、例えば、韓国語であることができる。通信部１０４は、「Ｉ ｌｏｖｅ ｙｏｕ.」の第２言語への翻訳文として、「私はあなたを愛しています。」を受信することができる。
次に、前記受信された翻訳文を前記第２端末１５０に伝送する段階Ｓ１８０が行われることができる。第１端末１００の通信部１０４は、前記受信された翻訳文を第２端末１５０に伝送することができる。前記音声が受信されている途中に、第１端末１００の通信部１０４は、前記受信された翻訳文を第２端末１５０に伝送することができる。
第２端末１５０は、第１端末１００から前記第２言語への翻訳文を受信することができる。第２端末１５０は、第１言語で表示されていた音声認識結果に含まれた前記終結した文章を前記受信された翻訳文に置換することができる。
図５は、実施例に係る第２端末１５０によって通訳方法が行われる過程を示すフローチャートである。図５を参照すると、まず、第１端末１００から第１言語の音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階Ｓ２００が行われることができる。
第１端末１００は、第３サーバー４００から受信された音声認識結果を第２端末１５０に連続的に伝送する段階Ｓ１４０を行うことができる。前記音声認識結果の送信に対応して、第２端末１５０の通信部１０４は、第１端末１００から前記音声認識結果を連続的に受信することができる。第１端末１００が前記音声認識結果を継続して伝送する場合、第２端末１５０は、前記音声認識結果を継続して受信することができる。第２端末１５０の保存部１０３は、前記受信された音声認識結果を保存することができる。
次に、前記受信された音声認識結果を連続的に表示する段階Ｓ２１０が行われることができる。前記音声認識結果が受信される途中に、第２端末１５０の表示部１０５は、現在までに受信された前記音声認識結果中から少なくとも一部を連続的に表示することができる。
第２端末１５０の表示部１０５は、前記音声認識結果を連続的に表示することができる。表示部１０５は、前記音声認識結果が受信されると同時に、前記音声認識結果を表示することができる。前記音声認識結果が受信されると、表示部１０５は、前記音声認識結果をリアルタイムで表示することができる。前記音声認識結果が継続して受信されている場合、表示部１０５は、前記音声認識結果を継続して表示することができる。
また、第２端末１５０の通信部１０４は、第１端末１００から前記音声がエンコードされることによって生成された音声データを連続的に受信することができる。第２端末１５０は、前記受信された音声データをデコードすることができる。第２端末１５０は、前記デコードされた音声を連続的に再生することができる。前記音声が再生する途中に、第２端末１５０の表示部１０５は、現在までに受信された前記音声認識結果中から少なくとも一部を連続的に表示することができる。
これにより、前記音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する前であっても、第１端末１００の使用者が話した言葉がリアルタイムで第２端末１５０に表示されることができる。前記第１言語の単語の発音と前記第２言語の単語の発音は、互いに全く異なるにもかかわらず、第１言語の単語の表記と前記単語に対応する第２言語の単語の表記が互いに類似していることがあり得る。したがって、第１端末１００の使用者が音声を介して話した言葉を第２端末１５０の使用者が全く理解できない場合であっても、第２端末１５０の使用者は、第２端末１５０に表示された第１言語の単語から助けを受けることができる。
したがって、実施例によれば、前記音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する前であっても、第１端末１００の使用者が話した言葉の意味を第２端末１５０の使用者がより早く理解することができる。すなわち、第１端末１００の使用者が話した言葉の意味を第２端末１５０の使用者が理解できるまで第２端末１５０の使用者が待たなければならない時間が短縮されることができる。したがって、実施例によれば、よりスムーズな使用者経験が提供されることができる。また、実施例によれば、反応性が向上した使用者経験が提供されることができる。また、実施例によれば、改善された使用者経験が提供されることができる。
図６〜図８は、実施例に係る受信された音声認識結果を連続的に表示する段階Ｓ２１０を説明するための参考図である。図６を参照すると、第２端末１５０は、英語の音声の音声認識結果として、「Ｉ」を受信することができる。第２端末１５０の表示部１０５は、「Ｉ」を表示することができる。図７を参照すると、第２端末１５０は、音声認識結果として「Ｌｏｖｅ」を追加的に受信することができる。第２端末の表示部１０５は、「Ｉ ｌｏｖｅ」を表示することができる。図８を参照すると、第２端末１５０は、音声認識結果として「ｙｏｕ ｄｏ ｙｏｕ」を追加的に受信することができる。第２端末の表示部１０５は、「Ｉ ｌｏｖｅ ｙｏｕ ｄｏ ｙｏｕ」を表示することができる。
再び図５を参照すると、次に、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階Ｓ２２０が行われることができる。前記音声認識結果が表示される途中に、第２端末１５０は、現在までに表示された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章の前記第２言語への翻訳文を取得することができる。
第１端末１００は、前記音声認識結果に含まれた終結した文章の第２言語への翻訳文を第２端末１５０に伝送する段階Ｓ１８０を行うことができる。前記翻訳文の送信に対する応答として、第２端末１５０は、第１端末１００から前記翻訳文を受信することができる。
また、他の実施例によれば、第２端末１５０は、第１端末１００から前記翻訳文を受信する代わりに、他の方法を用いて、前記翻訳文を取得することができる。例えば、第２端末１５０は、第２サーバー３００から前記翻訳文を受信することによって前記翻訳文を取得することができる。図９は、他の実施例に係る、表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階Ｓ２２０が行われる過程を示すフローチャートである。
図９を参照すると、まず、前記表示された音声認識結果内から前記終結した文章を検出する段階Ｓ２２１が行われることができる。第２端末１５０の制御部１０２は、現在までに表示された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章を検出することができる。
例えば、図８を参照すると、現在までに表示された音声認識結果は、「Ｉ ｌｏｖｅ ｙｏｕ ｄｏ ｙｏｕ」であることができる。第２端末１５０の制御部１０２は、前記音声認識結果内から一つの終結した文章として「Ｉ ｌｏｖｅ ｙｏｕ.」を検出することができる。
再び図９を参照すると、次に、前記終結した文章を第２サーバー３００に伝送する段階Ｓ２２２が行われることができる。第２端末１５０の通信部１０４は、前記検出された文章を第２サーバー３００に伝送することができる。第２サーバー３００は、第２端末１５０から前記検出された文章を受信することができる。第２サーバー３００は、前記受信された文章を第２言語に翻訳することができる。第２サーバー３００は、第２言語への翻訳文を第２端末１５０に伝送することができる。
次に、前記終結した文章の前記第２言語への翻訳文を前記第２サーバー３００から受信する段階Ｓ２２３が行われることができる。第２端末１５０の通信部１０４は、第２サーバー３００から前記翻訳文を受信することができる。例えば、第２端末１５０は、韓国語の前記翻訳文として「私はあなたを愛しています。」を受信することができる。
また他の実施例によれば、第２端末１５０は、他の方法を用いて前記翻訳文を取得することができる。例えば、第２端末１５０は、翻訳文データベースから前記翻訳文を取得することができる。図１０は、また他の実施例に係る、表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階Ｓ２２０が行われる過程を示すフローチャートである。
図１０を参照すると、まず、前記表示された音声認識結果内から前記終結した文章を検出する段階Ｓ２３１が行われることができる。第２端末１５０の制御部１０２は、現在までに表示された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章を検出することができる。
次に、第２データベースにおいて、前記終結した文章を照会する段階Ｓ２３２が行われることができる。第２端末１５０の保存部１０３は、前記第２データベースを含むことができる。他の実施例によれば、前記第２データベースは、第２端末１５０の外部に配置されることができる。
前記第２データベースは、翻訳文データベースであることができる。前記第２データベースは、第１言語の文章及び前記文章の第２言語への翻訳文が保存されたリレーショナルデータベース（ｒｅｌａｔｉｏｎａｌ ｄａｔａ ｂａｓｅ）であることができる。前記第２データベースに含まれたそれぞれのレコードは、第１言語の文章及び前記文章の第２言語への翻訳文を含むことができる。
第２端末１５０の制御部１０２は、前記第２データベースにおいて、第１言語の前記終結した文章を照会することができる。これにより、制御部１０２は、前記終結した文章に対応する翻訳文が前記第２データベース内に存在するか否かを判定することができる。
次に、もし前記終結した文章に対応する前記第２言語への翻訳文が前記第２データベース内に存在する場合、前記照会の結果として、前記翻訳文を前記第２データベースから取得する段階Ｓ２３３が行われることができる。もし前記終結した文章に対応するレコードが前記第２データベースに含まれている場合、第２端末１５０の制御部１０２は、第２データベースから前記翻訳文を取得することができる。
もし前記第２データベースが前記終結した文章に対応するレコードを含まない場合、第２端末１５０は、第２サーバー３００から前記翻訳文を受信することによって前記翻訳文を取得することができる。図１１は、また他の実施例に係る、表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階Ｓ２２０が行われる過程を示すフローチャートである。
図１１を参照すると、まず、前記表示された音声認識結果内から前記終結した文章を検出する段階Ｓ２４１が行われることができる。次に、第２データベースにおいて、前記終結した文章を照会する段階Ｓ２４２が行われることができる。
次に、もし前記終結した文章に対応する前記第２言語への翻訳文が前記第２データベース内に存在しない場合、前記終結した文章を第２サーバー３００に伝送する段階Ｓ２４３が行われることができる。第２端末１５０の通信部１０４は、前記終結した文章を第２サーバー３００に伝送することができる。第２サーバー３００は、前記終結した文章を受信することができる。第２サーバー３００は、前記終結した文章を第２言語に翻訳することができる。第２サーバー３００は、前記第２言語への翻訳文を第２端末１５０に伝送することができる。
次に、前記終結した文章の前記第２言語への翻訳文を前記第２サーバー３００から受信する段階Ｓ２４４が行われることができる。第２端末１５０の通信部１０４は、前記翻訳文を第２サーバー３００から受信することができる。
次に、前記終結した文章及び前記受信された第２言語への翻訳文を前記第２データベース内にキャッシュ（ｃａｃｈｅ）する段階Ｓ２４５が行われることができる。第２端末１５０は、前記終結した文章及び前記受信された第２言語への翻訳文を前記第２データベースに保存することができる。第２データベースは、前記終結した文章及び前記受信された翻訳文を含むレコードを新たに生成することができる。これにより、次回に第２データベースにおいて、前記終結した文章が照会されると、第２端末１５０が前記照会の結果として前記翻訳文を取得できるように準備されることができる。
再び図５を参照すると、次に、表示された前記終結した文章を前記取得された翻訳文に置換する段階Ｓ２５０が行われることができる。第２端末１５０の表示部１０５は、表示された前記終結した文章を前記取得された翻訳文に置換することができる。前記音声認識結果が表示される途中に、表示部１０５は、前記少なくとも一つ以上の終結した文章を前記取得された翻訳文に置換することができる。
図１２は、実施例に係る表示された終結した文章を取得された翻訳文に置換する段階Ｓ２５０を説明するための参考図である。図１２に示すように、表示部１０５は、図８に表示された「Ｉ ｌｏｖｅ ｙｏｕ」を「私はあなたを愛しています。」に置換することができる。
第２端末１５０の通信部１０４は、その後も継続して第１端末１００から第１言語の音声認識結果を受信することができる。第２端末１５０の表示部１０５は、その後も継続して前記受信された音声認識結果を表示することができる。例えば、図１３に示すように、通信部１０４は、前記音声認識結果として「ｌｏｖｅ ｍｅ」を追加的に受信することができる。表示部１０５は、「私はあなたを愛しています。ｄｏ ｙｏｕ ｌｏｖｅ ｍｅ」のように表示することができる。
また、第２端末１５０の制御部１０２は、その後も継続して第１言語で表示された前記音声認識結果内から終結した文章を検出することができる。図１３を参照すると、制御部１０２は、「ｄｏ ｙｏｕ ｌｏｖｅ ｍｅ」の部分を一つの終結した文章として検出することができる。制御部１０２は、前記検出された文章の第２言語への翻訳文を取得することができる。第２端末１５０の表示部１０５は、前記検出された文章を前記取得された翻訳文に置換することができる。例えば、図１４に示すように、表示部１０５は、「ｄｏ ｙｏｕ ｌｏｖｅ ｍｅ」の部分を「あなたは私を愛していますか？」に置換することができる。
図１５は、他の実施例に係る、第２端末１５０によって通訳方法が行われる過程を示すフローチャートである。図１５を参照すると、まず、第１端末１００から第１言語の音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階Ｓ３００が行われることができる。次に、前記受信された音声認識結果を連続的に表示する段階Ｓ３１０が行われることができる。
次に、前記第１言語で表示された前記音声認識結果に含まれたそれぞれの単語を同一または類似の意味を有する前記第２言語の単語に連続的に置換する段階Ｓ３２０が行われることができる。第２端末１５０の表示部１０５は、第１言語で表示されたそれぞれの単語を前記第２言語の単語に連続的に置換することができる。
これにより、前記音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する前であっても、第２端末１５０の使用者が意味を理解できる単語が最大限早く表示されることができる。したがって、第１端末１００の使用者が話した言葉の意味を第２端末１５０の使用者が理解できるまで第２端末１５０の使用者が待たなければならない時間が短縮されることができる。したがって、実施例によれば、よりスムーズな使用者経験が提供されることができる。また、実施例によれば、反応性が向上した使用者経験が提供されることができる。また、実施例によれば、改善された使用者経験が提供されることができる。
図１６は、実施例に係る音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階Ｓ３２０が行われる過程を示すフローチャートである。図１６を参照すると、まず、前記第１言語で表示された前記それぞれの単語と同一または類似の意味を有する前記第２言語の単語を前記第１端末１００または第１サーバー２００から受信する段階Ｓ３２１が行われることができる。
例えば、図６に示すように音声認識結果として現在までに「Ｉ」が受信されて表示されたと仮定することにする。第２端末１５０の通信部１０４は、前記音声認識結果に含まれたそれぞれの単語に対応する第２言語の単語を受信することができる。すなわち、通信部１０４は、「Ｉ」に対応する韓国語の単語である「私は」を受信することができる。
第１端末１００は、第２端末１５０に前記音声認識結果を伝送した後に、前記音声認識結果に含まれたそれぞれの単語に対応する第２言語の単語を第２端末に伝送することができる。通信部１０４は、前記第２言語の単語を前記第１端末１００から受信することができる。
他の実施例によれば、第１端末１００は、第２端末１５０に前記音声認識結果を伝送した後に、前記音声認識結果に含まれたそれぞれの単語を第１サーバー２００に伝送することができる。第１サーバー２００は、辞書（ｄｉｃｔｉｏｎａｒｙ）サービスを提供するサーバーであることができる。第１サーバー２００は、前記音声認識結果に含まれたそれぞれの単語を受信することができる。第１サーバー２００は、前記それぞれの単語を前記単語に対応する第２言語の単語に変換することができる。第１サーバー２００は、前記変換された第２言語の単語を第２端末１５０に伝送することができる。通信部１０４は、前記第２言語の単語を前記第１サーバー２００から受信することができる。
再び図１６を参照すると、次に、前記第１言語で表示された前記それぞれの単語を前記受信された第２言語の単語に連続的に置換する段階Ｓ３２２が行われることができる。第２端末１５０の表示部１０５は、第１言語で表示された前記それぞれの単語を前記受信された第２言語の単語に連続的に置換することができる。
図１７〜図１９は、実施例に係る音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階Ｓ３２２を説明するための参考図である。図１７に示すように、第２端末１５０の制御部１０２は、前記音声認識結果に含まれた「Ｉ」を韓国語の単語である「私は」に置換することができる。また、第２端末１５０の通信部１０４は、音声認識結果として「ｌｏｖｅ ｙｏｕ」を追加的に受信することができる。第２端末１５０の表示部１０５は、前記受信された音声認識結果を追加的に表示することができる。これにより、第２端末１５０の表示部１０５には「私はｌｏｖｅ ｙｏｕ」が表示されることができる。
図１８を参照すると、第２端末１５０の通信部１０４は、前記第１言語で表示された音声認識結果に含まれた単語のうち、「ｌｏｖｅ」に対応する韓国語の単語である「愛情」を受信することができる。第２端末１５０の表示部１０５は、「Ｌｏｖｅ」を「愛情」に置換することができる。また、第２端末１５０の通信部１０４は、音声認識結果として「ｄｏ ｙｏｕ」を追加的に受信することができる。第２端末１５０の表示部１０５は、前記受信された音声認識結果を追加的に表示することができる。これにより、第２端末１５０の表示部１０５には、「私は愛情ｙｏｕ ｄｏ ｙｏｕ」が表示されることができる。
図１９を参照すると、第２端末１５０の通信部１０４は、前記第１言語で表示された音声認識結果に含まれた単語のうち、「ｙｏｕ」及び「ｄｏ」にそれぞれ対応する韓国語の単語である「あなた」及び「する」を受信することができる。第２端末１５０の表示部１０５は、「ｙｏｕ」を「あなた」に置換し、「ｄｏ」を「する」に置換することができる。また、第２端末１５０の通信部１０４は、音声認識結果として「Ｌｏｖｅ」を追加的に受信することができる。第２端末１５０の表示部１０５は、前記受信された音声認識結果を追加的に表示することができる。これにより、第２端末１５０の表示部１０５には「私は愛情あなたするｙｏｕ ｌｏｖｅ」が表示されることができる。
図２０は、他の実施例により、音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階Ｓ３３０が行われる過程を示すフローチャートである。図２０を参照すると、まず、前記第１言語で表示された前記それぞれの単語を第１サーバー２００に伝送する段階Ｓ３３１が行われることができる。
第２端末１５０の通信部１０４は、前記第１言語で表示された前記それぞれの単語を第１サーバー２００に伝送することができる。第１サーバー２００は、第２端末１５０から前記それぞれの単語を受信することができる。第１サーバー２００は、前記それぞれの単語を前記単語に対応する第２言語の単語に変換することができる。第１サーバー２００は、前記変換された第２言語の単語を第２端末１５０に伝送することができる。
次に、前記伝送されたそれぞれの単語と同一または類似の意味を有する前記第２言語の単語を前記第１サーバー２００から受信する段階Ｓ３３２が行われることができる。第２端末１５０の通信部１０４は、前記第２言語の単語を前記第１サーバー２００から受信することができる。
次に、前記第１言語で表示された前記それぞれの単語を前記受信された第２言語の単語に連続的に置換する段階Ｓ３３３が行われることができる。第２端末１５０の表示部１０５は、前記第１言語で表示された単語を前記第２言語の単語に置換することができる。
図２１は、また他の実施例により、音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階Ｓ３３０が行われる過程を示すフローチャートである。図２１を参照すると、まず、第１データベースにおいて、前記音声認識結果に含まれたそれぞれの単語を照会する段階Ｓ３４１が行われることができる。
第２端末１５０の保存部１０３は、前記第１データベースを含むことができる。他の実施例によれば、前記第１データベースは、第２端末１５０の外部に配置されることができる。
前記第１データベースは、辞書データベースであることができる。前記第１データベースは、第１言語の単語及び前記単語に対応する第２言語の単語が保存されたリレーショナルデータベースであることができる。前記第１言語の単語の意味及び前記単語に対応する第２言語の単語の意味は、互いに同一または類似することができる。前記第１データベースに含まれたそれぞれのレコードは、第１言語の単語及び前記単語に対応する第２言語の単語を含むことができる。
第２端末１５０の制御部１０２は、前記第１データベースにおいて、前記音声認識結果に含まれた第１言語の単語を照会することができる。これにより、制御部１０２は、前記第１言語の単語に対応する第２言語の単語が前記第１データベース内に存在するか否かを判定することができる。
次に、もし前記照会された単語に対応する前記第２言語の単語が前記第１データベース内に存在する場合、前記照会の結果として、前記照会された単語に対応する前記第２言語の単語を前記第１データベースから取得する段階Ｓ３４２が行われることができる。もし、前記第１言語の単語に対応するレコードが前記第１データベースに含まれている場合、第２端末１５０の制御部１０２は、第１データベースから前記第２言語の単語を取得することができる。
次に、前記第１言語で表示された前記照会された単語を前記取得された第２言語の単語に置換する段階Ｓ３４３が行われることができる。第２端末１５０の表示部１０５は、前記第１言語で表示された単語を前記第２言語の単語に置換することができる。
もし、前記第１データベースが前記第１言語の単語に対応するレコードを含まない場合、第２端末１５０は、第１サーバー２００から前記第１言語の単語に対応する第２言語の単語を受信することができる。図２２は、また他の実施例により、音声認識結果に含まれたそれぞれの単語を第２言語の単語に連続的に置換する段階Ｓ３３０が行われる過程を示すフローチャートである。図２２を参照すると、まず、第１データベースにおいて、前記音声認識結果に含まれたそれぞれの単語を照会する段階Ｓ３５１が行われることができる。
次に、もし前記照会された単語に対応する前記第２言語の単語が前記第１データベース内に存在しない場合、前記照会された単語を第１サーバー２００に伝送する段階Ｓ３５２が行われることができる。第２端末１５０の通信部１０４は、前記第１言語の単語を第１サーバー２００に伝送することができる。
第１サーバー２００は、第２端末１５０から前記第１言語の単語を受信することができる。第１サーバー２００は、前記単語を前記単語に対応する第２言語の単語に変換することができる。第１サーバー２００は、前記変換された第２言語の単語を第２端末１５０に伝送することができる。
次に、前記伝送された単語と同一または類似の意味を有する前記第２言語の単語を前記第１サーバー２００から受信する段階Ｓ３５３が行われることができる。第２端末１５０の通信部１０４は、前記第１サーバー２００から前記第２言語の単語を受信することができる。
次に、前記伝送された単語及び前記受信された第２言語の単語を前記第１データベース内にキャッシュ（ｃａｃｈｅ）する段階Ｓ３５４が行われることができる。第２端末１５０は、前記第１言語の単語及び前記受信された第２言語の単語を前記第１データベースに保存することができる。第１データベースは、前記第１言語の単語及び前記受信された第２言語の単語を含むレコードを新たに生成することができる。これにより、次回に第１データベースにおいて、前記第１言語の単語が照会されると、第２端末１５０が前記照会の結果として前記第２言語の単語を取得できるように準備されることができる。
次に、前記第１言語で表示された前記伝送された単語を前記受信された第２言語の単語に置換する段階Ｓ３５５が行われることができる。第２端末１５０の表示部１０５は、前記第１言語で表示された単語を前記第２言語の単語に置換することができる。
再び図１５を参照すると、次に、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階Ｓ３６０が行われることができる。例えば、第２端末１５０は、前記音声認識結果に含まれた終結した文章である「Ｉ ｌｏｖｅ ｙｏｕ」の翻訳文として、「私はあなたを愛しています。」を取得することができる。
次に、少なくとも一部が前記第２言語の単語に置換された前記終結した文章を前記取得された翻訳文に置換する段階Ｓ３７０が行われることができる。第２端末１５０の表示部１０５は、少なくとも一部がすでに第２言語の単語に置換された前記終結した文章を前記取得された翻訳文に置換することができる。
例えば、図１９を参照すると、表示部１０５は、前記終結した文章である「Ｉ ｌｏｖｅ ｙｏｕ」に対応する「私は愛情あなた」を前記取得された翻訳文に置換することができる。図２３に示すように、表示部１０５は、「私は愛情あなた」の部分を「私はあなたを愛しています。」に置換することができる。
また、第２端末１５０の通信部１０４は、その後も継続して第１端末１００から第１言語の音声認識結果を受信することができる。第２端末１５０の表示部１０５は、その後も継続して前記受信された音声認識結果を表示することができる。第２端末１５０の表示部１０５は、その後も継続して第１言語で表示された単語を前記単語に対応する第２言語の単語に置換することができる。第２端末１５０の表示部１０５は、その後も継続して終結した文章を検出することができる。第２端末１５０の表示部１０５は、その後も継続して前記検出された文章を翻訳文に置換することができる。
例えば、図２３に示すように、通信部１０４は、前記音声認識結果として「ｍｅ」を追加的に受信することができる。表示部１０５は、「ｍｅ」を追加的に表示することができる。表示部１０５は、「ｌｏｖｅ」を「愛情」に置換することができる。制御部１０２は、「ｄｏ ｙｏｕ ｌｏｖｅ ｍｅ」の部分を一つの終結した文章として検出することができる。制御部１０２は、前記検出された文章の第２言語への翻訳文を取得することができる。第２端末１５０の表示部１０５は、「ｄｏ ｙｏｕ ｌｏｖｅ ｍｅ」に対応する「するあなた愛情 ｍｅ」の部分を図１４に示すように、「あなたは私を愛していますか？」に置換することができる。
図２４はまた他の実施例に係る第２端末１５０によって通訳方法が行われる過程を示すフローチャートである。図２４を参照すると、まず、第１端末１００から第１言語の音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階Ｓ４００が行われることができる。次に、前記受信された音声認識結果を連続的に表示する段階Ｓ４１０が行われることができる。
次に、前記第１言語の語順及び前記第２言語の語順の間の類似度を算出する段階Ｓ４２０が行われることができる。第２端末１５０の制御部１０２は、前記第１言語の語順及び前記第２言語の語順の間の類似度を算出することができる。
それぞれの言語は、一つの文章内で、主語、目的語、及び他動詞が配列される特定の順序を有することができる。例えば、英語または中国語の文章内で、主語、目的語、及び他動詞は、主語、他動詞、及び目的語の順に配列されることができる。他の例として、韓国語または日本語の文章内で、主語、目的語、及び他動詞は、主語、目的語、及び他動詞の順に配列されることができる。
第２端末１５０の制御部１０２は、第１言語の文章内で、主語、目的語、及び他動詞が配列される順序及び第２言語の文章内で、主語、目的語、及び他動詞が配列される順序を用いて前記類似度を算出することができる。第１言語が英語であり、第２言語が中国語である場合に算出された類似度は、第１言語が英語であり、第２言語が韓国語である場合に算出された類似度に比べて高いことがあり得る。
次に、前記算出された類似度が基準値よりも大きければ、前記第１言語で表示された前記音声認識結果に含まれたそれぞれの単語を同一または類似の意味を有する前記第２言語の単語に連続的に置換する段階Ｓ４３０が行われることができる。逆に、前記算出された類似度が基準値よりも大きくなければ、前記第１言語の単語を前記第２言語の単語に置換する段階Ｓ４３０は、行われないことがある。
もし、第１言語の語順と第２言語の語順が十分に類似していないにもかかわらず、前記第１言語の単語が前記第２言語に置換されたら、第２端末１５０の使用者が経験する可読性が顕著に低いことがあり得る。逆に、もし第１言語の語順と第２言語の語順が十分に類似している場合、前記第１言語の単語が前記第２言語に置換されたら、第２端末１５０の使用者が経験する可読性が十分に確保されることができる。したがって、実施例によれば、よりスムーズな使用者経験が提供されることができる。また、実施例によれば、反応性が向上した使用者経験が提供されることができる。また、実施例によれば、改善された使用者経験が提供されることができる。
前記基準値は、例えば、第１言語が英語であり、第２言語が韓国語である場合に算出された類似度と互いに同一であることができる。したがって、もし第１言語が英語であり、第２言語が中国語である場合、第２端末１５０の表示部１０５は、前記第１言語で表示されたそれぞれの単語を前記単語に対応する第２言語の単語に連続的に置換することができる。
次に、前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階Ｓ４４０が行われることができる。次に、少なくとも一部が前記第２言語の単語に置換された前記終結した文章を前記取得された翻訳文に置換する段階Ｓ４５０が行われることができる。
図２５は、実施例に係るサーバーによって通訳方法が行われる過程を示すフローチャートである。前記サーバーは、第１サーバー２００、第２サーバー３００、または第３サーバー４００であることができる。また、前記サーバーは、第１サーバー２００、第２サーバー３００、または第３サーバー４００とは互いに異なるサーバーであることができる。前記サーバーは、第１端末１００及び第２端末１５０と互いに連結されることができる。
図２５を参照すると、まず、第１端末１００から第１言語の音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階Ｓ５００が行われることができる。次に、前記受信された音声認識結果を第２端末１５０に連続的に伝送する段階Ｓ５１０が行われることができる。前記音声認識結果が受信される途中に、サーバーは、現在までに受信された前記音声認識結果のうちの少なくとも一部を前記第２端末１５０に連続的に伝送することができる。
次に、前記受信された音声認識結果内から終結した文章を検出する段階Ｓ５２０が行われることができる。サーバーは、現在までに伝送された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章を検出することができる。
次に、前記検出された文章の第２言語への翻訳文を取得する段階Ｓ５３０が行われることができる。サーバーは、前記検出された少なくとも一つ以上の終結した文章の前記第２言語への翻訳文を取得することができる。
次に、前記取得された翻訳文を前記第２端末１５０に伝送する段階Ｓ５４０が行われることができる。前記音声認識結果が受信される途中に、サーバーは、前記取得された翻訳文を前記第２端末１５０に伝送することができる。
以上で説明された実施例によれば、映像通話をする使用者が使用する言語が互いに異なっても、各自が相手の話を聞き取ることができる。また、よりスムーズな使用者経験が提供されることができる。また、反応性が向上した使用者経験が提供されることができる。また、改善された使用者経験が提供されることができる。
以上で説明された実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能なコマンドを含む記録媒体の形態でも具現されることができる。コンピュータ判読可能な媒体は、コンピュータによってアクセスすることができる任意の使用可能媒体であることができ、揮発性及び非揮発性媒体、分離型及び非分離型媒体をすべて含むことができる。
また、コンピュータ判読可能な媒体は、コンピュータ保存媒体または通信媒体を含むことができる。コンピュータ保存媒体は、コンピュータ判読可能なコマンド、データ構造、プログラムモジュールまたはその他のデータのような情報の保存のための任意の方法または技術で具現された揮発性及び非揮発性、分離型及び非分離型媒体をすべて含むことができる。通信媒体は、典型的にコンピュータ判読可能なコマンド、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他のデータ、またはその他の送信メカニズムを含み、任意の情報伝達媒体を含むことができる。
以上、添付された図面を参照して、本発明の実施例を説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須的な特徴を変更せず、他の具体的な形態で実施できることを理解することができるはずである。したがって、以上で記述した実施例は、あらゆる面で例示的なものであり、限定的ではないことを理解しなければならない。
１００：第１通訳装置、第１端末
１０１：入力部
１０２：制御部
１０３：保存部
１０４：通信部
１０５：表示部
１５０：第２通訳装置、第２端末
２００：第１サーバー
３００：第２サーバー
４００：第３サーバー

Claims (20)

  1. 第１端末から第１言語の音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階と、
    前記受信された音声認識結果を連続的に表示する段階と、
    前記第１言語の語順と第２言語の語順の間の類似度を算出する段階と、
    前記算出された類似度が基準値よりも大きければ、前記第１言語の音声認識結果に含まれたそれぞれの単語をそれらと同一または類似の意味を有する第２言語の単語に連続的に置換する段階と、
    前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階、及び
    表示された前記終結した文章を前記取得された翻訳文に置換する段階を含み、
    前記表示された前記終結した文章を前記取得された翻訳文に置換する段階は、少なくとも一部が前記第２言語の単語に置換された前記終結した文章を前記取得された翻訳文に連続的に置換する段階を含む通訳方法。
  2. 前記受信された音声認識結果を連続的に表示する段階は、
    前記音声認識結果を受信する途中に、現在までに受信された前記音声認識結果中から少なくとも一部を連続的に表示する段階を含み、
    前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、
    前記音声認識結果を表示する途中に、現在までに表示された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章の前記第２言語への翻訳文を取得する段階を含み、
    前記表示された前記終結した文章を前記取得された翻訳文に置換する段階は、
    前記音声認識結果を表示する途中に、前記少なくとも一つ以上の終結した文章を前記取得された翻訳文に置換する段階を含む請求項１に記載の通訳方法。
  3. 前記第１端末から前記音声がエンコードされることによって生成された音声データを連続的に受信する段階、及び
    前記受信された音声データを用いて前記音声を連続的に再生する段階をさらに含み、
    前記受信された音声認識結果を連続的に表示する段階は、
    前記音声を再生する途中に、現在までに受信された前記音声認識結果中から少なくとも一部を連続的に表示する段階を含む請求項１に記載の通訳方法。
  4. 前記第２言語の単語に連続的に置換する段階は、
    前記第１言語で表示された前記それぞれの単語と同一または類似の意味を有する前記第２言語の単語を前記第１端末または第１サーバーから受信する段階、及び
    前記第１言語で表示された前記それぞれの単語を前記受信された第２言語の単語に連続的に置換する段階を含む請求項１に記載の通訳方法。
  5. 前記第２言語の単語に連続的に置換する段階は、
    前記第１言語で表示された前記それぞれの単語を第１サーバーに伝送する段階と、
    前記伝送されたそれぞれの単語と同一または類似の意味を有する前記第２言語の単語を前記第１サーバーから受信する段階、及び
    前記第１言語で表示された前記それぞれの単語を前記受信された第２言語の単語に連続的に置換する段階を含む請求項１に記載の通訳方法。
  6. 前記第２言語の単語に連続的に置換する段階は、
    第１データベースにおいて、前記音声認識結果に含まれたそれぞれの単語を照会する段階と、
    もし前記照会された単語に対応する前記第２言語の単語が前記第１データベース内に存在する場合、前記照会の結果として、前記照会された単語に対応する前記第２言語の単語を前記第１データベースから取得する段階、及び
    前記第１言語で表示された前記照会された単語を前記取得された第２言語の単語に置換する段階を含む請求項１に記載の通訳方法。
  7. 前記第２言語の単語に連続的に置換する段階は、
    第１データベースにおいて、前記音声認識結果に含まれたそれぞれの単語を照会する段階と、
    もし前記照会された単語に対応する前記第２言語の単語が前記第１データベース内に存在しない場合、前記照会された単語を第１サーバーに伝送する段階と、
    前記伝送された単語と同一または類似の意味を有する前記第２言語の単語を前記第１サーバーから受信する段階と、
    前記伝送された単語及び前記受信された第２言語の単語を前記第１データベース内にキャッシュ（ｃａｃｈｅ）する段階、及び
    前記第１言語で表示された前記伝送された単語を前記受信された第２言語の単語に置換する段階をさらに含む請求項１に記載の通訳方法。
  8. 前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、
    前記翻訳文を前記第１端末または第２サーバーから受信する段階を含む請求項１に記載の通訳方法。
  9. 前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、
    前記表示された音声認識結果内から前記終結した文章を検出する段階と、
    前記終結した文章を第２サーバーに伝送する段階、及び
    前記終結した文章の前記第２言語への翻訳文を前記第２サーバーから受信する段階を含む請求項１に記載の通訳方法。
  10. 前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、
    前記表示された音声認識結果内から前記終結した文章を検出する段階と、
    第２データベースにおいて、前記終結した文章を照会する段階、及び
    もし前記終結した文章に対応する前記第２言語への翻訳文が前記第２データベース内に存在する場合、前記照会の結果として、前記終結した文章に対応する前記第２言語への翻訳文を前記第２データベースから取得する段階を含む請求項１に記載の通訳方法。
  11. 前記表示された音声認識結果に含まれた終結した文章の第２言語への翻訳文を取得する段階は、
    前記表示された音声認識結果内から前記終結した文章を検出する段階と、
    第２データベースにおいて、前記終結した文章を照会する段階と、
    もし前記終結した文章に対応する前記第２言語への翻訳文が前記第２データベース内に存在しない場合、前記終結した文章を第２サーバーに伝送する段階と、
    前記終結した文章の前記第２言語への翻訳文を前記第２サーバーから受信する段階、及び
    前記終結した文章及び前記受信された第２言語への翻訳文を前記第２データベース内にキャッシュ（ｃａｃｈｅ）する段階をさらに含む請求項１に記載の通訳方法。
  12. 請求項１に記載の通訳方法をコンピュータで実行させるプログラムが記録されたコンピュータで読み取り可能な記録媒体。
  13. 第１端末が第１言語の音声を連続的に受信する段階と、
    前記受信されている音声を連続的にエンコードする段階と、
    前記エンコードされた音声を第１サーバーに連続的に伝送する段階と、
    前記第１サーバーから前記エンコードされた音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階と、
    前記受信された音声認識結果を第２端末に連続的に伝送する段階と、
    前記第１言語の語順と第２言語の語順の間の類似度が基準値よりも大きければ、前記音声認識結果の各単語を第２サーバーに伝送する段階と、
    前記伝送された各単語と同一又は類似の意味を有する第２言語の単語を前記第２サーバーから受信する段階と、
    前記第２言語の単語を前記第２端末に連続的に伝送する段階と、
    前記受信されている音声内から終結した文章を検出する段階と、
    前記検出された文章に対応する前記第１言語のテキストを第３サーバーに伝送する段階と、
    前記第３サーバーから前記検出された文章の第２言語への翻訳文を前記第２言語のテキストとして受信する段階、及び
    前記受信された翻訳文を前記第２端末に伝送する段階を含む通訳方法。
  14. 前記受信されている音声を連続的にエンコードする段階は、
    前記音声を受信している途中に、現在までに受信された前記音声のうちの少なくとも一部を連続的にエンコードする段階を含み、
    前記エンコードされた音声を第１サーバーに連続的に伝送する段階は、
    前記音声を受信している途中に、現在までエンコードされた前記音声のうちの少なくとも一部を前記第１サーバーに連続的に伝送する段階を含み、
    前記第１サーバーから前記エンコードされた音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階は、
    前記音声を受信している途中に、前記第１サーバーから前記伝送されたエンコードされた音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信する段階を含む請求項１３に記載の通訳方法。
  15. 前記受信された音声認識結果を第２端末に連続的に伝送する段階は、
    前記音声を受信している途中に、前記受信された音声認識結果を前記第２端末に連続的に伝送する段階を含み、
    前記受信されている音声内から終結した文章を検出する段階は、
    前記音声を受信している途中に、現在まで伝送された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章を検出する段階を含み、
    前記検出された文章に対応する前記第１言語のテキストを前記第３サーバーに伝送する段階は、
    前記音声を受信している途中に、前記検出された少なくとも一つ以上の終結した文章に対応する前記第１言語のテキストを前記第３サーバーに伝送する段階を含む請求項１４に記載の通訳方法。
  16. 前記第３サーバーから前記検出された文章の第２言語への翻訳文を前記第２言語のテキストとして受信する段階は、
    前記音声を受信している途中に、前記第３サーバーから前記伝送されたテキストの前記第２言語への翻訳文を前記第２言語のテキストとして受信する段階を含み、
    前記受信された翻訳文を前記第２端末に伝送する段階は、
    前記音声を受信している途中に、前記受信された翻訳文を前記第２端末に伝送する段階を含む請求項１５に記載の通訳方法。
  17. 前記エンコードされた音声を前記第３サーバーに連続的に伝送する段階をさらに含み、
    前記受信された音声認識結果を第２端末に連続的に伝送する段階は、
    前記エンコードされた音声を伝送している途中に、前記受信された音声認識結果を前記第２端末に連続的に伝送する段階を含む請求項１３に記載の通訳方法。
  18. 第１端末から第１言語の音声に対する音声認識結果を第１言語のテキストとして連続的に受信する段階と、
    前記受信された音声認識結果を第２端末に連続的に伝送する段階と、
    前記第１言語の語順と第２言語の語順の間の類似度が基準値よりも大きければ、前記音声認識結果の単語と同一又は類似の意味を有する第２言語の単語を取得する段階と、
    前記第２言語の単語を前記第２端末に連続的に伝送する段階と、
    前記受信された音声認識結果内から終結した文章を検出する段階と、
    前記検出された文章の第２言語への翻訳文を取得する段階、及び
    前記取得された翻訳文を前記第２端末に伝送する段階を含む通訳方法。
  19. 前記受信された音声認識結果を第２端末に連続的に伝送する段階は、
    前記音声認識結果を受信する途中に、現在までに受信された前記音声認識結果中から少なくとも一部を前記第２端末に連続的に伝送する段階を含み、
    前記受信された音声認識結果内から終結した文章を検出する段階は、
    現在までに伝送された前記音声認識結果に含まれた少なくとも一つ以上の終結した文章を検出する段階を含み、
    前記検出された文章の第２言語への翻訳文を取得する段階は、
    前記検出された少なくとも一つ以上の終結した文章の前記第２言語への翻訳文を取得する段階を含み、
    前記取得された翻訳文を前記第２端末に伝送する段階は、
    前記音声認識結果を受信する途中に、前記取得された翻訳文を前記第２端末に伝送する段階を含む請求項１８に記載の通訳方法。
  20. 第１言語の音声を連続的に受信する入力部と、
    前記受信されている音声を連続的にエンコードする制御部、及び
    前記エンコードされた音声を第１サーバーに連続的に伝送する通信部を含み、
    前記通信部は、前記第１サーバーから前記エンコードされた音声に対する音声認識結果を前記第１言語のテキストとして連続的に受信し、
    前記通信部は、前記受信された音声認識結果を第２端末に連続的に伝送し、
    前記第１言語の語順と第２言語の語順の間の類似度が基準値よりも大きければ、前記通信部は、前記音声認識結果の各単語を第２サーバーに伝送し、
    前記通信部は、前記伝送された各単語と同一又は類似の意味を有する第２言語の単語を前記第２サーバーから受信し、
    前記通信部は、前記第２言語の単語を前記第２端末へ連続的に伝送し、
    前記制御部は、前記受信されている音声内から終結した文章を検出し、
    前記通信部は、前記検出された文章に対応する前記第１言語のテキストを第３サーバーに伝送し、
    前記通信部は、前記第３サーバーから前記検出された文章の第２言語への翻訳文を前記第２言語のテキストとして受信し、
    前記通信部は、前記受信された翻訳文を前記第２端末に伝送する通訳装置。
JP2019506184A 2016-08-02 2017-08-02 通訳装置及び方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｔｒａｎｓｌａｔｉｎｇ ａ ｌａｎｇｕａｇｅ） Active JP6987124B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0098659 2016-08-02
KR1020160098659A KR101827773B1 (ko) 2016-08-02 2016-08-02 통역 장치 및 방법
PCT/KR2017/008362 WO2018026200A1 (en) 2016-08-02 2017-08-02 Language translation device and language translation method

Publications (2)

Publication Number Publication Date
JP2019533181A JP2019533181A (ja) 2019-11-14
JP6987124B2 true JP6987124B2 (ja) 2021-12-22

Family

ID=61071755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506184A Active JP6987124B2 (ja) 2016-08-02 2017-08-02 通訳装置及び方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｔｒａｎｓｌａｔｉｎｇ ａ ｌａｎｇｕａｇｅ）

Country Status (5)

Country Link
US (1) US10824820B2 (ja)
EP (1) EP3494489A4 (ja)
JP (1) JP6987124B2 (ja)
KR (1) KR101827773B1 (ja)
WO (1) WO2018026200A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6809005B2 (ja) * 2016-07-07 2021-01-06 富士ゼロックス株式会社 翻訳装置、翻訳システムおよびプログラム
DE102016114265A1 (de) * 2016-08-02 2018-02-08 Claas Selbstfahrende Erntemaschinen Gmbh Verfahren zum zumindest teilweise maschinellen Transferieren einer in einer Quellsprache abgefassten Wortfolge in eine Wortfolge einer Zielsprache
KR101861006B1 (ko) * 2016-08-18 2018-05-28 주식회사 하이퍼커넥트 통역 장치 및 방법
CN108417215A (zh) * 2018-04-27 2018-08-17 三星电子（中国）研发中心 一种播放设备交互方法和装置
CN109286725B (zh) * 2018-10-15 2021-10-19 华为技术有限公司 翻译方法及终端
CN110008468B (zh) * 2019-03-04 2023-08-01 广州虎牙信息科技有限公司 语言系统管理方法、信息转换方法、服务器以及存储介质
KR20220112563A (ko) * 2021-02-04 2022-08-11 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4206972A4 (en) 2021-02-04 2024-05-22 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND ITS CONTROL METHOD
US12028387B2 (en) * 2021-04-07 2024-07-02 Doximity, Inc. Method of adding language interpreter device to video call
CN116070646A (zh) * 2021-11-03 2023-05-05 华为终端有限公司 语言翻译方法及电子设备

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5349368A (en) * 1986-10-24 1994-09-20 Kabushiki Kaisha Toshiba Machine translation method and apparatus
JPH01219952A (ja) * 1988-02-29 1989-09-01 Toshiba Corp 翻訳通信装置
JPH03273449A (ja) * 1990-03-23 1991-12-04 Ricoh Co Ltd 機械翻訳装置
WO2000021232A2 (en) 1998-10-02 2000-04-13 International Business Machines Corporation Conversational browser and conversational systems
JP2001117920A (ja) * 1999-10-15 2001-04-27 Sony Corp 翻訳装置および翻訳方法、並びに記録媒体
JP4073635B2 (ja) * 2000-02-29 2008-04-09 富士通株式会社 中継装置、サーバ装置、端末装置、及びこれを利用した翻訳サーバシステム
WO2002086737A1 (en) * 2001-04-20 2002-10-31 Wordsniffer, Inc. Method and apparatus for integrated, user-directed web site text translation
US20030040899A1 (en) * 2001-08-13 2003-02-27 Ogilvie John W.L. Tools and techniques for reader-guided incremental immersion in a foreign language text
US20030065504A1 (en) * 2001-10-02 2003-04-03 Jessica Kraemer Instant verbal translator
JP2003216607A (ja) * 2002-01-24 2003-07-31 Sharp Corp 電子翻訳装置
US20040030540A1 (en) * 2002-08-07 2004-02-12 Joel Ovil Method and apparatus for language processing
US20050261890A1 (en) * 2004-05-21 2005-11-24 Sterling Robinson Method and apparatus for providing language translation
US7669198B2 (en) * 2004-11-18 2010-02-23 International Business Machines Corporation On-demand translator for localized operating systems
JP4087400B2 (ja) * 2005-09-15 2008-05-21 株式会社東芝 音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム
US8125508B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
US8972268B2 (en) * 2008-04-15 2015-03-03 Facebook, Inc. Enhanced speech-to-speech translation system and methods for adding a new word
US20080221862A1 (en) * 2007-03-09 2008-09-11 Yahoo! Inc. Mobile language interpreter with localization
US8103498B2 (en) * 2007-08-10 2012-01-24 Microsoft Corporation Progressive display rendering of processed text
JP4483909B2 (ja) * 2007-08-24 2010-06-16 富士ゼロックス株式会社 翻訳装置及びプログラム
JP2009093471A (ja) * 2007-10-10 2009-04-30 Brother Ind Ltd 翻訳ニーズ決定方法、翻訳ニーズ決定装置及び翻訳ニーズ決定プログラム
JP5008144B2 (ja) * 2008-02-13 2012-08-22 独立行政法人情報通信研究機構 対訳情報生成装置、対訳情報生成方法、及びプログラム
US20090217196A1 (en) * 2008-02-21 2009-08-27 Globalenglish Corporation Web-Based Tool for Collaborative, Social Learning
US20090265175A1 (en) * 2008-04-16 2009-10-22 Broadcom Coropration Method and system for providing a translation service for a voice channel
US20100030549A1 (en) * 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
KR100998566B1 (ko) * 2008-08-11 2010-12-07 엘지전자 주식회사 음성인식을 이용한 언어 번역 방법 및 장치
US8868430B2 (en) * 2009-01-16 2014-10-21 Sony Corporation Methods, devices, and computer program products for providing real-time language translation capabilities between communication terminals
US8600731B2 (en) * 2009-02-04 2013-12-03 Microsoft Corporation Universal translator
US20100204977A1 (en) * 2009-02-09 2010-08-12 Inventec Corporation Real-time translation system that automatically distinguishes multiple languages and the method thereof
JP2010276869A (ja) * 2009-05-28 2010-12-09 Funai Electric Co Ltd 自動翻訳対応電話機および自動翻訳対応電話システム
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
WO2011033834A1 (ja) * 2009-09-18 2011-03-24 日本電気株式会社 音声翻訳システム、音声翻訳方法および記録媒体
KR101377459B1 (ko) 2009-12-21 2014-03-26 한국전자통신연구원 자동 통역 장치 및 그 방법
US20110246172A1 (en) * 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference
US8885013B2 (en) * 2010-05-12 2014-11-11 Blue Jeans Network, Inc. Systems and methods for novel interactions with participants in videoconference meetings
US8798985B2 (en) * 2010-06-03 2014-08-05 Electronics And Telecommunications Research Institute Interpretation terminals and method for interpretation through communication between interpretation terminals
US8468010B2 (en) * 2010-09-24 2013-06-18 Damaka, Inc. System and method for language translation in a hybrid peer-to-peer environment
US20140358516A1 (en) * 2011-09-29 2014-12-04 Google Inc. Real-time, bi-directional translation
JPWO2013077110A1 (ja) * 2011-11-22 2015-04-27 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 翻訳装置、翻訳システム、翻訳方法およびプログラム
US9679496B2 (en) * 2011-12-01 2017-06-13 Arkady Zilberman Reverse language resonance systems and methods for foreign language acquisition
US9257115B2 (en) * 2012-03-08 2016-02-09 Facebook, Inc. Device for extracting information from a dialog
JP5924677B2 (ja) * 2012-05-30 2016-05-25 国立研究開発法人情報通信研究機構 機械翻訳装置、機械翻訳方法、およびプログラム
US8995948B2 (en) * 2012-08-30 2015-03-31 Blackberry Limited Emergency call forward based on location
US20140142917A1 (en) * 2012-11-19 2014-05-22 Lindsay D'Penha Routing of machine language translation to human language translator
US20140222413A1 (en) * 2013-02-01 2014-08-07 Klip, Inc. Method and user interface for controlling language translations using touch sensitive display screens
US9231898B2 (en) * 2013-02-08 2016-01-05 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
KR102108500B1 (ko) 2013-02-22 2020-05-08 삼성전자 주식회사 번역 기반 통신 서비스 지원 방법 및 시스템과, 이를 지원하는 단말기
US9355094B2 (en) * 2013-08-14 2016-05-31 Google Inc. Motion responsive user interface for realtime language translation
US9600474B2 (en) * 2013-11-08 2017-03-21 Google Inc. User interface for realtime language translation
KR102214178B1 (ko) * 2013-12-13 2021-02-10 한국전자통신연구원 자동 통역 장치 및 방법
US9716939B2 (en) * 2014-01-06 2017-07-25 Harman International Industries, Inc. System and method for user controllable auditory environment customization
US20150229591A1 (en) * 2014-02-10 2015-08-13 Lingo Flip LLC Messaging translation systems and methods
US9614969B2 (en) * 2014-05-27 2017-04-04 Microsoft Technology Licensing, Llc In-call translation
US20160170970A1 (en) * 2014-12-12 2016-06-16 Microsoft Technology Licensing, Llc Translation Control

Also Published As

Publication number Publication date
JP2019533181A (ja) 2019-11-14
EP3494489A4 (en) 2020-03-25
KR101827773B1 (ko) 2018-02-09
US10824820B2 (en) 2020-11-03
US20180039623A1 (en) 2018-02-08
WO2018026200A1 (en) 2018-02-08
EP3494489A1 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
JP6987124B2 (ja) 通訳装置及び方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｔｒａｎｓｌａｔｉｎｇ ａ ｌａｎｇｕａｇｅ）
JP6790234B2 (ja) 通訳装置及び方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｔｒａｎｓｌａｔｉｎｇ ａ ｌａｎｇｕａｇｅ ｉｎｔｏ ａｎｏｔｈｅｒ ｌａｎｇｕａｇｅ）
CN110634483B (zh) 人机交互方法、装置、电子设备及存储介质
KR101917648B1 (ko) 단말 및 그 제어 방법
CN104380375B (zh) 用于从对话中提取信息的设备
US9344878B2 (en) Method and system for operating communication service
US10133546B2 (en) Providing content on multiple devices
US10930278B2 (en) Trigger sound detection in ambient audio to provide related functionality on a user interface
WO2016062073A1 (zh) 即时通讯终端及其信息翻译方法和装置
US20170287465A1 (en) Speech Recognition and Text-to-Speech Learning System
EP2826261B1 (en) Spatial audio signal filtering
US11527251B1 (en) Voice message capturing system
CN111128183B (zh) 语音识别方法、装置和介质
US20210011887A1 (en) Activity query response system
KR20190005103A (ko) 전자기기의 웨이크업 방법, 장치, 디바이스 및 컴퓨터 가독 기억매체
JP2020149054A (ja) スマートマイク制御サーバー及びシステム
CN108073572A (zh) 信息处理方法及其装置、同声翻译系统
KR20200046734A (ko) 강의 콘텐츠 생성 장치 및 이를 위한 방법
CN112581965A (zh) 转写方法、装置、录音笔和存储介质
WO2023040658A1 (zh) 语音交互方法及电子设备
JPWO2020070959A1 (ja) 通訳システム、サーバ装置、配信方法、および記録媒体
JP2020064151A (ja) 再生システムおよびプログラム
TWM553001U (zh) 即時口譯裝置
KR20130116128A (ko) 티티에스를 이용한 음성인식 질의응답 시스템 및 그것의 운영방법
US20210264910A1 (en) User-driven content generation for virtual assistant

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211130

R150 Certificate of patent or registration of utility model

Ref document number: 6987124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150