TWI440346B - 基於開放架構之域相依即時多語系通信服務 - Google Patents

基於開放架構之域相依即時多語系通信服務 Download PDF

Info

Publication number
TWI440346B
TWI440346B TW098114753A TW98114753A TWI440346B TW I440346 B TWI440346 B TW I440346B TW 098114753 A TW098114753 A TW 098114753A TW 98114753 A TW98114753 A TW 98114753A TW I440346 B TWI440346 B TW I440346B
Authority
TW
Taiwan
Prior art keywords
communication
client
translation
private key
language
Prior art date
Application number
TW098114753A
Other languages
English (en)
Other versions
TW201006190A (en
Inventor
Sasha Porto Caskey
Danning Jiang
Wen Liu
David Lubensky
Yong Qin
Andrzej Sakrajda
Cheng Wu
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Publication of TW201006190A publication Critical patent/TW201006190A/zh
Application granted granted Critical
Publication of TWI440346B publication Critical patent/TWI440346B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/104—Grouping of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Machine Translation (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Description

基於開放架構之域相依即時多語系通信服務
本發明係關於多語系通信且詳言之係關於用於即時多語系轉譯通信之系統及方法。
不斷增加的經濟全球化及社會網路連接之風行性造成愈來愈多的在使用不同語言之人們之間發生會談的情形。可藉由交談之主題(域)進一步對參與者進行分組。挑戰在於如何基於興趣群組組織此多語系交談及找到在網際網路上主控此多語系交談之有效方式。
目前不存在對此問題之有效解決方案，且不存在提供實際即時多語系交談環境之服務。現今之語音及語言技術(自動語音辨識、機器轉譯及文字至語音)足夠成熟以幫助在一些定義明確的域中之跨語系交談。然而，具有用於組織此等跨語系交談之開放結構且使開放結構可用於許多人(諸如社會網路連接群組)之挑戰無法由此等技術單獨解決。
在網際網路上在用戶端與伺服器之間的直接通信歸因於同級之間的防火牆及代理伺服器之存在而常常係不可能的。因此，直接用戶端-伺服器鏈路在此種狀況下並非合理的通信手段。基於資料串流的分散式語音辨識(DSR)解決方案不提供控制頻道，因此難以具有動態地選擇不同語言或域之靈活性。
用於即時網路通信之系統及方法提供會期識別符作為用於在用戶端之間的群組通信之公開金鑰，且提供表示複數個用戶端中之每一者之一私密金鑰的一頻道識別符。頻道識別符包括用戶端特定屬性，該等屬性用以指示群組通信之分組準則。基於公開金鑰及私密金鑰組合經由網路建立介於用戶端與服務之間的動態通信鏈路，以使得基於私密金鑰及公開金鑰之屬性而實現群組通信。藉由使用一轉譯服務來轉譯通信，該轉譯服務使用與私密金鑰及公開金鑰組合相關聯的屬性而以指定語言提供回應資訊以實現多語系即時通信。
用於即時多語系通信之系統及方法包括提供表示複數個用戶端中之每一者之私密金鑰之頻道識別符及提供會期識別符作為公開金鑰以用於用戶端通信。藉由使用公開金鑰及私密金鑰組合經由網路建立介於用戶端與服務之間的動態鏈路以用於通信。藉由使用一轉譯服務來轉譯通信，該轉譯服務使用與私密金鑰及公開金鑰組合相關聯的屬性而以指定語言提供回應資訊以實現多語系即時通信。
用於即時多語系通信之方法提供表示複數個用戶端中之每一者之私密金鑰之頻道識別符，其中私密金鑰包括語言之選擇及每一用戶端接收通信之方式。提供會期識別符作為用於在企圖通信之用戶端之間的用戶端通信會期之公開金鑰。藉由使用公開金鑰及私密金鑰組合經由網路建立介於用戶端與服務之間的動態鏈路以用於通信。藉由使用網頁服務而經由網路投送通信。藉由使用由網頁服務所提供之一轉譯服務來轉譯通信，該轉譯服務使用與私密金鑰及公開金鑰組合相關聯的屬性而以指定語言提供回應資訊以實現多語系即時通信。通信及通信之轉譯根據每一用戶端之語言的選擇而經提供至參與會期之所有用戶端。
用於即時多語系通信之系統包括一包括一程式之用戶端器件，該程式經組態以請求會期且產生表示私密金鑰之頻道識別符，其中私密金鑰包括語言之選擇及每一用戶端接收通信之方式。伺服器經由網路連接至用戶端且包括一網頁服務，該網頁服務經組態以提供會期識別符作為用於在企圖通信之用戶端之間的用戶端通信會期之公開金鑰，以使得藉由使用公開金鑰及私密金鑰組合經由網路建立介於用戶端與網頁服務之間的動態鏈路以用於通信。網頁服務經組態以經由網路投送通信。網頁服務包括用於轉譯通信之一轉譯服務，該轉譯服務使用與私密金鑰及公開金鑰組合相關聯的屬性而以指定語言提供回應資訊以實現多語系即時通信。
此等及其他特徵與優點自下文對本發明之說明性實施例的詳細描述將變得顯而易見，將結合所附圖式而閱讀此詳細描述。
本揭示案將在參看下圖對較佳實施例之以下描述中提供細節。
根據本發明之原理，基於開放架構的解決方案經提供用於語言轉譯。在一實施例中，該架構基於網頁服務、軟體系統，該軟體系統支援經由網路(特定言之係網際網路)之可共同操作之互動，包括對防火牆之橫越。開放架構較佳使用公開金鑰(組織者會期ID)及私密金鑰(參與者會期ID)以將每一參與者動態地連接至正確的興趣群組(主題/域群組)。該架構支援經由網際網路或其他網路之語音至語音、文字至文字及文字至語音轉譯系統，該等系統可藉由個人電腦(PC)、個人數位助理(PDA)、行動電話或類似的網路器件自全世界存取。使用公開金鑰及私密金鑰對之基於網頁服務之開放結構經由網際網路或其他網路向許多人提供對即時跨語系交談之存取。
本發明之實施例可採取完全硬體實施例、完全軟體實施例或包括硬體元件與軟體元件兩者之實施例的形式。在一較佳實施例中，本發明以軟體實施，軟體包括(但不限於)韌體、常駐軟體、微碼等。
此外，本發明可採取電腦程式產品之形式，該電腦程式產品可自提供由電腦或任何指令執行系統使用或與其結合使用之程式碼的電腦可用或電腦可讀媒體存取。為此描述之目的，電腦可用或電腦可讀媒體可為可包括、儲存、傳達、傳播或輸送由指令執行系統、裝置或器件使用或與其結合使用之程式的任何裝置。媒體可為電子、磁性、光學、電磁、紅外或半導體系統(或裝置或器件)或傳播媒體。電腦可讀媒體之實例包括半導體或固態記憶體、磁帶、抽取式電腦磁片、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬磁碟及光碟。光碟之當前實例包括緊密光碟-唯讀記憶體(CD-ROM)、緊密光碟-讀取/寫入(CD-R/W)及DVD。
適合於儲存及/或執行程式碼之資料處理系統可包括至少一處理器，其直接或經由系統匯流排間接耦接至記憶體元件。記憶體元件可包括在實際執行程式碼期間所使用之本端記憶體、大容量儲存器及快取記憶體，該等快取記憶體提供至少一些程式碼之暫時儲存以減少在執行期間自大容量儲存器擷取碼之次數。輸入/輸出或I/O器件(包含但不限於，鍵盤、顯示器、指標器件等)可直接或經由介入I/O控制器耦接至該系統。
網路配接器亦可耦接至系統以使得資料處理系統能夠變得經由介入私用或公用網路耦接至其他資料處理系統或遠端印表機或儲存器件。數據機、電纜數據機及乙太網路卡僅為當前可用類型之網路配接器中的少數幾種。
現參看相似數字表示相同或類似元件之圖式且最初參看圖1，系統/方法10包括用於網路之多語系互動之開放架構。提供用於網際網路使用之語音至語音轉譯系統。用戶端12經由網頁服務14與伺服器通信。網頁服務14提供對網際網路服務或其他網路服務之標準化存取。服務較佳可通過所有防火牆，且亦不由平台作業系統及由該應用程式所使用之程式設計語言限制。因此，用戶端12可容易地與伺服器14通信。系統10避免傳輸原始話音資料以降低在用戶端12與伺服器14之間的傳輸位元率。語音特徵在用戶端12處經擷取且發送至伺服器14以執行語音辨識及轉譯16。
在語音辨識組件16之一實例中，相應傳輸位元率在未壓縮的情況下可為(例如)41.6 kbps，其遠低於話音資料之傳輸位元率。由於此程序中未出現失真，因此可保證語音辨識效能。傳輸位元率可藉由使用諸如向量量化(VQ)技術之各種壓縮演算法進一步減小至(例如)4 kbps，且語音辨識效能將受輕微影響。此等位元率說明根據本實施例可達成之減小且不應解釋為限制的。
在本發明之系統10中，藉由僅用於有意義的信號而節省伺服器14資源。此藉由在用戶端12處添加語音分段組件18來達成。當記錄語音信號時，分段組件18偵測在語音流中之語音與靜寂或雜訊之間的邊界。一旦偵測到語音片段，即擷取相關特徵且將其發送至伺服器以取得轉譯結果，且由用戶端12移除靜寂或雜訊片段。
分散式語音辨識(DSR)解決方案係基於藉由標準編解碼器傳輸經擷取之語音特徵而非音訊檔案。由於語音特徵之格式為供應商特定的，因此用於語音至語音轉譯之DSR解決方案藉由使用語音特徵擷取作為加密方法來提供另一水準之安全性。
藉由將基於網頁服務14的DSR方法用於轉譯服務，用戶端應用程式按需選擇適當的轉譯域為方便的。域選擇可經動態地設定為網頁服務輸入參數，且因此其必要時可為語言之選擇。因此基於DSR的網頁服務14方法使得用戶端12能夠按需使用域特定語音至語音轉譯服務。
此架構10可容易地擴展至一狀況，其中多方藉由轉譯服務參與網路連接社區聊天。對於基於DSR的網頁服務模型之情況，聊天組織器20或22將一獨特會期ID(公開金鑰)發送至網頁服務14以用於識別呼叫且將該密鑰廣播至每一參與者或在網路連接社區可存取之位置公布該密鑰。每一個別參與者12藉由將諸如語言、域、位置、使用者ID之屬性附加至公開金鑰來建立頻道ID(私密金鑰)。參與者(12)可將請求與私密金鑰發送至網頁服務14。主控轉譯服務16將基於公開金鑰選擇此等個別方以允許大的呼叫群組。接著，轉譯服務16基於私密金鑰內之關鍵要素將此等個別參與者分類為小群組。舉例而言，說中文者將僅在一群組中，且視域(興趣領域)而定，其進一步被劃分成小群組，諸如「中國北京旅遊」、「中國上海旅遊」。
具有轉譯功能16之網頁服務14將用作智慧型路由代理以在不同域或群組20、22中組織此多語系聊天。經轉譯語調之目的地由原始請求中之屬性及語調之內容(諸如語言及域)動態地確定。舉例而言，說英語之參與者對住在中國東海岸的人有問題，且具有轉譯服務16之網頁服務主機14將最終經轉譯語調發送至具有語言及域之最佳匹配的小群組。因此，此架構10為開放架構。此開放架構使得將此解決方案經由網際網路應用於許多人為可能的。
在說明性實例中，網路連接社區之許多成員或用戶端12希望經由話音、文字或兩者參與關於不同主題之多語系聊天。預期多模態輸入以每一參與者選擇之語言向其呈現。聊天組織器20或22建立獨特會期ID(公開金鑰)且將其提交至網頁服務14以用於註冊呼叫且經由網路連接社區公開宣布該密鑰。個別使用者用戶端12必要時下載用戶端軟體，其包括DSR前端及文字至語音(TTS)合成器。
個別參與者12藉由將所有標記(諸如源語言、目標語言、域、位置、動作ID)附加至公開金鑰而建立個別頻道ID(私密金鑰)。接著，參與者12可將網頁服務請求與其私密金鑰及附屬本體(文字或語音特徵中之話音)發送至主控網頁服務14。網頁服務14可包括經由超文字傳送協定(HTTP)之簡單物件存取協定(SOAP)(XML協定)。網頁服務請求可使用標準HTTP埠，因此其可通過防火牆。
具有轉譯功能16之主控網頁服務14用作智慧型多語系路由代理以動態地將請求傳遞至正確的聊天群組且在選定聊天群組內將輸入以正確語言分散至所有已註冊用戶端。在插圖32中，網頁服務14包括一路由表34，其確保用戶端12根據適當聊天群組20接收適當語言轉譯。在插圖36中，網頁服務14包括一路由表38，其確保用戶端12根據適當聊天群組22接收適當語言轉譯。
主控轉譯服務16將基於公開金鑰選擇此等個別用戶端12以維持大的呼叫群組。轉譯服務基於私密金鑰內之關鍵標記將此等個別參與者分類為小群組。舉例而言，希望對中國人發言者將僅在一大的群組中(目標語言為中文)。視域(主題)而定，此等用戶端視需要進一步被劃分成較小群組。經轉譯語調之目的地將動態地由原始請求中之標記來確定。
參看圖2，說明性地展示在兩個用戶端12(指定為用戶端X與用戶端Y)之間的跨語系聊天。公開金鑰及私密金鑰組合用於建立介於用戶端12與服務110之間的動態鏈路。完全藉由此等密鑰組合定義經提交請求之上下文及待應用於傳遞至用戶端12之資料之篩選程式(filter)。與密鑰組合相關聯的屬性定義待應用於傳遞回用戶端之資料之篩選程式。換言之，私密金鑰以使得彼用戶端能夠接收選定語言之轉譯或特定類型之通信的指定而產生。此對於提供內容之安全性或年齡或類別特定篩選(諸如，針對不適合於兒童之某些通信等等)係有用的。
網頁服務14用作智慧型路由代理且負責分散訊息負載。所有用戶端12藉由輪詢可在輪詢模式112中藉由話音、文字或視訊傳遞之與加入會期群組有關的可用資料、資料源或資訊來訂用特定主題/域。對於存在網路之任何器件(例如，PC、PDA、行動電話等)提供對分散式服務110之動態存取。
可由此動態密鑰組合驅動之網路活動將係在廣泛範圍中，諸如，文字或話音轉譯、跨語言影像及視訊共用、跨語言網際網路競爭。服務110尤其包括分散式語音辨識(DSR)104、機器轉譯(MT)106及文字至語音(TTS)108。
DSR模組104接收藉由標準編解碼器傳輸之諸如頻譜特徵之所擷取語音特徵而非音訊檔案。由於語音特徵之格式為供應商特定的，因此用於語音至語音轉譯之DSR模組104藉由使用語音特徵擷取作為加密方法來提供另一水準之安全性。DSR模組104提供轉譯服務且對於用戶端應用程式按需選擇適當的轉譯域為方便的。域選擇可經動態地設定為網頁服務輸入參數，且因此其可包括語言之選擇。基於DSR的網頁服務14使得用戶端12能夠按需使用域特定語音至語音轉譯服務。
為了進一步說明本發明之優點，將呈現說明性實例。基於動態密鑰組合的方法可用於網際網路上之跨語系個人ID檢查。每一個人ID包括私密金鑰，且對特定群組/域之要求為公開金鑰。此可用於社會網路中以跨語言檢查個人ID且提供安全性(例如)以保護青少年及兒童群組。
在跨語系網路會議呼叫情境中，參與者(用戶端12)可以第一語言發言，且伺服器110可使用第二語言(基於公開金鑰)。每一請求122可經由其私密金鑰呈現所有資訊，且伺服器110可將(例如)文字至語音話音120之經轉譯訊息(語音、文字、視訊)以適當語言(例如，如由使用者選擇之第一語言)分散至個別參與者。以此方式，每一用戶端12可以其母語發言且以彼參與者之母語接收來自其他參與者之回應，即使該等參與者係以其他語言發言。
參看圖3，描述串流模式之例示性實施例的進一步細節，其中資訊(例如)藉由使用網際網路話音協定(VoIP)電話通信而經由網路串流。使用三個ID：用於用戶端X及Y(12)之ID_US、ID_China及用於即時轉譯伺服器(RTTS)310之ID_RTTS。用戶端X及Y可使用使用(例如)VoIP介面之電話介面。ID_China與ID_US兩者已安裝外掛程式302，其允許對所提供網頁服務之存取且藉由允許語音特徵之收集而實現多語系通信之使用。
在美國的使用者(用戶端X)希望對在中國的使用者(用戶端Y)發言。假定其在其個別聯繫人清單中具有所需的ID。用戶端X或ID_US選擇用戶端Y或ID_China且按壓「呼叫按鈕」，其藉由使用聊天應用程式介面(API)303將請求發送至ID_China。ID_China按壓其「接受呼叫」按鈕以指示就緒。在ID_US接收到來自ID_China之應答之後，ID_US將請求發送至用於呼叫排程之RTTS網頁服務318。RTTS網頁服務318將產生具有諸如號碼.001(英語)及號碼.002(中文)(「號碼」可為電話號碼)之語言標記的頻道ID。此等兩個號碼經傳回至ID_US，且此等兩個號碼經傳遞至對話管理器(DM)330。
ID_US將號碼.002(中文)經由聊天API 303傳遞至ID_China。ID_US與ID_China兩者藉由使用個別指派之頻道ID號碼.001及號碼.002而開始呼叫RTTS伺服器310。RTTS會期起始協定(SIP)端點程式328將基於具有語言標記之給定頻道ID而單獨地處置此等兩個來話呼叫。本實例展示網際網路協定連接312且使用會期起始協定(SIP)發信號代理伺服器306及包括編碼器/解碼器(編解碼器)307之快速輸送協定(RTP)代理伺服器308。伺服器310亦說明性地包括SIP代理伺服器314及RTP代理伺服器316以提供在用戶端12與伺服器310之間的適當通信協定。亦預期其他網路協定及硬體。本實施例不應解釋為由所展示之組態限制。
在建立兩個呼叫之後，在兩個用戶端12上之即按即說(P&T)按鈕可指示呼叫就緒狀態。P&T按鈕可作為外掛程式之一部分而產生且可在電腦螢幕上與任何指示符一起產生或該等按鈕及指示符可提供於電話器件上。ID_US按壓P&T按鈕且將音訊串流發送至RTTS 310。在一實例中，音訊流在開始及結束處藉由雙音多頻(DTMF)密鑰封裝。當接收時，音訊流可在音訊緩衝器320中緩衝。
請求亦發送至RTTS網頁服務318以等待文字結果。RTTS 310可將傳入音訊重現至連接至ID_China之頻道。RTTS對話管理器(DM)330將此傳入音訊流發送至轉譯服務模組340。模組340可包括自動語音辨識(ASR)註解器322、即時轉譯(RTT)註解器324及文字至語音(TTS)註解器326。DM 330擷取自彙總器332傳回之文字形式的辨識結果及轉譯結果，只要其可得自訊息提示334即可。DM 330將訊息發送回ID_US。ID_US在其聊天視窗中顯示結果，且同時將此等結果發送至ID_China以用於顯示。此等結果之確認可用於確保訊息經接收。經轉譯之TTS話音就緒DM 330可基於頻道ID經由RTP將話音傳遞至ID_China。ID_China接著可按壓P&T按鈕且交談可繼續。
參看圖4，描述關於網頁服務模式之圖2之例示性實施例的進一步細節。用戶端ID包括ID_US及ID_China。ID_China與ID_US兩者已安裝外掛程式404，其提供所需的功能性以執行介面連接任務，產生指示符等。
美國的使用者(用戶端12)希望與中國的使用者談話。兩個使用者在其個別聯繫人清單中均具有所需的ID。ID_US選擇ID_China且按壓P&T按鈕。ID_US之話音由特徵擷取模組402變換至頻譜/特徵，且該等特徵較佳經由SOAP/HTTP傳輸至RTTS伺服器420。ID_US將開始信號發送至ID_China。ID_China將「取得結果」請求經由SOAP/HTTP發送至RTTS伺服器420。RTTS伺服器420包括網頁服務14，其提供執行辨識、轉譯及TTS之轉譯服務模組440。
模組440可包括分散式語音辨識(DSR)註解器420、文字至語音(TTS)註解器418及即時轉譯器(RTT)註解器416。DM 406擷取自彙總器412傳回之文字形式的辨識結果及轉譯結果，只要其可得自訊息提示414即可。DM 406管理在參與者之間的對話且以文字形式之辨識結果及經轉譯結果對ID_US作出回應。ID_US在其聊天視窗中顯示結果，且同時可使用(例如)即時訊息傳遞(IM)API 407將經轉譯結果發送至ID_China以用於顯示。確認可用於確保訊息經接收。在此實例中，RTTS伺服器440以TTS對ID_China作出回應，且外掛程式404將此TTS重現至ID_China。
儘管已描述基於開放架構之域相依即時多語系通信服務之較佳實施例(其意欲為說明性且非限制性的)，但應注意熟習此項技術者可根據上述教示進行修改及變化。因此應理解，可在所揭示之特定實施例中進行在由所附申請專利範圍所概述之本發明之範疇及精神內的改變。在以細節及專利法所需的特殊性而如此描述本發明之態樣後，所主張及所要由專利證書所保護之內容闡述於所附申請專利範圍中。
10．．．系統/架構
12．．．用戶端/參與者
14．．．網頁服務/伺服器/網頁服務主機/主控網頁服務
16．．．語音辨識組件/主控轉譯服務/轉譯功能
18．．．語音分段組件
20、22．．．聊天組織器
32．．．插圖
34．．．路由表
36．．．插圖
38．．．路由表
104．．．分散式語音辨識(DSR)/DSR模組
106．．．機器轉譯(MT)
108．．．文字至語音(TTS)
110．．．伺服器/分散式服務/服務
112．．．輪詢模式
120．．．文字至語音話音
122．．．請求
302．．．外掛程式
303．．．聊天應用程式介面(API)
306．．．會期起始協定(SIP)發信號代理伺服器
308．．．快速輸送協定(RTP)代理伺服器
312．．．網際網路協定連接
314．．．SIP代理伺服器
316．．．RTP代理伺服器
320．．．音訊緩衝器
322．．．自動語音辨識(ASR)註解器
324．．．即時轉譯(RTT)註解器
326．．．文字至語音(TTS)註解器
328．．．RTTS會期起始協定(SIP)端點程式
330．．．對話管理器(DM)
332．．．彙總器
334．．．訊息提示
340．．．轉譯服務模組
402．．．特徵擷取模組
404．．．外掛程式
406．．．DM
407．．．即時訊息傳遞(IM)API
412．．．彙總器
414．．．訊息提示
416．．．即時轉譯器(RTT)註解器
418．．．文字至語音(TTS)註解器
420．．．RTTS伺服器/分散式語音辨識(DSR)註解器
440．．．轉譯服務模組/RTTS伺服器
圖1為展示根據本發明之原理具有藉由使用具有轉譯之網頁服務以複數個不同語言通信之參與者的即時聊天群組之系統/方法的方塊/流程圖；圖2為展示根據本發明之原理藉由使用具有轉譯之網頁服務以不同語言在兩個用戶端之間進行的即時通信之系統/方法的方塊/流程圖；圖3為展示根據本發明之原理藉由串流資料以不同語言在兩個用戶端之間進行的即時通信之圖2之更多細節之系統/方法的方塊/流程圖；及圖4為根據本發明之原理在網頁服務模式中以不同語言在兩個用戶端之間進行的即時通信之系統/方法的方塊/流程圖。
10．．．系統/架構
12．．．用戶端/參與者
14．．．網頁服務/伺服器/網頁服務主機/主控網頁服務
16．．．語音辨識組件/主控轉譯服務/轉譯功能
18．．．語音分段組件
20、22．．．聊天組織器
32．．．插圖
34．．．路由表
36．．．插圖
38．．．路由表

Claims (24)

  1. 一種用於即時網路通信之方法，其包含：提供一會期識別符作為用於在用戶端之間的群組通信之一公開金鑰；提供表示複數個用戶端中之每一者之一私密金鑰的一頻道識別符，該頻道識別符包括用戶端特定屬性，該等屬性用以指示該群組通信之分組準則；基於該公開金鑰及私密金鑰組合經由一網路建立介於一用戶端與一服務之間的一動態通信鏈路，以使得基於該私密金鑰及該公開金鑰之該等屬性而實現群組通信；及使用一轉譯服務來轉譯通信，該轉譯服務使用與該私密金鑰及該公開金鑰組合相關聯的該等屬性而以一指定語言提供回應資訊以實現多語系即時通信。
  2. 如請求項1之方法，其中轉譯通信包括：轉譯語音、文字及視訊中之至少一者。
  3. 如請求項1之方法，其中根據提供於該私密金鑰中之選擇資訊，針對一用戶端之該回應資訊包括語音、文字及視訊中之一者。
  4. 如請求項1之方法，其中該轉譯服務包括：分散式語音辨識、自動語音辨識、即時轉譯、機器轉譯及文字至語音合成中之至少一者。
  5. 如請求項1之方法，其進一步包含：自一用戶端之語音語調擷取特徵；及將該等語調之聲學特徵發送至該網頁服務。
  6. 如請求項1之方法，其中提供一會期識別符包括：提供用於一聊天群組、一會議呼叫及一電話呼叫中之至少一者之一會期識別符。
  7. 如請求項1之方法，其中提供一頻道識別符包括：將包括語言、域、位置、使用者ID中之一者之該等屬性附加至該公開金鑰。
  8. 一種包含用於即時多語系通信之一電腦可讀程式之電腦可讀媒體，其中該電腦可讀程式在於一電腦上執行時使該電腦執行以下步驟：提供一會期識別符作為用於在用戶端之間的群組通信之一公開金鑰；提供表示複數個用戶端中之每一者之一私密金鑰的一頻道識別符，該頻道識別符包括用戶端特定屬性，該等屬性用以指示該群組通信之分組準則；基於該公開金鑰及私密金鑰組合經由一網路建立介於一用戶端與一服務之間的一動態通信鏈路，以使得基於該私密金鑰及該公開金鑰之該等屬性而實現群組通信；及使用一轉譯服務來轉譯通信，該轉譯服務使用與該私密金鑰及該公開金鑰組合相關聯的該等屬性而以一指定語言提供回應資訊以實現多語系即時通信。
  9. 一種用於即時多語系通信之方法，其包含：提供一會期識別符作為用於在企圖通信之用戶端之間的一用戶端通信會期之一公開金鑰；提供表示複數個用戶端中之每一者之一私密金鑰之一頻道識別符，其中該私密金鑰包括一語言之一選擇及每一用戶端接收通信之一方式；使用該公開金鑰及該私密金鑰組合經由一網路建立介於一用戶端與一服務之間的一動態鏈路以用於通信；使用一網頁服務經由該網路投送通信；使用由該網頁服務所提供之一轉譯服務來轉譯通信，該轉譯服務使用與該私密金鑰及該公開金鑰組合相關聯的屬性而以一指定語言提供回應資訊以實現多語系即時通信；及根據每一用戶端之該語言之該選擇，將該等通信及該等通信之轉譯提供至參與該會期之所有用戶端。
  10. 如請求項9之方法，其中提供一會期識別符包括：提供用於一聊天群組、一會議呼叫及一電話呼叫中之至少一者之一會期識別符。
  11. 如請求項9之方法，其中轉譯通信包括：轉譯語音、文字及視訊中之至少一者。
  12. 如請求項9之方法，其中根據提供於該私密金鑰中之該選擇，針對一用戶端之該回應資訊包括語音、文字及視訊中之一者。
  13. 如請求項9之方法，其中該轉譯服務包括分散式語音辨識、自動語音辨識、即時轉譯、機器轉譯及文字至語音合成中之至少一者。
  14. 如請求項9之方法，其進一步包含：自一用戶端之語音語調擷取特徵；及將該等語調之聲學特徵發送至該網頁服務。
  15. 如請求項9之方法，其中提供一頻道識別符包括：將包括語言、域、位置、使用者ID中之一者之該等屬性附加至該公開金鑰。
  16. 一種包含用於即時多語系通信之一電腦可讀程式之電腦可讀媒體，其中該電腦可讀程式在於一電腦上執行時使該電腦：提供一會期識別符作為用於在企圖通信之用戶端之間的一用戶端通信會期之一公開金鑰；提供表示複數個用戶端中之每一者之一私密金鑰之一頻道識別符，其中該私密金鑰包括一語言之一選擇及每一用戶端接收通信之一方式；使用該公開金鑰及該私密金鑰組合經由一網路建立介於一用戶端與一服務之間的一動態鏈路以用於通信；使用一網頁服務經由該網路投送通信；使用由該網頁服務所提供之一轉譯服務來轉譯通信，該轉譯服務使用與該私密金鑰及該公開金鑰組合相關聯的屬性而以一指定語言提供回應資訊以實現多語系即時通信；及根據每一用戶端之該語言之該選擇，將該等通信及該等通信之轉譯提供至參與該會期之所有用戶端。
  17. 一種用於即時多語系通信之系統，其包含：一用戶端器件，其包括一程式，該程式經組態以請求一會期且產生表示一私密金鑰之一頻道識別符，其中該私密金鑰包括一語言之一選擇及每一用戶端接收通信之一方式；一伺服器，其經由一網路連接至該用戶端且包括一網頁服務，該網頁服務經組態以提供一會期識別符作為用於在企圖通信之用戶端之間的一用戶端通信會期之一公開金鑰，以使得藉由使用該公開金鑰及該私密金鑰組合經由該網路建立介於一用戶端與該網頁服務之間的一動態鏈路以用於通信，該網頁服務經組態以經由該網路投送通信；且該網頁服務包括用於轉譯通信之一轉譯服務，該轉譯服務使用與該私密金鑰及該公開金鑰組合相關聯的屬性而以一指定語言提供回應資訊以實現多語系即時通信。
  18. 如請求項17之系統，其中該伺服器包括一對話管理器，其經組態以管理在該等用戶端之間的該等通信，以使得至參與該會期之所有用戶端的該等通信及該等通信之轉譯係根據每一用戶端之該語言之該選擇。
  19. 如請求項17之系統，其中藉由該私密金鑰及公開金鑰組合定義一經提交請求之一上下文及待應用於傳遞至該用戶端之資料之篩選程式。
  20. 如請求項17之系統，其中與該密鑰組合相關聯的該等屬性定義待應用於傳遞回該用戶端之該資料之篩選程式。
  21. 如請求項17之系統，其中該網頁服務用作一智慧型路由代理且負責分散訊息負載。
  22. 如請求項17之系統，其中在一會期中之該等用戶端藉由輪詢藉由語音、文字及視訊中之至少一者傳遞之資料來訂用一特定主題/域。
  23. 如請求項17之系統，其中該會期包括至少兩個參與者以不同語言發言的一跨語系網路會議呼叫。
  24. 如請求項23之系統，其中一用戶端請求經由該私密金鑰呈現所有資訊，且該伺服器具有與該公開金鑰相關聯的一共同語言且將一經轉譯之訊息以個別參與者之各別語言分散至該等參與者。
TW098114753A 2008-05-01 2009-05-04 基於開放架構之域相依即時多語系通信服務 TWI440346B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/113,567 US8270606B2 (en) 2008-05-01 2008-05-01 Open architecture based domain dependent real time multi-lingual communication service

Publications (2)

Publication Number Publication Date
TW201006190A TW201006190A (en) 2010-02-01
TWI440346B true TWI440346B (zh) 2014-06-01

Family

ID=41255651

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098114753A TWI440346B (zh) 2008-05-01 2009-05-04 基於開放架構之域相依即時多語系通信服務

Country Status (8)

Country Link
US (1) US8270606B2 (zh)
EP (1) EP2274870B1 (zh)
JP (1) JP5536756B2 (zh)
KR (1) KR101442312B1 (zh)
CN (1) CN102017513B (zh)
CA (1) CA2717504C (zh)
TW (1) TWI440346B (zh)
WO (1) WO2009134535A2 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222185B2 (en) 2006-10-26 2022-01-11 Meta Platforms, Inc. Lexicon development via shared translation database
US8972268B2 (en) 2008-04-15 2015-03-03 Facebook, Inc. Enhanced speech-to-speech translation system and methods for adding a new word
US9128926B2 (en) * 2006-10-26 2015-09-08 Facebook, Inc. Simultaneous translation of open domain lectures and speeches
US20100198582A1 (en) * 2009-02-02 2010-08-05 Gregory Walker Johnson Verbal command laptop computer and software
US8060586B2 (en) * 2009-02-03 2011-11-15 Microsoft Corporation Dynamic web service deployment and integration
US9286037B2 (en) 2010-12-29 2016-03-15 Microsoft Technology Licensing, Llc Platform for distributed applications
CN102546710B (zh) * 2010-12-29 2015-07-15 上海博泰悦臻电子设备制造有限公司 基于移动终端登录聊天组的方法、系统及服务器
US9164988B2 (en) * 2011-01-14 2015-10-20 Lionbridge Technologies, Inc. Methods and systems for the dynamic creation of a translated website
US8538742B2 (en) * 2011-05-20 2013-09-17 Google Inc. Feed translation for a social network
US8175244B1 (en) 2011-07-22 2012-05-08 Frankel David P Method and system for tele-conferencing with simultaneous interpretation and automatic floor control
US20130210394A1 (en) * 2012-02-14 2013-08-15 Keyona Juliano Stokes 1800 number that connects to the internet and mobile devises
US8849666B2 (en) * 2012-02-23 2014-09-30 International Business Machines Corporation Conference call service with speech processing for heavily accented speakers
US9569274B2 (en) 2012-10-16 2017-02-14 Microsoft Technology Licensing, Llc Distributed application optimization using service groups
US9031827B2 (en) 2012-11-30 2015-05-12 Zip DX LLC Multi-lingual conference bridge with cues and method of use
TW201430593A (zh) * 2013-01-25 2014-08-01 Hon Hai Prec Ind Co Ltd 多國語言網頁轉換系統及方法
US9231898B2 (en) 2013-02-08 2016-01-05 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US8996352B2 (en) 2013-02-08 2015-03-31 Machine Zone, Inc. Systems and methods for correcting translations in multi-user multi-lingual communications
US10650103B2 (en) 2013-02-08 2020-05-12 Mz Ip Holdings, Llc Systems and methods for incentivizing user feedback for translation processing
US8990068B2 (en) 2013-02-08 2015-03-24 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US9031829B2 (en) 2013-02-08 2015-05-12 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US9600473B2 (en) 2013-02-08 2017-03-21 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US8996355B2 (en) * 2013-02-08 2015-03-31 Machine Zone, Inc. Systems and methods for reviewing histories of text messages from multi-user multi-lingual communications
US9298703B2 (en) 2013-02-08 2016-03-29 Machine Zone, Inc. Systems and methods for incentivizing user feedback for translation processing
US9299358B2 (en) * 2013-08-07 2016-03-29 Vonage America Inc. Method and apparatus for voice modification during a call
US9728202B2 (en) 2013-08-07 2017-08-08 Vonage America Inc. Method and apparatus for voice modification during a call
KR101834546B1 (ko) * 2013-08-28 2018-04-13 한국전자통신연구원 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
US20160277418A1 (en) * 2013-10-28 2016-09-22 Nec Corporation Security management according to location change in proximity based services
US10199035B2 (en) 2013-11-22 2019-02-05 Nuance Communications, Inc. Multi-channel speech recognition
US11817963B2 (en) * 2013-12-24 2023-11-14 Zoom Video Communications, Inc. Streaming secondary device content to devices connected to a web conference
US20160014059A1 (en) * 2015-09-30 2016-01-14 Yogesh Chunilal Rathod Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call
US10162811B2 (en) 2014-10-17 2018-12-25 Mz Ip Holdings, Llc Systems and methods for language detection
US9372848B2 (en) 2014-10-17 2016-06-21 Machine Zone, Inc. Systems and methods for language detection
US10147421B2 (en) 2014-12-16 2018-12-04 Microcoft Technology Licensing, Llc Digital assistant voice input integration
US9389928B1 (en) 2015-02-11 2016-07-12 Microsoft Technology Licensing, Llc Platform for extension interaction with applications
US10133613B2 (en) * 2015-05-14 2018-11-20 Microsoft Technology Licensing, Llc Digital assistant extensibility to third party applications
CN106507021A (zh) * 2015-09-07 2017-03-15 腾讯科技（深圳）有限公司 视频处理方法及终端设备
US9569736B1 (en) * 2015-09-16 2017-02-14 Siemens Healthcare Gmbh Intelligent medical image landmark detection
US10765956B2 (en) 2016-01-07 2020-09-08 Machine Zone Inc. Named entity recognition on chat data
US9997173B2 (en) * 2016-03-14 2018-06-12 Apple Inc. System and method for performing automatic gain control using an accelerometer in a headset
KR101672300B1 (ko) * 2016-04-18 2016-11-03 주식회사 앰버스 언어 학습을 위한 채팅 방법 및 채팅 시스템
US20170365249A1 (en) * 2016-06-21 2017-12-21 Apple Inc. System and method of performing automatic speech recognition using end-pointing markers generated using accelerometer-based voice activity detector
CN107819593B (zh) * 2016-09-14 2021-09-03 北京京东尚科信息技术有限公司 智能设备群组通信的方法、系统以及终端设备
US10769387B2 (en) 2017-09-21 2020-09-08 Mz Ip Holdings, Llc System and method for translating chat messages
CN109218038B (zh) * 2018-09-05 2022-03-01 四川译讯信息科技有限公司 一种多语言即时会话平台
WO2020070959A1 (ja) * 2018-10-05 2020-04-09 株式会社Ａｂｅｌｏｎ 通訳システム、サーバ装置、配信方法、および記録媒体
US11475875B2 (en) * 2018-10-26 2022-10-18 Sriram Chakravarthy Method and system for implementing language neutral virtual assistant
CN111428521B (zh) * 2020-03-23 2022-03-15 合肥联宝信息技术有限公司 一种数据处理方法及电子设备
US20220215857A1 (en) * 2021-01-05 2022-07-07 Electronics And Telecommunications Research Institute System, user terminal, and method for providing automatic interpretation service based on speaker separation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715466A (en) * 1995-02-14 1998-02-03 Compuserve Incorporated System for parallel foreign language communication over a computer network
US5987401A (en) * 1995-12-08 1999-11-16 Apple Computer, Inc. Language translation for real-time text-based conversations
US6424992B2 (en) * 1996-12-23 2002-07-23 International Business Machines Corporation Affinity-based router and routing method
US7047416B2 (en) * 1998-11-09 2006-05-16 First Data Corporation Account-based digital signature (ABDS) system
AU2001257573A1 (en) * 2000-02-11 2001-08-20 Verimatrix, Inc. Web based human services conferencing network
JP2001325202A (ja) * 2000-05-12 2001-11-22 Sega Corp 仮想空間の会話方法及びそのシステム
US20020026757A1 (en) * 2000-05-15 2002-03-07 Scissom James D. Access floor system
US7792676B2 (en) * 2000-10-25 2010-09-07 Robert Glenn Klinefelter System, method, and apparatus for providing interpretive communication on a network
US7035804B2 (en) * 2001-04-26 2006-04-25 Stenograph, L.L.C. Systems and methods for automated audio transcription, translation, and transfer
US9626667B2 (en) * 2005-10-18 2017-04-18 Intertrust Technologies Corporation Digital rights management engine systems and methods
JP4299320B2 (ja) * 2006-06-06 2009-07-22 株式会社エヌ・ティ・ティ・ドコモ グループ通信サーバ
US20080004880A1 (en) * 2006-06-15 2008-01-03 Microsoft Corporation Personalized speech services across a network
US20080300852A1 (en) * 2007-05-30 2008-12-04 David Johnson Multi-Lingual Conference Call
US8220040B2 (en) * 2008-01-08 2012-07-10 International Business Machines Corporation Verifying that group membership requirements are met by users

Also Published As

Publication number Publication date
KR101442312B1 (ko) 2014-11-03
EP2274870B1 (en) 2016-09-07
CN102017513A (zh) 2011-04-13
CN102017513B (zh) 2013-05-22
EP2274870A2 (en) 2011-01-19
US8270606B2 (en) 2012-09-18
US20090274299A1 (en) 2009-11-05
WO2009134535A2 (en) 2009-11-05
CA2717504A1 (en) 2009-11-05
JP2011520353A (ja) 2011-07-14
KR20110008211A (ko) 2011-01-26
CA2717504C (en) 2017-09-19
EP2274870A4 (en) 2015-08-05
WO2009134535A3 (en) 2010-01-07
TW201006190A (en) 2010-02-01
JP5536756B2 (ja) 2014-07-02

Similar Documents

Publication Publication Date Title
TWI440346B (zh) 基於開放架構之域相依即時多語系通信服務
CN107682657B (zh) 一种基于WebRTC的多人语音视频通话方法及系统
CN111935443B (zh) 一种视频会议实时直播分享到即时通讯工具的方法和装置
KR100985612B1 (ko) 동적 다중 파티의 다중 매체 통신 세션의 자동 조정의 컴퓨터 구현 방법, 동적 다중 파티의 다중 매체 통신 세션을 자동 조정하는 장치 및 컴퓨터 판독가능 매체
US20050206721A1 (en) Method and apparatus for disseminating information associated with an active conference participant to other conference participants
NO325064B1 (no) Kommunikasjonsklient
US20110224969A1 (en) Method, a Media Server, Computer Program and Computer Program Product For Combining a Speech Related to a Voice Over IP Voice Communication Session Between User Equipments, in Combination With Web Based Applications
US20240205328A1 (en) Method for controlling a real-time conversation and real-time communication and collaboration platform
US8971217B2 (en) Transmitting packet-based data items
Fowdur et al. Performance analysis of webrtc and sip-based audio and video communication systems
Rosas et al. Videoconference system based on WebRTC with access to the PSTN
EP2351022A1 (en) Method, a media server, computer program and computer program product for combining a speech related to a voice over ip voice communication session between user equipments, in combination with web based applications
JP2009539313A (ja) 向上したネットワーク通信
CN112839192A (zh) 基于浏览器的音视频通讯系统及方法
Kasetwar et al. A WebRTC based video conferencing system with screen sharing
Lewis et al. SoftBridge: a multimodal instant messaging bridging system
KR101089444B1 (ko) 소프트폰 사용자 감정 표현 시스템 및 방법
KR100779131B1 (ko) 무선 음성패킷망용 단말기를 이용한 회의 기록 시스템 및방법
KR20020036009A (ko) 통신망을 통해 음성을 송수신하는 방법 및 그 기록 매체
Westerink et al. A high level flexible framework for building multi-platform multi-media streaming applications
CN116455879A (zh) 基于freeswitch与WebRTC技术进行NLP实时测试方法、装置、介质及设备
WO2024050487A1 (en) Systems and methods for substantially real-time speech, transcription, and translation
CN116074443A (zh) 一种基于语音转文字的客服方法、系统、设备及存储介质
Yi et al. Automatic voice relay with open source Kiara
WO2022268911A1 (fr) Methode pour acheminer un contenu numerique multimedia en temps reel a partir d'une fonction d'adressage et d'equipements de traduction

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees