TWI594611B - 智慧對話方法和使用所述方法的電子裝置 - Google Patents

智慧對話方法和使用所述方法的電子裝置 Download PDF

Info

Publication number
TWI594611B
TWI594611B TW104105290A TW104105290A TWI594611B TW I594611 B TWI594611 B TW I594611B TW 104105290 A TW104105290 A TW 104105290A TW 104105290 A TW104105290 A TW 104105290A TW I594611 B TWI594611 B TW I594611B
Authority
TW
Taiwan
Prior art keywords
communication
recipient
type
voice
communication type
Prior art date
Application number
TW104105290A
Other languages
English (en)
Other versions
TW201541930A (zh
Inventor
文平 應
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201541930A publication Critical patent/TW201541930A/zh
Application granted granted Critical
Publication of TWI594611B publication Critical patent/TWI594611B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/56—Unified messaging, e.g. interactions between e-mail, instant messaging or converged IP messaging [CPM]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/066—Format adaptation, e.g. format conversion or compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)

Description

智慧對話方法和使用所述方法的電子裝置 【相關申請案的交叉參考】
本申請案主張2014年2月21日申請的第61/942,623號美國臨時申請案的優先權權益。上述專利申請案的全部內容特此以引用方式併入本文中並形成本說明書的一部分。
本揭露涉及智慧對話方法和使用所述方法的電子裝置。
例如智慧型電話等小型通信裝置可提供過多的方式來允許智慧型電話的使用者進行通信，範圍從常規電話呼叫到較現代的方式，例如，文本消息傳遞、即時消息傳遞、進行網際網路協定語音(VoIP)對話等。現代電子裝置的通信可劃分為以下這些類型中的至少一個：電路交換式(Circuit-Switched,CS)語音呼叫、短消息傳遞服務(Short Messaging Service,SMS)、即時消息傳遞(Instant Messaging,IM)(例如，ICQ、AOL、MSN信使、Line 等)、VoIP語音呼叫(例如，使用例如Line或Skype等專有軟體而進行的呼叫)和視頻呼叫。
雖然例如基於SMS和IM的對話等存儲轉發式(store-and-forward)對話可被視為較不具侵入性，但例如CS語音呼叫、VoIP呼叫或視頻呼叫等多數即時對話可被視為具侵入性。舉例來說，當接收者在接收到呼叫時是需要全神貫注(例如，駕駛汽車或操作重型機械)的時候，上述即時對話可為是侵入性的。類似地，接收者可能發現自己處於不適合參與即時對話(例如，接收者正在開會、處於電影院中、看醫生、約會等)的境況下。且，接收者可能處於接收者根本不能夠接收通信(例如，當接收者正在睡覺、坐在牙醫診療椅上、被麻醉等)的境況下。在這些不適宜的境況下，可由於不能夠或不願意即時地參與對話而錯過或延遲重要呼叫。
此外，接收者可能偏好除對話的起始者使用的類型外的不同的(上述的)類型的對話。舉例來說，當呼叫者呼叫被呼叫方時，呼叫可為通過從電話呼叫介面撥號而起始的CS語音呼叫類型的對話，且被呼叫方將需要從電話呼叫使用者介面(UI)接收電話呼叫而進行CS語音呼叫服務。換句話說，被呼叫方的電子裝置實際上不可以選擇即時地使用服務不同類型的通信的UI或直接應答CS呼叫。按照慣例，接收者可需要首先手動地拒絕或不應答CS呼叫且通過使用例如即時消息等另一通信方式而將消息發射回發送者。另舉例來說，當呼叫者將文本消息(其為SMS類型的通 信)發送到被呼叫方時，被呼叫方將需要從服務SMS類型的通信的使用者介面接收文本消息。換句話說，被呼叫方的電子裝置不可以選擇使用服務不同類型的通信的UI來參與傳入的文本消息。
因此，本揭露涉及智慧對話方法和使用所述方法的電子裝置。
在示範性實施例中的一者中，本揭露涉及一種電子裝置，其包含至少(但不限於)：發射器，用於發射信號；接收器，用於接收信號；以及處理器，電耦接到所述發射器和所述接收器。所述處理器經配置以至少：經由接收器而以第一通信類型接收第一通信且確定接收者狀態；基於所述接收者狀態而將第二通信類型確定為最佳通信類型；將所述第一通信轉換為適用於所述第二通信類型的第二通信；以及經由發射器而以所述第二通信類型發射所述第二通信。
在示範性實施例中的一者中，本揭露涉及一種智慧對話方法，其至少包含(但不限於)：經由接收器而以第一通信類型接收第一通信且確定接收者狀態；基於所述接收者狀態而將第二通信類型確定為最佳通信類型；將所述第一通信轉換為適用於所述第二通信類型的第二通信；以及經由發射器而以所述第二通信類型發射所述第二通信。
為了使本揭露的上述特徵和優點可理解，下文詳細描述 伴隨著圖式的示範性實施例。應理解，以上一般描述和以下詳細描述都是示範性的，且希望進一步解釋如所主張的本揭露。
然而，應理解，此概述可能不含有本揭露的所有方面和實施例，且因此並不意味以任何方式為限制性的。而且，本揭露將包含對於所屬領域的技術人員來說明顯的改進和修改。
101‧‧‧輸入/輸出介面
102‧‧‧視頻
103‧‧‧語音
104‧‧‧SMS
105‧‧‧IM
106‧‧‧介面控制器
107‧‧‧交互工作功能
108‧‧‧通信決策資料庫
109‧‧‧感測器中樞
110‧‧‧自動話音識別(ASR)引擎
111‧‧‧文本到話音(TTS)引擎
112‧‧‧個性化話音/TTS資料庫
113‧‧‧虛擬形象資料庫
201‧‧‧傳入的社交通信請求
202‧‧‧資料庫和智慧邏輯
S211~S216‧‧‧步驟
S31~S33、S33a、S34a~S34c、S35a~S35c、S36a~S36c‧‧‧步驟
S41、S42a、S42b、S42a2、S43、S44a~S44d、S45a~S45d‧‧‧步驟
S51~S53、S54a~S54c、S55a~S55c、S56a~S56c‧‧‧步驟
606‧‧‧介面控制器
607‧‧‧交互工作功能
609‧‧‧感測器中樞
650‧‧‧日曆應用
651‧‧‧位置與定位單元
S711~S714‧‧‧步驟
包含附圖以便進一步理解本揭露，且附圖併入本說明書中並構成本說明書的一部分。所述圖式說明本揭露的實施例，且與描述一起用以解釋本揭露的原理。
圖1為說明根據本揭露的示範性實施例中的一者的具有智慧對話能力的電子裝置的功能框圖。
圖2為說明根據本揭露的示範性實施例中的一者的智慧對話方法的流程圖。
圖3說明根據本揭露的示範性實施例中的一者的第一示範性實施例。
圖4說明根據本揭露的示範性實施例中的一者的第二示範性實施例。
圖5說明根據本揭露的示範性實施例中的一者的第三示範性實施例。
圖6說明根據本揭露的示範性實施例中的一者的第四示範性 實施例。
圖7為說明根據本揭露的示範性實施例中的一者的智慧對話方法的流程圖。
現將詳細參考本揭露的示範性實施例，其實例在附圖中得以說明。只要有可能，相同元件符號在圖式和描述中用來表示相同或相似部分。
為了解決上述問題，本揭露提出一種具有智慧對話能力的電子裝置，其在移動電子裝置的觸控式螢幕上提供接收者狀態控制式對話使用者介面(UI)。
本揭露描述一種通信範例，其允許接收者在所述接收從通信的發送者或起始者接收到所述通信時選擇所要通信類型，且由所述接收者進行的所述選擇可獨立於由起始所述通信的所述發送者使用的所述通信類型。所述通信類型的所述選擇可在以下意義上為手動的：所述接收者可手動地選擇所述通信類型以從所述移動電子裝置內的使用者介面或通過在所述移動電子裝置內的不同使用者介面之間切換而對所述發送者進行答覆。
所述通信類型的所述選擇還可在以下意義上為自動的：傳入的通信的接收者所使用的電子裝置可根據一組參數而自動地為所述接收者選擇最佳通信類型。所述一組參數可至少含有(但不限於)：接收者的預定偏好設置、接收者的就緒度或狀態設置、 電子裝置所檢測的就緒度或狀態、移動電子裝置的感測器(G感測器、溫度感測器、運動感測器、紅外線感測器、聲音感測器等)所檢測的資料讀數、當前時間或日期，以及發送者的資訊或簡檔。基於一個參數或不同參數的組合，接收者的移動電子裝置可為接收者自動地選擇最佳通信類型。
在來自發送者的通信的傳入之前以及回應於來自發送者傳入的通信，自動選擇都可基於上述任一組參數而由移動電子裝置進行。這意味在發生通信時，通信類型可自動地切換。然而，通信類型還可基於境況的改變，而在通信之前或之後自動地改變回應於移動電子裝置已確定所述一組參數中的至少一個參數已改變，且接著作為響應已確定另一最佳通信類型。
通過手動地選擇通信類型，根據一個示範性實施例，移動電子裝置可在通信期間自動地重新選擇另一通信類型。根據另一示範性實施例，通過進行手動選擇，將防止電子裝置在通信之前或之後進行自動選擇。類似地，如果移動電子裝置經配置以自動地選擇最佳通信類型，那麼將不妨礙接收者進行手動選擇。
通過聚集多個對話流，上述新穎範例可甚至超出一對一對話而擴展到一對多對話或多對多對話。將在下文中描述上述概念的詳細實施例。
圖1為根據本揭露的示範性實施例中的一者的示範性電子裝置的範例的功能框。示範性電子裝置可為智慧型電話、臺式PC、非移動裝置或例如基站、中繼站、伺服器、閘道和網路控制 器等網路元件。示範性電子裝置還可為例如智慧手錶等可穿戴裝置。功能框中的每一者可由軟體或硬體或兩者的組合實施。對於所屬領域的技術人員來說將顯而易見的是，圖1的各種功能框可由移動電子裝置中一般所熟知的硬體元件(例如，微處理器、控制器、通信介面、收發器、感測器、顯示器等)實施。
功能框含有至少(但不限於)輸入/輸出介面101，其可至少包含例如顯示器、揚聲器、麥克風等元件。功能框還將含有各種通信資源，包含視頻102、語音103、SMS 104和IM 105。視頻資源102的實施方案可涉及視頻相機和揚聲器，語音資源103可涉及麥克風和揚聲器，且SMS資源104和IM資源105的實施方案可涉及實際鍵盤或虛擬鍵盤。這些通信資源可經由發射器或接收器來發射或接收。這些通信資源可存儲在非易失性或易失性記憶體中或直接從緩衝器接收。這些通信資源還可存儲在並非通信裝置本身的位置(例如，雲伺服器)中。
功能框還含有交互工作功能107、自動話音識別(automatic speech recognition,ASR)引擎110、文本到話音(text to speech,TTS)引擎111、個性化話音/TTS資料庫112和虛擬形象資料庫113。ASR引擎110將作為輸入的數位化話音轉換為文本。數位化話音和經轉換的文本不限於任何特定語言。TTS引擎111將接收文本作為輸入，且將文本轉換為合成話音而作為輸出。個性化話音/TTS資料庫112電耦接到TTS引擎111，且將為含有關於如何將文本轉換為話音或將話音轉換為文本的個人偏好的資 料庫。舉例來說，個性化話音資料庫可包含已知呼叫者的話音模型檔，其可用於改進傳入的語音的識別率，而個性化TTS資料庫可包含話音模型檔，其可類比發送者的聲道和話音基音/節奏或給出特定類型的語音(例如，男性語音、女性語音、高音調語音、低音調語音等)。虛擬形象資料庫113將含有發送者/呼叫者的靜態圖像或運動圖像表示的連絡人的虛擬形象，其可與合成語音(TTS)對口型。交互工作功能107會將自動話音識別(ASR)引擎110、文本到話音(TTS)引擎111、個性化話音/TTS資料庫112和虛擬形象資料庫113與通信資源102、103、104和105電耦接。
因為一種通信類型的第一內容被轉換為另一通信類型的第二內容，所以交互工作功能107將在轉換過程期間充當邏輯媒介和連接媒介。交互工作功能107可由微處理器或微控制器實施。舉例來說，視頻資源102可為發送者本地硬碟中所存儲的視頻，且發送者視頻可即時地接收自輸入/輸出介面101，且交互工作功能107將接著接收發送者視頻，且將發送者視頻遞送到ASR引擎110。ASR引擎將從發送者視頻提取話音以轉換為文本。類似地，從SMS資源104和IM資源105接收的文本可經由交互工作功能107而轉換為即時話音。
圖1的功能框將還至少含有(但不限於)介面控制器106、通信決策資料庫108和感測器中樞109。介面控制器將電耦接到輸入/輸出介面101、交互工作功能107、通信決策資料庫和感測器中樞109。介面控制器106可擁有裝置I/O能力。感測器中樞 將包含一個或多於一個感測器，例如，G感測器、溫度感測器、運動感測器、紅外線感測器、壓力感測器等。通信決策資料庫108將含有使用者的預定偏好設置，且預定偏好設置可與來自感測器中樞109的輸出、時間資訊和日曆資訊一起併入，以由介面控制器106用來確定最佳通信類型。當已確定最佳通信類型時，介面控制器106可接著經由交互工作功能107來協調以將輸入從一種通信類型轉換為另一通信類型。
本揭露還提供適用於電子裝置的智慧對話方法。圖2為說明在存在傳入的社交通信請求(例如，CS語音呼叫、VoIP呼叫、視頻呼叫、IM、SMS等)時的所提出的智慧對話方法的流程圖。圖2的流程圖可(例如)由至少(但不限於)圖1的介面控制器106實施。
由於步驟S211到S216，智慧對話方法將接收傳入的社交通信請求201以由資料庫和智慧邏輯電路202轉換為不同的通信類型的輸出(未圖示)在步驟S211中，介面控制器106可用於確定可即時地從輸入/輸出介面101接收的請求的通信類型或用於確定可為已在本機存放區或在雲存儲裝置中存儲的資料的請求的通信類型。回應於步驟S211，資料庫和智慧邏輯202將確定接收通信請求的裝置的最佳通信類型。在步驟S212中，資料庫和智慧邏輯202將獲得參數，例如，經由感測器中樞109而獲得的接收者的運動狀態、社交通信請求201的起始者的對等資訊、日曆資訊和從介面控制器106輸入的信令。從介面控制器106輸入信令可 用於指示這整個裝置上的I/O介面可用性。介面控制器106可因此在可從其它輸入確定最佳對話模式之前向資料庫和智慧邏輯202通知裝置能夠將什麼對話方法提供給使用者。
這些參數中的多個中的一者可已存儲在資料庫和智慧邏輯202內或必須在外部獲得。舉例來說，來自感測器中樞109的讀數可指示接收者正經歷高速運動，且因此將不處於最適用于執行文本訊息傳遞的境遇下。日曆資訊可指示接收者當前正在開會。對等資訊可指示請求201的起始者並非參與實際對話的好夥伴。在步驟S213中，資料庫和智慧邏輯202將獲得接收者的預定偏好，且預定偏好可含有一組規則，例如，應使用某些通信類型的時間或日期、將適用於某些對等體的某些通信類型等。基於因不需要以任何特定次序執行的步驟S212和S213而收集的參數，在步驟S214中，資料庫和智慧邏輯202將確定最佳通信類型。
在步驟S215中，介面控制器106將在必要時執行從一種通信類型到另一通信類型的後續轉換。當最佳通信類型與請求201的起始者的通信類型相同時，不需要轉換。且，資料庫和智慧邏輯202可獲得從指示這整個裝置上的I/O介面可用性的信令指示符接收的資訊，以便確定步驟S216的接收者通信自我調整流。否則，在步驟S216中，將由交互工作功能進行兩種不同通信類型之間的轉換以產生通信自我調整流。舉例來說，在步驟S126中，如果請求201呈視頻呼叫的形式，那麼接收者通信自我調整流1、2和3可分別為CS語音呼叫/VoIP語音呼叫、文本消息或即時消息。 步驟S215中接收者通信自我調整流的決策可基於I/O介面可用性指示符。舉例來說，如果僅CS語音呼叫/VoIP語音呼叫可用，那麼將選擇接收者通信自我調整流1。為了更詳細地闡明圖1和圖2，本揭露提供將如下描述的將由圖3到圖6展示的四個示範性實施例。
圖3將第一實施例說明為接收者在接收到CS語音呼叫時正在開會但決定使用SMS介面參與對話的假設情形。在步驟S31中，通過來自輸入/輸出介面101(例如，揚聲器)的CS語音警報通知接收者傳入的CS語音呼叫正來臨。在步驟S32中，接收者從UI手動地選擇以文本答覆傳入的CS語音呼叫，所述文本可例如為“你好”。應注意，接收者可選擇以語音呼叫的形式或以文本消息的形式接收CS語音呼叫。舉例來說，如果接收者正在開會，那麼接收者可通過使用耳機而收聽語音呼叫或可從顯示器查看從CS語音呼叫轉換的文本。但在這個實例中，接收者選擇以文本形式聽取CS語音呼叫。在步驟S33中，介面控制器106接收CS語音呼叫且與涉及後續通信類型轉換的交互工作功能107協調。在步驟S34a中，回應於接收者通過發送文本而應答CS語音呼叫，介面控制器106將與交互工作功能107協調以從文本通信類型轉換為語音通信類型。在步驟S34b中，文本將由TTS引擎111根據個性化TTS資料庫112中所存儲的偏好設置而轉換為合成話音。在步驟S34c中，合成話音“你好”將由交互工作功能107遞送到語音資源103，其可為針對語音資料而暫時分配的存儲緩衝器。合 成話音將最終經由無線介面(未圖示)發射到CS語音呼叫的起始者(約翰)。
假設回應於從接收者接收到“你好”，約翰對接收者說出語句，且語句被數位化。在步驟S35a中，資料化語句存儲在語音資源103中且被遞送到交互工作功能107以進行轉換。在步驟S35b中，數位化語句被遞送到ASR引擎110以加以識別。ASR引擎110可為接收者的移動電子裝置本身的或處於裝置外部。在處於裝置外部的狀況下，數位化語句將經由無線介面而發射到外部裝置位置。在已完成從數位化語句到文本的轉換之後，在步驟S35c中，文本將被遞送到SMS資源104以便由輸入/輸出介面101(例如，顯示器)顯示。在步驟S36a中，接收者鍵入數位化答覆。在步驟S36b中，數位化答覆被遞送到TTS引擎111且轉換為話音答覆。在步驟S36c中，話音答覆在介面控制器106的協調下經由交互工作功能107而遞送到約翰。
根據圖3的第一替代實施例，在步驟S32中，代替手動地選擇SMS介面來進行答覆，介面控制器106可改為自動地為接收者作出選擇。選擇過程可基於類似於圖2的過程。舉例來說，介面控制器106可實施資料庫和選擇邏輯202，或從介面控制器外部的資料庫和選擇邏輯202接收確定：接收者的最佳通信類型為文本消息類型。所述確定可基於指示此時的接收者很可能正在開會的來自日曆應用的資訊而作出。因此，第一替代實施例與第一替代實施例之間的差異在於最佳通信類型是自動地確定而不是手 動地確定。
根據圖3的第二替代實施例，不僅自動地確定最佳通信類型，而且可在對話之前、在對話期間和在對話之後動態地改變最佳通信類型。明確地說，在步驟S33a中，可擁有裝置I/O能力的介面控制器可與智慧邏輯和通信決策資料庫交互，以確定是否動態地改變最佳通信類型。舉例來說，假設在呼叫者與被呼叫方之間的語音對話的過程中，資料庫和智慧邏輯202可確定被呼叫方將突然不能夠保持語音對話。在這種狀況下，智慧邏輯202將自動地使介面控制器106能夠與交互工作功能107協調以實施步驟S35a、S35b、S35c、S36a、S36b和S36c。
圖4將第二示範性實施例說明為接收者正在駕駛但已手動地選擇以純語音(voice-only)介面答覆所有對話而不管傳入的通信類型的情形。在步驟S41中，在接收者為駕駛員時，接收者已手動地預定使用語音介面以參與所有對話，這是因為，在接收者正在駕駛時，接收者將被視為不適於參與文本消息傳遞的良好境遇下。
假設接收者已接收到SMS消息，在步驟S42a中，介面控制器106已知曉接收者的決策，且因此在步驟S42b中與交互工作功能107協調以在SMS消息通信類型與語音通信類型之間進行轉換。在步驟S43中，交互工作功能107從發送者(約翰)獲得SMS文本消息。在步驟S44a中，交互工作功能將SMS文本消息遞送到TTS引擎111，且TTS引擎111從來自約翰的SMS文本消 息產生合成的傳入的話音(TTS資料庫可含有約翰的話音模型，其允許TTS引擎合成話音與約翰的語音)。在步驟S44b中，合成的傳入的話音被遞送到交互工作功能107。在步驟S44c中，合成的傳入的話音被遞送到語音資源103，其可為含有將遞送到揚聲器的合成話音的語音輸出存儲緩衝器。此外，合成語音將以首碼標記，所述首碼將以可聽見的方式指示合成的傳入的話音來自約翰。在接收者以合成話音的方式聽取約翰的SMS消息之後，在步驟S45a中，接收者將對輸入/輸出介面101的麥克風口述答覆，且所述答覆將數位化為數位化答覆。在步驟S45b中，數位化答覆將處於語音資源103中以經由交互工作功能107而遞送到ASR引擎110。在步驟S45c中，ASR引擎將識別數位化答覆且產生將遞送到約翰的對應文本消息。文本消息可為SMS消息或IM。
根據圖4的第一替代實施例，類似於圖3的第一替代實施例，代替在駕駛時手動地預定使用語音介面，資料庫和智慧邏輯202可自動地確定接收者不能夠執行文本消息傳遞。可基於(例如)接收者的過往行為、暗示接收者需要在短時間內處於兩個位置的日曆資訊和來自感測器中樞109的感測器讀數而進行確定。當智慧邏輯202已確定接收者不能夠執行文本消息傳遞時，可接著執行步驟S42a到S45c。
根據圖4的第二替代實施例，類似於圖3的第一替代實施例，不僅自動地確定最佳通信類型，而且可在對話之前、在對話期間和在對話之後動態地改變最佳通信類型。明確地說，在步 驟S42a2中，可擁有裝置I/O能力的介面控制器可與智慧邏輯和通信決策資料庫交互，以確定是否動態地改變最佳通信類型。舉例來說，假設在呼叫者與被呼叫方之間的語音對話的過程中，資料庫和智慧邏輯202可確定被呼叫方將突然不再能夠參與語音對話而是可實際上改為參與文本消息對話。在這種狀況下，類似於圖3，智慧邏輯202將自動地使介面控制器106能夠與交互工作功能107協調以實施類似於先前針對圖3所描述的步驟S35a、S35b、S35c、S36a、S36b和S36c的步驟。
圖5將第三示範性實施例說明為在接收者正在開會且不能夠應答視頻呼叫而決定改為使用SMS介面來應答視頻呼叫時接收到封包交換(PS)式視頻呼叫時的圖2的實施方案。在這種狀況下，動畫人物虛擬形象與個性化TTS一起將作為視頻呼叫而遞送到呼叫者。
在步驟S51中，接收者已從視頻呼叫的起始者(約翰)接收到視頻呼叫。在步驟S52中，接收者已手動地選擇使用SMS介面來答覆視頻呼叫。在步驟S53中，使用SMS介面來答覆視頻呼叫的決策由介面控制器接收。在步驟S54a中，介面控制器106將經由交互工作功能107而協調從一種通信類型到另一通信類型的對話過程。在步驟S54b中，交互工作功能107可遞送已由接收者鍵入以遞送到約翰的文本消息，且TTS引擎會將文本消息轉換為將遞送到約翰的合成語音。合成語音將由TTS引擎遞送到動畫引擎。且在與動畫引擎接收合成語音幾乎相同的時間，虛擬形象 資料庫113將表示接收者的動畫提供到動畫引擎，且動畫形象的口部將與將遞送到約翰的合成語音對口型。合成語音可根據TTS資料庫的接收者的偏好設置來定制。在步驟S54b結束時，動畫引擎將已接收到合成語音和表示接收者的動畫，且作為回應將產生對應視頻以遞送到視頻資源。在步驟S54c中，隨著動畫在無線介面上遞送到約翰，與TTS引擎的合成語音對口型的根據虛擬形象113的動畫將由電耦接到交互工作功能107的動畫引擎遞送到視頻資源102。在步驟S55a中，來自約翰的視頻將經由交互工作功能107而遞送到ASR引擎110。ASR引擎110將提取來自約翰的視頻的音訊部分，且將音訊部分轉換為文本。在步驟S55c中，文本消息將被遞送到SMS資源104以在輸入/輸出介面101的顯示器上向接收者展示。在步驟S56a中，接收者通過鍵入答覆消息而對約翰進行答覆。在步驟S56b中，文本消息將經由交互工作功能107而遞送到TTS引擎111。TTS引擎111與個性化TTS資料庫一起將轉而產生對應於答覆消息的下一合成語音。且在與對應於答覆消息的合成語音已由動畫引擎接收幾乎相同的時間，在步驟S56b中，動畫引擎將從虛擬形象資料庫接收與下一合成語音對口型的下一所產生動畫。在步驟S56c中，下一所產生動畫將被遞送到視頻資源102以在無線介面上發出到約翰。
圖6說明根據本揭露的示範性實施例中的一者的第四示範性實施例。第四示範性實施例不僅利用第一應用來確定最佳通信類型，而且利用第二應用來作出是否應改變最佳通信類型的動 態確定。第一應用(例如)可為用於確定用戶的當前境況的日曆應用，且第二應用可為(例如)用於根據定位單元(location and positioning unit,LPU)、或經度和緯度座標、或地圖上的位址或已接近已知參考點，來確定用戶的位置是否已移動到某些對話模式偏好的位置。位置與定位單位可為(例如)GPS接收器、RF簽名計算器、WiFi、感測器、基於觀察到達時間差異(observed time different of arrival,OTDOA)的計算器等。
舉例來說，第四示範性實施例中所述的由電子裝置使用的智慧對話方法可如下操作。交互工作功能607可經由另一應用來確定使用者的狀態。舉例來說，交互工作功能607可從日曆應用650預測使用者的狀態。舉例來說，基於日曆應用650的記錄，交互工作功能607可確定用戶當前正在開會，以使得交互工作功能607可通過使用ASR引擎110而自動地將傳入的呼叫從語音轉換為文本，且在交互工作功能607使用文本到話音(TTS)111將文本轉換為話音之後，用戶可在合成語音中進行回應。通常，基於使用者的當前狀態，交互工作功能607可將經由第一通信類型接收的第一通信資料轉換為適用於第二通信類型的第二通信資料。交互工作功能607還可通過將適用於第二通信類型或另一通信類型的第三通信資料轉換為將經由第一通信類型或另一通信類型發射的第四通信資料而進行回應。
然而，可想得到，會議可在日曆應用650中所記錄的結束時間之前結束，或用戶可在會議仍在進行時選擇離開會議。對 於第四示範性實施例，交互工作功能607可週期性地更新使用者的狀態。舉例來說，交互工作功能607可經由介面控制器606而從位置與定位單元651週期性地確定使用者的位置。基於用戶位置，如果交互工作功能607已確定用戶很可能不在開會，那麼交互工作功能可將當前通信類型切換為不同通信類型。在這種狀況下，交互工作功能607可停止轉換傳入的語音呼叫，而是改為允許使用者正常參與語音對話。
然而，假設用戶已離開會議進入電影院，而在電影院將認為不適合說話。在位置與定位單元651基於電子裝置中或電子裝置外的雲存儲裝置中所存儲的地圖而確定使用者處於電影院中之後，交互工作功能107可將通信類型切換為基於文本的通信類型或文本到話音通信類型。
對於第四示範性實施例的另一實例，假設具有智慧對話能力的電子裝置為例如智慧手錶等可穿戴裝置，可穿戴裝置還可鑒別或預測第一使用者的狀態，以便確定是否將第一用戶從以第一通信類型參與到與第二用戶的通信切換為以第二通信類型參與通信，其中第二通信類型可不同於第二用戶正用來與第一用戶即時地通信的通信類型。第二用戶可實際上通過使用第一通信類型或第三通信類型而與第一用戶通信。舉例來說，第一通信類型可為典型語音對話，且第二通信類型可為文本消息傳遞或即時消息傳遞。
如果交互工作功能607已從日曆應用605或經由介面控 制器606從感測器中樞609中的運動感測器或G感測器確定第一用戶正在進行體育運動，那麼交互工作功能607可讓第一使用者通過使用語音呼叫(即，經由語音資源103)而參與通信，而不管第二用戶的通信類型，這是因為第一用戶可不能夠鍵入，而是可改為對可穿戴裝置的揚聲器101說話。然而，當交互工作功能607已從日曆應用605確定用戶處於間隙休息或經由介面控制器606從感測器中樞609的感測器讀數確定使用者正在休息時，交互工作功能607可將第一用戶的通信類型切換為文本到語音對話或文本到文本對話(例如，IM、SMS)。第一用戶的通信類型的設置可由第一用戶手動地選擇，且第一使用者的當前狀態也可由第一使用者即時或預先手動地設置。
圖7為說明根據本揭露的示範性實施例中的一者的所提出的智慧對話方法的流程圖。在步驟S711中，電子裝置可經由接收器而以第一通信類型接收第一通信且確定接收者狀態。在步驟S712中，電子裝置可基於接收者狀態而將第二通信類型確定為最佳通信類型。在步驟S713中，電子裝置可將第一通信轉換為適用於第二通信類型的第二通信。在步驟S714中，電子裝置可經由發射器而以第二通信類型發射第二通信。
鑒於前述描述，本發明適用於由電子裝置用來允許使用者通過使用最適用於用戶的境遇的最佳通信類型而與另一用戶通信。可手動地或自動地進行最佳通信類型的確定，且當用戶的境遇改變時，最佳通信類型的調整可為動態的。
用於本申請案的所揭露實施例的詳細描述中的元件、動作或指令不應解釋為對本揭露來說為絕對關鍵或必要的，除非明確地如此描述。而且，如本文中所使用，用詞“一”可包含一個以上項目。如果打算指僅一個項目，那麼將使用術語“單一”或類似語言。此外，如本文中所使用，在多個項目和/或多個項目種類的列表之前的術語“中的任一者”希望包含所述項目和/或項目種類個別地或結合其它項目和/或其它項目種類“中的任一者”、“中的任何組合”、“中的任何多個”和/或“中的多個的任何組合”。此外，如本文中所使用，術語“集合”希望包含任何數量個項目，包含零個。此外，如本文中所使用，術語“數量”希望包含任何數量，包含零。
所屬領域的技術人員將明白，在不脫離本揭露的範圍或精神的情況下，可對所揭露的實施例的結構進行各種修改和變化。鑒於以上內容，希望本揭露涵蓋本揭露的修改和變化，只要所述修改和變化落入申請專利範圍和其等效物的範圍內。
此外，申請專利範圍不應視為限於所描述的次序或元件，除非如此陳述。
S711~S714‧‧‧步驟

Claims (15)

  1. 一種適用於電子裝置的智慧對話方法，包括：經由接收器而以第一通信類型接收第一通信且確定接收者的接收者狀態，其中所述接收者從所述第一通信的發送者或起始者接收到所述第一通信；基於至少所述接收者狀態而將不同於所述第一通信類型的第二通信類型確定為最佳通信類型；將所述第一通信轉換為適用于作為所述最佳通信類型的所述第二通信類型的第二通信；經由發射器而以所述第二通信類型發射所述第二通信；以及回應於檢測到所述接收者的所述接收者狀態改變經由所述發射器而以第三通信類型或所述第一通信類型發射第三通信，其中所述接收者狀態是根據至少一日程資訊來確定的，或根據感測器讀數或GPS讀數而週期性地更新，其中響應於由於用戶運動檢測到所述接收者的所述接收者狀態改變而選擇不需要鍵入的通信類型。
  2. 如申請專利範圍第1項所述的智慧對話方法，其中回應於檢測到所述接收者的所述接收者狀態改變，將所述最佳通信類型切換回所述第一通信類型。
  3. 如申請專利範圍第1項所述的智慧對話方法，還包括回應於檢測到確定不適合講話的位置或事件的所述接收者的所述接收者狀態改變而選擇不需要講話的通信類型。
  4. 如申請專利範圍第1項所述的智慧對話方法，其中所述接收者狀態是根據運動狀態、預定設置和日程資訊中的至少一者或組合來確定的。
  5. 如申請專利範圍第4項所述的智慧對話方法，其中所述最佳通信是根據接收者裝置I/O介面能力、接收者狀態、選擇規則、使用者簡檔、對等資訊、日曆資訊、使用者清單、當日時間和來自感測器讀數的動態資訊中的至少一者或組合來確定的。
  6. 如申請專利範圍第1項所述的智慧對話方法，其中將所述第一通信轉換為所述第二通信包括：通過使用自動話音識別系統而將語音資料轉換為文本資料；或通過使用文本到話音合成器而從所述文本資料合成話音資料。
  7. 如申請專利範圍第6項所述的智慧對話方法，其中所述話音資料是根據個性化話音或文本到話音資料庫和虛擬形象資料庫來合成的。
  8. 一種電子裝置，包括：感測器；GPS系統；發射器，用於發射資料；接收器，用於接收資料；以及處理器，電耦接到所述發射器和所述接收器，經配置以至少： 經由接收器而以第一通信類型接收第一通信且確定接收者的接收者狀態，其中所述接收者從所述第一通信的發送者或起始者接收到所述第一通信；基於所述接收者狀態而將第二通信類型確定為最佳通信類型；將所述第一通信轉換為適用於所述第二通信類型的第二通信；經由發射器而以所述第二通信類型發射所述第二通信；以及回應於檢測到所述接收者的所述接收者狀態改變經由所述發射器而以第三通信類型或所述第一通信類型發射第三通信，其中所述處理器根據至少一日程資訊來確定所述接收者狀態，或根據所述感測器的感測器讀數或所述GPS系統的GPS讀數而週期性地進行更新，其中所述處理器回應於由於從所述感測器讀數檢測的使用者運動檢測到所述接收者的所述接收者狀態改變而選擇不需要鍵入的通信類型。
  9. 如申請專利範圍第8項所述的電子裝置，其中所述處理器經進一步配置以回應於檢測到所述接收者的所述接收者狀態改變而將所述最佳通信類型切換回所述第一通信類型。
  10. 如申請專利範圍第8項所述的電子裝置，其中所述處理器經進一步配置以回應於經由所述感測器或GPS系統檢測到確定不適合講話的位置或事件的所述接收者的所述接收者狀態改變而 選擇不需要講話的通信類型。
  11. 如申請專利範圍第8項所述的電子裝置，其中所述接收者狀態是由所述處理器根據由所述感測器檢測的運動狀態、預定設置和日程資訊中的至少一者或組合來確定的。
  12. 如申請專利範圍第11項所述的電子裝置，其中所述最佳通信是由所述處理器根據接收者裝置I/O介面能力、接收者狀態、選擇規則、使用者簡檔、對等資訊、日曆資訊、使用者清單、當日時間和來自感測器讀數的動態資訊中的至少一者或組合來確定的。
  13. 如申請專利範圍第8項所述的電子裝置，其中所述處理器經配置以將所述第一通信轉換為所述第二通信包括：經由自動話音識別系統而將語音資料轉換為文本資料；或經由文本到話音合成器而從所述文本資料合成話音資料。
  14. 如申請專利範圍第13項所述的電子裝置，其中所述處理器經配置以根據個性化話音或文本到話音資料庫和虛擬形象資料庫來合成所述話音資料。
  15. 如申請專利範圍第14項所述的電子裝置，其中所述個性化話音模型或文本到話音資料庫包括呼叫者的預先建立的個性化話音模型或文本到話音資料庫。
TW104105290A 2014-02-21 2015-02-16 智慧對話方法和使用所述方法的電子裝置 TWI594611B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461942623P 2014-02-21 2014-02-21
US14/609,441 US9641481B2 (en) 2014-02-21 2015-01-30 Smart conversation method and electronic device using the same

Publications (2)

Publication Number Publication Date
TW201541930A TW201541930A (zh) 2015-11-01
TWI594611B true TWI594611B (zh) 2017-08-01

Family

ID=53883372

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104105290A TWI594611B (zh) 2014-02-21 2015-02-16 智慧對話方法和使用所述方法的電子裝置

Country Status (3)

Country Link
US (1) US9641481B2 (zh)
CN (1) CN104869225B (zh)
TW (1) TWI594611B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015178715A1 (en) * 2014-05-23 2015-11-26 Samsung Electronics Co., Ltd. System and method of providing voice-message call service
US10447788B2 (en) * 2015-02-10 2019-10-15 Cisco Technology, Inc. Collaboration techniques between parties using one or more communication modalities
US10262555B2 (en) 2015-10-09 2019-04-16 Microsoft Technology Licensing, Llc Facilitating awareness and conversation throughput in an augmentative and alternative communication system
US10148808B2 (en) * 2015-10-09 2018-12-04 Microsoft Technology Licensing, Llc Directed personal communication for speech generating devices
US9679497B2 (en) 2015-10-09 2017-06-13 Microsoft Technology Licensing, Llc Proxies for speech generating devices
CN107016008B (zh) 2016-06-06 2020-06-09 阿里巴巴集团控股有限公司 信息处理方法和装置及动态信息的显示方法和装置
US10558421B2 (en) * 2017-05-22 2020-02-11 International Business Machines Corporation Context based identification of non-relevant verbal communications
CN108228779B (zh) * 2017-12-28 2021-03-23 华中师范大学 一种基于学习社区对话流的成绩预测方法
CN108520750A (zh) * 2018-03-13 2018-09-11 努比亚技术有限公司 一种语音输入控制方法、设备及计算机可读存储介质
CN110913070B (zh) * 2019-11-22 2021-11-23 维沃移动通信有限公司 一种通话方法及终端设备
US11463657B1 (en) * 2020-11-10 2022-10-04 Know Systems Corp. System and method for an interactive digitally rendered avatar of a subject person
CN112804766B (zh) * 2021-01-29 2022-06-10 展讯通信（上海）有限公司 跨业务类型的文本通信方法及装置、计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116776A1 (en) * 2007-05-30 2012-05-10 Campbell Craig F System and method for client voice building
US20130304457A1 (en) * 2012-05-08 2013-11-14 Samsung Electronics Co. Ltd. Method and system for operating communication service

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3728173B2 (ja) * 2000-03-31 2005-12-21 キヤノン株式会社 音声合成方法、装置および記憶媒体
JP2002221980A (ja) * 2001-01-25 2002-08-09 Oki Electric Ind Co Ltd テキスト音声変換装置
JP4687936B2 (ja) * 2001-03-22 2011-05-25 ソニー株式会社 音声出力装置および音声出力方法、並びにプログラムおよび記録媒体
JP2004020613A (ja) * 2002-06-12 2004-01-22 Canon Inc サーバ、受信端末
US7260539B2 (en) * 2003-04-25 2007-08-21 At&T Corp. System for low-latency animation of talking heads
US8270933B2 (en) * 2005-09-26 2012-09-18 Zoomsafer, Inc. Safety features for portable electronic device
CN101378530A (zh) 2007-08-30 2009-03-04 乐金电子(中国)研究开发中心有限公司 一种短信收发方法、系统及短信服务器
CN102821196A (zh) 2012-07-25 2012-12-12 江西好帮手电子科技有限公司 一种移动终端文字语音对等通话方法及其移动终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116776A1 (en) * 2007-05-30 2012-05-10 Campbell Craig F System and method for client voice building
US20130304457A1 (en) * 2012-05-08 2013-11-14 Samsung Electronics Co. Ltd. Method and system for operating communication service

Also Published As

Publication number Publication date
US20150244669A1 (en) 2015-08-27
TW201541930A (zh) 2015-11-01
CN104869225B (zh) 2020-02-18
US9641481B2 (en) 2017-05-02
CN104869225A (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
TWI594611B (zh) 智慧對話方法和使用所述方法的電子裝置
RU2694273C2 (ru) Основанная на местоположении передача аудиосообщений
US11019199B2 (en) Adaptable communication techniques for electronic devices
US7860935B2 (en) Conditional communication
US8433042B2 (en) Transcoding voice to/from text based on location of a communication device
US8595015B2 (en) Audio communication assessment
US7792253B2 (en) Communications involving devices having different communication modes
US20180069815A1 (en) Application-based messaging system using headphones
US20120315880A1 (en) Dynamic context-based auto-response generation
WO2020238873A1 (zh) 一种通信方法、服务器和通信系统
KR20160144479A (ko) 영상 통화 데이터의 디스플레이
US20180217848A1 (en) Enhanced message composition and management on a communication device
CA2782828A1 (en) Converting a message via a posting converter
KR102276283B1 (ko) 통지들의 소스들에 기초하여 통지들의 제공을 제어하기 위한 시스템, 방법, 및 디바이스
CA2644931A1 (en) System and method for voice-enabled instant messaging
KR20160085590A (ko) 통신 서비스 제공 방법 및 전자 장치
US10255266B2 (en) Relay apparatus, display apparatus, and communication system
US20170310802A1 (en) Emergency services access device
KR101542776B1 (ko) 이동통신단말기의 인스턴트 메신저 서비스 제어방법
US8670534B2 (en) Initiating a telephonic connection
KR101934582B1 (ko) 복수의 메신저를 이용하는 사용자간 심리스한 채팅 서비스를 제공하는 대화형 ai 에이전트 시스템, 방법 및 컴퓨터 판독가능 기록 매체
JP6439032B1 (ja) 無音インスタントメッセージ伝送システム及び方法
KR20060065290A (ko) 인스턴트 메신져의 다국어 메시징 제공 방법
KR102128814B1 (ko) 보이스 메일로 정보를 전송하기 위한 방법 및 그 전자 장치
US9673997B2 (en) Managing a system between a telecommunications system and a server