TW201543240A - 針對自然語言輸入完成工作 - Google Patents

針對自然語言輸入完成工作 Download PDF

Info

Publication number
TW201543240A
TW201543240A TW104106300A TW104106300A TW201543240A TW 201543240 A TW201543240 A TW 201543240A TW 104106300 A TW104106300 A TW 104106300A TW 104106300 A TW104106300 A TW 104106300A TW 201543240 A TW201543240 A TW 201543240A
Authority
TW
Taiwan
Prior art keywords
user
work
intent
natural language
application
Prior art date
Application number
TW104106300A
Other languages
English (en)
Inventor
Kevin Niels Stratvert
Yu-Ting Kuo
Andrew Paul Mcgovern
Xiao Wei
Gaurav Anand
Thomas Lin
Adam C Lusch
Original Assignee
Microsoft Technology Licensing Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing Llc filed Critical Microsoft Technology Licensing Llc
Publication of TW201543240A publication Critical patent/TW201543240A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Abstract

提供用於協助工作完成的一或更多個技術及(或)系統。例如,可接收來自用戶端裝置使用者的自然語言輸入(例如「我們要在哪裡吃飯」)。可使用使用者自願顯露以協助工作完成的使用者背景內容訊號組,來估算自然語言輸入以識別使用者工作意圖。例如,可基於指示使用者正與朋友去吃墨西哥食物的使用者的社群網路貼文,來識別要觀看本地墨西哥餐廳菜單的使用者工作意圖。可基於使用者工作意圖對使用者顯露工作完成功能性。例如,可將餐廳微型應用程式(app)深度啟動而顯示本地墨西哥餐廳的菜單。

Description

針對自然語言輸入完成工作
本發明相關於針對自然語言輸入完成工作。
許多使用者使用計算裝置執行工作。在一範例中,使用者可使用行動裝置在地圖上繪製出從當前位置至娛樂公園的方向。在另一範例中,使用者可使用平板裝置讀書。可使用各種類型的輸入來執行工作,諸如觸控姿勢、滑鼠輸入、鍵盤輸入、語音指令、搜尋查詢項輸入等等。例如,在執行預約假期之工作時,使用者可將搜尋查詢項「佛羅里達假期」輸入搜尋引擎,而搜尋引擎可傳回使用者可用以完成預約假期工作的各種假期搜尋結果。
提供此發明內容以由簡化形式介紹一些概念選擇,這些概念將於下文的實施方式中進一步說明。此發明內容不意為識別所請發明主題的關鍵因素或必要特徵,亦非意為用以限制所請發明主題的範圍。
除了其他以外,本文提供了用於協助工作完成的一 或更多個系統及(或)技術。在一範例中,可接收來自用戶端裝置使用者的自然語言輸入(例如語音指令「我要穿什麼」)。可使用相關聯於使用者的使用者背景內容訊號組來估算自然語言輸入,以識別使用者工作意圖(例如,使用者可進行肯定行動以自願同意准許存取各種類型的使用者背景內容訊號,及(或)使用者可不同意而防止存取一些類型的使用者背景內容訊號)。在一範例中,可使用時間使用者訊號(例如下午六點之當前時間)、地理位置使用者訊號(例如城區旅館位置)、電子郵件資料(例如在喜愛餐廳的晚餐訂位電子郵件)、使用者社群網路設定檔(例如指示使用者為女性)、及(或)其他資訊,以識別透過流行微型應用程式(app)觀看正式雞尾酒服裝構想的使用者工作意圖。在識別使用者工作意圖的範例中,可基於自然語言輸入建置使用者意圖查詢項,並可查詢工作意圖資料結構(例如容納在遠端伺服器上)以獲得全域意圖候選者(例如在搜尋引擎的使用者發出類似於使用者意圖查詢項的搜尋查詢項之後所執行的工作),可使用使用者背景內容訊號組來估算全域意圖候選者以識別使用者工作意圖。
可基於使用者工作意圖來對使用者顯露工作完成功 能性。例如,可對使用者執行流行app。在一範例中,可將流行app深度啟動而進入可相關於使用者的背景內容狀態。例如,可基於使用者工作意圖識別工作執行背景內容(例如女性服裝參數、正式穿著參數、及(或)其他背景內容資訊/參數)。可基於工作執行背景內容將流行app深度啟動而進入 女性服裝穿著購物介面(例如填充了對應於女性服裝參數與正式穿著參數的服裝)。以此方式,可基於自然語言輸入對使用者顯露工作完成功能性。
在一範例中,可在用戶端裝置上實施工作協助者部 件以協助工作完成(例如,工作協助者部件可識別及(或)本地地利用使用者背景內容訊號,此可有助於保持使用者資料的隱私性)。在另一範例中,使用者意圖提供者部件可被實施在位於用戶端裝置遠端的伺服器上,以協助工作完成(例如,使用者意圖提供者部件可接收自然語言輸入及(或)由自然語言輸入導出的使用者意圖查詢項,並可提供全域意圖候選者及(或)指令以對用戶端裝置顯露工作完成功能性)。
為了達成前述和相關的目的,下面的說明和附加圖 式闡述了一些說明性的態樣與實施例。這些態樣與實施例僅指示了可利用一或更多種態樣的各種方式中的一些。在連同附加圖式考慮下面的實施方式時,將可顯然得知本公開內容的其他態樣、優點、與新穎特徵。
100‧‧‧方法
102‧‧‧開始
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧結束
200‧‧‧系統
202‧‧‧社群使用者搜尋記錄資料
204‧‧‧工作意圖訓練部件
206‧‧‧工作意圖模型
208‧‧‧工作意圖資料結構
210‧‧‧使用者意圖提供者部件
214‧‧‧全域意圖候選者
242‧‧‧使用者意圖查詢項
300‧‧‧系統
302‧‧‧用戶端裝置
304‧‧‧自然語言輸入
306‧‧‧工作協助者部件
308‧‧‧使用者背景內容訊號
310‧‧‧使用者工作意圖
312‧‧‧工作完成功能性
314‧‧‧深度啟動餐廳app
400‧‧‧系統範例
402‧‧‧用戶端裝置
404‧‧‧自然語言輸入
406‧‧‧工作協助者部件
408‧‧‧使用者背景內容訊號
410‧‧‧提供使用者改良介面
412‧‧‧使用者改良介面
414‧‧‧使用者工作意圖
420‧‧‧系統範例
422‧‧‧使用者工作改良輸入
424‧‧‧工作完成功能性
426‧‧‧通訊應用程式
500‧‧‧系統範例
502‧‧‧用戶端裝置
504‧‧‧自然語言輸入
506‧‧‧工作協助者部件
508‧‧‧使用者意圖提供者部件
510‧‧‧工作意圖模型
512‧‧‧工作意圖資料結構
514‧‧‧工作意圖訓練部件
516‧‧‧全域意圖候選者
518‧‧‧使用者背景內容訊號
520‧‧‧工作完成功能性
522‧‧‧影片播放器app
542‧‧‧使用者回饋發送介面
544‧‧‧使用者回饋
546‧‧‧訓練
600‧‧‧系統範例
602‧‧‧用戶端裝置
604‧‧‧自然語言輸入
606‧‧‧工作協助者部件
608‧‧‧使用者背景內容訊號
610‧‧‧使用者工作意圖
612‧‧‧工作完成功能性
614‧‧‧購物app
700‧‧‧實施例
702‧‧‧方法
704‧‧‧電腦指令
706‧‧‧電腦可讀取資料
708‧‧‧電腦可讀取媒體
800‧‧‧範例系統
812‧‧‧計算裝置
814‧‧‧記憶體配置
816‧‧‧處理單元
818‧‧‧記憶體
820‧‧‧存儲器
822‧‧‧輸出裝置
824‧‧‧輸入裝置
826‧‧‧通訊連結
828‧‧‧網路
830‧‧‧計算裝置
第1圖為圖示說明用於協助工作完成的示例性方法的流程圖。
第2圖為圖示說明用於協助工作完成的示例性系統的部件方塊圖。
第3圖為圖示說明用於協助工作完成的示例性系統的部件方塊圖。
第4A圖圖示說明修訂使用者工作意圖的範例。
第4B圖圖示說明修訂使用者工作意圖的範例。
第5A圖為圖示說明用於協助工作完成與利用使用者回饋以訓練工作意圖模型的示例性系統的部件方塊圖。
第5B圖為圖示說明用於協助工作完成與利用使用者回饋以訓練工作意圖模型的示例性系統的部件方塊圖。
第6圖為圖示說明用於協助工作完成的示例性系統的部件方塊圖。
第7圖圖示說明示例性電腦可讀取媒體,此電腦可讀取媒體可包含經配置以實施本文闡述的原理之一或更多者的處理器可執行式指令。
第8圖圖示說明示例性計算環境,可在此示例性計算環境中實施本文闡述的原理之一或更多者。
現在參考圖式說明所請發明主題,在全體圖式中一般而言使用類似的元件符號以代表類似的元件。在下面的說明中,為了解釋之目的,闡述數種特定細節以期瞭解所請發明。然而,應明顯可知,所請發明主題的實施可無需這些特定細節。在其他實例中,以方塊圖形式圖示說明結構與裝置,以協助說明所請發明主題。
本文提供用於協助工作完成的一或更多個技術及(或)系統。可估算自然語言輸入,以語意地及(或)依背景內容地瞭解使用者執行工作的意圖。可基於全域使用者資訊(例如搜尋引擎的各種使用者在發出搜尋查詢項之後執行了什麼工作)及(或)個人化使用者資訊(例如使用者當前 吸收的內容、使用者的位置(例如GPS)、電子郵件、行事曆約會、及(或)使用者自願提供用以協助工作完成的其他使用者背景內容訊號)來估算自然語言輸入。以此方式,可基於對於自然語言輸入的全域及(或)個人化的估算,來對使用者顯露工作完成功能性。例如,應用程式可被深度啟動而進入相關聯於從使用者工作意圖識別出之工作執行背景內容的背景內容狀態中(例如,基於語音指令「我餓了」與使用者背景內容訊號(諸如使用者位置、對於墨西哥食物的社群網路設定檔喜好等等),餐廳app可被啟動進入對於墨西哥餐廳的菜單的視點)。
第1圖的示例性方法100圖示說明協助工作完成的 具體實施例。在102,方法開始。在104,可接收來自用戶端裝置使用者的自然語言輸入。例如,可透過行動裝置接收「我想畫車輛」的語音指令。在106,可估算自然語言輸入。在估算自然語言輸入的一種範例中,可基於自然語言輸入建置使用者意圖查詢項(例如將自然語言輸入剖析為可選擇性使用及(或)修改的字詞,以產生使用者意圖查詢項)。可使用使用者意圖查詢項查詢工作意圖資料結構(例如,使用者意圖查詢項可被傳送至位於用戶端裝置遠端的、包含工作意圖資料結構的伺服器),以識別全域意圖候選者。例如,可由將查詢項映射至工作的一或更多個查詢項對意圖項目填充工作意圖資料結構(例如:繪圖查詢項可被映射至執行藝術應用程式工作;車輛查詢項可被映射至觀看駕駛影片工作;車輛查詢項可被映射至參訪車輛評論網站工作;等等)。可從 社群使用者搜尋記錄導出查詢項對意圖項目(例如,在發出車輛查詢項之後,使用者可已觀看了駕駛影片;在發出繪圖查詢項之後,使用者可已開啟了藝術應用程式;等等)。可從查詢項對意圖項目導出與使用者意圖查詢項匹配的全域意圖候選者(例如,可基於排序技術將繪圖查詢項對藝術應用程式之意圖項目選擇為相關於使用者意圖查詢項,而將繪圖查詢項對藝術應用程式之意圖項目識別為全域意圖候選者)。
在一種範例中,可使用相關聯於使用者的使用者背 景內容訊號組估算自然語言輸入(例如,及(或)全域意圖候選者),以識別使用者工作意圖。使用者背景內容訊號組可包含地理位置(例如使用者可位在咖啡店)、時間、執行中的應用程式(例如車輛設計應用程式)、已安裝的應用程式(例如藝術繪圖應用程式)、app商店應用程式(例如車輛評論應用程式)、行事曆資料(例如,產生車輛評論的行事曆項目)、電子郵件資料、社群網路資料(例如對於使用者為車輛雜誌公司工作的指示)、裝置外型因素(例如工作用的桌上型電腦)、使用者搜尋記錄(例如使用者最近可已參訪了車輛攝影網站)、使用者吸收的內容(例如車輛相片及(或)影片)、對於自然語言輸入的社群使用者意圖(例如,對應於繪圖查詢項至藝術應用程式意圖項目的全域意圖候選者)。使用者背景內容訊號組可包含使用者可已自願提供分享以協助使用者工作完成的資訊。在一種範例中,可識別執行藝術繪圖應用程式並畫車輛的使用者工作意圖。
在一種範例中,可基於使用者工作意圖對使用者提 供使用者改良介面(例如,可詢問使用者使用者工作意圖是否正確)。可透過使用者改良介面接收使用者工作改良輸入或使用者認可。例如,使用者可指示使用者具有改良的使用者工作意圖,以開啟車輛評論應用程式並產生具有車輛繪圖的車輛評論。因此,可基於使用者工作改良輸入來修改使用者工作意圖。
在108,可基於使用者工作意圖對使用者顯露工作 完成功能性。工作完成功能性可包含提供使用者對於文件、應用程式(例如執行應用程式、深度啟動應用程式、從app商店下載應用程式等等)、作業系統設定、音樂個體、影片、相片、社群網路設定檔、地圖、搜尋結果、及(或)各種其他物件及(或)功能性(例如購買書的功能性、在餐廳訂位的功能性等等)。在一種範例中,工作完成功能性可包含基於經改良的使用者工作意圖執行車輛評論應用程式,以開啟車輛評論應用程式並由車輛繪圖產生車輛評論。可基於使用者工作意圖識別工作執行背景內容(例如,可將車輛評論應用程式的車輛評論產生介面識別為工作執行背景內容)。可將車輛評論應用程式深度啟動而進入相關聯於工作執行背景內容的背景內容狀態(例如,可指示車輛評論應用程式顯示車輛評論產生介面,以相對於車輛評論閱讀介面)。在一種範例中,工作執行背景內容可包含一或更多個應用程式參數(例如,用於指明是否要透過車輛評論產生介面顯示車輛繪圖介面的顯示車輛繪圖介面參數)。車輛評論應用程式可被由對應於一或更多個應用程式參數的資訊填充(例如,可顯 示車輛繪圖介面)。以此方式,可使用自然語言輸入以對使用者顯露工作完成功能性(諸如於在背景內容上相關之狀態中的深度啟動應用程式)。
在一種範例中,可識別對於工作完成功能性的使用 者回饋。例如,使用者可指示使用者可想要接收對於從app商店下載車輛評論產生app的建議,以作為工作完成功能性的部分。使用者回饋可被提供至伺服器(例如容納工作意圖資料結構的遠端伺服器),以訓練用於填充工作意圖資料結構的工作意圖模型(例如,可產生新的查詢項對意圖項目,以使自然語言輸入及(或)使用者意圖查詢項匹配至預覽及下載車輛評論產生app的工作)。以此方式,基於自然語言輸入協助工作完成可被增進。在110,方法結束。
第2圖圖示說明用於協助工作完成的系統200的範 例。系統200包含工作意圖訓練部件204及(或)使用者意圖提供者部件210。工作意圖訓練部件204可經配置以估算社群使用者搜尋記錄資料202以訓練工作意圖模型206。社群使用者搜尋記錄資料202可包含使用者的全域可得搜尋查詢項,以及關於在發出搜尋查詢項之後已參訪的/已吸收的內容的背景內容資訊(例如,使用者可已發出搜尋查詢項「我餓了」,隨後並可已參訪了餐廳訂位服務)。以此方式,可基於複數個使用者的使用者活動訓練工作意圖模型206,諸如搜尋引擎或其他搜尋介面(例如作業系統搜尋快捷鍵(search charm))的使用者。可利用工作意圖模型206以由一或更多個查詢項對意圖項目填充工作意圖資料結構208。查詢項對意 圖項目可將查詢項與使用者工作匹配,使用者工作可被用於識別要由全域社群觀點對使用者顯露的工作完成功能性。
使用者意圖提供者部件210可經配置以接收來自用 戶端裝置的使用者意圖查詢項242。使用者意圖查詢項242可由在用戶端裝置上接收到的自然語言輸入導出(例如,可從「讓我看我的假期」之自然語言輸入導出要觀看假期媒體的使用者意圖查詢項)。使用者意圖提供者部件210可使用使用者意圖查詢項242查詢工作意圖資料結構208以識別全域意圖候選者214(例如,顯示包含相關聯於假期之元資料的相片的全域意圖候選者)。可將全域意圖候選者214提供至用戶端裝置,以協助相關聯於由自然語言輸入導出的使用者工作意圖的工作完成(例如,可將相片觀看器app深度啟動而進入顯示假期相片的背景內容狀態中)。
第3圖圖示說明用於協助工作完成的系統300的範 例。系統300包含工作協助者部件306。工作協助者部件306可相關聯於用戶端裝置302(例如容納在用戶端裝置302本地上(諸如藉由個人助理/推薦應用程式)、或容納在遠端(諸如藉由基於雲端的推薦服務))。工作協助者部件306可接收來自用戶端裝置302使用者的自然語言輸入304。例如,可接收「我餓扁了」之自然語言輸入304以作為語音指令。可使用相關聯於使用者的使用者背景內容訊號308組估算自然語言輸入304,以識別使用者工作意圖310。在一種範例中,使用者工作意圖310可對應於開啟餐廳app並觀看墨西哥餐廳資訊的意圖,此可基於指示使用者喜歡墨西哥食物的社群 網路設定檔、當前的位置在鬧區(Downtown)、行進模式為步行、及(或)其他使用者背景內容訊號(例如本文所提供的,使用者已自願讓此種訊號被使用)。在另一範例中,可基於自然語言輸入建置使用者意圖查詢項,使用者意圖查詢項並可用於查詢工作意圖資料結構(例如第2圖圖示說明的工作意圖資料結構208),以識別全域意圖候選者(例如在發出類似於使用者意圖查詢項及(或)自然語言輸入304的搜尋查詢項之後,指示使用者社群已執行了什麼工作),全域意圖候選者可用於識別使用者工作意圖310。
工作協助者部件306可經配置以對使用者顯露工作 完成功能性312。例如,工作完成功能性312可對應於深度啟動餐廳app 314。可使用使用者的當前位置,識別對應於使用者工作意圖310的墨西哥餐廳個體候選者組。可基於墨西哥餐廳個體候選者對於使用者當前位置的接近性,來從墨西哥餐廳個體候選者組選擇墨西哥餐廳個體候選者。以此方式,餐廳app 314可被深度啟動,而在餐廳app 314內填充相關聯於墨西哥餐廳個體候選者的資訊(例如步行方向、菜單等等)。以此方式,基於自然語言輸入304及(或)使用者背景內容訊號308組,而將餐廳app 314深度啟動而進入相關於背景內容的狀態中。
第4A圖與第4B圖圖示說明修改使用者工作意圖的 範例。第4A圖圖示說明接收「George在做什麼?」之自然語言輸入404的工作協助者部件406的範例400。工作協助者部件406可基於使用者背景內容訊號408組估算自然語言輸 入404(例如社群網路好友聯絡人George、工作上的朋友聯絡人George、兄弟聯絡人George等等),以識別要與名為George的使用者通訊的使用者工作意圖414。工作協助者部件406可基於使用者工作意圖414提供410使用者改良介面412給使用者(因為有多個名為George的使用者)。使用者改良介面412可要求使用者指明要與哪位George聯絡。
第4B圖圖示說明工作協助者部件406透過使用者改 良介面412接收使用者工作改良輸入422的範例420。使用者工作改良輸入422可指明要聯絡社群網路好友George。工作協助者部件406可修改使用者工作意圖414,並可基於對於使用者工作意圖414的修改來對使用者顯露工作完成功能性424。例如,可將通訊應用程式426深度啟動而進入通訊樞紐(communication hub)以聯絡社群網路好友George。
第5A圖與第5B圖圖示說明用於協助工作完成並利 用使用者回饋以訓練工作意圖模型510的系統500範例。系統500包含工作協助者部件506、使用者意圖提供者部件508、及(或)工作意圖訓練部件514。工作協助者部件506可接收來自用戶端裝置502使用者之對於「電影主意」的自然語言輸入504。工作協助者部件506可基於自然語言輸入504(例如電影查詢項)建置使用者意圖查詢項。工作協助者部件506可傳送使用者意圖查詢項給使用者意圖提供者部件508。使用者意圖提供者部件508可使用使用者意圖查詢項查詢工作意圖資料結構512,以識別全域意圖候選者516(例如,使用者社群可已在發出電影類型查詢項之後播放賽車電影的 預覽)。工作協助者部件506可使用使用者背景內容訊號518組(例如,影片播放器app 522可已安裝在用戶端裝置502上)估算全域意圖候選者516,以識別要使用影片播放器app 522播放賽車電影預覽的使用者工作意圖。工作協助者部件506可基於使用者工作意圖對使用者顯露工作完成功能性520。例如,可透過影片播放器app 522播放賽車電影的預覽。
第5B圖圖示說明接收對於工作完成功能性520之使 用者回饋544的工作協助者部件506。例如,使用者可透過使用者回饋發送介面542指明使用者可想要看文字評論,而非電影預覽。可將使用者回饋544提供給工作意圖訓練部件514。工作意圖訓練部件514可經配置以基於使用者回饋544訓練546工作意圖模型510,而經訓練的工作意圖模型510可基於訓練546調整工作意圖資料結構512(例如,可加入、移除、及(或)修改一或更多個查詢項對意圖項目,諸如增加相關聯於電影查詢項對閱讀電影評論工作項目的權重,與降低相關聯於電影查詢項對播放電影預覽工作項目的權重)。
第6圖圖示說明用於協助工作完成的系統600範 例。系統600包含工作協助者部件606。在一種範例中,工作協助者部件606可接收來自使用者的「我需要鞋」之自然語言輸入604。工作協助者部件606可基於使用者背景內容訊號608組估算自然語言輸入604,以識別使用者工作意圖610。 例如,使用者工作意圖610可對應於透過可從app商店下載的購物app 614購買尺寸12跑鞋的意圖,可基於使用者對於跑鞋網站的搜尋歷史、每六個月購買尺寸12跑鞋的先前購買 歷史(且最近一雙鞋是在六個月前購買的)、指示使用者為個人馬拉松訓練者的社群網路設定檔、及(或)其他使用者背景內容訊號。工作協助者部件606可基於使用者工作意圖610對使用者顯露工作完成功能性612。例如,工作協助者部件606可從app商店下載購物app 614(例如基於使用者給予的准許),並可深度啟動購物app 614以顯示要販售的尺寸12跑鞋。
又另一具體實施例涉及包含處理器可執行指令的電 腦可讀取媒體,這些處理器可執行指令經配置以實施本文所呈現的技術之一或更多者。第7圖圖示說明電腦可讀取媒體或電腦可讀取裝置的範例具體實施例,其中實施例700包含其上編碼了電腦可讀取資料706的電腦可讀取媒體708,諸如CD-R、DVD-R、快閃碟、硬碟機磁盤等等。此電腦可讀取資料706(諸如包含零或一之至少一者的二元資料)相應地包含一組電腦指令704,電腦指令704經配置以根據本文闡述的原理之一或更多者來操作。在一些具體實施例中,處理器可執行電腦指令704經配置以執行方法702,諸如(例如)第1圖的示例性方法100的至少一些。在一些具體實施例中,處理器可執行指令704經配置以實施系統,諸如(例如)第2圖示例性系統200的至少一些、第3圖示例性系統300的至少一些、第5A圖與第5B圖示例性系統500的至少一些、及(或)第6圖示例性系統600的至少一些。許多此種電腦可讀取媒體由在本發明技術領域中具有通常知識者修改,並經配置以根據本文呈現的技術來操作。
雖然已由特定於結構特徵及(或)方法步驟的語言說明了發明主題,但應瞭解到附加申請專利範圍中所界定的發明主題,並非必須受限於上文所說明的特定特徵或步驟。相對的,上文說明的特定特徵或步驟係揭示為實施申請專利範圍之至少一些的範例形式。
本申請案所使用的用詞「部件」、「模組」、「系統」、「介面」、及(或)類似者,一般而言意為代表電腦相關個體,如硬體、硬體與軟體之結合者、軟體、或在執行中的軟體。例如,部件可為(但不限於)執行在處理器上的程序、處理器、物件、可執行項、執行線程、程式、及(或)電腦。作為說明,執行在控制器上的應用程式以及控制器兩者均可為部件。一或更多個部件可位於程序及(或)執行線程內,而部件可本地化於一個電腦上及(或)分散在兩或更多個電腦之間。
再者,可使用標準程式技術及(或)工程技術以產生軟體、韌體、硬體、或以上之任意組合者,而控制電腦實施所揭露的發明主題,以將所請發明主題實施為方法、設備、或製品。本文使用的用詞「製品(article of manufacture)」意為包含可從任何電腦可讀取裝置、載波、或媒體存取的電腦程式。當然,可對此配置進行許多修改,而不脫離所請發明主題的範圍或精神。
第8圖與下列討論簡短、一般地說明計算環境,此計算環境適合實施本文闡述原理之一或更多者的具體實施例。第8圖的操作環境僅為適合的操作環境的一種範例,而 不意為建議對於操作環境之使用或功能性的範圍的任何限制。範例計算裝置包含(但不限於)個人電腦、伺服器電腦、手持式或膝上型裝置、行動裝置(諸如行動電話、個人數位助理(PDA)、媒體撥放器、以及類似者)、多處理器系統、消費者電子產品、迷你電腦、大型主機電腦、包含前述系統或裝置之任意者的分散式計算環境、以及類似者。
雖然並非所需,但係以由一或更多個計算裝置執行的「電腦可讀取指令」之一般背景內容來說明了具體實施例。 可經由電腦可讀取媒體來散佈電腦可讀取指令(將於下文討論)。可將電腦可讀取指令實施為執行特定工作或實施特定抽象資料類型的程式模組,諸如函式、物件、應用程式介面(API)、資料結構、以及類似者。通常來說,可依各種環境所需而結合或分散電腦可讀取指令的功能性。
第8圖圖示說明範例系統800,系統800包含計算裝置812,計算裝置812經配置以實施本文提供的一或更多個具體實施例。在一個配置中,計算裝置812包含至少一個處理單元816與記憶體818。根據計算裝置的實際配置與類型,記憶體818可為揮發性(諸如(例如)隨機存取記憶體(RAM))、非揮發性(諸如(例如)唯讀記憶體(ROM)、快閃記憶體等等)或以上兩者之一些結合者。在第8圖中以虛線814圖示說明此配置。
在其他具體實施例中,裝置812可包含額外的特徵及(或)功能性。例如,裝置812亦可包含額外的存儲器(例如可移除式及(或)不可移除式),包含(但不限於)磁性 存儲器、光學存儲器、與類似者。在第8圖中由存儲器820圖示說明此種額外的存儲器。在一個具體實施例中,實施本文所提供的一或更多個具體實施例的電腦可讀取指令可位於存儲器820中。存儲器820亦可儲存其他電腦可讀取指令以實施作業系統、應用程式、與類似者。電腦可讀取指令可被裝載在記憶體818中以(例如)由處理單元816執行。
本文使用的用詞「電腦可讀取媒體」包含電腦儲存媒體。電腦儲存媒體包含以用於儲存資訊(諸如電腦可讀取指令或其他資料)之任何方法或科技所實施的揮發性與非揮發性的、可移除式與不可移除式的媒體。記憶體818與存儲器820為電腦儲存媒體的範例。電腦儲存媒體包含(但不限於)RAM、ROM、電子可抹拭唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體科技、光碟機(CD-ROM)、數位多功能光碟(DVD)或其他光學存儲器、磁匣、磁帶、磁碟存儲器或其他磁性存儲裝置、或可用於儲存所需資訊並可由裝置812存取的任何其他媒體。然而,電腦儲存媒體不包含傳播訊號。相反的,電腦儲存媒體排除傳播訊號。任何此種電腦儲存媒體可為裝置812的部分。
裝置812亦可包含允許裝置812與其他裝置通訊的通訊連結826。通訊連結826可包含(但不限於)數據機、網路介面卡(NIC)、整合式網路介面、射頻發送器/接收器、紅外線埠、USB連結、或用於將計算裝置812連接至其他計算裝置的其他介面。通訊連結826可包含有線連結或無線連結。通訊連結826可發送及(或)接收通訊媒體。
用詞「電腦可讀取媒體」可包含通訊媒體。通訊媒體通常將電腦可讀取指令或其他資料實現於「經調變資料訊號」中(諸如載波或其他運輸機制)並包含任何資訊傳遞媒體。用詞「經調變資料訊號」可包含由將資訊編碼於訊號中的方式設定或改變其特性之一或更多者的訊號。
裝置812可包含輸入裝置824,諸如鍵盤、滑鼠、筆、語音輸入裝置、觸控輸入裝置、紅外線攝影機、視頻輸入裝置、及(或)任何其他輸入裝置。輸出裝置822(諸如一或更多個顯示器、揚聲器、印表機、及(或)任何其他輸出裝置)亦可被包含在裝置812中。可經由有線連結、無線連結、或以上之任何結合者,來將輸入裝置824與輸出裝置822連接至裝置812。在一個具體實施例中,來自另一計算裝置的輸入裝置或輸出裝置,可作為對於計算裝置812的輸入裝置824或輸出裝置822。
可由各種互連(諸如匯流排)連接計算裝置812的部件。此種互連可包含週邊組件互連(PCI)(諸如PCI Express)、通用串列匯流排(USB)、火線(IEEE 1394)、光學匯流排結構、與類似者。在另一具體實施例中,可由網路將計算裝置812的部件互連。例如,記憶體818可由位於不同實體位置、由網路互連的多個實體記憶體單元組成。
在本發明領域中具有通常知識者將理解到,用於儲存電腦可讀取指令的儲存裝置可分散在網路上。例如,可經由網路828存取的計算裝置830可儲存電腦可讀取指令以實施本文提供的一或更多個具體實施例。計算裝置812可存取 計算裝置830並下載電腦可讀取指令的部分或全部以執行。 或者,計算裝置812可依所需下載電腦可讀取指令的片段,或可在計算裝置812處執行一些指令並在計算裝置830處執行一些指令。
本文提供對於具體實施例的各種作業。在一個具體實施例中,所說明的作業之一或更多者可構成儲存在一或更多個電腦可讀取媒體上的電腦可讀取指令,這些電腦可讀取指令在由計算裝置執行時,將使計算裝置執行所說明的作業。所說明的作業之一些或全部的順序,不應被解譯為隱含這些作業必須依賴順序。在本發明領域中具有通常知識者將理解到具有本說明內容之益處的替代性順序。再者,將瞭解到不是所有作業皆必須存在於本文所提供的每一具體實施例中。再者,將瞭解到在一些具體實施例中並非所有作業都是必須的。
再者,除非另外指明,否則「第一」、「第二」、及(或)類似用詞並非意為隱含時間性態樣、空間性態樣、順序等等。相反的,此種用詞僅作為對於特徵、元件、物品等等的識別符、名稱等等。例如,第一物件與第二物件一般而言,對應於物件A與物件B,或兩個不同或兩個相符的物件,或同一物件。
再者,本文所使用的「示例性」,表示作為範例、實例、說明等等,且並非必須為有利的。本文所使用的「或」意為表示包含性的「或」而非排他性的「或」。此外,本申請案中使用的「一(a)」或「一(an)」一般而言被解譯為 表示「一或更多個」,除非另外指明或背景內容清楚表示為代表單數形式。再者,A與B之至少一者及(或)類似者,一般而言表示A或B,或A與B兩者。再者,對於使用在實施方式或申請專利範圍中的「包含」、「包括」、「具有」、「具備」、及(或)以上之變異者,這些用詞意為包含性的(類似於用詞「包含(comprising)」)。
再者,雖然已對於一或更多個實施例圖示並說明公開內容,但其他在本發明領域中具有通常知識者將基於對本說明書與附加圖式的閱讀與瞭解,而想到均等的變更與修改。公開內容包含所有此種修改與變更,且公開內容僅受限於下列申請專利範圍的範圍。特別關於前述部件(例如元件、資源等等)所執行的各種功能,用於說明此種部件的用詞,除非另外指明,否則意為對應於任何執行所述部件之所指明功能的(例如功能性均等的)部件(即使並非結構性均等於所揭露的結構)。此外,雖然已僅對於數種實施例之一者揭露了公開內容的特定特徵,但可依所需(以及對於任何給定的或特定的應用的益處)將此特徵與其他實施例的一或更多個其他特徵結合。
100‧‧‧方法
102‧‧‧開始
104‧‧‧步驟
106‧‧‧步驟
108‧‧‧步驟
110‧‧‧結束

Claims (20)

  1. 一種用於協助工作完成的方法,包含以下步驟:接收步驟,接收來自一用戶端裝置的一使用者的一自然語言輸入;估算步驟,使用相關聯於該使用者的一使用者背景內容訊號組估算該自然語言輸入,以識別一使用者工作意圖;以及顯露步驟,基於該使用者工作意圖,對該使用者顯露工作完成功能性。
  2. 如請求項1所述之方法,顯露工作完成功能性之該顯露步驟包含以下步驟:基於該使用者工作意圖識別一工作執行背景內容,該工作執行背景內容包含一應用程式參數;以及將一應用程式深度啟動而進入相關聯於該工作執行背景內容的一背景內容狀態,該應用程式填充了對應於該應用程式參數的資訊。
  3. 如請求項1所述之方法,估算該自然語言輸入之該估算步驟包含以下步驟:建置步驟,基於該自然語言輸入建置一使用者意圖查詢項;查詢步驟,使用該使用者意圖查詢項查詢一工作意圖資料結構,以識別一全域意圖候選者;以及 使用該使用者背景內容訊號組估算該全域意圖候選者,以識別該使用者工作意圖。
  4. 如請求項3所述之方法,查詢一工作意圖資料結構之該查詢步驟包含以下步驟:傳送該使用者意圖查詢項至包含該工作意圖資料結構的一伺服器,該伺服器位於該用戶端裝置的遠端;以及接收來自該伺服器的該全域意圖候選者。
  5. 如請求項3所述之方法,該工作意圖資料結構填充了一或更多個查詢項對意圖項目,該一或更多個查詢項對意圖項目係從社群使用者搜尋記錄導出。
  6. 如請求項1所述之方法,顯露工作完成功能性之該顯露步驟包含以下步驟:執行一應用程式,該應用程式經配置以提供該工作完成功能性。
  7. 如請求項1所述之方法,該使用者背景內容訊號組包含下列之至少一者:一地理位置、一時間、一執行中應用程式、一已安裝應用程式、一微型應用程式(app)商店應用程式、行事曆資料、電子郵件資料、社群網路資料、一裝置外型因素、一使用者搜尋記錄、該使用者所吸收的內容、或對於該自然語言輸入的社群使用者意圖。
  8. 如請求項1所述之方法,顯露工作完成功能性之該顯露步驟包含以下步驟:提供該使用者對於下列之至少一者的存取:一文件、一應用程式、一作業系統設定、一音樂個體、一影片、一相片、一社群網路設定檔、一地圖、或一搜尋結果。
  9. 如請求項4所述之方法,該方法包含以下步驟:識別對於該工作完成功能性的使用者回饋;以及提供該使用者回饋至該伺服器,以訓練用於填充該工作意圖資料結構的一工作意圖模型。
  10. 如請求項1所述之方法,該自然語言輸入包含該使用者提供的一語音指令。
  11. 如請求項1所述之方法,顯露工作完成功能性之該顯露步驟包含以下步驟:深度啟動步驟,基於該使用者工作意圖將一應用程式深度啟動,該深度啟動步驟包含以下步驟:識別該使用者的一當前位置;識別對應於該使用者工作意圖的一個體候選者組;基於該個體候選者對該當前位置的一接近性,從該個體候選者組選擇一個體候選者;以及以相關聯於該個體候選者的資訊填充該應用程式。
  12. 如請求項1所述之方法,該方法包含以下步驟:基於該使用者工作意圖,提供一使用者改良介面給該使用者;透過該使用者改良介面,接收一使用者工作改良輸入;以及基於該使用者工作改良輸入,修改該使用者工作意圖。
  13. 一種用於協助工作完成的系統,該系統包含:一工作意圖訓練部件,該工作意圖訓練部件經配置以:估算社群使用者搜尋記錄資料,以訓練一工作意圖模型;以及利用該工作意圖模型,以一或更多個查詢項對意圖項目填充一工作意圖資料結構;以及一使用者意圖提供者部件,該使用者意圖提供者部件經配置以:接收來自一用戶端裝置的一使用者意圖查詢項,該使用者意圖查詢項係從在該用戶端裝置上接收到的一自然語言輸入導出;使用該使用者意圖查詢項查詢該工作意圖資料結構,以識別一全域意圖候選者;以及提供該全域意圖候選者給該用戶端裝置,以協助相關聯於從該自然語言輸入導出的一使用者工作意圖的工作完成。
  14. 如請求項13所述之系統,該工作意圖訓練部件經配置以:接收對於該全域意圖候選者的使用者回讀;以及基於該使用者回饋訓練該工作意圖模型。
  15. 一種用於協助工作完成的系統,該系統包含:一工作協助者部件,該工作協助者部件經配置以:接收來自一用戶端裝置的一使用者的一自然語言輸入;使用相關聯於該使用者的一使用者背景內容訊號組估算該自然語言輸入,以識別一使用者工作意圖;基於該使用者工作意圖,識別一工作執行背景內容;以及將一應用程式深度啟動而進入相關聯於該工作執行背景內容的一背景內容狀態。
  16. 如請求項15所述之系統,該工作協助者部件經配置以:指明對於該工作執行背景內容的一應用程式參數;以及由對應於該應用程式參數的資訊填充該應用程式。
  17. 如請求項15所述之系統,該工作協助者部件經配置以:基於該自然語言輸入建置一使用者意圖查詢項;使用該使用者意圖查詢項查詢一工作意圖資料結構,以識別一全域意圖候選者;以及 使用該使用者背景內容訊號組估算該全域意圖候選者,以識別該使用者工作意圖。
  18. 如請求項17所述之系統,該工作協助者部件經配置以:傳送該使用者意圖查詢項至包含該工作意圖資料結構的一伺服器,該伺服器位於該用戶端裝置的遠端;以及接收來自該伺服器的該全域意圖候選者。
  19. 如請求項15所述之系統,該使用者背景內容訊號組包含下列之至少一者:一地理位置、一時間、一執行中應用程式、一已安裝應用程式、一微型應用程式(app)商店應用程式、行事曆資料、電子郵件資料、社群網路資料、一裝置外型因素、一使用者搜尋記錄、該使用者所吸收的內容、或對於該自然語言輸入的社群使用者意圖。
  20. 如請求項15所述之系統,該工作協助者部件經配置以:基於該使用者工作意圖,對該使用者提供一使用者改良介面;透過該使用者改良介面,接收一使用者工作改良輸入;以及基於該使用者工作改良輸入,修改該使用者工作意圖。
TW104106300A 2014-04-01 2015-02-26 針對自然語言輸入完成工作 TW201543240A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/242,394 US20150278370A1 (en) 2014-04-01 2014-04-01 Task completion for natural language input

Publications (1)

Publication Number Publication Date
TW201543240A true TW201543240A (zh) 2015-11-16

Family

ID=52829406

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104106300A TW201543240A (zh) 2014-04-01 2015-02-26 針對自然語言輸入完成工作

Country Status (12)

Country Link
US (1) US20150278370A1 (zh)
EP (1) EP3127012A1 (zh)
JP (1) JP2017515217A (zh)
KR (1) KR20160140694A (zh)
CN (1) CN106164909A (zh)
AU (1) AU2015241253A1 (zh)
BR (1) BR112016022372A2 (zh)
CA (1) CA2943235A1 (zh)
MX (1) MX2016012643A (zh)
RU (1) RU2016138550A (zh)
TW (1) TW201543240A (zh)
WO (1) WO2015153310A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI734142B (zh) * 2018-07-17 2021-07-21 美商艾提史畢克斯有限責任公司 用於智慧型工業輔助的方法、系統、及電腦程式產品

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10431209B2 (en) * 2016-12-30 2019-10-01 Google Llc Feedback controller for data transmissions
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10169447B2 (en) 2014-02-24 2019-01-01 Entefy Inc. System and method of message threading for a multi-format, multi-protocol communication system
US10394966B2 (en) 2014-02-24 2019-08-27 Entefy Inc. Systems and methods for multi-protocol, multi-format universal searching
US20170193009A1 (en) 2015-12-31 2017-07-06 Entefy Inc. Systems and methods for filtering of computer vision generated tags using natural language processing
US11755629B1 (en) 2014-02-24 2023-09-12 Entefy Inc. System and method of context-based predictive content tagging for encrypted data
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10719524B1 (en) 2015-04-15 2020-07-21 Arimo, LLC Query template based architecture for processing natural language queries for data analysis
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10135764B2 (en) * 2015-12-31 2018-11-20 Entefy Inc. Universal interaction platform for people, services, and devices
US10353754B2 (en) 2015-12-31 2019-07-16 Entefy Inc. Application program interface analyzer for a universal interaction platform
CN105760483B (zh) * 2016-02-16 2019-04-19 Oppo广东移动通信有限公司 多媒体文件的保存及其检索方法和系统
US10409876B2 (en) 2016-05-26 2019-09-10 Microsoft Technology Licensing, Llc. Intelligent capture, storage, and retrieval of information for task completion
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
JP6679447B2 (ja) * 2016-09-12 2020-04-15 ヤフー株式会社 変更装置、変更方法、及び変更プログラム
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10397157B2 (en) 2016-10-27 2019-08-27 International Business Machines Corporation Message management in a social networking environment
US10963642B2 (en) 2016-11-28 2021-03-30 Microsoft Technology Licensing, Llc Intelligent assistant help system
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10491690B2 (en) 2016-12-31 2019-11-26 Entefy Inc. Distributed natural language message interpretation engine
US11204787B2 (en) * 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11153411B2 (en) 2017-04-10 2021-10-19 Samsung Electronics Co., Ltd. Method and apparatus for processing user request
US11025566B2 (en) * 2017-04-12 2021-06-01 Facebook, Inc. Techniques for intent-based search for bots
KR102380717B1 (ko) * 2017-04-30 2022-03-31 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
EP4060659B1 (en) * 2017-05-12 2024-04-24 Apple Inc. Low-latency intelligent automated assistant
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10587553B1 (en) 2017-12-29 2020-03-10 Entefy Inc. Methods and systems to support adaptive multi-participant thread monitoring
US11948023B2 (en) 2017-12-29 2024-04-02 Entefy Inc. Automatic application program interface (API) selector for unsupervised natural language processing (NLP) intent classification
US11573990B2 (en) 2017-12-29 2023-02-07 Entefy Inc. Search-based natural language intent determination
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11410075B2 (en) * 2018-01-15 2022-08-09 Microsoft Technology Licensing, Llc Contextually-aware recommendations for assisting users with task completion
KR102059142B1 (ko) * 2018-01-23 2020-02-07 네이버 주식회사 서버 및 사용자 장치의 동작 방법
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US11330408B2 (en) * 2018-03-08 2022-05-10 Sony Corporation Information processing apparatus, terminal device, and information processing method
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11113473B2 (en) * 2018-04-02 2021-09-07 SoundHound Inc. Interpreting expressions having potentially ambiguous meanings in different domains
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN111199728A (zh) * 2018-10-31 2020-05-26 阿里巴巴集团控股有限公司 训练数据获取方法及装置和智能音箱、智能电视
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN111666006B (zh) * 2019-03-05 2022-01-14 京东方科技集团股份有限公司 画作问答方法及装置、画作问答系统、可读存储介质
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN109979453A (zh) * 2019-03-29 2019-07-05 客如云科技(成都)有限责任公司 一种面向点餐机器人的智能意图识别人机交互方法
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11244106B2 (en) * 2019-07-03 2022-02-08 Microsoft Technology Licensing, Llc Task templates and social task discovery
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11354500B2 (en) 2019-12-06 2022-06-07 Microsoft Technology Licensing, Llc Artificial intelligence for identifying relevant content related to specific tasks
US11842731B2 (en) * 2020-01-06 2023-12-12 Salesforce, Inc. Method and system for executing an action for a user based on audio input
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11829720B2 (en) 2020-09-01 2023-11-28 Apple Inc. Analysis and validation of language models

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747601B2 (en) * 2006-08-14 2010-06-29 Inquira, Inc. Method and apparatus for identifying and classifying query intent
US7720674B2 (en) * 2004-06-29 2010-05-18 Sap Ag Systems and methods for processing natural language queries
US7822699B2 (en) * 2005-11-30 2010-10-26 Microsoft Corporation Adaptive semantic reasoning engine
US20070192168A1 (en) * 2006-02-15 2007-08-16 Leviathan Entertainment, Llc Map and Inventory-Based On-Line Purchases
US7669142B2 (en) * 2006-02-28 2010-02-23 Microsoft Corporation Viewable and actionable search results
US20070297581A1 (en) * 2006-06-26 2007-12-27 Microsoft Corporation Voice-based phone system user interface
US20080005068A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context-based search, retrieval, and awareness
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8073681B2 (en) * 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US20100082398A1 (en) * 2008-09-29 2010-04-01 Yahoo! Inc. System for providing contextually relevant data
US20110082746A1 (en) * 2009-10-06 2011-04-07 Christopher Rice Systems and Methods for Providing Location Based Promotions and Feedback Services
US9263034B1 (en) * 2010-07-13 2016-02-16 Google Inc. Adapting enhanced acoustic models
US20120084248A1 (en) * 2010-09-30 2012-04-05 Microsoft Corporation Providing suggestions based on user intent
US20120117051A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Multi-modal approach to search query input
US9189549B2 (en) * 2010-11-08 2015-11-17 Microsoft Technology Licensing, Llc Presenting actions and providers associated with entities
CN102004794B (zh) * 2010-12-09 2013-05-08 百度在线网络技术(北京)有限公司 搜索引擎系统及其实现方法
KR101828273B1 (ko) * 2011-01-04 2018-02-14 삼성전자주식회사 결합기반의 음성명령 인식 장치 및 그 방법
KR101922744B1 (ko) * 2011-03-31 2018-11-27 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 위치-기반 대화 해석 기법
US8966440B2 (en) * 2011-08-29 2015-02-24 Salesforce.Com, Inc. Custom application creation in multi-tenant systems
US20130086028A1 (en) * 2011-09-30 2013-04-04 Nuance Communications, Inc. Receiving and processing user-specified queries
US9575963B2 (en) * 2012-04-20 2017-02-21 Maluuba Inc. Conversational agent
CN103390194A (zh) * 2012-05-07 2013-11-13 北京三星通信技术研究有限公司 用户意图预测及推荐建议的方法、设备和系统
US10026394B1 (en) * 2012-08-31 2018-07-17 Amazon Technologies, Inc. Managing dialogs on a speech recognition platform
US8645138B1 (en) * 2012-12-20 2014-02-04 Google Inc. Two-pass decoding for speech recognition of search and action requests
EP2941744B8 (en) * 2012-12-30 2018-10-17 Gary Stephen Shuster Global contact synchronization
US20140258260A1 (en) * 2013-03-11 2014-09-11 Sabrina Rayborn Methods for on line dating
WO2014139120A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Search intent preview, disambiguation, and refinement
US9875494B2 (en) * 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
US9881102B2 (en) * 2013-04-22 2018-01-30 Microsoft Technology Licensing, Llc Aggregating personalized suggestions from multiple sources
US9448992B2 (en) * 2013-06-04 2016-09-20 Google Inc. Natural language search results for intent queries
US20150142607A1 (en) * 2013-11-20 2015-05-21 Cui Yang Shopping mind reader
US20150248216A1 (en) * 2014-02-28 2015-09-03 Microsoft Corporation Information interface generation and/or population

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI734142B (zh) * 2018-07-17 2021-07-21 美商艾提史畢克斯有限責任公司 用於智慧型工業輔助的方法、系統、及電腦程式產品
US11232262B2 (en) 2018-07-17 2022-01-25 iT SpeeX LLC Method, system, and computer program product for an intelligent industrial assistant
TWI790648B (zh) * 2018-07-17 2023-01-21 美商艾提史畢克斯有限責任公司 用於智慧型工業輔助的方法、系統、及電腦程式產品

Also Published As

Publication number Publication date
AU2015241253A1 (en) 2016-10-06
JP2017515217A (ja) 2017-06-08
RU2016138550A (ru) 2018-03-30
US20150278370A1 (en) 2015-10-01
CA2943235A1 (en) 2015-10-08
EP3127012A1 (en) 2017-02-08
BR112016022372A2 (pt) 2017-08-15
KR20160140694A (ko) 2016-12-07
CN106164909A (zh) 2016-11-23
WO2015153310A1 (en) 2015-10-08
MX2016012643A (es) 2016-12-14
RU2016138550A3 (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
TW201543240A (zh) 針對自然語言輸入完成工作
US11221736B2 (en) Techniques for context sensitive illustrated graphical user interface elements
US9026941B1 (en) Suggesting activities
CN109241347B (zh) 用于内容反应注释的系统和方法
KR102146592B1 (ko) 애플리케이션간 통신을 통한 작업 완료 기법
US20160110065A1 (en) Suggesting Activities
US11620795B2 (en) Displaying augmented reality content in messaging application
JP2016530613A (ja) オブジェクトベースのコンテキストメニューの制御
KR101722675B1 (ko) 자료 제공 장치, 방법, 및 컴퓨터 프로그램
KR20140034789A (ko) 위치 연관 메시지 제시
US20140279186A1 (en) Digital wardrobe with recommender system
US20160188674A1 (en) Emotion-based content recommendation apparatus and method
US10701008B2 (en) Personal music compilation
KR102577630B1 (ko) 메시징 애플리케이션에서의 증강 현실 콘텐츠의 디스플레이
TW201502947A (zh) 使直接app動作浮現
US20170270324A1 (en) Associating consumer-provided assets with physical objects using nfc tags
US20210406965A1 (en) Providing travel-based augmented reality content relating to user-submitted reviews
US10387519B2 (en) Method and system for automatic generation of personalized applications
US11470025B2 (en) Chats with micro sound clips
US11693539B2 (en) Messaging system for resurfacing content items
AU2016200644B2 (en) Apparatus, system and method for searching contents
WO2017115065A1 (en) A method for providing contextual intelligence
US20130046744A1 (en) Social knowledgebase