TW201537435A - 基於意圖的使用者經驗 - Google Patents

基於意圖的使用者經驗 Download PDF

Info

Publication number
TW201537435A
TW201537435A TW103139420A TW103139420A TW201537435A TW 201537435 A TW201537435 A TW 201537435A TW 103139420 A TW103139420 A TW 103139420A TW 103139420 A TW103139420 A TW 103139420A TW 201537435 A TW201537435 A TW 201537435A
Authority
TW
Taiwan
Prior art keywords
intent
user
application
user interface
natural language
Prior art date
Application number
TW103139420A
Other languages
English (en)
Inventor
Lorrissa Reyes
Tyler M Peelen
Lee Du Redmond
William B Dolan
Bernhard S J Kohlmeier
Pradeep Chilakamarri
Annie Y Bai
Original Assignee
Microsoft Technology Licensing Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing Llc filed Critical Microsoft Technology Licensing Llc
Publication of TW201537435A publication Critical patent/TW201537435A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文呈現協助在應用程式內完成工作的技術。透過接收來自使用者、關於應用程式(諸如生產力應用程式)的使用的對於意圖的自然語言陳述，而提供提供基於意圖的使用者經驗。可基於使用者的意圖，而配置與重新配置對於使用者的圖形使用者介面；且因此產生以工作為導向的使用者介面。可透過將對於意圖的自然語言陳述分類及(或)映射至特定工作，來決定使用者的意圖，意圖隨後可被相關聯於可用以完成工作的一或更多個工具與資訊。可在圖形使用者介面中對使用者顯現一或更多個工具與資訊。

Description

基於意圖的使用者經驗
本發明係關於基於意圖的使用者經驗。
在今日的複雜軟體應用程式中，使用者面對著越來越多的特徵與功能。在使用者想要執行應用程式中的作業時，他們時常被迫使搜尋冗長的選單與巢狀子選單，以尋找所需的指令。雖然指令可被功能性地群組化，特定指令的群組(與位置)被群組化(或被放置)的方式，對於使用者而言可不為合理的，且在任何情況下，一些作業需要被放置在分離的選單與按鍵上的多個指令。
使用者有時轉向幫助介面以尋找對的指令，但對於使用者無法良好地口語表達其描述而在幫助中搜尋的指令而言，使用者可難以尋找此種指令。此外，不論是在選單中尋覓指令，或是在搜尋結果中找尋指令，這些皆無法允許使用者發現他們可覺得有用的新指令。對於除非應用程式位於特定狀態中，否則不會出現的指令或選單亦是如此。例如，除非有影像被選擇，否則對於編輯影像的某些指令(與選單)可不會出現。再者，在使用者開始記住他們常使用的指令的 放置位置時，軟體應用程式可推出新版本並改變許多指令的使用者介面位置與加入額外的指令。
呈現協助在應用程式內完成工作的技術。說明使用者經驗，其中使用者可藉由使用自然語言陳述來溝通相關於工作的目標或意圖，並可顯現相關的使用者介面元素，以供使用者使用以完成工作。以此方式，可對各種生產力應用程式提供以工作為導向的可重配置式介面。
互動表面讓使用者能夠口語表達完成給定工作或目標的意圖，並接收用於完成此工作或目標的工具與資訊，而非在選單或按鍵功能區(button ribbon)中搜尋應用程式指令與特徵。口語表達可為對於所需成果、目標、問題、工作或其他意圖的陳述。換言之，使用者的陳述，事實上可為任何事物，且不需要直接相關於指令名稱的名詞(亦即指令名稱或同義詞)。陳述可為自然語言陳述，而系統將自然語言陳述解譯為「意圖」，「意圖」隨後被映射至包含經由一或更多個應用程式而為使用者可用的指令、特徵與資訊的元素。
以工作為導向的可重配置式介面的外觀，可類似於生產力應用程式所提供的較傳統的圖形使用者介面，但增加了窗格、視窗、下拉式選單、方塊或其他圖形元素。儘管在其他情況中，以工作為導向的可重配置式介面，可全部基於相關於使用者所決定之意圖的元素來顯像。
提供此【發明內容】以由簡化形式介紹一些概念選擇，這些概念將於下文實施方式中進一步說明。此概要並非 意為識別所請發明主題的關鍵特徵或必要特徵，亦非意為用以限制所請發明主題的範圍。
100‧‧‧自然語言陳述
110‧‧‧意圖至元素引擎
111‧‧‧意圖資料庫
112‧‧‧使用者介面(UI)元素
120‧‧‧呈現使用者介面元素
210‧‧‧下拉式選單或列表
211‧‧‧生產力應用程式介面
220-A‧‧‧元素
220-B‧‧‧元素
220-C‧‧‧元素
300-A‧‧‧初始視圖A
300-B‧‧‧初始視圖B
310‧‧‧互動元素
320‧‧‧寫作表面
330‧‧‧功能區指令
311‧‧‧文字方塊輸入欄位互動元素
312‧‧‧語音輸入互動元素
501‧‧‧控制板
502‧‧‧下拉式選單
503‧‧‧功能區元素
504‧‧‧選單
505‧‧‧互動表面
506‧‧‧懸浮選單
507‧‧‧使用者介面元素部分
509‧‧‧裝置
510‧‧‧裝置
510-A‧‧‧控制板
510-B‧‧‧寫作/互動表面
510-C‧‧‧功能區或選單工具及(或)資訊
600‧‧‧使用者介面(UI)
605‧‧‧應用程式
610‧‧‧使用者
611‧‧‧顯示器
612‧‧‧使用者裝置
615‧‧‧意圖映射部件
620‧‧‧意圖映射服務
622‧‧‧意圖映射服務
625‧‧‧使用率資料服務
640‧‧‧網路
680‧‧‧意圖映射描述(XML)
681‧‧‧發佈指令
682‧‧‧內部指令
700‧‧‧文字處理應用程式介面
701‧‧‧主選單區域
710‧‧‧互動元素
711‧‧‧列表
712‧‧‧可能相關的指令
713‧‧‧資訊
715‧‧‧列表
720‧‧‧讓文字更大
721‧‧‧新字型
722‧‧‧文字大小
723‧‧‧調整字母緊排
800‧‧‧使用者介面
801‧‧‧方塊
802‧‧‧約會列表
803‧‧‧工作列表
804‧‧‧使用者輸入元素
805‧‧‧完成按鈕
900‧‧‧提醒訊息
901‧‧‧工作
902‧‧‧互動元素
903‧‧‧自然語言陳述
905‧‧‧視窗或窗格
910‧‧‧生日賀卡樣板
911‧‧‧「挑選勵志名言(pick an inspirational quotation)」
920‧‧‧網頁瀏覽器
1000‧‧‧系統
1005‧‧‧處理器
850‧‧‧介面裝置
1010‧‧‧應用程式
1015‧‧‧作業系統(OS)
1020‧‧‧儲存系統
1035‧‧‧通訊介面
1040‧‧‧音頻介面
1045‧‧‧視頻介面
1051‧‧‧滑鼠
1052‧‧‧鍵盤
1053‧‧‧麥克風
1054‧‧‧觸控裝置
1055‧‧‧動作輸入裝置
1056‧‧‧顯示螢幕
1057‧‧‧揚聲器
1101‧‧‧通訊網路
1110‧‧‧應用程式平台
1111‧‧‧應用程式
1120‧‧‧應用程式平台
1121‧‧‧應用程式
1122‧‧‧瀏覽器應用程式
1130‧‧‧應用程式平台
1131‧‧‧應用程式
1140‧‧‧應用程式平台
1141‧‧‧應用程式
1142‧‧‧行動瀏覽器應用程式
1170‧‧‧服務平台
1171‧‧‧意圖映射服務
1180‧‧‧服務平台
1181‧‧‧儲存提供者服務
第1圖圖示說明對於基於意圖之使用者經驗的功能示意圖。
第2A圖與第2B圖圖示說明對於基於意圖之使用者經驗的呈現的範例表示。
第3A圖與第3B圖圖示說明用於實施對於基於意圖之使用者經驗的以工作為導向之使用者介面的範例初始視圖。
第4A圖與第4B圖圖示說明用於接收意圖的自然語言陳述的範例互動元素。
第5A圖至第5G圖圖示說明回應於接收對於意圖的自然語言陳述，而出現的以工作為導向的使用者介面的範例視圖。
第6A圖圖示說明操作環境，在該環境中可實施基於意圖的使用者經驗的某些實施例。
第6B圖圖示說明一範例實施例，此範例實施例用於應用程式的一般化模型，以使應用程式發佈應用程式可用的意圖與介面元素。
第7A圖至第7C圖圖示說明對於範例情境的以工作為導向的使用者介面的視圖。
第8圖繪製以工作為導向之使用者介面的另一範例情境。
第9圖繪製以工作為導向之使用者介面的又另一範例情境。
第10圖為圖示說明用於一些具體實施例中的計算裝置或系統的部件的方塊圖。
第11圖圖示說明可實施具體實施例於其中的範例系統架構。
呈現協助在應用程式內完成工作的技術。
在本文所說明的範例使用者經驗中，可回應於使用者所溝通的、對於目標或意圖的自然語言陳述，而呈現相關的使用者介面指令。本文所說明的具體實施例，允許使用者在應用程式與多個應用程式兩者內，快速地尋找並利用關於他們所意圖之目標的特徵。本文所使用的「自然語言」陳述，代表在任何給定時刻對於使用者皆為直觀的之術語。陳述(字串、詞句或其他表達方式)可基於書寫(或口述)語言結構，並可包含標準化與未標準化的態樣。
本技術適合用於生產力應用程式。生產力應用程式可包含可協助完成相關於產生內容的各種工作的各種工具與資訊。
生產力應用程式的範例，包含來自微軟公司(Microsoft Corp.)的Microsoft Office®套裝軟體，包含Microsoft Word®、Microsoft Excel®、Microsoft Powerpoint®以及其網頁應用程式部件(以上皆為微軟公司的註冊商標)；Google Docs(與Google DriveTM)；Apache軟體基金會(Apache Software Foundation)所提供的Apache OpenOfficeTM；文檔基金會(The Document Foundation)所提供的LibreOffice®套裝應用程式(文檔基金會(The Document Foundation)的註冊商標)；以及來自蘋果公司(Apple Inc.)的Apple iWork®套裝應用程式，包含Apple Pages®、Apple Keynote®與Apple Numbers®(以上皆為蘋果公司的註冊商標)。
根據某些具體實施例，以提供以工作為導向的使用者經驗的方式，來呈現對於生產力應用程式的使用者介面。以工作為導向的使用者經驗，以適合處理特定工作的方式，呈現使用者介面部件。範例使用者介面部件(或元素)包含(但不限於)指令、選單、輸入欄位、圖示、寫作與互動表面與物件。
在一些情況中，可出現在以工作為導向之使用者經驗中的使用者介面元素，包含呼叫另一應用程式(或與另一應用程式溝通)的元素。
第1圖圖示說明對於基於意圖之使用者經驗的功能示意圖；而第2A圖與第2B圖圖示說明對於基於意圖之使用者經驗的使用者介面元素的呈現的範例表示。
參考第1圖，使用者可藉由使用自然語言陳述(100)傳達目標或意圖，目標或意圖相關於可在生產力應用程式中完成的工作。可由對使用者直觀的方式，經由致能使用者口語表達在生產力應用程式中完成給定工作或目標之意圖的任何技術，來提供自然語言陳述。陳述自身可為對於所需成果、目標、問題、工作或其他關於使用生產力應用程式之意圖(諸 如尋找支援、研究網頁與完成工作(例如「預定會議」))的陳述。
對於意圖的自然語言陳述範例，包含「讓這更漂亮」、「這看起來太密集了」、「翻頁」、「規劃假日」、「我要去度假了」、「寫筆記」、「組織我的記事」以及「做相片卡片」。如這些範例所圖示說明，使用者的陳述，事實上可為可被表達以及可涉及於使用應用程式(以創造及(或)組織內容)的任何事物，且不需要直接相關於可用於完成工作的應用程式中的指令或選單項目的名稱(亦即指令名稱或指令名稱的同義詞)。
使用者的自然語言陳述100，可由意圖至元素引擎110接收，意圖至元素引擎110可決定自然語言陳述的「意圖」，並決定對應於意圖的應用程式元素(資訊及(或)工具)。使用者不需要瞭解使用者正工作於其中的特定應用程式的參數結構。相對的，意圖至元素引擎110，可在使用者與下層(一或更多個)應用程式之間提供層。
意圖至元素引擎110可藉由存取意圖資料庫111，將自然語言陳述轉換成對應於自然語言陳述所傳達之意圖的使用者介面元素，意圖資料庫111可包含將相關於使用者陳述的工作，映射至特定使用者介面元素112的結構化資訊。
可藉由使用意圖資料庫111，針對可對應於自然語言陳述的可能的相關工作來分析自然語言陳述；以及接收相關聯於可能的相關工作的一或更多個使用者介面元素，來將自然語言陳述轉換成使用者介面元素。作為一種分析技術， 可例如經由叢集技術，將對於意圖的自然語言陳述參數化。
因此，回應於接收使用者對於意圖的自然語言陳述100，意圖至元素引擎110可產生可對使用者120呈現的使用者介面元素，以幫助使用者完成相關聯於所決定意圖的工作。有利地，某些實施例可包含顯露使用者不知道(或無法直接存取)的下層生產力應用程式的特徵。例如，被停用的指令(基於特定物件選擇而為可用的內容敏感指令)、新指令、相關指令、常用指令以及最近使用的指令，皆可顯現為給定意圖的結果集的部分。
可從單一應用程式或從多個應用程式獲得使用者介面元素112，應用程式包含(但不限於)文字處理器、試算表、簡報設計應用程式、相片編輯工具、電子郵件應用程式、工作追蹤應用程式、個人資訊管理器、圖形設計程式、桌面發佈工具或網頁瀏覽器。應用程式的範例，包含Microsoft Word®、Evernote®、Adobe Photoshop®、Microsoft Outlook®以及Google Chrome®。應用程式可位於使用者的裝置上、位於雲端服務上並被遠端地顯像至裝置顯示器上或以上之任何組合者。應用程式亦可被顯像至網頁瀏覽器內。
某些實施例利用意圖映射服務，意圖映射服務可根據所接收到的對於意圖的自然語言陳述，來將使用者的意圖分類，並隨後提供可用以實施意圖的介面元素(包含工具與資訊)。意圖映射服務可存取來自網站的外部資訊、經由收集服務存取來自多個使用者的使用率資料以及存取由使用者的使用習慣、網路位置或在實施應用程式功能時的其他來源 所收集到的背景內容資訊。
因為使用者介面元素可回應於接收到使用者的自然語言陳述(或使用者對於意圖之自然語言陳述的至少一些部分)而被呈現，生產力應用程式的使用者介面可被視為以工作為導向的可重配置式介面。換言之，生產力應用程式的使用者介面(例如圖形使用者介面)，可基於對於意圖的當前自然語言陳述而被配置(與重配置)。
隨著預測技術的發展，一些生產力應用程式選單可包含預測性指令表面。這種預測性指令表面亦可被包含在以工作為導向的使用者經驗中。因此，不僅是使用者所描述的工作、目標或其他對於意圖的自然語言陳述可影響使用者介面以及可用指令的呈現，使用者進行陳述的背景內容亦可被納入考量，以預測使用者可需要的下一個(或更多個)指令或資訊。
可根據特定實施例，以各種方式對使用者呈現使用者介面元素。例如，如第2A圖圖示說明，使用者介面元素可被呈現為生產力應用程式介面211中的下拉式選單或列表210。作為另一範例，如第2B圖圖示說明，映射至意圖的使用者介面元素(例如元素220-A、220-B、220-C)可構成對於使用者的生產力介面整體，提供諸如複合表面、工作或選單窗格以及資訊或工具的元素。
提供給使用者(以及可被映射以達成特定工作或其他所決定之意圖)的使用者介面元素可包含個別的應用程式指令；使用者輸入裝置(像是文字輸入方塊、按鍵、選單、 下拉式選單、功能區或其他習知的控制項)；或甚至包含已被動態設置於使用者介面內的控制項或選單的使用者輸入裝置的聚集者。「資訊」可包含來自應用程式的幫助檔案的文章、由應用程式發佈或位於網站上的教學影片、百科全書文章、研究結果、搜尋結果、來自企業知識庫管理系統或內部網路的內容、網站內容、搜尋結果或已被意圖映射服務決定為相關於使用者意圖的任何其他內容。
第3A圖與第3B圖圖示說明用於實施對於基於意圖之使用者經驗的以工作為導向之使用者介面的範例初始視圖；第4A圖與第4B圖圖示說明用於接收意圖的自然語言陳述的範例互動元素；而第5A圖至第5G圖圖示說明回應於接收對於意圖的自然語言陳述，而出現的以工作為導向的使用者介面的範例視圖。
以工作為導向的可重配置式介面，可類似於可用於生產力應用程式之較傳統的圖形使用者介面，但加入了窗格、視窗、下拉式選單、方塊或其他圖形元素。儘管在其他情況中，以工作為導向的可重配置式介面，可整體基於相關於所決定之使用者意圖的元素來顯像。
參考第3A圖，一個初始視圖300-A可包含在生產力應用程式的使用者介面中所期望的特徵，包含用於接收對於意圖之自然語言陳述的互動元素310。例如，可將寫作表面320與功能區指令330顯像為使用者介面的部分。
在第3B圖圖示的另一實施例中，初始視圖300-B可出現為空白(或為潔淨)的畫布或視窗，以及互動元素310。
可由任何適合的方式實施互動元素310，以指示對於意圖之自然語言陳述的輸入。例如，諸如第4A圖圖示的文字方塊輸入欄位互動元素311，可經由鍵盤、小鍵盤、觸控板、筆/觸控筆或其他輸入裝置接收文字輸入。作為另一範例，諸如第4B圖所圖示，可提供語音輸入互動元素312。
一旦接收到對於意圖之自然語言陳述，可顯現相關於執行使用者之意圖的一或更多個使用者介面元素。第5A圖圖示說明可顯現在生產力應用程式介面上(或在生產力應用程式介面旁)的控制板(panel)501。第5B圖圖示說明可從互動元素310顯現的下拉式選單502。第5C圖圖示說明可顯現在生產力應用程式介面中的功能區元素503，功能區元素503可提供用於完成所意圖工作的一或更多個工具，在該功能區元素中這些工具亦可透過傳統選單來取用(但不必須位於相同群組中)。
在第5D圖圖示說明的範例中，回應於從初始視圖300-B(作為範例)接收到對於意圖之自然語言陳述，可從互動元素310拉下選單504，且亦可顯像互動表面505以產生內容。第5E圖圖示說明類似的範例，但其中懸浮選單506可隨著互動表面505顯現。
在第5F圖圖示說明的範例中，以工作為導向的介面，為開啟在生產力應用程式介面上，並包含使用者介面元素部分507與互動元素310的個別視窗(或懸浮工具列)。在第5G圖圖示說明的範例中，跨裝置實施以工作為導向的介面。在第5G圖圖示的範例中，可使用一個裝置509來經由互 動元素310接收輸入，同時第二裝置510可顯現使用者介面元素。範例使用者介面元素包含控制板510-A(具有工具及(或)資訊)、寫作/互動表面510-B以及功能區或選單工具及(或)資訊510-C之一或更多者。
所揭示的系統與技術允許使用者以較多或較少的粒度(granularity)來分句工作意圖，工作意圖隨後由意圖映射服務轉譯成相關的應用程式特徵。在一些情況中，可包含填空範型(slot filling paradigm)。例如，可提供空白或輸入欄位，作為意圖萃取對話的部分。亦可包含拼字檢查。意圖映射服務可由本文所說明的各種方式，將意圖轉變成特徵。在一些具體實施例中，甚至可建置更複雜的使用者介面表面，以簡化對於特徵的存取。所揭示的技術可讓所有使用者更輕易地使用應用程式、讓應用程式更容易使用在具有小型顯示器或觸控顯示器(例如，其中某些選單及(或)功能區可佔去太多空間的裝置顯示器)的裝置上並提升具有多種類型的障礙的使用者的可存取性。
第6A圖圖示說明操作環境，在該環境中可執行意圖映射經驗的某些實施例。在第6A圖中，應用程式605的使用者介面(user interface,UI)600(使用者610正工作於其中)，可被顯像在使用者裝置612的顯示器611上。應用程式605可直接在使用者裝置612上執行，或經由執行在使用者裝置612上的瀏覽器來執行。使用者裝置612可為(但不限於)個人電腦、膝上型電腦、桌上型電腦、平板電腦、閱讀器、行動裝置、個人數位助理、智慧型手機、遊戲裝置或 主機、具有光學頭戴顯示器的可穿戴式電腦、電腦手錶或智慧型電視，以上可由參考第10圖討論於下文的計算系統1000來代表。
可由應用程式605的意圖映射部件615來配置及(或)影響UI 600。意圖映射部件615的形式，可為可由應用程式605呼叫(或調用)的一或更多個軟體模組。意圖映射部件615可提供指令，以執行用於協助本文所說明之基於意圖的使用者經驗的方法之一或更多者。
可透過相關聯於應用程式605的互動元素，來指示使用者的意圖或目標。最基本的意圖或目標描述，可為所需特徵之名稱的所有或部分。然而，在大多數的具體實施例中，預先準備對於意圖的更強健描述，時常包含對於使用者想要完成的工作或目標、延伸多個應用程式指令或特徵的自然語言描述。可由多種方式描述使用者的意圖，例如鍵入文字、說出語音指令或從列表中選擇。在一些具體實施例中，意圖甚至可為非口語表達的，諸如在應用程式理解到使用者在數個動作之後重複選擇「復原(undo)」而指示使用者對於如何執行工作感到困惑時。在此，此意圖可被描述為「口語表達」，但應注意到，使用此用詞的並非意圖將意圖陳述限制為口說。
意圖映射部件615可協助將對於意圖之自然語言陳述，映射至特定工作(或多個工作)，以及在實施此特定工作(或多個工作)過程中可為有用的對應使用者介面元素。
可使用各種技術，來完成解譯使用者的意圖並將意 圖與特徵及資訊匹配。在一些具體實施例中，對於自然語言意圖陳述的文字，可透過UI 600被傳送至軟體層，軟體層執行對於決定使用者意圖，並將使用者意圖映射至相關於完成意圖工作之特徵與資訊的活動。
此軟體層可為「意圖映射服務」620、622。應注意到，意圖映射服務的所有或部分，可位在使用者的計算裝置上、分散於多個機器或甚至位於雲端服務上。單一的「意圖映射服務」，事實上可由與彼此通訊的多個子服務所組成。意圖映射服務(或構成之子服務)的實體位置，將根據實施例而改變。
在一些實施例中，可使用遠端意圖映射服務620。基於意圖之使用者經驗的一些態樣，係執行在使用者裝置612上，並顯像為顯示於使用者介面600中，同時其他態樣可至少部分由意圖映射服務620、622執行。
可使用各種類型的實體(或虛擬)計算系統來實施意圖映射服務620，諸如伺服器電腦、桌上型電腦、膝上型電腦、平板電腦、智慧型手機或任何其他適合的計算設備。在使用伺服器電腦來實施時，可使用各種伺服器之任意者，包含(但不限於)應用程式伺服器、資料庫伺服器、郵件伺服器、機架伺服器、刀鋒伺服器、塔型伺服器或任何其他類型的伺服器、伺服器之變異型或以上之結合者。
意圖映射部件615可在網路上與意圖映射服務620互動。網路可包含(但不限於)蜂巢式網路(例如無線電話)、點對點撥號連結、衛星網路、網際網路、區域網路(local area network；LAN)、廣域網路(wide area network；WAN)、WiFi網路、無線隨意網路(ad hoc network)、內部網路、外部網路或以上之結合者。此種網路被廣泛地用於連接各種類型的網路元件，諸如集線器、橋接器、路由器、切換器、伺服器與閘道。網路可包含一或更多個連接的網路(例如多重網路環境)，包含公眾網路，諸如網際網路，及(或)私人網路(諸如保全企業私人網路)。如將由在本發明領域中具有通常知識者所瞭解，可經由一或更多個有線或無線存取網路來提供對於網路的存取。
在某些實施例中，意圖映射部件615使用意圖映射服務620的應用程式介面(application programming interface；API)，協助在與UI 600互動的使用者610與意圖映射服務620之間的互動。
在一些實施例中，可使用本地意圖映射服務622而非遠端意圖映射服務620。本地意圖映射服務622可在使用者裝置612上提供層，層讓使用者對於意圖之自然語言陳述能夠被解譯成來自一或更多個應用程式的使用者介面元素。意圖映射部件615使用意圖映射服務622的API，協助在與UI 600互動的使用者610與意圖映射服務622之間的互動。
API為由程式碼部件或硬體部件(此後稱為「API實施部件」)實施的介面，介面允許不同的程式碼部件或硬體部件(此後稱為「API呼叫部件」)存取並使用一或更多個功能、方法、程序、資料結構、分類及(或)其他由API實施部件所提供的服務。API可界定在API呼叫部件與API實 施部件之間傳遞的一或更多個參數。
一般而言，API為致能兩或更多個應用程式與彼此通訊的一組程式指令與標準，且通常被在網際網路上實施為超文件傳輸協定(Hypertext Transfer Protocol；HTTP)要求訊息組以及所指定之格式或結構以回應訊息(根據表徵狀態轉移(Representational state transfer；REST)或簡單物件存取協定(Simple Object Access Protocol；SOAP)架構)。
API可用以存取由API實施部件提供的服務或資料，或起始API實施部件所提供的作業或計算之執行。例如，API實施部件與API呼叫部件之每一者，可為下列之任意者：作業系統、資源庫、裝置驅動器、API、應用程式或其他模組(應瞭解到API實施部件與API呼叫部件彼此的模組類型可相同或不同)。API實施部件在一些情況中，可至少部分被實施於韌體、微程式碼或其他硬體邏輯中。
API呼叫部件可為本地部件(亦即在與API實施部件相同的資料處理系統上)，或在網路上透過API與API實施部件通訊的遠端部件(亦即在與API實施部件不同的資料處理系統上)。
應瞭解到，API實施部件亦可作為API呼叫部件(亦即，API實施部件可向由不同API實施部件所暴露的API發出API呼叫)，且API呼叫部件藉由實施向不同API呼叫部件暴露的API，亦可作為API實施部件。
API與相關部件，可被儲存於一或更多個機器可讀取儲存媒體中(例如，諸如硬碟機、磁碟、固態硬碟、隨機 存取記憶體、快閃、CD、DVD以及類似者的儲存媒體)。
回應於接收到對於UI 600的特定使用者互動，意圖映射部件615可使用意圖映射服務620(或622)的API，協助意圖映射服務620(或622)的呼叫(或調用)。隨後，意圖映射服務620(或622)可執行對於使用者所意圖之目標或工作的決定，以及對於可相關於所意圖之目標或工作的應用程式使用者介面部件的決定(基於意圖映射部件615所提供的資訊)。
意圖映射服務(620、622)可決定相關聯於使用者對於意圖之自然語言陳述的工作，例如藉由將意圖陳述與一或更多個可能的工作匹配，工作可已被放至透過生產力應用程式(及(或)其他應用程式)而為可用的工具與資訊。因為使用者對於他想要的工作的描述可開始於自然語言陳述，在一些具體實施例中，意圖映射服務(620、622)可使用自然語言處理程序，以將使用者的陳述與各種可能的匹配意圖來匹配。
例如，假設使用者在文字處理應用程式中口語表達「將此文件設為合法文件」的意圖。意圖映射服務可決定使用者所意圖的工作包含「改變頁面尺寸」，以及可讓(及(或)可告知)使用者將文件尺寸從「信件尺寸」改變成「A4」的相關特徵。然而，其他相關特徵可為改變頁面邊界、將指向從直向改為橫向以及切換成具有A4紙張的不同印表機。這些工具可全部作為以工作為導向之使用者介面被呈現給使用者。
在一些實施例中，意圖映射服務可利用網際網路搜尋引擎或線上幫助網站的搜尋引擎，以傳回對於應用程式的常見使用者意圖或最流行的意圖。
在一些實施例中，意圖映射服務(620、622)可利用從應用程式的其他使用者收集到的使用率資料。意圖映射服務620(或622)可與使用率資料服務625通訊，使用率資料服務625收集並處理一或更多個使用者的使用率資料，以傳回可相關於所意圖工作的額外使用者介面元素。
使用率資料記錄器可位於使用者的裝置上或其他處，並可作業以記錄使用者行為的類型與頻率，且在一些情況中將使用率資料上傳至集中式處理服務(可為使用率資料服務625的部分)，集中式處理服務將大量使用者的使用率圖樣列表。此資料可由意圖映射服務620、622查詢，作為額外的因素以解譯使用者所陳述的意圖，並將意圖匹配至已知的意圖。
意圖映射服務可使用任何或所有前述技術，以將使用者口語表達的意圖與應用程式能夠處理的意圖匹配。此外，在這些模型的任意者或所有者中，場景之後的個人，可以編輯身分選擇可用的意圖，例如藉由從可信賴的來源選擇出最完整的意圖。第6B圖圖示說明致能對於應用程式發佈其可用的意圖與介面元素的一般化模型的範例實施例(更詳細說明於下文)。最終，與工作匹配的使用者介面元素，可被傳回UI並對使用者顯示。
所決定的使用者介面元素可被傳回使用者裝置612 (例如以意圖映射部件615為目標)。隨後，意圖映射部件615可基於從意圖映射服務620接收來的資訊，在UI 600中顯現元素。
在一些實施例中，可使用額外資訊以協助決定使用者的意圖，及(或)產生可為有用的額外使用者介面元素。額外資訊可隨情況改變，但在一些具體實施例中，額外資訊可包含諸如應用程式狀態的資訊(包含應用程式中的使用者介面的狀態)。例如，若應用程式為文字處理器，則相關的使用者介面狀態，可包含在介面中選擇了單一文字(而非整段)的事實，因為對於完成給定使用者意圖為有用的特徵與資訊，對於文字與段落而言可為不同。
其他形式的額外資訊，可包含使用者在過往已要求過的意圖的歷史。額外資訊亦可包含使用者通常調用的特徵與功能的歷史。意圖可被與社群圖表(或基於開放圖表(Open Graph)標準的其他圖表)比較，或對社群圖表搜尋意圖，或甚至對線上投票或其他主動聚合回饋搜尋意圖。額外資訊亦可包含使用者類型，例如使用者是在企業網路內工作或在企業網路外工作。對於前者，使用者的意圖較類似於以工作為導向，而對於後者則較類似於以消費者為導向。例如，使用者口語表達「格式化郵件」或「製備郵件」的意圖可包含的某些資訊或工具，係基於郵件被製備為商業郵件或是個人郵件。例如，商業郵件可遵循一組格式(且包含表格信件)，所以相關於產生具有相同樣式(或甚至實質)的多個郵件的資訊或工具可為有幫助的。相對的，個人郵件可受益於相關 於製備履歷表封面郵件的工具與資訊(或者假日或生日賀卡工具)。
再者，額外資訊(及(或)未提及的其他資訊與元資料)的一些，可用以產生預測性指令及(或)元素，預測性指令及(或)元素可與基於使用者對於意圖之自然語言陳述所選擇的使用者介面元素一起顯現。
如前述，映射服務可由根據具體實施例而改變的數種方式，來執行意圖至特徵與資訊的映射。在一些具體實施例中，可利用高階意圖至特徵映射語言，來說明並發佈意圖與他們所對應的特徵與資訊。使用常見於領域中的方法(諸如遵循經界定的XML方案的XML資料(XSD)，可將各種自然語言意圖與應用程式的相關指令匹配。
如第6B圖圖示，意圖映射部件625可從意圖映射服務620接收XML 680。意圖映射部件在一些實施例中可作為可用的標準化OS特徵。意圖映射部件625藉由讀取相關工作描述，並將特徵與他們在應用程式內常見可呼叫的名稱匹配，來處理XML描述。
在一些具體實施例中，應用程式開發者可使用標準化的指令發佈介面681組，以在他們的應用程式中「發佈」指令。以此方式，對於基於意圖的映射，內部指令682變得可被外部呼叫者存取。應注意到，許多應用程式已經暴露API或「物件模型」，API或「物件模型」允許其他應用程式或服務執行或「呼叫」來自程式語言、描述語言或巨集語言的作業。例如，Microsoft Word®暴露其大部分的特徵，以透過 Word Object Model控制Microsoft Word®文件檔案。
可根據用於發佈可用於基於意圖之使用者經驗的特徵，來界定應用程式想要用於工作映射的指令與特徵。第6B圖圖示範例介面界定模型，並繪製單純指令「改變頁面指向(Change Page Orientation)」，指令「改變頁面指向」與其應用程式內部功能名稱「指向翻轉」匹配。
應注意到，在第6B圖圖示說明的範例中，意圖映射部件625一般而言可透過OS來呼叫，而不必須由應用程式控制。此圖示說明了用於顯示意圖互動表面的更一般化的模型，在該模型中可從給定應用程式之介面的外側口語表達意圖，但仍能夠呼叫一或更多個應用程式內的指令。
在要於動態介面表面上顯示更複雜的使用者介面元素的具體實施例中，應用程式開發者可將指令與介面元素結合成自訂介面元素，並將使用前述之基於XML的技術來發佈自訂介面元素。界定應用程式特定「自訂」介面元素的方法，係熟知於本領域中，並可根據現有的規格來執行。
在一些具體實施例中，意圖可被應用程式開發者特定地界定，以映射至應用程式功能。然而，使用前述之意圖至特徵映射語言，亦展望第三方(third party)能夠開發意圖至特徵描述。這些第三方，可包含參與在網際網路論壇、部落格、網站或社群媒體環境之中的個人。個人亦可包含可在交換網站(web exchanges)雇用的專家，這些專家可將意圖至特徵映射描述，賣給需要幫助以進行複雜工作的使用者。個人甚至可為企業員工，這些企業員工的工作為界定對於特 定於此企業之商業工作線的意圖至功能映射。
如前述，除了應用程式特徵以外，意圖映射服務亦可傳回使用者在完成工作過程中，可認為有用的資訊。此資訊亦可包含來自應用程式幫助檔案的描述性幫助文件。資訊亦可包含更詳細描述如何執行複雜作業的網頁。亦可包含提供在網站上的視頻檔案，視頻檔案對使用者視覺顯示如何執行作業。此種資訊性來源，可使用網頁搜尋或其他方法在映射語言中描述或由意圖映射服務編譯。
情境
下面呈現範例情境，以期更瞭解本發明的某些具體實施例及其許多的優點。下面的範例情境單純意為說明對於具體實施例的一些應用與變異型。當然，這些範例情境不應被視為是限制性的。
在一些情境中，以工作為導向的介面可涉及簡單文字視窗，回應於接收到意圖陳述，簡單文字視窗產生可能意圖列表，每一可能意圖具有相關應用程式功能以及幫助使用者完成目標之其他資訊的子列表。
其他情境可顯現更精密的互動表面，互動表面讓使用者能夠口語表達意圖，意圖可需要多個應用程式及(或)更複雜的使用者輸入裝置。
範例情境A
在第7A圖至第7B圖繪製的範例中，圖示說明了文字處理應用程式介面700。在應用程式的主選單區域701中，包含文字方塊的互動元素710，允許使用者輸入表示意圖陳述 的詞句。在第7A圖中的範例中，在方塊中點擊，可顯現選擇列表711，選擇列表711包含常用的意圖、特徵與資訊的截面。可基於使用者的個人使用率資料、關於應用程式的常用搜尋項目、由使用率資料收集服務所計算出的常用指令、在應用程式最新版本中新推出的指令或以上之任意者或全部之結合者，來產生此列表。
隨著使用者開始在文字方塊中輸入，如第7B圖繪製，意圖映射服務可使用字母以縮小意圖列表。如圖示，將字母「in」輸入互動元素710，可開始產生具有可能相關的指令712與資訊713的列表711。在範例中，「插入表(insert a table)」與「增大邊際(increase my margins)」可為文字處理應用程式中兩種可能的感興趣特徵組。範例亦繪製了相關資訊性提示與文章的列表(資訊713)。以滑鼠、觸控姿勢或其他適合的介面方法點及指令712或資訊713來源，啟動列表中的項目。
範例情境B
第7C圖繪製的範例，繪製使用者輸入對於意圖之自然語言陳述，且傳回了進一步意圖群組與特徵組。在此，輸入至互動元素710的對於意圖之自然語言陳述之詞句，為要解決之「問題」：文字處理應用程式的使用者覺得字看起來太擠了。意圖映射服務建議解決使用者的「問題」的各種「解決方案」(群組化為特徵組)，「解決方案」被(例如)顯現為列表715的部分。解決方案自身可用以幫助決定使用者的意圖，且選擇解決方案，可產生在完成工作的過程中為有 用的指令或資訊。
每一特徵組自身為可選擇的。在範例中，使用者決定讓文字更大720，此開啟了進一步的互動表面，互動表面包含具有各種介面元素的指令群組。一個介面元素允許使用者使用下拉式選擇列表，選擇看起來可更舒服的新字型721。另一輸入裝置(上下「旋轉器」控制)，允許使用者增加文字的大小722。第三者(其自身顯現包含指令的進一步介面)，允許使用者調整文字的「字母緊排(kerning)」(每一個別字母之間的空白空間)723。
範例情境C
個人資訊管理(personal information management；PIM)應用程式的使用者(會組織電子郵件、工作、行事曆與聯絡人)要去度假。使用者在PIM的互動元素(未圖示)中輸入(或說出)「我下週要去度假(I am going on vacation next week)」。各種時間性的表示可由系統使用並瞭解(例如透過模糊日曆管理(或模糊時序關聯))。互動元素可位於與PIM的介面相同或不同的裝置上。PIM的以工作為導向的使用者介面800可顯現，亦呈現指令、功能與資訊，讓使用者可準備去度假。
在此情境中，可回應於接收到使用者對於意圖之自然語言而顯現的使用者介面元素，包含方塊801，在方塊801中使用者可輸入不在辦公室的訊息、要重排時間或取消的約會列表(802)、需要改變完成期限的工作列表(803)以及用於設定規則(可讓來自某些發送者的電子郵件被轉寄至代理人)的使用者輸入元素(804)。這些應用程式特徵之每一 者可為PIM的部分，但在典型的PIM中，僅可由切換至完全不同的應用程式區段(每一者具有其自身的指令結構)來存取。在一些情況中，使用者介面元素可包含協助分異含糊不清的意圖或「模糊的」意圖者(例如，「晚餐(dinner)」可關於過多而難以呈現(涵蓋許多不同的關於晚餐的態樣)的特徵與工作)。
在一些實施例中，以工作為導向的使用者介面顯現在位於較傳統的PIM使用者介面上的視窗中；因此，點擊「完成(Finished)」按鈕805可完成所要求的功能、移除動態使用者介面並讓使用者返回他(或她)先前的介面表面。
範例情境D
情境D進一步圖示說明了所揭示技術在多重應用程式模型中的威力。在此情境中，使用者從PIM接收到對於重要聯絡人的生日快到了的提醒通知。在對於基於意圖之使用者經驗的互動元素中，可包含對於相關於此通知之工作的一些選項。例如，PIM程序根據生日通知之背景內容預期使用者接下來可能的意圖，而可能意圖(且建議)一個回應可為為聯絡人「製作生日賀卡(make a birthday card)」。
第9圖圖示說明實施情境D的範例介面。提醒訊息900作為PIM的正常提醒顯示模型的部分而顯現。提醒訊息可包含可由使用者選擇的工作901，或可包含互動元素902，使用者可在互動元素902中指示對於意圖之自然語言陳述。
在使用者選擇(或輸入自然語言陳述)「製作生日賀卡(make a birthday card)」(903)時，相關於寫生日賀 卡之工作的PIM(或其他可存取之應用程式)的一或更多個使用者介面元素，可顯現在視窗或窗格905(或其他容器)中。一個可能的使用者介面元素，包含致能對於生日賀卡樣板910的選擇的特徵，生日賀卡樣板910可由文字處理或發佈應用程式提供。另一使用者介面元素可致能第二應用程式被調用。例如，「挑選勵志名言(pick an inspirational quotation)」911可致能使用者存取不同的應用程式(諸如搜尋引擎)，不同的應用程式可經由第一應用程式(文字處理應用程式)與搜尋引擎服務之間的通訊來存取，或可經由網頁瀏覽器的第三應用程式來存取。
在一個實施例中，選擇「挑選勵志名言(pick an inspirational quotation)」911，可提供包含名言(或相關於得到勵志名言的指令)之下拉式選單。在另一實施例中，選擇「挑選勵志名言(pick an inspirational quotation)」911，可啟動網頁瀏覽器920。
範例計算環境
第10圖為圖示說明在一些具體實施例中使用的計算裝置(例如使用者裝置612)的部件的方塊圖。系統1000可被實施在單一計算裝置內，或分散在合作執行程式指令的多個計算裝置或子系統上。系統1000可用以實施多樣的計算裝置，包含(但不限於)個人電腦、平板電腦、閱讀器、行動裝置、個人數位助理、可穿戴式電腦、平板電腦、智慧型手機、膝上型電腦(筆記型電腦或上網電腦)、遊戲裝置或主機、桌上型電腦或智慧型電視。因此，可併入多於或少於 針對系統1000所說明的元件，以實施特定的計算裝置。
系統1000(例如)包含處理器1005，處理器1005根據與裝置作業系統(operating system；OS)1015互動的一或更多個應用程式1010的指令處理資料。處理器1005的範例，包含一般用途中央處理單元、應用程式特定處理器與邏輯裝置、以及任何其他類型的處理裝置及其結合者或變異者。
應用程式1010、OS 1015與其他軟體，可被載入並儲存於儲存系統1020中。裝置作業系統1015一般而言控制並協調計算裝置中各種部件的功能，使應用程式能夠以較簡單的方式連接較低階的介面(像是網路介面)。作業系統的非限制性範例，包含來自微軟公司的Windows®、來自Apple,Inc.的IOSTM、來自Google,Inc.的Android® OS、來自Microsoft的Windows® RT，及來自Canonical的Linux® OS的Ubuntu®變異型。
應注意到，OS 1015可被原生地實施在計算裝置上，以及在原生裝置OS上方執行的軟體虛擬層上。虛擬化的OS層(未繪製於第10圖)可被當成OS 1015空間內的額外巢狀群組，每一群組包含OS、應用程式與API。
儲存系統1020可包含可由處理器1005讀取、且能夠儲存軟體(例如應用程式1010與OS 1015)的任何電腦可讀取儲存媒體。
儲存系統1020可包含以任何資訊儲存方法或科技實施的揮發性與非揮發性、可移除式與不可移除式的媒體，資訊諸如電腦可讀取指令、資料結構、程式模組或其他資料。 儲存媒體的範例，包含隨機存取記憶體、唯讀記憶體、磁碟、光碟、快閃記憶體、虛擬記憶體與非虛擬記憶體、磁匣、磁帶、磁碟存儲器或其他磁性儲存裝置或任何其他適合的儲存媒體。在任何情況下儲存媒體皆不為傳輸訊號。除了儲存媒體之外，在一些實施例中，儲存系統1020亦可包含通訊媒體，軟體可在通訊媒體上內部地(或外部地)通訊。儲存系統1020可被實施為單一儲存裝置，但亦可實施在共置或相對於彼此分散的多個儲存裝置或子系統上。儲存系統1020可包含能夠與處理器1005通訊的額外元件，諸如控制器。
軟體可由程式指令實施，且除了其他功能外，在一般而言由系統1000執行或特定而言由處理器1005執行時，軟體可指示系統1000或處理器1005如本文所述般操作。軟體可包含額外的程序、程式或部件，諸如作業系統軟體或其他應用程式軟體。軟體亦可包含韌體或其他形式的可由處理器1005執行的機器可讀取處理指令。
一般而言，在被載入處理器1005並執行時，軟體可將計算系統1000從一般用途計算系統，轉換成自訂為協助如本文對於每一實施例所述之背景資訊查找及導覽程序流程的特定用途計算系統。當然，編碼儲存系統1020上的軟體，可轉換儲存系統1020的實體結構。實體結構的特定轉換，可根據本說明書中不同實施例中的各種因素。此種因素的範例，可包含(但不限於)用於實施儲存系統1020之儲存媒體的科技(且不論電腦儲存媒體被特徵化為主要存儲器或次要存儲器)。
例如，若電腦儲存媒體被實施為基於半導體的記憶體，則在程式被編碼於其中時，軟體可轉換半導體記憶體的實體狀態，諸如藉由轉變電晶體、電容器或其他組成半導體記憶體之個別電路元件的狀態。類似的轉變可對於磁性或光學媒體發生。實體媒體可能具有其他轉變，而不脫離本揭示內容之範圍，而前述範例目的僅為協助此討論。
應注意到，系統1000的許多元件可被包含在晶片上系統(SoC)裝置中。這些元件可包含(但不限於)處理器1005、通訊介面1035、音頻介面1040、視頻介面1045、甚至儲存系統1020的元件。
通訊介面1035可包含通訊連結與裝置，通訊連結與裝置允許透過一或更多個通訊網路(未圖示)與其他計算系統通訊。一起允許系統間通訊的連結與裝置的範例，可包含網路介面卡、天線、功率放大器、RF電路系統、收發器與其他通訊電路系統。連結與裝置可透過通訊媒體(諸如金屬、玻璃、空氣或任何其他適合的通訊媒體)通訊，以與其他計算系統或系統網路交換通訊。OS 1015控制發至(發自)通訊介面的傳輸，OS 1015並於必要時向應用程式與API通知通訊事件。
介面裝置1050可包含輸入裝置，諸如滑鼠1051、軌跡板、鍵盤1052、麥克風1053、用於接收來自使用者的觸控姿勢的觸控裝置1054、用於偵測使用者的非觸控姿勢與其他動作的動作輸入裝置1055與其他類型的輸入裝置及其能夠接收使用者輸入的相關聯的處理元件。
介面裝置1050亦可包含輸出裝置，諸如顯示螢幕1056、揚聲器1057、用於觸覺回饋的體感裝置及其他類型的輸出裝置。在某些情況中，輸入與輸出裝置可被結合在單一裝置中，諸如同時繪製影像與接收來自使用者的觸控姿勢輸入的觸控螢幕顯示器。可由多種方式在顯示器1051上繪製視覺輸出，呈現圖形使用者介面元素、文字、影像、視頻、通知、虛擬按鍵、虛擬鍵盤或任何其他可被繪製為視覺形式的資訊。可能存在其他種類的使用者介面。使用者介面1050亦可包含由OS 1015執行的相關聯的使用者介面軟體，支援各種使用者輸入與輸出裝置。此種軟體支援OS使用所界定的機制，將使用者介面硬體事件通訊至應用程式1010。
應瞭解計算系統1000一般而言，意為代表部署並執行軟體，以實施具有如本文所述之背景資訊查找與導覽程序流程之應用程式的計算系統。然而，計算系統1000亦可代表軟體可位於其上的任何計算系統，軟體可從計算系統被散佈、運輸、下載或者提供至另一個計算系統以供部署與執行或又一次散佈。
第11圖圖示說明應用環境1100，在該環境中可利用繪製於系統1000中(第10圖)並討論於上文的原理，實施具有所提出之改良的應用程式。詳言之，第11圖圖示各種應用程式平台1110、1120、1130、1140，每一平台能夠透過通訊網路1101與服務平台1170與1180通訊，以執行背景搜尋並傳回相關結果。應用程式平台1110、1120、1130、1140，可為採用適合在此平台上實施應用程式(1111、1121、1131、 1141)之計算結構的任何計算設備、裝置、系統或以上之集合。
在一些具體實施例中，實施所說明的介面與程序流程的應用程式，可被設計為檢視與操縱本文內容。在其他具體實施例中，可由OS或應用程式可經由API存取的層化部件，來實施偵測文字選擇與非侵入性顯像相關結果的功能性。
應用程式1111可為在本地安裝並執行的完整或「原生」版本。在一些情況中，應用程式1111可由混合方式操作，使得應用程式的一部分被安裝並執行於本地，而其他部分被遠端執行且隨後串流傳至應用程式平台1110以供本地顯像。應用程式1111的非限制性範例，可包含生產力(與筆記)應用程式，諸如Microsoft Word®、Evernote®、Microsoft Excel®與Apple Pages®。
實施在應用程式平台1120上的基於瀏覽器的應用程式1121，可為整量或部分地在瀏覽器應用程式1122背景下執行的基於瀏覽器的版本。在此模型中，程式指令的全部或部分被遠端執行，而瀏覽器1122透過諸如HTML的視覺表示語言，對使用者裝置顯像結果。基於瀏覽器的應用程式1121的非限制性範例，為Microsoft Office® Web App Service與Google DriveTM。瀏覽器應用程式1122的範例，包含Google ChromeTM、Microsoft Internet ExplorerTM與Mozilla FirefoxTM。
應用程式1131可為安裝於本地並執行在行動裝置上的行動應用程式版本。在一些情況中，應用程式1131可由 混合方式操作，使得應用程式的一部分被安裝並執行於本地，而其他部分被遠端執行且隨後串流傳至應用程式平台1130以供本地顯像。行動應用程式1131的非限制性範例，包含Google AndroidTM與Apple IOSTM上的QuickOffice® HD。
實施在應用程式平台1140上的應用程式1141，可為整量或部分地在行動瀏覽器應用程式1142背景下執行的基於瀏覽器的版本。在此模型中，程式指令的全部或部分被遠端執行，而瀏覽器1142經由諸如HTML的視覺表示語言，對使用者裝置顯像結果。基於行動瀏覽器的應用程式1141的非限制性範例，包含透過Microsoft SkyDrive®與Google DriveTM的對於內容的行動裝置增強檢視。行動瀏覽器應用程式1142的範例，包含Google ChromeTM與Mozilla FirefoxTM。
應用程式平台1110、1120、1130、1140可與網路1101所連接的服務平台1170與1180通訊。服務平台可傳遞對應用程式平台有用的各種服務，以及用於致能如本文所述之基於意圖、以工作為導向的使用者經驗的應用程式。例如，服務平台1170可傳遞詳細說明於上文的意圖映射服務1171。服務1171亦可容納遠端程式指令，並對應用程式平台之任意者上的應用程式或瀏覽器顯像遠端程式指令的結果。可使用透過網路通訊的一或更多個實體及(或)虛擬伺服器，實施意圖映射服務1171。
此外，服務平台1180可傳遞儲存提供者服務1181，儲存提供者服務1181致能可由應用程式1111、1121、1131、1141(及意圖映射服務1171)利用的檔案或其他資料的非本 地儲存。例如，儲存提供者服務1181可為雲端儲存提供者、資料庫伺服器或本地區域網路檔案伺服器。意圖映射服務可包含如本文所說明之，對於這些儲存提供者搜尋意圖定義或資訊性內容並呈現結果的功能性。儲存提供者服務的範例，包含Microsoft SkyDrive®、Google DriveTM、DropBoxTM、BoxTM與Microsoft® SQL Server。
在此說明書中，任何對於「一個具體實施例」、「一具體實施例」、「範例具體實施例」等等的參照，表示所說明之與具體實施例連結的特定特徵、結構或特性，係包含在發明的至少一個具體實施例中。出現在說明書各處的此種詞句，並非必須皆代表相同的具體實施例。此外，本文所揭示的任何發明(或其具體實施例)的任何元件或限制，可與本文所揭示的任何其他發明(或其具體實施例)的任何元件或限制結合，而所有此種結合係思量為位於發明的範圍內(而非限制發明範圍)。
應瞭解本文所說明之範例與具體實施例的目的僅為說明，而參考這些範例與具體實施例的各種修改或改變，將會由在本發明領域中具有通常知識者啟發，且應被包含在此申請案的精神與範圍內。
100‧‧‧自然語言陳述
110‧‧‧意圖至元素引擎
111‧‧‧意圖資料庫
112‧‧‧使用者介面(UI)元素
120‧‧‧呈現使用者介面元素

Claims (20)

  1. 一種在一或更多個應用程式內協助完成工作的方法，該方法包含以下步驟：接收步驟，接收對於一意圖的一自然語言陳述，該意圖係關於一生產力應用程式的使用；決定步驟，決定對應於該意圖的一或更多個使用者介面元素；以及配置步驟，使用對應於該意圖的該一或更多個使用者介面元素，配置一圖形使用者介面。
  2. 如請求項1所述之方法，其中決定對應於該意圖的該一或更多個使用者介面元素的該決定步驟，包含以下步驟：對該自然語言陳述分析可對應於該自然語言陳述的可能相關工作；以及取得相關聯於該等可能相關工作的該一或更多個使用者介面元素。
  3. 如請求項1所述之方法，其中使用對應於該意圖的該一或更多個使用者介面元素，配置一圖形使用者介面的該配置步驟，包含以下步驟：顯現下列的至少一者：用於完成相關聯於該意圖的一工作的一工具，與用於完成相關聯於該意圖的該工作的資訊。
  4. 如請求項1所述之方法，該方法進一步包含以下步驟：以該圖形使用者介面顯現一或更多個預測性指令。
  5. 如請求項1所述之方法，其中接收對於該意圖的該自然語言陳述的該接收步驟，包含以下步驟：經由該圖形使用者介面的一輸入欄位，接收一詞句的至少一部分。
  6. 如請求項1所述之方法，其中決定對應於該意圖的該一或更多個使用者介面元素的該決定步驟，包含以下步驟：使用對於該意圖的該自然語言陳述，以及下列的至少一者：一使用者類型、一使用者的先前使用率歷史、該生產力應用程式的一狀態以及該使用者對於先前對於意圖的自然語言陳述的歷史。
  7. 一種設備，包含：一或更多個電腦可讀取儲存媒體；以及儲存在該一或更多個電腦可讀取媒體上的程式指令，該等程式指令在由一處理系統執行時，指示該處理系統顯像一可重新配置式以工作為導向的使用者介面，包含：一互動元素，該互動元素用於接收對於一意圖的一自然語言陳述，該意圖係關於一生產力應用程式的使用；以及相關聯於該意圖的一或更多個介面元素，該一或更多個介面元素回應於對於該意圖的一決定而顯現。
  8. 如請求項7所述之設備，其中該一或更多個介面元素包含下列的至少一者：用於完成相關聯於該意圖的一工作的一 工具，與用於完成相關聯於該意圖的該工作的資訊。
  9. 如請求項8所述之設備，其中用於完成相關聯於該意圖的該工作的該資訊，包含應用程式幫助內容或多媒體內容。
  10. 如請求項8所述之設備，其中用於完成相關聯於該意圖的該工作的該工具，包含根據該意圖而群組化的複數個指令。
  11. 如請求項10所述之設備，其中該等複數個指令未出現在該生產力應用程式的任何選單或工具列中的一相同群組中。
  12. 如請求項7所述之設備，其中該一或更多個介面元素包含一第一介面元素與一第二介面元素，該第一介面元素來自一第一生產力應用程式，而該第二介面元素用於與一第二生產力應用程式互動。
  13. 如請求項7所述之設備，其中該一或更多個介面元素包含一第一介面元素與一第二介面元素，該第一介面元素來自一第一生產力應用程式，而該第二介面元素用於與一個人資訊管理應用程式互動。
  14. 如請求項7所述之設備，其中該介面元素接收來自一第二設備的對於該意圖的該自然語言陳述。
  15. 如請求項7所述之設備，其中該互動元素經由該設備的一輸入裝置接收對於該意圖的該自然語言陳述。
  16. 如請求項7所述之設備，其中該可重新配置式以工作為導向的使用者介面，進一步包含顯現一或更多個預測性指令的一工具元素。
  17. 一種用於協助一基於意圖的使用者經驗的方法，該方法包含以下步驟：顯示一互動元素，該互動元素用於接收對於一意圖的一自然語言陳述，該意圖係關於一生產力應用程式的使用；回應於接收到對於該意圖的該自然語言陳述，將對於該意圖的該自然語言陳述傳送給一意圖映射服務，該意圖映射服務分類該意圖，該意圖映射服務並提供對於對應於該意圖的該一或更多個應用程式的一或更多個介面元素的一指示；以及回應於接收到來自該意圖映射服務的對於該一或更多個介面元素的該指示，在一第一選單中顯現該一或更多個使用者介面元素。
  18. 如請求項17所述之方法，其中該一或更多個使用者介面元素包含一或更多個工具、一或更多個資訊或以上之一結合者。
  19. 如請求項17所述之方法，其中該一或更多個應用程式包含至少一個生產力應用程式，該方法進一步包含以下步驟：在一第二選單中顯現該至少一個生產力應用程式的預測性指令。
  20. 如請求項17所述之方法，其中該第一選單中的該一或更多個介面元素，未一起出現在該一或更多個應用程式的一標準選單中。
TW103139420A 2013-12-18 2014-11-13 基於意圖的使用者經驗 TW201537435A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/133,093 US20150169285A1 (en) 2013-12-18 2013-12-18 Intent-based user experience

Publications (1)

Publication Number Publication Date
TW201537435A true TW201537435A (zh) 2015-10-01

Family

ID=52358973

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103139420A TW201537435A (zh) 2013-12-18 2014-11-13 基於意圖的使用者經驗

Country Status (6)

Country Link
US (1) US20150169285A1 (zh)
EP (1) EP3084758A4 (zh)
KR (1) KR20160099575A (zh)
CN (1) CN105830150B (zh)
TW (1) TW201537435A (zh)
WO (1) WO2015094871A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI661349B (zh) * 2017-11-15 2019-06-01 財團法人資訊工業策進會 產生對話式使用者介面的方法及系統
TWI737431B (zh) * 2020-08-04 2021-08-21 易晨智能股份有限公司 資料傳輸系統及其方法
TWI834538B (zh) 2023-03-13 2024-03-01 大陸商鼎捷軟件股份有限公司 介面生成系統以及介面生成方法

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120159341A1 (en) 2010-12-21 2012-06-21 Microsoft Corporation Interactions with contextual and task-based computing environments
US20120166522A1 (en) * 2010-12-27 2012-06-28 Microsoft Corporation Supporting intelligent user interface interactions
KR102394485B1 (ko) * 2013-08-26 2022-05-06 삼성전자주식회사 음성 인식을 위한 전자 장치 및 방법
US9754591B1 (en) * 2013-11-18 2017-09-05 Amazon Technologies, Inc. Dialog management context sharing
US20150186377A1 (en) * 2013-12-27 2015-07-02 Google Inc. Dynamically Sharing Intents
US10949067B2 (en) * 2014-05-29 2021-03-16 Hexagon Technology Center Gmbh Apparatus and method of displaying objects in configurable window groups
US10613751B2 (en) * 2014-06-27 2020-04-07 Telenav, Inc. Computing system with interface mechanism and method of operation thereof
US10338959B2 (en) 2015-07-13 2019-07-02 Microsoft Technology Licensing, Llc Task state tracking in systems and services
US20170177738A1 (en) * 2015-12-21 2017-06-22 Google Inc. Dynamic intent registry
US20170199748A1 (en) * 2016-01-13 2017-07-13 International Business Machines Corporation Preventing accidental interaction when rendering user interface components
US10635281B2 (en) 2016-02-12 2020-04-28 Microsoft Technology Licensing, Llc Natural language task completion platform authoring for third party experiences
WO2017197365A1 (en) 2016-05-13 2017-11-16 Microsoft Technology Licensing, Llc Contextual windows for application programs
US20180039478A1 (en) * 2016-08-02 2018-02-08 Google Inc. Voice interaction services
US20180046470A1 (en) * 2016-08-11 2018-02-15 Google Inc. Methods, systems, and media for presenting a user interface customized for a predicted user activity
KR20180048213A (ko) * 2016-10-31 2018-05-10 한국항공우주산업 주식회사 통합개발환경 사용자 정의 멤버 편집창 구성 방법 및 장치
US10802839B2 (en) * 2016-11-21 2020-10-13 Vmware, Inc. User interface customization based on user tendencies
US11025566B2 (en) * 2017-04-12 2021-06-01 Facebook, Inc. Techniques for intent-based search for bots
US11144810B2 (en) * 2017-06-27 2021-10-12 International Business Machines Corporation Enhanced visual dialog system for intelligent tutors
US11494395B2 (en) * 2017-07-31 2022-11-08 Splunk Inc. Creating dashboards for viewing data in a data storage system based on natural language requests
CN110753908B (zh) * 2017-08-22 2023-11-10 谷歌有限责任公司 在通信会话期间促进用户设备和/或代理设备动作
CN107773982B (zh) * 2017-10-20 2021-08-13 科大讯飞股份有限公司 游戏语音交互方法及装置
CN107977183A (zh) * 2017-11-16 2018-05-01 百度在线网络技术（北京）有限公司 语音交互方法、装置及设备
CN108268617B (zh) * 2018-01-05 2021-10-29 创新先进技术有限公司 用户意图确定方法及装置
CN108376544B (zh) * 2018-03-27 2021-10-15 京东方科技集团股份有限公司 一种信息处理方法、装置、设备及计算机可读存储介质
US10782986B2 (en) * 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11128735B2 (en) * 2018-10-05 2021-09-21 Microsoft Technology Licensing, Llc Remote computing resource allocation
AU2019380324B2 (en) * 2018-11-16 2022-08-11 Liveperson, Inc. Automatic bot creation based on scripts
US11017045B2 (en) * 2018-11-19 2021-05-25 Microsoft Technology Licensing, Llc Personalized user experience and search-based recommendations
US11347756B2 (en) 2019-08-26 2022-05-31 Microsoft Technology Licensing, Llc Deep command search within and across applications
US20220300307A1 (en) * 2019-10-01 2022-09-22 Google Llc Providing assistive user interfaces using execution blocks
US11687601B2 (en) 2019-10-04 2023-06-27 The Toronto-Dominion Bank Dynamic user interface for navigating user account data
WO2021082025A1 (en) * 2019-11-03 2021-05-06 Microsoft Technology Licensing, Llc Integrated time away management mechanism
WO2021150568A1 (en) * 2020-01-22 2021-07-29 HelpShift, Inc. Providing an intent suggestion to a user in a text-based conversation
US20210240770A1 (en) * 2020-01-30 2021-08-05 Microsoft Technology Licensing, Llc Application search system
US11403286B2 (en) 2020-07-28 2022-08-02 Sap Se Bridge from natural language processing engine to database engine
US11900046B2 (en) * 2020-08-07 2024-02-13 Microsoft Technology Licensing, Llc Intelligent feature identification and presentation
US11206330B1 (en) 2020-09-01 2021-12-21 T-Mobile Usa, Inc. Interactive voice response using intent prediction and a 5G capable device
WO2022065837A1 (en) * 2020-09-23 2022-03-31 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN113761144A (zh) * 2020-11-16 2021-12-07 北京沃东天骏信息技术有限公司 应答信息确定方法和装置
US11775773B2 (en) * 2020-12-15 2023-10-03 Kore.Ai, Inc. Methods for conducting a conversation in an application enabled by a virtual assistant server and devices thereof
JP2022099403A (ja) * 2020-12-23 2022-07-05 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
US20220404956A1 (en) * 2021-06-17 2022-12-22 Samsung Electronics Co., Ltd. Method and electronic device for navigating application screen
US11606446B1 (en) 2021-09-13 2023-03-14 International Business Machines Corporation Microapplication composition
CN114546554B (zh) * 2022-02-14 2023-11-07 支付宝(杭州)信息技术有限公司 一种控件的展示方法、装置以及设备
CN115964115B (zh) * 2023-03-17 2023-06-02 中科航迈数控软件(深圳)有限公司 基于预训练强化学习的数控机床交互方法及相关设备
CN117112261A (zh) * 2023-08-28 2023-11-24 上海澜码科技有限公司 用于实现自然语言对话式api的方法及系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085708B2 (en) * 2000-09-23 2006-08-01 Ravenflow, Inc. Computer system with natural language to machine language translator
US7720674B2 (en) * 2004-06-29 2010-05-18 Sap Ag Systems and methods for processing natural language queries
US8677274B2 (en) * 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
US7409344B2 (en) * 2005-03-08 2008-08-05 Sap Aktiengesellschaft XML based architecture for controlling user interfaces with contextual voice commands
US7627466B2 (en) * 2005-11-09 2009-12-01 Microsoft Corporation Natural language interface for driving adaptive scenarios
US8781813B2 (en) * 2006-08-14 2014-07-15 Oracle Otc Subsidiary Llc Intent management tool for identifying concepts associated with a plurality of users' queries
US8924197B2 (en) * 2006-10-31 2014-12-30 Semantifi, Inc. System and method for converting a natural language query into a logical query
US8140335B2 (en) * 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US20090327915A1 (en) * 2008-06-27 2009-12-31 International Business Machines Corporation Automatic GUI Reconfiguration Based On User Preferences
US20100005085A1 (en) * 2008-07-03 2010-01-07 Oracle International Corporation Creating relationship maps from enterprise application system data
EP2629211A1 (en) * 2009-08-21 2013-08-21 Mikko Kalervo Väänänen Method and means for data searching and language translation
US10705794B2 (en) * 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8738377B2 (en) * 2010-06-07 2014-05-27 Google Inc. Predicting and learning carrier phrases for speech input
US8594997B2 (en) * 2010-09-27 2013-11-26 Sap Ag Context-aware conversational user interface
US8719192B2 (en) * 2011-04-06 2014-05-06 Microsoft Corporation Transfer of learning for query classification
US9754585B2 (en) * 2012-04-03 2017-09-05 Microsoft Technology Licensing, Llc Crowdsourced, grounded language for intent modeling in conversational interfaces
US8346563B1 (en) * 2012-04-10 2013-01-01 Artificial Solutions Ltd. System and methods for delivering advanced natural language interaction applications
US10656808B2 (en) * 2012-09-18 2020-05-19 Adobe Inc. Natural language and user interface controls
US9292492B2 (en) * 2013-02-04 2016-03-22 Microsoft Technology Licensing, Llc Scaling statistical language understanding systems across domains and intents
US20140249830A1 (en) * 2013-03-01 2014-09-04 Nuance Communications, Inc. Virtual medical assistant methods and apparatus
US9367625B2 (en) * 2013-05-03 2016-06-14 Facebook, Inc. Search query interactions on online social networks
US9575720B2 (en) * 2013-07-31 2017-02-21 Google Inc. Visual confirmation for a recognized voice-initiated action
US9229680B2 (en) * 2013-09-20 2016-01-05 Oracle International Corporation Enhanced voice command of computing devices

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI661349B (zh) * 2017-11-15 2019-06-01 財團法人資訊工業策進會 產生對話式使用者介面的方法及系統
TWI737431B (zh) * 2020-08-04 2021-08-21 易晨智能股份有限公司 資料傳輸系統及其方法
TWI834538B (zh) 2023-03-13 2024-03-01 大陸商鼎捷軟件股份有限公司 介面生成系統以及介面生成方法

Also Published As

Publication number Publication date
CN105830150A (zh) 2016-08-03
WO2015094871A3 (en) 2015-10-22
US20150169285A1 (en) 2015-06-18
WO2015094871A2 (en) 2015-06-25
EP3084758A2 (en) 2016-10-26
EP3084758A4 (en) 2017-08-16
CN105830150B (zh) 2019-11-26
KR20160099575A (ko) 2016-08-22

Similar Documents

Publication Publication Date Title
TW201537435A (zh) 基於意圖的使用者經驗
US11003630B2 (en) Remote access of metadata for collaborative documents
CN108292206B (zh) 具有易于使用特征的工作流开发系统
US10331416B2 (en) Application with embedded workflow designer
US10691292B2 (en) Unified presentation of contextually connected information to improve user efficiency and interaction performance
CN109154935B (zh) 一种用于分析用于任务完成的捕获的信息的方法、系统及可读存储设备
US9696967B2 (en) Generation of an application from data
US20170139890A1 (en) Smart card presentation of tabular data from collaboration database
KR102310648B1 (ko) 상황 정보 탐색 및 내비게이션 기법
AU2014202725B2 (en) Methods and apparatus for translating forms to native mobile applications
WO2017189637A1 (en) Tailored recommendations for a workflow development system
EP3111392A1 (en) Unified presentation of contextually connected information to improve user efficiency and interaction performance
US11960447B2 (en) Operating system-level management of multiple item copy and paste
US20220138412A1 (en) Task templates and social task discovery
JP2016505955A (ja) 電子リーダにおけるフラットブックからリッチブックへの変換
US20240012540A1 (en) Methods and Systems for Input Suggestion
CN114008590B (zh) 使用执行块提供辅助用户界面
US11036356B2 (en) Service backed digital ruled paper templates
US20210026502A1 (en) System and method for automating visual layout of hierarchical data
US20210026499A1 (en) System and method for automating visual layout of hierarchical data
Gatsou The Importance of Metaphors for User Interaction with Mobile Devices
Ghosh Power BI in the Microsoft Fabric Workspace