TWI321290B - System and method for making user interface elements known to an application and user - Google Patents

Description

1321290 玖、發明說明： 【發明所屬之技術頜威】 此申請案係由微軟股份（為美國公司並設於美國）有 限公司於2003年5月17日所申請之PCT申請案’並指定 除美國以外之所有PCT會員國，其係主張於2002年9月 3〇曰所申請之美國臨時申請案序號60/414,863的優先權。 本發明係關於一電腦軟體，更明確而言，係與電腦軟 體使用者介面的易取及特色有關。

【先前技街】

某些特別的個人可能無法以一般常用的方式與一電 腦使用者介面進行互動。例如，有些小的圖案（icon)及符 號便會對弱視者構成考驗。音頻警示及訊息回饋對該些聽 障者也毫無用處。電腦工業已感受到這些需求，某些具有 附加易及性特徵之操控系統可讓使用者在無法利用音頻回 饋訊息時可使用視覺化回饋的訊息。此外，可支援額外較 大的視窗字型及高對比的圖示予該些輕度弱視者。對該些 重度弱視者而言（例如盲胞），某些操控系統已可支援「螢 幕閱讀軟體（screen reader)」以將使用者介面敘述給使用 者’或提供寬頻網路資源以讓其他電腦能提供這樣的螢幕 閱讀軟體給使用者。 一種典型的螢幕閱讀軟體無論使用者以何種應用程 式都可並存的操控。當該使用者導覽於元件間，例如由一 按紐跳至另一按鈕時，該螢幕閱讀軟體會送出與當前元件 3 1321290

相關之訊息至語音合成（text-to-speech)引擎以及/或可更 新的點字顯示器（Braille display)以傳送訊息給使用者。該 語音合成引擎會將此訊息轉譯為合成的語音以將之撥放給 使用者。可更新之點字顯示器可將訊息轉譯成已事先定圖 案之小點（亦即點字符號），並將實體硬體裝置上對應該點 字符號中每一小點的識別針（pin)升起。若是在按鈕的情況 下，螢幕閱讀軟體通常會將該按鈕的名稱及該按鈕的現行 狀態（例如，按鈕目前無效以致於無法按壓）傳達給使用 者。同樣的，若使用者在文字處理應用程式中，該螢幕閱 讀軟體會辨識出最主要的視窗（例如應用程式名稱）以及當 前最靠近插入點的游標行、句子、文字或符號。該螢幕閱 讀軟體亦可描述文字的屬性，例如字型名稱、重要性、色 彩、重音以及其詮釋。多數時候，該螢幕閱讀軟體亦會通 知使用者目前該採取什麼動作。例如，若該使用者已瀏覽 至一按鈕時，該螢幕閱讀軟體會通知使用者可輕敲空白鍵 以按壓該按鈕。

對某些弱視的電腦使用者而言，螢幕閱讀軟體是不可 缺少的。一般而言，許多使用者需藉由可彌補障礙、感官 知覺或其他能提高其能力的技術產品來操控電腦。然而， 現行軟體設計方法所製造辅助性的技術產品（例如螢幕閱 讀軟體）是相當難以設計的。如先前所提及，該輔助性技術 產品一般係接收對當前操控應用程式或其操控系統環境轉 換的通知。通常此通知是以一事件的形式指出焦點已由一 元件（例如一按鈕或列表）轉換至另一元件（例如一編輯 4 1321290 區、圖案或類似者）、或已建立或結束一新丨 視窗已開啟或關閉）》與該應用程式有關之選 叫該事件並通知轉換的操控系統。回應時， 產品會詢問選單管理者以判定何者元件係 (例如選取哪一元件），故會得到另外的訊息 者。 目前，輔助性技術產品實質上僅能請求 件的限定資訊，例如它的種類（例如按鈕、列 它在螢幕上的位置或它的標題。該輔助性技 須接著由所送回的元件種類來推斷何種功 者。換言之，該輔助性技術產品必須瞭解到i 求）之「按紐」為何。因此，一套優秀的輔助 須預先定義所有可包括在一應用程式裡的元 識它們的功能。然而這是一項不可能的任務 體工業的公司所製作的螢幕元件或控制的形 此外，因為並非所有元件都是獨特的，故這 種浪費^許多元件是採取分享類似的功能， 的功能或在選擇一或多種圖形時可管理大量 一種較為普通的應用程式、自動化公用 近此等輔助性技術產品的需求。一般而言， 式需要可自動找出螢幕元件（例如控制物）的 藉由來回移動於元件的物件階層或藉由接收 方式，例如當焦點由一控制物轉換至另一者 程式亦需要一普通的機制，作為可傳達給使

Kj元件（例如一 單管理者會呼 該輔助性技術 與該事件有關 以傳達給使用 一組來自該元 表或類似者）、 術產品本身必 能適合該使用 该可按壓（被請 性技術產品必 件種類，並辨 ，因為許多軟 式相當繁多。 也是資源的一 例如可被請求 圖案的能力。 程式類型已接 自動化公用程 功能，不論是 一事件通知的 時。此等公用 用者或先儲存 5 1321290 以作為隨後參考以詢問此等可為人類讀取之訊息的元 最後，自動化公用程式需要能找出何種功能或行為係 定螢幕元件可支援的功能，即使是該元件未完全被該 化公用程式所了解的情況下。不幸的是，先前熟習此 術之人士並無法研發出一種較優異以找出使用者介面 的機制，以及以可應用在可能元件所有範圍的方式詢 操控其相關功能。 【發明内容】 本發明係關於製作一不需先了解元件類型而可 用程式所利用之使用者介面元件（或控制物）。此外， 明係關於一種機制，支援軟體開發者去控制可使用自 公用程式（如輔助性技術產品，例如適用於視障者的螢 讀軟體）傳達給使用者的訊息。簡而言之，控制模式係 描述可為一或多種元件類型呈現的功能。常見於二或 元件類型之功能係以相同控制模式作描述。某些預 法、結構、屬性及/或事件也可與一特定控制模式相關 支援該控制模式之元件在受到詢問時，會將描述此 法、結構、屬性及/或事件的介面送回。以此方式，只 元件能確定它可支援一特定控制模式或一組控制模式 動化公用程式便可在不需要事先得知該元件所支援功 情況下操控一元件。 於另一實施態樣中，每個元件都包含數種屬性， 以人類可讀取形式定義一組對該自動化公用程式或使 件。 一特 自動 項技 元件 問及 為應 本發 動化 幕閱 用於 多種 定方 聯。 等方 要該 ，自 能的 其係 用者 6 1321290 公用程式有用的訊息。以此方式下，在描述一元件時，該 些軟體開發者便可較為確實的控制什麼樣的訊息可被招集 並呈現給使用者，藉以增加使用者的經驗值。 【實施方式】 本發明係提供一機制，其可實現將一自動化公用程 式，例如一輔助性技術產品、自動測試語法、巨集紀錄器 或命令應用程式去整合有關使用者介面元件的描述性訊 息，並判定該元件在不需事先得知元件種類下需支援什麼 樣的功能。簡而言之，發明人已判定每一元件或控制物對 該自動化公用程式而言係包括兩種態樣：（1)描述其外觀、 位置及當前狀態的訊息，以及（2)該元件可見的功能。有鑑 於此種判斷，本發明包含指定數個屬性予一元件，包含該 元件係以何種方式與使用者溝通（例如人類可讀取的形 式）。本發明更包含辨識該元件可用的功能群組以及可直接 存取而不需實際得知該元件為何。 本發明此處將參照可操控本發明之該些實施例之闡 示性計算環境的例示來作描述《繼而，將描述本發明一特 定實施的詳細例示。選擇性的實施也包括相關於該特定實 施之細節。應瞭解的是，本發明該等實施例並非用以限制 本發明。 本發明例示性之計算環境 第1圖係說明可用於本發明之例示性實施的運算裝 7 1321290 置。參照第1圖，用以操控本發明之一例示性系統包括一 運算裝置，例如運算裝置100。於一非常基本的配置下， 運异裝置1 〇 〇 —般包括至少一處理單元1 〇 2以及系統記憶 體1〇4。取決於實際配置及運算裝置的種類，系統記憶體 104可為揮發式（例如RAM)、非揮發式（例如R〇M、快閃記 憶體等）或兩者的結合。系統記憶體1〇4 —般包括一操控系 統105、一或多種程式模組106且可包含程式資料1〇7。此 閣示於第1圖中運算裝置100的基本配置係以虚線1〇8表 示。 硬异裝置 裝置100亦可包括附加的資料儲存裝置（移除式及/或不玎 移除式），例如磁碟、光碟或卡帶。上述附加的儲存裝置係 以可移除儲存器1〇9及不可移除是儲存器11〇闞示於第t 圖中。電㈣存媒體可包括以任—種方式或技術儲存訊息 之揮發及非揮發式、移除及不可移除式㈣，例如電腦可 讀取指令、資料結肖、程式模组或其他資料等。系統記憶 體104、可移除儲存器1〇9 y及不了移除式儲存器110係電 腦儲存媒體之所有例示。電腦 螺體包括、但不限於 RAM、ROM、eepr〇m rn R〇A/f ^ 诀閃°己隱體或其他記憶體技術、 CD-ROM、數位多功磁碟 ^ ^ ^ ()戈其他光學儲存器、磁性卡 益、磁帶、磁碟儲在哭 哚保存器或其他磁性健存 ^ y 鍤讦爾热抽六仔屐置、或其他任一 種了用於儲存所欲資訊並為運算裝 a - ^ ^ ^ ^ 置100所存取之媒體。 任該種運算媒體係為裝置1〇〇之 # * # ^ ^ # W 11, 部伤。運算裝置100 外丹畀彻入裝置112 ’例如鍵盤 滑鼠123、手寫筆、 8 1321290 聲音輸入裝置、觸碰式輸入裝置、掃描器等。輸出裝置 114(例如顯示器、揚聲器、印表機等）也可包含其中。此等 裝置已廣知於此領域中，故此處並不多贅述。 運算裝置100也可包含通訊連接116，以讓該裝置與 其他運算裝置118進行通訊，例如透過網路。通訊連接116 係為通訊媒體之一例示。通訊媒體一般可藉電腦可讀取指 令、資料結構、程式模組或其他於一調變資料信號中的資 種 1 任 括 包 可 且 化 具 來 \ly 制 機 送 傳 他 其 或 波 如 例 /IV 料 多 。 或更 1 變 有行 具進 1 法 指方 係之 &u Jf 號信 信為 料譯 資轉 變息 調訊 Γ 將 詞以 名或 &L· 。 號 體信 媒之 送組 傳徵 息 特 訊種 線 I - 線 有喀 ί t頻 體音 媒如 線例 # (ϋ體 J媒 包的 顛線 匐或 通} ，接 示連 例線 之話 制電 限接 以直 用或 非路 由網 藉的 )°體 體媒 媒存 線儲 無括 他包 其係 及 J 線體 外媒 紅取 、 讀 頻可 射腦 此 及 所-TL 處通 電 厂 詞 名 該 之 用 使 體 本發明之例示性操控 . 第2圖係一功能性區塊圖，一般用以說明操控本發明 之一系統元件。闡示於第 2圖者係一自動化公用程式 20 1(例如一輔助性技術產品）及一應用程式202。該應用程 式2 02包括多種元件。為能利於討論，該名詞「元件」係 指任一種使用者可互動或支援某些有益訊息予使用者或提 供功能予該應用程式202之使用者介面。該名詞「控制物」 有時亦用於辨識該等元件。使用者可與許多闡示於應用程 式2 02之元件進行互動。例如，該應用程式202包括一具 1321290 有多項目之選單欄212，每一項目具有相關的連續細目。 一編輯項目214包括一具有多項目細目215之下拉式選單。 某些元件係包含在其他元件内，例如，一選單圖示 220包括若干圖案，例如圖案222。訊框225包含一下拉式 訊框230以及兩按鈕231及232。此外，訊框225以及選 單圖示220係包含在一列表對話框221中。於一般電腦術 語中，每一包含在另一元件内之元件係視為子元件。因此， 該下拉式訊框230即為該訊框225的子元件。該訊框225 以及該選單圖示2 2 0亦為該列表對話框2 2 1的子元件。 使用者可能會以不同方式由一元件瀏覽至另一元 件。方式之一是將滑鼠游標由一元件移動至另一元件。另 一種方式為按壓一跳格鍵或方向鍵。對使用者已瀏覽之該 元件而言，該「當前動作」元件被視為已「選取」。如第2 圖所示，係選擇主要項目216且選取當前位置。當使用者 由一元件瀏覽至另一元件時，該自動化公用程式201可自 動通知該經選取之元件。在將該自動化公用程式201作為 螢幕閱讀軟體時，它會擷取到新選取元件的名稱或標記並 「顯示」訊息予使用者。該螢幕閱讀軟體可讀取該活動視 窗、目錄選單、經輸入文字或類似者的標題。現實中，螢 幕閱讀軟體會集結原文訊息並接著將之送至語音合成引擎 以將文字轉譯為合成語音而輸出。雖然此處所述為螢幕閱 讀軟體，然應瞭解自動化公用程式亦可為任一種類之公用 程式，例如語音及口述軟體、命令及控制公用程式、巨集 紀錄器、自動測試語法、命令公用程式或類似者。 10 1321290 如先前所提及，在往昔該自動化公用程式201已可簡 單的判斷已選取之元件類型並使用其控制物（例如按鈕、目 錄選單、可編輯文字欄或類似者）來擷取特定控制欲傳送給 使用者之訊息。如將詳述如下文者，於符合本發明之方式 下，該等元件係經配置以包括數個指令及若干共同描述該 元件之屬性，並可利用一自動化公用程式201以補充使用 者的經驗值。藉由將有關一元件之訊息經此等屬性表現出 來時，當利用本發明操控一自動化公用程式201時，該些 開發者可較易去控制該送什麼樣的訊息給使用者。換言 之，在不限制以符號為主之螢幕元件訊息下，利用該自動 化公用程式201可為一特定元件傳送任何人類可讀取之串 列訊息，並描述該元件之表現或目的給使用者。 許多元件係為互動且可提供欲以其方式操控應用程 式2 02所表現的功能。與操控該應用程式202所產生之特 定反應不同的是，此等基本功能特徵係與該元件本身行為 有關。換言之，雖然該應用軟體202會根據點選哪一按鈕 而作出不同反應，但按鈕231及232兩者皆為可點選的。 同樣的，該目錄選單215及該下拉式訊框230内的選單亦 為可選取的。相較之下，多數不同類型之元件也具有若干 不同的基本功能，例如，該下拉式訊框230可允許在一編 輯框部233内編輯文字，然而該目錄選單215不會支援可 編輯其内容的功能。 本發明已決定某些可以不同類型元件呈現之基本功 能模式。此判定可建立「控制模式」以描述可藉一元件呈 11 1321290 現之基本功能。控制模式係一用以描述_元件行為之機 制。更明確而言，一特定控制模式可定義某些由一元件支 援之結構、屬性、事件及方法。該些事件可（且很可能）支 援多種控制模式’且可藉由提供一定義該元件行為總量的 元件以集結該些控制模式。 應用程式可詢問該元件是否支援一特定控制模式的 方式來判定該元件的行為。因此，在不需事先得知一特定 元件類型的情況下’藉由詢問該元件是否支援一特定控制 模式的方式，客戶端的應用程式便可找出適用於該元件的 功能。該應用程式可接著藉由與該控制模式有關之共同介 面而程式化的操控該元件。該些新的元件可以細微或明顯 的差異方式建立，不過該些應用程式仍可藉由詢問該些新 元件所支援之控制模式來與該些新的元件進行互動。下表 係表示某些闡示性的控制模式以及一組與該控制模式相關 之行為： Ψ 1- 闓示性控制模式之說明 名稱 性質 應用視窗 一般呈現與一上層應用視窗有關的行為及訊泉 命令 呈現使用者可操控之動作組(如「儲存i文件「按壓, 描述性訊息 呈ίί用於UI元件的語義訊息，尤其是代表其他元件(如郵寄 程式中的列表選單可使用此模式以指出其代表電子郵件信息 且可呈現與其重要性相關的訊息’如是否已讀取或失讀取） 刪節 呈現元件之功能以變更其操摊時的作業狀態 展開摺疊 呈現控制物的功能以展開顯示更多内容或摺疊以障菡内玄 資料表 呈現基本資料表功能、大小並移至指定之單元 資料表項目 -專以呈現資料表的元件 12 層階式項目 呈現並讓客戶可來回移動於U!元件_層階隱，w元件 係獨立於邏輯樹狀關係，且層階關係係定義為非循瑷故 援引 呈現欲操控或援引疋件的功能，例如按鈕支援圖索以讓自動 化公用程式可程式化按壓該鈕 多媒體 呈現70件功能以表現多媒鱧内容，包括合成形式之多資料串 流:聽障字幕輔助、描述性音頻、ASL串流、可撰摆狂士气 多重影像 呈現元件功能以於相同訊息組、資料或子目錄之多重圖案間 進行轉換 Μ 範圍值 呈現可反映控制功能之相關屬性組以管理有限範圍内的數 值’其傳達控制物的最小及最大值以及其當前數佶 捲轴 呈現一控制物的功能以變更其可讓使用者看見之內交部公 選單 呈現盒内子元件集結内當前選擇的選項 選單項目 定義盒内可選擇之項目並讓項目選擇可首桩择控 排序 呈現盒内當前的排序並讓客戶可程式化的番轴元.件 剪切 呈現可將原件内容區域劃分為多窗口或互動區域 列表 用於連結資料表圖案以指出資料表亦具有資料襴位名锱 列表項目 表示目錄中的單元’用以簡化目錄客戶踹示圄 文字 呈現齊編輯、編排以及詮釋大區塊文字相關的行為及功能， 數值 用以取得並設定控制未跨越一範圍的數值 視覺化訊息 用以描述圖像、元件、動畫、控制物等可提供給使用者有用 訊息之視覺化外貌 視窗 呈現元件功能以變更螢幕上位置或大小，包括放到最大、縮 到最小以及全螢幕 變焦 呈現控制物(如文件檢視器）的功能以變更糞狻隹躱麿 1321290 因此’該等闡示於第2圖中的元件可以適當控制型態 進行配置’以呈現可由該特定類型的元件所預期的行為類 型。下表係說明某些可用於定義此等共同元件行為的共同 元件以及控制模式： 13 1321290 表2.用於常見元 元件 適當的控制型態 -- 按紐 命令、援引、視覺化訊息--- 下拉式盒 展開摺疊、選單、文字、數值 目錄盒 選單、捲軸、拖拉(若適當） 目錄圖示 選單、捲轴、排序、資料表(以某些圊示）、多重圖示、列表、 拖拉(若適當） 文字盒、編輯 命令、拖拉 '捲軸(若適當）、文车、堪淮 -------- ’田 y 第3圖係一物件樹狀圖301之閣示圖形，用以表示第 2圖中應用程式202的元件。應瞭解的是，該物件樹狀圖 301中一或多個物件可為一表示該應用程式2〇2之對應元 件的代工或包裝物件。&而，為便於說明，此處的討論將 把物件樹狀圖3〇1中的每一物件視為實際物件。主要應用 視窗係以表單物件3 05表示，且該應用程式2〇2的每一元 件包括一該物件樹狀圖3 01中的對應物件。舉例來說，第 2圖中該列表…221的每一部份具有一對應的列表項 目（列表306、307、308)於該物件樹狀圖3〇1中。同樣的， 該選單圊示220及訊框225具有數個對應的物件（目錄圖示 及訊S 312)於該物件樹狀圖3〇1中。該母/子關係亦示 於該物件樹狀® 301中。舉例而言，該訊框物件312且有 數個對應包含在該訊框225内的手物件(下拉式盒230:按 鈕 321 及 322)。

在操控時，當使用者 件時，與該應用程式 於應用程式中由一元件導覽至另 2〇2相關的選單管理器會通知自 14 1321290 動化公用程式（第3圊中作為物件）已變更選取。若為螢幕 閱讀軟體，此變更選取會要求該自動化公用程式詢問代表 當前經選取元件的特定物件若干屬性及該元件所支援的控 制模式。選取上的變更僅為一自動化公用程式選擇去詢問 元件此訊息的許多可能原因之一。

該物件樹狀圖3 01的副樹狀圖4 01係闡示於第4圖 中。為更一步說明其運作，假設該自動化公用程式201為 一螢幕閱讀軟體。當使用者導覽至按鈕231時，該螢幕閱 讀軟體會詢問其對應的物件（按鈕3 2 1)並擷取其名稱屬性 4 1 0、人類可讀取字串以敘述給使用者。該名稱屬性 4 1 0 包含與該控制物相關且一視力正常的使用者於電腦顯示器 可見的字串。於此情況下，該螢幕閱讀軟體會將字串「說 明鈕」傳送至語音合成引擎並接著敘述該訊息予使用者。

此外，該自動化公用程式2 0 1會詢問按鈕3 2 1以辨識 其對應元件所支援的控制模式 4 1 2。於此情況下，該按鈕 3 2 1經辨識之控制模式便為「援引」控制模式。該等控制 模式不僅可讓客戶端應用軟體詢問一元件的行為，也可程 式化的經由指定給該特定控制模式之介面操控該元件。於 此例示中，該自動化公用程式201會直接詢問按鈕321已 判定其是否支援該「援引」控制元件。該按鈕3 21可以透 過送回一介面（介面X414)以表示肯定回應，該介面包括一 組方法以利用該援引行為。於另一示例中，一選單控制模 式（與該下拉式盒320有關）會支援數種方法以詢問該經選 取之項目，選取或取消一特定項目，以判定該元件是否支 15 援單一或多種選擇模式。 透過本發明之該等機制，自動化公用程式可先編寫以 了解如何與每一控制模式作用，而非與各UI元件或控制 物作用。因為該些元件將顯示的離散行為相當豨少，故會 有較該些7L件或控制物少得多的控制模式。此會使得僅需 較少的程式i 、碼去寫一自動化公 式，且其可促進自動化 公用程式輕太》% 有彈性架構，以有政詢問並操控該些支援己知 控制模式之靳元件。 第5圖& & 係為一邏輯流程圖，其一般係說明一可藉一事 件驅動自動仆八m A用程式的步驟，該事件驅動之自動化公用 程式係靠UI έ 4 目動化事件來找尋欲被詢問屬性訊息並利用 控制模式操控 愛幕元件❶該步驟係始於來回移動於一物 件階層以拽出 π®*, 參與的特定元件（方塊510)，或其可閒置在 一迴圈中（方塊 ^ 事件通知為止。二”直至它擷取到一先前已登記去接收之 方塊513。 备收到一事件通知後，該步驟接著進行至 該自動化公鬼用：3:詢問該當前參與的元件數個該使用者或 動公用程式會由的属性訊息。於一實施例中，自 ^ S前包含人類可讀取字串擷取元件屬性。 該步驟接者進行至方塊515。 一可：::方：’：、問該參與的元件…援控制模式。 " 法係參照第6圊並描述如下。簡而言

& p" _又如何程式化操控該元件，-自動化公用程式會 詢問該疋件是不A检 狂八T 尺否支援一特定種類的控制模式，或可詢問該 16 1321290 元件支援之控制模式的類型。一但得知所支援的控制模 式，該步驟會進行至方塊517。 於方塊517,該經選取之元件會依據其支援之控制模 式操控。例如，在回應是否支援一特定控制模式時，該元 件會送回一包含數個方法（其可使該對應控制模式之行為 具體化）的介面。經由介面的使用，該自動化公用程式（或 任何其他客戶端指定的 UI自動化架構且具有適當的安全 許可）便可操控該元件。

第 6圖係說明一用以詢問一元件步驟的邏輯流程 圖，用以判定其呈現什麼樣的行為。該步驟係始於決定方 塊6 0 1，其係由一事件通知或其他機制發現一元件（以一物 件表示）之處，例如來回於該UI自動化物件階層。

於決定區塊601，不論是否得知關於該經選取元件所 有經支援之控制模式，都會作出一決定。舉例而言，某些 情況可允許詢問該元件以判定所有功能，而非僅以特定所 欲的模式表現來判定。上述情況之一示例可用於除錯或測 試環境中。於此等情況中，該步驟會進行至方塊 603。然 而，自動化公用程式需瞭解該元件是否支援一特定行為》 於該等情況下，該步驟會進行至區塊605。 於區塊603,所支援之控制模式會對該參與元件提出 詢問。該詢問會要求一目錄或對所支援之控制模式要求若 干介面。回應時（於方塊 6 07)，會收到目錄並要求公用程 式或應用軟體以任何方式作掌控，然而，常見的做法係接 著對該經送回之控制模式使用數種方法以程式化的操控該 17 1321290 元件（例如使用援引模式以按壓該按鈕3 2 1並藉以顯示該 說明視窗）。 於4方塊6 0 5，會對該元件提出詢問以判定其是否支援 一特定之控制模式。於許多情況中，當利用應用程式導覽 時，自動化公用程式會得知在該應用程式中預期什麼樣的 功能或行為。因此，在不需要求所有經支援控制模式之目 錄的情況下，該自動化公用程式即可詢問一元件是否支援 一特定之控制模式。故於方塊 605，該自動化公用程式可 詢問一元件其是否支援該特定之控制模式。 於決定區塊609,不論是否支援該特定之控制模式都 會作出一決定。舉例而言，若未支援所要求之控制模式， 該經詢問之元件會送回失敗訊息。於此情況下，該 AT公 用程式會於方塊 605處以另一所欲之控制模式重複作詢 問，或未支援所欲之控制模式時會將之终止。若有支援當 前之控制模式，該步驟會進行至區塊 611»該自動化公用 程式會詢問是否支援特定之控制模式，直至所有參與之控 制模式都測試過方告終止。應重複的是，通知支援一特定 控制模式的方式可藉由將一具有數種方法（其對應該經支 援之控制模式）的介面之送至該呼叫自動化公用程式為之。 於方塊611，係收到該介面，包括該等可使該行為連 結該控制模式之方法。於此點該自動化公用程式會使用該 連結之控制模式方法，並以任何符合該控制模式之行為的 適當方式操控該元件。應瞭解的是，此處所揭示之系統、 元件以及步驟可結合為一機制，透過該機制可讓使用者及 18 1321290 應用程式動態的得知該等使用者介面元件，例如用於 化操控時的自動化公用程式。 前述說明、例示以及資料提供了一完整的步驟說 本發明元件之運用。雖然本發明之諸多實施例可於不 本發明範圍及精神下提出，然本發明之範圍仍應取決 文附加之申請專利範圍。 【圖式簡單說明】 第1圖係說明一可用以操控本發明之電腦元件 能方塊圖。 第2圖一般係說明操控本發明之一螢幕顯示系 功能方塊圖。 第3圖係一表示第2圖顯示器之元件的物件樹 表。 第4圖係第3途中該物件樹狀圖的副樹狀圖表。 第5圖係依據本發明說明利用一輔助性技術產 述並操控螢幕元件予使用者的邏輯流程圖。 第 6圖係依據本發明說明詢問一物件之步驟以 該呈現何種動作之邏輯流程圖。 【元件代表符號簡單說明】 100 電腦元件 102 處理單元 104 系統記憶體 程式 明及 悖離 於下 的功 統的 狀圖 品描 判定 19 1321290 105 操 控 系 統 106 程 式 模 組 107 程 式 資 料 108 虛 線 109 可 移 除 式 儲 存 器 110 不 可 移 除 式 儲 存器 112 輸 入 元 件 114 輸 出 元 件 116 通 訊 連 接 118 其 他 計 算 元 件 122 鍵 盤 123 滑 鼠 201 動 化 公 用 程 式 2 12 選 單 欄 214 編 輯 項 g 215 錄 選 單 2 16 主 要 項 S 220 選 單 圖 示 221 列 表 對 話 框 222 圖 案 225 訊 框 230 訊 框 231 按 钮 232 按 钮 1321290 233 編輯 201 自動 202 應用 301 物件 306 標籤 307 標籤 308 標籤 309 目錄 3 11 目錄 3 12 訊框 320 下拉 321 按鈕 322 按鈕 401 副樹 框部 化公用程式 程式 樹狀圖 1 2 3 圖示 式盒 狀圖

Claims (1)

1321290 拾、申請專利範圍： 1. 一種電腦可操控之方法，用於程式化操控一使用者介面 元件，該方法至少包含： 詢問元件是否支援一控制模式，而該元件係為一 特定元件類型，且該控制模式可描述由數種元件類 型呈現之基本功能；以及 若該元件支援該控制模式，利用該對應該控制模 式之元件所呈現之至少一方法操控該元件， 藉由該元件所支援之控制模式在不需查詢該元 件類型的情況下操控該元件。 2. 如申請專利範圍第1項所述之電腦可操控方法，其中該 基本功能至少包含一或多種預定之方法、結構、屬性或 事件。 3 ·如申請專利範圍第1項所述之電腦可操控方法，其中該 元件係支援數種不同之控制模式。 4. 如申請專利範圍第1項所述之電腦可操控方法，其中該 元件係以一自動化公用程式來操控。 5. 如申請專利範圍第4項所述之電腦可操控方法，其中該 自動化公用程式至少包含一輔助性技術產品、命令公用 22 1321290 程式、自動測試語法、巨集紀錄器、語音或聽寫軟體或 命令及控制公用程式。 6. 如申請專利範圍第1項所述之電腦可操控方法，其中該 基本功能係描述該元件行為及其支援給使用者之功能。 7. 如申請專利範圍第1項所述之電腦可操控方法，更至少 包括： 由該元件請求數種屬性，該等屬性可藉一自動 化公用程式收集對使用者重要之訊息； 將該訊息傳達給使用者。 8. 如申請專利範圍第1項所述之電腦可操控方法，其中該 控制模式為一目錄之至少一者，該目錄至少包括：應用 視窗、日曆、命令、描述性訊息、刪節、展開摺疊、圖 表、資料表、資料表項目、階層式項目、援引、多媒體、 多重影像、範圍值、旋轉、捲軸、選單、選單項目、排 序、剪切、列表、列表項目、文字、數值、視覺化訊息、 視窗、變焦。 9. 一種電腦可讀取媒體，其具有數個電腦可操控指令用以 操控申請專利範圍第1項之方法。 23 1321290 10. 11 12 一種電腦可讀取媒體，其具有數個電腦可操 操控一元件，該電腦可讀取媒體至少包含： 一自動化公用程式，其係經配置以 元件之訊息，該訊息係儲存於一元件屬 動化公用程式更進一步配置以操控該元 方法係藉詢問該元件是否支援一控制模 即依據該控制模式來操控該元件。 .如申請專利範圍第10項所述之電腦可讀取 該控制模式至少包含一用以描述一元件行為 如申請專利範圍第10項所述之電腦可讀取 該控制模式係定義結構、屬性、事件以及數 支援之方法。 13 14 如申請專利範圍第10項所述之電腦可讀取 該元件係支援數種控制模式。 .如申請專利範圍第10項所述之電腦可讀取 該自動化公用程式係經由一與該控制模式 操控該元件，該介面係回應該元件是否支援 之詢問而由該元件所送回者。 控元件用以 收集有關一 性内，該自 件，其操控 式，若是， 媒體，其中 的機構。 媒體，其中 種該元件所 媒體，其中 媒體，其中 相關之介面 該控制模式 24 1321290 15. 如申請專利範圍第10項所述之電腦可讀取媒體，其中 該元件訊息至少包含儲存於數種屬性内之人類可讀取 之文字，該人類可讀取之文字係指該元件之特性。 16. 如申請專利範圍第15項所述之電腦可讀取媒體，其中 若有傳達給該使用者時，該元件特性至少包含有關該元 件通知該使用者有關該元件的訊息。 1 7. —種以一元件編碼之電腦可讀取媒體，其至少包含： 數種屬性，用以辨識有關該元件之訊息，該等 屬性可藉一自動化公用程式傳達給使用者；以及 一第二程式區段，用以辨識一或多種控制模 式，每一控制模式係與該元件之一特定行為有關。 1 8.如申請專利範圍第1 7項所述之電腦可讀取媒體，其中 該等屬性至少包含人類可讀取之文字字串。 19. 如申請專利範圍第18項所述之電腦可讀取媒體，其中 該人類可讀取之文字字串更包含描述該元件的訊息，以 使此訊息的傳達可通知使用者該元件訊息。 20. 如申請專利範圍第17項所述之電腦可讀取媒體，其中 每一控制模組描述結構、屬性、事件以及該元件所支援 25 1321290 的方法。 21.如申請專利範圍第17項所述之電腦可讀取媒體’其中該 控制模式至少包含一用以描述一元件基本功能之機構。 26