TW201222425A - Entering a command - Google Patents

Description

201222425 六、發明說明： 【發明所屬之技術領域】 本發明係有關於輸入指令之方法及系統。 【先前技術】 早期輸入指令至程式中的系統係使用鍵盤來輪入文字 串’該等文字串包含該等指令的名稱、任何輸入參數、以 及用以修正該等指令之運算的任何交換。在過去數個十年 中，該些系統幾乎已經被圖形輸入系統取代，圖形輪入系 統會使用-爾置來移動一圖符(例…箭頭心形代 表符），用以指向被顯示在螢幕上的物體，並且接著選擇該 等物體以便進行進一步的運算。舉例來說，該選擇可以藉 由將該圖符放置在該物體上並且敲擊該指標裝置上的按鈕 來實施。近年來，用於輸入指令的系統已經發展成更能模 擬物理真實性，舉例來說，可以實際選擇一觸敏式螢幕上 的項目》 【發明内容】 本文中所述之實施例提供一種光學指令輸入系統，其 會使用一光學感測器系統來輪入選擇自一樣板的指令。該 光學感測器系統可能會被組態成用以監視一螢幕前方的三 維空間，用以決定物體相對於該顯示器的位置。一圖樣辨 識模組能夠監視由該光學感測器系統所收集到之該顯示器 則方該區域中的影像。倘若一具有多個印刷圖樣的樣板放 置於該感測器之視野内的話’該圖樣辨識模組便可確認該 等圖樣’映射他們的位置’並且將它們和.特殊的指令產生 201222425 才a令模組可能會決定該顯 手、或是其它物體）的位置， 關聯（例如，針對一應用程式）β 示器前方的一物體（例如，手指 而且倘若該物體的位置和該等圖樣中其中一者相交的話 和該圖樣相關聯的指令便會被傳送至一應用程式。於某此 實施例巾，倘若該等圖樣巾其巾—者和—特殊應用程式相 關聯的話’將該樣板放置在該顯示器前方便可讓該圖樣辨 識模組開始該相關聯應用程式。 【實施方式】 圖1所示的係根據一實施例的系統1〇〇的示意圖，舉 例來說，全功能式（alMn_one)電腦系統，其能夠從一或多個 感測器102處取得控制輸入。如本文中的用法，一全功能 式電腦系統係一種在單一機殼内包含顯示器、處理器、記 憶體、驅動器、以及其它功能性單元的電腦。然而，本發 明的實施例並不受限於全功能式電腦系統，因為本發明的 實施例可能包含包括感測器的單機型（stand_al〇ne)螢幕或 者附接著分離感測器的單機型螢幕。該等感測器1〇2可能 係被建構在系統1 〇〇的機殼1 〇4之中或者可能以分離的單 π被附接。於一實施例中，該等感測器102可能係被定位 在—顯示器106的每一個上方角落中。於此實施例中，每 —個感測器102皆可能涵蓋該顯示器1〇6前方的一三維空 間中的—重疊體積108。 該等感測器102可能包含動作感測器、紅外線感測器、 照相機、紅外線照相機、或是能夠捕捉影像的任何其它裝 置 〇 八 。於一實施例中，該等感測器102可能包含一紅外線陣 4 201222425 列或照相機，其能夠利用該紅外線陣列中每一個像素的飛 行時間計算來感測目標物的位置。於此實施例中，一紅外 線發射器會發出多個紅外光脈衝，該等紅外光脈衝會從一 目標物處被反射並且返回到該紅外線陣列。和該紅外線陣 列相關聯的一計算系統會使用該紅外光抵達一目標物並且 被反射回到該紅外線感測器陣列的時間來產生一距離映 圖’其係表示該紅外線感測器陣列中的每一個像素從該感 測器至該目標物的距離。該紅外線陣列可能還會產生一原 生紅外線影像，其中，母一個像素的亮度代表該目標物影 像在該像素處的紅外線反射係數。然而，本發明的實施例 並不受限於紅外線感測器陣列’因為任何數量之會產生影 像的其它感測器皆可以使用在部分實施例中。 由;該等感測器102所成像的體積1 〇8可能會延伸到該 顯示器U06以外，舉例來說，延伸到一可能支撐該系統1〇〇、 一鍵盤112、或是一滑鼠114的表面11〇。一樣板116可能 S放置於3亥專感測器1 〇 2之視野内並在系統1 〇 〇前方的表 面110上。舉例來說，該系統i 〇〇可能會被組態成藉由辨 識該樣板上的圖樣118而注意到該樣板丨16的存在。舉例 來說，該系統可能會辨識和一特殊應用程式（尤其是晝圖應 用程式或是電腦輔助設計程式）相關聯的確認圖樣12〇或者 辨4和個別指令相關聯的圖樣。該圖樣辨識可以藉由本技 術中已知的任何數量技術來實施，舉例來說，從該圖樣中 產生一雜湊碼並將該雜湊碼和一碼庫作比較。亦可以使用 任何數量的其它技術。 201222425 系統1 00可能會以數種方式來回應辨識某一圖樣（舉例 來說，樣板116上的確認圖樣12〇)的結果β於其中一實施 例中，該系統100可能會開始和該確認圖樣丨2〇相關聯的 程式。s亥系統1 〇〇可能會分析該樣板丨丨6中和特定功能相 關聯的其它圖樣，例如，尤其是，儲存i22、復原！ 24、重 複126、或是填滿128。 系統100允許使用手勢作為程式溝通的介面。舉例來 說，某程式中的項目130(其已顯示在顯示器1〇6上）可被— 手勢選擇，例如，使用手指132來觸碰顯示器1〇6上該項 目130的位置。進一步言之，舉例來說，亦可以使用手指 132來觸碰相關的圖樣128來選擇樣板116上所確認的功 能。觸碰圖樣128可能會觸發一和圖樣128相關聯的運算 碼序列，舉例來說，以某種顏色填滿先前選定的項目13〇。 配合-選定的項目、或是配合開放文件、作業系統本身、 以及類似物可能會使用到任何數量的功能及/或形狀，例 如’尤其是，列印、儲存、刪除、或是關閉程式。從該等 感測器102的視野中移除樣板i 16或是其它圖樣可能會觸 發各種動作，例如，詢問使用者是否關閉該程式、儲存該 文件、以及類似的動作。 '貝卿們叼示統200的方 塊圖。該系統200可能係由一全功能式電腦系統2〇2來施 行或者可能係m組式電腦系統來施行。舉例來說， 於一模組式系統中，該等感測器會被建立在—螢幕之中、 會被建構成佈置在該螢幕的頂 f〜唄鳊表面、或者亦可能係被放 201222425 置在該螢幕附近的多個獨立式感測器。 於該全功能式電腦系統202之中，_匯流排2〇4會提 供一處理器206與一感測器系統208(例如，配合圖i所述 的該等感測器102)之間的通訊。該匯流排2〇4可能係吻 匯流排、PCIe匯流排、或是任何其它合宜的匯流排或是通 訊技術。處理器206可能係一單核處理器、一多核處理器、 或是一計算叢（computing cluster)。該處理器2〇6會在該匯 流排204上存取一儲存系統21〇。該儲存系統21〇可能包含 非暫時性電腦可讀取媒體的任何組合，其包含：隨機存取 記憶體（Random Access Memory，RAM)、唯讀記憶體 Only Memory，R0M)、硬碟機、光碟機、ram驅動器、以 及類似物。該儲存系統210可能會保留用以施行本教示内 容之實满例的碼與資料結構，舉例來說，纟包含—被虹能 ，用峨示該處理H裏來操作該感測器系統謂的感測 β操作模組2 1 2。一圖摄辨蝴趙如，ί / 7 固银辨為模組214可能包含用以指示該 處理器206從該感測器系統處取得_圖樣並將該圖樣 轉換成-能夠確認該圖樣的數學代表符的碼。該圖樣辨識 模組214 T能還包含一資料結構，舉例來說，其會保留一 已被轉換成數學代表符的圖樣庫。一指令輸入模組216可 能會使用該感測器操作模組212來判斷一樣板上的指令是 否已經被選擇並且將該合宜的指令串傳遞至一應 218 ° 該全功能式電腦系統2〇2之中通常包含用以提供功能

的其它單元。舉例來却， .^ X J木說 人機介面（human-machine 201222425 interface)可能會被納入用以介接一鍵盤或一指標裝置。於 某些實施例中，該指標裝置與鍵盤.中的一或兩者可能會被 省略，以便有利於使用該感測器系統所提供的功能，舉例 來說，使用已提供或已投影的螢幕上鍵盤或鍵盤作為樣 板。一顯不器220通常會被建立在該全功能式電腦系統 之中。如此圖中所示，顯示器22〇包含被耦合至該匯流排 204的驅動器電子元件以及該螢幕本身。可以存在的其它單 兀還包含一網路介面卡（Netw〇rk Interface Card，Nic)，用 以將该全功旎式電腦系統耦合至一網路226<)該Nic可能包 含乙太網路卡、無線網路卡、行動寬頻卡、或是它們的任 何組合。 圖3所不的係根據一實施例可用於操作程式的—指^ 樣板300的示意圖。於此實施例中，沒有任何特定圖· 認-用於該樣板的程式。取而代之的係，該應用程式可* 會被手動啟動或者可因圖樣辨識出—組㈣㈣自_ 發’舉例來說，該組圖樣可被用來操作一媒體播放器⑽如 WINDOWS MEDIA PLAYER® . REAL pLAyER@ lTU刪⑧、以及類似的媒體播放器）。該等圖樣可能包含： 播放按紅302、停止按*綱、倒帶按紐鳩、暫停按紐鳩 提南音量按鈕310、以及降低音量按鈕312。要瞭解的係， 控制器並不受限於此等按紐或此排列，因為任何數量的其 =二=使用。此等額外的控制器可能包含其它圖 =可:包含文字按紐，例如，用以選擇其它媒體的按 或疋用以取得一程式上的資訊的按知316。該樣板 8 201222425 300可以利用一系統來印刷與散佈。或者，該樣板300亦可 由一使用者印出或手繪’舉例來說，在一使用紅外線感測 器的電腦系統中，該等圖樣可以利用一紅外線吸收材料（例 如’雷射印表機中的碳粉或是石墨鉛筆）來創造。樣板亦可 能係由軟體公司利用參考圖4所討論的程式來供應。 圖4所示的係根據一實施例’可利用一商用程式來供 應的樣板400的範例。如先前的討論，該樣板4〇〇可能具 有一能夠確認一程式的程式圖樣402。在該等感測器102(圖 1)的視野内來放置該樣板400可以造成該相關聯程式的自 動啟動。或者’使用者亦可手動啟動該程式。 樣板400上的指令圖樣404可被辨識並且和該相關聯 程式的指令產生關聯。舉例來說，該等指令圖樣4〇4可能 包含儲.存指令406、開啟指令408、畫線指令410、…以及 類似指令。選擇一指令（例如，藉由觸碰該樣板上的一指令 圖樣404)可能會用以啟動該相關聯的指令，舉例來說，其 通常會遵循圖5中所示的方法。 圖5所示的係根據本技術之實施例用以輸入指令至一 系統之中的方法500。該系統可能係參考圖】與2所討論的 系統。方法500從方塊5〇2開始，此時該系統會偵測一樣 板或圖樣是否存在。該偵測可能係由一成像感測器來確認 一圖樣是否存在為基礎。該圖樣可能係被繪製或印製在該 樣板上，但是並不受限於任何特殊的施行方式。更確切地 β兒，忒圖樣可被手繪在該系統前方的桌面上，只要該部電 腦在確認一程式或指令時能·夠辨識該形狀即可。 201222425 在方塊504處’舉例來說，會藉由比較從該樣板上的 圖樣處所產生的雜湊碼和一針對各種圖樣所儲存的碼庫來 識別該圖樣。一旦一圖樣被確定之後，在方塊506處，其 便可以和一運算碼序列（例如，一程式的指令）產生關聯。該 程式可由使用者手動選擇或者可由該樣板上的一圖樣自動 選擇。進一步§之’相同的圖樣可能會與不同的指令相關 聯，端視所選擇的程式而定。舉例來說，在電視選台器應 用程式中’參考圖3所討論的播放圖樣302與倒帶圖樣306 可此为別和向上頻道更換（channel up)及向下頻道更換 (channel down)相關聯。倘若一使用者應該選擇一不同程式 的邊’舉例來說，該等圖樣便可能會與目前被選擇要顯示 的程式的正確指令自動產生關聯。 圖ό所示的係根據一實施例用以輸入指令至一電腦系 統的方法600。該方法600從方塊602開始，於此處，該電 腦系統會偵測一樣板。該偵測可能係尋找存在於一圖樣庫 中的所有圖樣或者可能係尋找確認特定程式的圖樣。當有 大量圖樣存在時，後者的情況可以降低系統的運算成本。 倘右在方塊604處認定一樣板為存在的話，流程便會前進 至方塊606，於該處’該等圖樣會被識別並且和有關的指令 產生關聯。在方塊6 0 8處，一和該樣板上的一圖樣相關聯 的程式雖然可能會被自動載入；不過，本發明的實施例並 不受限於自動載入一程式。於某些實施例中，使用者可以 手動選擇要用於該樣板的程式。 在圖樣和一已載入程式的指令產生關聯之後，在方塊 10 201222425 6 10處，該電腦系統可能會確認一對應於一使用者動作的輸 入。該輸入可能包含使用者利用手指或其它物體觸碰一樣 板上的某一圖樣。舉例來說，該電腦系統裡面的一偵測系 統可能會在螢幕前方的三維空間中找到一物體。當該物體 與一指令位置（例如，該樣板上的一圖樣）相交時，該偵測系 、’先便可此會經由作業系統發送一指令給該程式。於某些實 施例中，該物體可能包含會啟動特定指令或碼模組的三維 形狀，該等特定指令或碼模組和該形狀及選定的位置有關。 此形狀的一範例可能係一代表一印表機的角錐形物 體。倘若該印表機形狀的觸碰移往該樣板上的一圖樣的 話，相關聯的指令便可以由該形狀所控制的參數來執行。 此等形狀亦可能代表一程式參數，例如，一操作選擇。舉 例來說，觸碰一第一形狀移往一樣板上的一圖冑可能會起 始一舛卸該物體的碼模組；而觸碰一第二形狀移往一樣板 上的一圖樣則可能會起始一儲存目前檔案的碼模組。其它 形狀可能會啟動修正該物體的碼模組，或是啟動將代表該 物體的資料傳送至另一系統或位置的碼模組。 倘若在方塊612處已經選擇一樣板圖樣的話，方法流 &便會別進至方塊614 ’於該處’—相關聯的指令會被輸入 亥程式之中。在方塊616冑，該系統可能會判斷該樣板 疋否已經從被掃描的區域處移除。若否，方法流程合返回 至方塊㈣’繼續尋找使用者輪人。當該電腦系統詳二地尋 找和該樣板有關的輸人是衫㈣，其可以制該 感測器偵測到另-樣板的佈i，舉例來說，藉由繼續计 201222425 執行方塊602。 倘若在方塊616處判斷屮兮搂4 終β _出e亥樣板已經不在該電腦系統 前方的被成像體積之中的話，方法片 乃/2:成程便可成會前進至方 塊618，於該處，該系統可能會實一 »=* η貝她連串的動作，以便關 閉δ亥程式。然而，本發明的眘她办丨并丁 < 赞乃的貫施例並不受限於自動關閉該 程式’因為使用者可以在任何時間手動關閉該程式。於一 實施例中’除了取消利用該樣板所選擇的相關聯指令以 外’移除該樣板可能沒有任何其它作用。該系統可能還會 採取其它動作來縣1該程式，例&，將檔案儲存在該程式 中或者提示使用者儲存檔案。 圖7所示的係根據某些實施例，可用於保留被組態成 、才曰示處理器輸入指令的碼模組的非暫時性電腦 :讀取媒體700。該處理器7〇2可能包含一單核處理器、一 夕核處理益、&是一計算叢。言玄處理g 702 Τ能會在一匯 机排704上存取該非暫時性電腦可讀取媒體700，舉例來 說’ *亥匯流排704可能係PCI匯流排、PCIe匯流排、乙太 興路連接線、或是任何數量的其它通訊技術。該等碼模組 可貪匕勺人 b匕έ —圖樣偵測模組7〇6，如本文中所述，其會被組態 成用以指不—處理器偵測一放置於一感測器之視野内的圖 樣 圖樣辨識模組708可辨識該圖樣，而且於某些實施 例中’會開始一相關聯的程式。一圖樣關聯模組71〇可在 該感測3|夕4目i t視野内來辨識圖樣並將該等圖樣和特殊的運算 碼序列（例如，指令）產生關聯。一指令輸入模組7 12可偵測 物體（例如，手或是其它三維形狀）和一圖樣相交’並且將 12 201222425 該相關聯的指令輸入至一程式。 【圖式簡單說明】 太 又已經在上面的詳細說明中參考圖式說明過本發明 的特定示範性實施例，其中： JSI 1 所示的係根據一實施例的系統的示意圖； 厅不的係可用於施行一實施例的系統的方塊圖； 1¾1¾ _ " 所示的係根據一實施例的指令樣板的示意圖； 圖 4 — 所不的係根據一實施例的樣板的範例； 圖5所不的係根據一實施例，用於輸入指令至—系統 之中的方法； 圖 6 所不的係根據一實施例，可用於輸入指令 統的方法；以及 丹 圖 7 用以指不的係根據某些實施例，可用於保留被組態居 取媒體了 4理11輸人指令的碼模組的非暫時性電腦可% 【主要TL件符號說明】 1〇〇 1〇2 104 1〇6 1〇8 系統 感測器 機殼 顯示器 重疊體積 110 表面 Π2 114 鍵盤 滑鼠 13 201222425 116 樣板 118 圖樣 120 確認圖樣 122 儲存圖樣 124 復原圖樣 126 重複圖樣 128 填滿圖樣 130 項目 132 手指 200 糸統 202 全功能式電腦系統 204 匯流排 206 處理器 208 感測器糸統 210 儲存系統 212 感測器操作模組 214 圖樣辨識模組 216 指令輸入模組 218 應用程式 220 顯示器 300 指令樣板 302 播放按紐 304 停止按紐 306 倒帶按鈕 14 201222425 308 暫停按纽 3 10 提尚音量按姐 312 降低音量按麵 314 文字按钮 316 文字按紐 400 樣板 402 程式圖樣 404 指令圖樣 406 儲存指令 408 開啟指令 410 晝線指令 500 方法 502- ^506 方塊 600 方法 602- :618 方塊 700 非暫時性電腦可讀取媒體 702 處理器 704 匯流排 706 圖樣偵測模組 708 圖樣辨識模組 710 圖樣關聯模組 712 指令輸入模組 15

Claims (1)

1. 201222425 七、申請專利範圍： 1. 一種輸入指令至一系統之中的方法（5〇〇、6〇〇)，其包 括： 偵測（502) —放置於一感測器之視野内的圖樣； 辨識（504)該圖樣； 關聯（506)該已辨識的圖樣和一運算碼序列；以及 至少部分以該已辨識的圖樣與一被該感測器偵測到的 物體的相交（610、6 12)為基礎來執行（614)該運算碼序列。 2. 如申請專利範圍第1項的方法（5〇〇、6〇〇),其中债 測一圖樣包括分析（606) —從該感測器處所取得的影像。 3. 如申請專利範圍第1項的方法（5〇〇、6〇〇)，其包括當 偵測到一和一程式相關聯的圖樣時啟動（6〇8)該程式。 4. 如申請專利範圍第1項的方法（5〇〇、6〇〇)，其包括： 偵測（6 1 6)該已辨識的圖樣何時從該系統的視野中被移 除；以及 實施（6 18)用以關閉該程式的動作。 5. —種指令輸入系統（1〇〇、2〇〇)，其包括： 一處理器（206); 一顯示器（106、220); 一感測器（102、208)，其係組態以從一體積（1〇8)處取得 輸入； 一指令模組（216) ’其係組態以指示該處理器（2〇6)進行 下面作業： 至少部分以在該體積（108)中被一圖樣辨識模組（214)確 16 201222425 定的影像（120、122、124、126、128、302、304、306、310、 3 12、314、316、402、404)為基礎來確定一指令；以及 至少部分以該圖樣（120、122、124、126、128、302、 304、306、310、312、314、316、402、404)和一被該感測 器（102、208)偵測到的物體的相交為基礎來判斷該指令是否 已經被選擇。 6,如申請專利範圍第5項的指令輸入系統，其包括一樣 板（116、300、400)，其包括複數個圖樣（12〇、m、124、 126 、 128 、 302 、 304 、 306 、 310 、 312 、 314 、 316 、 402 、 404) ° 7. 如申請專利範圍第5項的指令輸入系統，其包括一全 功能式電腦系統（200)。 8. 如申請專利範圍第5項的指令輸人“，其包括—具 有一相a關聯感測器（108)的單機型螢幕（ι〇〇)。 9. -種非暫時性電腦可讀取媒體⑽），其包括被組態 以指示一處理器（702)進行下面作業的碼： 偵測一放置於一感測^〇 Α(1〇2、208)之視野内的圖；( (120、122、124、126、128、309 …… 、 304 、 306 、 310 、 312 3 14' 316' 402 ' 404)； 辨識（708)該圖樣； 關聯⑺0)該已辨識的圖樣和—運算碼序列；以及 至少部分以該已辨識的圖樣與—被該感測器⑽、2( 須測到的物體的相交為基礎來執行該運算碼序列。 1〇.如申料利錢第9 Μ㈣時性f腦可讀取 17 201222425 體，其包括被組態以指示該處理器分析（212、706、708)取 自該感測器的影像（120、122 ' 124、126、128、302、304、 306、310、312、314、316、402、404)的碼 ° 八、圖式： (如次頁） 18