TWI595429B

TWI595429B - 輸入指令

Info

Publication number: TWI595429B
Application number: TW100127893A
Authority: TW
Inventors: 羅伯特坎貝兒
Original assignee: 惠普研發公司
Priority date: 2010-10-05
Filing date: 2011-08-05
Publication date: 2017-08-11
Also published as: TW201222425A; GB2498485A; US20130187893A1; CN103221912A; GB201307602D0; WO2012047206A1; DE112010005854T5

Description

輸入指令

本發明係有關於輸入指令之方法及系統。

早期輸入指令至程式中的系統係使用鍵盤來輸入文字串，該等文字串包含該等指令的名稱、任何輸入參數、以及用以修正該等指令之運算的任何交換。在過去數個十年中，該些系統幾乎已經被圖形輸入系統取代，圖形輸入系統會使用一指標裝置來移動一圖符(例如，一箭頭的圖形代表符)，用以指向被顯示在螢幕上的物體，並且接著選擇該等物體以便進行進一步的運算。舉例來說，該選擇可以藉由將該圖符放置在該物體上並且敲擊該指標裝置上的按鈕來實施。近年來，用於輸入指令的系統已經發展成更能模擬物理真實性，舉例來說，可以實際選擇一觸敏式螢幕上的項目。

本文中所述之實施例提供一種光學指令輸入系統，其會使用一光學感測器系統來輸入選擇自一樣板的指令。該光學感測器系統可能會被組態成用以監視一螢幕前方的三維空間，用以決定物體相對於該顯示器的位置。一圖樣辨識模組能夠監視由該光學感測器系統所收集到之該顯示器前方該區域中的影像。倘若一具有多個印刷圖樣的樣板放置於該感測器之視野內的話，該圖樣辨識模組便可確認該等圖樣，映射他們的位置，並且將它們和特殊的指令產生關聯(例如，針對一應用程式)。一指令模組可能會決定該顯示器前方的一物體(例如，手指、手、或是其它物體)的位置，而且倘若該物體的位置和該等圖樣中其中一者相交的話，和該圖樣相關聯的指令便會被傳送至一應用程式。於某些實施例中，倘若該等圖樣中其中一者和一特殊應用程式相關聯的話，將該樣板放置在該顯示器前方便可讓該圖樣辨識模組開始該相關聯應用程式。

圖1所示的係根據一實施例的系統100的示意圖，舉例來說，全功能式(all-in-one)電腦系統，其能夠從一或多個感測器102處取得控制輸入。如本文中的用法，一全功能式電腦系統係一種在單一機殼內包含顯示器、處理器、記憶體、驅動器、以及其它功能性單元的電腦。然而，本發明的實施例並不受限於全功能式電腦系統，因為本發明的實施例可能包含包括感測器的單機型(stand-alone)螢幕或者附接著分離感測器的單機型螢幕。該等感測器102可能係被建構在系統100的機殼104之中或者可能以分離的單元被附接。於一實施例中，該等感測器102可能係被定位在一顯示器106的每一個上方角落中。於此實施例中，每一個感測器102皆可能涵蓋該顯示器106前方的一三維空間中的一重疊體積108。

該等感測器102可能包含動作感測器、紅外線感測器、照相機、紅外線照相機、或是能夠捕捉影像的任何其它裝置。於一實施例中，該等感測器102可能包含一紅外線陣列或照相機，其能夠利用該紅外線陣列中每一個像素的飛行時間計算來感測目標物的位置。於此實施例中，一紅外線發射器會發出多個紅外光脈衝，該等紅外光脈衝會從一目標物處被反射並且返回到該紅外線陣列。和該紅外線陣列相關聯的一計算系統會使用該紅外光抵達一目標物並且被反射回到該紅外線感測器陣列的時間來產生一距離映圖，其係表示該紅外線感測器陣列中的每一個像素從該感測器至該目標物的距離。該紅外線陣列可能還會產生一原生紅外線影像，其中，每一個像素的亮度代表該目標物影像在該像素處的紅外線反射係數。然而，本發明的實施例並不受限於紅外線感測器陣列，因為任何數量之會產生影像的其它感測器皆可以使用在部分實施例中。

由該等感測器102所成像的體積108可能會延伸到該顯示器106以外，舉例來說，延伸到一可能支撐該系統100、一鍵盤112、或是一滑鼠114的表面110。一樣板116可能會放置於該等感測器102之視野內並在系統100前方的表面110上。舉例來說，該系統100可能會被組態成藉由辨識該樣板上的圖樣118而注意到該樣板116的存在。舉例來說，該系統可能會辨識和一特殊應用程式(尤其是畫圖應用程式或是電腦輔助設計程式)相關聯的確認圖樣120或者辨識和個別指令相關聯的圖樣。該圖樣辨識可以藉由本技術中已知的任何數量技術來實施，舉例來說，從該圖樣中產生一雜湊碼並將該雜湊碼和一碼庫作比較。亦可以使用任何數量的其它技術。

系統100可能會以數種方式來回應辨識某一圖樣(舉例來說，樣板116上的確認圖樣120)的結果。於其中一實施例中，該系統100可能會開始和該確認圖樣120相關聯的程式。該系統100可能會分析該樣板116中和特定功能相關聯的其它圖樣，例如，尤其是，儲存122、復原124、重複126、或是填滿128。

系統100允許使用手勢作為程式溝通的介面。舉例來說，某程式中的項目130(其已顯示在顯示器106上)可被一手勢選擇，例如，使用手指132來觸碰顯示器106上該項目130的位置。進一步言之，舉例來說，亦可以使用手指132來觸碰相關的圖樣128來選擇樣板116上所確認的功能。觸碰圖樣128可能會觸發一和圖樣128相關聯的運算碼序列，舉例來說，以某種顏色填滿先前選定的項目130。配合一選定的項目、或是配合開放文件、作業系統本身、以及類似物可能會使用到任何數量的功能及/或形狀，例如，尤其是，列印、儲存、刪除、或是關閉程式。從該等感測器102的視野中移除樣板116或是其它圖樣可能會觸發各種動作，例如，詢問使用者是否關閉該程式、儲存該文件、以及類似的動作。

圖2所示的係可以用來施行一實施例的系統200的方塊圖。該系統200可能係由一全功能式電腦系統202來施行或者可能係利用一模組式電腦系統來施行。舉例來說，於一模組式系統中，該等感測器會被建立在一螢幕之中、會被建構成佈置在該螢幕的頂端表面、或者亦可能係被放置在該螢幕附近的多個獨立式感測器。

於該全功能式電腦系統202之中，一匯流排204會提供一處理器206與一感測器系統208(例如，配合圖1所述的該等感測器102)之間的通訊。該匯流排204可能係PCI匯流排、PCIe匯流排、或是任何其它合宜的匯流排或是通訊技術。處理器206可能係一單核處理器、一多核處理器、或是一計算叢(computing cluster)。該處理器206會在該匯流排204上存取一儲存系統210。該儲存系統210可能包含非暫時性電腦可讀取媒體的任何組合，其包含：隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、硬碟機、光碟機、RAM驅動器、以及類似物。該儲存系統210可能會保留用以施行本教示內容之實施例的碼與資料結構，舉例來說，其包含一被組態成用以指示該處理器206來操作該感測器系統208的感測器操作模組212。一圖樣辨識模組214可能包含用以指示該處理器206從該感測器系統208處取得一圖樣並將該圖樣轉換成一能夠確認該圖樣的數學代表符的碼。該圖樣辨識模組214可能還包含一資料結構，舉例來說，其會保留一已被轉換成數學代表符的圖樣庫。一指令輸入模組216可能會使用該感測器操作模組212來判斷一樣板上的指令是否已經被選擇並且將該合宜的指令串傳遞至一應用程式218。

該全功能式電腦系統202之中通常包含用以提供功能的其它單元。舉例來說，一人機介面(human-machine interface)可能會被納入用以介接一鍵盤或一指標裝置。於某些實施例中，該指標裝置與鍵盤中的一或兩者可能會被省略，以便有利於使用該感測器系統所提供的功能，舉例來說，使用已提供或已投影的螢幕上鍵盤或鍵盤作為樣板。一顯示器220通常會被建立在該全功能式電腦系統202之中。如此圖中所示，顯示器220包含被耦合至該匯流排204的驅動器電子元件以及該螢幕本身。可以存在的其它單元還包含一網路介面卡(Network Interface Card，NIC)，用以將該全功能式電腦系統耦合至一網路226。該NIC可能包含乙太網路卡、無線網路卡、行動寬頻卡、或是它們的任何組合。

圖3所示的係根據一實施例可用於操作程式的一指令樣板300的示意圖。於此實施例中，沒有任何特定圖樣確認一用於該樣板的程式。取而代之的係，該應用程式可能會被手動啟動或者可因圖樣辨識出一組圖樣而被自動觸發，舉例來說，該組圖樣可被用來操作一媒體播放器(例如，WINDOWS MEDIA PLAYER、REAL PLAYER、iTUNES、以及類似的媒體播放器)。該等圖樣可能包含：播放按鈕302、停止按鈕304、倒帶按鈕306、暫停按鈕308、提高音量按鈕310、以及降低音量按鈕312。要瞭解的係，控制器並不受限於此等按鈕或此排列，因為任何數量的其它控制器都可以使用。此等額外的控制器可能包含其它圖符或者可能包含文字按鈕，例如，用以選擇其它媒體的按鈕314或是用以取得一程式上的資訊的按鈕316。該樣板300可以利用一系統來印刷與散佈。或者，該樣板300亦可由一使用者印出或手繪，舉例來說，在一使用紅外線感測器的電腦系統中，該等圖樣可以利用一紅外線吸收材料(例如，雷射印表機中的碳粉或是石墨鉛筆)來創造。樣板亦可能係由軟體公司利用參考圖4所討論的程式來供應。

圖4所示的係根據一實施例，可利用一商用程式來供應的樣板400的範例。如先前的討論，該樣板400可能具有一能夠確認一程式的程式圖樣402。在該等感測器102(圖1)的視野內來放置該樣板400可以造成該相關聯程式的自動啟動。或者，使用者亦可手動啟動該程式。

樣板400上的指令圖樣404可被辨識並且和該相關聯程式的指令產生關聯。舉例來說，該等指令圖樣404可能包含儲存指令406、開啟指令408、畫線指令410、...以及類似指令。選擇一指令(例如，藉由觸碰該樣板上的一指令圖樣404)可能會用以啟動該相關聯的指令，舉例來說，其通常會遵循圖5中所示的方法。

圖5所示的係根據本技術之實施例用以輸入指令至一系統之中的方法500。該系統可能係參考圖1與2所討論的系統。方法500從方塊502開始，此時該系統會偵測一樣板或圖樣是否存在。該偵測可能係由一成像感測器來確認一圖樣是否存在為基礎。該圖樣可能係被繪製或印製在該樣板上，但是並不受限於任何特殊的施行方式。更確切地說，該圖樣可被手繪在該系統前方的桌面上，只要該部電腦在確認一程式或指令時能夠辨識該形狀即可。

在方塊504處，舉例來說，會藉由比較從該樣板上的圖樣處所產生的雜湊碼和一針對各種圖樣所儲存的碼庫來識別該圖樣。一旦一圖樣被確定之後，在方塊506處，其便可以和一運算碼序列(例如，一程式的指令)產生關聯。該程式可由使用者手動選擇或者可由該樣板上的一圖樣自動選擇。進一步言之，相同的圖樣可能會與不同的指令相關聯，端視所選擇的程式而定。舉例來說，在電視選台器應用程式中，參考圖3所討論的播放圖樣302與倒帶圖樣306可能分別和向上頻道更換(channel up)及向下頻道更換(channel down)相關聯。倘若一使用者應該選擇一不同程式的話，舉例來說，該等圖樣便可能會與目前被選擇要顯示的程式的正確指令自動產生關聯。

圖6所示的係根據一實施例用以輸入指令至一電腦系統的方法600。該方法600從方塊602開始，於此處，該電腦系統會偵測一樣板。該偵測可能係尋找存在於一圖樣庫中的所有圖樣或者可能係尋找確認特定程式的圖樣。當有大量圖樣存在時，後者的情況可以降低系統的運算成本。倘若在方塊604處認定一樣板為存在的話，流程便會前進至方塊606，於該處，該等圖樣會被識別並且和有關的指令產生關聯。在方塊608處，一和該樣板上的一圖樣相關聯的程式雖然可能會被自動載入；不過，本發明的實施例並不受限於自動載入一程式。於某些實施例中，使用者可以手動選擇要用於該樣板的程式。

在圖樣和一已載入程式的指令產生關聯之後，在方塊610處，該電腦系統可能會確認一對應於一使用者動作的輸入。該輸入可能包含使用者利用手指或其它物體觸碰一樣板上的某一圖樣。舉例來說，該電腦系統裡面的一偵測系統可能會在螢幕前方的三維空間中找到一物體。當該物體與一指令位置(例如，該樣板上的一圖樣)相交時，該偵測系統便可能會經由作業系統發送一指令給該程式。於某些實施例中，該物體可能包含會啟動特定指令或碼模組的三維形狀，該等特定指令或碼模組和該形狀及選定的位置有關。

此形狀的一範例可能係一代表一印表機的角錐形物體。倘若該印表機形狀的觸碰移往該樣板上的一圖樣的話，相關聯的指令便可以由該形狀所控制的參數來執行。此等形狀亦可能代表一程式參數，例如，一操作選擇。舉例來說，觸碰一第一形狀移往一樣板上的一圖樣可能會起始一列印該物體的碼模組；而觸碰一第二形狀移往一樣板上的一圖樣則可能會起始一儲存目前檔案的碼模組。其它形狀可能會啟動修正該物體的碼模組，或是啟動將代表該物體的資料傳送至另一系統或位置的碼模組。

倘若在方塊612處已經選擇一樣板圖樣的話，方法流程便會前進至方塊614，於該處，一相關聯的指令會被輸入至該程式之中。在方塊616處，該系統可能會判斷該樣板是否已經從被掃描的區域處移除。若否，方法流程會返回至方塊610，繼續尋找使用者輸入。當該電腦系統詳細地尋找和該樣板有關的輸入是否存在時，其可以利用該等成像感測器偵測到另一樣板的佈置，舉例來說，藉由繼續平行執行方塊602。

倘若在方塊616處判斷出該樣板已經不在該電腦系統前方的被成像體積之中的話，方法流程便可能會前進至方塊618，於該處，該系統可能會實施一連串的動作，以便關閉該程式。然而，本發明的實施例並不受限於自動關閉該程式，因為使用者可以在任何時間手動關閉該程式。於一實施例中，除了取消利用該樣板所選擇的相關聯指令以外，移除該樣板可能沒有任何其它作用。該系統可能還會採取其它動作來關閉該程式，例如，將檔案儲存在該程式中或者提示使用者儲存檔案。

圖7所示的係根據某些實施例，可用於保留被組態成用以指示一處理器702輸入指令的碼模組的非暫時性電腦可讀取媒體700。該處理器702可能包含一單核處理器、一多核處理器、或是一計算叢。該處理器702可能會在一匯流排704上存取該非暫時性電腦可讀取媒體700，舉例來說，該匯流排704可能係PCI匯流排、PCIe匯流排、乙太網路連接線、或是任何數量的其它通訊技術。該等碼模組可能包含一圖樣偵測模組706，如本文中所述，其會被組態成用以指示一處理器偵測一放置於一感測器之視野內的圖樣。一圖樣辨識模組708可辨識該圖樣，而且於某些實施例中，會開始一相關聯的程式。一圖樣關聯模組710可在該感測器之視野內來辨識圖樣並將該等圖樣和特殊的運算碼序列(例如，指令)產生關聯。一指令輸入模組712可偵測一物體(例如，手或是其它三維形狀)和一圖樣相交，並且將該相關聯的指令輸入至一程式。

100．．．系統

102．．．感測器

104．．．機殼

106．．．顯示器

108．．．重疊體積

110．．．表面

112．．．鍵盤

114．．．滑鼠

116．．．樣板

118．．．圖樣

120．．．確認圖樣

122．．．儲存圖樣

124．．．復原圖樣

126．．．重複圖樣

128．．．填滿圖樣

130．．．項目

132．．．手指

200．．．系統

202．．．全功能式電腦系統

204．．．匯流排

206．．．處理器

208．．．感測器系統

210．．．儲存系統

212．．．感測器操作模組

214．．．圖樣辨識模組

216．．．指令輸入模組

218．．．應用程式

220．．．顯示器

300．．．指令樣板

302．．．播放按鈕

304．．．停止按鈕

306．．．倒帶按鈕

308‧‧‧暫停按鈕

310‧‧‧提高音量按鈕

312‧‧‧降低音量按鈕

314‧‧‧文字按鈕

316‧‧‧文字按鈕

400‧‧‧樣板

402‧‧‧程式圖樣

404‧‧‧指令圖樣

406‧‧‧儲存指令

408‧‧‧開啟指令

410‧‧‧畫線指令

500‧‧‧方法

502~506‧‧‧方塊

600‧‧‧方法

602~618‧‧‧方塊

700‧‧‧非暫時性電腦可讀取媒體

702‧‧‧處理器

704‧‧‧匯流排

706‧‧‧圖樣偵測模組

708‧‧‧圖樣辨識模組

710‧‧‧圖樣關聯模組

712‧‧‧指令輸入模組

本文已經在上面的詳細說明中參考圖式說明過本發明的特定示範性實施例，其中：

圖1所示的係根據一實施例的系統的示意圖；

圖2所示的係可用於施行一實施例的系統的方塊圖；

圖3所示的係根據一實施例的指令樣板的示意圖；

圖4所示的係根據一實施例的樣板的範例；

圖5所示的係根據一實施例，用於輸入指令至一系統之中的方法；

圖6所示的係根據一實施例，可用於輸入指令至一系統的方法；以及

圖7所示的係根據某些實施例，可用於保留被組態成用以指示一處理器輸入指令的碼模組的非暫時性電腦可讀取媒體。

500．．．方法

502~506．．．方塊

Claims

一種輸入指令至一系統之中的方法，其包括：偵測一放置於一感測器之視野內的圖樣；辨識該圖樣；關聯該已辨識的圖樣和一運算碼序列；至少部分以該已辨識的圖樣與一被該感測器偵測到的物體的相交為基礎來執行該運算碼序列；以及當偵測到一和一程式相關聯的圖樣時啟動該程式。
如申請專利範圍第1項的方法，其中，該偵測該放置於該感測器之視野內的圖樣包括分析一從該感測器處所取得的影像。
如申請專利範圍第1項的方法，其包括：偵測該已辨識的圖樣何時從該系統的視野中被移除；以及實施用以關閉該程式的動作。
一種指令輸入系統(100、200)，其包括：一處理器(206)；一顯示器(106、220)；一感測器(102、208)，其係組態以從一體積(108)處取得輸入；一指令模組(216)，其係組態以指示該處理器(206)進行下面作業：至少部分以在該體積(108)中被一圖樣辨識模組(214)確定的影像(120、122、124、126、128、302、304、306、310、 312、314、316、402、404)為基礎來確定一指令；至少部分以該圖樣(120、122、124、126、128、302、304、306、310、312、314、316、402、404)和一被該感測器(102、208)偵測到的物體的相交為基礎來判斷該指令是否已經被選擇；以及當偵測到一和一程式相關聯的圖樣時啟動該程式。
如申請專利範圍第4項的指令輸入系統，其包括一樣板(116、300、400)，其包括複數個圖樣(120、122、124、126、128、302、304、306、310、312、314、316、402、404)。
如申請專利範圍第4項的指令輸入系統，其包括一全功能式電腦系統(200)。
如申請專利範圍第4項的指令輸入系統，其包括一具有一相關聯感測器(108)的單機型螢幕(100)。
一種非暫時性電腦可讀取媒體(700)，其包括被組態以指示一處理器(702)進行下面作業的碼：偵測一放置於一感測器(102、208)之視野內的圖樣(120、122、124、126、128、302、304、306、310、312、314、316、402、404)；辨識(708)該圖樣；關聯(710)該已辨識的圖樣和一運算碼序列；至少部分以該已辨識的圖樣與一被該感測器(102、208)偵測到的物體的相交為基礎來執行該運算碼序列；以及當偵測到一和一程式相關聯的圖樣時啟動該程式。
如申請專利範圍第8項的非暫時性電腦可讀取媒體，其包括被組態以指示該處理器分析(212、706、708)取自該感測器的影像(120、122、124、126、128、302、304、306、310、312、314、316、402、404)的碼。