TW464800B - A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system - Google Patents

Description

A7

464800 五、發明說明（i ) 詳細說明： 本發明概有關於包含電腦系統之電子裝置的輸入裝置 ’而特別是指使用視頻控制輸入的裝置。 有許多的指標裝置乃已被使用於電腦系統中，以控制 在~顯示器上的指標或游標位置。一指標或者游標係為一 影像，其可移動遍跨螢幕來選擇在使用者界面上所提供之 一實體描述格式中的特定選擇。在此過程中，使用者乃可 與—視頻顯示器相互作動，而透過使用者界面來對特定工 作及動作提供焦點。 習知的指標裝置乃包括滑鼠、追踪球與指示桿等β所 有該等裝置一般皆含有一機電界面其乃易於故障失效。當 該界面故障時，乃可能產生一錯誤信號，而使該指標裝置 的移動錯誤地反應在該顯示器的游標位置。 另一種習知的指標裝置，即觸摸板指標裝置，可容許 使用者觸摸一接觸面。使用者手指在該接觸面上的移動會 被追縱，而當作在該電腦顯示器上之指標的對應移動。通 常，觸摸板乃具有電容性感測器可檢測手指位置與移動' 並將該移動轉換成位置控制信號。 該觸摸板指標裝置乃會受到灰塵或水分的妨礙，而如 上述產生不正確的信號。此外，該觸摸板裝置具有一受限 的移動程度，使其難以透過該指標裝置利用受限的有效移 動來控制該指標。 有許多的電腦系統係利用鍵盤來輸入原始資料於其電 腦。該鍵盤一般係以一電纜連接於電腦。相同於該指標 nlnnm,^ HI--i ^illm (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製

4 經濟部智慧財產局員工消費合作杜印製 A7 _____B7___ 五、發明說明（2 ) 置，該鍵盤亦含有一易於故障的機電界面。該等故障會致 使特疋按鍵不能操作特定的輸入。在此等狀況下，提供給 該鍵盤的輸入資料，乃可能不正確地反應於出現在顯示幕 上的原文。 因此’乃須要一種改良的輸入裝置，其可令使用者以 較不易失敗的方式來輸入資料。 有許多的電子裝置，包括電腦系統，含有相對較大的 I 輸入裝置例如鍵盤。舉例而言，在許多可攜式電腦諸如膝 上型或筆記型電腦*乃使用摺疊式殼體，其中該顯示幕基 本上為該整個殼體的一部份，而鍵盤則為另一部份。因此 . ，該裝置整個容量的一相當可觀部份乃被該鍵盤所佔去β 同樣地’在一些個人數位輔助器PDAS或掌上型電腦中， 鍵盤或鍵板輸入裝置亦會佔去該裝置整體容量之一可觀部 份。目前對更小的電腦裝置有其需求。可攜式電腦例如膝 上型或筆記型電腦正在逐漸地減少尺寸。同樣地對掌上型 或pda型電腦系統亦逐漸提高興趣。 因此’對減少包含電腦系統之電子裝置尺寸的新方法 乃有其不斷的需求。 依據一實施例，可將資料輸入一電子裝置的方法，乃 包括投射一影像在一表面上"使用者對該投射影像的動作 會被檢測。 圖示之簡單說明： 第1圖係為本發明一實施例之平面側視圖： 第2圖係為第1圖所示之實施例的平面正視圖； 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公2 ) ----------- --裝ili!丨訂---------線 (請先閱讀背面之注意事項再填寫本頁) 464800 A7 經濟部智慧財產局員工消費合作社印製 B7 五、發明說明（3 ) 第3圖係為影像的頂視圖，其乃為第旧所示之裝置所 投射者； 帛4圖係、為本發明為完成第1圖所示裝置之一實施例的 方塊圖； 第5圖係為構成一襞置之方法的流程圖，該裝置乃可 具有本發明一實施例在第1圖所示之裝置的特徵； 第6圖係為第1圖所示實施例之軟體執行的流程圈；及 第7圖與第8圖係為本發明一實施例之校準軟體的流程 圖。 一能被用來執行指令之電子裝置，如第1圖所示之電 腦系統10,可包含一殼體12其具有一顯示器18。不同於習 知的電腦系統’該系統10可以不必具有鍵盤或指標裝置。 掃描感測器14與16乃可設在延伸臂26與30上，而能掃描在 該殼體12前面的區域*該等掃描感測器14舆16乃可例如是 為數位攝影機’其能產生流動的視頻而經由包含在臂26與 30内之纜線導接至該殼體12中。一附加的掃描感測器22可 被設在該殼體12的正面於該顯示器18下方，如第2圖所示 9 有一投影機20亦被設在殼體12上，其會投射一影像在 一表面上，例如位於該殼體12前方的桌面。該投影機20乃 可例為一液晶顯示器LCD投影機。一雷射投影機，或一發 光投影機例如德州儀器公司的數位光線處理DLP發光器。 投射影像的區域乃可相同於被掃描感測器14,16,22等所掃 描的區域。各個掃描器乃可被橫向地互相對齊俾能更佳地 本紙張尺度適用中國國家標準（CNS)A4规格（210 X 297公釐） -^1 ϋ n ΛΑ IT I Jw ϋ n I ' 4 n [B n n n-^gJ· n n n n I 1· (請先閱讀背面之注意事項再填寫本頁) A7 A7 經濟部智慧財產局員工消費合作社印製 ______B7_____ 五、發明說明（4 ) 二度空間地顯像。該殼體12可被支架24以一定位角度來撑 持。 在本發明之一實施例中’如第3圖所示，一個或多個 輸入裝置，諸如虛擬的鍵盤34a與滑鼠34b乃可被投影在該 殼體12前方的表面上。但是，本發明並不受限於該所示實 施例。當使用者將其手放置在該影像上如同其在使用一實 體的輸入裝置時’該等掃描感測器乃可捕捉使用者之手的 ^ 動作，並將此動作轉變成輸入指示信號。例如，放在被投 射的滑鼠影像34b表面上之使用者的手之動作，乃可被轉 變成指標位置信號來移動在顯示器18上面的指標位置。同 樣地’放在被投射的鍵盤影像34a表面上之使用者的手之 打字動作，會產生對應於原文的信號來輸入而呈現在顯示 器18上。因此’機電式的輸入裝置乃可被略除。 或者，該等掃描感測器乃可感測從使用者的手反射的 投射光。該等掃描感測器亦可檢測反射光、投射光與使用 1 者的手等之組合。而且，該等投射的影像乃可有如，，踉隨，， 被檢測的使用者之手部動作來移動》 現請參閱第4圖，一可應用本發明實施例之電腦系統35 的例子，乃可包括一處理器36連接於一主滙流線38。所示 的電腦系統35包括440BX晶片裝設在一 inte丨公司之Pertium II處理器中。該主'；!流線38乃連接於一主電橋4〇，該主電 橋40再連接一主記憶體42。該主電橋4〇亦連接一加速圖形 埠AGP滙流線48(請參見加州Santa Clard之Intel公司於 1996年7月3 1日所公開之加速囷形埠界面說明書，修訂版 本紙張尺度適用中國國家標準（CNS)A4規格（210 297公笼） - -----I I I I I ^ - I II----丨訂----II _線 (請先閱讀背面之注意事項再填寫本頁) A7 B7 4 6 48 〇 〇 i、發明說明（5 ) i.o)，其再連接一圖形裝置50。該圖形裝置50可從掃描顯 示器14、16與22等接收輸入訊號，並可在顯示器18上顯示 由之而來的輸入訊號，該顯示器18亦連接於圖形裝置50。 該圖形裝置50亦可具有一視頻基本輸入/輸出系統BIOS 54 ，及一圖形區域記憶體56。 該主電橋40亦連接於一滙流線44，其可包括多數的槽 隙46以承接周邊的裝置《該滙流線44亦連接於一滙流至滙 流電橋58. ’其丹連接於一另外的滙流線70。該匯流線70包 含有多數的槽隙72以承接另外的周邊裝置及該BIOS系統 74。該電橋58亦可連接於多數的埠60及66。該埠60乃可例 如連接於一硬碟裝置62，如所示其乃儲存一個或多個程式 64,106及122等。而埠66則可連接於該投影機20。 雖一電腦系統之例子被示於第4圚中，專業人士應可 得知有許多其它的系統乃可被利用來達到前述之目的。因 此可瞭解該所不之系統係僅為·—舉例。 現請參閱第5圖’依據本發明之一可提供具有前述功能 之裝置的方法之突施例乃被示出。首先有一系統具有視頻 能力，如方塊76所示。例如，一電腦系統乃可具有該能力 來處理多數的流動視頻輸入訊號。該系統亦可具備多數的 數位攝影機。有一投影機會被啟動而投射—輸入裝置的影 像於一表面上，如方塊78所示。亦可具備例如提供使用者 手部動作之視頻分析的能力，如方塊8〇所示。依據一實施 例，該視頻分析乃可為一種習知的圖案辦識軟體’其能辦 識使用者之手的形狀及其對應的動作。其次，可具有將使 本纸張尺度適用中國國家標準（CNS)A4規格（210 X 297公笼） ------11 I- Λ--------—訂 i _a_i d I V * j (請先閱讀背面之泣意事項再填寫本頁) 經濟部智慧財產局員工消费合作社印製

經濟部智慧財產局員工消費合作社印製 A7 _ -__B7 五、發明說明（6 ) 用者之手的形狀及其對應的動作。其次，可具有將使用者 的動作與投射影像轉換成指標位置控制信號的能力，如方 塊82所示。最後，將使用者的動作轉換成原文輸入訊號的 能力乃可具備，如方塊84所示。此外，當一敲鍵動作被辨 , 識時，即能產生一可聽得到的確認信號，例如一按鍵之敲 請參閱第6圖，在本發明之一實施例中，軟體64可被 : 儲存在該硬碟裝置62中。起先該軟體會使一個或多個輸入 裝置的影像投射在一表面上β例如，一鍵盤及滑鼠的影像 可被投射，如方塊86所示。然後流動的視頻可被接收（方 •塊87)，並可選擇一特定的視頻圖框，如方塊88所示。該 圖框可餘意選# ’或例如使用一種選擇&術而規則地間 隔來選取。 此外，有一景況改變檢測器可被用來判斷何時有一景 況的重大改變。當產生一景況的重大變化時’有一圖框可 被捕捉以供後續的分析。景況改變檢測器係為習知者，乃 可處理被像元所決定之m號的圖形分析，該等像元係 供組成在一個或多個攝影機中之投影陳列者。例如，不同 的像元感測器乃可提供輪出信號。假使有一輸出信號高於 某-強度水準’其可被認為是白的，而若其係低於某二強 度水準，則其可被認為是黑的。在向與黑的輸出信號之相 對數目的大量改變，乃可被辨識為—景況改變而開始從 該流動視頻中選擇一圖框。 雖本發明已針對可供該等分析之信號圖框的使 11----—--II--裝 ----訂------！ 線 <靖先閱讀背面之注意事項再填窝本頁)

9 五、發明說明（7 ) 說明，但仍可藉後續或連續分析後續的圊框來作繼續的分 析。大量抽樣亦可被用來確保該等動作已被檢測。 在第6圖所示之實施例中，一旦選擇一圖框，如方塊88 所示，習知的圖形辨識軟體乃可被用來判斷，一特定的影 像圖形是否被該數位視頻資料流所代表，如方塊92所示。 此軟體可辨識一特定之預先程式化的影像，諸如該使用者 之手指在一虛擬鍵盤上的位置，或該使用者手部在一虛擬 滑鼠上的位置。此軟體乃可藉比較先前記錄的圖樣來辨識 該影像，或者該軟體可經由電腦本身或使用者之協助，利 用學習軟體，來被訓練成學習一特定影像》 在方塊94中’該軟體會檢査以判斷該所選的圖框是否 含有一圖形匹配一預定的圖形，其係對應於一特定的輸入 指令。假使没有，則會往回去選擇另一個圖框。 經濟部智慧財產局員工消费合作社印製 <請先閱讀背面之注旁華項再填寫本頁) 假若檢測到圖形匹配時，則第1個與一後續的圖框會 被比較’如方塊96所示《然後’再檢查判斷是否該比較顯 示出位置的改變（方塊98) »假使是，則該影像移動的連率 和方向乃可被判斷（方塊1〇〇)。移動的速率及/或方向能被 用來提供對應的輸入指令。例如，結合該使用者手部移動 與該滑鼠之影像，其移動的方向與速率可被反應在該顯示 器18上之指標的對應移動。例如，一相關係數可被用來計 算一 ”在螢幕上”之指標的三度空間位置（方塊1〇2)。使用 者的輸入乃可以一信號來代表而送至圈形裝置5〇，俾依據 使用者之手移動的方向或速率來移動在顯示器18上的指標 (方塊104) »該流程循環會回到選擇一新囷框（在方塊88)而 本紙張適用;國國家標準（CNS)A4規洛（210 X 297公爱) ~ A7 A7 丨 B7 五、發明說明（8 ) 再度開始比較。 或者’一顯著之物乃可與使用者結合，而使該物能被 容易地辨識。例如’一明顯的彩色環可被使用，而其能被 快速地檢出。該環的移動乃可被檢測出而當作一指標位置 之指令a 可啟動該系統來校準指標位置指令之焦點的軟體丨〇6 乃被示於第7圖令。該軟體乃可在一校準週期中被使用來 規劃該系統辨識所需的輪入。請參閱第7圖，初始的流動 視頻乃被接收如方塊108所示。該流動視頻之一圖框會被 捕捉，如方塊11 〇所示。 嗣’該系统乃被提示要沿方塊丨12所示的限定方向來 移動a例如：一在螢幕上的顯示可透過學習程序來指導使 用者。例如’該螢幕上的顯示可首先引導使用者示出一左 游標位置的指令《然後其順序會循環經過各游標指令的方 向 ''一旦該系統得知那一游標指令係被規劃的，則其會捕 捉一新的視頻圖框如方塊U4所示。該新圖框與先前圖框 會被比較來判斷其差異而成為一所予的游標指令（方塊116) 在方塊11 8之檢查會決定是否一焦點已經被確認。換而 5之’該系統必須能充分地區別該二圖框，俾能辨識其差 異作為一特定的指標位置指令。假使不能，該程序會被再 度嚐試。否則，該系統會儲存該確認的焦點之資料，如方 塊120所示。 凊參閱第8圖，該軟體122會進行指標位置指令之速度 與方向的校準。在方塊123由軟體1〇6所決定之焦點資料會 規格（210x 297公釐） -------------裝-------- -訂------_!線 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作钍印製 11 4 6^8 0 0 Α7 Β7 五、發明說明（9 ) 被載入。流動視頻乃被接收，如方塊124所示，而有一圈 / 框會被捕捉’如方塊126所示。有一焦點例如使用者的手 指會被確認’如方塊128所示，並有一移動的提示被提供( 方塊130)»該提示乃可為螢幕上的訊息區域，要求使用者 執行其要以什麼作為所要的移動β —新的（後續的）圖框乃 被捕捉，如方塊132所示，並相較於在方塊126中所捕捉的 圖框，如方塊134所示。 該焦點移動乃被確認（方塊136)，而有一移動的方向 與速率會被計算，如方塊138所示。一X、Υ及Ζ方向的相 關係數乃被用來計算該螢幕指標移動的對應速率與方向（ 方塊140)。嗣該螢幕指標會被移動，如方塊142所示。然 後該使用者可調整該指標的移動量至該使用者手指所予之 移動，例如透過由一提示螢幕所提供的輸入，如方塊144 所示的。此外，該使用者可提供另外的輸入，其可被接收 當作一特定指標位置的指令。然後該使用者乃被提示要指 示使用者是否已完成，如方塊146所示。假使不是，該流 程會再循環，而新的指令可被如上所述地得到。否則該流 程會終止而資料會被儲存（方塊148)。 可能使用的攝影機數目乃可以有相當的變化。更多的 攝影機能產生較佳的三度空間投影。此可使三度空間的移 動被辨識當作輸入指示信號。此外，攝影機的繁複亦可用 來消除錯誤》 雖本發明已針對設在一電腦上之分開的攝影機加以說 明’但攝影機乃可被一體併入該電腦系统本身的殼體中。 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公爱） (請先Η讀背面之注意ί項再填寫本頁> ------

訂---------線J 經濟部智慧財產局員工消費合作社印製 12 經濟部智慧財產局員工消費合作社印製 A7 _____ B7___ 五、發明說明（I〇 ) 此外’雖本發明已說明有關對可見光能感測的攝影機，但 紅外線攝影機同樣可被使用。 藉著使用流動視頻來控制輸入資料，機電或連結（其 可能易於錯誤或失效）將可在一些實施例中被省略。此外 ’在某些實施例中其輸入的正確性乃可改善，例如，相較 於觸摸板指示裝置，因為由灰塵或水分產生錯誤作動的可 能性已被消除。 ^ 其他的輸Λ裝置亦可用相同方式來處理。例如，一電 話機乃可用一電話機的機射影像來取代。當其聽筒被抓起 時’一電腦麥克風乃可被啟動’如同被掃描感測系統所辨 • 識。撥接電話亦可利用前述以該鍵盤投射的影像來運作之 相同方式來處理。 投射的影像亦可被改變成對應於使用者所見到的，以 他的手放在一正常的輸入裝置上之該輸入裝置的部份。此 改變的影像乃可能產生，當該使用者的手被檢知係放在接 1 受投射影像的表面上時。而且，該輸入裝置的影像本身亦 可能被修正來反映使用者與該影像的相互作動。例如，當 手指移動對應於按鍵的下沈，該投射的影像乃可被建議改 成該虛擬的按鍵會移動》 雖本發明僅針對有限的實施例來作說明，但專業人士 應可由此得知許多的修飾和變化。此乃意指所求範圍涵蓋 在本發明之真正精神與範圍内之所有該等修飾與變化。 本纸張又度適用中國國家標準（CNSM4規烙（2〗0 X 297公笼） -------------裝--------訂！---線 C請先閱讀背面之注意事項再填寫本頁) 13 ^648〇〇 A7 B7 五、發明說明（11 ) 元件標號對照 經濟部智慧財產局員工消費合作社印裝 10...電腦系統 62…硬碟裝置 12...殼體 64J0M22…程式 14，16,22...掃描感測器 70 · · 通流線 18...顯示器 74…基本輸入輸出系統 20...投影機 76…啟動視頻的步驟 24…支架 ’ 78…啟動投影機的步驟 26,30...延伸臂 80…提供視頻分析的步称 34a...虛擬鍵盤 82…連接至指標位置的步鄉 34b...虛擬滑鼠 84…轉換成原文輸入的步驟 35…電腦系統 86…投射鍵盤與滑鼠影像 3 6...處理器 的步驟 38..,主滙流線 87…接收流動視頻的步驟 40...主電橋 88…選擇新圖框的步驟 42...主記憶體 92...使用校準資料進行圖- 44…通流線 形辨識的步驟 46,72...槽隙 94...圖形匹配確認的步雜 48...加速圖形埠滙流線 96··.比較現在及先前圖框 50...圖形裝置 的步驟 54...視頻基本輸入輸出系統 98··.位置改變確認的步驟 56...圖形區域記憶體 100...判斷移動方向及速 58…滙流至滙流電橋 率的步驟 60,66...埠 102…使用相關係數來計 I J J ----^--1--' 裝 ------—訂 *! 線『ί V ~ r <請先閱讀背面之注意事項再填窝本頁) 本纸張尺度適用中國國家標準（CNS)/U規格（210 χ297公笼） 14 A7 B7 五、發明說明（12 ) 算”在螢幕上，，的指 標之x，y，z位置的步驟 104··.移動在螢幕上之指 標的步驟 10 8…接收流動視頻的步驟 110...捕捉圖框的步驟 112···提示以限定方向移 動的步驟. 114···捕捉新圖框的步驟 116…比較現在與前次圖 框的步驟 118…焦點確認的步驟 120…儲存焦點數位記號 的步驟 123…載入焦點數位記號 的步驟 12 4…接收流動視頻的步驟 126...捕捉圖框的步驟 12 8…破#忍焦點的步驟 130，"提不移動的步驟 132…捕捉新圖柩的步驟 13 4…比較現在及前次摄 框的步驟 136…確認焦點移動的步驟 138…计算移動方向及赶 率的步驟 140··.用x，y,z的相關係盡 計算螢幕指標之彩 動的步驟 142…移動螢幕指標的步驟 144…從使用者接受新# 相關資料的步驟 146…確認完成的步驟 148…储存的步驟 - - - - - -- - - ---I I I I I I I 訂··-------線 (請先閱讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準（CNS)A4規烙（210 X 297公餐） 15

Claims (1)

1. 46^800 /X -Γ. Γ 雜! 六、申請專利範圍 第88 111779號申請案申請專利範圍修正本 90.7.11. 1_ 一種對電子裝置輸入資料的方法，包含： 在一表面上投射一影像；及 檢測使用者對於該投射影像的動作。 2·如申請專利範圍第1項之方法，更包括捕捉使用者結合 該投射影像的數位視頻影像，並輸入該影像之代表意義 於該電子裝置。 3_如申請專利範圍第2項之方法，更包括使用圖形辨識軟 體來分析該數位視頻影像。 4. 如申請專利範圍第3項之方法，更包括判斷在該數位視 頻影像中所描述之物的移動方向。 5. 如申請專利範圍第1項之方法，其中投射影像的步驟乃 包括投射一滑鼠之影像於一表面上’並檢測使用者對該 滑鼠影像的動作。 6-如申請專利範圍第1項之方法，其中投射影像的步驟乃 包括投射一鍵盤之影像，並檢測使用者對該鍵盤影像的 動作。 绝濟部智慧財產局員工消費合作社印製 (請先閲讀背面之注意事項再填寫本頁) 7. 如申請專利範圍第1項之方法，其中投射影像的步驟乃 包括投射一輸入裝置之影像。 8. —種包含有用以儲存指令之媒體的物品，該等指令能使 一電腦： 投射一影像於一表面上；及 檢測使用者對該影像的動作。 9，如申請專利範圍第8項之物品，更包括能使電腦利用圖 本紙張尺度逋用中國囷家捸準（〇泌）人4現格（21{^297公釐） 16 8 8 8 8 ABCD 六、申請專利範圍 形辨識軟體來分析一數位視頻的指令。 10·如申請專利範.圍第9項之物品，更包括能使電腦判斷在 該數位視頻流中所描述之物的移動方向之指令a ί 1.如申請專利範圍第g項之物品，包括能使電腦投射一滑 鼠影像於一表面上，並檢測使用者對該滑鼠影像之動作 的指令β 12. 如申請專利範圍第8項之物品，包括能使電腦投射一鍵 盤影像於一表面上’並檢測使用者對該鍵盤影像之動作 的指令ΰ 13. 如申請專利範圍第s項之物品，包括能使電腦投射一輸 入裝置之影像的指令。 14. 一種影像處理系統，包含： 一處理器； 一感測器連接於該處理器； 一投影機連接於該處理器；及 一記憶體和該處理器聯結，該記憶艘儲存一電腦程 式能使該處理器： 使用該投影機來投射一輸入裝置的影像；及 使用該感測器來檢測使用者對該輸入裝置影像的 動作。 15. 如申請專利範圍第14項之系統，包含多數的數位視頻攝 影機。 16. 如申請專利範圍第14項之系統，其中該程式會回應使用 者的動作來控制一指標的位置。 本紙張尺度通用中國國家揉準（CNS ) A4規格（210X297公釐） (请先閲讀背面之注意事項再填寫本頁) L r 經濟部智慧財產局員工消費合作社印製 17 AS Θ8 C8 D8

   +請專利範圍 17·如申請專利範圍第14項之系統，其中該系统係為—電腦 系統。 1S.如申請專利範圍第14項之系統，其中該記憶體包含圖形 辨識軟體。 19.如申請專利範圍第14項之系統，其中該投影機係投射一 指標裝置的影像。 2〇‘如申請專利範圍第14項之系統’其中該投影機係投射一 鍵盤的影像。 (請先鬩讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用令國國家操準（CNS ) A4：C格（2I0X297公釐） 18