TW563091B - Optical pseudo trackball controls the operation of an appliance or machine - Google Patents

Description

563091 五、發明說明（1) 本申請案之主要事項係有關於1998年4月30日建檔 之美國專利第6,057,540號，標題為MOUSELESS OPTICAL AND POSITION TRANSLATION TYPE SCREEN POINTER CONTROL FOR A COMPUTER SYSTEM，亦有關於 1995 年 3月2日建檔、1996年11月26日發給之美國專利第 5,578,813 號，標題為 FREEHAND IMAGE SCANNING DEVICE WHICH COMPENSATES FOR NON-LINEAR MOVEMENT。本申請案亦有關於1998年7月28曰發給惠 普公司、1995年10月6日建檔之美國專利第5,786,804號， 標題為 METHOD AND SYSTEM FOR TRACKING ATTITUDE的主題事項。此三項專利描述追蹤位置運動之 技術，其包括下面描述之較佳實施例的要素。因之美國專 利6,057,540、5,578,813與5,786,804號在此處被納為參 考。 該例之主題事項亦有關於手寫或遊逸字元之機器辨 識。此為如就用於辨識之不同技術所發給的很多專利顯示 地被建立之技藝。例如，美國專利4,024,500、5,644,653、 5,970，170、5,459,809、5,058，182、5，105,468、5,034,989、 5,742,705、5,862,251、5,991，439、5,455,875 與 5,481，625 均直接屬於所論及之字元辨識型式，且因而每一個均在此 處被納為參考。傳真機就文件上手寫的電話號碼撥號的能 力在5,991，439中被揭示。根據顯示器之修正方式在 5,455,875(第5欄之第9-20行）被揭示，且5,481，625之第 16圖顯示用指尖在皮膚阻抗式牌面上追蹤字元（第1〇攔第 4 563091 五、發明說明（2) 9-20 行）。 大多數的器具與機器具有控制，該器具用此被使用者 操作。在通常的情形中，尤其是微處理控制的出現前，對 某些機械式活動元件是如此，這種被旋轉之槓桿或軸頸將 被操作者移動。連接於機械式活動元件之某物（如閥或煞車 墊片）直接影響該器具之操作就算在電氣與電子器具的情 形中，開關之接點、電位計之弧刷、電容器之轉子與感應 器之心子被人手（或腳）之力量移動。我們並非反對手（或 腳），只是希望指出，就算包括有力量放大伺服系統，手操 作所控制之動作係用某些電路之調節中對應的變更所完 成，此即說，某些電路之基本移位值係被機械動作產生。 例如考慮消費者市場中較舊型的收音機，若某人要提高音 量，其旋轉一箱盒之軸作為音頻放大器電路中之可變比電 壓分割器。類似地，為了改變一反應元件之電台值係用使 用者提供之機械動作直接地被變更。 一旦微處理器變成到處存在的時，此情況變成包括額 外的控制範例。數位控制變成被建立之技術，DAC(數位對 類比變換器）、FET(場效應電晶體）與變容二極體提供根據 儲存於暫存器之二進位值改變電路行為（如增益、共振）之 方法。新的控制範例出現，如具有數字顯示表示目前所調 之電台頻率與各種按鈕以調高或調低之收音機，而不需活 動電容器或調諧心子之益處。在以標準化微處理器上運動 之標準化作業系統實作的GUI(圖形使用者介面）的進一步 出現下，電腦滑鼠（或其他螢幕指標機構）的動作可取代傳 563091 五、發明說明（3) 導真正機械動作為一電路内之實際活動的元件。在利用這 些控制範例下，使用者之手與電子元件（其值將要被改變） 間的機械搞合之需求已完全遠去。某些非常複雜之控制作 法以此方式為可實現的，此通常超出以真實前方面板（真正 的硬體）的實務範圍。故為了改變電腦所產生之影像中的色 彩，某人與選單或GUI所呈現之其他控制範例互動。為了 規劃VCR，某人會瞎弄（有時會進行一段長時間）遙控器上 之箭頭鍵而同時研究在TV畫面所顯示的東西。 複雜度提高與小型化為二個趨勢。如PDA(個人數位助 理）之口袋大小的裝置、無線或行動電話與Gps(全球定位 系統）接收器若其各別的電晶體被算作為零件則會有無數 的元件。其亦有大量的「控制」可被改變以產生不同的行 為。典型而言，對應的實體控制沒有辦法被包括於該產品 内。此在被做得很小時容易損壞、難以使用、增加費用、 降低可靠度等。就算被縮減至真實小型化之型式，該產品 上經常會沒有足夠的空間用於所需的很多真實實體控制。 當然使此種口袋大小產品成為可能的第一個實例為微處理 器、未發展成形之鍵盤與功能有限之專用顯示器。稱為「登 入鍵」之使用經由顯示器以產生大量的「虛擬控制」，而僅 需適量的「真實控制」用作為該等登入鍵。如處理器控制 之數位示波器或邏輯分析器之較大且更複雜的（可能只是 技術上而言）器具典型上具有（至少是選配的）完整鍵盤以 支援其餘的災禍：商用視窗型之作業系統（不論SMicr〇s〇ft， Apple或以X-11為基礎之UNIX的變化型式所致）及電腦級 6 563091 五、發明說明（4) 之顯示器。這類系統需要有螢幕指標及將之控制的方法， 其典型上使用滑鼠。 很多有用的器具與機器之操作很複雜，但作為口袋大 小或手持式單元而言，要使用滑鼠（或任何其直接等值物） 成為實用的（某些情形甚至是所欲的）實在是太小。但是大 小並不表示其也是複雜的控制機組。強大功能之處理器與 許多記憶體之手持式單元經常有很多空間。顯示技術也不 是嚴重的限制。以滑鼠為動力之GUI的能力對這些器具而 言有時候是適當的，只是滑鼠本身（或突出造成衣服絆住或 破損的其他東西）為不受歡迎的。有時候成對的箭頭鍵或遊 標控制鍵（用於上/下，左/右移動）被用以取代滑鼠。此技術 會耗用鍵盤上之空間且受限於在不同方向之固定大小的分 離之各別步驟，例如吾人無法用各對鍵之一「直接地」沿 著45°(或某些其他任意角度）移動螢幕指標（某人可能會交 替地壓這些鍵，則螢幕指標動作之步驟大小變成一個課 題）。吾人需要滑鼠之能力，而不要滑鼠（或其表親，慣常 的軌跡球）的整批式機械上之挑剔。此為申請案： MOUSELESS OPTICAL AND POSITION TRANSLATION TYPE SCREEN POINTER CONTROL FOR A COMPUTER SYSTEM中之部分精神所在。此處所揭示之指尖追蹤裝置 是用於膝上型電腦之類的滑鼠之良好終結者。 但是針對反射而言，其更是不只如此。其夠小但又提 供傑出之解析度，且不會加上嚴重的速度或電力耗用上的 限制。提供動作信號之晶片組如往常地為内建的，所以不 563091

563091 五、發明說明（Ο 幾年來，很多光學技術已就電腦滑鼠被提出，但至今 機械滑鼠仍維持為最廣泛被使用之指向裝置。近來可能受 到顯著程度之接受的光學發展被描述於指定給惠普公司於 1998 年3月30日建檔的〇〇^〇11，10^6,334)^1與1^1^1〇¥6 之美國專利申請案第09/052,046號，標題為SEEING EYE MOUSE FOR A COMPUTER SYSTEM。此申請案揭示使用 前述被納入專利以產生一光學滑鼠，其在任意的表面上走 訪（navigation)。其中所揭示之裝置為一非機械性滑鼠，其 由製造層面是活力的、相當便宜、可靠的，且對使用者看 來基本上與慣常滑鼠之操作等值。此新式的光學滑鼠具有 熟悉的「感覺」且不會有不預期的行為。其不依賴滑鼠墊 的合作，不論特殊與否，而代之能在任何隨意表面上走訪。 其使用單一的成像積體電路以追蹤該電路（隱喻為滑鼠本 身）通過該隨意表面之移動。 然而其還是滑鼠且需要某種表面以在上面操作因而不 適用於口袋大小之裝置或機器。同樣地，滑鼠要求全部或 大多數的手動作不會傳導以追蹤印刷或書寫體字元。此種 輸入模態可除去在器具或機器上額外鍵的需求，因而保留 功能而縮減該器具或機器之大小。 若上述的 MOUSELESS OPTICAL POSITION AND TRANSLATION···專利之光學機構（指尖追蹤器）可被改良 以讓位置移動式之螢幕指標控制用於GUI將為所欲的，包 括選單登入選擇、模式選擇、參數值選擇、與用字元辨識 之字元輸入，但不需要真正的滑鼠或其他活動的附加物， 五、發明說明（7) 其會磨損、綷住、彎曲或整個壞掉。此外，其例如有一個 以上的參數值要調整且複雜的Gm為不需要的或不想要的 應用。其甚至有不要有GUI或不想要的情形。怎麼辦？ 一種光學指趾（指尖）就使用者之數字之一（其為姆指或 手指）的紋理（想看看是「指紋」）之一部份回應於一影像之 動作。指趾之末梢對著較佳地含有透明圓罩元件類似小的 軌跡球之影像輸入口被壓下，但其沒有動。由於其以別的 方式在外觀及感覺類似相當小的軌跡球，吾人可稱之為「假 軌跡球」。指趾之動作產生該影像之動作，其再被一動作轉 換器偵測並被轉譯為對應的動作信號被器具或機器控制電 路使用以設定或改變一個以上相關器具控制參數之值。該 影像輸入口可為一鏡頭（或其他光學影像耦合元件）的表 面，其本身被置於將被控制之器具或機器的罩殼上方便的 位置。當該影像在動作感應器内“移動’’時，其一部分由視 野消失，且用該指趾之相鄰部位來的影像型態被替換。被 足夠地改變之影像被維持作為新的目前影像，其本身再改 變，餘此類推。基準框（先前的影像）與目前框（目前的影像） 間之比較允許影像之方向與數量的偵測。這些被偵測之數 量被格式為動作信號並被送至將被控制之器具内的軟體。 该等動作信號在適當時可配合成熟的商用GUI以實施選單 登入選擇，滑動器之動作以設定參數值及模式，就像這些 動作信號是起源於慣常的滑鼠。然而，其沒有滑鼠，且顯 著地降低複雜度亦為可能的，此處例如具有適量低解析度 像素位置與（或）預先建立的字元或圖示之LCD顯示器可達 10 563091

11 563091 五、發明說明（9) 配合或取代該器具控制參數被使用。 第1圖為追縱操作員之指尖動作以設定或改變用於控 制該益具或機器之操作的至少一器具或機器控制參數值之 一器具或機器的一般化方塊圖。 第2圖顯示一無線電話正顯示一選單，其依據使用者 之姆指在假軌跡球上之動作被橫越； 第3圖為被用作為如第2圖之無線電話的器具用之指 大追蹤器的“BB彈”型假軌跡球之簡化圖； 第4圖顯示一無線電話使用者藉由在該假軌跡球上移 動其姆指來設定音量； 第5圖為指趾沿著可被光學動作轉換器偵測且被用以 修改相關控制參數值之軸的動作圖； 第6圖為一簡化流程圖顯示依照第5圖修改控制參數 值之器具或機器的内部作業部分。 第7圖顯示一使用者藉由以指尖追蹤在一假執跡球上 之數字而在無線電話上「撥號」； 。第8圖為一對簡化流程圖其逐步地被安置對應於指示 一器具或機H如何使用假軌跡球或其他指尖追蹤器以鍵入 字串； 第9圖為一狀態機器圖用於一狀態機器來辨識使用者 何時以其指尖對指尖追蹤器實施一次單拍；以及 第10圖為一狀態機器圖用於一狀態機器來辨識使用 者何時以其指尖對指尖追蹤器實施一次雙拍。 現在參照第1圖，其中顯示_器具或機器2之一般化 12 563091 五、發明說明（10) 方塊圖其中至少-器具控制參數值15被操作員之指趾 3對配置於罩殼7上之方便位置的影像輸人口 8的動作決 定。 在更進一步前，說明「器具」與「機器」為適當的。 裔具為一種自我容納之裝置、工具、設施，其實施特定的 功能，可能含有合作之子功能的相關集合。其可為手持式， 座落於平台頂端，或鎖在工廠地板。當吾人定義此處使用 之名詞，包括如申請專利範圍，器具不具鍵盤允許整組字 母字元之各別敲鍵登錄。（「字母」不包括數字）。而且， 通用之電腦、工作站、PC、「膝上」或主機不為吾人定義 該詞之「器具」。電腦的特定功能為執行一個以上的應用程 式真實的疋通用電腦可透過適當的規劃控制一器具，但 此並不使該電腦成為器具之一部分。目前為真實的是電腦 的特定功能為透過適當的程式控制該器具，該電腦反而變 成控制另一個器具的器具，但被定義之鍵盤部分被排除。 具有CD驅動器與驅動擴音器音頻⑶播放器為電腦假裝 為CD播放器。其並非恰巧具有硬碟、視窗式作業系統、 監視器與完整鍵盤之清白的音響設備。 很夕器具確實具有微處理器透過埋入之系統的作用控 制器具之操作。埋入之系統通常永久被儲存於r〇m(唯讀 記憶體），且其經常回應於外部命令，其某些可源自於敲 鍵。只要其沒有字母鍵盤，吾人將這些納入於器具之定義 内。此即其可有RESET或CLEAR鍵，但沒有字元序列 厌一£一8-^一了或€一1^一£一入—11之各別敲鍵的字串。然而，器 13 563091 五、發明說明（11) 具確實包括字母「鍵」之被顯示的選單或字母鍵盤之影像 被顯示且「鍵」用真實的箭頭鍵被選擇然後用實際的箭頭 鍵或執行鍵被激發的情形。在此情形中，很清楚的是實際 的敲鍵依據中介解釋僅間接地產生所要的「虛擬鍵」之敲 鍵。由於真實敲鍵之實際順序是全然不同的，故其非所定 義之字母鍵盤。例如，此真實敲鍵之順序一般而言對觀察 者為無意義的，其僅看到這些真實敲鍵而非其顯示。其對 「虛擬鍵」之任何順序沒有概念。 「機器」一詞因而被定義包含如上面被定義的器具， 以及除了其確具有每個字元一鍵之字母鍵盤外否則為一器 然後繼續地說，器具或機器之操作員將其指尖（姆指墊） 置於影像輸入口 8上。（此後吾人將僅使用更包容性的詞 「機器」，這裏兩種意義都是適當的，而了解其意指r器具」 與「機器」，除了有特別說明）。典型上，該影像輸入口會 含有某種透明件（4，5，6)，其可或不實施光學功能，但防 止灰塵或碎片進入罩殼。這些件之例子包括一桿狀鏡頭 (4 ’及在美國專利6,〇57,54〇中被描述為一透明桿3 , 4與 5)、一簡單透明碟狀塞子5具有很少或沒有光學性質、以 及（此為較佳地）一圓頂或蘑茹形之「按鈕」6(假執跡球）。 較佳的是’按鈕6很小，其圓頂或圓球之直徑或許為2至 3釐米。其亦可陷入罩殼7内，故只有其直徑之某些部分 伸出罩殼之外層表面。其已嘗試報告感覺恰如在手指下有 實際滾動的“BB彈，，大小的軌跡球。有關在指尖上影像被 14 五、發明說明（12) M Ml異的 '有觸覺的回饋’所以要避免指尖意外脫 離假軌跡球之外層表面是很容易的，其用作為影像輸入 Ο 〇 該影像輸入口未完全封住該罩殼是可能的，而是為空 的雖…丨此在一般使用會出現具有某些缺點。（灰塵、濺出 之咖啡、餅乾眉义類可能進入罩殼而造成危害）。另一方 面，若其確封住罩殼，其可為防水密封而仍允許容易的參 數值調整，不需有抵住旋轉軸之慣常機械密封（如〇環等）。 此處描述之技術因而就某類之設備（如手持式收發機）允許 容易且有效的防水，此在過去之防水為困難或笨拙的。 在涉及指尖3之光學路徑的其他項目包括：一光源9 , 其可為LED(發光二極體），不論可見光或紅外線種類及發 射光線17均可；鏡頭或鏡頭總成2〇，其可用任一元件4_ 6合作進行鏡頭作用，或者其均未實施，則本身將指尖之 影像18聚焦至在光學轉換器1〇之光感應器的陣列上；以 及一選備的隔板14防止被光源9之光感應器的直接照射。 此外，其選備地在由照射光線17與指尖3反射光形成的影 像18所取得之光學路徑有一鏡19。 光學轉換器10產生沿著座標軸對應於指趾3之光學的 動作信號22。這些動作信號被耦合於器具或機器控制電路 11，此處其被解釋以產生器具或機器控制參數15，其再被 耦合於器具或機器之實際内部工作。控制係透過這些控制 參數15(可能有很多個）實際地被實現。控制電路丨丨内之額 外的解釋可產生可見的或被顯示之標記12,其指示模式資 15 563091 五、發明說明（l3 ) 訊或控制參數值。該等可見的或被顯示之標記包括在罩殼 上之永久圖銘旁邊的LED，且在圖銘之意義有效時被點 亮，LCD(液晶顯示）内建的字元或圖示被形成可見的、合 稱的，且就算是完全被像素化之顯示也能形成任意的影 像。參數值可用條形圖之長度或用其他圖形裝置（如圓形餅 圖）之大小被顯示成數字之序列，其任一個可配上一個標 戴。可見的或被顯示之標記12在適當時可用控制電路11、 内部工作13或二者一起被控制。 較佳的是，其亦有某種開關機構，回應於指尖3對影 像輸入口 8周邊所施用之壓力，或對透明元件4，5或6 之壓力並通到影像輸入口之周邊。開關元件亦可機械地被 耦合至罩殼内部而與該影像輸入口之周邊無關。該開關機 構將作用類似於慣常滑鼠之r按鈕」（此為用手指操作之開 關）的功能’且電氣式地被輕合至控制電路1 1。 最後要論及的是一機器，其會有字母鍵盤。 上述光學轉換器10之特定細節可在所納之專利中找 到。此處為了讀者之便利，吾人僅提供在其中可找到之最 原味的摘要。 較佳的光學走訪藉由將如指尖之在表面上可見的各種 特定光學外貌直接地成像為像素之陣列而光學式地偵測光 學。由指尖被反射之IR或可見光被聚焦至光偵測器之適當 的陣列（如16x 16或24x 24)。各別光债測器之回應被數位 化為適當的解析度（如八個或許僅四個，甚至少到如一個位 元）並被儲存成在記憶體陣列内對應位置之一框。 563091

五、發明說明（14) 較佳的是，投射至光偵測器之影像大小為近乎被成像 之原始外貌的一倍。光偵測器之大小與間隔為使得每影像 外貌可能有一個或數個相鄰光偵測器，而非相反的方式。 因而光偵測器代表之像素大小對應於指尖之空間區域，其 大小一般小於在該指尖之典型空間外貌之大小（即指尖上 皮膚之螺紋内的稜線）。光偵測器陣列之整體大小較佳地大 到足以接收具有數個外貌之影像。在此方式下，此種空間 外貌之影像在指尖移動時產生像素資訊被移位之模型。陣 列中之光偵測器的數目及其内容被數位化與被捕取之框率 合作以影響該指尖可被移動且仍被追蹤有多快。追蹤係藉 由比較新近被捕取之樣本框與先前被捕取之基準框以確定 動作之方向與數量。 可被完成之一方法為用一個像素之距離將一框之整個 内容移位，而在八個方向依序進行，允許在嘗試移位有一 個像素之偏差（一次上方、一次上方及一次向下、一次向 下、一次向上、一次向上及一次在其他方向上方等）。此合 起來為八次嘗試，但吾人不可忘記也可能沒有任何動作， 所以也需要第九次嘗試「空移位」。在每一嘗試移位後，彼 此相疊之框的部份以逐一像素的基準被減除，且結果所得 之差（較佳地先求其平方）被加總以形成對重疊區域内之類 似度（相關）。當然較大的嘗試移位（如兩次向上與一次向下） 是可能的，但在某些點來看，伴隨的複雜性會毀滅其益處， 且較佳的疋僅以小的嘗試移位具有足夠高的框率。具有最 小差（最大相關）之嘗試移位可被採取作為二框間動作之指

563091 五、發明說明（is) 示。即其提供列動作資訊，其可被調整規模或被累積以在 適當的資訊交換率提供具有方便的粒狀之動作信號（ΔΧ與 △Y)。 移位如何被完成及相關值如何被獲得將簡短地被說 明。該移位藉由使用可一次輸出陣列之整列或行之記憶體 的位址偏置被完成。專用算術電路被連接至含有被移位之 基準框的記憶體陣列與被連接至含有樣本框的記憶體陣列 特定嘗試移位（最近或靠近相鄰收集之成員）的相關值之形 成非常迅速地被完成。最佳的機械類比為將好像是棋盤之 亮與暗型態的透明（基準）底片成像，只不過該配置可能是 隨機的。現在想像一第二（樣本）底片具有大體相同之型 態，其被疊在該第一底片上，只不過其為負影像（暗與亮被 交換）。現在這對底片被對齊並被放到光下。當該基準底片 相對於該樣本底片被移動時，被允許通過該組合之光線量 將視影像相符的程度而定。允許最少光線之位置為最佳相 關。若基準底片之負影像型態由樣本底片被移位一個或兩 個方格，允許最少光線之位置將為符合此移位者。吾人記 下那一移位允許最少光線、吾人注意到具有最佳相關之位 置而說指尖移動那麼多。吾人正描述實際上在具有光偵測 器、被配置來實施影像相關與追蹤技術之記憶體與算術電 路内所發生者。 該動作感應器可其有一「保留」功能，其暫停動作信 號之生產、允許不致擾亂事情地讓指尖由影像輸入口實體 地被移開。若操作員離開房間而實體進一步移動其手指但 18 563091 五、發明說明（16 又需進一步操作時此可能是有必要的。該「保留」功能可 藉由均一地通知或大多數光偵測器到達某種平均水準而自 動地被實施。此在有聚焦影像與相關發生時之情形成清楚 的對比。在聚焦的情形中，框間相關（回想一次上方、一次 上方與一次向下等）之企圖展現相關之清楚的損失，其可被 該動作轉換器偵測。此偵測與損失相關信號之產生的細節 在納入之專利有長篇幅之描述。該損失相關信號為此處所 描述之控制計畫中實施某種特殊定限界特點的基礎。 現在參照第2圖，其中揭示可依照本發明被控制之器 具27型式之說明性例子。圖中一使用者左手正拿著一支無 線網際網路電話28。其姆指3正蓋著一光學指尖追蹤器（其 較佳地為一假軌跡球）’此因此是看不到的。該電話器且2 8 包括各種鍵29與一顯示器30〇在顯示器内有標記，其在 此例中為屬於網頁中用於拍賣服務之選單項目。在此例中 一螢幕指標31藉由以對應於該螢幕指標將被移動之處的 方向移動姆指在所要的選單上被定位，且該姆指向内壓住 假軌跡球以完成選擇。當然，電話28也可被用以維持電話 通話。 第2圖之例子轉嫁相當複雜之GUI至器具28並設定 完全像素化之顯示。然而此不必要為這種情形，且可以沒 有螢幕指標31，及其選單項目在該姆指移動到假執跡球上 而選擇時能被強調（如閃爍、或以反向視訊或粗體被顯 示）〇 電話器具28亦顯示具有在慣常無線電話期待原來會 19 563091 五、發明說明（l7) 有之數字鍵。雖然具有這些鍵有良好的理由（有經驗的使用 者期待它們？或者某些盲者之身心障礙者可能需要…），其 可能被了解為了有利於對數字鍵形狀被使用者一手以指尖 追蹤一手把電話放回原位所產生之動作信號被實施的是可 以沒有它們的。當然，慣常數字鍵之出現不意即數字辨識 無法添加於慣常敲鍵被實施。進而言之，為了撥號之數字 字元辨識已擴充至字母字元，包括各種標點符號。此例如 允許用以在儲存配於電話號碼之姓名或其他標籤之有用的 表有顯著的程序化之簡化。依據數位化動作信號之數字、 字元與符號辨識本身如被導向於主題之被採納的專利所顯 示之已建立的技藝。然而其某些使用者介面之某些額外層 面依賴此技術，不論是電話、PDS、GPS或某些其他器具 及將在下面被討論者。 現在轉到第3圖，其是器具在第2圖之形式後混合斷 面圖24，具有指尖追蹤器，其可被比擬為小型執跡球（雖 然其實際上為一假執跡球）。如前者，一罩殼7封住該器 具。該罩殼亦具有一影像輸入口 8。然而此時該影像輸入 口具有第1圖之透明圓頂元件6的一變化形式（23);其差 異為維持之形狀與方式。圓頂形小執跡球“BB彈”(23)可 為玻璃或塑膠，且圓頂形部分較佳為2至3公釐之直徑， 且被彈簧25、彈性指或彈性墊圈扣於定位。其被扣住之方 式為當姆指3以足夠力量壓住BB彈執跡球23時允許開關 26之致動。當然若其沒有開關或開關之致動未包含在動作 或透過BB彈之力傳輸内，其可堅固地被固定於罩殼（如用 20 563091 五、發明說明（is) 黏膠、型鐵、打樁或被壓入）。 注意BB彈大小之軌跡球23以大約1公釐在罩殼7上 方延伸，且姆指3在BB頂端上方形成彎曲的表面。將BB 彈23扣於罩殼之影像輸入口及致動開關26所需之力量被 選擇以允許姆指之舒服的凹入而不會致動該開關；姆指對 BB彈之更有力的按壓才會致動該開關。 在第1圖中，一 LED 9提供對姆指或手指指尖表面之 照射，其動作將被動作轉換器10追蹤。由LED 9來之光 線可直接運行至BB彈23下方、由指趾3被反射（18)，然 後通過聚焦鏡頭20,或者其可在反射前或後通過鏡頭20。 若LED 9發射可見光，則假軌跡球之位置對使用者為很清 楚的，且他將被提醒其功能。然而，其應被記住，在以電 池操作之器具中也可能偵測到未使用一段期間後欲於關掉 LED以節省電力。同樣地，其可能欲依樣本獲得率使LED 脈衝以節省額外之電力。 假執跡球23在想要時可具有平的底部，或其可具有某 些其他光學上有用的形狀。假軌跡球23之彎曲形上層表面 對被成像之指尖施用彎曲形表面，而聚焦鏡頭之視野深度 足以容納此曲率。 關於該聚焦（或成像）鏡頭20,其可為雙凸且具有約1 公釐之直徑、3mm之焦距與f3之速度。目標距離與影像 距離可均為約6mm。倍率可約為1 : 1。 現在參照第4圖，其中第2圖之無線電話28被顯示正 以與第2圖顯示者不同的方式27被操作。明確地說，該操 21 563091 五、發明說明（l9) 作者正在調整音量。他先以激發其中音量要受到調整之模 態而如此做。此可使用如第2圖之主題的選單選擇範例被 完成。一旦在音量調整模態中，假執跡球（看不到）上之姆 指動作調整條形圖式樣3 4之長度，其較佳地以輔助性標記 31，32與33被補充，而協助提醒操作者有關進行中之操 作/調整之性質。一旦該條形圖為所欲之設定時，壓下假執 跡球會認可該選擇，並將顯示回復至在控制範例中較低特 定水準之抽象。當然，條形圖僅是視覺地表示音量控制設 定之一種方法，其亦可用數值，或許是最大值的百分比被 指示。 在電話或其他器具上視覺地表示音量控制設定的該 (慣常）方法在該器具未再生音頻節目材料下設定音量時是 有幫助的。當然危險之可能性為在沒有音頻材料來估計位 準下使用者可能不經心地一直向上轉動曲柄調整音量，稍 後才發現太大聲之困境。同樣地也可能意外一直調低音 量。而且在以操作方式握住電話或其他收音機收發機，吾 人無法期待看到顯示了什麼，雖然器具被如此握持下用指 尖調整音量（或其他參數）。要使此現象之衝擊最小化有很 多方法。首先，該器具可被傾斜以調整其音量，除非其有 某些音響被再生以讓使用者估計其位準。此可能例如是用 於娛樂之AM/FM攜帶式收音機之可能的解決之道，但其 他應用（手持式收發機）可能欲求不同的解法。例如，某人 可能以如Motorola方式來使用GRS與GMRS收發機。其 具有一個二按鈕介面，但沒有顯示器被用以設定帶寬與私 22 563091 五、發明說明（2〇) 密碼。當該等按鈕被壓時，已儲存之聲音報告此選擇。因 此吾人之器具或機器可用音響訊息（如“輕”、“中”、… “大”)對使用者通知音量控制狀態為何。 當然就某些控制參數，甚至是音頻者而言，不生產該 參數之任何視覺或其他指標而非器具本身之績效會是較佳 地可接受的。例如，若音調控制被調整，讓使用者將之調 整至他所喜歡聽到時留在那裏會是相當足夠的。 現在參照第5圖，其在了解假軌跡球（或其他光學指尖 追蹤器）如何被用以設定控制參數值中是有用的，已可能曾 是，或將是由數個這種控制參數中被選擇。讓我們假設將 被控制之器具為手持式收音機接收器（未畫出）。其想法是 動作信號之一軸（如Y軸38)將代表音量控制，現在可被想 成是「音量軸」。沿著Y軸38方向之指尖動作將調整該接 收器之音量。沿著X軸37方向之動作將實施電台或頻道 調諧功能。我們將要解釋之擴充為我們亦可試圖如音調控 制（或者是靜默下來）將藉由沿著與X軸傾斜45度（此為一 方便但非必然之值）之一第三軸39方向之動作被調整。 假設該器具已被打開，且使用者要調整音量。現在進 一步假設就每月之各日不需要有初步的模態選擇以與表示 Y軸38代表音量是相反的。例如，就此器具而言，Y軸38 永遠是音量軸，且永遠被不用於不同的控制參數。無論如 何，使用者將其指尖放在假軌跡球上。該損失相關信號40 遠離，且器具控制電路11因而被警告說某些使用者控制活 動是急迫的。在此點，除了需要在指趾與假執跡球作出接 23 563091 五、發明說明（21) 觸外已有很少或沒有動作，我們可能想到該指尖之「位置」 是在各軸之原點35。現在使用者在Y軸移動其指趾。然而 其可能不僅確實地在Y方方；在他的指趾動作可能亦有小 的X方向之分量，就算此人要調整音量而不改變其調諧亦 缺。 現在可能簡單地施用一 ΔΥ動作信號至音量調整機構 而施用一 ΔΧ動作信號至調諧調整機構。此會同時調整或 變更二控制參數，而除非使用者採取預先注意，否則可能 強烈地激怒使用者。因此較佳的是無控制參數被改變至有 關使用者之意圖的決定被完成為止。此可藉由要求ΔΥ之 累積門檻值伴隨有適當地較低的ΔΧ累積值而被完成。此 觀念支持以原點35為中心之格子36的意義。使用者完成 足夠的ΔΥ動作以滿足音量門檻而維持ΔΧ累積為低的， 且該系統判定音量調整為妥當的。在此點其將開始變換ΔΥ 之符號值為音量控制設定之對應的增量與減量，且簡單地 忽略ΔΧ而不改變調諳或音調設定。 在所欲音量設定之適當過程被達到。在此點，改變音 量之過程藉由使用者提起其指趾離開假執跡球或藉由用指 趾壓住假執跡球以啟動開關16/26所指示地被結束。 現在有數個相關的替選做法應該討論。我們以先前段 落之結束調整之主題開始。其可能為一正面的認可，形式 為藉由自指趾來之壓力啟動一開關而被要求。此為免於未 預期之人為加工，但為一額外的操作。另一方面，僅是揚 起指趾的潛在問題在於當揚起進行中該動作轉換器可能看 24 563091 五、發明說明（22) 到某些非有意的額外動作，但是在損失相關信號40被產生 之前。此可能是問題也可能不是，視事情如何被安排而定。 例如假設指尖沿著假轨跡球之「掃掠」產生1024(21❹)次之 △Y。但假設只有25= 32離散的音量位準。則每一音量位 準有約32次，此數量化在使用者合理地小心時將足以隱蔽 該問題。例如，使用者可查覺音量之離散變化且恰在一變 化後停止移動其指趾。然後，他在目前設定的任一側有16 個視窗以吸收任何偽造的Δγ,且在該指趾被抽回時留下 此所欲的目前設定未被改變。 另一方面，若為了所欲的解析度需有數次掃掠以涵蓋 调整之整個範圍，則去除指趾不會結束，而只是暫停該調 整過程，且可能需要啟動開關16/26以便指示調整之結 束。若在動作信號與控制參數間之對映沒有數量化或要求 非常高解析度時會獲得類似的情形。為了取得調整後之控 制參數以「維持已估計」而指趾被移開，其可能有必要結 束調整過程而不致在抽回之際導致偵測偽動作（即藉由啟 動一開關）之可能性。 偵測結束期間已到期（如一秒、由對控制參數進行之最 後一次改變開始算）亦可被用以結束該調整。為了恢復調 整’吾人便可揚起並替換指趾。 為了由調整音量轉移為改變調諧或頻道選擇，使用者 會結束音量調整，並開始在χ方向移動指趾。如前者，一 旦累積動作之條件被達到（不過現在是沿著χ方向之調諧 軸發生）’該系統將選擇調諧作為將被調整之器具控制參 563091 五、發明說明（23) 數，且降低任何對ΔΥ動作信號之注意。 現在假設音調（或如靜默下來之其他控制參數）將被調 整且此將被沿著軸39之方向被完成。如前者，吾人首先藉 由檢查被產生之原始ΔΧ與ΔΥ來澄清使用者之意向。若 其將為軸39,則吾人藉由就連續的對子ΔΧ與其所配的ΔΥ 偵測每一這種座標對為彼此「靠在一起」之值而就其允許。 (此有數種方法被決定，如其差之絕對值小於其平均數之絕 對值預定的百分比。）一旦準則被滿足，其被決定音調（靜 默下來）將依照沿著轴39之位移被調整。吾人可用距離公 式計算沿著轴之實際距離，但因ΔΧ或ΔΥ可被用以取代 此距離，故此為非必要的。最糟的是可能是須調整ΔΧ與 該改變對音調控制參數值間之比例（如保留所感受之敏感 度），原因在於ΔΧ不會等於沿著軸39之增加距離：反而 △X是較小的，且僅與沿著軸39之增加距離。 現在參照第6圖，其為支援第5圖之主題事項的活動 之流程圖41。流程圖41為此支援活動可被實施的很多方 法之一例。其以用AX與（或）ΔΥ來決定要調整某些控制參 數而開始，其以步驟42開始。第一事件是步驟43，此處 Σ AX與Σ AY均被設定為0。接著在步驟44，ΔΧ與ΔΥ之 值由動作轉換器1〇(吾假定其隨時都在運轉，且針對流程 圖41為非等時地）被接收。在步驟45，這些增加的動作值 分別被累加至ΣΔΧ與ΣΔΥ。此被完成以實施第5圖之區 域36之觀念，此處在有關那一控制參數值將被調整之決策 被完成前需有動作之某種最小值。 26 563091

五、發明說明（24) 此決策過程包含一迴圈，其包住接受一樣本之步驟44 與累加步驟45。在此迴圈底部為判斷器46與47，此處決 疋其一之累加是否已被增加到對應於要離開區域36之最 小門檀值。

右判斷器46與47之任一的答案為是，則後續的判斷 器48，49與50決定各別軸37，38與39那一個代表指尖 之動作。這些判斷器實施總特徵化，其基本上相當於一模 態選擇。然而或許最佳的是，若其三個可能的「模態」（判 斷器48，49與50之「是」路徑）均非真實的分割，則第四 種結果（在判斷器50之「否」）（此為未被辨識之輸入，基 本上是「以上皆非」的情形）被提供。此結果為行為更好的 使用者介面。

同樣地，吾人已顯示符合第5圖之三種控制參數情 形。其可能有更多參數，即第5圖顯示軸39佔據第一與第 三象限；其可能很容易有第四控制參數軸與軸39垂直，且 其佔據第二與第四象限。其亦可能有控制參數軸以與X軸 成30與60度傾斜，雖然在某些點對使用者精確地選擇他 所欲之選擇變得是困難的。任何這類可能性將在對應於一 串48，49與50之判斷器内的測試之性質被反映。 在相同的情形，吾人可能同樣容易地只具有二，或者 僅有一控制參數軸。此即，判斷器50(及「是」路徑之相 關段落56)可能通過，且在系列中較早的判斷器49「否」 路徑引導至判斷器50之「否」路徑。至於否路徑（如由判 斷器50來的）所引導之處，吾人顯示「以上皆非」情形之 27 563091

五、發明說明（25) 二可能性：路徑58與59。路徑59或許是較寬容的，且相 富於忽略一非順應的輸入並允許使用者再嘗試。路徑58 基本上放棄進入控制參數值調整過程。某人甚至有混合之 做法，其記住由判斷器50之一貫的「否」出口，且其將使 用路徑59用於此前面二個出口及路徑58為第三出口。

為結束第6圖之討論，注意判斷器48,49與5〇之「是」 路徑引導至各別的段落51，55或56。也就是這些段落實 際執行所選擇之控制參數值的調整過程。考慮段落51，其 調整第一個控制參數（如第5圖之調諳）之值。其由一迴圈 組成，頂端為步驟52—接收樣本。下面的步驟53取得Δχ， 並使用某種f(AX)以修改第一個控制參數值。若沒有視覺 或被顯示之標記要修改，則此活動也將由在步驟52被驅 動。（注意在段落55是g(AY)修改第二個控制參數之值， 且f與g可能適當地為相同或不同的。）在修改控制參數之 值後，若沒有偵測到限制界線，判斷器54經由其「否」路 徑回到迴圈頂端（步驟52)。此允許該修改活動堅持至其依 據使用中之特定使用者介面的規則優雅地被結束為止。該 界限動作或事件例如可為開關16/26之啟動、有效的損失 相關信號40、或由最後一個Δχ之結束時間到達。在偵測 界限事件之際，該「是」路徑轉移到步驟57而完成，其可 能代表在整個使用者介面之更向外程度的某些抽象狀態 最後，第6圖之配置可被修改以不需使用分別的螢幕 指標地提供選單中之選擇。使用者可回想在以滑鼠供電之 視窗型作業系統盛行前係以使用箭頭鍵來走訪選單，或許 28 563091 五、發明說明（26) 也用跳位鍵與父換跳位鍵辅助。該等項目以列與行被配 置，且被選擇之項目被強調。惠普公司在丨980年早期於用 CPM或DOS執行之其PAM(個人應用管理器）使用類似此 之做法。在任何事件中此處所論及之觀念為Δχ與Δγ可 適當地被數量化（以步驟43-47之方式）而產生必要的「箭 頭鍵」，啟動以走訪被顯示之選單，且不需完全像素化之顯 示與如像素等級的可活動之類似滑鼠的螢幕指標。此可被 達成之一方法為f與g(修改後之版本）累積經選擇數量之動 作，然後輸出「左/右與上/下箭頭」作業。此種初步選單 走訪型式可能是一組控制參數（由其數個中）經由第6圖之 (未修改的）使用者介面於後續稍後修改之時前首先被選 擇。 現在參照第7圖，其中一個左撇子使用者正用其左手 之食指指尖62撥電話號碼而以其右手61拿著一無線電話 28(此也可能為其他型式之器具）。為如此做，指尖62被移 動至假軌跡球（或其他指尖追蹤器）上，其方式為追蹤將被 辨識之字元形式。在此圖中，該假軌跡球為看不到的，因 其被指尖62蓋住了。在此例中，吾人假設將電話28置於 備於接受電話號碼的任何必要之前置操作已被完成。（此不 應被考慮太多，畢竟由操作員輸入之對電話的操作是電話 要做的基本事情）。不過，近曰來其亦做其他事情，且或許 這些之一個須在撥號被了解為將被實施之作業前結束其他 的模態。在任何事件中，使用者敲擊該等數字且其出現於 顯示器63，其一些為64與65。被敲擊之號碼建議我們的 29 563091 五、發明說明（27) 使用者對Colorado，Denver區域之目錄助理（Directory Assistance)有興趣。除了有些人正在敲打最後一個“2”時 會撞到手肘外全部都進行的很順利，其結果為該輸入動作 為畸形到電話無法辨識該數字的程度。為了指示此電話顯 示一特定的字元66，雖然其可能是任何適當形狀，吾人已 選擇以反白的視訊提供一個問號。其可能亦例如僅為閃爍 的問號，或任何適用於表示事務之混淆狀態的符號。同樣 地，雖然吾人未曾將之顯示，其打錯區域號碼“990”而非 “970”。不過他馬上看到此，且使用退倒鍵機制（下面被描 述）在其撥入號碼之其他部分（如顯示者）後修正此錯誤。 現在參照第8圖，此處以一般的方式顯示這種型式之 操作如何使用假軌跡球或其他指尖追蹤器被實施。在最 初，吾人要指出數事。第一，該器具可能不是電話；其可 能是「對講機」類之手持式無線電收發機（GMRS，FRS， CB或其他），GPS或PDA。其可能是一照相機，且一標題 正被加到一影像。接著吾人已顯示數字輸入。其將易於被 了解任意字串之輸入確是有用且可能的，視被運用之器具 特點而定。例如，就算對電話而言，某人可被允許撥入 “MOM”或“KAREN”來代替媽或太太的電話號碼，當然此 乃假設該電話支持標籤對電話號碼之建表功能，且其允許 直接標籤登入取代號碼（而然後尋找該號碼再使用之）。 接著，吾人要參照之第8圖的該對逐步協調之流程圖 以指引的方式說明將被實施之系統。此外，流程圖就目前 目的被使用時具有某種不適當處。一流程圖之基本性質為 30 563091

仏將手^放在上面’並說：「我們在這裏」，然後依據流程 圖所允許地移料指。所以絕對不會有三手指同時在特定 流程圖上·丨流程圖在其代表「取得與執行」型式規劃之機 制（Von N_an機器）的單一統一處歡循序層面功效最 佳對非等時事件之中間反應不會被流程圖良好地呈現， 特別是對不同事件有不同反應尤然。分別流程圖間之溝通 有幫助，且吾人將假設在第8圖之流程圖間有此機制。雖 然如此，若大量的先前狀態資訊是決策所需，或非等時外 部事件會造成中間活動時，在真正流程圖内事情會變得醜 陋。 這類的環境經常被（一個或以上）的狀態機器服務，其 代表物為狀態圖。狀態圖根本上與流程圖不同，恰如狀態 機器根本上與取得執行機器不同。經常處理狀態機器者了 解嚴格流程圖之限制，且會同意狀態機器用之狀態圖根本 上並非嚴格的循序流程圖。實際上第8圖之流程圖中描述 之材料的實際實施的詳細描述可能會涉及數個狀態機器， 且可能只有一個或甚至沒有「取得與執行」式規劃機制（ν〇 η Nueman機器）精確地被嚴格的流程圖呈現。雖然如此，第 8圖之流程圖一般還是有用且資訊性的，因其以相當高程 度之抽象操作且傾向於在性質上為順序性的。其亦具有簡 潔之性質，且吾人不會手指不夠用。 然後我們毫不費力地來檢視第8圖顯示之該對流程圖 67。該對流程圖（左邊）之一為代表可能的使用者活動之流 程圖。右邊的流程圖代表例如當該種使用者活動配合第7 31 563091 五、發明說明（29) 圖被描述者發生時對應於器具或機器之活動。該對應性用 橫過圖中之水平虛線創立之區域68-74表示。因此，例如 使用者流程圖之活動75伴隨器具流程圖之活動76。其將 被了解如活動76之「取得敲鍵」活動確定為在其右邊之大 規模處理，係以自身由構成要件之過程組成的子過程，餘 此類推。在活動76與78實施之字元辨識可使用不同的策 略，讀者可參考所納入之專利以取得有關這些過程被實施 之進一步資訊。吾人要進一步假設使用者基本上會以與使 用筆尖相同的方式移動其指尖而題記各別數字或其他字 元。即一串字元不會像手寫般地用線連接，而是像不會相 碰觸的各別印刷字元所呈現者。吾人將特定字元是否須以 特殊方式被敲鍵（以有助於辨識）的課題留給各別的實作， 而是奮力於提供有關此課題容許大程度彈性的整體性使用 者介面。特別是我們不要求指尖在敲擊字元之際絕不離開 該成像表面：其可能會，也可能不會。此意即我們要注意 在進行損失相關信號40之轉移的使用。特別是該字元辨識 過程是否使用信號40之課題，如果是的話，是如何？此由 該過程來決定。因而，若我們視字元辨識為字串登錄過程 中之黑盒子，可能需要一些背景資訊以協助損失相關信號 40中轉移的解釋，例如對代表已被辨識之被顯示標記的確 認與對輸入加界限。 然後為了繼續起見，我們假設該器具是在期待使用者 對一字元敲鍵之狀態，此係被第8圖之區域68代表。使用 者做的是對一字元敲鍵（活動75)，而該器具同時取得這些 32 563091 五、發明說明（3〇) 敲鍵（活動76)。在第8圖之區域69中，該器具決定被敲鍵 之字元被置於顯示（活動78)，使用者可看到它（活動77)。 其可能欲於該字元辨識機制藉由使用者在字元結束時提起 其手指離開影像孔而在過程中被協助。在足夠長之時間後 (比各次敲鍵間之間隔長），該器具會推論該字元已被完 成。其也可能用一段期間沒有被偵測之動作（但手指還在影 像孔上）就同樣的目的加以表示。若該器具決定其無法判斷 一合法字元被敲鍵，則其顯示一些符號表示此狀況，此我 們已選擇為反白的問號（66)。 區域70提供處置未經辨識之輸入的機制。該器具拒絕 鍵入下一個字元至已被辨識字元之字串結束處，留下未被 增加之各種指標。對使用者而言，其可出現有隱喻之倒退 鍵（81)，原因在於該反白問號確實出現在顯示内。但就字 串辨識過程而言，其僅為一再嘗試。我們假設使用者在完 成每一字元後揚起其手指，使得在判斷器79與80轉移到 「是」後置換其指尖之際，該器具由顯示去除（活動82)， 該使用者登記一個隱喻的倒退鍵（81)且二個流程圖重新進 入區域68。「手指之置換」當然是用損失相關信號40之適 當轉移代表。 現在假設合法的字元已被辨識及顯示。其可能還不是 使用者所要的。可能是使用者錯誤地敲錯鍵或其在執行時 是草率的，而造成器具得到錯誤的答案。在任一事件，使 用者會拒絕確認新的字元而代之造成倒退刪除使其能替換 他所要的。此為圖中區域71與72的事項。代表外顯倒退 33 563091 五、發明說明（31 ) 的一方法為用指尖「輕拍」假執跡球或其他指尖追蹤器。 一輕拍為基本上無動作接觸之簡短期間，如5()至15〇亳 秒，雖然此長度為可調整的，就好像在慣常視窗式作業系 統中用於辨識「拍兩下」之間隔。若為了更方便，倒退亦 可用開關16/26之啟動被表示。不論是什麼表示一倒退， 當其發生（活動83)且隨後被偵測，結果為活動84在輸出字 串退回一個字元，並由顯示去除已被倒退之字元。在此點， 區域68再次被進入以準備登入正確的字元。一系列審慎的 相隔輕拍（即至少有最小時間將之隔開以致不會與拍兩下 混淆）會用作為連績的倒退。（意思是活動76/78亦須辨識在 真正敲鍵被偵測前發生的額外輕拍、為簡潔起見我們已省 略該流程圖之這些複雜的性質。設計這類型式之系統者將 了解狀態機器係優於處置這些種類之文意敏感的課題。） 在區域71内另一可能的行動為使用者確認他在顯示 看到之字元。較佳的是，他全部所須的僅是由影像輸入口 移開手指一簡短時期前開始敲下一個字元。此即，若所顯 示之字元不是反白的問號，持續至少一些最短時間長度之 損失相關信號40的後續出現可被視為意喻之確認。因此允 許一系列正確地被敲鍵及被解釋之字元以沒有任何額外無 意義廢話地被輸入故為特別便利的。當然，其可能被安排 使得字元被可用的但未被使用之操作，如輕拍、拍兩下或 開關16/26之啟動而明白地被確認。 區域71内第三個可能的行動為對所顯示之字串滿意 且希望其被實施，或以任何適當的方式操作手中之器具。 34 563091 五、發明說明（32) 例如在第7圖之電話中，它可能只要剛被鍵入之電話號碼 被撥號。此即，他希望確認整個字串並啟動器具操作的某 些下一階段。如此做之較佳方法為使用者一系列地僅拍兩 下，而以在兩下間小於某些數量之時間（按照點 選滑鼠按鈕 兩次之方式）。或者，確認可如所欲地用開關16/26之啟動 被發信號。此活動為第8圖之區域73的主題，此處活動 88儲存下一個字元至字串，然後在回應於使用者已確認該 字串（活動87)下離開（活動9〇)。最後，一旦字串已被確認， 區域74代表器具對字串之操作（活動9〇)及使用者看到（或 其他不論什麼之動作）後續的結果或狀態（活動88)。 因而，我們看到兩種字元辨識結果與三種控制作業或 命令在用敲入字元之字元輸入為有用的：顯示嘗試字元、 顯示不好的字元符號、外顯的倒退命令、隱喻的字元確認 命令與外顯的字串確認命令。此外，隱喻的倒退命令是有 用的。我們已看到，在所有關於進行敲鍵之指尖在字元間 被揚起之假設且在未假設在一字元中有什麼發生下之按影 像輸入口以啟動開關、輕拍及拍兩下影像輸入口的原始操 作中這些活動如何以文意敏感的方式被實施。 幾個最後的註明可能為「輕拍」與「拍兩下」觀念的 順序性關切。輕拍如上面定義者為指尖與指尖追蹤器間短 月/的（基本上為）無動作之接觸。在適當間隔内的兩次輕 拍為拍兩下。某人甚至可進一步實施拍三下。其可被定義 為某種的重置，且在沒有分別的鍵或按鈕易於使用此功能 的實施例中是有用的。其一個例子為具有絕對是最少機械 35 563091

控制之手持式器具。例如，其有假軌跡球與一顯示器，其 他就沒有或很少東西了。此可為選單驅動之使用者介面了 問題來了：「若使用者進到某些選單樹中間或不熟悉（對他 來說是功能紊亂的）模態時，他怎麼辦？」，且他變得無望 地混淆或受挫。他需要易於實施且可靠的逃離機制可：消 一活動並恢復控制至較熟悉的領土。拍三下可以是啟動此 種逃離之方法。拍三下很容易做、不需要特殊的機械零件 且不可能被意外地被發出或被辨識。 在辨識敲鍵字元之系統中，其中之一為點或句點，所 以在輕拍與被敲鍵字元間被分辨其為點或句點變成必要 的。此可藉由注意指尖與指尖追蹤器之無動作接觸之時間 長度而易於被完成。若此為「短的」，則其為輕拍，而若其 比某一數量長便為點或句點。 第9圖為一簡化狀態機器圖91用於發現其是否曾有輕 拍。此處的假没為除了有適於做為點或句點之判斷器外有 此工作專用之硬體資源之集合。由於此硬體之確實形式係 就特定的實作而變的故未被畫出。被假設之資源為一些暫 存器用於保存X與Y動作信號、計時器與各種算術比較電 路之值。 一個START信號配上接通或主系統重置，造成由過度 92至狀態93,只要信號40(損失相關信號）保持是出現的， 其為被維持之IDLE狀態（過度94)。最後（甚至是在起初）， 使用者將其手指放在影像輸入口上，此後信號已到期而不 再施用。此造成過度95至狀態96，此處目前X與γ動作 36 563091

五、發明說明（34) 值被保存做為「初始X與γ動作值」且一輕拍長度計時器 被重置為零。隨後為過度97至狀態98，此處輕拍長度計 時器被開始，且目前的X與γ動作值被儲存為「最新的χ 與Υ動作值」。 其只有一方法留於狀態98 :信號40維持是錯的（繼續 相關一手指仍在那裏），且輕拍長度計時器仍具有小的值。 此只是意為要說是否有輕拍還太早。在維持於狀態98下， 狀態機器繼續增量，且最新的χ與γ動作值繼續被儲存。 要離開狀態98有三種方法。最早的為過度11〇 ,其在 信號40若再被施用（手指揚起）但輕拍長度計時器為非常小 時發生。此情形被顯示為可能不規則之狀況：也就是說輕 拍長度計時器具有之計數為1，代表100毫秒。沒有人的 手指這麼快，所以很可能有什麼差錯，雖然此狀態機器被 拉動的異常偵測方法被忽略。 離開狀態98之第一方法為經由過度1〇〇，其在輕拍長 度計時器之計數變得太大時被造成。則此不會是輕拍，而 最可能是一般操作。該過度為至狀態107’此基本上為另 一 IDLE狀態，被過度108維持（繼續相關），至相關失去且 過度109再進入狀態93為止。狀態107可被描述為IDle 或WAIT狀態，原因在於我們假設一些其他的獨立機構或 過程實施對X與Y動作之基本反應（如設定一器具控制信 號之值）。 離開狀態98之第三種方法為經由過度ι〇1至狀態 102 ’其在信號40再被施用且輕拍長度計時器具有在範圍 37 563091 五、發明說明（35) 内之值時發生。此意即可能曾有輕拍。為了發現，狀態102 實施必要的算術以發現由該可能的輕拍之開始起的X與γ 中之動作數量。此使用存於狀態96中之「起始」動作值與 存於狀態98中之最近的「新」動作值被完成。若此動作夠 低，其為一輕拍且過度104導致狀態105，此處一 TAP信 號被發給該系統。此後，過度106導回至IDLE狀態93以 等待下一事件。另一方面，若狀態i 〇2之算術發現太多動 作，則其無有效的信號，且過度103繞過發出TAP輕拍而 直接引導回到IDLE狀態93。 吾人可想像一信號不需要狀態102與過度1〇4之低動 作測試，且取代地僅依賴時機。雖然此會排除使用者實施 一系列的快且短的「調整」至被控制之值，此可適當地在 不實施字元辨識之系統中工作，原因在於其會與一信號相 似。確實有實施字元辨識之系統傾向於具有會被評斷為信 號之很多中間事件，除非有被最小或非動作要求排除。 同樣地’狀態圖91指示數個過度（94，99，1 〇8)，其 在實際最小化之機器中不會出現為真正的過度，而代之僅 為未出現（其代表不需要動作之情形—無過度）。我們為了 完整起見在此顯示他們，而具有r溫和」的狀態圖。 我們亦已描述拍兩下如何地有用。第1〇圖為一簡化狀 態機器111，描述假設有第9圖之狀態機器可用時，拍兩 下如何被偵測。第10圖之狀態機器假設可重置的計時器與 一些算術比較電路為可取得的資源。同樣地，若要提^第 10圖之狀態機器111，須要第9圖之一小修改。此修改為

563091 五、發明說明（36) 在狀態105被發出之TAP信號不發出給全體系統，而代之 僅被送至實施狀態機器111的狀態機器。此狀態機器將決 定是有單一輕拍或拍兩下，然後將適當地發出一個別的單 一輕拍或各別的拍兩下至全體系統。如此之理由當然是單 一輕拍與拍兩下被意為彼此互斥的事件，且我們不要與起 始輕拍相關的活動直至我們確定沒有拍兩下為止。當然， 其或則可說輕拍為倒退且拍兩下為重置。則倒退被啟動沒 關係且然後用重置被擊敗。但若輕拍為倒退且拍兩下為確 認或執行確定是有關係的。 現在參照第10圖，並注意一 START信號（此可能與第 9圖中者相同）造成過度112至狀態113，此處一輕拍間隔 計時器被重置為零值。狀態113被維持至信號TAP(由第9 圖之狀態機器圖91)被接收為止。此為TAP = 0過度114之 意義。當TAP = 1(為了簡單我們假設為類似脈衝—我們省 略類似於此之栓住或握手為有關機器間溝通如何慣常智慧 被完成）過度115導致狀態116,此處我們等待（經由過度 117)至TAP再次為零為止。過度ι18至狀態119為計量TAp 之實例的逃脫機制。 一旦在狀態119，輕拍間隔計時器被允許增加。起初， 狀態119被TAP維持於零經由過度12〇而被維持。然而最 終TAP將再發生（可能的拍兩下）或輕拍間隔計時器為了構 建二連續的輕拍作為拍兩下而增加超過某些界限。這些情 形之一在TAP再被施用且輕拍間隔計時器在範圍内時發 生。過度121導致狀態122，此處一個DOUBLE TAP信號

563091 五、發明說明（37) 被發出至該全體系統。此後過度123引導回到狀態113， 使得整個過程可再開始。 另一方面，該輕拍間隔計時器會在狀態119增加超出 範圍。此對應於無拍兩下，且造成過度124至狀態125， 此處（由於有TAP之實例）一單SINGLE TAp信號被發至全 體系統。此後過度126引導回到狀態113，使得整個過程 可再開始。 當然’其將被了解若狀態機器圖91與ill二者均將被 實施，則其可被組合成一機構。將之顯示成我們有的事項 為便利的，原因在於其可能為僅有第9圖之狀態機器91 被提出的情形。 最後其將進一步被了解，不論狀態圖91與n丨之一或 二者被提出’其在第1圖之方塊圖1中的實際位置可在控 制電路11(動作轉換器忽略如輕拍與拍兩下之這種微妙之 處）内或（較佳地）在該動作轉換器10本身内。在此後情形 中，動作轉換器將不僅發出損失相關信號4〇(必要時），且 亦有TAP與DOUBLE TAP之額外信號（未在第1圖中外顯 地顯示，但隱含在第9與10圖中）。 元件標號對照表 元件編號 譯 1 方塊圖 2 器具或機器 3 指趾 名 元件編號 言睪 5 碟狀塞子 6 按鈕 7 罩殼 4 桿狀鏡頭 8 影像輸入口 40 563091 五、發明說明（38) 元件標號 對照 表 元件編號 譯 名 元件編號 譯 名 9 光源，LED 31 螢幕指標，標記 10 動作轉換器 32 標記 11 器具或機器控制電路 33 標記 12 標s己 34 條形圖 13 工作 35 原點 14 隔板 36 格子 15 器具控制參數 37 X軸 16 壓力敏感開關 38 Y軸 17 光線 39 第三軸 18 影像 40 損失相關信號 19 鏡 41 流程圖 20 鏡頭總成 42 步驟 21 字母鍵盤 43 步驟 22 動作信號 44 步驟 23 軌跡球 45 步驟 24 器具 46 判斷器 25 彈簧 47 判斷器 26 開關 48 判斷器 27 器具 49 判斷器 28 無線網際網路電話 50 判斷器 29 鍵 51 段落 30 顯示器 52 步驟 41 563091 五、發明說明（39) 元件標 號對照 表 元件編號 譯 名 元件編號 譯 名 53 步驟 75 活動 54 判斷器 76 活動 55 段落 77 活動 56 段落 78 活動 57 段落 79 判斷器 58 路徑 80 判斷器 59 路徑 81 倒退鍵 60 路徑 82 活動 61 右手 83 活動 62 食指 84 活動 63 顯示器 85 活動 64 號碼 86 活動 65 號碼 87 活動 66 字元 88 活動 67 流程圖 89 活動 68 區域 90 活動 69 區域 91 狀態機器 70 區域 92 過度 71 區域 93 狀態 72 區域 94 過度 73 區域 95 過度 74 區域 96 狀態 42 563091 五、發明說明（4〇) 元 件標號對照 表 元件編號 譯 名 元件編號 譯 名 97 過度 119 狀態 98 狀態 120 過度 99 過度 121 過度 100 過度 122 狀態 101 過度 123 過度 102 狀態 124 過度 103 過度 125 狀態 104 過度 105 狀態 106 過度 107 狀態 108 過度 109 過度 110 過度 111 狀態機器 112 過度 113 狀態 114 過度 115 過度 116 狀態 117 過度 118 過度 43

Claims (1)

1. 第90131153號申請案申請專利範圍修正本 1·一種輸入裝置，用於控制一器具之操作， 含： 92.8.5. 該輸入裝置包 10 15 20 一容納該器具之罩殼； 該器具沒有鍵盤用於登入代表分別字母 鍵； -影像輸人Π，其在該罩殼内且操作員之—的指趾 之末梢部分被放置以對著該影像輸入口； 一光源，純配置於該影像輸入口附近且其發射光 線照亮:被放置以對著該影像輸人口之指趾末梢部分； P像出表面，其光學式地被輕合於該影像輸入 口’該操作員之指趾末梢光線之影像的被反射光線可由 其離開； 一動作轉換器，其被配置於該影像出口表面附近， 且其接收該影像，動作轉換器創立像素化後之呈現，包 各新近被抽樣之陣列、一先前被抽樣之陣列與為最近 之相鄰陣列的這些陣列之一的被移位版本，其一之陣列 與其最近相鄰陣列與未被移位之陣列被配上相關，以用 该指趾末梢對該影像輸入表面移動而產生對應於座標軸 方向的動作信號及其代表操作者之輸入來影響該器具之 操作； 一器具控制電路，其被耦合於該等動作信號、被配 置於該器具之内部，且其藉由依照對著該影像輸入口被 放置之指趾末梢改變至少一器具控制參數之值而控制該

   44

   器具之操作。 2 11, 申明專利範圍第1項所述之輸入裝置，進一步包含一損 失相關信號，其被該動作轉換器回應於該操作員之指趾 /肖失在影像輸入口時被產生且被耦合於該器具控制電 路其中有數個器具控制參數與該器具控制電路分析該 損失相關信號之出現作為一界限，其分離一器具控制參 數值之改變與另一器具控制參數值之改變。 3·如申請專利範圍第1項所述之輸入裝置，其中該等座標軸 I含正交的第一與第二軸，該等動作信號包含分別對應 的第一與第二動作信號，該至少一器具控制參數包含分 別對應的第一與第二器具控制參數，且進一步地其中該 等第一動作信號改變該第一器具控制參數值及該等第二 動作信號改變該第二器具控制參數值。 4·如申請專利範圍第丨項所述之輸入裝置，其中該等座標軸 包含正交的第一與第二軸，該等動作信號包含分別對應 的第一與第二動作信號，該至少一器具控制參數包含分 別對應的第一與第二器具控制參數，且進一步地其中該 器具控制電路讓該第二器具控制參數未被改變而在該指 趾末梢沿著該第一軸之動作超過沿著該第二軸之動作時 改變該第一器具控制參數值，及讓該第一器具控制參數 未被改變而在該指趾末梢沿著該第二軸之動作超過沿著 該第一軸之動作時改變該第二器具控制參數值。 5·如申請專利範圍第1項所述之輸入裝置，其中該等座標軸 包含正交的第一與第二軸，該等動作信號包含分別對應 45 六、申請專利範圍 的第一與第二動作信號具有符號代表動作沿著其各別軸 之方向，該至少一器具控制參數包含分別對應的第一與 第二器具控制參數，也包含一第三器具控制參數，且進 一步其中該等第一與第二動作信號具有相同符號及實質 上相同絕對數量之動作時，則該器具控制電路分析該等 第一與第二動作信號作為沿著第三軸之動作及作為操作 員輸入，以依照該動作改變該第三器具控制參數之值。 6.一種輸入裝置，用於藉由（a)由被顯示之選擇選單内選擇 一登入與（b)調整一器具控制參數之值而依據一操作員指 趾末梢沿著數個座標軸之動作來控制一器具之操作，該 輸入裝置包含： 一容納該器具之罩殼； 一影像輸入口，其在該罩殼内且操作員之一的指趾 之末梢部分被放置以對著該影像輸入口； 一光源，其被配置於該影像輸入口附近且其發射光 線照亮-被放置以對著該影像輸人口之指趾末梢部分； 一影像出口表面，其光學式地被耦合於該影像輸入 口’該操作員之指趾末梢光線之影I的被反射光線可由 其離開； 一動作轉換器，其被配置於該影像出口表面附近， 且其接收該影像，動作轉換器創立像素化後之呈現，包 3新近被抽樣之陣列、一先前被抽樣之陣列與為最近 之相鄰陣列的這些陣列之一的被移位版本，其一之陣列 與其最近相鄰陣列與未被移位之陣列被配上相關，以

   六、申請專利範圍 10 15 20 該指趾末梢對該影像輸入表面移動而產生對應於座標軸 方向的動作信號及其代表操作者之輸入來控制該器具之 操作； 一被埋入之系統，其被耦合於動作信號且其回應於 該器具之操作員所做的輸入指導該器具之操作； 該被埋入之系統包括一動作信號選擇器，其檢查該 等第一與第二動作信號之對應的實例以決定其具有之量 是否以所選擇之數量大於他者，若然便將該具有較大數 ϊ之動作信號解釋為該操作員所做之輸入而也將其他動 作信號解釋為具有零之數量； 一顯示器，其被耦合於該被埋入之系統，其顯示對 應於該操作員所能用之選擇的標記用於影響該器具之操 作； 該被埋入之系統處理該等被解釋之動作信號作為該 操作員做成之輸入，以藉由依照該輸入變更對應的被顯 示標記來選擇該選單中之登入；以及 該被埋入之系統處理其他被解釋之動作信號作為該 操作員調整與選單中被選擇之登入相關的器具控制參數 值所做成之輸入。 7·種子元輸入裝置’用於控制一器具之操作，該字元輸 入裝置包含： 一容納該器具之罩殼； 該器具沒有鍵盤用於登入代表分別字母之各別敲 鍵；

   47 六、申請專利範圍 一影像輸入口，其在該罩殼内且操作員之一的指趾 之末梢部分被放置以對著該影像輸入口之末梢部分對著 此被放置； 一光源，其被配置於該影像輸入口附近且其發射光 線照亮一被放置以對著該影像輸入口之指趾末梢部分； 一影像出口表面，其光學式地被耦合於該影像輸入 口，該操作員之指趾末梢光線之影像的被反射光線可由 其離開； 一動作轉換器，其被配置於該影像出口表面附近， 且其接收該影像，動作轉換器創立像素化後之呈現，包 含一新近被抽樣之陣列、一先前被抽樣之陣列與為最近 之相鄰陣列的這些陣列之一的被移位版本，其一之陣列 與其最近相鄰陣列與未被移位之陣列被配上相關，以用 該指趾末梢對該影像輸人表面移動而產生對應於座標轴 方向的動作信號及其代表—字元，該操作員已用其指趾 對該成像口之動作追縱其字體與形狀； 該等動作信號被耦合於該被埋入之系統； 該被埋人之系統㈣等動作信號解釋為被該操作員 之指趾追蹤之字元並依照其改變㈣顯示之標記；以及 -顯示器，其被耦合於該被埋人之系統，且其顯示 被該器具之操作員輸入之字元。 • -種設定影響-||具之操作的器具控制參數值之方法， 該方法包含之步驟為： 將一操作員之指趾的末梢對一成像表面放置； 六、申請專利範圍 以對應於使用者輸人之模型跨過該成像表面移動該 指趾之末梢； 照冗對著該成像表面的指趾部分； 、將由該指趾被照亮之部分被反射的光線聚焦成為在 構成-動作轉換器之部分的一陣列光谓冑器上之影像； 將光動J |§之輸出純位化並在一記憶冑中儲存該 荨數位結果作為一基準陣列； 在儲存該基準陣列後將該等光偵測器之輸出值數位 化並在一記憶體中儲存該等數位結果作為一樣本陣列； 求出該樣本陣列與該基準陣列以及這些陣列之一的 最近相鄰被移位版本之.相關以產生一動作信號，其具有 值表不該指趾末梢跨過該成像表面移動時沿著一軸之 動作；以及 依照該動作信號設定一器具控制參數之值。 9.如申請專利範圍第8項所述之方法，進一步包含之步驟為 顯示該器具控制參數被設定步驟所設定之值的指示。 讥如申請專利範圍第8項所述之方法，進一步包含之步驟為 辨識去除的、簡短的且實質上免於動作之置換與該指趾 對成像表面的後續去除，然後再回應於該辨識下實施被 選擇之一操作。 11.如申請專利範圍第8項所述之方法，其中該求出相關之步 驟產生二動作信號具有各別的值表示沿著數條軸之動 作，且該設定步驟依照該等動作信號之一設定一第一器 具控制參數之值，及依照該等動作信號之另一設定一第 49

   修正 補充

   六、申請專利範圍 10 15 20 二器具控制參數之值。 12·—種用於控制具有一控制系統對輸入字元反應之機器的 操作之方法，該方法包含之步驟為·· 將一操作員之指趾的末梢對一成像表面放置； 以對應於使用者輸入之模型跨過該成像表面移動該 指趾之末梢； 照梵對著該成像表面的指趾部分； 將由該指趾被照亮之部分被反射的光線聚焦成為在 構成一動作轉換器之部分的一陣列光偵測器上之影像； 用該動作轉換器產生動作信號，其表示該指趾之末 梢對該成像表面之動作； 用該控制系統偵測對應於被操作員之指趾追蹤的輸 入字元之該等動作信號中的成型之變異，且其是要控制 該機器之操作；以及 依照所偵測之該等動作信號中的成型之變異操作該 機器。 13·如申請專利範圍第12項所述之方法，進一步包含為顯示 代表在所偵測之該等動作信號中的成型之變異的標記。 14·如申請專利範圍第12項所述之方法，進一步包含之步驟 為辨識去除的、簡短的且實質上免於動作之置換與該指 趾對成像表面的後續去除，然後在回應於該辨識下實施 被選擇之一操作。 15·如申請專利範圍第12項所述之方法，進一步包含辨識該 去除的、簡短的且實質上免於動作之動作的一第一實例

   50 六、申請專利範圍 與該指趾對成像表面的後續去除、辨識該去除的、簡短 的且實質上免於動作之動作的一第二實例與該指趾對成 像表面的後續去除該等第一與第二實例在所選擇之一時 間長度内發生，然後在回應於辨識之此 下實施被«之—機轉^ 第—辨識