TW201626165A - 觸敏表面上物件識別技術 - Google Patents

觸敏表面上物件識別技術 Download PDF

Info

Publication number
TW201626165A
TW201626165A TW104130453A TW104130453A TW201626165A TW 201626165 A TW201626165 A TW 201626165A TW 104130453 A TW104130453 A TW 104130453A TW 104130453 A TW104130453 A TW 104130453A TW 201626165 A TW201626165 A TW 201626165A
Authority
TW
Taiwan
Prior art keywords
capacitive
camera
signature
touch
computing system
Prior art date
Application number
TW104130453A
Other languages
English (en)
Other versions
TWI543023B (zh
Inventor
康金曼
大衛Ｂ 索爾特
班 懷尼
阿密特Ａ 瑪瑞瑟
傑佛瑞Ｃ 梅恩
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201626165A publication Critical patent/TW201626165A/zh
Application granted granted Critical
Publication of TWI543023B publication Critical patent/TWI543023B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/039—Accessories therefor, e.g. mouse pads
    • G06F3/0393—Accessories for touch pads or touch screens, e.g. mechanical guides added to touch screens for drawing straight lines, hard keys overlaying touch screens or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

此處揭示之實施例描述一計算系統等。該計算系統可包括例如一觸敏表面用以獲得表示位在該觸敏表面上的一物件之一電容式簽章，及一相機用以獲得表示該物件之補充資料。該系統也可包括一識別引擎用以至少基於該電容式簽章而獲得該物件相關聯的識別資料，及至少基於該補充資料而獲得該物件的至少一個特性。

Description

觸敏表面上物件識別技術
本發明係有關於觸敏表面上物件識別技術。
發明背景
今日許多計算系統包括至少一個顯示器及至少一個輸入裝置。輸入裝置之實例包括一滑鼠、一鍵盤、能夠檢測與其接觸的實體物件之一觸敏表面、及其類。
依據本發明之一實施例，係特地提出一種計算系統，其包含：一觸敏表面用以獲得表示位在該觸敏表面上的一物件之一電容式簽章；一相機用以獲得表示該物件之補充資料；及一識別引擎用以：至少基於該電容式簽章，獲得該物件相關聯的識別資料，及至少基於該補充資料，獲得該物件的至少一個特性。
15‧‧‧支持表面
25‧‧‧觸控筆
26‧‧‧梢端
35‧‧‧手
40、40a-c‧‧‧物件
100‧‧‧計算系統
110‧‧‧支持結構
120‧‧‧底部
120A‧‧‧前端
120B‧‧‧後端
122‧‧‧凸部
140‧‧‧直立構件
140A‧‧‧上端
140B‧‧‧下端
140C、150C‧‧‧前側
140D、150D‧‧‧後側
150、350‧‧‧計算裝置
150A‧‧‧頂側
150B‧‧‧底側
152‧‧‧顯示器
154‧‧‧相機
155、205‧‧‧中線、中軸
160‧‧‧頂部
160A‧‧‧近端
160B‧‧‧遠端
160C‧‧‧頂面
160D‧‧‧底面
162‧‧‧摺疊鏡
162A‧‧‧高度反射性表面
164‧‧‧感測器束
164A‧‧‧RGB相機
164B‧‧‧IR相機
164C‧‧‧深度相機
164D‧‧‧周圍光感測器
165‧‧‧視野
166‧‧‧IR光投射器
167‧‧‧IR光
170‧‧‧識別引擎
180‧‧‧投影機單元
182‧‧‧殼體
182A、184A‧‧‧上端
182B、184B‧‧‧下端
183‧‧‧內腔
184‧‧‧投影機總成
186‧‧‧耦聯構件或安裝構件
187‧‧‧可見光
188‧‧‧投影機顯示空間
188L‧‧‧長度
188W‧‧‧寬度
200‧‧‧觸敏表面
202‧‧‧觸敏區域
310‧‧‧處理資源
320‧‧‧機器可讀取儲存媒體
322-324‧‧‧指令
325‧‧‧記憶體、物件資料庫
401a-b‧‧‧電容式圖樣
402‧‧‧第一區
403‧‧‧第二區
415‧‧‧電容式映射圖
417‧‧‧區
420a-c‧‧‧電容式簽章
422‧‧‧第一部分
423‧‧‧第二部分
1300‧‧‧方法
1305、1310、1315‧‧‧方塊
後文詳細說明部分參考附圖，附圖中：圖1為包含一識別引擎之計算系統實例的示意透視圖；圖2為圖1之計算系統實例的另一幅示意透視圖； 圖3為圖1之計算系統實例的示意側視圖；圖4為圖1之計算系統實例的示意前視圖；圖5為圖1之計算系統實例於一操作實例期間的示意側視圖；圖6為圖1之計算系統實例於另一個操作實例期間的示意前視圖；圖7為圖1之計算系統實例的示意側視圖，例示影像擷取之一實例；圖8為圖1之計算系統實例的另一幅示意透視圖；圖9A例示一物件之電容式圖樣實例；圖9B例示圖1之計算系統實例的一觸敏表面之一電容式映射圖實例；圖10為圖1之計算系統實例之一計算裝置實例的方塊圖；圖11例示一記憶體之部分實例；圖12為圖1之計算系統實例之另一計算裝置實例的方塊圖；及圖13為用於獲得與一物件相關聯的識別資料之一方法實例的流程圖。
較佳實施例之詳細說明
一計算系統之一使用者的使用者經驗可藉由許可該使用者，結合在該計算系統上跑的一應用程式，使用活動式實體物件，諸如棋子、骰子、或任何其它類型的二 維或三維實體物件而予提升。於此等系統中，可能難以讓計算系統識別物件及決定其特性。
於此處描述之若干實施例中，可獲得與位在一觸敏表面上的一或多個物件相關聯的識別資料及/或特性。容後詳述，該等識別資料及特性可基於表示該物件的一電容式簽章及/或基於表示該物件的補充資料獲得，諸如影像資料、紅外線資料、深度資料、及其類。於若干實施例中，所得與物件相關聯的識別資料及/或特性可提供給且由該軟體應用程式用以提升使用者經驗且致動額外特徵及功能。
於此處描述之若干實施例中，描述一計算系統。該計算系統可包括例如一觸敏表面用以獲得表示位在該觸敏表面上的一物件之一電容式簽章，及一相機用以獲得表示該物件之補充資料。該系統也可包括一識別引擎用以至少基於該電容式簽章而獲得該物件相關聯的識別資料，及至少基於該補充資料而獲得該物件的至少一個特性。
現在參考附圖，圖1-7為包含一識別引擎170之一計算系統100實例之示意圖。於圖1-7之實施例中，系統100可包括一支持結構110、一計算裝置150、一投影機總成184、及一觸敏表面200。系統100也可包括一感測器束164指向觸敏表面用以擷取表示設置於觸敏表面200上的一物件之一或多個影像。計算裝置150可包括一識別引擎170用以識別該物件及/或獲得該物件的特性。
計算裝置150可包含依從此處揭示之原理的任何合宜計算裝置。如此處使用，「計算裝置」可包含電子顯示 裝置、智慧型電話、平板、晶片組、一體機電腦(例如，包含一顯示裝置的裝置其也罩住該電腦之處理資源)、桌上型電腦、筆記型電腦、工作站、伺服器、任何其它處理裝置或設備、或其組合。於本實施例中，裝置150為一體機電腦，具有一中軸或一中線155、第一側或頂側150A、與該頂側150A軸向相對的第二側或底側150B、軸向延伸於兩側150A及150B間之一前側150C、也軸向延伸於兩側150A及150B間且與前側150C概略地徑向相對之一後側150D。一顯示器152係沿前側150C設置及界定系統100的一觀看表面用以顯示影像以供由系統100之一使用者觀看。於此處描述之實施例中，一顯示器可包括適用於顯示影像、視訊等的任何技術之組件。
於若干實施例中，顯示器152可以是觸敏顯示器。於此處描述之實施例中，一觸敏顯示器可包括例如，用於顯示影像、視訊等的任何合宜技術(例如，組件)，且可包括用於檢測實體接觸(例如，觸控輸入)的任何合宜技術(例如，組件)，諸如，電阻式、電容式、表面聲波、紅外線(IR)、應變計、光學成像、聲波脈衝識別、分散式信號感測、或胞元內系統等。於此處描述之實施例中，顯示器152可指一觸敏顯示器152。裝置150可進一步包括一相機154，例如可以是網路相機。於若干實施例中，相機154可擷取位在顯示器152前方的一使用者的影像。於若干實施例中，裝置150也可包括麥克風或其它裝置用以接收聲音輸入(例如，來自一使用者的語音輸入)。
於圖1-7之實施例中，支持結構110包括一底部120、一直立構件140、及一頂部160。底部120包括第一端或前端120A、及第二端或後端120B。底部120可接合一支持表面15以支承系統100之至少部分組件(例如構件140、單元180、裝置150、頂部160等)的重量。於若干實施例中，當系統100經組配用於操作時，底部120可以此種方式接合支持表面15。於圖1-7之實施例中，當底部120係設置於支持表面15上時，例如圖2中例示，底部120之前端120A包括一凸部122，該凸部122可設置於支持表面15上方且與其分開(在凸部122與表面15間形成一間隔或一餘隙)。於此等實施例中，觸敏表面200之一側的部分可位在(例如，容納於)凸部122與表面15間所形成的該空間內部。於此等實施例中，將表面200之一部分置於由凸部122與表面15間所形成的該空間內部可協助表面200的妥為對齊。於其它實施例中，其它合宜方法或裝置可使用來協助表面200的對齊。
直立構件140包括第一端或上端140A、與該上端140A相對的第二端或下端140B、延伸於該等末端140A與140B間之第一側或前側140C、及與前側140C相對的也延伸於該等末端140A與140B間之第二側或後側140D。構件140之下端140B係耦聯至底部120之後端120B，使得構件140實質上從支持表面15向上延伸。
頂部160包括第一端或近端160A、與該近端160A相對之一第二端或遠端160B、延伸於該等末端160A與160B間之頂面160C、及與頂面160C相對的也延伸於該等末端 160A與160B間之底面160D。頂部160之近端160A係耦聯至直立構件140的上端140A使得遠端160B從直立構件140的上端140A向外延伸。如此，於圖2顯示之實施例中，頂部160係只支承在末端160A(而非在末端160B)，因而於此處稱作懸臂式頂部。於若干實施例中，底部120、構件140、及頂部160全部係一體成形。於其它實施例中，底部120、構件140、及頂部160可分開形成(亦即非為一體成形)。
觸敏表面200可包括一中軸或一中線205、一第一側或前側200A、及與該前側200A軸向相對之一第二側或後側200B。觸敏表面200可包含任何合宜技術用於檢測由一物件與表面200之實體接觸，諸如一手或其它物件(例如，含有傳導性材料的物件)其放置於表面200上或接近表面200可能造成表面200的電容或其它參數的可檢測變化。舉例言之，觸敏表面200可包含任何合宜技術用於檢測(及於若干實施例中追蹤)由一使用者的一或多個觸控輸入，用以許可該使用者透過此種觸控輸入，而與由裝置150或其它計算裝置執行的軟體互動。至於另一個實施例，觸敏表面200可包含任何合宜技術用於檢測(及於若干實施例中追蹤)設置於觸敏表面200上的一或多個物件用以許可該使用者透過此種物件的放置、旋轉、移動、及其它操控而與由裝置150或其它計算裝置執行的軟體互動。
於此處描述之實施例中，觸敏表面200可以是任何合宜觸敏平面(或實質上平面)物件，諸如觸敏板、桌面、片材等。於若干實施例中，觸敏表面200可水平(或近似或 實質上水平)設置。舉例言之，表面200可設置於支持表面15上，其可以是水平(或近似或實質上水平)。
於若干實施例中，全部或實質上全部表面200能檢測如前文描述之觸控輸入。於其它實施例中，少於全部表面200能檢測如前文描述之觸控輸入。舉例言之，表面200可包含一觸敏區域202，延伸歷經少於全部表面200，其中區域202能檢測如前文描述之觸控輸入。於其它實施例中，區域202延伸遍歷實質上全部表面200(例如，實質上可與表面200享有共同邊界)。區域202可實質上對齊軸205。
如前文描述，表面200可對齊結構110的底部120用以輔助表面200的適當對齊(例如，至少於系統100之操作期間)。於圖1-7之實施例中，表面200之後側200B可設置於底部120之凸部122與支持表面15間，使得後端200B對齊底部120的前側120A用以輔助表面200與系統100之其它組件的適當總體對齊(及特別，區域202的適當對齊)。於若干實施例中，表面200可對齊裝置150使得裝置150之中線155實質上對齊表面200之中線205。於其它實施例中，表面200可以其它方式對齊裝置150。
於若干實施例中，表面200與裝置150可彼此通訊連結(例如，電氣耦合)使得由表面200接收的使用者輸入可通訊給裝置150。表面200與裝置150可透過任何合宜有線或無線通訊技術或機制而彼此通訊，諸如WI-FI、藍牙、超音波技術、電纜、電線、電導體、具有磁性固定力的電氣載荷彈簧伸縮接腳、或其類、或其組合。於圖1-7之實施例中， 配置於表面200之後側200B上的暴露電氣接點接合底部120之凸部122內部相對應的電氣伸縮接腳引線，以於系統100之操作期間在裝置150與表面200間之通訊資訊(亦即轉移信號)。於此等實施例中，該等電氣接點係藉(位在底部120之凸部122與支持表面15間之間隙中的)相鄰磁鐵固定結合在一起，以藉磁力吸引與固定(例如機械方式)沿表面200之後側200B配置的一相對應鐵磁材料及/或磁性材料。
參考圖3，投影機單元180包含一外部殼體182，及設置於殼體182內部之一投影機總成184。殼體182包括一第一端或上端182A、與該上端182A相對之一第二端或下端182B、及一內腔183。於圖3之實施例中，殼體182進一步包括一耦聯構件或安裝構件186，以接合及支承裝置150(例如，至少於系統100之操作期間)。構件186可為用以懸吊及支承如前文描述之任何合宜計算裝置150之任何合宜機制或裝置。舉例言之，構件186可包含一鉸鏈，其包括一轉軸，使得裝置150可環繞該轉軸旋轉(例如，由一使用者)而達成觀看顯示器152之一最佳視角。於若干實施例中，裝置150可持久地或半持久地附接至單元180之殼體182。於若干實施例中，殼體180及裝置150可一體成形地及/或單塊地形成為單一單元。
參考圖4，於若干實施例中，當裝置150透過殼體182上的安裝構件186而從結構110懸吊時，當系統100係從前方觀看(亦即實質上面對設置在裝置150的前側150C上的顯示器152)時，投影機單元180(亦即殼體182及總成184兩者) 可實質上係隱藏在裝置150後方。此外，如圖4顯示，當裝置150係如前文描述從結構110懸吊時，投影機單元180(亦即殼體182及總成184兩者)及任何藉此投射的影像可實質上相對於裝置150之中線155對準或對中。
再度參考圖3，投影機總成184係大致上設置於殼體182的內腔183內部，及包括一第一端或上端184A、與該上端184A相對之一第二端或下端184B。上端184A係鄰近殼體182的上端182A，而下端184B係鄰近殼體182的下端182B。投影機總成184可包含任何合宜數位光投影機總成用以接收來自計算裝置(例如裝置150)之光，及投射與該輸入資料相對應之影像(例如從上端184A射出)。舉例言之，於若干實施例中，投影機總成184包含一數位光處理(DLP)投影機或矽上液晶(LCoS)投影機，其為優異的輕薄短小的高能效投影引擎，具有多重顯示解析度及尺寸，例如，標準XGA解析度(1024x768像素)具有4：3縱橫比，或標準WXGA解析度(1280x800像素)具有16：10縱橫比。投影機總成184進一步通訊式連結(例如，電氣耦接)至裝置150以便從其中接收資料用以基於所接收的資料而從上端184A產生(例如，投射)光及影像。投影機總成184可透過任何合宜型別之電氣耦合，例如，或此處描述之任何其它合宜通訊技術或機制而通訊式連結至裝置150。於若干實施例中，總成184可透過電氣導體、WI-FI、藍牙、光學連結、超音波連結、或其組合而通訊式連結至裝置150。於圖1-7之實施例中，裝置150係透過設置於安裝構件186內部之電氣引線或導體(例 如，關聯表面200及底部120如前文描述)通訊式連結至總成184，使得當裝置150透過構件186而從結構110懸吊時，設置於構件186內部之電氣引線接觸設置於裝置150上的相對應引線或導體。
仍然參考圖3，頂部160進一步包括一摺疊鏡162及一感測器束164。鏡162包括一高度反射性表面162A，其係沿頂部160之底面160D設置，且係定位以於操作期間反射從投影機總成184之上端184A投射的光、影像等朝向表面200。鏡162可包含任何合宜型別之反射鏡或反射面。於圖1-7之實施例中，摺疊鏡162可包含一標準前表面經真空金屬化鍍鋁之玻璃鏡，其係作用以將從總成184發射之光摺疊向下朝向表面200。於其它實施例中，鏡162可具有複合非球面曲率，以用作為反射透鏡元件而提供額外聚焦倍率或光學矯正。
感測器束164包括至少一個感測器(例如，相機或其它類型的感測器)用以基於感測器束164與表面200間之一區域的狀態(例如，出現在該區的活動)而檢測、測量、或以其它方式獲得資料。感測器束164與表面200間之該區域的狀態可包括在表面200上及/或上方之物件，或發生在表面200上及/或上方之活動。於圖3之實施例中，束164包括一RGB相機(或影像感測器)164A、一IR相機(或IR感測器)164B、一深度相機(或深度感測器)164C、及一周圍光感測器164D。於此處描述之實施例中，相機可稱作為「感測器」。
於若干實施例中，RGB相機164A可以是擷取彩 色影像(例如，靜像及視訊中之至少一者)的相機。於若干實施例中，RGB相機164A可以是根據RGB顏色模型擷取影像的相機，其可於此處稱作為「RGB影像」。但須瞭解於其它實施例中，RGB相機164A可以是根據其它顏色模型擷取影像的相機，諸如YUV、YCbCr、RAW等。於若干實施例中，RGB相機164A可以相當高解析度擷取影像，諸如約數百萬像素(MP)之解析度。舉個實例，RGB相機164A可以14MP之解析度擷取彩色(例如，RGB)影像。於其它實施例中，RGB相機164A可以不同解析度擷取影像。於若干實施例中，RGB相機164A可指向表面200且可擷取表面200、設置於表面200與RGB相機164A間(例如，表面200上或上方)之物件、或其組合的影像。
IR相機164B可以是檢測在相機164B的視野中多個點的IR光強度之相機。於此處描述之實施例中，IR相機164B可結合系統100之IR光投射器166(參考圖7)操作用以擷取IR影像。於此等實施例中，各個IR影像可包含多個像素，各自表示在由該像素表示之一點檢測得的IR光強度。於若干實施例中，系統100之頂部160可包括一IR光投射器166(參考圖7)用以投射IR光167朝向表面200，及IR相機164B可指向表面200。於此等實施例中，IR相機164B可檢測由表面200、設置於表面200與IR相機164B間(例如，表面200上或上方)之物件、或其組合所反射的IR光強度。於若干實施例中，IR相機164B可排它地檢測由IR光投射器166所投射的(例如，自表面200、物件等反射的，或直接接收 的)IR光167。
深度相機164C可以是用以檢測於深度相機164C之視野內的物件各部分個別的距離(或深度)之相機(感測器等)。如此處使用，由深度相機檢測得的資料於此處可稱作為「距離」或「深度」資料。於此處描述之實施例中，深度相機164C可擷取多像素深度影像(例如，深度映射圖)，其中各個像素之資料表示在由該像素表示之一點一物件之一部分的距離或深度(自相機164C測量)。深度相機164C可使用任何合宜技術具體實施，諸如立體視覺相機、具有均一IR光流之單IR相機、具有均一IR光流之雙IR相機、結構化光深度感測器技術、飛行時間(TOF)深度感測器技術、或其組合。於若干實施例中，深度感測器164C可指示何時一物件(例如，三維物件)係在表面200上。於若干實施例中，深度感測器164C可檢測位在表面200上的一物件(或其部分)之存在、形狀、輪廓、移動、及個別距離中之至少一者。
周圍光感測器164D可配置用以測量於系統100周圍環境中之光強度。於若干實施例中，系統100可運用感測器164D之測量值以調整系統100之其它組件，諸如系統100之感測器或相機(例如，相機164A-164C)的曝光設定值、自系統100之光源(例如，投影機總成184、顯示器152等)發射之光強度、或其類。
於若干實施例中，感測器束164可刪除感測器164A-164D中之至少一者。於其它實施例中，除了感測器164A-164D之外，或替代感測器164A-164D中之至少一者， 感測器束164可包含其它相機、感測器等。舉例言之，感測器束164可包括一使用者介面感測器，包含用於追蹤一使用者輸入裝置諸如手、觸控筆、指標裝置等的任何合宜裝置(例如，感測器、相機)。於若干實施例中，使用者介面感測器可包括一對相機其係配置用以立體鏡方式追蹤一使用者輸入裝置(例如，觸控筆)由一使用者環繞表面200(例如，環繞表面200之區域202)的移動。於其它實施例中，使用者介面感測器可額外或另外包括IR相機或感測器配置用以檢測由一使用者輸入裝置所發射的或所反射的紅外光。於若干實施例中，感測器束164可包括一手勢相機用以檢測由物件(例如，手等)打出預定手勢。於若干實施例中，手勢相機可包含一深度相機及額外功能用以隨著時間之推移而檢測、追蹤等不同類型的移動。
於此處描述之實施例中，束164的感測器164A-164D中之各者係通訊式連結(例如，耦合)至裝置150使得感測器束164內部產生的資料(例如，由相機擷取的影像)可提供給裝置150，裝置150可提供指令給感測器束164的感測器及相機。束164的感測器164A-164D可透過任何合宜有線或無線通訊技術或機制而通訊式連結至裝置150，其實例描述如前。於圖1-7之實施例中，電氣導體可自束164，經由頂部160、直立構件140、及投影機單元180，通過設置於安裝構件186(如前文描述)內部的引線而路由至裝置150內部。
參考圖5及圖6，於系統100之操作期間，投影機 總成184可投射可見光187用以反射偏離鏡162朝向表面200，藉此顯示可見影像於表面200的一投影機顯示空間188上。於圖5-6之實施例中，顯示空間188可以是實質上矩形，具有長度188L及寬度188W。於若干實施例中，長度188L可約為16吋，而寬度188W可約為12吋。於其它實施例中，長度188L及寬度188W可具有不同值。
於若干實施例中，感測器束164之相機(例如，相機164A-164C)係配置於系統100內部使得各個相機之視野包括表面200之一空間168，該空間可重疊部分或全部顯示空間188，或可與顯示空間188享有共同邊界。於此處描述之實施例中，感測器束164之相機(例如，相機164A-164C)的視野可謂包括空間168，但偶爾表面200可能至少被表面200上或上方的物件部分阻擋。於此等實施例中，表面200上或上方的物件可以在相機164A-164C中之至少一者的視野內。於此等實施例中，感測器束164之感測器可根據感測器束164與表面200之空間168間的一區域的狀態(例如，發生其中的活動，設置其中的物件)而獲得資料。於若干實施例中，空間188與空間168重合或相對應於表面200之區域202，使得觸敏區域202、投影機總成184、及感測器束164的功能全部皆相關於相同界定區執行。感測器束164之相機(例如，相機164A-164C)的一視野165示意例示於圖7。於若干實施例中，感測器束164之相機(例如，相機164A-164C)中之各者可具有略為不同的視野。
現在參考圖5-7，裝置150可導引投影機總成184 投射影像至表面200上(例如，至區域202上)。裝置150也可顯示影像於顯示器152上(該影像可以是與藉投影機總成184投射至區域202上的影像相同或相異)。藉總成184投射的影像可包含由藉裝置150執行的軟體所產生的資訊及/或影像。於若干實施例中，一使用者可以任何合宜方式，諸如使用使用者的手35(例如，透過觸摸、輕敲、手勢、或其它觸控輸入)、使用觸控筆25、或透過任何其它合宜使用者輸入裝置，藉由實體接合觸敏表面200而與投射在表面200上的且顯示在顯示器152上的影像互動。如前文描述，觸敏表面200可透過實體接合表面200而檢測此種互動。又，於若干實施例中，投影機總成184也可投射影像(至少部分)在設置於表面200上的物件上(例如，手35，如圖5顯示)。
舉個實例，當一使用者透過實體接觸而與觸敏表面200互動時，表面200可產生觸控輸入資訊且經由任何合宜連結(其實例係如前文描述)提供給裝置150。於若干實施例中，OS可傳送所接收的觸控輸入給在裝置150上執行的另一個應用程式(例如，程式等)。回應於此，執行OS或應用程式可變更藉投影機總成184投射的影像、顯示在顯示器152上的影像、或其組合。如此處使用，「應用程式」、「電腦應用程式」、或「服務」為藉處理資源可執行的機器可讀取指令之一集合。於若干實施例中，一使用者可與顯示在顯示器152(其可以是觸敏顯示器)上的影像、或裝置150之任何其它輸入裝置(例如，鍵盤、滑鼠等)相似地互動。
於若干實施例中，感測器束164之感測器(例如， 相機)也可產生系統輸入，其可提供給裝置150用於進一步處理。舉例言之，系統100可利用束164的相機以檢測使用者的手35(或觸控筆25，如圖5顯示)的存在及位置中之至少一者，及提供表示檢測資訊的系統輸入資訊給裝置150。如前文有關觸控輸入之描述，提供的系統輸入資訊可傳送給由裝置150執行的OS及應用程式中之至少一者，且可變更由系統100顯示的影像。舉例言之，束164可包括一對相機或感測器配置用以執行立體鏡觸控筆(例如，觸控筆25)追蹤。於其它實施例中，觸控筆25包括經以紅外線逆反射塗覆層(例如，塗料)塗覆的一梢端26，使得梢端26可作為紅外線逆反射鏡。於此等實施例中，束164可包括如前文描述，IR相機(或感測器)，其檢測反射偏離梢端26的IR光，以使得裝置150能追蹤當梢端26橫過區域202移動時追蹤梢端26的所在。於若干實施例中，表面200(具有藉總成184投射於其上的影像)可作為系統100內部的第二或替代觸敏顯示器。此外，如前文描述，與顯示在表面200上的影像之互動的檢測可經由使用感測器束164之感測器而予提升。
於若干實施例中，系統100可擷取一實體物件的二維(2D)影像或產生三維(3D)掃描，使得物件之影像然後可投射在表面200上用於其進一步使用及操控。舉例言之，如圖6顯示，一物件40可置於表面200上，使得束164之感測器(例如，相機164A-164C中之至少一者)可檢測物件40的位置、維度、及顏色中之至少一者，用以提升其2D影像或產生其3D掃描。於此等實施例中，如前文描述，由束164之感 測器收集的資訊可提供給裝置150(例如，裝置150之作業系統(OS)、應用程式、服務等)。於若干實施例中，在接收資訊之後，裝置150(例如，OS、應用程式、服務等)可指示投影機總成184投射物件40之影像至表面200上。物件40例如可以是棋子、骰子、智慧型電話、書本、馬克杯、筆、文件、照片、或任何其它二維或三維實體物件。物件40也可以是例如楔形物件，具有至少一面面對使用者(及遠離顯示器152)且例如可藉投影機總成184投影其上。
於若干實施例中，如前文描述，使用者可使用設置於觸敏表面200上的一或多個物件而與由裝置150執行的軟體應用程式互動。舉例言之，如圖8例示，電腦系統100可投影(例如，使用投影機總成184)表示棋盤的一影像至觸敏表面200之觸敏區域202上，及使用者可使用所投射的影像作為放置物件的可能位置之引導而放置相對應於不同棋子的物件40a、40b、及40c至表面200上。
如前文描述，觸敏表面200可檢測與其接觸的一或多個物件。於若干實施例中，表面200(或裝置150)可產生一電容式映射圖(例如，二維陣列)，其中各值可相對應於在表面200上特定位置(例如，像素)檢測得的電容位準。於若干實施例中，當一物件置於表面200上時，可能造成實質上位在物件下方的表面200之區測量得的電容位準改變。測量得的電容位準可反映物件的形狀及材料，尤其物件的底部表面，例如接觸表面200的該部分或表面。於若干實施例中，高傳導係數材料比起低傳導係數材料可相對應於較高 測量得的電容位準。據此，於若干實施例中，置於表面200上的各個物件可由在電容式映射圖上其本身的電容式簽章表示，於該處該簽章可相對應於物件之底部或表面的形狀及材料。
於若干實施例中，一物件可包括一電容式圖樣，其可以是物件之一部分，或附接至、嵌置於、或以其它方式耦聯至物件(例如，至物件之底部)。於若干實施例中，電容式圖樣可以是施用至物件之底部表面的高傳導性(例如，金屬)塗覆層。於其它實施例中，電容式圖樣可以是持久性或可卸式耦合至物件之底部表面的材料層，諸如黏貼附接至物件之底部表面的薄標籤。該層可包括具有不同導電度的至少兩區。
舉例言之，圖9A例示電容式圖樣401a及401b之兩個實例。於本實施例中，底面為圓形，但須瞭解物件的底面可以是任何形狀。於此一實施例中，表面401a及401b具有第一區403及第二區402，於該處第二區402包括具有比含括於第一區403的材料(例如，紙、木材、塑膠等)更高傳導性的材料(例如，金屬)。於若干實施例中，第一區403可以是物件的底面，第二區402可塗覆至或黏貼耦合至底面。於其它實施例中，第一區403及第二區402可以是同一張標籤的部分，或有不同標籤附接至彼此。於若干實施例中，一物件可有多於一個表面具有電容式簽章，例如若該物件可置於其表面之二或多者上。舉例言之，立方體形狀物件(例如，骰子)可有六個不同面，於該處各面可具有不同電容 式圖樣(例如，各個圖樣可相對應於骰子上的點的圖樣)。
於若干實施例中，多個電容式圖樣可經設計使得各個電容式圖樣係與其它電容式圖樣不同，而與電容式圖樣之旋轉程度或方向性獨立無關。有些圖樣(例如，401b)可具有1階的旋轉對稱性，表示旋轉圖樣達某個程度(非為360度的倍數)將導致不同的圖樣。針對此等圖樣，計算系統100可根據藉表面200測量的電容式簽章而決定相關表面200的圖樣之旋轉程度或方向性。其它圖樣(例如，401a)可具有N>1階的旋轉對稱性，表示環繞其中心旋轉該圖樣達360/N度將導致相同的圖樣。針對此等圖樣，計算系統100可可決定至多某個程度(例如，60度)的旋轉程度。
於若干實施例中，屬於相同類型、類別、或分類的物件可具有相同電容式圖樣，而不同型物件可具有例如，選自於多個電容式圖樣之不同電容式圖樣。舉例言之，如圖8及9B中例示，城堡40a及40b具有電容式圖樣401a，騎士40c具有電容式圖樣401b。如後述，如此允許基於其電容式圖樣，如其藉表面200測得的電容式簽章表示，而在物件的不同類型、類別、或分類作區別。
現在連結圖8及圖9A參考圖9B，圖9B例示如圖8之該實施例中顯示，由於放置物件40a、40b、及40c至表面200上的結果產生的一電容式映射圖415。電容式映射圖415包括一區417相對應於棋盤投影至其上的觸敏區域202。電容式映射圖415可包括相對應於物件40a之電容式圖樣401a的一電容式簽章420a；相對應於物件40b之電容式圖樣401a 的一電容式簽章420b；及相對應於物件40c之電容式圖樣401b的一電容式簽章420c實例。
如圖9B顯示，電容式簽章可包括相對應於對應物件的第一區402的第一部分422，及相對應於對應物件的第二區403的第二部分423。如前文描述，因第一區402可包括具有較高傳導性的材料(例如，金屬)，而第二區403可包括具有較低傳導性的材料(例如，紙、木材、塑膠等)，第一部分422可藉比第二部分423更高測得的電容值加以特徵化。也如圖9B例示，電容式簽章420a、420b、及420c可反映其個別物件40a、40b、及40c的旋轉及方向性。
圖10為圖1之計算系統100包含識別引擎170之一部分之方塊圖。更明確言之，圖10例示計算裝置150之一實例，如前文描述，其包含識別引擎170及記憶體325且係通訊式連結至感測器束164(如前文描述)之至少一個相機(例如，相機164A)及觸敏表面200。雖然未顯示於圖10，但如前文描述，計算裝置150也可通訊式連結至系統100之其它組件。
計算裝置150(或實現識別引擎170的任何其它計算裝置)可包括至少一個處理資源。於此處描述之實施例中，一處理資源可包括例如，一個處理器或多個處理器含括於單一計算裝置內或分散跨多個計算裝置。如此處使用，「處理器」可以是下列中之一或多者：中央處理單元(CPU)、以半導體為基礎之微處理器、圖形處理單元(GPU)、經組配以取回及執行指令的可現場程式規劃閘陣列 (FPGA)、適合用以取回及執行儲存在機器可讀取儲存媒體上的指令的其它電子電路、或其組合。
如前記，於圖10之實施例中，計算裝置150包含識別引擎170。於其它實施例中，識別引擎170可包含額外引擎。於此處描述之實施例中，計算裝置150之任何引擎(例如，引擎170)可以是用以實現個別引擎之功能的硬體與程式設計之任何組合。此等硬體與程式設計之組合可以多種不同方式具體實施。舉例言之，程式設計可以是儲存於非暫態機器可讀取儲存媒體(例如，記憶體325)上的處理器可執行指令，及硬體可包括執行該等指令之一處理資源。於此等實施例中，機器可讀取儲存媒體可儲存指令，其當由處理資源執行時可實現引擎。儲存指令的機器可讀取儲存媒體可整合於用以執行指令的處理資源之相同計算裝置(例如，裝置150)，或機器可讀取儲存媒體可與計算裝置分開但可存取計算裝置及處理資源。處理資源可包含一個處理器或多個處理器含括於單一計算裝置內或分散跨多個計算裝置。
於若干實施例中，指令可以是安裝包之部分，其當安裝時可由處理資源執行而實現系統100之引擎。於此等實施例中，機器可讀取儲存媒體可以是可攜式媒體，諸如光碟、DVD、或快閃驅動裝置、或由一伺服器維持的一記憶體，自其中可下載及安裝安裝包。於其它實施例中，指令可以是已經安裝於包括處理資源的計算裝置(例如，裝置150)上的一應用程式或多應用程式之部分。於此等實施例 中，機器可讀取儲存媒體可包括記憶體，諸如硬碟驅動裝置、固態驅動裝置等。
如此處使用，「機器可讀取儲存媒體」可以是用以含有或儲存資訊諸如可執行指令、資料等的任何電子式、磁學、光學、或其它實體儲存裝置。舉例言之，此處描述之任何機器可讀取儲存媒體可以是儲存裝置驅動裝置(例如，硬碟驅動裝置)、快閃記憶體、隨機存取記憶體(RAM)、任何類型的儲存碟(例如，光碟、DVD等)及其類、或其組合中之任一者。又，此處描述之任何機器可讀取儲存媒體可以是非暫態。
仍然參考圖10，識別引擎170可含有位在表面200上的至少一個物件之電容式簽章。如前文描述，電容式簽章可以是電容式映射圖之部分，其可接收(例如，以有線或無線方式)自表面200，或基於接收自表面200的信號而由識別引擎170產生。也如前文描述，電容式簽章可相對應於或相關聯於含括於或耦合至位在表面200上的該物件之電容式圖樣，於該處電容式圖樣可包括至少第一區及第二區，而各區可藉不同傳導係數加以特徵化。
至少基於該物件所得電容式簽章，識別引擎170可獲得與該物件相關聯的識別資料。該識別資料可包括資訊描述例如，物件的類型、類別、分類、子分類、名稱、序號、型號、製造商名稱、或與該物件相關聯的任何其它資訊。於若干實施例中，引擎170可藉由存取記憶體，諸如記憶體325獲得識別資料。於若干實施例中，記憶體325可 儲存於裝置150上。於其它實施例中，記憶體325可儲存於可由裝置150(例如，透過網路諸如網際網路)存取的另一計算裝置上。
於若干實施例中，記憶體325可包括與多個物件相關聯的識別資訊，該資訊可以任何合宜方式配置。舉例言之，記憶體325可包括多個紀錄，於該處各個紀錄可與一特定物件(例如，白城堡物件40b)或該物件所屬類別或分類(例如，白城堡、城堡、白棋子、特定棋賽的棋子等)相關聯。又復，於實施例其中一物件可具有多於一個有電容式簽章的表面時，各個紀錄可與一物件的一特定表面相關聯，如圖11之該實施例中例示。於若干實施例中，各個紀錄也可與一軟體應用程式相關聯(例如，藉載明一獨一應用程式識別符)。如此許可區別與不同應用程式相關聯的相似棋子。
於若干實施例中，該紀錄可包括與該物件相關聯的一電容式簽章。電容式簽章可由物件製造商或軟體應用程式之開發者產生且公開，或由使用者產生(例如，藉將物件置於表面200上及儲存測得的簽章)。於若干實施例中，為了改良效能及/或節省儲存空間，該紀錄可不儲存整個電容式簽章；取而代之，該紀錄可儲存電容式簽章之一代表性指紋碼，該指紋碼可以是例如，基於電容式簽章產生的一數值、電容式簽章之按比例縮小的影像(例如，縮略圖)等。
於若干實施例中，記憶體325內的各個紀錄可包括一獨一電容式簽章或指紋碼(後文為求簡便，偶爾合稱「電容式簽章」)。於其它實施例中，簽章或指紋碼於整個 記憶體325之脈絡中可以是獨一，但於與特定軟體應用程式相關聯的任何紀錄之脈絡內部也可以是獨一的。
圖11例示具有紀錄(指示為列)的記憶體325之部分實例，於該處各個紀錄係與一物件或物件表面相關聯，及包括識別資料其識別至少軟體應用程式(例如，「ABC西洋棋」及「大富翁」)、物件類型(例如，「城堡」、「騎士」、「王后」、「骰子-第一面」及「骰子-第二面」)、及物件的簽章(指紋碼)。如前文描述，各個簽章或指紋碼於整個記憶體可以是獨一，或如圖11之該實施例中例示，跨與相同軟體應用程式相關聯的全部分錄可以是獨一(例如，指紋碼0x1A88F402係與兩個不同物件相關聯，但該等物件係與不同軟體應用程式相關聯)。
回頭參考圖10，如前文描述，識別引擎170可至少根據得自表面200的物件之電容式簽章(後文稱作「測量簽章」)獲得與該物件相關聯的識別資料。於若干實施例中，引擎170藉由在記憶體325內部找出與測量簽章相同簽章(後文稱作「儲存簽章」)而獲得識別資料。若紀錄儲存簽章的指紋碼(後文稱作「儲存指紋碼」)而非整個簽章，則引擎170可使用與產生儲存指紋碼的相同方法而首先產生測量簽章的指紋碼(後文稱作「測量指紋碼」)，及找出具有與測量指紋碼相同儲存指紋碼的紀錄。
於若干實施例中，指紋碼可使用與簽章之旋轉或方向性獨立無關的一種方法而基於簽章產生。舉例言之，指紋碼可以是基於多個部分422、其形狀、其間之距離、及 與在電容式簽章420內部各部分422之絕對所在位置獨立無關的任何其它參數而求出的一數值。於此等情況下，引擎170可找出匹配測量指紋碼的一儲存指紋碼。
然而，於其它實施例中，產生的指紋碼可取決於簽章之方向性。於此等實施例中，引擎170可產生數個測量指紋碼，各自相對應於不同的簽章之方向性，且試圖找出匹配所產生的測量指紋碼中之至少一者的一儲存指紋碼。同理，若記憶體325儲存整個而非其簽章，則引擎170可產生測量簽章的數個版本，各個版本係相對應於該簽章之一不同方向性。然後，引擎170可找出匹配該等簽章中之至少一者的一儲存簽章。此點也可允許引擎170決定，相對於儲存簽章的內設旋轉，該物件之旋轉程度。為了決定一儲存簽章是否匹配一測量簽章(或其任一種旋轉版本)，引擎170可使用整個簽章或其部分之逐一像素影像比較法，或使用任何其它合宜方法而比較簽章。
如前文描述，於若干實施例中，在記憶體325內部可有匹配一給定測量簽章的二或多個儲存簽章或指紋碼。於此等實施例中，引擎170可找到一儲存簽章匹配測量簽章的紀錄，及也與一特定軟體應用程式，例如，與目前正在計算裝置150上跑的該軟體應用程式相關聯(例如，透過一軟體應用程式識別符)的紀錄。當計算裝置150正在執行識別為「ABC西洋棋」的一軟體應用程式時，若測量指紋碼為0x1A88F402，則引擎170可找到與物件「城堡」相關聯的紀錄。但若計算裝置150正在執行識別為「大富翁」的一軟體 應用程式時，則引擎170可找到與物件「骰子-第一面」相關聯的紀錄。於若干實施例中，並非基於正在計算裝置150上執行的應用程式找到紀錄，引擎170係基於被執行的且目前為作用態(例如，其視窗目前被聚焦，或使用者與該應用程式有最近互動)的應用程式而找到紀錄。找到紀錄之後，引擎170可自該紀錄獲得與該物件相關聯的識別資料。
如前文描述，基於所得的識別資料，引擎170可識別(例如，獨一地)該物件、物件類型、物件所屬一或多個分類或子分類、或任何其它識別資訊。雖然前述實施例描述識別單一物件，但須瞭解可以類似方式識別同時位在表面200上的任何數目之物件。如前述，電容式簽章(例如，結合電容式映射圖)可由引擎170用以不僅識別物件，同時也例如用於決定物件的特性，諸如物件的表面200上之位置、物件的方向性等。
於若干實施例中，引擎170可自感測器束164的一或多個相機獲得補充資料。補充資料可包括例如，表示物件的影像資料，其中該影像資料可得自RGB相機164A，得自相機154，或得自適用以擷取表示物件的影像資料之任何其它相機。補充資料也可包括表示物件的紅外線資料，其中該紅外線資料可得自IR相機164B，或得自適用以擷取表示物件的紅外線資料之任何其它相機。補充資料也可包括表示物件的深度資料，其中該深度資料可得自深度相機164c，或得自適用以擷取表示物件的深度資料之任何其它相機。補充資料可包括表示物件的影像資料、紅外線資料、 深度資料、或任何其它資料類型中之一或多者的任何組合。
基於補充資料，引擎170可以較高準確度決定有些物件特性，其可僅只基於電容式簽章及電容式映射圖決定。舉例言之，若尚未經校準，則引擎170可校準電容式映射圖以便與影像資料、紅外線資料、或深度資料交互關聯。然後，引擎170可組合得自電容式映射圖之資訊與影像資料、紅外線資料、及深度資料中之一或多者，藉由運用各類型資料的優勢而產生一組合資料。
舉例言之，深度資料可提供一物件的輪廓之一正確表示型態，原因在於深度資料可不受入射在或投射在物件上的任何光(例如，可見光或紅外光)的影像。但深度資料可能無法準確表示具有高出表面200極小的(例如，無法量測的)高度之物件或其部件。
另一方面，紅外線資料可準確地表示物件(例如，其形狀、溫度等)而與其高度無關，且與入射在物件上的任何可見光無關。於若干實施例中，為了提高如由紅外線資料表示之物件與表面200間之反差，表面200可被覆蓋以或塗覆以材料、塗覆層、或塗料，其增加表面的吸收而減少反射紅外光，至少在由紅外線相機(例如，IR相機164B)擷取的紅外光之頻譜為如此。如此，表面200可經設計而平均比設置於表面200上的一物件反射更少紅外光。
影像資料可受入射在物件上的可見光(例如，由投影機束184投射)影響，但不似紅外線資料及深度資料，其可表示物件的顏色，也可具有比任何其它類型的資料更 高的解析度。及如前文討論，電容式映射圖及電容式簽章可提供物件在表面200上的位置、其環繞其中軸之旋轉、其底面形狀等之準確表示型態。
據此，於若干實施例中，引擎170可組合各種類型之補充資料(例如，影像資料、紅外線資料、及深度資料)彼此及/或與電容式映射圖用以產生一組合資料，藉此利用該等優點及補償各類型資料之缺點。於此等實施例中，引擎170可基於組合資料而決定物件特性，其中該等特性可包括例如，該物件的顏色、形狀、維度(例如，高度)、輪廓外形、在表面200上位置、方向性、旋轉、溫度、材料組成等。
於若干實施例中，引擎170可運用根據補充資料所推衍的特性而補充識別資料，及更準確的識別物件。舉例言之，識別資料可只識別該物件為一城堡，而未載明城堡的顏色。於此種情況下，顏色可決定為基於組合資料獲得的物件特性之部分。於若干實施例中，識別資料及/或物件特性可提供給且由軟體應用程式(例如，正在由計算裝置150執行的作用態應用程式)使用。該應用程式可運用識別資料及/或物件特性以提升使用者的經驗，例如，藉由允許使用者使用實體物件用於遊戲、展示、模型化、互動、及任何其它合宜目的。
圖12為計算裝置150之另一個實施例之方塊圖。於圖12之實施例中，如前文描述，計算裝置150通訊式連結至觸敏表面200及相機164A-164C。相機164A-164C中之各者可設置於表面200上方且指向表面200。計算裝置150可進 一步包括一處理資源310及包含(例如，編碼)指令322-324的機器可讀取儲存媒體320。
於若干實施例中，儲存媒體320可包括額外指令。於其它實施例中，指令322-324及此處相關儲存媒體320描述的任何其它指令可儲存於遠離但可存取計算裝置150及處理資源310的一機器可讀取儲存媒體上。處理資源310可提取、解碼、及執行儲存於儲存媒體320上的指令用以實現此處描述之功能。於其它實施例中，儲存媒體320的指令中之任一者的功能可以電子電路形式、以編碼在機器可讀取儲存媒體上之可執行指令形式、或其組合實現。機器可讀取儲存媒體320可以是非暫態機器可讀取儲存媒體。
於若干實施例中，指令322可獲得一電容式映射圖，其可包括相對應於位在表面200上的一或多個物件之一或多個電容式簽章，如前文描述。指令322可自表面200獲得電容式映射圖，或根據接收自表面200的信號產生電容式映射圖。
於若干實施例中，指令323可得自感測器束164之一或多個相機、表示物件的補充資料，如前文描述。指令324然後可至少基於所獲得的電容式簽章及補充資料而獲得物件的一或多個特性。換言之，如前文描述，雖然於若干實施例中，物件特性可根據補充資料不使用電容式簽章獲得，但於其它實施例中，電容式簽章及補充資料的組合可用以獲得物件的一或多個特性，諸如物件的方向性、旋轉、所在位置、維度、及其它物性，如前文描述。
如前述，儲存媒體320也可包括額外指令，諸如獲得識別資料之指令(例如，得自可以是或不是儲存媒體320之一部件的記憶體325)，其中該識別資料可包括物件所屬的分類之名稱或ID，如前文描述。於若干實施例中，此處相關圖12描述的特徵及功能可組合相關圖1-11及13中之任一者描述的特徵及功能提供。
圖13為獲得與物件相關聯的識別資料之方法1300實例之流程圖。方法1300例如可藉具有至少一個計算裝置(例如，計算裝置150)具有至少一個處理資源(例如，處理資源310)的至少一個計算系統(例如，計算系統100)，或藉硬體及/或軟體處理器、計算裝置及/或計算系統之任何其它組合執行。
於方塊1305，方法1300可獲得表示設置於觸敏表面(例如，表面200)上的一物件之電容式簽章，如前文詳細描述。於方塊1310，該方法可決定所得電容式簽章之指紋碼，也如前文詳細描述。於方塊1315，該方法至少基於指紋碼，可獲得與該物件相關聯的識別資料。如前文描述，識別資料可得自例如記憶體諸如記憶體325。於若干實施例中，該方法可包括額外功能(圖13中未顯示)。舉例言之，該方法也可獲得補充資料及基於補充資料獲得物件的特性，如前文描述。
雖然圖13之流程圖顯示執行某些功能的特定順序，但方法1300並不限於該項順序。舉例言之，於該流程圖中循序顯示的功能可以不同順序從事，可同時或部分同 時執行，或其組合。於若干實施例中，此處相關圖13描述的特徵及功能可組合相關圖1-12中之任一者描述的特徵及功能提供。
40a、40b‧‧‧城堡
40c‧‧‧騎士
100‧‧‧計算系統
150‧‧‧計算裝置
160‧‧‧頂部
164‧‧‧感測器束
184‧‧‧投影機總成
200‧‧‧觸敏表面
202‧‧‧區域

Claims (15)

  1. 一種計算系統，其包含：一觸敏表面用以獲得表示位在該觸敏表面上的一物件之一電容式簽章；一相機用以獲得表示該物件之補充資料；及一識別引擎用以：至少基於該電容式簽章，獲得該物件相關聯的識別資料，及至少基於該補充資料，獲得該物件的至少一個特性。
  2. 如請求項1之計算系統，其中該識別引擎係用以藉由在多個經預先界定的電容式簽章中找出匹配該電容式簽章之一經預先界定的電容式簽章而獲得該識別資料。
  3. 如請求項1之計算系統，其中該識別引擎係用以藉由在多個經預先界定之指紋碼中找出匹配該電容式簽章的且係與正在由該計算系統執行的一軟體應用程式相關聯的一經預先界定之指紋碼而獲得該識別資料。
  4. 如請求項1之計算系統，其中：該相機包含下列中之至少一者：i)一RGB相機，ii)一紅外線相機，及iii)一深度相機；及該補充資料包含下列中之至少一者：i)表示該物件的影像資料，ii)表示該物件的紅外線資料，及iii)表示該物件的深度資料。
  5. 如請求項1之計算系統，其中該物件之該特性包含該物件的顏色、形狀、維度、所在位置、方向性、及材料組成中之至少一者。
  6. 如請求項5之計算系統，其中該特性係至少基於該補充資料及該電容式簽章獲得。
  7. 如請求項1之計算系統，其中該識別資料包含該物件的類型、分類、及序號中之至少一者。
  8. 如請求項1之計算系統，其中該電容式簽章表示耦合至該物件的一電容式圖樣。
  9. 一種方法，其包含：獲得表示位在該觸敏表面上之一物件的一電容式簽章；決定該電容式簽章之一指紋碼；及基於該指紋碼，自一記憶體，獲得與該物件相關聯的識別資料。
  10. 如請求項9之方法，其進一步包含：獲得表示該物件之補充資料；及至少基於該補充資料獲得該物件之至少一個特性。
  11. 如請求項10之方法，其中該補充資料包含下列中之至少一者：i)表示該物件的影像資料，ii)表示該物件的紅外線資料，及iii)表示該物件的深度資料。
  12. 如請求項10之方法，其中該物件的該特性包含該物件的顏色、形狀、維度、所在位置、方向性、及材料組成中之至少一者。
  13. 一種非暫態機器可讀取儲存媒體包含可由包含一觸敏表面及一相機的一計算系統之一處理資源執行的指令，該等指令可執行用以：自該相機，獲得表示位在該觸敏表面上之一物件的補充資料；自該觸敏表面，獲得包含表示該物件的一電容式簽章之一電容式映射圖；至少基於該電容式簽章及該補充資料，獲得該物件之至少一個特性。
  14. 如請求項13之非暫態機器可讀取儲存媒體，其中：該相機包含下列中之至少一者：i)一RGB相機，ii)一紅外線相機，及iii)一深度相機；及該補充資料包含下列中之至少一者：i)表示該物件的影像資料，ii)表示該物件的紅外線資料，及iii)表示該物件的深度資料。
  15. 如請求項14之非暫態機器可讀取儲存媒體，其中該等指令係進一步可執行用以：至少基於該電容式簽章，獲得包含該物件的類型、分類、及序號中之至少一者的識別資料。
TW104130453A 2014-09-30 2015-09-15 觸敏表面上物件識別技術 TWI543023B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/058194 WO2016053271A1 (en) 2014-09-30 2014-09-30 Identification of an object on a touch-sensitive surface

Publications (2)

Publication Number Publication Date
TW201626165A true TW201626165A (zh) 2016-07-16
TWI543023B TWI543023B (zh) 2016-07-21

Family

ID=55631127

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104130453A TWI543023B (zh) 2014-09-30 2015-09-15 觸敏表面上物件識別技術

Country Status (5)

Country Link
US (1) US10281997B2 (zh)
EP (1) EP3201723A4 (zh)
CN (1) CN107077196B (zh)
TW (1) TWI543023B (zh)
WO (1) WO2016053271A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109358767A (zh) * 2018-09-26 2019-02-19 青岛海信电器股份有限公司 基于投影屏幕的触摸控制方法、装置及投影设备
US11106315B2 (en) * 2018-11-29 2021-08-31 International Business Machines Corporation Touch screen device facilitating estimation of entity orientation and identity
US11039118B2 (en) * 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
CN115793892B (zh) * 2023-02-07 2023-05-16 广州众远智慧科技有限公司 触摸数据处理方法、装置、电子设备及存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8063888B2 (en) 2007-02-20 2011-11-22 Microsoft Corporation Identification of devices on touch-sensitive surface
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US7874681B2 (en) 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US20090174675A1 (en) * 2008-01-09 2009-07-09 Dave Gillespie Locating multiple objects on a capacitive touch pad
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
TW201133309A (en) * 2010-03-24 2011-10-01 Zhi-Xuan Liao Apparatus and method of combining optical image and touch panel to uni-axially interpreting position of object to be measured
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US20110285666A1 (en) 2010-05-21 2011-11-24 Ivan Poupyrev Electrovibration for touch surfaces
EP2595033B1 (en) * 2010-07-13 2015-03-04 Shoei Co., Ltd. Input device using touch panel and input method thereof
US9244545B2 (en) * 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8866798B2 (en) * 2011-06-21 2014-10-21 Adonit Co. Ltd. Capacitive stylus with disc tip
US20140139429A1 (en) 2011-07-11 2014-05-22 Ovadya Menadeva System and method for computer vision based hand gesture identification
BR112014002186B1 (pt) * 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
US9117274B2 (en) 2011-08-01 2015-08-25 Fuji Xerox Co., Ltd. System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
US20130076654A1 (en) 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
US9338409B2 (en) 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
GB2513498A (en) 2012-01-20 2014-10-29 Light Blue Optics Ltd Touch sensitive image display devices
US9563295B2 (en) * 2012-03-06 2017-02-07 Lenovo (Beijing) Co., Ltd. Method of identifying a to-be-identified object and an electronic device of the same
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
KR101913321B1 (ko) 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
US20130335405A1 (en) 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
CN103970472A (zh) 2013-01-25 2014-08-06 宏达国际电子股份有限公司 电子装置及其照相机切换方法
TW201543361A (zh) * 2014-05-07 2015-11-16 Giga Byte Tech Co Ltd 觸發開啟巨集的輸入系統

Also Published As

Publication number Publication date
US20170220142A1 (en) 2017-08-03
CN107077196A (zh) 2017-08-18
EP3201723A4 (en) 2018-05-23
WO2016053271A1 (en) 2016-04-07
EP3201723A1 (en) 2017-08-09
CN107077196B (zh) 2020-01-21
TWI543023B (zh) 2016-07-21
US10281997B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
TWI531929B (zh) 基於影像來識別觸控表面的目標接觸區域之技術
TWI547828B (zh) 感測器與投射器之校準技術
TWI608426B (zh) 基於表示標的之影像判定區隔邊界之技術
EP3072032B1 (en) Projection screen for specularly reflecting infrared light
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
TWI545463B (zh) 投影系統及管理投影系統之方法
TWI582676B (zh) 物件指示符顯示技術
TWI543023B (zh) 觸敏表面上物件識別技術
US10664090B2 (en) Touch region projection onto touch-sensitive surface
TWI575406B (zh) 用以產生顯示區之角落的方法、相關電腦系統及機器可讀儲存媒體
US20150253932A1 (en) Information processing apparatus, information processing system and information processing method
TWI566169B (zh) 管理顯示單元之方法、電腦可讀媒體及相關系統
TWI569173B (zh) 物件數位影像呈現技術
US10877597B2 (en) Unintended touch rejection
TWI566126B (zh) 從影像發展出脈絡資訊之技術

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees