TW201101140A - Active display feedback in interactive input systems - Google Patents

Active display feedback in interactive input systems Download PDF

Info

Publication number
TW201101140A
TW201101140A TW099104492A TW99104492A TW201101140A TW 201101140 A TW201101140 A TW 201101140A TW 099104492 A TW099104492 A TW 099104492A TW 99104492 A TW99104492 A TW 99104492A TW 201101140 A TW201101140 A TW 201101140A
Authority
TW
Taiwan
Prior art keywords
image
indicator
input surface
input
pattern
Prior art date
Application number
TW099104492A
Other languages
English (en)
Inventor
Grant Mcgibney
Daniel Mcreynolds
Patrick Gurtler
Qizhi Joanna Xu
Original Assignee
Smart Technologies Ulc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Technologies Ulc filed Critical Smart Technologies Ulc
Publication of TW201101140A publication Critical patent/TW201101140A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

201101140 六、發明說明: 【發明所屬之技術領域】 * 本發明係相關於互動輸入系統,尤其是,用以辨別互 動輸入系統中的複數個指標之方法和利用此方法之互動輸 入系統。 【先前技術】 Q 讓使用者能夠使用主動指標(如、發出光線、聲音、 或其他信號之指標)、被動指標(如、手指、圓柱、或其 他物體)、或諸如滑鼠或軌跡球等其他適當輸入裝置將輸 入注入到應用程式之互動輸入系統已眾所皆知。這些互動 ' 輸入系統包括但不侷限於:觸碰系統,其包含利用類比電 ' 阻或機器視覺技術以記錄指標輸入的觸碰面板,諸如U.S. 專利號碼 5,448,263 ; 6,141,000; 6,337,681 ; 6,747,636 ; 6,803,906 ; 7,232,986 ; 7,236,162 ;及 7,274,356 ,與主題
G 申請案的讓渡人讓渡給加拿大亞伯特省卡加利的SMART
Technologies ULC且倂入其內容做爲參考之U.S.專利申請 案公開號碼 2004/01 79001所揭示者等;觸碰系統,其包 含利用電磁、電容、聲覺或其他技術以記錄指標輸入之觸 碰面板;數位板個人電腦(PC ):觸碰賦能膝上型PC ; 個人數位助理(PDA):及其他類似裝置。 • 爲了幫助與互動表面相關的指標之偵測,可利用各種 技術。例如,Toh的U.S.專利號碼6,3 46,966說明影像取 得系統,其應用不同的照明技術到包含同時並存的相關物 -5- 201101140 體之場景。在單一位置內’可藉由選擇用以取得影像的每 一個之特定波長帶’而取得由不同照明技術照射的多個影 像。在典型應用中,可同時使用後照光和前照光二者照射 物體,及可將不同的影像分析法應用到影像。
Guskin的U.S.專利號碼4,787,012說明藉由使用紅外 線光源來照射由相機拍攝的對象之方法和設備。紅外線光 源安裝在相機中或相機上較佳’以在拍攝之對象的面上發 光。
Nakamura 等人的 U. S.專利申請案公開號碼 2006/0 1 706 5 8說明一設備,用以提高決定物體是否已接觸 螢幕的準確性和計算物體的座標位置之準確性二者。設備 包含邊緣偵測電路以偵測影像的邊緣。使用邊緣’接觸決 定電路決定物體是否已接觸螢幕。校準電路控制光學感測 器回應外來光線的靈敏度,藉以依據光學感測器的輸出値 來改變光學感測器的驅動條件。
Newton的U.S.專利申請案公開號碼2005/0248540說 明一觸碰面板,其具有前表面、後表面、複數個邊緣、和 內部體積。能源被定位在觸碰面板的第一邊緣附近,且被 組配成發出在觸碰面板的內部體積內傳播之能量。擴散反 射器被定位在觸碰面板的正表面附近,用以擴散式反射從 內部體積逸出之能量的至少一部分。至少一偵測器被定位 在觸碰面板的第一邊緣附近,且被組配成偵測擴散式反射 在觸碰面板的正表面各處之能量的強度位準。較佳的是, 兩偵測器在觸碰面板的第一邊緣附近彼此隔開,以能夠使 -6 - 201101140 用簡易三角測量技術來計算觸碰位置。
King的U.S.專利申請案公開號碼2003/0161524說明 • 一方法及系統,用以藉由使用相機在不同的一或多個照明 條件下拍攝目標的影像,以及利用影像分析來析取有關目 標的相關資訊’來辨別目標的想要特徵,藉以改良機器視 覺系統的能力。單獨使用紫外線或連同直接同軸及/或低 角度照明’以將目標的不同特徵照亮。配置在目標和相機 〇 之間的—或多個過濾器幫助從相機所拍攝之一或多個影像 濾除不想要的光。可藉由習知影像分析技術以及記錄或顯 示於電腦顯示裝置上的結果來分析影像。 在利用後投影裝置到互動輸入系統的輸入表面上之呈 現影像之互動輸入系統(諸如後投影顯示器、液晶顯示( ' LCD )裝置、電漿電視等)中,與輸入表面接觸之多個指 標難以定位和追蹤,尤其是在只利用兩成像裝置之互動輸 入系統。使用諸如指標尺寸或指標所反射的光之強度等方 〇 法以使每一成像裝置所擷取之影像中的指標有所區別。雖 然這些指標區別技術在受控的環境中運作良好,但是當用 於未受控環境時,這些指標區別技術係由於例如諸如反射 光等周遭照明作用而遭遇障礙。就成像裝置而言,此種照 明作用使背景中的指標能夠看起來比前景中的指標更亮, ' 導致不正確的指標被識別成較接近成像裝置。再者,在利 • 用兩成像裝置的互動輸入系統中,當多個指標與輸入表面 接觸時,有一些一指標將使來自成像裝置的其中之一的另 一指標模糊不清的位置,導致模糊的指標之準確位置含糊 201101140 。隨著更多指標進入成像裝置的視野’此含糊的可能性增 加。 因此,本發明的目標係至少提供用以辨別互動輸入系 統中之複數個指標的新方法’及利用此方法的互動輸入系 統。 【發明內容】 因此,在一觀點中,提供有用以辨別互動輸入系統中 0 的複數個指標之方法,包含:爲互動輸入系統的輸入表面 附近之複數個指標計算複數個可能座標;將與每一個可能 座標相關聯的視覺指示器顯示在輸入表面上;及從視覺指 示器決定與每一個可能座標相關聯之實指標位置和虛指標 位置。 -
根據另一觀點,提供有用以辨別互動輸入系統中的至 少兩個指標之方法,包含以下步驟:計算與互動輸入系統 的輸入表面接觸之至少兩個指標的每一個相關聯之觸碰點 Q 座標;將第一視覺指示器顯示在與第一對觸碰點座標相關 聯的區域上之輸入表面上,和將第二視覺指示器顯示在與 第二對觸碰點座標相關聯的區域上之輸入表面上;在顯示 第一視覺指示器和第二視覺指示器於與該第一和第二對觸 碰點座標相關聯的區域上之輸入表面上期間,利用成像系 - 統擷取輸入表面的第一影像;將第二視覺指示器顯示在與 - 第一對觸碰點座標相關聯的區域上之輸入表面上,和將第 一視覺指示器顯示在與第二對觸碰點座標相關聯的區域上 -8- 201101140 之輸入表面上;在顯示與第一對觸 上之輸入表面上的第二視覺指示器 ^ 相關聯的區域上之輸入表面上的第 用成像裝置系統擷取輸入表面的第 像與第二影像,以從第一對和第二 碰點座標。 根據另一觀點,設置有互動輸 Q 板,其具有輸入表面;成像裝置系 一指標與輸入表面接觸時,擷取輸 :及視頻控制裝置,其可操作式耦 制裝置能夠將影像圖案顯示在與至 上的輸入表面上,其中影像圖案有 位置。 根據另一觀點,提供有用以決 少一指標的位置之方法,包含:計 Q 指標的至少一觸碰點座標;將第一 少一觸碰點座標相關聯之區域上的 一視覺指示器的同時,使用互動輸 取輸入表面的第一影像;將第二視 一觸碰點座標相關聯之區域上的輸 ' 視覺指示器的同時,使用成像系統 - 影像;及比較第一影像與第二影像 輸入表面上之位置。 根據另一觀點,提供有用以決 碰點座標相關聯的區域 和與第二對觸碰點座標 一視覺指示器期間,利 二影像;及比較第一影 對觸碰點座標驗證實觸 入系統,包含:觸碰面 統,其可操作成當至少 入表面的輸入區之影像 合到觸碰面板,視頻控 少一指標相關聯之區域 助於驗證至少一指標的 定互動輸入系統中之至 算輸入表面上之至少一 視覺指示器顯示在與至 輸入表面上;在顯示第 入系統的成像系統來擷 覺指不器顯不在與至少 入表面上;在顯示第二 來擷取輸入表面的第二 ,以驗證至少一指標的 定互動輸入系統中的至 -9 - 201101140 少一指標位置之方法’包含:將第一圖案顯示在與至少一 指標相關聯之區域上的互動輸入系統之輸入表面上;在顯 示第一圖案期間’利用成像裝置系統來擷取輸入表面的第 一影像;將第二圖案顯示在與至少一指標相關聯之區域上 的輸入表面上;在顯示第二圖案期間,利用成像裝置系統 來擷取輸入表面的第二影像;及從第二影像處理第一影像 ’以計算差分影像來隔離周遭光的變化。 根據另一觀點’設置有互動輸入系統,包含:觸碰面 板’其具有輸入表面:成像裝置系統,其可操作成擷取輸 入表面的影像;至少一主動指標,其接觸輸入表面,至少 一主動指標具有一感測器,用以感測來自輸入表面之光的 變化;及視頻控制裝置,其可操作式耦合到觸碰面板且與 至少一主動指標通訊,視頻控制裝置能夠將影像圖案顯示 在與至少一指標相關聯之區域上的輸入表面上,影像圖案 有助於驗證至少一指標的位置。 根據另一觀點,設置有電腦可讀取媒體,其包含電腦 程式’電腦程式包含:程式碼,用以爲互動輸入系統的輸 入表面附近中之複數個指標計算複數個可能座標;程式碼 ,用以使與每一個可能座標相關聯的視覺指示器能夠顯示 在輸入表面上;及程式碼,用以從視覺指示器決定與每一 個可能座標相關聯之實指標位置和虛指標位置。 根據另一觀點,設置有電腦可讀取媒體,包含電腦程 式,電腦程式包含:程式碼,用以計算與互動輸入系統的 輸入表面接觸之至少兩個指標的每一個相關聯之一對觸碰 -10- 201101140 點座標;程式碼,用以使第一視覺指示器能夠顯示在與第 一對觸碰點座標相關聯的區域上之輸入表面上,和用以使 , 第二視覺指示器能夠顯示在與第二對觸碰點座標相關聯的 區域上之輸入表面上;程式碼,用以在顯示第一圖案和第 二圖案於與第一和第二對觸碰點座標相關聯的區域上之輸 入表面上期間,使成像系統能夠擷取輸入表面的第一影像 ;程式碼,用以使第二圖案能夠顯示在與第一對觸碰點座 Q 標相關聯的區域之輸入表面上,和用以使第一圖案能夠顯 示在與第二對觸碰點座標相關聯的區域上之輸入表面上; 程式碼,用以在顯示與第一對觸碰座標相關聯的區域上之 輸入表面上的第二圖案以及與第二對觸碰點座標相關聯的 區域上之輸入表面上的第一圖案期間,使成像裝置系統能 * 夠擷取輸入表面的一第二影像;及程式碼,用以比較該第 一影像與該第二影像,以從第一對和第二對觸碰點座標驗 證實觸碰點座標。 〇 根據另一觀點,設置有電腦可讀取媒體,包含電腦程 式,電腦程式包含:程式碼,用以計算輸入表面上之至少 一指標的至少一觸碰點座標;程式碼,用以使第一視覺指 示器能夠顯示在與至少一觸碰點座標相關聯的區域上之輸 入表面上;程式碼,用以在顯示第一視覺指示器的同時, " 能夠使用成像系統來擷取輸入表面的第一影像;程式碼, • 用以使第二視覺指示器能夠顯示在與至少一觸碰點座標相 關聯的區域上之輸入表面上;程式碼,用以在顯示第二視 覺指示器的同時,能夠使用成像系統來擷取輸入表面的第 -11 - 201101140 二影像;及程式碼,用以比較第一影像與第二影像, 證至少一指標的輸入表面上之位置。 根據另一觀點,設置有電腦可讀取媒體,包含電 式,電腦程式包含··程式碼,用以使第一圖案能夠顯 與至少一指標相關聯的區域上之互動輸入系統的輸入 上;程式碼,用以在顯示第一圖案期間,能夠利用成 置來擷取輸入表面的第一影像;程式碼,用以使第二 能夠顯示在與至少一指標相關聯的區域上之輸入表面 程式碼,用以在顯示第二圖案期間,能夠利用成像裝 統來擷取輸入表面的第二影像;以及程式碼,用以從 影像來處理第一影像,以計算差分影像來隔離周遭光 化。 【實施方式】 現在回到圖1,圖示讓使用者能夠注入諸如數位 、滑鼠事件等輸入到應用程式之互動輸入系統,且通 由參考號碼2〇來辨識。在此實施例中,互動輸入系g 包含組裝22,其嚙合諸如例如電漿電視、液晶顯示( )裝置、平板顯示裝置、陰極射線管(CRT )監視器 示單元(未圖示),且圍繞顯示單元的顯示表面24。 聚光圈26圍繞顯示表面24。聚光圈26可以是2005 月 6日核准且讓渡給SMART Technologies ULC之 等人的U.S.專利號碼6,972,4〇1所揭示之類型,其內 倂入做爲參考。在此例中,聚光圈26提供紅外線( 以驗 腦程 示在 表面 像裝 圖案 上; 置系 第二 的變 墨水 常係 流20 LCD 等顯 框或 年12 Akitt 容係 IR ) -12- 201101140 背光在顯示表面24上面。組裝22利用機器視覺來偵測進 ' 入顯示表面附近的相關區域上之指標。另一選擇是,組裝 • 22可利用電磁、電容、聲音、或其他技術來偵測進入顯示 表面24附近的相關區域上之指標。 組裝22耦合至主控制器3 0。主控制器3 0耦合至通用 計算裝置3 2和視頻控制器3 4。通用計算裝置3 2執行一或 多個應用程式,以及使用從主控制器30所通訊之指標位 0 置資訊,以產生和更新影像資料,此影像資料提供給視頻 控制器34用以輸出到顯示單元,使得呈現在顯示表面24 上之影像反映指標活動。以此方式,顯示表面24附近的 指標活動係可被記錄成書寫或繪圖或用於控制通用計算裝 置32上執行之一或多個應用程式的執行。視頻控制器34 ' 修改提供給顯示單元之顯示輸出,以提高指標驗證、定位 、和追蹤。 成像裝置40、42被定位鄰接顯示表面24的兩角,且 ❹ 通常從不同的瞭望看著顯示表面各處。參考圖2,更適當 地圖解成像裝置40及42的其中之一。如所見一般,各成 像裝置包含影像感測器80,諸如安裝有型號BW25B之 Boowon Optical Co. Ltd所製造的類型之8 8 0 nm透鏡82 的型號 MT9V022 之 Micron Technology, Inc. of Boise, ’ Idaho所製造者等。透鏡8 2提供至少足夠寬到包含顯示表 - 面24之視野給影像感測器8 0。影像感測器8 0與先進先出 (FIFO)緩衝器84通訊,且透過資料匯流排86輸出影像 框資料給先進先出(FIFO )緩衝器84。數位信號處理器 -13- 201101140 (DSP ) 90透過第二資料匯流排92從FIFO緩衝器84接 收影像框資料,及當一或多個指標存在於影像感測器8 0 所擷取的影像框中時,透過串聯輸入/輸出埠94提供指標 資料給主控制器3 0。影像感測器8 0及D S P 9 0亦透過雙 向控制匯流排96通訊。儲存影像感測器校準參數之電子 式可程式化唯讀記憶體(EPROM ) 98連接到DSP 90。成 像裝置組件從電力供應1 00接收電力。 圖3更適當地圖解主控制器30。主控制器30包含 DSP 152’其具有第一串聯輸入/輸出埠154和第二串聯輸 入/輸出埠1 5 6。主控制器3 0經由通訊線1 5 8透過第一串 聯輸入/輸出埠154與成像裝置40及42通訊。DSP 152從 成像裝置4 0及4 2所接收的指標資料係由d S P 1 5 2處理, 以產生指標位置資料。DSP 1 52經由通訊線1 64透過第二 串聯輸入/輸出埠1 56和串聯線驅動器1 62與通用計算裝 置32通訊。主控制器30另包含EPr〇m 166,其儲存DSP 1 5 2所存取之互動輸入系統參數。主控制器組件從電力供 應168接收電力。 此實施例中的通用計算裝置3 2是電腦,其包含例如 處理單元、系統記憶體(揮發性及/或非揮發性記憶體) 、其他非可移除式或可移除式記憶體(如、硬碟驅動器、 RAM、ROM、EEPROM、CD-ROM、DVD、快閃記憶體等 )、及稱合各種計算裝置組件到處理單元之系統匯流排。 計算裝置32亦可包含存取共享或遠端驅動器之網路連接 、一或多個網路型電腦、或其他網路型裝置。處理單元執 -14- 201101140 行主機軟體應用程式/作業系統,在執行期間,它們提供 • 呈現在顯示表面24上之圖形使用者介面,使得能夠透過 • 與顯示表面24的指標互動來輸入和操縱自由形態或手寫 墨水物體及其他物體。
現在參考圖4A,更適當地圖解視頻控制器34。在此 實施例中,通用計算裝置32的顯示輸出是類比的,且係 根據VGA (視頻圖形配接器)類比電腦顯示標準。結果, 0 視頻控制器34包含VGA輸入埠200,其從通用計算裝置 32接收顯示輸出,且提供顯示輸出到紅(R)、綠(G) 、藍(B)、水平(H)、及垂直(V)信號線。R、G、及 B信號線透過轉換單元204連接到VGA輸出埠202。Η及 ' V信號線直接連接到VGA輸出埠2〇2。VGA輸出埠202 ' 提供顯示輸出到顯示單元。同步化單元206與Η及V信 號線以及影像選擇器208通訊。影像選擇器208與主控制 器30通訊,且包含連接到轉換單元2 〇4之回授假影輸出 〇 210和Α/Β位置輸出212。回應於主控制器30,影像選擇 器208透過Α/Β位置輸出212決定轉換單元2 04到位置A ,其結果是回授假影輸出210連接到通到VGA輸出埠202 之R、G、及B信號線;或者到位置B,其結果是來自 VGA輸入埠200的R、G、及B信號線直接連接到VGA • 輸出埠202。如此,視頻控制器34回應於主控制器30, - 動態操縱運送到顯示單元之顯示資料,其結果改良指標驗 證、定位、及追蹤,如將進一步說明一般。 尤其是,當欲由顯示單元顯示之視頻框不需要修改時 -15- 201101140 ,轉換單元2 0 4被決定到位置B,以將來自通用計 32的顯示輸出從VGA輸入埠200傳遞到VGA輸出 。當來自通用計算裝置32之顯示輸出的視頻框需 時,主控制器3 0發送信號到影像選擇器208,影像 208包含假影資料和表示應顯示對應於假影資料的 影之顯示表面24上之位置的位置資料。藉由透過 單元2 06監視V信號線上的V信號,影像選擇器 測視頻框的開始。然後,藉由透過同步化單元2 0 6 信號線上的Η信號,影像選擇器2 0 8偵測欲由通用 置3 2輸出的一列視頻框。在影像選擇器2 〇 8內數 生影像假影’並且由數位至類比轉換器(未圖示) 適當的類比信號。當一列視頻框需要修改以顯示影 時’影像選擇器208計算欲插入到由通用計算裝置 輸出的R/G/B信號之影像假影需要的時序,將轉 204轉換到位置a ’以在適當時序從回授假影輸出 送出表示影像假影的R/G/B信號到VGA輸出埠202 輸出影像假影之後將轉換單元2〇4轉換回到位置B。 在圖4A所示之實施例中,通用計算裝置的顯 7E類比的’但是精於本技藝之人士應明白,通用計 的顯示輸出可以是數位的。圖4B圖示視頻控制器 被組配成根據DVI (數位視頻介面)電腦顯示標準 通用計算裝置所輸出之數位信號。在此實施例中, 制器34包含DVI輸入埠22〇,其接收來自通用計 32的輸出’且提供輸出到紅/綠/藍(R/G/B )和時 算裝置 埠202 要修改 選擇器 影像假 同步化 208偵 監視Η 計算裝 位化產 轉換成 像假影 32所 換單元 210發 ,及在 示輸出 算裝置 34,其 來處理 視頻控 算裝置 脈信號 -16- 201101140 線。R/G/B信號線透過多工器224連接到DVI輸出埠222 * 。時脈信號線直接連接到DVI輸出埠222。DVI輸出埠 • 222提供顯示輸出到顯示單元。時脈/同步偵測單元226與 R/G/B和時脈信號線通訊並且與影像選擇器22 8通訊。影 像選擇器22 8與主控制器30通訊,且包含連接到多工器 224之回授假影輸出230和A/B位置輸出232。回應於主 控制器30,影像選擇器2W透過A/B位置輸出2 32決定 0 多工器224到位置A,其結果是來自DVI輸入埠220的 R/G/B信號線直接連接到DVI輸出埠222 ;或者到位置B ,其結果是回授假影輸出23 0連接到通到DVI輸出埠222 之R/G/B信號線。如此,視頻控制器34回應於主控制器 ' 3 0,動態操縱運送到顯示單元之顯示資料。 - 尤其是,當欲由顯示單元顯示之視頻框不需要修改時 ,多工器224被決定到位置A,以將來自通用計算裝置32 的顯示輸出從DVI輸入埠220傳遞到DVI輸出埠222。當 ❹ 來自通用計算裝置32之顯示輸出的視頻框需要修改時, 主控制器30發送信號到影像選擇器228,影像選擇器228 包含影像假影和表示應顯示影像假影之顯示表面24上的 位置之位置資料。藉由透過時脈/同步偵測單元226監視 R/G/B信號線上的同步信號,影像選擇器228偵測視頻框 ' 的開始。然後,影像選擇器228然後監視時脈信號線上的
- 時脈信號,計算插入影像假影到R/G/B信號線上的R/G/B 信號內所需之時序,決定多工器到位置B,以連接回授假 影輸出230到DVI輸出埠222,輸出影像假影到通到DVI -17- 201101140 輸出埠222的R/G/B信號線,及將多工器224轉換回到位 置A。 精於本技藝之人士應明白,不需要藉由分開的視頻控 制器來執行顯示輸出修改。取而代之的是,使用在典型上 具有縮減性能的通用計算裝置32上執行之顯示資料修改 應用程式來執行顯示輸出修改。上述之視頻控制器提供非 常快的回應時間,且能夠被決定成關於成像裝置而同步操 作(如、影像感測器可在修改顯示輸出的同時擷取影像框 )。此操作難以使用在通用計算裝置3 2執行之顯示資料 修改應用程式來複製。 在操作期間,各成像裝置40、42的DSP 90產生時脈 信號,使得各成像裝置的影像感測器80以想要的框速率 擷取影像框。提供到影像感測器80的時脈信號被同步化 ,使得成像裝置40及42的影像感測器大體上同時擷取影 像框。當沒有指標在顯示表面24附近時,由於聚光圈26 所提供的紅外線背光,所以影像感測器8 0所擷取的影像 框包含大體上未中斷的亮帶。然而,當一或多個指標進入 顯示表面24的附近時,各指標阻塞聚光圈26所提供的IR 背光,且出現在所擷取的影像框,當作中斷白帶的暗區。 由各成像裝置40、42的影像感測器80所輸出之各影 像框係運送到其相關DSP 90。當各DSP 90接收影像框時 ,DSP 90處理影像框,以偵測一或多個指標的存在。若 —或多個指標存在於影像框中,則DSP 90爲影像框中的 各指標產生觀察。各觀察係由兩直線之間所形成的區域所 -18- 201101140 定義,兩線中的其中一線從成像裝置的焦點延伸,且貫穿 指標的右邊緣;而另一線從成像裝置的焦點延伸,且貫穿 • 指標的左邊緣。DSP 90然後透過串聯線驅動器162運送 觀察到主控制器3 0。 主控制器30回應於從成像裝置40、42所接收的觀察 ,檢視觀察,以決定來自重疊之各成像裝置的觀察。當各 成像裝置看見同一指標時(此同一指標導致重疊之成像裝 0 置40、42所產生的觀察),藉由重疊觀察的交叉線描劃 之最後定界框的中心,因此有關顯示表面24的(x,y)座標 中之指標的位置係使用如上文倂入之Morrison等人的 U.S.專利號碼6,803,906所說明之眾所皆知的三角測量來 " 計算。 ' +主控制器3 0然後檢視三角測量結果,以決定一或多 個含糊情況是否存在。若不存在,則主控制器3 0輸出各 計算的指標位置到通用計算裝置32。通用計算裝置32接 Q 著處理各接收的指標位置,且若需要的話,更新提供到視 頻控制器3 4的影像輸出。顯示輸出在未修改之下通過視 頻控制器3 4,使得呈現於顯示單元上的影像被更新以反映 指標活動。以此方式,與顯示表面24的指標互動可被記 錄作書寫或繪圖或用於控制在通用計算裝置3 2上執行之 ' 一或更多應用程式的執行。若存在一或多個含糊情況,則 - 主控制器3 0決定視頻控制器3 4在某方面動態操縱通用計 算裝置3 2的顯示輸出,以能夠解決各含糊情況。一旦解 決,主控制器30輸出各計算的指標位置到通用計算裝置 -19- 201101140 32。通用計算裝置32接著處理各接收的指標位置’且 需要的話,更新提供到視頻控制器3 4的影像輸出。顯 輸出在未修改之下通過視頻控制器34 ’使得存在於顯示 元上的影像被更新以反映指標活動。以此方式’與顯示 面24的指標互動可被記錄作書寫或繪圖或用於控制在 用計算裝置3 2上執行之一或更多應用程式的執行。 轉向圖5,其圖示提供主動顯示回授以解決與顯示 面2 4指標互動期間之含糊的處理。在步驟5 0 2中,多 指標的其中之一與顯示表面24接觸,結果,成像裝置 及42的每一個提供對各偵測的指標之觀察到主控制器 。在步驟5 04中,主控制器30三角測量與顯示表面24 觸的一或多個指標相關聯之各可能的指標位置解答。在 驟5 06中,主控制器3 0檢視各指標位置三角測量解答 以決定含糊情況是否存在。若未存在含糊情況,則在步 5 1 4中’主控制器3 0運送各指標位置三角測量解答到通 計算裝置32。若需要的話,通用計算裝置32回應,更 運送到顯示單元之顯示輸出,以反映指標活動。主控制 3 〇亦發信給視頻控制器3 4,使得顯示輸出在未修改之 通過視頻控制器3 4。 在步驟506中’若含糊情況存在,則主控制器30 據決定存在之含糊的類型來執行各種含糊常式的其中之 ’以去除或解決含糊。在已解決含糊情況之後,處理回 步驟5 〇 6,以決定是否存在任何其他含糊。一旦已解決 有含糊情況,則主控制器3 0運送各指標位置三角測量 若 示 單 表 通 表 個 40 30 接 步 驟 用 新 器 下 根 到 所 解 -20- 201101140 答到通用計算裝置32。若需要的話,通用計算裝置32回 應’更新運送到顯示單元的顯示輸出,以反映指標活動。 ' 在此例中’在步驟5 06之後,步驟5 07首先進行檢核 ’以決定誘餌含糊情況是否存在。若存在,則在回到步驟 5〇6之前’於步驟508中執行誘餌含糊常式。若誘餌含糊 情況未存在’或在已執行誘餌含糊常式之後,則在步驟 5 09進行檢核’以決定多個指標接觸含糊情況是否存在。 0 若存在’則在在回到步驟506之前,於步驟510中執行多 個指標接觸含糊常式。若多個指標接觸含糊情況未存在, 或已執行多個指標接觸含糊常式之後,則在步驟5 1 1進行 檢核’以決定模糊指標含糊情況是否存在。若存在,則在 回到步驟5 〇6之前,於步騾5 1 2中執行模糊指標含糊常式 ‘ 。若模糊指標含糊情況未存在,則處理回到步驟506。選 擇執行含糊常式之順序,以最小化計算負載。然而,精於 本技藝之人士應明白,可以任何想要的順序來執行含糊常 〇 式。精於本技藝之人士亦應明白,可存在其他含糊類型, 及可執行解決這些含糊的其他含糊常式。 執行步驟5 08的誘餌含糊常式,以解決誘餌含糊情況 。當由於例如周遭照明條件、由塵土或污漬所產生之成像 裝置的聚光圈26及/或透鏡82上之阻礙物,而成像裝置 ' 40或42的至少其中之一看見誘餌時,誘餌含糊情況發生 。圖6A爲將誘餌指標情況照亮之例示圖。在此例中,單 —指標602在位置A中與顯示表面24接觸。如短劃視線 所示,成像裝置42正確地只看見指標602。成像裝置40 -21 - 201101140 看見如短劃線所示之指標602,但是由於聚光圈26 礙物,亦看見如短劃線6 04所示之位置B中的誘餌 理成像裝置40及42所輸出的觀察期間,主控制器 單一指標602產生兩指標位置三角測量解答,其中 位置三角測量解答對應於位置A,而另一指標位置 量解答對應於位置B。 回應於此誘餌含糊情況的偵測,在執行誘餌含 508期間,主控制器30決定聚光圈26爲關閉狀態 信給視頻控制器3 4,使視頻控制器3 4在某方面修 計算裝置3 2的顯示輸出,以使主控制器3 0能夠解 含糊情況。尤其是如圖6B所示,回應於主控制器 頻控制器34修改包含由通用計算裝置32所輸出之 頻框或少量的視頻框(連續、非連續、散置的)之 頻框組,藉以在位置A及B中,以不同的強度,將 指示器(此實施例中是光點)插入到第一視頻框組 頻框內。例如,插入到呈現在位置A之各視頻框內 是暗的,而插入到呈現在位置B之各視頻框內的光 的。 視頻控制器3 4亦修改包含由通用計算裝置3 2 之單一視頻框或少量的視頻框(連續、非連續、散 之第二視頻框組,藉以在如圖6C所示之位置A及 以不同的強度,將第二組光點插入到第二視頻框組 頻框內。例如’插入到呈現在位置A之各視頻框內 是亮的’而插入到呈現在位置B之各視頻框內的光 上的阻 。在處 30爲 一指標 三角測 糊常式 ,及發 改通用 決誘餌 3 0,視 單一視 第一視 第一組 的各視 的光點 點是売 所輸出 置的) B中, 的各視 的光點 點是暗 -22- 201101140 的。第一和第二視頻框組可以是連續的或以少量的視頻框 分開的。 ‘ 在修改顯示輸出以插入光點的同時處理成像裝置40 及42所擷取之影像框期間,檢視影像框以決定指標位置 三角測量解答中之照明變化。若未偵測到沿著貫穿指標位 置三角測量解答之視線的照明變化,則指標位置三角測量 解答被決定是誘餌。若偵測到沿著貫穿指標位置三角測量 Q 解答之視線的照明變化,則指標位置三角測量解答被決定 爲表示實際指標接觸。如所體會到的一般,當指標602在 位置A與顯示表面24接觸,及位置A上的顯示輸出被修 正以閃爍暗和光點時,指標602將由光點照射,並且將光 線歸回到成像裝置40、42,及當呈現暗點時將變成黑暗, ' 產生由成像裝置所見的照明變化。 執行圖5之步驟5 1 0的多個指標接觸含糊常式,以解 決當多個指標同時接觸顯示表面24,且主控制器30無法 〇 決定和去除所有虛指標位置三角測量解答時會發生之多個 指標含糊情況。也就是說,所計算的指標位置三角測量解 答之數目超過接觸顯示表面24的指標數目。步驟510的 多個指標接觸含糊常式使用閉環回授順序來去除多個指標 接觸含糊。圖7A爲通常同時接觸顯示表面24之兩指標 " 700及702的例示圖。如圖7B所示,在處理成像裝置40 - 及42所輸出之觀察期間,具有兩對可能的指標位置三角 測量解答給指標700及702。一對指標位置三角測量解答 對應於位置A及B,而且表示實指標位置三角測量解答。 -23- 201101140 另一對指標位置三角測量解答對應於位置C及D,而且表 示虛指標位置三角測量解答。然後將雨對可能的指標位置 二角測量解答劃分成兩群。 回應於此多個指標接觸含糊條件的偵測,主控制器3 0 決定聚光圈2 6爲關閉狀態,及發信給視頻控制器3 4,使 視頻控制器3 4在某方面修改通用計算裝置3 2的顯示輸出 ’以使主控制器3 0能夠解決多個指標接觸含糊情況。尤 其是如圖7 C所示,回應於主控制器3 〇,視頻控制器3 4 修改包含由通用計算裝置3 2所輸出之單一視頻框或少量 的視頻框(連續、非連續、散置的)之第一視頻框組,藉 以在一些或所有可能的指標位置三角測量解答中,將諸如 點、環、星星等第一組指示器插入到第一視頻框組的各視 頻框內。用於各群指標位置三角測量解答的指示器是不同 的’但是用於各群的指標位置三角測量解答是相同的,也 就是說’相同尺寸、形狀、顏色、強度、透明度等。例如 ’如圖7 C所示’用於對應於位置a及B之指標位置三角 測量解答的指示器是暗點,而對應於位置C及D之指標位 置三角測量解答的指示器是亮點。 視頻控制器3 4亦修改包含由通用計算裝置3 2所輸出 之單一視頻框或少量的視頻框(連續、非連續、散置的) 之第一視頻框組,藉以在一些或所有可能的指標位置三角 測量解答中’將諸如點、環、星星等第二組指示器插入到 第二視頻框組的各視頻框內。用於各群指標位置三角測量 解答的指不器是不同的’但是用於各群的指標位置三角測 -24 - 201101140 量解答是相同的,也就是說,相同尺寸、形狀、顏 " 度、透明度等。第一和第二視頻框組可以連續或由 • 頻框分開。例如,如圖7D所示,用於對應於位置 之指標位置三角測量解答的指示器是亮點,而對應 C及D之指標位置三角測量解答的指示器是暗點。 另一選擇是,就第一視頻框組而言,亮點可顯 指標位置三角測量解答中,而暗點顯示在剩下的指 Q 三角測量解答中。例如,對應於位置A之指標位置 量解答是亮的,而對應於位置B、C、及D之指標 角測量解答是暗的。就第二視頻框組而言,亮點可 另一群的一指標位置三角測量解答中,也就是說, 於其他位置C或D之指標位置三角測量解答中。如 ' 藉由觀看照明變化而識別實指標位置三角測量解答 之一。另一實輸入亦被決定,因爲一旦知道一實指 三角測量解答,則也知道另一個的。另一選擇是, 〇 一暗點和三亮點。 圖7E爲在視頻控制器34顯示指標700接觸顯 24下方之亮點的同時之一部分顯示表面24的側剖 如所見一般,由在指標下方所顯示的亮點7 1 2照 7〇〇 °結果,指標從光點朝成像裝置反射被擷取在 ' 中之明亮光線。如圖7F所示,當視頻控制器34顯 - 標下方的暗點7 1 4時,在指標700下方發生缺乏照 及沒有額外的光線由指標700朝成像裝置引進。由 器3 0檢視此照明變化。若在顯示暗點之前,顯示 色、強 少量視 A及B 於位置 示在一 標位置 三角測 位置二 顯示在 在對應 此能夠 的其中 標位置 可使用 示表面 面圖。 射指標 影像框 不在指 明,以 主控制 的暗點 -25- 201101140 7 1 4之光強度比同一位置中之所擷取影像框的光強度暗, 則在顯示暗點之前,成像裝置40及42將看見比影像框暗 的指標影像。若在顯示亮點之前,顯示的亮點7 1 2的光強 度比同一位置中之所擷取影像框的光強度亮,則在顯示亮 點之前’成像裝置40及42將看見比影像框亮的指標影像 。若沒有指標在顯示亮點或暗點之位置中,則成像裝置40 及42所擷取之影像將很少改變。如此能夠決定實指標位 置三角測量解答。 圖8A表示解決圖7A至7D所示之多個指標接觸含糊 情況所執行的處理。在步驟8 02中,主控制器3 0決定視 頻控制器3 4顯示如圖7 C所示之位置A及B中的暗點以 及位置C及D中的亮點。在步驟804中,如圖7D所示一 般,亮點顯示在位置A及B中,而暗點顯示在位置C及D 中。在步驟8 06中,主控制器30決定成像裝置40及42 是否已擷取反映在步驟802至804期間任何目標位置A至 D中之照明變化的影像框。若未偵測到照明變化,則在步 驟8 08中主控制器30調整欲顯示光點之位置的位置,並 且回到步驟8 02。若偵測到照明變化,則在步驟8 1 0中, 主控制器30決定從步驟802至804的照明變化是否從暗 到亮。若照明變化是從暗到亮,則在步驟8 14中,主控制 器3 0將對應於位置A及B之指標位置三角測量解答指定 作實指標位置三角測量解答。若照明變化非從暗到亮,則 在步驟8 1 2中,主控制器3 0決定照明變化是否從亮到暗 。若照明變化是從亮到暗,則在步驟8 1 6中,主控制器3 0 -26- 201101140 將對應於位置c及D之指標位置三角測量解答指定作實指 ' 標位置三角測量解答。若照明變化非從亮到暗,則在步驟 808中,主控制器30調整欲顯示光點之位置的位置,並且 回到步驟8 0 2。 圖8B表示解決圖7A至7D所示之多個指標接觸含糊 情況所執行的另一處理。在步驟8 2 2中,如圖7 C所示, 視頻控制器3 4被決定顯示對應於位置A及B之指標位置 0 三角測量解答中的暗點,及對應於位置C及D之指標位置 三角測量解答中的亮點。在步驟824中,主控制器30決 定在顯示暗點和亮點之後,成像裝置40及42所擷取的影 像框是否反映位置A至D之照明變化。若決定光強度中 ' 的較亮變化,則在步驟8 26中,主控制器30將對應於位 - 置C及D之指標位置三角測量解答指定作實指標位置三角 測量解答。若決定光強度中的較暗變化,則在步驟830中 ,主控制器3 0將對應於位置A及B之指標位置三角測量 〇 解答指定作實指標位置三角測量解答。若在位置A至D 的任一個中都未偵測到光強度變化,則在步驟828中,如 圖7D所示,視頻控制器34被決定顯示位置A及B中的 亮點以及位置C及D中的暗點。在步驟8 3 2中,主控制器 3 〇決定在顯示亮點和暗點之後,成像裝置40及42所擷取 ' 的影像框是否反映位置A至D中之光強度的變化。若決 - 定光強度中的較暗變化,則在步驟8 2 6中,主控制器3 0 將對應於位置C及D之指標位置三角測量解答指定作實指 標位置三角測量解答。若決定光強度中的較亮變化,則在 -27- 201101140 步驟8 3 0中,主控制器3 0將對應於位置A及B 置三角測量解答指定作實指標位置三角測量解答 一位置都未偵測到光強度變化,則在步驟8 3 4中 器3 0調整欲顯示光點之位置的位置,並且回到步 上述實施例說明同時插入光點在所有目標位 所有目標位置。精於本技藝之人士應明白,可利 示器和測試順序。例如,在步驟5 1 0的多個指標 常式期間,視頻控制器3 4可同時在各群指標位 量解答之不同視頻框組中顯示不同強度的指示器 群指標位置三角測量解答被逐一測試。當發現一 位置三角測量解答時結束常式。另一選擇是,視 34可同時在一指標位置三角測量解答之不同視頻 示不同強度的指示器,使得各指標位置三角測量 別測試。此另一實施例亦可同時用於去除誘餌指 驟5 08的誘餌含糊常式所討論一般。在另一實施 覺指示器可被定位在有利於成像裝置40及42的 位置的顯示表面24上。例如,可將亮點顯示在 於指標位置三角測量解答之位置中,但是可以稍 心’使得其較接近沿著從指標位置三角測量解答 置40、42之向量的成像裝置40、42。若指標在 ’則此將使成像裝置擷取指標的較亮照明。 有利的是,當各成像裝置的影像框擷取率被 夠超過顯示單元的更新率時,可將指示器插入到 框內,及潛意識似乎差不多是觀察者。爲了進一 之指標位 。若在任 ,主控制 驟 8 22。 置和測試 用其他指 接觸含糊 置三角測 ,使得各 群實指標 頻控制器 框組中顯 解答被個 標,如步 例中,視 位置中之 通常對應 微偏離中 朝成像裝 那位置中 選擇成足 幾個視頻 步降低閃 -28- 201101140 光指示器所產生之分心,可利用指標下方的諸如水波效果 ' 等僞裝技術或位置目標驗證的較長閃光順序。這些技術有 - 助於掩飾觀察者察覺到的假影,及提供確認已正確登記與 顯示表面接觸之指標的正回授。另一選擇是,成像裝置40 及42可具有與視頻控制器3 4同步擷取影像框之較低框速 率,以擷取指標,而不必由使用者觀察到。 圖5中之步驟512的模糊指標含糊常式被用於解決當 0 互動輸入系統無法準確決定接觸顯示表面24之指標的位 置時所發生之模糊指標含糊情況。圖9A圖示當從成像裝 置40及42到指標902的視線904和906之間的角度幾近 1 80°時所發生之模糊指標含糊情況。在此例中,沿著X軸 ' 難以決定指標的位置,因爲來自各成像裝置40、42的視 ' 線幾乎一致。模糊指標含糊情況的另一例子圖示於圖9B 。在此例中,兩指標90S及910與顯示表面24接觸。指 標910阻擋指標908不被成像裝置42看見。三角測量只 Q 能夠決定指標908是在沿著成像裝置4〇之視線912的位 置A及B之間,如此無法決定指標908的準確位置。 回應於模糊指標含糊情況的偵測,主控制器3 0決定 聚光圈26爲關閉狀態,及發信給視頻控制器34,使視頻 控制器3 4在某方面修改通用計算裝置3 2的顯示輸出,以 使主控制器3 0能夠解決模糊指標含糊情況。尤其是如圖 • 9C所示,回應於主控制器3 0,在第一視頻框組包含單一 視頻框或少量視頻框(連續、非連續、散置的)期間,在 用於指標920之估計的指標位置三角測量解答下方,視頻 -29 · 201101140 控制器34閃爍第一梯度圖案922。第一梯度圖案922具有 沿著成像裝置40的視線924之梯度強度,使得其接近成 像裝置40的強度變暗。在如圖9D所示之第二視頻框組中 ,在用於指標920之估計的指標位置三角測量解答下方, 視頻控制器34亦閃爍第二梯度圖案926。第二梯度圖案 926具有沿著視線924相反的梯度強度,使得其接近成像 裝置40的強度變亮。兩梯度圖案922及920的中心之強 度是相同的。以此方式,若估計的指標位置三角測量解答 是準確的,則在操縱用於第一和第二視頻框組的顯示輸出 期間,在成像裝置42所擷取之影像框中,指標920將具 有約相同的強度。若指標920實際上比估計的指標位置三 角測量解答更遠離成像裝置40,則在操縱用於圖9D的第 二視頻框組比用於圖9C的第一視頻框組之顯示輸出期間 所擷取的影像框中,指標920將較暗。若指標920實際上 比估計的指標位置三角測量解答更接近成像裝置40,則在 操縱用於圖9D的第二視頻框組比用於圖9C的第一視頻框 組之顯示輸出期間所擷取的影像框中,指標920將較亮。 在估計的指標位置三角測量解答未對應於實際指標的例子 中,主控制器3 0移動估計的指標位置三角測量解答到新 位置。新的估計指標位置三角測量解答係由在圖9C之第 一視頻框組和圖9D之第二視頻框組期間所擷取的影像框 之間所見的強度差所決定。另一選擇是,新位置係可由梯 度圖案的中心和梯度圖案的邊緣之間的中間點所決定。步 驟5 1 2的模糊指標含糊常式重複處理,直到找出準確的指 -30- 201101140 標位置三角測量解答爲止。 ' 精於本技藝之人士應明白在模糊指標含糊常式期間可 • 使用指示器的其他圖案。例如,如圖9E及9F所示,可使 用不連續強度的複數個細條紋928和930,其中複數個細 條紋92 8和93 0的中心之強度是相同的。 圖9G及9H圖示使用單一成像裝置定位指標接觸之 另一實施例。在此實施例中,指標接觸的位置係使用極座 0 標來決定。成像裝置40首先偵測沿著極線942接觸顯示 表面24的指標940。爲了決定距成像裝置40的距離,視 頻控制器34在沿著極線942從一端移動到另一端的各位 置中閃爍一暗到亮點944,然後一亮到暗點946。若成像 裝置4〇所擷取的影像框未反映指標影像的任何強度變化 ' ’則主控制器3 0發信給視頻控制器3 4,以移動到下一位 置。當成像裝置40所擷取的影像框顯示強度變化時,類 似於參考圖9C至9F所說明之處理的處理被用於決定準確 〇 的指標位置三角測量解答。 圖91及9J圖示使用單一成像裝置定位指標接觸之另 一實施例。在此實施例中,指標接觸的位置係使用極座標 來決定。成像裝置40首先偵測沿著極線962接觸顯示表 面24的指標960。爲了決定距成像裝置40的距離,視頻 ' 控制器34利用具有覆蓋極線962的整段之梯度強度圖案 • 或者不連續強度圖案閃爍暗到亮條紋9 6 4。視頻控制器3 4 然後利用與圖案964相反的圖案閃爍亮到暗條紋966。條 紋變化的強度與成像裝置4 0的距離成比例。亦可使用改 -31 - 201101140 變條紋強度之其他函數。藉由比較在顯示圖91及9J所示 之條紋期間所擷取的影像框中的指標之強度差,而主控制 器3 0估計指標接觸位置。主控制器3 0然後可使用類似於 參考圖9C及9F所說明之處理的處理,來精錬估計的指標 接觸位置。 在圖5所示的處理之另一選擇中,各成像裝置40、42 擷取顯示表面24附近之一或多個指標的影像框。影像處 理常式決定是否存在任何新的未識別指標接觸。未識別指 標接觸是任何已觀看的物體,其與已由顯示回授驗證之先 前觀看的指標接觸無關聯。若任何未識別指標接觸存在, 則決定是否存在一個以上的未識別指標接觸。若只有一個 未識別指標接觸,則以參考步驟508所說明之方法,未識 別指標接觸被驗證爲實的。若具有一個以上的未識別指標 接觸’則以參考步驟5 1 0所說明之方法,未識別指標接觸 被驗證爲實和虛的。若未發現未識別指標接觸,則影像處 理常式決定任何指標接觸是否被阻隔未讓成像裝置40、42 看見’或者任何指標接觸是否在如參考步驟5 1 1說明一般 的顯示表面上之不足的三角測量面積內。若存在這些條件 的任一個,則這些未識別指標接觸的位置係以參考步驟 5 1 2所說明的方法來決定。若不存在未識別指標接觸,則 在無須顯示回授之下將識別的指標接觸登_己。 在上述實施例中,指標是被動的,諸如例如,與輸入 表面24接觸的手指、圓柱材料、或其他物體等,及係藉 由處理影像樞來偵測’以決定暗區,其中斷對應於聚光圈 -32- 201101140 26所提供之背光的明亮背景。若希望的話,除了利用所圖 ' 解的聚光圈之外,紅外線來源可與成像裝置的每一個相關 • 聯,及可利用負反射聚光圈。互動輸入系統亦適於與主動 指標一起使用。 圖10A圖示連同互動輸入系統一起使用之例示主動指 標。如所見一般,指標1〇〇包含終止在平截圓錐尖端104 之主體1 02。尖端1 04覆蓋聚焦於感測顯示單元所發出的 0 之光感測器(未圖示)。從尖端1 04突出的是致動器1 06 。致動器1 06藉由彈簧(未圖示)從尖端1 04偏斜出去, 且可利用施加壓力而被推進尖端104。致動器106連接到 主體1〇2內的開關(未圖示),當致動器106靠著彈簧偏 ' 壓而推進尖端1 04內時,開關關閉電路以供給感測器電力 • 。利用感測器被供給電力,指標1 〇〇能夠接受光。當電路 被關閉時,主體102內的射頻發送器(未圖示)亦被供給 電力,使發送器能夠發出無線信號。 Q 圖10B圖示互動輸入系統20及接觸顯示表面24之主 動指標1〇〇。如先前的實施例一般,當主動指標100與顯 示表面24接觸時,主控制器3 0三角測量所有可能的指標 位置三角測量解答,且發送此資料到通用處理計算裝置3 2 用於進一步處理。射頻接收器1 1 0亦由通用處理計算裝置 ' 32容納,以通訊來自尖端1 04中之感測器的系統狀態資訊 - 和信號資訊。射頻接收器1 1 〇透過通訊頻道1 20接收尖端 104中之感測器(未圖示)所擷取的光之特性(如、發光 強度)。當主動指標100的致動器106從尖端104偏斜出 -33- 201101140 去時,電路維持是開的,使得沒有射頻信號由指標的射頻 發送器1 1 2發出。因此,指標1 00係以被動模式操作。在 此例中,在對於顯示單元未修改之下,通用處理計算裝置 32的顯示輸出通過視頻控制器34。 圖10C爲具有主動筆1〇〇的互動輸入系統20之通訊 路徑的方塊圖。主動指標100的發送器112到通用處理計 算裝置32的接收器110之間的通訊頻道120是單向的。 通訊頻道120可被實施作高頻IR頻道或無線RF頻道,諸 如藍芽等。 在通用處理計算裝置32無法決定準確的主動指標位 置之例子中,主動指標100的尖端以足夠的力與顯示表面 24接觸,以將致動器106推入尖端104。回應地,尖端 1 04中的感測器被供給電力,且互動輸入系統20的射頻接 收器1 1 〇被通知指標操作的狀態變化。以此模式,從顯示 表面24到通用處理計算裝置32,主動指標提供一可靠、 空間定位的通訊頻道。使用類似於上述之處理的處理,通 用處理計算裝置32發信給視頻控制器34,以在一些視頻 框中顯示指示器或假影。主動指標1 00感測附近的照明變 化,及透過通訊頻道120傳送此照明變化資訊給通用處理 計算裝置32。通用處理計算裝置32接著依據其接收的資 訊來解決含糊度。 圖9C至9F中的相同梯度圖案亦被用於減輕周遭光對 系統的信號對雜訊比之負作用,此負作用會降低成像裝置 40及42分辨目標的確定性。依據時間或位置之周遭光的 -34- 201101140 改變在互動輸入系統20的回授順序之成像裝置40及42 ' 所擷取的影像框中之預期發光強度中引進有變化的偏移。 • 藉由減去成像裝置40及42所擷取之連續影像來完成隔離 周遭光的變化。因爲影像框的亮度是周遭光和指標從顯示 器上之閃光所反射的光之總和,所以在同一位置上閃爍一 對相等但相反取向的梯度圖案將提供比較用的影像框,其 中在清楚且分開的實例中,組裝22的受控光線是相同的 0 。順序中的第一影像如此從其後繼者減掉,以去除從底下 閃爍的光,及計算差分周遭光影像框。將此途徑與通用處 理計算裝置3 2結合且疊代,以預測以未來影像框所擷取 之變化的周遭偏移光之貢獻。 另一選擇是,藉由使用受控照明的多個直角模式亦可 降低周遭光的反作用,如倂入其全文做爲參考之讓渡給 SMART Technologies ULC的標題爲“互動輸入系統及方法 ”之Zh〇U等人的U.S.臨時專利申請案號碼6 1 /05 9,1 83所 〇 揭示一般。因爲不想要的周遭光通常係由穩定成分和幾個 週期性成分所組成,所以由視頻控制器3 4所產生之閃光 的頻率和順序被特別選定成避免與來自D C光源(如、太 陽光)和AC光源(如、螢光燈)的最大光譜貢獻競爭。 例如選擇八個Wal sh碼組和具有8子框之1 2 0赫茲的自然 ' 框率使系統能夠濾除不可預料的外來光源,只觀察受控光 源。在DC及AC光源的顯著特徵分別爲頻率貢獻爲0赫 茲和1 2 0赫茲的同時,以每秒9 6 0框的子框率操作成像裝 置40及42。相反地’八個Walsh碼的其中三個在〇赫茲 -35- 201101140 和120赫兹(以960fps的樣本速率)中具有光 以指標反射的光線個別調整。W a 1 s h碼產生器與 4 0及4 2的影像感測器快門同步’成像裝置4 0万 取影像框是相關的’以消除從雜散的周遭光所擷 資訊。有利的是’當以此種快速頻率操作影像感 別快門時,影像感測器亦不太可能飽和。 若想要的話,主動指標可被設置有LED來 1 〇 4中的感測器(未圖示)。在此例中,以類似 方法之方法來調變LED所發出的光,以避免雜 干擾以及供給系統額外的特徵和彈性。這些特徵 些係例如使用其他模式、分配顏色給多個筆,以 標環境和應用之指標目標的定位、關聯性、和驗 〇 另一選擇是,可使用此處所說明的技術來執 個使用者的指標識別。例如,使用者A和使用者 別正利用指標A和指標B在顯示表面24上書寫 各指標下方使用不同指示器,可獨特地識別各指 各指標的各視覺指示器在顏色或圖案上可以不同 擇是,可獨特地調整在各指標下方的亮點。例如 在指標A下方發光,而暗點是在指標B下方, 維持不發光。 圖U爲互動輸入系統20的另一實施例。在 中,主控制器3 0從成像裝置4 0及4 2所擷取的 角測量所有可能的指標位置三角測量解答。影像 譜零,及 成像裝置 :42的擷 取之信號 測器的各 取代尖端 於上述的 散光線的 的其中一 及多個指 證之改良 行用於多 B二者分 。藉由在 標。用於 。另一選 ,亮點可 或指標B 此實施例 影像框三 框中之指 -36- 201101140 標的三角測量結果和光強度資訊被發送到通用處理計算裝 ' 置32。通用處理計算裝置32利用儲存於其記憶體之如上 • 述的含糊去除常式’修改通用處理計算裝置32的視頻輸 出緩衝器。將指不器顯不在從通用處理計算裝置32所輸 出的一些視頻框。通用處理計算裝置3 2使用從主控制器 3 0所獲得之具有指示器的影像框中之指標的三角測量結果 和光強度資訊,以去除三角測量含糊。“實”指標然後被追 Q 蹤直到另一含糊情況發生爲止,及再次利用含糊去除常式 〇
此處所說明的含糊去除常式應用到具有主動和被動指 標之許多不同類型的相機爲基礎之互動裝置。在另一實施 例中,LED被定位在成像裝置中,及將光傳送橫越過輸入 ' 表面到負反射聚光圈。入射在負反射聚光圏上的光恢復成 被成像裝置擷取,並且提供背光給被動指標。在此實施例 中,負反射聚光圈被用於改良指標的影像,以決定含糊存 Q 在的三角測量。另一選擇是,亦可使用具有平面鏡組態的 單一相機。在此實施例中,平面鏡被用於獲得到指標的第 二向量,以三角測量指標位置。在先前倂入之Ung等人的 美國專利號碼 7,274,356 ,以及讓渡給 SMART
Technologies ULC之Ung等人的美國專利申請案公開號碼 ' 2〇〇7/〇236454中說明這些處理,併入其全文做爲參考。 - 雖然互動輸入系統20的上述實施例係依據使用諸如 例如LCD、CRT、或電漿監視器等顯示單元來說明,但是 亦可將投影器用於在觸碰點位置四周顯示螢幕影像及閃光 -37- 201101140 。圖12爲使用投影器12〇2的互動觸碰系統20。主控制器 3 〇從成像裝置40及42所擷取的影像框三角測量所有可能 的指標位置三角測量解答,及將指標影像的三角測量和光 強度資訊發送到通用處理計算裝置32用於進一步處理。 通用處理計算裝置32利用儲存於其記憶體之如上述的含 糊去除常式,修改通用處理計算裝置3 2的視頻輸出緩衝 。然後如上述,將指示器插入到從通用處理計算裝置32 所輸出的一些視頻框。投影器1 2 0 2從通用處理計算裝置 3 2接收視頻框,及將它們顯示在觸碰面板i 204上。當指 標1 206接觸觸碰面板1 204的輸入表面1 208時,在指標 1 206附近的輸入表面1 208上投影之從投影器1 202發出的 光1 2 1 0被反射到指標1 206,且接著反射到成像裝置40及 42 ° 藉由如上述插入指示器到一些視頻框內,成像裝置40 及42改變和感測指標1 206四周的發光強度。透過主控制 器30將此種資訊發送到通用處理計算裝置32。通用處理 計算裝置3 2使用指標影像的三角測量結果和光強度資訊 來去除三角測量含糊。 精於本技藝之人士應明白’指示器的準確形狀、圖案 、和頻率可不同,以適應各種應用或環境。例如,閃光可 以是方形、圓形、矩形、橢圓、環狀、或線。光強度圖案 可以是直線、圓形、或矩形的。圖案內的強度改變率亦可 以是直線、二元、拋物線、或隨機的。通常,閃光特性可 被固定或可改變,且依據周遭光、指標大小、使用者限制 -38- 201101140 、時間、追蹤容限、或互動輸入系統2 0和其環境的其他 ' 參數而定。在歐洲和其他地方,例如,電系統的頻率是5 0 • 赫兹,因此’自然框率和子框率可以分別是每秒100及 8 00 框。 在另一實施例中’組裝22包含顯示器,其在各像素 位置發出IR光’且成像裝置4 0及4 2的影像感測器被設 置有IR過瀘器。在此配置中’在藉由影像處理引擎的處 0 理來防止和去除來自可見光譜的雜散光的同時,過濾器使 來自顯示器且由目標反射之光能夠通過。 在另一實施例中,成像裝置40及42的影像感測器係 可被單一光二極體、光電阻器、或其他光能量感測器取代 。這些實施例的回授順序亦可改變,以適應其他感測器較 ' 貧乏的解析度。例如,可將整個螢幕閃爍,或光柵掃描, 以開始順序,或在順序期間的任何時間。一旦定位目標, 藉由編碼目標下方的影像像素中之照射的順序,或以類似 〇 於上述方法之方法,而使其特性被驗證和有關聯》 在另一實施例中,互動輸入系統使用彩色成像裝置和 被顯示彩色和彩色圖案之指示器。 在沿著極線的含糊去除常式之實施例中(如圖9Α至 9J所示),利用已知的極座標,在指標的方向上,沿著極 ' 線閃爍三條線。第一條線是暗或黑的,第二條線是白或亮 - 的’及第三條線是黑-白或暗-亮的直線梯度。前兩閃光被 用於產生高和低光強度參考。當指標的光強度隨著閃爍梯 度而測量時,光強度與亮和暗測量比較,以估計指標位置 -39 - 201101140 在沿著極線的含糊去除常式之另一實施例中,將白或 焭線顯7K於輸入表面24上’並且垂直於成像裝置4〇或42 的視線。此白或亮線可類似於雷達快速移動遠離成像裝置 。當線條到達指標時,其將照射指標。依據白線距成像裝 置的距離,可決定距離和角度。 另一選擇是,可透過其他工業標準介面來完成組件之 間的資訊交換。此種介面可包括但並不侷限於:RS232、 PCI、藍芽、802.1 1 ( Wi-Fi)、或任何其他各自後繼者。 同樣地,視頻控制器3 4當在一實施例中類似情況時可以 是數位的。亦可改變用於互動輸入系統2 0的組件之配置 和組態。 精於本技藝之人士亦將明白,只要不違背附錄於後的 申請專利範圍所定義之本發明的範疇和精神,可從所說明 的那些進行其他變化和修改。 【圖式簡單說明】 現在參考附圖將更完整說明實施例,其中: 圖1爲利用兩成像裝置之互動輸入系統的方塊圖; 圖2爲圖1的互動輸入系統之成像裝置形成部的其中 之一的方塊圖; 圖3爲圖1之互動輸入系統的主控制器形成部之方塊 圖; 圖4A爲圖1之互動輸入系統的視頻控制器形成部之 -40- 201101140 方塊圖; ' 圖4B爲使用DVI技術之其他視頻控制器的方塊圖; • 圖5爲用以決定目標觸碰點位置之影像處理常式的詳 細流程圖; 圖6A至6C爲將誘餌含糊情況和主動顯示回授照亮以 解決誘餌含糊情況之例示圖; 圖7A至7D爲將多個指標接觸含糊情況和主動顯示 0 回授照亮以解決多個指標接觸含糊情況之例示圖; 圖7E及7F爲圖7A至7D的主動顯示回授期間之顯 示表面的一部分之側剖面圖; 圖8A爲用以解決多個指標接觸含糊情況之多個指標 ' 接觸含糊常式期間所執行的步驟之流程圖: - 圖8B爲用以解決多個指標接觸含糊情況之其他多個 指標接觸含糊常式期間所執行的步驟之流程圖; 圖9A爲當指標是在三角測量困難的位置上之成像裝 Q 置的視野中時之成像裝置的視線之例示圖; 圖9B爲將模糊指標含糊情況照亮之例示圖; 圖9C及9D爲在指標位置三角測量解答下方之梯度點 的閃光之例示圖; 圖9E及9F爲在指標位置三角測量解答下方之梯度線 • 的閃光之例示圖; 圖9G及9H爲沿著與指標位置三角測量解答相關聯 的極座標之梯度點的閃光之例示圖; 圖91及9J爲沿著與指標位置三角測量解答相關聯的 -41 - 201101140 極座標之梯度線的閃光之例示圖; 圖1 0 A爲與圖1之互動輸入系統一起使用的主動指標 之側視圖; 圖10B爲與圖1之互動輸入系統一起使用的圖10A之 主動指標的方塊圖; 圖1 0C爲圖1之主動指標和互動輸入系統之間的通訊 路徑圖; 圖11爲利用兩成像裝置之其他互動輸入系統的方塊 圖;及 圖1 2爲利用正面投影器之另一互動輸入系統的側視 立面圖。 【主要元件符號說明】 2〇 :互動輸入系統 22 :組裝 2 4 :顯示表面 26 :聚光圈 3 〇 :主控制器 3 2 :通用計算裝置 32:通用處理計算裝置 34 :視頻控制器 :成像裝置 42 :成像裝置 8 〇 :影像感測器 -42- 201101140 82 :透鏡 ' 84 :先進先出緩衝器 • 8 6 :資料匯流排 90 :數位信號處理器 92 :第二資料匯流排 94 :串聯輸入/輸出埠 96 :雙向控制匯流排 Q 98 :電子式可程式化唯讀記憶體 1 〇 〇 :指標 1 0 〇 :主動指標 100 :主動筆 ' 1 02 :主體 • 104 :尖端 1 0 6 :致動器 1 1 〇 :射頻接收器 Q 1 12 :通訊頻道 152 :數位信號處理器 154 :第一串聯輸入/輸出埠 156 :第二串聯輸入/輸出埠 1 5 8 :通訊線 ' 1 6 2 :串聯線驅動器 - 1 6 4 :通訊線 1 66 :電子式可程式化唯讀記憶體 1 6 8 :電力供應 -43- 201101140 200 :視頻圖形配接器輸入埠 202 :視頻圖形配接器輸出埠 2 0 4 :轉換單元 206 :同步化單元 208:影像選擇器 2 1 0 :回授假影輸出 2 1 2 : A/B位置輸出 2 2 0 :數位視頻介面輸入埠 2 2 2 :數位視頻介面輸出ί阜 224 :多工器 226 :時脈/同步偵測單元 228 :影像選擇器 230:回授假影輸出 23 2 : Α/Β位置輸出 602 :單一指標 6 0 4 :短劃線 7 0 0 :指標 7 0 2 :指標 7 1 2 :亮點 7 1 4 :暗點 9 0 2 :指標 9 0 4 :視線 9 0 6 :視線 9 0 8 :指標 -44- 201101140 9 1 0 :指標 • 9 1 2 :視線 • 920 :指標 922 :第一梯度圖案 924 :視線 926 :第二梯度圖案 92 8 :細條紋 0 9 3 0 :細條紋 9 4 0 :指標 9 4 2 :極線 944 :暗到亮點 ' 946 :亮到暗點 - 9 6 0 :指標 962 :極線 964 :暗到亮條紋 Q 966 :亮到暗條紋 12 02 :投影器 1 2 0 4 :觸碰面板 1 2 0 6 :指標 1 208 :輸入表面 • 1210 ··光 • 1 〇 〇 :電力供應 -45-

Claims (1)

  1. 201101140 七、申請專利範圍: 1 一種辨別互動輸入系統中的複數個指標之方法, 包含: 爲該互動輸入系統的一輸入表面附近中之複數個指標 計算複數個可能座標; 將與每一個可能座標相關聯的視覺指示器顯示在該輸 入表面上;及 從該等視覺指示器決定與每一個可能座標相關聯之實 指標位置和虛指標位置。 2 ·根據申請專利範圍第1項之方法,其中顯示視覺 指示器包含: 顯示在每一個可能座標上之第一組視覺指示器; 在顯不該弟一組視覺指不器的同時,利用該互動輸入 系統的一成像系統來擷取該輸入表面的一第一影像組; 顯示在每一個可能座標上之第二組視覺指示器;及 在顯示該第二組視覺指示器的同時,利用該成像系統 來擷取該輸入表面的一第二影像組。 3.根據申請專利範圍第2項之方法,其中決定實指 標位置和虛指標位置包含:處理該第一影像組和第二影像 組,以從該等可能座標識別至少一實指標位置。 4 ·根據申請專利範圍第3項之方法,其中該處理另 外包含·決疋在該第一影像組和該第二影像組之間的每一 個可能座標上之反射光強度的差。 5 ·根據申請專利範圍第2項之方法,其中該第—組 -46- 201101140 視覺指示器包含暗點,而該第二組視覺指示器包含亮點。 ' 6.根據申請專利範圍第2項之方法,其中該第一組 • 視覺指示器包含具有從亮漸變到暗的梯度之光點,而該第 二組視覺指示器包含具有從暗漸變到亮的梯度之光點。 7.根據申請專利範圍第1項之方法,其中該成像系 統包含至少兩成像裝置,其從不同的瞭望看著該輸入表面 且具有重躉的視野。 Q 8- 一種辨別互動輸入系統中的至少兩個指標之方法 ,包含以下步驟: 計算與該互動輸入系統的一輸入表面接觸之該至少兩 個指標的每一個相關聯之觸碰點座標; ' 將一第一視覺指示器顯示在與第一對觸碰點座標相關 • 聯的區域上之該輸入表面上,和將一第二視覺指示器顯示 在與第二對觸碰點座標相關聯的區域上之該輸入表面上; 在該顯示該第一視覺指示器和該第二視覺指示器於與 Q 該第一和第二對觸碰點座標相關聯的該等區域上之該輸入 表面上期間,利用一成像系統擷取該輸入表面的一第一影 像; 將該第二視覺指示器顯示在與該第一對觸碰點座標相 關聯的區域上之該輸入表面上,和將該第一視覺指示器顯 • 示在與該第二對觸碰點座標相關聯的區域上之該輸入表面 上; 在該顯示與該第一對觸碰點座標相關聯的該等區域上 之該輸入表面上的該第二視覺指示器和與該第二對觸碰點 -47- 201101140 座標相關聯的該等區域上之該輸入表面上的該第一視覺指 示器期間,利用一成像裝置系統擷取該輸入表面的一第二 影像;及 比較該第一影像與該第二影像,以從該第一對和該第 9.根據申請專利範圍第8項之方法,其中該比較另 外包含: 決定與該第一影像和該第二影像之間的該等實觸碰點 座標相關聯之該等區域上的反射光強度之差。 1 〇.根據申請專利範圍第8項之方法,其中該第一視 覺指示器是一暗點,而該第二視覺指示器是一亮點。 π.根據申請專利範圍第8項之方法,其中該成像裝 置系統包含至少兩個成像裝置,其從不同的瞭望看著該輸 入表面且具有重疊的視野。 12. —種互動輸入系統,包含: —觸碰面板,其具有一輸入表面; 一成像裝置系統’其可操作成當至少一指標與該輸入 表面接觸時,擷取該輸入表面的一輸入區之影像;及 一視頻控制裝置’其可操作式耦合到該觸碰面板,該 視頻控制裝置能夠將一影像圖案顯示在與該至少一指標相 關聯之一區域上的該輸入表面上,其中該影像圖案有助於 驗證該至少一指標的該位置。 1 3 .根據申請專利範圍第1 2項之互動輸入系統,其 中該影像圖案包含一第一影像和一連續第二影像,用以產 -48- 201101140 生對比,該對比適用於依據該成像裝置系統所擷取之該等 ' 影像來驗證該區域內的至少一指標。 • I4·根據申請專利範圍第13項之互動輸入系統,其 中該第一影像包含一暗點.,而該第二影像包含一亮點。 1 5 ·根據申請專利範圍第1 2項之互動輸入系統,另 外包含一視頻介面’其可操作式親合到該視頻控制裝置, 該視頻介面適用於提供視頻同步化信號到該視頻控制裝置 Q 用以處理,其中依據該處理,該視頻控制裝置中斷顯示在 該輸入表面上的一第一影像,而顯示該影像圖案。 16.根據申請專利範圍第12項之互動輸入系統,其 中該成像裝置系統包含至少兩個成像裝置,其從不同的瞭 — 望看著該輸入表面的該輸入區且具有重疊的視野。 ' 17·根據申請專利範圍第16項之互動輸入系統,其 中該成像裝置系統另外包含至少一第一處理器,其適用於 接收該等擷取影像’及產生與該等擷取影像相關聯的像素 ❹ 資料。 1 8 .根據申請專利範圍第1 7項之互動輸入系統,另 外包含一第二處理器,其可操作式耦合到該至少一第一處 理器和該視頻控制裝置,其中依據該驗證,該第二處理器 接收該產生的像素資料,及產生對應於該驗證的指標位置 之位置座標資料。 • 1 9 ·根據申請專利範圍第1 8項之互動輸入系統,其 中該第二處理器包含—影像處理單元,其適用於產生該影 像圖案’用於該視頻控制裝置的顯示。 -49- 201101140 2〇_根據申請專利範圍第19項之互動輸入系統’其 中該影像圖案包含: 一第一影像,包含一第一強度梯度,其在朝該至少一 成像裝置系統移動之一方向中從一暗色改變到一亮色;及 一第一影像,包含一第二強度梯度,其在遠離該至少 一成像裝置系統移動之一方向中從一亮色改變到一暗色。 2 1 ·—種決定互動輸入系統中之至少一指標的位置之 方法,包含: 曰十算一輸入表面上之至少一指標的至少一觸碰點座標 » 將一第一視覺指示器顯示在與該至少一觸碰點座標相 關聯之一區域上的該輸入表面上; 在顯示該第一視覺指示器的同時,使用該互動輸入系 統的一成像系統來擷取該輸入表面的一第一影像; 將一第二視覺指示器顯示在與該至少一觸碰點座標相 關聯之該區域上的該輸入表面上; 在顯示該第二視覺指示器的同時,使用該成像系統來 擷取該輸入表面的一第二影像;及 比較該第一影像與該第二影像,以驗證該至少一指標 的該輸入表面上之該位置。 22.根據申請專利範圍第2 1項之方法’其中該比較 包含: 決定與該第一影像和該第二影像之間的該至少一觸碰 點座標相關聯之該區域上的反射光之差。 -50 - 201101140 23.根據申請專利範圍第21項之方法,其中該第一 視覺指示器是一暗點’而該第二視覺指示器是一亮點。 • 24.根據申請專利範圍第21項之方法,其中該第一 視覺指示器是具有從亮漸變到暗的梯度之一光點,而該第 二視覺指示器是具有從暗漸變到亮的梯度之一光點。 25. 根據申請專利範圍第21項之方法,其中該成像 裝置系統包含至少兩個成像裝置,其從不同的瞭望看著該 Q 輸入表面且具有重疊的視野。 26. —種決定互動輸入系統中的至少一指標之方法, 包含: 將一第一圖案顯示在與該至少一指標相關聯之區域上 的該互動輸入系統之一輸入表面上; ' 在該顯示該第一圖案期間,利用一成像裝置系統來擷 取該輸入表面的一第一影像: 將一第二圖案顯示在與該至少一指標相關聯之該等區 〇 域上的該輸入表面上; 在該顯示該第二圖案期間’利用一成像裝置系統來擷 取該輸入表面的一第二影像;及 從該桌一影像處理該第一影像,以計算一差分影像來 隔離周遭光的變化。 — 27.根據申請專利範圍第26項之方法,其中該第一 ' 圖案包含具有從亮漸變到暗的梯度之一光點,而該第二圖 案包含具有從暗漸變到亮的梯度之一光點。 28.根據申請專利範圍第26項之方法,其中該第— -51 - 201101140 圖案和該第二圖案具有選定成濾除周遭光源之一頻率。 2 9 _根據申請專利範圍第2 8項之方法,其中該頻率 是1 2 0赫茲。 30. —種互動輸入系統,包含: 一觸碰面板,其具有一輸入表面; 一成像裝置系統’其可操作成擷取該輸入表面的影像 » 至少一主動指標,其接觸該輸入表面,該至少一主動 指標具有一感測器,用以感測來自該輸入表面之光的變化 :及 一視頻控制裝置’其可操作式耦合到該觸碰面板且與 該至少一主動指標通訊’該視頻控制裝置能夠將一影像圖 案顯示在與該至少一指標相關聯之一區域上的該輸入表面 上,該影像圖案有助於驗證該至少一指標的該位置。 3 1 ·根據申請專利範圍第3 0項之互動輸入系統,其 中該影像圖案包含一第一影像和一連續第二影像,用以產 生對比,該對比適用於依據該成像裝置系統所擷取之該等 影像來驗證該區域內的至少一指標。 3 2 .根據申請專利範圍第3 1項之互動輸入系統,其 中該第一影像包含一暗點,而且該第二影像包含一亮點。 3 3 .根據申請專利範圍第3 0項之互動輸入系統,另 外包含一視頻介面’其可操作式耦合到該視頻控制裝置, 該視頻介面適用於提供視頻同步化信號到該視頻控制裝置 用以處理,其中依據該處理’該視頻控制裝置中斷顯示在 -52- 201101140 該輸入表面上的一第一影像,而且顯示該影像圖案。 34.根據申請專利範圍第30項之互動輸入系統,其 • 中該成像裝置系統包含至少兩個成像裝置,其從不同的瞭 望看著該輸入表面且具有重疊的視野。 3 5 ·根據申請專利範圍第3 0項之互動輸入系統,其 中該視頻控制器透過一無線射頻連結與該主動指標通訊。 36. 根據申請專利範圍第30項之互動輸入系統,其 Q 中該視頻控制器透過一高頻IR頻道與該主動指標通訊。 37. —種電腦可讀取媒體,其包含一電腦程式,該電 腦程式包含: 程式碼,用以爲一互動輸入系統的一輸入表面附近中 " 之複數個指標計算複數個可能座標; • 程式碼,用以使與每一個可能座標相關聯的視覺指示 器能夠顯示在該輸入表面上;及 程式碼,用以從該等視覺指示器決定與每一個可能座 Q 標相關聯之實指標位置和虛指標位置。 3 8 . —種電腦可讀取媒體,包含一電腦程式,該電腦 程式包含: 程式碼,用以計算與一互動輸入系統的一輸入表面接 觸之該至少兩個指標的每一個相關聯之一對觸碰點座標; ' 程式碼,用以使一第一視覺指示器能夠顯示在與第一 . 對觸碰點座標相關聯的區域上之該輸入表面上,和用以使 一第二視覺指示器能夠顯示在與第二對觸碰點座標相關聯 的區域上之該輸入表面上; -53- 201101140 程式碼,用以在該顯示該第一圖案和該第二圖案於與 該第一和第二對觸碰點座標相關聯的該等區域上之該輸入 表面上期間’使一成像系統能夠擷取該輸入表面的一第一 影像; 程式碼’用以使該第二圖案能夠顯示在與該第一對觸 碰點座標相關聯的該等區域之該輸入表面上,和用以使該 第一圖案能夠顯示在與第二對觸碰點座標相關聯的區域上 之該輸入表面上; 程式碼’用以在該顯示與該第一對觸碰座標相關聯的 該等區域上之該輸入表面上的該第二圖案以及與該第二對 觸碰點座標相關聯的該等區域上之該輸入表面上的第一圖 案期間,使該成像裝置系統能夠擷取該輸入表面的一第二 影像;及 程式碼,用以比較該第一影像與該第二影像,以從該 第一對和第二對觸碰點座標驗證實觸碰點座標。 3 9. —種電腦可讀取媒體,包含一電腦程式,該電腦 程式包含: 程式碼,用以計算一輸入表面上之至少一指標的至少 一觸碰點座標; 程式碼’用以使一第一視覺指示器能夠顯示在與該至 少一觸碰點座標相關聯的一區域上之該輸入表面上; 程式碼,用以在顯示該第一視覺指示器的同時,能夠 使用一成像系統來擷取該輸入表面的一第一影像; 程式碼’用以使一第二視覺指示器能夠顯示在與該至 -54- 201101140 少一觸碰點座標相關聯的該區域上之該輸入表面上; ' 程式碼,用以在顯示該第二視覺指示器的同時,能夠 , 使用該成像系統來擷取該輸入表面的一第二影像;及 程式碼,用以比較該第一影像與該第二影像,以驗證 該至少一指標的該輸入表面上之該位置。 40. —種電腦可讀取媒體,包含一電腦程式,該電腦 程式包含: 0 程式碼,用以使一第一圖案能夠顯示在與至少一指標 相關聯的區域上之一互動輸入系統的一輸入表面上; 程式碼,用以在該顯示該第一圖案期間,能夠利用一 成像裝置來擷取該輸入表面的一第一影像; ' 程式碼,用以使第二圖案能夠顯示在與至少一指標相 關聯的該等區域上之該輸入表面上; 程式碼,用以在該顯示該第二圖案期間,能夠利用該 成像裝置來擷取該輸入表面的一第二影像;以及 Q 程式碼,用以從該第二影像來處理該第一影像,以計 算一差分影像來隔離周遭光的變化。 -55-
TW099104492A 2009-02-11 2010-02-11 Active display feedback in interactive input systems TW201101140A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/369,473 US20100201812A1 (en) 2009-02-11 2009-02-11 Active display feedback in interactive input systems

Publications (1)

Publication Number Publication Date
TW201101140A true TW201101140A (en) 2011-01-01

Family

ID=42540104

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099104492A TW201101140A (en) 2009-02-11 2010-02-11 Active display feedback in interactive input systems

Country Status (9)

Country Link
US (1) US20100201812A1 (zh)
EP (1) EP2396710A4 (zh)
KR (1) KR20110123257A (zh)
CN (1) CN102369498A (zh)
BR (1) BRPI1008547A2 (zh)
CA (1) CA2751607A1 (zh)
MX (1) MX2011008489A (zh)
TW (1) TW201101140A (zh)
WO (1) WO2010091510A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI569623B (zh) * 2011-02-21 2017-02-01 皇家飛利浦電子股份有限公司 從具有相機的遠端控制評估控制特徵

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8600164B2 (en) * 2008-03-28 2013-12-03 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US8634645B2 (en) * 2008-03-28 2014-01-21 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US8773352B1 (en) * 2008-07-16 2014-07-08 Bby Solutions, Inc. Systems and methods for gesture recognition for input device applications
US20100060592A1 (en) * 2008-09-10 2010-03-11 Jeffrey Traer Bernstein Data Transmission and Reception Using Optical In-LCD Sensing
US9746544B2 (en) 2008-12-03 2017-08-29 Analog Devices, Inc. Position measurement systems using position sensitive detectors
TWI393037B (zh) * 2009-02-10 2013-04-11 Quanta Comp Inc 光學觸控顯示裝置及其操作方法
WO2010138385A1 (en) * 2009-05-27 2010-12-02 Analog Devices, Inc. Multiuse optical sensor
US8179376B2 (en) * 2009-08-27 2012-05-15 Research In Motion Limited Touch-sensitive display with capacitive and resistive touch sensors and method of control
KR101612283B1 (ko) * 2009-09-10 2016-04-15 삼성전자주식회사 휴대용 단말기에서 사용자의 입력 패턴을 판단하기 위한 장치 및 방법
US8664548B2 (en) * 2009-09-11 2014-03-04 Apple Inc. Touch controller with improved diagnostics calibration and communications support
US8294693B2 (en) * 2009-09-25 2012-10-23 Konica Minolta Holdings, Inc. Portable input device, method for calibration thereof, and computer readable recording medium storing program for calibration
JP5467455B2 (ja) * 2009-10-07 2014-04-09 Nltテクノロジー株式会社 シフトレジスタ回路、走査線駆動回路及び表示装置
CN102053757B (zh) * 2009-11-05 2012-12-19 上海精研电子科技有限公司 一种红外触摸屏装置及其多点定位方法
US9179136B2 (en) * 2009-11-20 2015-11-03 Broadcom Corporation Method and system for synchronizing 3D shutter glasses to a television refresh rate
US8896676B2 (en) * 2009-11-20 2014-11-25 Broadcom Corporation Method and system for determining transmittance intervals in 3D shutter eyewear based on display panel response time
US20110134231A1 (en) * 2009-11-20 2011-06-09 Hulvey Robert W Method And System For Synchronizing Shutter Glasses To A Display Device Refresh Rate
US8116685B2 (en) * 2010-01-26 2012-02-14 Samsung Electronics Co., Inc. System and method for visual pairing of mobile devices
US9383864B2 (en) 2010-03-31 2016-07-05 Smart Technologies Ulc Illumination structure for an interactive input system
US8121471B1 (en) * 2010-10-08 2012-02-21 Enver Gjokaj Focusing system for motion picture camera
US9851849B2 (en) 2010-12-03 2017-12-26 Apple Inc. Touch device communication
US8963883B2 (en) 2011-03-17 2015-02-24 Symbol Technologies, Inc. Touchless interactive display system
US8600107B2 (en) 2011-03-31 2013-12-03 Smart Technologies Ulc Interactive input system and method
DE102011101782A1 (de) * 2011-05-17 2012-11-22 Trw Automotive Electronics & Components Gmbh Optisches Anzeige- und Bedienelement und Verfahren zur optischen Positionsbestimmung
US9702690B2 (en) 2011-12-19 2017-07-11 Analog Devices, Inc. Lens-less optical position measuring sensor
EP2802976A4 (en) 2012-01-11 2015-08-19 Smart Technologies Ulc CALIBRATION OF AN INTERACTIVE LIGHT GRID
CA2862434C (en) 2012-01-11 2018-07-10 Smart Technologies Ulc Interactive input system and method
TWI479391B (zh) * 2012-03-22 2015-04-01 Wistron Corp 光學式觸控裝置及判斷觸控座標之方法
JP2013206373A (ja) * 2012-03-29 2013-10-07 Hitachi Solutions Ltd インタラクティブ表示装置
US20130257811A1 (en) * 2012-03-29 2013-10-03 Hitachi Solutions, Ltd. Interactive display device
US9625995B2 (en) 2013-03-15 2017-04-18 Leap Motion, Inc. Identifying an object in a field of view
GB2522250A (en) * 2014-01-20 2015-07-22 Promethean Ltd Touch device detection
JP6398248B2 (ja) * 2014-01-21 2018-10-03 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法
JP6247121B2 (ja) * 2014-03-17 2017-12-13 アルプス電気株式会社 入力装置
US9307138B2 (en) 2014-04-22 2016-04-05 Convexity Media, Inc. Focusing system for motion picture camera
KR102161745B1 (ko) * 2014-07-01 2020-10-06 삼성디스플레이 주식회사 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법
JP6464624B2 (ja) * 2014-09-12 2019-02-06 株式会社リコー 画像処理システム、画像処理装置、方法およびプログラム
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックIpマネジメント株式会社 撮像装置及び撮像方法
TWI612445B (zh) * 2015-09-21 2018-01-21 緯創資通股份有限公司 光學觸控裝置及觸控位置的決定方法
JP6992265B2 (ja) * 2017-03-23 2022-01-13 セイコーエプソン株式会社 表示装置および表示装置の制御方法
US11674797B2 (en) 2020-03-22 2023-06-13 Analog Devices, Inc. Self-aligned light angle sensor using thin metal silicide anodes

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4787012A (en) * 1987-06-25 1988-11-22 Tandy Corporation Method and apparatus for illuminating camera subject
US6141000A (en) * 1991-10-21 2000-10-31 Smart Technologies Inc. Projection display system with touch sensing on screen, computer assisted alignment correction and network conferencing
US5448263A (en) * 1991-10-21 1995-09-05 Smart Technologies Inc. Interactive display system
US6346966B1 (en) * 1997-07-07 2002-02-12 Agilent Technologies, Inc. Image acquisition system for machine vision applications
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7597663B2 (en) * 2000-11-24 2009-10-06 U-Systems, Inc. Adjunctive ultrasound processing and display for breast cancer screening
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7305115B2 (en) * 2002-02-22 2007-12-04 Siemens Energy And Automation, Inc. Method and system for improving ability of a machine vision system to discriminate features of a target
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US6972401B2 (en) * 2003-01-30 2005-12-06 Smart Technologies Inc. Illuminated bezel and touch system incorporating the same
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7274356B2 (en) * 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7538759B2 (en) * 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US7372456B2 (en) * 2004-07-07 2008-05-13 Smart Technologies Inc. Method and apparatus for calibrating an interactive touch system
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
US8218154B2 (en) * 2006-03-30 2012-07-10 Flatfrog Laboratories Ab System and a method of determining a position of a scattering/reflecting element on the surface of a radiation transmissive element
US20080096651A1 (en) * 2006-07-28 2008-04-24 Aruze Corp. Gaming machine
US8243048B2 (en) * 2007-04-25 2012-08-14 Elo Touch Solutions, Inc. Touchscreen for detecting multiple touches

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI569623B (zh) * 2011-02-21 2017-02-01 皇家飛利浦電子股份有限公司 從具有相機的遠端控制評估控制特徵

Also Published As

Publication number Publication date
US20100201812A1 (en) 2010-08-12
CA2751607A1 (en) 2010-08-19
EP2396710A1 (en) 2011-12-21
KR20110123257A (ko) 2011-11-14
EP2396710A4 (en) 2013-04-24
MX2011008489A (es) 2011-10-24
BRPI1008547A2 (pt) 2016-03-15
CN102369498A (zh) 2012-03-07
WO2010091510A1 (en) 2010-08-19

Similar Documents

Publication Publication Date Title
TW201101140A (en) Active display feedback in interactive input systems
CN101971123B (zh) 具有可切换漫射体的交互式表面计算机
US8589824B2 (en) Gesture recognition interface system
CN107094247B (zh) 位置检测装置及其对比度调整方法
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
US20050168448A1 (en) Interactive touch-screen using infrared illuminators
JP2014517361A (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
JP2014174833A (ja) 操作検出装置及び操作検出方法
US8913037B1 (en) Gesture recognition from depth and distortion analysis
CN101836180A (zh) 检测视觉系统中的环境光级别
TWI446225B (zh) 投影系統與其影像處理方法
Dai et al. Making any planar surface into a touch-sensitive display by a mere projector and camera
CN107407994A (zh) 交互式投影仪以及交互式投影系统
US8654103B2 (en) Interactive display
US20110095989A1 (en) Interactive input system and bezel therefor
KR100942431B1 (ko) 촬상소자와 광원을 이용한 터치 좌표 인식 방법 및 이를이용한 터치스크린 시스템
JP2010282463A (ja) タッチパネル装置
CN102132239B (zh) 交互式显示屏
KR20140026898A (ko) 가상 키보드를 위한 시스템 및 방법
TWI464653B (zh) 光學觸控系統與光學觸控方法
Matsubara et al. Touch detection method for non-display surface using multiple shadows of finger
JP5118663B2 (ja) 情報端末装置
CN102929434B (zh) 投影系统与其影像处理方法
JP2011054090A (ja) 情報端末装置
CN103853387B (zh) 一种显示装置、系统及坐标定位方法