TWI547828B - 感測器與投射器之校準技術 - Google Patents

感測器與投射器之校準技術 Download PDF

Info

Publication number
TWI547828B
TWI547828B TW103143689A TW103143689A TWI547828B TW I547828 B TWI547828 B TW I547828B TW 103143689 A TW103143689 A TW 103143689A TW 103143689 A TW103143689 A TW 103143689A TW I547828 B TWI547828 B TW I547828B
Authority
TW
Taiwan
Prior art keywords
sensor
sensors
mapping
coordinates
calibration
Prior art date
Application number
TW103143689A
Other languages
English (en)
Other versions
TW201533612A (zh
Inventor
康金曼
尼可拉斯Ｐ 萊昂斯
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201533612A publication Critical patent/TW201533612A/zh
Application granted granted Critical
Publication of TWI547828B publication Critical patent/TWI547828B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1631—Panel PC, e.g. single housing hosting PC and display panel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Description

感測器與投射器之校準技術
本發明係有關於感測器與投射器之校準技術。
發明背景
一視覺感測器為可拍攝與一目標相聯結的視覺資料之一感測器。該視覺資料可包括該目標之一影像或該目標之一視訊。一簇集之非同質視覺感測器(不同型視覺感測器)可用於採用於電腦系統之某些應用。由非同質感測器所收集的視覺資料可經組合及加工處理以執行與個別應用相聯結的一工作。此外，不同的非同質視覺感測器可具有不同解析度及視野。
依據本發明之一實施例，係特地提出一種系統包括一投射器單元；包括一校準模組且可附接近該投射器單元之一一體機電腦；及通訊式耦接至該一體機電腦之多個感測器；及其中該一體機電腦儲存該等多個感測器與該投射器單元間之對映關係之對映資訊於一通用座標系，其中該校準模組運用該對映資訊校準該等多個感測器及該投射器單元。
15‧‧‧支持表面
25‧‧‧觸控筆
26‧‧‧梢端
27‧‧‧發射器
35‧‧‧使用者的手
40‧‧‧對象
50‧‧‧無線信號
100‧‧‧計算系統
110‧‧‧支持結構
120‧‧‧底部
120a‧‧‧前端
120b‧‧‧後端
122‧‧‧凸部
140‧‧‧直立構件
140a、182a、184a‧‧‧第一或上端
140b、182b、184b‧‧‧第二或下端
140c、200a‧‧‧第一或前側
140d、200b‧‧‧第二或後側
150‧‧‧計算裝置
150a‧‧‧第一或頂側
150b‧‧‧第二或底側
150c‧‧‧前側
150d‧‧‧後側
152‧‧‧顯示器
155、205‧‧‧中軸或中線
160‧‧‧頂部
160a‧‧‧第一或近端
160b‧‧‧第二或遠端
160c‧‧‧頂面
160d‧‧‧底面
162‧‧‧摺疊鏡
162a‧‧‧高度反射表面
164‧‧‧感測器束
164a‧‧‧周圍光感測器
164b‧‧‧彩色相機
164c‧‧‧深度相機、深度感測器
164d‧‧‧3D使用者介面感測器、手勢感測器
168‧‧‧空間、感測器空間
180‧‧‧投射器單元
182‧‧‧外殼、殼體
183‧‧‧內腔
184‧‧‧投射器總成
186‧‧‧安裝構件
187‧‧‧光
188‧‧‧投射器顯示空間
200‧‧‧接觸敏感板
202‧‧‧接觸敏感表面
250‧‧‧處理器
260‧‧‧裝置、非過渡電腦可讀取儲存媒體
270‧‧‧接收器
280‧‧‧校準模組
800‧‧‧處理程序
805-820‧‧‧處理方塊
L188‧‧‧長度
W188‧‧‧寬度
針對各個實施例之詳細說明，現在將參考附圖作說明，附圖中：圖1為依據此處揭示之原理一電腦系統之一實施例之一示意透視圖；圖2為依據此處揭示之原理圖1之該電腦系統之另一示意透視圖；圖3為依據此處揭示之原理圖1之該電腦系統之一示意側視圖；圖4為依據此處揭示之原理圖1之該電腦系統之一示意前視圖；圖5為依據此處揭示之原理圖1之該電腦系統於操作期間之一示意側視圖；圖6為依據此處揭示之原理圖1之該電腦系統於操作期間之一示意前視圖；圖7為依據此處揭示之原理圖1之該電腦系統之一黑框方塊圖；及圖8為依據此處揭示之原理圖1之一處理流程圖之實施例。
較佳實施例之詳細說明
本文揭示之各個面向係針對該感測器簇集及一投射單元之校準。更明確言之，及容後詳述，本文揭示之各個面向係針對多個感測器包括深度感測器及手勢感測器 相對於彼此校準及使用一投射器校準以許可妥當操作之方式。
此處描述之本文揭示之面向討論於一簇集中使用非同質視覺感測器(各型視覺感測器)。此種辦法許可針對各項應用拍攝更豐富更穩健的資訊。
再者，此處描述之本文揭示之面向討論妥善校準該感測器簇。此一辦法許可當一個感測器已經藉由針對該等感測器及投射器識別一通用座標系而定位在其視野內部之一對象時，感測器及投射器知曉一對象係位在其座標系中之何處。其中，此一辦法許可感測器及投射器參考橫跨全部感測器座標系的相同點位置。
又，此處描述之本文揭示之面向也揭示將x、y及z座標從一個感測器座標系無縫地變換成另一個感測器座標系。因此，軟體發展器產生程式以利用得自多個感測器之資料以簡化該工作複雜度及更快速地建立更佳的應用。其中此一辦法允許感測器融合，結果導致有能力組合感測資料或來自分開來源的感測資料推衍之資料，使得達成當此等來源個別分開時不會發生的所得資訊。
依據本文揭示之一個實施例中，提出一系統實施例包括一投射器單元，包含一校準模組且可附接近該投射器單元之一一體機電腦，及通訊式耦接至該一體機電腦之多個感測器。此外，該一體機電腦儲存該等多個感測器與該投射器單元間之對映關係之對映資訊於一通用座標系。又，該校準模組運用該對映資訊校準該等多個感測器及該 投射器單元。
依據本文揭示之一個實施例中提出一種方法。該方法包含藉一第一感測器拍攝一校準圖樣，其中該等多個感測器具有至少一第一感測器及一第二感測器；檢測該校準圖樣之特性件，該等特性件與該第一感測器之座標空間內之該等座標相聯結；將該等經檢測之特性件之座標對映至一通用座標空間；及基於該等經對映之座標及於該第一感測器之該座標空間內之該等座標，推衍於一第二感測器之該座標空間內之座標與該通用座標空間間之一對映。
圖1-4例示依據一具現之一系統100之實施例。但須瞭解本例示不應解譯為受圖1中顯示的此一特定例示架構所限，及該系統100表示一概略例示，可以許多方式加上其它元件或可去除、修飾、或重排該等例示元件。該系統100包含一支持結構110、一計算裝置150、一投射器單元180、及一接觸敏感板200。計算裝置150可包含任何合宜之計算裝置而仍然依從此處揭示之原理。舉例言之，於若干具現中，計算裝置150可包括電子顯示器、智慧型電話、平板、一體成型機電腦(亦即一顯示器也罩住該電腦的主機板)、或其若干組合。於此一實施例中，計算裝置150為一一體成型機電腦其包括中軸或中線155、第一或頂側150a、與該頂側150a軸向相對的第二或底側150b、軸向延伸於兩側150a及150b間之一前側150c、也軸向延伸於兩側150a及150b間且與前側150c概略地徑向相對之一後側150d。一顯示器152界定一觀看表面且係沿前側150c設置以投射影像 供由使用者(圖中未顯示)觀看及互動。於若干實施例中，顯示器152包括接觸敏感技術，諸如電阻、電容、聲波、紅外線(IR)、應變計、光學、音波脈衝辨識、或其若干組合。因此於後文全文描述中，顯示器152可週期性地稱作為接觸敏感表面或顯示器。此外，於若干實施例中，裝置150進一步包括一相機154，其拍攝當一使用者在顯示器152前方時的影像。於若干具現中，相機154為網路攝影機。又，於若干實施例中，裝置150也包括麥克風或配置以接收於操作期間來自於一使用者的聲音輸入(例如語音)之類似裝置。
仍然參考圖1-4，支持結構110包括包括一底部120、一直立構件140、及一頂部160。底部120包括第一或前端120a、及第二或後端120b。於操作期間，底部120接合一支持表面15以支承系統100於操作期間之至少部分組件(例如構件140、單元180、裝置150、頂部160等)的重量。於此一實施例中，底部120之前端120a包括一凸部122，該凸部122設置於支持表面15上方且與其略為分開，藉此在凸部122與表面15間形成一空間或一餘隙。容後詳述，於系統100之操作期間，板200之一面係容納於形成於凸部122與表面15間之該空間內部以確保板200之妥為對齊。但須瞭解於其它實施例中，可使用其它合宜對齊方法或對齊裝置而仍然依從此處揭示之原理。
直立構件140包括第一或上端140a、與該上端140a相對的第二或下端140b、延伸於該等末端140a與140b間之第一或前側140c、及與前側140c相對的也延伸於該等 末端140a與140b間之第二或後側140d。構件140之下端140b係耦聯至底部120之後端120b，使得構件140實質上從支持表面15向上延伸。
頂部160包括第一或近端160a、與該近端160a相對之一第二或遠端160b、延伸於該等末端160a與160b間之頂面160c、及與頂面160c相對的也延伸於該等末端160a與160b間之底面160d。頂部160之近端160a係耦聯至直立構件140之上端140a使得遠端160b從直立構件140之上端140a向外延伸。結果，於圖2顯示之實施例中，頂部160係只支承在末端160a，且因而於此處稱作「懸臂式」頂部。於若干實施例中，底部120、構件140、及頂部160全部係一體成形，但須瞭解於其它實施例中，底部120、構件140、及/或頂部160可非一體成形而仍然依從此處揭示之原理。
仍然參考圖1-4，板200包括一中軸或中線205、一第一或前側200a、及與該前側200a軸向相對之一第二或後側200b。於此一實施例中，表示一投射器空間之一接觸敏感表面202係設置於板200上，且實質上對齊軸205。表面202可包括任何合宜的接觸敏感技術用以偵測與追蹤由一使用者的一或多個接觸輸入，以便許可該使用者與由裝置150或若干其它計算裝置(圖中未顯示)正在執行的軟體互動。舉例言之，於若干具現中，表面202可利用已知之接觸敏感技術，諸如電阻、電容、聲波、紅外線、應變計、光學、音波脈衝辨識、或其若干組合而仍然依從此處揭示之原理。此外，於此一實施例中，表面202只延伸於板200之 一部分上方；但須瞭解於其它實施例中，表面202可延伸於板200之實質上全部上方而仍然依從此處揭示之原理。
於操作期間，如前述描述，板200係對齊結構110之底部120其確保其妥當對齊。更明確言之，於此一實施例中，板200之後側200b係位在底部120之凸部122與支持表面15間，使得後端200b係對齊底部的前側120a，藉此確保板200及特別表面202與系統100內部之其它組件之妥當總體對齊。於若干實施例中，板200係對齊裝置150使得裝置150之中線155係實質上對齊板200之中線205；但其它對齊亦屬可能。此外，容後詳述，於至少若干實施例中，板200之表面202與裝置150係彼此電氣耦接，使得由表面202接收的使用者輸入係通訊給裝置150。任何合宜無線或有線電氣耦接或連結皆可用在表面202與裝置150間，例如WI-FI、藍牙、超音波技術、電纜、電線、電導體、具有磁性固定力的電氣載荷彈簧伸縮接腳、或其組合而仍然依從此處揭示之原理。於此一實施例中，於操作期間，配置於板200之後側200b上的暴露之電氣接點接合底部120之凸部122內部相對應的電氣伸縮接腳引線以在裝置150與表面202間轉移信號。此外，於此一實施例中，如前文描述，該等電氣接點係藉位在底部120之凸部122與支持表面15間之間隙中之相鄰磁鐵固定結合在一起，以藉磁力吸引與固定(例如以機械方式)沿板200之後側200b配置的一相對應鐵磁材料及/或磁性材料。
現在特別參考圖3，投射器單元180包含一外部殼 體182，及設置於殼體182內部之一投射器總成184。殼體182包括一第一或上端182a、與該上端182a相對之一第二或下端182b、及一內腔183。於此一實施例中，殼體182進一步包括一耦聯或安裝構件186以於操作期間接合及支承裝置150。概略言之，構件186可為用以懸吊及支承一計算裝置(例如裝置150)之任何合宜構件或裝置而仍然依從此處揭示之原理。舉例言之，於若干具現中，安裝構件186包含一鉸鏈其包括一轉軸使得一使用者可環繞該轉軸旋轉裝置150以達成觀看顯示器152之一最佳視角。又復，於若干實施例中，裝置150可持久地或半持久地附接至單元180之殼體182。例如，於若干具現中，殼體180及裝置150可一體成形地及/或單塊地形成為單一單元。
因此，簡短地參考圖4，當裝置150透過殼體182上的安裝構件186而從結構110懸吊時，當系統100係從一觀看表面或視角而該視角係實質上面對設置在裝置150的前側150c上的顯示器152觀看時，投射器單元180(亦即殼體182及總成184兩者)實質上隱藏在裝置150後方。此外，也如圖4顯示，當裝置150係以所描述方式從支持結構110懸吊時，投射器單元180(亦即殼體182及總成184兩者)及任何藉投射的影像可實質上對齊或相對於裝置150之中線155對中。
投射器總成184係大致上設置於殼體182的內腔183內部，及包括一第一或上端184a、與該上端184a相對之一第二或下端184b。上端184a係鄰近殼體182的上端182a， 而下端184b係鄰近殼體182的下端182b。投射器總成184可包含任何合宜數位光投射器總成用以接收來自計算裝置(例如裝置150)之光，及投射與該輸入資料相對應之影像(例如射出上端184a)。舉例言之，於若干具現中，投射器總成184包含一數位光處理(DLP)投射器或矽上液晶(LCoS)投射器，其為優異的輕薄短小及高能效投射器引擎，具有多重顯示器解析度及尺寸，諸如標準XGA解析度(1024x768)4：3縱橫比，或標準WXGA解析度(1280x800)16：10縱橫比。投射器總成184進一步電氣耦接至裝置150以便從其中接收資料用以於操作期間從上端184a產生(例如投射)光及影像。投射器總成184可透過任何合宜型別之電氣耦合例如或此處描述的任何其它合宜通訊技術或機制而通訊連接至裝置150。舉例言之，於若干具現中，總成184可透過電氣導體、WI-FI、藍牙、光學連結、超音波連結、或其若干組合而電氣耦接至裝置150。於此一實施例中，裝置150係透過設置於安裝構件186內部之電氣引線或導體(前文描述)電氣耦接至總成184，使得當裝置150透過構件186而從結構110懸吊時，設置於構件186內部之電氣引線接觸設置於裝置150上的相對應引線或導體。
仍然參考圖3，頂部160進一步包括一摺疊鏡162及一感測器束164。鏡162包括一高度反射性表面162a，其係沿頂部160之底面160d設置，且係定位以於操作期間反射從投射器總成184之上端184a投射的光、影像等朝向板200。鏡162可包含任何合宜型別之反射鏡或反射面。於此 一實施例中，摺疊鏡162包含一標準前表面經真空金屬化鍍鋁之玻璃鏡，其係作用以將從總成184發射之光摺疊朝向板200。於其它實施例中，鏡162可具有複合非球面曲率以用作為反射透鏡元件而提供額外聚焦倍率或光學矯正。
感測器束164包括多個感測器(例如非同質感測器)及/或相機以於操作期間度量及/或偵測出現在板200上彧其附近的各個參數。舉例言之，於圖3中描述之特定具現中，束164包括一周圍光感測器164a、一相機(例如一彩色相機)164b、一深度感測器或相機164c、及一三維(3D)使用者介面(例如手勢)感測器164d。各個感測器可具有不同解析度及視野。於一個實施例中，此等感測器各自可瞄準水平接觸敏感板200及接觸敏感表面202(例如投射器之螢幕)。因此，此等感測器之視野可重疊。
其中可使用感測器束164之應用實施例包括對象檢測、對象追蹤、對象辨識、對象分類、對象分節、對象拍攝與重組、光接觸、放大實境表示型態、或其它應用。對象檢測可指檢測於拍攝的視覺資料中是否存在有一對象，該視覺資料可包括一影像或視訊。對象追蹤可指追蹤對象之移動。對象辨識可指識別一特定對象，諸如識別一型對象，識別一人等。對象分類可指將一對象追蹤成多個等級或類別。對象分節可指將一對象分節成多節。對象拍攝與重組可指拍攝一對象之視覺資料與重組該對象之一模型。光接觸可指辨識意圖提供輸入給一系統之由使用者的手、觸控筆、或其它實體物件所打手勢。該等手勢係類似 相對應於滑鼠裝置移動之手勢或在一接觸敏感顯示面板上所打的手勢。但光接觸允許該等手勢打在未經組配以檢測使用者輸入之三維(3D)空間內或實體目標上。
放大實境表示型態可指一實體、實際世界環境之表示型態由額外資訊所放大，包括音訊資料、視訊資料、影像資料、文字資料等。於放大實境中，視覺感測器(或視覺感測器之簇集)可拍攝一實體目標之視覺資料。應答於所拍攝之實體目標之辨識，可產生一放大實境表示型態。舉例言之，實體目標可為報紙或雜誌中的一圖像，而該圖像之拍攝可造成一線上電子遊戲開始啟動。報紙或雜誌中的該給定圖像可以是一遊戲角色、一廣告、或與該線上電子遊戲相聯結的其它資訊。被觸發的該放大實境表示型態可包括該被拍攝實體目標之視覺資料，以及環繞該被拍攝實體目標之其它資料(例如遊戲環境)。
周圍光感測器164a係經配置以度量環繞系統100之該環境的光強度，以便於若干具現中，調整該相機及/或該感測器(例如感測器164a、164b、164c、164d)的曝光設定值，及/或調整從遍布系統的其它來源例如投射器總成184、顯示器152等發射之光強度。於某些情況下，相機164b包含一彩色相機，其係經配置以拍攝設置於板200上的一對象及/或一文件之靜像或視訊。深度感測器164c通常指示何時一3D對象位在該工作表面上。更明確言之，深度感測器164c可感測或檢測於操作期間位在板200上的一對象(或一對象之特定特性件)之存在、形狀、輪廓、移動、及/或3D 深度。深度感測器164c對於因照明改變、陰影的存在、或由投射器產生的動態背景所致之效應相當穩健。來自深度感測器164c之輸出資訊可為三維(3D)深度資訊(又稱「深度對映圖」)、紅外線(IR)影像框及紅綠藍(RGB)影像框。一「影像框」係指組成一影像之視覺資料點之一集合。深度資訊係指該實體目標相對於該深度相機之一深度；此一深度資訊表示該實體目標(或該實體目標之一部分)與該深度相機間之距離。深度感測器及IR感測器可用以輔助顯然接近RGB色(例如白色上的白色)2D對象之分節以拍攝板表面200。該2D對象的視覺光頻與板200顯然無異，但在IR波長可具有不同反射率，因而可輔助分節，只要一個感測器影像中之像素已知相對應於另一個感測器影像中之像素即可。若深度感測器偵測得對象高度與板高度間之差異，則其影像分析可使用該等像素從深度影像變換成RGB影像而協助前景/背景分節。
如此，於若干具現中，感測器164c可採用任何合宜的感測器或相機配置以感測及檢測一3D對象及/或設置於該感測器的視野(FOV)內之各個像素(無論紅外線、彩色、或其它)之深度值。舉例言之，於若干具現中，感測器164c可包含具有一致IR光照明之單一紅外線(IR)相機感測器、具有一致IR光照明之雙重紅外線(IR)相機感測器、結構化光深度感測器技術、飛行時間(TOF)深度感測器技術、或其若干組合。於若干具現中，深度感測器164c可用作為參考感測器用以對齊全部其它感測器及投射器，容後詳述。
使用者介面感測器(例如手勢感測器)164d包括用以追蹤一使用者輸入裝置諸如手、觸控筆、指標裝置等的任何合宜裝置(例如感測器或相機)。於若干具現中，感測器164d包括一對相機，其係經組配以當一使用者輸入裝置(諸如觸控筆)被一使用者環繞板200，特別環繞板200之表面202移動時立體追蹤其位置。於其它實施例中，感測器164d也可或另可包括一紅外線相機或感測器其係經組配以檢測由一使用者輸入裝置所發射的或所反射的紅外光。因此，來自感測器164d之輸出資訊可為被檢測的特性件(例如手指、觸控筆及工具)之3D座標(亦即x、y及z)。
進一步須瞭解束164可包含前文描述之感測器164a、164b、164c、164d替代或除外之其它感測器及/或相機。此外，容後詳述，於束164內部之感測器164a、164b、164c、164d係電氣式及通訊式耦接至裝置150，使得於操作期間於束164內部產生之資料可發射給裝置150，及由裝置150簽發之指令可通訊給感測器164a、164b、164c、164d。如同前文針對系統100之其它組件解釋，任何合宜電氣耦合及/或通訊耦合皆可用以將感測器束164耦接至裝置150，諸如電導體、WI-FI、藍牙、光連結、超音波連結、或其若干組合。於此一實施例中，電導體可安排路徑從束164，經由頂部160、直立構件140、及投射器單元180，及通過前文描述之配置於安裝構件186內部的引線而進入裝置150內。
於一個具現中，束164係經校準以便讓全部感測器一起工作。若束164係未經妥適校準，則組合由感測器(例 如感測器164a、164b、164c、164d)收集的視覺資料可能無法提供準確的結果。因此，為了許可感測器束之妥適操作，可執行校準程序以相對於彼此校準視覺感測器，容後詳述。依據若干具現，提出校準機構或技術以校準屬於束164之一部分的感測器。此外，感測器164a、164b、164c、164d全部要求對齊投射器單元180。此等對齊提供全部此等組件間之通訊。更明確言之，對齊提供予橫跨不同感測器傳播資訊，及從全部感測器投射資訊用於在系統100之各項應用中進一步處理。為了達成對齊，可能須建立一通用座標系。更明確言之，當一個感測器定位在該視野內部之一對象時，其它感測器及投射器單元180可識別此一對象在其本身座標系中之位置。
於一個具現中，系統100可包括一程式用以證實系統100內部之該等組件相對於彼此之對齊。該程式可由在裝置150內部執行的軟體起始。舉個實例，該程式可證實接觸敏感板200相對於其它組件是否對齊，及感測器束164相對於投射器總成184是否妥為校準，容後詳述。舉例言之，查驗程式可定期(例如每週一次)執行，系統100啟動時執行，或當板200重新連結時執行。若偵測得系統100內部組件之不對齊，則可執行校準操作。
舉例言之，至少在投射器總成184與接觸敏感表面202間，系統100內部組件之對齊可根據對映方法諸如單應性矩陣(homography)，藉由檢測接觸敏感表面202之角隅及投射器顯示空間之角隅，及決定兩組角隅間之對應關係 而予查證。舉例言之，可產生兩組角隅間之向量偏位以便決定任何對應關係。基於檢測得兩組角隅間之差異，可在系統100之一或多個組件上執行校準操作(例如自動及/或手動)，容後詳述。舉例言之，接觸敏感表面202之角隅可反向對映至投射器顯示空間之角隅，用以估計在投射器總成184與接觸敏感板200間之一重新對齊單應性矩陣。
現在參考圖5及6，於系統100之操作期間，光187係從投射器總成184發射，及從反射鏡162反射出朝向板200，藉此在一投射器顯示空間188顯示一影像。於此一實施例中，空間188為實質上矩形，且係由長度L188及寬度W188界限。於若干實施例中，長度L188可等於約16吋，而寬度W188可等於約12吋；但須瞭解可使用長度L188及寬度W188之其它值而仍然依從此處揭示之原理。此外，束164內部之感測器(例如感測器164a、164b、164c、164d)包括一感測空間168，於至少若干實施例中，如前文描述重疊及/或相對應於投射器顯示空間188。空間168界定了束164內部之感測器經組配以以前述方式監測及/或偵測其狀況的該體積。於若干實施例中，如前文描述，空間188及空間168兩者重合或相對應於板200之表面202，以有效地整合在一經界定區域內部該接觸敏感表面202、投射器總成184、及感測器束164之功能。於一個具現中，投射器顯示空間188可重合接觸敏感板200之接觸敏感表面202，使得空間188之邊界恰落在接觸敏感表面202之邊界內部。
現在參考圖5-7，於若干實施例中，裝置150導向 總成184以投射一影像至板200之表面202上。此外，裝置150也可顯示一影像於該顯示器152上(該影像可與藉總成184投射在表面202上的影像相同或相異)。由總成184投射之影像可包含由在裝置150內部執行之軟體所產生的資訊及/或影像。一使用者(圖中未顯示)然後藉由實體上接合板200之該接觸敏感表面202，可與顯示在表面202及顯示器152上的該影像互動。此種互動可透過任何合宜方法進行，諸如與一使用者的手35直接互動，經由一觸控筆25或其它適當使用者輸入裝置互動。多重感測器及投射器校準空間許可使用者將實體對象導入此一空間內，及因該感測器座標變換能力故，該系統能夠以該投射器追蹤、拍攝及影響該對象之視覺效應。
如圖7顯示，當一使用者與板200之表面202互動時產生一信號，該信號經由前述電氣耦合方法及裝置中之任一者而安排至裝置150之路徑。一旦裝置150接收到板200內部產生之信號，該信號經由內部導體路徑153而安排路徑至處理器250，該處理器250與非過渡電腦可讀取儲存媒體260通訊以產生一輸出信號，然後該信號路由返回投射器總成184及/或顯示器152以分別地具現投射至表面202上的影像及/或顯示在顯示器152上的影像之改變。也須瞭解於此處理期間，一使用者也可經由接合配置其上的接觸敏感表面及/或經由另一使用者輸入裝置諸如鍵盤及滑鼠而與顯示在顯示器152上的影像互動。
此外，於若干實施例中，觸控筆25進一步包括一 發射器27其係配置以追蹤觸控筆25之位置(無論觸控筆25是否與表面202互動)，及經由一無線信號50而與配置於裝置150內部之一接收器270通訊。於此等實施例中，由接收器270接收自觸控筆25上的發射器27之輸入也經由路徑153而路徑安排至處理器250，使得如前文描述可產生一輸出信號及路徑安排至總成184及/或顯示器152。
又復，於若干實施例中，含括於感測器束164中之感測器(例如感測器164a、164b、164c、164d)也可產生系統輸入，其係路徑安排至裝置150用以藉處理器250及裝置260進一步處理。舉例言之，於若干具現中，感測器束164可感測一使用者的手35或觸控筆25之位置及/或存在，及然後產生一輸入信號，其係路徑安排至處理器250。然後處理器250產生一相對應輸出信號，其係以前述方式路徑安排至顯示器152及/或投射器總成184。更明確言之，於若干具現中，束164包括一對相機或感測器，其係配置以進行立體觸控筆追蹤(例如觸控筆25追蹤)。於又其它具現中，觸控筆25包括一梢端26其係塗覆以紅外線逆反射塗層(例如塗料)，如此許可其用作為一紅外線逆反射器。感測器束164(及更特別感測器164c、164d)然後可進一步包括如前文描述之紅外線相機或感測器，其偵測反射離觸控筆25之梢端26的紅外光，及如此於操作期間移動橫跨表面202時追蹤梢端26之位置。
結果，於若干實施例中，由總成184投射至表面202上的該影像用作為系統100內部之一第二或替代接觸敏 感顯示器。此外，與顯示在表面202上之影像互動係如前文描述透過使用感測器束164中之該等感測器(例如感測器164a、164b、164c、164d)而進一步加強。
再者，計算裝置150可包含一校準模組280，其可根據用以校準束164及投射器總成184中之感測器的若干具現而執行校準程序。於若干實施例中，校準模組280可具現為在一或多個處理器250上可執行的機器可讀取指令。於其它實施例中，校準模組可存在於計算裝置150外部的一校準模組系統內，且可具現為硬體。於一個實施例中，校準模組280可透過網路而與束164通訊。又，非過渡電腦可讀取儲存媒體260可儲存對映資訊，於該處該對映資訊係有關於束164之不同感測器間之對映。除了使用投射器總成184校準之外，該對映資訊係用以在束164之感測器間執行校準。於一個具現中，可推衍出在束164中之各對感測器間之單應性矩陣對映關係。一單應性矩陣對映關係乃3D對2D之對映關係，及(該深度感測器164c之)三維(3D)座標與(束164之另一感測器之)二維(2D)座標間之對映關係。舉例言之，針對感測器束164中之深度感測器164c與手勢感測器164d間之直接對映可推衍出一3D單應性矩陣對映關係。於另一個實施例中，可界定深度感測器164c之3D座標與束164之2D座標間之一投射對映關係。更明確言之，二感測器間之3D對映可包括尺規、旋轉、平移及深度不變量。
於一個實施例中，校準係藉由能夠將該第一感測器(例如深度感測器164c)及第二感測器(例如手勢感測器 164d)中之一者的資料對映至該等第一及第二視覺感測器中之另一者的該座標空間而予達成。該系統可使用第一感測器之座標系或第二感測器之座標系。此項處理可涉及計算該對感測器(該等第一及第二感測器)之一透視變換。該透視變換可定義為在一平面的直射變換設定，係藉在該平面上從兩個不同投射中心投射另一平面點，及各對感測器可具有經計算之透視變換。於另一個實施例中，基於一可見原點，基於實體實際座標可使用一通用座標系，該可見原點在該等多個感測器中之至少一者的視野中為可見。舉例言之，可識別與該等多個感測器中之至少一者分享一透視變換之一通用座標系。此項處理可針對束164中之成對視覺感測器迭代重複以提供束164中之成對感測器彼此間之一直接3D對2D對映關係。
此外，仍然參考圖5-7，至少若干實施例於操作期間，系統100可拍攝二維(2D)影像或產生一實體對象之3D掃描，使得該對象之一影像可投射至表面202上以供進一步使用及操控。更明確言之，於若干實施例中，一對象40可置於表面202上使得束164內部之感測器(例如相機164b、深度感測器164c等)可偵測例如對象40之位置、維度、及於某些情況下色彩以加強一2D影像或產生一3D掃描。然後由束164內部之感測器(例如感測器164b、164c)所收集的資訊可路徑安排至處理器250，該處理器250如先前描述與裝置260通訊。其後，處理器250指示投射器總成184投射對象40之一影像至表面202上。容後詳述，當使用該投射器及相機之 校準單應性矩陣時，處理器250可指示電腦系統150中之一應用程式環繞一對象畫出一又緊又細的白輪廓而可由觀看對象40之相機164b看到。由於校準處理結果(例如使用一通用座標系，結果導致橫跨全部感測器及投射器的相同解析度及影像縱橫比)，投射輪廓匹配對象40之實體位置。
於若干實施例中，也須瞭解其它對象諸如文件或照片也可藉束164內部之感測器掃描以便產生其影像，該影像以總成184投射至表面202上。此外，於若干實施例中，一旦一對象藉束164內部之感測器掃描，該影像之背景可在所得投射至表面202上(或顯示在裝置150之顯示器152上)的影像內部選擇性地以數位方式去除。如此，於若干實施例中，實體對象(例如對象40)之影像可於操作期間經拍攝、數位化及顯示在表面202上，以快速地容易地產生一實體對象之一數位版本，以許可使用符合此處描述之方式進一步操縱。
如前記，在深度感測器164c之3D座標與投射器總成184之2D座標間可定義一投射對映關係。投射器總成184可用以投射一校準圖樣(其為已知圖樣或預定圖樣)至該投射表面202上。於一個具現中，校準圖樣可投射至白色平坦表面對象上以使得該投射內容變成可見。於若干實施例中，該對象可為於3D空間中之一平面。該校準圖樣可為棋盤圖樣。
深度感測器164c可拍攝一校準圖樣影像，其係藉投射器總成184投射至該對象上。由深度感測器164c拍攝之 (被投射之校準圖樣影像的)視覺資料係在3D空間(由3D座標界定)，而由投射器總成184所投射之校準圖樣係在2D空間(由2D座標界定)。深度感測器164c之該等3D座標與投射器總成184之該等2D座標間之投射對映關係由如下方程式1定義：x=PX 1 (Eq.1)於該處x表示2D座標及X表示3D座標。更明確言之，方程式1可寫成 於該處x=[u v 1] T 表示2D座標，X=[x w y w z w 1] T 表示3D座標，zc為任意尺規(具有一預定值)，K表示內在參數，R表示外在旋轉參數，及t表示外在平移參數。內在參數K定義如下： 於該處fx、fy表示視覺感測器之一透鏡的焦距，u0、v0表示沿該視覺感測器之一光軸之一光學中心，及s為一扭斜係數其表示該視覺感測器之扭斜失真。
外在旋轉參數(R)及外在平移參數(t)乃一感測器之該等幾何參數之一部分。該等旋轉參數可定義一視覺感測器於幾何空間之搖擺、傾斜、及偏離。該等平移參數可定義該視覺感測器於幾何空間之平移位置。
於所描述之方式，經由使用依據此處揭示原理之一電腦系統100之實施例，額外接觸敏感顯示器可投射至一 接觸敏感表面(例如表面202)上以提供一計算裝置(例如裝置150)之雙螢幕能力。此外，經由使用依據此處揭示原理之一電腦系統100之實施例，一實體對象(例如對象40)可經掃描藉此產生該實體對象之一數位版本用以在一計算裝置(例如顯示器152及/或表面202)之一顯示表面上觀看及/或操縱。又，經由依據此處揭示原理一電腦系統100之使用，可產生針對位在遠端之使用者的一數位分享工作站，其中實體內容可在該數位協作工作站的全部同時使用者間掃描、數位化、及分享，及與該數位內容及/或實體對象之使用者互動為全部參與者所可見。
雖然裝置150已被描述為一體機電腦，但須瞭解於其它實施例中，裝置150可進一步採用更為傳統的使用者輸入裝置，諸如鍵盤及滑鼠。此外，雖然束164內部之感測器164a、164b、164c、164d已被描述為各自表示單一感測器或相機，但須瞭解該等感測器164a、164b、164c、164d中之各者可各自包括多個感測器或相機而仍然依從此處揭示之原理。又，雖然頂部160已經描述為一懸臂式頂部，但須瞭解於其它實施例中，頂部160可被支承於多於一點，如此可能非懸臂式而仍然依從此處揭示之原理。
現在轉向系統100之操作，圖8例示依據一具現處理流程圖800之一實施例。該處理程序800描繪可與一感測器束及投射單元互動之方法實施例。機器可讀取指令可指令該處理器250以許可系統100執行如圖8中藉流程圖例示之該處理程序800。於一個具現中，該系統100可應答於自 一使用者接收一指令執行該處理程序800以控制該投射系統。
該處理程序800始於方塊805，於該處於該系統中之多個感測器中之第一感測器拍攝一校準圖樣及提供給一校準模組。於一個實施例中，該校準圖樣可為已知之或預定圖樣。舉例言之，該校準圖樣可為棋盤圖樣。
於方塊810，該系統之該校準模組檢測得自該感測器束中之感測器的特性件。於一個具現中，該校準模組涉及識別校準圖樣影像實施例之該棋盤圖樣特徵。於一個實施例中，該等特徵可與第一感測器之座標空間內的座標相聯結。
於方塊815，該校準模組將該經檢測之特性件之座標對映至一通用座標空間。於一個實施例中，該等通用空間座標可表示界定於距離與該第一感測器相聯結的一第一位置為任意距離之一座標空間。再者，該通用座標空間可與該第一感測器分享一透視變換。
於方塊820，該校準模組根據對映的座標而推衍出一第二感測器之該座標空間及通用座標空間的該等座標(及更特別為該通用座標空間)與該第一感測器之該座標空間之該等座標對映關係。此種對映關係可用以校準於該感測器束中之該等感測器。
於另一個具現中，該校準模組根據對映的座標而推衍出一投射器之該座標空間與該通用座標空間的該等座標間之對映關係。此種對映關係可用以校準該投射器與該 感測器束中之該等感測器。
前文討論意圖用於例示本發明之原理及各個實施例。一旦完整地瞭解前文揭示，熟諳技藝人士顯然易知無數變化及修改。意圖後文申請專利範圍各項係解譯為涵蓋全部此等變化及修改。
15‧‧‧支持表面
100‧‧‧系統、電腦系統
120‧‧‧底部
120a‧‧‧前端
120b‧‧‧後端
122‧‧‧凸部
140‧‧‧直立構件
140a、182a、184a‧‧‧上端
140b、182b、184b‧‧‧下端
140c、150c、200a‧‧‧前側
140d、150d、200b‧‧‧後側
150‧‧‧裝置、計算裝置
150a‧‧‧頂側
150b‧‧‧底側
160‧‧‧頂部
160a‧‧‧近端
160b‧‧‧遠端
160c‧‧‧頂面
160d‧‧‧底面
162‧‧‧摺疊鏡
164‧‧‧感測器束
164a、164b、164c、164d‧‧‧感測器
180‧‧‧投射器單元
182‧‧‧殼體
184‧‧‧投射器總成
186‧‧‧構件
200‧‧‧接觸敏感板

Claims (15)

  1. 一種系統，其包含：一投射器單元；包括一校準模組且可附接於該投射器單元之一個一體化電腦；通訊式耦接至該一體化電腦之多個感測器；及其中該一體化電腦儲存與一通用座標系中該等多個感測器與該投射器單元間之對映有關之對映資訊，及其中該校準模組運用該對映資訊校準該等多個感測器及該投射器單元。
  2. 如請求項1之系統，其中該校準模組計算該等多個感測器間之透視變換以推衍該等多個感測器間之該等對映。
  3. 如請求項1之系統，其中該校準模組對映該等多個感測器及該投射器單元至一參考感測器，其中該參考感測器為一深度感測器。
  4. 如請求項1之系統，其中該等對映包含一三維(3D)對二維(2D)對映，其在該等多個感測器中之一個感測器之3D座標與另一個感測器之2D座標間對映。
  5. 如請求項1之系統，其中該等多個感測器包含一深度感測器及一手勢感測器，及該對映包含該深度感測器與該手勢感測器之資料之對映。
  6. 如請求項1之系統，其中該等多個感測器包含一深度感測器，及該等對映包含該深度感測器之3D座標與該投射 器單元之2D座標間之一投射對映。
  7. 如請求項1之系統，其中該等多個感測器間之該等對映包括有關於尺規、旋轉、平移及深度不變量之資料。
  8. 如請求項1之系統，其中該等多個感測器中之一者為一深度感測器，及該深度感測器檢測由該投射器單元所投射之一校準圖樣。
  9. 如請求項7之系統，其中有校準圖樣可為已知或預定之圖樣，諸如一棋盤式圖樣。
  10. 如請求項7之系統，其中有校準圖樣係關聯於該等多個感測器與該投射器單元間於該通用座標系內之該等對映使用。
  11. 如請求項1之系統，其中該等多個感測器包含多個相機，其中部分係用於深度檢測、手勢感測及立體觸控筆追蹤。
  12. 一種用於提供多個感測器與一投射器單元間之校準之方法，該方法包含：接收一校準圖樣，其中該等多個感測器具有至少一第一感測器及一第二感測器；檢測該校準圖樣之特性點，該等特性點與該第一感測器之座標空間內之座標相關聯；將該等經檢測之特性點之座標對映至一通用座標空間；及基於該等經對映之座標及於該第一感測器之該座標空間內之該等座標，推衍於第二感測器之座標空間內 之座標與該通用座標空間之間的一對映。
  13. 如請求項12之方法，其進一步包含計算該第一感測器與該第二感測器間之一透視幾何。
  14. 如請求項12之方法，其進一步包含推衍在該等感測器與該投射器單元間之一投射對映。
  15. 如請求項14之方法，其中該等多個感測器包含一深度感測器，及該投射對映係在該深度感測器之3D座標與該投射器單元之2D座標間。
TW103143689A 2014-02-28 2014-12-15 感測器與投射器之校準技術 TWI547828B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/019693 WO2015130320A1 (en) 2014-02-28 2014-02-28 Calibration of sensors and projector

Publications (2)

Publication Number Publication Date
TW201533612A TW201533612A (zh) 2015-09-01
TWI547828B true TWI547828B (zh) 2016-09-01

Family

ID=54009487

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103143689A TWI547828B (zh) 2014-02-28 2014-12-15 感測器與投射器之校準技術

Country Status (5)

Country Link
US (1) US10241616B2 (zh)
EP (1) EP3111299A4 (zh)
CN (1) CN106255938B (zh)
TW (1) TWI547828B (zh)
WO (1) WO2015130320A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016105496A1 (de) * 2015-03-26 2016-09-29 Faro Technologies Inc. System zur Prüfung von Objekten mittels erweiterter Realität
US9791979B2 (en) 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9804718B2 (en) * 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US9690400B2 (en) 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US11106314B2 (en) * 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US9720446B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
FR3043295A1 (fr) * 2015-11-04 2017-05-05 Florence Christine Elisabeth Maliar Dispositif de realite augmentee spatiale pour un environnement de bureau
CN112859563B (zh) * 2016-07-24 2022-07-05 光场实验室公司 用于全息能量引导系统的校准方法
US20180059863A1 (en) * 2016-08-26 2018-03-01 Lenovo (Singapore) Pte. Ltd. Calibration of pen location to projected whiteboard
US10275047B2 (en) 2016-08-30 2019-04-30 Lenovo (Singapore) Pte. Ltd. Determining stylus location relative to projected whiteboard using secondary IR emitter on stylus
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
WO2019013758A1 (en) * 2017-07-11 2019-01-17 Hewlett-Packard Development Company, L.P. PROJECTION CALIBRATION
US20200213576A1 (en) * 2017-09-14 2020-07-02 Oregon State University Automated calibration target stands
US11132090B2 (en) * 2017-12-04 2021-09-28 Hewlett-Packard Development Company, L.P. Peripheral display devices
CN108279809B (zh) * 2018-01-15 2021-11-19 歌尔科技有限公司 一种校准方法和装置
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
US10276075B1 (en) * 2018-03-27 2019-04-30 Christie Digital System USA, Inc. Device, system and method for automatic calibration of image devices
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
KR101977332B1 (ko) * 2018-08-03 2019-05-10 주식회사 버넥트 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
US20220179516A1 (en) * 2019-07-23 2022-06-09 Hewlett-Packard Development Company, L.P. Collaborative displays
CN111123625B (zh) * 2019-12-13 2021-05-18 成都极米科技股份有限公司 投影仪及投影方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201120410A (en) * 2009-12-15 2011-06-16 Ind Tech Res Inst Depth detection method and system using thereof
CN102466519A (zh) * 2010-11-10 2012-05-23 敦南科技股份有限公司 光感测装置的输出信号校正方法及光感测装置
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法
CN102954770A (zh) * 2011-08-15 2013-03-06 佳能株式会社 三维测量设备和三维测量方法
US20130147711A1 (en) * 2010-11-22 2013-06-13 Epson Norway Research And Development As Camera-based multi-touch interaction apparatus, system and method

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US6618076B1 (en) * 1999-12-23 2003-09-09 Justsystem Corporation Method and apparatus for calibrating projector-camera system
US6789039B1 (en) 2000-04-05 2004-09-07 Microsoft Corporation Relative range camera calibration
US7210099B2 (en) 2000-06-12 2007-04-24 Softview Llc Resolution independent vector display of internet content
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
KR100386090B1 (ko) 2001-04-02 2003-06-02 한국과학기술원 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법
US20030076980A1 (en) 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7068303B2 (en) 2002-06-03 2006-06-27 Microsoft Corporation System and method for calibrating a camera with one-dimensional objects
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7119833B2 (en) 2002-12-03 2006-10-10 University Of Kentucky Research Foundation Monitoring and correction of geometric distortion in projected displays
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US20040222987A1 (en) 2003-05-08 2004-11-11 Chang Nelson Liang An Multiframe image processing
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7613361B2 (en) 2004-05-14 2009-11-03 Canon Kabushiki Kaisha Information processing method and device
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
JP4681856B2 (ja) 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
WO2006110141A2 (en) 2005-04-11 2006-10-19 Polyvision Corporation Automatic projection calibration
US7773827B2 (en) 2006-02-15 2010-08-10 Mersive Technologies, Inc. Hybrid system for multi-projector geometry calibration
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
WO2008130907A1 (en) 2007-04-17 2008-10-30 Mikos, Ltd. System and method for using three dimensional infrared imaging to identify individuals
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US7671891B2 (en) 2007-05-22 2010-03-02 Microsoft Corporation Online camera calibration
JP2009100342A (ja) 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
KR100966592B1 (ko) 2007-12-17 2010-06-29 한국전자통신연구원 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
US8310525B2 (en) 2008-10-07 2012-11-13 Seiko Epson Corporation One-touch projector alignment for 3D stereo display
GB2466497B (en) * 2008-12-24 2011-09-14 Light Blue Optics Ltd Touch sensitive holographic displays
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US7901095B2 (en) 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
JP2010273091A (ja) 2009-05-21 2010-12-02 Nippon Telegr & Teleph Corp <Ntt> 広域多視点カメラ校正方法、広域多視点カメラ校正装置、およびプログラム
KR101095670B1 (ko) 2009-07-06 2011-12-19 (주) 비전에스티 스테레오 카메라의 고속 칼리브레이션 및 렉티피케이션 방법 및 장치
US20110010122A1 (en) 2009-07-07 2011-01-13 Delta Design, Inc. Calibrating separately located cameras with a double sided visible calibration target for ic device testing handlers
US8355601B2 (en) 2010-01-15 2013-01-15 Seiko Epson Corporation Real-time geometry aware projection and fast re-calibration
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US9760123B2 (en) * 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US9357206B2 (en) * 2011-05-25 2016-05-31 Third Dimension Ip Llc Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
US9270974B2 (en) 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
WO2013019217A1 (en) * 2011-08-02 2013-02-07 Hewlett-Packard Development Company, L.P. Projection capture system and method
US20130076654A1 (en) 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
DE102011114674C5 (de) 2011-09-30 2020-05-28 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
US9658715B2 (en) * 2011-10-20 2017-05-23 Microsoft Technology Licensing, Llc Display mapping modes for multi-pointer indirect input devices
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US8497841B1 (en) * 2012-08-23 2013-07-30 Celluon, Inc. System and method for a virtual keyboard
US9519968B2 (en) 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
US9210404B2 (en) 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
CN103455141B (zh) * 2013-08-15 2016-07-06 无锡触角科技有限公司 互动投影系统及其深度传感器和投影仪的校准方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201120410A (en) * 2009-12-15 2011-06-16 Ind Tech Res Inst Depth detection method and system using thereof
CN102782721A (zh) * 2009-12-24 2012-11-14 康耐视公司 用于相机校准误差的运行时测定的系统和方法
CN102466519A (zh) * 2010-11-10 2012-05-23 敦南科技股份有限公司 光感测装置的输出信号校正方法及光感测装置
US20130147711A1 (en) * 2010-11-22 2013-06-13 Epson Norway Research And Development As Camera-based multi-touch interaction apparatus, system and method
CN102954770A (zh) * 2011-08-15 2013-03-06 佳能株式会社 三维测量设备和三维测量方法

Also Published As

Publication number Publication date
TW201533612A (zh) 2015-09-01
US20160378258A1 (en) 2016-12-29
US10241616B2 (en) 2019-03-26
EP3111299A4 (en) 2017-11-22
EP3111299A1 (en) 2017-01-04
WO2015130320A1 (en) 2015-09-03
CN106255938B (zh) 2019-12-17
CN106255938A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
TWI547828B (zh) 感測器與投射器之校準技術
TWI608426B (zh) 基於表示標的之影像判定區隔邊界之技術
TWI531929B (zh) 基於影像來識別觸控表面的目標接觸區域之技術
TWI529475B (zh) 具有投影機單元和電腦之系統
US10268318B2 (en) Touch sensitive mat of a system with a projector unit
TWI546719B (zh) 用以鏡面式反射紅外光線之投影螢幕
TWI545463B (zh) 投影系統及管理投影系統之方法
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US10318067B2 (en) Corner generation in a projector display area
US10725586B2 (en) Presentation of a digital image of an object
US10649584B2 (en) Process image according to mat characteristic
EP3486815A1 (en) Model data of an object disposed on a movable surface

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees