TW201520904A - 基於表示標的之影像判定區隔邊界之技術 - Google Patents

基於表示標的之影像判定區隔邊界之技術 Download PDF

Info

Publication number
TW201520904A
TW201520904A TW103132275A TW103132275A TW201520904A TW 201520904 A TW201520904 A TW 201520904A TW 103132275 A TW103132275 A TW 103132275A TW 103132275 A TW103132275 A TW 103132275A TW 201520904 A TW201520904 A TW 201520904A
Authority
TW
Taiwan
Prior art keywords
image
camera
depth
rgb
resolution
Prior art date
Application number
TW103132275A
Other languages
English (en)
Other versions
TWI608426B (zh
Inventor
Daniel R Tretter
Jin-Man Kang
Kar-Han Tan
Wei Hong
David Bradley Short
Otto Sievert
Original Assignee
Hewlett Packard Development Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co filed Critical Hewlett Packard Development Co
Publication of TW201520904A publication Critical patent/TW201520904A/zh
Application granted granted Critical
Publication of TWI608426B publication Critical patent/TWI608426B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

此處描述之實施例係有關於基於表示一標的之影像判定一區隔邊界之技術。實施例包括基於由設在一IR相機與一IR吸收表面間之一標的所反射的IR光之一IR影像，表示設在該彩色相機與與IR吸收表面間之該標之一彩色影像，及決定該標的之一區隔邊界。

Description

基於表示標的之影像判定區隔邊界之技術
本發明係有關於基於表示標的之影像判定區隔邊界之技術。
發明背景
許多計算系統包括至少一個顯示器及至少一個輸入裝置。該顯示器可包括例如一監視器、一螢幕等。輸入裝置之實施例包括一滑鼠、一鍵盤、一觸控墊等。若干計算系統包括一觸控顯示器以顯示該計算系統之輸出及接收實體(例如接觸)輸入兩者。
依據本發明之一實施例，係特地提出一種計算系統包含：一紅外線(IR)吸收表面；配置於該IR吸收表面上方且指向該表面之一IR相機以基於由設置於該RGB相機與該IR吸收表面間之一標的反射的IR光而拍攝表示該標的之一IR影像；一RGB相機以拍攝表示設置於該IR相機與該IR吸收表面間之該標的之一RGB影像；及一區隔引擎以根據該IR影像及該RGB影像判定表示該標的之至少一個外緣之一區隔邊界。
15‧‧‧支持表面
25‧‧‧觸控筆
26‧‧‧梢端
35‧‧‧手、標的
40‧‧‧標的
100‧‧‧計算系統
110‧‧‧支持結構
120‧‧‧底部
120A‧‧‧前端
122‧‧‧凸部
140‧‧‧直立構件
140A、182A、184A‧‧‧第一或上端
140B、182B、184B‧‧‧第二或下端
140C、200A‧‧‧第一或前側
140D、200B‧‧‧第二或後側
150、350‧‧‧計算裝置
150A‧‧‧第一或頂側
150B‧‧‧第二或底側
150C‧‧‧前側
152‧‧‧顯示器
155、205‧‧‧中軸或中線
160‧‧‧頂部
160A‧‧‧第一或近端
160B‧‧‧第二或遠端
160C‧‧‧頂面
160D‧‧‧底面
162‧‧‧摺疊鏡
162A‧‧‧高度反射表面
164‧‧‧感測器束
164A‧‧‧RGB相機、彩色相機
164B‧‧‧IR相機
164C‧‧‧深度相機、深度感測器
164D‧‧‧周圍光感測器
165‧‧‧視野
166‧‧‧IR光投影器
167‧‧‧IR光
168‧‧‧空間
170‧‧‧區隔引擎
172‧‧‧組合引擎
174‧‧‧邊界引擎
176‧‧‧升頻取樣引擎
178‧‧‧精製引擎
180‧‧‧投影器單元
182‧‧‧外殼、殼體
183‧‧‧內腔
184‧‧‧投影器總成
186‧‧‧安裝構件
187‧‧‧可見光
188‧‧‧投影器顯示空間
188L‧‧‧長度
188W‧‧‧寬度
190‧‧‧媒介影像
192、194‧‧‧位置
200‧‧‧IR吸收表面
202‧‧‧觸控區域
310‧‧‧處理資源
320‧‧‧機器可讀取儲存媒體
322-328‧‧‧指令
702‧‧‧RGB影像
704‧‧‧IR影像
706‧‧‧深度影像
708‧‧‧區隔邊界
712、714、716‧‧‧表面表示型態
718‧‧‧背景表示型態
722、724、726、728‧‧‧標的表示型態
725‧‧‧邊界
900、1000‧‧‧方法
905-935、1005-1035‧‧‧處理方塊、方法步驟
後文詳細說明部分參考附圖，附圖中：圖1為包含一區隔引擎之一計算系統實施例之示意透視圖；圖2為圖1之該計算系統實施例之另一示意透視圖；圖3為圖1之該計算系統實施例之一示意側視圖；圖4為圖1之該計算系統實施例之一示意前視圖；圖5為圖1之該計算系統實施例於一範例操作期間之一示意側視圖；圖6為圖1之該計算系統實施例於一範例操作期間之一示意前視圖；圖7A為圖1之該計算系統實施例於影像拍攝實施例期間之一示意側視圖；圖7B為包含該區隔引擎之圖1之該計算系統之一部分實施例之一方塊圖；圖7C為由圖1之該計算系統實施例拍攝的一RGB影像實施例之一示意圖；圖7D為由圖1之該計算系統實施例拍攝的一紅外線(IR)影像實施例之一示意圖；圖7E為由圖1之該計算系統實施例拍攝的一深度影像實施例之一示意圖；圖7F為由該區隔引擎判定的一區隔邊界實施例之一示意圖； 圖7G為包含該區隔引擎之圖1之該計算系統之另一部分實施例之一方塊圖；圖8為基於一RGB影像、一IR影像及一深度影像判定一區隔邊界之一裝置實施例之一方塊圖；圖9為判定一區隔邊界之一方法實施例之一流程圖；及圖10為過濾一升頻取樣區隔邊界之一方法實施例之一流程圖。
較佳實施例之詳細說明
除了前述輸入裝置之外，相機乃用於計算系統之一輸入裝置之另一實施例。於若干實施例中，一計算系統可使用該相機拍攝視訊或一靜像。該視訊或靜像可透過合宜電腦網路提供給另一計算系統。於其它實施例中，藉該相機拍攝之一影像可經分析，及該計算系統可運用該影像之內容作為計算系統之輸入。舉例言之，計算系統可分析於該拍攝影像中表示之一標的，及根據表示於該影像中之該標的特性(例如所在、位置、方向性、形狀等)判定該計算系統之輸入。
於此等實施例中，計算系統可對所拍攝影像進行一處理以擷取表示於該所拍攝影像中之至少一個前景標的之一影像。此種處理程序於此處可稱作為「區隔」。於若干實施例中，此種區隔處理的結果可以是前景標的與表示於該所拍攝影像中之至少一個背景分開之一影像。
於若干實施例中，一區隔處理可包含表示於一所 拍攝影像中之一標的之一區隔邊界。如此處使用，針對表示於一影像中之一標的之一「區隔邊界」可為表示該標的之影像部分及表示非為該標的之特性件(例如背景)之影像部分的一估值之資訊。於若干實施例中，表示於一影像中之一標的之一區隔邊界可包括表示如於該影像中表示的該標的之至少一個外緣之資訊。當執行一區隔處理時，一計算系統可使用區隔邊界以從一較大所拍攝影像(例如也表示部分背景)提取該標的之影像。
但可能難以基於藉單一相機拍攝的一影像而準 確地判定一影像之一區隔邊界，原因在於某些條件可能使得難以準確地區分該前景標的與影像中之背景。舉例言之，在陰影之存在下難以基於由彩色相機(例如RGB相機)所拍攝的一影像判定一標的的一區隔邊界，或當該前景標的與該背景的顏色極其相似時。
為了解決此等問題，此處描述之實施例可根據藉 不同型相機拍攝的多個影像而判定一區隔邊界。此處描述之實施例可包括一紅外線(IR)吸收表面，及配置於該IR吸收表面上方且指向該表面之一IR相機以基於由配置於該IR相機與該IR吸收表面間之一標的反射的IR光而拍攝表示一標的之IR影像。實施例也可包括一RGB相機以拍攝表示配置於該RGB相機與該IR吸收表面間之該標的之一RGB影像，及一區隔引擎以基於該IR影像及該RGB影像判定表示該標的之至少一個外緣之一區隔邊界。
藉使用來自不同型相機的多個影像，此處描述之 實施例可更準確地決定一區隔邊界，原因在於影響得自一型相機的影像上執行的區隔的條件可能不影響得自不同型相機的影像上執行的區隔。舉例言之，藉IR相機拍攝影像可能不受陰影或色彩相似度的影響。此外，此處描述之實施例可拍攝IR吸收表面上方之標的之影像，其可增加背景(例如IR吸收表面)與具有IR光之較大反射的前景標的間之反差，其可藉此改良基於，至少部分基於使用該吸作為背景所拍攝的IR影像執行區隔。
現在參考圖式，圖1-7A為包含一區隔引擎170之 一計算系統實施例之示意圖。於若干實施例中，區隔引擎170可用以基於所拍攝的IR及RGB影像判定表示一標的之至少一外緣的一區隔邊界，如前文描述。於圖1-7A之實施例中，系統100大致上包含一支持結構110、一計算裝置150、一投影器單元180、及一IR吸收表面200。
計算裝置150可包含遵照此處揭示原理之任何合 宜計算裝置。如此處使用，一「計算裝置」可包含電子顯示裝置、智慧型電話、平板、晶片組、一體機電腦(例如一裝置包含一顯示裝置，其也罩住該電腦之處理資源)、桌上型電腦、筆記型電腦、工作站、伺服器、任何其它處理裝置或設備、或其組合。於本實施例中，裝置150為一體機電腦具有中軸或中線155、第一或頂側150A、與該頂側150A軸向相對的第二或底側150B、軸向延伸於兩側150A及150B間之一前側150C、也軸向延伸於兩側150A及150B間且與前 側150C概略地徑向相對之一後側150D。一顯示器152係沿前側150C設置及界定計算系統100之一觀看表面以顯示影像以供由系統100之一使用者觀看。於此處描述之實施例中，一顯示器可包括適用以顯示影像、視訊等之任何技術的組件。
於若干實施例中，顯示器152可為觸控顯示器。 於此處描述之實施例中，一觸控顯示器可包括例如適用以顯示影像、視訊等之任何技術(例如組件)，且可包括例如適用以檢測實體接觸(例如接觸輸入)之任何技術(例如組件)，諸如電阻、電容、表面聲波、紅外線(IR)、應變計、光學成像、聲波脈衝辨識、擴散信號感測、或電池內系統等。於此處描述之實施例中，顯示器152可稱作為觸控顯示器152。裝置150可進一步包括一相機154，其例如可為網路攝影機。於若干實施例中，相機154可拍攝位在顯示器152前方之一使用者的影像。於若干實施例中，裝置150也可包括麥克風或其它裝置以接收聲音輸入(例如來自一使用者之語音輸入)。
於圖1-7A之實施例中，支持結構110包括一底部 120、一直立構件140、及一頂部160。底部120包括第一或前端120A、及第二或後端120B。底部120可接合一支持表面15以支承系統100之至少部分組件(例如構件140、單元180、裝置150、頂部160等)的重量。於若干實施例中，當系統100組配用於操作時底部120可以此種方式接合一支持表面15。於圖1-7A之實施例中，底部120之前端120A包括一 凸部122，例如圖2中例示，當底部120係設置於支持表面15上時，該凸部122可設置於支持表面15上方且與其分開(在凸部122與表面15間形成一空間或一餘隙)。於此等實施例中，IR吸收表面200之一側之一部分可設置於(或容納於)凸部122與表面15間所形成的空間。於此等實施例中，將表面200之一部分置於凸部122與表面15間所形成的空間內部可協助表面200的妥適對齊。於其它實施例中，其它合宜方法或裝置可用以協助表面200的對齊。
直立構件140包括第一或上端140A、與該上端 140A相對的第二或下端140B、延伸於該等末端140A與140B間之第一或前側140C、及與前側140C相對的也延伸於該等末端140A與140B間之第二或後側140D。構件140之下端140B係耦聯至底部120之後端120B，使得構件140實質上從支持表面15向上延伸。
頂部160包括第一或近端160A、與該近端160A相 對之一第二或遠端160B、延伸於該等末端160A與160B間之頂面160C、及與頂面160C相對的也延伸於該等末端160A與160B間之底面160D。頂部160之近端160A係耦聯至直立構件140之上端140A使得遠端160B從直立構件140之上端140A向外延伸。如此，於圖2顯示之實施例中，頂部160係支承在末端160A(而非支承在末端160B)，且於此處可稱作懸臂式頂部。於若干實施例中，底部120、構件140、及頂部160可一體成形。於其它實施例中，底部120、構件140、及頂部160中之二或多者可由分開塊件形成(亦即非一體成 形)。
IR吸收表面200可包括一中軸或中線205、一第一 或前側200A、及與該前側200A軸向相對之一第二或後側200B。於圖1-7A之實施例中，表面200可包含實質上對齊軸205之一觸控區域202。區域202可包含用以檢測實體接觸(例如接觸輸入)之任何合宜技術，如前文描述。舉例言之，觸控區域202可包含用以檢測(及於若干實施例中追蹤)一個或多個接觸輸入之任何合宜技術以許可該使用者透過此種接觸輸入而與由裝置150或其它計算裝置執行的軟體互動。於圖1-7A之實施例中，區域202延伸範圍少於全部表面200。於其它實施例中，區域202可延伸於實質上全部表面200上方(例如可與表面200實質上具有共同邊界)。於此處描述之實施例中，IR吸收表面200可為任何合宜的IR吸收平面標的，諸如IR吸收墊(例如IR吸收觸控墊)、桌面、板片等。 於若干實施例中，IR吸收表面200可水平(或約略水平或實質上水平)配置。舉例言之，表面200可設置於支持表面15上而其可為水平(或約略水平或實質上水平)。
如前文描述，表面200可對齊結構110之底部120 以協助表面200之妥當對齊(例如至少於系統100之操作期間)。於圖1-7A之實施例中，表面200之後側200B可設置於底部120之凸部122與支持表面15間，使得後端200B對齊底部120之前端120A以協助表面200與系統100之其它組件的妥當對齊(及特別區域202之妥當對齊)。於若干實施例中，表面200可對齊裝置150使得裝置150之中線155實質上對齊 表面200之中線205。於其它實施例中，表面200可與裝置150差異對齊。
於若干實施例中，區域202與裝置150可彼此通訊 式連結(例如電氣耦接)使得由區域202接收的使用者輸入可通訊給裝置150。區域202與裝置150可透過任何合宜有線或無線通訊技術或機制而彼此通訊，例如WI-FI、藍牙、超音波技術、電纜、電線、電導體、具有磁性固定力的電氣載荷彈簧伸縮接腳等、或其組合。於圖1-7A之實施例中，設置於表面200之後側200B上的暴露電氣接點可接合底部120之凸部122內部的相對應電氣彈簧接腳以於系統100操作期間在裝置150與區域202間通訊資訊(例如移轉信號)。於此等實施例中，該等電氣接點可藉相鄰磁鐵(位在底部120之凸部122與表面15間之餘隙內)維持在一起以磁力吸引及固定(例如機械式)沿表面200之後側200B設置的相對應含鐵及/或磁性材料。
參考圖3，投影器單元180包含一外部殼體182， 及設置於殼體182內部之一投影器總成184。殼體182包括一第一或上端182A、與該上端182A相對之一第二或下端182B、及一內腔183。於圖3之實施例中，殼體182進一步包括一耦聯或安裝構件186以接合及支承裝置150(例如至少於系統100之操作期間)。構件186可為用以懸吊或支承如此處描述之任何合宜計算裝置150的任何合宜機制或裝置。舉例言之，安裝構件186可包含一鉸鏈其包括一轉軸使得裝置150可環繞該轉軸旋轉(例如由一使用者)以達成觀看顯示器 152之一期望角度。於若干實施例中，裝置150可持久地或半持久地附接至單元180之殼體182。於若干實施例中，殼體180及裝置150可一體成形地或單塊地形成為單一單元。
參考圖4，於若干實施例中，當裝置150係透過殼 體182上的安裝構件186而從結構110懸吊時，從前方觀看系統100(亦即實質上面對設置裝置150的前側150C上的顯示器152)，投影器單元180(亦即殼體182及總成184兩者)可實質上隱藏在裝置150後方。此外，如圖4顯示，當如前文描述裝置150係從結構110懸吊時，投影器單元180(亦即殼體182及總成184兩者)及任何藉投影的影像可實質上對齊或相對於裝置150之中線155對中。
再度參考圖3，投影器總成184係設置於殼體182 的內腔183內部，及包括一第一或上端184A、與該上端184A相對之一第二或下端184B。上端184A係鄰近殼體182的上端182A，而下端184B係鄰近殼體182的下端182B。投影器總成184可包含任何合宜數位光投影器總成用以接收來自計算裝置(例如裝置150)之光，及投射與該輸入資料相對應之影像(例如射出上端184A)。舉例言之，於若干具現中，投影器總成184包含一數位光處理(DLP)投影器或矽上液晶(LCoS)投影器，其為優異的輕薄短小及高能效投影器引擎，具有多重顯示器解析度及尺寸能力，諸如標準XGA解析度(1024x768)4：3縱橫比，或標準WXGA解析度(1280x800)16：10縱橫比。投影器總成184進一步通訊連接(例如電氣耦接)至裝置150以便從其中接收資料用以於操作期間從上端 184A產生(例如投影)光及影像。投影器總成184可透過任何合宜型別之電氣耦合例如或此處描述的任何其它合宜通訊技術或機制而通訊連接至裝置150。於若干實施例中，總成184可透過電氣導體、WI-FI、藍牙、光學連結、超音波連結、或其若干組合而電氣耦接至裝置150。於圖1-7A之實施例中，裝置150係透過設置於安裝構件186內部之電氣引線或導體(例如前文關聯表面200及底部120描述)通訊連接至總成184，使得當裝置150透過構件186而從結構110懸吊時，設置於構件186內部之電氣引線接觸設置於裝置150上的相對應引線或導體。
仍然參考圖3，頂部160進一步包括一摺疊鏡162 及一感測器束164。鏡162包括一高度反射性表面162A，其係沿頂部160之底面160D設置，且係定位以於操作期間，反射從投影器總成184之上端184A投射的光、影像等朝向表面200。鏡162可包含任何合宜型別之反射鏡或反射面。於圖1-7A之實施例中，摺疊鏡162包含一標準前表面經真空金屬化鍍鋁之玻璃鏡，其係作用以將從總成184發射之光摺疊朝向表面200。於其它實施例中，鏡162可具有複合非球面曲率以用作為反射透鏡元件而提供額外聚焦倍率或光學矯正。
感測器束164包括至少一個感測器(例如相機、或 其它型別之感測器)以根據感測器束164與表面200間之一區域狀態(例如出現在其中之活動)而檢測、度量、或以其它方式獲得資料。感測器束164與表面200間之一區域狀態可 包括表面200上或上方之標的，或出現在IR吸收表面200上或附近的活動。於圖3之實施例中，束164包括一RGB相機164A(或另一型彩色相機164A)、一IR相機164B、一深度相機(或深度感測器)164C、及一周圍光感測器164D。於此處描述之實施例中，一相機可稱作為一「感測器」。
於若干實施例中，RGB相機164A可為拍攝彩色 影像(例如靜像及視訊中之至少一者)的一相機。於若干實施例中，RGB相機164A可為根據RGB彩色模型拍攝影像之一相機，其於此處可稱作「RGB影像」。於若干實施例中，RGB相機164A可以相當高解析度拍攝影像，諸如數百萬像素(MP)等級之解析度。舉例言之，RGB相機164A可以14 MP解析度拍攝影像(例如RGB)。於其它實施例中，RGB相機164A可以不同解析度拍攝影像。於若干實施例中，RGB相機164A可朝向表面200且可拍攝表面200、設置於表面200與RGB相機164A間(例如表面200上或上方)之標的、或其組合之影像。
IR相機164B可為檢測相機164B之視野中多點的 IR光強度之一相機。於此處描述之實施例中，IR相機164B可結合系統100之一IR光投影器166(參考圖7A)操作以拍攝IR影像。於此等實施例中，各個IR影像可包含多個像素，各自表示由該像素表示之一點檢測之IR光。於若干實施例中，系統100之頂部160可包括一IR光投影器166(參考圖7A)以投射IR光167朝向表面200，及IR相機164B可指向表面200。於此等實施例中，IR相機164B可檢測由表面200、設 置於表面200與IR相機164B間(例如表面200上或上方)之標的、或其組合反射的IR光強度。於若干實施例中，IR相機164B可互斥地檢測由IR光投影器166投射(例如從表面200、標的等反射，或直接接收)之IR光167。
如前記，表面200可為一IR吸收表面200。於此處 描述之實施例中，一「IR吸收」表面可為一表面以至少部分地吸收投射IR光使得比起在相同在相同IR光投射條正下之一非IR吸收標的，一IR相機(例如IR相機164B)可檢測顯著較低強度的從IR吸收表面反射的IR光強度。舉例言之，IR吸收表面可為一表面包括、塗覆以、或以其它方式使用IR光吸收物質(例如墨水)製備以至少部分吸收IR光，使得比較從不包括、塗覆以、或以其它方式使用IR光吸收物質的另一標的，一IR相機可檢測顯著較低強度的從IR吸收表面反射的IR光強度。於若干實施例中，IR光吸收物質可對可見光為實質上透明。於若干實施例中，IR吸收表面200可呈現白色。於此等實施例中，可能難以檢測一張白紙邊緣與配置於白色表面200上的該白紙之一RGB影像。於此處描述之實施例中，IR相機164B可拍攝於表面200上之該張紙的一IR影像(例如作為背景)，其中表示IR吸收背景部分的該IR影像之像素具有比較表示紙張部分之像素顯著更低的IR光強度值，使得強度值差提供足夠反差以可靠地檢測於該IR影像中該紙張邊緣。
深度相機164C可為檢測於深度相機164C之視野中之標的部分之個別距離(或深度)。如此處使用，由深度相 機偵測得之資料可於此處稱作「距離」或「深度」資料。於此處描述之實施例中，深度相機164C可拍攝多像素深度影像(例如深度對映圖)，其中各像素資料表示在由該像素表示之一點，一標的之一部分的距離或深度(從相機164C量起)。深度相機164C可使用任何合宜技術具現，諸如立體視覺相機、具有均勻IR光之單IR相機感測器、具有均勻IR光之雙IR相機感測器、結構化光深度感測器技術、飛行時間(TOF)深度感測器技術、或其組合。於若干實施例中，深度感測器164C可指示何時一標的(例如三維標的)係在表面200上。於若干實施例中，深度感測器164C可檢測置於表面200上之一標的(或其部分)的存在、形狀、輪廓、移動、及個別距離中之至少一者。
周圍光感測器164D可配置以度量於系統100周圍環境內之光強度。於若干實施例中，系統100可運用感測器164D之度量以調整系統100之其它組成，諸如系統100之感測器或相機(例如相機164A-164C)之曝光設定值、自系統100之光源(例如投影器總成184、顯示器152等)發射的光強度等。
於若干實施例中，感測器束164可刪除感測器164A-D中之至少一者。於其它實施例中，除了感測器164A-D之外，或替代感測器164A-D中之至少一者，感測器束164可包含其它相機、感測器等。舉例言之，感測器束164可包括一使用者介面感測器包含追蹤一使用者輸入裝置諸如手、觸控筆、指標裝置等之任何合宜裝置(例如感測器、 相機)。於若干實施例中，該使用者介面感測器可包括一對相機，當由一使用者繞表面200(例如繞表面200之區域202)移動一使用者輸入裝置(例如一觸控筆)時，該對相機可立體式追蹤該使用者輸入裝置之位置。於其它實施例中，該使用者介面感測器可額外或另外包括IR相機或感測器配置以檢測由一使用者輸入裝置發射的或反射的紅外光。
於此處描述之實施例中，束164之感測器 164A-164D各自係通訊式連結(例如耦接)至裝置150使得在束164內部產生的資料(例如由相機拍攝的影像)可提供給裝置150，及裝置150可提供指令給感測器束164之感測器及相機。束164之感測器164A-164D可透過任何合宜有線或無線通訊技術或機制通訊式連結至裝置150，其實施例係說明如前。於圖1-7A之實施例中，電氣導體可通過設置於安裝構件186內部(如前文描述)之引線從束164，路由通過頂部160、直立構件140、及投影器單元180進入裝置150內。
參考圖5及6，於系統100操作期間，投影器總成 184可投射可見光187以從鏡162反射朝向表面200，以藉此顯示可見影像至表面200之一投影器顯示空間188上。於圖5-6之實施例中，空間188可為實質矩形，具有一長度188L及一寬度188W。於若干實施例中，長度188L可約為16吋，而寬度188W可約為12吋。於其它實施例中，長度188L及寬度188W可具不同值。
於若干實施例中，感測器束164之相機164A-164C係排列於系統100內部使得相機164A-164C各自 之視野包括表面200之一空間168，其可重疊部分或全部顯示空間188，或可與顯示空間188有共同邊界。於此處描述之實施例中，相機164A-164C之視野可稱作包括空間168，但偶爾表面200可被表面200上或上方之標的至少部分堵塞。於此等實施例中，表面200上或上方之標的可於相機164A-164C中之至少一者的視野內。於此等實施例中，感測器束164之感測器可根據感測器束164與表面200之該空間168間之一區域的狀態(例如發生的活動、設置的標的)而獲得資料。於若干實施例中，空間188及空間168兩者重合或相對應於表面200之區域202使得觸控區域202、投影器總成184、及感測器束164之功能全部皆係關聯相同界定區執行。相機164A-164C之一視野165係示意例示於圖7A。於若干實施例中，相機164A-164C各自可具有略為相異的視野。
現在參考圖5-7A，裝置150可導向投影器總成184 以投射影像至表面200之區域202上。裝置150也可顯示影像在顯示器152上(其可與由投影器總成184投射至區域202上之影像相同或相異)。由投影器總成184投射的影像可包含由裝置150執行的軟體所產生的資訊及/或影像。於若干實施例中，一使用者可與投射在區域202上的及顯示在顯示器152上的影像互動，互動方式諸如藉由以任何合宜方式實體接觸表面200之觸控區域202，諸如使用者的手35(例如透過接觸、輕敲、手勢、或其它接觸輸入)、觸控筆25、或透過其它合宜使用者輸入裝置互動。如前文描述，觸控區域202可透過實體接合區域202而檢測此種互動。又，於若干實施 例中，總成184也可投影影像(至少部分地)至設在表面200上之標的(例如手35，如圖5顯示)。
舉例言之，當一使用者透過實體接觸(例如手 35，如圖7A顯示)而與表面200之區域202互動時，觸控區域202可產生接觸輸入資訊且經由任何合宜連結(其實施例係如前文描述)提供給裝置150。於若干實施例中，該接觸輸入資訊可提供給在裝置150上執行之一作業系統(OS)，及進一步藉OS發送給在裝置150上執行之另一應用程式(例如程式等)。應答之，該執行作業系統或應用程式可變更由投影器總成184所投影的影像、顯示在顯示器152上之影像、或其組合。如此處使用，「應用程式」(或「電腦應用程式」)係為可藉一處理資源執行的機器可讀取指令之一集合。於若干實施例中，一使用者可類似地與顯示在顯示器152(其可為觸控顯示器)之影像或裝置150之任何其它輸入裝置(例如鍵盤、滑鼠等)互動。
於若干實施例中，感測器束164之感測器也可產 生系統輸入，其可提供給裝置150用於進一步處理。舉例言之，系統100可利用束164之至少感測器及區隔引擎170以檢測一使用者的手35(或觸控筆25，如圖5顯示)之存在及位置中之至少一者，及提供表示檢測資訊之系統輸入資訊給裝置150。所提供的系統輸入資訊可發送給由裝置150執行的一作業系統及應用程式中之至少一者，且可改變由系統100顯示的影像，如前文關聯接觸輸入之說明。舉例言之，感測器束164可包括一對相機或感測器其係配置以執行立體 觸控筆追蹤(例如觸控筆25)。於其它實施例中，觸控筆25包括經以紅外線逆反射塗層(例如塗料)塗覆之一梢端26，使得梢端26可用作為一紅外線逆反射器。於此等實施例中，束164可包括如前文述IR相機(或感測器)，其檢測梢端26反射出的IR光以許可當梢端26移動橫過區域202時裝置150偵測該梢端26之位置。於若干實施例中，區域202(藉總成184投影影像於其上)可用作為系統100內部之一第二或替代觸控顯示器。此外，與區域202上顯示的影像之互動之檢測可透過如前述使用感測器束164之感測器增進。
於若干實施例中，系統100可拍攝二維(2D)影像 或產生一實體標的之三維(3D)掃描使得標的之影像可投射至區域202上以供進一步使用及操作。舉例言之，如圖6顯示，一標的40可置於區域202上，使得束164之感測器(例如相機164A-164C中之至少一者)可檢測標的40之位置、維度、及色彩中之至少一者以加強2D影像或產生其3D掃描。 於此等實施例中，由束164之感測器收集的資訊可如前文描述，提供給裝置150(例如裝置150之OS、應用程式等)。於若干實施例中，於接收資訊之後，裝置150(例如OS、應用程式、服務等)可指導投影器總成184投射標的40之一影像至區域202上。標的40例如可為智慧型電話、書籍、文件、相片、或任何其它實體標的。於若干實施例中，一旦標的藉束164之感測器掃描，表示該標的之該影像背景可被移除(例如透過區隔方法，容後詳述)，及所得前景標的之影像可投射至區域202上(或顯示在顯示器152上)。於此等實施例 中，實體標的(例如標的40)之影像可被拍攝、處理、及顯示在區域202上以快速地容易地產生實體標的之一版本以許可其進一步操作。
圖7B為包含區隔引擎170之圖1之計算系統100 之一部分的方塊圖。圖7B例示計算裝置150之一實施例，其包含區隔引擎170且係通訊式連結至相機164A-164C(如前文描述)。雖然未顯示於圖7B，但計算裝置150也可通訊式連結至系統100之其它組件，如前文描述。於圖7B之實施例中，區隔引擎170包括引擎172、174、176、及178。於若干實施例中，引擎170可包括額外引擎。
計算裝置150(或具現區隔引擎170之任何其它計 算裝置)可包括至少一個處理資源。於此處描述之實施例中，一個處理資源可包括例如含括於單一計算裝置內或分散橫跨多個計算裝置之一個處理器或多個處理器。如此處使用，「處理器」可為下列中之至少一者：中央處理單元(CPU)、以半導體為基礎之微處理器、圖形處理單元(GPU)、微控制器、或適用以提取及執行儲存在一機器可讀取儲存媒體上的指令之其它電子電路、或其組合。
引擎170、172、174、176、及178各自、及計算 裝置150之任何其它引擎可為硬體與程式規劃之任一項組合以具現個別引擎之功能。此種硬體與程式規劃的組合可以多種不同方式具現。舉例言之，規劃可為儲存於一非過渡機器可讀取儲存媒體上的處理器可執行指令，及硬體可包括一處理資源以執行該等指令。於此等實施例中，該機 器可讀取儲存媒體可儲存指令，該等指令當由該處理資源執行時具現該等引擎。儲存該等指令之該機器可讀取儲存媒體可整合於相同計算裝置(例如裝置150)內作為處理資源以執行指令，或該機器可讀取儲存媒體可與計算裝置及處理資源分開。該處理資源可包含含括於單一計算裝置內或分散橫跨多個計算裝置之一個處理器或多個處理器。
於若干實施例中，該等指令可為一安裝封裝體之 一部分，其當安裝時可由該處理資源執行以具現系統100之該等引擎。於此等實施例中，該機器可讀取儲存媒體可為可攜式媒體，諸如光碟、DVD、或快閃驅動器、或由一伺服器維持的一記憶體，由此可下載及安裝該安裝封裝體。 於其它實施例中，該等指令可為已經安裝於包括該處理資源的一計算裝置(例如裝置150)上的一應用程式或多應用程式之一部分。於此種情況下，該機器可讀取儲存媒體可包括記憶體，諸如硬碟機、固態碟機等。
如此處使用，「機器可讀取儲存媒體」可為任何 電子、磁學、光學、或其它實體儲存裝置以含有或儲存資訊諸如可執行指令、資料等。舉例言之，此處描述的任何機器可讀取儲存媒體可為儲存驅動器(例如硬碟機)、快閃記憶體、隨機存取記憶體(RAM)、任一型儲存碟(例如光碟、DVD等)及其類或其組合中之任一者。又，此處描述的任何機器可讀取儲存媒體可為非過渡。
區隔引擎170之實施例係於後文關聯圖7A-7G描述。參考圖7A及7B，計算系統100包含IR吸收表面200及計 算裝置150。計算系統100也包括RGB相機164A、IR相機164B、及深度相機164C，各自配置於IR吸收表面200上方且指向該表面。RGB相機164A可拍攝表示位在RGB相機164A與IR吸收表面200間之標的35之一RGB影像702(參考圖7C)。於此等實施例中，RGB影像702可包括標的35之一RGB表示型態722及IR吸收表面200之一RGB表示型態712，其可具有不同色彩(如圖7C以影線之存在或不存在顯示)。於若干實施例中，RGB相機164A可為高解析度RGB相機，及所拍攝之RGB影像702可為高解析度RGB影像。舉例言之，如前文描述，RGB相機可具有約多個百萬像素(例如14 MP)之一解析度，且可拍攝具有多個百萬像素(例如14 MP)之一解析度的RGB影像。雖然如圖7A顯示，位在相機164A-164C與表面200間之該標的35為一手35，但於其它實施例中該標的可為任何其它合宜標的。
基於(至少部分基於)由位在IR相機164B與IR吸 收表面200間之標的35所反射的IR光167，IR相機164B可拍攝表示位在IR相機164B與IR吸收表面200間之標的35之一IR影像704(參考圖7D)。於此等實施例中，IR影像704可包括標的35之一表示型態724及IR吸收表面200之一表示型態714。於圖7A-7F之實施例中，其中標的35為非IR吸收性，IR相機164B檢測得從IR吸收表面200反射之IR光167強度比從標的35反射之光強度顯著更低(亦即IR相機164B檢得從標的35反射之IR光167強度比從IR吸收表面200反射之光強度顯著更高)。於此等實施例中，表示IR吸收表面200之IR 影像704部分(亦即表面表示型態714)包括IR光強度值，其係顯著地小於含括於表示標的35之IR影像704部分(亦即標的表示型態724)中的該較高IR光強度值。於圖7D之實施例中，交叉影線表示因IR吸收表面200故具有較低IR光強度值的IR影像704部分(亦即表面表示型態714)，及不存在有交叉影線表示具有較高IR光強度值的IR影像704部分(亦即標的表示型態724)。圖7D也例示表面表示型態714之該等較低IR光強度值與標的表示型態724之該等較高IR光強度值間之一邊界725。
深度相機164C可拍攝表示在深度相機164C與IR 吸收表面200之一標的35之一深度影像706(參考圖7E)。於此等實施例中，深度影像706可包括標的35之一表示型態726及IR吸收表面200之一表示型態716。於圖7A-7F之實施例中標的35設配置於表面200上方，深度相機164C檢測得比起表面200，標的35係更接近深度相機164C。於此等實施例中，深度影像706包括針對表示表面200之深度影像706部分(亦即表面表示型態716)之較大距離(或深度)值及表示標的35之影像706部分(亦即標的表示型態726)之較小距離值。於圖7E中，距離值之差係藉不同影線表示。
於若干實施例中，IR相機164B可為低解析度IR 相機，及所拍攝之IR影像704可為低解析度IR影像。又，於若干實施例中，深度相機164C可為低解析度深度相機，及所拍攝之深度影像706可為低解析度深度影像。舉例言之，IR相機164B及深度相機164C中之一者或二者可具有視訊 圖形陣列(VGA)解析度、四分之一視訊圖形陣列(QVGA)解析度、或顯著低於RGB相機164A之解析度的任何其它解析度。於此等實施例中，所拍攝之IR及深度影像704及706可具有拍攝該影像之該相機的解析度(例如VGA解析度、QVGA解析度等)。
於此處描述之若干實施例中，一相機或影像之 「解析度」可指該相機或影像之二維像素解析度。此種二維像素解析度可表示為A像素xB像素，於該處A及B為正整數。於此處描述之實施例中，一計算系統之一「低解析度」相機可為具有比該計算系統之另一相機顯著更低解析度之一相機，及由該計算系統之一相機所拍攝之一「低解析度」影像可為具有比使用該計算系統之另一相機所能拍攝的一影像顯著更低解析度之一影像，一計算系統之一「高解析度」相機可為具有比該計算系統之另一相機顯著更高解析度之一相機，及由該計算系統之一相機所拍攝之一「高解析度」影像可為具有比使用該計算系統之另一相機所能拍攝的一影像顯著更高解析度之一影像。舉例言之，計算系統100可包含一低解析度IR相機164B以拍攝一低解析度IR影像704，一低解析度深度相機164C以拍攝一低解析度深度影像706，及一高解析度RGB相機164A以拍攝一高解析度RGB影像702。
於若干實施例中，RGB相機164A及藉該相機拍 攝的RGB影像(例如含RGB影像702)之該二維像素解析度，於各個維度，可比IR相機164B及藉該相機拍攝的IR影像(例 如含IR影像704)之該二維像素解析度至少大十倍。舉例言之，IR相機164B及藉該相機拍攝的IR影像可具有約320像素x240像素之一解析度，而RGB相機164A及藉該相機拍攝的RGB影像可具有約4416像素x3312像素之一解析度。於其它實施例中，該等相機及影像可具有不同解析度。
於若干實施例中，RGB相機164A及藉該相機拍 攝的RGB影像之該二維像素解析度，於各個維度，也可比深度相機164C及藉該相機拍攝的深度影像(例如含深度影像706)之該二維像素解析度至少大十倍。舉例言之，深度相機164C及藉該相機拍攝的深度影像可具有約320像素x240像素之一解析度，而RGB相機164A及藉該相機拍攝的RGB影像可具有約4416像素x3312像素之一解析度。於其它實施例中，該等相機及影像可具有不同解析度。
於若干實施例中，區隔引擎170可根據所拍攝的 IR影像704、所拍攝的706、及所拍攝的RGB影像702判定一區隔邊界708。區隔邊界708之一實施例之示意圖係例示於圖7F。於圖7F之實施例中，針對至少一個影像(例如RGB影像702)所表示的標的35之區隔邊界708可為表示該影像之哪個(些)部分表示該標的及該影像之哪個(些)部分表示該標的以外的特性件(例如一背景)之一估值之資訊。舉例言之，區隔邊界708包括一估值，標的表示型態728(例示為無影線)相對應於表示該標的之該影像(例如影像702)之該部分，及背景表示型態718(以有垂直影線例示)相對應於表示該標的以外之特性件(例如表面200)之該影像之該部分。
於若干實施例中，計算裝置150可使用區隔邊界 708以從表示大於標的35之一拍攝影像(例如RGB影像702)提取標的35之一影像。舉例言之，計算裝置150可提供相對應於區隔邊界708之標的表示型態728的RGB影像702部分以獲得表示標的35之RGB影像702該部分之一區隔影像。於圖7A-7F之實施例中，所得區隔影像可為影像702之表示標的35該部分，而影像702之表示其它(例如背景)特性件該等部分被扣除。於此等實施例中，所得區隔影像可相對應於RGB影像702之標的表示型態722。於此處描述之實施例中，一區隔邊界可以任何合宜形式、格式、資料結構等表示。例如，一區隔邊界可表示為二進位遮罩，針對一相對應影像(例如影像702)之各個像素，指示該像素是否表示該標的之一部分。於若干實施例中，一區隔邊界可相對應於多於一個影像(例如影像702、704、及706)，及針對各者指示相對應於該標的之該等部分。
於若干實施例中，相機164A-164C可在不同實體 位置。因此相機164A-164C可從略為不同角度拍攝相同場景(例如從上方觀看表面200)的個別影像。於此等實施例中，區隔引擎170可幾何對齊藉相機164A-164C拍攝的影像702、704、及706。舉例言之，區隔引擎170可針對相機164A-164C之像素組成至少一個單應性矩陣(或其它對映圖)使得於影像702、704、及706各自可識別相對應於相同影像特性件(例如標的35)的像素。該單應性矩陣或其它對映圖可以任何合宜方式決定。於若干實施例中，區隔引擎170可將 影像702、704、及706各自之像素對映至一共通座標集以幾何對齊該等影像。於若干實施例中，引擎170可在執行後文關聯引擎172、174、176、及178描述的針對一區隔處理之其它功能之前執行此種幾何對齊。
於圖7B之實施例中，區隔引擎170可包括一組合 引擎172、一邊界引擎174、一升頻取樣引擎176、及一精製引擎178。組合引擎172可將IR影像704與深度影像706組合成單一媒介影像190。媒介影像190可包含多個像素，各自包括得自IR影像704之一相對應像素的IR強度資料及得自深度影像706之一相對應像素的距離(或深度)資料。於此等實施例中，媒介影像190之各個像素包含兩個資訊成分。於若干實施例中，媒介影像190可具有與IR及深度影像704及706約略相同的二維像素解析度。
邊界引擎174可根據媒介影像190針對標的35判 定一初步區隔邊界。舉例言之，引擎174可分析媒介影像190以根據在媒介影像190之該等像素的IR強度及距離資料估計表示於媒介影像190中之標的35邊緣位置以判定初步區隔邊界。初步區隔邊界可為一區隔邊界，如前文描述，且可以前述任何合宜方式表示。引擎174可以任何合宜方式執行邊緣估計(或邊緣檢測)。
舉個實施例，引擎174可在媒介影像190之該等像 素的IR強度及距離資料兩者跑一梯度過濾器以檢測具有相當高梯度幅值之媒介影像190部分以估計標的35之至少該等邊緣。於此等實施例中，引擎174可至少部分地根據IR影 像704(表面表示型態714之)之較低IR光強度值與IR影像704(標的表示型態724之)之較高IR光強度值間之至少一個邊界725判定初步區隔邊界。容後詳述，區隔邊界708可基於初步區隔邊界判定。因此，區隔引擎170可至少部分地根據影像704之較低IR光強度值與影像704之較高IR光強度值間之至少一個邊界725判定區隔邊界708。
於若干實施例中，引擎174可以任何合宜方式一 起利用該IR強度及距離資料。舉例言之，若IR強度資料及距離資料中之任一者提示(或以其它方式指示)一邊緣的存在，則引擎174可估計媒介影像190之一部分表示標的35之一緣。於其它實施例中，除非IR強度資料及距離資料中之任一者提示(或以其它方式指示)一邊緣的存在，否則引擎174可不估計媒介影像190之一部分表示標的35之一緣。於若干實施例中，引擎174可額外地或另外地利用各種啟發式算法、法則等以基於媒介影像190之該IR強度及距離資料估計標的35邊緣之存在。
於若干實施例中，該初步區隔邊界可具有(或以 其它方式相對應於)IR影像704及深度影像706中之至少一者的該二維像素解析度(亦即相對於RGB影像702之低解析度)。舉例言之，該初步區隔邊界可具有約略一VGA解析度(例如640像素x480像素)、一QVGA解析度(例如320像素x240像素)、及相對於RGB影像702之解析度的另一低解析度。於此等實施例中，升頻取樣引擎176可將該初步區隔邊界升頻取樣至RGB影像702之解析度(如前文描述)，或約略 至該解析度。引擎176可以任何合宜方式升頻取樣該初步區隔邊界。舉例言之，引擎176可將該初步區隔邊界從相對低初始解析度提升至RGB影像702之相對高解析度(或約略該解析度)。於此等實施例中，引擎176可提升該初步區隔邊界使得所判定的初步區隔邊界係以RGB影像702之相對高解析度(或約略該解析度)的較高像素數目表示。
於若干實施例中，較高解析度RGB影像702可包 括更大可以比較IR影像704或深度影像706以更加細節表示標的35邊緣之至少部分。因此，RGB影像702可用以改良針對標的35該經升頻取樣之初步區隔邊界之準確度，及藉此產生區隔邊界708。舉例言之，精製引擎178可根據RGB影像702精製該經升頻取樣之初步區隔邊界以獲得區隔邊界708。舉例言之，引擎178可過濾或否則以任何合宜方式根據RGB影像702變更該經升頻取樣之初步區隔邊界。舉例言之，引擎178可運用雙側向過濾技術或交叉雙側向過濾技術以根據RGB影像702過濾該經升頻取樣之初步區隔邊界。
於其它實施例中，區隔引擎170可以另一種方式 判定區隔邊界708。舉例言之，於引擎170幾何對齊影像702、704、及706之後，升頻取樣引擎176可將IR及深度影像704及706之相對低解析度升頻取樣至RGB影像702之相對高解析度(或約略該解析度)。於此等實施例中，組合引擎172可將RGB影像702及經升頻取樣的IR及深度影像704及706組合成單一媒介影像。於此等實施例中，該媒介影像可包含在各個像素之五個資訊成分，包括得自經升頻取樣的 IR影像704之IR強度資料、得自經升頻取樣的深度影像706之距離、及得自RGB影像702之紅、藍、及綠值中之各者。 於此等實施例中，邊界引擎174可以前文關聯初步區隔邊界描述之任一種方式，但使用本實施例之該媒介影像中之全部五個資訊成分，根據該媒介影像判定區隔邊界708。
於此處描述之實施例中，區隔引擎170可根據 RGB、IR、及深度影像702、704、及706，如前文描述，而與藉RGB、IR、及深度相機164A-164C中之任一者拍攝的標的35之任何先前影像獨立無關(或不參考)地判定區隔邊界708。於此等實施例中，區隔引擎170並不仰賴隨著時間追蹤標的35(亦即基於隨著時間藉相機164A-164C中之任一者拍攝的影像)判定區隔邊界708。此外，如前記，投影器總成184可投射可見影像至IR吸收表面200及標的35上。於此等實施例中，區隔引擎170可基於可見影像投影期間拍攝的RGB、IR、及深度影像702、704、及706判定區隔邊界708。
於若干實施例中，計算系統100可刪除相機 164A-164C中之至少一者。圖7G為包含區隔引擎170之計算系統100的另一範例部分。更明確言之，圖7B例示包含區隔引擎170且通訊式連結至RGB相機164A及IR相機164B(如前文描述)之計算裝置150之一實施例。於圖7G之實施例中，計算系統100可刪除深度相機164C。於此等實施例中，區隔引擎170可根據分別由相機164B及164A拍攝的IR影像704及RGB影像702，判定表示標的35之至少一個外緣之區隔邊界708。於此等實施例中，引擎170可如前述關聯引擎170判 定區隔邊界708，但不使用或參照深度影像706之距離資料。舉例言之，區隔引擎170可基於IR影像704(而非一媒介影像)判定一初步區隔邊界，其可藉區隔引擎170進一步處理以判定區隔邊界708，如前文描述。於若干實施例中，此處關聯圖1-7G描述之特性件及功能可組合此處關聯圖8-10中之任一者描述之特性件及功能提供。
圖8為計算裝置350之另一實施例之方塊圖，以根據一RGB影像、一IR影像及一深度影像判定一區隔邊界。計算裝置350可為前文關聯圖1-7G描述之裝置150之實作之另一實施例。於圖8之實施例中，計算裝置350係通訊式連結至相機164A-164C(如前文描述)，及包括一處理資源310，及包含(例如以其編碼)指令322、324、326、及328之一機器可讀取儲存媒體320。於若干實施例中，儲存媒體320可包括額外指令。於其它實施例中，指令322、324、326、328、及此處關聯儲存媒體320描述的任何其它指令可儲存於遠離但可存取計算裝置350及處理資源310之一機器可讀取儲存媒體上。處理資源310可擷取、解碼、及執行儲存於儲存媒體320上之指令以具現後述功能。於其它實施例中，儲存媒體320之該等指令中之任一者之功能可以電子電路形式、編碼於一機器可讀取儲存媒體上之可執行指令形式、或其組合具現。機器可讀取儲存媒體320可為一非過渡機器可讀取儲存媒體。
於圖8之實施例中，一計算系統諸如前文關聯圖1-7G描述之計算系統100可包含計算裝置350及相機 164A-164C。於此等實施例中，包含計算裝置350之該計算系統也可包括一水平(或約略或實質水平)IR吸收表面200。 如前文描述，IR相機164B可基於由標的35反射之IR光167，拍攝表示位在IR相機164B與IR吸收表面200間之一標的35之一IR影像704，及深度相機164B可拍攝表示位在IR相機164B與IR吸收表面200間之標的35之該等部分之個別距離。也如前文描述，一RGB相機164A(或任何其它型別之彩色相機164A)可拍攝表示位在RGB相機164A與IR吸收表面200間之標的35之一RGB影像702(或任何其它型別之彩色影像702)。於若干實施例中，RGB影像702可具有比IR影像704及深度影像706各自更高的解析度，如前文描述。
於若干實施例中，指令322可從IR相機164B獲得 IR影像704，從深度相機164C獲得深度影像706，及從RGB相機164A獲得RGB影像702。於此處描述之實施例中，指令322可主動地(例如藉取回、請求、存取等該等影像)或被動地(例如接收該等影像等)從該相機獲得該等影像。
於若干實施例中，於此處關聯計算裝置350描述 之功能之前，指令324可幾何對齊前述該等影像702、704、及706。於若干實施例中，如前述關聯引擎172及174，指令324可基於IR影像資料(例如IR影像704之IR強度值)及深度影像資料(例如深度影像706之距離值)為標的35判定一初步區隔邊界。舉例言之，指令342可將IR及深度影像704及706組合成單一媒介影像(例如圖7B之媒介影像190)，針對該媒介影像之各個像素包含得自IR影像704之一相對應像素之 一IR強度值及得自深度影像706之一相對應像素之一深度值。於此等實施例中，指令324可進一步基於在該媒介影像之各個像素之該IR強度值及深度值兩者而檢測該媒介影像中之邊緣，如前文描述。
指令326可將該初步區隔邊界升頻取樣至RGB影 像702之解析度，及指令328可根據RGB影像702而精製該經升頻取樣之初步區隔邊界以獲得標的35之一區隔邊界708，如前文關聯引擎176及178描述。如前文描述，於若干實施例中，RGB影像702之該二維像素解析度於各個維度比IR影像704之該二維像素解析度至少大十倍，及於各個維度比深度影像706之該二維像素解析度至少大十倍。於其它實施例中，影像702、704、及706根據前文關係圖7A-7F描述的任何實施例可具有個別解析度。於若干實施例中，此處關聯圖8描述之特性件及功能可組合此處關聯圖1-7F及9-10中之任一者描述之特性件及功能提供。
圖9為用以判定一區隔邊界之方法900之一實施 例之流程圖。雖然後文中將參考圖1-7B之計算系統100描述方法900之執行，但可利用用以執行方法900之任何合宜系統(例如具有計算裝置350之系統100)。此外，方法900之具現並不限於此等實施例。
於方法900之905，配置於其上方且指向計算系統 100之IR吸收表面200的IR相機164B可拍攝表示在IR吸收表面200與用以拍攝影像704之IR相機164B間之一標的35之一低解析度IR影像704(參考圖7D)。於910，配置於IR吸收表 面上方且指向該表面之深度相機164C可拍攝表示在IR吸收表面200與用以拍攝影像706之深度相機164C間之標的35之一低解析度深度影像706(參考圖7E)。於915，配置於IR吸收表面上方且指向該表面之RGB相機164A(或另一型彩色相機164A)可拍攝表示在IR吸收表面200與用以拍攝影像702之RGB相機164A間之標的35之一高解析度RGB影像702(或其它高解析度彩色影像704)。
於920，引擎172可將IR影像704與深度影像706 組合成為包含在各個像素得自IR影像704及得自深度影像706之資料的單一媒介影像190，如前文描述。於925，引擎174可基於媒介影像190針對標的35判定一初步區隔邊界，如前文描述。於930，引擎176可將該初步區隔邊界升頻取樣至RGB影像702之解析度，如前文描述。於935，引擎178可基於RGB影像702過濾該經升頻取樣之初步區隔邊界，如前文描述，及針對標的35判定一區隔邊界708。
雖然圖9之流程圖顯示某些功能表現之特定順 序，但方法900並不受該順序所限。例如，流程圖中循序顯示之功能可以不同順序執行，可同時或部分同時執行，或其組合。於若干實施例中，此處關聯圖9描述之特性件及功能可組合此處關聯圖1-8及10中之任一者描述之特性件及功能提供。
圖10為用以過濾一升頻取樣之區隔邊界之方法 1000之一實施例之流程圖。雖然後文中將參考圖1-7B之計算系統100描述方法1000之執行，但可利用執行方法1000之 任何合宜系統(例如具有計算裝置350之系統100)。此外，方法1000之具現並不限於此等實施例。
於方法1000之1005，配置於其上方且指向計算系 統100之IR吸收表面200的IR相機164B可拍攝表示在IR吸收表面200與IR相機164B間之一標的35之一QVGA解析度IR影像704(參考圖7D)。於1010，配置於IR吸收表面上方且指向該表面之深度相機164C可拍攝表示在IR吸收表面200與深度相機164C間之標的35之一QVGA解析度深度影像706(參考圖7E)。於1015，配置於IR吸收表面上方且指向該表面之RGB相機164A(或另一型彩色相機164A)可拍攝具有多個百萬像素之一解析度及表示在IR吸收表面200與用以拍攝影像702之RGB相機164A間之標的35的一RGB影像702(或其它彩色影像702)。
於1020，引擎172可將IR影像704與深度影像706 組合成為包含在各個像素得自IR影像704及得自深度影像706之資料的單一媒介影像190，如前文描述。於若干實施例中，在組合影像704與影像706之前，影像702、704、及706可幾何對齊，如前文描述。於1025，引擎174可檢測於媒介影像190中之邊緣，於該處一緣的存在可由得自IR影像704之資料及得自深度影像706之資料指示。於此等實施例中，引擎174可基於檢得之邊緣而判定一初步區隔邊界。於1030，引擎176可將該初步區隔邊界升頻取樣至RGB影像702之解析度，如前文描述。於1035，引擎178可基於RGB影像702過濾該經升頻取樣之區隔邊界以判定一精製區隔 邊界708，如前文描述。
雖然圖10之流程圖顯示某些功能表現之特定順 序，但方法1000並不受該順序所限。例如，流程圖中循序顯示之功能可以不同順序執行，可同時或部分同時執行，或其組合。於若干實施例中，此處關聯圖10描述之特性件及功能可組合此處關聯圖1-9中之任一者描述之特性件及功能提供。
150‧‧‧計算裝置
164A‧‧‧RGB相機
164B‧‧‧IR相機
170‧‧‧區隔引擎

Claims (15)

  1. 一種計算系統，其包含：一紅外線(IR)吸收表面；配置於該IR吸收表面上方且指向該表面之一IR相機，以基於由設置於該IR相機與該IR吸收表面間之一標的反射的IR光而拍攝表示該標的之一IR影像；一RGB相機以拍攝表示設置於該RGB相機與該IR吸收表面間之該標的之一RGB影像；及一區隔引擎以根據該IR影像及該RGB影像判定表示該標的之至少一個外緣之一區隔邊界。
  2. 如請求項1之計算系統，其進一步包含：一深度相機以拍攝表示設置於該深度相機與該IR吸收表面間之該標的之一深度影像；其中該區隔引擎係基於該IR影像、該深度影像、及該RGB影像判定該區隔邊界。
  3. 如請求項2之計算系統，其中：該IR相機為一低解析度IR相機及該IR影像為一低解析度IR影像；該深度相機為一低解析度深度相機及該深度影像為一低解析度深度影像；及該RGB相機為一高解析度RGB相機及該RGB影像為一高解析度RGB影像。
  4. 如請求項3之計算系統，其中該區隔引擎包含： 一組合引擎以將該等IR及深度影像組合成一單一媒介影像；一邊緣引擎以基於該媒介影像針對該標的判定一初步區隔邊界；一升頻取樣引擎以將該初步區隔邊界升頻取樣至該RGB影像之該解析度；及一精製引擎以基於該RGB影像精製該經升頻取樣之區隔邊界以獲得該區隔邊界。
  5. 如請求項3之計算系統，其中該區隔引擎包含：一升頻取樣引擎以將該等IR及深度影像升頻取樣至該RGB影像之該解析度；一組合引擎以將該RGB影像及該等經升頻取樣之IR及深度影像組合成一單一媒介影像；及一邊界引擎以基於該媒介影像判定該區隔邊界。
  6. 如請求項3之計算系統，其中：該IR相機及該IR影像具有四分之一視訊圖形陣列(QVGA)解析度；該深度相機及該深度影像具有該QVGA解析度；及該RGB相機及該RGB影像之該解析度為多百萬像素(MP)。
  7. 如請求項1之計算系統，其中：該IR相機係用以檢測來自該IR吸收表面比來自該標的之較低的IR光強度，使得比較含括於表示該標的之 該等IR影像部分之較高IR光強度值，表示該IR吸收表面之該等IR影像部分包括較低IR光強度值；及該區隔引擎係用以至少部分地基於該較低IR光強度值與該較高IR光強度值間之至少一個邊界而判定該區隔邊界。
  8. 如請求項1之計算系統，其中：該IR吸收表面係配置為約略水平；及該區隔引擎係進一步用以與藉該等IR、深度、及RGB相機中之任一者拍攝的該標的之任何先前影像獨立無關地判定該區隔邊界。
  9. 如請求項8之計算系統，其進一步包含：一投影總成以投射可見影像至該IR吸收表面及該標的上；其中該區隔引擎係用以根據於該等可見影像之該投影期間拍攝的該等IR、深度、及RGB影像，判定表示該標的之該至少一個外緣之該區隔邊界；及其中該IR吸收表面進一步包含一觸控區域以檢測與該觸控區域之實體接觸。
  10. 一種包含可由一計算系統之一處理資源執行的指令之非過渡機器可讀取儲存媒體，該計算系統包含一水平紅外線(IR)吸收表面及IR相機、一深度相機、及一彩色相機，各自配置於該IR吸收表面上方且指向該表面，該等指令可執行以： 從該IR相機，基於由配置於該IR相機與該IR吸收表面間之一標的反射IR光而獲得表示該標的之一IR影像；從該深度相機，獲得表示配置於該深度相機與該IR吸收表面間之該標的部分之個別距離；從該彩色相機，獲得具有比該IR影像及該深度影像中之各者一更高解析度且表示配置於該彩色相機與該IR吸收表面間之該標的之一彩色影像；基於該IR影像資料及該深度影像資料，針對該標的判定一初步區隔邊界；將該初步區隔邊界升頻取樣至該彩色影像之該解析度；及基於該彩色影像精製該經升頻取樣之初步區隔邊界以針對該標的判定一區隔邊界。
  11. 如請求項10之儲存媒體，其中用以判定之該等指令包含指令以：將該等IR及深度影像組合成一單一媒介影像，針對該媒介影像之各個像素，包含得自該IR影像之一相對應像素的一IR強度值及得自該深度影像之一相對應像素的一深度值；及基於該媒介影像之各個像素之該IR強度值及深度值而檢測於該媒介影像中之邊緣。
  12. 如請求項10之儲存媒體，其中：該彩色相機為一RGB相機及該彩色影像為一RGB影像； 該等IR、深度、及RGB影像中之各者之該解析度為一二維像素解析度；及該RGB影像之該二維像素解析度於各維度係比該IR影像之該二維像素解析度至少大十倍，及於各維度係比該深度影像之該二維像素解析度至少大十倍。
  13. 一種方法，該方法包含：使用配置於一IR吸收表面上方且指向該表面之一IR相機拍攝一低解析度紅外線(IR)影像；使用配置於該IR吸收表面上方且指向該表面之一深度相機拍攝一低解析度深度影像；使用配置於該IR吸收表面上方且指向該表面之一彩色相機拍攝一高解析度彩色影像，其中該等IR、深度、及彩色影像各自表示配置於該IR吸收表面與用以拍攝該影像之該個別相機間之一標的；將該IR影像與該深度影像組合成一單一媒介影像包含於各個像素得自該IR影像及得自該深度影像之資料；基於該媒介影像針對該標的判定一初步區隔邊界；將該初步區隔邊界升頻取樣至該彩色影像之該解析度；及基於該彩色影像精製該經升頻取樣之初步區隔邊界以針對該標的判定一區隔邊界。
  14. 如請求項13之方法，其中判定該區隔邊界包含： 檢測於該媒介影像中之邊緣於該處一邊緣之存在係藉得自該IR影像之該資料及得自該RGB影像之該資料中之任一者指示。
  15. 如請求項14之方法，其中：該IR影像具有四分之一視訊圖形陣列(QVGA)解析度；該RGB影像具有QVGA解析度；該彩色影像之該解析度為多百萬像素(MP)；該彩色影像為一RGB影像；及該精製包含基於該RGB影像過濾該經升頻取樣之區隔邊界以獲得一精製的區隔邊界。
TW103132275A 2013-09-24 2014-09-18 基於表示標的之影像判定區隔邊界之技術 TWI608426B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/061412 WO2015047225A1 (en) 2013-09-24 2013-09-24 Determining a segmentation boundary based on images representing an object

Publications (2)

Publication Number Publication Date
TW201520904A true TW201520904A (zh) 2015-06-01
TWI608426B TWI608426B (zh) 2017-12-11

Family

ID=52744135

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103132275A TWI608426B (zh) 2013-09-24 2014-09-18 基於表示標的之影像判定區隔邊界之技術

Country Status (5)

Country Link
US (1) US10156937B2 (zh)
EP (1) EP3049895A4 (zh)
CN (1) CN105723300B (zh)
TW (1) TWI608426B (zh)
WO (1) WO2015047225A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015130226A1 (en) * 2014-02-25 2015-09-03 Heptagon Micro Optics Pte. Ltd. Image sensor modules including primary high-resolution imagers and secondary imagers
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
DE102014011821A1 (de) * 2014-08-08 2016-02-11 Cargometer Gmbh Vorrichtung und Verfahren zur Volumenbestimmung eines durch ein Flurförderzeug bewegten Objekts
US10331274B2 (en) * 2014-09-18 2019-06-25 Nec Display Solutions, Ltd. Light source device, electronic blackboard system, and method of controlling light source device
CN108141560B (zh) * 2015-09-23 2021-01-05 惠普发展公司，有限责任合伙企业 用于图像投影的系统及方法
CN105607785B (zh) * 2016-01-04 2019-11-12 京东方科技集团股份有限公司 触控显示系统及触控操作装置
WO2018013322A1 (en) * 2016-07-12 2018-01-18 Wal-Mart Stores, Inc. Systems and methods for automated assessment of physical objects
JP2018036102A (ja) * 2016-08-30 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 測距装置、および、測距装置の制御方法
US9906717B1 (en) * 2016-09-01 2018-02-27 Infineon Technologies Ag Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image
EP3430595B1 (en) * 2017-05-23 2020-10-28 Brainlab AG Determining the relative position between a point cloud generating camera and another camera
CN107316272A (zh) * 2017-06-29 2017-11-03 联想(北京)有限公司 用于图像处理的方法及其设备
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
US11012694B2 (en) 2018-05-01 2021-05-18 Nvidia Corporation Dynamically shifting video rendering tasks between a server and a client
US10713756B2 (en) * 2018-05-01 2020-07-14 Nvidia Corporation HW-assisted upscaling and multi-sampling using a high resolution depth buffer
US10996335B2 (en) 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera
US10607352B2 (en) * 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
CN109878552B (zh) * 2019-03-26 2021-08-13 广州地铁集团有限公司 基于机器视觉的轨道交通站台门与列车间异物监测装置
US11595625B2 (en) * 2020-01-02 2023-02-28 Qualcomm Incorporated Mechanical infrared light filter

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044165A (en) 1995-06-15 2000-03-28 California Institute Of Technology Apparatus and method for tracking handwriting from visual input
US7834855B2 (en) 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
KR100595917B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6633671B2 (en) 1998-01-28 2003-10-14 California Institute Of Technology Camera-based handwriting tracking
US6246395B1 (en) 1998-12-17 2001-06-12 Hewlett-Packard Company Palm pressure rejection method and apparatus for touchscreens
JP4027031B2 (ja) * 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式３ｄビデオゲーム装置
CN1191714C (zh) 2001-08-14 2005-03-02 瑞昱半导体股份有限公司 数字影像的取样频率转换的装置与方法
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US8358815B2 (en) 2004-04-16 2013-01-22 Validity Sensors, Inc. Method and apparatus for two-dimensional finger motion tracking and control
CA2563478A1 (en) 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7561146B1 (en) 2004-08-25 2009-07-14 Apple Inc. Method and apparatus to reject accidental contact on a touchpad
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
WO2008045464A2 (en) 2006-10-10 2008-04-17 Wms Gaming Inc. Multi-player, multi-touch table for use in wagering game systems
US20080196945A1 (en) 2007-02-21 2008-08-21 Jason Konstas Preventing unintentional activation of a sensor element of a sensing device
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
TWI343207B (en) 2007-09-07 2011-06-01 Lite On Technology Corp Device and method for obtain a clear image
US20090309838A1 (en) 2008-06-11 2009-12-17 Microsoft Corporation Use of separation elements with rear projection screen
FI20085794A0 (fi) 2008-08-26 2008-08-26 Multitouch Oy Vuorovaikutteinen näyttölaite
US8294047B2 (en) 2008-12-08 2012-10-23 Apple Inc. Selective input signal rejection and modification
US8432366B2 (en) 2009-03-03 2013-04-30 Microsoft Corporation Touch discrimination
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US20100302376A1 (en) 2009-05-27 2010-12-02 Pierre Benoit Boulanger System and method for high-quality real-time foreground/background separation in tele-conferencing using self-registered color/infrared input images and closed-form natural image matting techniques
TWI413814B (zh) 2009-07-01 2013-11-01 Hannstar Display Corp 具視差障壁層之偏光板及其製造方法、以及其應用之三次元顯示裝置
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US9008457B2 (en) 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
ES2395102B1 (es) 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
KR101413539B1 (ko) 2010-11-22 2014-07-02 한국전자통신연구원 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법
TW201222288A (en) 2010-11-22 2012-06-01 Inst Information Industry Image retrieving system and method and computer program product thereof
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
JPWO2012173001A1 (ja) * 2011-06-13 2015-02-23 シチズンホールディングス株式会社 情報入力装置
US9560314B2 (en) * 2011-06-14 2017-01-31 Microsoft Technology Licensing, Llc Interactive and shared surfaces
US8928735B2 (en) * 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
AU2011203028B1 (en) 2011-06-22 2012-03-08 Microsoft Technology Licensing, Llc Fully automatic dynamic articulated model calibration
US20130050133A1 (en) 2011-08-30 2013-02-28 Nokia Corporation Method and apparatus for precluding operations associated with accidental touch inputs
US20130057515A1 (en) 2011-09-07 2013-03-07 Microsoft Corporation Depth camera as a touch sensor
US20130080932A1 (en) 2011-09-27 2013-03-28 Sanjiv Sirpal Secondary single screen mode activation through user interface toggle
US8873852B2 (en) 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
US8509545B2 (en) * 2011-11-29 2013-08-13 Microsoft Corporation Foreground subject detection
KR20130099745A (ko) 2012-02-29 2013-09-06 주식회사 팬택 터치 단말기의 입력 신호 구분 장치 및 방법
EP2637139A1 (en) 2012-03-05 2013-09-11 Thomson Licensing Method and apparatus for bi-layer segmentation
US9046958B2 (en) 2012-03-15 2015-06-02 Nokia Technologies Oy Method, apparatus and computer program product for user input interpretation and input error mitigation
US9652043B2 (en) 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US8831285B2 (en) 2012-07-26 2014-09-09 Hewlett-Packard Development Company, L.P. Detecting objects with a depth sensor
US9519968B2 (en) 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US20160077670A1 (en) 2013-07-31 2016-03-17 Hewlett-Packard Development Company, L.P. System with projector unit and computer
EP3072032B1 (en) 2013-11-21 2020-01-01 Hewlett-Packard Development Company, L.P. Projection screen for specularly reflecting infrared light

Also Published As

Publication number Publication date
EP3049895A4 (en) 2017-06-07
TWI608426B (zh) 2017-12-11
US10156937B2 (en) 2018-12-18
CN105723300A (zh) 2016-06-29
WO2015047225A1 (en) 2015-04-02
EP3049895A1 (en) 2016-08-03
US20160231866A1 (en) 2016-08-11
CN105723300B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
TWI608426B (zh) 基於表示標的之影像判定區隔邊界之技術
TWI547828B (zh) 感測器與投射器之校準技術
TWI531929B (zh) 基於影像來識別觸控表面的目標接觸區域之技術
TWI546719B (zh) 用以鏡面式反射紅外光線之投影螢幕
TWI529475B (zh) 具有投影機單元和電腦之系統
TWI545463B (zh) 投影系統及管理投影系統之方法
US10664090B2 (en) Touch region projection onto touch-sensitive surface
TWI582676B (zh) 物件指示符顯示技術
TWI575406B (zh) 用以產生顯示區之角落的方法、相關電腦系統及機器可讀儲存媒體
TWI531928B (zh) 投影式運算系統
TWI543023B (zh) 觸敏表面上物件識別技術
TWI566169B (zh) 管理顯示單元之方法、電腦可讀媒體及相關系統
EP3486815A1 (en) Model data of an object disposed on a movable surface
TWI569173B (zh) 物件數位影像呈現技術
TW201633064A (zh) 轉換經接收觸碰輸入
TWI566126B (zh) 從影像發展出脈絡資訊之技術

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees