TWI604414B - 投影系統及其非平面自動校正方法與自動校正處理裝置 - Google Patents

投影系統及其非平面自動校正方法與自動校正處理裝置 Download PDF

Info

Publication number
TWI604414B
TWI604414B TW106108138A TW106108138A TWI604414B TW I604414 B TWI604414 B TW I604414B TW 106108138 A TW106108138 A TW 106108138A TW 106108138 A TW106108138 A TW 106108138A TW I604414 B TWI604414 B TW I604414B
Authority
TW
Taiwan
Prior art keywords
projection
depth map
correction
unit
depth
Prior art date
Application number
TW106108138A
Other languages
English (en)
Other versions
TW201810184A (zh
Inventor
汪德美
施仁忠
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to CN201710367924.9A priority Critical patent/CN107454373B/zh
Priority to US15/610,174 priority patent/US9998719B2/en
Application granted granted Critical
Publication of TWI604414B publication Critical patent/TWI604414B/zh
Publication of TW201810184A publication Critical patent/TW201810184A/zh

Links

Description

投影系統及其非平面自動校正方法與自動校正處理裝置
本揭露是有關於一種投影系統及其非平面自動校正方法與自動校正處理裝置。
一般的投影裝置(例如:Epson BrightLink 595Wi及與其類似的產品)在進行校正時必須將影像投射於平坦的表面,若是投影面不夠平坦或是投影面上有高低起伏的物件就無法完成校正程序。而且在校正的過程中,需要使用者依照指示去標定範圍,無法自動感應範圍。即使是專業人員也需要花許多時間在調整投影機位置與執行校正步驟間來回重複幾次才能完成,十分繁瑣耗時。通常這種裝置都安裝在固定的位置不移動,其校正方法不適用於常需搬動的可攜式投影互動裝置。
為解決上述的問題,本揭露係有關於一種投影系統及其非平面自動校正方法與自動校正處理裝置,其利用深度感測技術、投影技術、影像擷取技術及自動校正技術,使得投影系統能夠自動校正投影區域與深度感測區域的對應範圍,並在此對應範圍內,依據投影面的深度資訊調整互動內容,以避免畫面變形,或是避免將投影面之凸起處誤認為互動操作的物體(如:手或肢體)。如此才能節省安裝校正的時間,適用於常需搬動的可攜式投影互動裝置,同時在平坦與非平坦的表面都能達到良好的投影互動效果,且不受投影面上放置其他物品影響。
根據本揭露之一方面,提出一種投影系統之非平面自動校正方法。投影系統之非平面自動校正方法包括以下步驟:估算一投影面之一深度圖(depth map);校正一投影區域與一深度感測區域的一對應範圍;在該對應範圍內,根據該投影面之該深度圖調整一互動內容。校正該投影區域與該深度感測區域的該對應範圍之步驟包括:根據一投影裝置與一深度感測裝置之預設的一位置資訊,投影至少二校正圖形至該投影面;擷取該投影面之一影像,並於該影像中偵測該些校正圖形;獲得該些校正圖形於該深度圖之一深度圖位置資訊;依據該些校正圖形之該深度圖位置資訊,調整該些校正圖形的一投影位置,以獲得該深度圖之至少二定位點,該些定位點位於該投影區域之內且位於該深度感測區域之內;根據該些定位點,校正該投影區域與該深度感測區域的該對應範圍。在該對應範圍內,根據該投影面之該深度圖調整該互動內容之步驟包括:將該互動內容投影在與該深度感測區域對應的該範圍內;依據該深度感測裝置對該投影面估算之該深度圖,修正該互動內容的變形;依據先前對該投影面估算之該深度圖,調整該互動內容的一相對位置。
根據本揭露之另一方面,提出一種投影系統。投影系統包括一深度感測裝置、一投影裝置、一影像擷取裝置及一自動校正處理裝置。該深度感測裝置用以估算一投影面之一深度圖(depth map)。該投影裝置用以投影至少二校正圖形及一互動內容。該些校正圖形是根據該投影裝置與該深度感測裝置之預設的一位置資訊,投影該些校正圖形至該投影面;該互動內容是經過一自動校正處理裝置調整後再投影。該影像擷取裝置,用以擷取該投影面之一影像。該自動校正處理裝置用以校正該投影區域與該深度感測區域的該對應範圍;並在該對應範圍內,根據該投影面之該深度圖調整該互動內容。該自動校正處理裝置包含一對應範圍校正單元和一互動內容調整單元。該對應範圍校正單元於該影像偵測該些校正圖形,並獲得該些校正圖形於該深度圖之一深度圖位置資訊。該互動內容調整單元在該對應範圍內,根據該投影面之該深度圖調整該互動內容。該自動校正處理裝置依據該些校正圖形之該深度圖位置資訊,調整一投影位置,以獲得該深度圖之至少二定位點,該些定位點位於該投影區域之內且位於該深度感測區域之內,並根據該些定位點,獲得該投影區域與該深度感測區域的該對應範圍。 該投影互動內容調整單元將該互動內容投影在與該深度感測區域對應的該範圍內;依據該深度感測裝置對該投影面估算之該深度圖,修正該互動內容的變形;依據先前對該投影面估算之該深度圖,調整該互動內容的一相對位置。
根據本揭露之另一方面,提出一種自動校正處理裝置。自動校正處理裝置連接一深度感測裝置、一投影裝置及一影像擷取裝置。該深度感測裝置用以估算一投影面之一深度圖(depth map)。該投影裝置用以投影至少二校正圖形及一互動內容。該些校正圖形是根據一投影位置,投影至該投影面;該互動內容是經過該自動校正處理裝置調整後再投影。該影像擷取裝置用以擷取該投影面之一影像。該自動校正處理裝置包括一對應範圍校正單元和一互動內容調整單元。該對應範圍校正單元包括一偵測單元、一計算單元、一位置調整單元及一範圍設定單元。該偵測單元用以於該影像偵測該些校正圖形。該計算單元用以獲得該些校正圖形於該深度圖之一深度圖位置資訊。該位置調整單元用以依據該些校正圖形之該深度圖位置資訊,調整該投影位置,以獲得該深度圖之至少二定位點。該些定位點位於該投影區域之內且位於該深度感測區域之內。該範圍設定單元用以根據該些定位點,獲得已校正的該對應範圍。互動內容調整單元包括一影像縮放單元、一影像遮罩單元、一影像變形單元、一影像分割單元、一影像移動單元及一影像組合單元。影像縮放單元依據投影區域與深度感測區域的對應範圍縮小或放大投影互動內容。影像遮罩單元用於當投影區域比深度感測區域大時,遮蔽超出對應範圍的互動內容。影像變形單元依據深度感測裝置對投影面估算之深度圖,修正互動內容的變形。影像分割單元依據投影面之深度圖,區分固定不變的背景與有位置及深度變化的前景。影像移動單元用於當投影面有放置物品時,依據投影面之深度圖,調整投影文字或圖案的相對位置。影像組合單元用於組合影像縮放單元、影像遮罩單元、影像變形單元、影像分割單元及影像移動單元的處理結果,並將組合後的結果傳送至投影裝置。
為了對本揭露之上述及其他方面有更佳的瞭解,下文特舉各種實施例,並配合所附圖式,作詳細說明如下:
請參照第1圖及第2圖,第1圖繪示根據本揭露一實施例之投影系統100的示意圖,第2圖繪示投影系統100應用於非平面之一投影面900的示意圖。投影系統100例如是投影機、智慧白板、智慧壁燈、智慧檯燈、智慧餐桌、智慧爐具或智慧料理台。投影機可播放靜態畫面或動態影片。智慧白板、智慧壁燈、智慧檯燈、智慧餐桌、智慧爐具或智慧料理台可與使用者位於前景的手掌或肢體進行互動式投影。這些應用皆可能會投影在非平面之投影面900。本實施例之投影系統100透過深度感測技術、投影技術、影像擷取技術及自動校正技術,使得投影系統100能夠自動校正投影區域與深度感測區域的對應範圍,並在此對應範圍內,依據投影面900的深度資訊調整互動內容,以避免畫面變形,或是避免將投影面900之凸起處誤認為互動操作的物體(如:手或肢體)。
如第1圖所示,投影系統100包括一深度感測裝置110、一投影裝置120、一影像擷取裝置130及一自動校正處理裝置140。深度感測裝置110用以估算一投影面之一深度資訊,例如是一組雙鏡頭相機、一結構光深度感測裝置、一飛時(Time of Flight)深度感測裝置或是一光達(LiDAR)深度感測裝置。投影裝置120用以投影一畫面及校正圖形,例如是一CRT投影機、一LCD投影機或一DLP投影機。影像擷取裝置130用以擷取一畫面,例如是一彩色照相機或一單色照相機。自動校正處理裝置140用以進行各種計算程序、判斷程序、偵測程序與控制程序等,以校正投影區域與深度感測區域的對應範圍,並在此對應範圍內,根據投影面之深度圖調整互動內容,例如是一晶片、一電路、一電路板或儲存數組程式碼之記錄媒體。
自動校正處理裝置140包括一對應範圍校正單元141及一互動內容調整單元142。對應範圍校正單元141用以校正投影區域與深度感測區域的對應範圍。互動內容調整單元142用以在此對應範圍內,以一控制訊號CM2來根據投影面之深度圖調整互動內容。請參照第3圖所繪示的對應範圍校正單元141,對應範圍校正單元141包括一偵測單元141a、一計算單元141b、一位置調整單元141c及一範圍設定單元141d。偵測單元141a用以對影像擷取裝置130所擷取之畫面進行各種偵測程序。計算單元141b用以進行各種計算程序。位置調整單元141c用以進行各種位置調整程序。範圍設定單元141d用以設定投影區域與深度感測區域的對應範圍。請參照第4圖所繪示的互動內容調整單元142,互動內容調整單元142包括一影像縮放單元142a、一影像遮罩單元142b、一影像變形單元142c、一影像分割單元142d、一影像移動單元142e及一影像組合單元142f。影像縮放單元142a依據投影區域與深度感測區域的對應範圍縮小或放大互動內容。影像遮罩單元142b用於當投影區域比深度感測區域大時,遮蔽超出對應範圍的互動內容。影像變形單元142c依據深度感測裝置110對投影面估算之深度圖,修正互動內容的變形。影像分割單元142d依據投影面之深度圖,區分固定不變的背景與有位置及深度變化的前景。影像移動單元142e用於影像分割單元142d判斷出有前景時,依據投影面之深度圖,調整投影文字或圖案的相對位置。影像組合單元142f用於組合影像縮放單元142a、影像遮罩單元142b、影像變形單元142c、影像分割單元142d及影像移動單元142e的處理結果,並將組合後的結果傳送至投影裝置120。
請參照第1~3、5及7A~7C圖,第5圖繪示根據本揭露一實施例之投影系統100之非平面自動校正方法中的對應範圍校正方法的流程圖,第7A~7C圖繪示第5圖之各步驟的示意圖。在步驟S110中,校準深度感測裝置110與影像擷取裝置130。在此步驟中,深度感測裝置110及影像擷取裝置130可以同時拍攝一校正板,而取得較準確的3D空間資訊。
在步驟S120中,如第2圖所示,深度感測裝置110估算投影面900之一深度圖(depth map)DM(繪示於第7A圖)。在另一實施例中,深度感測裝置110亦可建立一立體網格(3D mesh),立體網格例如是一立體三角網格或一立體矩形網格。深度感測裝置110可以紅外線投射至投影面900,再依據紅外線之反射情況測得深度圖或建立出立體網格。
在步驟S130中,如第2圖所示,投影裝置120根據投影裝置120與深度感測裝置110之預設的位置資訊,投影至少二校正圖形(例如是校正圖形P11、P12、P13、P14)至投影面900。這些校正圖形P11、P12、P13、P14皆不相同。不同的網底表示不同的顏色,校正圖形P11、P12、P13、P14之顏色配置皆不相同。如此一來,透過顏色配置即可分辨出此些校正圖形P11、P12、P13、P14。
在步驟S140中,如第2圖所示,影像擷取裝置130擷取投影面900之一影像IM,對應範圍校正單元141中之偵測單元141a並於此影像IM偵測這些校正圖形P11、P12、P13、P14。在此步驟中,偵測單元141a可以利用樣板比對演算法(template matching algorithm)來比對出這些校正圖形P11、P12、P13、P14。
在步驟S150中,如第7A圖,對應範圍校正單元141中之計算單元141b獲得這些校正圖形P11、P12、P13、P14於深度圖DM之一深度圖位置資訊ML。在另一實施例中,校正圖形P11、P12、P13、P14於影像IM之位置亦可透過立體空間轉換矩陣分析出這些校正圖形P11、P12、P13、P14於立體網格之網格位置資訊。
在步驟S160中,對應範圍校正單元141中之位置調整單元141c依據這些校正圖形P11、P12、P13、P14之深度圖位置資訊ML,傳送控制訊號CM1a至投影裝置120調整校正圖形P11、P12、P13、P14之投影位置,再傳送控制訊號CM1b至影像擷取裝置130重新擷取投影面900之影像IM,並於此影像IM中重新偵測這些校正圖形P11、P12、P13、P14,以獲得在深度圖DM中對應的位置,重複步驟S160多次以得到深度圖DM之定位點。此些定位點位於投影區域之內且位於深度感測區域之內。
舉例來說,第7A圖之校正圖形P13、P14位於深度圖DM之外,投影裝置120將校正圖形P13朝向一投影中心點C0或一投影中心軸(例如是水平之投影中心軸H0或垂直之投影中心軸V0)移動。
如第7B圖所示,直到校正圖形P13被完整移入深度圖DM而被辨識出來時,才停止對校正圖形P13移動。此時,位置調整單元141c即可取得一定位點E13。同樣地,如第7B~7C圖所示,投影裝置120將位於深度圖DM外的校正圖形P14朝向投影中心點C0、水平之投影中心軸H0或垂直之投影中心軸V0移動,直到校正圖形P14被完整移入深度圖DM而被辨識出來時,才停止對校正圖形P14的移動,以獲得定位點E14。
如第7B~7C圖所示,投影裝置120將位於深度圖DM內的校正圖形P11、P12背向投影中心點C0、水平之投影中心軸H0或垂直之投影中心軸V0移動,直到校正圖形P11、P12至少被部份移出深度圖DM而無法被辨識出來時,才停止對校正圖形P11、P12的移動,以獲得定位點E11、E12。
在步驟S170中,對應範圍校正單元141中之範圍設定單元141d根據定位點E11、E12、E13、E14,獲得一已校正投影區域與深度感測區域的對應範圍R11。對應範圍R11係為定位點E11、E12、E13、E14之最大內接矩形。
在步驟S180中,對應範圍校正單元141中之範圍設定單元141d輸出投影區域與深度感測區域的對應範圍R11至互動內容調整單元142。請參照第6圖所繪示根據本揭露一實施例之投影系統100之非平面自動校正方法中的互動內容調整方法的流程圖。在步驟S210中,檢查投影區域與深度感測區域的對應範圍R11比例是否一致?若不一致則執行步驟S220縮放投影影像。若一致則執行步驟S230檢查投影區是否偏移出深度感測區?若有偏移則執行步驟S240遮蔽超出對應範圍R11的互動內容。若無偏移則執行步驟S250檢查投影面深度值變異量是否大於臨界值?若大於臨界值代表投影面為非平面,則執行步驟S260修正互動內容的變形。若小於或等於臨界值代表投影面可視為平面,不需修正互動內容的變形。在步驟S270中依據投影面之深度圖,區分固定不變的背景與有位置及深度變化的前景。接著執行步驟S280依據投影面之深度圖,調整互動內容的相對位置,避免投影的互動內容與放置在投影面的物品互相干擾。最後在步驟S290中組合步驟S220、步驟S240、步驟S260及步驟S280的處理結果,並將組合後的結果傳送至投影裝置120。如此使得投影系統100能夠自動校正投影區域與深度感測區域的對應範圍R11,並在此對應範圍R11內,依據投影面900的深度資訊調整互動內容,以避免畫面變形;或是避免將投影面900之凸起處誤認為互動操作的物體(如:手或肢體)。
請參照第8圖,其繪示根據本揭露之另一實施例之校正圖形P21、P22、P23、P24的示意圖。在此實施例中,投影裝置120於步驟S130所投影的校正圖形P21、P22、P23、P24可以是形狀相同但顏色不同。影像擷取裝置130可以是一彩色照相機。於步驟S140中,對應範圍校正單元141中之偵測單元141a可以透過色彩比對出這些校正圖形P21、P22、P23、P24。
請參照第9圖,其繪示根據本揭露之另一實施例之校正圖形P31、P32、P33、P34的示意圖。在此實施例中,投影裝置120於步驟S130所投影的校正圖形P31、P32、P33、P34可以是顏色相同但形狀不同。影像擷取裝置130可以是一單色照相機。於步驟S140中,對應範圍校正單元141中之偵測單元141a可以透過形狀比對出這些校正圖形P31、P32、P33、P34。
請參照第10圖,其繪示根據本揭露之另一實施例之校正圖形P41、P42的示意圖。在此實施例中,校正圖形P41、P42之數量係為2。於步驟S170中,對應範圍校正單元141中之位置調整單元141c以移動校正圖形P41、P42所找出之定位點E41、E42作為矩形的對角線,以獲得矩形之一投影區域與深度感測區域的對應範圍R41。
請參照第11圖,其繪示根據本揭露之另一實施例之校正圖形P51、P52的示意圖。在此實施例中,校正圖形P51、P52之數量係為2。於步驟S170中,對應範圍校正單元141中之位置調整單元141c以移動校正圖形P51、P52所找出之定位點E51、E52的距離作為圓形的直徑D51,以該直徑D51的中心點作為圓形的圓心C51,於深度圖DM裁切出圓形之一投影區域與深度感測區域的對應範圍R51。
根據上述各種實施例,透過投影校正圖形及移動校正圖形的動作,可以校正投影區域與深度感測區域的對應範圍,並在此對應範圍內,根據投影面之深度圖調整互動內容。如此投影系統可以將互動內容投影在與深度感測區域對應的範圍內;也可依據深度感測裝置對投影面估算之深度圖,修正互動內容的變形;並且當表面有放置物品時,也可依據先前對投影面估算之深度圖,調整互動內容的相對位置。
綜上所述,雖然本揭露已以各種實施例揭露如上,然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者,在不脫離本揭露之精神和範圍內,當可作各種之更動與潤飾。因此,本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
綜上所述,雖然本發明已以實施例揭露如上,然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾。因此,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧投影系統
110‧‧‧深度感測裝置
120‧‧‧投影裝置
130‧‧‧影像擷取裝置
140‧‧‧自動校正處理裝置
141‧‧‧對應範圍校正單元
141a‧‧‧偵測單元
141b‧‧‧計算單元
141c‧‧‧位置調整單元
141d‧‧‧範圍設定單元
142‧‧‧互動內容調整單元
142a‧‧‧影像縮放單元
142b‧‧‧影像遮罩單元
142c‧‧‧影像變形單元
142d‧‧‧影像分割單元
142e‧‧‧影像移動單元
142f‧‧‧影像組合單元
900‧‧‧投影面
C0‧‧‧投影中心點
C51‧‧‧圓心
CM1a、CM1b、CM2‧‧‧控制訊號
D51‧‧‧直徑
DM‧‧‧深度圖
E11、E12、E13、E14、E41、E42、E51、E52‧‧‧定位點
H0‧‧‧水平之投影中心軸
IM‧‧‧影像
ML‧‧‧深度圖位置資訊
P11、P12、P13、P14、P21、P22、P23、P24、P31、P32、P33、P34、P41、P42、P51、P52‧‧‧校正圖形
R11、R41、R51‧‧‧對應範圍
S110、S120、S130、S140、S150、S160、S170、S180、S210、S220、S230、S240、S250、S260、S270、S280、S290‧‧‧流程步驟
V0‧‧‧垂直之投影中心軸
第1圖繪示根據本揭露一實施例之投影系統的示意圖。 第2圖繪示投影系統應用於非平面之一投影面的示意圖。 第3圖繪示根據本揭露一實施例之對應範圍校正單元的示意圖。 第4圖繪示根據本揭露一實施例之互動內容調整單元的示意圖。 第5圖繪示根據本揭露一實施例之對應範圍校正方法的流程圖。 第6圖繪示根據本揭露一實施例之互動內容調整方法的流程圖。 第7A~7C圖繪示第5圖之各步驟的示意圖。 第8圖繪示根據本揭露之另一實施例之校正圖形的示意圖。 第9圖繪示根據本揭露之另一實施例之校正圖形的示意圖。 第10圖繪示根據本揭露之另一實施例之校正圖形的示意圖。 第11圖繪示根據本揭露之另一實施例之校正圖形的示意圖。
100‧‧‧投影系統
110‧‧‧深度感測裝置
120‧‧‧投影裝置
130‧‧‧影像擷取裝置
140‧‧‧自動校正處理裝置
141‧‧‧對應範圍校正單元
142‧‧‧互動內容調整單元
CM1a、CM1b、CM2‧‧‧控制訊號
DM‧‧‧深度圖
IM‧‧‧影像
R11‧‧‧對應範圍

Claims (24)

  1. 一種投影系統之非平面自動校正方法,包括: 估算一投影面之一深度圖(depth map); 校正一投影區域與一深度感測區域的一對應範圍,包括: 根據一投影裝置與一深度感測裝置之預設的一位置資訊,投影至少二校正圖形至該投影面; 擷取該投影面之一影像,並於該影像中偵測該些校正圖形; 獲得該些校正圖形於該深度圖之一深度圖位置資訊; 依據該些校正圖形之該深度圖位置資訊,調整該些校正圖形的一投影位置,以獲得該深度圖之至少二定位點,該些定位點位於該投影區域之內且位於該深度感測區域之內;以及 根據該些定位點,校正該投影區域與該深度感測區域的該對應範圍;以及 在該對應範圍內,根據該投影面之該深度圖調整一互動內容,包括: 將該互動內容投影在與該深度感測區域對應的該範圍內; 依據該深度感測裝置對該投影面估算之該深度圖,修正該互動內容的變形;以及 依據先前對該投影面估算之該深度圖,調整該互動內容的一相對位置。
  2. 如申請專利範圍第1項所述之投影系統之非平面自動校正方法,其中於調整該投影位置之步驟中,位於該深度圖內之該些校正圖形被部份移出該深度圖、或者位於該深度圖外之該些校正圖形被完整移入該深度圖,以獲得該深度圖之該些定位點。
  3. 如申請專利範圍第1項所述之投影系統之非平面自動校正方法,其中於調整該投影位置之步驟中,位於該深度圖外之該些校正圖形朝向一投影中心點或一投影中心軸移動。
  4. 如申請專利範圍第1項所述之投影系統之非平面自動校正方法,其中於調整該投影位置之步驟中,位於該深度圖內之該些校正圖形背向一投影中心點或一投影中心軸移動。
  5. 如申請專利範圍第1項所述之投影系統之非平面自動校正方法,其中該些校正圖形皆不相同。
  6. 如申請專利範圍第1項所述之投影系統之非平面自動校正方法,其中該些校正圖形之顏色配置皆不相同。
  7. 如申請專利範圍第1項所述之投影系統之非平面自動校正方法,其中該些校正圖形之形狀皆不相同。
  8. 如申請專利範圍第1項所述之投影系統之非平面自動校正方法,其中該至少二校正圖形之數量係為四,已校正的該對應範圍係為一最大內接矩形。
  9. 一種投影系統,包括: 一深度感測裝置,用以估算一投影面之一深度圖(depth map); 一投影裝置,用以投影至少二校正圖形及一互動內容,其中該些校正圖形是根據該投影裝置與該深度感測裝置之預設的一位置資訊,投影該些校正圖形至該投影面,該互動內容是經過一自動校正處理裝置調整後再投影; 一影像擷取裝置,用以擷取該投影面之一影像;以及 該自動校正處理裝置,用以校正該投影區域與該深度感測區域的一對應範圍,並在該對應範圍內,根據該投影面之該深度圖調整該互動內容; 其中該自動校正處理裝置包含一對應範圍校正單元及一互動內容調整單元,該對應範圍校正單元於該影像偵測該些校正圖形,並獲得該些校正圖形於該深度圖之一深度圖位置資訊,該互動內容調整單元在該對應範圍內,根據該投影面之該深度圖調整該互動內容; 其中該自動校正處理裝置依據該些校正圖形之該深度圖位置資訊,調整一投影位置,以獲得該深度圖之至少二定位點,該些定位點位於該投影區域之內且位於該深度感測區域之內,並根據該些定位點,獲得該投影區域與該深度感測區域的該對應範圍。
  10. 如申請專利範圍第9項所述之投影系統,其中該對應範圍校正單元將位於該深度圖內之該些校正圖形部份移出該深度圖、或者將位於該深度圖外之該些校正圖形完整移入該深度圖,以獲得該深度圖之該些定位點。
  11. 如申請專利範圍第9項所述之投影系統,其中該對應範圍校正單元控制該投影裝置將位於該深度圖外之該些校正圖形朝向一投影中心點或一投影中心軸移動。
  12. 如申請專利範圍第9項所述之投影系統,其中該對應範圍校正單元控制該投影裝置將位於該深度圖內之該些校正圖形背向一投影中心點或一投影中心軸移動。
  13. 如申請專利範圍第9項所述之投影系統,其中該些校正圖形皆不相同。
  14. 如申請專利範圍第9項所述之投影系統,其中該影像擷取裝置係為彩色照相機,該些校正圖形之顏色配置皆不相同。
  15. 如申請專利範圍第9項所述之投影系統,其中該影像擷取裝置係為單色照相機,該些校正圖形之形狀皆不相同。
  16. 如申請專利範圍第9項所述之投影系統,其中該至少二校正圖形之數量係為四,已校正的該對應範圍係為一最大內接矩形。
  17. 一種自動校正處理裝置,連接一深度感測裝置、一投影裝置及一影像擷取裝置,該深度感測裝置用以估算一投影面之一深度圖(depth map),該投影裝置用以投影至少二校正圖形及一互動內容,其中該些校正圖形是根據一投影位置,投影至該投影面;該互動內容是經過該自動校正處理裝置調整後再投影,該影像擷取裝置用以擷取該投影面之一影像,該自動校正處理裝置包括一對應範圍校正單元及一互動內容調整單元,其中 該對應範圍校正單元包括: 一偵測單元,用以於該影像偵測該些校正圖形; 一計算單元,用以獲得該些校正圖形於該深度圖之一深度圖位置資訊; 一位置調整單元,用以依據該些校正圖形之該深度圖位置資訊,調整該投影位置,以獲得該深度圖之至少二定位點,該些定位點位於該投影區域之內且位於該深度感測區域之內;以及 一範圍設定單元,用以根據該些定位點,獲得已校正的一對應範圍; 該互動內容調整單元包括: 一影像縮放單元,依據該投影區域與該深度感測區域的該對應範圍縮小或放大該互動內容; 一影像遮罩單元,用於當該投影區域比該深度感測區域大時,遮蔽超出該對應範圍的該互動內容; 一影像變形單元,依據該深度感測裝置對該投影面估算之該深度圖,修正該互動內容的變形; 一影像分割單元,依據該投影面之該深度圖,區分固定不變的一背景與有位置及深度變化的一前景; 一影像移動單元,用於當該投影面有放置一物品時,依據該投影面之深度圖,調整投影之文字或圖案的相對位置;以及 一影像組合單元,用於組合該影像縮放單元、該影像遮罩單元、該影像變形單元、該影像分割單元及該影像移動單元的處理結果,並將組合後的結果傳送至該投影裝置。
  18. 如申請專利範圍第17項所述之自動校正處理裝置,其中該位置調整單元將位於該深度圖內之該些校正圖形部份移出該深度圖、或者將位於該深度圖外之該些校正圖形完整移入該深度圖,以獲得該深度圖之該些定位點。
  19. 如申請專利範圍第17項所述之自動校正處理裝置,其中該位置調整單元控制該投影裝置將位於該深度圖外之該些校正圖形朝向一投影中心點或一投影中心軸移動。
  20. 如申請專利範圍第17項所述之自動校正處理裝置,其中該位置調整單元控制該投影裝置將位於該深度圖內之該些校正圖形背向一投影中心點或一投影中心軸移動。
  21. 如申請專利範圍第17項所述之自動校正處理裝置,其中該些校正圖形皆不相同。
  22. 如申請專利範圍第17項所述之自動校正處理裝置,其中該影像擷取裝置係為彩色照相機,該些校正圖形之顏色配置皆不相同。
  23. 如申請專利範圍第17項所述之自動校正處理裝置,其中該影像擷取裝置係為彩色照相機,該些校正圖形之形狀皆不相同。
  24. 如申請專利範圍第17項所述之自動校正處理裝置,其中該至少二校正圖形之數量係為四,已校正的該對應範圍係為一最大內接矩形。
TW106108138A 2016-05-31 2017-03-13 投影系統及其非平面自動校正方法與自動校正處理裝置 TWI604414B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710367924.9A CN107454373B (zh) 2016-05-31 2017-05-23 投影系统及其非平面自动校正方法与自动校正处理装置
US15/610,174 US9998719B2 (en) 2016-05-31 2017-05-31 Non-planar surface projecting system, auto-calibration method thereof, and auto-calibration device thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105117062 2016-05-31
??105117062 2016-05-31

Publications (2)

Publication Number Publication Date
TWI604414B true TWI604414B (zh) 2017-11-01
TW201810184A TW201810184A (zh) 2018-03-16

Family

ID=61023060

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106108138A TWI604414B (zh) 2016-05-31 2017-03-13 投影系統及其非平面自動校正方法與自動校正處理裝置

Country Status (1)

Country Link
TW (1) TWI604414B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
TWI775935B (zh) * 2017-12-12 2022-09-01 南韓商三星電子股份有限公司 估測圖像中的深度的方法
US11525671B2 (en) 2017-12-12 2022-12-13 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI733436B (zh) * 2020-05-06 2021-07-11 微星科技股份有限公司 等比例投影方法及裝置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7001023B2 (en) * 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
WO2006110141A2 (en) * 2005-04-11 2006-10-19 Polyvision Corporation Automatic projection calibration
CN101500172B (zh) * 2009-02-20 2012-11-07 四川华控图形科技有限公司 基于光传感器的投影自动几何校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7001023B2 (en) * 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
WO2006110141A2 (en) * 2005-04-11 2006-10-19 Polyvision Corporation Automatic projection calibration
CN101500172B (zh) * 2009-02-20 2012-11-07 四川华控图形科技有限公司 基于光传感器的投影自动几何校正方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI775935B (zh) * 2017-12-12 2022-09-01 南韓商三星電子股份有限公司 估測圖像中的深度的方法
US11525671B2 (en) 2017-12-12 2022-12-13 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
US11551367B2 (en) 2017-12-12 2023-01-10 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
US10977829B2 (en) 2018-12-07 2021-04-13 Industrial Technology Research Institute Depth camera calibration device and method thereof

Also Published As

Publication number Publication date
TW201810184A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
US9998719B2 (en) Non-planar surface projecting system, auto-calibration method thereof, and auto-calibration device thereof
TWI604414B (zh) 投影系統及其非平面自動校正方法與自動校正處理裝置
US11115633B2 (en) Method and system for projector calibration
CN113365041B (zh) 投影校正方法、装置、存储介质和电子设备
TWI585436B (zh) 深度資訊量測方法及裝置
US9756303B1 (en) Camera-assisted automatic screen fitting
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
US8953101B2 (en) Projector and control method thereof
US11076138B2 (en) Projection system, projection apparatus and calibrating method for displayed image thereof
US8491128B2 (en) System and method for projection correction by capturing projection image
JP6459194B2 (ja) プロジェクター、及び投写画像制御方法
US9992486B2 (en) Method of enhanced alignment of two means of projection
WO2022247418A1 (zh) 图像校正方法及拍摄设备
KR20150135765A (ko) 웨어러블 장치의 프로젝션을 제어하기 위한 방법 및 디바이스, 및 웨어러블 장치
CN108063928B (zh) 一种投影仪的成像图像自动调整方法、装置及电子设备
CN112272292B (zh) 投影校正方法、装置和存储介质
US9696613B2 (en) Image processing apparatus, projector and image processing method
KR20150080678A (ko) 사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법
CN106454294A (zh) 投影机画面校正方法及投影机
US10455204B2 (en) Display system and information processing method
WO2018012524A1 (ja) 投影装置、投影方法および投影制御プログラム
WO2019024498A1 (zh) 一种定位系统以及定位方法
JP2021158393A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7187794B2 (ja) 投影制御装置、マーカ検出方法及びプログラム
WO2023066331A1 (zh) 一种自动标定方法、设备、系统和计算机可读存储介质