TWI745992B

TWI745992B - 用於虛擬觸控之投影裝置及其方法

Info

Publication number: TWI745992B
Application number: TW109118738A
Authority: TW
Inventors: 王宇光; 黃文藝; 許焙凱
Original assignee: 宏芯科技股份有限公司
Priority date: 2020-06-04
Filing date: 2020-06-04
Publication date: 2021-11-11
Also published as: TW202147073A

Abstract

一種用於虛擬觸控之投影裝置，包括：一雙相機模組，包括一左相機及一右相機；一影像投射器，設置於雙相機模組之左相機及右相機之間；以及一影像處理電路，用以依據投影裝置相對於投影平面之感測資訊對輸入影像進行影像校正處理以產生輸出影像，並控制影像投射器投射輸出影像至投影平面，以及控制左相機及右相機分別對投影平面擷取左側影像及右側影像。影像處理電路更將校正後的左側影像及右側影像正規化。影像處理電路依據偏移值判斷投影平面之第一深度及目標物件之物件深度，並依據物件深度之變化以判斷在投影平面上之一虛擬觸控操作。

Description

用於虛擬觸控之投影裝置及其方法

本發明係有關於投影裝置，特別是一種用於虛擬觸控之投影裝置及其方法。

隨著科技發展，智能投影裝置也變得愈來愈普及。舉例來說，智能投影裝置可以是單獨的大型投影儀或是無屏激光電視，也可能是微型投影機、或是整合進行動裝置或可攜式裝置之微型投影裝置。因為上述智能投影裝置大部分都可由使用者隨身攜帶，且在投射影像時，可能無法像使用固定式投影機一樣先進行影像校正，因此，智能投影裝置所投射出至平面上之影像往往會產生偏移、扭曲、旋轉、或是投射出來的影像尺寸過大或過小的情況。目前市面上的各式投影裝置均無法有效地解決上述影像變形的問題。

此外，若要搭配智能投影裝置使用虛擬觸控功能，傳統方式往往需要在投影平面之上方設置固定式的光源(例如紅外線光源)以及相應的控制主機才能達成，使用性較不便利，故會降低使用者體驗。

本發明係提供一種用於虛擬觸控之投影裝置，包括：一雙相機模組，包括一左相機及一右相機；一影像投射器，設置於該雙相機模組之該左相機及該右相機之間，其中該雙相機模組之整體視野係包括該影像投射器之影像投射範圍；以及一影像處理電路，用以依據該投影裝置相對於一投影平面之感測資訊對一輸入影像進行一影像校正處理以產生一輸出影像，並控制該影像投射器投射該輸出影像至該投影平面，以及控制該左相機及該右相機分別對該投影平面擷取一左側影像及一右側影像，其中該影像處理電路更對該左側影像及該右側影像進行該影像校正處理，並將校正後的該左側影像及該右側影像正規化，其中該影像處理電路並從正規化後之該左側影像及該右側影像偵測出一目標物件在正規化後之該左側影像及該右側影像之間的一偏移值，並依據該偏移值判斷該投影平面相對於該投影裝置之第一深度及該目標物件相對於該投影裝置之物件深度，其中該影像處理電路更依據該物件深度之變化以判斷在該投影平面上之一虛擬觸控操作。

在一些實施例中，該影像投射器之中心線與該投影平面不垂直。

在一些實施例中，該影像處理電路係偵測在正規化後之該左側影像及該右側影像中之一棒狀物以做為該目標物件。

在一些實施例中，該影像處理電路更設定平行於該投影平面之一虛擬觸控平面，其相對於該投影裝置係具有一第二深度，且該第二深度係小於該第一深度，且該投影平面及該虛擬觸控平面之間為一觸控空間。

在一些實施例中，當該目標物件之該物件深度係由小而大變化以進入該觸控空間，該影像處理電路係執行在相應於該目標物件之座標上之圖示的按下操作。當該目標物件之該物件深度係由大而小變化以離開該觸控空間，該影像處理電路係執行在相應於該目標物件之座標上之該圖示的放開操作。

在一些實施例中，該投影裝置係由一主機接收該輸入影像，且該影像處理電路係將該觸控操作及相應之座標傳送至該主機，以使該主機執行對應於該座標之選項的操作。

本發明更提供一種用於虛擬觸控之投影方法，用於一投影裝置，該投裝置包括一雙相機模組及一影像投射器，其中該雙相機模組包括一左相機及一右相機，且該影像投射器係設置於該雙相機模組之該左相機及該右相機之間，其中該雙相機模組之整體視野係包括該影像投射器之影像投射範圍，該方法包括：依據該投影裝置相對於一投影平面之感測資訊對一輸入影像進行一影像校正處理以產生一輸出影像；控制該影像投射器投射該輸出影像至該投影平面；控制該左相機及該右相機分別對該投影平面擷取一左側影像及一右側影像；對該左側影像及該右側影像進行該影像校正處理，並將校正後的該左側影像及該右側影像正規化；從正規化後之該左側影像及該右側影像偵測出一目標物件在正規化後之該左側影像及該右側影像之間的一偏移值，並依據該偏移值判斷該投影平面相對於該投影裝置之第一深度及該目標物件相對於該投影裝置之物件深度；以及依據該物件深度之變化以判斷在該投影平面上之一虛擬觸控操作。

為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下。

第1圖係顯示依據本發明一實施例中之投影裝置的功能方塊圖。舉例來說，投影裝置100可為一單獨的微型可攜式投影機，或是可攜式裝置或行動裝置，例如是智慧型手機、平板電腦、智慧手環、智慧手錶、智慧眼鏡、或是筆記型電腦之中，亦或是電視裝置，例如是投影機(projector)、投影式電視(例如陰極射線管(CRT)投影顯示器、液晶投影顯示器、數位光源(DLP)投影顯示器、反射式矽基液晶色彩序列(LCoS CS)投影、反射式矽基液晶色彩濾光(LCoS CF)投影、或雷射電視(Laser TV)等無屏電視)。投影裝置100係用以投射輸出影像至一投影平面上，例如是牆壁、布幕等等，但本發明並不限於此。

如第1圖所示，投影裝置100係包括一影像處理電路110、一記憶體單元120、一影像緩衝器130、一影像投射器150、一雙相機(dual-camera)模組160、以及一傳輸介面170。

影像處理電路110係用以依據一感測資訊或環境資訊(例如可為來自外部的感測資訊或是來自投影裝置100中之感測器140)以處理一輸入影像或是一待投射影像以產生一輸出投射影像。舉例來說，在一實施例中，影像處理電路110例如可為一特定應用積體電路(Application-Specific Integrated Circuit，ASIC)、或是一晶片系統(System-on-chip，SoC)。需了解的是，影像處理電路110係為多個影像處理電路之總稱，影像處理電路110可包括一或多個子電路，用以執行影像校正之流程中的不同影像處理運算。在一些實施例中，影像處理電路110例如可用一處理器，例如是中央處理器(CPU)、數位信號處理器(DSP)、或影像信號處理器(ISP)所實現，但本發明並不限於此。

記憶體單元120例如可為一靜態隨機存取記憶體(SRAM)，用以儲存影像處理電路110在進行影像處理中之影像暫存資料。影像緩衝器130為一揮發性記憶體(volatile memory)，例如是動態隨機存取記憶體(DRAM)，用以儲存在輸入影像進行影像校正時之暫存/中間影像資料、以及輸出影像。

在一些實施例中，投影裝置100更包括感測器140，其中感測器140例如可包括一陀螺儀141(gyroscope)及一加速度計(accelerometer)142，用以取得有關於投影裝置100相對於一投影平面之一感測資訊，其中感測資訊例如包括投影裝置100在三軸(例如X、Y、及Z軸)上之一旋轉角/傾角及其方向之資訊、以及投影裝置100與投影平面之夾角等資訊，但本發明並不限於此。在一些實施例中，投影裝置100係接收來自外部的一感測資訊或環境資訊，例如可由外部感測裝置所量測投影裝置100相對於投影平面之相關位置、角度等資訊。

影像投射器150係用以將輸出影像投射至一投影平面。舉例來說，影像投射器150例如可支援雷射(Laser)掃描投影、數位光線處理(digital lighting process，DLP)投影、穿透式LCD投影、反射式矽基液晶色彩序列(LCoS CS)投影、反射式矽基液晶色彩濾光(LCoS CF)等技術，但本發明並不限於此。更進一步而言，影像投射器150係包括了一顯示單元151及一影像投射單元152。其中，影像處理電路110係將影像校正處理後之輸出影像從影像緩衝器140中讀取至顯示單元151(例如為一LCD或LED螢幕)進行顯示，且在顯示單元151上所播放之影像則可透過影像投射單元152投放至一投影平面。

雙相機模組160例如包括一左相機161及一右相機162，其可利用電荷耦合裝置(CCD)影像感測器或是互補式金屬氧化物半導體(CMOS)影像感測器所實現，但本發明並不限於此。左相機161及右相機162係具有相同的拍攝視野(field of view，FOV)，且兩者之中心線係垂直於雙相機模組160之殼體表面。影像投射器150例如可設置於左相機161及右相機162之間，且相鄰於左相機161或右相機162，如第4A圖所示。若影像投射器150之設置位置係相鄰於右相機162，則影像投射器150與左相機161之間係相隔一預定距離d，其中預定距離d例如為8公分或以上，但本發明並不限於此。類似地，若影像投射器150之設置位置係相鄰於左相機161，則影像投射器150與右相機162之間係相隔上述預定距離。

雙相機模組160之整體的拍攝視野1601例如可將左相機161之拍攝視野1611及右相機162之拍攝視野1621疊合而得，且雙相機模組160之整體的拍攝視野1601需大於影像投射器150之影像投射範圍1501，如第4A圖所示。雙相機模組160之左相機161及右相機162例如可分別擷取一左側影像(亦可稱為左眼影像)及一右側影像(亦可稱為右眼影像)，且影像處理電路110可取得上述左側影像及右側影像以計算出投影平面距離投影裝置100之中心點的深度(depth)。此外，當使用者在投影平面前利用目標物件(例如：手指或其他棒狀物)進行虛擬觸控操作時，左相機161及右相機162所拍攝到之左側影像及右側影像即包括該目標物件，且影像處理電路110可利用左側影像及右側影像以計算出上述目標物件之深度以及上述目標物件與投影平面之間的距離。

傳輸介面170例如可包括有線傳輸介面及/或無線傳輸介面，其中有線傳輸介面可包括：高解析度多媒體介面(High Definition Multimedia Interface，HDMI)、顯示埠(DisplayPort，DP)介面、嵌入式顯示埠(embedded DisplayPort，eDP)、介面通用序列匯流排(Universal Serial Bus，USB)介面、USB Type-C介面、雷靂(Thunderbolt)介面、數位視訊介面(DVI)、視訊圖形陣列(VGA)介面、一般用途輸入輸出(GPIO)介面、通用非同步收發傳輸器(UART)介面、序列周邊介面(SPI)介面、積體電路匯流排(I2C)介面、或其組合，且無線傳輸介面可包括：藍芽(Bluetooth)、WiFi、近場通訊(NFC)介面等等，但本發明並不限於此。投影裝置100例如如可透過傳輸介面170以連接至一主機10，並由主機10接收影像信號並播放。

在一實施例中，影像處理電路110係包括一線性轉換電路111、反扭曲電路112、一濾波電路113。線性轉換電路111係用以處理輸入影像之線性轉換(linearity transformation)及第一影像反扭曲處理(inverse warping)以產生一第一影像。反扭曲電路112係用以對第一影像進行一矩陣轉換處理(例如包括水平映射、垂直映射、旋轉映射、縮放處理)以及第二影像反扭曲處理以產生一第二影像。濾波電路113係針對來自反扭曲電路112所產生的第二影像進行適應性銳利度濾波處理(adaptive sharpness filtering)及適應性亮度平衡處理(adaptive brightness balancing)以產生一輸出影像。

在一實施例中，影像處理電路110係接收一輸入影像並將輸入影像儲存於影像緩衝器130。線性轉換電路111係讀取儲存於影像緩衝器130中之輸入影像，並對該輸入影像進行線性轉換處理。舉例來說，投影裝置100會具有一水平轉動角以及一垂直轉動角，若投影裝置100相對於投影平面是朝左邊的，則投射出的影像之左側部份相對於右側會拉大。換言之，若要在投影平面上看到沒有扭曲變形的影像，在此實施例中，則需要預先對輸入影像進行反線性轉換，例如將輸入影像之左側部份先縮小。水平線性轉換及垂直線性轉換係可分開獨立計算。

水平線性轉換係可用下列數學式表示：

(1)

(2)

X為輸入影像，A表示轉換矩陣，X’表示水平變換後之影像。

垂直線性轉換係可用下列數學式表示：

(3)

(4)

Y為輸入影像，A表示轉換矩陣，Y’表示水平變換後之影像。在方程式(1)及(4)中之cols及rows係分別表示在影像中之行數及列數。val則表示進行線性轉換之調整參數本發明領域中具有通常知識者當可了解對影像進行線性轉換之技術，故其細節於此不再贅述。當線性轉換電路111完成水平線性轉換及垂直線性轉換後會產生一線性轉換影像，且線性轉換電路111更對線性轉換影像進行一影像反扭曲處理以產生一第一影像，並將該第一影像儲存於影像緩衝器130。

需注意的是，在原本二維平面的輸入影像經過線性轉換電路111之上述線性轉換處理及影像反扭曲處理後會得到一第一影像，其中第一影像可能會是一個形狀扭曲的影像。因此，第一影像中之像素與原本的輸入影像中之像素並不是一對一的對應關係。更進一步而言，在第一影像中之像素位置是以用整數的座標呈現，也就是在第一影像中之整數座標的每個像素都已經過反扭曲(inverse warping)處理以對應到原本輸入影像中之位置。需注意的是，上述對應至原本輸入影像之位置可能並非整數座標，也就是可能位於多個整數座標的像素之間。因此，可利用線性內插的方法計算位於輸入影像之非整數座標上的第一影像像素，其中線性內插的方法可為最近整數點、雙線性內插(bi-linear interpolation))、雙三次內插(bi-cubic interpolation)、或是sinc函數等方法，但本發明並不限於此。

在一實施例中，影像反扭曲電路112係可依據來自偵測器130之偵測資訊計算一線性轉換矩陣RVS_matrix。舉例來說，線性轉換矩陣RVS_matrix可由下列公式所得到：

(5)

其中R_matrix為旋轉轉換矩陣，V_matrix為垂直轉換矩陣，H_matrix為水平轉換矩陣。在一實施例中，旋轉轉換矩陣R_matrix、垂直轉換矩陣V_matrix、及水平轉換矩陣H_matrix可分別為一固定轉換矩陣，例如：

(6)

(7)

(8)

需注意的是，上述旋轉轉換矩陣R_matrix、垂直轉換矩陣V_matrix、及水平轉換矩陣H_matrix僅為說明之用之標準修正矩陣，本發明並不限定於上述的轉換矩陣。更進一步而言，對於投影裝置100之不同的水平轉動角、垂直轉動角(傾角)、以及旋轉角度(相對於Z軸)均有相應的一標準修正矩陣，且旋轉轉換矩陣R_matrix、垂直轉換矩陣V_matrix、及水平轉換矩陣H_matrix之不同設定例如儲存於記憶體單元120中的一矩陣查找表(matrix look-up table)中。簡單來說，影像反扭曲電路112可依據來自偵測器130之偵測資訊從矩陣查找表中取得相應的旋轉轉換矩陣R_matrix、垂直轉換矩陣V_matrix、及水平轉換矩陣H_matrix，並計算出線性轉換矩陣RVS_matrix。

若以輸入影像為1920x1080之解析度，且影像投射器150之解析度亦為1920x1080為例，當計算出線性轉換矩陣後，因為轉換後的影像可能會超出影像投射器150之解析度之範圍，則需要再進行尺寸調整及縮放才能符合影像投射器150之解析度。舉例來說，影像反扭曲電路112會使用線性內插法以計算投影裝置100之當前的角度及偏移所需的矩陣。接著，影像反扭曲電路112再將一縮放轉換矩陣S_matrix乘以線性轉換矩陣RVS_matrix以得到一目標矩陣M，例如可用下列方程式表示：

(9)

縮放轉換矩陣S_matrix亦儲存於記憶體單元120中的矩陣查找表(matrix look-up table)中。舉例來說，縮放轉換矩陣S_matrix可用一固定轉換矩陣表示：

(10)

更進一步而言，影像反扭曲電路112係讀取儲存於影像緩衝器130中之第一影像，並將該第一影像進行一矩陣轉換處理(例如乘以目標矩陣M)以得到一調整影像。接著，影像反扭曲電路112更對該調整影像進行影像反扭曲處理(inverse warping)以得到一第二影像。

需注意的是，在原本二維平面的第一影像經過影像反扭曲電路112之上述線性轉換及縮放轉換處理(例如乘以目標矩陣M)並進行影像反扭曲處理後會得到一第二影像，其中第二影像可能會是一個形狀扭曲的影像。因此，第二影像中之像素與原本的第一影像中之像素並不是一對一的對應關係。更進一步而言，在調整影像中之像素位置是以用整數的座標呈現，也就是在第二影像中之整數座標的每個像素都已經過反扭曲(inverse warping)處理以對應到原本第一影像中之位置。需注意的是，上述第二影像中之整數座標的每個像素對應至第一影像之位置可能並非整數座標，也就是可能位於第一影像中相鄰的幾個整數座標的像素之間。因此，可利用線性內插的方法計算位於第一影像之非整數座標上的第二影像像素，其中線性內插的方法可為最近整數點、雙線性內插(bi-linear interpolation))、雙三次內插(bi-cubic interpolation)、或是sinc函數等方法，但本發明並不限於此。

第2A～2C圖係顯示依據本發明一實施例中在濾波電路中進行一維拉普拉斯變換的示意圖。舉例來說，影像投射器150在一般情況投射影像至投影平面時，往往在影像的中心點是聚焦清晰，但是影像的頂部及邊緣的的聚焦效果較差，會造成影像邊緣會比影像的中心點較模糊。在一實施例中，濾波電路113可增強第二影像之邊緣銳利度以產生一輸出影像，意即濾波電路113包括一銳利度濾波器(sharpness filter)。此外，濾波電路113更包括一亮度平衡濾波器，用以修正投影裝置100在投影平面上之影像的亮度不均的問題。

更進一步而言，以銳利度濾波器為例，濾波電路113係可依據來自感測器140之感測資訊以得知影像投射器150之投影角度，並可調整銳利度濾波器之參數。在一實施例中，濾波電路113之操作方式是對第二影像進行二維拉普拉斯變換(2D Laplace Transform)，例如可用下列方程式表示：

(11)

舉例來說，第二影像之原函式例如可用第2A圖表示，即為函式 f(x)與x之關係圖。在經過一維拉普拉斯變換之後，可取得其邊緣特徵，例如可經由下列方程式計算：

(12)

其中函式 g(x)之曲線圖例如第2B圖所示，可看出邊緣特徵已被取出。

接著，濾波電路113係將第2B圖中之函式g(x)乘上一權重值以疊加回原函式f(x)，例如可經由下列方程式計算：

(13)

其中函式 f _s(x) 的曲線圖例如為第2C圖所示。由第2C圖可看出在原第二影像中之邊緣特徵已被疊加至第二影像上。需注意的是，為了便於說明，在上述實施例中係利用x方向之一維拉普拉斯變換進行說明，濾波電路113對於y方向亦可進行類似的一維拉普拉斯變換處理，藉以得到最後的輸出影像。

因此，相較於第二影像，輸出影像在影像邊緣的銳利度的效果更佳，在經由影像投射器150投放至投影平面時，使用者會觀看到具有較佳影像品質的輸出影像。在一些實施例中，濾波電路113係可省略，意即影像投射器150可直接投放第二影像至投影平面。

以亮度平衡濾波器為例，濾波電路113可修正投影裝置100投射影像至投影平面時的亮度不均之問題。舉例來說，依據照度之公式，在相同光源的情況下，照度與距離平方成反比。對於傳統的投影機而言，因為其擺設位置是固定，且參數已調整過，亮度不均的情況較不明顯。然而，對於可攜式的投影裝置來說，例如是短焦投影機，使用者很容易就會觀察到亮度不均的情況。這是因為光源及投影平面之間的距離相當短，且投影的角度更大，因此容易造成光源至投射影像之中心與邊緣之距離差距會比傳統投影機還要大得多，因此投射影像之中心與邊緣之照度差距也愈大。

第3圖係顯示本發明一實施例中之投影裝置投放影像至投影平面的示意圖。在一實施例中，為了讓投放出的輸出影像之亮度平均，濾波電路113中之亮度平衡濾波器係依據下列方程式調整輸出影像之每個像素的亮度，例如調整在不同投射距離的之特定像素的紅色、藍色、綠色子像素之亮度：

(14)

(15)

(16)

其中，夾角θ表示投影裝置100與投影平面之間的垂直投射距離311與斜邊312的夾角，313為成像寬度，如第3圖所示；α為一調整參數，可同時適用於方程式(14)、(15)、及(16)；pixel _R、pixel _B、pixel _G係分別表示輸出影像中欲調整之特定像素的紅色、藍色、綠色子像素的亮度值；mean _R、mean _B、mean _G係分別表示輸出影像之所有的紅色、藍色、綠色子像素之平均值。

更進一步而言，若該特定像素距離投射中心點愈遠，即表示其夾角θ愈大，故tanθ也愈大，意即會在原本的紅色、藍色、綠色子像素的亮度上補償更多的亮度值，使得輸出影像在經過投影裝置100投放至投影平面時，使用者在投影平面上不會看到影像亮度不均的情況，進而增加使用者體驗。

第4A～4I圖為依據本發明一實施例中之投影裝置進行虛擬觸控操作的示意圖。請同時參考第1圖及第4A～4I圖。

在一實施例中，投影裝置100係具有虛擬觸控之功能。舉例來說，在使用者進虛擬觸控操作之前，投影裝置100需先進行影像校正處理。第4B圖為投影裝置100之設置的俯視圖，為了避免投影裝置100所投射出的影像被使用者所遮蔽，投影裝置100係採用側投影的方式將影像投射於投影平面410。因為在第4B圖中之投影裝置100係朝右方具有一旋轉角度(意即影像投射器150之中心線與投影平面410不垂直)，當使用者欲進行虛擬觸控操作，則需要站在第4B圖中之影像投射範圍1501之右側以避免身體遮蔽影像投射範圍1501。

在第4C圖中，若投影裝置100中之影像處理電路110尚未進行影像校正，則影像投射器150所投射至投影平面410之投影影像會是歪曲偏斜的影像，如影像420所示。在投影裝置100中之影像處理電路110依據第2～3圖之實施例所述的影像校正處理進行影像校正後，則可在投影平面觀看到得到未扭曲的影像，例如第4D圖中之影像422所示。

接著，左相機161及右相機162係分別對投影平面進行拍攝以得到左側影像及右側影像，意即左側影像及右側影像中均會包含影像422。影像處理電路110再對左側影像及右側影像進行影像校正處理，並分別對校正後的左側影像及右側影像進行正規化(normalization)，使得在左側影像及右側影像中之影像420的區域重疊在同一位置，如第4E圖所示。舉例來說，影像處理電路110可對第4F圖中未正規化的左側影像424及右側影像426進行正規化，例如將左側影像424及右側影像426之邊緣映射至一預定大小的影像尺寸(例如寬度W*高度H)以得到影像428及430，並將影像428及430重疊在同一位置，如第4F圖所示。

因此，影像處理電路110可依據正規化後的左側影像及右側影像以計算出影像420在投影平面410相對於投影裝置100之深度。本發明領域中具有通常知識者當可了解如何由左側影像及右眼影像計算出在場景中之物件深度的技術，故其細節於此不再詳述。在執行上述影像校正步驟後，投影裝置100係可準備用於虛擬觸控。

舉例來說，如第4G圖所示，若在影像投射器150之影像投射範圍1501中有非投影平面之物體(例如為棒狀物)出現，如物體440，則左相機161及右相機162分別擷取且經過正規化後所得到的左側影像450及右側影像452如第4H圖所示，其中物體440在左側影像450及右側影像452係分別以物體440L及440R標示。影像處理電路110例如可執行區塊匹配(block matching)以分別由左側影像450及右側影像452找出相對應的物體440L及440R。本發明領域中具有通常知識者當可了解由左側/右側影像(即立體影像)尋找出相對應之立體物件之技術，故其細節於此不再詳述。

當影像處理電路110將左側影像450及右側影像452疊合後，在疊合影像454中會出現疊影，意即將物體440L及440R疊合以得到物體440C。詳細而言，因為左側影像450及右側影像452為經過正規化後得到的影像，當物體440之深度恰等於投影平面410之深度時，在疊合影像454中的物體440L及440R應會剛好重疊，意即等同於物體440C。若物體440之深度小於投影平面410之深度，則在疊合影像454中的物體440L及440R之間係具有非0的偏移值(disparity)，意即物體440L及440R並非完全重疊。若使用者用手指以做為虛擬觸控之控制物件，則影像處理電路110可由左側影像450及右側影像452中判斷出手指之指尖區域，並且判斷在左側影像450及右側影像452中之指尖區域是否為同一點。若是，影像處理電路110可判斷使用者手指之指尖已接觸到投影平面410。

因此，影像處理電路110可依據物體440L及440R之間的偏移值以計算物體440C之深度，並依據上述偏移值以判斷物體440C是否有接觸到投影平面410或是相當接近投影平面410。

舉例來說，影像處理電路110在影像校正處理時可計算出投影平面之深度為D1(例如為第一深度)，且可計算出現在影像投射器150之影像投射範圍1501之中的物體440的物件深度D。因為左相機161及右相機162分別擷取的左側影像及右側影像之解析度有限，故在計算影像投射範圍1501之中的物體440之深度會有些微誤差，故影像處理電路110會設定投影平面410相對於投影裝置100具有深度D1(例如為第一深度)。此外，影像處理電路110更設定在投影平面410往投影裝置100之方向距離T之位置有一虛擬觸控平面412，其深度為D2(例如為第二深度)，且D2≦D1，意即虛擬觸控平面412係平行於且實質地接近投影平面410。其中，深度D1及D2、以及物件深度D例如可換算為實際的距離單位，例如公分(cm)。

若D2 ≦ D ≦ D1，則影像處理電路110可判斷使用者欲使用物體440以進行虛擬觸控。若D > D2，則影像處理電路110係判斷物體440並非用於虛擬觸控。在一些實施例中，上述距離T例如可為1～3公分之間的常數，但本發明並不限於此。

如第4I圖所示，投影平面410及虛擬觸控平面412之間的距離為T。當物體440(例如為目標物件)之位置係介於投影平面410及虛擬觸控平面412之間(例如可視為一觸控空間)時，影像處理電路110可判斷使用者欲使用物體440以進行虛擬觸控。當物體440之位置係介於虛擬觸控平面412及投影裝置100之間時，影像處理電路110係判斷物體440並非用於虛擬觸控。此外，影像處理電路110可經由物體440之深度變化來判斷使用者之觸控手勢，例如物體440之物件深度由淺而深變化並進入投影平面410及虛擬觸控平面412之間的區域時，影像處理電路110可判斷使用者係在物體440之相應位置的圖示或選項執行一按下操作。在一些實施例中，當使用者利用上述方式進行按下操作，影像處理電路110可在該按下操作之相應的位置顯示一高亮光點並持續一預定時間。

類似地，物體440之物件深度由深而淺變化並離開投影平面410及虛擬觸控平面412之間的區域時，影像處理電路110可判斷使用者係執行相應位置的圖示或選項之放開操作。

若觸控操作是對主機10所執行的應用程式進行操作，影像處理電路110則會將上述觸控動作以及在影像信號中的相應座標透過傳輸介面170回報至主機10。當主機10從投影裝置100接收到上述觸控動作及相應座標之觸控信號時，即可對主機10所執行之應用程式進行相應的操作。此外，上述觸控操作亦可對投影裝置100之螢幕上顯示(OSD)介面進行操作，故影像處理電路110可直接依據上述觸控動作及相應座標對OSD介面中的選項進行觸控操作。

第5圖為依據本發明一實施例中之用於虛擬觸控之投影方法的流程圖。請同時參考第1圖及第5圖。

在步驟S510，依據投影裝置100相對於一投影平面之感測資訊對一輸入影像進行一影像校正處理以產生一輸出影像。舉例來說，輸入影像可以是來自主機10之影像信號或是投影裝置100之OSD介面。此外，感測資訊例如可由投影裝置100之感測器140偵測而得。

在步驟S520，控制影像投射器150投射該輸出影像至該投影平面。影像投射器150之中心線可不垂直於投影平面，若未經過影像校正的話，則使用者會在投影平面觀看到扭曲或歪斜的影像。因為在步驟S510，影像處理電路110已對輸入影像進行影像校正，因此，所得到的輸出影像是經過影像校正且為未扭曲的影像。

在步驟S530，控制左相機161及右相機162分別對該投影平面擷取一左側影像及一右側影像。舉例來說，左相機161及右相機162所分別擷取的左側影像及右側影像係包含投射至投影平面的輸出影像。

在步驟S540，對該左側影像及該右側影像進行該影像校正處理，並將校正後的該左側影像及該右側影像正規化。舉例來說，如第4F圖所示，影像處理電路110可對第4F圖中未正規化的左側影像424及右側影像426進行正規化，例如將左側影像424及右側影像426之邊緣映射至一預定大小的影像尺寸(例如寬度W*高度H)以得到影像428及430，並將影像428及430重疊在同一位置。

在步驟S550，從正規化後之該左側影像及該右側影像偵測出一目標物件在正規化後之該左側影像及該右側影像之間的一偏移值，並依據該偏移值判斷該投影平面相對於該投影裝置之第一深度及該目標物件相對於該投影裝置之物件深度D。舉例來說，如第4H圖所示，影像處理電路110可執行區塊匹配(block matching)以分別由左側影像450及右側影像452找出相對應的物體440L及440R，並且可計算出物體440L及440R在左側影像450及右側影像452之間的偏移值。接著，影像處理電路110即可利用上述偏移值以計算出物體440之物件深度。

在步驟S560，依據該物件深度之變化以判斷在該投影平面上之一虛擬觸控操作。舉例來說，影像處理電路110更設定在投影平面410往投影裝置100之方向距離T之位置有一虛擬觸控平面412，其深度為D2(例如為第二深度)，且D2≦D1，意即虛擬觸控平面412係平行於且實質地接近投影平面410。若D2 ≦ D ≦ D1，則影像處理電路110可判斷使用者欲使用物體440以進行虛擬觸控。若D > D2，則影像處理電路110係判斷物體440並非用於虛擬觸控。在一些實施例中，上述距離T例如可為1～3公分之間的常數，但本發明並不限於此。當物體440之物件深度由淺而深變化並進入投影平面410及虛擬觸控平面412之間的區域時，影像處理電路110可判斷使用者係在物體440之相應位置的圖示或選項執行一按下操作。類似地，物體440之物件深度由深而淺變化並離開投影平面410及虛擬觸控平面412之間的區域時，影像處理電路110可判斷使用者係執行相應位置的圖示或選項之放開操作。

綜上所述，本發明係提供一種用於虛擬觸控之投影裝置及其方法，其可在投影裝置相對於投影平面為斜放擺設時，可透過影像校正處理以將輸出影像校正為未扭曲之影像。此外，在投影裝置上可設置雙相機以擷取影像投射器投射至投影平面上的輸出影像，並從所擷取的左側影像及右側影像計算出投影平面之深度。若投影裝置判斷在左側影像及右側影像出現一目標物件欲進行觸控操作，同樣可從所擷取的左側影像及右側影像計算出目標物件之物件深度。因此，投影裝置可依據物件深度之變化以判斷在投影平面上之一觸控操作，故可便於使用者在投影平面前利用一目標物件(例如使用者手指)即可對投影畫面進行虛擬觸控操作，進而增加使用者體驗。

於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10:主機

100:投影裝置

110:影像處理電路

111:線性轉換電路

112:反扭曲電路

113:濾波電路

120:記憶體單元

130:影像緩衝器

140:感測器

141:陀螺儀

142:加速度計

150:影像投射器

151:顯示單元

152:影像投射單元

160:雙相機模組

161:左相機

162:右相機

170:傳輸介面

311:垂直投射距離

312:斜邊

313:成像寬度

410:投影平面

412:虛擬觸控平面

1501:影像投射範圍

1601、1611、1621:拍攝視野

420、422、428、430:影像

424、450:左側影像

426、452:右側影像

454:疊合影像

θ:夾角

d:預定距離

W:寬度

H:高度

440、440L、440R、440C:物體

S510~S560:步驟

第1圖係顯示依據本發明一實施例中之投影裝置的功能方塊圖。第2A～2C圖係顯示依據本發明一實施例中在濾波電路中進行一維拉普拉斯變換的示意圖。第3圖係顯示依據本發明一實施例中之投影裝置進行投放影像的示意圖。第4A～4I圖為依據本發明一實施例中之投影裝置進行虛擬觸控操作的示意圖。第5圖為依據本發明一實施例中之用於虛擬觸控之投影方法的流程圖。