TWM599940U - Projection apparatus for virtual touch control - Google Patents
Projection apparatus for virtual touch control Download PDFInfo
- Publication number
- TWM599940U TWM599940U TW109206989U TW109206989U TWM599940U TW M599940 U TWM599940 U TW M599940U TW 109206989 U TW109206989 U TW 109206989U TW 109206989 U TW109206989 U TW 109206989U TW M599940 U TWM599940 U TW M599940U
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- projection
- processing circuit
- projection device
- depth
- Prior art date
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本創作係有關於投影裝置,特別是一種用於虛擬觸控之投影裝置。This creation is about a projection device, especially a projection device for virtual touch.
隨著科技發展,智能投影裝置也變得愈來愈普及。舉例來說,智能投影裝置可以是單獨的大型投影儀或是無屏激光電視,也可能是微型投影機、或是整合進行動裝置或可攜式裝置之微型投影裝置。因為上述智能投影裝置大部分都可由使用者隨身攜帶,且在投射影像時,可能無法像使用固定式投影機一樣先進行影像校正,因此,智能投影裝置所投射出至平面上之影像往往會產生偏移、扭曲、旋轉、或是投射出來的影像尺寸過大或過小的情況。目前市面上的各式投影裝置均無法有效地解決上述影像變形的問題。With the development of technology, smart projection devices have become more and more popular. For example, the smart projection device may be a single large-scale projector or a screenless laser TV, or a micro-projector, or a micro-projection device integrated with a moving device or a portable device. Because most of the above-mentioned smart projection devices can be carried by the user, and when projecting images, it may not be possible to perform image correction first like a fixed projector. Therefore, the image projected by the smart projection device onto a flat surface often produces Offset, distortion, rotation, or the size of the projected image is too large or too small. None of the various projection devices currently on the market can effectively solve the above-mentioned image distortion problem.
此外,若要搭配智能投影裝置使用虛擬觸控功能,傳統方式往往需要在投影平面之上方設置固定式的光源(例如紅外線光源)以及相應的控制主機才能達成,使用性較不便利,故會降低使用者體驗。In addition, if you want to use the virtual touch function with a smart projection device, the traditional method often requires a fixed light source (such as an infrared light source) and a corresponding control host above the projection plane to achieve this. The usability is less convenient, so it will be reduced. User experience.
本創作係提供一種用於虛擬觸控之投影裝置,包括:一雙相機模組,包括一左相機及一右相機;一影像投射器,設置於該雙相機模組之該左相機及該右相機之間,其中該雙相機模組之整體視野係包括該影像投射器之影像投射範圍;以及一影像處理電路,用以依據該投影裝置相對於一投影平面之感測資訊對一輸入影像進行一影像校正處理以產生一輸出影像,並控制該影像投射器投射該輸出影像至該投影平面,以及控制該左相機及該右相機分別對該投影平面擷取一左側影像及一右側影像,其中該影像處理電路更對該左側影像及該右側影像進行該影像校正處理,並將校正後的該左側影像及該右側影像正規化,其中該影像處理電路並從正規化後之該左側影像及該右側影像偵測出一目標物件在正規化後之該左側影像及該右側影像之間的一偏移值,並依據該偏移值判斷該投影平面相對於該投影裝置之第一深度及該目標物件相對於該投影裝置之物件深度,其中該影像處理電路更依據該物件深度之變化以判斷在該投影平面上之一虛擬觸控操作。This creation provides a projection device for virtual touch, including: a pair of camera modules, including a left camera and a right camera; an image projector, arranged on the left camera and the right camera of the dual camera module Between cameras, the overall field of view of the dual camera module includes the image projection range of the image projector; and an image processing circuit for processing an input image based on the sensing information of the projection device relative to a projection plane An image correction process to generate an output image, and control the image projector to project the output image to the projection plane, and control the left camera and the right camera to capture a left image and a right image respectively from the projection plane, wherein The image processing circuit further performs the image correction processing on the left image and the right image, and normalizes the corrected left image and the right image. The image processing circuit further normalizes the left image and the right image after normalization. The right image detects an offset value between the left image and the right image of a target object after normalization, and determines the first depth of the projection plane relative to the projection device and the target according to the offset value The object depth is relative to the object depth of the projection device, and the image processing circuit further determines a virtual touch operation on the projection plane according to the change of the object depth.
在一些實施例中,該影像投射器之中心線與該投影平面不垂直。In some embodiments, the center line of the image projector is not perpendicular to the projection plane.
在一些實施例中,該影像處理電路係偵測在正規化後之該左側影像及該右側影像中之一棒狀物以做為該目標物件。In some embodiments, the image processing circuit detects a bar in the left image and the right image after normalization as the target object.
在一些實施例中,該影像處理電路更設定平行於該投影平面之一虛擬觸控平面,其相對於該投影裝置係具有一第二深度,且該第二深度係小於該第一深度,且該投影平面及該虛擬觸控平面之間為一觸控空間。In some embodiments, the image processing circuit is further configured to be a virtual touch plane parallel to the projection plane, which has a second depth relative to the projection device, and the second depth is smaller than the first depth, and A touch space is formed between the projection plane and the virtual touch plane.
在一些實施例中,當該目標物件之該物件深度係由小而大變化以進入該觸控空間,該影像處理電路係執行在相應於該目標物件之座標上之圖示的按下操作。當該目標物件之該物件深度係由大而小變化以離開該觸控空間,該影像處理電路係執行在相應於該目標物件之座標上之該圖示的放開操作。In some embodiments, when the object depth of the target object changes from small to large to enter the touch space, the image processing circuit performs a pressing operation corresponding to the icon on the coordinate of the target object. When the object depth of the target object changes from large to small to leave the touch space, the image processing circuit performs a release operation of the icon corresponding to the coordinate of the target object.
在一些實施例中,該投影裝置係由一主機接收該輸入影像,且該影像處理電路係將該觸控操作及相應之座標傳送至該主機,以使該主機執行對應於該座標之選項的操作。In some embodiments, the projection device receives the input image from a host, and the image processing circuit transmits the touch operation and the corresponding coordinates to the host, so that the host executes an option corresponding to the coordinate operating.
為使本創作之上述目的、特徵和優點能更明顯易懂,下文特舉一較佳實施例,並配合所附圖式,作詳細說明如下。In order to make the above-mentioned purpose, features and advantages of this creation more obvious and understandable, a preferred embodiment is specially cited below, in conjunction with the accompanying drawings, and is described in detail as follows.
第1圖係顯示依據本創作一實施例中之投影裝置的功能方塊圖。舉例來說,投影裝置100可為一單獨的微型可攜式投影機,或是可攜式裝置或行動裝置,例如是智慧型手機、平板電腦、智慧手環、智慧手錶、智慧眼鏡、或是筆記型電腦之中,亦或是電視裝置,例如是投影機(projector)、投影式電視(例如陰極射線管(CRT)投影顯示器、液晶投影顯示器、數位光源(DLP)投影顯示器、反射式矽基液晶色彩序列(LCoS CS)投影、反射式矽基液晶色彩濾光(LCoS CF)投影、或雷射電視(Laser TV)等無屏電視)。投影裝置100係用以投射輸出影像至一投影平面上,例如是牆壁、布幕等等,但本創作並不限於此。Figure 1 shows a functional block diagram of the projection device in an embodiment according to the present invention. For example, the
如第1圖所示,投影裝置100係包括一影像處理電路110、一記憶體單元120、一影像緩衝器130、一影像投射器150、一雙相機(dual-camera)模組160、以及一傳輸介面170。As shown in Figure 1, the
影像處理電路110係用以依據一感測資訊或環境資訊(例如可為來自外部的感測資訊或是來自投影裝置100中之感測器140)以處理一輸入影像或是一待投射影像以產生一輸出投射影像。舉例來說,在一實施例中,影像處理電路110例如可為一特定應用積體電路(Application-Specific Integrated Circuit,ASIC)、或是一晶片系統(System-on-chip,SoC)。需了解的是,影像處理電路110係為多個影像處理電路之總稱,影像處理電路110可包括一或多個子電路,用以執行影像校正之流程中的不同影像處理運算。在一些實施例中,影像處理電路110例如可用一處理器,例如是中央處理器(CPU)、數位信號處理器(DSP)、或影像信號處理器(ISP)所實現,但本創作並不限於此。The
記憶體單元120例如可為一靜態隨機存取記憶體(SRAM),用以儲存影像處理電路110在進行影像處理中之影像暫存資料。影像緩衝器130為一揮發性記憶體(volatile memory),例如是動態隨機存取記憶體(DRAM),用以儲存在輸入影像進行影像校正時之暫存/中間影像資料、以及輸出影像。The
在一些實施例中,投影裝置100更包括感測器140,其中感測器140例如可包括一陀螺儀141(gyroscope)及一加速度計(accelerometer)142,用以取得有關於投影裝置100相對於一投影平面之一感測資訊,其中感測資訊例如包括投影裝置100在三軸(例如X、Y、及Z軸)上之一旋轉角/傾角及其方向之資訊、以及投影裝置100與投影平面之夾角等資訊,但本創作並不限於此。在一些實施例中,投影裝置100係接收來自外部的一感測資訊或環境資訊,例如可由外部感測裝置所量測投影裝置100相對於投影平面之相關位置、角度等資訊。In some embodiments, the
影像投射器150係用以將輸出影像投射至一投影平面。舉例來說,影像投射器150例如可支援雷射(Laser)掃描投影、數位光線處理(digital lighting process,DLP)投影、穿透式LCD投影、反射式矽基液晶色彩序列(LCoS CS)投影、反射式矽基液晶色彩濾光(LCoS CF)等技術,但本創作並不限於此。更進一步而言,影像投射器150係包括了一顯示單元151及一影像投射單元152。其中,影像處理電路110係將影像校正處理後之輸出影像從影像緩衝器140中讀取至顯示單元151(例如為一LCD或LED螢幕)進行顯示,且在顯示單元151上所播放之影像則可透過影像投射單元152投放至一投影平面。The
雙相機模組160例如包括一左相機161及一右相機162,其可利用電荷耦合裝置(CCD)影像感測器或是互補式金屬氧化物半導體(CMOS)影像感測器所實現,但本創作並不限於此。左相機161及右相機162係具有相同的拍攝視野(field of view,FOV),且兩者之中心線係垂直於雙相機模組160之殼體表面。影像投射器150例如可設置於左相機161及右相機162之間,且相鄰於左相機161或右相機162,如第4A圖所示。若影像投射器150之設置位置係相鄰於右相機162,則影像投射器150與左相機161之間係相隔一預定距離d,其中預定距離d例如為8公分或以上,但本創作並不限於此。類似地,若影像投射器150之設置位置係相鄰於左相機161,則影像投射器150與右相機162之間係相隔上述預定距離。The
雙相機模組160之整體的拍攝視野1601例如可將左相機161之拍攝視野1611及右相機162之拍攝視野1621疊合而得,且雙相機模組160之整體的拍攝視野1601需大於影像投射器150之影像投射範圍1501,如第4A圖所示。雙相機模組160之左相機161及右相機162例如可分別擷取一左側影像(亦可稱為左眼影像)及一右側影像(亦可稱為右眼影像),且影像處理電路110可取得上述左側影像及右側影像以計算出投影平面距離投影裝置100之中心點的深度(depth)。此外,當使用者在投影平面前利用目標物件(例如:手指或其他棒狀物)進行虛擬觸控操作時,左相機161及右相機162所拍攝到之左側影像及右側影像即包括該目標物件,且影像處理電路110可利用左側影像及右側影像以計算出上述目標物件之深度以及上述目標物件與投影平面之間的距離。The overall shooting field of
傳輸介面170例如可包括有線傳輸介面及/或無線傳輸介面,其中有線傳輸介面可包括:高解析度多媒體介面(High Definition Multimedia Interface,HDMI)、顯示埠(DisplayPort,DP)介面、嵌入式顯示埠(embedded DisplayPort,eDP)、介面通用序列匯流排(Universal Serial Bus,USB)介面、USB Type-C介面、雷靂(Thunderbolt)介面、數位視訊介面(DVI)、視訊圖形陣列(VGA)介面、一般用途輸入輸出(GPIO)介面、通用非同步收發傳輸器(UART)介面、序列周邊介面(SPI)介面、積體電路匯流排(I2C)介面、或其組合,且無線傳輸介面可包括:藍芽(Bluetooth)、WiFi、近場通訊(NFC)介面等等,但本創作並不限於此。投影裝置100例如如可透過傳輸介面170以連接至一主機10,並由主機10接收影像信號並播放。The
在一實施例中,影像處理電路110係包括一線性轉換電路111、反扭曲電路112、一濾波電路113。線性轉換電路111係用以處理輸入影像之線性轉換(linearity transformation)及第一影像反扭曲處理(inverse warping)以產生一第一影像。反扭曲電路112係用以對第一影像進行一矩陣轉換處理(例如包括水平映射、垂直映射、旋轉映射、縮放處理)以及第二影像反扭曲處理以產生一第二影像。濾波電路113係針對來自反扭曲電路112所產生的第二影像進行適應性銳利度濾波處理(adaptive sharpness filtering)及適應性亮度平衡處理(adaptive brightness balancing)以產生一輸出影像。In one embodiment, the
在一實施例中,影像處理電路110係接收一輸入影像並將輸入影像儲存於影像緩衝器130。線性轉換電路111係讀取儲存於影像緩衝器130中之輸入影像,並對該輸入影像進行線性轉換處理。舉例來說,投影裝置100會具有一水平轉動角以及一垂直轉動角,若投影裝置100相對於投影平面是朝左邊的,則投射出的影像之左側部份相對於右側會拉大。換言之,若要在投影平面上看到沒有扭曲變形的影像,在此實施例中,則需要預先對輸入影像進行反線性轉換,例如將輸入影像之左側部份先縮小。水平線性轉換及垂直線性轉換係可分開獨立計算。In one embodiment, the
水平線性轉換係可用下列數學式表示: (1) (2) The horizontal linear conversion system can be expressed by the following mathematical formula: (1) (2)
X為輸入影像,A表示轉換矩陣,X’表示水平變換後之影像。X is the input image, A is the conversion matrix, and X'is the image after horizontal transformation.
垂直線性轉換係可用下列數學式表示: (3) (4) The vertical linear conversion system can be expressed by the following mathematical formula: (3) (4)
Y為輸入影像,A表示轉換矩陣,Y’表示水平變換後之影像。在方程式(1)及(4)中之cols及rows係分別表示在影像中之行數及列數。val則表示進行線性轉換之調整參數本創作領域中具有通常知識者當可了解對影像進行線性轉換之技術,故其細節於此不再贅述。當線性轉換電路111完成水平線性轉換及垂直線性轉換後會產生一線性轉換影像,且線性轉換電路111更對線性轉換影像進行一影像反扭曲處理以產生一第一影像,並將該第一影像儲存於影像緩衝器130。Y is the input image, A is the conversion matrix, and Y'is the image after horizontal transformation. The cols and rows in equations (1) and (4) respectively represent the number of rows and columns in the image. val means the adjustment parameters for linear conversion. Those with ordinary knowledge in the creative field should understand the technology for linear conversion of images, so the details will not be repeated here. When the
需注意的是,在原本二維平面的輸入影像經過線性轉換電路111之上述線性轉換處理及影像反扭曲處理後會得到一第一影像,其中第一影像可能會是一個形狀扭曲的影像。因此,第一影像中之像素與原本的輸入影像中之像素並不是一對一的對應關係。更進一步而言,在第一影像中之像素位置是以用整數的座標呈現,也就是在第一影像中之整數座標的每個像素都已經過反扭曲(inverse warping)處理以對應到原本輸入影像中之位置。需注意的是,上述對應至原本輸入影像之位置可能並非整數座標,也就是可能位於多個整數座標的像素之間。因此,可利用線性內插的方法計算位於輸入影像之非整數座標上的第一影像像素,其中線性內插的方法可為最近整數點、雙線性內插(bi-linear interpolation))、雙三次內插(bi-cubic interpolation)、或是sinc函數等方法,但本創作並不限於此。It should be noted that the input image in the original two-dimensional plane undergoes the above-mentioned linear conversion processing and image de-warping processing of the
在一實施例中,影像反扭曲電路112係可依據來自偵測器130之偵測資訊計算一線性轉換矩陣RVS_matrix。舉例來說,線性轉換矩陣RVS_matrix可由下列公式所得到:
(5)
In one embodiment, the image
其中R_matrix為旋轉轉換矩陣,V_matrix為垂直轉換矩陣,H_matrix為水平轉換矩陣。在一實施例中,旋轉轉換矩陣R_matrix、垂直轉換矩陣V_matrix、及水平轉換矩陣H_matrix可分別為一固定轉換矩陣,例如: (6) (7) (8) Among them, R_matrix is the rotation transformation matrix, V_matrix is the vertical transformation matrix, and H_matrix is the horizontal transformation matrix. In an embodiment, the rotation transformation matrix R_matrix, the vertical transformation matrix V_matrix, and the horizontal transformation matrix H_matrix may be a fixed transformation matrix, for example: (6) (7) (8)
需注意的是,上述旋轉轉換矩陣R_matrix、垂直轉換矩陣V_matrix、及水平轉換矩陣H_matrix僅為說明之用之標準修正矩陣,本創作並不限定於上述的轉換矩陣。更進一步而言,對於投影裝置100之不同的水平轉動角、垂直轉動角(傾角)、以及旋轉角度(相對於Z軸)均有相應的一標準修正矩陣,且旋轉轉換矩陣R_matrix、垂直轉換矩陣V_matrix、及水平轉換矩陣H_matrix之不同設定例如儲存於記憶體單元120中的一矩陣查找表(matrix look-up table)中。簡單來說,影像反扭曲電路112可依據來自偵測器130之偵測資訊從矩陣查找表中取得相應的旋轉轉換矩陣R_matrix、垂直轉換矩陣V_matrix、及水平轉換矩陣H_matrix,並計算出線性轉換矩陣RVS_matrix。It should be noted that the above-mentioned rotation transformation matrix R_matrix, vertical transformation matrix V_matrix, and horizontal transformation matrix H_matrix are only standard correction matrices for illustration, and this creation is not limited to the above transformation matrix. Furthermore, for the different horizontal rotation angles, vertical rotation angles (tilt angles), and rotation angles (relative to the Z axis) of the
若以輸入影像為1920x1080之解析度,且影像投射器150之解析度亦為1920x1080為例,當計算出線性轉換矩陣後,因為轉換後的影像可能會超出影像投射器150之解析度之範圍,則需要再進行尺寸調整及縮放才能符合影像投射器150之解析度。舉例來說,影像反扭曲電路112會使用線性內插法以計算投影裝置100之當前的角度及偏移所需的矩陣。接著,影像反扭曲電路112再將一縮放轉換矩陣S_matrix乘以線性轉換矩陣RVS_matrix以得到一目標矩陣M,例如可用下列方程式表示:
(9)
If the input image has a resolution of 1920x1080 and the resolution of the
縮放轉換矩陣S_matrix亦儲存於記憶體單元120中的矩陣查找表(matrix look-up table)中。舉例來說,縮放轉換矩陣S_matrix可用一固定轉換矩陣表示:
(10)
The scaling conversion matrix S_matrix is also stored in a matrix look-up table in the
更進一步而言,影像反扭曲電路112係讀取儲存於影像緩衝器130中之第一影像,並將該第一影像進行一矩陣轉換處理(例如乘以目標矩陣M)以得到一調整影像。接著,影像反扭曲電路112更對該調整影像進行影像反扭曲處理(inverse warping)以得到一第二影像。Furthermore, the image
需注意的是,在原本二維平面的第一影像經過影像反扭曲電路112之上述線性轉換及縮放轉換處理(例如乘以目標矩陣M)並進行影像反扭曲處理後會得到一第二影像,其中第二影像可能會是一個形狀扭曲的影像。因此,第二影像中之像素與原本的第一影像中之像素並不是一對一的對應關係。更進一步而言,在調整影像中之像素位置是以用整數的座標呈現,也就是在第二影像中之整數座標的每個像素都已經過反扭曲(inverse warping)處理以對應到原本第一影像中之位置。需注意的是,上述第二影像中之整數座標的每個像素對應至第一影像之位置可能並非整數座標,也就是可能位於第一影像中相鄰的幾個整數座標的像素之間。因此,可利用線性內插的方法計算位於第一影像之非整數座標上的第二影像像素,其中線性內插的方法可為最近整數點、雙線性內插(bi-linear interpolation))、雙三次內插(bi-cubic interpolation)、或是sinc函數等方法,但本創作並不限於此。It should be noted that the first image in the original two-dimensional plane undergoes the above-mentioned linear conversion and scaling conversion processing (for example, multiplying by the target matrix M) by the image
第2A~2C圖係顯示依據本創作一實施例中在濾波電路中進行一維拉普拉斯變換的示意圖。舉例來說,影像投射器150在一般情況投射影像至投影平面時,往往在影像的中心點是聚焦清晰,但是影像的頂部及邊緣的的聚焦效果較差,會造成影像邊緣會比影像的中心點較模糊。在一實施例中,濾波電路113可增強第二影像之邊緣銳利度以產生一輸出影像,意即濾波電路113包括一銳利度濾波器(sharpness filter)。此外,濾波電路113更包括一亮度平衡濾波器,用以修正投影裝置100在投影平面上之影像的亮度不均的問題。Figures 2A to 2C are schematic diagrams showing the one-dimensional Laplace transform performed in the filter circuit according to an embodiment of the invention. For example, when the
更進一步而言,以銳利度濾波器為例,濾波電路113係可依據來自感測器140之感測資訊以得知影像投射器150之投影角度,並可調整銳利度濾波器之參數。在一實施例中,濾波電路113之操作方式是對第二影像進行二維拉普拉斯變換(2D Laplace Transform),例如可用下列方程式表示:
(11)
Furthermore, taking the sharpness filter as an example, the
舉例來說,第二影像之原函式例如可用第2A圖表示,即為函式 f(x)與x之關係圖。在經過一維拉普拉斯變換之後,可取得其邊緣特徵,例如可經由下列方程式計算: (12) For example, the original function of the second image can be represented by Figure 2A, which is the relationship diagram between the functions f(x) and x. After the one-dimensional Laplace transform, the edge feature can be obtained, for example, it can be calculated by the following equation: (12)
其中函式 g(x)之曲線圖例如第2B圖所示,可看出邊緣特徵已被取出。 The graph of the function g(x) is shown in Figure 2B. It can be seen that the edge feature has been extracted.
接著,濾波電路113係將第2B圖中之函式g(x)乘上一權重值以疊加回原函式f(x),例如可經由下列方程式計算:
(13)
Then, the
其中函式
f
s(x)
的曲線圖例如為第2C圖所示。由第2C圖可看出在原第二影像中之邊緣特徵已被疊加至第二影像上。需注意的是,為了便於說明,在上述實施例中係利用x方向之一維拉普拉斯變換進行說明,濾波電路113對於y方向亦可進行類似的一維拉普拉斯變換處理,藉以得到最後的輸出影像。
The graph of the function f s (x) is shown in Figure 2C, for example. It can be seen from Figure 2C that the edge features in the original second image have been superimposed on the second image. It should be noted that, for ease of description, in the above-mentioned embodiment, one-dimensional Laplace transform in the x direction is used for description, and the
因此,相較於第二影像,輸出影像在影像邊緣的銳利度的效果更佳,在經由影像投射器150投放至投影平面時,使用者會觀看到具有較佳影像品質的輸出影像。在一些實施例中,濾波電路113係可省略,意即影像投射器150可直接投放第二影像至投影平面。Therefore, compared with the second image, the sharpness of the output image at the edge of the image is better. When projected onto the projection plane through the
以亮度平衡濾波器為例,濾波電路113可修正投影裝置100投射影像至投影平面時的亮度不均之問題。舉例來說,依據照度之公式,在相同光源的情況下,照度與距離平方成反比。對於傳統的投影機而言,因為其擺設位置是固定,且參數已調整過,亮度不均的情況較不明顯。然而,對於可攜式的投影裝置來說,例如是短焦投影機,使用者很容易就會觀察到亮度不均的情況。這是因為光源及投影平面之間的距離相當短,且投影的角度更大,因此容易造成光源至投射影像之中心與邊緣之距離差距會比傳統投影機還要大得多,因此投射影像之中心與邊緣之照度差距也愈大。Taking the brightness balance filter as an example, the
第3圖係顯示本創作一實施例中之投影裝置投放影像至投影平面的示意圖。在一實施例中,為了讓投放出的輸出影像之亮度平均,濾波電路113中之亮度平衡濾波器係依據下列方程式調整輸出影像之每個像素的亮度,例如調整在不同投射距離的之特定像素的紅色、藍色、綠色子像素之亮度:
(14)
(15)
(16)
Fig. 3 is a schematic diagram showing the projection device in an embodiment of the present creation throws an image onto the projection plane. In one embodiment, in order to average the brightness of the delivered output image, the brightness balance filter in the
其中,夾角θ表示投影裝置100與投影平面之間的垂直投射距離311與斜邊312的夾角,313為成像寬度,如第3圖所示;α為一調整參數,可同時適用於方程式(14)、(15)、及(16);pixel
R、pixel
B、pixel
G係分別表示輸出影像中欲調整之特定像素的紅色、藍色、綠色子像素的亮度值;mean
R、mean
B、mean
G係分別表示輸出影像之所有的紅色、藍色、綠色子像素之平均值。
Among them, the included angle θ represents the angle between the
更進一步而言,若該特定像素距離投射中心點愈遠,即表示其夾角θ愈大,故tanθ也愈大,意即會在原本的紅色、藍色、綠色子像素的亮度上補償更多的亮度值,使得輸出影像在經過投影裝置100投放至投影平面時,使用者在投影平面上不會看到影像亮度不均的情況,進而增加使用者體驗。Furthermore, if the specific pixel is farther from the projection center point, it means that its included angle θ is larger, so tan θ is also larger, which means that the original red, blue, and green sub-pixels will be compensated more for their brightness. When the output image is projected onto the projection plane through the
第4A~4I圖為依據本創作一實施例中之投影裝置進行虛擬觸控操作的示意圖。請同時參考第1圖及第4A~4I圖。4A to 4I are schematic diagrams of virtual touch operation performed by the projection device in an embodiment of the present creation. Please refer to Figure 1 and Figures 4A to 4I at the same time.
在一實施例中,投影裝置100係具有虛擬觸控之功能。舉例來說,在使用者進虛擬觸控操作之前,投影裝置100需先進行影像校正處理。第4B圖為投影裝置100之設置的俯視圖,為了避免投影裝置100所投射出的影像被使用者所遮蔽,投影裝置100係採用側投影的方式將影像投射於投影平面410。因為在第4B圖中之投影裝置100係朝右方具有一旋轉角度(意即影像投射器150之中心線與投影平面410不垂直),當使用者欲進行虛擬觸控操作,則需要站在第4B圖中之影像投射範圍1501之右側以避免身體遮蔽影像投射範圍1501。In one embodiment, the
在第4C圖中,若投影裝置100中之影像處理電路110尚未進行影像校正,則影像投射器150所投射至投影平面410之投影影像會是歪曲偏斜的影像,如影像420所示。在投影裝置100中之影像處理電路110依據第2~3圖之實施例所述的影像校正處理進行影像校正後,則可在投影平面觀看到得到未扭曲的影像,例如第4D圖中之影像422所示。In FIG. 4C, if the
接著,左相機161及右相機162係分別對投影平面進行拍攝以得到左側影像及右側影像,意即左側影像及右側影像中均會包含影像422。影像處理電路110再對左側影像及右側影像進行影像校正處理,並分別對校正後的左側影像及右側影像進行正規化(normalization),使得在左側影像及右側影像中之影像420的區域重疊在同一位置,如第4E圖所示。舉例來說,影像處理電路110可對第4F圖中未正規化的左側影像424及右側影像426進行正規化,例如將左側影像424及右側影像426之邊緣映射至一預定大小的影像尺寸(例如寬度W*高度H)以得到影像428及430,並將影像428及430重疊在同一位置,如第4F圖所示。Then, the
因此,影像處理電路110可依據正規化後的左側影像及右側影像以計算出影像420在投影平面410相對於投影裝置100之深度。本創作領域中具有通常知識者當可了解如何由左側影像及右眼影像計算出在場景中之物件深度的技術,故其細節於此不再詳述。在執行上述影像校正步驟後,投影裝置100係可準備用於虛擬觸控。Therefore, the
舉例來說,如第4G圖所示,若在影像投射器150之影像投射範圍1501中有非投影平面之物體(例如為棒狀物)出現,如物體440,則左相機161及右相機162分別擷取且經過正規化後所得到的左側影像450及右側影像452如第4H圖所示,其中物體440在左側影像450及右側影像452係分別以物體440L及440R標示。影像處理電路110例如可執行區塊匹配(block matching)以分別由左側影像450及右側影像452找出相對應的物體440L及440R。本創作領域中具有通常知識者當可了解由左側/右側影像(即立體影像)尋找出相對應之立體物件之技術,故其細節於此不再詳述。For example, as shown in Figure 4G, if an object (such as a rod) that is not a projection plane appears in the
當影像處理電路110將左側影像450及右側影像452疊合後,在疊合影像454中會出現疊影,意即將物體440L及440R疊合以得到物體440C。詳細而言,因為左側影像450及右側影像452為經過正規化後得到的影像,當物體440之深度恰等於投影平面410之深度時,在疊合影像454中的物體440L及440R應會剛好重疊,意即等同於物體440C。若物體440之深度小於投影平面410之深度,則在疊合影像454中的物體440L及440R之間係具有非0的偏移值(disparity),意即物體440L及440R並非完全重疊。若使用者用手指以做為虛擬觸控之控制物件,則影像處理電路110可由左側影像450及右側影像452中判斷出手指之指尖區域,並且判斷在左側影像450及右側影像452中之指尖區域是否為同一點。若是,影像處理電路110可判斷使用者手指之指尖已接觸到投影平面410。When the
因此,影像處理電路110可依據物體440L及440R之間的偏移值以計算物體440C之深度,並依據上述偏移值以判斷物體440C是否有接觸到投影平面410或是相當接近投影平面410。Therefore, the
舉例來說,影像處理電路110在影像校正處理時可計算出投影平面之深度為D1(例如為第一深度),且可計算出現在影像投射器150之影像投射範圍1501之中的物體440的物件深度D。因為左相機161及右相機162分別擷取的左側影像及右側影像之解析度有限,故在計算影像投射範圍1501之中的物體440之深度會有些微誤差,故影像處理電路110會設定投影平面410相對於投影裝置100具有深度D1(例如為第一深度)。此外,影像處理電路110更設定在投影平面410往投影裝置100之方向距離T之位置有一虛擬觸控平面412,其深度為D2(例如為第二深度),且D2≦D1,意即虛擬觸控平面412係平行於且實質地接近投影平面410。其中,深度D1及D2、以及物件深度D例如可換算為實際的距離單位,例如公分(cm)。For example, the
若D2 ≦ D ≦ D1,則影像處理電路110可判斷使用者欲使用物體440以進行虛擬觸控。若D > D2,則影像處理電路110係判斷物體440並非用於虛擬觸控。在一些實施例中,上述距離T例如可為1~3公分之間的常數,但本創作並不限於此。If D2 ≦ D ≦ D1, the
如第4I圖所示,投影平面410及虛擬觸控平面412之間的距離為T。當物體440(例如為目標物件)之位置係介於投影平面410及虛擬觸控平面412之間(例如可視為一觸控空間)時,影像處理電路110可判斷使用者欲使用物體440以進行虛擬觸控。當物體440之位置係介於虛擬觸控平面412及投影裝置100之間時,影像處理電路110係判斷物體440並非用於虛擬觸控。此外,影像處理電路110可經由物體440之深度變化來判斷使用者之觸控手勢,例如物體440之物件深度由淺而深變化並進入投影平面410及虛擬觸控平面412之間的區域時,影像處理電路110可判斷使用者係在物體440之相應位置的圖示或選項執行一按下操作。在一些實施例中,當使用者利用上述方式進行按下操作,影像處理電路110可在該按下操作之相應的位置顯示一高亮光點並持續一預定時間。As shown in FIG. 4I, the distance between the
類似地,物體440之物件深度由深而淺變化並離開投影平面410及虛擬觸控平面412之間的區域時,影像處理電路110可判斷使用者係執行相應位置的圖示或選項之放開操作。Similarly, when the object depth of the
若觸控操作是對主機10所執行的應用程式進行操作,影像處理電路110則會將上述觸控動作以及在影像信號中的相應座標透過傳輸介面170回報至主機10。當主機10從投影裝置100接收到上述觸控動作及相應座標之觸控信號時,即可對主機10所執行之應用程式進行相應的操作。此外,上述觸控操作亦可對投影裝置100之螢幕上顯示(OSD)介面進行操作,故影像處理電路110可直接依據上述觸控動作及相應座標對OSD介面中的選項進行觸控操作。If the touch operation is to operate an application program executed by the
第5圖為依據本創作一實施例中之用於虛擬觸控之投影方法的流程圖。請同時參考第1圖及第5圖。Figure 5 is a flowchart of a projection method for virtual touch in an embodiment of the present creation. Please refer to Figure 1 and Figure 5.
在步驟S510,依據投影裝置100相對於一投影平面之感測資訊對一輸入影像進行一影像校正處理以產生一輸出影像。舉例來說,輸入影像可以是來自主機10之影像信號或是投影裝置100之OSD介面。此外,感測資訊例如可由投影裝置100之感測器140偵測而得。In step S510, an image correction process is performed on an input image according to the sensing information of the
在步驟S520,控制影像投射器150投射該輸出影像至該投影平面。影像投射器150之中心線可不垂直於投影平面,若未經過影像校正的話,則使用者會在投影平面觀看到扭曲或歪斜的影像。因為在步驟S510,影像處理電路110已對輸入影像進行影像校正,因此,所得到的輸出影像是經過影像校正且為未扭曲的影像。In step S520, the
在步驟S530,控制左相機161及右相機162分別對該投影平面擷取一左側影像及一右側影像。舉例來說,左相機161及右相機162所分別擷取的左側影像及右側影像係包含投射至投影平面的輸出影像。In step S530, the
在步驟S540,對該左側影像及該右側影像進行該影像校正處理,並將校正後的該左側影像及該右側影像正規化。舉例來說,如第4F圖所示,影像處理電路110可對第4F圖中未正規化的左側影像424及右側影像426進行正規化,例如將左側影像424及右側影像426之邊緣映射至一預定大小的影像尺寸(例如寬度W*高度H)以得到影像428及430,並將影像428及430重疊在同一位置。In step S540, the image correction processing is performed on the left image and the right image, and the corrected left image and the right image are normalized. For example, as shown in FIG. 4F, the
在步驟S550,從正規化後之該左側影像及該右側影像偵測出一目標物件在正規化後之該左側影像及該右側影像之間的一偏移值,並依據該偏移值判斷該投影平面相對於該投影裝置之第一深度及該目標物件相對於該投影裝置之物件深度D。舉例來說,如第4H圖所示,影像處理電路110可執行區塊匹配(block matching)以分別由左側影像450及右側影像452找出相對應的物體440L及440R,並且可計算出物體440L及440R在左側影像450及右側影像452之間的偏移值。接著,影像處理電路110即可利用上述偏移值以計算出物體440之物件深度。In step S550, an offset value between the left image and the right image of a target object after the normalization is detected from the left image and the right image after normalization, and the offset value is determined according to the offset value. The first depth of the projection plane relative to the projection device and the object depth D of the target object relative to the projection device. For example, as shown in FIG. 4H, the
在步驟S560,依據該物件深度之變化以判斷在該投影平面上之一虛擬觸控操作。舉例來說,影像處理電路110更設定在投影平面410往投影裝置100之方向距離T之位置有一虛擬觸控平面412,其深度為D2(例如為第二深度),且D2≦D1,意即虛擬觸控平面412係平行於且實質地接近投影平面410。若D2 ≦ D ≦ D1,則影像處理電路110可判斷使用者欲使用物體440以進行虛擬觸控。若D > D2,則影像處理電路110係判斷物體440並非用於虛擬觸控。在一些實施例中,上述距離T例如可為1~3公分之間的常數,但本創作並不限於此。當物體440之物件深度由淺而深變化並進入投影平面410及虛擬觸控平面412之間的區域時,影像處理電路110可判斷使用者係在物體440之相應位置的圖示或選項執行一按下操作。類似地,物體440之物件深度由深而淺變化並離開投影平面410及虛擬觸控平面412之間的區域時,影像處理電路110可判斷使用者係執行相應位置的圖示或選項之放開操作。In step S560, a virtual touch operation on the projection plane is determined according to the change in the depth of the object. For example, the
綜上所述,本創作係提供一種用於虛擬觸控之投影裝置,其可在投影裝置相對於投影平面為斜放擺設時,可透過影像校正處理以將輸出影像校正為未扭曲之影像。此外,在投影裝置上可設置雙相機以擷取影像投射器投射至投影平面上的輸出影像,並從所擷取的左側影像及右側影像計算出投影平面之深度。若投影裝置判斷在左側影像及右側影像出現一目標物件欲進行觸控操作,同樣可從所擷取的左側影像及右側影像計算出目標物件之物件深度。因此,投影裝置可依據物件深度之變化以判斷在投影平面上之一觸控操作,故可便於使用者在投影平面前利用一目標物件(例如使用者手指)即可對投影畫面進行虛擬觸控操作,進而增加使用者體驗。In summary, this creation provides a projection device for virtual touch control, which can correct the output image to an undistorted image through image correction processing when the projection device is placed obliquely with respect to the projection plane. In addition, dual cameras can be set on the projection device to capture the output image projected on the projection plane by the image projector, and the depth of the projection plane can be calculated from the captured left and right images. If the projection device determines that a target object appears in the left image and the right image to perform a touch operation, the object depth of the target object can also be calculated from the captured left and right images. Therefore, the projection device can determine a touch operation on the projection plane according to the change in the depth of the object, so it is convenient for the user to use a target object (such as the user's finger) in front of the projection plane to perform virtual touch on the projection screen Operation, thereby increasing the user experience.
於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件,並非用來表示之間具有優先權順序,先行關係,或者是一個元件先於另一個元件,或者是執行方法步驟時的時間先後順序,僅用來區別具有相同名字的元件。Words such as "first", "second", and "third" used in the claims are used to modify the elements in the claims, and are not used to indicate that there is an order of priority, antecedent relationship, or an element Prior to another element, or the chronological order of execution of method steps, is only used to distinguish elements with the same name.
本創作雖以較佳實施例揭露如上,然其並非用以限定本創作的範圍,任何所屬技術領域中具有通常知識者,在不脫離本創作之精神和範圍內,當可做些許的更動與潤飾,因此本創作之保護範圍當視後附之申請專利範圍所界定者為準。Although this creation is disclosed as above in a preferred embodiment, it is not intended to limit the scope of this creation. Anyone with ordinary knowledge in the relevant technical field should make some changes and changes without departing from the spirit and scope of this creation. Retouching, therefore, the protection scope of this creation shall be subject to the scope of the attached patent application.
10:主機
100:投影裝置
110:影像處理電路
111:線性轉換電路
112:反扭曲電路
113:濾波電路
120:記憶體單元
130:影像緩衝器
140:感測器
141:陀螺儀
142:加速度計
150:影像投射器
151:顯示單元
152:影像投射單元
160:雙相機模組
161:左相機
162:右相機
170:傳輸介面
311:垂直投射距離
312:斜邊
313:成像寬度
410:投影平面
412:虛擬觸控平面
1501:影像投射範圍
1601、1611、1621:拍攝視野
420、422、428、430:影像
424、450:左側影像
426、452:右側影像
454:疊合影像
θ:夾角
d:預定距離
W:寬度
H:高度
440、440L、440R、440C:物體
S510~S560:步驟
10: host
100: Projection device
110: image processing circuit
111: Linear conversion circuit
112: Anti-twist circuit
113: filter circuit
120: memory unit
130: image buffer
140: Sensor
141: Gyro
142: Accelerometer
150: image projector
151: display unit
152: Image projection unit
160: Dual camera module
161: left camera
162: right camera
170: Transmission interface
311: Vertical projection distance
312: Hypotenuse
313: imaging width
410: projection plane
412: virtual touch plane
1501:
第1圖係顯示依據本創作一實施例中之投影裝置的功能方塊圖。 第2A~2C圖係顯示依據本創作一實施例中在濾波電路中進行一維拉普拉斯變換的示意圖。 第3圖係顯示依據本創作一實施例中之投影裝置進行投放影像的示意圖。 第4A~4I圖為依據本創作一實施例中之投影裝置進行虛擬觸控操作的示意圖。 第5圖為依據本創作一實施例中之用於虛擬觸控之投影方法的流程圖。 Figure 1 shows a functional block diagram of the projection device in an embodiment according to the present invention. Figures 2A to 2C are schematic diagrams showing the one-dimensional Laplace transform performed in the filter circuit according to an embodiment of the invention. Fig. 3 is a schematic diagram showing the projection device according to an embodiment of the present creation to place images. 4A to 4I are schematic diagrams of virtual touch operation performed by the projection device in an embodiment of the present creation. Figure 5 is a flowchart of a projection method for virtual touch in an embodiment of the present creation.
10:主機 10: host
100:投影裝置 100: Projection device
110:影像處理電路 110: image processing circuit
111:線性轉換電路 111: Linear conversion circuit
112:反扭曲電路 112: Anti-twist circuit
113:濾波電路 113: filter circuit
120:記憶體單元 120: memory unit
130:影像緩衝器 130: image buffer
140:感測器 140: Sensor
141:陀螺儀 141: Gyro
142:加速度計 142: Accelerometer
150:影像投射器 150: image projector
151:顯示單元 151: display unit
152:影像投射單元 152: Image projection unit
160:雙相機模組 160: Dual camera module
161:左相機 161: left camera
162:右相機 162: right camera
170:傳輸介面 170: Transmission interface
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109206989U TWM599940U (en) | 2020-06-04 | 2020-06-04 | Projection apparatus for virtual touch control |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109206989U TWM599940U (en) | 2020-06-04 | 2020-06-04 | Projection apparatus for virtual touch control |
Publications (1)
Publication Number | Publication Date |
---|---|
TWM599940U true TWM599940U (en) | 2020-08-11 |
Family
ID=73004524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109206989U TWM599940U (en) | 2020-06-04 | 2020-06-04 | Projection apparatus for virtual touch control |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWM599940U (en) |
-
2020
- 2020-06-04 TW TW109206989U patent/TWM599940U/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI719493B (en) | Image projection system, image projection apparatus and calibrating method for display image thereof | |
WO2022247418A1 (en) | Image correction method and photographing device | |
CN106605195B (en) | Communication apparatus and control method of communication apparatus | |
JP2006018293A (en) | Method for determining projector pixel correlated with laser point on display surface by means of pinhole projection | |
JP2008048377A (en) | Remote instruction system and program for remote instruction system | |
TW202008774A (en) | Projector apparatus, projector system and an image calibration method | |
US20190281266A1 (en) | Control apparatus, readable medium, and control method | |
KR102529479B1 (en) | Control apparatus, control method, and storage medium | |
WO2021238564A1 (en) | Display device and distortion parameter determination method, apparatus and system thereof, and storage medium | |
WO2022247419A1 (en) | Laser projection device and image correction system | |
US20130106840A1 (en) | Apparatus and method for correcting image projected by projector | |
JP6550688B2 (en) | Projection device | |
WO2018042582A1 (en) | Projection type picture display apparatus and projected picture adjustment method | |
JP2013083755A (en) | Display device, method of controlling display device, and program | |
WO2017179111A1 (en) | Display system and information processing method | |
TWI682358B (en) | Multi-dimensional image projection apparatus and multi-dimensional image calibration method thereof | |
US20120001931A1 (en) | Adjusting system, method and projector including the same | |
TWI745992B (en) | Projection apparatus and method for virtual touch control | |
TWM599940U (en) | Projection apparatus for virtual touch control | |
KR102457559B1 (en) | Electronic device and method for correcting image based on object included image | |
JP6992829B2 (en) | Image processing system, image processing method and program | |
JP6439254B2 (en) | Image projection apparatus, control method for image projection apparatus, and control program for image projection apparatus | |
WO2023010546A1 (en) | Image correction system and method therefor | |
CN108881872B (en) | Multi-dimensional image projection device and multi-dimensional image correction method thereof | |
TWI783600B (en) | Image correction system and method thereof |