TW202008774A - 投影裝置、投影系統及影像校正方法 - Google Patents

投影裝置、投影系統及影像校正方法 Download PDF

Info

Publication number
TW202008774A
TW202008774A TW107127980A TW107127980A TW202008774A TW 202008774 A TW202008774 A TW 202008774A TW 107127980 A TW107127980 A TW 107127980A TW 107127980 A TW107127980 A TW 107127980A TW 202008774 A TW202008774 A TW 202008774A
Authority
TW
Taiwan
Prior art keywords
feature points
projection
image
distorted
projection device
Prior art date
Application number
TW107127980A
Other languages
English (en)
Other versions
TWI703870B (zh
Inventor
蕭佩琪
Original Assignee
中強光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中強光電股份有限公司 filed Critical 中強光電股份有限公司
Publication of TW202008774A publication Critical patent/TW202008774A/zh
Application granted granted Critical
Publication of TWI703870B publication Critical patent/TWI703870B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G06T3/067—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Abstract

一種投影裝置，包括處理器電路。處理器電路依據多個第一特徵點及多個第二特徵點產生多個被扭曲的特徵點。處理器電路依據被扭曲的特徵點將第一映射表轉換為第二映射表。投影裝置將校正圖樣投影至投影屏幕。校正圖樣包括第一特徵點。處理器電路用於接收來自三維影像擷取裝置擷取投影至投影屏幕的校正圖樣的影像，以取得第二特徵點的座標位置。處理器電路依據第二特徵點的座標位置計算觀看者位置。處理器電路依據輸入影像及第二映射表產生反扭曲影像。投影裝置將反扭曲影像投影至投影屏幕。另外，一種投影系統及影像校正方法亦被提出。

Description

投影裝置、投影系統及影像校正方法
本發明是有關於一種投影裝置、投影系統及其影像校正方法，且特別是有關於一種用於曲面投影屏幕的投影裝置、投影系統及其影像校正方法。
投影機常見於家用娛樂與研討會報告的應用，近年投影機更用於虛擬實境與光雕投影。任意不規則外形的表面都可以成為投影的畫布，成為一種新的媒體藝術呈現方式。基本上，投影機的擺設必須使投影機的光軸中心垂直於投影表面，則所投放出來的影像才不會有扭曲現象。然而，如此就限制了投影機可擺放的位置，同時觀看者的觀看角度也被限制住了。為了改變投影機放置的位置，投影機的內部會添加反射鏡片或利用影像處理晶片增加影像預先變形機制，通常這樣的預先變形機制只有梯形校正，是假設被投影的表面是平面的。當被投影表面是任意曲面，譬如牆面不平整造成的稍微凹凸不平或是彎曲屏幕時，必須要因應不同幾何結構的表面進行影像預先變形，才不致使投影後的影像扭曲失真。
“先前技術”段落只是用來幫助了解本發明內容，因此在“先前技術”段落所揭露的內容可能包含一些沒有構成所屬技術領域中具有通常知識者所知道的習知技術。在“先前技術”段落所揭露的內容，不代表該內容或者本發明一個或多個實施例所要解決的問題，在本發明申請前已被所屬技術領域中具有通常知識者所知曉或認知。
本發明提供一種投影裝置、投影系統及影像校正方法，其觀看者可從曲面投影屏幕上觀看到無扭曲且無失真影像。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的了解。
為達上述的一或部份或全部目的或是其他目的，本發明的一實施例提出一種投影裝置，包括處理器電路。處理器電路依據多個第一特徵點及多個第二特徵點產生多個被扭曲的特徵點。處理器電路依據被扭曲的特徵點將第一映射表轉換為第二映射表。投影裝置將校正圖樣投影至投影屏幕。校正圖樣包括第一特徵點。其中處理器電路用於接收來自三維影像擷取裝置擷取投影至投影屏幕的校正圖樣的影像，以取得第二特徵點的座標位置。處理器電路依據第二特徵點的座標位置計算觀看者位置。處理器電路依據輸入影像及第二映射表產生反扭曲影像。投影裝置將反扭曲影像投影至投影屏幕。
在本發明的一實施例中，上述三維影像擷取裝置設置在投影屏幕前的觀看者位置以外的位置。
在本發明的一實施例中，上述的處理器電路依據第二特徵點的座標位置及觀看者位置，計算在觀看者位置的虛擬平面上的多個第三特徵點。處理器電路更依據第三特徵點產生被扭曲的特徵點。
在本發明的一實施例中，上述的處理器電路依據第一特徵點以及第三特徵點產生相似矩陣。處理器電路依據相似矩陣將第三特徵點轉換為被扭曲的特徵點。
在本發明的一實施例中，上述的處理器電路依據第一特徵點的排列方式取得最大外接四邊形，處理器電路依據第三特徵點的排列方式取得最大內接四邊形。處理器電路依據最大外接四邊形及最大內接四邊形產生相似矩陣。
為達上述的一或部份或全部目的或是其他目的，本發明的另一實施例提出一種影像校正方法。影像校正方法用於將反扭曲影像投影至投影屏幕的投影裝置。所述影像校正方法包括：依據多個第一特徵點及多個第二特徵點產生多個被扭曲的特徵點，其中投影裝置將校正圖樣投影至投影屏幕，以及校正圖樣包括第一特徵點；利用三維影像擷取裝置擷取投影至曲面投影屏幕的校正圖樣的影像，以取得第二特徵點的座標位置；依據被扭曲的特徵點將第一映射表轉換為第二映射表；以及依據輸入影像及第二映射表產生反扭曲影像，並且將反扭曲影像投影至投影屏幕。
在本發明的一實施例中，上述的影像校正方法更包括：將三維影像擷取裝置設置在投影屏幕前的觀看者位置以外的位置。
在本發明的一實施例中，依據第一特徵點及第二特徵點產生被扭曲的特徵點的步驟包括：依據第二特徵點的座標位置計算觀看者位置；依據第二特徵點的座標位置及觀看者位置，計算在觀看者位置的虛擬平面上的第三特徵點；以及依據第一特徵點及第三特徵點產生被扭曲的特徵點。
在本發明的一實施例中，上述依據第一特徵點及第三特徵點產生被扭曲的特徵點的步驟包括：依據第一特徵點以及第三特徵點產生相似矩陣；以及依據相似矩陣將第三特徵點轉換為被扭曲的特徵點。
在本發明的一實施例中，上述依據第一特徵點以及第三特徵點產生相似矩陣的步驟包括：依據第一特徵點的排列方式取得最大外接四邊形；依據第三特徵點的排列方式取得最大內接四邊形；以及依據最大外接四邊形及最大內接四邊形產生相似矩陣。
為達上述的一或部份或全部目的或是其他目的，本發明的另一實施例提出一種投影系統。投影系統用於投射影像至一投影屏幕，投影系統包括投影裝置及影像擷取裝置。投影裝置將校正圖樣投影至投影屏幕。投影裝置依據多個第一特徵點及多個第二特徵點產生多個被扭曲的特徵點。投影裝置依據被扭曲的特徵點將第一映射表轉換為第二映射表。校正圖樣包括第一特徵點。三維影像擷取裝置擷取投影至投影屏幕的校正圖樣的影像，以取得第二特徵點的座標位置。投影裝置依據第二特徵點的座標位置計算觀看者位置。投影裝置依據輸入影像及第二映射表產生反扭曲影像。投影裝置將反扭曲影像投影至投影屏幕。
在本發明的一實施例中，上述的三維影像擷取裝置設置在投影屏幕前的觀看者位置以外的位置。
在本發明的一實施例中，上述的投影裝置依據第二特徵點的座標位置及觀看者位置，計算在觀看者位置的虛擬平面上的多個第三特徵點。投影裝置更依據第三特徵點產生被扭曲的特徵點。
在本發明的一實施例中，上述的投影裝置依據第一特徵點以及第三特徵點產生相似矩陣。投影裝置依據相似矩陣將第三特徵點轉換為被扭曲的特徵點。
在本發明的一實施例中，上述的投影裝置依據第一特徵點的排列方式取得最大外接四邊形，投影裝置依據第三特徵點的排列方式取得最大內接四邊形。投影裝置依據最大外接四邊形及最大內接四邊形產生相似矩陣。
基於上述，本發明的實施例至少具有以下其中一個優點或功效。投影裝置將反扭曲影像投影至投影屏幕以使觀看者可從投影屏幕上觀看到無失真影像。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
有關本發明的前述及其他技術內容、特點與功效，在以下配合參考圖式的一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。
投影機因應不同的投影表面所進行的影像校正統稱為幾何校正（geometry calibration）。當投影屏幕與投影機的相對位置改變的時候，以及投影屏幕的幾何形狀改變的時候，投影機就需要重新進行校正，投影出預先扭曲影像（prewarp image），才能使在投影屏幕上呈現的影像無扭曲失真。當屏幕是平面時，投影機畫面在屏幕上呈現的是梯形或是滿足透視變換的四邊形，可利用四個對應的控制點計算單應性（homography）轉換關係，即可產生預先扭曲影像。當屏幕的幾何形狀可以用確切的數學方程式描述時，例如球面、雙凹曲面、柱面、平面，只要找出符合描述投影屏幕幾何的數學式就可完全掌握幾何表面的空間座標。透過三維模擬方法來模擬投影機的每一像素所發出的光路投射到屏幕的表面，就能反算預先扭曲影像。當屏幕是任意曲面時，例如：牆面不平整造成的凹凸、牆面轉角、簾幕、上述所有的幾何表面，要產生預先扭曲影像，必須精準的掌握屏幕的幾何表面。在現有技術中，對任意曲面的幾何校正，都需要事先做相機校正或安裝特殊光學感測元件，增加幾何校正的流程的複雜度與系統架設安裝時間的浪費。
在本發明的示範實施例中，投影裝置的幾何校正的流程簡單，且可減少投影系統的架設、安裝時間。投影裝置將反扭曲影像投影至曲面投影屏幕以使觀看者可從曲面投影屏幕上觀看到無失真影像。以下例示至少一實施例，並配合所附圖式作詳細說明如下。
圖1A繪示本發明一實施例的投影系統的概要示意圖。圖1B及圖1C繪示圖1A的投影系統的輸入影像及反扭曲影像的概要示意圖。本實施例的投影系統100包括投影裝置110、曲面投影屏幕120及三維影像擷取裝置130。投影裝置110包括處理器電路112，用於執行影像校正，以產生反扭曲映射表W（第二映射表）。另外，投影裝置110也可包括光學元件、電路元件及機構元件等其他實現投影影像功能的元件。投影裝置110可從主機系統111接收輸入影像610，並且處理器電路112依據反扭曲映射表W將所接收的輸入影像610轉換為反扭曲影像620。接著，投影裝置110再將反扭曲影像620投影到曲面投影屏幕120上。因此，在觀看者位置200，觀看者（未繪示）可觀看到在曲面投影屏幕120上無扭曲且無失真的投影影像。
在本實施例中，標號122是投影裝置110在曲面投影屏幕120上的投影範圍。標號124是經影像校正後投影裝置110在曲面投影屏幕120上的投影範圍。其中，在曲面投影屏幕120上，影像校正後的投影範圍124小於未經過影像校正的投影範圍122。曲面投影屏幕120例如包括平面、部分平面與部分曲面、曲面、凹面、球面或任意曲面等表面。任意曲面是指局部觀看的所述任意曲面的幾何表面是連續變化且滿足歐幾里德空間特性。所述任意曲面的幾何表面也可稱為流形（manifolds），其整體的拓撲結構是柔軟的，且從一個平面映射到所述任意曲面的拓撲結構不變。在本實施例中，投影裝置110利用此特性將所接收的輸入影像610作形變（deformation），使得形變後的影像（即反扭曲影像620）投影到曲面投影屏幕120上時，從觀看者位置200的角度能看到無扭曲且無失真的投影校正結果。
圖1D繪示本發明另一實施例的投影系統的概要示意圖。本實施例的投影系統100與圖1A的投影系統差異在於本實施例的處理器電路112設置於三維影像擷取裝置130中，用於執行影像校正，以產生反扭曲映射表W（第二映射表），並傳遞至投影裝置110，投影裝置110具有儲存裝置(例如記憶體)，將反扭曲映射表W儲存於儲存裝置中。投影裝置110可從主機系統111接收輸入影像，並且投影裝置110依據反扭曲映射表W將所接收的輸入影像轉換為反扭曲影像620。接著，投影裝置110再將反扭曲影像620投影到曲面投影屏幕120上。因此，觀看者200在其位置可觀看到在曲面投影屏幕120上無扭曲且無失真的投影影像。
圖2A、圖2B及圖2C分別繪示圖1A實施例的三維影像擷取裝置的不同組合的概要示意圖。請參考圖1A、圖2A至圖2C，在圖2A的實施例中，三維影像擷取裝置130可以是包括兩台彩色相機的組合。在圖2B的實施例中，三維影像擷取裝置130可以是包括一台彩色相機及一台深度相機的組合。在圖2C的實施例中，三維影像擷取裝置130可以是包括一台彩色相機及一台投影機的組合。利用上述三種相機的組合，三維影像擷取裝置130都可以執行立體影像擷取功能，以取得曲面投影屏幕120上的特徵點（第二特徵點）的空間座標位置。利用上述三種相機的組合來執行立體影像擷取功能的方法可以由所屬技術領域的通常知識獲致足夠的教示、建議與實施說明。
底下說明如何產生反扭曲映射表W（第二映射表）。
圖3A及圖3B分別繪示本發明一實施例的校正圖樣及從校正圖樣上擷取的第一特徵點的概要示意圖。圖3C繪示圖3A的校正圖樣投影至曲面投影屏幕的概要示意圖。圖3D繪示本發明一實施例的虛擬平面上的第三特徵點的概要示意圖。請參考圖1A、圖3A至圖3D，在本實施例中，投影裝置110可從外部(例如是主機系統111)接收或由內部產生校正圖樣P，其中校正圖樣P的解析度大小與投影裝置110所要投射影像的投影解析度大小一致(簡述為投影裝置110的投影解析度大小一致)。處理器電路112從校正圖樣P取得多個第一特徵點(u,v)，其係投影機座標系，如圖3B所示。在校正過程中，投影裝置110的擺放不須限制位置與旋轉角度，只要投影裝置110的投射方向是需要朝向曲面投影屏幕120即可。投影裝置110投射校正圖樣P到包括任意曲面的曲面投影屏幕120上。由於曲面投影屏幕120表面的起伏以及投影裝置110的投影角度使得投射的影像會有扭曲變形，如圖3C所示。在本實施例中，三維影像擷取裝置130設置在觀看者位置200以外的位置，可用於擷取扭曲的校正圖樣C的影像，以取得多個第二特徵點的座標位置，例如圖1A中所示的第二特徵點(xo,yo,zo)。值得一提的是，在圖1D中，處理器電路112設置於三維影像擷取裝置130中，三維影像擷取裝置130可從外部(例如是主機系統111)接收或由內部產生第一校正圖樣P，其中第一校正圖樣P的解析度大小與投影裝置110所要投射影像的投影解析度大小一致。三維影像擷取裝置130傳遞第一校正圖樣P至投影裝置110，投影裝置110投射第一校正圖樣P到曲面投影屏幕120上。
在本實施例中，由於曲面投影屏幕120表面的起伏以及投影裝置110的投影角度使得投射的影像會有扭曲變形，因此，在校正圖樣C上的第二特徵點(xo,yo,zo)是在空間中分布的多個特徵點，而利用三維影像擷取裝置130可取得第二特徵點(xo,yo,zo)實際在空間中分布的三維座標位置。在本實施例中，處理器電路112接收三維影像擷取裝置130提供的資訊，依據第二特徵點(xo,yo,zo)的座標位置計算觀看者位置200。接著，處理器電路112依據第二特徵點(xo,yo,zo)的座標位置及觀看者位置200，計算在觀看者位置200的虛擬平面500上的多個第三特徵點(x,y)，如圖3D所示。虛擬平面500位在觀看者位置200，第三特徵點(x,y)分布在虛擬平面500上。而圖3D所繪示的第三特徵點(x,y)分布在虛擬平面500上的計算結果，如同在圖1A的觀看者位置200設置一個虛擬相機，並且以此虛擬相機擷取扭曲的校正圖樣C的影像，以取得第三特徵點(x,y)的分布狀況。在圖1A的實施例中，觀看者位置200上並未設置任何影像擷取裝置。
在本實施例中，處理器電路112從校正圖樣P取得多個第一特徵點(u,v)，其係投影機座標系。其中每個特徵點都不相同，每個特徵點具有不同的圖樣。處理器電路112依據第一特徵點(u,v)的排列方式取得最大外接四邊形310。另一方面，處理器電路112依據第三特徵點(x,y)的排列方式取得最大內接四邊形320，如圖3D所示。
接著，處理器電路112依據最大外接四邊形310及最大內接四邊形320產生相似矩陣S。最大外接四邊形310及最大內接四邊形320之間包括垂直與水平的縮放關係(sw ,sh )與平移關係(tw ,th )。由由最大外接四邊形310及最大內接四邊形320的四個頂點座標，即可解得相似矩陣S的四個未知數sw 、sh 、tw 、th 。因此，相似矩陣S能把相機座標系的第二特徵點(x,y)轉換到投影機座標系的特徵點(s,t)，如下公式所示：
Figure 02_image001
其中，3×3矩陣是相似矩陣S，特徵點(s,t)代表了被扭曲後的特徵點，而該扭曲是由於曲面投影屏幕120與投影裝置110的投影角度所造成的。第一特徵點(u,v)代表了觀看者200期望的校正後的特徵點。
在本實施例中，處理器電路112依據被扭曲的特徵點(s,t)將第一映射表T轉換為反扭曲映射表W（第二映射表）。在本實施例中，投影裝置110從外部(主機系統111)接收第一映射表T。在其他本實施例中，如圖1D中，三維影像擷取裝置130從主機系統111接收第一映射表T。回到本實施例，第一映射表T是一個與投影裝置110的投影解析度尺寸相同的二維矩陣，其中每個值代表每個像素要映射的位置，而第一映射表T是與原始影像(主機系統111提供的影像)排列一致的座標位置。在本實施例中，處理器電路112將第一映射表T視為一張二維的影像，在第一映射表T上放置特徵點(s,t)，利用影像形變方法，將被扭曲的特徵點(s,t)往第一特徵點(u,v)拉動，以對第一映射表T進行形變操作，從而產生反扭曲映射表W。反扭曲映射表W代表了使扭曲的特徵點轉正的過程，因此稱之為「反扭曲」。在本實施例中，影像形變方法可由所屬技術領域的任一種影像形變方法的步驟來加以實施，本發明並不加以限制。其詳細步驟及其實施方式可以由所屬技術領域的通常知識獲致足夠的教示、建議與實施說明。
圖4A、圖4B及圖4C繪示投影裝置將反扭曲影像投影到曲面投影屏幕的概要示意圖。請參考圖1A及圖4A至圖4C，在本實施例中，投影裝置110接收輸入影像410，經校正後，相當於被扭曲的特徵點(s,t)分布在輸入影像410上。應注意的是，被扭曲的特徵點(s,t)實際上並不會顯示在輸入影像410上，圖4A所繪示的特徵點(s,t)僅是用於使所屬技術領域的通常知識者易於理解。在本實施例中，投影裝置110的處理器電路112依據反扭曲映射表W產生反扭曲影像420，經校正後，相當於在反扭曲影像420上分布有第一特徵點(u,v)。第一特徵點(u,v)代表了觀看者期望的校正後的特徵點。應注意的是，第一特徵點(u,v)實際上並不會顯示在反扭曲影像420上，圖4B所繪的第一特徵點(u,v)僅是用於使所屬技術領域的通常知識者易於理解。投影裝置110將反扭曲影像420投影至曲面投影屏幕120。從觀看者位置200的角度能看到無扭曲且無失真的投影校正結果，即校正影像430。
在本實施例中，處理器電路112例如包括中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合，本發明並不加以限制。在本實施例中，三維影像擷取裝置130例如包括攝相機(camera)、手機相機或照相相機等類似的裝置，用於擷取三維影像，本發明並不加以限制。在本實施例中，儲存裝置例如是可移動隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。主機系統111例如是個人電腦、平板電腦或智慧型手機等電子裝置，作為提供影像的影像源。
以下說明如何計算觀看者位置及在觀看者位置的虛擬平面上的多個第三特徵點。
圖5A繪示本發明另一實施例的投影系統的概要示意圖。圖5B繪示圖5A實施例的投影系統計算觀看者位置的概要示意圖。圖5C繪示校正圖樣及其上的第一特徵點的概要示意圖。圖5D繪示圖5A實施例的投影系統計算出的虛擬平面上的第三特徵點的概要示意圖。請參考圖5A至圖5D，投影裝置110接收校正圖樣P，並且將校正圖樣P投影至曲面投影屏幕120。在本實施例中，曲面投影屏幕120是以球幕為例。在本實施例中，第一特徵點(u,v)實際上並不會顯示在校正圖樣P上，圖5C所繪示的第一特徵點(u,v)僅是用於使所屬技術領域的通常知識者易於理解。校正圖樣P為可辨識特徵點的設計圖樣，並不限定於使用某一種特殊校正圖樣。
接著，三維影像擷取裝置130對曲面投影屏幕120進行取像，此處三維影像擷取裝置130是以圖2A的兩台彩色相機的組合為例。三維影像擷取裝置130的位置作為世界座標系的座標原點，拍攝所得的第二特徵點，其座標位置可以(xo,yo,zo)來表示。第二特徵點(xo,yo,zo)是分布在曲面投影屏幕120的幾何表面上，如圖5B所示。
在本實施例中，投影裝置110接收三維影像擷取裝置130提供的資訊，對第二特徵點(xo,yo,zo)進行主成分分析（Principal Component Analysis，PCA），再用一近似的平面方程式來描述這群第二特徵點(xo,yo,zo)。具體作法是對這群第二特徵點(xo,yo,zo)的共變異數矩陣（Covariance matrix）作特徵（eigen）分解，可得到三組相互垂直的特徵向量（eigenvectors）。最大兩個特徵值（eigenvalues）所對應的特徵向量代表了最佳描述這群第二特徵點的平面720，而最小特徵值所對應的特徵向量則代表此平面720的法向量710。法向量710可用(a,b,c)來表示，平面720可用平面方程式ax+by+cz+d=0來表示。在本實施例中，假設平面720通過這群第二特徵點(xo,yo,zo)已知的中心點(xm ,ym ,zm )。將中心點(xm ,ym ,zm )代入平面方程式ax+by+cz+d=0，即可求得未知數d。利用上述計算方式，可得知法向量710為(a,b,c)以及平面720為ax+by+cz+d=0。
在本實施例中，假設法向量710平行於虛擬相機光軸中心（觀看者位置200），以平面720即可決定虛擬相機在世界座標系的方位。接著，再將第二特徵點(xo,yo,zo)投影到虛擬相機上，即可得到第三特徵點(x,y)。第三特徵點(x,y)可依底下公式(1)、(2)來決定：
Figure 02_image003
(1)
Figure 02_image005
,
Figure 02_image007
,
Figure 02_image009
(2)
在公式(1)中，(xo,yo,zo)是第二特徵點的在世界座標系的座標，R是將第二特徵點從世界座標系轉換到相機座標系的轉換矩陣，T是將第二特徵點從世界座標系轉換到相機座標系的平移矩陣，(xc,yc,zc)是第二特徵點的在相機座標系的座標。因此，經由公式(1)，第二特徵點(xo,yo,zo)可從世界座標系轉換到相機座標系，而得到相機座標系的第二特徵點(xc,yc,zc)。在本實施例中，平移矩陣T代表虛擬相機在世界座標系的位置，例如平移矩陣T為平面720前方距離v處的位置，v為自訂常數或者用人眼視角推估。在本實施例中，轉換矩陣R可利用羅德里格（Rodrigues）旋轉方程式計算，其計算方式可以由所屬技術領域的通常知識獲致足夠的教示、建議與實施說明。
在公式(2)中，K為虛擬相機的內在3x3投影矩陣，其中的參數可由使用者自訂，w為正規化參數。因此，經由公式(2)，相機座標系的第二特徵點(xc,yc,zc)可轉換位在虛擬平面500上的第三特徵點(x,y)，如圖5D所示。其中，虛擬平面500位在虛擬相機的位置（觀看者位置200）。
圖6繪示本發明一實施例的影像校正方法的概要示意圖。請參考圖1A及圖6，圖6的影像校正方法例如用於圖1A的投影系統100。投影裝置110將反扭曲影像620投影至曲面投影屏幕120。在步驟S101中，利用三維影像擷取裝置130擷取投影至曲面投影屏幕120的校正圖樣P的影像，以取得第二特徵點(xo,yo,zo)的座標位置。在步驟S100中，處理器電路112依據第一特徵點(u,v)及第二特徵點(xo,yo,zo)產生多個被扭曲的特徵點(s,t)。在步驟S110中，處理器電路112依據被扭曲的特徵點(s,t)將第一映射表T轉換為第二映射表W。在步驟S120中，投影裝置110依據輸入影像610及第二映射表W產生反扭曲影像620，並且將反扭曲影像620投影至曲面投影屏幕120。因此，從觀看者位置200可觀看到無扭曲且無失真的校正影像。另外，本實施例的影像校正方法可由圖1A至圖5D實施例的敘述中獲致足夠的教示、建議與實施說明。
圖7繪示本發明一實施例中投影系統的示意圖。本實施例的投影系統100包括投影裝置110(例如是投影機)、處理器電路112及三維影像擷取裝置130。投影裝置110連接處理器電路112，處理器電路112連接三維影像擷取裝置130，三維影像擷取裝置130連接投影裝置110。值得一提的是，兩兩裝置之間是以信號傳遞為連接關係，其中各裝置之間可靠有線或無線的方式傳遞信號。處理器電路112物理上可設置於投影裝置110中或者處理器電路112物理上可設置於三維影像擷取裝置130中。在其他實施例中，投影系統100還可以包括主機系統111(如圖1A)，處理器電路112也可設置於主機系統111中。本發明不加以限制處理器電路112設置的位置，處理器電路112也可以是單一裝置。投影裝置110與三維影像擷取裝置130可例如是整合並封裝為一台投影裝置來實作，也可例如是分別以獨立的裝置來實作，本發明並不在此限制。
綜上所述，本發明的實施例至少具有以下其中一個優點或功效。在本發明的實施例中，除了投影裝置之外，投影系統利用三維影像擷取裝置擷取一張投影裝置投出的校正圖樣，以取得特徵點。經過影像校正方法，投影裝置即可產生預先扭曲的影像，幾何校正流程簡易且快速。投影裝置可依據三維影像擷取裝置取得的特徵點計算出觀看者位置。待校正完畢後，投影裝置會產生反扭曲映射表。反扭曲映射表是針對曲面投影屏幕相對於投影裝置的幾何校正。投影裝置利用反扭曲映射表來產生反扭曲影像並且投影在曲面投影屏幕上，在觀看者位置所看到的影像即為無扭曲且無失真的校正結果。
惟以上所述者，僅為本發明的較佳實施例而已，當不能以此限定本發明實施的範圍，即大凡依本發明申請專利範圍及發明說明內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露的全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明的權利範圍。此外，本說明書或申請專利範圍中提及的“第一”、“第二”等用語僅用於命名元件(element)的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。
100‧‧‧投影系統110‧‧‧投影裝置111‧‧‧主機系統112‧‧‧處理器電路120‧‧‧曲面投影屏幕122‧‧‧投影裝置的投影範圍124‧‧‧經影像校正後的投影範圍130‧‧‧三維影像擷取裝置200‧‧‧觀看者位置310‧‧‧最大外接四邊形320‧‧‧最大內接四邊形410、610‧‧‧輸入影像420、620‧‧‧反扭曲影像430‧‧‧校正影像500‧‧‧虛擬平面P、C‧‧‧校正圖樣(x,y)‧‧‧第三特徵點(xo,yo,zo)‧‧‧第二特徵點(u,v)‧‧‧第一特徵點(s,t)‧‧‧被扭曲的特徵點S101、S100、S110、S120‧‧‧方法步驟
圖1A繪示本發明一實施例的投影系統的概要示意圖。 圖1B及圖1C繪示圖1A的投影系統的輸入影像及反扭曲影像的概要示意圖。 圖1D繪示本發明另一實施例的投影系統的概要示意圖。 圖2A、圖2B及圖2C分別繪示圖1A實施例的三維影像擷取裝置的不同組合的概要示意圖。 圖3A及圖3B分別繪示本發明一實施例的校正圖樣及從校正圖樣上擷取的第一特徵點的概要示意圖。 圖3C繪示圖3A的校正圖樣投影至曲面投影屏幕的概要示意圖。 圖3D繪示本發明一實施例的虛擬平面上的第三特徵點的概要示意圖。 圖4A、圖4B及圖4C繪示投影裝置將反扭曲影像投影到曲面投影屏幕的概要示意圖。 圖5A繪示本發明另一實施例的投影系統的概要示意圖。 圖5B繪示圖5A實施例的投影系統計算觀看者位置的概要示意圖。 圖5C繪示校正圖樣及其上的第一特徵點的概要示意圖。 圖5D繪示圖5A實施例的投影系統計算出的虛擬平面上的第三特徵點的概要示意圖。 圖6繪示本發明一實施例的影像校正方法的概要示意圖。 圖7繪示本發明一實施例的投影系統的示意圖。
100‧‧‧投影系統
110‧‧‧投影裝置
111‧‧‧主機系統
112‧‧‧處理器電路
120‧‧‧曲面投影屏幕
122‧‧‧投影裝置的投影範圍
124‧‧‧經影像校正後的投影範圍
130‧‧‧三維影像擷取裝置
200‧‧‧觀看者位置
(xo,yo,zo)‧‧‧第二特徵點

Claims (15)

  1. 一種投影裝置，包括： 一處理器電路，依據多個第一特徵點及多個第二特徵點產生多個被扭曲的特徵點，以及依據所述多個被扭曲的特徵點將一第一映射表轉換為一第二映射表，其中所述投影裝置將一校正圖樣投影至一投影屏幕，所述校正圖樣包括所述多個第一特徵點，其中所述處理器電路，適於接收來自一三維影像擷取裝置擷取投影至所述投影屏幕的所述校正圖樣的影像，以取得所述多個第二特徵點的座標位置，以及所述處理器電路依據所述多個第二特徵點的座標位置計算一觀看者位置，所述處理器電路依據一輸入影像及所述第二映射表產生一反扭曲影像，並且所述投影裝置將所述反扭曲影像投影至所述投影屏幕。
  2. 如申請專利範圍第1項所述的投影裝置，其中所述三維影像擷取裝置設置在所述投影屏幕前的所述觀看者位置以外的位置。
  3. 如申請專利範圍第1項所述的投影裝置，其中所述處理器電路依據所述多個第二特徵點的座標位置及所述觀看者位置，計算在所述觀看者位置的一虛擬平面上的多個第三特徵點，其中所述處理器電路更依據所述多個第三特徵點產生所述多個被扭曲的特徵點。
  4. 如申請專利範圍第3項所述的投影裝置，其中所述處理器電路依據所述多個第一特徵點以及所述多個第三特徵點產生一相似矩陣，以及所述處理器電路依據所述相似矩陣將所述多個第三特徵點轉換為所述多個被扭曲的特徵點。
  5. 如申請專利範圍第4項所述的投影裝置，其中所述處理器電路依據所述多個第一特徵點的排列方式取得一最大外接四邊形，所述處理器電路依據所述多個第三特徵點的排列方式取得一最大內接四邊形，以及所述處理器電路依據所述最大外接四邊形及所述最大內接四邊形產生所述相似矩陣。
  6. 一種影像校正方法，用於一投影裝置將一反扭曲影像投影至一投影屏幕，所述影像校正方法包括： 依據多個第一特徵點及多個第二特徵點產生多個被扭曲的特徵點，其中所述投影裝置將一校正圖樣投影至所述投影屏幕，以及所述校正圖樣包括所述多個第一特徵點； 利用一三維影像擷取裝置擷取投影至所述投影屏幕的所述校正圖樣的影像，以取得所述多個第二特徵點的座標位置； 依據所述多個被扭曲的特徵點將一第一映射表轉換為一第二映射表；以及 依據一輸入影像及所述第二映射表產生所述反扭曲影像，並且將所述反扭曲影像投影至所述投影屏幕。
  7. 如申請專利範圍第6項所述的影像校正方法，更包括： 將所述三維影像擷取裝置設置在所述投影屏幕前的所述觀看者位置以外的位置。
  8. 如申請專利範圍第6項所述的影像校正方法，其中依據所述多個第一特徵點及所述多個第二特徵點產生所述多個被扭曲的特徵點的步驟包括： 依據所述多個第二特徵點的座標位置計算一觀看者位置； 依據所述多個第二特徵點的座標位置及所述觀看者位置，計算在所述觀看者位置的一虛擬平面上的多個第三特徵點；以及 依據所述多個第一特徵點及所述多個第三特徵點產生所述多個被扭曲的特徵點。
  9. 如申請專利範圍第8項所述的影像校正方法，其中依據所述多個第一特徵點及所述多個第三特徵點產生所述多個被扭曲的特徵點的步驟包括： 依據所述多個第一特徵點以及所述多個第三特徵點產生一相似矩陣；以及 依據所述相似矩陣將所述多個第三特徵點轉換為所述多個被扭曲的特徵點。
  10. 如申請專利範圍第9項所述的影像校正方法，其中依據所述多個第一特徵點以及所述多個第三特徵點產生所述相似矩陣的步驟包括： 依據所述多個第一特徵點的排列方式取得一最大外接四邊形； 依據所述多個第三特徵點的排列方式取得一最大內接四邊形；以及 依據所述最大外接四邊形及所述最大內接四邊形產生所述相似矩陣。
  11. 一種投影系統，適用於投射影像至一投影屏幕，包括： 一投影裝置，將一校正圖樣投影至所述投影屏幕，依據多個第一特徵點及多個第二特徵點產生多個被扭曲的特徵點，以及依據所述多個被扭曲的特徵點將一第一映射表轉換為一第二映射表，其中所述校正圖樣包括所述多個第一特徵點；以及 一三維影像擷取裝置，擷取投影至所述投影屏幕的所述校正圖樣的影像，以取得所述多個第二特徵點的座標位置， 其中所述投影裝置依據所述多個第二特徵點的座標位置計算一觀看者位置，並且依據一輸入影像及所述第二映射表產生一反扭曲影像，以及所述投影裝置將所述反扭曲影像投影至所述投影屏幕。
  12. 如申請專利範圍第11項所述的投影系統，其中所述三維影像擷取裝置設置在所述投影屏幕前的所述觀看者位置以外的位置。
  13. 如申請專利範圍第11項所述的投影系統，其中所述投影裝置依據所述多個第二特徵點的座標位置及所述觀看者位置，計算在所述觀看者位置的一虛擬平面上的多個第三特徵點，其中所述投影裝置更依據所述多個第三特徵點產生所述多個被扭曲的特徵點。
  14. 如申請專利範圍第13項所述的投影系統，其中所述投影裝置依據所述多個第一特徵點以及所述多個第三特徵點產生一相似矩陣，以及所述投影裝置依據所述相似矩陣將所述多個第三特徵點轉換為所述多個被扭曲的特徵點。
  15. 如申請專利範圍第14項所述的投影系統，其中所述投影裝置依據所述多個第一特徵點的排列方式取得一最大外接四邊形，所述投影裝置依據所述多個第三特徵點的排列方式取得一最大內接四邊形，以及所述投影裝置依據所述最大外接四邊形及所述最大內接四邊形產生所述相似矩陣。
TW107127980A 2018-07-31 2018-08-10 投影裝置、投影系統及影像校正方法 TWI703870B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810856321.X 2018-07-31
CN201810856321.XA CN110784691B (zh) 2018-07-31 2018-07-31 投影装置、投影系统及影像校正方法

Publications (2)

Publication Number Publication Date
TW202008774A true TW202008774A (zh) 2020-02-16
TWI703870B TWI703870B (zh) 2020-09-01

Family

ID=67439055

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107127980A TWI703870B (zh) 2018-07-31 2018-08-10 投影裝置、投影系統及影像校正方法

Country Status (4)

Country Link
US (1) US11323674B2 (zh)
EP (1) EP3606060B1 (zh)
CN (1) CN110784691B (zh)
TW (1) TWI703870B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11735078B2 (en) * 2019-06-06 2023-08-22 Sony Group Corporation Control device, control method, control program, and control system
US11153539B2 (en) * 2019-06-20 2021-10-19 Google Llc Methods and systems to pre-warp and image
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
CN111918045B (zh) * 2020-08-05 2021-09-17 华强方特(深圳)软件有限公司 用于多个投影机进行投影拼接校正的网格数据生成方法
CN112257705A (zh) * 2020-09-29 2021-01-22 全通金信控股(广东)有限公司 一种用于识别图片文字内容的方法
CN114650402B (zh) * 2020-12-21 2023-05-09 成都极米科技股份有限公司 投影图像的调整曲线计算和调整方法、系统、装置及介质
CN112734860B (zh) * 2021-01-15 2021-09-21 中国传媒大学 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN113099198B (zh) * 2021-03-19 2023-01-10 深圳市火乐科技发展有限公司 投影图像调整方法、装置、存储介质及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618076B1 (en) * 1999-12-23 2003-09-09 Justsystem Corporation Method and apparatus for calibrating projector-camera system
JP3731663B2 (ja) 2002-12-04 2006-01-05 セイコーエプソン株式会社 画像処理システム、プロジェクタおよび画像処理方法
CA2464569A1 (en) 2003-04-16 2004-10-16 Universite De Montreal Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
US7001023B2 (en) 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
US8355601B2 (en) * 2010-01-15 2013-01-15 Seiko Epson Corporation Real-time geometry aware projection and fast re-calibration
JP5440250B2 (ja) * 2010-02-26 2014-03-12 セイコーエプソン株式会社 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
TWI446225B (zh) * 2011-07-28 2014-07-21 Aptos Technology Inc 投影系統與其影像處理方法
CN103019643B (zh) 2012-12-30 2015-12-23 中国海洋大学 一种即插即用的大屏幕投影自动校正与拼接显示方法
JP6394005B2 (ja) * 2014-03-10 2018-09-26 株式会社リコー 投影画像補正装置、投影する原画像を補正する方法およびプログラム
JP6636252B2 (ja) * 2015-03-19 2020-01-29 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
KR101713875B1 (ko) * 2015-07-28 2017-03-09 주식회사 카이 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
CN105554486A (zh) * 2015-12-22 2016-05-04 Tcl集团股份有限公司 一种投影校正方法和装置
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
US10425625B2 (en) * 2018-02-06 2019-09-24 The Boeing Company Projecting images and videos onto engineered curved surfaces

Also Published As

Publication number Publication date
EP3606060B1 (en) 2024-01-10
TWI703870B (zh) 2020-09-01
CN110784691B (zh) 2022-02-18
EP3606060A1 (en) 2020-02-05
US20200045275A1 (en) 2020-02-06
CN110784691A (zh) 2020-02-11
US11323674B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
TWI703870B (zh) 投影裝置、投影系統及影像校正方法
TWI637230B (zh) 投影系統以及顯示影像的校正方法
TWI719493B (zh) 投影系統、投影裝置以及其顯示影像的校正方法
TWI439788B (zh) 投影校正系統及方法
TWI714018B (zh) 顯示牆的排版辨識方法以及使用此方法的電子裝置
US20190149787A1 (en) Projection system and image projection method
WO2022247418A1 (zh) 图像校正方法及拍摄设备
JP2017520026A (ja) ウェアラブルデバイスの投影を制御する方法及び装置、ウェアラブルデバイス
WO2021031781A1 (zh) 投影图像校准方法、装置及投影设备
US10715770B2 (en) Projection device, projection system and an image calibration method
TW202008064A (zh) 投影機校正方法與使用此方法的投影系統
TWI682358B (zh) 多維影像投射裝置及其多維影像校正方法
CN107346530A (zh) 一种修正鱼眼图像的投影方法及系统
US20180011669A1 (en) Image processing apparatus, image processing method, and recording medium
KR20220162595A (ko) 전자 장치 및 그 제어 방법
TWI621356B (zh) 光雕投影方法
TWI745992B (zh) 用於虛擬觸控之投影裝置及其方法
JP7135277B2 (ja) 画像処理装置、画像処理方法及びプログラム
TWM599940U (zh) 用於虛擬觸控之投影裝置
JP2023174456A (ja) イメージ内の座標間の実際距離を算出する方法及び装置
CN113344830A (zh) 基于多张单通道温度图片的融合方法和装置
KR20220166699A (ko) 전자 장치 및 그 제어 방법