TWI514882B - 基於視角產生補償影像的方法 - Google Patents

Description

基於視角產生補償影像的方法

本發明係有關一種投影機，特別是關於一種基於視點針對非朗伯（non-Lambertian）表面以產生補償影像的架構。

於行動電話或數位相機裝設投影機可克服手提裝置之螢幕尺寸的限制，使得影像可以便利的投射於鄰近的較大表面（例如牆壁）上。理想上，無論投射表面的物理特性為何，我們希望手提投影機可以投射出清楚的影像。然而實際上，周遭的投射表面並非理想的，因而會使得投射影像造成變形。鑑於此，需要在影像投射之前進行補償，用以抵銷投射表面的非理想特性。

一般的假設是相機與觀者位於相同位置。然而，由於投影-相機（projector-camera,procam）裝置可能相對於觀者具有一角度，因此上述的假設就不能成立。在此情形下，基於上述假設所作的補償就會變得無效。因此，於設計非朗伯表面的補償演算時，必須將視角一併考量。

因此，亟需提出一種新穎機制，基於視角針對非朗伯表面以產生補償影像。

鑑於上述，本發明實施例的目的之一在於提出一種基於視點針對非朗伯表面以產生補償影像的方法，其具有至少以下優點。第一，實施例提供一種簡單機制，僅需一相機及一投影機（不需額外投影機或相機）即可重建投射表面的反射性質。第二，實施例根據單一視角擷取的影像以預測不同視角的校正影像，用以擴大投影-相機系統的效能。第三，實施例重複以迴授來重新估算鏡面反射光（specular light），以避免過度補償。

根據本發明實施例，提供投影-相機系統，其由一投影機與一相機組成。投射一均勻影像於一反射屏，因而產生第一擷取影像。根據第一擷取影像，預測反射光的分佈，以得到模型參數。根據模型參數及一視角，估算校正影像。根據位於該視角的校正影像，以產生一補償影像。

第一圖顯示本發明實施例之基於視角針對非朗伯（或反射）表面以產生補償影像的架構100的方塊圖。第一圖所示組成方塊可使用硬體方式來實施，或者以數位影像處理器來執行。

第二圖例示由投影機21與相機22所固接組成的投影-相機（procam）系統100A。本實施例稍微經過修改後也可適用於多投影機與多相機所組成的投影-相機系統。如第二圖所示，當觀者24於xz平面移動時可定義出視角θ（單位為度）。在本實施例中，當觀者24站於反射屏23的正前方時，此時的視角θ為90度。

如第一圖所示，於單元11A中，投射一均勻影像U（例如均勻灰影像）於反射屏23（第二圖），因而產生（第一）擷取影像L_U,90 。【00010】     雖然大部分的光線會散射開來，然而有一部分光線則會從反射屏23直接反射，就好像反射屏23是一面鏡子一般。此種鏡面反射一般稱為反射光（specular light）。鑑於此，架構100使用單元12以預測反射光的分佈。在本實施例中，係使用馮氏模型（Phong model），其揭露於以下的文獻，其內容可視為本說明書的一部分：B. T.Phong, “Illumination for computer generated pictures（電腦產生畫像的亮度）”Communications of the ACM （計算機協會通訊）, vol. 18, no. 6, pp. 311-317, 1975。【00011】     反射光預測單元12包含亮度常態化（luminance normalization）次單元121A，用以對（第一）擷取影像L_U,90 進行常態化處理，以產生（第一）常態擷取影像，其值介於0與1之間，用以表示亮度的空間變化。除了反射光之外，亮度的變化也會受到暈邊效應（vignetting）的影響，其主要係由透鏡缺陷造成影像周圍的亮度降低。鑑於此，於使用馮氏模型進行重建之前，需要估算暈邊因子以排除暈邊效應。【00012】     單元11B可藉由投射相同的均勻灰影像U於理想投射屏（未顯示），以計算得到暈邊效應。該理想投射屏為一種高度散射面，因而可以產生（第二）擷取影像Q。（第二）擷取影像經由亮度常態化次單元121B進行常態化處理，以得到（第二）常態擷取影像，表示單純受暈邊效應影響的亮度變化。接下來，以反射光萃取次單元122以萃取得到反射光S₉₀ 如下：【數1】【00013】     接著，使用馮氏模型參數調適（fitting）次單元123以得到馮氏模型參數k_s 及γ ，例如使用線性迴歸（linear regression）技術，反射光I_s 可表示如下： 【數2】其中k_s 為反射常數，為理想反射光的方向，為向著觀者24的方向，γ 為屏幕材料的光澤（shininess）常數，且i_s 為光源強度。【00014】     於得到反射光分佈預測模型的參數（例如k_s 及γ ）之後，架構100的流程進入校正影像估算單元13。其中，反射光重建次單元131根據模型參數及視角θ以重建或預測反射光S_θ ，該視角θ可由感測器14提供。接下來，影像色彩估算次單元132首先產生90度與θ度之間的亮度差D_θ =s_L (S_θ -S₉₀ )，其中s_L 為比例因子；再加入（S₉₀ 與S_θ 之間的）亮度差D_θ 以得到90度校正影像。亦即， 【數3】其中n為比例因子。【00015】     在本實施例中，校正影像L_{M, θ} 包含四均勻色彩影像（紅、綠、藍及灰），及包含灰階0至255的色彩斜坡（ramp）影像。【00016】     繼續參閱第一圖，亮度（radiometric）補償單元15根據θ角的校正影像L_{M, θ} 以產生校正影像I_c 。第三圖顯示第一圖之亮度補償單元15的細部方塊圖，當所產生的補償影像I_c 投射於反射（或彩色）屏23時，其與測試影像I_w 投射於白屏幕的感知幾乎是一樣的。詳而言之，於次單元151中，首先以映射ρ_w （其在本實施例中為單調（monotonic）函數）將測試影像I_w 轉換為所要的去耦（decoupled）亮度。接著，於次單元152中，將所要的去耦亮度乘上彩色矩陣，以產生所要的亮度C_w 。該彩色矩陣擷取投影機21與相機22的彩色通道之間的耦合。假設測試影像I_w 係投射於白屏幕，則所要的亮度C_w 可用以模擬感知亮度。接著，對所要的亮度C_w 進行映射153（例如色調（tone）映射），使得於進行補償以得到光測（photometric）正確度時，壓縮動態範圍於一可回復範圍，因而產生所要的映射亮度C_c 。然而，色調映射卻會降低影像對比度。鑑於此，於可回復範圍內最大化像素的數目並盡可能保留更多的對比，用以得到光測正確度與對比度之間的最佳化。接下來，次單元154根據所要的映射亮度C_c ，藉由色彩通道之間的去耦合以獲得可達到去耦亮度。最後，於次單元155，將可達到去耦亮度映射至八位元像素值，因而產生補償影像I_c 。【00017】     投射光線的亮度會決定反射光的色度及強度。其中，當投射補償影像時，反射光會稍微偏離投射補償影像之原始狀態所估算的，因而通常會造成過補償。鑑於此，如第一圖所示，根據補償影像I_c 的內容，使用反射光迴授於次單元131中重新計算反射光S_θ 。在本實施例中，反射光的強度i_s 根據以下式子改變為i_c ：【數4】其中及分別為U及I_c 藉由重複多次迴授迴路的平均亮度。【00018】     以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100．．．產生補償影像的架構

100A．．．投影-相機系統

11A．．．投射於反射屏

11B．．．投射於理想屏

12．．．反射光預測

121A．．．亮度常態化

121B．．．亮度常態化

122．．．反射光萃取

123．．．馮氏模型參數調適

13．．．校正影像估算

131．．．反射光重建

132．．．影像色彩估算

14．．．感測器

15．．．亮度補償

151．．．計算所要的去耦亮度

152．．．計算所要的亮度

153．．．映射

154．．．計算可達到去耦亮度

155．．．計算補償強度

21．．．投影機

22．．．相機

23．．．反射屏

24．．．觀者

第一圖顯示本發明實施例之基於視角針對非朗伯表面以產生補償影像的架構的方塊圖。第二圖例示由固接投影機與相機所組成的投影-相機系統。第三圖顯示第一圖之亮度補償單元的細部方塊圖。

100．．．產生補償影像的架構

11A．．．投射於反射屏

11B．．．投射於理想屏

12．．．反射光預測

121A．．．亮度常態化

121B．．．亮度常態化

122．．．反射光萃取

123．．．馮氏模型參數調適

13．．．校正影像估算

131．．．反射光重建

132．．．影像色彩估算

14．．．感測器

15．．．亮度補償

Claims (11)

1. 一種基於視角產生補償影像的方法，包含：提供一投影-相機系統，其由一投影機與一相機組成；投射一均勻影像於一反射屏，因而產生一第一擷取影像；根據該第一擷取影像，預測反射光的分佈，以得到模型參數；根據該模型參數及一視角，估算校正影像；及根據位於該視角的校正影像，以產生一補償影像；更包含：投射該均勻影像於一理想投射屏，該理想投射屏具高度散射，用以產生一第二擷取影像；其中該反射光之分佈的預測步驟包含：常態化該第一擷取影像，以產生一第一常態擷取影像；常態化該第二擷取影像，以產生一第二常態擷取影像；及根據該第一常態擷取影像與該第二常態擷取影像的比值，以萃取得到該反射光。
2. 根據申請專利範圍第1項所述基於視角產生補償影像的方法，其中該反射光的分佈係根據馮氏模型以進行預測，藉由線性迴歸技術以得到馮氏模型參數。
3. 根據申請專利範圍第1項所述基於視角產生補償影像的方法，其中該估算校正影像的步驟包含：根據該模型參數及該視角，於該視角重建一反射光；產生90度與該視角之間的亮度差；及加入該亮度差以得到90度校正影像，以估算複數該視角的校正影像。
4. 根據申請專利範圍第3項所述基於視角產生補償影像的方法，其中該些校正影像包含紅、綠、藍及灰的均勻色彩影像，及一色彩斜坡(ramp)影像。
5. 根據申請專利範圍第3項所述基於視角產生補償影像的方法，其中該反射光的重建係根據該補償影像，於重建該反射光之前，迴授該補償影像。
6. 根據申請專利範圍第1項所述基於視角產生補償影像的方法，其中該視角係由一感測器提供。
7. 根據申請專利範圍第1項所述基於視角產生補償影像的方法，當該補償影像投射於反射屏時，其與一測試影像投射於白屏幕的感知幾乎一樣。
8. 根據申請專利範圍第1項所述基於視角產生補償影像的方法，其中該投影-相機系統的投影機與相機係固定在一起。
9. 一種基於視角產生補償影像的方法，包含：提供一投影-相機系統，其由一投影機與一相機組成；投射一均勻影像於一反射屏，因而產生一第一擷取影像；根據該第一擷取影像，預測反射光的分佈，以得到模型參數；根據該模型參數及一視角，估算校正影像；及根據位於該視角的校正影像，以產生一補償影像；當該補償影像投射於反射屏時，其與一測試影像投射於白屏幕的感知幾乎一樣；其中該產生補償影像的步驟包含：以第一映射將該測試影像轉換為所要的去耦(decoupled)亮度；將該所要的去耦亮度乘上一彩色矩陣，以產生所要的亮度，該彩色矩陣擷取該投影機與該相機的彩色通道之間的耦合； 對該所要的亮度進行第二映射，使得於進行補償以得到光測(photometric)正確度時，壓縮動態範圍於一可回復範圍內，因而產生所要的映射亮度；根據該所要的映射亮度，藉由色彩通道之間的去耦合以獲得可達到去耦亮度；及將該可達到去耦亮度第三映射至八位元像素值，因而產生該補償影像。
10. 根據申請專利範圍第9項所述基於視角產生補償影像的方法，其中該第一映射為單調函數。
11. 根據申請專利範圍第9項所述基於視角產生補償影像的方法，其中該第二映射為色調映射。