TW201315209A - 呈現立體影像之系統及方法 - Google Patents

Abstract

依據一實施例，一種以2D影像框與深度圖呈現立體影像之方法包含從該2D影像框產生一視覺特徵圖；由該視覺特徵圖判斷一受關注物像所在之區域；修改該深度圖，使該深度圖中對應該受關注物像之一深度值範圍往一顯示螢幕之深度重新映射；以及根據修改後的該深度圖及該2D影像框產生一虛擬立體影像框。依據其它實施例，本發明亦提供立體影像呈現系統。

Description

呈現立體影像之系統及方法

本發明係有關於立體影像呈現之系統及方法，且尤有關於可降低視力的調節與聚合間產生不協調的現象，以避免視力疲累及不適感之立體影像呈現系統。

為了增加視覺的真實感，三維(three-dimensional，縮寫為3D)立體影像技術已逐漸應用於各種領域，例如：廣播、遊戲、動畫、虛擬實境等等。為呈現立體感，習知技術通常攝取或產生兩個影像框，以分別模擬左、右眼的視角。這兩個影像框可在一二維(2D)螢幕上分別呈現給左、右眼觀看，使左眼與右眼僅看到其對應的影像。而大腦可重新組合這兩個不同視角的影像，從而產生立體感。

根據一種習知的立體影像呈現技術，係利用一2D影像及一深度圖建構複數個對應左眼及右眼的虛擬立體影像框。假設所需呈現之物像應出現於顯示螢幕的前方(或後方)，左、右眼將轉動，以分別觀看物像對應左、右眼視角的影像，如同物體真實存在於顯示螢幕的前方(或後方)。然而，物體之影像實際上成像在顯示螢幕的固定聚焦距離上，導致視力的調節與聚合間產生不協調的現象，使得這些視差影像的融合更加困難，並造成視力疲累及不適感。

因此，目前亟需一種可降低視力的調節與聚合間產生不協調的現象，以避免視力疲累及不適感之立體影像呈現系統。

本發明提供立體影像呈現之系統與方法。依據本發明之實施例，提供一種適用於一處理單元以形成立體影像之方法，其中該立體影像從一2D影像框及其對應之深度圖組成，而該方法包含：從該2D影像框產生一視覺特徵圖；由該視覺特徵圖判斷一受關注物像所在之區域；修改該深度圖，使該深度圖中對應該受關注物像之一深度值範圍往一顯示螢幕之深度重新映射；以及根據修改後的該深度圖及該2D影像框產生一虛擬立體影像框。

依據該方法之一實施例，產生一視覺特徵圖之步驟包含：在該2D影像框中偵測膚色。

依據該方法之一實施例，該受關注物像包括人臉。

依據該方法之一實施例，修改該深度圖之步驟包括：選擇性地將該受關注物像所對應的該深度值範圍以一固定值往該顯示螢幕的該深度偏移。

依據該方法之一實施例，選擇性地將該深度值範圍往該顯示螢幕的該深度偏移之步驟將使得該深度值範圍移動至實質上以該顯示螢幕的該深度為中心之位置上。

依據該方法之一實施例，修改該深度圖之步驟包括：以一固定值偏移該深度圖中的所有深度值，使該受關注物像所對應的該深度值範圍移動至實質上以該顯示螢幕之該深度為中心之位置上。

依據該方法之一實施例，修改該深度圖之步驟包括：以該顯示螢幕之該深度為中心，壓縮該受關注物像所對應的該深度值範圍。

依據該方法之一實施例，更包括：在該顯示螢幕所對應之該深度的固定位置上，將一字幕或一標題插入至該虛擬立體影像框中。

依據本發明另一實施例，提供一種立體影像之呈現系統，其包含：一記憶體；以及一處理單元，耦接於該記憶體，該處理單元係被配以執行以下步驟：從一2D影像框產生一視覺特徵圖；由該視覺特徵圖判斷一受關注物像所在之區域；修改該深度圖，使該深度圖中對應該受關注物像之一深度值範圍往一顯示螢幕之深度重新映射；以及根據修改後的該深度圖及該2D影像框產生一虛擬立體影像框。

依據該系統之一實施例，該處理單元係配置以從該2D影像框偵測膚色，以便產生該視覺特徵圖。

依據該系統之一實施例，該受關注物像包括人臉。

依據該系統之一實施例，該處理單元係配置以選擇性地將該深度值範圍以一固定值往該顯示螢幕的該深度偏移，以便修改該深度圖。

依據該系統之一實施例，選擇性地偏移該深度值範圍使得該深度值範圍移動至實質上以該顯示螢幕的該深度為中心之位置上。

依據該系統之一實施例，該處理單元係配置以一固定值偏移該深度圖中的所有深度值，使該受關注物像所對應的該深度值範圍移動至實質上以該顯示螢幕之該深度為中心之位置上，從而修改該深度圖。

依據該系統之一實施例，該處理單元係配置以該顯示螢幕之該深度為中心，壓縮該受關注物像所對應的該深度值範圍。

依據該系統之一實施例，該處理單元係配置以：在該顯示螢幕所對應之該深度的固定位置上，將一字幕或一標題插入至該虛擬立體影像框中。

先前敍述僅為本發明示範之用，並不受其限囿。本發明實施方式之揭露為闡明本發明原則之具體實施例，應不拘限本發明於所揭示的實施例。進一步言之，其他元件之變化或組合皆可能，且不悖于本發明之精神與範圍。由申請專利範圍所定義之本發明其他面向、發明技術特徵及優點皆以不拘限本發明之方式詳細敘述如後。

第1圖繪示依據本發明一實施例之立體影像呈現系統100的簡化方塊圖。立體影像呈現系統100可產生複數個對應同一場景之不同觀察點的視角影像，使觀賞者以雙眼視差之視覺看到的影像呈現立體感。舉例來說，立體影像呈現系統100可包括家庭電視裝置、電腦裝置、平板電腦、手機、智慧型手機等。依據一實施例，立體影像呈現系統100可包含一三維(3D)影像呈現處理器102、一3D控制器104、及一顯示單元106。

3D影像呈現處理器102可接收來自一資料來源之2D影像框I及深度圖D0，根據2D影像框I及深度圖D0產生不同視角之二或更多個影像，並且輸出對應於左眼及右眼視角之影像框L、R至3D控制器104。

3D控制器104可將影像框L、R之立體影像對轉換為對應於顯示單元106之3D格式，使影像框L、R可顯示於顯示單元106上。應用裸眼3D顯示(auto-stereoscopic/glassless display)時，3D控制器104可將多個影像框L、R重複地分散在複數視角組中，而該等視角組為沿顯示單元106相對彼此重複地偏移，其中每一視角組為對應顯示單元106之螢幕的一特定觀看位置。藉此，觀看者可從不同位置享受立體視覺效果。

再參考第1圖，3D影像呈現處理器102可包括一視覺特徵偵測器(saliency detector)122、一立體呈現單元124、一加模糊單元126及一標題增加單元128。視覺特徵偵測器122可接收2D影像框I、及其對應之深度圖D0，並產生影像的視覺特徵圖(saliency map)，該視覺特徵圖為從2D影像框I擷取觀看者所關注物體之特徵。視覺特徵偵測器122亦可判斷深度圖D0中對應該受關注物像的深度值範圍R_z，並將此訊息分別傳送至立體呈現單元124、加模糊單元126及標題增加單元128。

對於視覺特徵圖所分辨之受關注物像，立體呈現單元124可接收其對應之深度值範圍R_z的資訊。此外，立體呈現單元124亦可修改深度圖D0，以將深度圖D0轉換為調整後之深度圖D1，其中，深度圖D1中對應受關注物像之深度值範圍，係往顯示單元106之顯示螢幕所對應的深度重新映射(remap)。立體呈現單元124可根據調整後的深度圖D1及2D影像框I產生一或更多個虛擬立體影像框。因受關注物像被重新配置至更接近顯示螢幕所對應之深度位置，有利於降低視力的調節與聚合間的不協調現象，能提供更舒適的立體視覺效果。

加模糊單元126可對於立體呈現單元124輸出之立體影像框中增加模糊效果。尤其，立體影像框中除受關注物像外的區域可被模糊化，以加強影像的立體感。依據一實施例，可根據視覺特徵圖及視覺特徵偵測器122提供的相關資訊決定需模糊化的區域。然而，本發明不限於此，在其它實施例亦可省略加模糊單元126。

標題/字幕增加單元128可在立體影像框中插入標題及/或字幕文字。依據一實施例，所增加之標題及/或字幕文字可設置於一固定的深度，而此固定的深度可對應顯示螢幕之深度。

第2圖為繪示從視覺特徵圖M_S中分辨受關注物像之簡化示意圖。受關注物像可包括影像框中，為觀看者關注並成為焦點之任何區域。依據一實施例，視覺特徵偵測器122可偵測具有膚色之區域，以由2D影像框I產生視覺特徵圖M_S，從而分辨人物之像素區，特別是人臉的部位。例如，假設2D影像框I係以RGB(紅、綠、藍)的色彩座標定義像素色彩資料，RGB色彩資料可先依據習知的公式轉換為HSV(色相、飽和度及明度)的色彩座標。當各像素之色彩資料轉換為HSV色彩座標後，像素的H及S值可與膚色參考值比較，以判斷是否為膚色像素。藉此，可從視覺特徵圖M_S中分辨受關注物像202(例如人臉)。值得一提，視覺特徵偵測器122亦可依據受關注物像的不同種類，設計為分辨其它特徵，包括但不限於標題、字幕文字及其類似。因此，藉由分析及比較2D影像框I中的像素色彩資料，可判斷出不同的特徵。藉由視覺特徵圖M_S的資料，便可從深度圖D0中分辨受關注物像202之對應深度值範圍R_Z0。

第3圖為繪示依據一第一實施例修改深度圖D0，以重新映射受關注物像202之深度的示意圖。第3圖所示之平面為垂直於顯示單元106之顯示螢幕140的平面。深度的方向例如為垂直於顯示螢幕140平面之水平軸Z。依據一實施例，可往顯示螢幕140之對應深度值Z_S偏移/搬移受關注物像202之深度值範圍R_Z0，以便將深度圖D0轉換為深度圖D1。假設Z_i’在深度圖D1中是落於深度值範圍R_Z1內之一深度值，而Z_i在深度圖D0中是落於深度值範圍R_Z0之一深度值，Z_i’及Z_i之關係可由下列公式表示：

Z_i’=Z_i+C1　(1)，

其中，固定值C1為定義深度值範圍R_Z0至顯示螢幕140之深度Z_S的偏移量。依據一實施例，在調整後之深度圖D1中對應受關注物像202之深度值範圍R_Z1可實質上以顯示螢幕140之深度Z_S為中心。當虛擬立體影像是根據2D影像框I及調整後之深度圖D1產生並呈現給一觀看者V時，觀看者V看到受關注物像202所在的深度可接近顯示螢幕140之實際焦距。如此一來，可將低視力的調節與聚合之間的衝突所產生的疲勞感。

當受關注物像202往顯示螢幕140重新映射時，可選擇性地偏移深度值範圍R_Z0，而深度圖D0剩於的像素區域則可維持不變(亦即，僅調整後之深度圖D1中的深度值範圍R_Z1不同於深度圖D0中的深度值範圍R_Z0)。或者亦可偏移初始深度圖D0之所有深度值(亦即，所有的深度值皆以相同的固定值C1往一方向偏移，使得深度值範圍R_Z1實質上以顯示螢幕140之深度Z_S為中心)。

依據一實施例，在重新映射受關注物像202之前，亦可將深度值範圍R_Z0與門檻值TH1、TH2比較。當深度值範圍R_Z0落於門檻值TH1、TH2所限定之範圍內時，不須進行重新映射受關注物像202，而可根據2D影像框I及深度圖D0建構虛擬立體影像框。若深度值範圍R_Z0落於門檻值TH1、TH2所限定之範圍外，則將深度圖D0轉換為深度圖D1，使得深度值範圍R_Z1介於門檻值TH1、TH2之間(亦即，R_Z1≦|TH1-TH2|)，從而往顯示螢幕140重新映射受關注物像202。

第4圖為繪示依據一第二實施例修改深度圖D0，以重新映射受關注物像202之深度的示意圖。依此實施例，可將深度圖D0之所有深度值往顯示螢幕140之深度Z_S壓縮，以便轉換深度圖D0為一深度圖D2。例如，假設初始深度圖D0的深度值範圍R_Z0是以顯示螢幕140之對應深度Z_S為中心。可對於初始深度圖D0施用一壓縮運算子，使得深度值範圍R_Z0壓縮為實質上以顯示螢幕140為中心之深度值範圍R_Z1，從而得到調整後之深度圖D2。依據一實施例，假設Z_i’是深度圖D2中落於深度值範圍R_Z2內的一深度值，而Z_i是深度圖D0中落於深度值範圍R_Z0之一深度值，Z_i’與Z_i之關係可以下列公式表示：

Z_i’=C2×Z_i+C3　(2)

其中，C2是小於1之壓縮係數，C3則為從顯示螢幕140之深度Z_S及壓縮係數C2計算之固定值。依據一實施例，固定值C3可由C3=Z_S×(1-C2)之公式計算。值得一提，本發明不限於上述之計算公式，亦可由其它不同的公式定義壓縮運算子，以便壓縮深度值範圍R_Z0。

當虛擬立體影像為根據2D影像框I及調整後之深度圖D2產生時，可將受關注物像202之深度接近顯示螢幕140，使觀看者可更舒適地享受立體視覺效果。

當受關注物像202往顯示螢幕140重新映射時，可選擇性地對於深度值範圍R_Z0實施上述之壓縮運算子，而深度圖D0剩於的像素區域則可維持不變(亦即，僅調整後之深度圖D2中的壓縮深度值範圍R_Z2不同於深度圖D0中的深度值範圍R_Z0)。或者亦可壓縮初始深度圖D0之所有深度值。

依據一實施例，在進行重新映射受關注物像202之前，亦可將深度值範圍R_Z0與門檻值TH1、TH2比較。當深度值範圍R_Z0落於門檻值TH1、TH2所限定之範圍內時，不須進行重新映射受關注物像202，而可根據2D影像框I及深度圖D0建構虛擬立體影像框。若深度值範圍R_Z0大於門檻值TH1、TH2所限定之範圍，則將深度圖D0轉換為深度圖D2，使得壓縮的深度值範圍R_Z2介於門檻值TH1、TH2之間(亦即，R_Z2≦|TH1-TH2|)，從而往顯示螢幕140重新映射受關注物像202。

第5圖為繪示依據一第三實施例修改深度圖D0，以重新映射受關注物像202之深度的示意圖。第三實施例為結合第3圖及第4圖所示之實施例，以往顯示螢幕140之深度重新分佈受關注物像202之深度值範圍。因此，可藉由偏移並壓縮初始深度圖D0，獲得調整後之深度圖D3，使得深度值範圍R_Z3以顯示螢幕140之深度Z_S為中心、並相較於深度值範圍R_Z0呈壓縮。如同前述，可選擇性地對於深度值範圍R_Z0實施上述之偏移/壓縮步驟，而深度圖D0剩於的像素區域則維持不變(亦即，僅調整後之深度圖D3中的壓縮深度值範圍R_Z3不同於深度圖D0中的深度值範圍R_Z0)。或者亦可偏移/壓縮初始深度圖D0之所有深度值。

依據一實施例，在重新映射受關注物像202之前，亦可將深度值範圍R_Z0與門檻值TH1、TH2比較。當深度值範圍R_Z0落於門檻值TH1、TH2所限定之範圍內時，不須進行重新映射受關注物像202，而可根據2D影像框I及深度圖D0建構虛擬立體影像框。若深度值範圍R_Z0位於門檻值TH1、TH2所限定之範圍外及/或大於門檻值TH1、TH2所限定之範圍，則將深度圖D0轉換為深度圖D3，使得深度值範圍R_Z3以顯示螢幕140之深度Z_S為中心並介於門檻值TH1、TH2之間(亦即，R_Z3≦|TH1-TH2|)。

第6圖為繪示立體影像之呈現方法的流程圖。在步驟602，3D影像呈現處理器102接收2D影像框I及初始深度圖D0。在步驟604，可基於2D影像框I建構視覺特徵圖M_S。依據一實施例，可對於2D影像框I偵測膚色的區域，以分辨出為受關注物像202之人臉，從而產生視覺特徵圖M_S。依據其它實施例，亦可偵測其它特定之顏色，以分辨不同物像的類型。當建構視覺特徵圖M_S並分辨受關注物像202之後，即可執行步驟606，以分辨受關注物像202，並在深度圖D0中找出受關注物像202之對應深度值範圍R_Z0。

於步驟608，可將深度值範圍R_Z0與深度門檻值TH1、TH2比較，以判斷是否需要往顯示螢幕140重新映射受關注物像202。

當深度值範圍R_Z0超越門檻值TH1及/或門檻值TH2時，可於步驟610將深度圖D0轉換為一調整後之深度圖，以便往顯示單元106之顯示螢幕140重新分佈受關注物像202之對應深度值範圍R_Z0，使得受關注物像202所對應之調整後深度值範圍落於門檻值TH1、TH2所定義之範圍內。先前參考第3圖至第5圖所述的任何深度重新映射方法皆可適用，以便產生調整後之深度圖D1、D2或D3。接著於步驟612，可根據初始2D影像框I及調整後之深度圖建構出一或更多個虛擬立體影像框L、R。

當深度值範圍R_Z0落於門檻值TH1、TH2所限定之範圍內時，無須重新映射受關注物像202。因此，可跳過步驟610而直接執行步驟612，以根據初始2D影像框I及深度圖D0產生一或更多個虛擬立體影像框L、R。

於步驟614，可對於立體影像框L、R進行模糊化。舉例來說，可模糊化受關注物像202以外之像素區域，以增強受關注物像202的立體感。

於步驟616，可在立體影像框L、R中插入標題、字幕或相關文字資訊。依據一實施例，標題、字幕或相關文字資訊可設置在立體影像框L、R中之固定位置，使觀看者實質上在顯示螢幕140及/或對應受關注物像202之深度上看到標題、字幕或相關文字資訊。因此，可降低視力的調節與聚合間的不協調現象，從而提供更舒適的立體視覺效果。然後於步驟618，虛擬立體影像框L、R可被呈現於顯示單元106之顯示螢幕140上。

本發明所述之技術特徵及實施例可以各種形式實施，包含硬體、軟體、韌體或其任何組合。第7圖為繪示電腦裝置700之一實施例的示意圖。電腦裝置700包括一處理單元702、耦接於處理單元702之記憶體704、及一顯示單元706。前述之方法步驟可以一軟體程式708的形式實施，而軟體程式708可儲存於記憶體704中。處理單元702可執行軟體程式708，以如同前述在顯示單元706上呈現立體影像框。

本發明所述之系統及方法，可偵測並往顯示螢幕重新映射受關注物像，有利於降低視力的調節與聚合間的不協調現象，從而提供更舒適的立體視覺效果。

值得一提，本發明不限於前述之各實施例所舉例的不同功能單元及處理器。不同的單元、元件及功能可實質上、功能上、及邏輯上以任何方式實施。舉例來說，由分開的處理器或控制器執行之功能亦可由單一處理器或控制器執行。

因此可依據特定實施例了解本發明。此些實施例是用以說明並不用來限制本發明。其他元件之變化、修改、增加或改良皆可能。因此，可結合多種例子之元素以形成單一實施例。作為元件示範之結構及功能皆可合併而實施。其他元件之變化或組合皆可能，且不悖于本發明之精神與範圍。

100．．．立體影像呈現系統

102．．．3D影像呈現處理器

104．．．3D控制器

106．．．顯示單元

122．．．視覺特徵偵測器

124．．．立體呈現單元

126．．．加模糊單元

128．．．標題/字幕增加單元

140．．．顯示螢幕

202．．．受關注物像

602、604、606、608、610、612、614、616．．．步驟

700．．．電腦裝置

702．．．處理單元

704．．．記憶體

706．．．顯示單元

708．．．軟體程式

第1圖繪示依據本發明一實施例之立體影像呈現系統的簡化方塊圖。

第2圖為繪示從視覺特徵圖MS中分辨受關注物像之簡化示意圖。

第3圖為繪示依據一第一實施例修改深度圖D0，以重新映射受關注物像之深度的示意圖。

第4圖為繪示依據一第二實施例修改深度圖D0，以重新映射受關注物像之深度的示意圖。

第5圖為繪示依據一第三實施例修改深度圖D0，以重新映射受關注物像之深度的示意圖。

第6圖為繪示立體影像之呈現方法的流程圖。

第7圖為繪示電腦裝置之一實施例的示意圖。

100．．．立體影像呈現系統

102．．．3D影像呈現處理器

104．．．3D控制器

106．．．顯示單元

122．．．視覺特徵偵測器

124．．．立體影像呈現單元

126．．．加模糊單元

128．．．標題/字幕增加單元

Claims (16)

1. 一種適用於一處理單元以形成立體影像之方法，其中該立體影像由一2D影像框及其對應之深度圖組成，而該方法包含：從該2D影像框產生一視覺特徵圖；由該視覺特徵圖判斷一受關注物像所在之區域；修改該深度圖，使該深度圖中對應該受關注物像之一深度值範圍往一顯示螢幕之深度重新映射；以及根據修改後的該深度圖及該2D影像框產生一虛擬立體影像框。
2. 如申請專利範圍第1項所述之方法，其中產生該視覺特徵圖之步驟包含：在該2D影像框中偵測膚色。
3. 如申請專利範圍第2項所述之方法，其中該受關注物像包括人臉。
4. 如申請專利範圍第1項所述之方法，其中修改該深度圖之步驟包括：選擇性地將該受關注物像所對應的該深度值範圍以一固定值往該顯示螢幕的該深度偏移。
5. 如申請專利範圍第4項所述之方法，其中選擇性地將該深度值範圍往該顯示螢幕的該深度偏移之步驟，將使得該深度值範圍移動至實質上以該顯示螢幕的該深度為中心之位置上。
6. 如申請專利範圍第1項所述之方法，其中修改該深度圖之步驟包括：以一固定值偏移該深度圖中的所有深度值，使該受關注物像所對應的該深度值範圍移動至實質上以該顯示螢幕之該深度為中心之位置上。
7. 如申請專利範圍第1項所述之方法，其中修改該深度圖之步驟包括：以該顯示螢幕之該深度為中心，壓縮該受關注物像所對應的該深度值範圍。
8. 如申請專利範圍第1項所述之方法，更包括：在該顯示螢幕所對應之該深度的固定位置上，將一字幕或一標題插入至該虛擬立體影像框中。
9. 一種立體影像之呈現系統，包含：一記憶體；以及一處理單元，耦接於該記憶體，該處理單元係被配以執行以下步驟：從一2D影像框產生一視覺特徵圖；由該視覺特徵圖判斷一受關注物像所在之區域；修改該深度圖，使該深度圖中對應該受關注物像之一深度值範圍往一顯示螢幕之深度重新映射；以及根據修改後的該深度圖及該2D影像框產生一虛擬立體影像框。
10. 如申請專利範圍第9項所述之系統，其中該處理單元係配置以從該2D影像框偵測膚色，以便產生該視覺特徵圖。
11. 如申請專利範圍第10項所述之系統，其中該受關注物像包括人臉。
12. 如申請專利範圍第9項所述之系統，其中該處理單元係配置以選擇性地將該深度值範圍以一固定值往該顯示螢幕的該深度偏移，以便修改該深度圖。
13. 如申請專利範圍第12項所述之系統，其中選擇性地偏移該深度值範圍將使得該深度值範圍移動至實質上以該顯示螢幕的該深度為中心之位置上。
14. 如申請專利範圍第9項所述之系統，其中該處理單元係配置以一固定值偏移該深度圖中的所有深度值，使該受關注物像所對應的該深度值範圍移動至實質上以該顯示螢幕之該深度為中心之位置上，從而修改該深度圖。
15. 如申請專利範圍第9項所述之系統，其中該處理單元係配置以在該顯示螢幕之該深度為中心，壓縮該受關注物像所對應的該深度值範圍。
16. 如申請專利範圍第9項所述之系統，其中該處理單元係配置以在該顯示螢幕所對應之該深度的固定位置上，將一字幕或一標題插入至該虛擬立體影像框中。