TWI496452B - 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法 - Google Patents

Description

立體影像系統、立體影像產生方法、立體影像調整裝置及其方法

本發明係關於立體影像，特別是使用分析深度圖以得到立體影像之系統及其方法。

隨著科技進步，多媒體系統亦愈來愈成熟，使用者對於視覺上的享受也愈來愈要求，從傳統的二維畫面逐漸提昇至三維畫面。不同於一般電視和電影等平面顯示所提供的二維畫面，人類雙眼所看到的物體會具有前後位置的深度感，深度感的產生來自於左右兩眼相距一定距離，因此使得所看到的影像有些微的差距，此差距經過大腦處理後就會產生深度感。人類雙眼觀看景物可概分為遠、中、近三個層次，亦可隨著景物的遠近而自動調整到一個最佳的視角，當雙眼由不同視角分別觀看物體不同的位置時，會產生視差(parallax)，視差依眼睛觀看遠、中、近程景物之不同，可分為三種情況：(1)正視差(positive parallax)，如第1A圖所示，將左、右眼影像分別放在螢幕之L與R的位置時，其中L為左眼視線與螢幕101之交點，R為右眼視線與螢幕101之交點，兩眼焦點視線會在螢幕101後交叉，立體影像將會呈現在螢幕101後的交叉點上；(2)零視差(zero parallax)，如第1B圖所示，將左、右眼影像重疊放在螢幕101之L/R的位置，兩眼焦點視線的交叉點會正好落在螢幕101上，且影像亦呈現在螢幕101上，但無立體感；(3)負視差(negative parallax)，如第1C圖所示，將左、右眼影像重疊放在螢幕101之L與R的位置，兩眼焦點視線在螢幕101前即產生交叉，其立體影像會呈現在螢幕101前的交叉點上。

雖然立體影像可以由立體相機或立體攝影機所擷取，但這些設備尚未普及且價格不斐，一般使用者往往難以取得並使用，因此逐漸發展出將現有的二維影像或影片轉換成立體影像(stereoscopic images)的演算法。立體影像演算法往往需要利用深度資訊(depth information)，深度資訊往往可用一深度圖(depth map)來表示，深度圖的產生可利用深度攝影機、立體攝影機或是利用相關之三維立體影像演算法所得到，習知的深度圖可用灰階影像來表示照片裡不同物件的深度，例如灰階值0~255，0表示物體離鏡頭最遠，255則表示物體離鏡頭最近。

傳統利用二維影像之深度圖以求得左右兩眼影像的演算法，係依據深度圖之深度，對原始二維影像中的物體做不同程度的像素位移，而忽略了左右兩眼所看到的景物差異。

有鑑於此，本發明係提供一種立體影像系統，可分別模擬左右眼所觀察到的物體，以逼近人類雙眼所看到的真實物體。該立體影像系統包括：一深度偵測器，用以接收一二維影像及其相應之一深度影像，以產生一深度階層圖；一立體影像產生器，用以依據該二維影像及該深度階層圖，以產生相應於該二維影像之一立體影像對；以及一立體影像調整裝置，用以依據該深度階層圖以產生一深度階層範圍圖，並依據該立體影像對及該深度階層範圍圖以分別對該立體影像對中位於複數個深度階層之複數物件進行一像素位移處理及一插補處理，以產生一輸出立體影像對。

本發明更提供一種立體影像產生方法，包括：接收一二維影像及其相應之一深度影像，以據以產生一深度階層圖；依據該二維影像及該深度階層圖，以產生相應於該二維影像之一立體影像對；依據該深度階層圖，以產生一深度階層範圍圖；以及依據該立體影像對及該深度階層範圍圖，以分別對該立體影像對中位於複數個深度階層之複數物件進行一像素位移處理及一插補處理，以產生一輸出立體影像對。

本發明更提供一種立體影像調整裝置，包括：一深度階層區分器，用以接收一深度階層圖，並據以產生一深度階層範圍圖；一像素位移器，用以接收該深度階層範圍圖及其相應之一立體影像對，並依據該深度階層範圍圖及該立體影像對，計算該立體影像對中之複數個物件之一物體中心線，再依據該物體中心線對該等物件進行對應之一像素位移處理，以產生一調整立體影像對；以及一影像合併器，用以接收該調整立體影像對，並對該調整立體影像對中之該等物件進行一插補處理，以產生一輸出立體影像對。

本發明更提供一種立體影像調整方法，包括：接收一深度階層圖，並據以產生一深度階層範圍圖；依據該深度階層範圍圖其相應之一立體影像對，計算該立體影像對中之複數個物件之一物體中心線，再依據該物體中心線對該等物件進行對應之一像素位移處理，以產生一調整立體影像對；以及對該調整立體影像對中之該等物件進行一插補處理，以產生一輸出立體影像對。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式第1～4圖之各項實施例的詳細說明中，將可清楚的呈現。

第2圖係顯示依據本發明一實施例之立體影像系統200的方塊圖。在一實施例中，立體影像系統200包括一深度偵測器210、一立體影像產生器220、一立體影像調整裝置230。深度偵測器210係接收一二維影像及一深度影像，並依據二維影像及深度影像以產生一深度階層圖(depth level map)，其中二維影像可為一般照像裝置所拍攝的相片，而深度影像係為灰階值介於0～255的一灰階影像，例如第3C圖所示，階層304～307分別表示物體於影像中的不同深度，其中階層306距離鏡頭最近，階層307距離鏡頭最遠。深度影像通常由深度照相機或是已具有三維資訊之影像所得到，亦可由習知演算法由二維影像以推導出深度影像，但本發明不限於此。在灰階影像中，不同的灰階值即代表該點距離照相裝置之鏡頭的深度，例如0表示距離鏡頭最遠，255表示距離鏡頭最近，但本發明不限於此。深度偵測器210依據所接收之深度影像，使用習知的Otsu閥值方法(Otsu threshold method)以計算出一最佳的零視差平面(zero parallax plane)的灰階值，並將深度影像之灰階值由-5至+5共分成11個深度等級，深度等級0則代表零視差平面，深度影像及深度等級之對應公式如下：

depth level =(D -ZPS )/((255-ZPS )/5) whenD ≠ZPS .....(式1)

depth level =0 whenD =ZPS .....(式2)

其中depth level表示深度等級，D為深度影像中之該點的灰階值，ZPS(zero parallax setting)為零視差平面所代表的灰階值。深度偵測器210使用式1及式2公式產生一深度階層圖(depth level map)以區分深度等級，深度等級的數值愈高，表示該點愈靠近鏡頭，所需做的視角模擬程度愈高，其細節將揭露於後。於另一實施例中，深度等級亦可依據實際需要，使用正視差、負視差或零視差之定義所決定，且深度等級亦可為數值愈高愈遠離鏡頭，但本發明不限於此。

立體影像產生器220係接收二維影像以及深度偵測器所產生的深度階層圖(depth level map)，並依據二維影像及深度階層圖以產生相應於二維影像的一立體影像對(stereoscopic image pair)，立體影像對包括一左眼影像及一右眼影像，立體影像產生器220產生左眼/右眼影像所使用之演算法係為習知的DBIR(Depth-image-based rendering)演算法，於此不在多做敘述。以被動式眼鏡立體系統為例，左右眼影像係分別為具有原始二維影像之一半垂直解析度的影像，例如左眼影像為原始二維影像之奇數線所構成，右眼影像為原始二維影像之偶數線所構成，但本發明不限於此。

立體影像調整裝置230係接收由深度偵測器210所產生之深度階層圖，以及由立體影像產生器220所產生之對應於深度階層圖的立體影像對。立體影像調整裝置230依據該深度階層圖以產生一深度階層範圍圖，並依據該立體影像對及該深度階層範圍圖以分別對該立體影像對中位於複數個深度階層之複數物件進行一像素位移處理及一插補處理，以產生一輸出立體影像對。立體影像調整裝置230係使用本發明所提出之影像調整方法對立體影像對中的左眼影像及右眼影像進一步進行調整，以便使用者在觀賞時，可獲得更佳的三維立體影像效果。在一實施例中，立體影像調整裝置230更包括一深度階層區分器231、一像素位移器232、影像合併器233。深度階層區分器231依據深度階層圖，決定一深度範圍以決定後續運算所處理物件之深度階層，並產生一深度階層範圍圖以供像素位移器232使用。在本發明之一實施例中，因為在模擬人眼視角時，對於距離人眼太遠的景物，左眼及右眼看同一個物體所得到的影像幾乎沒有差距，因此深度階層區分器231僅考慮深度等級介於+2～+4之間的物體，如第3A圖所示，其中階層301之深度階層為2，階層302之深度階層為3，階層303之深度階層為4，其中深度階層2表示離零視差平面最近，且離鏡頭最遠，深度階層4表示離零視差平面最遠，且離鏡頭最近，但本發明不限於此。

像素位移器232係接收來自由深度階層區分器231所產生之深度階層範圍圖，以及由立體影像產生器220所產生之對應於深度階層圖的立體影像對，並依據深度階層範圍圖及相應的立體影像對以產生一調整立體影像對，其中調整立體影像對亦包括一左眼影像及右眼影像，意即為由原二維影像所產生之調整後的左眼影像及右眼影像，對於被動偏光系統來說，左眼影像及右眼影像可分別為原本二維影像中之奇數線及偶數線之畫面，但本發明不限於此。在一實施例中，像素位移器232依據深度階層範圍圖及相應的立體影像對，對立體影像對中的左眼影像及右眼影像分別處理。在一實施例中，以左眼影像為例，對同一個物體來說，左眼影像所看到的物體左半邊會較大，右半邊則相對較小，右眼影像則相反，因此像素位移器232在處理左眼影像時，對物體的左半邊會放大，右半邊則會縮小，在一實施例中，左眼影像(或右眼影像)中的像素若屬於同一物體，則其深度階層亦會相同，像素位移器232會先找出左眼影像(或右眼影像)中的物體，意即依據深度階層範圍圖，對其相應的左眼影像之每一列進行處理，先找出同一物體之中心點，意即對每一列的像素，尋找連續同深度階層的線段中點，結合所有的線段中點，即可構成該物體的物體中心線。在一實施例中，以解析度640x480的圖像為例，像素位移器232係依據下列公式對左眼影像中的每個連續線段之像素進行處理：

X =X +(DP -1)when(X>(DC-WD/4))and(X<(DC+WD/4))and(DP>=2).....(式3)

像素位移器232再依據下列公式對右眼影像中的每個連續線段之像素進行處理：

X =X -(DP -1)when(X>(DC-WD/4))and(X<(DC+WD/4))and(DP>=2).....(式4)

其中X為同一深度階層的像素座標，DP為深度階層，DC為同一深度階層之連續線段的中點座標，WD為同一深度階層之每一列的連續線段寬度(意即於該列的物體寬度)。由式3及式4可知，對左眼影像之每一列來說，在物體的左半邊，因為區域309往右平移，在由中心點往左邊距離1/4物體寬度之處，會新增額外的像素，以擴增左半邊的範圍，由中心點至右邊距離1/4物體寬度之像素因為右平移而超過右邊1/4物體寬度界限的像素則會被刪除，右眼影像則進行相反的處理，如此一來，當處理完左眼影像(或右眼影像)之每一列後，經過在調整立體影像對中的調整後的物體會更接近實際左眼(或右眼)所看到的影像。換句話說，前述之像素位移處理，可視為將左眼/右眼影像中的物體，依據其物體中心線，將位於物體中心線左右各四分之一的部分進行對應的像素位移處理，亦即將物體中間一半之部分進行對應的像素位移處理，超過距離物體中心線左右四分之一的邊界之物體的像素則刪除，因平移而新增的像素則使用內插法進行插補，如第3D圖所示，對左眼影像來說，區域309之像素係整個往右平移，但本發明不限於此。值得一提的是，本發明於左眼影像(或右眼影像)中針對於預定深度階層範圍中的物體所進行增加或刪除的像素數目，不受圖像的解析度影響，前述之實施例係以具有640x480解析度之圖像為例，針對深度階層介於+2至+4之間的物體進行處理，像素位移處理所增加/刪減的像素數目為(DP-1)，其中DP為深度階層，若以具有1920x1080解析度之圖像為例，則像素位移處理所增加/刪減的像素數目亦為(DP-1)。

影像合併器233係接收來自像素位移器232所產生的調整立體影像對，及其相應之深度階層資訊，於調整立體影像對中的左眼影像及右眼影像已在像素位移器232中進行對應的像素位移(像素增加/刪除)處理，而影像合併器係處理所接收的調整立體影像對，針對像素增加的部分，採用習知的內插法以進行插補處理。更進一步來說，在調整立體影像對中，原本需要進行像素插補之處是空白的，如第3B圖所示，區域308即為像素位移處理後所產生的空白處，影像合併器使用最鄰近該空白處之左右像素進行內插法，以填補空白處，以獲得最後之輸出立體影像對。更進一步，影像合併器233所使用的內插法係選擇一個最接近距離整數位置的像素填入，若空白處與多個鄰近點距離相同，則可任意選擇其一為其像素值，將非整數座標四拾五入後取該點像素值，以改變距離的計算方式。

第4圖係顯示依據本發明一實施例之應用於立體影像系統200之立體影像產生方法的流程圖。在步驟S400，深度偵測器210接收二維影像及其相應的深度影像，並產生一深度階層圖，於一實施例中，深度影像係由深度攝影機所拍攝或是由具有三維資料之影像所得到，深度影像係為一灰階影像，例如用灰階值0～255以代表不同的深度階層。在步驟S410，立體影像產生器220依據二維影像及深度階層圖以產生相應於二維影像之一立體影像對，其中立體影像產生器220係使用習知的DIBR演算法對二維影像進行處理，以產生同時對應於左眼及右眼的影像對。在步驟S420，立體影像調整裝置230依據深度階層圖，以產生一深度階層範圍圖。在步驟S430，立體影像調整裝置230依據立體影像對及深度階層範圍圖，對立體影像對中位於複數個深度階層的複數物件進行像素位移處理及插補處理，以得到一輸出立體影像對，其中立體影像調整裝置230所執行之步驟S420及S430將於第5圖中詳述。

第5圖係顯示依據本發明一實施例之應用於立體影像調整裝置230之影像調整方法的流程圖。在步驟S500，深度階層區分器231接收來自深度偵測器的深度階層圖，並依據一預定的深度範圍(例如+2～+4)以過濾深度階層圖，以產生一深度階層範圍圖。在步驟S510，像素位移器232接收來自深度階層區分器231所產生之深度階層範圍圖，以及由立體影像產生器220所產生之對應於深度階層圖的立體影像對，並依據式3及式4以分別對立體影像對中的複數個物件進行一像素位移處理，以產生一調整立體影像對。在步驟S520，影像合併器233接收由像素位移器232所產生的調整立體影像對，並使用內插法對調整立體影像對中的複數物件進行一插補處理，以填補因像素位移處理後之空白處的像素，以產生一輸出立體影像對，並輸出至對應的3D顯示器(未繪示)進行顯示。

前述實施例中，熟習此技藝者當了解如深度偵測器210、立體影像產生器220及立體影像調整裝置230係可由一處理器(未繪示)以程式碼的型態執行，亦可由特定之硬體電路執行，並不侷限於軟體之型式。

本發明之方法，或特定型態或其部份，可以以程式碼的型態包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置或系統。本發明之方法、系統與裝置也可以以程式碼型態透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置或系統。當在一般用途處理器實作時，程式碼結合處理器提供一操作類似於應用特定邏輯電路之獨特裝置。

惟以上所述者，僅為本發明之各項實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用以輔助專利文件搜尋之用，並非用以限制本發明之權利範圍。

101‧‧‧螢幕

200‧‧‧立體影像系統

210‧‧‧深度偵測器

220‧‧‧立體影像產生器

230‧‧‧立體影像調整裝置

231‧‧‧深度階層區分器

232‧‧‧像素位移器

233‧‧‧影像合併器

301、302、303、304、305、306、307‧‧‧階層

308、309‧‧‧區域

第1A～1C圖係顯示以不同視差觀察物體之方式的示意圖。

第2圖係顯示依據本發明一實施例之立體影像系統200的方塊圖。

第3A圖係顯示依據本發明一實施例之深度階層範圍圖之示意圖。

第3B圖係顯示依據本發明一實施例之調整立體影像對之示意圖。

第3C圖係顯示依據本發明一實施例之深度影像之示意圖。

第3D圖係顯示依據本發明一實施例之調整立體影像對中之左眼影像進行像素位移處理之示意圖。

第4圖係顯示依據本發明一實施例之應用於立體影像系統之立體影像產生方法的流程圖。

第5圖係顯示依據本發明一實施例之應用於立體影像調整裝置之立體影像調整方法的流程圖。

200．．．立體影像系統

210．．．深度偵測器

220．．．立體影像產生器

230．．．立體影像調整裝置

231．．．深度階層區分器

232．．．像素位移器

233．．．影像合併器

Claims (20)

1. 一種立體影像系統，包括：一深度偵測器，用以接收一二維影像及其相應之一深度影像，其中該深度影像為一灰階影像，且該深度偵測器並依據該深度影像以產生具有一預定數量之複數個深度階層的一深度階層圖，其中該深度階層圖中之各深度階層之深度範圍互不重疊；一立體影像產生器，用以依據該二維影像及該深度階層圖，以產生相應於該二維影像之一立體影像對；以及一立體影像調整裝置，用以由該深度階層圖中取得在一預度深度範圍之一部分的該等深度階層以產生一深度階層範圍圖，並分別對該立體影像對中具有位於該預定深度範圍內之該等深度階層之複數物件進行一像素位移處理及一插補處理，以產生一輸出立體影像對。
2. 如申請專利範圍第1項所述之立體影像系統，其中該二維影像及該深度影像係由一深度照相機所產生。
3. 如申請專利範圍第1項所述之立體影像系統，其中該立體影像調整裝置係依據該深度階層範圍圖，分別計算該立體影像對中之該等物件之一物體中心線，並據以對該立體影像對進行該像素位移處理，以產生該輸出立體影像對。
4. 如申請專利範圍第1項所述之立體影像系統，其中該插補處理係為一內插法，且該立體影像調整裝置更將該輸出影像對顯示於一3D顯示器。
5. 一種立體影像產生方法，包括：接收一二維影像及其相應之一深度影像，其中該深度影像為一灰階影像，且該深度偵測器並依據該深度影像以產生具有一預定數量之複數個深度階層的一深度階層圖，其中該深度階層圖中之各深度階層之深度範圍互不重疊；依據該二維影像及該深度階層圖，以產生相應於該二維影像之一立體影像對；由該深度階層圖中取得在一預度深度範圍之一部分的該等深度階層以產生一深度階層範圍圖；以及分別對該立體影像對中具有位於該預定深度範圍內之該等深度階層之複數物件進行一像素位移處理及一插補處理，以產生一輸出立體影像對。
6. 如專利申請範圍第5項所述之立體影像產生方法，其中其中該二維影像及該深度影像係由一深度照相機所產生。
7. 如專利申請範圍第5項所述之立體影像產生方法，其中產生一輸出立體影像對之步驟更包括：依據該深度階層範圍圖，計算該立體影像對中之該等物件之一物體中心線，並據以對該立體影像對進行該像素位移處理，以產生該輸出立體影像對。
8. 如專利申請範圍第5項所述之立體影像產生方法，其中該插補處理係為一內插法，且該立體影像產生方法更包括：將該輸出立體影像對顯示於一3D顯示器。
9. 一種立體影像調整裝置，包括： 一深度階層區分器，用以接收一深度階層圖，並據以產生一深度階層範圍圖；一像素位移器，用以接收該深度階層範圍圖及其相應之一立體影像對，並依據該深度階層範圍圖及該立體影像對，計算該立體影像對中之複數個物件之一物體中心線，再依據該物體中心線對該等物件進行對應之一像素位移處理，以產生一調整立體影像對；以及一影像合併器，用以接收該調整立體影像對，並對該調整立體影像對中之該等物件進行一插補處理，以產生一輸出立體影像對。
10. 如申請專利範圍第9項所述之立體影像調整裝置，其中該深度階層圖係為具有一預定深度階層數之一灰階影像，且該深度階層區分器更由該深度階層圖中選取具有一預定深度範圍的該深度階層範圍圖。
11. 如申請專利範圍第10項所述之立體影像調整裝置，其中該立體影像對包括一左眼影像及一右眼影像，該像素位移處理係由該像素位移器依據該物體中心線，對該左眼影像中之該等物體位於該物體中心線左右各四分之一的部分進行右平移，並對該右眼影像中之該等物體位於該物體中心線左右各四分之一的部分進行左平移。
12. 如申請專利範圍第11項所述之立體影像調整裝置，其中該影像合併器係使用一內插法對該左眼影像中之該等物體的左邊四分之一部分進行該插補處理，並對該右眼影像中之該等物體的右邊四分之一部分進行該插 補處理。
13. 如申請專利範圍第9項所述之立體影像調整裝置，其中該立體影像對包括一左眼影像及一右眼影像，該像素位移處理係由該像素位移器依據該物體中心線，對該左眼影像中之該等物體位於該物體中心線左右各四分之一的部分進行右平移，並對該右眼影像中之該等物體位於該物體中心線左右各四分之一的部分進行左平移。
14. 如申請專利範圍第9項所述之立體影像調整裝置，其中該影像合併器係使用一內插法對該左眼影像中之該等物體的左邊四分之一部分進行該插補處理，並對該右眼影像中之該等物體的右邊四分之一部分進行該插補處理。
15. 一種立體影像調整方法，包括：接收一深度階層圖，以據以產生一深度階層範圍圖；依據該深度階層範圍圖其相應之一立體影像對，計算該立體影像對中之複數個物件之一物體中心線，再依據該物體中心線對該等物件進行對應之一像素位移處理，以產生一調整立體影像對；以及對該調整立體影像對中之該等物件進行一插補處理，以產生一輸出立體影像對。
16. 如申請專利範圍第15項所述之立體影像調整方法，其中該深度階層圖係為具有一預定深度階層數之一灰階影像，且該立體影像調整方法更包括：依據該灰階影像，由該深度階層圖中選取具有一預定深度範圍的該 深度階層範圍圖。
17. 如申請專利範圍第16項所述之立體影像調整方法，其中該立體影像對包括一左眼影像及一右眼影像，且該像素位移處理係依據該物體中心線，對該左眼影像中之該等物體位於該物體中心線左右各四分之一的部分進行右平移，並對該右眼影像中之該等物體位於該物體中心線之左右各四分之一的部分進行左平移。
18. 如申請專利範圍第17項所述之立體影像調整方法更包括：使用一內插法對該調整立體影像對中之該等物件進行該插補處理。
19. 如申請專利範圍第15項所述之立體影像調整方法，其中該立體影像對包括一左眼影像及一右眼影像，且該像素位移處理係依據該物體中心線，對該左眼影像中之該等物體位於該物體中心線左右各四分之一的部分進行右平移，並對該右眼影像中之該等物體位於該物體中心線之左右各四分之一的部分進行左平移。
20. 如申請專利範圍第15項所述之立體影像調整方法更包括：使用一內插法對該調整立體影像對中之該等物件進行該插補處理。