TW201519634A - 用以建立立體影像之深度影像的修補方法 - Google Patents

Abstract

一種用以建立立體影像之深度影像的修補方法包含讀取深度影像、偵測深度影像的輪廓破洞、以輪廓破洞的破洞像素為中心，參考複數個鄰近像素的深度值而修正破洞像素的深度值以得到第一修正影像、偵測第一修正影像的深度破洞，並根據深度破洞周圍複數個深度值填補深度破洞以得到第二修正影像、轉換第二修正影像成複數個映射影像、偵測各映射影像中的視差破洞，並將視差破洞的位移值及視差破洞周圍的複數個物件像素的位移值重新分配予視差破洞及此些物件像素，及檢測每一映射影像之視角破洞，並根據視角破洞的周邊像素的位移值填補視角破洞。

Description

用以建立立體影像之深度影像的修補方法

本發明是關於一種立體影像建立技術，特別是一種用以建立立體影像之深度影像的修補方法。

立體顯示裝置包含裸眼式的多視角立體顯示裝置與眼鏡式的雙視角立體顯示裝置，其所需要的影像資訊不盡相同。隨著立體顯示裝置不斷推陳出新，因此有相關研究提出DIBR(Depth-Image-Based Rendering)虛擬視角映射技術。DIBR虛擬視角映射技術利用一張深度圖與一張彩色圖透過深度影像繪圖法(DIBR)合成出多視角的映射影像，以供立體顯示器建立立體影像。

深度攝影機所拍攝的影像解析度遠不及一般的彩色攝影機，因而於深度影像中存在有無有效的像素值，以致使以此深度影像建立立體影像時，會造成原本完整的物件被切割成不同景深，造成映射影像的錯誤，或者造成物件分裂或變形等，而影響使用者觀賞的舒適感。

另一方面，在利用深度影像建立立體影像的過程中，原始的深度影像的視角下，部分的背景資訊是被前景的物件所遮蔽，而建立立體影像所需的不同視角的映射影像會將原視角中被前景的物件所遮蔽的背景將暴露出來，但此些映射影像是必須顯現被前景的物件所遮蔽的背景資訊，以致於造成虛擬視角中背景資訊不足的情況，而此些影像資訊不足的像素點則導致映射影像的破洞。

有鑑於此，本發明提出一種用以建立立體影像之深度影像的修補方法包含讀取深度影像、偵測深度影像的輪廓破洞、以輪廓破洞的破洞像素為中心，參考水平方向及垂直方向的複數個鄰近像素的深度值而修正破洞像素的深度值，以得到第一修正影像、偵測第一修正影像的深度破洞，並根據深度破洞周圍複數個正常像素的深度值來填補深度破洞，以得到第二修正影像、轉換第二修正影像成複數個映射影像、偵測各映射影像中的視差破洞，並且將視差破洞的位移值以及視差破洞周圍的複數個物件像素的位移值重新分配予視差破洞及此些物件像素，及檢測每一映射影像之視角破洞，並根據視角破洞的周邊像素填補視角破洞。其中，所述輪廓破洞具有單一或複數個破洞像素。其中，各映射影像具有複數個位移值，並此些位移值分別對應於第二修正影像的深度值。

本發明之實施例利用不同填補方式進行深度 影像的多階段修補以提升深度影像的飽和度、避免因轉換位移值而產生影像模糊或影像物件分裂等現象，並且提升不同視角的映射影像的正確性，進而完整地建立前景物件及背景物件的立體影像，並提升立體影像的品質。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者瞭解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。

100‧‧‧輪廓破洞

10‧‧‧破洞像素

11-14‧‧‧鄰近像素

21-24‧‧‧鄰近像素

31-34‧‧‧鄰近像素

41-44‧‧‧鄰近像素

15‧‧‧加總值

25‧‧‧加總值

35‧‧‧加總值

45‧‧‧加總值

401‧‧‧局部的第一修正影像

402‧‧‧局部的第一修正影像

501‧‧‧局部的第二修正影像

502‧‧‧局部的第二修正影像

503‧‧‧局部的第二修正影像

61/63‧‧‧局部的位移值

62/64‧‧‧局部的映射影像

700‧‧‧局部的映射影像

701‧‧‧局部的映射影像

71/73‧‧‧周邊像素

72‧‧‧視角破洞

80‧‧‧映射影像

81‧‧‧視角破洞

811‧‧‧邊緣像素

82‧‧‧取值範圍

1-10‧‧‧差值

R‧‧‧半徑

S10‧‧‧讀取深度影像

S11‧‧‧偵測深度影像的輪廓破洞

S12‧‧‧以破洞像素為中心，參考水平方向及垂直方向的複數個鄰近像素的深度值而修正破洞像素的深度值，以得到第一修正影像

S13‧‧‧偵測第一修正影像的深度破洞

S14‧‧‧根據深度破洞周圍複數個正常像素的深度值來填補深度破洞，以得到第二修正影像

S15‧‧‧轉換第二修正影像成複數個映射影像

S16‧‧‧偵測各映射影像中的視差破洞

S17‧‧‧將視差破洞的位移值以及視差破洞周圍的複數個物件像素的位移值重新分配予視差破洞及此些物件像素

S18‧‧‧檢測每一映射影像之視角破洞，並根據視角破洞的周邊像素填補視角破洞

第1及2圖係本發明一實施例之流程圖。

第3圖係本發明一實施例之參考鄰近像素的深度值而修正破洞像素的深度值之示意圖。

第4A及4B圖係本發明一實施例之消除雜訊之示意圖。

第5A圖係本發明一實施例之局部的第二修正影像之深度值之示意圖。

第5B圖係第5A圖之深度值轉換為位移值之示意圖。

第5C圖係第5B圖之位移值量化之示意圖。

第6A圖係本發明一實施例中視差破洞調整前之示意圖。

第6B圖係第6A圖之視差破洞調整後之示意圖。

第7A圖係本發明一實施例中局部的映射影像之視角破洞之示意圖。

第7B圖係填補第7A圖之視角破洞之示意圖。

第8圖係本發明一實施例中局部的映射影像之視角破洞之示意圖。

第1圖及第2圖為本發明一實施例之流程圖。根據本發明之用以建立立體影像之深度影像的修補方法可藉由一處理單元執行韌體或軟體演算法而在一電子裝置上實現。在一些實施例中，此電子裝置可為一電子裝置，如：個人電腦、手機或平板電腦等。其中，由電子裝置利用演算法設計平台，例如：Microsoft Visual C++搭配使用OpenCV函式庫(Open Source Computer Vision Library)，對深度影像做修補的處理。

首先，利用二影像擷取裝置擷取目標物體之深度影像及色彩影像。深度影像具有深度值，色彩影像具有色彩資訊。於此，深度影像及色彩影像的成像範圍大致相同。其中，深度影像包含前景物件及背景物件(以下統稱物件)。前景物件為目標物體的成像，而背景物件為不屬於目標物體的成像的其餘部分。在一些實施例中，影像擷取裝置擷取複數個目標物體，則深度影像中包含複數個前景物件。

請參閱第1圖及第2圖，讀取深度影像(S10)。 其中，深度影像係由複數個深度值所構成。受影像擷取裝置之特性限制(如解析度或感光度等)，深度影像中會有一個或多個像素點的深度值不正確(例如：非零但深度值未對應影像擷取裝置與對應點之間的實際距離或為零)。是以，深度影像中的深度值不正確的部分(其可包括一個或多個像素點)即為深度影像中的破洞(Hole)。為方便說明，以下將深度值不正確的像素點稱之為破洞像素。

接著，偵測讀取到之深度影像的輪廓破洞(S11)。輪廓破洞是深度影像中位在不同物件之間的破洞像素。於此，輪廓破洞是由一個或多個破洞像素所構成。換言之，輪廓破洞之尺寸可能為單一個像素點或複數個像素點。接著，對輪廓破洞進行修正係判斷破洞像素應歸屬的物件，而將輪廓破洞的破洞像素填入所歸屬的物件的深度值。

舉例而言，以輪廓破洞的破洞像素為中心，參考水平方向及垂直方向的複數個鄰近像素的深度值而修正此破洞像素的深度值，以得到第一修正影像(S12)。

接著，偵測第一修正影像中是否仍有未修正之破洞像素(S13)。於此，第一修正影像中之此些破洞像素通常係因為影像擷取裝置擷取目標物體時，光線不足以反射物體(包含目標物體及其後方之背景物體)之間有陰影的部分，因而在成像後，深度影像中複數個前景物件之間，或前景物件與背景物件之間呈現複數個像素點的深度值為零(或接近於零)的區塊(以下稱為深度影像的深度破洞)。 換言之，於得到第一修正影像後，則接著偵測第一修正影像的深度破洞。

對於第一修正影像的各深度破洞，根據此深度破洞周圍複數個正常像素的深度值來填補此深度破洞，以得到第二修正影像(S14)。其中，正常像素為深度破洞外圍具有正確深度值的像素點，即其深度值對應實際距離。接著，以虛擬視角轉換第二修正影像成複數個映射影像(S15)。於此，各映射影像具有複數個位移值，並且此些位移值分別對應於第二修正影像的深度值。

於修正深度影像的輪廓破洞及深度破洞(S12~S14)後，已填補深度影像中大部分的破洞像素。因此，第二修正影像的像素點的深度值較為飽和。在以第二修正影像映射成複數個不同視角的映射影像時，將得以確切地轉換各像素點的深度值為映射的位移值，而避免轉換後產生影像模糊或影像分裂等現象。

因此，接著進行映射影像的修補程序。於此，偵測各映射影像中的視差破洞(S16)。其中，映射影像的視差破洞是因暴露出原始的深度影像的視角下被遮蔽的像素點而產生。換言之，在以虛擬視角將第二修正影像轉換成不同視角的映射影像時，係可能因虛擬視角而發生映射影像的影像資訊不足，而導致映射影像中有視差破洞。

修補映射影像的視差破洞係將視差破洞的位移值以及視差破洞周圍的複數個物件像素的位移值重新分配予視差破洞及此些物件像素(S17)。其中，物件像素為 鄰近視差破洞之背景物件的像素點。於此，藉由將物件像素的位移值穿插入視差破洞，而切割視差破洞為分佈開的視角破洞。換言之，經由視差破洞周圍的物件像素的位移值調整視差破洞為複數個尺寸較小的視角破洞。

接著，檢測每一映射影像之視角破洞，並根據視角破洞的周邊像素填補視角破洞(S18)。其中，周邊像素為視角破洞周圍有位移值的像素點。

於此，每一映射影像所呈現為不相同的視角下的前景物件及背景物件。於填補視角破洞後，佈置此些不同視角的映射影像及色彩影像，而呈現前景物件及背景物件的立體影像。

在一些實施例中，於步驟S11偵測輪廓破洞係經由比較相鄰的深度值作為判斷物件相似性而偵測深度影像的輪廓破洞。其中，可以依據相減之相鄰的深度值的差值決定像素點為輪廓破洞。舉例而言，預設邊緣臨界值，並以邊緣臨界值判斷破洞像素。也就是說，若相減之相鄰的深度值的差值大於邊緣臨界值，則認定此兩像素點為輪廓破洞的破洞像素。

在一些實施例中，在比較相鄰的深度值作為判斷物件相似性而偵測深度影像的輪廓破洞時，可採用影像的灰階值以降低資料的運算量。將彩色影像轉換成灰階影像之轉換公式如：

將深度影像轉為灰階影像。灰階值範圍為0至255。在深度影像中最近的距離定義為灰階值255，而最遠的距離則定義為灰階值0。藉由對相鄰的灰階值相減而偵測深度影像中細微的輪廓破洞的方式可以公式與條件表示為：Dx=DepthMap[j][i]-DepthMap[j][i+1] (1)

Dy=DepthMap[j][i]-DepthMap[j+1][i] (2)

將水平的相鄰的深度值相減，並記錄為Dx，如公式(1)所示。將垂直的相鄰的深度值相減，並記錄為Dy，如公式(2)所示。其中，公式(1)與公式(2)中的DepthMap為深度圖暫存器，j為列值，i為行值。之後，依照以下的判斷條件做標籤化，其判斷條件如下：

(1)若Dx值大於設定的邊緣臨界值，則將邊緣標籤暫存器[j][i+1]設為「255」。其中，可預設邊緣臨界值為「10」。

(2)若Dy值大於設定的邊緣臨界值，則將邊緣標籤暫存器[j+1][i]設為「255」。

(3)若Dx值小於設定的邊緣負臨界值，則將邊緣標籤暫存器[j][i]設為「255」。其中，可預設邊緣負臨界值為「-10」。

(4)若Dy值小於設定的邊緣負臨界值，則將邊緣標籤暫存器[j][i]設為「255」。

(5)若無滿足以上任一條件，則將標籤暫存器[j][i]設為「0」。

因此，經過使用判斷條件而偵測出深度影像中 的輪廓破洞。

在一些實施例中，於步驟S11偵測輪廓破洞後，由於深度影像的輪廓破洞可能過於細小，例如破洞像素為一個像素點，而易忽略修正，因而導致修正效果有限。或者，深度影像中係可能有前景物件深度值不正確，而導致不正確地決定破洞像素歸屬之物件，進而無法有效的賦予鄰近像素的深度值修正破洞像素。

因此，偵測深度影像的輪廓破洞後，可記錄(如標籤化)輪廓破洞，並放大(或稱膨脹)輪廓破洞，以致使細微的輪廓破洞可被放大，而利於修正輪廓破洞。舉例而言，偵測深度影像，並記錄深度影像中小於三個像素點的輪廓破洞，並將所記錄的破洞像素整體向外做5×5像素點的膨脹，而基於經膨脹的輪廓破洞修正破洞像素。

其中，標籤化的破洞像素為深度值不正確的部份。於此，藉由相同物件中的深度值理當相近之特性(或稱相同物件的關聯性)，而將破洞像素重新給予鄰近像素的深度值。

在一些實施例中，計算出深度影像的像素點所對應的灰階值。並且，比對出與破洞像素的灰階值相近之鄰近像素的灰階值，而以鄰近像素的灰階值填入破洞像素。舉例而言，以破洞像素的灰階值各別與上下左右每一方向的鄰近像素的灰階值相減，其中上下左右各方向的鄰近像素的灰階值與破洞像素的灰階值差值最小者即為相近之鄰近像素的灰階值，並且以相近之鄰近像素的灰階值填 入標籤化的破洞像素。

第3圖為本發明一實施態樣之參考鄰近像素的深度值而修正破洞像素的深度值之示意圖。於此，藉由相同物件中的深度值理當相近的特性，並依據破洞像素周圍的鄰近像素進行物件相似度的比對，而決定破洞像素所歸屬的物件。在一些實施例中，以鄰近像素填補破洞像素還包含填補由破洞像素所膨脹之像素。

也就是說，於步驟S12修正破洞像素的深度值，係藉由以輪廓破洞的其中一像素點(即破洞像素)為中心，並以破洞像素水平方向及垂直方向延伸為鄰近像素。判斷此些鄰近像素的深度值屬於相同物件或不同物件，而選擇此些鄰近像素中最靠近破洞像素的鄰近像素的深度值作為破洞像素的深度值，進而修正輪廓破洞。

請參閱第3圖，破洞像素10是為輪廓破洞100的其中一個像素點。修正破洞像素10的深度值時，以破洞像素10為中心，經由水平方向及垂直方向展開為鄰近像素11-14/21-24/31-34/41-44。其中，賦予水平方向及垂直方向的鄰近像素11-14/21-24/31-34/41-44複數個權重。接著，依據權重各別地計算水平方向及垂直方向的鄰近像素11-14/21-24/31-34/41-44的深度值。最後，選擇與破洞像素10的深度值最相近的方向，並以此方向的鄰近像素的深度值填補破洞像素10。

其中，越靠近破洞像素10的鄰近像素11/21/31/41應越可能是此破洞像素10應歸屬的物件，所 以給予最靠近破洞像素10的鄰近像素11/21/31/41最高的權重，並依序遞減。

舉例而言，鄰近像素11/21/31/41的權重值為「1」，鄰近像素12/22/32/42的權重值為「0.75」、鄰近像素13/23/33/43的權重值為「0.5」及鄰近像素14/24/34/44的權重值為「0.25」，而破洞像素10的權重值為「2.5」。依據權重值重新計算破洞像素10的深度值為「138*2.5=345」。計算上方鄰近像素11/12/13/14的深度值，並將所得的深度值累加，而得到上方鄰近像素11/12/13/14的加總值15為「138*1+150*0.75+151*0.5+151*0.25=363.75」；再依相同方式計算下方鄰近像素21/22/23/24的加總值25為「348.75」；左方鄰近像素31/32/33/34的加總值35為「361.25」；右方鄰近像素41/42/43/44的加總值45為「340.25」。接著，比對上下左右四個方向的鄰近像素的加總值15/25/35/45，而得知破洞像素10的深度值與右方與下方的鄰近像素相近。因此，可以右方或下方的鄰近像素21/41的深度值填補破洞像素10。其中，又以下方的鄰近像素21的深度值最為接近破洞像素10的深度值，而選擇以下方的鄰近像素21的深度值為破洞像素10的深度值。

換言之，在決定破洞像素所歸屬的物件時，可預設臨界值，並且於各別計算破洞像素周圍的鄰近像素的深度值後，若其中一方向的鄰近像素的深度值(或深度值的加總值)與破洞像素的差值小於預設之臨界值，則認定 此方向的物件即可以是破洞像素所歸屬的物件，而選擇以此方向的鄰近像素的深度值填補破洞像素。其中，可預設臨界值為「20」。

在一些實施例中，破洞像素周圍的鄰近像素於三個方向上皆屬於第一物件，然而相鄰此破洞像素的第四方向的鄰近像素是屬於第二物件，以致於第四方向的鄰近像素的深度值的加總值會與其他三個方向的加總值之間有較大的差異。因此，選擇以相反於第二物件的方向之鄰近像素的深度值填補破洞像素。

換言之，可預設臨界值，並且於各別計算破洞像素周圍的鄰近像素的深度值後，若其中一方向的鄰近像素的深度值(或深度值的加總值)與破洞像素的差值大於預設之臨界值，則認定此方向的物件係與破洞像素較無關聯。因此，選擇以相反於此方向的鄰近像素的深度值填補破洞像素。其中，可預設臨界值為「20」。

在一些實施例中，於步驟S12修正破洞像素的深度值後，藉由中值濾波器消除修正輪廓破洞後的深度影像(即第一修正影像)中的雜訊。於此，提高修正輪廓破洞的正確性。

請參閱第4A圖，於深度影像修正輪廓破洞後，採用3×3遮罩的中值濾波器消除雜訊。中值濾波器偵測局部的第一修正影像401，其遮罩內的所有像素值為「1、4、7、3、50、4、5、6及4」。在進行濾波的過程中，中值濾波器偵測到遮罩內的所有像素值中出現與大部分的像素 值差異甚多的像素點，例如：像素值「50」的像素點，則將此像素點視為雜訊。接著，依據遮罩內除了雜訊之外的其他像素值取代雜訊的像素值。

請參閱第4B圖，局部的第一修正影像402中，中值濾波器係經由排除雜訊(如第4A圖之像素值「50」的像素點)，且以其他像素值排序而挑選出中間值「4」，而取代雜訊的像素值，進而濾除雜訊。中值濾波器為非線性濾波器，由於中值濾波器為所屬技術領域中通常知識者所熟知，在此不再贅述。

在一些實施例中，於步驟S12的破洞像素經由填入深度值相近的鄰近像素的深度值而歸屬於物件，並形成第一修正影像。然而，於步驟S13，第一修正影像中，係可能有深度值為零(或接近於零)的深度破洞。於此，以深度破洞之中心點向外擴張擷取範圍。接著，選擇以擷取範圍中正常像素的深度值相差最大之兩深度值計算平均值，並且以平均值填補擷取範圍。因此，填補第一修正影像的深度破洞，以得到第二修正影像。

換言之，於步驟S13至S14，偵測到第一修正影像的深度破洞時，可以深度破洞的單一像素點或者以深度破洞的中心點向外擴張擷取範圍(例如5×5的視窗)。接著，以擷取範圍中的正常像素的深度值的最大值與最小值計算平均值。並且，使用八相鄰的方法，即以深度破洞的中心點或者單一像素點為九宮格的中心，並將平均值填入九宮格的外圍，而填補第一修正影像的深度破洞。因此， 得到第二修正影像。

在一些實施例中，於步驟S15中，係可經由線性轉換的方式，以虛擬視角轉換第二修正影像成複數個映射影像。於此，可將影像轉換為灰階以降低運算量。線性轉換主要目的是將深度值轉換成實際的深度距離，再使用實際的深度距離與相似三角形的概念計算出虛擬視角映射的位移值。由於，使用於映射技術之相似三角形的概念為所屬技術領域中通常知識者所熟知，在此不再贅述。

線性轉換公式如下所示：

在公式(4)中，D為像素點的深度灰階值；P_Z為視覺目標的深度位置；Z_F為最遠虛擬視角成像位置；及Z_N為最近虛擬視角成像位置。在公式(5)中，X_R為第二修正影像的視角中視覺的成像位置；X _i 為i視角的映射影像中視覺的成像位置；b為兩眼間的瞳孔的距離，根據統計大約為6.5公分；d為使用者與立體顯示器的距離；及ρ為將顯示器寬度轉換成像素值的比例值。經過以上兩個公式的線性轉換，即可將深度圖中的灰階值轉換為像素的位移值。

在一些實施例中，以第二修正影像的視角當作中間視角。其中，中間視角的i值可以「0」表示。在一些 實施例中，需要產生多張不同視角的映射影像時，則左側虛擬視角i可為負值，右側虛擬視角i可為正值。

舉例而言，請參閱第5A圖，在局部的第二修正影像501中，深度值所對應的灰階值的範圍為「202」至「203」。使用線性轉換的方法經過公式(4)及公式(5)的運算後，轉換出局部的第二修正影像502中的每一像素點的位移值(如第5B圖所示)。其中，像素點的位移值可稱作視差(Disparity or Parallax)。

請參閱第5C圖，在一些實施例中，由於映射時針對每一像素點的位移值為整數值，所以於轉換像素點的位移值後，量化位移值(即局部的第二修正影像503)。

於此，依據位移值將第二修正影像的像素點映射成虛擬視角的映射點，而映射出不同視角的映射影像。

在一些實施例中，於步驟S15將第二修正影像轉換成映射影像後，修改線性轉換後的位移值來調整各映射影像中的視差破洞。其中，修改位移值是依據位移值較高者調整位移值較低者。由於，視差破洞並不具有有效的位移值(如位移值等於零)，所以背景物件的物件像素的位移值會高於視差破洞的位移值。因此，將背景物件像素的位移值分別穿插於視差破洞的像素點。

也就是說，於步驟S17中，將視差破洞周圍的物件像素的位移值重新分配予視差破洞及物件像素，而得以將視差破洞經由穿插物件像素調整成較小的區塊。因此，調整視差破洞為視角破洞。

第6A圖及第6B圖為修改位移值以調整視差破洞為視角破洞之示意圖。

請參閱第6A圖，將第二修正影像轉換為映射的位移值後，偵測局部的位移值61(如以掃描位移值的方式)。接著，將鄰近的位移值做相減，差值1/2/3/4的值為「0」，差值5的值為「5」。其中，差值5將在局部的映射影像62中產生五個像素點的視差破洞。因此，修改鄰近的位移值而調整差值。

請參閱第6B圖，修改鄰近的位移值而形成局部的位移值63係依據位移值較高者調整位移值較低者。因此，依據相鄰的位移值調整視差破洞為視角破洞。也就是說，在偵測出會產生視差破洞的差值5(可見第6A圖)後，將差值平均分配予相鄰之位移值較低的像素點，例如：將連續五個相鄰之位移值較低的像素點依序增加一個位移值(如第6B圖)，而遞增位移值較低者的位移值，進而調整鄰近的位移值之間僅差距一位移值，以致使差值6/7/8/9/10相同。因此，局部的映射影像64之視差破洞得以被切割為較小的視角破洞。

在一些實施例中，於步驟S17中，將視差破洞的位移值以及視差破洞周圍的物件像素的位移值重新分配予視差破洞及物件像素時，使用暫存器記錄鄰近的位移值相減後的差值，並依據差值調整視差破洞的像素點的位移值。

在一些實施例中，於步驟S17將視差破洞的位 移值以及視差破洞周圍的物件像素的位移值重新分配予視差破洞及物件像素後，可偵測映射影像中的像素點之重疊區域，並比較重疊區域的像素點的位移值，以確認所調整之位移值的正確性。

由於，視差破洞的像素點不具有效的位移值。因此，若所插入的物件像素的像素點與視差破洞的像素點重疊，且視差破洞的像素點位在物件像素的像素點前方(於視覺上先看到的方向)，因而物件像素的像素點的位移值被遮蔽而無法顯現，導致於視覺上出現前後景物件顛倒的情形。

於此，當重疊區域中在前方的位移值小於後方的位移值，表示映射影像會先呈現位移值較小者，也就是映射影像所呈現的是較遠的物件，因而導致前後景物件顛倒情形。因此，應該要以位移值較大者取代位移值較小者。當重疊區域中的像素點是以位移值較大者覆蓋位移值較小者時，像素點的位移值即可依前景至後景的順序，而顯現正確的映射影像。

同理可知，如果重疊區域中在前方的位移值大於後方的位移值，表示映射影像會先呈現位移值較大者，也就是映射影像所呈現的是較近的物件，則顯現正確的映射影像。

在一些實施例中，如上述偵測映射影像中的像素點之重疊區域時，可使用深度暫存法(Z-buffer)的原理偵測錯誤的位移值，並置換位移值為正確的順序。舉例而 言，在以虛擬視角映射映射影像時，預備存放映射影像的第一儲存空間，及作為暫存的第二儲存空間。在映射前，把第二儲存空間中所有的值設定成「0」。接著，以第二儲存空間記錄映射影像中所有像素點的位移值，在映射過程中依序將所要映射的像素點比較第二儲存空間中對應此映射的像素點的位移值。如果偵測到第二儲存空間中的像素點的位移值小於目前要映射的位移值，表示目前要映射的是比較近的物件。因此，要以目前的位移值覆蓋此像素點。由於，深度暫存法(Z-buffer)的原理為所屬技術領域中具通常知識者可熟知，在此不再贅述。

在一些實施例中，於步驟S18檢測每一映射影像之視角破洞時，若視角破洞之寬度小於預設之寬度值(例如兩個像素點)，則以視角破洞周圍的周邊像素的位移值填補視角破洞。

請參閱第7A圖，在局部的映射影像700中，視角破洞72占每列像素點中的兩個像素點。因此，在填補視角破洞72時，依據左方的周邊像素71與右方的周邊像素73搜尋位移值。

請參閱第7B圖，視角破洞72左方的像素點填入左方的周邊像素71的位移值，及視角破洞72右方的像素點填入右方的周邊像素73的位移值，而填補視角破洞72，形成局部的映射影像701。

在一些實施例中，於步驟S18檢測每一映射影像之視角破洞時，若視角破洞之寬度大於預設之寬度值(例 如大於兩個像素點)時，可以線性方式填補視角破洞。

請參閱第8圖，在局部的映射影像80中，視角破洞81所占像素點大於兩個像素點。填補視角破洞81可藉由以視角破洞81之其中一邊緣像素811為圓心，並以半徑R所圈選的範圍作為取值範圍82來取得周邊像素的位移值。接著，計算取值範圍82內之位移值的平均位移值而填補邊緣像素811。之後，再依相同的方式取得視角破洞81其他的像素點的位移值。

其中，以線性方式填補視角破洞81時，係先填補視角破洞81的邊緣部分的像素點，例如：邊緣像素811，之後再依序對內部的像素點做填補。

在一些實施例中，可分別賦予取值範圍內的位移值各別的權重來計算取值範圍內之位移值的平均位移值。例如：對於待填補的像素點為圓心，給予距離圓心愈遠的位移值的權重愈低，相反的，距離愈靠近圓心的位移值的權重越高。

其中，線性方式可例如Telea演算法。由於，Telea影像填補技術為所屬技術領域中具通常知識者可熟知，在此不再贅述。

在一些實施例中，於步驟S18後，已填補映射影像的視角破洞。其中，每一映射影像所呈現為不相同的視角下的前景物件及背景物件。此後，因應不同的立體顯示器的規格，將不同視角的映射影像的像素點重新排列以佈置不同視角的映射影像，而得以呈現前景物件及背景物 件的立體影像。

其中，不同視角的映射影像的佈置的方式例如：使用時間與空間分工的方式進行雙視角與多視角的合成。舉例而言，在使用眼鏡式立體顯示裝置時，以雙視角格式搭配時間的間隔，或以雙視角格式搭配空間的切割，而可達到立體視覺效果。

或者，可應用裸眼式立體顯示器(如柱狀透鏡式立體顯示裝置)佈置不同視角的映射影像並顯示立體影像。例如：以九張不同視角的映射影像顯示三維立體影像的物件。其中，將每個像素點分成紅綠藍三個子像素。原本每個像素點都是同一視角的子像素。經過重新合成後的多視角影像，在同一像素點的子像素則包含三個不同視角的子像素點，而產生多視角立體影像。

本發明之實施例利用不同填補方式進行深度影像的多階段修補以提升深度影像的飽和度、避免因轉換位移值而產生影像模糊或影像物件分裂等現象，並且提升不同視角的映射影像的正確性，進而完整地建立前景物件及背景物件的立體影像，並提升立體影像的品質。

雖然本發明的技術內容已經以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神所作些許之更動與潤飾，皆應涵蓋於本發明的範疇內，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

S10‧‧‧讀取深度影像

S11‧‧‧偵測深度影像的輪廓破洞

S12‧‧‧以破洞像素為中心，參考水平方向及垂直方向的複數個鄰近像素的深度值而修正破洞像素的深度值，以得到第一修正影像

S13‧‧‧偵測第一修正影像的深度破洞

S14‧‧‧根據深度破洞周圍複數個正常像素的深度值來填補深度破洞，以得到第二修正影像

S15‧‧‧轉換第二修正影像成複數個映射影像

S16‧‧‧偵測各映射影像中的視差破洞

S17‧‧‧將視差破洞的位移值以及視差破洞周圍的複數個物件像素的位移值重新分配予視差破洞及此些物件像素

S18‧‧‧檢測每一映射影像之視角破洞，並根據視角破洞的周邊像素填補視角破洞

Claims (10)

1. 一種用以建立立體影像之深度影像的修補方法，包含：讀取一深度影像；偵測該深度影像的一輪廓破洞，其中該輪廓破洞具有一破洞像素；以該破洞像素為中心，參考一水平方向及一垂直方向的複數個鄰近像素的深度值而修正該破洞像素的深度值，以得到一第一修正影像；偵測該第一修正影像的一深度破洞；根據該深度破洞周圍複數個正常像素的深度值來填補該深度破洞，以得到一第二修正影像；轉換該第二修正影像成複數個映射影像，其中各該映射影像具有複數個位移值，該些位移值分別對應於該第二修正影像的深度值；偵測各該映射影像中的一視差破洞，並且將該視差破洞的位移值以及該視差破洞周圍的複數個物件像素的該些位移值重新分配予該視差破洞及該些物件像素；及檢測每一該映射影像之一視角破洞，並根據該視角破洞的至少一周邊像素填補該視角破洞。
2. 如請求項1所述之用以建立立體影像之深度影像的修補方法，其中偵測該深度影像的該輪廓破洞之步驟後，包含：記錄該輪廓破洞；及 放大該輪廓破洞。
3. 如請求項1所述之用以建立立體影像之深度影像的修補方法，其中以該破洞像素為中心，參考該水平方向及該垂直方向的該些鄰近像素的深度值而修正該破洞像素的深度值之步驟包含：賦予該水平方向及該垂直方向的像素點複數個權重；及依據該些權重分別計算該水平方向及該垂直方向的像素點的深度值，若其中之一該水平方向及該垂直方向的像素點的深度值小於一臨界值，以小於該臨界值之該些相鄰像素的深度值填補該破洞像素。
4. 如請求項1所述之用以建立立體影像之深度影像的修補方法，其中以該破洞像素為中心，參考該水平方向及該垂直方向的該些鄰近像素的深度值而修正該破洞像素的深度值之步驟包含：賦予該水平方向及該垂直方向的像素點複數個權重；依據該些權重分別計算該水平方向及該垂直方向的像素點的深度值；決定一方向，其中該方向的像素點的深度值大於一臨界值；及選擇以相反於該方向的該些鄰近像素的深度值填補該破洞像素。
5. 如請求項1所述之用以建立立體影像之深度影像的修補 方法，其中根據該深度破洞周圍該些正常像素的深度值來填補該深度破洞之步驟包含：以該深度破洞之中心點向外擴張一擷取範圍；選擇該擷取範圍中該些正常像素的深度值相差最大之兩像素點而計算一平均值；及以該平均值填補該擷取範圍。
6. 如請求項1所述之用以建立立體影像之深度影像的修補方法，其中將該視差破洞的該些位移值以及該視差破洞周圍的該些物件像素的該些位移值重新分配予該視差破洞及該些物件像素之步驟包含：該些位移值之兩者間依據位移值較高者修改位移值較低者；及將該些物件像素的該些位移值分別穿插於該視差破洞的像素點。
7. 如請求項1所述之用以建立立體影像之深度影像的修補方法，其中將該視差破洞的該些位移值以及該視差破洞周圍的該些物件像素的該些位移值重新分配予該視差破洞及該些物件像素之步驟後，更包含：偵測該些映射影像中的像素點之一重疊區域；及比較該重疊區域的像素點的位移值，以位移值較大者置換位移值較小者。
8. 如請求項1所述之用以建立立體影像之深度影像的修補方法，其中檢測每一該映射影像之視角破洞，並根據該視角破洞的至少一周邊像素填補該視角破洞之步 驟，包含：檢測各該視角破洞之寬度，若各視角破洞之寬度小於一寬度值則以鄰近該視角破洞之周邊像素的位移值填入該視角破洞。
9. 如請求項1所述之用以建立立體影像之深度影像的修補方法，其中檢測每一該映射影像之視角破洞，並根據該視角破洞的至少一周邊像素填補該視角破洞之步驟，包含：檢測各該視角破洞之寬度，若各該視角破洞之寬度大於一寬度值則以一線性方式填補該視角破洞。
10. 如請求項9所述之用以建立立體影像之深度影像的修補方法，其中以線性方式填補該視角破洞之步驟包含：以該視角破洞之一邊緣像素為一圓心；經由該圓心延伸一半徑以決定一取值範圍；及計算該取值範圍內之位移值的一平均位移值，並以該平均位移值取代該邊緣像素的位移值。