TWI473038B

TWI473038B - 影像處理裝置及影像處理方法

Info

Publication number: TWI473038B
Application number: TW101131521A
Authority: TW
Inventors: Te Mei Wang; Hsiao Wei Chen
Original assignee: Ind Tech Res Inst
Priority date: 2012-03-21
Filing date: 2012-08-30
Publication date: 2015-02-11
Also published as: TW201340034A

Description

影像處理裝置及影像處理方法

本揭露是有關於一種影像處理裝置及影像處理方法。

隨著顯示科技的進步，立體影像的呈現逐漸地由配戴特殊眼鏡的立體顯示器拓展至不需配戴特殊眼鏡的裸眼立體顯示器。配戴特殊眼鏡的立體顯示器只需要對應左、右眼的兩張二維影像，就可讓觀賞者看到立體影像。但是不需配戴特殊眼鏡的裸眼立體顯示器，必須考慮觀賞者的頭部移動、位置變換及多位觀賞者同時從不同角度觀看，因此需要使用從多個角度(例如9個角度)拍攝的多張二維影像來合成立體影像。

為了改進因位置移動而造成的影像跳動，高階的裸眼立體顯示器需要更大量的多視角影像(例如36或72個角度)來合成立體影像。因為不容易真正使用這麼多台攝影機取像，一般多使用一台或二台攝影機取像(原始影像)，搭配對應的立體視差圖(儲存二維影像中各個物件與參考平面的遠近距離)，再計算投影到各視角的影像及其對應的立體視差圖，才能合成出超多視角的立體影像。

計算各視角影像及立體視差圖的投影時，在原始影像中被前面物件遮蔽的部份，會在不同的視角顯露出來，但是因為沒有足夠的資訊可填入，就形成破洞。必須先在立體視差圖的破洞中填入合理的值，才能依據這些立體視差值，去尋找或計算合適的影像資料填入影像的破洞中。

先前技術均是在與立體視差圖破洞相鄰的區域尋找最小的立體視差值填入破洞或是從整張立體視差圖中取最小的立體視差值填入破洞。這兩種方法會遇到下面的問題：當破洞被前景包圍時，無法從相鄰的區域找到合理的值填補破洞。當有多層物件時，從整張立體視差圖中取最小的立體視差值填補破洞是不合理的。

本揭露係有關於一種影像處理裝置及影像處理方法。

根據本揭露，提出一種影像處理裝置。影像處理裝置包括判斷單元、搜索單元、權重值指派單元及填補單元。判斷單元於立體視差圖或深度圖中判斷破洞是否被前景物件所包圍。搜索單元於破洞被前景物件所包圍時，沿數個方向搜索數個相關背景。權重值指派單元分別指派權重值給相關背景。填補單元於權重值之中選擇一極值，並根據極值所對應之相關背景填補破洞。

根據本揭露，提出一種影像處理方法。影像處理方法包括：於立體視差圖或深度圖中判斷破洞是否被前景物件所包圍；於破洞被前景物件所包圍時，沿數個方向搜索數個相關背景；分別指派權重值給相關背景；以及於權重值之中選擇極值，並根據極值所對應之相關背景填補破洞。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：

第一實施例

請同時參照第1圖、第2圖及第3圖，第1圖繪示係為依照第一實施例之一種影像處理裝置之方塊圖，第2圖繪示係為一種影像處理方法之流程圖，第3圖繪示係為一種沿數個方向搜索相關背景之示意圖。影像處理裝置1包括判斷單元11、搜索單元12、權重值指派單元13及填補單元14。判斷單元11、搜索單元12、權重值指派單元13及填補單元14例如係由特殊應用積體電路(Application-Specific Integrated Circuit,ASIC)、單晶片或處理器所實現。

影像處理方法能應用於影像處理裝置1，且包括如下步驟：如步驟21所示，判斷單元11於立體視差圖3中判斷破洞31是否被前景物件所包圍。此外，亦可先將立體視差圖3轉換成深度圖，判斷單元11再於深度圖中判斷破洞31是否被前景物件所包圍。如步驟22所示，搜索單元12於破洞31被前景物件所包圍時，沿數個方向搜索數個相關背景(Relative Background)。如步驟23所示，權重值指派單元13分別指派權重值W給相關背景。

需說明的是，權重值W可以有不同的計算方式。權重值指派單元13例如係根據立體視差值D及距離d產生權重值W。立體視差值D表示相關背景的立體視差值。一般來說，立體視差值的範圍是0~255，0代表未知(即破洞)，1代表最後面的物件，而255代表最前面的物件。所以背景的立體視差值較前景小。然實際應用亦可將立體視差圖轉換成深度圖，或改以不同的立體視差值或深度值來定義破洞、最前面的物件及最後面的物件。距離d表示破洞31至相關背景的距離，距離d越小表示越接近破洞，距離d越大表示離破洞越遠)。舉例來說，權重值W=f (立體視差值D，距離d)。其中，立體視差值D和距離d為函數的參數。於一實施例中，，而於另一實施例中，權重值w=深度值D×距離d。上述權重值W的計算方式僅為舉例說明。權重值W的計算方式還可以有不同的運算組合，並不侷限立體視差值D與距離d的乘積或乘積的倒數。

除此之外，權重值指派單元13亦能根據立體視差值D、距離d及方向A產生權重值W。舉例來說，權重值W=f (立體視差值D，距離d，方向A)。其中，立體視差值D、距離d和方向A均為函數的參數。

如步驟24所示，填補單元14於權重值之中選擇一極值，並根據極值所對應之相關背景填補破洞31。進一步來說，填補單元14係根據極值所對應之相關背景的立體視差填補破洞31。需說明的是，極值例如為最大權重值或最小權重值，視所使用的公式而定。所取的極值代表對應之相關背景與破洞接近且立體視差值較小，所以其立體視差值是最合理可填補破洞的值。當破洞32不被前景物件所包圍時，則如步驟25所示，填補單元14就取相鄰背景(Neighboring Background)中最小的立體視差值填補破洞32。

請同時參照第4圖、第5圖、第6圖及第7圖，第4圖繪示係為依照第一實施例之判斷單元之方塊圖，第5圖繪示係為第3圖之局部示意圖，第6圖繪示係為依照第5圖中破洞31之左側立體視差值統計之示意圖，第7圖繪示係為依照第5圖中破洞31之右側立體視差值統計之示意圖。前述判斷單元於第4圖係以判斷單元11a為例說明。判斷單元11a包括記錄單元111、統計單元112、峰值尋找單元113及填補方式判斷單元114。記錄單元111將破洞31左側之立體視差記錄至左側群組(Group)，並將破洞31右側之立體視差記錄至右側群組。統計單元112根據左側群組產生如第6圖繪示之左側立體視差統計(statistic)6，並根據右側群組產生如第7圖繪示之右側立體視差統計7。第6圖繪示之左側立體視差統計6可視為破洞31左側的立體視差分布，而第7圖繪示之右側立體視差統計7可視為破洞31右側的立體視差分布。峰值尋找單元113根據左側立體視差統計6找出背景峰值P_left ，並根據右側立體視差統計7找出背景峰值P_right 。背景峰值P_left 為左側立體視差統計6中立體視差值最小的峰值，而背景峰值P_right 為右側立體視差統計7中立體視差值最小的峰值。填補方式判斷單元114根據背景峰值P_left 及背景峰值P_right 判斷破洞31是否被前景物件所包圍。

當立體視差圖為右側立體視差圖時，若背景峰值P_right 大於或等於背景峰值P_left ，填補方式判斷單元114判斷破洞31被前景物件所包圍。相反地，若背景峰值P_right 小於背景峰值P_left ，填補方式判斷單元114判斷破洞31未被前景物件所包圍。

相似地，當立體視差圖為左側立體視差圖時，若背景峰值P_left 大於或等於背景峰值P_right ，填補方式判斷單元114判斷破洞被前景物件所包圍。相反地，若背景峰值P_left 小於背景峰值P_right ，填補方式判斷單元114判斷破洞未被前景物件所包圍。

請同時參照第4圖、第8圖、第9圖及第10圖，第8圖繪示係為第3圖之局部示意圖，第9圖繪示係為第8圖之左側立體視差統計之示意圖，第10圖繪示係為第8圖之右側立體視差統計之示意圖。前述峰值尋找單元113更能根據臨限值來忽略過小的峰值以抑制雜訊的影響。峰值尋找單元113判斷左側立體視差統計9之峰值是否小於第一臨限值，並判斷右側立體視差統計10之峰值是否小於第二臨限值，峰值尋找單元113由大於第一臨限值之峰值中，選擇左側立體視差統計9之立體視差值最小的峰值做為前述背景峰值，並由大於第二臨限值之峰值中，選擇右側立體視差統計10之立體視差值最小的峰值做為前述背景峰值。第一臨限值及第二臨限值可視實際應用予以調整，於一實施例中，，而

第二實施例

請參照第11圖，第11圖繪示係為依照第二實施例之判斷單元之方塊圖。前述判斷單元於第11圖係以判斷單元11b為例說明。第二實施例係經由均值濾波器處理來忽略過小的峰值以抑制雜訊的影響。第二實施例與第一實施例主要不同之處在於判斷單元11b更包括均值濾波器115。均值濾波器115透過均值化過濾左側立體視差統計以忽略過小的峰值，產生左側過濾後的立體視差統計，並透過均值化過濾右側立體視差統計以忽略過小的峰值，產生右側過濾後的立體視差統計。峰值尋找單元113尋找左側過濾後的立體視差統計之立體視差值最小的峰值做為背景峰值，並尋找右側過濾後的立體視差統計之立體視差值最小的峰值做為背景峰值。

綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

1‧‧‧影像處理裝置

3‧‧‧立體視差圖

6、9‧‧‧左側立體視差統計

7、10‧‧‧右側立體視差統計

11、11a、11b‧‧‧判斷單元

12‧‧‧搜索單元

13‧‧‧權重值指派單元

14‧‧‧填補單元

21~25‧‧‧步驟

31‧‧‧破洞

111‧‧‧記錄單元

112‧‧‧統計單元

113‧‧‧峰值尋找單元

114‧‧‧填補方式判斷單元

115‧‧‧均值濾波器

P_left ‧‧‧背景峰值

P_right ‧‧‧背景峰值

P_Lmax ‧‧‧左側最大峰值

P_Rmax ‧‧‧右側最大峰值

第1圖繪示係為依照第一實施例之一種影像處理裝置之方塊圖。

第2圖繪示係為一種影像處理方法之流程圖。

第3圖繪示係為一種沿數個方向搜索相關背景之示意圖。

第4圖繪示係為依照第一實施例之判斷單元之方塊圖。

第5圖繪示係為第3圖之局部示意圖。

第6圖繪示係為依照第5圖中破洞31之左側立體視差值統計之示意圖。

第7圖繪示係為依照第5圖中破洞31之右側立體視差值統計之示意圖。

第8圖繪示係為第3圖之局部示意圖。

第9圖繪示係為依照第8圖之左側立體視差統計之示意圖。

第10圖繪示係為依照第8圖之右側立體視差統計之示意圖。

第11圖繪示係為依照第二實施例之判斷單元之方塊圖。

21~25‧‧‧步驟

Claims

一種影像處理方法，包括：於一立體視差圖或一深度圖中判斷一破洞是否被前景物件所包圍；該破洞被前景物件所包圍時，沿複數個方向搜索複數個相關背景；分別指派複數個權重值給該些相關背景；以及於該些權重值之中選擇一極值，並根據該極值所對應之相關背景填補該破洞。
如申請專利範圍第1項所述之影像處理方法，其中判斷該破洞是否被前景所包圍之該步驟包括：將該破洞左側之立體視差記錄至一左側群組，並將該破洞右側之立體視差記錄至一右側群組；根據該左側群組產生一左側立體視差統計，並根據該右側群組產生一右側立體視差統計；根據該左側立體視差統計找出一第一背景峰值，並根據該右側立體視差統計找出一第二背景峰值；以及根據該第一背景峰值及該第二背景峰值判斷該破洞是否被前景物件所包圍。
如申請專利範圍第2項所述之影像處理方法，其中該判斷步驟更包括：均值化過濾該左側立體視差統計以忽略過小的峰值，而產生一左側過濾後立體視差統計，均值化過濾該右側立體視差統計以忽略過小的峰值，而產生一右側過濾後立體視差統計；以及尋找該左側過濾後立體視差統計中之該第一背景峰值，並尋找該右側過濾後立體視差統計中之該第二背景峰值。
如申請專利範圍第2項所述之影像處理方法，其中該峰值尋找步驟更包括：判斷該左側立體視差統計之峰值是否小於一第一臨限值，並判斷該右側立體視差統計之峰值是否小於一第二臨限值；以及由大於該第一臨限值之峰值中選擇該左側立體視差統計中之該第一背景峰值，並由大於該第二臨限值之峰值中選擇該右側立體視差統計中之該第二背景峰值。
如申請專利範圍第2項所述之影像處理方法，其中該立體視差圖為右側立體視差圖時，當該第二背景峰值大於或等於該第一背景峰值，判斷該破洞被前景物件所包圍，當該第二背景峰值小於該第一背景峰值，判斷該破洞未被前景物件所包圍。
如申請專利範圍第2項所述之影像處理方法，其中該立體視差圖為左側立體視差圖時，當該第一背景峰值大於或等於該第二背景峰值，判斷該破洞被前景物件所包圍，當該第一背景峰值小於該第二背景峰值，判斷該破洞未被前景物件所包圍。
如申請專利範圍第1項所述之影像處理方法，其中該指派步驟係根據該些相關背景之立體視差及該些相關背景至該破洞的距離計算該些權重值。
如申請專利範圍第1項所述之影像處理方法，其中該指派步驟係根據該些相關背景之立體視差、該些相關背景至該破洞的距離及該些相關背景所對應之複數個方向計算該些權重值。
如申請專利範圍第1項所述之影像處理方法，其中該填補步驟係根據該極值所對應之相關背景的立體視差填補該破洞。
一種影像處理裝置，包括：一判斷單元，用以於一立體視差圖或一深度圖中判斷一破洞是否被前景物件所包圍；一搜索單元，用以於該破洞被前景物件所包圍時，沿複數個方向搜索複數個相關背景；一權重值指派單元，用以分別指派複數個權重值給該些相關背景；一填補單元，用以於該些權重值之中選擇一極值，並根據該極值所對應之相關背景填補該破洞。
如申請專利範圍第10項所述之影像處理裝置，其中該判斷單元包括：一記錄單元，用以將該破洞左側之立體視差記錄至一左側群組，並將該破洞右側之立體視差記錄至一右側群組；一統計單元，用以根據該左側群組產生一左側立體視差統計，並根據該右側群組產生一右側立體視差統計；一峰值尋找單元，用以根據該左側立體視差統計找出一第一背景峰值，並根據該右側立體視差統計找出一第二背景峰值；以及一填補方式判斷單元，用以根據該第一背景峰值及該第二背景峰值判斷該破洞是否被前景物件所包圍。
如申請專利範圍第11項所述之影像處理裝置，該判斷單元更包括：一均值濾波器，用以均值化過濾該左側立體視差統計忽略過小的峰值，而以產生一左側過濾後立體視差統計，並均值化過濾該右側立體視差統計以忽略過小的峰值，而產生一右側過濾後立體視差統計；其中，該峰值尋找單元尋找該左側過濾後立體視差統計中之該第一背景峰值，並尋找該右側過濾後立體視差統計中之該第二背景峰值。
如申請專利範圍第11項所述之影像處理裝置，其中該峰值尋找單元判斷該左側立體視差統計之峰值是否小於一第一臨限值，並判斷該右側立體視差統計之峰值是否小於一第二臨限值，該峰值尋找單元由大於該第一臨限值之峰值中選擇該左側立體視差統計中之該第一背景峰值，並由大於該第二臨限值之峰值中選擇該右側立體視差統計中之該第二背景峰值。
如申請專利範圍第12項所述之影像處理裝置，其中該立體視差圖為右側立體視差圖時，當該第二背景峰值大於或等於該第一背景峰值，判斷該破洞被前景物件所包圍，當該第二背景峰值小於該第一背景峰值，判斷該破洞未被前景物件所包圍。
如申請專利範圍第12項所述之影像處理裝置，其中該立體視差圖為左側立體視差圖時，當該第一背景峰值大於或等於該第二背景峰值，判斷該破洞被前景物件所包圍，當該第一背景峰值小於該第二背景峰值，判斷該破洞未被前景物件所包圍。
如申請專利範圍第10項所述之影像處理裝置，其中該權重值指派單元根據該些相關背景之立體視差及該些相關背景至該破洞的距離計算該些權重值。
如申請專利範圍第10項所述之影像處理裝置，其中該權重值指派單元根據該些相關背景之立體視差、該些相關背景至該破洞的距離及該些相關背景所對應之複數個方向計算該些權重值。
如申請專利範圍第10項所述之影像處理裝置，其中該填補單元根據該極值所對應之相關背景的立體視差填補該破洞。