TWI511079B - 三維影像校正裝置及三維影像校正方法 - Google Patents

Description

三維影像校正裝置及三維影像校正方法

本發明係有關於一種影像處理系統及影像處理方法，且特別是有關於一種三維影像校正裝置及三維影像校正方法。

隨著科技的進步，影像的播放模式由傳統的二維(Two Dimension,2D)影像播放模式，逐步進展到三維(Three Dimension,3D)影像播放模式。尤其在2009年阿凡達電影上映後，更引領一股3D影像風潮，顯示產業之廠商紛紛推出3D顯示器，以符合消費者的需求。

由於3D技術尚未普及，3D訊號源因而較為缺乏。為解決此一問題，目前會將多張影像或單張影像作為輸入源，由3D顯示器利用其內之深度產生器以對上述輸入源進行處理而產生深度圖，再由3D顯示器之深度影像繪圖器(Depth image based rendering,DIBR)根據深度圖來產生3D影像。

然而，上述深度產生器在對輸入源進行處理時，會產生一些狀況，舉例而言，相同物件之各部分基本上都會具有相同之深度資訊，惟深度產生器有時會將相同物件於垂直方向上判讀出兩種不同之深度資訊，而產生錯誤的深度圖。一旦深度影像繪圖器根據錯誤的深度圖來產生3D影像，則上述物件會產生鋸齒(3D Jagged)現象，嚴重影響3D顯示器之品質。

由此可見，上述現有的方式，顯然仍存在不便與缺陷，而有待改進。為了解決上述問題，相關領域莫不費盡心思來謀求解決之道，但長久以來仍未發展出適當的解決方案。

發明內容旨在提供本揭示內容的簡化摘要，以使閱讀者對本揭示內容具備基本的理解。此發明內容並非本揭示內容的完整概述，且其用意並非在指出本發明實施例的重要/關鍵元件或界定本發明的範圍。

本發明內容之一目的是在提供一種三維影像校正裝置及三維影像校正方法，藉以改善存在於先前技術中的問題。

為達上述目的，本發明內容之一技術態樣係關於一種三維影像校正裝置。此三維影像校正裝置包含深度產生器、深度影像繪圖器、影像處理器以及影像校正器。於操作上，深度產生器用以接收輸入影像，並對輸入影像進行 處理以產生深度圖。深度影像繪圖器用以根據輸入影像及深度圖以產生三維影像。影像處理器用以偵測深度圖的像素差區域，其中影像處理器根據像素差區域以相應地偵測輸入影像中的第一影像區域，並根據像素差區域相應地偵測三維影像中的第二影像區域，其中影像處理器用以判斷第一影像區域中是否僅包含單一物件。影像校正器用以於第一影像區域中僅包含單一物件時，對三維影像中的第二影像區域進行校正。

根據本發明一實施例，前述影像處理器更用以計算第一影像區域中的第一像素差值，並比較第一像素差值與第一預設閥值，且於第一像素差值小於第一預設閥值時，判定第一影像區域中僅包含單一物件。

根據本發明再一實施例，前述第一像素差值係為第一影像區域中之亮度差值或彩度差值。

根據本發明另一實施例，前述影像處理器更用以計算像素差區域中的第二像素差值，並比較第二像素差值與第二預設閥值，其中影像校正器更用以於第一影像區域中僅包含單一物件且第二像素差值大於第二預設閥值時，對三維影像中的第二影像區域進行校正。

根據本發明又一實施例，前述第二像素差值係為像素差區域中之灰階差值。

根據本發明再一實施例，前述影像校正器用以對三維影像中的第二影像區域進行平滑化處理。

根據本發明又一實施例，前述影像處理器更包含一 邊緣偵測裝置用以對像素差區域進行邊緣偵測以取得邊緣區域，其中影像處理器更用以根據邊緣區域以相應地取得輸入影像中的第一影像區域，並根據邊緣區域相應地取得三維影像中的第二影像區域。

為達上述目的，本發明內容之另一技術態樣係關於一種三維影像校正方法。此三維影像校正方法包含以下步驟：接收輸入影像，並對輸入影像進行處理以產生深度圖；根據輸入影像及深度圖以產生三維影像；偵測深度圖的像素差區域；根據像素差區域以相應地取得輸入影像中的第一影像區域，並根據像素差區域相應地取得三維影像中的第二影像區域；判斷第一影像區域中是否僅包含單一物件；以及於第一影像區域中僅包含單一物件時，對三維影像中的第二影像區域進行校正。

根據本發明一實施例，前述判斷第一影像區域中是否僅包含單一物件的步驟，包含：計算第一影像區域中的第一像素差值；比較第一像素差值與第一預設閥值；以及於第一像素差值小於第一預設閥值時，判定第一影像區域中僅包含單一物件。

根據本發明再一實施例，前述第一像素差值係為第一影像區域中之亮度差值或彩度差值。

根據本發明另一實施例，前述三維影像校正方法更包含以下步驟：計算像素差區域中的第二像素差值；以及比較第二像素差值與第二預設閥值；其中於第一影像區域中僅包含單一物件時，對三維影像中的第二影像區域進行 校正的步驟包含：於第一影像區域中僅包含單一物件且第二像素差值大於第二預設閥值時，對三維影像中的第二影像區域進行校正。

根據本發明又一實施例，前述第二像素差值係為像素差區域中之灰階差值。

根據本發明再一實施例，前述對三維影像中的第二影像區域進行校正的步驟，包含：對三維影像中的第二影像區域進行平滑化處理。

根據本發明又一實施例，前述偵測深度圖的像素差區域的步驟包含：對像素差區域進行邊緣偵測以取得邊緣區域；其中根據像素差區域以相應地取得輸入影像中的第一影像區域，並根據像素差區域相應地取得三維影像中的第二影像區域的步驟包含：根據邊緣區域以相應地取得輸入影像中的第一影像區域，並根據邊緣區域相應地取得三維影像中的第二影像區域。

因此，根據本發明之技術內容，本發明實施例藉由提出一種三維影像校正裝置及三維影像校正方法，採用三維影像校正裝置及三維影像校正方法之機制，能夠對深度影像繪圖器根據錯誤的深度圖而產生具有鋸齒現象之3D影像進行校正，因而確保3D顯示器之品質。

在參閱下文實施方式後，本發明所屬技術領域中具有通常知識者當可輕易瞭解本發明之基本精神及其他發明目的，以及本發明所採用之技術手段與實施態樣。

100、100a‧‧‧三維影像校正裝置

110‧‧‧深度產生器

120‧‧‧深度影像繪圖器

130‧‧‧影像處理器

132‧‧‧邊緣偵測裝置

140‧‧‧影像校正器

200‧‧‧方法

210~260‧‧‧步驟

510‧‧‧第一影像區域

520‧‧‧第一影像區域

600‧‧‧深度圖

610‧‧‧像素差區域

620‧‧‧邊緣區域

700‧‧‧3D影像

710‧‧‧第二影像區域

720‧‧‧第二影像區域

500‧‧‧輸入影像

為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖係繪示依照本發明一實施例的一種三維影像校正裝置之示意圖。

第2圖係繪示依照本發明再一實施方式的一種三維影像校正方法流程圖。

第3A圖係繪示一種具有鋸齒現象之影像示意圖。

第3B圖係繪示依照本發明一實施例的一種經三維影像校正裝置處理後之影像示意圖。

第3C圖係繪示依照本發明另一實施例的一種經三維影像校正裝置處理後之影像示意圖。

第4圖係繪示依照本發明又一實施例的一種三維影像校正裝置之示意圖。

根據慣常的作業方式，圖中各種特徵與元件並未依比例繪製，其繪製方式是為了以最佳的方式呈現與本發明相關的具體特徵與元件。此外，在不同圖式間，以相同或相似的元件符號來指稱相似的元件/部件。

為了使本揭示內容的敘述更加詳盡與完備，下文針對了本發明的實施態樣與具體實施例提出了說明性的描述；但這並非實施或運用本發明具體實施例的唯一形式。 實施方式中涵蓋了多個具體實施例的特徵以及用以建構與操作這些具體實施例的方法步驟與其順序。然而，亦可利用其他具體實施例來達成相同或均等的功能與步驟順序。

除非本說明書另有定義，此處所用的科學與技術詞彙之含義與本發明所屬技術領域中具有通常知識者所理解與慣用的意義相同。此外，在不和上下文衝突的情形下，本說明書所用的單數名詞涵蓋該名詞的複數型；而所用的複數名詞時亦涵蓋該名詞的單數型。

另外，關於本文中所使用之「耦接」，可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，亦可指二或多個元件相互操作或動作。

為解決深度影像繪圖器根據深度產生器產生之錯誤深度圖而導致三維(Three Dimension,3D)影像出現鋸齒現象的問題，本發明實施例提出一種三維影像校正裝置，藉以對上述3D影像之鋸齒(3D Jagged)現象進行校正。

上述三維影像校正裝置係以電路方塊之型式係繪示於第1圖中，以利於理解本發明。如圖所示，三維影像校正裝置100包含深度產生器110、深度影像繪圖器(Depth image based rendering,DIBR)120、影像處理器130以及影像校正器140。於結構上，深度產生器110電性耦接於深度影像繪圖器120及影像處理器130，深度影像繪圖器120電性耦接於影像處理器130及影像校正器140，而影像處理器130電性耦接於影像校正器140。然本發明並不以第1 圖所示之電路方塊為限，其僅用以例示性地說明本發明的實現方式之一。

為使第1圖所示之三維影像校正裝置100之校正機制易於理解，以下配合第2圖所示之三維影像校正方法200的步驟流程以進行說明。

首先，如步驟210所示，由深度產生器110來接收輸入影像500，並對輸入影像500進行處理以產生深度圖600。上述輸入影像500可為多張影像或單張影像，此輸入影像500包含諸多影像資訊，深度產生器110對上述輸入影像500之影像資訊進行處理後，產生對應之複數個深度資訊，這些深度資訊組成了第1圖上半部所示之深度圖600。

隨後，於步驟220中，由深度影像繪圖器120根據輸入影像500及深度圖600以產生左眼影像與右眼影像，用來合成3D影像700。於習知技術中，深度產生器110可能會產生錯誤之深度圖600，若深度影像繪圖器120根據錯誤的深度圖600以產生左眼影像或右眼影像，則最後合成的3D影像700會有鋸齒現象，因此，本案之三維影像校正裝置100更具備以下校正機制而能解決上述問題，說明如後。

請參閱步驟230，利用影像處理器130來偵測深度圖600中的像素差區域610，此像素差區域610可包含位置資訊，例如像素差區域610係位於深度圖600中的右下角之資訊。

接著，如步驟240所示，由影像處理器130根據像素差區域610以相應地偵測出第1圖所示之輸入影像500中的第一影像區域510，並根據像素差區域610相應地偵測第1圖所示3D影像700之左眼影像或右眼影像中的第二影像區域710。需說明的是，深度圖600基本上是由計算輸入影像500之深度資訊而得，因此，深度圖600得以反映出輸入影像500中相應區域的深度資訊。請參閱第1圖上半部，深度圖600右下部分之像素差區域610基本上反映出輸入影像500右下部分之第一影像區域510的深度資訊，然則，如圖所示，第一影像區域510僅具有單一物件，深度產生器110卻判讀錯誤而在深度圖600中對應的部分出現像素差區域610，此時深度影像繪圖器120根據錯誤的深度圖600，而在3D影像700對應的第二影像區域710中產生鋸齒現象。

總結而論，雖然輸入影像500中僅具有單一物件，卻因深度產生器110判讀錯誤，最終產生具有鋸齒現象之3D影像700。如此，微觀而言，使得單一物件於3D影像700中看起來是兩個物件，巨觀而言，使得單一物件於3D影像700中看起來扭曲、變形而失去單一物件原本的型態，嚴重影響3D影像700之品質。為解決此一問題，本發明實施例之三維影像校正裝置100可判讀出深度圖600中所有出現像素差的區域，而對3D影像700中相應的區域進行校正來解決上述問題。

然而，進一步而言，若將所有出現像素差的區域進 行影像校正處理，此種處理方式將可能導致3D影像700中過多區域被校正，使得3D影像700模糊化，此部分請參閱第3A及3B圖以進行解釋。第3A圖繪示一種具有鋸齒現象之3D影像示意圖，如圖所示，英文字母F在圖中A點處具有鋸齒現象，可經由上述處理方式來解決此一問題。上述處理方式所產生之3D影像之示意圖請參閱第3B圖，由第3B圖得以看出本發明實施例之三維影像校正裝置100，對3D影像中過多區域進行校正，導致整個3D影像十分模糊，據此，上述處理方式雖可解決鋸齒現象的問題，例如英文字母F於第3B圖的B點處已無明顯的鋸齒現象，但模糊化之3D影像同樣會影響使用者之觀感。

為解決3D影像模糊化的問題，請參閱步驟250，由影像處理器130來判斷第一影像區域510中是否僅包含單一物件，如第1圖上半部所示，若第一影像區域510中僅包含單一物件，此時執行步驟260，由影像校正器對3D影像700中的第二影像區域710進行校正。在本實施例中，上述影像校正器140之校正方式，舉例而言，係為對3D影像700中的第二影像區域710進行平滑化處理，以改善3D影像700之鋸齒現象。如此，三維影像校正裝置100僅對真正有問題的區域進行校正，而非一昧地對所有出現像素差的相應3D影像區域進行校正，俾以在維持3D影像之銳利度的狀況下，解決3D影像之鋸齒現象的問題。

上述處理方式之結果請參閱第3C圖，如圖所示，由於本發明實施例之三維影像校正裝置100僅對真正有問 題的區域進行校正，例如僅針對第3C圖之C點處進行校正，因此，英文字母F於第3C圖的C點處已無明顯的鋸齒現象，並且維持3D影像之銳利度，例如英文字母e在第3A圖與第3C圖中之銳利度相近，此外，英文字母e在第3C圖之銳利度高於英文字母e在第3B圖之銳利度。

上述判斷第一影像區域510中是否僅包含單一物件之步驟，詳細而言，係由影像處理器130計算第一影像區域510中的像素差值，並比較像素差值與預設閥值，且於像素差值小於預設閥值時，判定第一影像區域510中僅包含單一物件。舉例而言，影像處理器130計算第一影像區域510中於垂直方向上的像素差，如在Y軸上的像素差值，經歸納後之計算公式如下所示：△I =|I (x ,y )-I (x ,y ±1)|...公式1

如上開公式1，△I 為像素差值，I (x ,y )為基準點之像素值，而I (x ,y ±1)為基準點往Y軸上或下移動一個單位之像素值。在取得第一影像區域510中的像素差值△I 之後，將像素差值△I 與預設閥值進行比較，若像素差值△I 小於預設閥值，代表第一影像區域510中之影像的像素值差距不大，因而判定第一影像區域510中僅有單一物件。在本實施例中，上述預設閥值可依照實際需求而定。此外，本發明並不以上述實施例為限，其僅用以例示性地說明本發明的實現方式之一。

上述判斷方式是基於單一物件可能為同一色系，因此單一物件之像素差應會較小的原理，然而本發明並不以 此為限，在設計上亦可綜合考慮其它因素，如色彩及亮度之綜合資訊，或其餘可供判斷之因素，以判斷第一影像區域510中是否僅包含單一物件。

此外，於上述步驟250中，若影像處理器130判斷第一影像區域510中不只包含單一物件，例如第一影像區域510包含兩物件或更多物件時，則執行步驟210。若是，則請參閱上述步驟260，一旦執行完校正程序後，則繼續執行步驟210。需說明的是，第2圖所示之三維影像校正方法200的步驟並不限定由三維影像校正裝置100之元件來執行，以上實施例僅用以說明本發明的實現方式之一，本發明實施例之三維影像校正方法200的範圍當視申請專利範圍而定。

在一實施例中，影像處理器130更進一步計算第1圖所示之深度圖600的像素差區域610之像素差值，並比較上述像素差值與預設閥值，若像素差值大於預設閥值時，對3D影像700中的第二影像區域710進行校正。上述像素差值為深度圖600的像素差區域610中之灰階差值，上述灰階值是用以表示深度圖600之灰階程度的數值，一般以0~255來表示，0代表黑色，255代表白色。舉例而言，影像處理器130計算像素差區域610中於垂直方向上的像素差值，如在Y軸上的像素差值，經歸納後之計算公式如下所示：△D =|D (x ,y )-D (x ,y ±1)|...公式2

如上開公式2，△D 為像素差值，D (x ,y )為基準點之像 素值，而D (x ,y ±1)為基準點往Y軸上或下移動一個單位之像素值。在取得像素差區域610中的像素差值△D 之後，將像素差值△D 與預設閥值進行比較，若像素差值△D 大於預設閥值時，代表像素差區域610中之影像的像素值差距過大，因而有需要對3D影像700中的第二影像區域710進行校正。在本實施例中，上述預設閥值可依照實際需求而定。此外，本發明並不以上述實施例為限，其僅用以例示性地說明本發明的實現方式之一。

在另一實施例中，本發明實施例之影像處理器130可一併採用上述公式1及公式2，以於像素差區域610中的像素差值△D 大於預設閥值Th1(代表需要對3D影像700中的第二影像區域710進行校正)，且第一影像區域510中的像素差值△I 小於預設閥值Th2(代表第一影像區域510中僅包含單一物件)的狀況下，對3D影像700中的第二影像區域710進行校正。如此，將使本發明實施例之三維影像校正裝置100之校正結果更為精準。

第4圖係繪示依照本發明另一實施例的一種三維影像校正裝置100a之示意圖。相較於第1圖所示之三維影像校正裝置100，在此之三維影像校正裝置100a的影像處理器130更進一步包含一邊緣偵測裝置132用以對像素差區域610進行邊緣偵測以取得邊緣區域620。此外，影像處理器130更用以根據邊緣區域620以相應地取得輸入影像500中的第一影像區域520，並根據邊緣區域620相應地取得3D影像700中的第二影像區域720。上述處理方式之用 意詳述如後。

若根據第1圖所示之像素差區域610來執行上述步驟，由於像素差區域610較邊緣區域620大，因而影像處理器130需處理較大面積的影像區域。然經過上述處理方式後，影像處理器130更能專注於像素差區域610中「真正會產生鋸齒狀現象的邊緣區域620」，並對其進行處理。相較於上述像素差區域610，此邊緣區域620範圍較小，邊緣區域620處理起來速度較快，當可進一步提升三維影像校正裝置100a之處理效率，並使處理結果更為精確。

如上所述之三維影像校正方法200皆可由軟體、硬體與/或軔體來執行。舉例來說，若以執行速度及精確性為首要考量，則基本上可選用硬體與/或軔體為主；若以設計彈性為首要考量，則基本上可選用軟體為主；或者，可同時採用軟體、硬體及軔體協同作業。應瞭解到，以上所舉的這些例子並沒有所謂孰優孰劣之分，亦並非用以限制本發明，熟習此項技藝者當視當時需要彈性設計之。

再者，所屬技術領域中具有通常知識者當可明白，三維影像校正方法200中之各步驟依其執行之功能予以命名，僅係為了讓本案之技術更加明顯易懂，並非用以限定該等步驟。將各步驟予以整合成同一步驟或分拆成多個步驟，或者將任一步驟更換到另一步驟中執行，皆仍屬於本揭示內容之實施方式。

由上述本發明實施方式可知，應用本發明具有下列優點。本發明實施例藉由提出一種三維影像校正裝置及三 維影像校正方法，採用三維影像校正裝置及三維影像校正方法之機制，能夠對深度影像繪圖器根據錯誤的深度圖而產生具有鋸齒現象之3D影像進行校正，因而確保3D顯示器之品質。

進一步而言，三維影像校正裝置及三維影像校正方法更能藉由判斷第一影像區域中是否僅包含一物件，而找出真正有問題的區域並對其進行校正，俾以在維持3D影像之銳利度的狀況下，解決3D影像之鋸齒現象的問題。

雖然上文實施方式中揭露了本發明的具體實施例，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不悖離本發明之原理與精神的情形下，當可對其進行各種更動與修飾，因此本發明之保護範圍當以附隨申請專利範圍所界定者為準。

100‧‧‧三維影像校正裝置

110‧‧‧深度產生器

120‧‧‧深度影像繪圖器

130‧‧‧影像處理器

140‧‧‧影像校正器

500‧‧‧輸入影像

510‧‧‧第一影像區域

600‧‧‧深度圖

610‧‧‧像素差區域

700‧‧‧3D影像

710‧‧‧第二影像區域

Claims (14)

1. 一種三維影像校正裝置，包含：一深度產生器，用以接收一輸入影像，並對該輸入影像進行處理以產生一深度圖；一深度影像繪圖器，用以根據該輸入影像及該深度圖以產生一三維影像；以及一影像處理器，用以偵測該深度圖的一像素差區域，其中該影像處理器根據該像素差區域以相應地偵測該輸入影像中的一第一影像區域，並根據該像素差區域相應地偵測該三維影像中的一第二影像區域，其中該影像處理器用以判斷該第一影像區域中是否僅包含單一物件；一影像校正器，用以於該第一影像區域中僅包含單一物件時，對該三維影像中的該第二影像區域進行校正。
2. 如請求項1所述之三維影像校正裝置，其中該影像處理器更用以計算該第一影像區域中的一第一像素差值，並比較該第一像素差值與一第一預設閥值，且於該第一像素差值小於該第一預設閥值時，判定該第一影像區域中僅包含單一物件。
3. 如請求項2所述之三維影像校正裝置，其中該第一像素差值係為該第一影像區域中之一亮度差值或一彩度差值。
4. 如請求項2所述之三維影像校正裝置，其中該影像處理器更用以計算該像素差區域中的一第二像素差值，並比較該第二像素差值與一第二預設閥值，其中該影像校正器更用以於該第一影像區域中僅包含單一物件且該第二像素差值大於該第二預設閥值時，對該三維影像中的該第二影像區域進行校正。
5. 如請求項4所述之三維影像校正裝置，其中該第二像素差值係為該像素差區域中之一灰階差值。
6. 如請求項1所述之三維影像校正裝置，其中該影像校正器用以對該三維影像中的該第二影像區域進行平滑化處理。
7. 如請求項1所述之三維影像校正裝置，其中該影像處理器更包含一邊緣偵測裝置用以對該像素差區域進行邊緣偵測以取得一邊緣區域，其中該影像處理器更用以根據該邊緣區域以相應地取得該輸入影像中的該第一影像區域，並根據該邊緣區域相應地取得該三維影像中的該第二影像區域。
8. 一種三維影像校正方法，包含：接收一輸入影像，並對該輸入影像進行處理以產生一 深度圖；根據該輸入影像及該深度圖以產生一三維影像；偵測該深度圖的一像素差區域；根據該像素差區域以相應地取得該輸入影像中的一第一影像區域，並根據該像素差區域相應地取得該三維影像中的一第二影像區域；判斷該第一影像區域中是否僅包含單一物件；以及於該第一影像區域中僅包含單一物件時，對該三維影像中的該第二影像區域進行校正。
9. 如請求項8所述之三維影像校正方法，其中判斷該第一影像區域中是否僅包含單一物件的步驟，包含：計算該第一影像區域中的一第一像素差值；比較該第一像素差值與一第一預設閥值；以及於該第一像素差值小於該第一預設閥值時，判定該第一影像區域中僅包含單一物件。
10. 如請求項9所述之三維影像校正方法，其中該第一像素差值係為該第一影像區域中之一亮度差值或一彩度差值。
11. 如請求項9所述之三維影像校正方法，更包含：計算該像素差區域中的一第二像素差值；以及 比較該第二像素差值與一第二預設閥值；其中於該第一影像區域中僅包含單一物件時，對該三維影像中的該第二影像區域進行校正的步驟包含：於該第一影像區域中僅包含單一物件且該第二像素差大於該第二預設閥值時，對該三維影像中的該第二影像區域進行校正。
12. 如請求項11所述之三維影像校正方法，其中該第二像素差值係為該像素差區域中之一灰階差值。
13. 如請求項8所述之三維影像校正方法，其中對該三維影像中的該第二影像區域進行校正的步驟，包含：對該三維影像中的該第二影像區域進行平滑化處理。
14. 如請求項8所述之三維影像校正方法，其中偵測該深度圖的該像素差區域的步驟包含：對該像素差區域進行邊緣偵測以取得一邊緣區域；其中根據該像素差區域以相應地取得該輸入影像中的該第一影像區域，並根據該像素差區域相應地取得該三維影像中的該第二影像區域的步驟包含：根據該邊緣區域以相應地取得該輸入影像中的該第一影像區域，並根據該邊緣區域相應地取得該三維影像中的該第二影像區域。