TWI535263B - ３ｄ影像深度圖之產生方法 - Google Patents

Description

3D影像深度圖之產生方法

本發明係關於一種深度圖之產生方法，特別關於一種3D影像深度圖之產生方法。

近來，3D顯示裝置的技術持續發展。以裸視技術來說，3D顯示裝置可藉由光柵式或透鏡式結構，讓人的左、右兩眼接收到不同視角的影像，而造成雙眼視差(Binocular Parallax)效果，進而在人腦中合成3D影像。此外，由於顯示技術的進步，目前3D顯示裝置已可以顯示多視角影像，以提供更自在的觀賞模式。

多視角影像可藉由一色彩影像及其深度圖來產生。而習知之深度圖係依據立體影像匹配(Stereo Matching)為基礎而產生。立體影像匹配技術的運算量非常大，且若要得到高品質深度圖，必須使用高運算複雜度之方法，這些因素都使得現有立體影像匹配技術無法快速、即時的產生深度圖。

因此，如何提供一種3D影像深度圖之產生方法，能減少運算量又維持足夠的品質，以致能快速、即時的產生深度圖，進而擴大應用性，實為當前重要課題之一。

有鑑於上述課題，本發明之目的為提供一種能夠能減少運算量又維持足夠的品質，以致能快速、即時的產生深度圖，進而擴大應用性之3D影像深度圖之產生方法。

達上述目的，依據本發明之一種3D影像深度圖之產生方法包含：接收一第一視角影像與一第二視角影像；依據第一視角影像與第二視角影像產生一粗略深度圖；以及依據粗略深度圖產生一精緻深度圖，精 緻深度圖之精度較粗略深度圖高。

在一實施例中，產生一粗略深度圖之步驟包含：以第一視角 影像之至少其中一畫素為一目標畫素；依據第一視角影像與第二視角影像計算目標畫素(non-skip pixel)之一視差值(disparity)；選定複數目標畫素形成一單位框，該單位框包含該等選定目標畫素以及複數非目標畫素(skip pixel)；以及依據該等選定目標畫素之視差值決定該等非目標畫素之視差值。

在一實施例中，計算該目標畫素之一視差值之步驟係包含： 依據目標畫素決定第一視角影像之一搜尋框，目標畫素位於搜尋框內；及依據搜尋框與一相機資訊決定第二視角影像之複數候選框；依據搜尋框與該等候選框計算目標畫素之一視差值。

在一實施例中，計算目標畫素之一視差值之步驟更包含：計 算搜尋框內之各畫素相對目標畫素之一權重值。

在一實施例中，權重值係依據各畫素相對目標畫素之一色差 與一位差而得到。

在一實施例中，權重值為以2為底數之指數值。

在一實施例中，目標畫素位於搜尋框之中心。

在一實施例中，搜尋框為一矩形、一菱形或一正多邊形。

在一實施例中，單位框為一矩形、一菱形或一正多邊形。

在一實施例中，該等選定目標畫素位於單位框之複數角落。

在一實施例中，單位框之各非目標畫素之視差值係為該等選定目標畫素之視差值之其中之一。

在一實施例中，影像深度圖之產生方法更包含：將單位框分成複數區域，各區域之所有非目標畫素之視差值係與區域內之目標畫素之視差值相同。

在一實施例中，產生一精緻深度圖之步驟包含：搜尋粗略深度圖之一不連續視差區域，不連續視差區域具有至少二相鄰畫素，該等相鄰畫素之視差值之差大於一門檻值。

在一實施例中，門檻值為零。

在一實施例中，影像深度圖之產生方法更包含：重新計算(recomputing)不連續視差區域之至少一部分畫素之視差值。

在一實施例中，各重算(recomputed)畫素之視差值係依據其所對應之搜尋框來計算，且重算畫素之對應的候選框數量或位移範圍係受重算畫素所對應之單位框內之該等目標畫素之視差值的限制。

在一實施例中，對應的候選框數量係依據單位框內之該等目標畫素之最大視差值與最小視差值來決定。

在一實施例中，影像深度圖之產生方法更包含：以單位框之至少一非目標畫素為一輔助畫素；及計算輔助畫素之一視差值，以致對應的候選框數量或位移範圍係依據單位框內之該等目標畫素之視差值以及輔助畫素之視差值來決定。

承上所述，本發明之3D影像深度圖之產生方法並非如習知技術去計算每一個畫素之視差或深度值，而是先產生一粗略深度圖，粗略深度圖中之一部分畫素的視差值精緻得到，另一部分係粗略得到，例如是使用精緻得到之視差值而產生。然後再依據粗略深度圖產生一精緻深度圖，其精度高於粗略深度圖，例如是視需要而將具有粗略視差值之畫素重算而得到精度較高的視差值。因此，本發明之3D影像深度圖之產生方法能減少運算量又維持足夠的品質，以致能快速、即時的產生深度圖。

101、500‧‧‧粗略深度圖

102、103、i、j、k‧‧‧畫素

110‧‧‧精緻深度圖

200‧‧‧第一視角影像

201、58、59、601、605‧‧‧目標畫素

202、606‧‧‧非目標畫素

210‧‧‧搜尋框

300‧‧‧第二視角影像

310‧‧‧候選框

400、400a、600、604‧‧‧單位框

410~440‧‧‧區域

502‧‧‧標記圖

504‧‧‧擴大標記圖

57‧‧‧擴大框

602、606‧‧‧重算畫素

607‧‧‧輔助畫素

dr‧‧‧相機資訊

S01~S03‧‧‧產生方法之步驟

圖1為本發明較佳實施例之一種3D影像深度圖之產生方法的流程圖。

圖2為本發明較佳實施例之一粗略深度圖之一示意圖。

圖3為本發明較佳實施例之一精緻深度圖之一示意圖。

圖4A為本發明較佳實施例之一第一視角影像的示意圖。

圖4B為本發明較佳實施例之一第二視角影像的示意圖。

圖5A及圖5B為本發明較佳實施例之一搜尋框與一候選框的示意圖。

圖6為本發明較佳實施例之一單位框的示意圖。

圖7為圖6所示之單位框分成複數區域的示意圖。

圖8為本發明較佳實施例之另一單位框的示意圖。

圖9為圖8所示之單位框分成複數區域的示意圖。

圖10A至圖10C為說明本發明較佳實施例之不連續視差區域之搜尋的示意圖。

圖11A及圖11B為說明本發明較佳實施例之重算畫素之候選框數量或或位移範圍決定之一示意圖。

圖12A及圖12B為說明本發明較佳實施例之另一態樣之重算畫素之候選框數量或位移範圍決定之示意圖。

以下將參照相關圖式，說明依本發明較佳實施例之一種3D影像深度圖之產生方法，其中相同的元件將以相同的參照符號加以說明。

圖1為本發明較佳實施例之一種3D影像深度圖之產生方法的流程圖。本發明不限制所產出之3D影像深度圖的應用範圍，其可例如與一色彩影像配合以產生多視角影像，或是應用於3D賀卡製作、物件立體重建、物件追蹤、車用之距離偵測技術等等。

本實施例之3D影像深度圖之產生方法包含步驟S01至S03。首先，步驟S01係接收一第一視角影像與一第二視角影像。第一視角影像與第二視角影像例如分別為一右視角影像及一左視角影像、或分別為一左視角影像及一右視角影像。在一實施例中，第一視角影像與第二視角影像可由二攝像機取像而得，該等攝像機相距一水平距離並在同一水平面對同一空間進行攝像而得到第一視角影像與第二視角影像。

步驟S02係依據第一視角影像與第二視角影像產生一粗略深度圖。圖2為粗略深度圖101之一示意圖。粗略深度圖101之一部分畫素(由斜線表示)102的視差值係精緻得到，例如是藉由立體影像匹配(Stereo Matching)方法而得到。粗略深度圖101之另一部分畫素(由無斜線表示)103的視差值係粗略得到，例如是使用精緻得到之畫素的視差值而產生而非使用立體影像匹配方法而得到。藉此可減少視差值之計算量。

步驟S03係依據粗略深度圖產生一精緻深度圖，精緻深度 圖之精度較粗略深度圖高。圖3為精緻深度圖110之一示意圖。精緻深度圖110係由粗略深度圖101產生，且精緻深度圖110之精度較粗略深度圖101高，例如是精緻深度圖110保留粗略深度圖101中精緻得到的視差值，而粗略深度圖101之粗略得到的視差值之一部分係進行重算而加到精緻深度圖110，例如是使用立體影像匹配(Stereo Matching)方法而得到。粗略深度圖101之粗略得到的視差值之沒有重算的部分亦保留於精緻深度圖110。換言之，精緻深度圖110中的精緻視差值數量較粗略深度圖101來的多，但亦非全部的畫素皆為精緻視差值。藉此，可在維持足夠的精度下，減少視差值的計算量，以致本發明能快速、即時的產生深度圖。本實施例之3D影像深度圖之產生方法在產生精緻深度圖之前，可更包含決定哪些畫素需要重作而得到精緻視差值，可例如藉由檢測相鄰畫素之視差值不連續的程度而決定。

需注意者，由於視差值與深度值僅在於比例上的轉換而已， 因此在本發明中，視差值之範疇係包含深度值。另外，本發明之之畫素可指畫素或子畫素。以下進一步說明本發明較佳實施例之3D影像深度圖之產生方法。

在本實施例中，產生一粗略深度圖之步驟係包含：以第一視角影像之至少其中一畫素為一目標畫素(non-skip pixel)；依據第一視角影像與第二視角影像計算目標畫素之一視差值(disparity)；選定複數目標畫素形成一單位框，單位框包含該等選定目標畫素以及複數非目標畫素(skip pixel)；以及依據該等選定目標畫素之視差值決定該等非目標畫素之視差值。圖4A為本實施例之一第一視角影像200的示意圖，圖4B為本實施例之一第二視角影像300的示意圖。如圖4A所示，以第一視角影像200之至少其中一畫素(於此以複數為例，由斜線表示)為一目標畫素201，然後，依據第一視角影像200與第二視角影像300計算目標畫素201之一視差值。以下說明如何得到視差值。

如圖4A及圖4B所示，計算目標畫素201之一視差值之步驟係包含：依據目標畫素201決定第一視角影像200之一搜尋框210，目標畫素201位於搜尋框210內；依據搜尋框210與一相機資訊dr決定第二視 角影像300之複數候選框310；依據搜尋框210與該等候選框310計算目標畫素201之一視差值。在本實施例中，不特別限制搜尋框210之大小，然而需注意者，若搜尋框210太小，則取樣率太小以致於錯誤率上升；若搜尋框210太大，則視差值之計算量會大增而降低效能，且搜尋框210太大亦會過度取樣而造成精度下降。搜尋框210之邊長可例如為25~35個畫素，於此，搜尋框210之邊長係以5個畫素為例以方便說明。搜尋框210例如為一矩形、一菱形、一正多邊形或其他幾何圖形，於此係以正方形為例。目標畫素201位於搜尋框210內，於此係以目標畫素201位於搜尋框210之中心為例。候選框310係依據搜尋框210與相機資訊dr而決定。於此，候選框310之大小係設定為與搜尋框210一樣，且在第一視角影像200與第二視角影像300中具有相同的水平位置。候選框310之個數(或指候選框310之位移範圍)係依據相機資訊dr而決定，於此，相機資訊dr係指第一視角影像200與第二視角影像300的最大視差，本實施例之相機資訊dr係以8為例，所以候選框310之位移範圍為0~7，換言之，候選框310之個數為8個。

接下來就依據搜尋框210與該等候選框310計算目標畫素 201之一視差值。計算目標畫素201之一視差值之步驟更包含：計算搜尋框210內之各畫素相對目標畫素201之一權重值。並且在本實施例中，權重值係依據各畫素相對目標畫素201之一色差與一位差而得到。如圖5A及圖5B所示，以搜尋框210與相機資訊dr=0的候選框310舉例來說，各畫素(q)相對目標畫素(p)之一權重包含兩個部分：1、色彩性質差異權重，其計算方式如下：

上述方程式中的rc項為一控制參數，其為常數。

2、幾何距離差異權重，其計算方式如下：

上述方程式中的rg項為一控制參數，其為常數。

而總和之w(p,q)為上述兩項權重之乘積，其計算方式如下：ω(p,q)=α．ω _c (p,q)×β．ω _g (p,q)

其中之α、β可為正負常數，用來調整幾何距離和色彩差異的關係比重。

此外，本發明也提供一種初始差異成本與總和成本的概念。初始差異成本即一搜尋框與其對應的候選框內非目標畫素(即q,q')之顏色差異，用來與權重相乘而產生最終成本。初始差異成本可表示成：

上述方程式中的re項為一常數。

至於總和成本(total cost)，其為一搜尋框及一對應候選框內所有關於目標畫素之總和成本可表示為：各框內點之權重與各初始成本之乘積和，可由下列公式表示：

其中，γ、λ、δ如同前權重之描述，可為正負常數，用來調整比例用。

需注意者，在本實施例中，權重值為以2為底數之指數值。 藉此，可讓所有的計算皆使用加法器即可，並完全迴避乘法器與除法器，進而大幅提升運算速度及效能。此外，本發明亦捨棄習知正規化的動作，而進一步提升運算效能。

藉由上述運算，可得到每一個候選框310(於此為8個)分別對搜尋框210之一total cost值，然後其中擁有最大total cost值的候選框310即為對應的候選框，例如在運算後是相機資訊dr=5的候選框為其對應的候選框，則可得出搜尋框210之目標畫素201的視差值為5。藉此方式可得到所有目標畫素的視差值，此即為精緻的視差值。

在得到所有目標畫素的視差值之後，如圖6所示，3D影像深度圖之產生方法包含選定複數目標畫素201形成一單位框400，單位框400包含該等選定目標畫素201以及複數非目標畫素(skip pixel)202；以及依據該等選定目標畫素201之視差值決定該等非目標畫素202之視差值。單位框例如為一矩形、一菱形、一正多邊形或其他幾何形狀，於此係以正方形為例作說明。另外，本實施例之單位框之邊長僅為舉例，非用以限制本發明。該等選定目標畫素201例如位於單位框400之複數角落，可對稱設置或非對稱設置，對稱設置可提升運算效能。在本實施例中，單位框400之各非目標畫素202之視差值係為該等選定目標畫素201之視差值之其中之一。於此，非目標畫素202之視差值之決定方式可參照圖7。如圖7所示，將單位框400分成複數區域410~440，各區域410~440之所有非目標畫素202之視差值係與該區域內之目標畫素201之視差值相同。於此，將單位框400分成四個區域410~440，以區域410來說，其中的8個非目標畫素202之視差值係與區域410內之目標畫素201的視差值相同。其餘以此類推。藉此，可得到所有非目標畫素202的視差值，此即為粗略的視差值。到此即完成粗略深度圖的製作，需注意者，上述之產生方法僅為舉例，並非用以限制本發明。

另外，圖8及圖9為本發明較佳實施例之一變化態樣之單位框400a的示意圖，其中，單位框400a被分為四個三角形的區域410~440，其中各含一個選定的目標畫素201及複數個非目標畫素202。

以下舉例說明如何得到精緻深度圖。

產生一精緻深度圖之步驟包含：搜尋粗略深度圖之一不連續視差區域，不連續視差區域具有至少二相鄰畫素，該等相鄰畫素之視差值之差大於一門檻值。以下以圖10A至圖10C說明不連續視差區域之搜尋。然而，需注意者，上述不連續視差區域使為舉例，本發明亦可使用其他方式來產生精緻深度圖，例如標記物體邊界。如圖10A所示，一粗略深度圖500中的所有畫素之視差值已藉由精緻方式或粗略方式而得到，現在要搜尋不連續視差區域以進行後續之重算(recomputation)，不連續視差區域係定義為具有至少二相鄰畫素，且該等相鄰畫素之視差值之差係大於一門檻值。門檻值例如為0。需注意者，門檻值也可設計為1或更高，依需求而決定，門檻值設的越高，則需要重算的範圍就越小，亦即所得到之精緻深度圖的精度較低；門檻值設的越低，則需要重算的範圍就越大，亦即所得到之精緻深度圖的精度較高。以圖10A中的畫素i為例，比較畫素i及其下方畫素k與右方畫素j的視差值，若視差值有不同的情況，則將畫素i標記為1(僅用以代表為不連續)，若完全相同，則畫素i不進行標記。如此，可得到例如圖10B所示的標記圖502，其中有一些畫素標記為1，即需要進行重算的畫素，亦構成該不連續視差區域。另外，為提升精度，本實施例之產生方法可更包含擴大不連續視差區域。如圖10B所示，定義一擴大框57，於此係以4個畫素的正方形為例，擴大框57移動並涵蓋到所有的範圍(或視為全部的畫素分為複數個4畫素的正方形)。以圖10B中的擴大框57為例，由於在擴大框57內有標記2個1，因此擴大框57原本沒有標記的畫素皆標記為2(僅用以代表是擴大而要重算的畫素。在其他實施例中亦可標記為1)。如此即可得到如圖10C所示之一擴大標記圖504。

接著，3D影像深度圖之產生方法更包含：重新計算(recomputing)不連續視差區域之至少一部分畫素之視差值。如圖10C所示，凡被標記為1或2的畫素皆需要進行重新計算以得到精緻的視差值。需注意者，被標記的目標畫素不需要進行重新計算，如圖10C中的目標畫素58、59。重算(recomputed)畫素之視差值可依據其所對應之搜尋框來計算，亦即重算畫素之視差值可藉由前述搜尋框與候選框的方式來得到。另外，重算畫素之對應的候選框數量或位移範圍(對應前述之相機資訊dr) 係受重算畫素所對應之單位框內之該等目標畫素之視差值的限制。如圖11A及圖11B所示，圖11A顯示一單位框600，其包含四個目標畫素601及其他的重算畫素602(假設單位框600內所有的非目標畫素皆需重算)，並且此態樣的相機資訊dr預設為0~9，則照理說，重算畫素602的視差值計算所對應的相機資訊dr應為0~9(換言之有10個候選框)，但在本實施例中，重算畫素602之對應的候選框數量或位移範圍(對應前述之相機資訊dr)係受重算畫素所對應之單位框600內之該等目標畫素601之視差值的限制，於此，對應的候選框數量或位移範圍係依據單位框600內之該等目標畫素601之最大視差值與最小視差值來決定。在此態樣中，最大視差值為6，最小視差值為2，因此，單位框600內之重算畫素602所對應的候選框之相機資訊dr為2~6，換言之僅有5個候選框。藉此可大幅提升重算的效率，並且可維持足夠的精度，因為在小範圍的畫素中，視差值的差異性可視為極小。需注意者，上述重算畫素之對應的候選框數量或位移範圍所受的限制僅為舉例，非用以限制本發明。

另外，圖12A及圖12B顯示另一態樣之單位框604，其範 圍較單位框600大。在此態樣中，由於怕上述重算畫素之對應的候選框數量或位移範圍所受之限制方式會造成誤差，因此3D影像深度圖之產生方法可更包含：以單位框604之至少一非目標畫素606(或重算畫素)為一輔助畫素607；及計算輔助畫素607之一視差值，以致對應的候選框數量或位移範圍係依據單位框604內之該等目標畫素605之視差值以及輔助畫素607之視差值來決定。於此，對應的候選框數量或位移範圍係依據單位框604內之該等目標畫素605與輔助畫素607之最大視差值與最小視差值來決定。在此態樣中，最大視差值為8，最小視差值為2，因此，單位框604內之重算畫素606所對應的候選框之相機資訊dr為2~8，換言之僅有7個候選框。藉此可大幅提升重算的效率，並且可維持足夠的精度。藉此，本發明之3D影像深度圖之產生方法即可產生精緻深度圖。

綜上所述，本發明之3D影像深度圖之產生方法並非如習知 技術去計算每一個畫素之視差或深度值，而是先產生一粗略深度圖，粗略深度圖中之一部分畫素的視差值精緻得到，另一部分係粗略得到，例如是 使用精緻得到之視差值而產生。然後再依據粗略深度圖產生一精緻深度圖，其精度高於粗略深度圖，例如是視需要而將具有粗略視差值之畫素重算而得到精度較高的視差值。因此，本發明之3D影像深度圖之產生方法能減少運算量又維持足夠的品質，以致能快速、即時的產生深度圖。並且本發明亦相當有利於硬體實現，例如實現於一顆IC。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

S01~S03‧‧‧產生方法之步驟

Claims (18)

1. 一種3D影像深度圖之產生方法，包含：接收一第一視角影像與一第二視角影像；依據該第一視角影像與該第二視角影像產生一粗略深度圖；以及依據該粗略深度圖產生一精緻深度圖，該精緻深度圖之精度較粗略深度圖高。
2. 如申請專利範圍第1項所述之3D影像深度圖之產生方法，其中產生一粗略深度圖之步驟包含：以該第一視角影像之至少其中一畫素為一目標畫素；依據該第一視角影像與該第二視角影像計算該目標畫素之一視差值；選定複數目標畫素形成一單位框，該單位框包含該等選定目標畫素以及複數非目標畫素；以及依據該等選定目標畫素之視差值決定該等非目標畫素之視差值。
3. 如申請專利範圍第2項所述之3D影像深度圖之產生方法，其中該計算該目標畫素之一視差值之步驟係包含：依據該目標畫素決定該第一視角影像之一搜尋框，該目標畫素位於該搜尋框內；依據該搜尋框與一相機資訊決定該第二視角影像之複數候選框；及依據該搜尋框與該等候選框計算該目標畫素之一視差值。
4. 如申請專利範圍第3項所述之3D影像深度圖之產生方法，其中該計算該目標畫素之一視差值之步驟更包含：計算該搜尋框內之各畫素相對該目標畫素之一權重值。
5. 如申請專利範圍第4項所述之3D影像深度圖之產生方法，其中該權重值係依據各畫素相對該目標畫素之一色差與一位差而得到。
6. 如申請專利範圍第4項所述之3D影像深度圖之產生方法，其中該權重值為以2為底數之指數值。
7. 如申請專利範圍第3項所述之3D影像深度圖之產生方法，其中該目標畫素位於該搜尋框之中心。
8. 如申請專利範圍第3項所述之3D影像深度圖之產生方法，其中該搜尋 框為一矩形、一菱形或一正多邊形。
9. 如申請專利範圍第1項所述之3D影像深度圖之產生方法，其中該單位框為一矩形、一菱形或一正多邊形。
10. 如申請專利範圍第9項所述之3D影像深度圖之產生方法，其中該等選定目標畫素位於該單位框之複數角落。
11. 如申請專利範圍第1項所述之3D影像深度圖之產生方法，其中該單位框之各該非目標畫素之視差值係為該等選定目標畫素之視差值之其中之一。
12. 如申請專利範圍第11項所述之3D影像深度圖之產生方法，更包含：將該單位框分成複數區域，各該區域之所有非目標畫素之視差值係與該區域內之該目標畫素之視差值相同。
13. 如申請專利範圍第1項所述之3D影像深度圖之產生方法，其中產生一精緻深度圖之步驟包含：搜尋該粗略深度圖之一不連續視差區域，該不連續視差區域具有至少二相鄰畫素，該等相鄰畫素之視差值之差大於一門檻值。
14. 如申請專利範圍第13項所述之3D影像深度圖之產生方法，其中該門檻值為零。
15. 如申請專利範圍第13項所述之3D影像深度圖之產生方法，更包含：重新計算該不連續視差區域之至少一部分畫素之視差值。
16. 如申請專利範圍第15項所述之3D影像深度圖之產生方法，其中各該重算(recomputed)畫素之視差值係依據其所對應之該搜尋框來計算，且該重算畫素之對應的候選框數量或位移範圍係受該重算畫素所對應之該單位框內之該等目標畫素之視差值的限制。
17. 如申請專利範圍第16項所述之3D影像深度圖之產生方法，其中對應的候選框數量或位移範圍係依據該單位框內之該等目標畫素之最大視差值與最小視差值來決定。
18. 如申請專利範圍第16項所述之3D影像深度圖之產生方法，更包含：以該單位框之至少一非目標畫素為一輔助畫素；及計算該輔助畫素之一視差值，以致對應的候選框數量或位移範圍係依 據該單位框內之該等目標畫素之視差值以及該輔助畫素之視差值來決定。