TWI478102B

TWI478102B - 影像深度產生裝置與其方法

Info

Publication number: TWI478102B
Application number: TW101102412A
Authority: TW
Inventors: Chia Wei Yu; Chun Hsing Hsieh; Hao Ying Cheng; Hsu Jung Tung
Original assignee: Realtek Semiconductor Corp
Priority date: 2012-01-20
Filing date: 2012-01-20
Publication date: 2015-03-21
Also published as: TW201331888A; US9225970B2; US20130188027A1

Description

影像深度產生裝置與其方法

本發明係關於一種影像裝置，特別是關於一種影像處理裝置與方法。

目前三維(3 Dimension)的顯示器(Display)越來越多，但能夠作為三維影像播放的內容(Content)還是很少。因此，會有將二維(2 Dimension)影像轉成三維影像的作法。

如第1圖所示，顯示一習知三維影像產生裝置10。一般二維影像轉三維影像，大都利用深度產生裝置(Depth Generation)11先由二維影像信號2Dv中估算出影像的深度(depth)資訊dth，再由深度影像繪圖裝置(Depth Image Based Rendering，DIBR)12利用深度資訊dth產生三維影像之左眼影像(Left Video)Lv與右眼影像(Right Video)Rv。

目前常見的深度產生(Depth generation)方式大致上有：偵測影像移動(video motion)，利用移動向量(motion vector)判斷影像畫素之深度(depth)(例如美國專利US 6496598號揭露之技術)。舉例而言，在相機(camera)移動時，近物的位移較大，遠物的位移較小，因此移動向量大者表示距離較近；移動向量小者距離較遠。或者式偵測影像邊緣(video edge)之特性(例如美國專利US 2007/0024614號揭露之技術)可用邊緣來判斷物體的邊界，在邊界的兩邊設定不同的深度值。再者，對影像中的消失線、消失點進行偵測，以判斷地平線或建築物的邊界，利用此方式可推算影像中深度的深度分佈。

本發明之目的之一，在提供一種產生影像深度(depth)的方法與其裝置。

本發明之一實施例中，提供了一種影像深度產生裝置。該裝置包含：至少一色彩選擇裝置與至少一計算器。色彩選擇裝置接收一輸入影像，接收一輸入影像，依據至少一參數判斷一畫素在輸入影像之顏色在視覺上之遠近，以產生每一畫素之深度偏移量。而計算器，耦接色彩選擇裝置，計算每一畫素之深度偏移量與一預設深度，產生輸入影像每一畫素之輸出深度。

本發明之一實施例中，提供了一種影像深度產生裝置，包含：一色彩選擇裝置，接收一具有複數個畫素之輸入影像，依據至少一參數以及該複數個畫素的顏色，以產生每一畫素之深度偏移量、以及至少一計算器，耦接該色彩選擇裝置，依據該每一畫素之深度偏移量與一預設深度，以產生該輸入影像之每一畫素之一輸出深度值。

本發明之一實施例中，一種影像深度產生方法，包含有：接收一包含複數個畫素之輸入影像；對該輸入影像指定一顏色、及指定該顏色對應的深度偏移量；將該輸入影像之每一輸入畫素之顏色與該指定顏色比較，根據該輸入畫素顏色和該指定顏色之接近程度與該深度偏移量決定該輸入畫素之深度值。

本發明之另一實施例中，提中了一種影像深度產生方法，該方法包含下列步驟：接收一包含複數個畫素之輸入影像。對輸入影像指定一顏色、及指定該顏色對應的深度偏移量。接著，將該輸入影像之每一輸入畫素之顏色與該指定顏色比較，根據該輸入畫素顏色和該指定顏色之接近程度與該深度偏移量決定該輸入畫素之深度值。

本發明之另一實施例中，提供了一種視訊處理方法。該方法包含有下列步驟：接收一畫素，且該畫素包含有複數個分量。比較該畫素之複數個分量與一複數個預設分量參考值，產生一深度偏移量。之後，將深度偏移量與一預設深度值相加，產生一輸出深度值。

本發明之實施例利用影像之色彩產生深度值，且可詳細了解影像之細節，而控制每一畫素之影像深度。另外，本發明之實施例可依據需求任意設定指定色彩，而改變欲突顯顏色之深度值，而有效地製作出需求之三維影像。

第2圖顯示本發明一實施例之一種深度產生裝置20之示意圖。深度產生裝置20包含一色彩選擇器(Color selector)21與一計算器22。

該色彩選擇器21接收一輸入影像，依據至少一參考值判斷一畫素Pi在輸入影像之畫素中之顏色在視覺上之遠近，以產生每一畫素之深度偏移量dth_off。深度偏移量dth_off可表示目前畫素之色彩與預設色彩之差異程度，且深度偏移量dth_off之數值可正可負。須注意，依據畫素顏色之數值與該參考值之差值，可決定該畫素於該輸入影像中為遠景或近景。

計算器22，一實施例中可為一加法器。計算器22計算每一畫素Pi之深度偏移量dth_off與一預設深度dth_i，產生輸入影像每一畫素Pi之輸出深度dth_o。其中，預設深度係設計者或系統指定之深度值，依據該深度值來決定遠景與近景。另外，預設深度dth可為常數(constant)或漸層值。該預設深度係為可調的。

一實施例，計算器22將每一輸入畫素Pi之深度偏移量dth_off與預設深度dth_i相加，可得到該畫素Pi之輸出深度dth_o。

須注意，設計者可任意選擇參考值，且色彩選擇器21可另外依據需求決定每一畫素之深度偏移量，例如，若希望將藍色之色彩作為遠景(例如：天空或海水係屬於藍色色系)，則將藍色之深度偏移量設為負值，以讓深度偏移量與預設深度相加後縮小藍色之輸出深度值；若希望膚色作為近景，則將膚色之深度偏移量設為正值，以讓深度偏移量與預設深度相加後增大膚色之輸出深度值。

依此方式，本發明影像深度產生裝置20可產生整張輸入影像畫素之輸出深度值，進而讓後端電路利用輸出深度值以產生三維影像信號(例如是：輸出具有左眼影像與右眼影像的三維影像信號)。

第3A圖顯示本發明色彩選擇器21之一實施例之示意圖。色彩選擇器21包含有複數個計算單元c1、c2、c3、一第一計算器25、一深度映射單元26、及一第二計算器27。複數個計算單元c1、c2、c3用以比較畫素pi之影像分量與參考值之差異，再由第一計算器25將比較後之差異值相加，產生一權重距離值w_dis。須注意，影像分量可位於色域空間色調濃度亮度(Hue,Saturation,Intensity，HSI)空間、色差影像(YUV)空間、亮度彩度YCbCr空間、紅綠藍(RGB)其中之一，當然本發明不限於此，本發明實施例之影像分量可符合目前現有或未來發展出之影像空間規範。

如該圖所示，假設輸入畫素P包含有三分量comp1_in、comp2_in、comp3_in，計算單元c1、c2、c3比較畫素之三分量comp1_in、comp2_in、comp3_in與參考值comp1_ref、comp2_ref、comp3_ref，以求出一權重距離值w_dis。須注意，影像分量不限於上述三分量，可為目前現有(如R、G、B或Y、U、V...等，或其他格式)或未來發展出之格式。

一實施例中，計算單元c1、c2、c3分別包含有減法器22a、22b、22c、絕對值計算單元(abs)23a、23b、23c與乘法器24a、24b、24c。減法器22a、22b、22c將輸入畫素Pi之三分量(comp1_in,comp2_in,comp3_in)分別跟指定色彩之參考值三分量(comp1_ref,comp2_ref,comp3_ref)相減，以計算出差值。接著，再利用絕對值計算單元23a~23c取絕對值。之後，乘法器將絕對值計算單元23a~23c之輸出分別乘上三個增益值(gain) comp1_gain,comp2_gain,comp3_gain後，再由第一計算器25相加後得到權重距離值(weighted distance)w_dis。

深度映射單元26接收權重距離值w_dis依據一預設轉換表轉換該權重距離值w_dis，以產生暫時之深度偏移量dth_off_tmp。如第3B圖所示，顯示轉換表之一示例。如該圖所示，權重距離值w_dis經過深度映射(Depth Mapping)後，可由轉換表查出暫時之深度偏移量dth_off_tmp。一實施利，映射(Mapping)之方法為w_dis小於應設預設值map_thre時，深度偏移量dth_off_tmp設為映射限制map_limit的值；而權重距離值w_dis大於應設預設值map_thre時，每隔一映射步驟map_step減1直到降至0為止。

第二計算器27可為一乘法器，依據設計者或系統之設計指定暫時之深度偏移量dth_off_tmp的正或負(近或遠)，即將暫時之深度偏移量dth_off_tmp乘上正值(設為近景)或負值(設為遠景)，以指定畫素Pi之遠近。

舉例而言假設輸入三分量compl_in,comp2_in,comp3_in分別為50、50、110，指定色之三參考值分量comp1_ref,comp2_ref,comp3_ref分別為10、10、10，增益值comp1_gain,comp2_gain,comp3_gain為1、1、1，則經過減法器22a、22b、22c相減且由絕對值計算單元23a、23b、23c取絕對值後，可得到數值40、40、100。接著，在由乘法器24a、24b、24c乘上增益1、1、1後求得數值40、40、100。第一計算器將數值40、40、100相加，求得權重距離值w_dis=180。之後，深度映射單元26接收權重距離值w_dis=180，比對轉換表，w_dis大於map_thre時，深度偏移量dth_off_tmp設為map_limit的值，之後每隔一映射步驟map_step減1直到降至0為止，假設每一映射步驟之距離為10，則w_dis=90得到深度偏移量dth_off_tmp=79，w_dis=100得到dth_off_tmp=78...,w_dis=180則可得到dth_off_tmp=62。最後，再由第二計算器27依據設計者或系統之設計指定暫時之深度偏移量dth_off_tmp的正負(遠或近)，例如目前畫素pi為膚色，則希望設為近景，則第二計算器27將暫時深度偏移量dth_off_tmp=62乘上+1，得到深度偏移量dth_off=+62。

須注意，輸入畫素Pi跟指定色越接近，則其暫時深度偏移量dth_off_tmp就越接近深度限制map_limit值；反之，就越接近0。而上述數據僅為示例，本發明不限於此。另於一實施例中，可省略第二計算器27，由深度映射單元產生深度偏移量dth_off。

第4圖顯示本發明另一實施例之影像深度產生裝置40之示意圖。影像深度產生裝置40包含有一色彩轉換裝置41、一統計單元42、一深度限制裝置(depth limiter)43、三個色彩選擇裝置21a、21b、21c、三個計算器22a、22b、22c。其中，影像深度產生裝置40所包含之複數個色彩選擇裝置、複數個計算器，此兩種裝置之數目不限於上述，可依據需求改變數目。如該圖所示，每一套色彩選擇裝置之參數可不同，參數是指：指定色之三參考值分別為comp1_ref、comp2_ref、comp3_ref，增益值comp1_gain、comp2_gain、comp3_gain，映射(mapping)方法，正負值方向(dir)。舉例而言，第一色彩選擇裝置21a可指定藍色作為欲選擇色彩，且用映射限制map_limit之值設定該藍色的深度偏移量；第二色彩選擇裝置21b可指定綠色，且用映射限制map_limit之值設定該綠色的深度偏移量，而第三色彩選擇裝置21c可指定膚色，且用映射限制map_limit之值設定該膚色的深度偏移量。依此方式，可分別對不同色彩的區塊做深度調整。另一實施方式，本發明可利用權重的方式與其他深度產生的演算法相配合。於運作時，色彩轉換裝置(color selector)41接收畫素Pi且進行色彩轉換(color transform)處理，以讓使用者指定顏色之參數。色彩轉換處理，舉例而言，可為將畫素之紅綠藍(RGB)三原色轉換至色差影像(YCbCr)，或是由色差影像轉換至紅綠藍三原色。接著，每個色彩選擇裝置，如第3A、3B圖之方式，產生複數個深度偏移量dth_off。計算器22a、22b、22c將深度偏移量dth_off 1、dth_off 2、dth_off 3與預設深度值dth_i相加，以產生輸出深度值dth_o。須注意，計算器22a、22b、22c將複數個深度偏移量dth_off累加後，由深度限制器43接收累加之深度偏移量。深度限制器43設有預定大小之深度值域，用以限制累加後之深度值超過系統之範圍。例如，可防止因為可能超過深度值域(ex. 0~255)，而需加以限制。當然，本發明之深度值域不限於此，可為任何值域範圍。

另外，本發明實施例之影像深度產生裝置40可利用統計單元42接收畫素Pi，統計整張影像的直方圖(histogram),併對三個分量分別統計，以將深度之設定作的更細膩，而決定指定色彩之選擇。舉例而言，若透過統計後之直方圖發現整張影像下方綠色分量大的個數遠較影像上方的多則設定影像擁有較多草地的畫面，則可將綠色設成指定色，並設為具有較大的映射限制範圍(map_limit)，以讓綠色區域具有較大的深度值。須注意，一實施例中，可在整張影像中指定不同影像區域分開統計，產生複數個直方圖，以更精細的規畫影像之深度值。

依此方式，本發明實施例之影像深度產生裝置40，可利用影像畫素之色彩，知悉並處理畫素的影像細節，而達成製作出非常精細之三維影像。

第5圖顯示本發明一實施例之一種影像深度產生方法，該方法包含下列步驟：

步驟S502：接收一包含複數個畫素之輸入影像。

步驟S504：對該輸入影像指定一顏色、及指定該顏色對應的深度偏移量。

步驟S506：將輸入影像之每一輸入畫素之顏色與該指定顏色比較，根據輸入畫素之顏色和該指定顏色之接近程度與該深度偏移量決定輸入畫素的深度值。

步驟S510：結束。

舉例而言，假設影像之深度為8位元，將數值0設為遠景、255設為近景。若將膚色如作為指定色，且若其深度為200，則將+200作為深度偏移值。接著，依據顏色接近呈度進行判斷。將輸入每一畫素都與膚色比較，比較後將顏色差很多的深度設為0作為遠景；而越近膚色之顏色就設定越接近+200的值。

依此方式，本發明實施例，可針對影像的顏色特性與設計者之需求任意設定影像之深度表現，可有效地產生需求之影像顯示效果，如本例中，可達成突顯人臉和皮膚之目的。

再者，一實施例，若想把天空或大海當成遠景，草地當成近景則可指定藍色之深度為小值或負值、綠色之深度為大值，就可以達到預定之顯示效果。

以上雖以實施例說明本發明，但並不因此限定本發明之範圍，只要不脫離本發明之要旨，該行業者可進行各種變形或變更。

10．．．三維(3D)影像產生裝置

20、11．．．深度產生裝置

12．．．深度影像繪圖裝置

21、21a、21b、21c．．．色彩選擇裝置

22、c1、c2、c3、25、26．．．計算器

22a、22b、22c．．．減法器

24a、24b、24c．．．乘法器

41．．．色彩轉換裝置

42．．．統計單元

43．．．深度限制裝置

第1圖顯示一習知三維影像產生裝置之示意圖。

第2圖顯示本發明一實施例之一種影像深度產生裝置20之示意圖。

第3A圖顯示本發明色彩選擇器之一實施例之示意圖。

第3B圖顯示本發明一實施例之權重距離值與暫時之深度偏移量之轉換表之示意圖。第4圖顯示本發明另一實施例之影像深度產生裝置之示意圖

第5圖顯示本發明一實施例之一種影像深度產生方法之流程圖。

20．．．影像深度產生裝置

21．．．色彩選擇裝置

22．．．計算器

Claims

一種影像深度產生裝置，包含：一色彩選擇裝置，接收一具有複數個畫素之輸入影像，依據至少一參數以及該複數個畫素的顏色，以產生每一畫素之深度偏移量；以及至少一計算器，耦接該色彩選擇裝置，依據該每一畫素之深度偏移量與一預設深度，以產生該輸入影像之每一畫素之一輸出深度值；其中該預設深度係依據該參數而設定，且該參數係依據一指定顏色決定。
如申請專利範圍第1項所述之裝置，其中該預設深度對應一指定顏色，且該預設深度為常數或漸層值。
如申請專利範圍第1項所述之裝置，其中該畫素顏色之數值與該參數之差值，決定該畫素於該輸入影像中為遠景或近景。
如申請專利範圍第1項所述之裝置，其中該色彩選擇器包含有：複數個計算單元，用以比較該畫素之影像分量與該參數之差異，產生一權重距離值；以及一深度映射單元，依據一預設轉換表轉換該權重距離值，以產生該深度偏移量。
如申請專利範圍第1項所述之裝置，其中該色彩選擇器更包含一乘法器，用以將該深度偏移量乘上正值或負值，以指定該畫素之遠近。
如申請專利範圍第1項所述之裝置，更包含一色彩轉換裝置，該色彩轉換裝置用以接收該輸入影像之畫素，且對該畫素進行色彩轉換處理，以決定該輸入影像之一指定顏色以設定該參數。
如申請專利範圍第1項所述之裝置，其中該參數包含有該指定顏色之至少一參考值、該指定顏色之至少一增益值、該指定顏色設計出之映射方法、以及深度之設定正負值方向。
如申請專利範圍第1項所述之裝置，包含有複數個色彩選擇裝置耦接複數個計算器，以產生複數個深度偏移量。
如申請專利範圍第8項所述之裝置，其中，每該色彩選擇裝置設有不同之該指定顏色與不同之該參數。
如申請專利範圍第8項所述之裝置，更包含一深度限制器，該深度限制器用以接收累加之該些深度偏移量，以限制累加後之深度值之範圍。
如申請專利範圍第1項所述之裝置，更包含一統計單元，該統計單元用以統計該輸入影像之狀態，產生一直方圖，以作為決定指定顏色之依據。
如申請專利範圍第1項所述之裝置，其中該畫素包含有複數個影像分量，且該參數包含有複數個參考值，且該些參考值之數目係相對應該畫素分量之數目。
一種影像深度產生方法，包含有：接收一包含複數個畫素之輸入影像；對該輸入影像指定一顏色、及指定該顏色對應的深度偏移量；將該輸入影像之每一輸入畫素之顏色與該指定顏色比較，根據該輸入畫素顏色和該指定顏色之接近程度與該深度偏移量決定該輸入畫素之深度值；該輸入畫素顏色和該指定顏色之接近程度為該指定顏色之一參數與該指定顏色之差值。
如申請專利範圍第13項所述之方法，其中該些輸入畫素之深度值係用以表示該些輸入畫素為遠景或近景之程度。
如申請專利範圍第13項所述之方法，更包含：統計該輸入影像至少一預設區域之顏色狀態，以決定如何選擇該指定顏色。
一種視訊處理方法，包含有：接收一畫素，且該畫素包含有複數個分量；比較該畫素之複數個分量與一複數個預設分量參考值，產生一深度偏移量；以及將該深度偏移量與一預設深度值相加，產生一輸出深度值；其中該預設深度係依據該複數個預設分量參考值而設定，且該複數個預設分量參考值係依據該複數個分量之指定顏色決定。
如申請專利範圍第16項所述之方法，包含有複數種預設分量參考值，且每一種預設分量參考值包含有複數個分量參考值，而每種預設分量參考值與該畫素之複數個分量計算後產生之深度偏移量相加後，產生該深度偏移量。
如申請專利範圍第16項所述之方法，其中該複數個分量係位於色域空間色調濃度亮度(Hue,Saturation,Intensity，HSI)空間、色差影像(YUV)空間、亮度彩度YCbCr空間、紅綠藍(RGB)其中之一。
如申請專利範圍第18項所述之方法，其中該複數個分量係預先轉換至任一該色域空間。