TWI474282B - 深度相關的影像加強 - Google Patents
深度相關的影像加強 Download PDFInfo
- Publication number
- TWI474282B TWI474282B TW97138281A TW97138281A TWI474282B TW I474282 B TWI474282 B TW I474282B TW 97138281 A TW97138281 A TW 97138281A TW 97138281 A TW97138281 A TW 97138281A TW I474282 B TWI474282 B TW I474282B
- Authority
- TW
- Taiwan
- Prior art keywords
- depth
- image
- enhancement
- color space
- dependent
- Prior art date
Links
- 230000001419 dependent effect Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 241000023320 Luma <angiosperm> Species 0.000 claims description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims 5
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000002787 reinforcement Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Description
本發明係有關影像強化(enhancement)，特別是關於深度相關(depth-based)的影像或視訊強化。
當三維物體藉由照相機或攝影機而投影映射至二維影像平面時，由於此種投射係為非唯一的多對一轉換，因此會失去立體深度資訊。換句話說，無法藉由投射後的影像點來決定其深度。為了得到一個完整重現或近似的立體表現，必須恢復或產生這些立體深度資訊，用以進行影像強化(enhancement)、影像復原(restoration)、影像合成或影像的顯示。
影像強化是數位影像或視訊處理當中很重要的一種。廣義來看，幾乎所有的數位影像處理工作都會應用到影像強化。一方面來看，影像強化係用以改進影像的品質(例如對比及亮度)；另一方面來看，影像強化係用以作為後續影像處理之準備或前置處理。
影像邊界(edge)之強化或偵測為一種重要的影像強化操作。影像邊界強化會加強影像的邊界或顯示出邊界的細節(例如影像中物體的輪廓)，而保持或甚至壓制影像的其他部分。
傳統的邊界加強通常對二維影像進行二維頻率轉換。頻率轉換係將影像自空間域的亮度表示轉換為頻域的頻率成分表示。經頻率轉換之高頻成分或邊界資訊，其強度會增加或加強，因而產生邊界加強之影像。然而，傳統方法對於不同深度之邊界並沒有作區別，因此，單調地分派相同的深度值給不同的邊界。
鑑於上述傳統方法未能忠實地進行影像之加強，因此亟需提出一種深度相關之影像/視訊加強系統及方法，除了加強影像外，也考量了個別的立體深度資訊。
鑑於上述，本發明的目的之一在於提出一種新穎之深度相關影像/視訊加強系統及方法，使用立體深度資訊以忠實地改良影像品質。
根據實施例，本發明提供一種深度相關之影像加強系統及方法。深度估算單元從二維影像產生立體深度資訊。接著，影像加強單元根據立體深度資訊以加強二維影像。在本實施例的影像加強單元中，深度相關邊界加強單元強調(emphasize)二維影像之邊界細節。深度相關對比調整單元加強亮度(luma)成分之對比特徵，而深度相關飽和度調整單元則加強色度(chroma)成分之飽和度特徵。
第一A圖顯示本發明實施例之深度相關(depth-based)影像/視訊加強(enhancement)系統100。為了便於瞭解本發明，包含有原始影像、處理中影像、結果影像之例示影像也同時附屬顯示於圖式中。第一B圖顯示本發明實施例之深度相關影像/視訊加強方法的流程步驟。
輸入裝置10提供或接收一或多張二維(平面)輸入影像(步驟20)，用以進行本實施例之影像/視訊處理之用。輸入裝置10可以是一種光電裝置，用以將三維物體投影映射至二維影像平面。在本實施例中，輸入裝置10可以是照相機，用以取像得到二維影像；或者可以是攝影
機，用以取得多幅影像。在另一實施例中，輸入裝置10可以是前置處理裝置，用以進行一或多個影像處理工作，例如影像強化、影像復原、影像分析、影像壓縮或影像合成。再者，輸入裝置10可更包含一儲存裝置(例如半導體記憶體或硬碟)，用以儲存經前置處理裝置所處理的影像。如前所述，當三維物體投影映射至二維影像平面時，會失去立體深度資訊，因此，以下將詳述本發明實施例之深度相關影像/視訊加強系統100的其他方塊是如何用來處理輸入裝置10所提供的二維影像。
接下來，輸入裝置10所提供的二維影像經由立體深度估算單元11處理，以產生或重現影像中物體的立體深度資訊(步驟21)。在本說明書中，”單元”一詞可用以表示一電路、一程式或其組合。立體深度估算單元11可以是傳統的電路或演算法，用以自二維影像產生立體深度資訊。或者，立體深度估算單元11也可以是新穎的電路或演算法，其揭露於本案申請人的下列專利申請案中：”偵測消失線以產生立體深度資訊”(發明人為陳良基等人)、”區塊相關之材質密度分析以產生立體深度資訊”(發明人為陳良基等人)、”估算區域模糊程度以產生立體深度資訊”(發明人為陳良基等人)。
立體深度估算單元11所產生的立體深度資訊和輸入裝置10所提供的原始二維影像共同饋至影像加強(或調整(adjustment))單元12(步驟22)。在本實施例中，影像加強單元12改進原始二維影像之邊界、對比及飽和度(saturation)。再者，本發明實施例之影像加強單元12根據立體深度資訊來進行此影像處理，使得影像中的邊界細節(例如個別區域之物體的輪廓)根據個別不同深度而施予不同程度的強調(emphasize)或加強。例如，具較小深度值(亦即，較靠近觀看者)之物體輪廓施予較大程度的加強或使用較大加強權重，而具較大深度值(亦即，較遠離觀看者)之物體輪廓則施予較小程度的加強或使用較小加強權重。影像加強之執行可以使用傳統或未來的影像技術，其可以屬於空間域加強處理或頻域加強處理。
第二A圖顯示本發明實施例之影像加強單元12的詳細方塊圖，而第二B圖則顯示本發明實施例之影像加強步驟22的詳細流程步驟。
首先，二維影像藉由邊界加強單元120以強調顯示出影像中的邊界細節。特別的是，此邊界加強之執行係根據
深度資訊的。例如，具較小深度值(亦即，較靠近觀看者)之物體使用較大加強權重，而具較大深度值(亦即，較遠離觀看者)之物體則使用較小加強權重。權重值可以根據個別應用需求而從實驗得到。在本實施例中，邊界加強之進行係藉由高通濾波技術，首先使用一空間域摺遮罩(convolution mask)，接著以此遮罩針對一中心像素周圍的像素群進行處理。
邊界加強單元120所得到的邊界加強影像可藉由一轉換器122將其自紅/綠/藍(RGB)顏色空間轉換至色調/飽和度/亮度(hue/saturation/intensity, HSI)顏色空間(步驟222)。然而，如果經轉換之顏色資料可以事先提供的話，則上述的轉換即可省略。再者，雖然本實施例使用HSI顏色空間，然而也可以使用其他的顏色空間，例如HSL (hue/saturation/lightness)或HSV (hue/saturation/value)。經轉換的影像資料基本上包含亮度(luma)成分及色度(chroma)成分。
在本實施例中，使用對比調整單元124對亮度成分進行對比調整或加強(步驟224)，以加強其對比特性。特別的是，此對比調整之執行係根據深度資訊的。例如，具較
小深度值(亦即，較靠近觀看者)之物體使用較大加強權重，而具較大深度值(亦即，較遠離觀看者)之物體則使用較小加強權重。權重值可以根據個別應用需求而從實驗得到。在本實施例中，對比調整之進行係使用亮度分佈圖伸展(histogram stretching)技術，其將分佈圖中灰階值大於臨界值之像素值予以增加，而將分佈圖中灰階值小於臨界值之像素值予以降低。
此外，使用飽和度調整單元126對色度成分進行飽和度調整或加強(步驟226)，以加強其飽和度特性或顏色/色調之純度。特別的是，此飽和度調整之執行係根據深度資訊的。例如，具較小深度值(亦即，較靠近觀看者)之物體使用較大加強權重，而具較大深度值(亦即，較遠離觀看者)之物體則使用較小加強權重。權重值可以根據個別應用需求而從實驗得到。
接下來，將對比調整單元124所得到的對比調整亮度成分和飽和度調整單元126所得到的飽和度調整色度成分從HSI顏色空間轉換回到RGB顏色空間(方塊128，步驟228)。上述之顏色空間反轉換可以省略，或者暫時保持不動。再者，在本實施例中，雖然邊界之調整120係先於
對比/飽和度之調整124/126，然而，其順序也可以予以顛倒。另外，可以根據個別應用需求而將邊界調整120、對比調整124、飽和度調整126其中的一或多個予以省略。
輸出裝置13從影像加強單元12接收加強影像，並產生輸出影像(步驟23)。在一實施例中，輸出裝置13可以為顯示裝置，用以顯示或供觀看所接收的加強影像。在另一實施例中，輸出裝置13可以為儲存裝置，例如半導體記憶體或硬碟，用以儲存所接收的加強影像。再者，輸出裝置13也可更包含一後置處理裝置，用以進行一或多種影像處理，例如影像復原、影像分析、影像壓縮或影像合成。
根據上述，本發明實施例可忠實地改良影像品質，例如邊界、對比或飽和度，或者為其他特徵(例如材質(texture)特徵、空間特徵、雜訊或模糊程度(blurriness))。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精
神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
100‧‧‧深度相關影像/視訊加強系統
10‧‧‧輸入裝置
11‧‧‧立體深度估算單元
12‧‧‧影像加強單元
13‧‧‧輸出裝置
20-23‧‧‧實施例之流程步驟
120‧‧‧邊界加強單元
122‧‧‧轉換器
124‧‧‧對比調整單元
126‧‧‧飽和度調整單元
128‧‧‧顏色空間反轉換
220-228‧‧‧影像加強步驟的詳細流程步驟
第一A圖顯示本發明實施例之深度相關影像/視訊加強系統。
第一B圖顯示本發明實施例之深度相關影像/視訊加強方法的流程步驟。
第二A圖顯示本發明實施例之影像加強單元的詳細方塊圖。
第二B圖顯示本發明實施例之影像加強步驟的詳細流程步驟。
100‧‧‧深度相關影像/視訊加強系統
10‧‧‧輸入裝置
11‧‧‧立體深度估算單元
12‧‧‧影像加強單元
13‧‧‧輸出裝置
Claims (20)
- 一種深度相關之影像加強系統，包含：一深度估算單元，用以從二維影像產生立體深度資訊；及一影像加強單元，其根據該立體深度資訊以加強該二維影像；其中上述之影像加強單元包含：一深度相關邊界加強單元，用以強調(emphasize)該二維影像之邊界細節，該深度相關邊界加強單元之執行係根據所產生之立體深度資訊，對於具較小深度值之影像物體使用較大加強權重，對於具較大深度值之影像物體使用較小加強權重；一顏色空間轉換器，用以轉換該深度相關邊界加強單元所產生的邊界加強影像之顏色空間(color space)，以得到亮度(luma)成分及色度(chroma)成分；一深度相關對比調整單元，用以加強該亮度成分之對比特徵，該深度相關對比調整單元之執行係根據所產生之立體深度資訊，對於具較小深度值之影像物體使用較大加強權重，對於具較大深度值之影像物體使用較小加強權重；一深度相關飽和度調整單元，用以加強該色度成分之飽和度特徵，該深度相關飽和度調整單元之執行係根據所產 生之立體深度資訊，對於具較小深度值之影像物體使用較大加強權重，對於具較大深度值之影像物體使用較小加強權重；及一顏色空間反轉換器，用以將該經調整之亮度成分及經調整之色度成分轉換回原始二維影像之顏色空間。
- 如申請專利範圍第1項所述深度相關之影像加強系統，其中上述之影像加強單元對於下列之一或多個特徵進行加強：邊界、對比及飽和度。
- 如申請專利範圍第1項所述深度相關之影像加強系統，其中上述之深度相關邊界加強單元包含：一空間域摺遮罩(convolution mask)，其針對該二維影像的一中心像素周圍的像素群進行處理。
- 如申請專利範圍第1項所述深度相關之影像加強系統，其中上述之深度相關對比調整單元包含：一亮度分佈圖伸展(histogram stretching)裝置，用以將灰階值大於臨界值之像素值予以增加，而將灰階值小於臨界值之像素值予以降低。
- 如申請專利範圍第1項所述深度相關之影像加強系統，其中上述之顏色空間轉換器將該二維影像從紅/綠/藍(RGB)顏色空間轉換至色調/飽和度/亮度(hue/saturation/intensity,HSI)顏色空間。
- 如申請專利範圍第5項所述深度相關之影像加強系統，其中上述之顏色空間反轉換器將經加強之二維影像從HSI顏色空間轉換回RGB顏色空間。
- 如申請專利範圍第1項所述深度相關之影像加強系統，更包含一輸入裝置，用以接收該二維影像。
- 如申請專利範圍第7項所述深度相關之影像加強系統，其中上述之輸入裝置更儲存該二維影像。
- 如申請專利範圍第1項所述深度相關之影像加強系統，更包含一輸出裝置，其接收該經強化之二維影像。
- 如申請專利範圍第9項所述深度相關之影像加強系統，其中上述之輸出裝置更儲存或顯示該強化二維影像。
- 一種深度相關之影像加強方法，包含：從二維影像產生立體深度資訊；及根據該立體深度資訊以加強該二維影像；其中上述之加強步驟包含下列次步驟：根據該立體深度資訊，加強該二維影像之邊界細節，其執行係根據所產生之立體深度資訊，對於具較小深度值之影像物體使用較大加強權重，對於具較大深度值之影像物體使用較小加強權重；轉換該邊界加強步驟所產生的邊界加強影像之顏色空間(color space)，以得到亮度(luma)成分及色度(chroma)成分；根據該立體深度資訊，加強該亮度成分之對比特徵，其執行係根據所產生之立體深度資訊，對於具較小深度值之影像物體使用較大加強權重，對於具較大深度值之影像物體使用較小加強權重；根據該立體深度資訊，加強該色度成分之飽和度特徵，其執行係根據所產生之立體深度資訊，對於具較小深度值之影像物體使用較大加強權重，對於具較大深度值之影像物體使用較小加強權重；及將該經調整之亮度成分及經調整之色度成分轉換回原始二維影像之顏色空間。
- 如申請專利範圍第11項所述深度相關之影像加強方法，其中上述之加強步驟對於下列之一或多個特徵進行加強：邊界、對比及飽和度。
- 如申請專利範圍第11項所述深度相關之影像加強方法，其中上述之邊界細節加強次步驟包含：使用一空間域摺遮罩(convolution mask)於該二維影像的一中心像素周圍的像素群。
- 如申請專利範圍第11項所述深度相關之影像加強方法，其中上述之對比特徵加強次步驟包含：將灰階值大於臨界值之像素值予以增加，而將灰階值小於臨界值之像素值予以降低。
- 如申請專利範圍第11項所述深度相關之影像加強方法，其中上述之顏色空間轉換次步驟將該二維影像從紅/綠/藍(RGB)顏色空間轉換至色調/飽和度/亮度(hue/saturation/intensity,HSI)顏色空間。
- 如申請專利範圍第15項所述深度相關之影像加強方法，其中上述之顏色空間反轉換次步驟將經加強之二維影像從HSI顏色空間轉換回RGB顏色空間。
- 如申請專利範圍第11項所述深度相關之影像加強方法，更包含一步驟，用以接收該二維影像。
- 如申請專利範圍第17項所述深度相關之影像加強方法，更包含一步驟以儲存該二維影像。
- 如申請專利範圍第11項所述深度相關之影像加強方法，更包含一步驟，用以接收該經強化之二維影像。
- 如申請專利範圍第19項所述深度相關之影像加強方法，更包含一步驟以儲存或顯示該強化二維影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW97138281A TWI474282B (zh) | 2008-10-03 | 2008-10-03 | 深度相關的影像加強 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW97138281A TWI474282B (zh) | 2008-10-03 | 2008-10-03 | 深度相關的影像加強 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201015492A TW201015492A (en) | 2010-04-16 |
| TWI474282B true TWI474282B (zh) | 2015-02-21 |
Family
ID=44830065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW97138281A TWI474282B (zh) | 2008-10-03 | 2008-10-03 | 深度相關的影像加強 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI474282B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI462567B (zh) * | 2010-06-18 | 2014-11-21 | Realtek Semiconductor Corp | 三維處理電路及處理方法 |
| KR101966975B1 (ko) * | 2012-09-03 | 2019-04-08 | 엘지이노텍 주식회사 | 스테레오 매칭장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1066100A (ja) * | 1996-08-21 | 1998-03-06 | Nippon Telegr & Teleph Corp <Ntt> | 画像領域分割装置 |
| US20050099545A1 (en) * | 2003-11-10 | 2005-05-12 | Huaya Microelectronics (Shanghai) Inc. | Image enhancement unit and method for image quality improvement of a video stream |
| AP2008A (en) * | 2003-04-11 | 2009-06-29 | Glenmark Pharmaceuticals Sa | Novel heterocyclic compounds useful for the treatment of inflammatory and allergic disorders; process for their preparation and pharmaceutical compositions containing them |
-
2008
- 2008-10-03 TW TW97138281A patent/TWI474282B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1066100A (ja) * | 1996-08-21 | 1998-03-06 | Nippon Telegr & Teleph Corp <Ntt> | 画像領域分割装置 |
| AP2008A (en) * | 2003-04-11 | 2009-06-29 | Glenmark Pharmaceuticals Sa | Novel heterocyclic compounds useful for the treatment of inflammatory and allergic disorders; process for their preparation and pharmaceutical compositions containing them |
| US20050099545A1 (en) * | 2003-11-10 | 2005-05-12 | Huaya Microelectronics (Shanghai) Inc. | Image enhancement unit and method for image quality improvement of a video stream |
Non-Patent Citations (1)
| Title |
|---|
| Fattal, R., "Single Image Dehazing,"Proc. SIGGR, Vol. 27, Issue 3, pp. 1~9, Aug. 11~Aug. 15 2008. * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201015492A (en) | 2010-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8059911B2 (en) | Depth-based image enhancement | |
| EP2852152B1 (en) | Image processing method, apparatus and shooting terminal | |
| JP4542528B2 (ja) | 画像のコントラスト強調方法及び画像のコントラスト強調システム | |
| Jiang et al. | Image dehazing using adaptive bi-channel priors on superpixels | |
| CN107045715B (zh) | 一种单幅低动态范围图像生成高动态范围图像的方法 | |
| CN101971612B (zh) | 图像处理装置和方法 | |
| JP6803378B2 (ja) | 逆トーンマッピングの方法及び装置 | |
| JP4858610B2 (ja) | 画像処理方法 | |
| CN102509272A (zh) | 一种基于颜色恒常性的彩色图像增强方法 | |
| TWI558207B (zh) | 寬動態範圍影像方法 | |
| KR20110124965A (ko) | 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 | |
| CN107578383A (zh) | 一种低照度图像增强处理方法 | |
| JP5703255B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP7307371B2 (ja) | 画像調整装置、画像調整方法及びプログラム | |
| Kao | High dynamic range imaging by fusing multiple raw images and tone reproduction | |
| WO2012169292A1 (ja) | 画像処理装置及び撮像装置 | |
| WO2011067755A1 (en) | Method and system for automatically recovering chromaticity and image variation of colour clipped image regions | |
| Albu et al. | One scan shadow compensation and visual enhancement of color images | |
| CN110023957B (zh) | 用于估计图像中的投射阴影区域和/或加亮区域的方法和设备 | |
| Xu et al. | Correction of clipped pixels in color images | |
| TWI474282B (zh) | 深度相關的影像加強 | |
| JP2015076642A (ja) | 画像処理装置及びプログラム | |
| Srinivas et al. | Channel prior based Retinex model for underwater image enhancement | |
| JP2020004007A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN101751661B (zh) | 深度相关的影像加强系统及方法 |