TWI383686B - 影像處理電路及影像處理方法 - Google Patents

Description

影像處理電路及影像處理方法

本發明大體係有關於視訊解碼，更具體地，係關於一種能夠提供執行線上顏色空間轉換(online color space conversion)之影像處理電路及影像處理方法。

如所屬技術領域內具有通常知識者所了解，高解析度視訊格式一般使用國際通信聯盟之無線電通訊部門(International Telecommunication Union Radiocommunication Sector，ITU-R)BT.709(其可稱作Rec. 709)所定義的顏色空間，而標準解析度的視訊格式一般使用由ITU-R BT.601(可稱作Rec. 601)所定義的顏色空間。若不經顏色空間轉換而將高解析度影像降級(down-scale)為標準解析度影像(或標準解析度影像升級為高解析度影像)，轉變結果的顏色精度(色調或顏色準確度)可能不可接受。因此，於執行如此縮放操作(scaling operations)時，建議總進行顏色空間轉換操作。

根據先前技術，於視訊解碼裝置內，用於執行基於訊框(frame based)之顏色空間轉換之電路一般實施於顯示單元內。於視訊解碼裝置內，視訊解碼器可解碼一區塊影像源，以暫時儲存要顯示於訊框緩衝器中的整個影像之解碼資料，其中若需要縮放，視訊解碼裝置內的縮放單元可對整個影像的解碼資料執行縮放操作。另外，若需要執行前述的基於訊框之顏色空間轉換，其根據從訊框緩衝器存取之解碼資料，當顯示單元操作以顯示整個影像時執行。

當顯示整個影像時，不同視訊格式之影像源之視訊內容可能需要混合。舉例來說，請參考第1圖，需要於背景影像10上顯示分別對應不同視訊格式(例如標準解析度及高解析度)之複數個影像源之摘要影像(digest image)11，12，13，14與15。於此情形下，若決定跳過基於訊框之顏色空間轉換操作，摘要影像之顏色精度可能不可接受。相反地，若決定總要執行基於訊框之顏色空間轉換，以維持摘要影像之顏色精度，當顯示單元根據從訊框緩衝器存取之解碼資料進行逐掃描線操作時，基於訊框之顏色空間轉換的功能必須被準確開啟或關閉。因此，顯示單元(更具體地，係用於執行基於訊框之顏色空間轉換之電路)之實施非常複雜與難以處理。

有鑑於此，本發明提供一種影像處理電路及影像處理方法，可以降低顏色空間轉換操作的複雜度。

本發明提供一種影像處理電路，包含：視訊解碼器，用於解碼至少一區塊影像源以產生第一解碼資料，其中區塊影像源與第一解碼資料對應於第一顏色空間；顏色空間轉換單元，耦接至視訊解碼器，用於對第一解碼資料執行顏色空間轉換以產生第二解碼資料，其中第二解碼資料對應第二顏色空間；基於區塊縮放單元，耦接至顏色空間轉換單元，用於對第二解碼資料執行縮放操作以產生縮放資料，其中縮放資料對應第二顏色空間；以及訊框緩衝器，耦接至基於區塊縮放單元，用於暫時儲存縮放資料，其中縮放資料於第二顏色空間中被使用。

本發明另提供一種影像處理方法，包含：解碼至少一區塊影像源，以產生第一解碼資料，其中區塊影像源與第一解碼資料對應第一顏色空間；對第一解碼資料執行顏色空間轉換以產生第二解碼資料，其中第二解碼資料對應第二顏色空間；對第二解碼資料執行縮放操作以產生縮放資料，其中縮放資料對應第二顏色空間；以及暫時儲存縮放資料，其中暫時儲存之縮放資料於第二顏色空間中被使用。

本發明利用基於區塊執行縮放操作來產生解碼器資料，使顏色空間轉換操作更簡單。

在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，硬體製造商可能會用不同的名詞來稱呼同一個元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。以外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。

請參考第2圖，第2圖顯示根據本發明之實施例之影像處理電路100之示意圖。影像處理電路100包含視訊解碼器110，顏色空間轉換單元120，基於區塊縮放單元130，記憶體控制單元140，以及訊框緩衝器150，其中本實施例之訊框緩衝器150為隨機存取記憶體(Random Access Memory，RAM)，更具體地，為SDRAM。根據本實施例之一實施選項，視訊解碼器110，顏色空間轉換單元120，基於區塊縮放單元130，以及記憶體控制單元140可整合進單一晶片中。根據本實施例之另一實施選項，視訊解碼器110，顏色空間轉換單元120，基於區塊縮放單元130，以及記憶體控制單元140可為獨立電路。

根據本實施例，視訊解碼器110能夠解碼至少一個區塊影像源S1以產生解碼之資料D1，其中區塊影像源S1與解碼資料D1對應第一顏色空間(例如ITU-R BT.709顏色空間或ITU-R BT.601顏色空間其中之一)。請注意，解碼資料D1是根據一巨集塊產生的，所以本實施例之顏色空間轉換單元120能夠對解碼資料D1執行顏色空間轉換，來以基於區塊方式產生解碼資料D2，使得解碼資料D2對應與第一顏色空間不同的第二顏色空間。另外，基於區塊縮放單元130能夠對解碼資料D2執行縮放操作以產生縮放資料Ds，其中縮放資料Ds對應第二顏色空間。結果，基於區塊縮放單元130可透過記憶體控制單元140暫時儲存縮放資料Ds於訊框緩衝器150中，其中暫時儲存於訊框緩衝器150中的縮放資料Ds於第二顏色空間內使用。記憶體控制單元140之操作為所屬技術領域內具有通常知識者所熟知，因而此處不再贅述。

第3圖顯示根據本發明之一實施例之於標準解析度視訊格式的背景影像20上顯示縮放影像21之示意圖。其中縮放影像21從高解析度視訊格式之原始影像19中獲取。本實施例是第2圖中實施例的一個特例。原始影像19代表對應第一顏色空間之區塊影像源S1之一影像，而背景影像20代表對應第二顏色空間之區塊影像源S2之一影像。

根據本實施例，訊框緩衝器150能夠被耦接至一顯示裝置或顯示電路(圖未示)，其可被用來存取暫時儲存於訊框緩衝器150內的縮放資料Ds。如第3圖右半部分所示，顯示裝置能夠根據縮放資料Ds顯示區塊影像源S1之縮放影像21，以及根據其它解碼資料D4(圖未示)顯示背景影像20之非覆蓋部分，其藉由視訊解碼器110從區塊影像源S2解碼且暫時儲存於訊框緩衝器150中。根據本實施例，透過不執行縮放操作來產生解碼資料D4，其中解碼資料D4對應第二顏色空間。

因為縮放影像21是一個子圖像，其為顯示裝置顯示的整個影像之部分，所以應根據用來顯示背景影像20的同一顏色空間來顯示縮放影像21，以維持縮放影像21之顏色精度。如此，當視訊解碼器110解碼一巨集塊影像源S1來產生巨集塊之解碼資料D1時，顏色空間轉換單元120對巨集塊的解碼資料D1執行基於區塊顏色空間轉換來產生巨集塊的解碼資料D2，且基於區塊縮放單元130對巨集塊的解碼資料D2執行縮放操作以產生巨集塊的縮放資料Ds，並透過記憶體控制單元140將巨集塊的縮放資料Ds暫時儲存於訊框緩衝器150內。此操作可被稱作線上顏色轉換與縮放(online color space conversion and scaling)，其中視訊解碼器110，顏色空間轉換單元120，以及基於區塊縮放單元130之操作為基於區塊之操作。

於本實施例中，第一顏色空間為ITU-R BT.709顏色空間，以及第二顏色空間為ITU-R BT.601顏色空間，其中暫時儲存於訊框緩衝器150中的縮放資料Ds代表區塊影像源S1之縮放的ITU-R BT.601顏色空間影像。根據本實施例之一變化例，第一顏色空間為ITU-R BT.601顏色空間，而第二顏色空間為ITU-R BT.709顏色空間，其中暫時儲存於訊框緩衝器150中的縮放資料Ds代表區塊影像源S1的縮放ITU-R BT.709顏色空間影像。

於本實施例中，前述藉由基於區塊縮放單元130執行之縮放操作為降級(down scale)操作。根據本實施例之另一變化例，藉由基於區塊縮放單元130執行之縮放操作為升級(up scale)操作。

同樣於本實施例中，縮放資料Ds被前述顯示裝置使用。根據本實施例之另一變化例，縮放資料Ds可更進一步被另一裝置使用，舉例來說，一記錄裝置。於本實施例中，記錄裝置可存取暫時儲存於訊框記憶體150中的縮放資料Ds與解碼資料D4，以記錄如第3圖右半部分所示的整個影像。此處，顯示裝置可為液晶顯示(Liquid Crystal Display，LCD)面板，且記錄裝置可為數位錄影機。

於本實施例中，解碼資料D1藉由前述線上顏色空間轉換及縮放操作處理，以被前述的顯示裝置使用。根據本實施例之另一變化例，由視訊解碼器110產生之解碼資料D1能被暫時儲存於訊框緩衝器150中，且更進一步被另一裝置使用，例如記錄裝置。於本變化例中，記錄裝置可存取暫時儲存於訊框緩衝器150之中的解碼資料D1，以根據第一顏色空間來記錄。此處，顯示裝置可為液晶顯示面板，且記錄裝置可為數位錄影機。

第4圖顯示根據本發明之實施例之於背景影像30上顯示分別對應不同視訊格式之複數個影像源之摘要影像31，32，33，34與35。本實施例不僅僅是第2圖所示之實施例的一具體實施例，也是第3圖所示之實施例之一變化例。摘要影像31，32，33，34及35分別對應五組的相應影像資料(S1，D1，D2，Ds)，每一組相應影像資料(S1，D1，D2，Ds)對應複數個影像源之一。另外，背景影像30代表對應第二顏色空間的區塊影像源S2之影像。縮放資料Ds由顯示資料於摘要(digest)模式顯示。本實施例之類似說明不再贅述。

上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利範圍應以申請專利範圍為準。

10、20、30．．．背景影像

11-15、31-35．．．摘要影像

100．．．影像處理電路

110．．．視訊解碼器

120．．．顏色空間轉換單元

130．．．基於區塊縮放單元

140．．．記憶體控制單元

150．．．訊框緩衝器

19．．．原始影像

21．．．縮放影像

第1圖顯示於背景影像上顯示分別對應不同視訊格式之複數個影像源之示意圖。

第2圖顯示根據本發明之實施例之影像處理電路之示意圖。

第3圖顯示根據本發明之一實施例之於標準解析度視訊格式的背景影像上顯示縮放影像之示意圖。

第4圖顯示根據本發明之實施例之於背景影像上顯示分別對應不同視訊格式之複數個影像源之示意圖。

100．．．影像處理電路

110．．．視訊解碼器

120．．．顏色空間轉換單元

130．．．基於區塊縮放單元

140．．．記憶體控制單元

150．．．訊框緩衝器

Claims (18)

1. 一種影像處理電路，包含：一視訊解碼器，用於解碼至少一區塊影像源以產生第一解碼資料，其中該區塊影像源與該第一解碼資料對應於一第一顏色空間；一顏色空間轉換單元，耦接至該視訊解碼器，用於對該第一解碼資料執行顏色空間轉換以產生第二解碼資料，其中該第二解碼資料對應一第二顏色空間；一基於區塊縮放單元，耦接至該顏色空間轉換單元，用於對該第二解碼資料執行一縮放操作以產生縮放資料，其中該縮放資料對應該第二顏色空間；以及一訊框緩衝器，耦接至該基於區塊縮放單元，用於暫時儲存該縮放資料，其中暫時儲存於該訊框緩衝器中之該縮放資料於該第二顏色空間中被使用；其中該視訊解碼器更解碼另一區塊影像源來產生另一解碼資料，且該另一區塊影像源與該另一解碼資料對應該第二顏色空間；以及該另一解碼資料與該縮放資料皆暫時儲存於該訊框緩衝器中，使得作為一整個影像之至少一部分使用。
2. 如申請專利範圍第1項所述之影像處理電路，其中該訊框緩衝器能夠被耦接至一顯示裝置，其用於存取暫時儲存於該訊框緩衝器中的該縮放資料，以及該顯示裝置能夠根 據該縮放資料顯示該區塊影像源之一影像。
3. 如申請專利範圍第2項所述之影像處理電路，其中該區塊影像源之該影像為一子圖像，該子圖像為由該顯示裝置顯示之一整個影像之一部分。
4. 如申請專利範圍第3項所述之影像處理電路，其中該縮放資料由該顯示裝置於一摘要模式中顯示，以及該子圖像為由該顯示裝置顯示之該整個影像內之複數個摘要影像其中之一。
5. 如申請專利範圍第1項所述之影像處理電路，其中該第一顏色空間與該第二顏色空間包含一ITU-R BT.709顏色空間與一ITU-R BT.601顏色空間。
6. 如申請專利範圍第5項所述之影像處理電路，其中若該第二顏色空間為該ITU-R BT.709顏色空間，暫時儲存於該訊框緩衝器內之該縮放資料代表該區塊影像源之一縮放之ITU-R BT.709顏色空間影像；以及若該第二顏色空間為該ITU-R BT.601顏色空間，暫時儲存於該訊框緩衝器內之該縮放資料代表該區塊影像源之一縮放之ITU-R BT.601顏色空間影像。
7. 如申請專利範圍第1項所述之影像處理電路，其中 該縮放資料或該第一解碼資料被至少一裝置使用。
8. 如申請專利範圍第7項所述之影像處理電路，其中該縮放資料或該第一解碼資料被複數個裝置使用，該等裝置包含一顯示裝置與一記錄裝置。
9. 如申請專利範圍第1項所述之影像處理電路，其中該視訊解碼器，該顏色空間轉換單元，以及該基於區塊縮放單元之操作為基於區塊操作。
10. 一種影像處理方法，包含：解碼至少一區塊影像源，以產生第一解碼資料，其中該區塊影像源與該第一解碼資料對應一第一顏色空間；對該第一解碼資料執行顏色空間轉換以產生第二解碼資料，其中該第二解碼資料對應一第二顏色空間；對該第二解碼資料執行一縮放操作以產生縮放資料，其中該縮放資料對應該第二顏色空間；暫時儲存該縮放資料，其中暫時儲存之該縮放資料於該第二顏色空間中被使用；解碼另一區塊影像源來產生其它解碼資料，其中該另一區塊影像源與該其它解碼資料對應該第二顏色空間；以及暫時儲存該其它解碼資料；其中該其它解碼資料與該縮放資料皆被暫時儲存，使得如一整個影像之至少一部分使用該其它解碼資料與該縮放 資料。
11. 如申請專利範圍第10項所述之影像處理方法，更包含：使用一顯示裝置或一顯示電路以存取暫時儲存之該縮放資料，以根據該縮放資料顯示該區塊影像源之一影像。
12. 如申請專利範圍第11項所述之影像處理方法，其中該區塊影像源之該影像為一子圖像，該子圖像為由該顯示裝置顯示之一整個影像之一部分。
13. 如申請專利範圍第12項所述之影像處理方法，其中該縮放資料由該顯示裝置於一摘要模式中顯示，以及該子圖像為由該顯示裝置顯示之該整個影像內之複數個摘要影像其中之一。
14. 如申請專利範圍第10項所述之影像處理方法，其中該第一顏色空間與該第二顏色空間包含一ITU-R BT.709顏色空間與一ITU-R BT.601顏色空間。
15. 如申請專利範圍第14項所述之影像處理方法，其中若該第二顏色空間為該ITU-R BT.709顏色空間，暫時儲存之該縮放資料代表該區塊影像源之一縮放之ITU-R BT.709顏色空間影像；以及若該第二顏色空間為該ITU-R BT.601顏色空間，暫時儲存之該縮放資料代表該區塊影像源之一縮放之ITU-R BT.601顏色空間影像。
16. 如申請專利範圍第10項所述之影像處理方法，其中該縮放資料或該第一解碼資料被至少一裝置使用。
17. 如申請專利範圍第16項所述之影像處理方法，其中該縮放資料或該第一解碼資料被複數個裝置使用，該等裝置包含一顯示裝置與一記錄裝置。
18. 如申請專利範圍第10項所述之影像處理方法，其中解碼該區塊影像源之該步驟，對該第一解碼資料執行顏色空間轉換之該步驟，以及對該第二解碼資料執行縮放操作之該步驟皆為基於區塊操作。