TWI835236B - 影像處理方法及影像處理裝置 - Google Patents

影像處理方法及影像處理裝置 Download PDF

Info

Publication number
TWI835236B
TWI835236B TW111129503A TW111129503A TWI835236B TW I835236 B TWI835236 B TW I835236B TW 111129503 A TW111129503 A TW 111129503A TW 111129503 A TW111129503 A TW 111129503A TW I835236 B TWI835236 B TW I835236B
Authority
TW
Taiwan
Prior art keywords
frame
encoded
memory
brightness
color
Prior art date
Application number
TW111129503A
Other languages
English (en)
Other versions
TW202408218A (zh
Inventor
曾逸晨
吳柏賢
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW111129503A priority Critical patent/TWI835236B/zh
Priority to CN202211160447.6A priority patent/CN117560498A/zh
Priority to US18/135,192 priority patent/US20240048740A1/en
Publication of TW202408218A publication Critical patent/TW202408218A/zh
Application granted granted Critical
Publication of TWI835236B publication Critical patent/TWI835236B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種影像處理裝置包含影像編碼器、記憶體及影像解碼器。影像編碼器接收輸入影像幀，從輸入影像幀分別擷取亮度資訊及顏色資訊，對亮度資訊進行編碼以產生編碼後的亮度幀，及對顏色資訊進行編碼以產生編碼後的顏色幀。記憶體耦接於影像編碼器，包含第一記憶體部分、第二記憶體部分及第三記憶體部分。第一記憶體部分儲存編碼後的亮度幀，第二記憶體部分或第三記憶體部分儲存編碼後的顏色幀。影像解碼器耦接於記憶體，從第一記憶體部分讀取編碼後的亮度幀以進行解碼，及從第二記憶體部分或第三記憶體部讀取分讀取編碼後的顏色幀以進行解碼。

Description

影像處理方法及影像處理裝置
本發明關於影像處理，特別是增強影像處理效能的影像處理方法及影像處理裝置。
顯示裝置係為一種顯示影像資料的裝置。影像資料可以多種格式儲存。YUV格式係為一種常用的格式，其中每個畫素以亮度成分(luma component)及顏色成分(chroma component)表示。當以YUV格式中的NV12格式傳送影像時，會先傳送所有畫素的亮度成分，再傳送所有畫素的顏色成分。在符合運動聯合圖像專家小組(motion joint photographic experts group，MJPEG)標準及動態影像專家小組(moving picture experts group，MPEG)標準的相關技術中，所有畫素的亮度成分及顏色成分都會編碼成同一壓縮檔。由於影像解碼器的記憶體有限，導致在需要傳送所有畫素的亮度成分時，影像解碼器需對壓縮檔進行一次解碼以產生要所有畫素的亮度成分，而在需要傳送所有畫素的顏色成分時，影像解碼器則需對壓縮檔進行另一次解碼才能產生要所有畫素的顏色成分。若原本影像解碼器每秒可產生的幀數目為60，由於需要2次解碼，因此影像解碼器每秒可產生的幀數目會減半變成30，大幅降低效能。
此外，由於必須等所有畫素的顏色成分解碼完成才能釋放記憶體，因此記憶體的空間大小必須至少可以儲存2張影像的壓縮檔，一半的記憶體空間用於暫存正在解碼的壓縮檔，另一半的記憶體空間用於暫存新寫入的壓縮檔， 大幅增加所需記憶體空間。
本發明實施例提供一種影像處理方法，包含接收第一輸入影像幀，從第一輸入影像幀分別擷取第一亮度資訊及第一顏色資訊，對第一亮度資訊進行編碼以產生第一編碼後的亮度幀，對第一顏色資訊進行編碼以產生第一編碼後的顏色幀，將第一編碼後的亮度幀寫入至記憶體的第一記憶體部分，將第一編碼後的顏色幀寫入至記憶體的第二記憶體部分，及從第一記憶體部分讀取第一編碼後的亮度幀以對第一編碼後的亮度幀進行解碼。此外，影像處理方法另包含當對第一編碼後的亮度幀進行解碼時，接收第二輸入影像幀，從第二輸入影像幀分別擷取第二亮度資訊及第二顏色資訊，對第二亮度資訊進行編碼以產生第二編碼後的亮度幀，對第二顏色資訊進行編碼以產生第二編碼後的顏色幀，將第二編碼後的亮度幀寫入至記憶體的第一記憶體部分，及將第二編碼後的顏色幀寫入至記憶體的第三記憶體部分。
本發明實施例另提供一種影像處理裝置，包含影像編碼器、記憶體及影像解碼器。影像編碼器用以接收第一輸入影像幀，從第一輸入影像幀分別擷取第一亮度資訊及第一顏色資訊，對第一亮度資訊進行編碼以產生第一編碼後的亮度幀，及對第一顏色資訊進行編碼以產生第一編碼後的顏色幀。記憶體耦接於影像編碼器，包含第一記憶體部分、第二記憶體部分及第三記憶體部分。第一記憶體部分用以儲存第一編碼後的亮度幀，及第二記憶體部分用以儲存第一編碼後的顏色幀。影像解碼器耦接於記憶體，用以從第一記憶體部分讀取第一編碼後的亮度幀以對第一編碼後的亮度幀進行解碼。影像編碼器另用以當對第一編碼後的亮度幀進行解碼時，接收第二輸入影像幀，從第二輸入影像幀分 別擷取第二亮度資訊及第二顏色資訊，對第二亮度資訊進行編碼以產生第二編碼後的亮度幀，對第二顏色資訊進行編碼以產生第二編碼後的顏色幀，將第二編碼後的亮度幀寫入至記憶體的第一記憶體部分，及將第二編碼後的顏色幀寫入至記憶體的第三記憶體部分。
1,4:影像處理裝置
10:影像編碼器
12,42:記憶體
14:影像解碼器
200,500:影像處理方法
S202至S216,S502至S526:步驟
121,421:第一記憶體部分
122,422:第二記憶體部分
423:第三記憶體部分
C121至C12N:編碼後的顏色資訊
IMGi:輸入影像幀
IMGo:輸出影像幀
Y121至Y12N:編碼後的亮度資訊
第1圖係為本發明實施例中之一種影像處理裝置的方塊圖。
第2圖係為第1圖中之影像處理裝置適用的一種影像處理方法的流程圖。
第3A圖係為第1圖中之影像處理裝置傳送YUV幀的示意圖。
第3B圖係為第1圖中之影像處理裝置進行亮度處理的示意圖。
第3C圖係為第1圖中之影像處理裝置進行色彩處理的示意圖。
第4圖係為本發明實施例中之另一種影像處理裝置的方塊圖。
第5A圖及第5B圖係為第4圖中之影像處理裝置適用的一種影像處理方法的流程圖。
第1圖係為本發明實施例中之一種影像處理裝置1的方塊圖。影像處理裝置1可轉換輸入影像幀IMGi的幀率以產生並傳送多種格式的輸出影像幀IMGo至顯示裝置或處理器。顯示裝置可為電視、電腦螢幕、平板電腦、智慧型手機或其他顯示裝置。處理器可為圖形處理器、中央處理器或其他種類的處理器。影像處理裝置1可支援通用序列匯流排影片類別(universal serial bus video class，UVC)標準以傳送輸出影像幀IMGo。輸入影像幀IMGi及輸出影像幀IMGo可為靜態影像或視訊影像，及可為包含亮度(luminance)資訊及顏色(chrominance) 資訊的YUV影像幀，例如YUV420影像幀。輸入影像幀IMGi及輸出影像幀IMGo的格式、幀率(frame rate)及解析度可相同或相異。例如，輸入影像幀IMGi的格式可為NV12，幀率可為30幀/秒，及解析度可為4K超高畫質(ultra-high-definition，UHD)；輸出影像幀IMGo的格式可為NV12，幀率可為60幀/秒，及解析度可為4K UHD。
當輸出影像幀IMGo以平面(planar)格式，例如NV12格式傳送時，影像處理裝置1需先將輸出影像幀IMGo中的亮度資訊全傳送完才能再傳送輸出影像幀IMGo中的顏色資訊。在實施例中，影像處理裝置1可分開對輸入影像幀IMGi中的亮度資訊及顏色資訊進行編碼，當需要傳送輸出影像幀IMGo中的亮度資訊時，僅對編碼後的亮度資訊進行解碼並傳送，且當需要傳送輸出影像幀IMGo中的顏色資訊時，僅對編碼後的顏色資訊進行解碼並傳送，藉以減少解碼次數，降低所需運算能力，及增強影像處理效能。
影像處理裝置1可包含影像編碼器10、記憶體12及影像解碼器14。記憶體12耦接於影像編碼器10，且影像解碼器14耦接於記憶體12。影像編碼器10及影像解碼器14可支援運動聯合圖像專家小組(motion joint photographic experts group，MJPEG)標準、動態影像專家小組(moving picture experts group，MPEG)標準、或其他影像壓縮標準。
影像編碼器10可從視訊源接收輸入影像幀IMGi，視訊源可為電視選道(TV tuner)卡、相機、錄影機、影像儲存媒體或其他數位影像源。輸入影像幀IMGi可包含複數個亮度資訊及複數個顏色資訊，亮度資訊可為輸入影像幀IMGi中每個畫素的亮度成分(luma component)，顏色資訊可為輸入影像幀IMGi中每個 畫素的顏色成分(chroma component)。影像編碼器10可從輸入影像幀IMGi分別擷取該些亮度資訊及該些顏色資訊，對該些亮度資訊進行編碼以產生編碼後的亮度幀，對該些顏色資訊進行編碼以產生編碼後的顏色幀，及將編碼後的亮度幀及編碼後的顏色幀分開儲存於記憶體12。在一些實施例中，該些亮度資訊可為輸入影像幀IMGi中的全部亮度資訊，且該些顏色資訊可為輸入影像幀IMGi中的全部顏色資訊。
記憶體12可包含第一記憶體部分及第二記憶體部分，第一記憶體部分可儲存編碼後的亮度幀，第二記憶體部分可儲存編碼後的顏色幀。記憶體12可為幀緩衝器，具有足夠同時儲存編碼後的亮度幀及編碼後的顏色幀的空間。第二記憶體部分的空間可小於第一記憶體部分的空間。
當以NV12格式傳送輸出影像幀IMGo時，影像解碼器14可從記憶體12的第一記憶體部分讀取編碼後的亮度幀，對編碼後的亮度幀進行解碼以產生複數個解碼後的亮度資訊，及通過UVC驅動器傳送該些解碼後的亮度資訊至顯示裝置。於傳送完該些解碼後的亮度資訊之後，影像解碼器14可從記憶體12的第二記憶體部分讀取編碼後的顏色幀，對編碼後的顏色幀進行解碼以產生複數個解碼後的顏色資訊，及通過UVC驅動器傳送該些解碼後的顏色資訊至顯示裝置。該些解碼後的亮度資訊及該些解碼後的顏色資訊可形成輸出影像幀IMGo。在一些實施例中，當影像解碼器14在對編碼後的亮度幀進行解碼時，記憶體12的第一記憶體部分可被釋放，因此影像編碼器10可將下一個編碼後的亮度幀寫入記憶體12的第一記憶體部分。當影像解碼器14在對編碼後的顏色幀進行解碼時，記憶體12的第二記憶體部分可被釋放，因此影像編碼器10可將下一個編碼後的顏色幀寫入記憶體12的第二記憶體部分。
輸入影像幀IMGi中之亮度資訊及輸出影像幀IMGo中之解碼後的亮度資訊可具有相同或相異的幀率。輸入影像幀IMGi中之顏色資訊及輸出影像幀IMGo中之解碼後的顏色資訊可具有相同或相異的幀率。輸入影像幀IMGi中之亮度資訊及顏色資訊可具有相同的幀率，輸出影像幀IMGo中之解碼後的亮度資訊及解碼後的顏色資訊可具有相同的幀率。例如，輸入影像幀IMGi中之亮度資訊的幀率及輸入影像幀IMGi中之顏色資訊的幀率可為30幀/秒，輸出影像幀IMGo中之亮度資訊的幀率及輸出影像幀IMGo中之顏色資訊的幀率可為60幀/秒。
輸入影像幀IMGi中之亮度資訊及輸出影像幀IMGo中之解碼後的亮度資訊可具有相同或相異的解析度。輸入影像幀IMGi中之顏色資訊及輸出影像幀IMGo中之解碼後的顏色資訊可具有相同或相異的解析度。輸入影像幀IMGi中之亮度資訊及顏色資訊可具有相異的解析度，輸出影像幀IMGo中之解碼後的亮度資訊及解碼後的顏色資訊可具有相異的解析度。例如，輸入影像幀IMGi中之亮度資訊的解析度可為4K UHD，及輸入影像幀IMGi中之輸入影像幀IMGi中之顏色資訊的解析度可為1080p高解析(high definition HD)，輸出影像幀IMGo中之亮度資訊的解析度可為可為4K UHD，及輸出影像幀IMGo中之輸出影像幀IMGo中之顏色資訊的幀率可為1080p HD。
在一些實施例中，影像處理裝置1可實現顯示裝置的亮度處理功能，例如銳利度處理或區域調光(local dimming)。於進行銳利度處理時，處理器可加強輸出影像幀IMGo中所有亮度資料的明暗對比。於進行區域調光(local dimming)時，顯示裝置可依照不同區域個別驅動顯示裝置的背光模組，藉以加強顯示裝置的明暗對比及達成超高畫質。在亮度處理應用中，影像處理裝置1僅需傳送亮 度資訊而無須傳送顏色資訊至顯示裝置。影像編碼器10可從輸入影像幀IMGi僅擷取該些亮度資訊，對該些亮度資訊進行編碼以產生編碼後的亮度幀，及將編碼後的亮度幀儲存於記憶體12。和傳送NV12影像幀的應用相比，由於記憶體12僅需儲存編碼後的亮度幀，因此記憶體12的所需記憶體空間可等於編碼後的亮度幀的大小，進一步節省記憶體空間，加速解碼時間，降低所需運算能力，及增強影像處理效能。當需要傳送亮度資訊時，影像解碼器14可從記憶體12讀取編碼後的亮度幀，對編碼後的亮度幀進行解碼以產生複數個解碼後的亮度資訊，及傳送該些解碼後的亮度資訊至顯示裝置以提供亮度處理功能。
在另一些實施例中，影像處理裝置1可實現顯示裝置的色彩處理功能，例如彩度校正處理或飽和度校正處理。在色彩處理的應用中，影像處理裝置1僅需傳送顏色資訊而無須傳送亮度資訊至顯示裝置。影像編碼器10可從輸入影像幀IMGi僅擷取該些顏色資訊，對該些顏色資訊進行編碼以產生編碼後的顏色幀，及將編碼後的顏色幀儲存於記憶體12。和傳送NV12影像幀的應用相比，由於記憶體12僅需儲存編碼後的顏色幀，因此記憶體12的所需記憶體空間可等於編碼後的顏色幀的大小，進一步節省記憶體空間，加速解碼時間，降低所需運算能力，及增強影像處理效能。當需要傳送顏色資訊時，影像解碼器14可從記憶體12讀取編碼後的顏色幀，對編碼後的顏色幀進行解碼以產生複數個解碼後的顏色資訊，及傳送該些解碼後的顏色資訊至顯示裝置以提供色彩處理功能。
雖然第1圖的說明是以依照UVC標準傳送NV12影像幀為例，影像處理裝置1亦可採用其他通訊標準傳送其他格式的影像幀，例如YUY2影像幀或RGB444影像幀。此外，雖然前面段落僅說明單一輸入影像幀IMGi的處理方式，熟習此技藝人士可依照本案精神依序對複數個輸入影像幀IMGi的亮度資訊及顏 色資訊進行分開處理，及以先全部亮度資訊後全部顏色資訊的傳送順序依序傳送每個輸出影像幀IMGo。
第2圖係為影像處理裝置1適用的一種影像處理方法200的流程圖。影像處理方法200包含步驟S202至S216，其中步驟S202至S208用以處理及傳送亮度資訊，且步驟S210至S216用以處理及傳送顏色資訊。任何合理的步驟改變、順序或調整都落在本公開內容的範圍內。步驟S202至S216解釋如下：步驟S202：影像編碼器10接收輸入影像幀IMGi，及從輸入影像幀IMGi僅擷取亮度資訊；步驟S204：影像編碼器10對亮度資訊進行編碼以產生編碼後的亮度幀；步驟S206：影像編碼器10將編碼後的亮度幀寫入至記憶體12的第一記憶體部分；步驟S208：影像解碼器14讀取第一記憶體部分中的編碼後的亮度幀，並對編碼後的亮度幀進行解碼以產生及傳送解碼後的亮度資訊；步驟S210：影像編碼器10從輸入影像幀IMGi僅擷取顏色資訊；步驟S212：影像編碼器10對顏色資訊進行編碼以產生編碼後的顏色幀；步驟S214：影像編碼器10將編碼後的顏色幀寫入至記憶體12的第二記憶體部分；步驟S216：影像解碼器14讀取第二記憶體部分中的編碼後的顏色幀，並對編碼後的顏色幀進行解碼以產生及傳送解碼後的顏色資訊。
步驟S202至S216可適用於傳送YUV幀，例如NV12格式的YUV幀，步驟S210至S214亦可提前至步驟S208之前執行，步驟S208完成後才會執行步驟S216。第3A圖係為影像處理裝置1用於傳送YUV幀的示意圖，以下搭配第3A圖說明步驟S202至S216。
於傳送YUV幀的亮度資訊時，影像編碼器10先從輸入影像幀IMGi僅擷取亮度資訊(步驟S202)，及依據預定編碼區塊大小對亮度資訊進行編碼以產生編碼後的亮度資訊Y121至Y12N，編碼後的亮度資訊Y121至Y12N可形成編碼後的亮度幀，編碼後的亮度資訊Y121至Y12N的大小可相同或相異，N可為大於1之正整數，預定編碼區塊大小可為16x16(步驟S204)。接著，影像編碼器10將編碼後的亮度資訊Y121至Y12N寫入至記憶體12的第一記憶體部分121(步驟S206)，影像解碼器14讀取並解碼第一記憶體部分121中的編碼後的亮度資訊Y121至Y12N，及通過UVC驅動器傳送該些解碼後的亮度資訊至顯示裝置(步驟S208)。
於傳送YUV幀的顏色資訊時，影像編碼器10先從輸入影像幀IMGi僅擷取顏色資訊(步驟S210)，及依據預定編碼區塊大小對顏色資訊進行編碼以產生編碼後的顏色資訊C121至C12N，編碼後的顏色資訊C121至C12N可形成編碼後的顏色幀，編碼後的顏色資訊C121至C12N的大小可相同或相異，預定編碼區塊大小可為8x8(步驟S212)。接著，影像編碼器10將編碼後的顏色資訊C121至C12N寫入至記憶體12的第二記憶體部分122(步驟S214)，影像解碼器14讀取並解碼第二記憶體部分122中的編碼後的顏色資訊C121至C12N，及通過UVC驅動器傳送該些解碼後的顏色資訊至顯示裝置(步驟S216)。
在亮度處理的應用中，影像處理裝置1可只執行步驟S202至S208而不執行步驟S210至S216，並且在步驟S206將編碼後的亮度幀寫入記憶體12。第3B圖係為影像處理裝置1進行亮度處理的示意圖，以下搭配第3B圖說明影像處理裝置1進行亮度處理的步驟S202至S208。
影像編碼器10先從輸入影像幀IMGi僅擷取亮度資訊(步驟S202)，及依據預定編碼區塊大小對亮度資訊進行編碼以產生編碼後的亮度資訊Y121至Y12N，編碼後的亮度資訊Y121至Y12N可形成編碼後的亮度幀，編碼後的亮度資訊Y121至Y12N的大小可相同或相異，N可為大於1之正整數，預定編碼區塊大小可為16x16(步驟S204)。接著，影像編碼器10將編碼後的亮度資訊Y121至Y12N寫入至記憶體12(步驟S206)，影像解碼器14讀取並解碼記憶體12中的編碼後的亮度資訊Y121至Y12N，及傳送該些解碼後的亮度資訊至處理器或顯示裝置(步驟S208)。處理器或顯示裝置再依據該些解碼後的亮度資訊進行亮度處理，例如銳利度處理或區域調光等亮度處理。在進行亮度處理的應用中，影像處理裝置1無須處理及儲存輸入影像幀IMGi中的顏色資訊，藉以節省記憶體空間，加速解碼時間，降低所需運算能力，及增強影像處理效能。
在色彩處理的應用中，影像處理裝置1可只執行步驟S210至S216而不執行步驟S202至S208，並且在步驟S214將編碼後的顏色幀寫入記憶體12。第3C圖係為影像處理裝置1進行色彩處理的示意圖，以下搭配第3C圖說明影像處理裝置1進行色彩處理的步驟S210至S216。
影像編碼器10先從輸入影像幀IMGi僅擷取顏色資訊(步驟S210)，及依據預定編碼區塊大小對顏色資訊進行編碼以產生編碼後的顏色資訊C121至 C12N，編碼後的顏色資訊C121至C12N可形成編碼後的顏色幀，編碼後的顏色資訊C121至C12N的大小可相同或相異，N可為大於1之正整數，預定編碼區塊大小可為8x8(步驟S212)。接著，影像編碼器10將編碼後的顏色資訊C121至C12N寫入至記憶體12(步驟S214)，影像解碼器14讀取並解碼記憶體12中的編碼後的顏色資訊C121至C12N，及傳送該些解碼後的顏色資訊至處理器或顯示裝置(步驟S216)。處理器或顯示裝置再依據該些解碼後的顏色資訊進行色彩處理，例如彩度校正處理或飽和度校正處理等色彩處理。在進行色彩處理的應用中，影像處理裝置1無須處理及儲存輸入影像幀IMGi中的亮度資訊，藉以節省記憶體空間，加速解碼時間，降低所需運算能力，及增強影像處理效能。
第1圖、第2圖、及第3A至3C圖的實施例用以分開對輸入影像幀IMGi中的亮度資訊及顏色資訊進行編碼，當需要傳送影像幀中的亮度資訊時，僅對編碼後的亮度資訊進行解碼並傳送，且當需要傳送影像幀中的顏色資訊時，僅對編碼後的顏色資訊進行解碼並傳送，藉以減少解碼次數，降低所需運算能力，及增強影像處理效能。
第4圖係為本發明實施例中之另一種影像處理裝置4的方塊圖。影像處理裝置4及影像處理裝置1相似，主要差異在於記憶體42的空間管理及存取方式。以下針對影像處理裝置4和影像處理裝置1的差異進行解釋。
記憶體42可包含第一記憶體部分421、第二記憶體部分422及第三記憶體部分423。第一記憶體部分421可儲存編碼後的亮度幀，第二記憶體部分422及第三記憶體部分423可輪流儲存編碼後的顏色幀。由於YUV420影像幀的顏色資訊的資料量是亮度資訊的資料量的1/2，且顏色資訊的壓縮率可大於亮度資訊 的壓縮率，因此第一記憶體部分421的記憶體大小可超出第二記憶體部分422的記憶體大小，且第一記憶體部分421的記憶體大小可超出第三記憶體部分423的記憶體大小。第二記憶體部分422的記憶體大小可等於第三記憶體部分423的記憶體大小。在一些實施例中，第二記憶體部分422的記憶體大小及第三記憶體部分423的記憶體大小皆可為第一記憶體部分421的記憶體大小的1/8，進一步節省記憶體42的記憶體空間。
於編碼後，影像編碼器10可重複儲存複數個輸入影像幀IMGi的編碼後的亮度幀至第一記憶體部分421，及輪流儲存該些輸入影像幀IMGi的編碼後的顏色幀至第二記憶體部分422及第三記憶體部分423。相應地，當解碼時，影像解碼器14可重複從第一記憶體部分421讀取複數個輸入影像幀IMGi的編碼後的亮度幀，及輪流從第二記憶體部分422及第三記憶體部分423讀取複數個輸入影像幀IMGi的編碼後的顏色幀。
第5A圖及第5B圖係為影像處理裝置4適用的一種影像處理方法500的流程圖。影像處理方法500包含步驟S502至S526，其中步驟S502至S516用以分開處理及傳送第一輸出影像幀IMGo的第一解碼後的亮度資訊及第一解碼後的顏色資訊，步驟S518至S526用以分開處理及傳送第二輸出影像幀IMGo的第二解碼後的亮度資訊及第二解碼後的顏色資訊。任何合理的步驟改變、順序或調整都落在本公開內容的範圍內。步驟S502至S526解釋如下：步驟S502：影像編碼器10接收第一輸入影像幀IMGi，及從第一輸入影像幀IMGi分別擷取第一亮度資訊及第一顏色資訊； 步驟S504：影像編碼器10對第一亮度資訊進行編碼以產生第一編碼後的亮度幀，及對第一顏色資訊進行編碼以產生第一編碼後的顏色幀；步驟S506：影像編碼器10將第一編碼後的亮度幀寫入至第一記憶體部分421，及將第一編碼後的顏色幀寫入至第二記憶體部分422；步驟S508：影像解碼器14從第一記憶體部分421讀取第一編碼後的亮度幀以對第一編碼後的亮度幀進行解碼；步驟S510：當影像解碼器14對第一編碼後的亮度幀進行解碼時，影像編碼器10接收第二輸入影像幀IMGi，及從第二輸入影像幀IMGi分別擷取第二亮度資訊及第二顏色資訊；步驟S512：影像編碼器10對第二亮度資訊進行編碼以產生第二編碼後的亮度幀，及對第二顏色資訊進行編碼以產生第二編碼後的顏色幀；步驟S514：影像編碼器10將第二編碼後的亮度幀寫入至第一記憶體部分421，及將第二編碼後的顏色幀寫入至第三記憶體部分423；步驟S516：完成第一編碼後的亮度幀的解碼後，影像解碼器14從第二記憶體部分422讀取第一編碼後的顏色幀以對第一編碼後的顏色幀進行解碼；步驟S518：影像解碼器14從第一記憶體部分421讀取第二編碼後的亮度幀以對第二編碼後的亮度幀進行解碼；步驟S520：當影像解碼器14對第二編碼後的亮度幀進行解碼時，影像編碼器10接收第三輸入影像幀IMGi，及從第三輸入影像幀IMGi分別擷取第三亮度資訊及第三顏色資訊；步驟S522：影像編碼器10對第三亮度資訊進行編碼以產生第三編碼後的亮度幀，及對第三顏色資訊進行編碼以產生第三編碼後的顏色幀；步驟S524：影像編碼器10將第三編碼後的亮度幀寫入至第一記憶體部分421，及將第三編碼後的顏色幀寫入至第二記憶體部分422； 步驟S526：完成第二編碼後的亮度幀的解碼後，影像解碼器14從第三記憶體部分423讀取第二編碼後的顏色幀以對第二編碼後的顏色幀進行解碼。
以下搭配影像處理裝置4說明影像處理方法500。在步驟S506，由於第一記憶體部分421、第二記憶體部分422及第三記憶體部分423皆未儲存資料，影像編碼器10將第一編碼後的亮度幀寫入至第一記憶體部分421，及將第一編碼後的顏色幀寫入至第二記憶體部分422。在步驟S508，影像解碼器14從第一記憶體部分421讀取第一編碼後的亮度幀，並解碼第一編碼後的亮度幀以產生及傳送第一解碼後的亮度資訊。由於第一編碼後的亮度幀已被讀取但第一編碼後的顏色幀尚未被讀取，因此第一記憶體部分421的空間可被釋放，且第二記憶體部分422的空間仍由第一編碼後的顏色幀占用。因此，在步驟S510至S514，當影像解碼器14對該第一編碼後的亮度幀進行解碼時，影像編碼器10繼續接收第二輸入影像幀IMGi，對第二輸入影像幀IMGi的第二亮度資訊及第二顏色資訊分開編碼以產生第二編碼後的亮度幀及第二編碼後的顏色幀，及將第二編碼後的亮度幀寫入第一記憶體部分421且將第二編碼後的顏色幀寫入至第三記憶體部分423。當執行步驟S508時，步驟S510至S514會依序進行。在步驟S516，第一編碼後的亮度幀的解碼已完成，因此影像解碼器14從第二記憶體部分422讀取第一編碼後的顏色幀，並解碼第一編碼後的顏色幀以產生及傳送第二解碼後的顏色資訊，藉以完成第一輸出影像幀IMGo的傳送。由於第一編碼後的顏色幀已被讀取但第二編碼後的亮度幀及第二編碼後的顏色幀尚未被讀取，因此第二記憶體部分422的空間可被釋放，第一記憶體部分421的空間仍由第二編碼後的亮度幀占用，及第三記憶體部分423的空間仍由第二編碼後的顏色幀占用。
在步驟S518，影像解碼器14從第一記憶體部分421讀取第二編碼後的 亮度幀，並解碼第二編碼後的亮度幀以產生及傳送第二解碼後的亮度資訊。由於第二編碼後的亮度幀已被讀取但第二編碼後的顏色幀尚未被讀取，因此第一記憶體部分421的空間可被釋放，且第三記憶體部分423的空間仍由第二編碼後的顏色幀占用。因此，在步驟S520至S524，當影像解碼器14對該第二編碼後的亮度幀進行解碼時，影像編碼器10繼續接收第三輸入影像幀IMGi，對第三輸入影像幀IMGi的第三亮度資訊及第三顏色資訊分開編碼以產生第三編碼後的亮度幀及第三編碼後的顏色幀，及將第三編碼後的亮度幀寫入第一記憶體部分421且將第三編碼後的顏色幀寫入至第二記憶體部分422。當執行步驟S518時，步驟S520至S524會依序進行。在步驟S526，第二編碼後的亮度幀的解碼已完成，因此影像解碼器14從第三記憶體部分423讀取第二編碼後的顏色幀，並解碼第二編碼後的顏色幀以產生及傳送第二解碼後的顏色資訊，藉以完成第二輸出影像幀IMGo的傳送。由於第二編碼後的顏色幀已被讀取但第三編碼後的亮度幀及第三編碼後的顏色幀尚未被讀取，因此第三記憶體部分423的空間可被釋放，第一記憶體部分421的空間仍由第三編碼後的亮度幀占用，及第二記憶體部分422的空間仍由第三編碼後的顏色幀占用。
當處理複數個輸入影像幀IMGi時，步驟S508至S516及步驟S518至S526可交替執行，藉以重複使用第一記憶體部分421來儲存該些輸入影像幀IMGi的編碼後的亮度幀，及輪流使用第二記憶體部分422及第三記憶體部分423來儲存該些輸入影像幀IMGi的編碼後的顏色幀，藉以節省記憶體42的記憶體空間。
第4圖及第5A、5B圖的實施例用以分開對輸入影像幀IMGi中的亮度資訊及顏色資訊進行編碼，重複使用第一記憶體部分421來儲存複數個輸入影像幀IMGi的編碼後的亮度幀，及輪流使用第二記憶體部分422及第三記憶體部分 423來儲存該些輸入影像幀IMGi的編碼後的顏色幀，藉以節省記憶體空間，減少解碼次數，降低所需運算能力，及增強影像處理效能。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
4:影像處理裝置
10:影像編碼器
42:記憶體
14:影像解碼器
421:第一記憶體部分
422:第二記憶體部分
423:第三記憶體部分
IMGi:輸入影像幀
IMGo:輸出影像幀

Claims (8)

  1. 一種影像處理方法，包含：接收一第一輸入影像幀；從該第一輸入影像幀分別擷取第一亮度資訊及第一顏色資訊；僅對該第一亮度資訊進行編碼以產生一第一編碼後的亮度幀；僅對該第一顏色資訊進行編碼以產生一第一編碼後的顏色幀；將該第一編碼後的亮度幀寫入至一記憶體的一第一記憶體部分；將該第一編碼後的顏色幀寫入至該記憶體的一第二記憶體部分；從該第一記憶體部分讀取該第一編碼後的亮度幀以對該第一編碼後的亮度幀進行解碼；當對該第一編碼後的亮度幀進行解碼時，接收一第二輸入影像幀；從該第二輸入影像幀分別擷取第二亮度資訊及第二顏色資訊；僅對該第二亮度資訊進行編碼以產生一第二編碼後的亮度幀；僅對該第二顏色資訊進行編碼以產生一第二編碼後的顏色幀；將該第二編碼後的亮度幀寫入至該記憶體的該第一記憶體部分；及將該第二編碼後的顏色幀寫入至該記憶體的一第三記憶體部分。
  2. 如請求項1所述之方法，另包含：完成該第一編碼後的亮度幀的解碼後，從該第一記憶體部分讀取該第二編碼後的顏色幀以對該第一編碼後的顏色幀進行解碼；從該第一記憶體部分讀取該第二編碼後的亮度幀以對該第二編碼後的亮度幀進行解碼；當對該第二編碼後的亮度幀進行解碼時，接收一第三輸入影像幀；從該第三輸入影像幀分別擷取第三亮度資訊及第三顏色資訊； 僅對該第三亮度資訊進行編碼以產生一第三編碼後的亮度幀；僅對該第三顏色資訊進行編碼以產生一第三編碼後的顏色幀；將該第三編碼後的亮度幀寫入至該記憶體的該第一記憶體部分；及將該第三編碼後的顏色幀寫入至該記憶體的該第二記憶體部分。
  3. 如請求項1所述之方法，其中該第一記憶體部分的一記憶體大小超出該第二記憶體部分的一記憶體大小，及該第一記憶體部分的一記憶體大小超出該第三記憶體部分的一記憶體大小。
  4. 如請求項1所述之方法，其中該第二記憶體部分的一記憶體大小等於該第三記憶體部分的一記憶體大小。
  5. 一種影像處理裝置，包含：一影像編碼器，用以接收一第一輸入影像幀，從該第一輸入影像幀分別擷取第一亮度資訊及第一顏色資訊，僅對該第一亮度資訊進行編碼以產生一第一編碼後的亮度幀，及僅對該第一顏色資訊進行編碼以產生一第一編碼後的顏色幀；一記憶體，耦接於該影像編碼器，該記憶體包含一第一記憶體部分、一第二記憶體部分及一第三記憶體部分，其中該第一記憶體部分用以儲存該第一編碼後的亮度幀，及該第二記憶體部分用以儲存該第一編碼後的顏色幀；及一影像解碼器，耦接於該記憶體，用以從該第一記憶體部分讀取該第一編碼後的亮度幀以對該第一編碼後的亮度幀進行解碼；其中，該影像編碼器另用以當對該第一編碼後的亮度幀進行解碼時，接收 一第二輸入影像幀，從該第二輸入影像幀分別擷取第二亮度資訊及第二顏色資訊，僅對該第二亮度資訊進行編碼以產生一第二編碼後的亮度幀，僅對該第二顏色資訊進行編碼以產生一第二編碼後的顏色幀，將該第二編碼後的亮度幀寫入至該記憶體的該第一記憶體部分，及將該第二編碼後的顏色幀寫入至該記憶體的該第三記憶體部分。
  6. 如請求項5所述之影像處理裝置，其中該影像解碼器另用以於完成該第一編碼後的亮度幀的解碼後，從該第一記憶體部分讀取該第二編碼後的顏色幀以對該第一編碼後的顏色幀進行解碼，及從該第一記憶體部分讀取該第二編碼後的亮度幀以對該第二編碼後的亮度幀進行解碼；該影像編碼器另用以當對該第二編碼後的亮度幀進行解碼時，接收一第三輸入影像幀，從該第三輸入影像幀分別擷取第三亮度資訊及第三顏色資訊，僅對該第三亮度資訊進行編碼以產生一第三編碼後的亮度幀，僅對該第三顏色資訊進行編碼以產生一第三編碼後的顏色幀，將該第三編碼後的亮度幀寫入至該記憶體的該第一記憶體部分，將該第三編碼後的顏色幀寫入至該記憶體的該第二記憶體部分。
  7. 如請求項5所述之影像處理裝置，其中該第一記憶體部分的一記憶體大小超出該第二記憶體部分的一記憶體大小，及該第一記憶體部分的一記憶體大小超出該第三記憶體部分的一記憶體大小。
  8. 如請求項5所述之影像處理裝置，其中該第二記憶體部分的一記憶體大小等於該第三記憶體部分的一記憶體大小。
TW111129503A 2022-08-05 2022-08-05 影像處理方法及影像處理裝置 TWI835236B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111129503A TWI835236B (zh) 2022-08-05 2022-08-05 影像處理方法及影像處理裝置
CN202211160447.6A CN117560498A (zh) 2022-08-05 2022-09-22 图像处理方法及图像处理装置
US18/135,192 US20240048740A1 (en) 2022-08-05 2023-04-17 Image processing method and image processing device for enhancing image processing efficiency

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111129503A TWI835236B (zh) 2022-08-05 2022-08-05 影像處理方法及影像處理裝置

Publications (2)

Publication Number Publication Date
TW202408218A TW202408218A (zh) 2024-02-16
TWI835236B true TWI835236B (zh) 2024-03-11

Family

ID=89768855

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111129503A TWI835236B (zh) 2022-08-05 2022-08-05 影像處理方法及影像處理裝置

Country Status (3)

Country Link
US (1) US20240048740A1 (zh)
CN (1) CN117560498A (zh)
TW (1) TWI835236B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201812706A (zh) * 2016-09-12 2018-04-01 粉迷科技股份有限公司 動態影像去背方法、系統與電腦可讀取儲存裝置
TW202041019A (zh) * 2019-04-18 2020-11-01 瑞昱半導體股份有限公司 影像壓縮方法及影像壓縮器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201812706A (zh) * 2016-09-12 2018-04-01 粉迷科技股份有限公司 動態影像去背方法、系統與電腦可讀取儲存裝置
TW202041019A (zh) * 2019-04-18 2020-11-01 瑞昱半導體股份有限公司 影像壓縮方法及影像壓縮器

Also Published As

Publication number Publication date
US20240048740A1 (en) 2024-02-08
CN117560498A (zh) 2024-02-13
TW202408218A (zh) 2024-02-16

Similar Documents

Publication Publication Date Title
CN106375759B (zh) 一种视频图像数据的编、解码方法及装置
TWI707309B (zh) 圖片文件處理方法、系統及儲存介質
CN108833938B (zh) 用于选取视频封面的方法和设备
CN101350929B (zh) 表示图像帧的非帧边缘区块时的增强的压缩方法
TW201725905A (zh) 用於非４：４：４色度子採樣之顯示串流壓縮（ｄｓｃ）之熵寫碼技術
US8179452B2 (en) Method and apparatus for generating compressed file, and terminal comprising the apparatus
CN107172376B (zh) 一种基于屏幕共享的视频编码方法和装置
JP2018191269A (ja) 復号された画像データから画像データを再構成する方法および装置
CA2204219C (en) Video transcoding with interim encoding format
US8948529B1 (en) Multi-pass encoding
TWI626841B (zh) 具有減少色彩解析度的視訊流之自適應處理
JP3940672B2 (ja) 画像処理装置及び画像処理方法
JP2010098352A (ja) 画像情報符号化装置
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
CN104575427A (zh) 一种适合嵌入式系统解码的高压缩比无损图像压缩方法
WO2016183154A1 (en) Improved color space compression
US8311123B2 (en) TV signal processing circuit
TWI835236B (zh) 影像處理方法及影像處理裝置
TWI835238B (zh) 影像處理方法及影像處理裝置
CN114245027B (zh) 一种视频数据混合处理方法、系统、电子设备和存储介质
CN114827620A (zh) 图像处理方法、装置、设备与介质
CN112261441A (zh) 一种视频数据的处理方法、系统、设备及存储介质
US20070127846A1 (en) Apparatus and method for sub-picture processing by performing at least scaling and pixel data encoding
CN114866779A (zh) 一种图像编码、重构方法及装置、电子设备和存储介质
TWI859470B (zh) 用於視訊處理的方法及影像處理裝置