TWI725795B - 影像處理系統、影像處理裝置及影像處理方法 - Google Patents

影像處理系統、影像處理裝置及影像處理方法 Download PDF

Info

Publication number
TWI725795B
TWI725795B TW109110640A TW109110640A TWI725795B TW I725795 B TWI725795 B TW I725795B TW 109110640 A TW109110640 A TW 109110640A TW 109110640 A TW109110640 A TW 109110640A TW I725795 B TWI725795 B TW I725795B
Authority
TW
Taiwan
Prior art keywords
block
compression
image
mode
image processing
Prior art date
Application number
TW109110640A
Other languages
English (en)
Other versions
TW202137755A (zh
Inventor
王儷螢
Original Assignee
宏正自動科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏正自動科技股份有限公司 filed Critical 宏正自動科技股份有限公司
Priority to TW109110640A priority Critical patent/TWI725795B/zh
Priority to CN202010533675.8A priority patent/CN113452992A/zh
Priority to US17/038,348 priority patent/US11665437B2/en
Application granted granted Critical
Publication of TWI725795B publication Critical patent/TWI725795B/zh
Publication of TW202137755A publication Critical patent/TW202137755A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一種影像處理系統，包括影像來源裝置、影像處理裝置及目標裝置。影像處理裝置包括影像擷取單元、模式決定單元及影像壓縮單元。影像擷取單元擷取影像來源裝置提供的影像並將其分割為複數個區塊。模式決定單元耦接影像擷取單元。模式決定單元包括複數個壓縮模式。模式決定單元接收該些區塊中的第一區塊，並由模式決定單元中的分類模型分析第一區塊，根據分析結果自該些壓縮模式選出對應於第一區塊之第一壓縮模式。影像壓縮單元耦接影像擷取單元及模式決定單元。影像壓縮單元依據第一壓縮模式壓縮第一區塊為第一壓縮後區塊並傳送至目標裝置。

Description

影像處理系統、影像處理裝置及影像處理方法
本發明係與影像處理有關，尤其是關於一種影像處理系統、影像處理裝置及影像處理方法。
一般而言，在影像處理過程中，4:4:4、4:2:2與4:2:0分別是三種業界常用的色彩取樣方法，其中4:4:4為無通道壓縮的全像傳送，故所佔頻寬相對較大；4:2:2係將後面兩通道的訊號抽掉一半，故僅需4:4:4 的三分之二頻寬；至於4:2:0則會抽走更多的藍與紅的色度，故所佔頻寬又相對更小。
舉例而言，若當前處理的影像為電腦桌面或簡單靜態圖像，由於其壓縮比通常較高，亦即傳輸時所佔頻寬相對較小，此時即使採用無壓縮的4:4:4色彩取樣方法，其佔用的頻寬仍在可接受的範圍內，且不會產生影像壓縮後的失真。相反地，若當前處理的影像為複雜圖像，就必須採用有壓縮的4:2:2或4:2:0色彩取樣方法，才不會超出總頻寬的限制。
然而，由於使用者所提供的影像究竟是簡單圖像，抑或是複雜圖像，實在難以事先掌握或預測，因此，目前的影像處理系統仍難以實現自動根據當前處理影像的複雜度選擇性地採用最適合的色彩取樣方法，故無法同時符合頻寬的限制及避免影像失真。
有鑑於此，本發明提出一種影像處理系統、影像處理裝置及影像處理方法，以有效解決先前技術所遭遇的問題。
依據本發明之一具體實施例為一種影像處理裝置。於此實施例中，影像處理裝置包括影像擷取單元、模式決定單元及影像壓縮單元。影像擷取單元擷取影像並將影像分割為複數個區塊。模式決定單元耦接影像擷取單元。模式決定單元包括複數個壓縮模式。模式決定單元接收該些區塊中的第一區塊，由模式決定單元中的分類模型分析第一區塊，根據分類模型的分析結果自該些壓縮模式選出對應於第一區塊之第一壓縮模式。影像壓縮單元耦接影像擷取單元及模式決定單元。影像壓縮單元依據第一壓縮模式壓縮第一區塊為第一壓縮後區塊。
於一實施例中，分類模型係透過人工智慧(Artificial Intelligence, AI)訓練學習機制而得，分類模型以複數個樣品影像為其輸入且以該些樣品影像之訓練複雜度結果為其輸出。
於一實施例中，模式決定單元將第一區塊輸入至分類模型，根據分類模型輸出之對應於第一區塊之複雜度結果從該些壓縮模式中選出對應於第一區塊之第一壓縮模式。
於一實施例中，第一壓縮後區塊還包括對應於第一壓縮模式之壓縮資訊。
於一實施例中，模式決定單元自該些區塊取得第二區塊，分類模型分析第二區塊，模式決定單元根據分類模型的分析結果自該些壓縮模式選出對應第二區塊的第二壓縮模式，並由影像壓縮單元以第二壓縮模式將第二區塊壓縮為第二壓縮後區塊，其中第二區塊不同於第一區塊。
於一實施例中，第一壓縮模式不同於第二壓縮模式且分別採用不同的色彩取樣方法。
依據本發明之另一具體實施例為一種影像處理系統。於此實施例中，影像處理系統包括影像來源裝置、影像處理裝置及目標裝置。影像來源裝置提供影像。影像處理裝置耦接影像來源裝置。影像處理裝置包括影像擷取單元、模式決定單元及影像壓縮單元。影像擷取單元自影像來源裝置接收影像並分割影像為複數個區塊。模式決定單元耦接影像擷取單元。模式決定單元包括複數個壓縮模式。模式決定單元接收該些區塊中的第一區塊，由模式決定單元中的分類模型分析第一區塊，根據分類模型的分析結果自該些壓縮模式選出對應於第一區塊之第一壓縮模式。影像壓縮單元耦接影像擷取單元及模式決定單元。影像壓縮單元依據第一壓縮模式壓縮第一區塊為第一壓縮後區塊。目標裝置耦接影像處理裝置的影像壓縮單元，接收第一壓縮後區塊。目標裝置根據壓縮資訊選擇對應於第一壓縮模式之第一解壓縮模式，並依據第一解壓縮模式解壓縮第一壓縮後區塊。
依據本發明之另一具體實施例為一種影像處理方法。於此實施例中，影像處理方法包括下列步驟：擷取影像；分割影像為複數個區塊；選擇該些區塊中的第一區塊；分析第一區塊；依據分析結果於複數個壓縮模式選出第一壓縮模式，且第一壓縮模式對應於第一區塊；以及依據第一壓縮模式壓縮第一區塊為第一壓縮後區塊。
相較於先前技術，本發明的影像處理系統、影像處理裝置及影像處理方法可透過分類模型(例如經過深度學習所得到的神經網路)來自動根據當前影像區塊去決定該影像區塊的複雜度結果(例如複雜圖像、中等圖像或簡單圖像)，並進而採用最適合該影像區塊的壓縮模式，不僅能夠符合頻寬的限制，同時又能避免人眼感受到影像失真。
關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。
現在將詳細參考本發明的示範性實施例，並在附圖中說明所述示範性實施例的實例。在圖式及實施方式中所使用相同或類似標號的元件/構件是用來代表相同或類似部分。
依據本發明之一較佳具體實施例為一種影像處理系統。於此實施例中，影像處理系統係用以對影像進行影像處理程序，以產生處理後影像。
請參照圖1，圖1係繪示一較佳具體實施例中之影像處理系統的功能方塊圖。如圖1所示，影像處理系統IPS包括影像處理裝置1、影像來源裝置2及目標裝置3。其中，影像處理裝置1耦接於影像來源裝置2與目標裝置3之間。
於此實施例中，影像來源裝置2提供一影像M至影像處理裝置1。影像處理裝置1對影像來源裝置2提供的影像M進行壓縮而生成第一壓縮後區塊B1’/第二壓縮後區塊B2’並輸出至目標裝置3。
於一實施例中，影像處理裝置1包括影像擷取單元10、模式決定單元12及影像壓縮單元14。模式決定單元12連接影像擷取單元10，影像壓縮單元14連接影像擷取單元10及模式決定單元12。
於一實施例中，模式決定單元12包括複數個壓縮模式。其中，該些壓縮模式包括第一壓縮模式C1及第二壓縮模式C2，但本發明並不以此為限。另，模式決定單元12還包括分類模型CM，其詳細內容容後詳述。
影像擷取單元10自影像來源裝置2接收影像M，並將影像M分割為複數個區塊，且該些區塊至少包括第一區塊B1及第二區塊B2，但不以此為限。其中，第一區塊B1與第二區塊B2的形狀可以為相同，亦可以為不同，本發明並非為限制。其中第一區塊B1與第二區塊B2的面積可以為相等，亦可以為不相等，本發明並非為限制。
於此，當模式決定單元12自影像擷取單元10接收到第一區塊B1時，分類模型CM會分析第一區塊B1，進而從模式決定單元12包括的該些壓縮模式中選出對應於第一區塊B1之第一壓縮模式C1，並將第一壓縮模式C1輸出至影像壓縮單元14。
詳言之，當模式決定單元12接收到第一區塊B1時，模式決定單元12會將第一區塊B1輸入至分類模型CM。接著，分類模型CM會對第一區塊B1進行分析運算，以得到第一區塊B1的複雜度結果。然後，模式決定單元12再根據第一區塊B1的複雜度結果從該些壓縮模式中選出對應於該複雜度結果的第一壓縮模式C1。
接著，影像壓縮單元14自影像擷取單元10接收第一區塊B1，以及自模式決定單元12接收第一壓縮模式C1，影像壓縮單元14依據第一壓縮模式C1壓縮第一區塊B1為第一壓縮後區塊B1’，並將第一壓縮後區塊B1’輸出至目標裝置3。其中，第一壓縮後區塊B1’可包括與第一壓縮模式C1有關的壓縮資訊，例如，壓縮資訊可包括第一壓縮模式C1所採用的色彩取樣方法及其壓縮比等資訊，但不以此為限。
當目標裝置3接收到第一壓縮後區塊B1’時，目標裝置3會根據第一壓縮後區塊B1’所包括的壓縮資訊選擇對應的第一解壓縮模式D1，並依據第一解壓縮模式D1解壓縮第一壓縮後區塊B1’為第一還原區塊B1”。其中，由於壓縮資訊中包括有對應於第一壓縮模式C1的訊息，因此目標裝置3能根據此一訊息從複數個解壓縮模式中選出對應於第一壓縮模式C1的第一解壓縮模式D1。
於一實施例中，分類模型CM可以是透過深度學習(Deep learning)所得到的神經網路(Neural Network)，例如透過分別輸入N個樣品影像(N為正整數)SI1~SIN至要進行訓練學習的分類模型CM，使得分類模型CM在訓練學習的過程中可以不斷地經由每一個樣品影像SI1~SIN而動態調整其內部參數，藉此讓分類模型CM在後續使用時對於未曾輸入過的輸入影像的運算判斷變得更為精確。但於本發明中，其訓練學習方式並非以此為限制。請參照圖2，分類模型CM可包括輸入層INL、隱藏層HL及輸出層OL。其中，輸入層INL耦接隱藏層HL且隱藏層HL耦接輸出層OL。
於此，當分類模型CM進行訓練學習時，其是輸入N個樣品影像SI1~SIN中之第一樣品影像SI1至分類模型CM。當輸入層INL接收到第一樣品影像SI1時，輸入層INL會將第一樣品影像SI1傳送至隱藏層HL。接著，隱藏層HL會採用例如卷積(Convolution)、池化(Pooling)或全連接(Fully connected)等演算法對第一樣品影像SI1進行運算，以產生第一樣品影像SI1的訓練複雜度結果T1至輸出層OL輸出，並將其回饋(Feedback)給分類模型CM。分類模型CM再根據第一樣品影像SI1的訓練複雜度結果T1相對應調整輸入層INL、隱藏層HL及輸出層OL中任一者或其任意組合的內部參數。需說明的是，由於分類模型CM仍在訓練學習的過程中，其輸出層OL所輸出的訓練複雜度結果T1不見得是正確的，因此當輸出層OL的結果是錯誤時，透過將其回饋至輸入層INL能再次調整輸入層INL、隱藏層HL或/及輸出層OL的內部參數，如此反覆運行即可於輸出層OL獲得屬於第一樣品影像SI1之正確的訓練複雜度結果T1。
同理，亦可輸入N個樣品影像SI1~SIN中之第二樣品影像SI2至分類模型CM。當輸入層INL接收到第二樣品影像SI2時，輸入層INL會將第二樣品影像SI2傳送至隱藏層HL。接著，隱藏層HL會採用例如卷積、池化或全連接等演算法對第二樣品影像SI2進行運算，以產生第二樣品影像SI2的訓練複雜度結果T2至輸出層OL輸出，並將其回饋給分類模型CM。分類模型CM再根據第二樣品影像SI2的訓練複雜度結果T2相對應調整輸入層INL、隱藏層HL及輸出層OL中任一者或其任意組合的內部參數。需說明的是，由於分類模型CM仍在訓練學習的過程中，其輸出層OL所輸出的訓練複雜度結果T2與前述訓練複雜度結果T1之訓練過程相似，藉由不斷地從輸出層OL回饋至輸入層INL並相對應調整輸入層INL、隱藏層HL或/及輸出層OL的內部參數，進而於輸出層OL獲得屬於第二樣品影像SI2之正確的訓練複雜度結果T2。
於此，其他的第三樣品影像SI3~第N樣品影像SIN亦可依照上述類推而分別得到其訓練複雜度結果T3~TN，使得分類模型CM可分別根據第三樣品影像SI3~第N樣品影像SIN的訓練過程，而獲得相應於訓練複雜度結果T3~TN的輸入層INL、隱藏層HL及輸出層OL中任一者或其任意組合的內部參數，藉此讓分類模型CM後續使用時對於未曾輸入過的輸入影像的運算判斷會更為精確。
接著，請參照圖3A及圖3B。圖3A及圖3B係分別繪示分類模型CM接收欲處理的影像M的不同區塊並相對應輸出不同區塊的複雜度結果的示意圖。
如圖3A所示，當分類模型CM的輸入層INL接收到影像M的第一區塊B1時，其隱藏層HL會根據已訓練學習完成的結果對第一區塊B1進行運算而得到對應第一區塊B1的複雜度結果R1，並透過輸出層OL輸出複雜度結果R1。模式決定單元12再根據複雜度結果R1從(K+1)種壓縮模式C0~CK中選出對應於複雜度結果R1的第一壓縮模式C1。其中，此實施例的第一壓縮模式C1僅是做為例子說明，實際上是根據適合第一區塊B1而選出適合的第n壓縮模式Cn，n=0~K。
同理，如圖3B所示，當分類模型CM的輸入層INL接收到影像M的第二區塊B2(不同於第一區塊B1)時，其隱藏層HL會根據已訓練學習完成的結果對第二區塊B2進行運算而得到對應第二區塊B2的複雜度結果R2，並透過輸出層OL輸出複雜度結果R2。模式決定單元12再根據複雜度結果R2從上述(K+1)種壓縮模式C0~CK中選出對應於複雜度結果R2的第二壓縮模式C2。其中，此實施例的第二壓縮模式C2僅是做為例子說明，實際上是根據適合第二區塊B2而選出適合的第n壓縮模式Cn，n=0~K。
於實際應用中，若第二區塊B2的複雜度結果R2不同於第一區塊B1的複雜度結果R1，則第二區塊B2會以不同於第一區塊B1的第一壓縮模式C1的第二壓縮模式C2進行壓縮。換言之，若第二區塊B2的複雜度結果R2等於第一區塊B1的複雜度結果R1，則第二區塊B2會以相同於第一區塊B1的第一壓縮模式C1進行壓縮。
需說明的是，第一區塊B1的複雜度結果R1與第二區塊B2的複雜度結果R2可依照複雜度高低分為複雜圖像、中等圖像及簡單圖像，且各自有其適合的壓縮模式，可以是有損壓縮或無損壓縮，但不以此為限。
另外，於第一壓縮模式C1/第二壓縮模式C2下，可採用完整的色彩取樣方法(例如4:4:4)或縮小尺寸的色彩取樣方法(例如4:2:2或4:2:0)進行色彩取樣，使得目標裝置3解壓縮後所得到的第一還原區塊B1”/第二還原區塊B2”與模式決定單元12接收到的未壓縮前的第一區塊B1/第二區塊B2可彼此相同或不同。
以第一區塊B1為例，若分類模型CM輸出的第一區塊B1的複雜度結果R1為「簡單圖像」，代表第一區塊B1傳輸時所佔用的頻寬相對較小而適合以無損壓縮模式進行壓縮，則模式決定單元12可選擇無損壓縮作為第一壓縮模式C1以供影像壓縮單元14對第一區塊B1進行壓縮，而採用完整的色彩取樣方法(例如4:4:4)進行色彩取樣，因此，目標裝置3解壓縮後所得到的第一還原區塊B1”與模式決定單元12接收到的未壓縮前的第一區塊B1會彼此相同。
反之，若分類模型CM輸出的第一區塊B1的複雜度結果R1為「複雜圖像」，代表第一區塊B1傳輸時所佔用的頻寬相對較大而適合以壓縮程度較大的有損壓縮模式來進行壓縮，則模式決定單元12可選擇壓縮程度較大的有損壓縮作為第一壓縮模式C1以供影像壓縮單元14對第一區塊B1進行壓縮，而採用縮小尺寸較多的色彩取樣方法(例如4:2:0)進行色彩取樣，因此，目標裝置3解壓縮後所得到的第一還原區塊B1”與模式決定單元12接收到的未壓縮前的第一區塊B1會彼此不同。
此外，若分類模型CM輸出的第一區塊B1的複雜度結果R1為「中等圖像」，代表第一區塊B1傳輸時所佔用的頻寬較「複雜圖像」來得小而適合以壓縮程度較小的有損壓縮模式來進行壓縮，則模式決定單元12可選擇壓縮程度較小的有損壓縮作為第一壓縮模式C1以供影像壓縮單元14對第一區塊B1進行壓縮，而採用縮小尺寸較少的色彩取樣方法(例如4:2:2)進行色彩取樣，因此，目標裝置3解壓縮後所得到的第一還原區塊B1”與模式決定單元12接收到的未壓縮前的第一區塊B1亦會彼此不同。至於第二區塊B2的情形亦可依此類推，於此不另行贅述。
由上述可知：影像處理裝置1中之模式決定單元12可根據影像M的第一區塊B1/第二區塊B2的複雜度結果R1/R2(例如複雜圖像、中等圖像或簡單圖像)選擇較適合的第一壓縮模式C1/第二壓縮模式C2(例如無損壓縮或具有不同壓縮程度的有損壓縮)以供影像壓縮單元14壓縮第一區塊B1/第二區塊B2，並於第一壓縮模式C1/第二壓縮模式C2下相對應採用完整的色彩取樣方法(例如4:4:4)或具有不同縮小尺寸程度的色彩取樣方法(例如4:2:2或4:2:0)進行色彩取樣，藉此不僅可符合頻寬之限制，亦可避免人眼感受到影像失真。
需說明的是，雖然上述實施例是以影像M的第一區塊B1/第二區塊B2為例進行說明，但實際上，影像M的其他區塊之處理亦可依此類推，於此不另行贅述。
依據本發明之另一具體實施例為一種影像處理裝置。如圖1所示，於此實施例中，影像處理裝置1可耦接於影像來源裝置2與目標裝置3之間，但不以此為限。影像處理裝置1可包括影像擷取單元10、模式決定單元12及影像壓縮單元14。模式決定單元12包括分類模型CM。其中，模式決定單元12耦接影像擷取單元10；影像壓縮單元14耦接影像擷取單元10及模式決定單元12。影像擷取單元10擷取影像來源裝置2所播放的影像M並將影像M分割為複數個區塊B1/B2。模式決定單元12接收該些區塊B1/B2中的第一區塊B1，並由分類模型CM中的複數個壓縮模式選出對應於第一區塊B1之第一壓縮模式C1。影像壓縮單元14依據第一壓縮模式C1壓縮第一區塊B1為第一壓縮後區塊B1’。同理，模式決定單元12接收該些區塊B1/B2中的第二區塊B2，並由分類模型CM中的複數個壓縮模式選出對應於第二區塊B2之第二壓縮模式C2。影像壓縮單元14依據第二壓縮模式C2壓縮第二區塊B2為第二壓縮後區塊B2’。至於影像處理裝置1之各單元的運作情形請參照上述相關文字與圖式說明，於此不另行贅述。
依據本發明之另一具體實施例為一種影像處理方法。於此實施例中，影像處理方法可應用於一影像處理裝置，用以對影像進行影像處理程序，以產生處理後影像。影像處理系統可包括影像處理裝置、影像來源裝置及目標裝置，且影像處理裝置可耦接於影像來源裝置與目標裝置之間，但不以此為限。
請參照圖4，圖4係繪示此實施例中之影像處理方法。如圖4所示，影像處理方法可包括步驟S10~S18。
首先，影像處理方法可擷取影像來源裝置所提供的影像(步驟S10)並分割影像為複數個區塊(步驟S12)，其中該些區塊至少包括不同的第一區塊及第二區塊，但不以此為限。接著，影像處理方法可選擇該些區塊中的第一區塊(步驟S14)，分析第一區塊並依據分析結果於複數個壓縮模式中選出對應於第一區塊的第一壓縮模式(步驟S16)，再依據第一壓縮模式壓縮第一區塊為第一壓縮後區塊(步驟S18)。
詳言之，當影像處理方法執行步驟S14選出第一區塊後，如圖5所示，於步驟S16中，影像處理方法可輸入第一區塊至分類模型(步驟S160)並以分類模型分析而生成對應於第一區塊的複雜度結果(步驟S162)。接著，影像處理方法再依據第一區塊的複雜度結果從該些壓縮模式中選出對應於第一區塊的第一壓縮模式(步驟S164)。
需說明的是，步驟S160所述之分類模型可以是透過深度學習所得到的神經網路，例如透過分別輸入複數個樣品影像至要進行訓練學習的分類模型，使得分類模型在訓練學習的過程中可以不斷地經由每一個樣品影像的訓練複雜度結果之回饋而動態調整其內部參數，藉此讓分類模型在後續使用時對於未曾輸入過的輸入影像的運算判斷變得更為精確，但不以此為限。此外，於步驟S164中，第一區塊的複雜度結果可依照複雜度高低分為複雜圖像、中等圖像及簡單圖像，且各自有其適合的壓縮模式，但不以此為限。
於一實施例中，當影像處理方法執行步驟S18以第一壓縮模式壓縮第一區塊為第一壓縮後區塊後，如圖6所示，影像處理方法還可傳送第一壓縮後區塊至目標裝置，其中第一壓縮後區塊還包括對應於第一壓縮模式之壓縮資訊(步驟S20)。接著，再由目標裝置根據壓縮資訊選擇對應於第一壓縮模式的第一解壓縮模式(步驟S22)，並依據第一解壓縮模式解壓縮第一壓縮後區塊，以得到第一還原區塊(步驟S24)。
需說明的是，第一壓縮模式可以是有損壓縮或無損壓縮，且於第一壓縮模式下，可採用完整的色彩取樣方法(例如4:4:4)或縮小尺寸的色彩取樣方法(例如4:2:2或4:2:0)進行色彩取樣，使得步驟S24解壓縮後所得到的第一還原區塊與步驟S14所選擇的未壓縮前的第一區塊可彼此相同或不同。
詳言之，若第一壓縮模式為有損壓縮而以縮小尺寸的色彩取樣方法(例如4:2:2或4:2:0)進行色彩取樣，則步驟S24解壓縮後所得到的第一還原區塊與步驟S14所選擇的未壓縮前的第一區塊會彼此不同；若第一壓縮模式為無損壓縮而以完整的色彩取樣方法進行色彩取樣，則步驟S24解壓縮後所得到的第一還原區塊與步驟S14所選擇的未壓縮前的第一區塊就會彼此相同。
舉例而言，若第一區塊的複雜度結果為「簡單圖像」，代表第一區塊傳輸時所佔用的頻寬相對較小而適合以無損壓縮模式進行壓縮，則影像處理方法可選擇無損壓縮作為第一壓縮模式來對第一區塊進行壓縮，而採用完整的色彩取樣方法(例如4:4:4)進行色彩取樣，因此，步驟S24解壓縮後所得到的第一還原區塊與步驟S14所選擇的未壓縮前的第一區塊會彼此相同。
反之，若第一區塊的複雜度結果為「複雜圖像」，代表第一區塊傳輸時所佔用的頻寬相對較大而適合以壓縮程度較大的有損壓縮模式來進行壓縮，則影像處理方法可選擇壓縮程度較大的有損壓縮作為第一壓縮模式來對第一區塊進行壓縮，而採用縮小尺寸較多的色彩取樣方法(例如4:2:0)進行色彩取樣，因此，步驟S24解壓縮後所得到的第一還原區塊與步驟S14所選擇的未壓縮前的第一區塊會彼此不同。
此外，若第一區塊的複雜度結果為「中等圖像」，代表第一區塊傳輸時所佔用的頻寬較「複雜圖像」來得小而適合以壓縮程度較小的有損壓縮模式來進行壓縮，則影像處理方法可選擇壓縮程度較小的有損壓縮作為第一壓縮模式來對第一區塊進行壓縮，而採用縮小尺寸較少的色彩取樣方法(例如4:2:2)進行色彩取樣，因此，步驟S24解壓縮後所得到的第一還原區塊與步驟S14所選擇的未壓縮前的第一區塊亦會彼此不同。
同理，如圖7所示，影像處理方法可選擇該些區塊中之不同於第一區塊的第二區塊(步驟S30)，分析第二區塊並依據分析結果於該些壓縮模式選出對應於第二區塊的第二壓縮模式(步驟S32)。接著，影像處理方法依據第二壓縮模式壓縮第二區塊為第二壓縮後區塊(步驟S34)，並傳送第二壓縮後區塊至目標裝置，其中第二壓縮後區塊還包括對應於第二壓縮模式之壓縮資訊(步驟S36)。然後，由目標裝置根據壓縮資訊選擇對應於第二壓縮模式的第二解壓縮模式(步驟S38)，並依據第二解壓縮模式解壓縮第二壓縮後區塊，以得到第二還原區塊(步驟S40)。
由上述可知：本發明之影像處理方法可根據影像的第一區塊/第二區塊的複雜度結果(例如複雜圖像、中等圖像或簡單圖像)選擇性以較適合的第一壓縮模式/第二壓縮模式(例如無損壓縮或具有不同壓縮程度的有損壓縮)壓縮第一區塊/第二區塊，並於第一壓縮模式/第二壓縮模式下相對應採用完整的色彩取樣方法(例如4:4:4)或具有不同縮小尺寸程度的色彩取樣方法(例如4:2:2或4:2:0)進行色彩取樣，藉此不僅可符合頻寬之限制，亦可避免人眼感受到影像失真。
需說明的是，雖然上述實施例是以影像的第一區塊及第二區塊為例進行說明，但實際上，影像的其他區塊之處理方法亦可依此類推，於此不另行贅述。
相較於先前技術，本發明的影像處理系統、影像處理裝置及影像處理方法可透過分類模型(例如經過深度學習所得到的神經網路)來自動根據當前影像區塊去決定該影像區塊的複雜度結果(例如複雜圖像、中等圖像或簡單圖像)，並進而採用最適合該影像區塊的壓縮模式，不僅能夠符合頻寬的限制，同時又能避免人眼感受到影像失真。
S10~S24、S30~S40、S160~S164:步驟 IPS:影像處理系統 1:影像處理裝置 10:影像擷取單元 12:模式決定單元 14:影像壓縮單元 2:影像來源裝置 3:目標裝置 CM:分類模型 M:影像 B1:第一區塊 B2:第二區塊 B1’:第一壓縮後區塊 B2’:第二壓縮後區塊 B1”:第一還原區塊 B2”:第二還原區塊 C1:第一壓縮模式 C2:第二壓縮模式 D1:第一解壓縮模式 D2:第二解壓縮模式 INL:輸入層 HL:隱藏層 OL:輸出層 SI1~SIN:第一樣品影像~第N樣品影像 T1~TN:訓練複雜度結果 R1~R2:複雜度結果
本發明所附圖式說明如下： 圖1係繪示本發明的一較佳具體實施例中之影像處理系統的功能方塊圖。 圖2係繪示分類模型的示意圖。 圖3A及圖3B係分別繪示分類模型接收欲處理的影像的不同區塊並相對應輸出不同區塊的複雜度結果的示意圖。 圖4係繪示本發明的另一較佳具體實施例中之影像處理方法的流程圖。 圖5係繪示圖4中之步驟S16還可包括步驟S160~S164的流程圖。 圖6係繪示當影像處理方法完成圖4中之步驟S18後還可包括步驟S20~S24的流程圖。 圖7係繪示當影像處理方法完成圖4中之步驟S18後還可包括步驟S30~S40的流程圖。
無
IPS:影像處理系統
1:影像處理裝置
10:影像擷取單元
12:模式決定單元
14:影像壓縮單元
2:影像來源裝置
3:目標裝置
CM:分類模型
M:影像
B1:第一區塊
B2:第二區塊
B1’:第一壓縮後區塊
B2’:第二壓縮後區塊
B1”:第一還原區塊
B2”:第二還原區塊
C1:第一壓縮模式
C2:第二壓縮模式
D1:第一解壓縮模式
D2:第二解壓縮模式

Claims (14)

  1. 一種影像處理裝置，包括：一影像擷取單元，擷取一影像，分割該影像為複數個區塊；一模式決定單元，包括有複數個壓縮模式，該模式決定單元耦接該影像擷取單元，接收該些區塊中的一第一區塊，由該模式決定單元中的一分類模型分析該第一區塊，根據該分類模型的分析結果自該些壓縮模式選出對應於該第一區塊之一第一壓縮模式；以及一影像壓縮單元，耦接該影像擷取單元及該模式決定單元，該影像壓縮單元依據該第一壓縮模式壓縮該第一區塊為一第一壓縮後區塊；其中，該模式決定單元自該些區塊取得一第二區塊，該分類模型分析該第二區塊，該模式決定單元根據該分類模型的分析結果自該些壓縮模式選出對應該第二區塊的一第二壓縮模式，並由該影像壓縮單元以該第二壓縮模式將該第二區塊壓縮為一第二壓縮後區塊，該第二區塊不同於該第一區塊，該第一壓縮模式不同於該第二壓縮模式。
  2. 如申請專利範圍第1項所述之影像處理裝置，其中該分類模型係透過人工智慧(Artificial Intelligence,AI)訓練學習機制而得，該分類模型以複數個樣品影像為其輸入且以該些樣品影像之訓練複雜度結果為其輸出。
  3. 如申請專利範圍第1項所述之影像處理裝置，其中該模式決定單元將該第一區塊輸入至該分類模型，根據該分類模型輸出之對應於該第一區塊之一複雜度結果從該些壓縮模式中選出對應於該第一區塊之該第一壓縮模式。
  4. 如申請專利範圍第1項所述之影像處理裝置，其中該第一壓縮後區塊還包括對應於該第一壓縮模式之一壓縮資訊。
  5. 如申請專利範圍第1項所述之影像處理裝置，其中該第一壓縮模式與該第二壓縮模式分別採用不同的色彩取樣方法。
  6. 一種影像處理系統，包括：一影像來源裝置，提供一影像；一影像處理裝置，耦接該影像來源裝置，該影像處理裝置包括：一影像擷取單元，耦接該影像來源裝置，該影像擷取單元自該影像來源裝置接收該影像，分割該影像為複數個區塊；一模式決定單元，包括複數個壓縮模式，該模式決定單元耦接該影像擷取單元，接收該些區塊中的一第一區塊，由該模式決定單元中的一分類模型分析該第一區塊，根據該分類模型的分析結果自該些壓縮模式選出對應於該第一區塊之一第一壓縮模式；以及一影像壓縮單元，耦接該影像擷取單元及該模式決定單元，該影像壓縮單元依據該第一壓縮模式壓縮該第一區塊為一第一壓縮後區塊，該第一壓縮後區塊包括對應於該第一壓縮模式之一壓縮資訊；以及一目標裝置，耦接該影像處理裝置的該影像壓縮單元，接收該第一壓縮後區塊，該目標裝置根據該壓縮資訊選擇對應於該第一壓縮模式之一第一解壓縮模式，並依據該第一解壓縮模式解壓縮該第一壓縮後區塊；其中，該模式決定單元自該些區塊中取得一第二區塊，該分類模型分析該第二區塊，該模式決定單元根據該分類模型的分析結果自該些壓縮模式選出對應該第二區塊的一第二壓縮模式，並由該影像壓縮單元以該第 二壓縮模式將該第二區塊壓縮為一第二壓縮後區塊，該第二區塊不同於該第一區塊，該第一壓縮模式不同於該第二壓縮模式。
  7. 如申請專利範圍第6項所述之影像處理系統，其中該模式決定單元將該第一區塊輸入至該分類模型，根據該分類模型輸出之對應於該第一區塊之一複雜度結果從該些壓縮模式中選出對應於該第一區塊之該第一壓縮模式。
  8. 如申請專利範圍第6項所述之影像處理系統，其中該第一壓縮模式與該第二壓縮模式分別採用不同的色彩取樣方法。
  9. 一種影像處理方法，包括下列步驟：擷取一影像；分割該影像為複數個區塊；選擇該些區塊中的一第一區塊；分析該第一區塊；依據分析結果於複數個壓縮模式選出一第一壓縮模式，該第一壓縮模式對應於該第一區塊；依據該第一壓縮模式壓縮該第一區塊為一第一壓縮後區塊；選擇該些區塊中的一第二區塊，其中該第二區塊不同於該第一區塊；分析該第二區塊；依據分析結果於該些壓縮模式選出對應於該第二區塊之一第二壓縮模式；以及依據該第二壓縮模式壓縮該第二區塊為一第二壓縮後區塊；其中，該第一壓縮模式不同於該第二壓縮模式。
  10. 如申請專利範圍第9項所述的影像處理方法，其中該第一壓縮模式與該第二壓縮模式分別採用不同的色彩取樣方法。
  11. 如申請專利範圍第9項所述的影像處理方法，其中該第一壓縮後區塊還包括對應於該第一壓縮模式之一壓縮資訊，該影像處理方法還包括：傳送該第一壓縮後區塊至一目標裝置；由該目標裝置根據該壓縮資訊選擇一第一解壓縮模式，其中該第一解壓縮模式對應於該第一壓縮模式；以及依據該第一解壓縮模式解壓縮該第一壓縮後區塊。
  12. 如申請專利範圍第9項所述的影像處理方法，還包括：輸入該第一區塊至一分類模型；以該分類模型分析而生成對應於該第一區塊的一複雜度結果；以及依據該複雜度結果從該些壓縮模式中選出該第一壓縮模式，該第一壓縮模式對應於該第一區塊。
  13. 如申請專利範圍第9項所述的影像處理方法，還包括：透過人工智慧(Artificial Intelligence,AI)訓練學習機制而得到該分類模型，該分類模型以複數個樣品影像為其輸入且以該些樣品影像之訓練複雜度結果為其輸出。
  14. 如申請專利範圍第9項所述的影像處理方法，還包括：於該第一壓縮模式下，採用完整的色彩取樣方法或縮小尺寸的色彩取樣方法。
TW109110640A 2020-03-27 2020-03-27 影像處理系統、影像處理裝置及影像處理方法 TWI725795B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109110640A TWI725795B (zh) 2020-03-27 2020-03-27 影像處理系統、影像處理裝置及影像處理方法
CN202010533675.8A CN113452992A (zh) 2020-03-27 2020-06-12 影像处理系统、影像处理装置及影像处理方法
US17/038,348 US11665437B2 (en) 2020-03-27 2020-09-30 Image processing system, image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109110640A TWI725795B (zh) 2020-03-27 2020-03-27 影像處理系統、影像處理裝置及影像處理方法

Publications (2)

Publication Number Publication Date
TWI725795B true TWI725795B (zh) 2021-04-21
TW202137755A TW202137755A (zh) 2021-10-01

Family

ID=76604661

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109110640A TWI725795B (zh) 2020-03-27 2020-03-27 影像處理系統、影像處理裝置及影像處理方法

Country Status (3)

Country Link
US (1) US11665437B2 (zh)
CN (1) CN113452992A (zh)
TW (1) TWI725795B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751633B1 (en) * 2006-08-31 2010-07-06 Hewlett-Packard Development Company, L.P. Method for compressing an image
US8737466B2 (en) * 2001-07-12 2014-05-27 Dolby Laboratories Licensing Corporation Method and system for improving compressed image chroma information
US8891894B2 (en) * 2011-09-30 2014-11-18 Apple Inc. Psychovisual image compression
US9510002B2 (en) * 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
US9641844B2 (en) * 2009-04-14 2017-05-02 Sk Telecom Co., Ltd. Method and apparatus for selecting a prediction mode, and image encoding/decoding method and apparatus using same
US20190043201A1 (en) * 2017-12-28 2019-02-07 Christina R. Strong Analytic image format for visual computing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW490973B (en) * 2000-10-17 2002-06-11 Yeh Hwei Jyung Image processing system of gray color method
TW200731760A (en) * 2006-02-13 2007-08-16 Benq Corp Image capturing method and image-capturing device thereof
US20170279866A1 (en) * 2016-03-22 2017-09-28 Intel Corporation Adaptation of streaming data based on the environment at a receiver
TWI707307B (zh) * 2018-11-08 2020-10-11 瑞昱半導體股份有限公司 影像調整方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737466B2 (en) * 2001-07-12 2014-05-27 Dolby Laboratories Licensing Corporation Method and system for improving compressed image chroma information
US7751633B1 (en) * 2006-08-31 2010-07-06 Hewlett-Packard Development Company, L.P. Method for compressing an image
US9641844B2 (en) * 2009-04-14 2017-05-02 Sk Telecom Co., Ltd. Method and apparatus for selecting a prediction mode, and image encoding/decoding method and apparatus using same
US8891894B2 (en) * 2011-09-30 2014-11-18 Apple Inc. Psychovisual image compression
US9510002B2 (en) * 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
US20190043201A1 (en) * 2017-12-28 2019-02-07 Christina R. Strong Analytic image format for visual computing

Also Published As

Publication number Publication date
US20210306562A1 (en) 2021-09-30
US11665437B2 (en) 2023-05-30
CN113452992A (zh) 2021-09-28
TW202137755A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
US10140545B2 (en) Methods and systems for differentiating synthetic and non-synthetic images
US10839564B2 (en) Leveraging JPEG discrete cosine transform coefficients in neural networks
CN108764270B (zh) 一种利用卷积神经网络集成的信息隐藏检测方法
EP0449516A2 (en) Image processing using neural network
KR20130135394A (ko) 가중 인코딩을 위한 방법 및 시스템
JP2000092522A (ja) 画像品質分析方法及び装置
CN112887728A (zh) 电子装置、电子装置的控制方法以及系统
US20210360259A1 (en) Substitutional end-to-end video coding
US11310464B1 (en) System and method for seviceability during execution of a video conferencing application using intelligent contextual session management
US11245743B1 (en) Bandwidth dependent media stream compression
TWI725795B (zh) 影像處理系統、影像處理裝置及影像處理方法
US10841586B2 (en) Processing partially masked video content
US11349894B1 (en) Bandwidth-dependent media stream compression
CN112085668A (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
El-kafrawy et al. An efficient encryption and compression of sensed IoT medical images using auto-encoder
Ayunts et al. No-Reference Quality Metrics for Image Decolorization
US11394981B2 (en) Electronic apparatus and control method thereof
Choudhury Robust HDR image quality assessment using combination of quality metrics
JP2022036131A (ja) 学習装置、推論装置、学習方法、推論方法、コンピュータシステムおよびプログラム
Karimi et al. Real-time lossless compression of microarray images by separate compaction of foreground and background
JP2006270199A (ja) 画像圧縮システムおよび画像圧縮方法および画像圧縮用プログラムおよび記録媒体
Ouni et al. No-reference image semantic quality approach using neural network
Dranoshchuk et al. About perceptual quality estimation for image compression
Santhosh et al. Compression of medical images based on devils curve coordinate system
Inan Quality metrics of LSB image steganography technique for color space HSI