TWI816684B - 視訊編碼器件以及編碼器 - Google Patents

視訊編碼器件以及編碼器 Download PDF

Info

Publication number
TWI816684B
TWI816684B TW107124713A TW107124713A TWI816684B TW I816684 B TWI816684 B TW I816684B TW 107124713 A TW107124713 A TW 107124713A TW 107124713 A TW107124713 A TW 107124713A TW I816684 B TWI816684 B TW I816684B
Authority
TW
Taiwan
Prior art keywords
encoder
picture
prediction
information
block
Prior art date
Application number
TW107124713A
Other languages
English (en)
Other versions
TW201918070A (zh
Inventor
全聖浩
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201918070A publication Critical patent/TW201918070A/zh
Application granted granted Critical
Publication of TWI816684B publication Critical patent/TWI816684B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本發明提供一種視訊編碼器件。所述視訊編碼器件包括: 第一編碼器,包括預測模組,所述預測模組對第一畫面中所包括的多個第一區塊執行畫面內預測操作及畫面間預測操作;以及第二編碼器,對與第一畫面不同的第二畫面進行編碼,且不包括預測模組,其中如果對第一區塊執行畫面間預測操作,則預測模組向第二編碼器傳送關於運動估測操作的第一資訊,且第二編碼器包括預測區塊產生模組,所述預測區塊產生模組接收第一資訊且通過基於第一資訊對第二畫面中所包括的多個第二區塊執行運動補償操作來產生預測區塊。也提供一種編碼器。

Description

視訊編碼器件以及編碼器 [相關申請的交叉參考]
本申請主張2017年10月16日提出申請的韓國專利申請第10-2017-0133921號的優先權、以及而從所述韓國專利申請衍生出的所有權利,所述韓國專利申請的公開內容全文併入本申請供參考。
示例性實施例涉及視訊編碼器件和/或編碼器。
人們對例如高清晰度(high definition,HD)圖像及超高清晰度(ultra-high definition,UHD)圖像等高解析度、高品質圖像的需求已在增加,且已使用用於處理這種高解析度、高品質圖像的高性能視訊壓縮技術。
近來,例如手機、智慧手機等移動器件已得到廣泛使用,且已對即使在具有小的大小及具有受限的使用環境(例如,使用電池)的移動器件中也會對高解析度、高品質圖像進行高效壓縮的方式進行了研究。
另外,以高的畫面播放速率或畫面/每秒(frames per second,FPS)對圖像進行編碼呈增長趨勢。然而,當前只能以有限的畫面播放速率對圖像進行編碼,且難以使用單個編碼器以高的畫面播放速率對圖像進行編碼。
本揭露的示例性實施例使用多個編碼器對圖像進行編碼,同時將由所述多個編碼器佔據的空間最小化。
本揭露的示例性實施例使用全編碼器(full encoder)及部分編碼器(partial encoder)對圖像進行編碼,同時將圖像的品質劣化最小化。
然而,本揭露的示例性實施例並非僅限於本文中所述的示例性實施例。通過參照對以下給出的示例性實施例中的一些示例性實施例的詳細說明,對本揭露所屬領域中的一般技術人員來說,本揭露的以上及其他示例性實施例將變得更顯而易見。
根據本揭露的示例性實施例,一種視訊編碼器件可包括:第一編碼器,包括預測電路,所述預測電路被配置成:對第一畫面中所包括的多個第一區塊執行畫面內預測操作及畫面間預測操作中的一者或多者,以及如果所述預測電路對所述第一區塊執行所述畫面間預測操作,則傳送關於運動估測操作的第一資訊;以及第二編碼器,包括預測區塊產生電路,所述預測區塊產生電路被配置成:從所述第一編碼器接收所述第一資訊,以及通過基於所述第一資訊對第二畫面中所包括的多個第二區塊執行運動補償操作來產生預測區塊,所述第二畫面是與所述第一畫面不同的畫面。
根據本揭露的示例性實施例,一種編碼器可被配置成對第一畫面進行編碼而不具有用於執行畫面內預測及畫面間預測中的一者或多者的預測電路。所述編碼器可包括:預測區塊產生電路,被配置成從第一編碼器接收第一資訊及第二資訊,並產生預測區塊,所述第一資訊與運動估測操作相關聯且所述第二資訊與畫面內預測操作相關聯,所述第一編碼器不同於所述編碼器;以及後處理電路,被配置成基於經重構的畫面及所述第一畫面來探測品質劣化,所述經重構的畫面是通過對由所述編碼器編碼的資料進行反量化來獲得。
根據本揭露的示例性實施例,一種視訊編碼器件可包括:第一編碼器;第二編碼器,所述第二編碼器不同於所述第一編碼器;以及處理器,被配置成:將第一畫面及第二畫面分別分配到第一編碼器及第二編碼器,所述第一畫面及所述第二畫面是輸入圖像中所包括的多個畫面中的不同畫面,所述第二畫面是位於所述第一畫面之後的畫面,以及如果從由所述第二編碼器編碼的圖像中探測到品質劣化,則所述處理器被配置成:在所述第一編碼器完成所述第一畫面的編碼後,將所述第二畫面重新分配到所述第一編碼器,以及將第三畫面分配到所述第二編碼器,所述第三畫面是位於所述第二畫面之後的畫面。
通過閱讀以下詳細說明、圖式及權利要求書,其他特徵及示例性實施例可顯而易見。
10:視頻編碼系統
50:視頻源
100:視訊編碼器件
110:前置處理器電路
130:處理器
140:第一記憶體
150:顯示控制器
160:記憶體控制器
170:匯流排
180:數據機
190:使用者介面
200:顯示器
210:輸入器件
220:第二記憶體
310:第一編碼器
311、321:劃分單元
312:預測模組
312a:運動估測模組
312b:運動補償模組
312c:畫面內預測模組
312d:開關
313、323:壓縮模組
313a、323a:變換模組
313b、323b:量化單元
313c、323c:反量化模組
313d、323d:反變換模組
314、324:速率控制模組
315:解碼圖片緩衝器(DPB)
316、325:濾波器單元
317、327:熵編碼單元
318、328:減法器
319、329:加法器
320:第二編碼器
322:預測區塊產生模組
326:後處理模組
A:區塊
BUT STREAM 1:第一位元串流
BUT STREAM 2:第二位元串流
F1:第一畫面
F2:第二畫面
F3:第三畫面
F4:第四畫面
FI1:第二資料
FI2:第三資料
I1:第一資訊
I2:第二資訊
I3:第三資訊
I4:第四資訊
IM:第一資料
S410、S420、S430、S440、S450:操作
通過參照附圖詳細闡述本揭露的示例性實施例,本揭露 的以上及其它示例性實施例及特徵將變得更顯而易見,在附圖中:圖1是示出根據本揭露一些示例性實施例的視頻編碼系統的方塊圖。
圖2是示出圖1所示視頻編碼系統中所包括的第一編碼器的實例的方塊圖。
圖3是示出圖1所示視頻編碼系統中所包括的第二編碼器的實例的方塊圖。
圖4是示出圖1所示視頻編碼系統中所包括的第二編碼器的另一個實例的方塊圖。
圖5是示出圖1所示視頻編碼系統中所包括的第二編碼器的另一個實例的方塊圖。
圖6是示出根據本揭露一些示例性實施例的回應於在視頻編碼裝置中探測到品質劣化來重新分配被輸入到第一編碼器及第二編碼器的畫面的方法的流程圖。
圖7是示出根據本揭露一些示例性實施例的回應於在視頻編碼裝置中探測到品質劣化來重新分配被輸入到第一編碼器及第二編碼器的畫面的方法的圖。
圖8是示出根據本揭露一些示例性實施例的回應於在視頻編碼裝置中探測到品質劣化來重新分配被輸入到第一編碼器及第二編碼器的畫面的方法的圖。
圖1是示出根據本揭露一些示例性實施例的視頻編碼系統的方塊圖。
參照圖1,視頻編碼系統10可包括能夠拍攝視頻、處理視頻並顯示、儲存或傳送所處理的視頻的各種器件。
舉例來說,視頻編碼系統10可被實施為以下中的一者:電視(television,TV)、數位電視(digital TV,DTV)、互聯網協定電視(Internet protocol TV,IPTV)、個人電腦(personal computer,PC)、臺式電腦(desktop computer)、膝上型電腦(laptop computer)、電腦工作站、平板個人電腦、視頻遊戲平臺/視頻遊戲機、伺服器、及移動計算器件。所述移動計算器件可被實施為手機、智慧手機、企業數字助理(enterprise digital assistant,EDA)、數位相機(digital still camera)、數位攝像機(digital video camera)、可攜式多媒體播放機(portable multimedia player,PMP)、個人導航器件/可攜式導航器件(personal/portable navigation device,PND)、移動互聯網器件(mobile Internet device,MID)、可穿戴式電腦、物聯網(Internet of things,IOT)器件、萬物互聯(Internet of everything,IOE)器件或電子書(electronic book,e-book)。然而,示例性實施例並非僅限於此。
視頻編碼系統10可包括視頻源50、視訊編碼器件100、顯示器200、輸入器件210及第二記憶體220(“記憶體2”)。
視頻源50、視訊編碼器件100、顯示器200、輸入器件210及第二記憶體220對於實現視頻編碼系統10而言未必都是必不可少的,且視頻編碼系統10可包括比圖1所示元件更多或更少的組件。
視訊編碼器件100可被實施為系統晶片(system-on-chip,SoC)。
視頻源50可被實施為配備有例如電荷耦合器件(charge-coupled device,CCD)或互補金屬氧化物半導體(complementary metal-oxide-semiconductor,CMOS)圖像感測器的相機。
視頻源50可通過拍攝目標的圖像來產生關於目標的第一資料IM且可將第一資料IM提供到視訊編碼器件100。
第一資料IM可為靜止圖像資料或移動圖像資料。在一些示例性實施例中,視頻源50可包括在主機中。在這種情形中,第一資料IM可為由主機提供的圖像資料。
視訊編碼器件100可控制視頻編碼系統10的一般操作。
舉例來說,視訊編碼器件100可包括能夠根據本揭露的一些示例性實施例來執行操作的積體電路(integrated circuit,IC)、主機板、應用處理器(application processor,AP)和/或移動應用處理器。
視訊編碼器件100可對由視頻源50輸出的第一資料IM進行處理且可通過顯示器200顯示經處理資料,將經處理資料儲存在第二記憶體220中和/或將經處理資料傳送到另一個資料處理系統。
視頻編碼器件100可包括前置處理器電路110、第一編碼器310(“編碼器1”)、第二編碼器320(“編碼器2”)、處理器130、第一記憶體140(“記憶體1”)、顯示控制器150、記憶體控制器160、匯流排170、數據機180及使用者介面(interface,I/F)190。
前置處理器電路110、第一編碼器310、第二編碼器320、 處理器130、第一記憶體140、顯示控制器150、記憶體控制器160、匯流排170、數據機180及使用者介面190對於實現視訊編碼器件100而言未必都是必不可少的,且視訊編碼器件100可包括比圖1所示組件更多或更少的組件。
第一編碼器310、第二編碼器320、處理器130、第一記憶體140、顯示控制器150、記憶體控制器160、數據機180及使用者介面190可通過匯流排170來彼此交換資料。
舉例來說,匯流排170可被實施為以下中的至少一者:周邊元件連接(peripheral component interconnect,PCI)匯流排、周邊元件連接快速(PCI express,PCIe)匯流排、高級微控制器匯流排架構(advanced microcontroller bus architecture,AMBA)、高級高性能匯流排(advanced high performance bus,AHB)、高級週邊匯流排(advanced peripheral bus,APB)、高級可擴展介面(advanced extensible interface,AXI)匯流排、及其組合,但本揭露並非僅限於此。
前置處理器電路110可包括例如圖像信號處理器(image signal processor,ISP)。ISP可將具有第一資料格式的第一資料IM轉換成第二資料FI1及第三資料FI2。
舉例來說,第一資料IM可為具有拜耳圖案(Bayer pattern)的資料,且第二資料FI1及第三資料FI2可為YUV資料。然而,示例性實施例並非僅限於此實例。
前置處理器電路110可接收由視頻源50輸出的第一資料IM。前置處理器電路110可對第一資料IM進行處理且可將通過對第一資料IM進行處理獲得的第二資料FI1及第三資料FI2分 別提供到第一編碼器310及第二編碼器320。
在其中對視訊編碼器件100進行驅動的環境中,可以例如畫面(或圖片)為單位來提供第一資料IM、第二資料FI1及第三資料FI2。
舉例來說,第一資料IM可為具有多個第一畫面至第四畫面F1、F2、F3及F4的資料群組。第二畫面F2可為位於第一畫面F1之後的畫面。第三畫面F3可為位於第二畫面F2之後的畫面。第四畫面F4可為位於第三畫面F3之後的畫面。
被傳送到第一編碼器310的第二資料FI1可為包含關於第一畫面F1至第四畫面F4中的奇數畫面(例如,第一畫面F1及第三畫面F3)的資料的資料群組。被傳送到第二編碼器320的第三資料FI2可為包含關於第一畫面F1至第四畫面F4中的偶數畫面(例如,第二畫面F2及第四畫面F4)的資料的資料群組。
前置處理器電路110在圖1中被示出為實施在視訊編碼器件100的內部,但示例性實施例並非僅限於此。也就是說,前置處理器電路110可被實施在視訊編碼器件100的外部。
舉例來說,第一編碼器310可對奇數畫面(例如,第一畫面F1及第三畫面F3)進行編碼。在此實例中,第二編碼器320可對第二畫面F2進行編碼,第二畫面F2為位於第一畫面F1之後的畫面。然而,示例性實施例並非僅限於此實例。也就是說,作為另外一種選擇,如果偶數畫面(例如,第二畫面F2及第四畫面F4)被分配到或被重新分配到第一編碼器310,則第一編碼器310可對第二畫面F2及第四畫面F4進行編碼。
第一編碼器310可將第一資訊、第二資訊及第三資訊中 的至少一者傳送到第二編碼器320,第一資訊、第二資訊及第三資訊均是在對第一畫面F1(或第三畫面F3)中所包括的多個區塊中的每一者進行編碼的過程中獲得的且分別與運動估測相關、與畫面內預測相關及與通過速率控制模組(圖中未示出)確定的量化參數值相關。
第二編碼器320可在對第二畫面F2中所包括的多個區塊中的每一者進行編碼期間不執行運動預測、畫面內預測及對量化參數值進行調整中的至少一者。而是,第二編碼器320可接收第一資訊、第二資訊及第三資訊中的至少一者,且可為第二畫面F2中所包括的所述多個區塊中的每一者產生預測區塊。
在一些示例性實施例中,第一編碼器310可為全編碼器,且第二編碼器320可為部分編碼器。也就是說,在第二編碼器320中可不設置有第一編碼器310的元件中的一些元件。舉例來說,第一編碼器310可包括處理電路以執行速率控制模組、運動估測模組和/或畫面內預測模組的功能,而第二編碼器320可不包括執行速率控制模組、運動估測模組及畫面內預測模組中的至少一者的功能的處理電路。
第一編碼器310及第二編碼器320可使用例如以下視頻編碼格式:聯合圖片專家組(Joint Picture Expert Group,JPEG)、運動圖片專家組(Motion Picture Expert Group,MPEG)、MPEG-2、MPEG-4、視頻編碼(video coding,VC)-1、H.264、H.265或高效視頻編碼(high efficiency video coding,HEVC),但示例性實施例並非僅限於此。
處理器130可控制視訊編碼器件100的操作。
處理器130可包括處理電路及記憶體(圖中未示出)。
記憶體(圖中未示出)可包括揮發性記憶體、非揮發性記憶體、隨機存取記憶體(random access memory,RAM)、快閃記憶體記憶體(flash memory)、硬碟驅動器、及光碟驅動器中的至少一者。
處理電路可為但不限於處理器、中央處理器(Central Processing Unit,CPU)、控制器、算數邏輯單位(arithmetic logic unit,ALU)、數位訊號處理器(digital signal processor)、微電腦、現場可程式化閘陣列(field programmable gate array,FPGA)、應用專用積體電路(Application Specific Integrated Circuit,ASIC)、系統晶片(System-on-Chip,SoC)、可程式化邏輯單元、微處理器或能夠以所定義方式執行操作的任何其他器件。
處理器130可接收用戶輸入以運行一個或多個應用(舉例來說,軟體應用)。由處理器130運行的應用中的一些應用可為視頻呼叫應用(video call application)。另外,由處理器130運行的應用可包括作業系統(operating system,OS)、文書處理器應用、媒體播放機應用、視頻遊戲應用和/或圖形使用者介面(graphic user interface,GUI)應用,但本揭露並非僅限於此。
處理器130可通過佈局設計或通過執行儲存在記憶體(圖中未示出)中的電腦可讀指令而被配置成專用電腦來控制前置處理器電路110將奇數畫面(例如,第一畫面F1及第三畫面F3)分配到第一編碼器310及將偶數畫面(例如,第二畫面F2及第四畫面F4)分配到第二編碼器320。也就是說,處理器130可判斷那些畫面將被分配到第一編碼器310及第二編碼器320。因此,處 理電路可通過以下方式來改善視頻編碼器件100自身的功能:將畫面從第二編碼器320重新分配到第一編碼器310以使所述畫面能夠由具有與預測模組對應的電路的第一編碼器310進行重新編碼,從而校正所述畫面的圖像品質劣化。
處理器130可以各種方式將畫面資料分配到第一編碼器310及第二編碼器320。舉例來說,處理器130可將偶數畫面(例如,第二畫面F2及第四畫面F4)分配到第一編碼器310且將奇數畫面(例如,第一畫面F1及第三畫面F3)分配到第二編碼器320。
在一些示例性實施例中,如果從通過對由第二編碼器320編碼的圖像進行解碼而獲得的畫面探測到品質劣化,則處理器130可將通過由第二編碼器320編碼而獲得的畫面重新分配到第一編碼器310且可將位於通過由第二編碼器320編碼而獲得的畫面之後的畫面分配到第二編碼器320。在這種情形中,分配到第一編碼器310及第二編碼器320的畫面可發生改變。
舉例來說,假設第一編碼器310對第一畫面F1進行編碼且第二編碼器320對第二畫面F2進行編碼,則如果從通過對經編碼的第二畫面進行解碼而獲得的資料探測到品質劣化,處理器130可將第二畫面F2重新分配到第一編碼器310。接著,處理器130可將位於第二畫面F2之後的畫面(例如,第三畫面F3)分配到第二編碼器320。
第一記憶體140可在記憶體控制器160的控制下將關於第二資料FI1及第三資料FI2的當前正被第一編碼器310及第二編碼器320編碼的當前畫面的資訊傳送到第一編碼器310及第二編 碼器320。
記憶體控制器160可在第一編碼器310、第二編碼器320或處理器130的控制下將由第一編碼器310及第二編碼器320編碼的資料或由處理器130輸出的資料(例如,位元流)寫入到第二記憶體220。
第一記憶體140可被實施為揮發性記憶體,但示例性實施例並非僅限於此。揮發性記憶體可作為隨機存取記憶體(random access memory,RAM)、靜態隨機存取記憶體(static RAM,SRAM)、動態隨機存取記憶體(dynamic RAM,DRAM)、同步動態隨機存取記憶體(synchronous DRAM,SDRAM)、閘流體隨機存取記憶體(thyristor RAM,T-RAM)、零電容器隨機存取記憶體(zero capacitor RAM,Z-RAM)或雙電晶體隨機存取記憶體(twin transistor RAM,TTRAM)提供。作為另外一種選擇,第一記憶體140可被實施為非揮發性記憶體。
第二記憶體220可被實施為非揮發性記憶體,但示例性實施例並非僅限於此。非揮發性記憶體可被作為電可擦可程式化唯讀記憶體(electrically erasable programmable read-only memory,EEPROM)、快閃記憶體記憶體、磁性隨機存取記憶體(magnetic RAM,MRAM)、自旋轉移力矩磁性隨機存取記憶體(spin-transfer torque MRAM)、鐵電隨機存取記憶體(ferroelectric RAM,FeRAM)、相變隨機存取記憶體(phase change RAM,PRAM)或電阻式隨機存取記憶體(resistive RAM,RRAM)提供。另外,非揮發性記憶體可作為多媒體卡(multimedia card,MMC)、嵌入式多媒體卡(embedded MMC,eMMC)、通用快閃記憶體儲存 (universal flash storage,UFS)、固態驅動器(solid-state drive,SSD)或固態盤(solid-state disk,SSD)、通用序列匯流排(universal serial bus,USB)快閃記憶體驅動器或硬碟驅動器(hard disk drive,HDD)提供。作為另外一種選擇,第二記憶體220可被實施為揮發性記憶體。
圖1示出其中第二記憶體220設置在視訊編碼器件100外部的實例,但示例性實施例並非僅限於此。在另一個實例中,第二記憶體220可設置在視訊編碼器件100內部。
顯示控制器150可將由第一編碼器310及第二編碼器320或處理器130輸出的資料傳送到顯示器200。顯示器200可被實施為監視器、電視監視器、投影器件、薄膜電晶體液晶顯示器(thin film transistor-liquid crystal display,TFT-LCD)、發光二極體(light-emitting diode,LED)顯示器、有機發光二極體(organic LED,OLED)顯示器、主動矩陣有機發光二極體(active-matrix OLED,AMOLED)顯示器或柔性顯示器。
舉例來說,顯示控制器150可通過移動行業處理器介面(mobile industry processor interface,MIPI)顯示器序列介面(display serial interface,DSI)將資料傳送到顯示器200。
輸入器件210可從用戶接收用戶輸入且可回應於所接收到的使用者輸入將輸入信號傳送到使用者介面190。
輸入器件210可被實施為觸摸面板、觸控式螢幕、語音辨識器、觸摸筆、鍵盤、滑鼠或軌跡點(track point),但示例性實施例並非僅限於此。舉例來說,在其中輸入器件210是觸控式螢幕的情形中,輸入器件210可包括觸摸面板及觸摸面板控制器。 輸入器件210可連接到顯示器200且可與顯示器200分開實施。
輸入器件210可將輸入信號傳送到使用者介面190。
使用者介面190可從輸入器件210接收輸入信號且可將由輸入信號產生的資料傳送到處理器130。
數據機180可使用無線通訊技術將由第一編碼器310及第二編碼器320或處理器130編碼的資料輸出到外部。數據機180可採用無線通訊技術,例如(舉例來說)WiFi、無線寬頻(wireless broadband,Wibro)、3G無線通訊、長期演進(Long Term Evolution,LTE)、高級長期演進(Long Term Evolution-Advanced,LTE-A)或寬頻高級長期演進,但示例性實施例並非僅限於此。
圖2是示出圖1所示視頻編碼器件中所包括的第一編碼器的實例的方塊圖。
參照圖2,第一編碼器310可為包括與劃分單元311、預測模組312、壓縮模組313、速率控制模組314、解碼圖片緩衝器(decoding picture buffer,DPB)315、濾波器單元316、熵編碼單元317、減法器318及加法器319對應的處理電路的現場可程式化閘陣列(FPGA)、應用專用積體電路(ASIC)、系統晶片(SoC)。
圖2所示元件對於實現第一編碼器310而言未必都是必不可少的,且第一編碼器310可包括比圖2所示組件更多或更少的組件。
劃分單元311可將第二資料FI1的當前正被編碼的當前畫面(例如,第一畫面F1)劃分成多個區塊。
預測模組312可對第一畫面F1執行畫面內預測或畫面間預測。
畫面內預測是只參考當前畫面來執行預測的預測模式,且畫面間預測是不僅參考當前畫面而且還參考其他畫面來執行預測的預測模式。
預測模組312可包括運動估測模組312a、運動補償模組312b、畫面內預測模組312c及開關312d。
運動估測模組312a可將當前畫面劃分成具有適當大小的適當數目個區塊,以產生最小畸變並使所產生位元的數目最小化。運動估測模組312a可從各種運動估測模式(例如,正常模式、合併模式等)中選擇會產生最小畸變及最小位元數目的運動估測模式。運動估測模組312a可通過搜索被儲存在DPB 315中的參考圖像以找到與被輸入到預測模組312的區塊最匹配的區域來獲得運動向量。
運動補償模組312b可通過使用由運動估測模組312a及儲存在DPB 315中的參考圖像獲得的運動向量執行運動補償來產生預測區塊。
畫面內預測模組312c可將當前畫面劃分成具有適當大小的適當數目個區塊以產生最小畸變並使所產生位元的數目最小化。畫面內預測模組312c可從各種畫面內預測模式(例如,DC模式及平面模式(planar rnode))中選擇會產生最小畸變及最小位元數目的畫面內預測模式。畫面內預測模組312c可通過使用當前正被編碼的當前畫面的當前區塊附近的已被編碼區塊的圖元值執行空間預測來產生預測區塊。
在執行畫面內預測與畫面間預測二者之後,預測模組312可使用由以下方程式(1)計算的成本值J來決定是執行畫面內 預測還是執行畫面間預測:J=D+A*R ...(1)
其中D表示經編碼圖像的畸變指數,A表示與量化參數值成比例的常數值,且R表示通過畫面內預測或畫面間預測產生的位元數目。
若基於成本值J確定出執行畫面間預測合適,則預測模組312可使用開關312d來執行畫面間預測。若基於成本值J確定出執行畫面內預測合適,則預測模組312可使用開關312d來執行畫面內預測。
在一些示例性實施例中,在其中在第一編碼器310中執行畫面間預測的情形中,第一編碼器310可向第二編碼器320傳送關於運動估測的第一資訊I1,第一資訊I1包括以下中的至少一者:關於已經歷運動估測的區塊的資訊(例如,已經歷運動估測的區塊的大小及數目)、關於所使用的運動估測模式的資訊、關於參考畫面的資訊、及運動向量資訊。
在一些示例性實施例中,在其中在第一編碼器310中執行畫面內預測的情形中,第一編碼器310可向第二編碼器320傳送關於畫面內預測的第二資訊I2,第二資訊I2包括以下中的至少一者:關於已經歷畫面內預測的區塊的資訊(例如,已經歷畫面內預測的區塊的大小及數目)、關於所使用的畫面內預測模式的資訊、以及關於參考區塊的資訊。
減法器318可基於當前畫面的當前區塊與由預測模組 312產生的預測區塊之間的差異產生殘留區塊。殘留區塊可為表示當前畫面的當前區塊與預測區塊之間的差異的區塊。
速率控制模組314可使用預測區塊來控制當前畫面中所包括的多個區塊中的每一者的量化參數值。
在一些示例性實施例中,第一編碼器310可向第二編碼器320傳送第三資訊I3,第三資訊I3是與由速率控制模組314確定的量化參數值有關。
壓縮模組313可包括變換模組313a、量化單元313b、反量化模組313c及反變換模組313d。
變換模組313a可形成從殘留區塊變換而來的區塊資料。變換模組313a可使用離散餘弦變換(discrete cosine transform,DCT)或小波變換(wavelet transform)。由變換模組313a產生的變換係數可被傳送到量化單元313b。
量化單元313b可根據由速率控制模組314確定的量化參數值來對變換係數進行量化,且可輸出經量化係數。量化單元313b可通過對變換係數進行量化來減少位元數目。在此過程中,速率控制模組314可通過調整量化參數值來調整量化程度。
經量化係數可由反量化模組313c反量化且可由反變換模組313d反變換。經反量化及反變換的係數可通過加法器319加到預測區塊,從而產生經重構的區塊。
經重構的區塊可通過濾波器單元316被過濾出。濾波器單元316可對經重構的區塊應用去區塊濾波器(deblocking filter)、樣本自我調整偏移(sample adaptive offset,SAO)濾波器及自我調整環路濾波器(adaptive loop filter,ALF)中的至少一者。 通過濾波器單元316過濾出的經重構的區塊可儲存在DPB 315中。
熵編碼單元317可根據基於由量化單元313b計算的值或在編碼期間計算的編碼參數值的概率分佈來對符號進行熵編碼且可因此輸出第一位元串流“BIT STREAM 1”。熵編碼是一種接收具有各種值的符號並將所述符號表達為可解碼的二進位序列、同時能消除統計冗餘(statistical redundancy)的方法。
符號可指待編碼的句法元素、編碼參數或殘留區塊。作為進行編碼及解碼所需的參數的編碼參數可不僅包含由編碼器件編碼且被傳輸到解碼器件的資訊(例如,句法元素),而且還包含將在編碼或解碼期間推斷出的資訊,且編碼參數可為對圖像進行編碼或解碼所必需的資訊。編碼參數的實例包括值或統計資訊,例如畫面內預測模式/畫面間預測模式、運動向量、參考圖片索引(reference picture indexes)、編碼區塊圖案、是否存在殘留區塊、變換係數、經量化的變換係數、量化參數值、區塊大小及區塊劃分資訊。
當應用熵編碼時,可通過將小數目的位元分配到具有高出現概率的符號以及將大數目的位元分配到具有低出現概率的符號來減小待編碼的符號的位元流大小。因此,通過熵編碼可增強視頻編碼的壓縮性能。
對於熵編碼而言,可使用例如指數哥倫布(exponential Golomb)、上下文自我調整可變長度編碼(context-adaptive variable length coding,CAVLC)或上下文自我調整二進位算術編碼(context-adaptive binary arithmetic coding,CABAC)等編碼方法。舉例來說,熵編碼單元317中可儲存有用於執行熵編碼的表(例 如,可變長度編碼/代碼(variable length coding/code,VLC)表),且熵編碼單元317可使用所儲存的VLC表來執行熵編碼。另外,熵編碼單元317可匯出目標符號的二進位化方法(binarization method)及目標符號/位元(bin)的概率模型且接著可使用所匯出的二進位元化方法或概率模型來執行熵編碼。
圖3至圖5是示出圖1所示視訊編碼器件中所包括的第二編碼器的實例的方塊圖。
參照圖3,第二編碼器320可為包括與劃分單元321、預測區塊產生模組322、壓縮模組323、濾波器單元325、後處理模組326、熵編碼單元327、減法器328及加法器329對應的處理電路的現場可程式化閘陣列(FPGA)、應用專用積體電路(ASIC)、系統晶片(SoC)。
圖3所示元件對於實現第二編碼器320而言未必都是必不可少的,且第二編碼器320可包括比圖3所示組件更多或更少的組件。
劃分單元321可將第三資料FI2中所包括的第二畫面F2劃分成多個區塊。第二畫面F2可為位於由第一編碼器310編碼的第一畫面F1之後的畫面。
不同於圖2所示第一編碼器310,第二編碼器320可不包括與預測模組(例如,圖2所示預測模組312)對應的處理電路。而是,第二編碼器320可包括預測區塊產生模組322。
預測區塊產生模組322可從第一編碼器310接收第一資訊I1或第二資訊I2且可產生預測區塊。
第二畫面F2是位於第一畫面F1之後的畫面且因此很有 可能與第一畫面F1相似。因此,第二編碼器320可在無需借助畫面內預測模組或運動估測模組的條件下只通過與第一編碼器310共用在對第一畫面F1執行畫面內預測或運動估測過程中由第一編碼器310產生的資訊來產生預測區塊。
舉例來說,在其中從第一編碼器310接收到關於運動估測的第一資訊I1的情形中,預測區塊產生模組322可通過基於第一資訊I1對第二畫面F2中所包括的多個區塊執行運動補償來產生預測區塊,第一資訊I1包括以下中的至少一者:關於已經歷運動估測的區塊的資訊(例如,已經歷運動估測的區塊的大小及數目)、關於所使用的運動估測模式的資訊、關於參考畫面的資訊、及運動向量資訊。
在另一個實例中,在其中從第一編碼器310接收到關於畫面內預測的第二資訊I2的情形中,預測區塊產生模組322可基於第二資訊I2來為第二畫面F2中所包括的區塊中的每一區塊產生預測區塊,第二資訊I2包括以下中的至少一者:關於已經歷畫面內預測的區塊的資訊(例如,已經歷畫面內預測的區塊的大小及數目)、關於所使用的畫面內預測模式的資訊、以及關於參考畫面的資訊。
一般來說,運動估測模組在典型編碼器中具有最大的大小。因此,通過不在第二編碼器320中提供運動估測模組及畫面內預測模組,第二編碼器320的大小可顯著減小。因此,可在使編碼器件的大小最小化的同時使用多個編碼器來以高的畫面播放速率對圖像進行編碼。
在一些示例性實施例中,在第二編碼器320中可只不設 置有圖2所示運動估測模組312a。在這種情形中,預測區塊產生模組322可執行畫面內預測而不執行畫面間預測。因此,預測區塊產生模組322可只從第一編碼器310接收第一資訊I1。
減法器328可基於第二畫面F2的當前正被編碼的當前區塊與由預測區塊產生模組322產生的預測區塊之間的差異產生殘留區塊。殘留區塊可為表示第二畫面F2的當前區塊與預測區塊之間的差異的區塊。
壓縮模組323可包括變換模組323a、量化單元323b、反量化模組323c及反變換模組323d。
變換模組323a可形成從殘留區塊變換而來的區塊資料。變換模組323a可使用DCT或小波變換。由變換模組323a產生的變換係數可被傳送到量化單元323b。
在一些示例性實施例中,量化單元323b可接收第三資訊I3,第三資訊I3與由第一編碼器310的速率控制模組314確定的量化參數值有關。量化單元323b可基於從第一編碼器310接收的第三資訊I3來調整量化參數值。量化單元323b可根據經調整的量化參數值來對變換係數進行量化且可輸出經量化係數。
如上面所已經闡述,第二畫面F2是位於第一畫面F1之後的畫面且因此很有可能與第一畫面F1相似。因此,即使使用相同的量化參數值,也不太可能出現問題。因此,通過不在第二編碼器320中提供速率控制模組以及通過基於從第一編碼器310接收到的第三資訊I3確定量化參數值,可減小第二編碼器320的大小。
參照圖4,在一些示例性實施例中,第二編碼器320可 包括速率控制模組324。在這種情形中,不同於圖3所示實例,量化單元323b可不從第一編碼器310接收第三資訊I3。速率控制模組324可使用預測區塊來調整當前畫面中所包括的多個區塊中的每一者的量化參數值。量化單元323b可根據由速率控制模組324確定的量化參數值對變換係數進行量化,且可輸出經量化係數。除了速率控制模組324之外,圖4所示第二編碼器320的所有元件均與圖3所示第二編碼器320的相應的對應元件相同,且因此將省略其詳細說明。
再次參照圖3,經量化係數可由反量化模組323c反量化且可由反變換模組323d反變換。經反量化及反變換的係數可通過加法器329加到預測區塊,從而產生經重構的區塊。
經重構的區塊可通過濾波器單元325被過濾出。濾波器單元325可對經重構的區塊應用去區塊濾波器、SAO濾波器及ALF中的至少一者。通過濾波器單元325過濾出的經重構的區塊可被傳送到後處理模組326。
後處理模組326可接收經重構的區塊且可對畫面進行重構。後處理模組326可將經重構的畫面與由第二編碼器320編碼的第二畫面F2進行比較。如果比較結果表明品質劣化,則後處理模組326可將表示已出現品質劣化的第四資訊I4傳送到圖1所示處理器130。如果經重構的畫面與第二畫面F2之間的差異超過預定義水準,則後處理模組326可確定已出現品質劣化。
參照圖5,後處理模組326可通過第一編碼器310接收多個區塊A且可產生第三畫面。所述多個區塊A可為通過由圖2所示劃分單元311對第一畫面F1進行劃分而獲得的區塊,或者可 為通過圖2所示濾波器單元316重構的區塊。後處理模組326可使用通過圖5所示濾波器單元325接收的重構區塊來產生第四畫面。
後處理模組326可將第三畫面與第四畫面進行比較且如果第三畫面與第四畫面之間的差異超過期望的(或作為另外一種選擇,預定義的)水準,則可確定已出現品質劣化。在其中後處理模組326確定已出現品質劣化的情形中,後處理模組326可將表示已出現品質劣化的第四資訊I4傳送到處理器130。
除了速率控制模組324之外,圖5所示第二編碼器320的所有元件均與圖4所示第二編碼器320的相應的對應元件相同,且因此,將省略其詳細說明。
在一些示例性實施例中,在其中接收到表示已出現品質劣化的第四資訊I4的情形中,處理器130可將畫面重新分配到第一編碼器310及第二編碼器320。此將在稍後參照圖6至圖8加以闡述。
再次參照圖3,熵編碼單元327可根據基於由量化單元323b計算的值或在編碼期間計算的編碼參數值的概率分佈來對符號進行熵編碼且可因此輸出第二位元串流“BUT STREAM 2”。熵編碼是一種接收具有各種值的符號並將所述符號表達為可解碼的二進位序列、同時能消除統計冗餘的方法。
當應用熵編碼時,可通過將小數目的位元分配到具有高出現概率的符號以及將大數目的位元分配到具有低出現概率的符號來減小待編碼的符號的位元流大小。因此,通過熵編碼可增強視頻編碼的壓縮性能。
對於熵編碼而言,可使用例如指數哥倫布、CAVLC或CABAC等編碼方法。舉例來說,熵編碼單元327中可儲存有用於執行熵編碼的表(例如,VLC表),且熵編碼單元327可使用所儲存的VLC表來執行熵編碼。另外,熵編碼單元327可匯出目標符號的二進位化方法及目標符號/位元(bin)的概率模型且接著可使用所匯出的二進位化方法或概率模型來執行熵編碼。
圖6是示出根據本揭露一些示例性實施例的回應於在視頻編碼裝置中探測到品質劣化來重新分配被輸入到第一編碼器及第二編碼器的畫面的方法的流程圖,且圖7及圖8是示出根據本揭露一些示例性實施例的回應於在視頻編碼裝置中探測到品質劣化來重新分配被輸入到第一編碼器及第二編碼器的畫面的方法的圖。
根據本揭露一些示例性實施例的回應於在視頻編碼裝置中探測到品質劣化來重新分配被輸入到第一編碼器及第二編碼器的畫面的方法將在下文中加以闡述,且將不再對圖1至圖5所示示例性實施例予以重複說明。
參照圖6,在操作S410中,圖1所示視訊編碼器件100中所包括的處理器130可對被輸入到圖3所示第一編碼器310及第二編碼器320的畫面進行分配。
舉例來說,在其中輸入資料包括多個畫面的情形中,處理器130可將所述多個畫面分配成使奇數畫面被輸入到第一編碼器310且偶數畫面被輸入到第二編碼器320。如果所述多個畫面在第一編碼器310與第二編碼器320之間分配成使不同的畫面被分配到第一編碼器310及第二編碼器320中不同的編碼器,則視訊 編碼器件的畫面播放速率可增大。
舉例來說,參照圖7,處理器130可將第一畫面F1分配到第一編碼器310且可將第二畫面F2(即,位於第一畫面F1之後的畫面)分配到第二編碼器320。
再次參照圖6,在操作S420中,第一編碼器310及第二編碼器320可對向其分配的畫面進行編碼。
在操作S430中,第二編碼器320中所包括的後處理模組326可探測品質劣化。
如以上已參照圖1至圖5所論述,在第二編碼器320中可不設置有執行畫面內預測或畫面間預測的預測模組。而是,第二編碼器320可從第一編碼器310接收關於畫面內預測或畫面間預測的資訊且可產生預測區塊。
參照圖7,如果由第二編碼器320編碼的第二畫面F2不同於由第一編碼器310編碼的第一畫面F1(舉例來說,如果第二畫面F2的亮度不同於第一畫面F1的亮度或者如果第二畫面F2的運動向量不同於第一畫面F1的運動向量),則在由第二編碼器320編碼的畫面中可能會出現品質劣化。
由後處理模組326識別品質劣化的方法已在以上參照圖3及圖5進行了闡述,且因此將省略其詳細說明。
再次參照圖6,如果後處理模組326識別出品質劣化(S430,是),則在操作S440中,後處理模組326可將表示已識別出品質劣化的資訊傳送到處理器130。
舉例來說,參照圖8,如果從後處理模組326接收到表示已出現品質劣化的資訊,則處理器130可在由第一編碼器310 對第一畫面F1進行的編碼完成時將第二畫面F2重新分配到第一編碼器310,且可將第三畫面F3(即,位於第二畫面F2之後的畫面)分配到第二編碼器320。也就是說,當由第一編碼器310對第一畫面F1進行的編碼完成時,處理器130可將偶數畫面分配到第一編碼器310且可將奇數畫面分配到第二編碼器320。也就是說,處理器130可在探測到品質劣化之後改變畫面的分配方式。
再次參照圖6,第一編碼器310可對向其重新分配的第二畫面F2進行編碼,且第二編碼器320可對向其分配的第三畫面F3進行編碼。不同於第二編碼器320,第一編碼器310可包括預測模組。因此,可通過在第一編碼器310中對第二畫面F2進行重新編碼來解決已在第二畫面F2中出現的品質劣化。
在一些示例性實施例中,如果後處理模組326探測到品質劣化,則處理器130可將由第二編碼器320產生的第二位元串流“BIT STREAM 2”刪除,而不儲存或傳送第二位元流“BUT STREAM 2”。
如果後處理模組326未識別出品質劣化(S430,否),則在操作S450中,處理器130可判斷由第一編碼器310或第二編碼器320編碼的畫面是否是最末畫面。
如果由第一編碼器310或第二編碼器320編碼的畫面是最末畫面(S450,是),則可完成視頻編碼。另一方面,如果由第一編碼器310或第二編碼器320編碼的畫面不是最末畫面(S450,否),則處理器130可對後續畫面重複進行操作S410、S420、S430、S440及S450。
已參照附圖闡述了本揭露的示例性實施例,然而所屬領 域中的一般技術人員可理解,本揭露可由所屬領域中的一般技術人員以其他具體形式執行,而此不會改變本揭露的技術概念或基本特徵。另外,上述示例性實施例僅為實例而不對本揭露的權利範圍進行限制。
10:視頻編碼系統
50:視頻源
100:視訊編碼器件
110:前置處理器電路
130:處理器
140:第一記憶體
150:顯示控制器
160:記憶體控制器
170:匯流排
180:數據機
190:使用者介面
200:顯示器
210:輸入器件
220:第二記憶體
310:第一編碼器
320:第二編碼器
F1:第一畫面
F2:第二畫面
F3:第三畫面
F4:第四畫面
FI1:第二資料
FI2:第三資料
IM:第一資料

Claims (8)

  1. 一種視訊編碼器件,包括:第一編碼器,包括預測電路,所述預測電路被配置成:對第一畫面中所包括的多個第一區塊執行畫面內預測操作及畫面間預測操作中的一者或多者,以及如果所述預測電路對所述第一區塊執行所述畫面間預測操作,則傳送關於運動估測操作的第一資訊;以及第二編碼器,包括預測區塊產生電路,所述預測區塊產生電路被配置成:從所述第一編碼器接收所述第一資訊,以及通過基於所述第一資訊對第二畫面中所包括的多個第二區塊執行運動補償操作來產生預測區塊但不執行運動預測,所述第二畫面是與所述第一畫面不同的畫面。
  2. 如申請專利範圍第1項所述的視訊編碼器件,其中所述第一編碼器更包括速率控制電路,所述速率控制電路被配置成確定所述第一區塊的量化參數值,且所述第二編碼器更包括壓縮電路,所述壓縮電路包括量化單元,所述量化單元被配置成接收第三資訊且執行量化操作,所述第三資訊與所述第一區塊的所述量化參數值相關聯。
  3. 如申請專利範圍第1項所述的視訊編碼器件,其中所述第一編碼器更包括第一速率控制電路,所述第一速率控制電路被配置成確定所述第一區塊的量化參數值,且所述第二編碼器更包括第二速率控制電路,所述第二速率控 制電路被配置成確定所述第二區塊的量化參數值。
  4. 一種編碼器,被配置成對第一畫面進行編碼而不具有用於執行畫面內預測及畫面間預測中的一者或多者的預測電路,所述編碼器包括:預測區塊產生電路,被配置成從第一編碼器接收第一資訊及第二資訊,並產生預測區塊但不執行運動預測,所述第一資訊與運動估測操作相關聯且所述第二資訊與畫面內預測操作相關聯,所述第一編碼器不同於所述編碼器;以及後處理電路,被配置成基於所述第一畫面的經重構的畫面及所述第一畫面來探測品質劣化,所述經重構的畫面是通過對由所述編碼器編碼的資料進行反量化來獲得。
  5. 如申請專利範圍第4項所述的編碼器,其中所述第一資訊是關於對第二畫面執行的所述運動估測操作的資訊,所述第二畫面是位於所述第一畫面之前的畫面。
  6. 如申請專利範圍第5項所述的編碼器,其中所述後處理電路被配置成如果所述第一畫面與所述經重構的畫面之間的差異超過所定義水準,則探測到已發生所述品質劣化。
  7. 一種視訊編碼器件,包括:第一編碼器;第二編碼器,所述第二編碼器不同於所述第一編碼器;以及處理器,被配置成:將第一畫面及第二畫面分別分配到第一編碼器及第二編碼器,所述第一畫面及所述第二畫面是輸入圖像中所包括的多 個畫面中的不同畫面,所述第二畫面是位於所述第一畫面之後的畫面,以及如果從由所述第二編碼器編碼的圖像中探測到基於所述第二畫面及其經重構的畫面的品質劣化,則所述處理器被配置成:在所述第一編碼器完成所述第一畫面的編碼後,將所述第二畫面重新分配到所述第一編碼器,以及將第三畫面分配到所述第二編碼器,所述第三畫面是位於所述第二畫面之後的畫面,其中所述第一編碼器包括預測電路,所述預測電路被配置成:對所述第一畫面中所包括的多個第一區塊執行畫面內預測操作及畫面間預測操作中的一者或多者,如果所述第一編碼器對所述第一區塊執行所述畫面間預測操作,則將第一資訊傳送到所述第二編碼器,所述第一資訊與運動估測操作相關聯,以及如果所述第一編碼器對所述第一區塊執行所述畫面內預測操作,則將第二資訊傳送到所述第二編碼器,所述第二資訊與所述畫面內預測操作相關聯,以及其中所述第二編碼器被配置成從所述第一編碼器接收所述第一資訊及所述第二資訊中的一者或多者,且所述第二編碼器包括:預測區塊產生電路,被配置成基於所述第一資訊及所述第二資訊中的一者或多者為在所述第二畫面中所包括的多個第二區塊產生預測區塊但不執行運動預測。
  8. 如申請專利範圍第7項所述的視訊編碼器件,其中所述第二編碼器被配置成如果所述第二編碼器探測到所述第二畫面中的品質劣化,則將表示已出現品質劣化的第四資訊傳送到所述處理器。
TW107124713A 2017-10-16 2018-07-18 視訊編碼器件以及編碼器 TWI816684B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??10-2017-0133921 2017-10-16
KR1020170133921A KR102347598B1 (ko) 2017-10-16 2017-10-16 영상 부호화 장치 및 인코더
KR10-2017-0133921 2017-10-16

Publications (2)

Publication Number Publication Date
TW201918070A TW201918070A (zh) 2019-05-01
TWI816684B true TWI816684B (zh) 2023-10-01

Family

ID=66096274

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107124713A TWI816684B (zh) 2017-10-16 2018-07-18 視訊編碼器件以及編碼器

Country Status (4)

Country Link
US (1) US10674160B2 (zh)
KR (1) KR102347598B1 (zh)
CN (1) CN109672890B (zh)
TW (1) TWI816684B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190810B2 (en) * 2018-01-26 2021-11-30 Samsung Electronics Co., Ltd. Device and method for compressing image data using quantization parameter and entropy tables
CN115767245A (zh) * 2021-08-30 2023-03-07 瑞昱半导体股份有限公司 视频处理系统以及方法
CN115633176B (zh) * 2022-12-08 2023-03-21 北京蔚领时代科技有限公司 动态调整画面群组长度的方法、装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356589B1 (en) * 1999-01-28 2002-03-12 International Business Machines Corporation Sharing reference data between multiple encoders parallel encoding a sequence of video frames
US20100189179A1 (en) * 2009-01-29 2010-07-29 Microsoft Corporation Video encoding using previously calculated motion information
US20120195368A1 (en) * 2011-01-27 2012-08-02 Qualcomm Incorporated Performing motion vector prediction for video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5978029A (en) 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
CN101411203B (zh) * 2006-04-04 2012-11-07 高通股份有限公司 自适应编码器辅助帧速率上变换
KR100791299B1 (ko) 2006-04-11 2008-01-04 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법 및 장치
WO2007138151A1 (en) * 2006-05-30 2007-12-06 Hantro Products Oy Apparatus, arrangement, method and computer program product for digital video processing
EP2041980A2 (en) 2006-07-10 2009-04-01 Thomson Licensing Methods and apparatus for enhanced performance in a multi-pass video encoder
US20080152014A1 (en) * 2006-12-21 2008-06-26 On Demand Microelectronics Method and apparatus for encoding and decoding of video streams
KR20110047310A (ko) * 2009-10-30 2011-05-09 삼성전자주식회사 비디오 인코딩 장치 및 비디오 인코딩 방법
US20110150074A1 (en) 2009-12-23 2011-06-23 General Instrument Corporation Two-pass encoder
US8681858B2 (en) 2009-12-23 2014-03-25 General Instrument Corporation Rate control for two-pass encoder
US20130259137A1 (en) * 2012-03-30 2013-10-03 Google Inc. System and Method for Multi-Core Hardware Video Encoding And Decoding
US8948529B1 (en) 2012-10-30 2015-02-03 Google Inc. Multi-pass encoding
WO2014094204A1 (en) 2012-12-17 2014-06-26 Intel Corporation Leveraging encoder hardware to pre-process video content
KR20150035318A (ko) 2013-09-27 2015-04-06 삼성테크윈 주식회사 인코딩 장치 및 방법, 그리고 인코딩 장치를 구비한 카메라
US10057590B2 (en) * 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
KR102264840B1 (ko) * 2014-11-27 2021-06-15 삼성전자주식회사 비디오 프레임 인코딩 회로, 그것의 인코딩 방법 및 그것을 포함하는 비디오 데이터 송수신 장치
KR102483269B1 (ko) * 2016-08-29 2023-01-02 삼성전자주식회사 서버 장치, 사용자 단말 장치, 그 제어 방법들 및 스트리밍 시스템
US10115223B2 (en) * 2017-04-01 2018-10-30 Intel Corporation Graphics apparatus including a parallelized macro-pipeline

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356589B1 (en) * 1999-01-28 2002-03-12 International Business Machines Corporation Sharing reference data between multiple encoders parallel encoding a sequence of video frames
US20100189179A1 (en) * 2009-01-29 2010-07-29 Microsoft Corporation Video encoding using previously calculated motion information
US20120195368A1 (en) * 2011-01-27 2012-08-02 Qualcomm Incorporated Performing motion vector prediction for video coding

Also Published As

Publication number Publication date
CN109672890B (zh) 2023-04-07
US20190116362A1 (en) 2019-04-18
TW201918070A (zh) 2019-05-01
CN109672890A (zh) 2019-04-23
KR102347598B1 (ko) 2022-01-05
KR20190042234A (ko) 2019-04-24
US10674160B2 (en) 2020-06-02

Similar Documents

Publication Publication Date Title
US9473778B2 (en) Skip thresholding in pipelined video encoders
US9807410B2 (en) Late-stage mode conversions in pipelined video encoders
US10291925B2 (en) Techniques for hardware video encoding
US9392292B2 (en) Parallel encoding of bypass binary symbols in CABAC encoder
JP6225250B2 (ja) 並列のハードウェア及びソフトウェアブロック処理パイプライン
KR102543444B1 (ko) 영상 부호화 장치
US9967573B2 (en) Codec, system on chip (SOC) including the same, and data processing system including the SOC
TWI736557B (zh) 資料編碼設備以及資料編碼方法
TWI816684B (zh) 視訊編碼器件以及編碼器
US10841659B2 (en) Video encoding apparatus and video encoding system
TWI688260B (zh) 包括用於影像處理的編碼器之方法、系統及裝置
US10009617B2 (en) Method of operating encoder and method of operating system on chip including the encoder
US20170013262A1 (en) Rate control encoding method and rate control encoding device using skip mode information
TWI785073B (zh) 多重轉碼器編碼器及多重轉碼器編碼系統
US10694178B2 (en) Video processing device for encoding frames constituting hierarchical structure
TWI834621B (zh) 視訊編碼設備