TWI510097B - 視頻編碼方法和系統 - Google Patents

視頻編碼方法和系統 Download PDF

Info

Publication number
TWI510097B
TWI510097B TW102122731A TW102122731A TWI510097B TW I510097 B TWI510097 B TW I510097B TW 102122731 A TW102122731 A TW 102122731A TW 102122731 A TW102122731 A TW 102122731A TW I510097 B TWI510097 B TW I510097B
Authority
TW
Taiwan
Prior art keywords
video
stream
encoded stream
frame rate
version
Prior art date
Application number
TW102122731A
Other languages
English (en)
Other versions
TW201404172A (zh
Inventor
Lei Zhang
Original Assignee
Broadcom Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Broadcom Corp filed Critical Broadcom Corp
Publication of TW201404172A publication Critical patent/TW201404172A/zh
Application granted granted Critical
Publication of TWI510097B publication Critical patent/TWI510097B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping

Description

視頻編碼方法和系統
本公開主要涉及視頻編碼/轉碼。
視頻技術的進展已導致多種機制，通過這些機制消費者可接收和享受視頻(和音頻)演示。例如，信號可通過衛星或電纜在家中或商業場所的電子裝置上接收，並作為高位元率、高清晰度(HD)流分配，用於通過同軸電纜多媒體聯盟(multimedia over coax alliance)(MoCA)網路在一個房間中觀看，或作為低位元率流分配，用於通過無線在便携設備上觀看，或作為到另一客戶端設備的流內容分配，用於通過網際網路轉移位置觀看。隨著技術的提高，實現這些功能的各種方法繼續發展。
本公開提供了一種方法，包括：在單一編碼引擎處接收根據第一版本的視頻特性的輸入視頻流；以及通過單一編碼引擎，並行生成多個流，多個流包括根據第一版本的視頻特性的第一編碼流，以及根據第二版本的視頻特性的第二編碼流，第二編碼流基於用於生成第一編碼流的視頻編碼信息而生成。
優選地，視頻特性包括幀率，且其中，第一版本和第二版本的幀率值不同。
優選地，視頻編碼信息包括用於幀間預測的運動矢量搜索結 果。
優選地，運動矢量搜索結果包括運動矢量、一個編碼單元的分區、運動矢量搜索範圍或它們的任何組合。
優選地，第二版本包括低於第一版本的幀率，其中生成包括：通過共享在生成第一編碼流時應用的運動矢量搜索結果，在較低幀率視頻上生成第二編碼流，其中發生第二編碼流的生成，而無需執行額外的運動搜索操作。
優選地，第二版本包括低於第一版本的幀率，其中生成包括：通過從對應於第一編碼流的運動矢量推導運動矢量，在較低幀率視頻上生成第二編碼流。
優選地，推導基於對應於第一編碼流的圖像的重複或非重複的圖案。
優選地，該方法進一步包括選擇圖像重複圖案的幀內周期，從而對齊不同幀率的流的幀內圖像。
優選地，該方法進一步包括用另一參考圖像取代對應於第一編碼流並對於第二編碼流不可用的參考圖像。
優選地，推導進一步包括基於當前圖像、進行替代的參考圖像和不可用的參考圖像之間的時間距離差異，縮放對應於第一編碼流的運動矢量。
優選地，該方法進一步包括選擇圖像的重複圖案的幀內周期，作為時間縮减因數的倍數。
優選地，第一編碼流包括基本層和增强層視頻流的組合，而第二編碼流僅包括基本層或增强層視頻流，運動搜索結果對應於第一編碼流的生成，並用於為基本層視頻流生成運動矢量。
優選地，視頻編碼信息包括幀間和幀內預測的模式決定。
優選地，對應於第二編碼流的幀間預測的分區與對應於第一編碼流的幀間預測的分區相同。
優選地，當相同幀內圖像在兩個流之間共享時，對應於第一 編碼流的每個編碼單元的幀內預測模式決定用於第二編碼流。
優選地，視頻特性包括配置文件和等級，且其中第一版本和第二版本在配置文件、等級或它們兩者的組合上不同。
優選地，視頻編碼信息包括用於幀間預測的運動矢量搜索結果，運動矢量搜素結果包括運動矢量、一個編碼單元的分區、運動矢量搜索範圍或它們的任何組合。
優選地，第二編碼流的生成基於用於提供第一編碼流的第一運動矢量搜索範圍，或作為第一運動矢量搜索範圍的子集的第二運動矢量搜索範圍，第一編碼流和第二編碼流基於時間上共同的搜索操作而提供。
優選地，視頻編碼信息包括給定編碼單元的幀間或幀內預測之間的選擇或幀內預測的幀內模式決定。
本公開還提供了一種系統，包括：以硬體配置的單一編碼引擎，其接收根據第一版本的視頻特性的輸入視頻流，且並行生成包括不同版本的視頻特性的多個編碼流，多個編碼流基於用於生成多個編碼流之一的視頻編碼信息而生成。
102‧‧‧電子裝置
104‧‧‧編碼引擎
106‧‧‧智能電話
108‧‧‧筆記型電腦
110‧‧‧電視機
201‧‧‧未壓縮輸入視頻流
202‧‧‧1080p60視頻
204‧‧‧1080p30視頻
206‧‧‧P1和P0之間的時間距離
208‧‧‧P1和I0之間的時間距離
209‧‧‧非壓縮輸入視頻
210‧‧‧1080p60視頻
212‧‧‧1080p30視頻
214‧‧‧B1和P0之間的時間距離
216‧‧‧B1和P1之間的時間距離
302‧‧‧運動矢量範圍
304‧‧‧運動矢量範圍
404‧‧‧第二處理單元
406‧‧‧視頻輸入
408‧‧‧幀內模式決定邏輯
410‧‧‧處理給定宏塊的幀間/幀內決定邏輯
412‧‧‧運動估計邏輯
414‧‧‧相應運動補償邏輯
416‧‧‧位元流的邏輯
418‧‧‧相應變換器/量化器邏輯
420‧‧‧相應的熵編碼器邏輯
422‧‧‧重建邏輯
424‧‧‧相應運動補償邏輯
426‧‧‧位元流的邏輯
428‧‧‧相應變換器/量化器邏輯
430‧‧‧相應的熵編碼器邏輯
432‧‧‧重建邏輯
434‧‧‧確定的運動矢量、運動矢量搜索區域和/或模式決定提供給推導邏輯
436‧‧‧並基於接收(例如從時間標量邏輯
438‧‧‧運動補償預測可通過額外的處理邏輯
440‧‧‧運動補償預測可通過額外的處理邏輯
500‧‧‧方法
502~518‧‧‧步驟
參考以下附圖，可更好地理解本公開的許多方面。附圖中的組件不一定按比例，而重點在於清楚地示出本公開的原理。此外，在附圖中，相似的參考標號在幾個示圖中指示相應的部分。
圖1是可以採用視頻編碼系統的實施方式的示例環境的框圖。
圖2A至圖2B是示出來自輸入視頻流的不同幀率的視頻流的生成和在降低的幀率流中不可用的參考圖像的替代選擇的示意圖。
圖3是示出編碼引擎的一個實施方式中不同視頻編碼標準或相同編碼標準的不同配置文件的示例運動搜索範圍的一個實施方式的框圖。
圖4A至圖4B是示出示例編碼引擎的特定實施方式的框圖。
圖5是示出示例視頻編碼方法的一個實施方式的流程圖。
本發明在這裡公開了視頻編碼系統和方法的特定實施方式，這些系統和方法包括多個即時並行編碼操作之間共享視頻編碼信息的單一編碼引擎，從而提供多個編碼流。視頻編碼信息包括運動矢量搜索結果(例如運動矢量、一個編碼單元或一個宏塊的分區、運動矢量搜索範圍等)，且在一些實施方式中包括模式決定，如用於編碼單元或宏塊的幀間或幀內預測模式，以及如果幀內預測被選擇用於編碼單元或宏塊，則還包括幀內預測方向。應該注意，本領域普通技術人員應該理解，編碼單元是指新興的HEVC視頻壓縮標準中的基本編碼單元，而宏塊是指MPEG-2、AVC、VC-1和VP8視頻壓縮標準中的基本編碼單元。宏塊和編碼單元是這裡可互換使用的兩個術語。這裡對編碼的參考包括編碼(例如基於非壓縮流的接收)和轉碼(例如基於壓縮流的接收，和利用解壓或沒有解壓的壓縮操作)。
在對應於不同幀率(例如，幀率在這裡也稱為圖像速率，作為一個示例視頻特性)的視頻編碼系統的一個實施方式中，當編碼來自相同輸入的較低幀率視頻時，單一編碼引擎用於通過共享幀間預測的運動矢量搜索結果和/或共享幀間和幀內預測這兩個的模式決定，即時生成原始高幀率輸入視頻的一個或多個壓縮流，和低於原始輸入視頻的一個或多個較低幀率視頻。
在對應於多個配置文件和等級(例如，配置文件和等級是另一個示例視頻特性)的視頻編碼系統的一個實施方式中，當編碼來自相同輸入的不同配置文件和等級的視頻時，單一編碼引擎用於通過共享幀間預測的運動矢量搜索結果和/或共享幀內預測的幀內模式決定和/或編碼單元或宏塊的幀間或幀內預測之間的選擇，即時生成不同配置文件和等級的壓縮流。
在傳統系統中，相同編碼引擎的多個實例可以用來支援即時 並行編碼原始輸入視頻以及較低幀率或不同配置文件和等級版本的輸入視頻，這可增加矽成本，或支援在即時視頻速率倍數的速度下，通過相同編碼引擎，編碼原始輸入視頻和較低幀率或不同配置文件和等級版本，這增加了電路時鐘速率和功耗。運動矢量搜索是功能之一，該功能消耗更多的處理資源以及DRAM頻寬成本，無論其是以硬體還是軟體實現。如果搜索範圍不夠，這也是可顯著影響編碼質量的功能之一。如視頻編碼系統的特定實施方式所執行，不同大小、不同幀率或不同配置文件的相同視頻之間運動搜索結果的共享可節省矽和DRAM成本。此外，在不同幀率和/或配置文件和/或等級下的多個不同編碼流的生成在視頻編碼系統的特定實施方式中實現，而不增加超出輸入視頻即時視頻幀率的速度。
已經概述了視頻編碼系統的特定實施方式的特徵，現在將詳細參考本公開的說明，如附圖中示出。雖然將結合這些附圖描述本公開，但不旨在將其限制於這裡公開的一個或多個實施方式。此外，雖然該說明識別或描述一個或多個實施方式的細節，但這些細節不一定是每個實施方式的一部分，也不一定是與單一實施方式或所有實施方式關聯的所有所述優點。相反，該意圖是覆蓋如所述申請專利範圍定義，包括在本公開精神和保護範圍內的所有替代、修改和等價物。此外，應該理解，在本公開的說明書中，申請專利範圍不必限制於說明中所述的具體實施方式。
參考圖1，其示出示例環境的框圖，其中可採用視頻編碼系統的實施方式。本領域普通技術人員應該理解，在本公開的背景下，可以考慮可用來編碼的其他系統，且因此圖1僅是說明性目的，其中其他變化也可考慮在本公開的保護範圍內。圖1中示出的環境包括家庭娛樂系統100，其包括電子裝置102、嵌入到電子裝置102的編碼引擎104、以及多個多媒體設備，包括智能電話106、筆記型電腦108和電視機110。在一個實施方式中，電子裝置102 配置為家庭媒體閘道器機上盒，其中來自電纜或衛星(或地面)的相同輸入視頻通過單一編碼引擎104同步即時編碼至不同位元率，如用於通過MoCA在臥室中的電視機110上觀看的高位元率高清晰度(HD)流，以及通過無線用於便携設備(例如智能電話106、移動電話、PDA等)低位元率流，和/或用於通過網際網路轉移位置觀看的到另一客戶端(例如筆記型電腦108)的流。在一些實施方式中，電子裝置102可實施為其他電子設備之中的服務器設備、路由器、計算機、電視機。
低位元率流可以是相比原始輸入視頻的低值視頻特性，該原始輸入視頻提供給電子裝置102的輸入(例如，較低幀率，如在原始輸入一半幀率下的流，或不同配置文件和等級，如在AVC/H.264視頻編碼標準中較低的等級2.1與等級3.1)。下面的說明從涉及關於不同幀率用途的視頻特性的實施方式開始，隨後接著是尋址其他視頻特性的特定實施方式。相同視頻內容的多個幀率流在異構視頻消費環境中特別有用。例如，使用多個屏幕，超高質量視頻如1080p60的直播體育比賽可在客廳中大屏幕110中觀看，而與此同時，1080p30的相同比賽可使用家庭無線路由器通過WiFi在廚房或後院中的便携設備(例如智能電話106、iPAD等)中觀看，或當用戶可能必須在比賽中途開車離開，同時其家庭可能仍在家裡觀看比賽時，其可通過3G/4G無線IP網路在車輛顯示屏上以1080p30觀看。同時不同場所的多個屏幕上相同視頻內容的無縫消耗可能需要即時編碼引擎104，從而同時生成具有相同輸入視頻的多個幀率視頻。
即時多速率視頻編碼引擎104也具有無線視頻顯示中的一個或多個應用，如通過WiFi個視頻，或通過WiGig個視頻，其中由於運動物體可能堵塞發射器和接收器之間的傳輸路徑，視頻傳輸速率的可用頻寬可非常快速地改變。
如果通常包括例如視頻編碼引擎104的發射器生成高和低位 元率流，則視頻編碼系統的特定實施方式可對於視頻服務質量提供好處。低位元率流可以是低於原始輸入流幀率的相同視頻，並因此當可用頻寬下降時，滿足較低的傳輸速率。
即時的多個幀率視頻編碼引擎104(例如其即時生成具有相同輸入視頻的多個壓縮視頻流)可能具有吸引力，因為具有視頻幀率轉換器的顯示設備顯現為受歡迎的特徵，其中當在屏幕上顯示時，低幀率流可以轉換為高幀率。
雖然以上重點已放在涉及使用不同幀率的應用和/或特徵/益處上，呈現不同配置文件和等級流的能力也具有可符合消費者的衆多有益應用，並可在這裡考慮。例如，同時流式傳輸相同視頻內容到多個屏幕上的機上盒應用形成為重要特徵。不同的屏幕可能需要機上盒傳輸不僅位元率、幀率和/或圖像大小不同、而且配置文件和等級也不同的相同視頻內容。即，不同的視頻顯示設備可以具有不同的解碼能力，從而即使對於相同的編碼標準，每個設備可支援所選的配置文件和等級。例如，便携設備如iPad可支援AVC配置文件/等級4.2，同時移動電話可能僅支援AVC配置文件/等級3.2。即時多速率視頻編碼引擎104可能需要以同時具有相同輸入視頻的不同配置文件和等級即時生成多個壓縮視頻流。
在下面的說明中，結合圖2A至圖2B(幀率)和圖3(不同配置文件和等級或編碼標準的運動搜索範圍)中的說明，公開涉及提供示例視頻特性(例如幀率和配置文件和等級)不同的多個編碼流的視頻編碼方法的各種實施方式。應該理解，在本公開的說明書內，視頻編碼系統的特定實施方式可以採用這些方法中的一個或任何組合。
現將參考圖2A至圖2B，它們示出了一些示例視頻編碼方法，其涉及提供不同幀率的多個編碼流。在視頻編碼方法的一個實施方式中，當低幀率視頻通過共享通過原始(例如，如在給定電子裝置中接收)輸入視頻幀率編碼的流的運動搜索結果而編碼時， 運動搜索在原始輸入幀率的視頻中執行。例如，原始輸入視頻的幀率在60幀每秒時(例如1080p60)可以是1920×1080，而較低的幀率視頻在30幀每秒時(例如1080p30)可以是1920×1080。在這個實例中，運動搜索在編碼1080p60視頻時執行，而編碼1080p30視頻的運動矢量從1080p60視頻的那些中推導，而不進行其自身的運動搜索。較低幀率視頻的運動矢量如何推導取決於GOP(圖像組)結構。在一個實施方式中，通過選擇GOP的幀內周期為圖像的偶數，視頻編碼方法便於運動矢量推導，這使視頻序列中相同圖像可選擇為1080p60和1080p30流中的幀內圖像(幀內編碼或I圖像)，且這進一步使1080p30中幀內圖像距離為1080p60中的一半。
作為一個實例，注意力轉到圖2A中的示圖200A，其示出提供給編碼引擎104輸入的未壓縮輸入視頻流201，以及表現出圖像速率差異的兩個視頻流202和204(每個示出一個GOP序列)的生成。應該注意，為簡潔起見，術語“圖像”和“幀”在公開中可互換使用。同樣的想法適用於交錯(隔行)格式的視頻，其中“場”是圖像的基本單元。為了說明，假設生成的視頻流202對應於1080p60視頻的GOP，而另一生成的視頻流204對應於1080p30視頻的GOP。應該注意，額外的視頻流可以在編碼引擎104中生成，如與視頻流204下方示出的一部分圖像一起的水平虛線表示。如這個實例中示出，1080p60視頻202中所選GOP是“I0P0P1P2P3P4P5P6I1”(以顯示次序)。1080p30視頻204中的GOP通過視頻編碼系統選擇為“I0P1P3P5I1”(同樣地以顯示次序)。如果1080p30視頻204中所選P圖像使用不是1080p30視頻序列中圖像之一的參考(例如，不存在於1080p30視頻204)，例如其中P1使用P0作為1080p60序列中的參考，而P0不是1080p30序列中圖像之一(如從P1到不存在的P0的虛線參考箭頭表示)，則P1使用其之前的參考圖像(例如I0圖像，如從P1到I0的實心 參考箭頭表示)作為1080p30視頻204中的參考。通過P1和I0之間的時間距離208與P1和P0之間的時間距離206的比率，1080p60視頻202中的P1到P0的運動矢量縮放到1080p30視頻204中的P1到I0圖像參考。在這個實例中，如果P1和P0之間的時間距離206是一個單位，則P1和I0之間的時間距離208是兩個單位，且運動矢量通過因數2縮放。如果1080p60視頻202中所選P圖像使用仍是1080p30視頻204中之一的參考，例如其中P1使用I0作為參考，而I0仍是1080p30視頻204中圖像之一，則P1到I0的相同運動矢量可在1080p30視頻序列中使用，而不用縮放。
在又一個實例中，在圖2B的示圖200B示出的1080P60和1080P30視頻的背景下，假設非壓縮輸入視頻209且1080p60視頻210中的所選GOP是“I0B0B1P0B2B3P1B4B5P2B6B7I1”而1080p30視頻212中的所選GOP是“I0B1B2P1B5B6I1”。如與位於視頻流212下方一部分圖像一起的水平虛線所說明的，在一些實施方式中，可生成額外的流。如果1080p30視頻212中所選B圖像使用不是該流212中圖像之一的參考，例如其中B1使用I0(如實心箭頭示出的參考)和P0作為雙向預測的兩個參考，而P0不再在1080p30序列212中(如虛線參考箭頭表示)，則所選B圖像使用其最鄰近的I或P圖像作為B1幀間預測的其參考(例如I0和P1，每個都用實心參考箭頭表示)。因為P1不是1080p60視頻210中B1的參考，通過B1和P1之間的時間距離216與B1和P0之間的時間距離214的比率，縮放B1到P0的運動矢量，可推導出B1到P1的運動矢量。在這個實例中，如果B1和P0之間的時間距離214是一個單位，則B1和P1之間的時間距離216是四個單位，且B1和P1之間的運動矢量通過以因數4縮放B1和P0之間的那些來推導出。
在1080p30視頻212中發現運動矢量之後，運動補償和其他 處理功能如變換、量化、逆量化、逆變換、重建、環路濾波和熵編碼(entropy coding)可執行用於1080p30視頻212，其獨立於1080p60視頻210，以防止任何漂移。應該注意，在上述實例中，1080p30幀間預測中使用的重建圖像P1不同於1080p60幀間預測中使用的圖像。
上述示例視頻編碼方法可應用在一些實施方式中，從而以不同時間縮减因數的幀率編碼視頻。當時間縮减因數不是偶數時，所選GOP的幀內周期可以是時間縮减因數的倍數。在一些實施方式中，所選GOP的幀內周期可以不是時間縮减因數的倍數，且不同幀率的幀內圖像沒有對齊。在這後一種情况下，較低幀率下的視頻可以具有其自身的幀內模式決定塊，並選擇其自身幀內圖像代替原始視頻GOP中幀間預測圖像。幀內模式決定塊通常不訪問DRAM，並消耗微不足道的矽面積或功率。在一些實施方式中，較低幀率視頻中的縮放運動矢量也可通過在小搜索範圍內執行細化搜索而細化。
關於幀間預測目的的分區，在一個實施方式中，較低幀率的幀間預測分區可以保持較高幀率中使用的那些分區。在一些實施方式中，當低幀率和高幀率視頻共享相同幀內圖像時，每個編碼單元或宏塊的幀內預測模式決定也可在低幀率和高幀率視頻之間共享。例如，在AVC模式中，P或B圖像也可具有通過幀內模式編碼的宏塊。每個宏塊的幀間或幀內決定也可通過低幀率和高幀率視頻共享。
在一些實施方式中，共享方案的運動搜索可以擴展到即時的可縮放視頻編碼器，其中不同時間層可以通過相同編碼器(例如編碼引擎104)即時編碼。增强層的運動搜索結果可以用於生成基本層的運動矢量，所述基本層是較低的幀率。
在一些實施方式中，共享方案的運動搜索可以應用於即時3D視頻編碼器，其中多個視圖可以通過相同編碼器即時編碼。一個 視圖的運動搜索結果可以通過3D視頻的多視點編碼方法中的相鄰視圖而共享。
已經描述了關於圖像速率視頻特性的視頻編碼方法的特定實施方式，現注意力轉到圖3，其與關於不同配置文件和等級和/或編碼標準的特定視頻編碼方法的討論相關聯。雖然不同的配置文件和等級可具有不同的最大允許幀率、最大允許圖像大小和/或最大允許運動搜索範圍，從而限制不同應用的執行成本，同時實現不同製造商的編碼器和解碼器之間的操作兼容性，但是存在適用於所有配置文件和等級的一些常見工具集。例如，幀內預測模式對於所有AVC配置文件和等級是相同的。當生成不同配置文件和等級的AVC流時，可共享幀內預測模式決定的硬體和/或軟體實現。
在另一個實例中，垂直運動矢量範圍對於不同AVC配置文件和等級是不同的，如對於AVC等級2.1至3的[-256,+255.75]，以及對於AVC等級3.1及以上的[-512,+511.75]，如圖3示圖300中相應的運動矢量範圍304和302所示出。在一個實施方式中，視頻編碼方法可使用垂直運動矢量範圍的公共集用於通過編碼器生成的所有目標AVC配置文件和等級，如當生成AVC等級3和4.2的流時的運動矢量範圍304(例如[-256,+255.75])。在一些實施方式中，當運動搜索覆蓋較高配置文件的流的較大範圍時，視頻編碼方法也可將運動搜索結果的子集應用到較低配置文件的流。在這個實例中，運動搜索發現用於AVC等級3.1及以上的運動矢量範圍302(例如[-512,+511.75])中的最佳運動矢量，並發現相同搜索操作期間用於AVC等級2.1至3的較小範圍304的最佳模式矢量。運動搜索可以在第一方法(例如公共集)的高或低配置文件/等級編碼路徑中執行，同時其可以在第二方法(例如子集)的高配置文件/等級編碼路徑中執行。
在又一個AVC實例中，最小亮度雙向預測大小限制為等級3.1 及以上的8×8，而沒有對其以下的等級的限制。當生成等級3.1或以上以及等級3和以下(例如公共集)的流時，運動搜索可限制最小亮度雙向預測大小為8×8。
在AVC編碼器的實例中，P或B圖像也可具有可通過幀內模式編碼的宏塊。在一些視頻編碼方法的實施方式中，每個宏塊的幀間或幀內的決定也可通過低和高配置文件/等級而共享。對於幀內預測，所有的AVC配置文件和等級可共享沒有配置文件或等級具體限制的相同幀內模式決定。
因為目標最大位元率可對於不同配置文件和等級是不同的，所以其他編碼參數或工具可能無法通過不同配置文件和等級的編碼路徑共享。例如，量化參數可不同，且得到的重建圖像可不同。一般地，其他功能可能無法共享。
在一些實施方式中，涉及配置文件和等級以及運動搜索和模式決定共享方案的上述視頻編碼方法可以應用於任何視頻編碼標準(包括新興的HEVC或H.265，等)的不同配置文件和等級的多個流的編碼，其中多個配置文件和等級可針對不同的應用定義。在一些實施方式中，有關配置文件和等級、以及運動搜索和模式決定共享方案的上述視頻編碼方法也可擴展到不同視頻標準的多個流的編碼，其中存在運動搜索參數的公共集，如運動矢量範圍，其可通過兩個視頻編碼標準共享。在這種情况下，在根據各標準的不同分區限制的針對不同編碼標準細化之前，可以使用相同實現塊而搜索公共的粗運動矢量。
現將注意力轉到圖4A至圖4B，其示出實施為單一編碼引擎104的示例視頻編碼系統。在一個實施方式中，單一編碼引擎104可以以硬體實現，儘管一些實施方式可包括軟體(包括固件)或軟體和硬體的組合。例如，一些實施方式可包括處理器(例如CPU)，其提供指令和/或數據給圖4A和圖4B示出的一個或多個邏輯單元。示例單一編碼引擎104包括第一處理單元402和第二 處理單元404。應該理解，在本公開的背景下，雖然示出了兩個處理單元402和404，但該數量僅是說明性的，且特定實施方式可包括額外的處理單元。多個處理單元402和404生成對應於不同幀率、圖像大小和/或配置文件和等級的相應位元流(例如，“位元流1和位元流2”)。為了說明，單一編碼引擎104示出為生成兩個位元流。然而，單一編碼引擎104的一些實施方式可擴展從而生成任何數量的位元流。位元流的數量例如可取決於對單一編碼引擎104的電子裝置殼體執行的應用。
在視頻輸入406處(例如接口)接收視頻。例如，在接口406輸入處接收的視頻可包括圖2A中示出的輸入視頻201(或圖2B中示出的輸入視頻209)。接口406根據熟知方法執行複製功能，其中輸入視頻分成多個視頻流(在這個實例中是二(2))，其鏡像輸入視頻201的幀率(和/或配置文件/等級)。多個流(例如，如圖2A的輸入幀率視頻202或圖2B中示出的輸入幀率視頻210)從接口406輸出，並提供給各處理單元402和404。在第一處理單元402處，輸入幀率視頻202(210)提供給編碼決定邏輯，其包括這樣的編碼決定，如幀內模式決定邏輯408，其中做出幀內預測模式中宏塊的預測方向確定，以及處理給定宏塊的幀間/幀內決定邏輯410。其也示出了運動估計邏輯412(例如運動搜索功能)，包括宏塊和它們運動矢量的分區。單一編碼引擎104進一步包括額外的處理邏輯438與440，其(參考圖4B)可包括用於幀間預測的運動補償邏輯414、424，其中用於檢索的分區和與它們相關聯運動矢量可通過運動估計(搜索)邏輯412識別。
如圖4A中示出，通過接口406輸出的多個輸入幀率視頻中的另一個提供給第二處理單元404，並具體地是時間標量(縮放)邏輯(temporal scaler logic)436。時間標量邏輯436執行幀率轉換，並輸出降低的幀率視頻，如降低的幀率視頻204(圖2A)或212(圖2B)。在一些實施方式中，時間標量邏輯436可省略，如在 涉及多個配置文件和/或等級生成的一些實施方式中。在一些實施方式中，也可採用空間縮放。降低的幀率視頻提供給額外的處理邏輯440，其結合圖4B在下面描述。視頻編碼信息包括運動矢量、運動矢量搜索區域、模式決定等，且如上解釋，其在第一和第二處理單元402和404之間共享。在一個實施方式中，為第一處理單元402確定的運動矢量、運動矢量搜索區域和/或模式決定提供給推導邏輯434。
在多個圖像速率通過編碼引擎104提供的實施方式中，推導邏輯基於在第一處理單元402中使用的那些運動矢量，並基於接收(例如從時間標量邏輯436、或在一些實施方式中從其他邏輯如接口406、或從CPU)GOP和合適的參考圖像確定，和它們與當前圖像的時間距離(例如，其中存在於第一處理單元402中處理的流中的參考圖像不存在，或不在第二處理單元404中，以及由402處理的原始視頻中的時間距離和由404處理的較低幀率視頻中的時間距離)，推導出運動矢量。在對應於不同圖像速率流提供的一些實施方式中，當共享相同幀內圖像時，由幀內模式決定邏輯408提供的幀內預測模式決定也在高圖像速率和低圖像速率視頻流之間共享(例如分別在第一和第二處理單元402和404之間)。推導邏輯434和時間標量邏輯436直接或間接共享信息(例如，通過CPU干預)，如436和434之間的虛線表示。例如，時間標量邏輯436可傳遞對應於幀率和/或圖像類型的信息給推導邏輯434(通過或沒有處理器干預)。如上所述，時間標量邏輯436執行時間縮放，從而提供降低的幀率視頻(如204或212)。
在具有運動矢量搜索和模式決定的共享的實施方式中，這樣的信息提供給推導邏輯單元434，用於降低的幀率視頻流204或212的編碼。
在涉及多個配置文件和等級的實施方式中，當編碼來自相同輸入的不同配置文件和等級的視頻時，第一和第二處理單元402 和404通過共享幀間預測的運動矢量搜索結果、和/或共享幀內預測的幀內模式決定、和/或宏塊或編碼單元的幀間或幀內預測之間的選擇，即時生成不同文件配置和等級(有或沒有降低的幀率)的一個或多個壓縮流。推導邏輯434可確定是否對所有目標AVC配置文件和等級應用運動矢量範圍的公共集，或當運動搜索覆蓋較高配置文件的流的較大範圍時，將運動搜索結果的子集應用到較低配置文件的流。這樣的視頻編碼信息用於編碼視頻流204或212。
雖然各種算法和/或方法描述為結合時間標量邏輯436至少部分地在推導邏輯434中執行，但應該理解，在一些實施方式中，一個或多個上述功能可通過其他邏輯執行，或在多個不同邏輯之間分配。
在編碼過程中，圖像組(GOP)中的當前幀或圖像提供用於編碼。當前圖像可在新興視頻編碼標準HEVC中處理為宏塊或編碼單元，其中宏塊或編碼單元對應於例如原始圖像中的16×16或32×32像素塊。每個宏塊可以P圖像或B圖像的幀內編碼模式或幀間編碼模式編碼。在幀間編碼模式中，運動補償預測可通過額外的處理邏輯438和440執行，如分別在每個處理單元402和404中的相應運動補償邏輯414和424(圖4B)，並可基於至少一個先前編碼的重建的圖像。
參考圖4B，並進一步說明用於每個處理單元402、404的438和440內部的額外處理邏輯，預測的宏塊P可從當前宏塊中减去，從而通過每個位元流的邏輯416、426生成差異宏塊，且差異宏塊可通過每個位元流的相應變換器/量化器邏輯418、428變換和量化。每個變換器/量化器邏輯418、428的輸出可以通過相應的熵編碼器邏輯420、430進行熵編碼，並輸出為對應於不同位元率的壓縮位元流。
編碼視頻位元流(例如，“位元流1和位元流2”)包括熵編 碼視頻內容和解碼宏塊所需的任何邊信息。在每個位元流的重建操作期間，相應變換器/量化器邏輯418、428的結果可以通過相應的逆量化器/逆變換器/重建邏輯418、428而解量化、逆變換、加入到預測和環路濾波，從而生成每個位元流的重建差異宏塊。
在這方面，每個位元流與包括殘差計算邏輯416、426的相應的處理單元402、404關聯，其每個被配置為生成殘差，並隨後生成量化變換因數。然而，應該注意，可以應用不同的量化參數。每個處理單元402、404進一步包括重建邏輯422、432它們耦合到逆量化器/逆變換器邏輯418、428，其中每個重建邏輯422、432被配置為生成相應的重建像素。如圖示出，重建邏輯422、432根據應用的相應量化參數，以不同的幀率以及配置文件和等級執行解碼像素的重建。應該注意，涉及與圖4A和圖4B相關聯描述的各種邏輯的一個或多個功能可組合到單一邏輯單元中，或進一步分配在額外的邏輯單元之間，或在一些實施方式中省略。
應該注意，所公開的各種實施方式可應用到各種視頻標準中，包括但不限於MPEG-2、VC-1、VP8和HEVC，這提供了可共享的更多的編碼工具。例如，使用HEVC，幀間預測單元大小範圍可在從塊大小4×4到32×32的任何中，這需要大量數據執行運動搜索和模式決定。
應該理解，在本公開的背景下，圖5中示出並在一個實施方式中通過單一編碼引擎(例如104)實現的視頻編碼方法500的一個實施方式包括在單一編碼引擎處接收根據第一版本的視頻特性的輸入視頻流(502)。例如，輸入視頻流可以是未壓縮的流(例如，圖2A和圖2B的輸入視頻流201或209)，而視頻特性可以是幀率(圖像速率)、配置文件/等級和/或編碼標準。方法500進一步包括，基於輸入視頻流(504)，通過單一編碼引擎並行生成多個流。例如，生成的第一流和第二流包括視頻流圖2A的202(或圖2B的210)和圖2A的204(或圖2B的212)。方法500進一步 包括選擇GOP和/或圖像類型(506)。例如，編碼引擎104(例如，圖4A至圖4B中，接口406、時間標量邏輯436或一些實施方式中的CPU)可確定GOP和/或圖像類型。
方法500進一步包括，在第一生成流如視頻流202、210(508)中的運動矢量搜索。例如，第一處理單元(例如，圖4A至圖4B的運動估計邏輯412)可在第一生成流的圖像塊中執行這樣的搜索。方法500進一步包括確定第二生成流如視頻流204或212(510)的參考圖像。在一個實施方式中，該後一個的功能可以通過時間標量邏輯436執行。基於這些確定(506、508和510)，方法500將運動矢量從第一流到根據幀率差異的第二生成流而縮放(512)。方法500進一步包括，基於視頻編碼信息(並行)生成多個編碼流(包括降低的幀率流)(514)。例如，多個流可包括包括根據第一版本的視頻特性的第一編碼流和根據第二版本的視頻特性(如較低的幀率、不同的配置文件和等級和/或標準)的第二編碼流。第二編碼流基於用於生成第一編碼流的視頻編碼信息而生成，其中視頻編碼信息包括運動矢量搜索結果和/或模式信息。在一些實施方式中，可使用重複或非重複的圖像圖案(例如開放GOP)。因此，第二版本可包括低於第一版本的幀率，並且生成包括通過從生成第一編碼流時使用的運動矢量推導運動矢量，以較低幀率生成第二編碼流。
關於配置文件和等級的差異，方法500根據第二生成流的配置文件/標準從第一流界定(bound)運動矢量(516)，且方法500進一步包括基於用於第一編碼流的第一運動矢量搜索範圍或作為第一運動矢量搜索範圍的子集的第二運動矢量搜索範圍生成第二編碼流，第一和第二編碼流基於時間上公共的搜索操作(518)而提供。應該理解，在本公開的背景下，在一些實施方式中，一個或多個上述邏輯功能可省略，或可包括額外的邏輯功能。例如，模式信息的共享也考慮在方法500的特定實施方式的保護範圍內。
視頻編碼系統可以硬體、軟體(例如包括固件)或它們的組合實現。在一個實施方式中，視頻編碼系統使用以下技術的任何一項或組合而執行，它們在本領域中都是習知的：具有對數據信號實現邏輯功能的邏輯門的離散邏輯電路、具有適當組合邏輯門的專用集成電路(ASIC)、可編程的門陣列(PGA)、現場可編程門陣列(FPGA)等。在實施方式中，其中所有或部分的視頻編碼系統以軟體執行，該軟體儲存在儲存器中，且其可通過適當的指令執行系統(例如，計算機系統，其包括一個或多個處理器、利用編碼軟體/固件編碼的儲存器和操作系統等)執行。
本領域相當熟練的技術人員應該理解，流程圖中的任何流程說明或塊應該理解為表示代碼的模組、段或部分，其包括實現過程中特定邏輯功能或步驟的一個或多個可執行指令，且替代實現也包括在本公開的保護範圍內，其中根據涉及的功能，功能可不同於示出或討論的次序來執行，包括基本上同時或以相反次序執行。
應該强調的是，本公開的上述實施方式僅是可能的實現的實例，其僅進行闡述以清楚理解本公開的原理。在基本上不背離本公開的精神和原理的情況下，可以做出多種變化和修改。所有這樣的修改和變化旨在包括在本公開的保護範圍內並由所附的申請專利範圍保護。
500‧‧‧方法
502~518‧‧‧步驟

Claims (10)

  1. 一種視頻編碼方法，包括：在單一編碼引擎處接收具有第一版本的視頻特性的未壓縮輸入視頻流；以及通過所述單一編碼引擎，並行生成多個流，所述多個流包括具有相同於所述未壓縮輸入視頻流之所述第一版本的視頻特性的第一編碼流，以及具有第二版本的視頻特性的第二編碼流，所述第二編碼流使用用於生成所述第一編碼流的視頻編碼信息而生成，其中，所述第一版本的視頻特性和所述第二版本的視頻特性至少不同於所述視頻特性的數值。
  2. 根據申請專利範圍第1項所述的方法，其中，所述視頻特性包括幀率。
  3. 根據申請專利範圍第2項所述的方法，其中，所述視頻編碼信息包括用於幀間預測的運動矢量搜索結果。
  4. 根據申請專利範圍第3項所述的方法，其中，所述運動矢量搜索結果包括運動矢量、一個編碼單元的分區、運動矢量搜索範圍或它們的任何組合。
  5. 根據申請專利範圍第3項所述的方法，其中，所述第二版本包括低於所述第一版本的幀率，其中所述生成包括：通過共享在生成所述第一編碼流時應用的所述運動矢量搜索結果，在較低幀率視頻上生成所述第二編碼流，其中發生所述第二編碼流的生成，而無需執行額外的運動搜索操作。
  6. 根據申請專利範圍第3項所述的方法，其中，所述第二版本包括低於所述第一版本的幀率，其中所述生成包括：通過從對應於所述第一編碼流的運動矢量推導運動矢量，在較低幀率視頻上生成所述第二編碼流。
  7. 根據申請專利範圍第3項所述的方法，其中，所述第一編碼流包括基本層和增强層視頻流的組合，而所述第二編碼流僅包 括基本層或增强層視頻流，所述運動搜索結果對應於所述第一編碼流的生成，並用於為所述基本層視頻流生成運動矢量。
  8. 根據申請專利範圍第2項所述的方法，其中，所述視頻編碼信息包括幀間和幀內預測的模式決定。
  9. 一種視頻編碼方法，包括：在單一編碼引擎處接收具有第一版本的視頻特性的輸入視頻流；以及通過所述單一編碼引擎，並行生成多個流，所述多個流包括具有相同於所述輸入視頻流之所述第一版本的視頻特性的第一編碼流，以及具有第二版本的視頻特性的第二編碼流，所述第二編碼流使用用於生成所述第一編碼流的視頻編碼信息而生成，其中，所述視頻特性包括配置文件和等級，所述第一版本和所述第二版本在所述配置文件、所述等級或它們兩者的組合上不同。
  10. 一種視頻編碼系統，包括：單一編碼引擎，被配置為：接收輸入視頻流；以及從所述輸入視頻流，並行生成具有第一幀率的第一編碼流以及具有第二幀率的第二編碼流，所述第一幀率高於所述第二幀率，其中，所述第二編碼流之生成係至少部分基於從對應所述第一編碼流之運動矢量推導運動矢量，所述推導包括使用縮放因數縮放對應於所述第一編碼流的所述運動矢量，所述縮放因數係至少部分基於所述第一編碼流之所述第一幀率以及所述第二編碼流之所述第二幀率之間的差異而決定。
TW102122731A 2012-07-10 2013-06-26 視頻編碼方法和系統 TWI510097B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/545,261 US11284133B2 (en) 2012-07-10 2012-07-10 Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information

Publications (2)

Publication Number Publication Date
TW201404172A TW201404172A (zh) 2014-01-16
TWI510097B true TWI510097B (zh) 2015-11-21

Family

ID=48703107

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102122731A TWI510097B (zh) 2012-07-10 2013-06-26 視頻編碼方法和系統

Country Status (5)

Country Link
US (2) US11284133B2 (zh)
EP (1) EP2685738A1 (zh)
KR (1) KR101502611B1 (zh)
CN (1) CN103546757B (zh)
TW (1) TWI510097B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
JP5886341B2 (ja) * 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6197708B2 (ja) * 2014-03-17 2017-09-20 富士通株式会社 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
FR3022095B1 (fr) * 2014-06-06 2017-09-01 Daniel Elalouf Dispositif et procede de transmission de donnees multimedia
US11076153B2 (en) * 2015-07-31 2021-07-27 Stc.Unm System and methods for joint and adaptive control of rate, quality, and computational complexity for video coding and video delivery
WO2018164505A1 (ko) * 2017-03-09 2018-09-13 주식회사 케이티 영상 부호화 또는 복호화 방법 및 장치
KR102499033B1 (ko) * 2018-01-31 2023-02-13 삼성전자주식회사 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치
CN113302928B (zh) * 2018-12-29 2023-01-10 浙江大华技术股份有限公司 传输多视频流的系统和方法
US10798380B1 (en) 2019-03-18 2020-10-06 Amazon Technologies, Inc. Adaptive use of search modes based on neighboring blocks
US10694189B1 (en) * 2019-03-18 2020-06-23 Amazon Technologies, Inc. Adaptive use of search modes based on bandwidth availability
GB201905400D0 (en) * 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
CN110072107B (zh) * 2019-04-25 2022-08-12 南京理工大学 一种基于运动估计共享的雾霾视频压缩方法
US20200128271A1 (en) * 2019-12-20 2020-04-23 Intel Corporation Method and system of multiple channel video coding with frame rate variation and cross-channel referencing
WO2021201306A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 차량에 의해 기록된 비디오를 전송하는 방법 및 장치
GB2620994A (en) * 2022-08-22 2024-01-31 V Nova Int Ltd Encoding and decoding of pre-processing renditions of input videos

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100098161A1 (en) * 2008-10-20 2010-04-22 Fujitsu Limited Video encoding apparatus and video encoding method
US7809061B1 (en) * 2004-01-22 2010-10-05 Vidiator Enterprises Inc. Method and system for hierarchical data reuse to improve efficiency in the encoding of unique multiple video streams
US20110234894A1 (en) * 2008-09-30 2011-09-29 Trident Microsystems, Inc. Profile for frame rate conversion

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724475A (en) 1995-05-18 1998-03-03 Kirsten; Jeff P. Compressed digital video reload and playback system
US6859496B1 (en) 1998-05-29 2005-02-22 International Business Machines Corporation Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
US6798420B1 (en) 1998-11-09 2004-09-28 Broadcom Corporation Video and graphics system with a single-port RAM
US6573905B1 (en) 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US6636222B1 (en) 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6768774B1 (en) 1998-11-09 2004-07-27 Broadcom Corporation Video and graphics system with video scaling
US6853385B1 (en) 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US6661422B1 (en) 1998-11-09 2003-12-09 Broadcom Corporation Video and graphics system with MPEG specific data transfer commands
US7446774B1 (en) 1998-11-09 2008-11-04 Broadcom Corporation Video and graphics system with an integrated system bridge controller
US6614843B1 (en) 1999-04-15 2003-09-02 Diva Systems Corporation Stream indexing for delivery of interactive program guide
US7058965B1 (en) 1999-04-15 2006-06-06 Sedna Patent Services, Llc Multiplexing structures for delivery of interactive program guide
US6538656B1 (en) 1999-11-09 2003-03-25 Broadcom Corporation Video and graphics system with a data transport processor
US6975324B1 (en) 1999-11-09 2005-12-13 Broadcom Corporation Video and graphics system with a video transport processor
US6300973B1 (en) 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
US6871006B1 (en) 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
JP4682410B2 (ja) * 2000-10-12 2011-05-11 ソニー株式会社 画像処理装置及び画像処理方法
US7313593B1 (en) 2000-10-24 2007-12-25 International Business Machines Corporation Method and apparatus for providing full duplex and multipoint IP audio streaming
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7124195B2 (en) * 2001-10-17 2006-10-17 Velcero Broadband Applications, Llc Broadband network system configured to transport audio or video at the transport layer, and associated method
US6535238B1 (en) 2001-10-23 2003-03-18 International Business Machines Corporation Method and apparatus for automatically scaling processor resource usage during video conferencing
US7613727B2 (en) 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US7921445B2 (en) 2002-06-06 2011-04-05 International Business Machines Corporation Audio/video speedup system and method in a server-client streaming architecture
US7533402B2 (en) 2002-09-30 2009-05-12 Broadcom Corporation Satellite set-top box decoder for simultaneously servicing multiple independent programs for display on independent display device
US7230987B2 (en) 2002-09-30 2007-06-12 Broadcom Corporation Multiple time-base clock for processing multiple satellite signals
US7274740B2 (en) 2003-06-25 2007-09-25 Sharp Laboratories Of America, Inc. Wireless video transmission system
US8018850B2 (en) 2004-02-23 2011-09-13 Sharp Laboratories Of America, Inc. Wireless video transmission system
EP1615447B1 (en) 2004-07-09 2016-03-09 STMicroelectronics Srl Method and system for delivery of coded information streams, related network and computer program product therefor
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
KR100703746B1 (ko) * 2005-01-21 2007-04-05 삼성전자주식회사 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
EP1711018A1 (en) 2005-04-08 2006-10-11 Thomson Licensing Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures
US7555715B2 (en) 2005-10-25 2009-06-30 Sonic Solutions Methods and systems for use in maintaining media data quality upon conversion to a different data format
US8102916B1 (en) 2006-01-12 2012-01-24 Zenverge, Inc. Dynamically changing media compression format in compressed domain
CN100584026C (zh) * 2006-03-27 2010-01-20 华为技术有限公司 交织模式下的视频分层编码方法
US7626518B2 (en) 2006-06-08 2009-12-01 Via Technologies, Inc. Decoding systems and methods in computational core of programmable graphics processing unit
US7656326B2 (en) 2006-06-08 2010-02-02 Via Technologies, Inc. Decoding of context adaptive binary arithmetic codes in computational core of programmable graphics processing unit
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
US7626521B2 (en) 2006-06-08 2009-12-01 Via Technologies, Inc. Decoding control of computational core of programmable graphics processing unit
US9456192B2 (en) 2007-12-14 2016-09-27 Cable Television Laboratories, Inc. Method of coding and transmission of progressive video using differential signal overlay
GB2459684A (en) 2008-04-30 2009-11-04 British Broadcasting Corp Television Signal having high frame rate
US8634456B2 (en) * 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
KR100999818B1 (ko) * 2008-10-06 2010-12-08 인하대학교 산학협력단 프레임 분류를 사용한 스케러블 부호화기, 복호화기 및 그 방법
US9215467B2 (en) * 2008-11-17 2015-12-15 Checkvideo Llc Analytics-modulated coding of surveillance video
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
WO2013001749A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US9451283B2 (en) * 2011-07-05 2016-09-20 Texas Instruments Incorporated Method, system and computer program product for selecting a motion vector in scalable video coding
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US9253487B2 (en) * 2012-05-31 2016-02-02 Qualcomm Incorporated Reference index for enhancement layer in scalable video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809061B1 (en) * 2004-01-22 2010-10-05 Vidiator Enterprises Inc. Method and system for hierarchical data reuse to improve efficiency in the encoding of unique multiple video streams
US20110234894A1 (en) * 2008-09-30 2011-09-29 Trident Microsystems, Inc. Profile for frame rate conversion
US20100098161A1 (en) * 2008-10-20 2010-04-22 Fujitsu Limited Video encoding apparatus and video encoding method

Also Published As

Publication number Publication date
US11284133B2 (en) 2022-03-22
CN103546757B (zh) 2017-10-31
CN103546757A (zh) 2014-01-29
US20220210491A1 (en) 2022-06-30
KR20140008498A (ko) 2014-01-21
TW201404172A (zh) 2014-01-16
EP2685738A1 (en) 2014-01-15
US20140016693A1 (en) 2014-01-16
KR101502611B1 (ko) 2015-03-13

Similar Documents

Publication Publication Date Title
TWI510097B (zh) 視頻編碼方法和系統
TWI559739B (zh) 視頻編碼方法和系統
US11394985B2 (en) Hybrid backward-compatible signal encoding and decoding
US11849112B2 (en) Systems, methods, and media for distributed transcoding video data
CN107005698B (zh) 支持尽力服务解码的元数据提示
US20140254660A1 (en) Video encoder, method of detecting scene change and method of controlling video encoder
US20160127728A1 (en) Video compression apparatus, video playback apparatus and video delivery system
US9088800B2 (en) General video decoding device for decoding multilayer video and methods for use therewith
US9025660B2 (en) Video decoder with general video decoding device and methods for use therewith
Díaz-Honrubia et al. HEVC: a review, trends and challenges
Wang et al. Single-input-multiple-ouput transcoding for video streaming
Kim et al. A novel hybrid 3D video service algorithm based on scalable video coding (SVC) technology
Liu et al. Multiview video transcoding: From multiple views to single view
Golston et al. Video codecs tutorial: Trade-offs with H. 264, VC-1 and other advanced codecs
Mohammed et al. Ultra-High-Definition Video Transmission for Mission-Critical Communication Systems Applications
Makris et al. Digital Video Coding Principles from H. 261 to H. 265/HEVC
CN115606187A (zh) 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质
CN115668951A (zh) 用信号通知关于dpb参数的数量的信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
Dong et al. Present and future video coding standards
Bhuyan et al. Motion adaptive video coding scheme for time‐varying network
Ukhanova Resource-Constrained Low-Complexity Video Coding for Wireless Transmission
Pereira Advanced Video Coding
Lai Advanced bitstream switching techniques for H. 264 video streaming and multi-view video