TWI763983B - 用於編碼在一視訊流中之一序列視框之方法、裝置及系統 - Google Patents

用於編碼在一視訊流中之一序列視框之方法、裝置及系統

Info

Publication number
TWI763983B
TWI763983B TW108106969A TW108106969A TWI763983B TW I763983 B TWI763983 B TW I763983B TW 108106969 A TW108106969 A TW 108106969A TW 108106969 A TW108106969 A TW 108106969A TW I763983 B TWI763983 B TW I763983B
Authority
TW
Taiwan
Prior art keywords
frame
encoded
view
empty
view frame
Prior art date
Application number
TW108106969A
Other languages
English (en)
Other versions
TW201943279A (zh
Inventor
維克多 艾德帕姆
比約恩 阿爾多
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201943279A publication Critical patent/TW201943279A/zh
Application granted granted Critical
Publication of TWI763983B publication Critical patent/TWI763983B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明係關於視訊編碼之領域。特定言之，本發明係關於一種用於一序列視框之編碼方法、裝置及系統，其中判定該序列視框中之一初始視框之影像資料的一運動位準低於一運動位準臨限值。本文中描述之該編碼方法可降低該序列經編碼視框之位元率，同時避免經編碼視訊流在解碼及顯示時看起來不自然或凍結。

Description

用於編碼在一視訊流中之一序列視框之方法、裝置及系統
本發明係關於視訊編碼之領域。特定言之，本發明係關於一種用於一序列視框之編碼方法、編碼器及系統，其中判定該序列視框中之一初始視框之影像資料的一運動位準低於一運動位準臨限值。
視訊攝影機通常用於監視目的。藉由一攝影機監控之一場景在某些時段期間可包含移動物件，藉此引入由攝影機擷取之一視訊中之運動。在其他時段期間，場景可僅包含靜止物件，藉此引起由攝影機擷取之視訊缺乏運動，即，經擷取視訊將為一靜止視訊。
在涉及到編碼視訊流時，頻寬效率通常係一問題。有利地，編碼視訊流以降低視訊流之位元率但未以一(太)明顯的方式影響經編碼視訊流之品質。為以一頻寬有效(bandwidth efficient)方式處置場景中之變化運動量，編碼器可取決於如視框中所描繪之場景中之運動量來動態調整經編碼視訊流之視框率。換言之，在視框中(及因此場景中)存在運動時之時段期間，相較於視框中不存在或存在較少運動之時，可使用經編碼視訊流中之一較高視框率。例如，當視框中存在有限運動或不存在運動時，視框率可低至1 Hz，此意謂經編碼視訊流中每秒僅有一個視框。在此等低視框率下，視訊中將存在極少時間雜訊(temporal noise)。因此，觀看經解碼視訊之一使用者將發現視訊看起來不自然且凍結，且使用者可能開始想知道攝影機是否存在一硬體或軟體故障。
以一頻寬有效方式處置場景中之變化運動量之另一方式係使用其中由編碼器施加之壓縮位準隨著影像內容之重要性而變化的編碼技術。例如，與其中不存在運動之一視訊視框之部分相比，可以一較低壓縮編碼該視訊視框之描繪移動物件之部分。特定言之，可使用空區塊(有時稱為跳過區塊或P跳過區塊)寫碼其中不存在運動之視訊視框之部分。在場景中不存在運動或存在有限量運動時之時段期間，視框將因此由絕大部分空區塊編碼。因為一空區塊通常將顯示為先前視框中之對應區塊之一複本，所以此亦將具有視訊中存在極少時間雜訊之效應。因此，再一次，觀看視訊之一使用者將發現視訊看起來不自然且凍結，且使用者可能開始想知道攝影機是否存在一硬體或軟體故障。
因此，如上文說明，使用經編碼視訊流中之一低視框率或使用大量空區塊編碼一視訊流可歸因於不存在時間雜訊而引入視訊中之一人為靜止(artificial stillness)。此人為靜止並非因場景本身中缺乏運動引起(因為以一高視框率擷取且與一移動場景之一視訊類似編碼(因此增加經編碼視訊之位元率)之一靜態場景的一視訊可仍歸因於影像感測器處之雜訊而包含時間雜訊)，而是因視框率之選取或在以一頻寬有效方式編碼視訊時使用之編碼方法引起，如上文說明。
因此，需要在此內容背景中進行改良。
鑑於上文，因此本發明之一目的係克服或至少緩解上文論述之問題。特定言之，一目的係提供一種以一頻寬有效方式編碼具有低運動之一視訊流的方法，其中該經編碼視訊流在解碼及顯示時不會看起來不自然或凍結。
根據本發明之一第一態樣，提供一種用於在一視訊流中之一序列視框之編碼方法，該方法包括：判定該序列視框中之一初始視框之影像資料的一運動位準低於一運動位準臨限值；編碼複數個參考視框，該複數個經編碼參考視框之各參考視框係一視框內經編碼視框或一視框間經編碼視框；及藉由針對待編碼為一空視框之各視框執行以下步驟而編碼複數個空視框，其中一空視框包括編碼為跳過區塊之巨集區塊及對該視訊流中之另一視框之一參考： Ÿ 選擇該複數個經編碼參考視框當中之一經編碼參考視框； Ÿ 編碼該空視框使其具有對該選定參考視框之一直接或間接參考； 其中對於該序列經編碼視框中之至少一對連續空視框，用於該對中之一第一空視框之該選定參考視框不同於用於該對中之一第二空視框之該選定參考視框。
判定該序列視框中之一初始視框之影像資料的一運動位準低於一運動位準臨限值的該步驟可以任何合適方式執行。例如，可藉由比較該序列視框中之該初始視框之該影像資料與該視訊流中之一先前視框之影像資料而計算該運動位準。在一項實施例中，接收該初始視框之該運動位準且將其與一運動位準臨限值比較。在另一實施例中，已進行該比較且接收該比較之結果(例如，其作為一布林值(boolean) (真或假))。
如本文中所使用，藉由「空視框」一般意謂已針對經編碼視框之至少一些巨集區塊(MB)使用跳過區塊(P跳過區塊、空區塊等)編碼之一視框。在一些實施例中，空視框之絕大部分MB被編碼為跳過區塊。在其他實施例中，全部MB被設定為/編碼為跳過區塊。此外，一空視框包括對視訊流中之另一視框之一參考。換言之，空視框係具有編碼為一跳過區塊之至少一個MB的一視框間經編碼視框。
本發明係基於以下認識：藉由仔細地選擇空視框之參考視框，可將時間雜訊引入至該序列經編碼視框，此減少人為靜止。當已判定影像資料之運動位準低於一運動位準臨限值時，此因此使得可使用空視框之概念以降低位元率(但仍保持經編碼流之視框率完整)之一方式編碼該序列視框，此可藉由首先以一正常(習知)方式(例如，一初始I視框及至少一個隨後P視框而無跳過區塊)編碼複數個參考視框而達成。接著，編碼後續空視框使得該序列經編碼視框中之一對連續空視框參考該等參考視框之不同參考視框。如下文進一步說明，參考可為直接的或間接的。換言之，對於其後緊接著該序列經編碼視框中之一第二空視框之一第一空視框，用於該第一空視框及該第二空視框之參考視框不同。通常，在先前技術中，一空視框(例如，該空視框中之跳過區塊)參考該序列經編碼視框中之緊接在前之視框。因此，其後緊接著該序列經編碼視框中之另一空視框之一空視框將參考相同參考視框。換言之，該第二空視框將藉由參考該第一空視框(其繼而參考該參考視框)而間接地參考與該第一空視框相同之該參考。因此，該兩個空視框中之對應跳過區塊參考該參考視框中之完全相同MB，且因此將解碼為一稍後經解碼視訊流中之完全相同影像資料，藉此將人為靜止引入至該經解碼視訊流中。然而，使用本文中揭示之發明概念，該等空視框中之對應MB將至少歸因於影像感測器處在擷取編碼為參考視框之該序列視框中之視框時的雜訊而包含時間雜訊。此所謂的「舒適雜訊(comfort noise)」將包含於經編碼視訊流中而不需要藉由調整像素值或類似者來判定該雜訊或包含「偽」雜訊，而是將為如本文中描述之實施空視框之結果。
根據一些實施例，對於該序列經編碼視框中之各對連續空視框，用於該對中之一第一空視框之選定參考視框不同於用於該對中之一第二空視框之選定參考視框。因此，可甚至進一步減少人為靜止，此係因為在其後緊接著該序列經編碼視框中之另一空視框之一空視框中，無對應MB將被解碼為稍後經解碼視訊流中之完全相同影像資料。
根據一些實施例，對於待編碼為一空視框之一第一視框，該視框緊接在該序列視框中之該複數個參考視框當中的一第一經編碼參考視框之後，選擇該複數個經編碼參考視框當中之一經編碼參考視框之該步驟包括：選擇該複數個經編碼參考視框當中之不同於該第一經編碼參考視框之一經編碼參考視框。換言之，在此實施例中，一空視框可未參考緊接在該序列視框中之該空視框之前之一參考視框。有利地，可甚至進一步減少人為靜止。
根據一些實施例，該複數個參考視框包括一或多個視框間經編碼視框，其中該方法進一步包括將該一或多個視框間經編碼視框之全部運動向量設定為零之步驟。由於該序列視框可能包含極低運動位準，故對於執行一區塊匹配演算法以搜尋視框中之由視框間經編碼視框參考之對應MB (此將產生運動向量)之需求有限。代替性地，可將運動向量設定為零，此將降低編碼程序所需之處理能力且可導致一增加的QP值可用於視框間經編碼視框，因此進一步降低該序列經編碼視框之位元率。
根據一些實施例，對於至少一個空視框，該編碼該空視框包括：選擇該等經編碼參考視框當中之一經編碼參考視框，其中該選定經編碼參考視框已由另一經編碼空視框直接參考；及編碼該空視框使其具有對該另一經編碼空視框之一參考。
換言之，該空視框中對一選定參考視框之該參考可為間接的，其經由參考該選定參考視框之一先前經編碼空視框。有利地，此需要將較少視框暫時儲存於編碼器中，該等暫時儲存之視框經儲存用於由一視框間經編碼視框參考。
根據一些實施例，一經編碼空視框具有其中全部巨集區塊被設定為跳過區塊之一視框間經編碼視框之形式。因此，可進一步降低該序列經編碼視框之位元率，此係因為該經編碼空視框將不含有影像資料或運動向量，而是僅含有對選定參考視框之一參考，將自該選定參考視框取得待在解碼該空視框時展示之影像資料。換言之，空視框係不具有更新資料之視框間經編碼視框。
根據一些實施例，該方法進一步包括以下步驟：在編碼該序列視框之一視框之前，接收該視框之影像資料之一運動位準且判定該運動位準是否低於該運動位準臨限值；在判定該運動位準低於該臨限運動位準時，將該視框編碼為一空視框；及在判定該運動位準高於該臨限運動位準時，將該視框編碼為一視框間經編碼視框或一視框內經編碼視框。在此實施例中，倘若所擷取場景之內容突然開始移動，因此增加視訊流中之視框之影像內容的運動位準，則原本已編碼為一空視框之一視框可代替性地被編碼為一視框間經編碼視框或一視框內經編碼視框(即，無任何跳過區塊)。此實施例提高編碼方法之靈活性。
根據一些實施例，將該序列視框之一初始視框編碼為一視框內經編碼參考視框，且將該序列視框中之緊接在該初始視框之後之一或多個視框編碼為視框間經編碼參考視框。
根據一些實施例，該等經編碼參考視框包括至少兩個視框間經編碼視框。有利地，此可減少空視框中之雜訊之明顯重複，且因此導致空視框中之一更真實雜訊。
根據一些實施例，使用一隨機函數執行選擇一經編碼參考視框之步驟。有利地，此降低編碼方法之複雜性，此係因為編碼器可不需要儲存任何預定選擇序列用於選擇參考視框之該步驟。此外，參考視框之數目係不相關的，此係因為此一隨機函數將以一隨機方式固有地在可用參考視框當中進行選取。
根據一些實施例，根據一預定選擇序列執行選擇一經編碼參考視框之步驟。此序列可作為一表或類似者儲存於編碼器中。在此情況中，對於各數目之可用參考視框，可存在一個此序列。在其他實施例中，預定選擇序列呈一演算法(例如，一模數運算)之形式。
根據一些實施例，將一視框編碼為一空視框之步驟包括：選擇該等經編碼參考視框當中之一時間上在前之經編碼參考視框。換言之，可比較該空視框與一P視框。替代地或額外地，該經編碼參考視框可為一時間上在後之視框(參看一B視框)。
根據本發明之一第二態樣，上述目的係藉由包括具有指令之一電腦可讀儲存媒體之一電腦程式產品達成，該等指令經調適以在藉由具有處理能力之一裝置執行時實行第一態樣之方法。
根據本發明之一第三態樣，上述目的係藉由經調適用於編碼一視訊流中之一序列視框之一裝置達成，該裝置包括一處理器，該處理器經組態以：判定該序列視框中之一初始視框之影像資料的一運動位準低於一運動位準臨限值；編碼複數個參考視框，該複數個經編碼參考視框之各參考視框係一視框內經編碼視框或一視框間經編碼視框；及藉由針對待編碼為一空視框之各視框執行以下步驟而編碼複數個空視框，其中一空視框包括編碼為跳過區塊之巨集區塊及對該視訊流中之另一視框之一參考： - 選擇該等經編碼參考視框當中之一經編碼參考視框； - 編碼該空視框使其具有對該選定參考視框之一直接或間接參考； 其中對於該序列經編碼視框中之至少一對連續空視框，經選擇用於該對中之一第一空視框之該參考視框不同於經選擇用於該對中之一第二空視框之該參考視框。
根據本發明之一第四態樣，上述目的係藉由以下各者達成：一第一裝置，其用於連續地擷取一場景之資料且基於該經擷取資料產生包括一序列視框之一視訊流；一第二裝置，其經調適以判定該視訊流之各視框之一運動位準；及根據第三態樣之一第三裝置，其經調適以接收該序列視框及該序列視框之該等經判定運動位準。
根據一些實施例，該等第一、第二及第三裝置實施於一影像擷取裝置(例如，一視訊攝影機)中。在其他實施例中，該第一裝置係該影像擷取裝置，且該第二裝置係一單獨配置之視訊分析單元，且該第三裝置係一單獨配置之視訊編碼器單元。
第二、第三及第四態樣一般可具有與第一態樣相同之特徵及優點。進一步應注意，除非另有明確陳述，否則本發明涉及全部可能特徵組合。
現將在下文中參考其中展示本發明之實施例之隨附圖式更充分描述本發明。將在操作期間描述本文中揭示之系統及裝置。
圖1展示根據先前技術之用於一序列視框之一編碼方法。如上文描述，在所擷取場景中不存在運動或存在有限量運動時之時段期間，節省頻寬(降低或最佳化經編碼視框序列之位元率)之一方式可為將一些視框編碼為空視框，即，用至少一些空區塊(跳過區塊、P區塊等)進行編碼。此等視框在下文中用圖中之一「E」指代。在圖1中，視框100序列中之第一視框被編碼為一I視框(在圖中用一「I」表示)，且剩餘視框100被編碼為具有對視框100序列中之緊接在前之視框的一參考且因此全部具有對I視框之一直接或間接參考的空視框。此將具有視訊中存在極少(或不存在)時間雜訊之效應，此係因為全部視框100將顯示為第一視框(即，I視框)之一複本。因此，觀看由視框100引起之視訊的一使用者將發現該視訊看起來不自然且凍結，且使用者可能開始想知道攝影機是否存在一硬體或軟體故障。此懷疑甚至可能迫使使用者實體上檢測攝影機，此佔用寶貴的時間且若攝影機安裝於一難以接達位置中則可為困難的。
即使一場景完全靜止(例如，夜間之一空火車站)，一序列經擷取視框中之時間雜訊仍將歸因於影像感測器處之雜訊而存在。當編碼視框時，可利用經擷取影像資料中之此固有雜訊位準。在下文中，將描述如何編碼一序列視框之數個實例。然而，其等全部具有至少兩個共同特性。首先，編碼可由經編碼空視框參考之複數個參考視框。此等參考視框係以一正常方式(例如，一I視框，其後接著參考該I視框(或在複數個P視框之情況中參考另一P視框)之至少一個P視框)編碼，其中在未運用任何跳過區塊或至少運用少數跳過區塊之情況下有利地編碼參考視框。其次，對於該序列經編碼視框中之至少一對連續空視框，用於該對中之一第一空視框之參考視框不同於用於該對中之一第二空視框之參考視框。藉由以此方式編碼，在擷取場景時之固有時間雜訊將存在於複數個參考視框中，且藉由未針對一第一空視框選取與該序列經編碼視框中之一緊接在後之第二空視框相同的參考視框，此時間雜訊亦將存在於此對連續經編碼空視框中。
圖2至圖4藉由實例展示其中判定一低運動量之用於一序列視框之一編碼方法。在此等實例中，經編碼視框對應於一圖像群組(GOP)，然而，此並非本發明之一要求。本文中揭示之方法可用於任何視框序列(諸如一半GOP或類似者)。
圖2藉由實例展示根據一第一實施例之用於一序列視框之一編碼方法。編碼複數個參考視框202，此在此情況中相當於將視框200a-i序列之一初始視框200a編碼為一視框內經編碼參考視框(圖中之「I」)，其中視框200a-i序列中之緊接在初始視框200a之後之兩個視框200b至200c被編碼為視框間經編碼參考視框(圖中之「P」)。根據其他實施例，將複數個參考視框202中之一個以上視框編碼為一I視框。視框間經編碼參考視框可呈P視框及/或B視框之形式。參考視框202之數目(導致該序列經編碼視框200a-i之一增加的位元率)應與改良的使用者體驗水準平衡。例如，相較於一較小GOP，一較大GOP可導致編碼更多參考視框202。在圖2中，GOP中之剩餘視框200d至200h (最後經編碼視框200i參考隨後GOP之初始視框)被編碼為空視框204。對於各空視框204，選擇及參考一經編碼參考視框202 (在圖2至圖4中描繪為箭頭)。如圖2中可見，對於該序列經編碼視框200a-i中之各對連續空視框204，用於該對中之一第一空視框之選定參考視框不同於用於該對中之一第二空視框之選定參考視框。例如，圖2中之第一空視框200d參考第一參考視框200a，而對於緊接在後之空視框200e，選定參考視框係第二參考視框200b。對於此兩個空視框200d至200e，該等視框被編碼為具有對選定參考視框200a至200b之一直接參考。直接參考第三參考視框200c之隨後空視框200f亦為此情況。對於下一空視框200g (在圖2之實例中，第4空視框)，此視框參考第一空視框200d，第一空視框200d繼而參考第一參考視框200a。因此，第4空視框包括對一參考視框之一間接參考(即，經由另一空視框200d)。換言之，編碼第4空視框200g包括選擇經編碼參考視框202當中之一經編碼參考視框200a，其中選定經編碼參考視框已由另一經編碼空視框200d直接參考。此間接參考方式可減少編碼器在編碼時需要儲存於記憶體中之視框的數目。在此實例中，對於最後(第5)空視框200h，選定參考視框係第三參考視框200c，第三參考視框200c係由第5空視框200h以一間接方式經由第3空視框200f參考。因此，五個空視框200d至200h按時間順序參考參考視框1-2-3-1-3。換言之，對於該序列經編碼視框200a-i中之各對連續空視框，用於該對中之一第一空視框之選定參考視框不同於用於該對中之一第二空視框之選定參考視框。以此方式，將在空視框之各者當中引入時間雜訊，因此對觀看所顯示經解碼視框之一使用者(例如，一操作者)提供一「舒適」雜訊。亦可注意，在圖2中展示之例示性實施例中，對於在視框200a-i序列中之複數個參考視框202當中緊接在一特定經編碼參考視框200c之後之待編碼為一空視框204的第一視框200d，選擇複數個經編碼參考視框202當中之一經編碼參考視框之步驟包括：選擇複數個經編碼參考視框202當中之不同於該特定經編碼參考視框200c的一經編碼參考200a。以此方式，亦將在待編碼為一空視框204之第一視框200d與緊接在該空視框200d之前之參考視框200c之間引入時間雜訊。在其他實施例中，視框200d可參考視框200c。
在圖2之實例中，僅視框序列中之初始視框被編碼為參考視框202。此僅作為實例。在圖3中，前兩個視框200a至200b被編碼為參考視框202。隨後三個視框200c至200e被編碼為空視框204。另一後續視框200f被編碼為一參考視框，其後接著編碼為空視框204之兩個以上視框200g至200h。稍後在視框序列中引入(若干)參考視框之此方式可為有利的，以擷取在擷取視框200a-i序列期間可能發生之場景中之變化。與圖2之實例之另一不同之處在於，空視框之一者參考一時間上稍後之參考視框，第一空視框200c藉此參考第3參考視框200f。由於許多標準容許視框間經編碼視框在一前向方向上參考(例如，一B視框、雙向預測圖像)，故本發明之空視框(其等具有包括編碼為跳過區塊之巨集區塊之一視框間經編碼視框的形式)亦可容許此。
在圖4中，僅經編碼參考視框中之時間上在前之經編碼參考視框由空視框參考，即使視框200a-i序列包括兩組分離參考視框202。藉由在編碼空視框204時僅選擇一時間上在前之經編碼參考視框，需儲存於編碼器之記憶體中之視框的數目得以減少，且用於一序列視框之編碼方法得以簡化。
圖5展示根據一些實施例之編碼一序列視框之一流程圖。為判定究竟是否應針對一序列視框採用空視框，判定S502該序列視框中之一初始視框之影像資料的一運動位準是否低於一運動位準臨限值。可基於與一或多個先前視框(例如，一先前GOP等)之一比較來判定初始視框之運動位準。例如，可藉由編碼器自一單獨運動位準計算單元接收或在編碼器處計算先前序列運動位準之一平均運動位準。可基於視框或例如一操作者可基於使用情況設定之一使用者可調整值來預先判定運動位準臨限值。如上文描述，初始視框可或可不對應於一GOP之一第一視框。若判定運動位準超過運動位準臨限值，則可判定應以一習知方式(標準方式) (例如，使用視框內經編碼視框及視框間經編碼視框而無空視框，如本發明中所定義)編碼S503隨後視框序列。然而，若判定初始視框之運動位準低於臨限運動位準，則可判定隨後視框序列可能不包括運動或包括低運動量，且因此可有利地使用本發明之編碼方法來最佳化位元率。在擷取包括低光量之一場景之視訊時，使用該方法可尤其有利。在此等情況中，視框間雜訊量將較高，且若以一習知方式編碼為P視框則將導致需要編碼之大量殘餘值(與參考視框之差異)。
接著，編碼S504複數個參考視框。可選地，在編碼一參考視框之前，可比較S506待編碼為一參考視框之視框之影像資料的運動位準與運動位準臨限值。藉由連續進行此，可在任何時間中止方法以返回至正常編碼S503。藉由未在此階段檢查S506運動位準，可降低編碼程序所需之處理能力。將各參考視框編碼S508為一視框內經編碼視框或一視框間經編碼視框。
根據一些實施例，將視框間經編碼視框之全部運動向量設定為零。由於參考視框之影像內容可能(或被判定S506)相較於先前視框含有極少運動或不含運動，故可藉由不執行一區塊匹配以編碼視框間經編碼視框之巨集區塊，而是僅參考一先前視框中之相同區塊而利用此。因此，可節省處理能力，且一較高QP值可用於編碼以進一步增加位元率之節省。
接著，編碼S510複數個空視框。可選地，在將一視框編碼為一空視框之前，接收該視框之影像資料之一運動位準或以其他方式判定該運動位準並將其與運動位準臨限值比較。在此實施例中，判定S512運動位準是否低於運動位準臨限值。在判定運動位準高於臨限運動位準時，可中止方法，且隨後進行標準編碼S503。換言之，以一習知方式將當前視框編碼為一視框間經編碼視框或一視框內經編碼視框。然而，在判定運動位準低於臨限運動位準時，將視框編碼為一空視框。此包含選擇S514複數個經編碼參考視框當中之一經編碼參考視框。此選擇程序可使用不同策略執行。
根據一項實施例，選擇一經編碼參考視框之步驟係使用一隨機函數執行。隨機函數可採取可用參考視框之數目作為輸入(或視框序列中之可用參考視框之索引)，以及例如任何未經容許參考視框之一索引。一未經容許參考視框可為用作視框序列中之一緊接在前之空視框之參考以避免兩個緊接在後之空視框將參考相同參考影像的參考視框。
根據一項實施例，選擇一經編碼參考視框之步驟係根據一預定選擇序列執行。例如。編碼器可知曉用於各數目之可能參考影像之此等選擇序列，例如，該等選擇序列呈以下形式：用於兩個參考影像之情況的一個清單、用於三個參考影像之情況的一個清單(例如，1,2,3,1,2,3,1,2,3等)、用於四個參考影像之情況的一個清單等。預定選擇序列可呈一演算法(例如，一模數運算)之形式。此演算法可看似具有以下形式I = X mod Y ， 其中Y係可用參考影像之數目，且X係序列視框中待編碼為一空視框之當前視框的索引。接著，將使用模數運算(I )之結果來選擇該空視框將參考之參考影像的索引。
當已選擇經編碼參考視框時，接著編碼S516空視框使其具有對該選定參考視框之一直接或間接參考。
可選地，在編碼一或多個空視框之後，可編碼S504新參考視框(方法因此反覆S518)，其後接著編碼S516一組經編碼空視框等，直至已編碼完整視框序列。在其他實施例中，將視框序列中之全部剩餘視框被編碼為空視框。
如本文中描述之編碼方法將遵循諸如h.264及h.265之標準。換言之，一標準解碼器可用於解碼。
圖6展示根據本發明之用於擷取及編碼一序列視框之一系統600。系統600包括用於連續地擷取一場景602之影像資料且基於經擷取影像資料產生包括一序列影像視框606之一視訊流的一第一裝置604 (即，一視訊攝影機)。系統600進一步包括經調適以判定視訊流之各視框之一運動位準609的一運動偵測器單元608。運動偵測器單元608可(例如，使用一處理器)使用任何已知運動偵測及/或物件追蹤演算法來計算一視框之一運動位準。
將視框606序列及經判定運動位準609發送至一第三裝置(編碼器) 610，第三裝置610經調適用於如上文描述般編碼一序列視框。在圖6中，視訊擷取第一裝置604、運動偵測器單元(第二裝置) 608及編碼第三裝置610被描繪為分離單元。然而，根據一些實施例，全部三個裝置604、608、610實施於一共同影像擷取裝置中。
在上文，已主要參考有限數目個實例描述本發明概念。然而，如熟習此項技術者容易瞭解，除上文揭示之實例外之其他實例在如藉由隨附發明申請專利範圍定義之本發明概念之範疇內同樣可行。
100‧‧‧視框 200a至200i‧‧‧視框 202‧‧‧參考視框 204‧‧‧空視框 S502‧‧‧判定 S503‧‧‧編碼 S504‧‧‧編碼 S506‧‧‧比較/檢查/判定 S508‧‧‧編碼 S510‧‧‧編碼 S512‧‧‧判定 S514‧‧‧選擇 S516‧‧‧編碼 S518‧‧‧反覆 600‧‧‧系統 602‧‧‧場景 604‧‧‧第一裝置 606‧‧‧影像視框 608‧‧‧運動偵測器單元/第二裝置 609‧‧‧運動位準 610‧‧‧第三裝置/編碼器
透過本發明之較佳實施例之以下闡釋性及非限制性詳細描述、參考隨附圖式將更佳理解本發明之上述以及額外目的、特徵及優點，在隨附圖式中，相同元件符號將用於類似元件，其中： 圖1展示其中判定一低運動量之用於一序列視框之一已知編碼方法， 圖2展示根據本發明之一第一實施例之其中判定一低運動量之用於一序列視框的一編碼方法， 圖3展示根據本發明之一第二實施例之其中判定一低運動量之用於一序列視框的一編碼方法， 圖4展示根據本發明之一第二實施例之其中判定一低運動量之用於一序列視框的一編碼方法， 圖5展示根據一些實施例之編碼一序列視框之一流程圖， 圖6展示經調適以擷取一場景之資料、判定場景之內容之一運動位準且編碼描繪場景之一序列視框的一系統。
200a至200i‧‧‧視框
202‧‧‧參考視框
204‧‧‧空視框

Claims (15)

  1. 一種用於在一視訊流中之一序列視框(606)之編碼方法，其中在判定(S502)該序列視框中之一初始視框之影像資料的一運動位準(motion level)低於一運動位準臨限值時，該方法包括：編碼(S504)複數個參考視框(202)，該複數個經編碼參考視框之各參考視框係一視框內經編碼視框(intra-frame encoded frame)或一視框間經編碼視框(inter-frame encoded frame)；及藉由針對待編碼為一空視框之各視框執行以下步驟而編碼(S510)複數個空視框(204)，其中一空視框包括編碼為跳過區塊(skip block)之巨集區塊(macroblock)及對該視訊流中之另一視框之一參考：選擇(S514)該複數個經編碼參考視框當中之一經編碼參考視框；編碼(S516)該空視框使其具有對該選定參考視框之一直接或間接參考，其中一間接參考係經由參考該選定參考視框之一先前經編碼空視框進行；其中對於該序列經編碼視框(200)中之至少一對連續空視框，用於該對中之一第一空視框之該選定參考視框不同於用於該對中之一第二空視框之該選定參考視框，其中用於該第一空視框之該選定參考視框及用於該第二空視框之該選定參考視框兩者在時間上在該等第一及第二空視框之前。
  2. 如請求項1之方法，其中對於該序列經編碼視框中之各對連續空視框，用於該對中之一第一空視框之該選定參考視框不同於用於該對中之一第二空視框之該選定參考視框。
  3. 如請求項1之方法，其中對於待編碼為一空視框之一第一視框，該第一視框緊接在該序列視框中之該複數個參考視框當中的一第一經編碼參考視框之後，選擇該複數個經編碼參考視框當中之一經編碼參考視框之該步驟包括：選擇該複數個經編碼參考視框當中之不同於該第一經編碼參考視框之一經編碼參考視框。
  4. 如請求項1至3中任一項之方法，其中該複數個參考視框包括一或多個視框間經編碼視框，其中該方法進一步包括以下步驟：將該一或多個視框間經編碼視框之全部運動向量設定為零。
  5. 如請求項1至3中任一項之方法，其中對於至少一空視框，該編碼該空視框包括：選擇該等經編碼參考視框當中之一經編碼參考視框，其中該選定經編碼參考視框已由另一經編碼空視框直接參考；編碼該空視框使其具有對該另一經編碼參考視框之一參考。
  6. 如請求項1至3中任一項之方法，其中一經編碼空視框具有其中全部巨集區塊被設定為跳過區塊之一視框間經編碼視框之形式。
  7. 如請求項1至3中任一項之方法，其進一步包括以下步驟：在將該序列視框之一視框編碼為一空視框之前，接收該空視框之該影像資料之一運動位準(609)，且判定(S512)該運動位準是否低於該運動 位準臨限值；在判定該運動位準低於該運動位準臨限值時，將該視框編碼為一空視框；在判定該運動位準高於該運動位準臨限值時，將該視框編碼(S503)為一視框間經編碼視框或一視框內經編碼視框。
  8. 如請求項1至3中任一項之方法，其中將該序列視框之一初始視框編碼為一視框內經編碼參考視框，其中將該序列視框中之緊接在該初始視框之後的一或多個視框編碼為視框間經編碼參考視框。
  9. 如請求項1至3中任一項之方法，其中該等經編碼參考視框包括至少兩個視框間經編碼視框。
  10. 如請求項1至3中任一項之方法，其中選擇一經編碼參考視框之該步驟係使用一隨機函數執行或根據一預定選擇序列執行。
  11. 如請求項1至3中任一項之方法，其中將一視框編碼為一空視框之該步驟包括：選擇該等經編碼參考視框當中之一時間上在前之經編碼參考視框。
  12. 一種具有指令之電腦可讀儲存媒體，該等指令經調適以在藉由具有處理能力之一裝置執行時實行請求項1至11中任一項之方法。
  13. 一種經調適用於編碼一視訊流中之一序列視框(606)之一裝置(610)，該裝置包括一處理器，其中在藉由該處理器判定(S502)該序列視框中之一初始視框之影像資料的一運動位準低於一運動位準臨限值時，該處理器經組態以：編碼(S504)複數個參考視框(202)，該複數個經編碼參考視框之各參考視框係一視框內經編碼視框或一視框間經編碼視框；及藉由針對待編碼為一空視框之各視框執行以下步驟而編碼(S510)複數個空視框(204)，其中一空視框包括編碼為跳過區塊之巨集區塊及對該視訊流中之另一視框之一參考：選擇(S514)該等經編碼參考視框當中之一經編碼參考視框；編碼(S516)該空視框使其具有對該選定參考視框之一直接或間接參考，其中一間接參考係經由參考該選定參考視框之一先前經編碼空視框進行；其中對於該序列經編碼視框(200)中之至少一對連續空視框，針對該對中之一第一空視框選擇之該參考視框不同於針對該對中之一第二空視框選擇之該參考視框，其中用於該第一空視框之該選定參考視框及用於該第二空視框之該選定參考視框兩者在時間上在該等第一及第二空視框之前。
  14. 一種用於編碼一序列視框之系統，其包括：一第一裝置(604)，其用於連續地擷取一場景(602)之資料且基於該經擷取資料產生包括一序列視框(606)之一視訊流；一第二裝置(608)，其經調適以判定該視訊流之各視框之一運動位準(609)；及 如請求項13之一第三裝置(610)，其經調適以接收該序列視框及該序列視框之該等經判定運動位準。
  15. 如請求項14之系統，其中該等第一、第二及第三裝置實施於一影像擷取裝置中。
TW108106969A 2018-03-28 2019-03-04 用於編碼在一視訊流中之一序列視框之方法、裝置及系統 TWI763983B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18164676.1 2018-03-28
EP18164676.1A EP3547684B1 (en) 2018-03-28 2018-03-28 Method, device and system for encoding a sequence of frames in a video stream

Publications (2)

Publication Number Publication Date
TW201943279A TW201943279A (zh) 2019-11-01
TWI763983B true TWI763983B (zh) 2022-05-11

Family

ID=61832445

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108106969A TWI763983B (zh) 2018-03-28 2019-03-04 用於編碼在一視訊流中之一序列視框之方法、裝置及系統

Country Status (6)

Country Link
US (1) US10856002B2 (zh)
EP (1) EP3547684B1 (zh)
JP (1) JP6836614B2 (zh)
KR (1) KR102113948B1 (zh)
CN (1) CN110324636B (zh)
TW (1) TWI763983B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3883234B1 (en) * 2020-03-17 2022-02-02 Axis AB Wearable camera and a method for power consumption optimization in the wearable camera
US11695944B2 (en) * 2021-09-08 2023-07-04 Omnivision Technologies, Inc. Video coding device and method
CN114429647A (zh) * 2022-01-21 2022-05-03 上海浦东发展银行股份有限公司 一种递进式人物交互识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005065030A2 (en) * 2004-01-08 2005-07-21 Videocodes, Inc. Video compression device and a method for compressing video
WO2007072244A1 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. A device for and a method of processing a data stream comprising a plurality of frames
TW200807338A (en) * 2005-11-23 2008-02-01 Objectvideo Inc Object density estimation in video
US20090147853A1 (en) * 2007-12-10 2009-06-11 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4537348B2 (ja) 2006-05-31 2010-09-01 シャープ株式会社 Ｍｐｅｇ画質補正装置、及びｍｐｅｇ画質補正方法
US20100245595A1 (en) 2009-03-31 2010-09-30 Acuity Systems Inc. Recorder test system
EP3029942B1 (en) 2014-12-04 2017-08-23 Axis AB Method and device for inserting a graphical overlay in a video stream
US9807416B2 (en) * 2015-09-21 2017-10-31 Google Inc. Low-latency two-pass video coding
EP3357245A4 (en) * 2015-11-05 2019-03-13 MediaTek Inc. METHOD AND DEVICE OF INTERPRESSATION USING AN AVERAGE MOTION VECTOR FOR VIDEO CODING
JPWO2017122604A1 (ja) * 2016-01-15 2018-11-01 日本電気株式会社 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが記憶された記憶媒体
EP3200456A1 (en) * 2016-01-28 2017-08-02 Axis AB Video encoding method and video encoder system for temporal noise reduction
KR101733748B1 (ko) * 2016-10-26 2017-05-10 에스케이 텔레콤주식회사 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005065030A2 (en) * 2004-01-08 2005-07-21 Videocodes, Inc. Video compression device and a method for compressing video
TW200807338A (en) * 2005-11-23 2008-02-01 Objectvideo Inc Object density estimation in video
WO2007072244A1 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. A device for and a method of processing a data stream comprising a plurality of frames
US20090147853A1 (en) * 2007-12-10 2009-06-11 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation

Also Published As

Publication number Publication date
EP3547684A1 (en) 2019-10-02
KR102113948B1 (ko) 2020-05-21
EP3547684B1 (en) 2020-02-26
CN110324636B (zh) 2021-02-05
CN110324636A (zh) 2019-10-11
US20190306525A1 (en) 2019-10-03
JP6836614B2 (ja) 2021-03-03
US10856002B2 (en) 2020-12-01
KR20190113546A (ko) 2019-10-08
TW201943279A (zh) 2019-11-01
JP2019198063A (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
US9210420B1 (en) Method and apparatus for encoding video by changing frame resolution
US9451163B2 (en) Motion sensor assisted rate control for video encoding
TWI763983B (zh) 用於編碼在一視訊流中之一序列視框之方法、裝置及系統
US9584832B2 (en) High quality seamless playback for video decoder clients
KR20160007564A (ko) 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝
JP5555741B2 (ja) デジタル映像データを符号化するための方法およびデジタル映像符号化システム
JP2002543713A (ja) デジタルビデオ用動き推定
CN111010495A (zh) 一种视频降噪处理方法及装置
TWI759280B (zh) 視訊編碼方法及視訊編碼器系統
CN108632618B (zh) 用于对视频流进行编码的方法、视频编码器和摄像机
EP1927249A1 (en) Apparatus and method for encoding and decoding multi-view video
US11212536B2 (en) Negative region-of-interest video coding
JP2013509048A (ja) フレームシーケンシャル方式の立体ビデオの符号化のための参照フレームの動的並べ換え
US20170070555A1 (en) Video data flow compression method
KR100972222B1 (ko) 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들의 프로그램을 기록한 기록 매체
US20080025408A1 (en) Video encoding
Alfonso et al. Adaptive GOP size control in H. 264/AVC encoding based on scene change detection
JPH09284770A (ja) 画像符号化装置および方法
JP2008005183A (ja) 映画素材に適した映像符号化方法および符号化装置
JPH0984024A (ja) 動画像信号の符号化装置
Patnaik et al. H. 264/AVC/MPEG video coding with an emphasis to bidirectional prediction frames
JP3958281B2 (ja) 動画像符号化装置
Hsia et al. Adaptive video coding control for H. 264/AVC
KR20240084469A (ko) 비디오 시퀀스를 프루닝하는 방법 및 장치
JP2007515097A (ja) ビデオ符号化方法及び装置